Dự án HỆ THỐNG GIAO TIẾP TIẾNG VIỆT DỰA TRÊN AI SỬ DỤNG TÍN HIỆU MẮT VÀ TÍN HIỆU ĐIỆN NÃO CHO NGƯỜI TỔN THƯƠNG CHỨC NĂNG VẬN ĐỘNG đề xuất xây dựng cơ sở dữ liệu lớn, chuẩn về dữ liệu tín hiệu ET (chuyển động mắt) và tín hiệu EEG (điện não) phục vụ nghiên cứu hỗ trợ giao tiếp cho người tổn thương chức năng vận động và nghiên cứu xây dựng giải pháp sử dụng trí tuệ nhân tạo hỗ trợ giao tiếp tiếng Việt dựa trên tín hiệu điều khiển từ mắt (ET) và tín hiệu điện não (EEG).
Công cụ thu nhận dữ liệu có chức năng chính là thu nhận 2 loại tín hiệu điều khiển từ mắt (ET) và tín hiệu điện não (EEG). Các thiết bị thu tín hiệu sẽ được kết nối trực tiếp đến máy thu tín hiệu (máy người dùng) sau đó truyền sang máy giám sát (máy hỗ trợ). Trên máy thu tín hiệu, cho phép hiển thị bàn phím ảo và nội dung người dùng đang muốn đánh vần. Dữ liệu từ máy thu tín hiệu sau khi truyền sang máy giám sát sẽ được đồng bộ theo thời gian thực. Trên máy giám sát, công cụ cho phép người hỗ trợ có thể xem danh sách các bản ghi dữ liệu đang có, thực hiện các thao tác thêm mới, cập nhật, xóa bản ghi dữ liệu. Đồng thời, người hỗ trợ có thể quản lý tình trạng kết nối dữ liệu và cài đặt cấu hình máy giám sát. Phụ thuộc vào cấu hình phần cứng của thiết bị, người hỗ trợ có thể tùy chọn bật tắt kết nối các thiết bị cũng như hiển thị tình trạng kết nối.
Hệ thống sử dụng trí tuệ nhân tạo hỗ trợ giao tiếp tiếng Việt dựa trên tín hiệu ET và EEG được thể hiện ở Hình 2. Đầu vào của hệ thống là các thông tin thể hiện hoạt động của não và mắt của bệnh nhân và đầu ra là câu tiếng Việt bệnh nhân muốn “nói”. Hệ thống có các bộ phân tích tín hiệu điện não và tín hiệu chuyển động mắt để thu được đặc trưng của mỗi loại tín hiệu. Các đặc trưng này cùng với kết quả của một mô hình sinh ngôn ngữ (sử dụng đầu vào là dữ liệu các ký tự bệnh nhân đã nhập) là đầu vào của Bộ kết hợp nhằm phân tích, tính toán, và đưa ra gợi ý câu tiếng Việt bệnh nhân muốn thể hiện. Bệnh nhân sẽ có thể chọn từ một tập các cụm từ hoặc câu gợi ý được đề xuất bởi thuật toán học; giải pháp này có thể hỗ trợ những bệnh nhân gặp khó khăn trong giao tiếp bằng lời nói bình thường thể hiện thông tin bản thân muốn diễn đạt một cách hiệu quả.
Website của dự án: https://blife.ai/
