Mắt kính hỗ trợ người khiếm thính

Cùng là học sinh chuyên tin Trường THPT chuyên Lê Hồng Phong (TP HCM), Nhật Huy và Minh Mẫn đều đam mê công nghệ và ngôn ngữ lập trình. Hai bạn trẻ này cũng chung mong muốn có thể dùng những kiến thức đã học để ứng dụng vào thực tiễn, giúp đỡ hoàn cảnh đặc biệt, nhất là những người khiếm thính.

“Đập đi xây lại” rất nhiều lần

Bắt tay vào nghiên cứu mắt kính thông minh tích hợp trí tuệ nhân tạo (AI) để giúp người câm điếc tự tin giao tiếp, Nhật Huy tự đặt yêu cầu phải cho ra sản phẩm mắt kính có khả năng giao tiếp 2 chiều. “Đã có rất nhiều sản phẩm hỗ trợ người khiếm thính nhưng hầu như chỉ tương tác được một chiều. Em muốn tạo ra một sản phẩm nhỏ gọn, tương tác được 2 chiều để rút ngắn khoảng cách giao tiếp và tạo cảm giác gần gũi cho người khiếm thính” – Nhật Huy cho hay.

Mùa hè năm 2022, thay vì dành thời gian vui chơi và chuẩn bị cho năm lớp 12 quan trọng, Nhật Huy và Minh Mẫn dành toàn bộ thời gian để học thủ ngữ và giao tiếp cùng những người bạn đặc biệt. Đến tháng 8, hai em bắt đầu viết những đoạn code đầu tiên.

Nguyễn Minh Nhật Huy và mô hình mắt kính tích hợp AI hỗ trợ người khiếm thính giao tiếp

Vừa học tập trên trường vừa nghiên cứu khoa học, nhóm từng nhiều lần phải “đập đi xây lại” sản phẩm vì chưa ưng ý. Cuối cùng, mắt kính thông minh đã được hoàn thiện với một camera ở giữa, giúp ghi lại thủ ngữ của người khiếm thính, chuyển thủ ngữ thành tín hiệu âm thanh, sau đó phát ra loa những điều họ muốn nói. Ngược lại, để người khiếm thính hiểu được người đối diện nói gì, mắt kính sẽ thu âm giọng nói của đối phương, chuyển âm thanh thành tín hiệu văn bản và hiển thị trên màn hình mắt kính.

Trong quá trình nghiên cứu, điều khiến Nhật Huy lo lắng nhất chính là khả năng đọc văn bản của những người câm điếc bẩm sinh bởi rất nhiều người trong số họ không đọc được chữ. “Khi bé gái khiếm thính 11 tuổi (học lớp 1) đeo mắt kính vào, em đã rất lo lắng vì không biết liệu sản phẩm có thể ứng dụng được thực tế hay không. Thấy bé gái hiểu được ngôn ngữ, em rất mừng bởi đây chính là bước đệm đầu tiên và là động lực để cả hai tiếp tục nghiên cứu sâu thêm” – Nhật Huy kể.

Không ngừng cải tiến

Với trọng lượng khoảng 300 g, mắt kính có cấu tạo gồm: sim 4G kết nối internet với máy chủ, mạch Raspberry Pi, pin, camera, micro, màn hình Oled… Chi phí lắp ráp loại mắt kính này khoảng 800.000 đồng/chiếc.

Nhóm nghiên cứu đã sử dụng công cụ trợ lý ảo Google Assistant để thu âm giọng nói và chuyển thành văn bản. Riêng phần đọc thủ ngữ và chuyển thành tiếng nói, nhóm phải tự mày mò nghiên cứu, viết những thuật toán Deep Learning để xử lý dữ liệu. Mắt kính có tốc độ nhận diện giọng nói 0,3 giây/từ, tỉ lệ nhận diện chính xác trên 80%; khả năng nhận diện cử chỉ 0,8 – 1,5 giây/từ, tỉ lệ nhận diện chính xác trên 70%.

Mắt kính thông minh đã được thử nghiệm tại 2 trường dành cho người khiếm thính ở TP HCM và nhận được những phản hồi tích cực. Tuy nhiên, nhóm nghiên cứu muốn có thêm thời gian để nâng cấp kho dữ liệu hoàn chỉnh hơn bởi hiện tại, mắt kính mới chỉ phân tích được khoảng 100 dạng ký tự giao tiếp cơ bản, chiếm 1% khối lượng ngôn ngữ ký hiệu của người khiếm thính. “Nhóm vẫn đang cung cấp thêm dữ liệu để mắt kính nhận diện. Camera hiện chưa thể quét được nhiều hành động thủ ngữ và điều này cản trở khả năng giao tiếp của người câm điếc” – Nhật Huy cho hay.

Theo cô Phạm Thị Bé Hiền, Hiệu trưởng Trường THPT chuyên Lê Hồng Phong, nhà trường luôn tạo điều kiện để học sinh phát huy đam mê nghiên cứu khoa học thông qua việc tạo ra những sân chơi bổ ích, những cuộc thi về khoa học. Qua đó, nhà trường có thể phát hiện những học sinh có tố chất, các mô hình có triển vọng để dự những cuộc thi lớn.