Nghiên cứu, thiết kế và phát triển các tính năng phỏng “thị giác” và “thính giác” tiếng Việt cho robot thông minh tương tác bằng hệ phát triển Microsoft Robotics Studio

Tên chủ nhiệm: PGS.TS. Thái Quang Vinh, Xếp loại: Khá, Thời gian thực hiện: 2010-2011

Mục tiêu đề tài:

Xây dựng thử nghiệm Robot có cung cấp thị giác máy và giao diện khẩu lệnh tiếng Việt.

• Phát triển thư viện phần mềm lập trình Robot cho người Việt theo dòng Robot hỗ trợ trong công việc gia đình, trò chơi, thân thiện với người sử dụng.

• Nghiên cứu các kỹ thuật xây dựng Robot phân tán kết hợp với PC và PC104, dựa trên chuẩn lập trình Robot: Microsoft Robotics Studio.

• Nghiên cứu các công cụ nhúng phù hợp với các tương tác thông minh.

• Nghiên cứu, thiết kế các module phần mềm điều khiển thực hiện các cử chỉ, tương tác thân thiện với con người.

• Góp phần phục vụ công tác nghiên cứu, ứng dụng và đào tạo về thiết kế và lập trình Robot

Kết quả đạt được:

Về khoa học:

- Nghiên cứu chung về phần cứng, phần mềm điều khiển robot và Kiến trúc robot

- Nghiên cứu thiết kế Robot trong môi trường Microsoft Robotics Studio

- Kế thừa và phát triển module phần mềm nhận dạng người nói thời gian thực

- Kế thừa và phát triển module xử lý ngôn ngữ tự nhiên cho đối thoại người – Robot

- Kế thừa và phát triển module công nghệ tổng hợp tiếng Việt với chất lượng tự nhiên hơn

- Phát triển module board điều khiển robot trên nền PC104 và phần cứng robot Pal-tilt. Module truyền thông giữa CPU và Robot trên PC104

- Phát triển module phần mềm điều hành trung tâm của Robot theo 2 phiên bản chạy trên Board và chạy trên PC104

- Phát triển module nhận dạng mặt người thời gian thực

Về ứng dụng:

- Mô tả các thiết kế phần cứng Robot, tích hợp phần mềm, thuật toán về thị giác máy, các thao tác vào ra, khai thác bộ phần mềm đã thiết kế

- Ứng dụng việc nghiên cứu môi trường lập trình Microsoft Robotics Studio để kế thừa và phát triển các công nghệ điều khiển robot

- Nhận dạng được người đang nói, và nghĩa của khẩu lệnh với độ chính xác 95% trở lên

- Ứng dụng vào việc chế tạo robot có khả năng nhận dạng và tổng hợp tiếng nói để có thể: Xoay về đúng người đã nói, độ chính xác là trên 90%

- Áp dụng vào chế tạo ra robot với khả năng giao tiếp bằng tiếng Việt thông qua công nghệ tổng hợp tiếng Việt với chất lượng cao

- Ứng dụng để thiết kế các module phần cứng điều khiển ngoại vi cho robot thông minh với chất lượng cao, giá thành hợp lý

- Phát hiện và nhận diện được mặt người trong thời gian thực

Sản phẩm đề tài:

Các sản phẩm cụ thể (mô tả sản phẩm, nơi lưu giữ)

- Sản phẩm phần mềm

+ Module phần mềm điều hành trung tâm của Robot Phiên bản chạy trên PC và Board PC104 Điều hành Robot phiên bản chạy trên PC và PC104

+ Module Index mặt người - Xoay về người đã nói

- Trả lời lại được bằng tiếng Việt

+ Mô đun tổng hợp tiếng Việt chất lượng tự nhiên hơn Tổng hợp tiếng Việt chất lượng tự nhiên hơn

+ Module xử lý ngôn ngữ cho hội thoại người – robot thời gian thực - Robot xoay về đúng người đã nói, độ chính xác là trên 90%

-Trả lời lại được bằng tiếng Việt.

+ Module nhận dạng mặt người thời gian thực Phát hiện và nhận diện được mặt người trong thời gian thực

+ Module nhận dạng tiếng nói thời gian thực Nhận dạng được người đang nói, và nghĩa của khẩu lệnh với độ chính xác 95% trở lên.

- Sản phẩm phần cứng

1 Robot bán thân ở mức độ mô phỏng cho hệ thống phần mềm, robot hình bán thân có các khả năng sau:

+ Hai “mắt” bằng Webcam để nhận dạng mặt người đối thoại

+ Hai “tai” bằng microphone để “nghe” được

- Có khả năng phân biệt giọng nói

- Có khả năng hiểu một từ vựng có giới hạn

+ Có “miệng” bằng loa để phát ra âm thanh sử dụng công nghệ TTS có biểu cảm.

+ Có khả năng quay đầu hướng về phía người đối thoại