Khóa luận: Thiết kế và thi công thiết bị nhận diện thủ ngữ cho người khuyết tật

Đồ án chi tiết về thiết kế và thi công thiết bị nhận diện thủ ngữ. Ứng dụng công nghệ AI và xử lý ảnh để chuyển cử chỉ thành giọng nói, hỗ trợ giao tiếp.

• Tác giả: Lê Hồng Mạnh
• Người hướng dẫn: PGS. Trương Ngọc Sơn
• Trường học: Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Công nghệ Kỹ thuật Điện tử - Viễn thông
• Đề tài: Thiết kế và thi công thiết bị nhận diện thủ ngữ dành cho người khuyết tật
• Loại tài liệu: đồ án tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Giới thiệu về Thiết bị AI Nhận diện Thủ ngữ

Thiết bị AI nhận diện thủ ngữ là một giải pháp công nghệ tiên tiến được thiết kế đặc biệt để hỗ trợ giao tiếp hiệu quả cho những người khuyết tật nói. Đây là sản phẩm kết hợp giữa trí tuệ nhân tạo (AI), xử lý ảnh, và công nghệ nhận dạng để chuyển đổi các cử chỉ thủ ngữ thành lời nói rõ ràng. Thiết bị hoạt động bằng cách thu hình ảnh thủ ngữ từ tay người dùng, gửi đến server xử lý AI, sau đó chuyển thành thông điệp âm thanh phát qua loa. Công nghệ này sử dụng các mô hình học sâu (Deep Learning) và YOLO để nhận diện chính xác các động tác tay. Ứng dụng của thiết bị không chỉ giới hạn ở giao tiếp cá nhân mà còn mở rộng sang giáo dục, y tế, và các dịch vụ công cộng. Đây là một bước tiến quan trọng trong việc cải thiện chất lượng cuộc sống và khả năng hòa nhập xã hội của những người có khuyết tật.

1.1. Định nghĩa và Công nghệ cơ bản

Thiết bị nhận diện thủ ngữ dựa trên nền tảng trí tuệ nhân tạo và xử lý hình ảnh. Công nghệ YOLO (You Only Look Once) được sử dụng để nhận diện các cử chỉ tay trong thời gian thực. Hệ thống kết hợp Arduino, Python, và mô hình AI để tạo ra một quy trình xử lý hoàn chỉnh. Thiết bị này có khả năng nhận diện hàng trăm cử chỉ thủ ngữ khác nhau với độ chính xác cao, giúp người dùng truyền đạt thông điệp một cách chính xác.

1.2. Ứng dụng trong Đời sống

Thiết bị nhận diện thủ ngữ có ứng dụng rộng rãi trong nhiều lĩnh vực. Tại nhà, nơi làm việc, trường học, người khuyết tật có thể giao tiếp tự do mà không cần sự trợ giúp của người thứ ba. Trong y tế, thiết bị giúp bác sĩ và bệnh nhân giao tiếp hiệu quả hơn. Ứng dụng này cũng cải thiện sự độc lập và tự tin của người dùng khi tham gia các hoạt động xã hội.

II. Quy trình Hoạt động và Kỹ thuật Thực hiện

Quy trình hoạt động của thiết bị nhận diện thủ ngữ bao gồm ba giai đoạn chính: thu hình ảnh, xử lý AI, và phát âm thanh. Đầu tiên, camera trên thiết bị liên tục thu hình ảnh các động tác của tay người dùng. Hình ảnh này được gửi đến server xử lý nơi các mô hình AI được huấn luyện sẽ nhận diện cử chỉ và dịch thành từ hoặc câu. Cuối cùng, thông điệp được chuyển thành giọng nói thông qua công nghệ text-to-speech và phát qua loa. Kỹ thuật này sử dụng các thuật toán máy học để liên tục cải thiện độ chính xác dựa trên phản hồi của người dùng. Hệ thống được thiết kế để hoạt động offline hoặc trực tuyến, tùy thuộc vào nhu cầu của người sử dụng.

2.1. Các Thành phần Phần cứng

Thiết bị nhận diện thủ ngữ bao gồm các thành phần phần cứng chính như camera HD để chụp hình ảnh chất lượng cao, bộ vi xử lý để xử lý dữ liệu nhanh chóng, và loa để phát âm thanh rõ ràng. Arduino được sử dụng để điều khiển các thành phần. Bộ pin cung cấp năng lượng cho toàn bộ hệ thống. Tất cả các thành phần được tích hợp trong một khung gọn nhẹ giúp người dùng có thể mang theo dễ dàng.

2.2. Mô hình AI và Thuật toán Nhận diện

Mô hình AI sử dụng mạng nơ-ron nhân tạo sâu để học và nhận diện các cử chỉ. YOLO được huấn luyện trên dataset bao gồm hàng ngàn hình ảnh về thủ ngữ khác nhau. Thuật toán này có khả năng nhận diện chính xác với tốc độ xử lý tối ưu. Hệ thống được cập nhật thường xuyên để cải thiện hiệu suất và hỗ trợ các cử chỉ mới.

III. Lợi ích và Tác động Xã hội

Thiết bị nhận diện thủ ngữ mang lại những lợi ích đáng kể cho người khuyết tật nói và xã hội nói chung. Lợi ích chính là tăng cường khả năng giao tiếp độc lập, giúp người dùng không phải luôn phụ thuộc vào người dịch ngôn ngữ ký hiệu. Điều này nâng cao sự tự tin và giá trị bản thân của họ. Về mặt xã hội, thiết bị này hỗ trợ việc hòa nhập của những người khuyết tật, giúp họ tham gia đầy đủ trong các hoạt động học tập, làm việc, và giải trí. Công nghệ này cũng góp phần giảm khoảng cách giao tiếp giữa những người có khuyết tật và những người bình thường. Ngoài ra, từ góc độ kinh tế, thiết bị có thể tạo ra những cơ hội việc làm mới trong lĩnh vực công nghệ hỗ trợ.

3.1. Cải thiện Chất lượng Cuộc sống

Thiết bị nhận diện thủ ngữ giải phóng người khuyết tật khỏi những hạn chế trong giao tiếp. Họ có thể tham gia các cuộc đối thoại một cách tự do và bình đẳng. Thiết bị này đặc biệt hữu ích trong các tình huống khẩn cấp y tế, giao tiếp với các chính quyền, và các tương tác xã hội hàng ngày. Sự độc lập này tác động tích cực đến sức khỏe tâm thần và tổng thể hạnh phúc của người dùng.

3.2. Tác động Giáo dục và Tuyển dụng

Trong lĩnh vực giáo dục, thiết bị nhận diện thủ ngữ tạo điều kiện cho học sinh khuyết tật học tập cùng bạn bè mà không cần sự can thiệp của người thông dịch. Điều này khuyến khích sự hòa nhập và tương tác xã hội. Về tuyển dụng, nhà tuyển dụng không còn lo ngại về rào cản giao tiếp, mở ra những cơ hội nghề nghiệp rộng hơn cho những người khuyết tật.

IV. Thách thức Triển vọng và Phát triển Tương lai

Mặc dù thiết bị nhận diện thủ ngữ có tiềm năng lớn, nhưng vẫn tồn tại những thách thức cần giải quyết. Độ chính xác nhận diện còn bị ảnh hưởng bởi các yếu tố như ánh sáng, nền, và tốc độ cử chỉ khác nhau. Chi phí sản xuất hiện tại còn khá cao, làm giới hạn khả năng tiếp cận của người dùng. Đa dạng thủ ngữ giữa các vùng miền và quốc gia cũng là thách thức lớn. Tuy nhiên, tương lai của công nghệ này rất sáng sủa. Các dự án nghiên cứu tiếp theo sẽ tập trung vào việc cải thiện độ chính xác, giảm chi phí sản xuất, và mở rộng hỗ trợ nhiều thủ ngữ khác nhau. Tích hợp công nghệ AR (Augmented Reality) và VR (Virtual Reality) có thể nâng cao trải nghiệm người dùng. Hợp tác quốc tế sẽ tạo điều kiện để chuẩn hóa và chia sẻ kiến thức giữa các quốc gia.

4.1. Những Thách thức Hiện tại

Thách thức chính là độ chính xác nhận diện trong các điều kiện khác nhau. Những người dùng có cách làm động tác khác nhau có thể gây khó khăn cho thuật toán nhận diện. Chi phí cao và yêu cầu cấu hình phần cứng mạnh là rào cản cho việc phổ biến rộng rãi. Bảo mật dữ liệu và quyền riêng tư cũng là những vấn đề quan trọng cần được giải quyết một cách nghiêm túc.

4.2. Triển vọng và Hướng phát triển

Tương lai của thiết bị nhận diện thủ ngữ hứa hẹn những cải tiến đáng kể. Sử dụng các mô hình AI tiên tiến hơn sẽ nâng cao độ chính xác đến trên 95%. Giảm chi phí thông qua sản xuất hàng loạt sẽ làm cho sản phẩm dễ tiếp cận hơn. Hợp tác với các tổ chức quốc tế để chuẩn hóa thủ ngữ sẽ mở rộng ứng dụng toàn cầu.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN ĐỀ TÀI: Giới thiệu đề tài và lý do chọn đề tài, xác định mục tiêu nghiên cứu, xác định phạm vi giới hạn đề tài, phương pháp và đối tượng nghiên cứu. • Chương 2 CƠ SỞ LÝ THUYẾT: Trình bày các hệ thống, giải pháp kỹ thuật và các giao thức sẽ sử dụng trong luận văn báo cáo. • Chương 3 THIẾT KẾ HỆ THỐNG: Trình bày cách hoạt động và yêu cầu của hệ thống. Thiết kế hệ thống với sơ đồ khối của hệ thống, lưu đồ giải thuật của từng khối và tổng hệ thống.

• Chương 4 THI CÔNG HỆ THỐNG: Thi công kết hợp các khối đã thiết kế thành một hệ thống mô hình hoàn chỉnh. Đáp ứng mục đúng mục tiêu đề ra của một thiết bị nhận diện thủ ngữ. • Chương 5 KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN: Trình bày kết quả đạt được. Đưa ra kết luận và hướng phát triển của đề tài dựa trên mặt hạn chế của đề tài thực hiện.

4 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Thị giác máy tính Thị giác máy tính là một lĩnh vực đang có sự phát triển nhanh chóng, tập trung vào việc phân tích, sửa đổi và nhận biết hình ảnh. Thị giác máy tính sẽ cố gắng xác định điều gì đang xảy ra trước camera và sử dụng các thuật toán để điều khiển máy tính, các hệ thống robot hoặc trả về những hình ảnh mới mang nhiều thông tin hoặc thẩm mỹ hơn so với hình ảnh gốc [13]. Những ứng dụng của thị giác máy tính vào đời sống có thể nói đến như nhận dạng khuôn mặt, biển báo giao thông, điều khiển robot và trong đề tài của nhóm thực hiện đề tài là nhận dạng thủ ngữ.

OpenCV (Open Source Computer Vision Library) là một thư viện C++ mã nguồn mở dành cho chuẩn bị hình ảnh và thị giác máy tính, ban đầu được tạo ra bởi Intel và hiện được duy trì bởi Willow Garage. Đây là một thư viện có nhiều chức năng tích hợp chủ yếu tập trung vào xử lý liên tục hình ảnh [14]. Việc sử dụng OpenCV vào dự án nhận diện thủ ngữ mang lại nhiều lợi ích vì thư viện vừa có các công cụ tiện ích cho xử lý hình ảnh, vừa hỗ trợ nhanh chóng và hiệu quả trong triển khai các thuật toán nhận diện và phân loại.1 Thư viện OpenCV 2. Tiền xử lý ảnh Trong quá trình nhận diện thủ ngữ, bước tiền xử lý ảnh sẽ tối ưu hóa dữ liệu hình ảnh trước khi đưa vào mô hình nhận diện.

Nhiều kỹ thuật xử lý ảnh có thể được sử dụng trong bước này như chuẩn hóa hình ảnh, cân bằng sáng, loại bỏ nhiễu, chuyển đổi màu, phân vùng ảnh [15][16]. Kết quả là một tập dữ liệu được tối ưu hóa, làm nền tảng cho việc nhận diện thủ ngữ với độ chính xác cao.2 Quá trình tiền xử lý ảnh Hình 2.2 mô tả các bước trong quá trình tiền xử lý ảnh, bao gồm: • Cắt ảnh (Cropping): Bước này giúp loại bỏ các phần không cần thiết của ảnh, chẳng hạn như nền, các đối tượng không liên quan, v. • Lọc ảnh (Filtering): Bước này giúp loại bỏ nhiễu, cải thiện độ tương phản, độ sắc nét, v. Một số kỹ thuật lọc ảnh phổ biến bao gồm: Lọc trung bình (Average filter), lọc Gaussian (Gaussian filter), lọc Laplacian (Laplacian filter).

• Thay đổi kích thước ảnh (Resizing): Để ảnh phù hợp với yêu cầu của các bước xử lý tiếp theo, bước này sẽ thay đổi kích thước ảnh. Một số kỹ thuật thay đổi kích thước ảnh phổ biến bao gồm: Thay đổi kích thước theo khung (Crop and resize), thay đổi kích thước theo tỷ lệ (Scaling). • Chuẩn hóa ảnh (Normalization): Bước này giúp làm cho các giá trị của ảnh có cùng quy mô, giúp cho các phép tính tiếp theo được chính xác hơn. Kỹ thuật chuẩn hóa ảnh phổ biến bao gồm: Chuẩn hóa theo giá trị trung bình (Mean normalization), Chuẩn hóa theo độ lệch chuẩn (Standardization).

Phát hiện đối tượng Phát hiện đối tượng là một bài toán quan trọng trong thị giác máy tính , giúp phát hiện các đối tượng trực quan, làm cơ sở cho các tác vụ khác như phân loại, chú thích, theo dõi đối tượng,…[17]. Có nhiều thuật toán phát hiện đối tượng khác nhau, chẳng hạn như: • Kỹ thuật phát hiện điểm ảnh cục bộ (local feature detection): Kỹ thuật này tìm kiếm các điểm ảnh cục bộ có đặc trưng độc đáo, chẳng hạn như các điểm Harris, các điểm SIFT, và các điểm SURF. 6 • Kỹ thuật phát hiện đối tượng bằng khuôn mẫu (template matching): Kỹ thuật này so sánh ảnh đầu vào với một khuôn mẫu đã biết. Nếu có sự tương đồng đáng kể giữa hai ảnh, thì có thể kết luận rằng đối tượng đã biết có mặt trong ảnh đầu vào.

• Kỹ thuật phát hiện đối tượng bằng học máy (machine learning): Kỹ thuật này sử dụng các mô hình học máy để phát hiện đối tượng trong ảnh. Các mô hình học máy phổ biến được sử dụng bao gồm các mô hình phân loại, các mô hình hồi quy, và các mô hình phát hiện đối tượng.3 mô tả hành trình phát triển của các thuật toán nhận diện từ năm 2001 đến năm 2022. Có thể thấy, từ năm 2012, sự tiến bộ nhanh chóng của deep learning đã mang lại những đổi mới đáng kể trong nhận dạng đối tượng, tạo ra các phương pháp và thuật toán hiện đại với độ chính xác cao. Các thuật toán nổi tiếng như RetinaNet, R- CNN, Fast-RCNN, YOLO và SSD là những cột mốc quan trọng trong phát triển của lĩnh vực này.

Đặc biệt, chúng dựa trên deep learning, đòi hỏi kiến thức sâu về toán học và học máy [18].3 Lịch sử phát triển các kỹ thuật phát hiện đối tượng Trong đồ án này, nhóm thực hiện đề tài sử dụng thuật toán phát hiện đối tượng YOLO dựa trên học máy để phát hiện thủ ngữ. YOLO (You Only Look Once) là một phương pháp tiên tiến trong lĩnh vực nhận diện vật thể, các đối tượng trong một hình ảnh sẽ được xác định và phân loại chỉ trong một lần nhìn. YOLO có tốc độ xử lý rất nhanh cùng độ chính xác cao, là một lựa chọn mạnh mẽ cho các ứng dụng thời gian thực [18]. Trích xuất đặc trưng Khi dữ liệu đầu vào của một thuật toán quá lớn và có thể mang nhiều dữ liệu dư thừa ngoài những dữ liệu cần xử lý, dữ liệu được chuyển thành một tập hợp các đặc trưng (còn được gọi là vector đặc trưng).

Mục tiêu chính của trích xuất đặc trưng là giữ lại chi tiết quan trọng nhất từ dữ liệu gốc và biểu diễn thông tin đó trong không gian 7 chiều thấp hơn [19]. Mục tiêu chính của trích xuất đặc trưng là một tập hợp các đặc trưng, giúp tăng tỷ lệ nhận dạng lên tối đa với số lượng thành phần ít nhất và tạo ra tập hợp đặc trưng tương tự cho các biến thể khác nhau của cùng một ký tự [20]. Các phương pháp trích xuất đặc trưng được sử dụng rộng rãi là: Kết hợp mẫu, Mẫu biến dạng, Biến đổi hình ảnh đơn vị, Mô tả đồ thị, Bảng chiếu, Hồ sơ đường viền, Chia vùng, Bất biến mô hình hình học, Mô-men Zernike, Xấp xỉ đường cong Spline, Mô tả Fourier, Đặc trưng gradient và Đặc trưng Gabor [21] Đặc trưng cục bộ: Thường là các đặc điểm hình học của từng phần nhỏ của ký tự, như các điểm lõm/lồi, số điểm cuối, số nhánh, điểm nối, v. Đặc trưng toàn cục: Thường là các đặc điểm cấu trúc hoặc thống kê của toàn bộ ký tự, như kết nối các nét, hình chiếu, số lỗ, bất biến mô men, v.

Đặc trưng cấp ký tự: • Dựa trên thang xám: Entropie, ngưỡng, số pixel đen. • Dựa trên đường nét: Đường viền ngoài và trong, độ dốc. • Cấu trúc: Tính chất hình học tổng thể của ký tự, như sự hiện diện của góc, đường chéo, đường thẳng đứng và ngang. • Độ lõm: Đặc điểm về hình dạng và cấu trúc của các nét, như hướng của các phần lõm, sự hiện diện của lỗ, các nét dọc và ngang lớn.

• Đặc trưng cấp vi mô (GSC): Đặc trưng phân biệt dựa trên cách viết của từng người [21].4 Trích xuất đặc trưng từ chữ “th” 8 Hình 2.4 cho thấy một số đặc trưng hình học được trích xuất từ chữ "th" viết tay. Các đặc trưng này bao gồm tỷ lệ khung hình, số điểm cuối, số giao điểm, kích thước và số vòng lặp, phân bố chiều rộng và chiều cao, độ nghiêng, hình dạng, độ cong trung bình và đặc trưng gradient. Phân loại Vai trò quan trọng không kém là bước phân loại vì bước này sẽ quyết định lớp hoặc đối tượng cụ thể mà mô hình đang xử lý. Quá trình này sẽ trích xuất các đặc trưng từ đối tượng hoặc mẫu, sau đó sử dụng các thuật toán phân loại để xác định lớp của đối tượng hoặc mẫu [23].

Thuật toán phân loại dựa trên ngưỡng là thuật toán đơn giản nhất trong computer vision. Thuật toán sẽ gán một lớp nhất định cho các đối tượng hoặc mẫu có giá trị đặc trưng nằm trên hoặc dưới một ngưỡng cụ thể. Thuật toán phân loại dựa trên xác suất sẽ tính xác suất của một đối tượng hoặc mẫu thuộc từng lớp. Đối tượng hoặc mẫu sẽ được gán cho lớp có xác suất cao nhất.

Thuật toán phân loại dựa trên học máy là thuật toán tiên tiến nhất trong computer vision. Các thuật toán này học các đặc trưng từ dữ liệu huấn luyện. Sau khi được đào tạo, các thuật toán này có thể sử dụng các đặc trưng này để phân loại các đối tượng hoặc mẫu mới. Các mô hình phân loại có thể kể đến như: Mô hình phân loại logistic, mô hình hỗ trợ vector máy (SVM), mô hình mạng nơ-ron nhân tạo (ANN), mô hình mạng nơ ron tích chập (CNN).

Tổng quan về YOLO 2. Tổng quan về YOLO You Only Look Once (YOLO) là một thuật toán nhận diện và phân loại đối tượng bằng cách sử dụng thị giác máy tính, được Redmon và đồng nghiệp ra mắt vào năm 2015. Trong những năm qua, các phiên bản tiếp theo của YOLO đã được các học giả công bố, bao gồm YOLO v2, YOLO v3, YOLO v4, YOLO v5 và mới nhất là YOLO v8 [24]. Là một thuật toán nhận diện vật thể, YOLO có thể xác định vị trí, phân loại hay dự đoán nhãn cho vật thể đó.

Với các thuật toán khác chỉ có thể dự đoán một nhãn cho bức ảnh, YOLO có thể dự đoán nhiều nhãn cho nhiều vật trong trong 1 bức ảnh duy nhất.5 Hệ thống xác định vật thể YOLO Ưu điểm chính của YOLO là khả năng dự đoán và phân loại đối tượng trực tiếp từ toàn bức ảnh, giảm thiểu các dự đoán lặp lại và tăng cường tốc độ xử lý.5 mô tả đơn giản cách hoạt động của YOLO.