Đồ án Khoa Cơ Điện Điện Tử Đại Học Lạc Hồng: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm

Tổng hợp đồ án khoa Cơ Điện Điện Tử Đại học Lạc Hồng khóa 18. Tài liệu tham khảo hữu ích cho sinh viên và kỹ sư ngành cơ điện tử. Download miễn phí!

• Tác giả: Phạm Tài Năng Triệu Vần Pham
• Người hướng dẫn: ThS. Ngô Kim Long
• Trường học: Đại học Lạc Hồng
• Chuyên ngành: Kỹ thuật Điện - Điện tử
• Đề tài: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm
• Loại tài liệu: Báo cáo nghiên cứu khoa học
• Năm xuất bản: 2022
• Địa điểm: Đồng Nai

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• DANH MỤC HÌNH ẢNH
• DANH MỤC BẢNG BIỂU
• 1. CHƯƠNG 1: TỔNG QUAN
• 1.1. Đặt vấn đề
• 1.3. Mục đích và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Giới thiệu phần mềm
• 2.2. Giới thiệu deep learning và ứng dụng
• 2.3. Quy trình cho một bài toán học sâu
• 2.4. Mô hình Convolution Neural Network (CNN)
• 2.4.1. Giới thiệu mạng CNN
• 2.4.2. Kiến trúc CNN
• 2.5. Các mô hình họ YOLO
• 2.5.1. Tổng quan về YOLO
• 2.5.2. Kiến trúc YOLO v1
• 2.5.3. Kiến trúc YOLOv2
• 3. CHƯƠNG 3: THIẾT KẾ
• 3.1. Phát biểu bài toán
• 3.1.1. Thuật toán YOLOV5
• 3.1.1.1. Kiến trúc của YOLO v5
• 3.2. Các pretrain-model của YOLO v5
• 3.3. Hiệu suất của các kiến trúc YOLO v5
• 3.4. Các độ đo trong bài toán Object detection
• 3.4.1. Giới thiệu về các độ đo
• 3.4.2. Các độ đo trong bài toán object detection
• 3.5. Dữ liệu thực nghiệm
• 3.5.1. Bảng tập dữ liệu
• 3.6. Quá trình huấn luyện và kiểm thử
• 3.6.1. Cấu hình yêu cầu
• 3.6.2. Kết quả huấn luyện
• 4. CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ
• 4.2. Bảng thống kế thử nghiệm
• 4.2.1. Kết quả kiểm thử trên tập validation dataset
• 4.2.2. Kết quả kiểm thử trên tập testing dataset
• 4.3. Đánh giá kết quả thực nghiệm
• 4.4. Nhận xét
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết quả đạt được
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC

Tóm tắt

I. Đồ án Cơ Điện Điện Tử Giải pháp đột phá nhận diện thủ ngữ người câm

Giao tiếp là một nhu cầu cơ bản của con người, nhưng đối với cộng đồng người khiếm thính, rào cản ngôn ngữ ký hiệu thường xuyên gây khó khăn. Đồ án Cơ Điện Điện Tử: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm ra đời nhằm giải quyết vấn đề cấp thiết này, mang lại giải pháp giao tiếp người khiếm thính hiệu quả hơn. Đây không chỉ là một sáng kiến công nghệ mà còn là một dự án mang ý nghĩa nhân văn sâu sắc. Đề tài tập trung vào việc phát triển một hệ thống có khả năng nhận diện thủ ngữ AI từ cử chỉ tay, sau đó chuyển đổi chúng thành dạng thông tin dễ hiểu cho người bình thường, như văn bản hoặc giọng nói. Mục đích chính là thu hẹp khoảng cách giao tiếp giữa người câm và người nghe, giúp họ hòa nhập tốt hơn vào xã hội.

Trong bối cảnh cách mạng công nghiệp 4.0, công nghệ nhận diện cử chỉ và học sâu cho thị giác máy tính đang mở ra những tiềm năng to lớn. Đồ án này tận dụng các tiến bộ đó để tạo ra một thiết bị hỗ trợ người câm thông minh, không chỉ giúp ích trong các tình huống giao tiếp hàng ngày mà còn trong các trường hợp khẩn cấp, nơi việc truyền đạt thông tin nhanh chóng là tối quan trọng. Phạm vi nghiên cứu của đề tài bao gồm việc tìm hiểu các ký hiệu thủ ngữ, xây dựng cơ sở dữ liệu liên quan đến xử lý ảnh và thị giác máy tính, và lập trình điều khiển trên nền tảng Visual Studio Code với ngôn ngữ Python (Phạm Tài Năng & Triệu Vần Pham, 2022).

Ứng dụng AI trong hỗ trợ người khuyết tật không ngừng phát triển, và đồ án này là một ví dụ điển hình cho thấy sự kết hợp giữa kỹ thuật cơ điện tử và trí tuệ nhân tạo có thể tạo ra những tác động tích cực như thế nào. Từ việc giảm gánh nặng cho các phiên dịch viên ngôn ngữ ký hiệu đến việc trao quyền tự chủ hơn cho người khiếm thính, tiềm năng của dự án là rất lớn. Việc phát triển đồ án kỹ thuật này không chỉ là một bài tập học thuật mà còn là bước tiến quan trọng trong việc xây dựng một xã hội công bằng và hòa nhập hơn.

1.1. Bức tranh toàn cảnh về thủ ngữ và ý nghĩa cộng đồng

Thủ ngữ, hay ngôn ngữ ký hiệu, là phương tiện giao tiếp chính của người câm. Đây là một hệ thống phức tạp bao gồm các cử chỉ tay, nét mặt và chuyển động cơ thể. Tuy nhiên, rào cản lớn nhất là số lượng phiên dịch viên ngôn ngữ ký hiệu ở Việt Nam còn rất hạn chế, trong khi có khoảng 1 đến 2,5 triệu người câm (Phạm Tài Năng & Triệu Vần Pham, 2022). Điều này khiến người câm gặp khó khăn khi giao tiếp với người lạ không biết thủ ngữ, đặc biệt trong các tình huống xã hội hoặc khẩn cấp. Mục tiêu của Đồ án Cơ Điện Điện Tử này là giảm thiểu rào cản đó, giúp người khiếm thính tự tin hơn trong việc bày tỏ ý muốn và cảm xúc của mình. Mục đích nhân văn của dự án là mang lại một cuộc sống gần gũi hơn với người bình thường, thúc đẩy sự hòa nhập xã hội. Nhu cầu về một giải pháp giao tiếp người khiếm thính hiệu quả là rất lớn, không chỉ giúp cá nhân mà còn nâng cao chất lượng dịch vụ y tế và giáo dục.

1.2. Đồ án tốt nghiệp cơ điện tử Tầm nhìn cho tương lai giao tiếp

Đồ án tốt nghiệp cơ điện tử này không chỉ là một công trình nghiên cứu mà còn là minh chứng cho tiềm năng của ngành trong việc giải quyết các vấn đề xã hội. Bằng cách tích hợp các kiến thức về điện tử, cơ khí và tin học, đồ án phát triển một hệ thống có khả năng nhận diện thủ ngữ AI. Dự án thể hiện sự kết hợp giữa lý thuyết và ứng dụng thực tế, từ việc nghiên cứu cơ sở lý thuyết học máy trong nhận diện thủ ngữ đến việc triển khai một hệ thống hoạt động được. Tầm nhìn của dự án là không chỉ hỗ trợ người câm mà còn giảm tải gánh nặng cho các y bác sĩ trong lĩnh vực phiên dịch, cho phép họ tập trung vào các khía cạnh chuyên môn khác của ngành y tế. Sự phát triển của các thiết bị hỗ trợ người câm như vậy góp phần định hình tương lai của công nghệ trợ giúp người khuyết tật, mở ra kỷ nguyên mới cho tương tác người máy (HCI).

II. Thách thức lớn Hạn chế giao tiếp của người khiếm thính tại Việt Nam

Mặc dù xã hội ngày càng phát triển, cộng đồng người khiếm thính và công nghệ vẫn còn những khoảng cách lớn trong giao tiếp. Người câm ở Việt Nam phải đối mặt với nhiều khó khăn trong cuộc sống hàng ngày, từ việc giao tiếp cơ bản đến việc tiếp cận các dịch vụ y tế. Thiếu hụt trầm trọng các phiên dịch viên ngôn ngữ ký hiệu là một vấn đề nhức nhối, khiến họ khó lòng tương tác với môi trường xung quanh. Ví dụ, trong các trường hợp khẩn cấp hoặc khi đi lạc, việc truyền đạt thông tin trở nên cực kỳ khó khăn. Rào cản này không chỉ ảnh hưởng đến cá nhân mà còn gây trở ngại cho việc hòa nhập xã hội, khiến họ cảm thấy tự ti và cô lập.

Các thiết bị hỗ trợ người câm hiện có ở Việt Nam còn rất ít và thường có những hạn chế nhất định. Ví dụ, găng tay chuyển ngữ có khả năng chuyển đổi thủ ngữ thành tiếng Việt và âm thanh, nhưng yêu cầu người dùng phải đeo găng tay, gây bất tiện trong một số trường hợp (Phạm Tài Năng & Triệu Vần Pham, 2022). Một sản phẩm khác là đồng hồ thông minh giúp chuyển đổi ngôn ngữ ký hiệu thành giọng nói và ngược lại, tuy nhỏ gọn nhưng vẫn cần tích hợp điện thoại thông minh. Những hạn chế này cho thấy nhu cầu cấp thiết về một hệ thống phiên dịch ngôn ngữ ký hiệu hiệu quả hơn, không cần thiết bị đeo và có khả năng nhận diện thủ ngữ AI một cách tự nhiên và liên tục. Việc phát triển các giải pháp giao tiếp người khiếm thính mới là cực kỳ quan trọng để cải thiện chất lượng cuộc sống cho hàng triệu người. Đây là một bài toán kỹ thuật phức tạp, đòi hỏi sự kết hợp của nhiều lĩnh vực công nghệ để tạo ra một sản phẩm hữu ích và tiện lợi.

2.1. Thực trạng thiếu thiết bị hỗ trợ người câm hiện có

Tại Việt Nam, các thiết bị hỗ trợ người câm còn khá khan hiếm và chưa thực sự phổ biến. Nhiều sáng kiến đã được thực hiện, nhưng hầu hết vẫn còn ở giai đoạn nghiên cứu hoặc có những hạn chế nhất định. Ví dụ, "Găng tay chuyển ngữ" của Phạm Thiên Tân và Chử Hoàng Minh Đức (2017) cho phép chuyển đổi thủ ngữ thành văn bản và âm thanh, nhưng yêu cầu người dùng phải đeo thiết bị. "Đồng hồ đa năng" của Trần Thị Thanh Ngân và Nguyễn Hiền Thảo Chi tích hợp điện thoại thông minh để chuyển đổi thủ ngữ thành giọng nói, mang lại sự nhỏ gọn nhưng vẫn là một thiết bị đeo. Những hạn chế này nhấn mạnh sự cần thiết của một công nghệ trợ giúp người khuyết tật tiên tiến hơn, không chỉ dừng lại ở các thiết bị đeo mà còn mở rộng sang các giải pháp dựa trên thị giác máy tính, cho phép nhận diện thủ ngữ AI tự nhiên và ít cồng kềnh hơn. Việc thiếu các giải pháp toàn diện tạo ra một khoảng trống lớn trong việc hỗ trợ cộng đồng người khiếm thính và công nghệ.

2.2. Rào cản ngôn ngữ ký hiệu Nhu cầu cấp thiết cho hệ thống phiên dịch thủ ngữ

Rào cản ngôn ngữ ký hiệu là một thách thức lớn đối với người câm khi giao tiếp với người nghe, đặc biệt là trong các tình huống yêu cầu sự chính xác và nhanh chóng. Sự thiếu hụt trầm trọng phiên dịch viên ngôn ngữ ký hiệu tại Việt Nam (Phạm Tài Năng & Triệu Vần Pham, 2022) làm tăng thêm gánh nặng này. Do đó, nhu cầu về một hệ thống phiên dịch thủ ngữ tự động trở nên cấp thiết. Một hệ thống như vậy không chỉ giúp người câm thể hiện ý muốn của mình mà còn hỗ trợ bác sĩ trong việc chẩn đoán và điều trị, giảm tải công việc phiên dịch. Công nghệ nhận diện cử chỉ dựa trên thị giác máy tính có tiềm năng lớn để giải quyết vấn đề này, bằng cách biến các cử chỉ tay phức tạp thành thông tin dễ hiểu. Việc phát triển thuật toán nhận diện ký hiệu tay hiệu quả là chìa khóa để tạo ra một giải pháp giao tiếp người khiếm thính toàn diện và dễ tiếp cận.

III. Cách ứng dụng Học Sâu và Thị giác Máy tính cho nhận diện thủ ngữ AI

Đồ án Cơ Điện Điện Tử này khai thác sức mạnh của học sâu cho thị giác máy tính và các thuật toán tiên tiến để xây dựng một hệ thống phiên dịch thủ ngữ hiệu quả. Trọng tâm của giải pháp là việc sử dụng nhận diện thủ ngữ AI thông qua các mô hình học sâu. Trí tuệ nhân tạo (AI) và deep learning đang là xương sống của cuộc cách mạng công nghiệp lần thứ tư, mang lại những bước tiến vượt bậc trong lĩnh vực khoa học máy tính (Phạm Tài Năng & Triệu Vần Pham, 2022). Đặc biệt, xử lý ảnh và thị giác máy tính đóng vai trò cực kỳ quan trọng trong việc phân tích các cử chỉ tay từ hình ảnh hoặc video.

Trong quy trình cho một bài toán học sâu, giai đoạn thu thập và tiền xử lý dữ liệu là nền tảng. Dữ liệu hình ảnh, video thường được thu thập từ camera hoặc các nguồn trực tuyến, sau đó trải qua quá trình làm sạch, tăng cường để đảm bảo chất lượng và tính nhất quán. Giai đoạn xây dựng mô hình liên quan đến việc lựa chọn các kiến trúc phù hợp như Mạng nơ-ron tích chập (CNN) cho dữ liệu hình ảnh. Sau đó, mô hình được huấn luyện và kiểm thử trên các tập dữ liệu chuyên biệt để đánh giá hiệu suất. Học máy trong nhận diện thủ ngữ đòi hỏi sự tinh chỉnh kỹ lưỡng các tham số để đạt được độ chính xác cao.

Việc tích hợp các công nghệ này không chỉ giúp nhận diện các ký hiệu tay mà còn mở ra tiềm năng cho việc chuyển đổi thủ ngữ thành văn bản hoặc chuyển đổi thủ ngữ thành giọng nói một cách tự động. Điều này tạo điều kiện thuận lợi cho giải pháp giao tiếp người khiếm thính và thể hiện tầm quan trọng của phát triển đồ án kỹ thuật trong việc giải quyết các vấn đề xã hội phức tạp. Các thuật toán như YOLO, được giới thiệu chi tiết trong đồ án, là ví dụ điển hình cho cách các mô hình học sâu có thể được tối ưu hóa cho tốc độ và độ chính xác trong các ứng dụng thời gian thực.

3.1. Nền tảng xử lý ảnh và thị giác máy tính trong đồ án

Xử lý ảnh và thị giác máy tính là các công nghệ cốt lõi giúp hệ thống hiểu và diễn giải các cử chỉ tay. Trong đồ án này, thị giác máy tính chịu trách nhiệm thu thập hình ảnh hoặc video từ camera, sau đó tiền xử lý để trích xuất các đặc trưng quan trọng của cử chỉ. Quá trình này bao gồm việc chuyển đổi ảnh từ dạng RGB sang miền [0-1], sử dụng các kỹ thuật tăng cường dữ liệu (argument data) để nâng cao chất lượng và số lượng dataset thủ ngữ. Mục tiêu là giúp mô hình học sâu có thể nhận diện các ký hiệu thủ ngữ một cách chính xác trong nhiều điều kiện ánh sáng và góc độ khác nhau. Việc áp dụng công nghệ thị giác máy tính cho người khuyết tật không chỉ cải thiện độ chính xác của nhận diện thủ ngữ AI mà còn tối ưu hóa hiệu suất, đảm bảo phản hồi theo thời gian thực. Các thuật toán này là nền tảng để xây dựng hệ thống phiên dịch ngôn ngữ ký hiệu đáng tin cậy.

3.2. Học máy trong nhận diện thủ ngữ Vai trò của các mạng Convolutional Neural Network

Học máy trong nhận diện thủ ngữ là thành phần trung tâm, đặc biệt là việc sử dụng các mạng Convolutional Neural Network (CNN). CNN là một mô hình học sâu rất mạnh mẽ, được thiết kế đặc biệt để xử lý dữ liệu hình ảnh, vượt trội trong các bài toán nhận dạng ảnh và phát hiện đối tượng (Phạm Tài Năng & Triệu Vần Pham, 2022). Trong đồ án này, CNN được sử dụng để học các đặc trưng phức tạp từ các hình ảnh cử chỉ tay. Các lớp convolution chồng lên nhau, kết hợp với các hàm kích hoạt phi tuyến tính, giúp mô hình tạo ra các thông tin trừu tượng hơn cho các lớp tiếp theo. Các mô hình như YOLO (You Only Look Once), đặc biệt là phiên bản YOLOv5, đã chứng tỏ khả năng vượt trội trong việc phát hiện đối tượng theo thời gian thực với độ chính xác cao. Việc lựa chọn và tinh chỉnh kiến trúc CNN phù hợp là yếu tố quyết định đến hiệu suất của thuật toán nhận diện ký hiệu tay, đảm bảo hệ thống có thể nhận biết và phân loại các cử chỉ một cách nhanh chóng và chính xác.

IV. Hướng dẫn thiết kế hệ thống Từ Dataset thủ ngữ đến mô hình YOLOv5

Quá trình thiết kế Đồ án Cơ Điện Điện Tử: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm đòi hỏi sự tỉ mỉ từ việc chuẩn bị dữ liệu đến triển khai mô hình học sâu. Trung tâm của hệ thống là khả năng nhận diện thủ ngữ AI theo thời gian thực. Bài toán đặt ra là khi người câm thực hiện một hành động thủ ngữ trước camera, hệ thống sẽ thu hình ảnh, xử lý và dự đoán ký hiệu đó là gì. Chẳng hạn, khi người dùng giơ tay ám chỉ chữ 'a' hoặc 'b' bằng thủ ngữ, hệ thống sẽ nhận diện và hiển thị kết quả tương ứng. Nếu không phải thủ ngữ, hệ thống sẽ không trả về kết quả (Phạm Tài Năng & Triệu Vần Pham, 2022). Để đạt được điều này, một quy trình thiết kế chặt chẽ đã được xây dựng.

Quy trình bao gồm các bước chính: thu thập dataset thủ ngữ, gán nhãn dữ liệu, tiền xử lý dữ liệu, huấn luyện mô hình và kiểm thử. Việc thu thập dataset thủ ngữ là yếu tố then chốt, bao gồm cả dữ liệu từ các trang web nổi tiếng như Kaggle, Youtube và dữ liệu tự quay. Dữ liệu này sau đó được gán nhãn bằng cách khoanh vùng khu vực ký hiệu và ghi nhãn cụ thể. Quá trình tiền xử lý dữ liệu giải quyết các vấn đề như sự đa dạng, nhiễu và thiếu hụt nhãn, sử dụng các kỹ thuật tăng cường dữ liệu và chuẩn hóa hình ảnh.

Bước quan trọng tiếp theo là huấn luyện mô hình, trong đó thuật toán YOLOv5 được lựa chọn vì hiệu suất và tốc độ vượt trội. Mô hình được đào tạo để học các đặc trưng của các ký hiệu thủ ngữ, sử dụng các tham số và cấu hình huấn luyện được tối ưu hóa. Sau khi huấn luyện, mô hình dự đoán sẽ là bộ trọng số tốt nhất được sử dụng để nhận diện các ký hiệu trong thực tế. Kiến trúc của YOLOv5, với CSPDarknet làm backbone và PANet để tổng hợp đặc trưng, cùng với các head để dự đoán đối tượng, đảm bảo khả năng công nghệ nhận diện cử chỉ hiệu quả.

4.1. Quy trình xây dựng và tiền xử lý dataset thủ ngữ hiệu quả

Chất lượng của dataset thủ ngữ ảnh hưởng trực tiếp đến hiệu quả của hệ thống nhận diện thủ ngữ AI. Trong đồ án, dữ liệu thực nghiệm được thu thập từ nhiều nguồn uy tín như Kaggle, video trên Youtube và tự quay, sau đó được gán nhãn cẩn thận. Tổng cộng 792 ảnh được gán nhãn, bao gồm 400 ảnh ký hiệu 'A' và 392 ảnh ký hiệu 'B'. Tập validation dataset bao gồm 400 ảnh, chia đều cho hai ký hiệu (Phạm Tài Năng & Triệu Vần Pham, 2022). Quá trình tiền xử lý dữ liệu rất quan trọng để làm sạch và tăng cường dữ liệu thô. Dữ liệu có thể bị thiếu sót, không nhất quán hoặc nhiễu, do đó cần được xử lý trước khi đưa vào mô hình học máy. Các kỹ thuật như augment data được sử dụng để tăng cường dữ liệu, và ảnh được chuyển từ dạng RGB [0-255] về miền [0-1] để chuẩn hóa. Quy trình này đảm bảo mô hình có thể học từ một tập dữ liệu đa dạng và chất lượng, nâng cao khả năng của hệ thống phiên dịch thủ ngữ.

4.2. Khám phá kiến trúc YOLOv5 Tối ưu cho công nghệ nhận diện cử chỉ

Trong lĩnh vực công nghệ nhận diện cử chỉ, thuật toán YOLOv5 được lựa chọn vì khả năng tối ưu hóa giữa tốc độ và độ chính xác. YOLOv5 là một dự án mã nguồn mở được xây dựng trên framework PyTorch, với nhiều cải tiến so với các phiên bản YOLO trước đó (Phạm Tài Năng & Triệu Vần Pham, 2022). Kiến trúc của YOLOv5 sử dụng CSPDarknet làm backbone để trích xuất đặc trưng từ ảnh đầu vào. PANet, với kiến trúc giống kim tự tháp, tổng hợp các đặc trưng này và chuyển về phần head để dự đoán. Các head này tạo ra các anchor boxes để phát hiện đối tượng xuất hiện trong hình ảnh. YOLOv5 có nhiều pretrain-model như YOLOv5n, YOLOv5s, YOLOv5m, YOLOv5l, YOLOv5x, với sự khác biệt về kích thước và thời gian suy luận. Trong đồ án này, phiên bản YOLOv5s được sử dụng để giải quyết bài toán nhận diện thủ ngữ AI, mang lại hiệu suất cân bằng cho phát triển đồ án kỹ thuật.

V. Đánh giá kết quả thực nghiệm Hiệu quả nhận diện thủ ngữ AI thực tế

Quá trình đánh giá kết quả thực nghiệm là bước then chốt để xác định hiệu quả của Đồ án Cơ Điện Điện Tử: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm. Việc này đảm bảo hệ thống phiên dịch thủ ngữ đáp ứng các tiêu chuẩn về độ chính xác và tốc độ. Để đánh giá mô hình, các số liệu và độ đo phổ biến trong bài toán Object Detection đã được áp dụng, bao gồm Precision, Recall, F1 score, IoU (Intersection Over Union) và mAP (mean Average Precision). Các độ đo này giúp so sánh vector dự đoán của mô hình (y_pred) với vector class thật của dữ liệu (y_true) (Phạm Tài Năng & Triệu Vần Pham, 2022).

Cấu hình máy huấn luyện mạnh mẽ, bao gồm CPU Intel core i5-10400F, GPU Nvidia RTX-3060-12GB và RAM DDR4 bus 2666 8GBx2, cùng với IDE Vscode, môi trường Anaconda 3, Python 3.7 và framework Pytorch, đã tạo điều kiện tối ưu cho việc huấn luyện. Quá trình huấn luyện model YOLOv5 được thực hiện với các tham số cấu hình như lrf 0.0, warmup_bias_lr 0.2 và batch-size 12, kéo dài 300 epoch.

Kết quả huấn luyện cho thấy mô hình YOLOv5 rất hiệu quả đối với bài toán phân biệt ký hiệu thủ ngữ. Mô hình có thể phát hiện nhanh chóng và chính xác trong các điều kiện ánh sáng và vị trí khác nhau trong ảnh. Quan trọng hơn, mô hình có khả năng nhận diện nhiều hành động cùng lúc. Kết quả mAP đạt được chứng tỏ mô hình học rất tốt với tập dữ liệu này. Đây là một bước tiến quan trọng trong việc triển khai nhận diện thủ ngữ AI và ứng dụng AI trong hỗ trợ người khuyết tật, mở ra những tiềm năng mới cho công nghệ trợ giúp người khuyết tật.

5.1. Phân tích các độ đo chính trong bài toán Object Detection

Trong bài toán Object Detection của Đồ án Cơ Điện Điện Tử, các độ đo Precision, Recall và F1 score đóng vai trò quan trọng để đánh giá khả năng nhận diện thủ ngữ AI. Precision là tỷ lệ số điểm True Positive (TP) trong số các điểm được phân loại là positive (TP + FP). Recall là tỷ lệ số điểm TP trong số các điểm thực sự là positive (TP + FN). F1 score là sự kết hợp giữa Precision và Recall. IoU (Intersection Over Union) là hàm đánh giá độ chính xác của bộ phát hiện đối tượng, được tính bằng tỷ lệ diện tích phần giao nhau giữa bounding box dự đoán và bounding box thực tế với diện tích phần hợp của chúng. Cuối cùng, mAP (mean Average Precision) là trung bình cộng giá trị AP của các class khác nhau, là chỉ số tổng hợp đánh giá hiệu quả của mô hình trên toàn bộ tập dữ liệu (Phạm Tài Năng & Triệu Vần Pham, 2022). Các độ đo này cho phép đánh giá toàn diện khả năng của thuật toán nhận diện ký hiệu tay.

5.2. Thành công ban đầu và ứng dụng AI trong hỗ trợ người khuyết tật

Thành công của Đồ án Cơ Điện Điện Tử được thể hiện qua khả năng nhận diện thủ ngữ AI nhanh chóng và chính xác các ký hiệu 'A' và 'B' bằng thủ ngữ, đồng thời phát ra âm thanh tương ứng. Mô hình YOLOv5 đã chứng tỏ hiệu quả cao, đạt mAP ấn tượng trên cả tập validation và testing dataset (Phạm Tài Năng & Triệu Vần Pham, 2022). Điều này khẳng định tính khả thi của việc ứng dụng AI trong hỗ trợ người khuyết tật, đặc biệt trong lĩnh vực giao tiếp. Mặc dù còn một số hạn chế như dữ liệu chưa bao phủ tất cả các ký hiệu thủ ngữ, và khả năng nhận diện sai khi ảnh mờ hoặc đối tượng ở xa, kết quả ban đầu đã chứng minh tiềm năng lớn của dự án. Thành công này mở đường cho việc phát triển các thiết bị hỗ trợ người câm tiên tiến hơn, đóng góp vào giải pháp giao tiếp người khiếm thính toàn diện, giúp họ hòa nhập tốt hơn vào xã hội.

VI. Kết luận về Đồ án Cơ Điện Điện Tử và hướng phát triển tương lai

Đồ án Cơ Điện Điện Tử: Nhận Diện Thủ Ngữ Hỗ Trợ Người Câm đã hoàn thành xuất sắc các mục tiêu đề ra, mang lại những kết quả đáng khích lệ trong việc ứng dụng công nghệ để giải quyết một vấn đề xã hội quan trọng. Trong phạm vi nghiên cứu và thực nghiệm với YOLOv5, đồ án đã tiến hành tìm hiểu sâu rộng về các thuật toán liên quan đến mạng neural network, từ các kiến trúc YOLOv1 đến YOLOv5 (Phạm Tài Năng & Triệu Vần Pham, 2022). Thành quả đạt được không chỉ là một hệ thống nhận diện thủ ngữ AI hoạt động hiệu quả mà còn là minh chứng cho tiềm năng của ngành cơ điện tử trong việc tạo ra giá trị nhân văn.

Một trong những thành công lớn nhất là việc nghiên cứu ưu nhược điểm của các mô hình thuật toán và lựa chọn được mô hình phù hợp nhất cho bài toán nhận diện thủ ngữ. Quá trình thử nghiệm với các tham số khác nhau đã giúp tìm ra bộ tham số tối ưu, đảm bảo hiệu suất cao của hệ thống. Đặc biệt, đồ án đã đạt được tính nhân văn cao, mang đến cơ hội giúp người câm có một cuộc sống gần gũi và dễ dàng giao tiếp hơn với người bình thường. Đây là một bước tiến quan trọng trong việc xây dựng một hệ thống phiên dịch thủ ngữ toàn diện.

Trong tương lai, tiềm năng mở rộng của đồ án là rất lớn. Việc tiếp tục thực nghiệm với nhiều ký tự khác trong bảng chữ cái Latin, bổ sung khả năng nhận diện các hành động thường gặp trong giao tiếp xã hội hàng ngày, sẽ nâng cao tính ứng dụng của hệ thống. Đồng thời, cải tiến tốc độ triển khai thực tế để đảm bảo hoạt động thời gian thực và tiết kiệm chi phí tính toán là mục tiêu quan trọng. Việc triển khai mô hình lên các thiết bị điện tử nhúng như Raspberry Pi 4 sẽ mang lại tính ứng dụng cao hơn, biến công nghệ trợ giúp người khuyết tật thành một phần thiết yếu của cuộc sống hàng ngày, giúp cộng đồng người khiếm thính và công nghệ ngày càng gắn kết. Những nỗ lực này không chỉ nâng cao chất lượng cuộc sống mà còn thúc đẩy sự hòa nhập xã hội toàn diện.

6.1. Thành tựu đã đạt được và ý nghĩa nhân văn của đồ án

Đồ án Cơ Điện Điện Tử này đã đạt được nhiều thành tựu đáng kể. Hệ thống đã thành công trong việc nhận diện thủ ngữ AI với các ký hiệu 'A' và 'B', đồng thời phát ra âm thanh tương ứng (Phạm Tài Năng & Triệu Vần Pham, 2022). Điều này chứng tỏ khả năng của công nghệ nhận diện cử chỉ dựa trên học sâu. Đồ án cũng đã nghiên cứu và lựa chọn thành công mô hình thuật toán YOLOv5 tối ưu, cùng với việc thử nghiệm và đưa ra bộ tham số tốt nhất. Ý nghĩa nhân văn của đề tài là vô cùng lớn, tạo cơ hội cho người câm giao tiếp dễ dàng hơn với xã hội, giảm bớt rào cản ngôn ngữ và sự tự ti. Dự án góp phần cải thiện chất lượng cuộc sống cho người khiếm thính, giúp họ hòa nhập và phát triển bản thân. Đây là một ví dụ điển hình về ứng dụng AI trong hỗ trợ người khuyết tật.

6.2. Tiềm năng mở rộng Chuyển đổi thủ ngữ thành giọng nói và điện tử nhúng

Các hướng phát triển trong tương lai của Đồ án Cơ Điện Điện Tử là vô cùng hứa hẹn. Một trong những mục tiêu chính là tiếp tục thực nghiệm với nhiều ký tự khác trong bảng chữ cái Latin và bổ sung khả năng nhận diện các hành động giao tiếp hàng ngày phổ biến. Việc cải tiến tốc độ triển khai thực tế để đảm bảo hiệu suất thời gian thực và tiết kiệm chi phí tính toán là cần thiết. Đặc biệt, triển khai mô hình lên các thiết bị điện tử nhúng như Raspberry Pi 4 sẽ mang lại tính ứng dụng thực tế cao, tạo ra các thiết bị hỗ trợ người câm nhỏ gọn và di động. Khả năng chuyển đổi thủ ngữ thành giọng nói một cách liền mạch và tự nhiên sẽ là bước tiến lớn, phá bỏ mọi rào cản giao tiếp. Những cải tiến này sẽ biến công nghệ trợ giúp người khuyết tật thành một công cụ mạnh mẽ, thúc đẩy sự tương tác người máy (HCI) hiệu quả hơn cho cộng đồng người khiếm thính và công nghệ.

Trích đoạn nội dung tài liệu

Đặt vấn đề Hiện nay các bệnh nhân bị câm rất khó tiếp xúc được với các thiết bị y tế, do thiếu phiên dịch viên ngôn ngữ. Ở nước ta hiện có khoảng 1 đến 2,5 triệu người câm, tuy nhiên có rất ít phiên dịch viên ngôn ngữ ký hiệu. Đối tượng áp dụng là : sản phẩn dùng hỗ trợ cho những đối tượng bị dị tật không thể giao tiếp được bằng lời nói và gặp nhiều khó khăn khi muốn giao tiếp với những người lạ không biết ngôn ngữ của người câm trong những trường hợp như: giao lưu với mọi người ngoài xh hay trường hợp khẩn cấp như muốn hỏi đường về nhà khi đi lạc .Đây là một đề tài có tính nhân văn cao là cơ hội giúp người câm điếc có một cuộc sống hằng ngày gần hơn với người bình thường. Người bình thường cũng có thể giao tiếp dễ dàng với người câm điếc mà không bị rào cản bởi các ngôn ngữ kí hiệu.

Nhóm hy vọng dự án này có thể được phát triển mở rộng để đóng góp cho cộng đồng người câm điếc hòa nhập hơn với xã hội. Ở Việt Nam có rất ít thiết bị hỗ trợ cho người câm điếc như: Găng tay chuyển ngữ. Sản phẩm găng tay chuyển ngữ của 2 bạn Phạm Thiên Tân và Chử Hoàng Minh Đức nghiên cứu và sáng tạo ra năm 2017 nó có khả năng chuyển đổi ngôn ngữ ký hiệu thành tiếng Việt xóa bỏ những rào cản vô hình. Về mặt ưu điểm: Người đeo vào găng tay sẽ đưa ra các kí hiệu ngôn ngữ sau đó trên màn hình sẽ xuất hiện văn bản cùng âm thanh tương ứng với từng cử chỉ tay của người dùng.

Nhược điểm: Cần phải đeo găng tay mới thực hiện được 9 Hình 1. 1 Găng tay chuyển ngữ Một sản phẩm của 2 bạn Trần Thị Thanh Ngân và Nguyễn Hiền Thảo Chi học trường THPT chuyên Trần Phú – Hải Phòng đã nghiên cứu ra sản phẩm đồng hồ đa năng giúp người câm điếc nói chuyện. Chiếc đồng hồ này tích hợp một chiếc điện thoại thông minh để chuyển đổi ngôn ngữ ký hiệu của người câm điếc thành giọng nói và giọng nói thành chữ viết.Nhưng điều đặc biệt sản phẩm này nhìn bên ngoài không khác gì các đồng hồ thông thường. Nhỏ gọn giúp người khuyết tật cảm thấy bớt sự tự ti trong giao tiếp, nâng cao cuộc sống hằng ngày.

2 Đồng hồ thông minh giúp người câm điếc Còn hôm nay chúng em làm về sản phẩm mô hình nhận dạng thủ ngữ hỗ trợ người câm giúp cho những người không được may mắn về mặt giọng nói họ có thể nói lên 10 được nỗi lòng của mình đồng thời giúp các y bác sĩ trong lĩnh vực phiên dịch giảm bớt gánh nặng công việc để có thể tập trung và phát triển các lĩnh vực khác của ngành y tế.3 Mục đích và phạm vi nghiên cứu. Đối tượng áp dụng là : sản phẩm dùng hỗ trợ cho những đối tượng bị dị tật không thể giao tiếp được bằng lời nói và gặp nhiều khó khăn khi muốn giao tiếp với những người lạ không biết ngôn ngữ của người câm trong những trường hợp như: giao lưu với mọi người ngoài xã hội hay trường hợp khẩn cấp như muốn hỏi đường về nhà khi đi lạc .4 Phương pháp nghiên cứu. Nghiên cứu qua các sách báo, tài liệu trên các website khoa học công nghệ trong nước và quốc tế sau đó phân tích và tổng hợp lại với nhau. Nghiên cứu các kí hiệu thủ ngữ và xây dựng dữ liệu liên quan đến xử lí ảnh, viết chương trình điều khiển lập trình trên phần mềm Visual Studio Code bằng ngôn ngữ Python.

11 CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2.1 Giới thiệu phần mềm. Sử dụng IDE visual studio code Hình 2. 1 Phần mềm lập trình visual code Là một trình biên tập lập trình code miễn phí dành cho Windows, Linux và macOS, Visual Studio Code được phát triển bởi Microsoft. Nó được xem là một sự kết hợp hoàn hảo giữa IDE và Code Editor.

Visual Studio Code hỗ trợ chức năng debug, đi kèm với Git, có syntax highlighting, tự hoàn thành mã thông minh, snippets, và cải tiến mã nguồn. Nhờ tính năng tùy chỉnh, Visual Studio Code cũng cho phép người dùng thay đổi theme, phím tắt, và các tùy chọn khác. Tính năng của visual code: Hỗ trợ nhiều ngôn ngữ lập trình. Visual Studio Code hỗ trợ nhiều ngôn ngữ lập trình như C/C++, C#, F#, Visual Basic, HTML, CSS, JavaScript, … Vì vậy, nó dễ dàng phát hiện và đưa ra thông báo nếu chương chương trình có lỗi.

Hỗ trợ đa nền tảng, cung cấp kho tiện ích mở rộng, hỗ trợ web, lưu trữ dữ liệu dạng phân cấp, lưu trữ dữ liệu dạng phân cấp, hỗ trợ viết Code, lưu trữ dữ liệu dạng phân cấp, màn hình đa nhiệm, Intellisense, hỗ trợ Git, bình luận. 12 Lý do chọn visual code. Lý do bạn nên sử dụng Visual Studio Code là vì nó có rất nhiều ưu điểm vượt trội so với bất kỳ IDE nào khác: Hỗ trợ đa nền tảng: Windows, Linux, Mac Hỗ trợ đa ngôn ngữ: C/C++, C#, F#, Visual Basic, HTML, CSS, JavaScript, JSON, ít dung lượng, Tính năng mạnh mẽ, Intellisense chuyên nghiệp, Giao diện thân thiện, Và trên hết, Visual Studio Code là phần mềm miễn phí, được đông đảo lập trình viên trên thế giới sử dụng Nghiên cứu về các động tác thủ ngữ của người câm thông qua sách, báo, trên các thông tin đại chúng và một số thiết bị và máy đã được ứng dụng vào trong cuộc sống. Trong đó cũng có nghiên cứu và chọn lọc với các tác giả trong và ngoài nước chuyên về xử lí ảnh, các nghiên cứu đã được công bố.

Sử dụng ngôn ngữ lập trình Python Hình 2. 2 Ngôn ngữ lập trình Python 3.7 Python là một ngôn ngữ lập trình bậc cao đa năng hướng đối tượng đã ra đời từ khá lâu, nhưng đến hiện tại vẫn là ngôn ngữ lập trình có nhiều ứng dụng thực tế và được sử dụng nhiều nhất hiện nay. Vì Python có ưu điểm dễ đọc, dễ nhớ cấu trúc rõ ràng và ngắn gọn tương thích trên nhiều nền tảng hệ điều hành khác nhau như Windows, Mac OS và Linux. 13 Uư điểm của ngôn ngữ lập trình python Dù là một trong những ngôn ngữ được sử dụng nhiều nhất hiện nay, Python có những ưu và nhược điểm riêng phù hợp với từng đối tượng khác nhau.

So với những ngôn ngữ lập trình hiện nay Python có cấu trúc đơn giản, rõ ràng ngắn gọn đặc biệt là rất dễ học đây được coi là ngôn ngữ nhập môn cho những người muốn theo nghề lập trình viên. Ngoài ứng dụng của Python rất đa năng thì ngôn ngữ này còn có mặt trên tất cả các hệ điều hành như Windows, MacOS, MS-DOS, Unix,. Một ưu điểm lớn không thể bỏ qua của Python chính là tương thích với thư viện lớn nhất hiện nay với 400 triệu người sử như data mining Scikit-learn, Pandas. Có tốc độ xử lý cực nhanh, Python có thể phát triển để tạo ra những script siêu nhỏ tới những phần mềm cực lớn như Blender 3D.

Nhược điểm của ngôn ngữ lập trình python: Dù có rất nhiều ưu điểm và có ứng dụng đa năng thì Python cũng có một vài khuyết điểm như: Python không có các thuộc tính như :protected,private hay public, không có vòng lặp do…while và switch…. Dù có nhiều ưu điểm tốt hơn so với các ngôn ngữ lập trình khác nhưng lại có tốc độ chậm hơn ngôn ngữ lập trình C++, Java. Tuy cũng có một vài nhược điểm nhỏ nhưng Python vẫn là ngôn ngữ lập trình mà bất cứ lập trình viên nào cũng nên học hỏi và làm quen, để tiết kiệm thời gian trong công việc cũng như phát triển hơn nữa trong nghề nghiệp. ứng dụng của pyhon trong thực tế.

Ứng dụng của Python trong tự động hóa công việc.2 Giới thiệu deep learning và ứng dụng. Trong những năm gần đây, trí tuệ nhân tạo (Artificial Intelligence) đang nổi lên như một bằng chứng của cuộc cách mạng công nghiệp lần thứ tư, với sự phát triển vượt bậc của deep learning đã giúp cho con người tiến lên một bậc trong ngành khoa học máy tính, mở ra các hướng nghiên cứu, những ứng dụng trong thực tế. Trí tuệ nhân tạo đang ngày càng chiếm một phần quan trọng trong cuộc sống của chúng ta, từ những chiếc xe ô tô tự hành của tesla, google đến các mạng xã hội sử dụng trí tuệ nhân tạo cũng như các hệ thống gợi ý tiên tiến của Netflix, Tiktok đó chỉ là một trong các ứng dụng của trí tuệ nhân tạo. Deep learning được xây dựng dựa trên nguyên lý giống như cấu tạo bộ não của con người bao gồm các mạng neural network bằng các liên kết với nhau giúp cho máy có thể học tập tương tự như con người.

Các hướng chính nghiên cứu và ứng dụng chính của deep learning hiện nay chính là computer vision, natural language processing, reinforcement learning, trong đó computer vision bao gồm các bài toán chính như phân loại ảnh, video, phát hiện đối tượng, sinh ảnh, natural language processing áp dụng trong các bài toán về text trong đó có dịch máy, phân loại văn bản, phân tích ngữ nghĩa, các hệ thống tìm kiếm. Reinforcement learning được ứng dụng trong các ứng dụng mô phỏng, các hệ thống trò chơi điện tử, robot… 2.3 Sơ đồ về deep learning. 3 Quy trình cho một bài toán học sâu. 15 Giai đoạn 1: Thu thập dữ liệu.

Quá trình thu thập dữ liệu phụ thuộc vào bài toán mà chúng ta muốn giải quyết, đối với các bài toán có liên quan đến dữ liệu hình ảnh, video ta có thể sử dụng các camera để thu lưu trữ hoặc chúng ta có thể thu thập nguồn dữ liệu từ internet. Đối với dữ liệu text ta thường phải thu thập cũng như truy xuất từ database các nguồn phong phú trên internet. Qúa trình thu thập dữ liệu cần chú ý đến chất lượng của dữ liệu như sự đa dạng của dữ liệu, độ sạch của dữ liệu, tính nhất quán của dữ liệu. Quá trình thu thập dữ liệu phụ thuộc vào bài toán mà chúng ta muốn giải quyết, đối với các bài toán có liên quan đến dữ liệu hình ảnh, video ta có thể sử dụng các camera để thu lưu trữ hoặc chúng ta có thể thu thập nguồn dữ liệu từ internet.

Đối với dữ liệu text ta thường phải thu thập cũng như truy xuất từ database các nguồn phong phú trên internet. Qúa trình thu thập dữ liệu cần chú ý đến chất lượng của dữ liệu như sự đa dạng của dữ liệu, độ sạch của dữ liệu, tính nhất quán của dữ liệu. Giai đoạn 2: Tiền xử lý dữ liệu. Tiền xử lý dữ liệu là một trong những giai đoạn quan trọng trong học máy, nó giúp xây dựng mô hình học máy chính xác.