Nhận Diện Cử Chỉ Tay Dựa Trên Trở Kháng Sinh Học

Chuyên khảo phân tích Nhận diện cử chỉ tay dựa trên trở kháng sinh học, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Thân Hải Nhật Minh
• Người hướng dẫn: TS. Nguyễn Trung Hậu
• Trường học: Đại học Bách Khoa - ĐHQG TP. Hồ Chí Minh
• Chuyên ngành: Vật lý kỹ thuật
• Đề tài: Nhận Diện Cử Chỉ Tay Dựa Trên Trở Kháng Sinh Học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Mục tiêu đề tài
• 1.2. Cấu trúc luận văn
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Các loại cảm biến nhận diện cử chỉ tay
• 2.2. Cảm biến tiếp cận theo hướng sử dụng hình ảnh
• 2.3. Cảm biến tiếp cận theo hướng không sử dụng hình ảnh
• 2.4. Các nghiên cứu nhận diện cử chỉ tay bằng cảm biến trở kháng
• 2.5. Cảm biến trở kháng sinh học
• 2.6. Đo trở kháng sinh học
• 2.7. Sử dụng IC AD5933 để đo trở kháng sinh học
• 3. CHƯƠNG 3: PHƯƠNG PHÁP THỰC HIỆN
• 3.1. Thiết kế đo trở kháng sinh học
• 3.2. Thành phần thiết bị và vận hành
• 3.2.1. Thành phần thiết bị
• 3.2.2. Thiết kế phần cứng
• 3.2.3. Thiết kế phần mềm
• 3.3. Quy trình đo trở kháng
• 3.4. Thu thập dữ liệu
• 3.5. Nhận diện cử chỉ tay (Hand gesture recognition – HGR)
• 4. CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ
• 4.1. Thiết kế thiết bị
• 4.2. Nhận diện cử chỉ tay
• 4.3. Kiểm tra độ chính xác
• 4.4. Nhược điểm
• 4.5. Hướng phát triển trong tương lai
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nhận Diện Cử Chỉ Tay Trở Kháng Sinh Học

Trong bối cảnh công nghệ phát triển, nhận diện cử chỉ tay ngày càng trở nên quan trọng trong giao tiếp người-máy, đặc biệt trong các lĩnh vực như công nghiệp, giáo dục và y tế. Các hệ thống tự động hóa cần sự linh hoạt và khả năng tương tác tự nhiên của con người. Điện trở sinh học, một phương pháp mới để thu thập thông tin cử chỉ, hứa hẹn mang lại giải pháp hiệu quả. Gần 7% dân số Việt Nam gặp vấn đề về thính giác, việc phát triển hệ thống nhận dạng cử chỉ hỗ trợ người câm điếc là vô cùng cần thiết. Nghiên cứu này tập trung vào phát triển hệ thống sử dụng cảm biến trở kháng để thu thập và phân loại cử chỉ tay theo thời gian thực, ứng dụng học máy để tăng độ chính xác. Cần có những thuật toán nhận dạng tối ưu.

1.1. Giới Thiệu Về Ứng Dụng Nhận Diện Cử Chỉ Tay

Ứng dụng nhận diện cử chỉ tay mở ra khả năng tương tác trực quan và tự nhiên giữa con người và thiết bị. Từ điều khiển thiết bị điện tử đến hỗ trợ người khuyết tật, ứng dụng này có tiềm năng thay đổi cách chúng ta làm việc và giao tiếp. Nghiên cứu của luận văn này tập trung vào việc phát triển một hệ thống nhận diện cử chỉ tay dựa trên trở kháng sinh học để giúp giao tiếp hiệu quả hơn giữa mọi người, đặc biệt là giữa người khiếm thính và cộng đồng. Các giao diện người máy ngày càng thân thiện.

1.2. Tầm Quan Trọng Của Trở Kháng Sinh Học Trong Nhận Diện Cử Chỉ

Trở kháng sinh học cung cấp một phương pháp độc đáo để thu thập thông tin về cử chỉ tay bằng cách đo sự thay đổi điện trở trong cơ thể. Phương pháp này hứa hẹn độ chính xác cao và khả năng hoạt động trong nhiều môi trường khác nhau. Nghiên cứu của Thân Hải Nhật Minh đã sử dụng cảm biến trở kháng để thu thập dữ liệu và huấn luyện mô hình học máy, đạt được độ chính xác ấn tượng. Dữ liệu biosignals đóng vai trò quan trọng.

II. Thách Thức Vấn Đề Trong Nhận Diện Cử Chỉ Tay Hiện Nay

Mặc dù có nhiều tiến bộ, nhận diện cử chỉ tay vẫn đối mặt với một số thách thức lớn. Các hệ thống dựa trên hình ảnh có thể bị ảnh hưởng bởi ánh sáng và góc nhìn, trong khi các phương pháp khác có thể yêu cầu thiết bị phức tạp và đắt tiền. Sự khác biệt về hình thái cơ thể, tốc độ cử động tay của từng cá nhân cũng tạo ra khó khăn trong việc xây dựng một hệ thống nhận dạng cử chỉ chung. Hơn nữa, việc xử lý dữ liệu thời gian thực và đảm bảo độ chính xác cao vẫn là những vấn đề cần giải quyết. Độ nhiễu từ môi trường cũng ảnh hưởng tới quá trình xử lý tín hiệu.

2.1. Hạn Chế Của Phương Pháp Nhận Dạng Cử Chỉ Dựa Trên Hình Ảnh

Phương pháp nhận dạng cử chỉ dựa trên hình ảnh, mặc dù phổ biến, nhưng dễ bị ảnh hưởng bởi điều kiện ánh sáng, góc nhìn và sự phức tạp của nền. Điều này có thể dẫn đến giảm độ chính xác và tính ổn định của hệ thống, đặc biệt trong môi trường thực tế. Các hệ thống này cũng đòi hỏi tài nguyên tính toán lớn và có thể không phù hợp cho các thiết bị di động. Cần có thuật toán nhận dạng mạnh mẽ để vượt qua các hạn chế này.

2.2. Khó Khăn Trong Việc Xây Dựng Hệ Thống Nhận Diện Cử Chỉ Tổng Quát

Xây dựng một hệ thống nhận diện cử chỉ hoạt động tốt cho mọi người là một thách thức lớn. Sự khác biệt về kích thước tay, tốc độ cử động và thói quen của từng cá nhân có thể ảnh hưởng đến hiệu suất của hệ thống. Việc thu thập dữ liệu đa dạng và phát triển các mô hình học máy có khả năng thích ứng là rất quan trọng để vượt qua thách thức này. Cần có dữ liệu lớn để huấn luyện mô hình.

III. Phương Pháp Đo Trở Kháng Sinh Học Với IC AD5933

Để giải quyết các hạn chế trên, nghiên cứu này tập trung vào sử dụng trở kháng sinh học kết hợp với IC AD5933. AD5933 là một vi mạch đo trở kháng có độ chính xác cao, tích hợp nhiều chức năng cần thiết như bộ phát tần số, bộ chuyển đổi tín hiệu và bộ xử lý tín hiệu. Việc sử dụng AD5933 cho phép xây dựng một hệ thống đo điện trở sinh học nhỏ gọn, hiệu quả và có độ chính xác cao. AD5933 giúp thu thập dữ liệu điện trở một cách chính xác. Thiết kế phần cứng đóng vai trò quan trọng.

3.1. Ưu Điểm Của IC AD5933 Trong Đo Trở Kháng Sinh Học

IC AD5933 mang lại nhiều ưu điểm vượt trội trong việc đo trở kháng sinh học. Khả năng tích hợp nhiều chức năng trên một chip duy nhất giúp giảm kích thước và độ phức tạp của hệ thống. Độ chính xác cao của AD5933 đảm bảo dữ liệu đo được đáng tin cậy. Ngoài ra, AD5933 cũng hỗ trợ giao tiếp I2C, giúp dễ dàng tích hợp với các vi điều khiển khác. Cần hiệu chỉnh cảm biến trở kháng thường xuyên.

3.2. Thiết Kế Mạch Đo Trở Kháng Dựa Trên AD5933

Thiết kế mạch đo trở kháng dựa trên AD5933 đòi hỏi sự chú ý đến các yếu tố như lựa chọn điện cực, thiết kế bộ khuếch đại và bộ lọc, và cách ly tín hiệu. Việc lựa chọn điện cực phù hợp giúp đảm bảo tiếp xúc tốt với da và giảm nhiễu. Thiết kế bộ khuếch đại và bộ lọc giúp tăng cường tín hiệu và loại bỏ các thành phần không mong muốn. Đảm bảo rằng thiết kế tuân thủ các quy định an toàn điện là rất quan trọng. Cần đảm bảo chất lượng điện cực.

IV. Xây Dựng Mô Hình Học Máy Nhận Diện Cử Chỉ Tay

Sau khi thu thập dữ liệu trở kháng, bước tiếp theo là xây dựng mô hình học máy để phân loại các cử chỉ tay. Trong nghiên cứu này, mạng nơ-ron tích chập (Convolutional Neural Network - CNN) được sử dụng. CNN là một loại mạng nơ-ron đặc biệt phù hợp cho việc xử lý dữ liệu có cấu trúc không gian, chẳng hạn như hình ảnh và tín hiệu thời gian. Quá trình huấn luyện mô hình bao gồm tiền xử lý dữ liệu, chia dữ liệu thành tập huấn luyện và tập kiểm tra, và tối ưu hóa các tham số của mô hình. Mô hình cần được huấn luyện kỹ càng để đạt được độ chính xác cao.

4.1. Lựa Chọn Và Huấn Luyện Mô Hình Mạng Nơ Ron Tích Chập CNN

CNN được lựa chọn vì khả năng tự động trích xuất các đặc trưng quan trọng từ dữ liệu trở kháng. Quá trình huấn luyện CNN bao gồm việc điều chỉnh các tham số của mô hình để giảm thiểu sai số trên tập huấn luyện. Các kỹ thuật như tăng cường dữ liệu và điều chỉnh tốc độ học có thể được sử dụng để cải thiện hiệu suất của mô hình. Độ chính xác là một yếu tố quan trọng để đánh giá.

4.2. Tiền Xử Lý Dữ Liệu Trở Kháng Cho Mô Hình Học Máy

Dữ liệu trở kháng thu thập được thường chứa nhiều nhiễu và biến động. Tiền xử lý dữ liệu là bước quan trọng để loại bỏ nhiễu và chuẩn hóa dữ liệu. Các kỹ thuật tiền xử lý có thể bao gồm lọc nhiễu, loại bỏ giá trị ngoại lệ và chuẩn hóa dữ liệu. Việc tiền xử lý dữ liệu đúng cách có thể cải thiện đáng kể hiệu suất của mô hình học máy. Sử dụng các phương pháp xử lý tín hiệu hiệu quả.

V. Kết Quả Đánh Giá Hệ Thống Nhận Diện Cử Chỉ Tay

Hệ thống nhận diện cử chỉ tay được xây dựng trong nghiên cứu này đã đạt được độ chính xác ấn tượng, đạt 92%. Kết quả này cho thấy tiềm năng lớn của phương pháp sử dụng trở kháng sinh học và CNN trong việc nhận dạng cử chỉ. Tuy nhiên, nghiên cứu cũng chỉ ra một số hạn chế cần được giải quyết trong tương lai, chẳng hạn như kích thước tập dữ liệu nhỏ và sự khác biệt giữa các đối tượng thử nghiệm. Cần thử nghiệm trên nhiều đối tượng để tăng tính tổng quát của hệ thống.

5.1. Đánh Giá Độ Chính Xác Của Mô Hình Nhận Diện Cử Chỉ

Độ chính xác của mô hình nhận diện cử chỉ được đánh giá bằng cách sử dụng tập kiểm tra độc lập. Các chỉ số như độ chính xác, độ thu hồi và độ đo F1 được sử dụng để đánh giá hiệu suất của mô hình. Ma trận nhầm lẫn cũng được sử dụng để phân tích các lỗi phân loại của mô hình. Cần cải thiện độ tin cậy của hệ thống.

5.2. Thảo Luận Về Các Hạn Chế Và Hướng Phát Triển Tương Lai

Nghiên cứu này có một số hạn chế, bao gồm kích thước tập dữ liệu nhỏ và sự khác biệt giữa các đối tượng thử nghiệm. Hướng phát triển tương lai bao gồm thu thập thêm dữ liệu, thử nghiệm trên nhiều đối tượng hơn và sử dụng các kỹ thuật học máy tiên tiến hơn. Ứng dụng trong IoT và y tế là những hướng đi tiềm năng.

VI. Kết Luận Về Tiềm Năng Của Nhận Diện Cử Chỉ Bằng Trở Kháng

Nghiên cứu này đã chứng minh tiềm năng của việc sử dụng trở kháng sinh học và học máy để xây dựng một hệ thống nhận diện cử chỉ tay hiệu quả. Hệ thống này có thể được sử dụng để hỗ trợ người câm điếc, điều khiển thiết bị điện tử và phát triển các ứng dụng tương tác mới. Việc tiếp tục nghiên cứu và phát triển trong lĩnh vực này có thể mang lại những lợi ích to lớn cho xã hội. Ứng dụng cho thiết bị hỗ trợ là một hướng đi đầy hứa hẹn.

6.1. Tổng Kết Về Nghiên Cứu Nhận Diện Cử Chỉ Dựa Trên Trở Kháng

Luận văn đã trình bày một phương pháp mới để nhận diện cử chỉ tay dựa trên trở kháng sinh học. Phương pháp này hứa hẹn độ chính xác cao và khả năng hoạt động trong nhiều môi trường khác nhau. Kết quả nghiên cứu cho thấy tiềm năng lớn của phương pháp này trong việc giải quyết các vấn đề thực tế. Ứng dụng trong phục hồi chức năng có thể cải thiện chất lượng cuộc sống.

6.2. Triển Vọng Và Ứng Dụng Của Công Nghệ Nhận Diện Cử Chỉ Tương Lai

Công nghệ nhận diện cử chỉ có tiềm năng thay đổi cách chúng ta tương tác với thế giới xung quanh. Trong tương lai, chúng ta có thể thấy công nghệ này được sử dụng trong nhiều lĩnh vực khác nhau, từ y tế đến giải trí và giáo dục. Việc tiếp tục nghiên cứu và phát triển trong lĩnh vực này có thể mang lại những lợi ích to lớn cho xã hội. Phát triển cảm biến đeo được sẽ mở ra những ứng dụng mới.

Nội dung chính

Tổng quan nghiên cứu

Nhận diện cử chỉ tay là một lĩnh vực nghiên cứu quan trọng, đặc biệt trong bối cảnh gần 7% dân số Việt Nam từ 2 tuổi trở lên bị điếc hoặc gặp vấn đề về thính giác, tương đương hơn 6,2 triệu người. Việc giao tiếp của nhóm đối tượng này chủ yếu dựa vào ngôn ngữ ký hiệu, vốn có cú pháp khác biệt và khó học, dẫn đến nhiều người khiếm thính không thành thạo ngôn ngữ ký hiệu, gây ra rào cản giao tiếp nghiêm trọng. Nghiên cứu này nhằm phát triển một hệ thống nhận diện cử chỉ tay dựa trên cảm biến trở kháng sinh học, giúp hỗ trợ giao tiếp cho người khiếm thính, nâng cao chất lượng cuộc sống và mở rộng ứng dụng trong các lĩnh vực y tế, giáo dục và công nghiệp.

Mục tiêu cụ thể của luận văn là thiết kế và xây dựng một thiết bị đo trở kháng sinh học sử dụng IC AD5933, thu thập dữ liệu trở kháng từ các cử chỉ tay, và áp dụng mô hình học sâu Convolutional Neural Network (CNN) để nhận dạng cử chỉ theo thời gian thực trên nền tảng Raspberry Pi 4 Model B. Phạm vi nghiên cứu tập trung vào 9 cử chỉ tay phổ biến trong ngôn ngữ ký hiệu Việt Nam, thu thập dữ liệu từ hai người khiếm thính tại TP. Hồ Chí Minh trong năm 2023. Độ chính xác mô hình đạt 92%, cho thấy tiềm năng ứng dụng thực tiễn trong giao tiếp phi ngôn ngữ giữa người với người và người với máy.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết chính: lý thuyết trở kháng điện tử sinh học và mô hình học sâu CNN. Trở kháng sinh học đo đặc tính điện của mô và tế bào, được biểu diễn dưới dạng số phức gồm phần thực và phần ảo, phản ánh điện trở và điện kháng của mô theo tần số tín hiệu kích thích. IC AD5933 được sử dụng để phát tín hiệu xoay chiều 40 kHz và thu nhận tín hiệu phản hồi, xử lý bằng thuật toán biến đổi Fourier rời rạc (DFT) để tính toán trở kháng.

Mô hình CNN được áp dụng để phân loại dữ liệu trở kháng thu thập từ 5 điện cực đặt trên các ngón tay, khai thác khả năng trích xuất đặc trưng tự động từ dữ liệu đa chiều, phù hợp với bài toán nhận dạng cử chỉ tay. Các khái niệm chính bao gồm: trở kháng sinh học, tần số kích thích, điện cực sinh học, học sâu CNN, và nhận dạng cử chỉ tay (Hand Gesture Recognition - HGR).

Phương pháp nghiên cứu

Nguồn dữ liệu được thu thập trực tiếp từ hai người khiếm thính, với 9 loại cử chỉ tay, mỗi cử chỉ được đo trong khoảng 1,5 giây, gồm 5 lần quét tần số, mỗi lần trả về 5 giá trị trở kháng tương ứng 5 ngón tay. Dữ liệu được lưu dưới dạng ma trận 5x5 đặc trưng cho từng cử chỉ.

Phương pháp phân tích sử dụng mô hình học sâu CNN được huấn luyện ngoại tuyến trên máy tính, sau đó triển khai trên Raspberry Pi 4 để nhận dạng cử chỉ theo thời gian thực. Cỡ mẫu tuy hạn chế nhưng đủ để đánh giá hiệu quả mô hình với độ chính xác 92%. Quá trình thu thập và phân tích dữ liệu được thực hiện từ tháng 2 đến tháng 6 năm 2023 tại TP. Hồ Chí Minh.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Độ chính xác mô hình CNN đạt 92% trong nhận dạng 9 cử chỉ tay, vượt trội so với mô hình Fully Connected Network (FCN) trước đó chỉ đạt khoảng 76%. Điều này chứng tỏ CNN phù hợp với bài toán nhận dạng dựa trên dữ liệu trở kháng sinh học.

2. Dữ liệu trở kháng thu thập từ 5 điện cực trên các ngón tay cho phép phân biệt rõ ràng các cử chỉ tĩnh và động, với sự khác biệt về giá trị trở kháng tại từng ngón tay thể hiện qua ma trận dữ liệu.

3. Hệ thống vận hành ổn định với tần số kích thích 40 kHz, dòng điện phát ra ≤ 1mA, đảm bảo an toàn theo tiêu chuẩn IEC-60601, đồng thời thu được tín hiệu trở kháng có độ nhạy cao.

4. Thiết bị nhỏ gọn, sử dụng mạch VCCS và mạch ghép Multiplexer, giúp thu thập dữ liệu đa kênh hiệu quả, phù hợp cho ứng dụng đeo tay và vận hành thời gian thực.

Thảo luận kết quả

Nguyên nhân chính dẫn đến độ chính xác cao của mô hình CNN là khả năng trích xuất đặc trưng không gian và thời gian từ dữ liệu trở kháng đa chiều, giúp phân biệt các cử chỉ tay phức tạp. So với các nghiên cứu sử dụng cảm biến hình ảnh hoặc cảm biến chiều sâu, phương pháp sử dụng cảm biến trở kháng có ưu điểm về bảo mật dữ liệu, giảm thiểu ảnh hưởng của điều kiện ánh sáng và môi trường.

Kết quả này phù hợp với các báo cáo gần đây về ứng dụng trở kháng sinh học trong y sinh, mở rộng sang lĩnh vực nhận dạng cử chỉ tay. Mặc dù cỡ mẫu còn hạn chế, kết quả đủ để khẳng định tính khả thi và hiệu quả của phương pháp, đồng thời làm nền tảng cho các nghiên cứu mở rộng với số lượng mẫu lớn hơn và đa dạng hơn.

Dữ liệu có thể được trình bày qua biểu đồ ma trận nhầm lẫn (confusion matrix) và biểu đồ độ chính xác theo từng lớp cử chỉ, giúp trực quan hóa hiệu suất mô hình và các điểm nhạy cảm trong nhận dạng.

Đề xuất và khuyến nghị

1. Mở rộng cỡ mẫu và đa dạng hóa đối tượng thử nghiệm nhằm nâng cao độ tin cậy và khả năng tổng quát của mô hình, dự kiến thực hiện trong 12 tháng tiếp theo, do các viện nghiên cứu và trường đại học phối hợp thực hiện.

2. Phát triển thiết bị thành sản phẩm thương mại nhỏ gọn, dễ sử dụng, tích hợp giao diện người dùng thân thiện, hướng tới ứng dụng trong giáo dục và hỗ trợ người khiếm thính, với mục tiêu hoàn thiện trong 18 tháng.

3. Nâng cao thuật toán học máy bằng cách áp dụng các mô hình học sâu tiên tiến hơn, như mạng LSTM hoặc kết hợp CNN-RNN để cải thiện nhận dạng cử chỉ động, dự kiến nghiên cứu trong 6 tháng tiếp theo.

4. Tích hợp hệ thống với các thiết bị hỗ trợ giao tiếp khác, như trợ lý ảo hoặc robot phục vụ y tế, nhằm mở rộng ứng dụng trong chăm sóc sức khỏe và giao tiếp phi ngôn ngữ, triển khai thử nghiệm trong 24 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Vật lý kỹ thuật, Kỹ thuật y sinh: Nghiên cứu cung cấp kiến thức về cảm biến trở kháng sinh học và ứng dụng trong nhận dạng cử chỉ, hỗ trợ phát triển các đề tài liên quan.

2. Chuyên gia phát triển thiết bị hỗ trợ người khiếm thính: Tham khảo phương pháp đo trở kháng và mô hình học máy để thiết kế sản phẩm hỗ trợ giao tiếp hiệu quả.

3. Kỹ sư phần mềm và lập trình viên AI: Áp dụng mô hình CNN và quy trình thu thập dữ liệu thực tế để phát triển các ứng dụng nhận dạng cử chỉ theo thời gian thực.

4. Cơ quan y tế và tổ chức xã hội: Hiểu rõ tiềm năng công nghệ trong hỗ trợ người khuyết tật, từ đó xây dựng chính sách và chương trình hỗ trợ phù hợp.

Câu hỏi thường gặp

1. Phương pháp đo trở kháng sinh học có ưu điểm gì so với cảm biến hình ảnh?
   Phương pháp này không phụ thuộc vào điều kiện ánh sáng, bảo mật dữ liệu tốt hơn và giảm thiểu ảnh hưởng môi trường, đồng thời cho phép thu thập tín hiệu sinh lý trực tiếp từ mô.

2. Tại sao chọn IC AD5933 cho thiết bị đo trở kháng?
   AD5933 tích hợp đầy đủ các thành phần cần thiết như bộ tạo tần số, DAC, ADC và DSP trên một chip nhỏ gọn, cho phép đo trở kháng chính xác ở tần số lên đến 100 kHz, phù hợp với ứng dụng thời gian thực.

3. Mô hình học máy nào được sử dụng và tại sao?
   Mô hình Convolutional Neural Network (CNN) được chọn vì khả năng tự động trích xuất đặc trưng từ dữ liệu đa chiều, giúp phân loại cử chỉ tay hiệu quả với độ chính xác cao.

4. Thiết bị có an toàn khi sử dụng trên người không?
   Dòng điện phát ra được kiểm soát ≤ 1mA và tần số kích thích 40 kHz, tuân thủ tiêu chuẩn IEC-60601 về an toàn thiết bị y tế, đảm bảo không gây hại cho người dùng.

5. Ứng dụng thực tế của hệ thống này là gì?
   Hệ thống có thể hỗ trợ giao tiếp cho người khiếm thính, ứng dụng trong y tế như vật lý trị liệu, điều khiển robot phẫu thuật, và phát triển giao diện người-máy tự nhiên không dùng tiếng nói.

Kết luận

• Luận văn đã phát triển thành công thiết bị nhận diện cử chỉ tay dựa trên cảm biến trở kháng sinh học sử dụng IC AD5933 và Raspberry Pi 4.
• Mô hình học sâu CNN đạt độ chính xác 92% trong nhận dạng 9 cử chỉ tay phổ biến của ngôn ngữ ký hiệu Việt Nam.
• Thiết bị nhỏ gọn, an toàn và vận hành theo thời gian thực, phù hợp ứng dụng trong hỗ trợ người khiếm thính và giao tiếp phi ngôn ngữ.
• Kết quả nghiên cứu mở ra hướng phát triển mới cho công nghệ nhận dạng cử chỉ không dựa trên hình ảnh, tăng tính bảo mật và khả năng ứng dụng trong nhiều lĩnh vực.
• Các bước tiếp theo bao gồm mở rộng cỡ mẫu, nâng cao thuật toán và phát triển sản phẩm thương mại, kêu gọi sự hợp tác từ các tổ chức nghiên cứu và doanh nghiệp công nghệ.

Hãy cùng tiếp tục nghiên cứu và ứng dụng công nghệ này để cải thiện cuộc sống cho cộng đồng người khiếm thính và mở rộng giao tiếp không lời trong xã hội hiện đại.

Trích đoạn nội dung tài liệu

ĐẠI HỌC QUỐC GIA TP. HỒ CHÍ MINH TRƢỜNG ĐẠI HỌC BÁCH KHOA ---------------o0o--------------- THÂN HẢI NHẬT MINH NHẬN DIỆN CỬ CHỈ TAY DỰA TRÊN TRỞ KHÁNG SINH HỌC Chuyên ngành: Vật lý kỹ thuật Mã số: 8520401 LUẬN VĂN THẠC SĨ TP. HỒ CHÍ MINH, tháng 7 năm 2023 Công trình đƣợc hoàn thành tại: Trƣờng Đại học Bách Khoa – ĐHQG-HCM Cán bộ hƣớng dẫn khoa học 1: TS. Nguyễn Trung Hậu (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ hƣớng dẫn khoa học 2: PGS. Huỳnh Quang Linh (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 1: TS. Nguyễn Thế Thƣờng (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Cán bộ chấm nhận xét 2: TS. Mai Hữu Xuân (Ghi rõ họ, tên, học hàm, học vị và chữ ký) Luận văn thạc sĩ đƣợc bảo vệ tại Trƣờng Đại học Bách Khoa, ĐHQG Tp. HCM ngày 9 tháng 7 năm 2023 Thành phần Hội đồng đánh giá luận văn thạc sĩ gồm: (Ghi rõ họ, tên, học hàm, học vị của Hội đồng chấm bảo vệ luận văn thạc sĩ) 1. Chủ tịch: TS. Nguyễn Xuân Thanh Trâm 3. Phản biện 1: TS. Nguyễn Thế Thƣờng 4. Phản biện 2: TS. Mai Hữu Xuân 5. Ủy viên: TS. Lƣu Gia Thiện Xác nhận của Chủ tịch Hội đồng đánh giá LV và Trƣởng Khoa quản lý chuyên ngành sau khi luận văn đã đƣợc sửa chữa (nếu có). CHỦ TỊCH HỘI ĐỒNG TRƢỞNG KHOA KHOA HỌC ỨNG DỤNG ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM TRƢỜNG ĐẠI HỌC BÁCH KHOA Độc lập - Tự do - Hạnh phúc NHIỆM VỤ LUẬN VĂN THẠC SĨ Họ tên học viên: Thân Hải Nhật Minh MSHV: 2070384 Ngày, tháng, năm sinh: 02/02/1997 Nơi sinh: TP.HCM Chuyên ngành: Vật lý kỹ thuật Mã số: 8520401 I. TÊN ĐỀ TÀI: Nhận diện cử chỉ tay dựa trên trở kháng sinh học. Bio-impedance based hand gesture recognition. NHIỆM VỤ VÀ NỘI DUNG: - Tìm hiểu các phƣơng pháp nhận dạng cử chỉ tay theo thời gian thực. - Tìm hiểu cảm biến đo trở kháng, tìm hiểu IC AD5933, và các bài báo sử nhận dạng cử chỉ tay bằng trở kháng sinh học. - Thiết kế thiết bị đo trở kháng sinh học dựa trên IC AD5933. - Thu thập dữ liệu trở kháng và huấn luyện tạo mô hình học máy để nhận dạng cử chỉ tay theo thời gian thực. - Đánh giá kết quả và đƣa ra kết luận về độ chính xác và tính hiệu quả. NGÀY GIAO NHIỆM VỤ: 06/02/2023 III. NGÀY HOÀN THÀNH NHIỆM VỤ: 12/06/2023 IV. CÁN BỘ HƢỚNG DẪN: TS. Nguyễn Trung Hậu, PGS. Huỳnh Quang Linh Tp. HCM, ngày tháng năm 2023 CÁN BỘ HƢỚNG DẪN CHỦ NHIỆM BỘ MÔN ĐÀO TẠO (Họ tên và chữ ký) (Họ tên và chữ ký) TRƢỞNG KHOA KHOA HỌC ỨNG DỤNG (Họ tên via chữ ký) i LỜI CẢM ƠN Trƣớc hết, tôi muốn bày tỏ lòng biết ơn chân thành và sâu sắc nhất đến thầy hƣớng dẫn của tôi - TS. Nguyễn Trung Hậu, ngƣời đã hỗ trợ tôi không chỉ trong công việc học thuật, các tài liệu cần thiết, kỹ thuật và hƣớng dẫn trong quá trình làm luận văn, mà còn giúp đỡ và chỉ dạy tôi rất nhiều suốt quá trình bằng cách đƣa ra những lời khuyên hữu ích và động viên để hoàn thành dự án này. Tôi cũng muốn gửi lời cảm ơn đặc biệt đến những nghiên cứu viên cùng tôi trong lĩnh vực đo trở kháng, đã chia sẻ với tôi các tài liệu, linh kiện và kinh nghiệm đáng giá, cũng nhƣ đề xuất về những gì chúng tôi cần để phát triển sản phẩm này, điều mà tôi nghĩ là rất hữu ích đối với mình. Lời biết ơn của tôi cũng đƣợc gửi đến thầy Lê Cao Đăng và các thành viên của phòng thí nghiệm B4-202 tại trƣờng Đại học Bách Khoa HCM. Họ đều rất thân thiện và nhiệt tình, cung cấp cho tôi một số giải pháp sáng tạo cho thiết kế hệ thống của tôi, cũng nhƣ đã cho phép và chỉ dẫn tôi sử dụng các thiết bị tại phòng thí nghiệm của mình. Cuối cùng nhƣng không kém quan trọng, tôi cũng muốn cảm ơn gia đình và bạn bè của tôi vì đã mang đến cho tôi sự hỗ trợ và động viên tinh thần của họ xuyên suốt thời gian thực hiện luận văn này. ii TÓM TẮT Ngày nay, việc nhận dạng cử chỉ tay đang nhận đƣợc nhiều sự quan tâm trong các lĩnh vực khác nhau, từ công nghiệp đến giáo dục và chăm sóc sức khỏe. Gần 7% dân số Việt Nam từ 2 tuổi trở lên bị điếc hoặc nghe kém, nhƣng xã hội chƣa thật sự chú trọng đến họ. Do đó, nghiên cứu này tập trung vào việc nhận dạng cử chỉ tay nhằm hỗ trợ những ngƣời câm điếc, giúp con ngƣời giao tiếp tốt hơn với nhau. Đó là một nhiệm vụ quan trọng trong chăm sóc sức khỏe tiên tiến ngày nay - nâng cao chất lƣợng sống. Nghiên cứu này phát triển một hệ thống sử dụng cảm biến trở kháng. Đây là một phƣơng pháp mới để thu thập cử chỉ tay theo thời gian thực và phân loại chúng dựa trên học máy. Hệ thống đƣợc hoàn thành là một thiết bị nhận dạng cử chỉ tay theo thời gian thực, đƣợc vận hành bởi Raspberry Pi 4 Model B kết nối với một bộ điện cực để thu nhận dữ liệu trở kháng từ tay ngƣời. AD5933 đƣợc chọn làm cảm biến trở kháng cho hệ thống này vì nó là một vi mạch đo trở kháng có độ chính xác cao, bao gồm một bộ phát tần số, một bộ chuyển đổi tín hiệu digital sang analog, một bộ xử lý tín hiệu digital, một bộ chuyển đổi analog sang digital và một mạch hỗ trợ tích hợp, tất cả trên một vi mạch duy nhất. Một kỹ thuật học sâu sử dụng Convolutional Neural Network đƣợc xây dựng để phân loại cử chỉ tay từ dữ liệu trở kháng đƣợc thu thập và nạp lên Raspberry Pi để nhận dạng cử chỉ tay theo thời gian thực. Độ chính xác của mô hình đạt đƣợc 92%, một kết quả tốt để đánh giá phƣơng pháp sử dụng cảm biến trở kháng dùng cho việc nhận dạng cử chỉ tay. Số mẫu kiểm tra cuối cùng của luận văn này quá ít để phân tích thống kê, nhƣng dự án này mang lại kết quả đủ tốt để có thể đƣợc sử dụng trong các phát triển tƣơng lai về giao tiếp phi ngôn ngữ giữa con ngƣời với con ngƣời hoặc con ngƣời với máy móc. Từ khóa: hand gesture recognition, impedance, impedance sensor, AD5933, real time, machine learning, deep learning, Raspberry Pi iii ABSTRACT Nowadays, hand gesture recognition is receiving much attention in various fields, from industry to education and healthcare. Nearly 7% of the Vietnam's total population aged 2 years and older are either deaf or have significant hearing problem, yet society does not give them adequate attention. Hence, this study is focused on recognizing hand gestures for aiding deaf and mute individuals for better understanding between human to human, an important task in advanced healthcare nowadays – enhancement of the living quality. In this study, a system was developed using impedance sensor, a new method for capturing real-time hand gestures and categorizing them based on machine learning. The final system is a real-time hand gesture recognizing device, powered and operated by a Raspberry Pi 4 Model B that connected to a set of electrodes for receiving impedance data from human hands. AD5933 was chosen as the impedance sensor for this system since it is a high-precision-electrode impedance measuring chip that includes a frequency generator, a digital-to-analog converter, a digital signal processor, an analog-to- digital converter, and an integrated support circuit all on one chip. A deep learning technique utilizing Convolutional Neural Network was built to classify hand gestures from impedance data collected and loaded onto the Raspberry Pi for real- time recognizing hand gestures. The accuracy of the machine learning model was at 92%, a good result for evaluating the approach of using impedance sensor for hand- gesture recognition ability. The final testing samples were too low to statistically analyze, but this project provided a good enough result that could still be further used for any future development on nonverbal communication between human to human or human to machine. Keywords: hand gesture recognition, impedance, impedance sensor, AD5933, real time, machine learning, deep learning, Raspberry Pi. iv MỤC LỤC LỜI CẢM ƠN . iv CHƢƠNG 1: MỞ ĐẦU . Mục tiêu đề tài . Cấu trúc luận văn .3 CHƢƠNG 2: TỔNG QUAN . Các loại cảm biến nhận diện cử chỉ tay . Cảm biến tiếp cận theo hƣớng sử dụng hình ảnh . Cảm biến tiếp cận theo hƣớng không sử dụng hình ảnh . Các nghiên cứu nhận diện cử chỉ tay bằng cảm biến trở kháng . Cảm biến trở kháng sinh học . Đo trở kháng sinh học . Sử dụng IC AD5933 để đo trở kháng sinh học .13 CHƢƠNG 3: PHƢƠNG PHÁP THỰC HIỆN . Thiết kế đo trở kháng sinh học . Thành phần thiết bị và vận hành. Thành phần thiết bị . Thiết kế phần cứng . Thiết kế phần mềm . Quy trình đo trở kháng. Thu thập dữ liệu .3 Nhận diện cử chỉ tay (Hand gesture recognition – HGR) .41 CHƢƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ . Thiết kế thiết bị . Nhận diện cử chỉ tay . Kiểm tra độ chính xác . Nhƣợc điểm . Hƣớng phát triển trong tƣơng lai .65 CHƢƠNG 5: KẾT LUẬN .66 TÀI LIỆU THAM KHẢO .68 vi DANH MỤC HÌNH ẢNH Hình 2.1: (a) Dòng điện đƣợc đƣa vào và điện áp thu đƣợc ở dạng sóng sine, trễ pha do trở kháng. (b) Biểu đồ pha của trở kháng. Trong phép đo hai cực (bipolar), điểm A và D trùng với B và C. Với tần số kích thích tăng dần, trở kháng của tụ điện giảm dần và dòng điện bắt đầu chạy qua màng tế bào và môi trƣờng nội bào (Rintra) [26]. (e) Các vùng phân tán khác nhau.2: Hình minh họa một số thiết bị phân tích trở kháng thƣơng mại .3: Sơ đồ khối của IC AD5933 .4: Pha phát tín hiệu của AD5933 .5: Giai đoạn nhận của AD5933 .1: Sơ đồ chung của hệ thống đo trở kháng sinh học điện lồng ngực (Thoracic Electrical Bio-impedance – TEB). (B) Nguồn điện áp kích thích. (C) Chuyển đổi thành nguồn dòng kích thích. (E) Thu tín hiệu điện áp chênh lệch .2: Hệ thống đo trở kháng kết nối với các mạch ghép .3: Sơ đồ khối tổng quát của hệ thống .4: Bo mạch tích hợp EVAL-AD5933EBZ bởi nhà sản xuất Analog Device 22 Hình 3.5: Bố trí linh kiện và thử nghiệm các khối của mạch đo trên breadboard .6: Hình minh họa điện áp phát bởi AD5933 sau khi qua VCCS với tải 1kOhm, trên Oscilloscope, cho ra VOUT là 40kHz (Pk-Pk 424mV) .7: Nhịp thở thu đƣợc trên Oscilloscope .8: Sơ đồ nguyên lý của mạch nhận diện cử chỉ tay (HGR) .9: PCB của thiết bị nhận diện cử chỉ tay (HGR) đƣợc thiết kế với phần mềm EAGLE .10: Ảnh thực tế của PCB nhận diện cử chỉ tay (HGR) .11: Mạch buffer thêm vào cho AD5933 để đo trở kháng nhỏ hơn 1kΩ .