Luận văn thạc sĩ về nhận diện cử chỉ tay bằng trở kháng sinh học trong vật lý kỹ thuật

Luận văn thạc sĩ kỹ thuật nghiên cứu vật lý kỹ thuật nhận diện cử chỉ tay dựa trên trở kháng sinh học, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực

• Tác giả: Thân Hải Nhật Minh
• Người hướng dẫn: TS. Nguyễn Trung Hậu
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Vật lý kỹ thuật
• Đề tài: Nhận diện cử chỉ tay dựa trên trở kháng sinh học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: MỞ ĐẦU
• 1.1. Mục tiêu đề tài
• 1.2. Cấu trúc luận văn
• 2. CHƯƠNG 2: TỔNG QUAN
• 2.1. Các loại cảm biến nhận diện cử chỉ tay
• 2.1.1. Cảm biến tiếp cận theo hướng sử dụng hình ảnh
• 2.1.2. Cảm biến tiếp cận theo hướng không sử dụng hình ảnh
• 2.2. Các nghiên cứu nhận diện cử chỉ tay bằng cảm biến trở kháng
• 2.3. Cảm biến trở kháng sinh học
• 2.3.1. Đo trở kháng sinh học
• 2.3.2. Sử dụng IC AD5933 để đo trở kháng sinh học
• 3. CHƯƠNG 3: PHƯƠNG PHÁP THỰC HIỆN
• 3.1. Thiết kế đo trở kháng sinh học
• 3.2. Thành phần thiết bị và vận hành
• 3.2.1. Thành phần thiết bị
• 3.2.2. Thiết kế phần cứng
• 3.2.3. Thiết kế phần mềm
• 3.3. Quy trình đo trở kháng
• 3.4. Thu thập dữ liệu
• 3.5. Nhận diện cử chỉ tay (Hand gesture recognition – HGR)
• 4. CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ
• 4.1. Thiết kế thiết bị
• 4.2. Nhận diện cử chỉ tay
• 4.3. Kiểm tra độ chính xác
• 4.4. Nhược điểm
• 4.5. Hướng phát triển trong tương lai
• 5. CHƯƠNG 5: KẾT LUẬN
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu

Nghiên cứu về nhận diện cử chỉ tay bằng trở kháng sinh học là một lĩnh vực đang nhận được sự quan tâm lớn trong các ứng dụng công nghệ hiện đại. Việc nhận diện cử chỉ không chỉ giúp cải thiện giao tiếp giữa người và máy mà còn hỗ trợ những người khiếm thính trong việc giao tiếp. Đặc biệt, khoảng 7% dân số Việt Nam gặp vấn đề về thính giác, điều này càng làm nổi bật tầm quan trọng của việc phát triển công nghệ hỗ trợ. Hệ thống được nghiên cứu trong luận văn này sử dụng cảm biến trở kháng AD5933 để đo lường và phân tích cử chỉ tay trong thời gian thực, từ đó cung cấp một giải pháp hiệu quả cho việc giao tiếp phi ngôn ngữ.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một hệ thống nhận diện cử chỉ tay dựa trên công nghệ trở kháng sinh học. Hệ thống này nhằm hỗ trợ người khiếm thính trong giao tiếp bằng cách nhận diện và phân loại các cử chỉ tay thông qua hệ thống cảm biến. Nghiên cứu sẽ tập trung vào việc thu thập dữ liệu trở kháng, huấn luyện mô hình học máy để đạt được độ chính xác cao trong việc nhận diện cử chỉ. Kết quả mong muốn không chỉ là một thiết bị hoạt động hiệu quả mà còn là một bước tiến trong việc cải thiện chất lượng cuộc sống cho cộng đồng người khiếm thính.

II. Tổng quan công nghệ

Trong lĩnh vực vật lý kỹ thuật, việc sử dụng cảm biến trở kháng sinh học đã trở thành một phương pháp tiên tiến để thu thập và phân tích dữ liệu sinh học. Các nghiên cứu hiện tại cho thấy rằng công nghệ nhận diện cử chỉ có thể được chia thành hai loại chính: tiếp cận theo hướng hình ảnh và không sử dụng hình ảnh. Trong đó, cảm biến trở kháng sinh học cho phép thu thập dữ liệu về điện trở của cơ thể con người, từ đó nhận diện các cử chỉ tay một cách chính xác. Hệ thống này không chỉ đơn thuần là một thiết bị đo lường mà còn là một phần quan trọng trong các ứng dụng như phục hồi chức năng và hỗ trợ giao tiếp cho người khiếm thính.

2.1. Các loại cảm biến

Các loại cảm biến được sử dụng trong nhận diện cử chỉ tay bao gồm cảm biến hình ảnh và cảm biến không hình ảnh. Cảm biến hình ảnh thường yêu cầu người dùng phải thực hiện cử chỉ trước một camera, trong khi cảm biến không hình ảnh như cảm biến trở kháng có thể hoạt động mà không cần đến hình ảnh. Cảm biến trở kháng, đặc biệt là IC AD5933, cho phép đo lường điện trở của tay người, từ đó phân tích các cử chỉ một cách chính xác và nhanh chóng. Điều này giúp cải thiện khả năng tương tác giữa người và máy, mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau.

III. Phương pháp thực hiện

Nghiên cứu này áp dụng một quy trình chặt chẽ để phát triển thiết bị nhận diện cử chỉ tay bằng trở kháng sinh học. Đầu tiên, thiết kế phần cứng được thực hiện với việc sử dụng cảm biến AD5933 để thu thập dữ liệu trở kháng. Sau đó, phần mềm được phát triển để xử lý dữ liệu và huấn luyện mô hình học máy. Các bước này bao gồm việc thu thập mẫu dữ liệu từ các cử chỉ tay khác nhau, sau đó áp dụng các thuật toán học sâu để phân loại cử chỉ. Kết quả cuối cùng là một hệ thống có thể nhận diện cử chỉ tay trong thời gian thực với độ chính xác cao.

3.1. Thiết kế hệ thống

Thiết kế hệ thống bao gồm việc kết nối cảm biến trở kháng với Raspberry Pi để thu thập dữ liệu. Hệ thống này được lập trình để xử lý và phân tích dữ liệu trở kháng, từ đó nhận diện các cử chỉ tay. Các thuật toán học máy, đặc biệt là Convolutional Neural Network, được sử dụng để cải thiện độ chính xác của việc nhận diện. Kết quả cho thấy hệ thống có thể đạt được độ chính xác lên đến 92%, một con số ấn tượng cho một thiết bị sử dụng công nghệ trở kháng sinh học.

IV. Kết quả và đánh giá

Kết quả nghiên cứu cho thấy rằng hệ thống nhận diện cử chỉ tay bằng trở kháng sinh học có thể hoạt động hiệu quả trong các điều kiện thực tế. Qua các thử nghiệm, độ chính xác của mô hình đạt 92%, cho thấy khả năng ứng dụng cao trong việc hỗ trợ giao tiếp cho người khiếm thính. Tuy nhiên, vẫn cần có thêm nhiều mẫu kiểm tra để có thể phân tích thống kê chính xác hơn. Dự án này không chỉ cung cấp một giải pháp công nghệ hữu ích mà còn mở ra hướng đi mới cho nghiên cứu trong lĩnh vực giao tiếp phi ngôn ngữ.

4.1. Ứng dụng thực tiễn

Hệ thống nhận diện cử chỉ tay có thể được áp dụng trong nhiều lĩnh vực, từ công nghiệp đến y tế. Đặc biệt, trong lĩnh vực chăm sóc sức khỏe, công nghệ này có thể giúp cải thiện giao tiếp giữa bác sĩ và bệnh nhân, đặc biệt là những bệnh nhân khiếm thính. Hơn nữa, việc phát triển hệ thống này có thể mở ra cơ hội cho các sản phẩm hỗ trợ người khuyết tật, từ đó nâng cao chất lượng cuộc sống cho cộng đồng người khiếm thính. Điều này không chỉ mang lại lợi ích cho người dùng mà còn góp phần vào sự phát triển của công nghệ hỗ trợ trong xã hội.

Nội dung chính

Tổng quan nghiên cứu

Theo số liệu điều tra từ Tổng cục Thống kê và Quỹ Nhi đồng Liên Hợp Quốc (UNICEF), Việt Nam hiện có hơn 6,2 triệu người từ 2 tuổi trở lên bị khiếm thính hoặc gặp các vấn đề nghiêm trọng về thính lực, chiếm gần 7% dân số toàn quốc. Bên cạnh đó, khoảng 13% dân số tương đương gần 12 triệu người đang sinh sống trong các hộ gia đình có thành viên khuyết tật. Rào cản trong việc tiếp cận ngôn ngữ ký hiệu khiến phần lớn người khiếm thính gặp nhiều trở ngại khi hòa nhập xã hội và tham gia vào thị trường lao động.

Xuất phát từ thực trạng cấp bách trên, đề tài nghiên cứu của tác giả Thân Hải Nhật Minh thuộc chuyên ngành Vật lý kỹ thuật tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh, thực hiện từ tháng 02/2023 đến tháng 06/2023, đã tập trung phát triển hệ thống nhận diện cử chỉ tay theo thời gian thực dựa trên kỹ thuật đo trở kháng sinh học (Bio-impedance based Hand Gesture Recognition). Mục tiêu then chốt của công trình là thiết kế phần cứng thu thập tín hiệu trở kháng cơ thể có độ chính xác cao, nhỏ gọn, an toàn và ứng dụng các mô hình học sâu để phân loại chính xác các cử chỉ tay trong Ngôn ngữ ký hiệu Việt Nam.

Nghiên cứu mang ý nghĩa khoa học và thực tiễn sâu sắc khi giải quyết được những hạn chế cố hữu của các phương pháp thị giác máy tính truyền thống như điểm mù góc nhìn, điều kiện ánh sáng kém và vi phạm quyền riêng tư. Với độ chính xác phân loại tổng thể đạt 92% trên mô hình thử nghiệm thực tế, công trình đóng góp một giải pháp công nghệ trợ thính chi phí thấp, tạo tiền đề vững chắc cho việc sản xuất các thiết bị đeo thông minh hỗ trợ giao tiếp cho người khuyết tật trong tương lai.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng kết hợp giữa vật lý y sinh, kỹ thuật điện tử và trí tuệ nhân tạo. Khung lý thuyết chủ đạo bao gồm:

1. Lý thuyết trở kháng sinh học (Bio-impedance Theory): Trở kháng điện ($Z$) của mô sống được mô tả thông qua mối quan hệ giữa biên độ dòng điện xoay chiều và điện áp cảm ứng theo định luật Ohm mở rộng trên miền phức. Mô tế bào người được mô hình hóa dưới dạng mạch tương đương gồm điện trở nội bào, điện trở ngoại bào và điện dung của màng tế bào. Khi các ngón tay và cơ bàn tay vận động co duỗi, cấu trúc hình học và mật độ tế bào thay đổi, dẫn đến sự biến thiên có quy luật của độ lớn trở kháng $|Z|$ và góc lệch pha $\varphi$.
2. Lý thuyết xử lý tín hiệu số qua biến đổi Fourier rời rạc (DFT): Tín hiệu điện áp đáp ứng sau khi được số hóa qua bộ chuyển đổi tương tự - số (ADC) sẽ được lõi xử lý tín hiệu số (DSP) tính toán thành phần thực ($R$) và ảo ($I$) thông qua thuật toán DFT 1024 điểm, giúp tách biệt các đặc tính điện môi ở từng tần số kích thích.
3. Lý thuyết học sâu với Mạng nơ-ron tích chập (Convolutional Neural Network - CNN): Ứng dụng các lớp tích chập không gian và thời gian để tự động trích xuất các đặc trưng phi tuyến từ ma trận dữ liệu trở kháng đa kênh, thay thế cho các phương pháp trích xuất thủ công truyền thống.

Các khái niệm cốt lõi bao gồm: Nguồn dòng điều khiển bằng điện áp (VCCS), Hệ số khuếch đại hiệu chuẩn (Gain Factor), Mạch ghép kênh (Multiplexer), và Hệ thống nhận diện cử chỉ tay thời gian thực (Real-time HGR).

Phương pháp nghiên cứu

Nghiên cứu triển khai phương pháp thực nghiệm kết hợp mô hình hóa học máy với các thông số cụ thể:

• Nguồn dữ liệu và kích thước mẫu: Dữ liệu đo đạc thực nghiệm được thu thập từ các đối tượng thử nghiệm tại phòng thí nghiệm B4-202, Trường Đại học Bách Khoa. Bộ dữ liệu huấn luyện gồm 9 nhãn cử chỉ thuộc Ngôn ngữ ký hiệu Việt Nam, chia thành 3 cử chỉ tĩnh (chữ cái "A", "B", "C") và 6 cử chỉ động ("Ăn", "Uống", "Ngủ", "Cảm ơn", "Xin lỗi", "Đồng ý"). Phương pháp chọn mẫu là chọn mẫu có chủ đích, tập trung vào đối tượng người khiếm thính và người tình nguyện khỏe mạnh nhằm đảm bảo tính đại diện cơ sinh học. Mỗi cử chỉ được thu thập trong cửa sổ thời gian 1,5 giây với 5 lần quét tần số liên tục qua 5 kênh ngón tay, cấu trúc thành ma trận dữ liệu đầu vào kích thước 5x5.
• Thiết kế phần cứng và phân tích tín hiệu: Trái tim của hệ thống là vi mạch tích hợp AD5933 có khả năng phát tần số kích thích lên đến 100 kHz với độ phân giải 0,1 Hz. Tần số hoạt động được lựa chọn chuẩn hóa ở mức 40 kHz. Tín hiệu kích thích được đưa qua mạch nguồn dòng ổn định Load-in-the-loop VCCS để đảm bảo cường độ dòng điện truyền qua mô luôn duy trì dưới ngưỡng an toàn 1 mA theo chuẩn y tế quốc tế IEC-60601. Hệ thống thu nhận 6 kênh tín hiệu gồm 5 điện cực đặt tại đốt thứ 2 của 5 ngón tay và 1 điện cực tham chiếu ở mu bàn tay. Vật liệu điện cực sử dụng vải dẫn điện (electrical fabric) có tính linh hoạt cao và tái sử dụng tốt.
• Nền tảng điều khiển và huấn luyện: Bo mạch vi xử lý Raspberry Pi 4 Model B đóng vai trò điều khiển IC AD5933 qua giao tiếp I2C, tính toán trở kháng bằng Python, tiền xử lý khử nhiễu trung bình (mean filter), trực quan hóa không gian 3 chiều qua thuật toán t-SNE, và chạy mô hình suy luận thời gian thực thông qua framework TensorFlow Lite. Lý do lựa chọn CNN thay vì mạng kết nối đầy đủ (FCN) là do cấu trúc ma trận 5x5 có tính tương quan không gian chặt chẽ giữa các ngón tay và tính liên tục thời gian qua 5 chu kỳ quét.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình kiểm thử thực nghiệm và đánh giá định lượng đã mang lại các kết quả nổi bật sau:

1. Ổn định phần cứng và mở rộng dải đo: Mạch nguồn dòng VCCS hoạt động ổn định trên dải tải điện trở từ 220 $\Omega$ đến 10 k$\Omega$, duy trì biên độ dòng điện kích thích ở mức dưới 1 mA tại tần số 40 kHz với độ lệch điện áp dưới 5%. Mạch đệm buffer bổ sung đã khắc phục triệt để hạn chế của IC AD5933, cho phép hệ thống đo lường chính xác các mức trở kháng sinh học của da và mô mềm dưới ngưỡng 1 k$\Omega$.
2. Hiệu năng vượt trội của mô hình CNN: Mô hình học sâu CNN đạt độ chính xác phân loại tổng thể lên tới 92% trên tập dữ liệu kiểm thử thực tế 9 cử chỉ. Kết quả này vượt trội hơn 16% so với mô hình mạng kết nối đầy đủ FCN (chỉ đạt độ chính xác 76%).
3. Độ nhạy của các kênh đo: Tín hiệu trở kháng thu thập tại đốt ngón tay thứ 2 thể hiện độ biến thiên rõ rệt giữa các trạng thái tĩnh và động. Độ lớn trở kháng thay đổi từ khoảng 150 $\Omega$ đến 850 $\Omega$ tùy thuộc vào mức độ co duỗi của từng ngón tay, tạo ra các đặc trưng phân lớp rõ ràng.
4. Tối ưu hóa thời gian thực trên hệ thống nhúng: Sau khi chuyển đổi sang định dạng TensorFlow Lite, mô hình CNN chạy mượt mà trên nền tảng Raspberry Pi 4 với độ trễ phản hồi dưới 200 ms, đáp ứng hoàn hảo yêu cầu tương tác thời gian thực.

Thảo luận kết quả

Hiệu năng phân loại ấn tượng của mô hình CNN (92%) chứng minh tính đúng đắn của việc ứng dụng cảm biến trở kháng sinh học trong nhận diện cử chỉ tay. Sự chênh lệch 16% về độ chính xác giữa CNN và FCN cho thấy các lớp tích chập đã trích xuất xuất sắc mối quan hệ không gian giữa 5 ngón tay trên bàn tay, nơi mà sự co cơ của một ngón thường kéo theo sự thay đổi trở kháng liên đới ở các ngón lân cận.

Dữ liệu thực nghiệm có thể được biểu diễn trực quan thông qua bảng ma trận nhầm lẫn (Confusion Matrix) và đồ thị phân cụm t-SNE trong không gian 3 chiều. Trên đồ thị phân cụm, các lớp cử chỉ tĩnh như chữ cái "A", "B", "C" tạo thành các cụm điểm dữ liệu tập trung cao với khoảng cách Euclid lớn, trong khi các cử chỉ động như "Ăn" và "Uống" có sự phân tán nhẹ nhưng vẫn giữ được ranh giới quyết định rõ ràng.

So sánh với các nghiên cứu nhận diện cử chỉ dựa trên thị giác máy tính, phương pháp trở kháng sinh học không chịu tác động bởi bóng đổ, cường độ ánh sáng hay hiện tượng bàn tay bị che khuất góc nhìn. So với kỹ thuật ghi điện cơ (EMG) vốn đòi hỏi xử lý tín hiệu micro-volt phức tạp và dễ nhiễu điện từ, tín hiệu trở kháng sinh học do nguồn dòng chủ động 40 kHz tạo ra có tỷ số tín hiệu trên nhiễu (SNR) cao hơn rõ rệt. Đồng thời, thiết kế 6 điện cực tiếp xúc bằng vải dẫn điện gọn gàng hơn 70% so với các hệ thống chụp ảnh trở kháng điện học (EIT) phức tạp cần từ 16 đến 32 điện cực, mang lại tiềm năng ứng dụng thực tế vượt trội.

Đề xuất và khuyến nghị

Để hoàn thiện và nâng cao tính ứng dụng của thiết bị trong đời sống xã hội, nghiên cứu đưa ra 4 khuyến nghị then chốt:

1. Tối ưu hóa kích thước phần cứng và tích hợp nguồn: Thiết kế lại toàn bộ bo mạch PCB sang dạng vi mạch tích hợp chuyên dụng (ASIC/SoC) kết hợp mô-đun truyền thông Bluetooth Low Energy (BLE), nhằm thu nhỏ kích thước thiết bị xuống dưới 30x30 mm và cắt giảm 40% điện năng tiêu thụ trong vòng 6 tháng tới. Trách nhiệm thực hiện thuộc về nhóm kỹ thuật phần cứng và phòng thí nghiệm thiết kế mạch y sinh.
2. Mở rộng quy mô tập dữ liệu đa dạng: Tiến hành thu thập dữ liệu trên tập mẫu mở rộng gồm ít nhất 1.000 đối tượng khiếm thính ở các độ tuổi, giới tính và kích cỡ bàn tay khác nhau nhằm gia tăng độ chính xác tổng thể lên trên 96% trong lộ trình 12 tháng. Trách nhiệm thực hiện thuộc về nhóm nghiên cứu trí tuệ nhân tạo phối hợp cùng các hội đồng giáo dục chuyên biệt.
3. Cải tiến thuật toán thích ứng môi trường: Phát triển các thuật toán lọc thích nghi để bù trừ sai lệch tín hiệu do mồ hôi tay, sự thay đổi độ ẩm biểu bì và dịch chuyển vị trí tiếp xúc của điện cực, giữ tỷ lệ nhận diện sai dưới 3% trong vòng 9 tháng. Trách nhiệm thuộc về các kỹ sư xử lý tín hiệu y sinh.
4. Sản xuất thử nghiệm và thương mại hóa: Chuyển giao công nghệ để sản xuất thử nghiệm 500 thiết bị vòng đeo tay phiên dịch ngôn ngữ ký hiệu hoàn chỉnh với giá thành mục tiêu dưới 50 USD/sản phẩm, phục vụ thí điểm tại các trường khiếm thính trong giai đoạn 2024-2025. Trách nhiệm thuộc về các doanh nghiệp thiết bị y tế và quỹ đầu tư khoa học công nghệ.

Đối tượng nên tham khảo luận văn

Công trình luận văn là nguồn tài liệu học thuật và kỹ thuật giá trị cho 4 nhóm đối tượng chính:

1. Kỹ sư và nhà nghiên cứu kỹ thuật y sinh (Biomedical Engineers): Cung cấp hướng dẫn chi tiết về thiết kế mạch đo trở kháng vi sai, kiến trúc phối hợp IC AD5933, kỹ thuật chế tạo điện cực vải khô và phương pháp kiểm chuẩn an toàn sinh học theo tiêu chuẩn IEC-60601.
2. Lập trình viên hệ thống nhúng và kỹ sư AI (Embedded & AI Engineers): Cung cấp giải pháp mẫu về việc thu thập chuỗi thời gian nhiều kênh, quy trình xử lý dữ liệu ma trận 5x5 và kỹ thuật nén mô hình CNN chạy thời gian thực trên phần cứng biên như Raspberry Pi.
3. Đơn vị phát triển thiết bị đeo và công nghệ tương tác người - máy (Wearable & HCI Developers): Cung cấp case study thực tế về việc thay thế camera bằng cảm biến tiếp xúc không xâm lấn, ứng dụng trong tay cầm thực tế ảo (VR/AR), chi giả robot thông minh và giao diện điều khiển rảnh tay.
4. Các tổ chức xã hội và trung tâm giáo dục người khuyết tật: Cung cấp cơ sở khoa học và dữ liệu thực chứng để xây dựng các đề án chuyển đổi số, áp dụng công nghệ hỗ trợ giao tiếp cho học sinh, sinh viên khiếm thính.

Câu hỏi thường gặp

1. Tại sao nghiên cứu lại chọn tần số kích thích 40 kHz cho hệ thống? Tần số 40 kHz là tần số tối ưu được chứng minh qua thực nghiệm giúp dòng điện xoay chiều xuyên qua màng tế bào cơ tay mà không gây hiện tượng co cơ hay kích ứng thần kinh. Mức tần số này vừa đảm bảo độ nhạy cao với biến dạng mô, vừa tuân thủ ngưỡng an toàn dòng điện dưới 1 mA theo chuẩn IEC-60601.

2. Cảm biến trở kháng sinh học có ưu điểm gì nổi bật so với công nghệ nhận diện bằng camera? Cảm biến trở kháng sinh học đo trực tiếp hoạt động cơ học bên trong mô tay nên không bị ảnh hưởng bởi góc nhìn che khuất, điều kiện thiếu sáng hay cử động ngoài khung hình. Ngoài ra, phương pháp này bảo vệ tuyệt đối quyền riêng tư hình ảnh cá nhân và tiết kiệm hơn 50% tài nguyên tính toán so với xử lý thị giác máy tính.

3. Tại sao mô hình CNN lại đạt độ chính xác cao hơn mô hình FCN tới 16%? Mô hình CNN đạt độ chính xác 92% so với 76% của FCN nhờ các bộ lọc tích chập có khả năng tự động học các đặc trưng không gian đa chiều giữa 5 ngón tay trên ma trận 5x5. Ngược lại, FCN làm phẳng dữ liệu khiến mối liên kết không gian và thứ tự thời gian giữa các kênh đo bị suy giảm đáng kể.

4. Vật liệu vải dẫn điện mang lại lợi ích gì so với điện cực dán y tế truyền thống? Điện cực vải dẫn điện có cấu trúc dệt thoáng khí, mềm mại, không gây dị ứng da khi tiếp xúc liên tục và có thể giặt rửa, tái sử dụng hàng trăm lần. Giải pháp này giúp cắt giảm hơn 90% chi phí vật tư tiêu hao so với việc sử dụng điện cực gel ECG dùng một lần.

5. Hệ thống có thể nhận diện được những cử chỉ nào trong Ngôn ngữ ký hiệu Việt Nam? Hệ thống nhận diện thành công 9 nhãn cử chỉ cơ bản bao gồm 3 ký tự chữ cái tĩnh là A, B, C và 6 từ giao tiếp động thông dụng gồm Ăn, Uống, Ngủ, Cảm ơn, Xin lỗi, Đồng ý. Toàn bộ quá trình quét tín hiệu và phân loại diễn ra trong vòng 1,5 giây với độ tin cậy cao.

Kết luận

• Chế tạo thành công thiết bị đo trở kháng sinh học nhỏ gọn dựa trên vi mạch chuyên dụng AD5933 phối hợp bộ xử lý trung tâm Raspberry Pi 4 Model B.
• Thiết kế mạch nguồn dòng Load-in-the-loop VCCS và mạch đệm buffer, mở rộng dải đo hiệu quả cho mô da dưới 1 k$\Omega$ với dòng kích thích an toàn dưới 1 mA.
• Ứng dụng thành công hệ thống 6 điện cực bằng vải dẫn điện linh hoạt, bền bỉ và tạo sự thoải mái tối đa cho người đeo.
• Xây dựng mô hình học sâu CNN đạt độ chính xác phân loại 92% trên 9 cử chỉ Ngôn ngữ ký hiệu Việt Nam trong thời gian thực.
• Đặt nền móng kỹ thuật vững chắc cho việc phát triển các thiết bị đeo trợ thính chi phí thấp phục vụ hơn 6,2 triệu người khiếm thính tại Việt Nam.

Đóng góp lớn nhất của luận văn là chứng minh tính khả thi vượt bậc của kỹ thuật đo trở kháng sinh học trong nhận diện cử chỉ tay thời gian thực, mở ra hướng đi mới thay thế camera và găng tay cảm biến truyền thống. Trong giai đoạn tiếp theo từ năm 2024 đến 2025, dự án sẽ hoàn thiện mô-đun không dây và nâng số lượng từ vựng nhận diện lên trên 50 cử chỉ. Hãy kết nối và hợp tác nghiên cứu cùng nhóm tác giả để sớm đưa giải pháp công nghệ nhân văn này vào ứng dụng thực tế đời sống.

Trích đoạn nội dung tài liệu

Đặt vấn đề Động tác ngôn ngữ hình thể rất quan trọng trong việc giao tiếp không dùng tiếng nói, giữa ngƣời với nhau hoặc thậm chí giữa ngƣời với máy. Ngôn ngữ này có thể có nhiều dạng, nhƣ cử chỉ của bàn tay, cánh tay, cử động cơ thể, dáng đi, đứng, chạy, hay cử động và cử chỉ vùng mặt, nét mặt, ánh mắt. Với sự phát triển nhanh trong việc giao tiếp giữa con ngƣời với các hệ thống cơ khí, điện tử lẫn phần mềm, điều quan trọng là phải có dụng cụ giúp việc giao tiếp này đơn giản và tự nhiên cho con ngƣời và hệ thống [1]. Dụng cụ này là các cảm biến, dùng để chuyển các tín hiệu cử động của con ngƣời thành các tín hiệu điện, giúp phân tích đƣợc.

Hơn thế nữa, các hệ thống tự động đang dần trở nên thiết yếu hơn trong mảng ngành công nghiệp sản xuất, nhờ tính chính xác, tốc độ, khả năng vận hành không mệt mỏi, lặp lại công việc tốt hơn và cho năng xuất cao hơn nhiều so với nhân lực. Tuy nhiên, chúng lại thiếu tính linh hoạt của con ngƣời. Vậy nên sự giao tiếp tốt giữa con ngƣời và thiết bị máy móc sẽ sẽ tạo ra hiệu quả công việc tốt nhất [2]. Việc nhận dạng các cử chỉ cũng là một phần quan trọng trong việc giao tiếp giữa ngƣời và hệ thống trong hệ thống ngành y tế, nhƣ sử dụng robot trong phòng mổ, vật lý trị liệu, bộ phận thay thế cho ngƣời khuyết tật…).

Cộng đồng ngƣời khiếm thính là một nhóm đông đảo và đang ngày càng mở rộng, tuy nhiên, chính phủ lẫn xã hội vẫn chƣa thực sự quan tâm đến họ đầy đủ. Một cuộc khảo sát do Tổng Cục Thống kê Việt Nam thực hiện trong giai đoạn 2016-2017 với sự hỗ trợ kỹ thuật từ UNICEF đã cho thấy hơn 6,2 triệu ngƣời ở Việt Nam từ 2 tuổi trở lên là điếc hoặc gặp vấn đề đáng kể về thính giác, chiếm gần 7% tổng dân số của đất nƣớc. Ngoài ra, có đến 13% - gần 12 triệu ngƣời, sống trong hộ gia đình có ít nhất một thành viên là ngƣời khuyết tật [3], [4]. 1 Trong số này, họ cần sử dụng ngôn ngữ ký hiệu để giao tiếp với nhau (mà cụ thể là ngôn ngữ ký hiệu Việt Nam).

Đây chủ yếu là các cử chỉ và chuyển động của cánh tay và bàn tay, và từ ngữ đƣợc biểu thị bằng hình thái và đánh vần bằng tay. Tuy nhiên, cú pháp của ngôn ngữ ký hiệu khác với tiếng Việt, làm cho việc học nó trở nên khá khó khăn. Rất nhiều ngƣời khiếm thính mất thính giác ở giai đoạn đã trƣởng thành, không chọn học ngôn ngữ ký hiệu do có nhiều khó khăn, dẫn đến chỉ có một số ít trong cộng đồng ngƣời khiếm thính biết sử dụng thành thạo ngôn ngữ ký hiệu, cho thấy mức độ nghiêm trọng trong vấn đề giao tiếp ở cộng đồng ngƣời khiếm thính. Mục tiêu đề tài Trong những năm gần đây, các viện nghiên cứu và nhà nghiên cứu khác nhau đã thử nghiệm các phƣơng pháp khác nhau để diễn giải ngôn ngữ ký hiệu, với giải pháp phổ biến nhất là sử dụng công nghệ nhận dạng hình ảnh phân tích các cử chỉ của tay và cánh tay của ngƣời dùng.

Luận văn này tập trung vào thiết kế một ứng dụng nhận diện ngôn ngữ ký hiệu dựa trên công nghệ cảm biến trở kháng sinh học, có thể thực hiện trong thời gian thực. Bài luận văn sẽ trình bày về ngữ cảnh thiết kế, nghiên cứu nền tảng, phƣơng pháp thiết kế và các thành phẩm, với mục tiêu mang đến một ý tƣởng mới trong lĩnh vực công nghệ hỗ trợ ngƣời khiếm thính và giải quyết vấn đề giao tiếp cho cộng đồng ngƣời điếc và khiếm thính. Cấu trúc luận văn Báo cáo luận văn này đƣợc sắp xếp thành năm chƣơng, tuân thủ nghiêm ngặt nhƣ sau: - Chƣơng 1: Đƣa ra cái nhìn về sự cấp thiết của việc nhận diện cừ chỉ tay và mục tiêu cho nghiên cứu này. - Chƣơng 2: Đánh giá các công trình nghiên cứu về các hệ thống nhận diện cử chỉ tay và các loại cảm biến sử dụng cho chúng.

- Chƣơng 3: Mô tả phƣơng pháp phát triển thiết bị, bao gồm nguyên tắc, thiết kế phần cứng và lập trình phần mềm. - Chƣơng 4: Hiển thị kết quả cuối cùng của sản phẩm từ phƣơng pháp thực hiện đã tiếp cận, kiểm tra độ chính xác và đánh gái kết quả ở cả hai khía cạnh ƣu và nhƣợc điểm để từ đó thảo luận về các phát triển và cải thiện trong tƣơng lai. - Chƣơng 5: Tóm tắt toàn bộ nội dung, đƣa ra kết luận cuối cùng cho luận văn này và thảo luận về khả năng ứng dụng của nó trong xã hội. Đƣa ra các tài liệu tham khảo và phụ lục.

CHƢƠNG 2: TỔNG QUAN Sự gia tăng sức mạnh tính toán đã mang lại nhiều thiết bị tính toán cho con ngƣời trong cuộc sống thƣờng ngày. Một chuỗi các ứng dụng và giao diện đƣợc phát triển để con ngƣời có thể tƣơng tác với chúng. Và những sự tƣơng tác với các hệ thống này sẽ dễ dàng hơn khi chúng đƣợc thực hiện một cách tự nhiên (vd: tức là giống nhƣ cách con ngƣời tƣơng tác với nhau bằng giọng nói hoặc cử chỉ). Trong đó, nhận dạng cử chỉ tay (hand gesture recognition - HGR) là một yếu tố quan trọng của việc tƣơng tác giữa ngƣời với máy, nghiên cứu công nghệ máy tính đƣợc thiết kế để diễn giải các lệnh do con ngƣời đƣa ra [5].

Các mô hình HGR là những hệ thống giúp xác định cử chỉ nào đƣợc thực hiện và thực hiện hiện khi nào. Hiện tại, các hệ thống này đƣợc nghiên cứu và dùng cho rất nhiều các ứng dụng, ví dụ nhƣ chi giả thông minh cho ngƣời khuyết tật, nhận biết ngôn ngữ ký hiệu cho ngƣời câm điếc, thiết bị phục hồi chức năng, và các thiết bị điều khiển.1: Một số sản phẩm nhận diện cử chỉ phát triển từ năm 1963 – 2014 Trƣớc khi đi vào quy trình nhận dạng cử chỉ, các thông tin thô về cử chỉ con ngƣời cần đƣợc thu thập nhờ vào các cảm biến, và có rất nhiều loại cảm biến đƣợc dùng cho việc này. Hình 2 cho thấy có hai loại thu thập dữ liệu cơ bản: tiếp cận theo hƣớng hình ảnh và tiếp cận không theo hƣớng hình ảnh [2]: 4 Hình 2.2: Phân loại các loại cảm biến dùng cho nhận dạng cử chỉ 2. Các loại cảm biến nhận diện cử chỉ tay 2.

Cảm biến tiếp cận theo hướng sử dụng hình ảnh Công nghệ thƣờng đƣợc lấy cảm hứng từ tự nhiên. Với con ngƣời, chúng ta dùng mắt để nhận biết cử chỉ, do đó, đối với thiết bị, hệ thống, sử dụng máy ảnh để “nhìn” cử chỉ cũng là một cách lý luận lựa chọn cảm biến hợp lý. Và đối với loại cảm biến tiếp cận thông tin theo hƣớng sử dụng hình ảnh, đƣợc chia tiếp thành 4 loại nhƣ hình 2 ở trên, bao gồm: đánh dấu (marker), máy ảnh đơn (single camera), máy ảnh stereo (stereo camera) và cảm biến chiều sâu (depth sensor). Ở hƣớng tiếp cận đánh dấu.

cảm biến là một máy ảnh quang học. Trong hầu hết các giải pháp sử dụng hƣớng tiếp cận này, ngƣời dùng cần phải đeo các điểm đánh dấu nhìn thấy thấy đƣợc [6] lên bộ phận cần để xác định cử chỉ. Đối với máy ảnh đơn dùng để phân tích cử chỉ, Howe et al. đánh giá là hạn chế về góc nhìn, làm ảnh hƣởng đến sự hiệu quả của thiết bị [7].

Tuy nhiên, nghiên cứu gần đây của Katsuki et al. năm 2015 đã áp dụng máy ảnh đơn tốc độ cao cho việc nhận dạng cử chỉ. Hệ thống tận dụng cảm biến hình ảnh tốc độ cao và bộ xử lý hình ảnh đƣợc thiết kế chuyê biệt để đạt đƣợc nhận dạng cử chỉ tốc độ cao [8]. Máy ảnh stereo (stereo camera) có thể tạo ra môi trƣờng 3D, đƣợc các nhà nghiên cứu gợi ý sử dụng cho ứng dụng nhận dạng cử chỉ.

Các nghiên cứu thực hiện dựa 5 trên hƣớng tiếp cận này tƣơng tự với nhau từ rất lâu, thƣờng sử dụng 2 máy ảnh stereo để tạo thông tin chiều sâu 3D. Mặc dủ hệ thống này có cải thiện tính hiệu quả của việc nhận dạng cử chỉ trong môi trƣờng ngoài trời, chúng vẫn có vấn đề trong độ phức tạp của hệ tính toán xử lý cũng nhƣ khó khăn trong hiệu chuẩn. Hƣớng tiếp cận cuối cùng dựa trên hình ảnh là sử dụng cảm biến chiều sâu. Gần đây, các công nghệ cảm biến chiều sâu đang nổi lên nhanh chóng.

Các cảm biến này là các cảm biến chiều sâu không thuộc dạng stereo, và có nhiều ƣu điểm hơn so với máy ảnh stereo truyền thống. Ví dụ nhƣ các vấn đề về lắp đặt và điều kiện chiếu sáng có thể đƣợc hạn chế. Hơn nữa, ngõ ra của cảm biến chiều sâu mang thông tin 3D, nên khi so với thông tin màu, thông tin 3D có thể đơn giản hóa các vấn đề của việc nhận dạng cử chỉ [6]. Một so sánh của độ chính xác trong việc nhận dạng cử chỉ có thể đƣợc tì thấy tại một nghiên cứu của Doliotis et al.

Các loại cảm biến chiều sâu cung cấp giải pháp rẻ và dễ dàng cho việc nhận dạng cử chỉ. Chúng đƣợc sử dụng rộng rãi trong lĩnh vực giải trí, giáo dục và nghiên cứu. Việc này đã lôi cuốn một cộng đồng phát triển rất lớn giúp có thêm rất nhiều các dự án và công cụ nguồn mở dễ tiếp cận. Tuy nhiên, loại cảm biến này vẫn có hạn chế về độ phân giải, nên chủ yếu đƣợc dùng trong nhận dạng cử chỉ hình thể và cử chỉ tay ở khoảng cách gần.

Cảm biến tiếp cận theo hướng không sử dụng hình ảnh Trong thời gian gần đây, sự phát triển của mảng MEMS (hệ thống vi cơ điện tử - micro electromechanical system) và các cảm biến đã giúp đẩy mạnh các công nghệ nhận dạng cử chỉ mà không cần dựa trên hình ảnh nữa. Trong đó, theo nhƣ Hình 2, hƣớng tiếp cận này đƣợc chia làm 3 nhóm chính: nhóm găng tay (glove), nhóm vòng đeo (band), và nhóm không tiếp xúc da (non-wearable). Nhóm nghiên cứu sử dụng giao diện găng tay rất thƣờng đƣợc dùng để nhận dạng cử chỉ. Thông thƣờng, hƣớng tiếp cận này thƣờng cần các dây kết nối, cảm biến gia tốc accelerometers và con quay hồi chuyển.

Tuy nhiên, một số loại găng tay dùng 6 dây dẫn, cáp nối nhiều có khả năng gây ra rắc rối trong các môi trƣờng vận hành [6] [10]. Một công nghệ nhận dạng cử chỉ bằng cách tiếp xúc, không dùng hình ảnh khác, là công nghệ dạng vòng đeo.