Luận văn thạc sĩ về nhận diện cử chỉ tay bằng trở kháng sinh học trong vật lý kỹ thuật

Luận văn thạc sĩ kỹ thuật nghiên cứu vật lý kỹ thuật nhận diện cử chỉ tay dựa trên trở kháng sinh học, khảo sát thực trạng, phân tích nguyên nhân, đề xuất giải pháp cải thiện thực

• Tác giả: Thân Hải Nhật Minh
• Người hướng dẫn: TS. Nguyễn Trung Hậu
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Vật lý kỹ thuật
• Đề tài: Nhận diện cử chỉ tay dựa trên trở kháng sinh học
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2023
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu

Nghiên cứu về nhận diện cử chỉ tay bằng trở kháng sinh học là một lĩnh vực đang nhận được sự quan tâm lớn trong các ứng dụng công nghệ hiện đại. Việc nhận diện cử chỉ không chỉ giúp cải thiện giao tiếp giữa người và máy mà còn hỗ trợ những người khiếm thính trong việc giao tiếp. Đặc biệt, khoảng 7% dân số Việt Nam gặp vấn đề về thính giác, điều này càng làm nổi bật tầm quan trọng của việc phát triển công nghệ hỗ trợ. Hệ thống được nghiên cứu trong luận văn này sử dụng cảm biến trở kháng AD5933 để đo lường và phân tích cử chỉ tay trong thời gian thực, từ đó cung cấp một giải pháp hiệu quả cho việc giao tiếp phi ngôn ngữ.

1.1. Mục tiêu nghiên cứu

Mục tiêu chính của nghiên cứu là phát triển một hệ thống nhận diện cử chỉ tay dựa trên công nghệ trở kháng sinh học. Hệ thống này nhằm hỗ trợ người khiếm thính trong giao tiếp bằng cách nhận diện và phân loại các cử chỉ tay thông qua hệ thống cảm biến. Nghiên cứu sẽ tập trung vào việc thu thập dữ liệu trở kháng, huấn luyện mô hình học máy để đạt được độ chính xác cao trong việc nhận diện cử chỉ. Kết quả mong muốn không chỉ là một thiết bị hoạt động hiệu quả mà còn là một bước tiến trong việc cải thiện chất lượng cuộc sống cho cộng đồng người khiếm thính.

II. Tổng quan công nghệ

Trong lĩnh vực vật lý kỹ thuật, việc sử dụng cảm biến trở kháng sinh học đã trở thành một phương pháp tiên tiến để thu thập và phân tích dữ liệu sinh học. Các nghiên cứu hiện tại cho thấy rằng công nghệ nhận diện cử chỉ có thể được chia thành hai loại chính: tiếp cận theo hướng hình ảnh và không sử dụng hình ảnh. Trong đó, cảm biến trở kháng sinh học cho phép thu thập dữ liệu về điện trở của cơ thể con người, từ đó nhận diện các cử chỉ tay một cách chính xác. Hệ thống này không chỉ đơn thuần là một thiết bị đo lường mà còn là một phần quan trọng trong các ứng dụng như phục hồi chức năng và hỗ trợ giao tiếp cho người khiếm thính.

2.1. Các loại cảm biến

Các loại cảm biến được sử dụng trong nhận diện cử chỉ tay bao gồm cảm biến hình ảnh và cảm biến không hình ảnh. Cảm biến hình ảnh thường yêu cầu người dùng phải thực hiện cử chỉ trước một camera, trong khi cảm biến không hình ảnh như cảm biến trở kháng có thể hoạt động mà không cần đến hình ảnh. Cảm biến trở kháng, đặc biệt là IC AD5933, cho phép đo lường điện trở của tay người, từ đó phân tích các cử chỉ một cách chính xác và nhanh chóng. Điều này giúp cải thiện khả năng tương tác giữa người và máy, mở ra nhiều cơ hội ứng dụng trong các lĩnh vực khác nhau.

III. Phương pháp thực hiện

Nghiên cứu này áp dụng một quy trình chặt chẽ để phát triển thiết bị nhận diện cử chỉ tay bằng trở kháng sinh học. Đầu tiên, thiết kế phần cứng được thực hiện với việc sử dụng cảm biến AD5933 để thu thập dữ liệu trở kháng. Sau đó, phần mềm được phát triển để xử lý dữ liệu và huấn luyện mô hình học máy. Các bước này bao gồm việc thu thập mẫu dữ liệu từ các cử chỉ tay khác nhau, sau đó áp dụng các thuật toán học sâu để phân loại cử chỉ. Kết quả cuối cùng là một hệ thống có thể nhận diện cử chỉ tay trong thời gian thực với độ chính xác cao.

3.1. Thiết kế hệ thống

Thiết kế hệ thống bao gồm việc kết nối cảm biến trở kháng với Raspberry Pi để thu thập dữ liệu. Hệ thống này được lập trình để xử lý và phân tích dữ liệu trở kháng, từ đó nhận diện các cử chỉ tay. Các thuật toán học máy, đặc biệt là Convolutional Neural Network, được sử dụng để cải thiện độ chính xác của việc nhận diện. Kết quả cho thấy hệ thống có thể đạt được độ chính xác lên đến 92%, một con số ấn tượng cho một thiết bị sử dụng công nghệ trở kháng sinh học.

IV. Kết quả và đánh giá

Kết quả nghiên cứu cho thấy rằng hệ thống nhận diện cử chỉ tay bằng trở kháng sinh học có thể hoạt động hiệu quả trong các điều kiện thực tế. Qua các thử nghiệm, độ chính xác của mô hình đạt 92%, cho thấy khả năng ứng dụng cao trong việc hỗ trợ giao tiếp cho người khiếm thính. Tuy nhiên, vẫn cần có thêm nhiều mẫu kiểm tra để có thể phân tích thống kê chính xác hơn. Dự án này không chỉ cung cấp một giải pháp công nghệ hữu ích mà còn mở ra hướng đi mới cho nghiên cứu trong lĩnh vực giao tiếp phi ngôn ngữ.

4.1. Ứng dụng thực tiễn

Hệ thống nhận diện cử chỉ tay có thể được áp dụng trong nhiều lĩnh vực, từ công nghiệp đến y tế. Đặc biệt, trong lĩnh vực chăm sóc sức khỏe, công nghệ này có thể giúp cải thiện giao tiếp giữa bác sĩ và bệnh nhân, đặc biệt là những bệnh nhân khiếm thính. Hơn nữa, việc phát triển hệ thống này có thể mở ra cơ hội cho các sản phẩm hỗ trợ người khuyết tật, từ đó nâng cao chất lượng cuộc sống cho cộng đồng người khiếm thính. Điều này không chỉ mang lại lợi ích cho người dùng mà còn góp phần vào sự phát triển của công nghệ hỗ trợ trong xã hội.

Trích đoạn nội dung tài liệu

Đặt vấn đề Động tác ngôn ngữ hình thể rất quan trọng trong việc giao tiếp không dùng tiếng nói, giữa ngƣời với nhau hoặc thậm chí giữa ngƣời với máy. Ngôn ngữ này có thể có nhiều dạng, nhƣ cử chỉ của bàn tay, cánh tay, cử động cơ thể, dáng đi, đứng, chạy, hay cử động và cử chỉ vùng mặt, nét mặt, ánh mắt. Với sự phát triển nhanh trong việc giao tiếp giữa con ngƣời với các hệ thống cơ khí, điện tử lẫn phần mềm, điều quan trọng là phải có dụng cụ giúp việc giao tiếp này đơn giản và tự nhiên cho con ngƣời và hệ thống [1]. Dụng cụ này là các cảm biến, dùng để chuyển các tín hiệu cử động của con ngƣời thành các tín hiệu điện, giúp phân tích đƣợc.

Hơn thế nữa, các hệ thống tự động đang dần trở nên thiết yếu hơn trong mảng ngành công nghiệp sản xuất, nhờ tính chính xác, tốc độ, khả năng vận hành không mệt mỏi, lặp lại công việc tốt hơn và cho năng xuất cao hơn nhiều so với nhân lực. Tuy nhiên, chúng lại thiếu tính linh hoạt của con ngƣời. Vậy nên sự giao tiếp tốt giữa con ngƣời và thiết bị máy móc sẽ sẽ tạo ra hiệu quả công việc tốt nhất [2]. Việc nhận dạng các cử chỉ cũng là một phần quan trọng trong việc giao tiếp giữa ngƣời và hệ thống trong hệ thống ngành y tế, nhƣ sử dụng robot trong phòng mổ, vật lý trị liệu, bộ phận thay thế cho ngƣời khuyết tật…).

Cộng đồng ngƣời khiếm thính là một nhóm đông đảo và đang ngày càng mở rộng, tuy nhiên, chính phủ lẫn xã hội vẫn chƣa thực sự quan tâm đến họ đầy đủ. Một cuộc khảo sát do Tổng Cục Thống kê Việt Nam thực hiện trong giai đoạn 2016-2017 với sự hỗ trợ kỹ thuật từ UNICEF đã cho thấy hơn 6,2 triệu ngƣời ở Việt Nam từ 2 tuổi trở lên là điếc hoặc gặp vấn đề đáng kể về thính giác, chiếm gần 7% tổng dân số của đất nƣớc. Ngoài ra, có đến 13% - gần 12 triệu ngƣời, sống trong hộ gia đình có ít nhất một thành viên là ngƣời khuyết tật [3], [4]. 1 Trong số này, họ cần sử dụng ngôn ngữ ký hiệu để giao tiếp với nhau (mà cụ thể là ngôn ngữ ký hiệu Việt Nam).

Đây chủ yếu là các cử chỉ và chuyển động của cánh tay và bàn tay, và từ ngữ đƣợc biểu thị bằng hình thái và đánh vần bằng tay. Tuy nhiên, cú pháp của ngôn ngữ ký hiệu khác với tiếng Việt, làm cho việc học nó trở nên khá khó khăn. Rất nhiều ngƣời khiếm thính mất thính giác ở giai đoạn đã trƣởng thành, không chọn học ngôn ngữ ký hiệu do có nhiều khó khăn, dẫn đến chỉ có một số ít trong cộng đồng ngƣời khiếm thính biết sử dụng thành thạo ngôn ngữ ký hiệu, cho thấy mức độ nghiêm trọng trong vấn đề giao tiếp ở cộng đồng ngƣời khiếm thính. Mục tiêu đề tài Trong những năm gần đây, các viện nghiên cứu và nhà nghiên cứu khác nhau đã thử nghiệm các phƣơng pháp khác nhau để diễn giải ngôn ngữ ký hiệu, với giải pháp phổ biến nhất là sử dụng công nghệ nhận dạng hình ảnh phân tích các cử chỉ của tay và cánh tay của ngƣời dùng.

Luận văn này tập trung vào thiết kế một ứng dụng nhận diện ngôn ngữ ký hiệu dựa trên công nghệ cảm biến trở kháng sinh học, có thể thực hiện trong thời gian thực. Bài luận văn sẽ trình bày về ngữ cảnh thiết kế, nghiên cứu nền tảng, phƣơng pháp thiết kế và các thành phẩm, với mục tiêu mang đến một ý tƣởng mới trong lĩnh vực công nghệ hỗ trợ ngƣời khiếm thính và giải quyết vấn đề giao tiếp cho cộng đồng ngƣời điếc và khiếm thính. Cấu trúc luận văn Báo cáo luận văn này đƣợc sắp xếp thành năm chƣơng, tuân thủ nghiêm ngặt nhƣ sau: - Chƣơng 1: Đƣa ra cái nhìn về sự cấp thiết của việc nhận diện cừ chỉ tay và mục tiêu cho nghiên cứu này. - Chƣơng 2: Đánh giá các công trình nghiên cứu về các hệ thống nhận diện cử chỉ tay và các loại cảm biến sử dụng cho chúng.

- Chƣơng 3: Mô tả phƣơng pháp phát triển thiết bị, bao gồm nguyên tắc, thiết kế phần cứng và lập trình phần mềm. - Chƣơng 4: Hiển thị kết quả cuối cùng của sản phẩm từ phƣơng pháp thực hiện đã tiếp cận, kiểm tra độ chính xác và đánh gái kết quả ở cả hai khía cạnh ƣu và nhƣợc điểm để từ đó thảo luận về các phát triển và cải thiện trong tƣơng lai. - Chƣơng 5: Tóm tắt toàn bộ nội dung, đƣa ra kết luận cuối cùng cho luận văn này và thảo luận về khả năng ứng dụng của nó trong xã hội. Đƣa ra các tài liệu tham khảo và phụ lục.

CHƢƠNG 2: TỔNG QUAN Sự gia tăng sức mạnh tính toán đã mang lại nhiều thiết bị tính toán cho con ngƣời trong cuộc sống thƣờng ngày. Một chuỗi các ứng dụng và giao diện đƣợc phát triển để con ngƣời có thể tƣơng tác với chúng. Và những sự tƣơng tác với các hệ thống này sẽ dễ dàng hơn khi chúng đƣợc thực hiện một cách tự nhiên (vd: tức là giống nhƣ cách con ngƣời tƣơng tác với nhau bằng giọng nói hoặc cử chỉ). Trong đó, nhận dạng cử chỉ tay (hand gesture recognition - HGR) là một yếu tố quan trọng của việc tƣơng tác giữa ngƣời với máy, nghiên cứu công nghệ máy tính đƣợc thiết kế để diễn giải các lệnh do con ngƣời đƣa ra [5].

Các mô hình HGR là những hệ thống giúp xác định cử chỉ nào đƣợc thực hiện và thực hiện hiện khi nào. Hiện tại, các hệ thống này đƣợc nghiên cứu và dùng cho rất nhiều các ứng dụng, ví dụ nhƣ chi giả thông minh cho ngƣời khuyết tật, nhận biết ngôn ngữ ký hiệu cho ngƣời câm điếc, thiết bị phục hồi chức năng, và các thiết bị điều khiển.1: Một số sản phẩm nhận diện cử chỉ phát triển từ năm 1963 – 2014 Trƣớc khi đi vào quy trình nhận dạng cử chỉ, các thông tin thô về cử chỉ con ngƣời cần đƣợc thu thập nhờ vào các cảm biến, và có rất nhiều loại cảm biến đƣợc dùng cho việc này. Hình 2 cho thấy có hai loại thu thập dữ liệu cơ bản: tiếp cận theo hƣớng hình ảnh và tiếp cận không theo hƣớng hình ảnh [2]: 4 Hình 2.2: Phân loại các loại cảm biến dùng cho nhận dạng cử chỉ 2. Các loại cảm biến nhận diện cử chỉ tay 2.

Cảm biến tiếp cận theo hướng sử dụng hình ảnh Công nghệ thƣờng đƣợc lấy cảm hứng từ tự nhiên. Với con ngƣời, chúng ta dùng mắt để nhận biết cử chỉ, do đó, đối với thiết bị, hệ thống, sử dụng máy ảnh để “nhìn” cử chỉ cũng là một cách lý luận lựa chọn cảm biến hợp lý. Và đối với loại cảm biến tiếp cận thông tin theo hƣớng sử dụng hình ảnh, đƣợc chia tiếp thành 4 loại nhƣ hình 2 ở trên, bao gồm: đánh dấu (marker), máy ảnh đơn (single camera), máy ảnh stereo (stereo camera) và cảm biến chiều sâu (depth sensor). Ở hƣớng tiếp cận đánh dấu.

cảm biến là một máy ảnh quang học. Trong hầu hết các giải pháp sử dụng hƣớng tiếp cận này, ngƣời dùng cần phải đeo các điểm đánh dấu nhìn thấy thấy đƣợc [6] lên bộ phận cần để xác định cử chỉ. Đối với máy ảnh đơn dùng để phân tích cử chỉ, Howe et al. đánh giá là hạn chế về góc nhìn, làm ảnh hƣởng đến sự hiệu quả của thiết bị [7].

Tuy nhiên, nghiên cứu gần đây của Katsuki et al. năm 2015 đã áp dụng máy ảnh đơn tốc độ cao cho việc nhận dạng cử chỉ. Hệ thống tận dụng cảm biến hình ảnh tốc độ cao và bộ xử lý hình ảnh đƣợc thiết kế chuyê biệt để đạt đƣợc nhận dạng cử chỉ tốc độ cao [8]. Máy ảnh stereo (stereo camera) có thể tạo ra môi trƣờng 3D, đƣợc các nhà nghiên cứu gợi ý sử dụng cho ứng dụng nhận dạng cử chỉ.

Các nghiên cứu thực hiện dựa 5 trên hƣớng tiếp cận này tƣơng tự với nhau từ rất lâu, thƣờng sử dụng 2 máy ảnh stereo để tạo thông tin chiều sâu 3D. Mặc dủ hệ thống này có cải thiện tính hiệu quả của việc nhận dạng cử chỉ trong môi trƣờng ngoài trời, chúng vẫn có vấn đề trong độ phức tạp của hệ tính toán xử lý cũng nhƣ khó khăn trong hiệu chuẩn. Hƣớng tiếp cận cuối cùng dựa trên hình ảnh là sử dụng cảm biến chiều sâu. Gần đây, các công nghệ cảm biến chiều sâu đang nổi lên nhanh chóng.

Các cảm biến này là các cảm biến chiều sâu không thuộc dạng stereo, và có nhiều ƣu điểm hơn so với máy ảnh stereo truyền thống. Ví dụ nhƣ các vấn đề về lắp đặt và điều kiện chiếu sáng có thể đƣợc hạn chế. Hơn nữa, ngõ ra của cảm biến chiều sâu mang thông tin 3D, nên khi so với thông tin màu, thông tin 3D có thể đơn giản hóa các vấn đề của việc nhận dạng cử chỉ [6]. Một so sánh của độ chính xác trong việc nhận dạng cử chỉ có thể đƣợc tì thấy tại một nghiên cứu của Doliotis et al.

Các loại cảm biến chiều sâu cung cấp giải pháp rẻ và dễ dàng cho việc nhận dạng cử chỉ. Chúng đƣợc sử dụng rộng rãi trong lĩnh vực giải trí, giáo dục và nghiên cứu. Việc này đã lôi cuốn một cộng đồng phát triển rất lớn giúp có thêm rất nhiều các dự án và công cụ nguồn mở dễ tiếp cận. Tuy nhiên, loại cảm biến này vẫn có hạn chế về độ phân giải, nên chủ yếu đƣợc dùng trong nhận dạng cử chỉ hình thể và cử chỉ tay ở khoảng cách gần.

Cảm biến tiếp cận theo hướng không sử dụng hình ảnh Trong thời gian gần đây, sự phát triển của mảng MEMS (hệ thống vi cơ điện tử - micro electromechanical system) và các cảm biến đã giúp đẩy mạnh các công nghệ nhận dạng cử chỉ mà không cần dựa trên hình ảnh nữa. Trong đó, theo nhƣ Hình 2, hƣớng tiếp cận này đƣợc chia làm 3 nhóm chính: nhóm găng tay (glove), nhóm vòng đeo (band), và nhóm không tiếp xúc da (non-wearable). Nhóm nghiên cứu sử dụng giao diện găng tay rất thƣờng đƣợc dùng để nhận dạng cử chỉ. Thông thƣờng, hƣớng tiếp cận này thƣờng cần các dây kết nối, cảm biến gia tốc accelerometers và con quay hồi chuyển.

Tuy nhiên, một số loại găng tay dùng 6 dây dẫn, cáp nối nhiều có khả năng gây ra rắc rối trong các môi trƣờng vận hành [6] [10]. Một công nghệ nhận dạng cử chỉ bằng cách tiếp xúc, không dùng hình ảnh khác, là công nghệ dạng vòng đeo.