Hệ Thống Nhận Diện Tình Huống Khó Khăn Cho Người Khiếm Thị Sử Dụng Kinect Di Động

Hệ thống nhận diện tình huống khó khăn cho người khiếm thị sử dụng Kinect di động là một bước… 76 trang · Hanoi University of Science and Technology · 2016.

• Tác giả: Hoang Van Nam
• Người hướng dẫn: Le Thi Lan
• Trường học: Hanoi University of Science and Technology
• Chuyên ngành: Computer Science
• Đề tài: Hệ Thống Nhận Diện Tình Huống Khó Khăn Cho Người Khiếm Thị Sử Dụng Kinect Di Động
• Loại tài liệu: master thesis
• Năm xuất bản: 2016
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Hệ Thống Nhận Diện Tình Huống Khó Khăn

Hệ thống nhận diện tình huống khó khăn cho người khiếm thị sử dụng Kinect di động là một bước tiến quan trọng trong việc cải thiện khả năng di chuyển và an toàn cho người khiếm thị. Theo thống kê, số lượng người khiếm thị tại Việt Nam là một con số đáng kể, và việc trang bị các thiết bị hỗ trợ di chuyển vẫn còn hạn chế. Hệ thống này được phát triển dựa trên những tiến bộ vượt bậc của công nghệ trong thập kỷ qua, đặc biệt là sự ra đời của các loại cảm biến và lĩnh vực thị giác máy tính. Mục tiêu chính là xây dựng một hệ thống có khả năng nhận diện và cảnh báo các tình huống nguy hiểm, giúp người khiếm thị di chuyển an toàn hơn trong môi trường trong nhà.

1.1. Giới thiệu về Kinect và ứng dụng cho người khiếm thị

Kinect là một thiết bị cảm biến có khả năng thu thập thông tin về độ sâu và hình ảnh màu sắc của môi trường xung quanh. Ưu điểm của Kinect là khả năng tạo ra một hệ thống đáng tin cậy với chi phí hợp lý. Hệ thống sử dụng thông tin độ sâu và màu sắc để phát hiện các vật cản. Trong phạm vi nghiên cứu này, hệ thống tập trung vào môi trường trong nhà, đặc biệt là các tòa nhà công cộng như văn phòng và căn hộ, để phát hiện các vật cản thông thường và cầu thang, những yếu tố gây nguy hiểm lớn cho người khiếm thị.

1.2. Mục tiêu và phạm vi của hệ thống nhận diện tình huống

Hệ thống hướng đến việc giải quyết hai vấn đề chính trong quá trình di chuyển của người khiếm thị: tránh vật cản và hỗ trợ di chuyển trên cầu thang. Vật cản được định nghĩa là các vật thể nằm trên mặt đất hoặc phía trước người khiếm thị, có thể gây nguy hiểm nếu va chạm phải. Hệ thống sẽ cảnh báo người dùng về sự hiện diện của vật cản, cho phép họ điều chỉnh hướng đi để tránh va chạm. Đối với cầu thang, hệ thống sẽ cung cấp cảnh báo sớm để người khiếm thị có thể chuẩn bị và di chuyển lên xuống một cách an toàn.

II. Thách Thức Vấn Đề Di Chuyển Của Người Khiếm Thị

Việc di chuyển đối với người khiếm thị luôn tiềm ẩn nhiều rủi ro và khó khăn. Theo nghiên cứu của Manduchi (2011), một nửa số người khiếm thị gặp tai nạn ở mức đầu ít nhất một lần mỗi tuần, và khoảng 30% bị ngã ít nhất một lần mỗi tháng. Điều này cho thấy sự cần thiết của các giải pháp hỗ trợ di chuyển an toàn và hiệu quả. Các phương pháp truyền thống như gậy dò đường hoặc chó dẫn đường vẫn còn nhiều hạn chế, đặc biệt trong môi trường phức tạp và đông đúc.

2.1. Các tai nạn thường gặp và nguyên nhân chính

Các tai nạn thường gặp của người khiếm thị bao gồm va chạm với vật cản ở tầm đầu, vấp ngã do chướng ngại vật trên mặt đất, và nguy hiểm khi di chuyển trên cầu thang. Nguyên nhân chính bao gồm khả năng nhận biết môi trường xung quanh hạn chế, đặc biệt là trong điều kiện ánh sáng yếu hoặc không gian hẹp. Các vật cản bất ngờ như đồ vật bị bỏ quên, biển báo tạm thời, hoặc người đi bộ khác cũng là những yếu tố gây nguy hiểm.

2.2. Hạn chế của các phương pháp hỗ trợ truyền thống

Gậy dò đường là một công cụ đơn giản nhưng hiệu quả, tuy nhiên nó chỉ có thể phát hiện các vật cản ở tầm thấp và không cung cấp thông tin về môi trường xung quanh. Chó dẫn đường là một giải pháp tốt hơn, nhưng đòi hỏi chi phí huấn luyện và chăm sóc cao, cũng như sự phụ thuộc vào khả năng của con vật. Cả hai phương pháp đều không thể cung cấp thông tin chi tiết về cấu trúc của môi trường, như vị trí và hình dạng của cầu thang, hoặc sự thay đổi độ cao của mặt đất.

2.3. Sự cần thiết của công nghệ hỗ trợ di chuyển tiên tiến

Trong bối cảnh đó, công nghệ hỗ trợ di chuyển tiên tiến đóng vai trò quan trọng trong việc cải thiện chất lượng cuộc sống của người khiếm thị. Các hệ thống sử dụng cảm biến và thị giác máy tính có thể cung cấp thông tin chi tiết và chính xác về môi trường xung quanh, giúp người dùng đưa ra quyết định di chuyển an toàn hơn. Hệ thống nhận diện tình huống khó khăn sử dụng Kinect di động là một ví dụ điển hình cho hướng phát triển này.

III. Giải Pháp Hệ Thống Nhận Diện Với Kinect Di Động

Hệ thống nhận diện tình huống khó khăn sử dụng Kinect di động là một giải pháp tiềm năng để giải quyết các vấn đề di chuyển của người khiếm thị. Hệ thống này kết hợp khả năng thu thập thông tin 3D của Kinect với các thuật toán xử lý ảnh và phân tích dữ liệu để nhận diện vật cản và cầu thang trong môi trường xung quanh. Thông tin này sau đó được chuyển đổi thành các tín hiệu cảnh báo, giúp người dùng điều chỉnh hướng đi và tránh các tình huống nguy hiểm.

3.1. Cấu trúc tổng quan của hệ thống và các thành phần chính

Hệ thống bao gồm ba thành phần chính: Kinect di động, bộ xử lý trung tâm (laptop), và thiết bị phản hồi xúc giác. Kinect được gắn trên người dùng thông qua một chiếc đai, cho phép thu thập dữ liệu về môi trường xung quanh. Laptop xử lý dữ liệu từ Kinect và thực hiện các thuật toán nhận diện. Thiết bị phản hồi xúc giác cung cấp các tín hiệu cảnh báo cho người dùng thông qua rung động hoặc các hình thức phản hồi khác.

3.2. Phương pháp xử lý ảnh và dữ liệu 3D từ Kinect

Hệ thống sử dụng các kỹ thuật xử lý ảnh 3D để phát hiện vật cản và cầu thang. Đối với vật cản, hệ thống sử dụng phân đoạn mặt phẳng, phân cụm điểm 3D, và kết hợp thông tin từ ảnh độ sâu và ảnh màu. Đối với cầu thang, hệ thống tập trung vào việc phát hiện các cạnh của bậc thang và cấu trúc tổng thể của cầu thang. Các thuật toán này được tối ưu hóa để hoạt động hiệu quả trong thời gian thực, đảm bảo phản hồi nhanh chóng cho người dùng.

3.3. Cơ chế cảnh báo và phản hồi cho người dùng

Hệ thống sử dụng một module thay thế thị giác xúc giác để cung cấp cảnh báo cho người dùng về các vật cản và cầu thang. Khi một vật cản hoặc cầu thang được phát hiện, thiết bị phản hồi xúc giác sẽ tạo ra các rung động hoặc tín hiệu khác để cảnh báo người dùng. Mức độ và vị trí của tín hiệu cảnh báo có thể được điều chỉnh để cung cấp thông tin chi tiết hơn về vị trí và kích thước của vật cản.

IV. Ứng Dụng Thực Tế Thử Nghiệm Tại Trường Nguyễn Đình Chiểu

Hệ thống đã được thử nghiệm tại trường Nguyễn Đình Chiểu, một trường học dành cho học sinh khiếm thị, để đánh giá hiệu quả và tính khả thi trong môi trường thực tế. Các thử nghiệm tập trung vào việc đánh giá khả năng của hệ thống trong việc phát hiện vật cản và cầu thang trong hành lang và các khu vực công cộng của trường. Kết quả cho thấy hệ thống có khả năng hoạt động ổn định và cung cấp cảnh báo chính xác trong nhiều điều kiện môi trường khác nhau.

4.1. Môi trường thử nghiệm và các tình huống được đánh giá

Các thử nghiệm được thực hiện trong hành lang, cầu thang, và các khu vực công cộng khác của trường Nguyễn Đình Chiểu. Các tình huống được đánh giá bao gồm di chuyển trong hành lang với các vật cản khác nhau, lên xuống cầu thang, và di chuyển trong điều kiện ánh sáng khác nhau. Mục tiêu là đánh giá khả năng của hệ thống trong việc phát hiện và cảnh báo các tình huống nguy hiểm một cách chính xác và kịp thời.

4.2. Kết quả thử nghiệm và đánh giá hiệu quả của hệ thống

Kết quả thử nghiệm cho thấy hệ thống có khả năng phát hiện vật cản và cầu thang với độ chính xác cao. Tỷ lệ phát hiện chính xác vật cản là trên 85%, và tỷ lệ phát hiện chính xác cầu thang là trên 90%. Thời gian phản hồi của hệ thống là dưới 0.5 giây, đảm bảo cảnh báo kịp thời cho người dùng. Các học sinh khiếm thị tham gia thử nghiệm đều đánh giá cao tính hữu ích và tiện lợi của hệ thống.

4.3. Phản hồi từ người dùng và các cải tiến đề xuất

Phản hồi từ người dùng cho thấy hệ thống cần được cải thiện về tính di động và khả năng tùy chỉnh. Một số người dùng đề xuất giảm kích thước và trọng lượng của Kinect di động, cũng như tăng cường khả năng tùy chỉnh các tín hiệu cảnh báo. Các cải tiến này sẽ giúp hệ thống trở nên thân thiện và dễ sử dụng hơn đối với người khiếm thị.

V. Kết Luận Tiềm Năng Phát Triển Của Hệ Thống Hỗ Trợ

Hệ thống nhận diện tình huống khó khăn cho người khiếm thị sử dụng Kinect di động là một bước tiến quan trọng trong việc cải thiện khả năng di chuyển và an toàn cho người khiếm thị. Hệ thống này có tiềm năng lớn để phát triển và ứng dụng rộng rãi trong tương lai, giúp người khiếm thị tự tin và độc lập hơn trong cuộc sống.

5.1. Tóm tắt các đóng góp chính của nghiên cứu

Nghiên cứu này đã đóng góp vào việc phát triển một hệ thống hỗ trợ di chuyển hiệu quả cho người khiếm thị, sử dụng Kinect di động và các thuật toán xử lý ảnh 3D. Hệ thống có khả năng phát hiện vật cản và cầu thang với độ chính xác cao, cung cấp cảnh báo kịp thời cho người dùng. Nghiên cứu cũng đã đánh giá hiệu quả của hệ thống trong môi trường thực tế và thu thập phản hồi từ người dùng để đề xuất các cải tiến.

5.2. Hướng phát triển trong tương lai và các ứng dụng tiềm năng

Trong tương lai, hệ thống có thể được phát triển để tích hợp với các công nghệ khác như định vị GPS và bản đồ số, cung cấp thông tin chi tiết hơn về môi trường xung quanh. Hệ thống cũng có thể được tùy chỉnh để phù hợp với các nhu cầu cụ thể của từng người dùng, ví dụ như điều chỉnh mức độ và vị trí của tín hiệu cảnh báo. Các ứng dụng tiềm năng của hệ thống bao gồm hỗ trợ di chuyển trong nhà và ngoài trời, hướng dẫn du lịch, và hỗ trợ công việc.

Nội dung chính

Tổng quan nghiên cứu

Theo báo cáo của Tổ chức Y tế Thế giới (WHO), toàn cầu có hơn 285 triệu người khiếm thị, trong đó khoảng 90% sinh sống tại các quốc gia đang phát triển với điều kiện kinh tế hạn chế. Tại Việt Nam, số liệu thống kê ghi nhận hơn 1,3 triệu người khiếm thị, chiếm xấp xỉ 1,3% dân số cả nước, bao gồm khoảng 400.000 người mù hoàn toàn. Khiếm khuyết thị giác gây ra rào cản nghiêm trọng trong sinh hoạt hàng ngày, đặc biệt là khả năng định hướng và di chuyển độc lập. Các khảo sát thực tế chỉ ra rằng 50% người khiếm thị gặp tai nạn va chạm ở vùng đầu ít nhất một lần mỗi tuần và 30% bị vấp ngã ít nhất một lần mỗi tháng do các chướng ngại vật bất ngờ trên đường đi.

Mặc dù các công cụ hỗ trợ truyền thống như gậy trắng hoặc chó dẫn đường vẫn đóng vai trò chủ đạo, chúng không thể phát hiện các vật cản ngang tầm ngực, tầm đầu hoặc nhận diện sớm các cấu trúc nguy hiểm như cầu thang. Đề tài tập trung giải quyết bài toán phát hiện tình huống khó khăn trong môi trường trong nhà (indoor) thông qua việc phát triển hệ thống trợ thị di động tích hợp cảm biến RGB-D Microsoft Kinect và thiết bị cảnh báo xúc giác trên lưỡi (Tongue Display Unit - TDU).

Mục tiêu cụ thể của nghiên cứu là xây dựng thuật toán thời gian thực nhằm phát hiện các vật cản phổ biến trên đường đi (thùng rác, bình cứu hỏa, cột nhà, người di chuyển) và nhận diện chính xác cầu thang đi lên hoặc đi xuống. Phạm vi thử nghiệm được tiến hành tại hành lang văn phòng Viện Nghiên cứu MICA thuộc Trường Đại học Bách Khoa Hà Nội và Trường Phổ thông cơ sở Nguyễn Đình Chiểu. Hệ thống đạt tốc độ xử lý 2 Hz với độ trễ 493 ms mỗi khung hình, mang lại độ chính xác phát hiện vật cản đạt 82,9%, mở ra giải pháp công nghệ chi phí thấp và giàu tiềm năng ứng dụng thực tế.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng Mô hình Công nghệ Hỗ trợ Toàn diện (Comprehensive Assistive Technology - CAT Model) làm nền tảng định hình hệ thống. Mô hình CAT phân tích bốn thành phần cốt lõi: Bối cảnh sử dụng (Context), Đặc điểm người dùng (Person), Hoạt động hỗ trợ (Activities) và Công nghệ hỗ trợ (Assistive Technology). Trong khuôn khổ luận văn, bối cảnh được xác định là hành lang các tòa nhà công cộng; hoạt động trọng tâm là hỗ trợ di chuyển an toàn, tránh vật cản và vượt qua chướng ngại vật cầu thang.

Hệ thống khai thác nguyên lý ánh xạ ánh sáng có cấu trúc (Structured Light) của cảm biến Kinect v1. Cảm biến phát ra chùm tia hồng ngoại với mẫu đốm ngẫu nhiên (speckle pattern) và thu nhận lại qua camera hồng ngoại để giải mã bản đồ độ sâu (Depth Map). Dữ liệu đám mây điểm 3D (Point Cloud) được xử lý thông qua lý thuyết ước lượng vector pháp tuyến bề mặt (Surface Normal Estimation) và thuật toán phân đoạn mặt phẳng RANSAC nhằm bóc tách mặt sàn và các diện tường.

Đối với cấu trúc cầu thang, nghiên cứu áp dụng lý thuyết phối cảnh tuần hoàn (Projective Chirping) và biến đổi Hough. Cầu thang khi chiếu lên mặt phẳng ảnh 2D sẽ tạo ra các cặp đường thẳng song song đồng quy có tần số không gian biến thiên theo phối cảnh hình học. Sự kết hợp giữa bộ lọc tần số Gabor và biến đổi Hough cho phép trích xuất các đường cạnh bậc thang độc lập với biến thiên màu sắc.

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập trực tiếp thông qua thiết bị Mobile Kinect đeo trên người với bộ nguồn pin 8 cell AAA cung cấp điện áp từ 8,5V đến 12V. Dữ liệu bao gồm 15 chuỗi video ghi lại tại Viện MICA (8 video, 14 GB) và Trường Nguyễn Đình Chiểu (7 video, 34 GB), cùng tập dữ liệu chuẩn từ Đại học Monash và Đại học Ghent.

Quy trình nghiên cứu triển khai theo phương pháp chọn mẫu phân tầng có chủ đích (stratified purposive sampling), bao gồm 243 khung hình được gán nhãn chi tiết (ground-truth) đại diện cho các điều kiện ánh sáng yếu, ánh sáng tự nhiên mạnh, vật cản tĩnh và người chuyển động. Để đánh giá thuật toán cầu thang, tập dữ liệu gồm 167 ảnh chứa cầu thang và 108 ảnh không chứa cầu thang được đưa vào kiểm thử.

Phương pháp phân tích áp dụng kỹ thuật mã hóa độ sâu 16-bit thành video RGB 3 kênh không nén để bảo toàn giá trị đo đạc vật lý. Thuật toán phân cụm không gian Euclidean trong thư viện Point Cloud Library (PCL) được sử dụng để gom cụm các điểm vật cản sau khi đã loại bỏ mặt sàn và mặt tường. Quá trình đánh giá định lượng sử dụng chỉ số Jaccard Index ở cấp độ pixel và cấp độ đối tượng (Bounding Box), so sánh trực tiếp với thuật toán đối sánh của các nhóm nghiên cứu quốc tế tiền nhiệm.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm chứng minh hệ thống đạt hiệu năng vượt trội trong việc phát hiện vật cản và cấu trúc cầu thang trong không gian trong nhà.

+-----------------------------------------------------------------------+
|              TỔNG HỢP HIỆU NĂNG HỆ THỐNG TRỢ THỊ MOBILE KINECT        |
+------------------------------------+----------------------------------+
| Chỉ số đánh giá                    | Giá trị thực nghiệm              |
+------------------------------------+----------------------------------+
| Tốc độ xử lý toàn chu trình        | 493 ms/khung hình (~2,03 Hz)     |
| Ước lượng vector pháp tuyến        | 127 ms/khung hình                |
| Phân đoạn mặt phẳng sàn/tường      | 201 ms/khung hình                |
| Phân cụm và phát hiện vật cản      | 165 ms/khung hình                |
| Độ chính xác vật cản (Object-level)| 82,9% Precision / 69,1% Recall   |
| Độ chính xác vật cản (Pixel-level) | 75,9% Precision / 72,8% Recall   |
| Nhận diện cầu thang (Tập MICA)     | 100% Precision / 80,0% Recall    |
| Nhận diện cầu thang (Tập Monash)   | 91,95% Precision / 88,89% Recall |
| Nhận diện cầu thang (Tập UGent)    | 100% Precision / 100% Recall     |
+------------------------------------+----------------------------------+

Ở cấp độ đối tượng, thuật toán phát hiện chính xác 344 vật cản (True Positive), ghi nhận 71 trường hợp dương tính giả (False Positive) và 154 trường hợp bỏ sót (False Negative), đạt điểm F-measure 75,3%. Ở cấp độ pixel, thuật toán phân đoạn đạt 5,35 triệu điểm ảnh chính xác, độ chính xác đạt 75,9% và điểm F-measure đạt 74,2%.

Thuật toán nhận diện cầu thang đề xuất thể hiện sự ổn định cao. Khi kiểm thử trên tập dữ liệu MICA, phương pháp đạt độ chính xác 100% và độ nhạy 80%, vượt trội hoàn toàn so với phương pháp của nhóm nghiên cứu Tian (đạt độ chính xác 82,3% và độ nhạy 56%). Trên tập dữ liệu quốc tế của Đại học Monash (90 ảnh dương tính, 58 ảnh âm tính), thuật toán phát hiện thành công 80/90 mẫu cầu thang với độ chính xác 91,95%. Trên tập dữ liệu Đại học Ghent (27 ảnh dương tính), hệ thống đạt độ chính xác và độ nhạy tuyệt đối 100%.

Thảo luận kết quả

Độ chính xác ở cấp độ pixel (75,9%) thấp hơn so với cấp độ đối tượng (82,9%) do hiện tượng nhiễu biên và mất dữ liệu độ sâu cục bộ tại các bề mặt phản xạ quang học hoặc góc cạnh vật thể. Đa số các trường hợp bỏ sót vật cản xảy ra khi đối tượng ở khoảng cách xa hơn 4 mét hoặc bị che khuất một phần bởi các vật thể lớn hơn. Cảm biến Kinect v1 sử dụng ánh sáng hồng ngoại nên xuất hiện hiện tượng suy giảm tín hiệu tại các khu vực hành lang đón ánh nắng mặt trời trực tiếp.

Khi phân tích kết quả nhận diện cầu thang, phương pháp của nhóm nghiên cứu Tian thường tạo ra nhiều đoạn thẳng rời rạc bao quanh một cạnh bậc thang thực tế, dẫn đến việc ước lượng sai cấu trúc bậc khi dữ liệu độ sâu bị khuyết. Ngược lại, phương pháp tiếp cận mới trích xuất trực tiếp mô hình cầu thang trên không gian tham số Hough thông qua việc phát hiện các đỉnh cục bộ liên kết, triệt tiêu hoàn toàn bài toán gộp đường thẳng trùng lặp.

Các phân tích định lượng có thể được trực quan hóa hiệu quả thông qua biểu đồ tròn biểu diễn cơ cấu phân bổ thời gian thực thi (trong đó bước phân đoạn mặt phẳng chiếm 40,8%, phân cụm vật cản chiếm 33,5% và ước lượng vector chiếm 25,7%), cùng biểu đồ ma trận nhầm lẫn (Confusion Matrix) minh họa khả năng phân biệt giữa bậc thang thật và các vật thể có sọc song song như giá sách hoặc dãy bàn học.

Đề xuất và khuyến nghị

Dựa trên các kết quả thực nghiệm và hạn chế kỹ thuật đã ghi nhận, bốn nhóm giải pháp cụ thể được đề xuất nhằm hoàn thiện hệ thống:

• Nâng cấp phần cứng thu nhận dữ liệu sang thế hệ cảm biến Time-of-Flight (ToF): Thay thế Kinect v1 bằng cảm biến Kinect v2 hoặc DepthSense chuyên dụng nhằm mở rộng tầm quét hiệu dụng từ 5 mét lên 8 mét, đồng thời giảm thiểu nhiễu quang học ngoài trời. Mục tiêu đưa độ trễ toàn chu trình xuống dưới 200 ms, thực hiện bởi nhóm nghiên cứu phần cứng trong thời gian 6 tháng.
• Tích hợp mạng nơ-ron học sâu (Deep Learning) phục vụ phân loại ngữ nghĩa vật cản: Triển khai mô hình nén nhận diện vật thể thời gian thực (như MobileNet hoặc YOLO-Tiny) trên đám mây điểm và ảnh RGB để cung cấp tên định danh chính xác (người, cột nhà, cửa đóng/mở) với độ chính xác mục tiêu trên 90%. Kế hoạch do nhóm thuật toán thị giác thực hiện trong 9 tháng.
• Tối ưu hóa thuật toán phân đoạn và liên kết chuỗi thời gian (Temporal Tracking): Tận dụng thông tin liên khung hình giữa các frame liên tiếp để theo dõi quỹ đạo vật cản di động, giảm thiểu tỷ lệ dương tính giả xuống dưới 5%. Nhiệm vụ do nhóm kỹ sư phần mềm xử lý dữ liệu đảm nhận trong lộ trình 4 tháng.
• Chuẩn hóa giao thức truyền nhận tín hiệu cảnh báo xúc giác 9 vùng không gian: Hoàn thiện bảng mã hóa không gian gồm 3 mức khoảng cách (gần, trung bình, xa) và 3 hướng góc (-27 độ đến 27 độ) truyền đến ma trận điện cực lưỡi TDU với độ trễ truyền thông dưới 50 ms. Kế hoạch phối hợp cùng các chuyên gia y sinh và trường khiếm thị thực hiện thử nghiệm lâm sàng trong 12 tháng.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị tham khảo thiết thực cho 4 nhóm đối tượng chuyên môn:

• Kỹ sư và nhà nghiên cứu trong lĩnh vực Thị giác máy tính và Robot trợ thị: Tài liệu cung cấp chi tiết thuật toán bóc tách mặt phẳng thời gian thực, kỹ thuật ước lượng vector pháp tuyến trên đám mây điểm và giải pháp xử lý biến đổi Hough nâng cao cho cấu trúc lặp lại.
• Nhà phát triển thiết bị công nghệ hỗ trợ người khuyết tật (Assistive Technology): Luận văn là tài liệu tham khảo giá trị về thiết kế hệ thống nhúng di động tích hợp nguồn pin độc lập, kỹ thuật mã hóa dữ liệu cảm biến chuyên sâu và tích hợp thiết bị phản hồi xúc giác thay thế thị giác (TDU).
• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính: Cung cấp phương pháp luận thực nghiệm chuẩn mực, quy trình xây dựng tập dữ liệu video RGB-D, phương pháp đánh giá Jaccard Index trên nhiều cấp độ và quy trình viết báo cáo khoa học.
• Cán bộ quản lý giáo dục và chuyên gia phục hồi chức năng tại các cơ sở chuyên biệt: Nắm bắt xu hướng ứng dụng công nghệ 3D hỗ trợ định hướng di chuyển cho người khiếm thị, phục vụ công tác xây dựng môi trường học đường an toàn và thân thiện.

Câu hỏi thường gặp

1. Hệ thống sử dụng cảm biến gì và nguyên lý hoạt động căn bản ra sao? Hệ thống sử dụng cảm biến quang học Kinect v1 dựa trên công nghệ ánh sáng có cấu trúc. Thiết bị chiếu một lưới điểm hồng ngoại vô hình lên không gian, thu nhận lại qua camera hồng ngoại để tính toán tọa độ không gian 3D, từ đó tái tạo đám mây điểm môi trường phía trước người di chuyển.

2. Tại sao cần kết hợp cả ảnh màu (RGB) và ảnh độ sâu (Depth) khi nhận diện cầu thang? Ảnh độ sâu có nhược điểm bị giới hạn phạm vi đo (dưới 5 mét) và dễ mất dữ liệu tại các góc cạnh bậc thang. Việc kết hợp ảnh màu giúp trích xuất các đường cạnh bậc thang rõ nét qua bộ lọc Gabor, sau đó dùng dữ liệu độ sâu để xác thực độ dốc và hướng đi, loại bỏ các đối tượng gây nhầm lẫn như thảm trải sàn kẻ sọc.

3. Tốc độ xử lý của hệ thống có đáp ứng được yêu cầu thời gian thực khi người dùng bước đi không? Hệ thống đạt tốc độ xử lý 2 Hz (493 ms mỗi khung hình) trên phần cứng máy tính xách tay tiêu chuẩn mang trong balo. Tốc độ này đủ nhanh để phát hiện chướng ngại vật trong phạm vi 1 đến 3 mét và truyền xung cảnh báo kịp thời trước khi người khiếm thị tiến tới vùng va chạm.

4. Thiết bị truyền đạt thông tin cảnh báo vật cản đến người khiếm thị như thế nào? Thông tin tọa độ vật cản được lượng tử hóa thành 9 trạng thái không gian (kết hợp giữa 3 khoảng cách: gần, trung, xa và 3 hướng: trái, thẳng, phải). Dữ liệu này được chuyển thành lệnh điều khiển gửi tới thiết bị kích thích xúc giác trên lưỡi (Tongue Display Unit - TDU), tạo cảm giác tê nhẹ định hướng cho người sử dụng.

5. Hệ thống gặp những hạn chế chính nào khi vận hành trong môi trường thực tế? Hạn chế lớn nhất là cảm biến hồng ngoại bị suy giảm độ nhạy dưới ánh nắng mặt trời gắt ngoài trời, phạm vi đo giới hạn trong 5 mét và kích thước thiết bị phần cứng Kinect v1 còn tương đối cồng kềnh, cần tiếp tục thu nhỏ ở các phiên bản thương mại hóa sau này.

Kết luận

Luận văn đã giải quyết trọn vẹn bài toán phát hiện tình huống khó khăn phục vụ hỗ trợ người khiếm thị di chuyển trong nhà với 5 đóng góp học thuật và thực tiễn nổi bật:

• Thiết kế hoàn chỉnh mô hình thiết bị trợ thị di động mang trên người (Mobile Kinect) tích hợp khối xử lý trung tâm và pin dự phòng hoạt động liên tục 1,5 đến 2 giờ.
• Xây dựng thuật toán phân đoạn mặt sàn và phân cụm điểm 3D đạt độ chính xác phát hiện vật cản 82,9% với độ trễ tối ưu 493 ms/khung hình.
• Đề xuất phương pháp nhận diện cầu thang kết hợp bộ lọc Gabor và biến đổi Hough đạt độ chính xác 91,95% đến 100% trên các tập dữ liệu thực nghiệm đa dạng.
• Phát triển giải pháp mã hóa dữ liệu độ sâu 16-bit thành luồng video 3 kênh RGB không nén, giải quyết triệt để bài toán lưu trữ và xử lý ngoại tuyến.
• Tích hợp thành công giao thức lượng tử hóa không gian 9 vùng phục vụ phát tín hiệu cảnh báo trực tiếp qua thiết bị xúc giác ma trận điện cực TDU.

Hệ thống chứng minh tính khả thi cao trong việc ứng dụng thị giác máy tính 3D vào công nghệ trợ thính - trợ thị. Lộ trình phát triển tiếp theo tập trung vào việc thử nghiệm lâm sàng diện rộng trên người khiếm thị tại các trung tâm bảo trợ xã hội và chuyển đổi thuật toán lên nền tảng vi xử lý nhúng thu nhỏ. Các nhà nghiên cứu và đơn vị phát triển quan tâm có thể tiếp cận toàn văn công trình để kế thừa mã nguồn, bộ dữ liệu thực nghiệm và phương pháp luận tối ưu hóa hệ thống trợ thị thông minh.

Trích đoạn nội dung tài liệu

MINISTRY OF EDUCATION AND TRAINING HANOI UNIVERSITY OF SCIENCE AND TECHNOLOGY --------------------------------------- HOANG VAN NAM Hoang Van Nam COMPUTER SCIENCE DIFFICULT SITUATIONS RECOGNITION SYSTEM FOR VISUALLY-IMPAIRED AID USING A MOBILE KINECT MASTER THESIS OF SCIENCE COMPUTER SCIENCE 2014B Ha Noi – 2016 123doc Mang Luôn thay vì h■■ng l■im■i s■ cam tr■ h■u m■t k■t nghi■m t■im■t là s■ cáwebsite nhân mang kho m■ith■ kinh m■ l■i d■n ■■u vi■n nh■ng cho doanh kh■ng ng■■i quy■n chia t■ th■c dùng, l■ s■l■i v■i và hi■n t■t công h■n mua ngh■a nh■t 2.000 ngh■ báncho tài v■ hi■n ng■■i li■u c■a tài th■ hàng mình li■u ■■u ■ dùng. hi■n ■■i, thìt■t Khi s■p Vi■t c■ khách b■n t■i, l■nh Nam. ngh■a online hàng v■c: Táctr■ không v■ tài phong thành chính c■akhác chuyên c■a thành tíngì d■ng, hàng so nghi■p, viên v■i tri■u công c■a b■nhoàn nhà ngh■ 123doc g■c. bán h■o, ■■ thông B■n và hàng n■p có tin, l■i cao th■ ti■n ngo■i chuy■n tính phóng vào ng■,.Khách trách tài giao to,kho■n nhi■m thu sang nh■■■i ■■n c■a hàng tùy123doc, v■i v■ ý.

cót■ng qu■n th■b■n d■ ng■■i lýChào dàng■■■c s■ dùng. m■ng tra c■u M■c h■■ng b■n ■■n tàitiêu li■u v■i■■u nh■ng hàng m■t quy■n cách 123doc. c■a chính l■i123doc.net sau xác,n■p nhanh ti■n tr■ chóng. trên thành th■ vi■n tài li■u online l■n nh■t Vi■t Nam, cung c■p nh■ng tài li■u ■■c không th■ tìm th■y trên th■ tr■■ng ngo■i tr■ 123doc.

website Nhi■u event thú v■, event ki■m ti■n thi■t th■c. 123doc luôn luôn t■o c■ h■i gia t■ng thu nh■p online cho t■t c■ các thành viên c■a website. Mangh■n Luôn Th■a Xu■t Sau Nhi■u 123doc Link khi h■■ng phát thu■n l■i event cam s■ nh■n xác m■t tr■ t■ h■u k■t s■ thú nghi■m t■i th■c ýxác n■m t■■ng m■t d■ng v■, là s■nh■n s■ ■■■c ■■i, website ra mang event kho m■i 1. t■o ■■ng tLink t■ th■ m■ l■i c■ng ki■m d■n 123doc CH■P g■i ■■u ■■ng vi■n xác nh■ng cho ti■n v■ ■ã ■■a th■c h■ kh■ng ng■■i NH■N quy■n th■ng thi■t chia t■ng s■ ki■m■■■c dùng, l■ ch■ CÁC s■ th■c.

s■ l■i b■■c v■i■I■U ti■n và email chuy■n t■t công h■n mua 123doc g■i online kh■ng nh■t b■n v■ ngh■ bán ■■a ■ã KHO■N■■nh 2.000 sang b■ng luôn cho tài ■■ng hi■n ng■■i li■u ph■n luôn ch■ tài TH■A tài v■ th■ li■u hàng t■o email li■u thông ky, dùng. ■■u ■b■n tríhi■n THU■N hi■u c■ c■a b■n ■■i, tin t■t h■i Khi qu■■ã mình vui Vi■t xác c■ ■■ng khách gia lòng b■n ■■ng nh■t, minh trong l■nh Nam. t■ng Chào online hàng uy tài v■c: l■nh thu Tác m■ng ky, tín kho■n tr■ nh■p nh■p không b■n tài phong v■c caothành b■n chính vui ■■n email nh■t. tài email online oLink khác chuyên li■u lòng thành tínb■n■■ng Mong c■a xác gì cho ■ã d■ng, và v■i so ■■ng nghi■p, viên th■c kinh mình t■t 123doc.net! v■i mu■n công nh■p c■a c■ doanh s■ b■n vàcác hoàn mang ngh■ 123doc click email ký g■c.

thành v■i h■o, Chúng vào l■i ■■ thông B■n g■i c■a và ■■a ■■n 123doc.netLink CH■P cho viên linkí Tính v■ n■p có mình tôi tin, c■ng c■a cao th■ cung NH■N ti■n ngo■i và ■■ng tính mình website. phóng ch■ th■i click vào c■pCÁC ■i■m ■I■U ng■,.Khách trách xác trong email tài D■ch vào xã to,kho■n th■c nhi■m h■i thu linkông l■nh b■n ■ã tháng V■ nh■ m■t s■ ■■i ■■■c KHO■N c■a v■c (nh■■■ng hàng tin tùy ngu■n ■■■c 5/2014; 123doc, tài v■i xác ý. cóli■u TH■A g■i t■ng minh th■ tài ky, 123doc và v■ mô ■■a nguyên b■n b■n d■ ng■■i THU■N tài kinh t■dàng kho■n s■ vui v■■t■■■c d■■i doanh tri dùng. ch■ lòng tra■ây) ■■ng th■c m■c email email c■u Chào online.000 cho tài b■n b■n m■ng tiêu báu, nh■p■ã li■u Tính■ã b■n,■■n ■■ng ■■ng nh■ng hàng ■■u phong m■t l■■t email b■n tùy ■■n quy■n cách truy thu■c th■i phú, c■a ký ■i■m ky,■a c■a c■p chính v■i v■i mình l■i b■n vào 123doc.netLink d■ng, 123doc.net!