Tổng quan luận án

Luận án tiến sĩ với đề tài "Nghiên cứu phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị" thuộc ngành Khoa học Máy tính / Kỹ thuật Máy tính, tập trung vào lĩnh vực thị giác máy tính và robot học ứng dụng.

Tính cấp thiết và khoảng trống nghiên cứu

Theo công bố năm 2013 của Tổ chức Y tế Thế giới (WHO), toàn cầu có khoảng 285 triệu người suy giảm thị lực, trong đó 246 triệu người suy giảm ở mức độ vừa đến nặng và 39 triệu người mù hoàn toàn. Tại Việt Nam, số liệu từ Viện Mắt Trung ương ghi nhận khoảng 1,2 triệu người khiếm thị, trong đó có 820.503 người mất hoàn toàn khả năng cảm nhận ánh sáng. Người khiếm thị đối mặt với rào cản lớn trong việc định hướng di chuyển và hòa nhập cộng đồng.

Các công cụ hỗ trợ truyền thống bộc lộ nhiều hạn chế:

  • Gậy dẫn đường truyền thống chỉ dò quét được vật cản trong tầm với cơ học của gậy, không phát hiện được chướng ngại vật ở tầm cao hoặc ở xa.
  • Chó dẫn đường đòi hỏi chi phí huấn luyện và duy trì rất tốn kém, đồng thời phát sinh rào cản tâm lý, sinh lý đối với người sử dụng.
  • Thiết bị gắn ma trận điện cực kích thích xúc giác trên bề mặt lưỡi gây bất tiện và khó chịu trong sinh hoạt thường nhật.

Các hệ thống dẫn đường điện tử và robot di động đã công bố phần lớn chỉ dừng lại ở mức cảnh báo sự xuất hiện của vật cản (dưới dạng nhị phân có/không) bằng tín hiệu âm thanh hoặc rung, chưa nhận diện cụ thể loại đối tượng, chưa phân loại mức độ nguy hiểm, và đặc biệt thiếu khả năng dẫn đường chủ động giữa hai vị trí biết trước trong môi trường trong nhà. Đây chính là khoảng trống nghiên cứu mà tác giả luận án lựa chọn giải quyết.

Mục tiêu và các bài toán nghiên cứu

Luận án hướng đến mục tiêu xây dựng một hệ thống robot di động đóng vai trò người bạn đồng hành, có khả năng định vị, tự hành và giao tiếp thân thiện nhằm hỗ trợ dẫn đường và cảnh báo vật cản cho người khiếm thị trong nhà. Tác giả cụ thể hóa mục tiêu thành 03 bài toán kỹ thuật:

  1. Bài toán 1 - Biểu diễn môi trường và định vị: Xây dựng bản đồ môi trường ở pha ngoại tuyến và thực hiện định vị robot tại bất kỳ vị trí nào trên bản đồ ở pha trực tuyến hoàn toàn dựa trên dữ liệu hình ảnh thu nhận từ camera.
  2. Bài toán 2 - Phát hiện và ước lượng khoảng cách vật cản: Nhận diện các vật cản tĩnh và vật cản động trên đường đi trong điều kiện camera chuyển động, rung lắc; ước lượng khoảng cách từ robot đến vật cản trong thời gian thực để đưa ra cảnh báo an toàn.
  3. Bài toán 3 - Dẫn đường, điều khiển và tương tác người - robot: Tìm đường đi hợp lý, điều khiển robot di chuyển chính xác theo lộ trình, giảm thiểu sai số trôi dạt tích lũy thông qua bộ lọc ước lượng trạng thái; đồng thời thiết lập kênh tương tác xúc giác tự nhiên, thân thiện qua điện thoại thông minh.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các thuật toán định vị thị giác, kỹ thuật đo hành trình bằng hình ảnh (Visual Odometry), thuật toán lập bản đồ topo dựa trên diện mạo (Appearance-based Mapping), giải thuật phát hiện và ước lượng khoảng cách vật cản sử dụng một camera, cùng kỹ thuật điều khiển bám đường và tương tác người - robot.
  • Phạm vi không gian: Môi trường cảm thụ diện hẹp trong nhà (indoor constrained sensory environment), cụ thể là các hành lang tòa nhà có trang bị kết nối mạng không dây (Wifi) và gắn camera thu nhận tín hiệu.
  • Phạm vi người dùng: Hệ thống phục vụ 01 người dùng khiếm thị tại một thời điểm; người dùng di chuyển bằng cách bám tay vào một điểm gắn trên thân robot.
  • Phạm vi chức năng: Tập trung vào bài toán hỗ trợ di chuyển và tránh vật cản giữa hai vị trí trên bản đồ; các ứng dụng khác như nhận dạng chữ, đọc sách hay trợ giúp mua sắm nằm ngoài phạm vi luận án.

Tổng quan tài liệu và vị trí của luận án

Tác giả hệ thống hóa các công trình nghiên cứu trong và ngoài nước theo công nghệ cảm biến thu nhận tín hiệu môi trường:

Hệ thống trợ giúp người khiếm thị

Các công trình nghiên cứu trên thế giới

  1. Nhóm cảm biến siêu âm:
    • Kay (1974) phát triển kính siêu âm SonicGuide, phát chùm tia hình nón góc 55°, chuyển đổi phản xạ thành âm thanh phân tách hai tai để mã hóa phương vị và cự ly.
    • Leslie Kay (1984) giới thiệu Sonic torch dạng cầm tay; Pressey (1977) phát triển Mowat sensor phát hiện vật cản trong bán kính 4 m (chùm tia elip góc phương vị 15°, góc ngẩng 30°), phản hồi rung từ 4 Hz (tại 4 m) đến 40 Hz (tại 1 m).
    • Dodds và Allan (1984) chế tạo mũ The Sonic Pathfinder tích hợp 5 đầu dò siêu âm (2 phát, 3 thu chia vùng trái, phải, giữa), cảnh báo theo bước 30 cm trong khoảng cách 0–2 m.
    • Ulrich (2001) chế tạo gậy GuideCane gắn 10 cảm biến siêu âm quét góc 120°.
    • Vladimir Kulyukin và cộng sự (2005–2009) phát triển robot RoboCart dẫn đường cho người khiếm thị mua sắm trong siêu thị, sử dụng thẻ RFID gắn ngầm dưới thảm và máy quét laser LRF.
  2. Nhóm cảm biến hồng ngoại: Loughborough (1979) thiết kế hệ thống Talking Signs, lắp đặt các bộ phát hồng ngoại chứa giọng nói tổng hợp tại các vị trí mốc cố định trên hành trình.
  3. Nhóm cảm biến laser: Benjamin và cộng sự (1970, 1973) phát triển gậy dẫn đường gắn cảm biến laser phát xung 200 Hz cách mặt đất 50 cm, phát hiện vật cản ở độ cao 40–60 cm và phát cảnh báo âm thanh ở tần số 2.600 Hz.
  4. Nhóm cảm biến camera và thị giác máy tính:
    • Meijer và cộng sự (1992) phát triển hệ thống vOICe, biến đổi trực tiếp cường độ sáng điểm ảnh thành bản đồ âm tần số phức tạp.
    • Nhóm nghiên cứu Đại học Stuttgart (1998) dùng gậy gắn 2 camera, la bàn số và máy tính xách tay để phát hiện vật cản và thông báo bằng giọng nói.
    • Rodríguez và cộng sự (2012) sử dụng stereo camera dựng bản đồ độ sâu mặt đường; một số nghiên cứu gắn cảm biến Microsoft Kinect lên thắt lưng để trích xuất đám mây điểm (point cloud).
    • Hệ thống phản hồi xúc giác qua 14 bộ rung cơ học (2008) và hệ thống thương mại BrainPort (2008) truyền hình ảnh lên ma trận 20×20 điện cực đặt trên bề mặt lưỡi.
  5. Nhóm đa cảm biến tích hợp trên robot di động:
    • J. Yoon và cộng sự (2004) phát triển robot gậy Roji sử dụng vi điều khiển PICBASIC2000, 3 cảm biến hồng ngoại, 1 cảm biến siêu âm quét ±90° và 2 ăng-ten tiếp xúc cơ học.
    • A. Melvin và cộng sự (2009) thử nghiệm robot ROVI gắn 9 cảm biến siêu âm điều khiển bởi BASIC Stamp 2p. Các tác giả này chỉ thử nghiệm trên đường thẳng ngắn và chưa đưa ra đánh giá định lượng cụ thể.

Các công trình nghiên cứu trong nước

  • Nhóm sinh viên (2011) chế tạo gậy inox tích hợp đèn LED và còi báo phục vụ việc đi lại ban đêm.
  • Nguyễn Bá Hải và cộng sự (2012, 2014) phát triển mũ SPKT Eye và thiết bị Mắt kính dùng cảm biến laser phản hồi rung ở cự ly 2–3 m.
  • Nhóm nghiên cứu hợp tác Pháp - Việt (2014) khảo sát cảnh báo vật cản bằng cảm biến Kinect kết hợp ma trận điện cực.
  • Trần Thuận Hoàng và Trần Quang Vinh (2012–2014) nghiên cứu tổng hợp cảm biến cho robot di động bằng bộ lọc Kalman mở rộng, kết hợp bộ mã hóa vòng quay, địa bàn từ, máy quét laser 3D cải tiến và camera toàn phương.
  • Phạm Thượng Cát và cộng sự (2002–2009) nghiên cứu các phương pháp điều khiển robot tránh vật cản sử dụng trường vectơ thế lực (VFH) và mạng nơ-ron điều khiển bền vững robot camera bám mục tiêu.

Bảng tổng hợp các hướng tiếp cận công nghệ

Nhóm công nghệ Thiết bị / Tác giả tiêu biểu Ưu điểm Hạn chế chính
Siêu âm SonicGuide (1974), Mowat (1977), GuideCane (2001) Đo khoảng cách nhanh, chi phí sản xuất thấp, gọn nhẹ Góc quét hạn chế, không phân loại được đối tượng, dễ nhiễu phản xạ
Laser / Lidar Benjamin (1973), RoboCart (2005), SPKT Eye (2012) Độ chính xác đo cự ly cao, hoạt động ổn định Giá thành đắt, trọng lượng nặng, không trích xuất được ngữ nghĩa đối tượng
Camera đơn / kép vOICe (1992), ĐH Stuttgart (1998), Rodriguez (2012) Nguồn thông tin phong phú, hỗ trợ nhận dạng vật thể Khối lượng tính toán lớn, nhạy cảm với rung lắc và điều kiện chiếu sáng
Ma trận điện cực BrainPort (2008), Nhóm Pháp - Việt (2014) Không chiếm dụng thính giác của người khiếm thị Đòi hỏi thời gian huấn luyện dài, gây khó chịu trên bề mặt lưỡi/da
Robot đa cảm biến Roji (2004), ROVI (2009) Hỗ trợ dẫn đường cơ học, tích hợp nhiều cơ chế an toàn Thiếu đánh giá định lượng, thuật toán định vị trong nhà chưa hoàn thiện

Khoảng trống luận án giải quyết

Luận án khắc phục nhược điểm chiếm dụng thính giác của các phương pháp cảnh báo âm thanh bằng cách chuyển sang kênh xúc giác (rung điện thoại); đồng thời thay thế các hệ thống cảm biến đắt tiền (Lidar, stereo camera) bằng giải pháp thị giác camera đơn kết hợp mô hình bản đồ lai, cho phép vừa dẫn đường theo hành trình vừa phân loại vật cản trong không gian hẹp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  1. Mô hình biểu diễn môi trường lai ngữ nghĩa (Semantic Hybrid Map): Môi trường được mô hình hóa bằng cấu trúc topo gồm tập hợp $N$ vị trí mốc rời rạc $L_N = {L_1, L_2, \dots, L_N}$. Mỗi điểm mốc $L_i$ ($i = 1, \dots, N$) được định nghĩa bởi bộ ba thành phần: $$L_i = {M_i, Z_i, O_i}$$ Trong đó:

    • $M_i = (x_i, y_i, z_i)$ là tọa độ số liệu của điểm mốc trong hệ quy chiếu Descartes toàn cục (đơn vị mét).
    • $Z_i$ là mô hình quan sát diện mạo hình ảnh tại vị trí $L_i$.
    • $O_i = {O_{i1}, O_{i2}, \dots, O_{ij}}$ là tập hợp các vật cản tĩnh xuất hiện trong khung hình $I_i$ thu nhận tại vị trí $L_i$.

  2. Phương pháp đo hành trình bằng hình ảnh (Visual Odometry - VO): Kế thừa nghiên cứu của Van Hamme và cộng sự (2011), thuật toán ước lượng ma trận chuyển động $T_{i-1}^i \in \mathbb{R}^{3 \times 3}$ giữa hai khung hình liên tiếp dựa trên hai tham số chuyển động trên mặt phẳng ngang ($z = 0$): vận tốc tịnh tiến $v$ và góc lái $\alpha$.

    • Trích chọn điểm góc Harris Corner trên khung hình.
    • Xây dựng mô hình không chắc chắn góc nhìn PUT (Perspective Uncertainty Tetragons) cho các điểm đặc trưng dựa trên góc ngẩng và góc nghiêng của camera.
    • Xây dựng mô hình không chắc chắn chuyển động MUT (Motion Uncertainty Tetragon) dựa trên phân bố vận tốc và góc bẻ lái của robot.
    • Tính ảnh tương đồng từ sự chồng lấp giữa tập $PUT_i$ ở thời điểm hiện tại và $MUT_{i-1}$ ở thời điểm trước đó để suy ra $(v, \alpha)$.

  3. Giải thuật lập bản đồ topo và định vị diện mạo FAB-MAP: Kế thừa giải thuật FAB-MAP của Cummins và Newman (2008):

    • Mô hình túi từ BoW (Bag-of-Words) biểu diễn khung cảnh qua vector nhị phân $Z_k = {z_1, z_2, \dots, z_K}$.
    • Bộ mô tả đặc trưng SURF (Speeded Up Robust Features) 128 chiều, tối ưu hóa tốc độ nhờ ảnh tích phân và xấp xỉ ma trận Hessian; phân cụm không gian bằng thuật toán k-Means.
    • Cấu trúc cây Chow-Liu (cây khung cực đại có hướng) mô hình hóa xác suất đồng xuất hiện giữa các từ thị giác, giảm thiểu phân kỳ Kullback-Leibler.
    • Suy diễn Bayes tính xác suất hậu nghiệm $p(L_i | Z^k)$ để quyết định cập nhật vị trí cũ hay khởi tạo nút topo mới.

  4. Kỹ thuật phát hiện vật cản và ước lượng cự ly:

    • Vật cản tĩnh: Trích chọn đặc trưng SIFT/SURF, đối sánh láng giềng gần qua thư viện FLANN, ước lượng ma trận biến đổi Homography $H$ thông qua giải thuật RANSAC để loại bỏ điểm ngoại lai và xác định vùng bao đối tượng.
    • Vật cản động (người đi bộ): Trích xuất vector đặc trưng biến thiên gradient định hướng HOG (Histogram of Oriented Gradients) kết hợp bộ phân loại máy vectơ hỗ trợ SVM (Support Vector Machine).
    • Ước lượng khoảng cách từ 01 camera chuyển động: Khai thác nguyên lý hình học biểu kiến hai góc nhìn liên tiếp (epipolar geometry), nắn chỉnh hình ảnh về cùng mặt phẳng phân cực, đối sánh khối ảnh bằng độ chênh lệch tuyệt đối SAD (Sum of Absolute Differences), xây dựng bản đồ chênh lệch (disparity map) để tính toán độ sâu $z$.

  5. Kỹ thuật điều khiển và bọc trạng thái: Ứng dụng bộ lọc Kalman (Kalman Filter - KF) trong mô hình động học vi sai của robot, dự báo trạng thái vị trí và hiệu chỉnh sai số trôi tích lũy dựa trên quan sát hồi tiếp từ bản đồ hình ảnh.

Nguồn tư liệu và dữ liệu thực nghiệm

  • Dữ liệu thu thập từ hệ thống xe đẩy thực nghiệm gắn 2 camera công nghiệp lắp đặt vuông góc (1 camera hướng xuống mặt sàn đo hành trình VO, 1 camera hướng thẳng ngang tầm mắt phục vụ lập bản đồ topo và nhận dạng vật cản).
  • Thiết bị thử nghiệm: Robot di động PC-Bot 914 tích hợp hệ thống điều khiển bánh xe vi sai, cảm biến hồng ngoại tầm gần IR và máy tính nhúng.
  • Dữ liệu kiểm chứng hiệu năng nhận dạng trích xuất từ các bộ cơ sở dữ liệu: RobotVision 2013, Pascal VOC 2007 và Naiscorp 2012.
  • Dữ liệu thực nghiệm thực địa thu thập tại 3 địa điểm:
    1. Môi trường E1 (E1:NĐC): Tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu, Hà Nội.
    2. Môi trường E2 (E2:TQB): Hành lang Tầng 5 Thư viện Tạ Quang Bửu, Trường Đại học Bách khoa Hà Nội.
    3. Môi trường E3 (E3:MICA): Viện Nghiên cứu Quốc tế MICA, Trường Đại học Bách khoa Hà Nội.

Nội dung chính theo từng chương

Chương 1: Tổng quan về hệ thống trợ giúp người khiếm thị

Chương 1 thiết lập cơ sở khoa học và định vị bài toán nghiên cứu. Tác giả phân tích lịch sử phát triển các công nghệ hỗ trợ người khiếm thị từ thập niên 1970 đến nay trên thế giới và ở Việt Nam. Sau khi phân tích ưu nhược điểm của từng nhóm cảm biến (siêu âm, hồng ngoại, laser, camera đơn/kép, đa cảm biến), tác giả chỉ ra rằng các hệ thống trước đây không thể cung cấp đồng thời khả năng dẫn đường lộ trình và phân loại vật cản với chi phí phù hợp.

Từ đó, chương 1 đề xuất cấu trúc tổng thể của hệ thống robot trợ giúp dẫn đường trong nhà gồm 5 khối chức năng chính:

  1. Mô-đun biểu diễn môi trường (xây dựng bản đồ số liệu và topo ở pha ngoại tuyến).
  2. Mô-đun định vị thị giác (xác định tọa độ robot trên bản đồ ở pha trực tuyến).
  3. Mô-đun phát hiện và ước lượng khoảng cách vật cản (xử lý hình ảnh thời gian thực).
  4. Mô-đun tìm đường và điều khiển tự hành (lập quỹ đạo và bám vết chuyển động).
  5. Mô-đun tương tác người - máy (giao tiếp hai chiều qua mạng không dây và phản hồi xúc giác qua điện thoại di động thông minh).

Chương 2: Biểu diễn môi trường và định vị

Chương 2 giải quyết bài toán cốt lõi về biểu diễn không gian và xác định vị trí của robot. Tác giả chỉ rõ thuật toán đo hành trình VO của Van Hamme hoạt động kém trong nhà do mặt sàn nhẵn bóng hoặc trải thảm thiếu điểm góc đặc trưng, dẫn đến sai số trôi dạt lớn khi robot chuyển hướng quay. Tác giả đề xuất phương pháp thích nghi VO*: tạo các điểm đánh dấu nhân tạo trên mặt sàn với quy cách 16–20 điểm/m², khoảng cách giữa các điểm từ 15–20 cm, sử dụng hình có góc cạnh (vuông, chữ nhật, hình bình hành) để tối ưu hóa khả năng trích chọn điểm góc Harris.

Đối với việc lập bản đồ topo, tác giả phân tích thuật toán FAB-MAP gốc vốn thiết kế cho xe chạy ngoài trời. Khi áp dụng trong nhà với tốc độ di chuyển chậm của robot, FAB-MAP gặp hiện tượng trùng lặp các khung cảnh hành lang đồng dạng. Tác giả đề xuất giải thuật FAB-MAP*:

  • Bổ sung bộ lọc đặc trưng toàn cục GIST để nhận diện và loại bỏ các khung cảnh có cấu trúc không gian tương tự nhau.
  • Thưa hóa các điểm mốc trên bản đồ số liệu, chỉ lưu lại các vị trí có độ phân biệt cao.
  • Ánh xạ đồng bộ giữa khung hình camera nhìn sàn và camera nhìn thẳng để liên kết tọa độ số liệu thực tế $M_i(x_i, y_i, z_i)$ với từng nút topo $L_i$.

Hiệu năng của phương pháp đề xuất được kiểm chứng qua sai số quân phương (Root Mean Square Error - RMSE) tại 3 môi trường:

  • Tại E1:NĐC: Giải thuật VO gốc cho sai số tích lũy lớn tại các khúc cua; phương pháp VO* duy trì sai số quỹ đạo dưới 1,23 m trên toàn tuyến.
  • Kết quả định vị hình ảnh của FAB-MAP* cải thiện đáng kể độ chính xác nhận dạng vị trí so với FAB-MAP nguyên bản tại cả 3 môi trường thử nghiệm E1, E2 và E3.

Chương 3: Phát hiện và ước lượng khoảng cách vật cản

Chương 3 trình bày các phương pháp phát hiện chướng ngại vật trong điều kiện chỉ sử dụng 01 camera chuyển động:

  1. Phát hiện vật cản cố định: Áp dụng kỹ thuật đối sánh đặc trưng SIFT/SURF. Đối với các đối tượng thường gặp trong hành lang (chậu hoa, bình cứu hỏa, thùng rác), thuật toán xác định các cặp điểm tương đồng, sử dụng giải thuật RANSAC để tính ma trận biến đổi Homography $H$, loại bỏ các điểm ghép sai và khoanh vùng chữ nhật bao quanh vật thể.
  2. Phát hiện vật cản động (người đi bộ): Sử dụng kết hợp đặc trưng HOG và bộ phân loại SVM tuyến tính. Tác giả tiến hành thử nghiệm so sánh đối chứng với phương pháp Haar-AdaBoost trên tập dữ liệu thực tế, chứng minh mô hình HOG-SVM đạt độ chính xác phát hiện (Average Precision - AP) vượt trội trong điều kiện ánh sáng thay đổi và dáng người biến thiên.
  3. Ước lượng khoảng cách vật cản bằng một camera: Thay vì dùng hệ thống camera lập thể đắt tiền, tác giả khai thác hai khung hình liên tiếp thu nhận khi robot tịnh tiến. Dựa trên hình học Epipolar, hình ảnh được nắn chỉnh về cùng mặt phẳng song song, sau đó giải thuật SAD (Sum of Absolute Differences) tính toán độ lệch điểm ảnh để sinh bản đồ chênh lệch (disparity map). Độ sâu $z$ của vật thể được tính toán trực tiếp từ độ chênh lệch này.

Kết quả đánh giá trên 4 lớp vật thể (chậu hoa, bình cứu hỏa, thùng rác, người) cho thấy sai số ước lượng khoảng cách nằm trong giới hạn an toàn cho phép robot kịp thời giảm tốc hoặc dừng trước vật cản.

Chương 4: Phát triển và thử nghiệm hệ thống dẫn đường

Chương 4 hoàn thiện việc tích hợp hệ thống phần cứng và phần mềm lên robot PC-Bot 914, đồng thời tiến hành đánh giá thực nghiệm với người dùng khiếm thị:

  1. Điều khiển bám quỹ đạo và bộ lọc Kalman: Tác giả phân tích thực nghiệm so sánh giữa việc điều khiển trực tiếp và điều khiển có hỗ trợ bởi bộ lọc Kalman (KF). Kết quả cho thấy bộ lọc Kalman đóng vai trò quyết định trong việc bù trừ sai số cơ khí của bánh xe, giữ quỹ đạo robot ổn định tiệm cận đường đi tối ưu đã vạch ra trên bản đồ lai.
  2. Kênh tương tác xúc giác người - robot: Hệ thống tích hợp ứng dụng điều khiển và phản hồi trên điện thoại thông minh qua mạng Wifi. Người khiếm thị cầm điện thoại trên tay còn lại (tay kia nắm tay cầm robot). Khi phát hiện vật thể, hệ thống gửi lệnh kích hoạt mô-tơ rung với tần số thay đổi tỷ lệ nghịch với khoảng cách vật cản, đồng thời mã hóa hướng rẽ bằng các nhịp rung ngắt quãng đặc thù.
  3. Thực nghiệm người dùng thực tế: Luận án tổ chức thử nghiệm trên nhóm học sinh khiếm thị mù 100% (không còn khả năng cảm nhận ánh sáng) tại Trường THCS Nguyễn Đình Chiểu (E1), cùng các tình nguyện viên tại Thư viện Tạ Quang Bửu (E2) và Viện MICA (E3). Các kịch bản thực nghiệm bao gồm:
    • Robot dẫn người chuyển động tịnh tiến thẳng dọc hành lang.
    • Robot dẫn người thực hiện chuyển động phối hợp tịnh tiến và quay góc tại các khúc cua hành lang.
    • Thử nghiệm phản ứng của hệ thống khi vật cản xuất hiện bất ngờ cắt ngang lộ trình di chuyển.
    • Khảo sát tâm lý, mức độ thích nghi và độ tin cậy thông qua bảng câu hỏi phỏng vấn chuẩn hóa trước và sau khi sử dụng hệ thống.

Các nội dung phụ lục

  • Phụ lục A: Trình bày chi tiết toán học và thuật toán trích chọn đặc trưng: Harris Corner, SIFT, SURF, GIST, HOG và Haar-like.
  • Phụ lục B: Báo cáo kết quả đánh giá hiệu năng các bộ phân loại AdaBoost, SVM và k-NN trên 3 bộ cơ sở dữ liệu đối chuẩn: Naiscorp 2012, RobotVision 2013 và Pascal VOC 2007.
  • Phụ lục C: Bản vẽ kỹ thuật và sơ đồ thiết kế hệ thống xe camera thu thập dữ liệu chuyên dụng, quy trình hiệu chỉnh quang sai camera góc rộng, và cấu trúc phần cứng robot PC-Bot 914.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả khoa học và đóng góp mới cụ thể sau:

  1. Về mô hình biểu diễn môi trường: Đề xuất mô hình biểu diễn không gian lai ngữ nghĩa (Semantic Hybrid Map) kết hợp đồng thời cấu trúc bản đồ số liệu (metric) và bản đồ đồ thị topo, tích hợp thông tin ngữ nghĩa về vị trí các vật thể tĩnh trong môi trường. Mô hình này giúp giải quyết đồng thời hai nhiệm vụ: tìm đường tối ưu toàn cục và định vị cục bộ chính xác.
  2. Về kỹ thuật đo hành trình và lập bản đồ thị giác: Cải tiến thuật toán đo hành trình bằng hình ảnh (VO*) thông qua phương pháp dán nhãn mốc hình học nhân tạo nhằm khắc phục hạn chế thiếu đặc trưng của mặt sàn trong nhà; đồng thời phát triển giải thuật FAB-MAP* tích hợp bộ lọc đặc trưng toàn cục GIST để loại bỏ khung cảnh hành lang lặp lại, nâng cao độ chính xác định vị diện mạo trong không gian hẹp.
  3. Về kỹ thuật phát hiện và ước lượng khoảng cách vật cản: Đề xuất giải pháp phát hiện đồng thời vật cản tĩnh (bằng trích chọn đặc trưng đối sánh SIFT/SURF kết hợp ma trận Homography RANSAC) và vật cản động (bằng mô hình HOG-SVM); xây dựng thuật toán ước lượng cự ly vật thể từ 01 camera chuyển động thông qua bản đồ chênh lệch SAD mà không cần trang bị hệ thống stereo camera phức tạp.
  4. Về ứng dụng thực tiễn: Tích hợp hoàn chỉnh hệ thống phần cứng và phần mềm trên robot di động tự hành PC-Bot 914, kết hợp bộ lọc Kalman trong điều khiển và xây dựng kênh tương tác xúc giác qua tần số rung trên điện thoại thông minh. Tính khả thi của hệ thống đã được chứng minh thông qua thử nghiệm thực địa trực tiếp với người khiếm thị mù 100% tại 3 môi trường thực tế (Trường THCS Nguyễn Đình Chiểu, Thư viện Tạ Quang Bửu, Viện MICA).

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào các giới hạn được tác giả ghi nhận trong văn bản:

Hạn chế của hệ thống

  • Hệ thống bị giới hạn hoạt động trong môi trường cảm thụ diện hẹp trong nhà, đòi hỏi phải có sự hỗ trợ của hạ tầng mạng không dây (Wifi) và bản đồ phải được xây dựng từ trước ở pha ngoại tuyến.
  • Thuật toán thị giác vẫn chịu ảnh hưởng khi môi trường có sự biến động quá lớn về cường độ chiếu sáng hoặc mặt sàn hoàn toàn nhẵn bóng mà không có điểm đánh dấu nhân tạo.
  • Phương pháp ước lượng khoảng cách bằng 01 camera dựa trên giả định chuyển động tịnh tiến liên tục; khi robot dừng hẳn hoặc quay tại chỗ, thông tin độ sâu từ chuyển động biểu kiến không thể tính toán được.
  • Tại một thời điểm, hệ thống mới chỉ hỗ trợ dẫn đường cho 01 người dùng duy nhất bám vào thân robot.

Hướng nghiên cứu tiếp

  • Mở rộng quy mô hoạt động của hệ thống từ môi trường cảm thụ diện hẹp ra các không gian mở lớn hơn và môi trường ngoài trời.
  • Nghiên cứu cơ chế tự động thích ứng với sự thay đổi chiếu sáng phức tạp và loại bỏ sự phụ thuộc vào các điểm đánh dấu trên mặt sàn.
  • Tối ưu hóa các giải thuật xử lý ảnh để tăng tốc độ khung hình xử lý (fps) trên các thiết bị tính toán nhúng công suất thấp.
  • Nghiên cứu phát triển giao thức dẫn đường an toàn cho các tình huống mật độ người qua lại đông đúc.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo thiết thực cho nhiều nhóm đối tượng:

  • Nghiên cứu sinh và học viên cao học ngành Thị giác máy tính / Robot học: Luận án cung cấp một tài liệu tham khảo chi tiết về quy trình thích nghi các giải thuật thị giác máy tính kinh điển (VO, FAB-MAP, HOG-SVM, lọc Kalman) từ lý thuyết ngoài trời vào các ràng buộc thực tế của môi trường trong nhà.
  • Kỹ sư phát triển hệ thống điều khiển tự hành: Cung cấp giải pháp phần cứng thu thập dữ liệu (Phụ lục C) và mô hình phối hợp giữa bản đồ số liệu và bản đồ topo, giúp tối ưu hóa bộ nhớ và tài nguyên tính toán trong bài toán dẫn đường tự hành.
  • Các tổ chức nghiên cứu thiết bị hỗ trợ người khuyết tật: Cung cấp cơ sở thực nghiệm rõ ràng về cách thức thiết kế kênh tương tác xúc giác (tần số rung điện thoại) thân thiện, giúp người khiếm thị làm quen và phối hợp nhịp nhàng với robot mà không làm tổn hại đến khả năng nghe tự nhiên của họ.

Câu hỏi thường gặp

1. Tại sao tác giả sử dụng giải pháp 2 camera lắp vuông góc trên xe thu thập dữ liệu?

Do đặc thù hình học của hai bài toán: bài toán đo hành trình hình ảnh (VO) đạt hiệu quả cao nhất khi camera hướng thẳng xuống mặt sàn để bám vết các điểm góc mặt đường; trong khi bài toán lập bản đồ topo (FAB-MAP) và phát hiện vật cản lại đòi hỏi camera hướng nhìn thẳng về phía trước để thu nhận toàn cảnh không gian và nhận diện vật thể. Việc lắp đặt 2 camera vuông góc cho phép thu thập đồng thời hai luồng dữ liệu tại cùng một thời điểm, tạo điều kiện ánh xạ chính xác tọa độ thực của các điểm mốc trên bản đồ số liệu sang các nút trên bản đồ topo.

2. Thuật toán đo hành trình VO* đã được tác giả cải tiến như thế nào để khắc phục hiện tượng trôi dạt trong nhà?

Thuật toán VO của Van Hamme vốn dựa vào các điểm góc Harris Corner trên mặt đường. Trong nhà, mặt sàn gạch men nhẵn bóng hoặc trải thảm trơn làm suy giảm số lượng điểm đặc trưng, gây sai số tích lũy lớn khi robot chuyển hướng. Tác giả đã khắc phục bằng cách dán các điểm đánh dấu hình học nhân tạo (hình vuông, chữ nhật, bình hành) lên sàn với mật độ 16–20 điểm/m², cự ly cách nhau 15–20 cm. Các điểm có góc cạnh này giúp thuật toán trích xuất ổn định các điểm góc Harris, kiểm soát sai số RMSE ở mức an toàn dọc theo hành trình di chuyển.

3. Tác giả giải quyết bài toán trùng lặp khung cảnh hành lang trong giải thuật FAB-MAP* bằng kỹ thuật gì?

Trong môi trường hành lang khép kín, các khung cảnh liên tiếp thường có cấu trúc vật lý lặp lại giống hệt nhau, khiến mô hình túi từ BoW dễ nhận dạng nhầm lẫn giữa các vị trí khác nhau. Tác giả tích hợp thêm bộ lọc trích chọn đặc trưng toàn cục GIST. Đặc trưng GIST mô tả cấu trúc tổng quan của khung cảnh; thông qua việc so sánh vector GIST giữa các ảnh liên tiếp, thuật toán phát hiện và loại bỏ các khung cảnh đồng dạng, chỉ lưu lại các vị trí mốc có tính phân biệt cao trên bản đồ topo.

4. Hệ thống dẫn đường phản hồi thông tin cảnh báo cho người khiếm thị bằng phương thức nào?

Thay vì sử dụng âm thanh (vốn gây mệt mỏi thính giác và tước đi khả năng nghe ngóng môi trường xung quanh của người khiếm thị), tác giả sử dụng kênh xúc giác thông qua điện thoại thông minh kết nối mạng không dây Wifi với robot. Hệ thống điều khiển bộ rung của điện thoại với các mức tần số khác nhau: vật cản càng ở gần thì tần số rung càng cao, và các nhịp rung ngắt quãng được mã hóa để chỉ dẫn hướng rẽ an toàn cho người dùng.

5. Hệ thống đã được thử nghiệm thực tế trên những đối tượng nào và ở đâu?

Hệ thống được thử nghiệm thực địa trực tiếp với nhóm đối tượng là học sinh khiếm thị mù 100% không còn cảm nhận ánh sáng tại Trường THCS Nguyễn Đình Chiểu (Hà Nội), cùng các tình nguyện viên tại Thư viện Tạ Quang Bửu và Viện Nghiên cứu Quốc tế MICA (thuộc Trường Đại học Bách khoa Hà Nội). Thử nghiệm bao gồm cả các tình huống chuyển động thẳng, chuyển động quay góc và phản ứng khi có vật cản xuất hiện bất ngờ.

Kết luận

Luận án đã giải quyết bài toán dẫn đường và cảnh báo vật cản cho người khiếm thị trong môi trường diện hẹp thông qua việc phát triển hệ thống robot tự hành chỉ sử dụng dữ liệu thị giác từ camera thông thường. Tác giả đã đóng góp các cải tiến quan trọng về mặt thuật toán, bao gồm mô hình biểu diễn môi trường lai ngữ nghĩa, kỹ thuật đo hành trình VO* thích nghi trong nhà, giải thuật định vị FAB-MAP* lọc khung cảnh đồng dạng, và phương pháp ước lượng cự ly chướng ngại vật bằng một camera chuyển động. Các kết quả đánh giá thực nghiệm định lượng trên robot PC-Bot 914 với người khiếm thị tại 3 môi trường thực tế đã chứng minh tính khả thi kỹ thuật và tiềm năng ứng dụng thực tiễn của giải pháp nghiên cứu.