Tổng quan luận án

Luận án tiến sĩ chuyên ngành Khoa học Máy tính (mã số: 62480101) với đề tài "Nghiên cứu và phát triển một số kỹ thuật định vị dựa trên hình ảnh, ứng dụng trợ giúp dẫn đường cho người khiếm thị" do nghiên cứu sinh Nguyễn Quốc Hùng thực hiện tại Viện Nghiên cứu Quốc tế MICA, Trường Đại học Bách khoa Hà Nội, dưới sự hướng dẫn khoa học của TS. Trần Thị Thanh Hải và PGS. Nguyễn Quang Hoan vào năm 2016.

Tính cấp thiết và khoảng trống nghiên cứu

Theo số liệu thống kê năm 2013 của Tổ chức Y tế Thế giới (WHO), trên thế giới có khoảng 285 triệu người bị suy giảm thị lực, trong đó 246 triệu người có thị lực kém ở mức độ vừa đến nặng và 39 triệu người mù. Tại Việt Nam, theo dữ liệu từ Viện Mắt Trung ương, có khoảng 1,2 triệu người khiếm thị, trong đó 820.503 người hoàn toàn không nhìn thấy ánh sáng. Người khiếm thị gặp nhiều trở ngại trong việc định hướng không gian và di chuyển an toàn.

Các phương pháp hỗ trợ truyền thống như gậy dẫn đường cơ học bị giới hạn phạm vi phát hiện vật cản; chó dẫn đường đòi hỏi chi phí nuôi dạy cao và tạo trở ngại tâm lý; các thiết bị gắn ma trận điện cực trên da hoặc lưỡi gây khó chịu khi sử dụng. Các hệ thống cảm biến siêu âm, hồng ngoại hay laser trước đó chỉ dừng lại ở mức cảnh báo có hoặc không có vật cản ở khoảng cách gần mà không xác định được danh tính vật cản, không ước lượng được mức độ nguy hiểm và không có chức năng dẫn đường tự động đến một vị trí đích xác định. Việc ứng dụng cảm biến hình ảnh (camera) kết hợp robot di động để vừa xây dựng bản đồ, định vị, vừa phát hiện vật cản và điều khiển dẫn đường tự hành là khoảng trống nghiên cứu cần được giải quyết.

Mục tiêu và câu hỏi/nhiệm vụ nghiên cứu

Mục tiêu tổng quát của luận án là nghiên cứu, phát triển các kỹ thuật định vị dựa trên thông tin hình ảnh phù hợp với môi trường trong nhà và triển khai hệ thống robot di động trợ giúp dẫn đường, cảnh báo vật cản cho người khiếm thị.

Luận án xác định 03 bài toán khoa học cốt lõi:

  1. Biểu diễn môi trường và định vị: Xây dựng bản đồ môi trường ở pha ngoại tuyến và định vị vị trí robot tại bất kỳ điểm nào trên bản đồ bằng thông tin hình ảnh thu từ camera.
  2. Phát hiện và ước lượng khoảng cách vật cản: Nhận dạng các vật cản tĩnh và động trong môi trường trong điều kiện camera di động, rung lắc, đồng thời ước lượng khoảng cách từ robot đến vật cản trong thời gian thực.
  3. Dẫn đường, điều khiển và tương tác người - robot: Lập quỹ đạo di chuyển tối ưu, điều khiển robot giảm thiểu sai số động học và thiết kế kênh giao tiếp xúc giác thân thiện, không chiếm dụng thính giác của người khiếm thị.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các giải thuật định vị thị giác, đo hành trình bằng hình ảnh, trích chọn đặc trưng, nhận dạng đối tượng, robot di động hỗ trợ người khiếm thị.
  • Phạm vi không gian: Môi trường cảm thụ diện hẹp trong nhà (hành lang, phòng chức năng của các tòa nhà có hạ tầng mạng không dây và thiết bị thu nhận tín hiệu).
  • Quy mô phục vụ: Hệ thống được thiết kế để phục vụ 01 người dùng khiếm thị tại một thời điểm.

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa và phân loại các công trình nghiên cứu liên quan trên thế giới và tại Việt Nam theo các nhóm giải pháp công nghệ chính:

Nhóm công nghệ Tác giả, công trình tiêu biểu Đặc điểm kỹ thuật và hạn chế chính
Cảm biến siêu âm - Kay (1974) với SonicGuide
- Leslie Kay (1984) với Sonic torch
- Pressey (1977) với Mowat sensor
- Dodds & Allan (1984) với The Sonic Pathfinder
- Ulrich (2001) với GuideCane
- Vladimir Kulyukin và cộng sự (2005-2009) với RoboCart		 - Sử dụng sóng siêu âm phản xạ để đo khoảng cách (phạm vi từ 0,3m đến 4m).
- Phản hồi bằng âm thanh hoặc rung cơ học.
- Hạn chế: không phân loại được đối tượng, góc quét hẹp, dễ nhiễu trong môi trường phức tạp.
Cảm biến hồng ngoại - Loughborough (1979) với Talking Signs - Lắp đặt các bộ phát hồng ngoại chứa giọng nói tổng hợp tại các mốc cố định.
- Hạn chế: chi phí lắp đặt hạ tầng cao, dung lượng lưu trữ thông tin hạn chế.
Công nghệ laser - Benjamin và cộng sự (1970, 1973) với gậy quang/laser - Sử dụng tia laser quét mặt đất ở tần số 200 Hz để phát hiện vật thể nhô cao.
- Hạn chế: gậy có trọng lượng nặng, tiêu hao năng lượng, chỉ phát hiện vật cản cục bộ.
Cảm biến hình ảnh - Meijer và cộng sự (1992) với hệ thống vOICe
- Đại học Stuttgart (2008) với gậy 2 camera
- Rodriguez và cộng sự (2012) với camera kép
- Đai thắt lưng gắn cảm biến Kinect (2012)
- Thiết bị xúc giác ma trận điện cực lưỡi Brainport (kích thước $20 \times 20$)		 - Biến đổi hình ảnh thành bản đồ âm thanh hoặc xung điện xúc giác.
- Hạn chế: bản đồ âm phức tạp gây quá tải và mệt mỏi cho thính giác của người dùng; hệ camera kép đòi hỏi hiệu chuẩn phức tạp và chi phí cao.
Đa cảm biến và robot - J. Yoon và cộng sự (2004) với Robot gậy Roji
- A. Melvin và cộng sự (2009) với Robot ROVI		 - Kết hợp vi điều khiển, cảm biến siêu âm, hồng ngoại trên kết cấu cơ khí di động.
- Hạn chế: chưa có đánh giá định lượng thực nghiệm chi tiết về độ chính xác và tính tương tác dẫn đường.
Nghiên cứu tại Việt Nam - Gậy dẫn đường gắn LED và còi (2011)
- TS. Nguyễn Bá Hải và cộng sự (2012, 2014) với SPKT Eye và mắt kính cảm nhận vật cản
- Nhóm nghiên cứu Việt - Pháp (2012, 2014) với cảm biến Kinect và ma trận điện cực
- Trần Thuận Hoàng, Trần Quang Vinh (dẫn đường robot đa cảm biến kết hợp lọc Kalman mở rộng)
- Phạm Thượng Cát (điều khiển robot tránh vật cản bằng VFH và mạng nơ-ron)		 - Các nghiên cứu cảnh báo vật cản chủ yếu dừng lại ở thiết bị cầm tay hoặc thiết bị đeo.
- Các nghiên cứu robot tự hành chưa tập trung chuyên sâu vào giao tiếp dẫn đường dành riêng cho người khiếm thị hoàn toàn trong môi trường diện hẹp.

Khoảng trống luận án lựa chọn giải quyết

Luận án tập trung giải quyết bài toán tích hợp đồng thời:

  1. Biểu diễn môi trường trong nhà kết hợp giữa bản đồ số liệu (đo khoảng cách vật lý) và bản đồ topo (các mốc quan sát hình ảnh ngữ nghĩa).
  2. Phát hiện và ước lượng khoảng cách vật cản chỉ bằng 01 camera chuyển động mà không phụ thuộc vào hệ thống camera lập thể cồng kềnh.
  3. Xây dựng hoàn chỉnh nền tảng robot tự hành dẫn đường với cơ chế tương tác bằng phản hồi xúc giác rung trên điện thoại thông minh, kiểm thử trực tiếp trên người khiếm thị mất hoàn toàn thị lực ($100%$).

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung phân tích và mô hình biểu diễn môi trường lai ngữ nghĩa

Luận án đề xuất mô hình biểu diễn môi trường lai ngữ nghĩa, tích hợp bản đồ số liệu, bản đồ topo và lớp thông tin vật cản tĩnh. Môi trường được mô hình hóa thành tập hợp $N$ điểm mốc topo:

$$L_N = {L_1, L_2, \dots, L_N}$$

Mỗi điểm mốc $L_i$ (với $i = 1, \dots, N$) được biểu diễn bởi bộ ba thành phần:

$$L_i = {M_i, Z_i, O_i}$$

Trong đó:

  • $M_i = (x_i, y_i, z_i)$: Tọa độ thực của điểm mốc trong hệ quy chiếu Descartes đã định nghĩa (đơn vị: mét), trích xuất từ bản đồ số liệu.
  • $Z_i$: Mô hình quan sát hình ảnh tại vị trí $L_i$, biểu diễn bằng vector túi từ (Bag of Words - BoW).
  • $O_i = {O_{i1}, O_{i2}, \dots, O_{ij}}$: Tập hợp các vật cản tĩnh xuất hiện trong ảnh $I_i$ thu nhận tại vị trí $L_i$.
[Hệ thống 2 camera vuông góc trên xe thu thập dữ liệu]

Phương pháp nghiên cứu thực nghiệm và công cụ kỹ thuật

  1. Phương pháp xây dựng bản đồ số liệu: Áp dụng thuật toán đo hành trình bằng hình ảnh (Visual Odometry - VO) dựa trên mô hình không chắc chắn của Van Hamme và cộng sự (2011). Luận án cải tiến thành thuật toán $VO^*$ thích nghi cho môi trường trong nhà:

    • Trích chọn đặc trưng góc Harris Corner trên từng khung hình $I_i$ bằng cách tính ma trận đạo hàm $M$, định thức $\text{Det}(M)$, vết $\text{Tr}(M)$ và hàm đáp ứng góc $R(x, y) = \text{Det}(M) - k \cdot \text{Tr}(M)^2$ so với ngưỡng $\theta_{VO}$.
    • Xây dựng tứ giác không chắc chắn phối cảnh (Perspective Uncertainty Tetragons - PUT) đại diện cho phân bố góc ngẩng và góc nghiêng của camera.
    • Xây dựng tứ giác không chắc chắn chuyển động (Motion Uncertainty Tetragons - MUT) đại diện cho phân bố vận tốc $v$ và góc lái $\alpha$ của robot.
    • Xếp chồng ảnh tương đồng giữa $\text{PUT}i$ và $\text{MUT}{i-1}$ để ước lượng chuyển động tịnh tiến $t_{i-1}^i$ và ma trận quay $R_{i-1}^i$.
    • Kỹ thuật bổ trợ: Dán các điểm đánh dấu nhân tạo hình học có góc nhọn (hình vuông, chữ nhật, bình hành) với mật độ $16\text{--}20$ điểm/$\text{m}^2$, khoảng cách $15\text{--}20\text{ cm}$ trên sàn nhà nhẵn bóng để duy trì mật độ đặc trưng ổn định.

  2. Phương pháp xây dựng bản đồ topo và định vị: Cải tiến giải thuật FAB-MAP (Fast Appearance Based Mapping) của Cummins và Newman (2008) thành $FAB\text{-}MAP^*$:

    • Trích chọn đặc trưng bất biến SURF (Speeded Up Robust Features) trên các ảnh quan sát phía trước.
    • Phân cụm đặc trưng bằng giải thuật $k\text{-Means}$ để xây dựng từ điển thị giác kích thước $K$ từ.
    • Biểu diễn ảnh thành vector nhị phân $Z_k = {z_1, z_2, \dots, z_K}$, với $z_q \in {0, 1}$.
    • Xây dựng cây nhị phân Chow-Liu xấp xỉ phân bố xác suất đồng thời $P(Z)$ thông qua cực tiểu hóa khoảng cách Kullback-Leibler $D_{KL}(P, Q)$, cho phép mô hình hóa xác suất đồng xuất hiện giữa các từ thị giác.
    • Tích hợp bộ mô tả đặc trưng toàn cục GIST để lọc bỏ các khung cảnh có cấu trúc hình học tương đồng (hành lang lặp lại), hạn chế nhận dạng vị trí nhầm lẫn.

  3. Phương pháp phát hiện và ước lượng khoảng cách vật cản:

    • Vật cản cố định (chậu hoa, bình cứu hỏa, thùng rác): Trích chọn đặc trưng SIFT, đối sánh đặc trưng và sử dụng giải thuật RANSAC để tính toán ma trận Homography $H$, xác định vùng chứa đối tượng.
    • Vật cản động (người di chuyển): Trích chọn đặc trưng biểu đồ hướng gradient (Histogram of Oriented Gradients - HoG) kết hợp bộ phân loại máy vector hỗ trợ (Support Vector Machine - SVM).
    • Ước lượng khoảng cách từ 01 camera đơn chuyển động: Thu nhận 2 khung hình liên tiếp khi robot di chuyển, tìm đường cực hạn (epipolar line), hiệu chỉnh hình học ảnh về cùng mặt phẳng ngang (rectification), thực hiện đối sánh khối bằng tổng sai số tuyệt đối (Sum of Absolute Differences - SAD) để tạo bản đồ chênh lệch (disparity map) và suy ra khoảng cách độ sâu của vật cản.

  4. Nguồn dữ liệu và môi trường thử nghiệm:

    • Thiết kế hệ thống xe đo chuyên dụng gồm 02 camera đồng bộ (01 camera góc nhìn xuống mặt sàn và 01 camera quan sát thẳng phía trước).
    • Dữ liệu thực nghiệm thu thập tại 03 môi trường:
      • $E_1$: Tầng 2 khu nội trú Trường THCS Nguyễn Đình Chiểu Hà Nội ($E_1\text{:NĐC}$).
      • $E_2$: Hành lang tầng 5 Thư viện Tạ Quang Bửu, Trường ĐHBK Hà Nội ($E_2\text{:TQB}$).
      • $E_3$: Viện Nghiên cứu Quốc tế MICA, Trường ĐHBK Hà Nội ($E_3\text{:MICA}$).
    • Nguồn dữ liệu đánh giá nhận dạng đối tượng mở rộng: Cơ sở dữ liệu Naiscorp 2012, Pascal VOC 2007 và RobotVision 2013.

Nội dung chính theo từng chương

Chương 1: Tổng quan về hệ thống trợ giúp người khiếm thị

Chương 1 tổng thuật các công trình nghiên cứu hỗ trợ người khiếm thị trong và ngoài nước. Tác giả phân tích ưu nhược điểm của 05 nhóm kỹ thuật cảm biến (siêu âm, hồng ngoại, laser, camera và đa cảm biến). Luận án chỉ ra rằng các hệ thống hiện hữu mới chỉ tập trung vào cảnh báo vật cản cục bộ mà thiếu khả năng dẫn đường xuyên suốt giữa hai vị trí trên bản đồ, hoặc sử dụng tín hiệu âm thanh liên tục gây áp lực lên thính giác người dùng.

Từ phân tích đó, tác giả đề xuất kiến trúc hệ thống robot trợ giúp người khiếm thị di chuyển trong môi trường cảm thụ diện hẹp gồm: robot di động mang camera, mạng không dây (Wifi), điện thoại thông minh đóng vai trò giao diện điều khiển và phản hồi rung. Hệ thống phân chia thành 05 bài toán kỹ thuật: biểu diễn môi trường, định vị, phát hiện/ước lượng khoảng cách vật cản, tìm đường/điều khiển di chuyển và tương tác người - robot.

Chương 2: Biểu diễn môi trường và định vị

Chương 2 trình bày chi tiết mô hình biểu diễn môi trường lai ngữ nghĩa và các thuật toán xây dựng bản đồ, định vị. Luận án phân tích ba hướng tiếp cận lập bản đồ (bản đồ số liệu, bản đồ topo, bản đồ lai) và khẳng định tính phù hợp của cấu trúc lai ngữ nghĩa $L_i = {M_i, Z_i, O_i}$.

Để xây dựng bản đồ số liệu, giải thuật $VO$ được cải tiến thành $VO^$ bằng kỹ thuật bổ sung điểm đánh dấu nhân tạo trên mặt sàn, khắc phục hiện tượng trượt ước lượng hành trình do sàn nhà nhẵn bóng và thiếu đặc trưng góc Harris. Đối với bản đồ topo, luận án cải tiến thuật toán $FAB\text{-}MAP$ thành $FAB\text{-}MAP^$ nhờ tích hợp đặc trưng SURF, cây Chow-Liu mô hình hóa từ đồng xuất hiện và bộ lọc khung cảnh toàn cục GIST để loại bỏ ảnh trùng lặp cấu trúc tại các hành lang dài.

Kết quả đánh giá thực nghiệm cho thấy sai số quân phương (Root Mean Square Error - RMSE) của quỹ đạo tái tạo bằng $VO^*$ giảm rõ rệt so với $VO$ gốc trên cả 03 môi trường thử nghiệm:

  • Tại $E_1\text{:NĐC}$: Quỹ đạo xây dựng khớp với thực địa, loại bỏ hoàn toàn hiện tượng lệch góc quay lũy kế.
  • Tại $E_2\text{:TQB}$ và $E_3\text{:MICA}$: Thuật toán $VO^*$ duy trì sai số RMSE dưới $0,5\text{ m}$ trên toàn bộ hành trình dài hơn $100\text{ m}$.
  • Giải thuật định vị $FAB\text{-}MAP^*$ đạt độ chính xác nhận dạng vị trí vượt trội so với $FAB\text{-}MAP$ chuẩn tại các khu vực hành lang có hoa văn và cấu trúc lặp lại.

Chương 3: Phát hiện và ước lượng khoảng cách vật cản

Chương 3 giải quyết bài toán đảm bảo an toàn di chuyển thông qua thị giác máy tính. Tác giả phân chia vật cản thành hai nhóm:

  • Vật cản cố định (tĩnh): Bao gồm các vật thể đặc trưng trong nhà như chậu hoa, bình cứu hỏa, thùng rác. Phương pháp kết hợp trích chọn đặc trưng SIFT, đối sánh điểm đặc trưng và lọc biến đổi Homography bằng RANSAC cho phép định vị chính xác vùng bao vật thể ngay cả khi bị che khuất một phần hoặc thay đổi góc chiếu sáng.
  • Vật cản động: Tập trung vào phát hiện người đi bộ bằng cách trích xuất vector đặc trưng HoG và phân loại qua siêu phẳng tối ưu của mô hình SVM.

Về bài toán đo cự ly, thay vì dùng hệ thống 2 camera cố định tốn kém, luận án đề xuất mô hình ước lượng khoảng cách từ 01 camera đơn di động. Bằng cách tính toán ma trận cơ bản, nắn chỉnh hình học ảnh (rectification) và áp dụng giải thuật đối sánh SAD trên các khối điểm ảnh, hệ thống tạo ra bản đồ chênh lệch (disparity map) thời gian thực. Thử nghiệm trên cơ sở dữ liệu vật cản tự thu thập chứng minh thuật toán ước lượng khoảng cách đạt độ sai số thấp, phân biệt chính xác cự ly các vật cản trong phạm vi từ $1\text{ m}$ đến $5\text{ m}$, vượt trội hơn so với phương pháp phân tầng Haar-AdaBoost về độ ổn định phát hiện.

Chương 4: Phát triển và thử nghiệm hệ thống dẫn đường

Chương 4 mô tả quá trình tích hợp phần cứng và thử nghiệm thực tế toàn bộ hệ thống. Nền tảng thực thi bao gồm robot di động PC-Bot 914 gắn camera, máy tính nhúng, vi điều khiển, cảm biến hồng ngoại IR cảnh báo va chạm gần, kết nối mạng không dây và điện thoại thông minh Android.

Về điều khiển, hệ thống sử dụng thuật toán tìm đường trên đồ thị topo kết hợp bộ lọc Kalman (KF) để dự báo và hiệu chỉnh sai số vị trí thực tế của robot trong quá trình chuyển động tịnh tiến và quay vòng. Kênh tương tác người - robot sử dụng cơ chế phản hồi bằng tần số rung trên điện thoại cầm tay: khoảng cách đến vật cản càng gần thì tần số rung càng cao (ví dụ: tần số rung tăng dần theo các mức cự ly $3\text{ m}, 2\text{ m}, 1\text{ m}$).

Hệ thống được thử nghiệm thực tế với sự tham gia của các học sinh khiếm thị mù $100%$ (không nhìn thấy ánh sáng) tại 03 môi trường:

  • $E_1\text{:NĐC}$: Trường THCS Nguyễn Đình Chiểu (hành lang tầng 2 khu nội trú).
  • $E_2\text{:TQB}$: Thư viện Tạ Quang Bửu (hành lang tầng 5).
  • $E_3\text{:MICA}$: Viện Nghiên cứu Quốc tế MICA.

Các kịch bản thực nghiệm bao gồm: chuyển động tịnh tiến thẳng, chuyển động kết hợp quay góc và tịnh tiến, xử lý tình huống vật cản xuất hiện bất ngờ chặn đường. Kết quả đo đạc định lượng khẳng định robot dẫn đường bám sát quỹ đạo thiết kế, bộ lọc Kalman giúp triệt tiêu sai số trôi dạt bánh xe, hệ thống phát hiện vật cản kịp thời và người khiếm thị hoàn toàn làm chủ được hành trình di chuyển thông qua tương tác phản hồi rung.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp khoa học và thực tiễn cụ thể:

Đóng góp về mặt lý luận và phương pháp

  1. Đề xuất mô hình biểu diễn môi trường theo hướng tiếp cận lai ngữ nghĩa, tích hợp đồng bộ giữa bản đồ số liệu (tọa độ hình học), bản đồ topo (các điểm nút hình ảnh) và tập hợp thông tin vật cản tĩnh $L_i = {M_i, Z_i, O_i}$.
  2. Cải tiến giải thuật đo hành trình thị giác ($VO^*$) phù hợp với điều kiện trong nhà thông qua giải pháp phân bố điểm đánh dấu nhân tạo trên mặt sàn, giải quyết triệt để vấn đề thiếu đặc trưng góc Harris trên bề mặt sàn đồng màu hoặc bóng lóa.
  3. Cải tiến giải thuật $FAB\text{-}MAP^*$ cho bài toán xây dựng bản đồ topo và định vị diện hẹp bằng cách kết hợp đặc trưng SURF, cây nhị phân Chow-Liu mô hình hóa xác suất từ đồng xuất hiện và bộ mô tả GIST loại bỏ khung cảnh lặp lại.
  4. Đề xuất quy trình phát hiện vật cản kết hợp (SIFT-Homography cho vật cản tĩnh, HoG-SVM cho người) và giải pháp ước lượng khoảng cách vật cản thời gian thực chỉ sử dụng 01 camera đơn chuyển động.

Đóng góp về mặt thực tiễn và ứng dụng

  1. Thiết kế và chế tạo hoàn chỉnh hệ thống thu thập dữ liệu chuyên dụng gồm 02 camera vuông góc hỗ trợ tạo lập bản đồ số liệu và bản đồ topo đồng thời.
  2. Tích hợp thành công hệ thống robot dẫn đường PC-Bot 914 hoạt động tự hành, sử dụng bộ lọc Kalman ổn định chuyển động và cơ chế giao tiếp xúc giác qua tần số rung trên điện thoại thông minh.
  3. Triển khai thử nghiệm thực tế trên người khiếm thị mất thị lực hoàn toàn tại Trường THCS Nguyễn Đình Chiểu, Thư viện Tạ Quang Bửu và Viện MICA, chứng minh tính khả thi của hệ thống trong môi trường diện hẹp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Phạm vi hoạt động của hệ thống bị giới hạn trong môi trường cảm thụ diện hẹp trong nhà (các hành lang, phòng làm việc có hạ tầng Wifi và đã được khảo sát xây dựng bản đồ trước ở pha ngoại tuyến).
  • Hệ thống chỉ phục vụ cho 01 người dùng khiếm thị tại một thời điểm.
  • Thuật toán đo hành trình $VO^*$ vẫn phụ thuộc vào việc dán các điểm đánh dấu nhân tạo trên mặt sàn tại các khu vực sàn gạch nhẵn bóng hoặc ánh sáng yếu.
  • Nền tảng robot di động bánh lăn chưa thể vận hành trên các địa hình phức tạp như cầu thang hoặc mặt đường gồ ghề ngoài trời.

Hướng nghiên cứu tiếp theo

  • Nghiên cứu các giải thuật trích chọn đặc trưng thích nghi cao hơn để loại bỏ hoàn toàn sự phụ thuộc vào các điểm đánh dấu nhân tạo trên sàn nhà.
  • Mở rộng phạm vi dẫn đường sang môi trường không gian lớn ngoài trời kết hợp thông tin GPS khi tín hiệu cho phép.
  • Tối ưu hóa thời gian tính toán của các giải thuật xử lý ảnh để nâng cao vận tốc di chuyển của robot.
  • Nghiên cứu mở rộng giao thức điều khiển để hỗ trợ đa người dùng và tích hợp thêm các cảm biến hỗ trợ nhận diện cử chỉ phức tạp.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học, sinh viên ngành Khoa học Máy tính, Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Robot (Robotics): Tham khảo quy trình thiết kế hệ thống robot tự hành, kỹ thuật đo hành trình thị giác (Visual Odometry), thuật toán định vị $FAB\text{-}MAP$, cấu trúc cây Chow-Liu và bộ lọc Kalman trong điều khiển chuyển động.
  • Nhà nghiên cứu thị giác máy tính: Tham khảo phương pháp phát hiện vật thể tĩnh/động bằng SIFT, HoG-SVM và kỹ thuật ước lượng khoảng cách độ sâu từ camera đơn chuyển động (Chương 3 và Phụ lục A, Phụ lục B).
  • Các tổ chức, kỹ sư phát triển thiết bị trợ cấp y tế và phục hồi chức năng: Tham khảo kiến trúc tương tác người - robot qua xúc giác (tần số rung), hỗ trợ định hướng không gian cho người khuyết tật thị giác mà không làm tổn hại đến thính giác tự nhiên.

Câu hỏi thường gặp

1. Luận án khắc phục hiện tượng mất đặc trưng khi đo hành trình bằng hình ảnh (VO) trong nhà bằng giải pháp nào?

Tác giả đề xuất giải thuật thích nghi $VO^*$ bằng cách dán bổ sung các điểm đánh dấu nhân tạo hình học có góc nhọn (hình chữ nhật, hình vuông, hình bình hành) lên mặt sàn với mật độ $16\text{--}20$ điểm/$\text{m}^2$, đặt cách đều $15\text{--}20\text{ cm}$. Kỹ thuật này giúp bộ trích chọn Harris Corner phát hiện đủ số lượng điểm đặc trưng ổn định trên các bề mặt sàn nhẵn bóng hoặc trải thảm, từ đó triệt tiêu sai số tích lũy của quỹ đạo.

2. Mô hình biểu diễn môi trường lai ngữ nghĩa của luận án gồm các thành phần cụ thể nào?

Mô hình gồm tập hợp $N$ điểm mốc topo $L_N = {L_1, \dots, L_N}$. Mỗi mốc $L_i$ chứa ba thành phần: tọa độ thực $M_i = (x_i, y_i, z_i)$ tính bằng mét trong hệ quy chiếu Descartes (từ bản đồ số liệu); mô hình quan sát hình ảnh $Z_i$ biểu diễn theo mô hình túi từ BoW (từ bản đồ topo); và danh mục các vật cản tĩnh $O_i = {O_{i1}, O_{i2}, \dots, O_{ij}}$ nhận dạng được trong ảnh quan sát tại vị trí đó.

3. Phương pháp phát hiện vật cản tĩnh và động trong luận án được triển khai ra sao?

  • Đối với vật cản tĩnh (chậu hoa, bình cứu hỏa, thùng rác): Sử dụng trích chọn đặc trưng SIFT, đối sánh đặc trưng và giải thuật RANSAC để tính ma trận Homography $H$ xác định khung bao vật thể.
  • Đối với vật cản động (người): Sử dụng trích chọn vector đặc trưng biểu đồ hướng gradient (HoG) kết hợp bộ phân loại máy vector hỗ trợ (SVM).

4. Hệ thống ước lượng khoảng cách vật cản bằng 01 camera chuyển động theo nguyên lý nào?

Camera chuyển động thu nhận 02 khung hình liên tiếp tại hai thời điểm khác nhau. Hệ thống xác định các đường cực hạn (epipolar line), hiệu chỉnh hai ảnh về cùng mặt phẳng ngang (rectification), áp dụng giải thuật SAD để đối sánh khối điểm ảnh và xây dựng bản đồ chênh lệch (disparity map), từ đó tính toán ra khoảng cách độ sâu thực tế từ robot đến vật cản.

5. Kênh tương tác giữa robot và người khiếm thị được thiết kế như thế nào để đảm bảo an toàn?

Hệ thống sử dụng điện thoại thông minh kết nối không dây với robot. Người khiếm thị cầm điện thoại và bám vào điểm tựa trên robot để di chuyển. Thông tin cảnh báo khoảng cách vật cản được mã hóa thành các tần số rung cơ học khác nhau trên điện thoại (khoảng cách càng gần tần số rung càng lớn), giúp người dùng nhận biết môi trường mà không chiếm dụng thính giác.

Kết luận

Luận án của nghiên cứu sinh Nguyễn Quốc Hùng đã giải quyết bài toán biểu diễn môi trường, định vị và dẫn đường cho người khiếm thị trong môi trường cảm thụ diện hẹp bằng cảm biến hình ảnh. Công trình đã đề xuất mô hình bản đồ lai ngữ nghĩa, cải tiến thành công các giải thuật $VO^$ và $FAB\text{-}MAP^$, đồng thời phát triển giải pháp nhận dạng và ước lượng khoảng cách vật cản từ camera đơn di động. Toàn bộ giải pháp đã được tích hợp hoàn chỉnh trên robot PC-Bot 914, kết hợp bộ lọc Kalman và tương tác xúc giác rung, được kiểm chứng thực nghiệm thành công trên người khiếm thị hoàn toàn tại 03 môi trường thực tế.