Kỹ Thuật Định Vị Hình Ảnh Hỗ Trợ Dẫn Đường Cho Người Khiếm Thị

LỜI CAM ĐOAN

LỜI CẢM ƠN

MỤC LỤC

DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT

DANH MỤC CÁC BẢNG

DANH MỤC CÁC HÌNH ẢNH, ĐỒ THỊ

MỞ ĐẦU

1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG TRỢ GIÚP NGƯỜI KHIẾM THỊ

1.2. Các nghiên cứu liên quan

1.2.1. Các nghiên cứu trên thế giới

1.2.2. Các nghiên cứu trong nước

1.3. Mục tiêu nghiên cứu và phương pháp đề xuất

1.3.1. Mục tiêu và phạm vi nghiên cứu

1.3.2. Phương pháp đề xuất

1.4. Kết luận chương 1

2. CHƯƠNG 2: BIỂU DIỄN MÔI TRƯỜNG VÀ ĐỊNH VỊ

2.1. Giới thiệu chung

2.2. Những nghiên cứu liên quan

2.2.1. Hướng tiếp cận sử dụng bản đồ số liệu

2.2.2. Hướng tiếp cận sử dụng bản đồ topo

2.2.3. Hướng tiếp cận lai

2.3. Đề xuất hướng tiếp cận lai ngữ nghĩa biểu diễn môi trường

2.4. Phương pháp xây dựng bản đồ môi trường

2.4.1. Xây dựng bản đồ số liệu

2.4.1.1. Phương pháp đo hành trình bằng hình ảnh sử dụng mô hình không chắc chắn

2.4.1.2. Thích nghi VO cho môi trường trong nhà

2.4.2. Xây dựng bản đồ topo

2.4.2.1. Giải thuật FAB-MAP

2.4.2.2. Thích nghi và cải thiện FAB-MAP xây dựng bản đồ topo

2.5. Bổ sung thông tin đối tượng vật cản tĩnh trên bản đồ

2.6. Phương pháp định vị

2.7. Kết quả thực nghiệm

2.7.1. Môi trường đánh giá

2.7.2. Thu thập dữ liệu đánh giá

2.7.2.1. Hệ thống thu thập dữ liệu

2.7.2.2. Thu thập dữ liệu

2.7.3. Kết quả đánh giá

2.7.3.1. Đánh giá phương pháp xây dựng bản đồ số liệu

2.7.3.2. Đánh giá phương pháp định vị hình ảnh

2.8. Kết luận chương 2

3. CHƯƠNG 3: PHÁT HIỆN VÀ ƯỚC LƯỢNG KHOẢNG CÁCH VẬT CẢN

3.1. Định nghĩa bài toán và các thách thức

3.2. Những nghiên cứu liên quan

3.2.1. Các phương pháp sử dụng 01 camera

3.2.1.1. Hướng nghiên cứu sử dụng stereo camera

3.2.1.2. Hướng nghiên cứu sử dụng cảm biến Kinect

3.2.2. Phân tích và đánh giá các phương pháp

3.3. Đề xuất phương pháp phát hiện và ước lượng khoảng cách

3.4. Phát hiện vật cản

3.4.1. Phát hiện vật cản cố định

3.4.1.1. Đối sánh các điểm đặc trưng

3.4.1.2. Phát hiện vật cản từ kết quả đối sánh

3.4.1.3. Xác định vùng chứa đối tượng

3.4.2. Phát hiện vật cản động

3.4.2.1. Trích chọn đặc trưng HoG

3.4.2.2. Bộ phân loại SVM

3.5. Ước lượng khoảng cách vật cản

3.5.1. Nguyên lý ước lượng khoảng cách

3.5.2. Xây dựng bản đồ chênh lệch

3.5.2.1. Thu thập dữ liệu

3.5.2.2. Hiệu chỉnh hình ảnh

3.5.2.3. Đối sánh hình ảnh

3.5.2.4. Tính toán độ sâu

3.6. Kết quả đánh giá

3.6.1. Xây dựng cơ sở dữ liệu vật cản

3.6.2. Đánh giá giải thuật phát hiện đối tượng

3.6.3. Đánh giá giải thuật ước lượng khoảng cách vật cản

3.7. Kết luận chương 3

4. CHƯƠNG 4: PHÁT TRIỂN VÀ THỬ NGHIỆM HỆ THỐNG DẪN ĐƯỜNG

4.1. Hệ thống tích hợp

4.1.1. Tích hợp phần cứng

4.1.2. Kiến trúc tổng thể

4.2. Phát triển hệ thống dẫn đường sử dụng robot

4.2.1. Tìm đường cho robot

4.2.2. Điều khiển robot

4.2.2.1. Điều khiển trực tiếp dựa trên đường đi xác định

4.2.2.2. Điều khiển theo dự báo và hiệu chỉnh vị trí của bộ lọc Kalman

4.2.3. Tương tác người-robot

4.3. Thử nghiệm và đánh giá hệ thống dẫn đường

4.3.1. Môi trường và quy trình thử nghiệm

4.3.1.1. Môi trường thử nghiệm

4.3.1.2. Quy trình thử nghiệm

4.3.2. Kết quả thực nghiệm

4.3.2.1. Đánh giá khả năng xác định vị trí xuất phát của robot

4.4. Đánh giá khả năng điều khiển robot

4.5. Đánh giá khả năng tương tác người-robot

4.6. Đánh giá hệ thống dẫn đường trợ giúp NKT bằng robot

4.7. Bàn luận hệ thống robot dẫn đường

4.8. Kết luận chương 4

KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

TÀI LIỆU THAM KHẢO

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ CỦA LUẬN ÁN

PHỤ LỤC

A. MỘT SỐ PHƯƠNG PHÁP TRÍCH CHỌN ĐẶC TRƯNG

A.1. Đặc trưng Harris Corner

A.2. Đặc trưng SIFT

A.3. Đặc trưng SURF

A.4. Đặc trưng GIST

A.5. Đặc trưng HoG

A.6. Đặc trưng Haar

B. ĐÁNH GIÁ HIỆU NĂNG NHẬN DẠNG TRÊN MỘT SỐ CSDL

B.1. Giới thiệu 3 CSDL thử nghiệm

B.2. Khung nhận dạng đối tượng tổng quát

B.3. Kết quả đánh giá

C. THIẾT KẾ HỆ THỐNG THU THẬP DỮ LIỆU

C.1. Xe camera thu thập dữ liệu

C.2. Hiệu chỉnh camera góc rộng

C.3. Robot PC-Bot914

I. Tổng quan về hệ thống trợ giúp người khiếm thị

Hệ thống trợ giúp người khiếm thị đóng vai trò quan trọng trong việc cải thiện khả năng di chuyển và tương tác của họ với môi trường. Định vị hình ảnh là một trong những công nghệ cốt lõi giúp người khiếm thị nhận biết và tránh các vật cản. Các nghiên cứu hiện tại đã chỉ ra rằng việc sử dụng công nghệ dấn đường có thể tạo ra những cải tiến đáng kể trong việc hỗ trợ người khiếm thị. Hệ thống này không chỉ giúp họ di chuyển an toàn mà còn nâng cao chất lượng cuộc sống. Theo thống kê của WHO, có khoảng 285 triệu người trên thế giới bị suy giảm thị lực, trong đó có 39 triệu người mù. Điều này cho thấy nhu cầu cấp thiết về các giải pháp hỗ trợ cho người khiếm thị. Các phương pháp truyền thống như gậy dẫn đường hay chó dẫn đường có những hạn chế nhất định, do đó, việc phát triển các thiết bị điện tử hỗ trợ là cần thiết.

1.1. Các nghiên cứu liên quan

Nhiều nghiên cứu đã được thực hiện trên toàn cầu nhằm phát triển các hệ thống hỗ trợ cho người khiếm thị. Các nghiên cứu này tập trung vào việc cải thiện công nghệ hỗ trợ và hệ thống định vị. Một số nghiên cứu đã áp dụng cảm biến và hệ thống cảnh báo để giúp người khiếm thị nhận biết môi trường xung quanh. Các công nghệ như GPS và cảm biến hồng ngoại đã được sử dụng để phát hiện vật cản và cung cấp thông tin về khoảng cách. Tuy nhiên, vẫn còn nhiều thách thức trong việc phát triển các hệ thống này, đặc biệt là trong việc đảm bảo tính chính xác và độ tin cậy trong các điều kiện môi trường khác nhau.

II. Biểu diễn môi trường và định vị

Để hỗ trợ người khiếm thị, việc biểu diễn môi trường và định vị là rất quan trọng. Hệ thống cần phải xây dựng bản đồ môi trường từ trước và có khả năng định vị chính xác vị trí của người dùng. Các phương pháp hiện tại bao gồm việc sử dụng bản đồ số liệu và bản đồ topo. Việc tích hợp hai loại bản đồ này giúp cải thiện khả năng nhận diện và định vị trong môi trường phức tạp. Hệ thống cần phải có khả năng xử lý thông tin hình ảnh và âm thanh để cung cấp thông tin chính xác về môi trường xung quanh. Các nghiên cứu đã chỉ ra rằng việc sử dụng cảm biến và công nghệ thông minh có thể giúp cải thiện khả năng định vị và nhận diện vật cản.

2.1. Phương pháp xây dựng bản đồ môi trường

Phương pháp xây dựng bản đồ môi trường bao gồm việc thu thập dữ liệu từ các cảm biến và xử lý thông tin để tạo ra bản đồ chính xác. Các phương pháp như giải thuật FAB-MAP và thích nghi VO đã được áp dụng để xây dựng bản đồ trong môi trường trong nhà. Việc sử dụng các công nghệ này giúp cải thiện khả năng nhận diện và định vị trong các điều kiện ánh sáng khác nhau. Hệ thống cần phải có khả năng xử lý thông tin hình ảnh và âm thanh để cung cấp thông tin chính xác về môi trường xung quanh. Các nghiên cứu đã chỉ ra rằng việc sử dụng cảm biến và công nghệ thông minh có thể giúp cải thiện khả năng định vị và nhận diện vật cản.

III. Phát hiện và ước lượng khoảng cách vật cản

Phát hiện và ước lượng khoảng cách vật cản là một trong những thách thức lớn trong việc phát triển hệ thống hỗ trợ cho người khiếm thị. Hệ thống cần phải có khả năng phát hiện các vật cản tĩnh và động trong môi trường. Các phương pháp hiện tại bao gồm việc sử dụng camera và cảm biến Kinect để phát hiện vật cản. Việc phát hiện vật cản cần phải được thực hiện trong thời gian thực để đảm bảo an toàn cho người khiếm thị. Các nghiên cứu đã chỉ ra rằng việc sử dụng cảm biến hồng ngoại và công nghệ nhận diện hình ảnh có thể giúp cải thiện khả năng phát hiện và ước lượng khoảng cách vật cản.

3.1. Đề xuất phương pháp phát hiện và ước lượng khoảng cách

Đề xuất phương pháp phát hiện và ước lượng khoảng cách vật cản bao gồm việc sử dụng các giải thuật nhận diện hình ảnh và cảm biến. Hệ thống cần phải có khả năng phát hiện các vật cản trong môi trường và ước lượng khoảng cách một cách chính xác. Việc sử dụng cảm biến và camera giúp cải thiện khả năng phát hiện và ước lượng khoảng cách. Các nghiên cứu đã chỉ ra rằng việc sử dụng giải thuật SVM và trích chọn đặc trưng HoG có thể giúp cải thiện khả năng phát hiện vật cản trong môi trường phức tạp.

IV. Phát triển và thử nghiệm hệ thống dẫn đường

Phát triển và thử nghiệm hệ thống dẫn đường cho người khiếm thị là một trong những mục tiêu chính của nghiên cứu. Hệ thống cần phải có khả năng dẫn đường chính xác và an toàn cho người khiếm thị. Việc tích hợp các thiết bị phần cứng và phần mềm là rất quan trọng để đảm bảo hệ thống hoạt động hiệu quả. Các thử nghiệm cần được thực hiện trong các môi trường khác nhau để đánh giá khả năng hoạt động của hệ thống. Các nghiên cứu đã chỉ ra rằng việc sử dụng robot và công nghệ thông minh có thể giúp cải thiện khả năng dẫn đường cho người khiếm thị.

4.1. Thử nghiệm và đánh giá hệ thống dẫn đường

Thử nghiệm và đánh giá hệ thống dẫn đường bao gồm việc kiểm tra khả năng xác định vị trí và điều khiển robot. Hệ thống cần phải có khả năng tương tác hiệu quả với người khiếm thị để đảm bảo an toàn trong quá trình di chuyển. Các thử nghiệm cần được thực hiện trong các môi trường khác nhau để đánh giá khả năng hoạt động của hệ thống. Việc sử dụng công nghệ thông minh và cảm biến giúp cải thiện khả năng dẫn đường và tương tác giữa người và robot.

Nghiên Cứu và Phát Triển Kỹ Thuật Định Vị Dựa Trên Hình Ảnh Cho Người Khiếm Thị