Bối cảnh và vấn đề nghiên cứu

Trong hệ thống giác quan của con người, thị giác giữ vai trò tiếp nhận phần lớn thông tin từ môi trường xung quanh, giúp định hướng không gian và phản xạ kịp thời trước các mối nguy hiểm. Theo số liệu thống kê được trình bày trong khóa luận, Việt Nam có khoảng 1,2% dân số là người khiếm thị. Việc suy giảm hoặc mất hoàn toàn thị lực tạo ra rào cản lớn trong sinh hoạt hàng ngày, đặc biệt là nhu cầu di chuyển độc lập ngoài đường phố.

Trên thực tế, người khiếm thị thường sử dụng các công cụ truyền thống như gậy dò đường hoặc động vật dẫn đường. Tuy nhiên, các phương pháp này tồn tại nhiều hạn chế: gậy dò đường không thể phát hiện các chướng ngại vật ở tầm cao ngang ngực hoặc đầu, trong khi việc sử dụng động vật dẫn đường khó kiểm soát và không phổ biến tại môi trường đô thị Việt Nam. Một số thiết bị công nghệ hỗ trợ hiện đại trên thế giới như kính thông minh Envision hay gậy thông minh WeWalk Smart Cane đã được phát triển nhưng chi phí tiếp cận cao và chưa được tối ưu hóa cho điều kiện hạ tầng giao thông đặc thù tại Việt Nam.

Trước thực tiễn đó, khóa luận tốt nghiệp ngành Khoa học Máy tính tại Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh do sinh viên Huỳnh Đỗ Tấn Thành và Nguyễn Minh Trí thực hiện (dưới sự hướng dẫn của TS. Lê Minh Hưng) đã nghiên cứu và phát triển đề tài: "Ứng dụng trợ lý thị giác hỗ trợ người khiếm thị di chuyển trên đường dành cho người đi bộ".

Mục tiêu và nhiệm vụ nghiên cứu của đề tài bao gồm:

  1. Nghiên cứu các phương pháp thị giác máy tính giúp người khiếm thị nhận biết không gian xung quanh, phân đoạn làn đường/lề đường, phát hiện vật cản và các đối tượng trước mặt để hỗ trợ di chuyển an toàn.
  2. Xây dựng mô hình ước lượng khoảng cách và độ sâu từ hình ảnh camera đơn nhằm đưa ra các cảnh báo va chạm kịp thời.
  3. Phát triển mô hình xử lý ngôn ngữ tự nhiên tiếng Việt kết hợp nhận dạng giọng nói, cho phép người dùng đặt câu hỏi về vùng không gian quan tâm và nhận câu trả lời mô tả trực quan.
  4. Thiết kế, đóng gói và triển khai hệ sinh thái ứng dụng hoàn chỉnh gồm ứng dụng di động Android kết nối với hệ thống máy chủ xử lý trí tuệ nhân tạo thông qua giao thức API.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Người khiếm thị có nhu cầu di chuyển trên phần đường dành cho người đi bộ.
  • Phạm vi không gian: Môi trường đường phố tại Việt Nam, tập trung vào những khu vực có lề đường/vỉa hè; dữ liệu thực nghiệm được thu thập tại TP. Hồ Chí Minh, Đà Nẵng và Khánh Hòa.
  • Phạm vi ngôn ngữ: Ngôn ngữ giao tiếp và xử lý hoàn toàn bằng tiếng Việt.
  • Phạm vi thời gian thực hiện: Từ ngày 01/02/2022 đến ngày 10/06/2022.

Các thách thức kỹ thuật chính được tác giả xác định:

  • Cơ sở hạ tầng đường bộ tại Việt Nam phức tạp ở cả lòng đường và lề đường (nhiều chướng ngại vật tĩnh và động, lề đường bị lấn chiếm).
  • Đo đạc khoảng cách và chiều sâu chỉ sử dụng camera đơn (monocular camera) trên điện thoại di động mà không dùng thêm cảm biến phần cứng chuyên dụng.
  • Yêu cầu tối ưu hóa hệ thống để vừa đảm bảo tốc độ phản hồi thời gian thực (real-time), vừa duy trì độ chính xác cao khi nhận diện đối tượng.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp nghiên cứu lý thuyết chuyên sâu về thị giác máy tính và học sâu (Deep Learning) cùng phương pháp thiết kế, xây dựng hệ thống phần mềm thực nghiệm.

Khung lý thuyết và các mô hình sử dụng

  1. Phân đoạn ngữ nghĩa thời gian thực (Real-time Semantic Segmentation):

    • Khảo sát các kiến trúc phân đoạn ảnh tiêu biểu: Fully Convolutional Networks (FCN), U-Net, DeepLab (V1, V2, V3, V3+), DeconvNet, RefineNet, PSPNet, HRNetV2, ENet, SegNet, ICNet.
    • Trọng tâm lý thuyết đặt vào mô hình BiSeNet (Bilateral Segmentation Network) và phiên bản nâng cấp BiSeNetV2:
      • Spatial Information và Receptive Field: BiSeNet giải quyết mâu thuẫn giữa việc bảo toàn thông tin không gian độ phân giải cao (rich spatial information) và mở rộng trường tiếp nhận (sizeable receptive field).
      • Kiến trúc BiSeNet: Gồm hai nhánh chính là Spatial Path (SP - sử dụng các lớp tích chập stride nhỏ để giữ thông tin không gian chi tiết) và Context Path (CP - sử dụng mạng xương sống gọn nhẹ kèm Global Average Pooling - GAP và module Attention Refinement Module - ARM để thu thập ngữ cảnh toàn cục mà không tốn nhiều chi phí tính toán). Hai nhánh được hợp nhất qua Feature Fusion Module (FFM).
      • Kiến trúc BiSeNetV2: Cải tiến với Detail Branch (DB) gồm các kênh nông và rộng tuân thủ cấu trúc VGGBase; Semantic Branch (SB) gồm các kênh sâu, hẹp sử dụng khối Stem, các lớp Gather-and-Expansion (GE) và khối Context Embedding (CE); kết hợp qua Bilateral Guided Aggregation Layer và bổ sung chiến lược Booster part với các Segmentation Head trong quá trình huấn luyện nhằm tăng độ chính xác mà không làm giảm tốc độ suy luận (inference).

  2. Phát hiện đối tượng (Object Detection):

    • Phân loại hai hướng tiếp cận: Two-stage detector (R-CNN, Fast R-CNN, Faster R-CNN, R-FCN - độ chính xác cao nhưng chi phí tính toán lớn) và One-stage detector (SSD, RetinaNet, YOLO - tốc độ xử lý nhanh, phù hợp cho bài toán thời gian thực).
    • Đi sâu vào thuật toán YOLO (You Only Look Once) từ phiên bản YOLOv1 đến YOLOv5:
      • Cơ chế chia ảnh thành lưới ô vuông (Grid Cells $S \times S$).
      • Kỹ thuật hồi quy Bounding Box ($b_x, b_y, b_w, b_h$) và dự đoán điểm tin cậy: $\text{Box confidence score} = \Pr(\text{Object}) \times \text{IoU}$.
      • Tính toán $\text{Class confidence score} = \Pr(\text{Class}_i|\text{Object}) \times \text{Box confidence score}$.
      • Thuật toán Non-Max Suppression (NMS) với ngưỡng $\text{IoU} > 0.5$ để lọc bỏ các khung bao trùng lặp trên cùng một đối tượng.
      • Ứng dụng mô hình YOLOv5 cho hệ thống nhận diện vật cản thực tế.

  3. Ước tính độ sâu từ ảnh đơn (Monocular Depth Estimation):

    • Khảo sát các mô hình dự đoán bản đồ độ sâu (depth map) không cần cảm biến LiDAR hay camera lập thể: MiDaS (phiên bản MiDaS-small) và DPT (Dense Prediction Transformers: DPT-Hybrid, DPT-Large dựa trên nền tảng Vision Transformers - ViT).

  4. Xử lý ngôn ngữ tự nhiên và phân loại văn bản tiếng Việt:

    • Trích xuất đặc trưng văn bản bằng kỹ thuật TF-IDF (Term Frequency – Inverse Document Frequency).
    • Thuật toán máy học Support Vector Machine (SVM) được ứng dụng để phân loại ý định (intent) trong câu hỏi tiếng Việt của người dùng đối với vùng không gian cần quan sát.

  5. Giao tiếp âm thanh và giọng nói:

    • Tích hợp dịch vụ Google Speech API trên hệ điều hành Android, bao gồm Speech-to-Text (chuyển đổi giọng nói người dùng thành văn bản tiếng Việt) và Text-to-Speech (chuyển đổi phản hồi của hệ thống thành giọng nói).

Phương pháp nghiên cứu và nguồn dữ liệu

  • Phương pháp thu thập dữ liệu: Tác giả tự thu thập tập dữ liệu hình ảnh thực địa tại các tuyến đường đô thị thuộc TP. Hồ Chí Minh, Đà Nẵng và Khánh Hòa để đảm bảo tính đại diện cho hạ tầng giao thông Việt Nam.
  • Phương pháp gán nhãn dữ liệu: Thực hiện gán nhãn thủ công cho các bài toán phân đoạn ngữ nghĩa (lề đường, lòng đường) và bài toán phát hiện đối tượng (người đi bộ, xe máy, ô tô, chướng ngại vật trên vỉa hè).
  • Phương pháp huấn luyện và kiểm thử: Huấn luyện các mô hình học sâu trên nền tảng máy chủ sử dụng card đồ họa rời chuyên dụng; đánh giá độc lập về độ chính xác (mIoU, mAP) và tốc độ suy luận (FPS, ms); thực nghiệm đo đạc thời gian đáp ứng tổng thể của ứng dụng trên đường phố.

Thiết kế và triển khai hệ thống

Hệ thống trợ lý thị giác được thiết kế theo mô hình Client – Server phân tán nhằm tối ưu hóa năng lực tính toán và đảm bảo tốc độ phản hồi.

Thành phần Vai trò Công nghệ và Thư viện sử dụng
Client (Ứng dụng Android) Giao tiếp người dùng, thu nhận hình ảnh/âm thanh, nhận và phát cảnh báo Java/Kotlin, Android SDK, Retrofit (gọi API), OpenCV for Android, Gson, Google Speech API (Speech-to-Text & Text-to-Speech)
Server (AI Engine) Xử lý các mô hình học sâu, phân tích logic cảnh báo và sinh câu trả lời Python 3, PyTorch, OpenCV, NumPy, Flask/RESTful API, SVM Classifier
Phần cứng thực nghiệm Máy chủ phục vụ huấn luyện và chạy suy luận mô hình GPU NVIDIA GeForce RTX 2080 Ti

Luồng hoạt động của các phân hệ chức năng

  1. Chức năng giao tiếp bằng giọng nói:

    • Người dùng kích hoạt thu âm bằng thao tác chạm trên màn hình điện thoại.
    • Google Speech API chuyển đổi âm thanh tiếng Việt thành chuỗi văn bản.
    • Chuỗi văn bản được gửi lên server; mô hình TF-IDF kết hợp SVM phân tích câu hỏi để trích xuất vùng không gian cần quan tâm (ví dụ: "bên phải có gì?", "phía trước có vật cản không?", "dưới đường có xe không?").

  2. Chức năng cảnh báo nguy hiểm:

    • Camera trên thiết bị di động liên tục chụp khung hình đường phố và truyền lên server qua API.
    • Nhánh phân đoạn ngữ nghĩa (BiSeNetV2) xác định ranh giới giữa vỉa hè (lề đường) và lòng đường. Thuật toán phát hiện hướng di chuyển của người dùng: nếu vùng phát hiện cho thấy người dùng đang lệch hướng và đi xuống lòng đường, hệ thống lập tức kích hoạt âm thanh cảnh báo chuyển hướng.
    • Nhánh phát hiện vật thể (YOLOv5) kết hợp mô hình ước lượng độ sâu (MiDaS/DPT) đưa khung hình qua hàm đánh giá khoảng cách vật cản. Nếu phát hiện chướng ngại vật nằm trong vùng nguy hiểm trước mặt với khoảng cách gần, hệ thống phát âm thanh cảnh báo va chạm.

  3. Chức năng mô tả không gian xung quanh:

    • Kết hợp kết quả phân loại ý định câu hỏi (vùng quan tâm: trái, phải, trước mặt, dưới lòng đường) và danh sách các đối tượng được YOLOv5 phát hiện trong vùng tương ứng.
    • Server tổng hợp thông tin, sinh câu phản hồi tiếng Việt có cấu trúc và gửi về ứng dụng Android dưới dạng JSON.
    • Client sử dụng Text-to-Speech để đọc câu trả lời mô tả chi tiết cho người khiếm thị.

Nội dung chính theo từng chương

Báo cáo khóa luận được cấu trúc thành 5 chương với dung lượng 86 trang, 9 bảng số liệu, 80 hình vẽ và 51 tài liệu tham khảo.

Chương 1 — Tổng quan

Chương này giới thiệu tầm quan trọng của thị giác đối với con người và thực trạng 1,2% dân số khiếm thị tại Việt Nam. Tác giả định nghĩa bài toán trợ lý thị giác: đầu vào là luồng hình ảnh từ camera di động và âm thanh giọng nói người dùng; đầu ra là âm thanh cảnh báo nguy hiểm và âm thanh mô tả không gian. Chương 1 xác định rõ phạm vi đề tài (đường phố Việt Nam có lề đường, ngôn ngữ tiếng Việt), mục tiêu di chuyển an toàn, 3 thách thức kỹ thuật lớn và tóm tắt cấu trúc báo cáo.

Chương 2 — Các nghiên cứu liên quan

Chương 2 trình bày khảo sát các sản phẩm hỗ trợ thị giác hiện nay (kính Envision Glasses, gậy thông minh WeWalk Smart Cane) và tổng hợp cơ sở lý thuyết của 5 bài toán:

  • Phân đoạn ngữ nghĩa thời gian thực: Phân tích lịch sử phát triển từ FCN (2014) đến BiSeNet (2018) và BiSeNetV2 (2020); chi tiết cấu tạo các khối ARM, FFM, Stem, Context Embedding, Gather-and-Expansion và Bilateral Guided Aggregation Layer.
  • Phát hiện đối tượng: Khảo sát các mốc phát triển thuật toán (Viola-Jones, HOG, DPM, R-CNN, Fast R-CNN, Faster R-CNN, SSD, RetinaNet, YOLO); trình bày chi tiết thuật toán YOLO từ v1 đến v5 kèm các công thức toán học về Bounding Box, IoU, Confidence Score và NMS.
  • Ước tính độ sâu ảnh đơn: Cơ chế hoạt động của MiDaS và kiến trúc Transformer trong DPT-Hybrid, DPT-Large.
  • Phân loại văn bản tiếng Việt: Lý thuyết thuật toán SVM và biểu diễn không gian vector 2 chiều.
  • Google Speech API: Thống kê xu hướng sử dụng tìm kiếm giọng nói và tổng quan tích hợp Speech API trên Android.

Chương 3 — Phương pháp thực nghiệm và ứng dụng

Chương 3 trình bày chi tiết quy trình xây dựng hệ thống:

  • Xây dựng bộ dữ liệu: Quá trình khảo sát, thu thập và gán nhãn hình ảnh thực tế tại các địa điểm thuộc TP. Hồ Chí Minh, Đà Nẵng và Khánh Hòa.
  • Thiết kế ứng dụng Android: Xây dựng giao diện thu âm giọng nói, cấu hình giao tiếp mạng qua Retrofit gửi dữ liệu ảnh/âm thanh lên máy chủ.
  • Hiện thực logic xử lý tại server: Trình bày sơ đồ hoạt động của chức năng cảnh báo nguy hiểm (thuật toán xác định vùng di chuyển ra lòng đường và hàm đánh giá vật cản) cùng sơ đồ hoạt động của chức năng mô tả không gian theo câu hỏi người dùng.

Chương 4 — Thực nghiệm và đánh giá

Chương 4 thực hiện các đánh giá định lượng trên phần cứng GPU NVIDIA GeForce RTX 2080 Ti:

  • Đánh giá thời gian xử lý của mô hình BiSeNetV2 với kích thước ảnh đầu vào $960 \times 960$.
  • Đánh giá thời gian xử lý của mô hình YOLOv5 với kích thước ảnh đầu vào $640 \times 640$.
  • Đánh giá so sánh thời gian xử lý giữa mô hình DPT-Hybrid và MiDaS-small với kích thước ảnh đầu vào $960 \times 540$.
  • Đánh giá thực nghiệm thời gian phản hồi toàn hệ thống (end-to-end latency) của chức năng cảnh báo nguy hiểm và chức năng mô tả không gian khi người dùng di chuyển thực tế trên đường phố.

Chương 5 — Kết luận

Chương 5 tổng kết toàn bộ các kết quả đạt được về mặt giải pháp học sâu và ứng dụng di động thực tế; đồng thời đề xuất các định hướng phát triển trong tương lai nhằm nâng cao hiệu năng và mở rộng phạm vi hỗ trợ của đề tài.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Báo cáo khóa luận ghi nhận kết quả đánh giá các mô hình học sâu và hệ thống qua các thông số thực nghiệm cụ thể:

Mô hình / Bài toán Kích thước ảnh đầu vào Phần cứng thực nghiệm Kết quả ghi nhận trong văn bản
BiSeNet (Khảo sát lý thuyết) $640 \times 360$ đến $1920 \times 1080$ NVIDIA Titan X / Titan XP Đạt 64,8% Mean IoU ở 105 FPS trên Cityscapes (Titan XP); kết hợp đủ SP+CP+FFM+GP+ARM đạt 71,4% mIoU
BiSeNetV2 (Phân đoạn lề đường) $960 \times 960$ GeForce RTX 2080 Ti Cải thiện vượt trội về tốc độ xử lý so với BiSeNet; phân đoạn chính xác vùng lề đường và lòng đường
YOLOv5 (Phát hiện vật cản) $640 \times 640$ GeForce RTX 2080 Ti Xử lý thời gian thực ổn định, phát hiện đầy đủ các đối tượng vật cản trên phần đường đi bộ
MiDaS-small vs DPT-Hybrid $960 \times 540$ GeForce RTX 2080 Ti MiDaS-small có thời gian xử lý nhanh hơn, phù hợp hơn cho bài toán cảnh báo va chạm thời gian thực
Hệ thống ứng dụng di động Luồng ảnh camera + Voice Android Client + RTX 2080 Ti Server Thời gian phản hồi chức năng cảnh báo và mô tả không gian qua API đáp ứng tốt yêu cầu di chuyển thực tế

Khóa luận được Hội đồng chấm bảo vệ tốt nghiệp thông qua và được Cán bộ hướng dẫn (TS. Lê Minh Hưng) đánh giá điểm số 9,5/10 cho cả hai sinh viên thực hiện.

Các đóng góp do tác giả tự nêu

  1. Xây dựng ứng dụng hoàn chỉnh và dễ tiếp cận: Phát triển thành công ứng dụng di động Android có giao diện tối ưu cho người khiếm thị, hỗ trợ tương tác hai chiều bằng giọng nói tiếng Việt.
  2. Giải pháp hỗ trợ di chuyển an toàn: Đưa ra phương pháp kết hợp phân đoạn ngữ nghĩa (BiSeNetV2) để cảnh báo khi người dùng đi chệch khỏi lề đường và phát hiện vật thể (YOLOv5) kết hợp ước lượng độ sâu để cảnh báo va chạm vật cản phía trước.
  3. Mô tả không gian trực quan: Xây dựng tính năng tiếp nhận câu hỏi tự nhiên bằng tiếng Việt, phân loại vùng quan tâm (TF-IDF + SVM) và tổng hợp thông tin để mô tả môi trường xung quanh cho người dùng.
  4. Bộ dữ liệu thực tế tại Việt Nam: Tự xây dựng và gán nhãn bộ dữ liệu hình ảnh đường phố thực tế tại 3 tỉnh, thành phố (TP. Hồ Chí Minh, Đà Nẵng, Khánh Hòa), giải quyết bài toán thị giác máy tính trong bối cảnh giao thông đặc thù của Việt Nam.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

Dựa trên nội dung báo cáo và phạm vi đề tài, nghiên cứu còn một số hạn chế:

  • Hệ thống hoạt động theo mô hình Client – Server, phụ thuộc vào kết nối mạng không dây (3G/4G/Wi-Fi); độ trễ phản hồi có thể tăng lên nếu đường truyền mạng tại thực địa không ổn định.
  • Việc ước tính khoảng cách bằng camera đơn tuy tiết kiệm chi phí phần cứng nhưng độ chính xác về chiều sâu vẫn có thể bị biến động khi điều kiện ánh sáng thay đổi hoặc khi góc cầm điện thoại của người dùng bị rung lắc mạnh.
  • Phạm vi dữ liệu thử nghiệm tập trung vào các đoạn đường có lề đường tại TP. Hồ Chí Minh, Đà Nẵng, Khánh Hòa; chưa bao phủ toàn bộ các dạng địa hình phức tạp khác ở nông thôn hoặc các tuyến phố không có vỉa hè rõ ràng.

Hướng phát triển tiếp theo

  1. Tối ưu hóa và nén các mô hình học sâu (sử dụng TensorRT, ONNX Runtime hoặc TensorFlow Lite) để có thể triển khai chạy trực tiếp trên thiết bị di động (on-device inference), giảm thiểu sự phụ thuộc vào máy chủ và kết nối mạng.
  2. Mở rộng quy mô bộ dữ liệu đường phố Việt Nam với nhiều điều kiện thời tiết (mưa, sương mù, ban đêm) và đa dạng hóa các loại chướng ngại vật đặc thù trên vỉa hè.
  3. Tích hợp thêm các cảm biến có sẵn trên điện thoại di động (cảm biến con quay hồi chuyển, gia tốc kế) để bù trừ góc nghiêng camera và nâng cao độ chính xác khi ước lượng khoảng cách.

Giá trị tham khảo

Tài liệu khóa luận mang lại giá trị tham khảo hữu ích cho nhiều đối tượng nghiên cứu và kỹ thuật:

  • Sinh viên và nhà nghiên cứu ngành Khoa học Máy tính, Trí tuệ Nhân tạo, Thị giác Máy tính:
    • Khảo sát hệ thống và chi tiết về sự phát triển của các thuật toán phân đoạn ngữ nghĩa thời gian thực (từ FCN, U-Net, DeepLab đến BiSeNet, BiSeNetV2) và các mô hình phát hiện đối tượng (họ YOLO từ v1 đến v5).
    • Phương pháp kết hợp đa mô hình học sâu (Semantic Segmentation, Object Detection, Monocular Depth Estimation, NLP) để giải quyết một bài toán ứng dụng thực tế.
  • Kỹ sư phát triển phần mềm di động và hệ thống AI:
    • Tham khảo kiến trúc tích hợp hệ thống Client – Server xử lý dữ liệu đa phương thức (hình ảnh và âm thanh) qua RESTful API bằng thư viện Retrofit trên Android và backend Python.
    • Kỹ thuật xây dựng ứng dụng hỗ trợ người khuyết tật (Assistive Technology) sử dụng công nghệ nhận dạng và tổng hợp giọng nói tiếng Việt qua Google Speech API.
  • Các nhóm nghiên cứu dữ liệu giao thông đô thị:
    • Tham khảo quy trình thu thập, tiền xử lý và gán nhãn dữ liệu hình ảnh đường phố tại các đô thị Việt Nam.

Câu hỏi thường gặp

1. Khóa luận giải quyết bài toán nhận diện lề đường bằng mô hình học sâu nào và kiến trúc của mô hình đó có gì đặc biệt?

Khóa luận sử dụng mô hình BiSeNetV2 để giải quyết bài toán phân đoạn ngữ nghĩa thời gian thực. Kiến trúc của BiSeNetV2 gồm hai nhánh song song: Detail Branch (kênh nông, rộng để bảo toàn thông tin không gian cục bộ ở mức chi tiết) và Semantic Branch (kênh sâu, hẹp với các khối Stem, Gather-and-Expansion và Context Embedding để thu thập ngữ cảnh toàn cục). Hai nhánh được tổng hợp qua Bilateral Guided Aggregation Layer và được tăng cường độ chính xác trong giai đoạn huấn luyện nhờ các Segmentation Head thuộc phần Booster part.

2. Hệ thống thực hiện việc ước lượng khoảng cách và cảnh báo vật cản như thế nào khi chỉ dùng một camera đơn?

Hệ thống sử dụng các mô hình ước tính độ sâu đơn ảnh (Monocular Depth Estimation) như MiDaS-small và DPT-Hybrid kết hợp với mô hình phát hiện đối tượng YOLOv5. Mô hình tạo ra bản đồ độ sâu từ khung hình 2D; sau đó, hàm đánh giá vật cản trên server sẽ phân tích tọa độ bounding box và giá trị độ sâu tương ứng để xác định xem vật thể có đang ở khoảng cách nguy hiểm phía trước người dùng hay không để kích hoạt âm thanh cảnh báo va chạm.

3. Quy trình xử lý chức năng mô tả không gian theo câu hỏi giọng nói tiếng Việt diễn ra như thế nào?

Quy trình gồm 4 bước chính: (1) Ứng dụng Android ghi âm giọng nói và chuyển đổi thành văn bản qua Google Speech-to-Text; (2) Chuỗi văn bản được gửi lên server và phân loại bằng mô hình TF-IDF kết hợp thuật toán SVM để xác định vùng quan tâm (ví dụ: bên phải, bên trái, trước mặt); (3) Server đối chiếu với các đối tượng được YOLOv5 phát hiện tại vùng không gian tương ứng để tổng hợp câu mô tả bằng văn bản tiếng Việt; (4) Kết quả trả về cho điện thoại qua API và được chuyển thành giọng nói qua Google Text-to-Speech để phát cho người dùng.

4. Dữ liệu thực nghiệm của đề tài được thu thập ở đâu và các mô hình AI được đánh giá trên phần cứng nào?

Bộ dữ liệu hình ảnh đường phố phục vụ huấn luyện và kiểm thử được nhóm tác giả tự thu thập tại các địa điểm thực tế thuộc ba tỉnh/thành phố: TP. Hồ Chí Minh, Đà Nẵng và Khánh Hòa. Toàn bộ các mô hình học sâu (BiSeNetV2, YOLOv5, MiDaS-small, DPT-Hybrid) được thực nghiệm và đánh giá thời gian xử lý trên máy chủ trang bị card đồ họa NVIDIA GeForce RTX 2080 Ti.

5. Kết quả đánh giá khóa luận từ cán bộ hướng dẫn và hội đồng ra sao?

Báo cáo khóa luận gồm 86 trang, 5 chương, 9 bảng số liệu, 80 hình vẽ và 51 tài liệu tham khảo. Khóa luận được Hội đồng bảo vệ đánh giá hoàn thành tốt các mục tiêu đề ra và Cán bộ hướng dẫn (TS. Lê Minh Hưng) chấm điểm đánh giá đạt 9,5/10 cho cả hai sinh viên Huỳnh Đỗ Tấn Thành và Nguyễn Minh Trí.

Kết luận

Khóa luận tốt nghiệp "Ứng dụng trợ lý thị giác hỗ trợ người khiếm thị di chuyển trên đường dành cho người đi bộ" đã nghiên cứu và hiện thực hóa thành công một giải pháp công nghệ hỗ trợ di chuyển an toàn dựa trên thị giác máy tính và trí tuệ nhân tạo. Bằng việc kết hợp các mô hình học sâu hiện đại (BiSeNetV2, YOLOv5, MiDaS/DPT) cùng xử lý ngôn ngữ tự nhiên tiếng Việt và dịch vụ Google Speech API, hệ thống đã giải quyết hiệu quả bài toán cảnh báo đi sai làn đường, cảnh báo va chạm vật cản và mô tả không gian theo yêu cầu giọng nói. Đề tài được kiểm chứng thực nghiệm trên hạ tầng máy chủ GPU GeForce RTX 2080 Ti và thử nghiệm thực tế trên đường phố Việt Nam, mang lại giá trị học thuật rõ nét và tính ứng dụng thực tiễn cao cho cộng đồng người khiếm thị.