Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Theo số liệu từ Tổ chức Y tế Thế giới (WHO) được trích dẫn trong luận án, toàn cầu có khoảng 2,2 tỷ người đang phải sống chung với các dạng suy giảm thị lực hoặc mù lòa, trong đó có ít nhất 1 tỷ người bị suy giảm thị lực chưa được can thiệp hoặc có thể phòng ngừa. Thị giác đóng vai trò căn bản đối với sự tương tác độc lập của con người với môi trường sống. Các bệnh lý về mắt và tật khúc xạ chưa được chỉnh kính là nguyên nhân chính dẫn đến suy giảm thị lực, và tỷ lệ này gia tăng đáng kể theo độ tuổi, kéo theo những trở ngại lớn trong di chuyển tự chủ và giao tiếp xã hội.

Để hỗ trợ người khiếm thị, nhiều nghiên cứu trước đây đã được triển khai nhưng chủ yếu tập trung vào hai nhiệm vụ: định hướng di chuyển (navigation) và tránh chướng ngại vật (obstacle avoidance). Khoảng trống nghiên cứu được tác giả xác định gồm các điểm chính sau:

  1. Thiếu sự chú trọng đến việc nhận thức thông tin ngữ cảnh môi trường (context-aware) và nhận diện các đối tượng xung quanh (mô tả đặc điểm đối tượng, màu sắc, biểu cảm, độ tuổi, giới tính của người đối diện).
  2. Các hệ thống hiện hành thường được xây dựng trên kiến trúc máy khách - máy chủ (client-server) dựa vào điện toán đám mây hoặc chạy trực tiếp trên máy tính xách tay (laptop). Mô hình đám mây đòi hỏi kết nối mạng liên tục và có độ trễ truyền dữ liệu; trong khi mô hình máy tính xách tay lại cồng kềnh, nặng nề, gây khó khăn cho người dùng khi phải mang theo trong quá trình di chuyển thời gian dài. Các thiết bị nhúng công suất thấp như Raspberry Pi khi xử lý các mô hình học sâu thì hiệu năng bị suy giảm đáng kể.
  3. Việc điều khiển và lựa chọn giữa nhiều chức năng xử lý học sâu phức tạp trên một thiết bị hỗ trợ di động chưa có quy trình tối ưu hóa dành riêng cho người khiếm thị.

Mục tiêu và câu hỏi nghiên cứu

Luận án hướng đến mục tiêu tổng quát là thiết kế, xây dựng và đánh giá thực nghiệm một hệ thống nhúng đa chức năng hoàn chỉnh, hoạt động độc lập (on-device) dựa trên các kỹ thuật học sâu (Deep Learning) để hỗ trợ khả năng nhận thức không gian và tương tác xã hội cho người khiếm thị.

Các mục tiêu cụ thể được triển khai gồm:

  1. Xây dựng kiến trúc hệ thống nhúng tích hợp phần cứng xử lý trung tâm (NVIDIA Jetson AGX Xavier) kết nối với các thiết bị ngoại vi phục vụ thu thập dữ liệu hình ảnh, xử lý và phản hồi âm thanh.
  2. Phát triển chức năng nhận diện khuôn mặt và phân loại cảm xúc người đối diện, kèm theo cơ chế đăng ký người mới mà không cần huấn luyện lại toàn bộ mô hình mạng nơ-ron.
  3. Tích hợp chức năng phân loại giới tính và ước lượng độ tuổi của người xuất hiện trong khung hình để bổ sung thông tin ngữ cảnh khi phát hiện người lạ.
  4. Xây dựng chức năng phát hiện đối tượng xung quanh với cơ chế sắp xếp bảng thứ tự ưu tiên kết quả mô tả (object order table), giúp chuyển đổi thông tin thị giác thành âm thanh xúc tích, dễ hiểu.
  5. Thiết lập quy trình chọn lựa chức năng thông qua thiết bị điều khiển cầm tay để giảm độ phức tạp thao tác cho người khiếm thị.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các thuật toán học sâu xử lý thị giác máy tính (nhận diện khuôn mặt, phân loại độ tuổi, giới tính, biểu cảm cảm xúc, phát hiện đối tượng), kiến trúc phần cứng nhúng AI và quy trình tương tác người - máy hỗ trợ người khiếm thị.
  • Phạm vi không gian và thực nghiệm: Hệ thống được thiết kế dưới dạng mẫu thử nghiệm phần cứng đeo/mang theo; các tuyến đường thực nghiệm thu thập và kiểm thử dữ liệu thực tế được tiến hành trong khuôn viên Đại học Phùng Giáp (Feng Chia University - FCU), Đài Trung, Đài Loan.
  • Phạm vi thời gian: Luận án được hoàn thành và bảo vệ vào tháng 1 năm 2021.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước

Luận án hệ thống hóa các công trình nghiên cứu liên quan theo 4 nhóm chính:

  1. Phương pháp dựa trên cảm biến (Sensor-based): Sử dụng cảm biến siêu âm, hồng ngoại, laser và đo khoảng cách. Tiêu biểu là thiết bị ALVU (Array of LiDars and Vibrotactile Units) của tác giả nhóm [39] sử dụng đai cảm biến khoảng cách và dây đai phản hồi xúc giác; gậy thông minh của Nada và cộng sự [61] dùng cặp cảm biến hồng ngoại nhận diện vật cản dưới 2 mét; hệ thống robot thông minh của Capi [10] chạy trên máy tính xách tay với hai chế độ hỗ trợ (assisting) và dẫn đường (guiding).
  2. Phương pháp dựa trên thị giác máy tính và điện toán di động:
    • Hệ thống trên điện thoại thông minh: Nghiên cứu của Tanveer và cộng sự [79] dùng định vị GPS và lệnh thoại; hệ thống GuideBeacon của Cheraghi và cộng sự [15] dùng bộ phát tín hiệu Bluetooth (beacons) trong nhà kết hợp ứng dụng di động.
    • Hệ thống nhận diện khuôn mặt: Nghiên cứu của nhóm [6] dùng thuật toán Local Binary Pattern Histogram (LBPH) trên điện thoại nhưng bị hạn chế chỉ nhận được một khuôn mặt mỗi khung hình; Chaudhry và Chandra [12] dùng bộ phân loại Cascade kết hợp LBPH gửi dữ liệu về máy chủ; nhóm [13] dùng hệ thống thiết bị đeo kết nối đám mây để nhận diện khuôn mặt, vật thể và văn bản. Về mô hình chạy trên máy tính xách tay, hệ thống DEEP-SEE FACE [60] kết hợp CNN và thị giác máy tính nhưng cồng kềnh; nghiên cứu [64] dùng cảm biến Kinect RGB-D kết hợp HOG, PCA, kNN nhưng cảm biến hồng ngoại ngoài trời hoạt động kém.
  3. Phân loại độ tuổi, giới tính và cảm xúc:
    • Mô hình mạng phần dư của mạng phần dư (RoR - Residual Networks of Residual Networks) của nhóm [88] phát triển từ ResNet [27] để phân loại độ tuổi và giới tính.
    • Các mô hình phân loại 6 trạng thái cảm xúc khuôn mặt cơ bản (tức giận, ghê tởm, sợ hãi, vui vẻ, buồn bã, ngạc nhiên): mô hình Supervised Scoring Ensemble (SSE) của nhóm [28] với 3 khối giám sát bổ trợ; cơ chế Island Loss của nhóm [9] nhằm giảm khoảng cách nội lớp và tăng khoảng cách giữa các tâm lớp; mô hình kết hợp (ensemble) của nhóm [8] tích hợp VGG13, VGG16 và ResNet; mạng không gian - thời gian tiến hóa của nhóm [89] kết hợp MSCNN và PHRNN; mạng AUDN [54] dùng trường tiếp nhận nhận biết đơn vị hành động khuôn mặt (AU) và máy Boltzmann giới hạn (RBM).
  4. Phát hiện đối tượng và định hướng đường đi: Nghiên cứu [82] phát hiện cửa, thang máy, tủ tài liệu kết hợp nhận diện văn bản; Ko và Kim [42] phát hiện mã QR trong nhà bằng điện thoại thông minh (bị giới hạn trong các tòa nhà có dán mã); Mekhalfi và cộng sự [58] kết hợp camera, IMU và cảm biến laser; nhóm [56] kết hợp radar sóng milimet (MMW) và cảm biến chiều sâu RGB-D cùng Mask R-CNN/SSD và thuật toán MeanShift; Khade và Dandawate [40] dùng Raspberry Pi; nhóm [37] dùng YOLOv3 kết hợp cảm biến khoảng cách; nhóm [80] dùng YOLOv1 trên máy tính xách tay phát cảnh báo qua tai nghe.

Khoảng trống luận án giải quyết

Luận án khắc phục nhược điểm phụ thuộc mạng của hệ thống đám mây, tính cồng kềnh của hệ thống chạy bằng máy tính xách tay và sự suy giảm hiệu năng của các vi mạch nhúng yếu (như Raspberry Pi). Bằng cách khai thác bo mạch nhúng hiệu năng cao NVIDIA Jetson AGX Xavier, luận án tích hợp đồng thời 3 nhóm chức năng học sâu (nhận diện khuôn mặt/cảm xúc, phân loại tuổi/giới tính, phát hiện đối tượng) vào một thiết bị duy nhất hoạt động theo thời gian thực (on-device).

Cơ sở lý thuyết và phương pháp nghiên cứu

Lý thuyết, khái niệm và kiến trúc sử dụng

Luận án xây dựng trên các nền tảng lý thuyết và kiến trúc mạng nơ-ron tích chập (CNN):

  • Nhận diện khuôn mặt: Kiến trúc mạng Inception-ResNet-v1 [77] và các nguyên lý trích xuất đặc trưng từ FaceNet [74], VGGFace [66], ArcFace [17].
  • Ước lượng độ tuổi và giới tính: Mạng SSR-Net (Soft Stagewise Regression Network) [86] với cấu trúc 3 giai đoạn ($K=3$), cùng các kiến trúc CNN chuyên biệt cho phân loại độ tuổi [44].
  • Nhận diện biểu cảm cảm xúc: Các mô hình CNN phân loại cảm xúc thời gian thực dựa trên 6 lớp cảm xúc cơ bản [4, 33].
  • Phát hiện đối tượng: Khung lý thuyết của các bộ phát hiện hai giai đoạn (Two-Stage Detectors) như dòng R-CNN [24] và các bộ phát hiện một giai đoạn (One-Stage Detectors) họ YOLO [70, 72].

Phương pháp nghiên cứu thực nghiệm

Luận án áp dụng phương pháp nghiên cứu thực nghiệm kỹ thuật định lượng:

  1. Thiết kế và tích hợp phần cứng: Ghép nối bộ xử lý nhúng NVIDIA Jetson AGX Xavier với các thiết bị ngoại vi gồm webcam thu nhận hình ảnh, bộ điều khiển từ xa Logitech, bộ chuyển đổi âm thanh Bluetooth và loa phát Bluetooth.
  2. Xây dựng giải thuật xử lý luồng dữ liệu:
    • Thuật toán lọc ảnh mờ (Filter Blurry Images).
    • Thuật toán căn chỉnh khuôn mặt (Face Alignment).
    • Giải thuật đăng ký người mới (Enrolling a New Person) trực tiếp bằng cách trích xuất và lưu trữ vector đặc trưng mà không cần huấn luyện lại toàn bộ mạng nơ-ron.
    • Giải thuật bảng sắp xếp thứ tự đối tượng (Object Order Table) nhằm tinh gọn chuỗi văn bản mô tả trước khi chuyển thành giọng nói qua bộ chuyển đổi Text-to-Speech (TTS).
  3. Thu thập tập dữ liệu: Kết hợp từ 3 nguồn:
    • Các tập dữ liệu chuẩn trong học máy.
    • Dữ liệu ảnh tĩnh và video thu thập từ trước.
    • Dữ liệu hình ảnh thu nhận thời gian thực trực tiếp từ webcam gắn trên hệ thống nhúng trong quá trình di chuyển tại 6 lộ trình (Routes 1-6) tại khuôn viên trường Đại học Phùng Giáp.
  4. Tiêu chí đánh giá định lượng: Sử dụng ma trận nhầm lẫn (Confusion Matrix), độ chính xác (Precision), độ bao phủ (Recall) và thời gian xử lý trung bình (Average Processing Time tính bằng mili-giây/giây) cho từng chức năng.

Nội dung chính theo từng chương

Chương 1: Giới thiệu (Introduction)

Chương này phân tích bối cảnh suy giảm thị lực toàn cầu dựa trên thống kê của WHO, nêu rõ các trở ngại trong đời sống thường nhật và khả năng tiếp cận công nghệ thông tin của người khiếm thị. Tác giả trình bày động lực nghiên cứu bắt nguồn từ các hạn chế của 3 hướng tiếp cận hiện hữu (dựa trên cảm biến, dựa trên thị giác máy tính và dựa trên điện thoại thông minh), đồng thời khái quát 5 nội dung chính của luận án và sơ đồ tổ chức văn bản.

Chương 2: Các nghiên cứu liên quan (Related Work)

Chương 2 tổng thuật toàn diện các công trình khoa học trong 4 lĩnh vực: nhận diện khuôn mặt (phân tích ưu nhược điểm của mô hình chạy trên đám mây và máy tính cá nhân), phân loại độ tuổi/giới tính/cảm xúc, các giải thuật phát hiện đối tượng hỗ trợ di chuyển (sử dụng radar MMW, Kinect, cảm biến mảng biến dạng DG, mạng nơ-ron phân vùng ngữ nghĩa), và các sản phẩm chăm sóc sức khỏe thông minh (smart healthcare) dành cho người khiếm thị.

Chương 3: Tổng quan hệ thống (System Overview)

Chương 3 trình bày kiến trúc tổng thể của hệ thống nhúng đa chức năng. Hệ thống lấy module NVIDIA Jetson AGX Xavier làm hạt nhân xử lý trung tâm, kết nối với webcam để thu hình ảnh khung cảnh hiện tại của người dùng. Tác giả đề xuất quy trình lựa chọn chức năng (Function Selection Process) thông qua các phím bấm trên thiết bị điều khiển từ xa Logitech, giúp người khiếm thị thao tác chuyển đổi giữa 3 chức năng chính một cách dễ dàng:

  • Chức năng 1: Nhận diện khuôn mặt và phân loại cảm xúc.
  • Chức năng 2: Phân loại giới tính và ước lượng độ tuổi.
  • Chức năng 3: Phát hiện đối tượng xung quanh. Chương này cũng phân tích thông số kỹ thuật chi tiết của dòng vi mạch NVIDIA Jetson và module Jetson AGX Xavier.

Chương 4: Chức năng nhận diện khuôn mặt (Face Recognition Function)

Chương 4 mô tả chi tiết quy trình nhận diện khuôn mặt gồm các bước:

  1. Thu thập tập dữ liệu từ video, ảnh tĩnh và tập dữ liệu chuẩn.
  2. Tiền xử lý hình ảnh và áp dụng giải thuật lọc ảnh mờ nhằm loại bỏ các khung hình kém chất lượng do rung lắc khi di chuyển.
  3. Căn chỉnh khuôn mặt và đưa vào mạng Inception-ResNet-v1 để trích xuất vector đặc trưng.
  4. Cơ chế đăng ký người mới (New Person Registration): khi hệ thống phát hiện khuôn mặt chưa có trong cơ sở dữ liệu, người dùng có thể thực hiện đăng ký danh tính mới trực tiếp mà không cần huấn luyện lại toàn bộ mô hình mạng.

Chương 5: Chức năng phân loại giới tính, độ tuổi và cảm xúc (Gender, Age and Emotion Classification Function)

Chương này trình bày các sơ đồ phân loại đặc điểm nhân khẩu học và trạng thái cảm xúc:

  • Phân loại giới tính (nam/nữ) và ước lượng nhóm tuổi sử dụng mô hình mạng nơ-ron tích chập kết hợp cấu trúc SSR-Net 3 giai đoạn ($K=3$).
  • Nhận diện 6 cảm xúc cơ bản của con người (tức giận, ghê tởm, sợ hãi, vui vẻ, buồn bã, ngạc nhiên) qua mô hình CNN tối ưu hóa cho thời gian thực. Chức năng này hỗ trợ đắc lực cho người khiếm thị khi tiếp xúc với người lạ, giúp nhận biết ngữ cảnh giao tiếp xã hội.

Chương 6: Chức năng phát hiện đối tượng (Object Detection Function)

Chương 6 khảo sát các sơ đồ phát hiện đối tượng thuộc hai nhóm (Two-Stage Detectors và One-Stage Detectors). Để giải quyết tình trạng có quá nhiều vật thể trong một khung hình làm cho câu mô tả âm thanh trở nên phức tạp và gây nhiễu loạn cho người nghe, tác giả thiết lập bảng sắp xếp thứ tự đối tượng (Object Order Table). Bảng này phân cấp mức độ ưu tiên của các loại đối tượng theo tình huống di chuyển thực tế, xuất ra mô tả ngắn gọn về tên loại đối tượng và số lượng tương ứng.

Chương 7: Mẫu thử nghiệm và cài đặt hệ thống (System Prototype and Implementation)

Chương 7 trình bày quá trình gia công, lắp ráp phần cứng mẫu thử nghiệm (prototype) và cấu hình phần mềm:

  • Thiết lập chương trình khởi động tự động (Startup Applications Preferences) trên hệ điều hành nhúng thông qua tập lệnh Shell Script.
  • Tích hợp các thiết bị phần cứng thực tế và tiến hành thu thập dữ liệu kiểm thử thực tế trên các tuyến đường được quy định tại khuôn viên Đại học Phùng Giáp (Routes 1-6).

Chương 8: Kết quả thực nghiệm (Experimental Results)

Chương 8 tổng hợp toàn bộ các kết quả kiểm thử định lượng trên hệ thống mẫu thử nghiệm:

  • Đánh giá độ chính xác (Precision), độ bao phủ (Recall) và ma trận nhầm lẫn của mô hình nhận diện khuôn mặt trên các tập dữ liệu chuẩn và tập dữ liệu tự thu thập.
  • Đánh giá phân bố giới tính, ma trận nhầm lẫn của mô hình phân loại giới tính và mô hình phân loại độ tuổi.
  • Đánh giá kết quả phân loại 6 lớp cảm xúc.
  • Thống kê 10 lớp đối tượng được phát hiện nhiều nhất (Top 10 Detected Object Classes) trên các tuyến đường thực nghiệm tại Đại học Phùng Giáp; tính toán độ chính xác và độ bao phủ của mô hình phát hiện đối tượng trên các tuyến Route 1-2 và Route 3-6.
  • Đánh giá thời gian xử lý trung bình (Average Processing Time) của từng chức năng trên bo mạch NVIDIA Jetson AGX Xavier.

Chương 9: Kết luận và hướng nghiên cứu tiếp (Conclusions and Future Work)

Chương cuối tóm tắt các kết quả đạt được về tính khả thi, độ tin cậy và tốc độ xử lý của hệ thống nhúng đa chức năng, đồng thời định hướng các bước cải tiến kỹ thuật trong tương lai.

Kết quả và những đóng góp mới

Những đóng góp mới của luận án

  1. Đóng góp về mặt kiến trúc hệ thống: Xây dựng thành công một hệ thống nhúng AI đa chức năng hoàn chỉnh, hoạt động độc lập trên module phần cứng NVIDIA Jetson AGX Xavier, giải quyết được bài toán cân bằng giữa hiệu năng tính toán học sâu thời gian thực và tính di động, loại bỏ sự phụ thuộc vào đường truyền mạng Internet của các hệ thống đám mây.
  2. Quy trình tương tác tối ưu cho người khiếm thị: Đề xuất quy trình chọn lựa chức năng đơn giản hóa thông qua bộ điều khiển cầm tay, giúp người khiếm thị dễ dàng kích hoạt các tác vụ thị giác máy tính mà không gặp rào cản thao tác phức tạp.
  3. Cơ chế đăng ký người mới linh hoạt: Phát triển giải thuật cho phép đăng ký bổ sung danh tính người mới trực tiếp vào cơ sở dữ liệu nhận diện khuôn mặt mà không cần thực hiện tái huấn luyện (retrain) toàn bộ mạng nơ-ron.
  4. Cơ chế mô tả ngữ cảnh tinh gọn: Đề xuất giải pháp sử dụng bảng thứ tự ưu tiên đối tượng (Object Order Table) trong khâu phát hiện vật thể, lọc bỏ thông tin thừa và cung cấp phản hồi âm thanh ngắn gọn, chính xác về tên và số lượng vật thể xung quanh.
  5. Cung cấp dữ liệu thực nghiệm thực tế: Bộ dữ liệu kiểm thử và kết quả đánh giá thực nghiệm đa dạng trên 6 tuyến đường thực tế tại khuôn viên Đại học Phùng Giáp chứng minh tính khả thi và độ tin cậy của hệ thống trong môi trường thực.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và nội dung được trình bày trong tài liệu:

  • Hạn chế: Hệ thống mẫu thử nghiệm được tích hợp từ các thiết bị phần cứng rời (module Xavier, webcam, bộ điều khiển Logitech, bộ phát và loa Bluetooth), cần tiếp tục tối ưu hóa về kích thước vật lý, mức tiêu thụ năng lượng và độ gọn nhẹ khi gắn trên cơ thể người dùng. Các kiểm thử định hướng và phát hiện đối tượng mới chỉ thực hiện giới hạn trong các tuyến đường thuộc khuôn viên trường đại học.
  • Hướng nghiên cứu tiếp: Cải tiến và tối ưu hóa thêm các kiến trúc mô hình học sâu để rút ngắn thời gian xử lý trung bình; thu gọn kích thước phần cứng của mẫu thử nghiệm; mở rộng phạm vi thực nghiệm ở nhiều môi trường giao thông và không gian công cộng phức tạp hơn.

Giá trị tham khảo

Luận án có giá trị tham khảo chuyên môn đối với:

  1. Nghiên cứu sinh và học viên ngành Khoa học Máy tính, Kỹ thuật Thông tin: Tham khảo phương pháp triển khai và tối ưu hóa các mô hình học sâu (Inception-ResNet-v1, SSR-Net, CNN cảm xúc, bộ phát hiện đối tượng) trên các nền tảng phần cứng nhúng biên (Edge AI) như NVIDIA Jetson.
  2. Kỹ sư phát triển hệ thống nhúng và IoT Y tế (Smart Healthcare): Tham khảo giải pháp tích hợp phần cứng đa ngoại vi, cơ chế tự động hóa khởi động bằng Shell Script và giải thuật đăng ký danh tính mới không cần huấn luyện lại toàn bộ mô hình.
  3. Các nhóm nghiên cứu công nghệ trợ lực (Assistive Technology): Tham khảo phương pháp thiết kế giao diện tương tác người - máy (HCI) phi thị giác, cách thức chuyển đổi dữ liệu thị giác phức tạp thành thông điệp âm thanh thông qua bảng sắp xếp mức độ ưu tiên ngữ cảnh.

Câu hỏi thường gặp

1. Hệ thống nhúng trong luận án sử dụng nền tảng phần cứng xử lý chính nào?

Hệ thống sử dụng module máy tính nhúng NVIDIA Jetson AGX Xavier Developer Kit làm bộ xử lý trung tâm, kết nối với webcam, bộ điều khiển từ xa Logitech, bộ chuyển đổi âm thanh Bluetooth và loa phát âm thanh Bluetooth.

2. Ba nhóm chức năng chính được hệ thống cung cấp cho người khiếm thị là gì?

  • Chức năng 1: Nhận diện khuôn mặt và phân loại cảm xúc (Face Recognition & Emotion Classification).
  • Chức năng 2: Phân loại giới tính và ước lượng độ tuổi (Gender & Age Classification).
  • Chức năng 3: Phát hiện đối tượng xung quanh (Object Detection).

3. Khi phát hiện một người lạ chưa từng xuất hiện trong cơ sở dữ liệu, hệ thống xử lý như thế nào?

Hệ thống có thể chuyển sang cung cấp thông tin ngữ cảnh về giới tính và độ tuổi của người đó (thông qua Chức năng 2), đồng thời kích hoạt giải thuật đăng ký danh tính mới (New Person Registration) trực tiếp vào bộ nhớ mà không cần phải huấn luyện lại toàn bộ mạng học sâu.

4. Bảng sắp xếp thứ tự đối tượng (Object Order Table) giải quyết vấn đề gì trong chức năng phát hiện vật thể?

Khi khung hình xuất hiện đồng thời nhiều vật thể, mô tả âm thanh trực tiếp sẽ rất dài và phức tạp. Bảng thứ tự ưu tiên đối tượng giúp lọc và sắp xếp các vật thể quan trọng theo tình huống, rút gọn kết quả thành thông điệp ngắn gồm tên loại đối tượng và số lượng tương ứng để chuyển thành giọng nói qua loa.

5. Dữ liệu thực tế để kiểm thử hệ thống mẫu thử nghiệm được thu thập ở đâu?

Dữ liệu thực tế được thu thập và đánh giá qua 6 lộ trình kiểm thử (Testing Routes 1-6) trong khuôn viên trường Đại học Phùng Giáp (Feng Chia University), Đài Trung, Đài Loan.

Kết luận

Luận án của tác giả Ngô Hữu Huy đã giải quyết thành công bài toán hỗ trợ nhận thức không gian và giao tiếp xã hội cho người khiếm thị bằng việc phát triển một hệ thống nhúng AI đa chức năng hoàn chỉnh trên nền tảng NVIDIA Jetson AGX Xavier. Công trình kết hợp hài hòa giữa các thuật toán học sâu thị giác máy tính (nhận diện khuôn mặt, biểu cảm, tuổi, giới tính, vật thể) với quy trình điều khiển đơn giản hóa và phản hồi âm thanh thông minh. Các kết quả thực nghiệm định lượng tại Đại học Phùng Giáp khẳng định tính khả thi, độ tin cậy và giá trị ứng dụng thực tiễn cao của hệ thống trong lĩnh vực công nghệ trợ lực và y tế thông minh.