Bối cảnh và vấn đề nghiên cứu

Tai nạn giao thông đường bộ là một thách thức nghiêm trọng tại Việt Nam cũng như nhiều quốc gia trên thế giới. Theo Báo cáo tổng kết tình hình an toàn giao thông Quốc gia năm 2020 của Bộ Giao thông vận tải Việt Nam, cả nước đã xảy ra 14.508 vụ tai nạn giao thông, làm 6.790 người tử vong, 4.984 người bị thương nặng và hơn 9.000 người bị thương nhẹ. Trong cơ cấu các vụ tai nạn, va chạm do tông vào đuôi xe phía trước chiếm tỷ lệ 30,8%, trở thành nguyên nhân hàng đầu gây thiệt hại về người và tài sản. Đồng thời, lực lượng chức năng đã xử phạt hơn 2,4 triệu trường hợp vi phạm quy định về tốc độ.

Tại Hoa Kỳ, số liệu từ Cục Quản lý An toàn Giao thông Đường cao tốc Quốc gia (NHTSA) chỉ ra rằng khoảng 40% số vụ tai nạn liên quan đến việc đâm vào đuôi xe do tài xế mất tập trung hoặc không duy trì khoảng cách an toàn; 25% do di chuyển lệch làn đường; 26% xuất phát từ vi phạm tốc độ và khoảng 7% do tài xế ngủ gật.

Mặc dù các hệ thống hỗ trợ người lái nâng cao (Advanced Driver Assistance Systems - ADAS) với các chức năng cảnh báo tiền va chạm, cảnh báo lệch làn, nhận diện biển báo và giám sát trạng thái tài xế đã xuất hiện trên thị trường, phần lớn các trang bị này chỉ có trên những dòng xe phân khúc cao cấp hoặc tầm trung đời mới. Nhằm giải quyết bài toán an toàn giao thông và mở rộng khả năng tiếp cận công nghệ cho các phương tiện ô tô con, xe gia đình và các dòng xe đời cũ với chi phí hợp lý, đề tài "Thiết kế hệ thống hỗ trợ người lái ứng dụng IoT/AI" được thực hiện.

Mục tiêu và nhiệm vụ nghiên cứu cụ thể của đề tài gồm:

  1. Nghiên cứu và xây dựng thuật toán nhận diện làn đường, phát hiện hiện tượng xe di chuyển lệch làn đường quy định để đưa ra cảnh báo.
  2. Xây dựng mô hình phát hiện vật cản, phương tiện phía trước, ước lượng khoảng cách và tính toán nguy cơ tiền va chạm.
  3. Nghiên cứu mô hình nhận diện các biển báo giao thông đường bộ liên quan đến giới hạn tốc độ.
  4. Xây dựng thuật toán phân tích trạng thái khuôn mặt để phát hiện và cảnh báo sớm tình trạng tài xế buồn ngủ, mệt mỏi.
  5. Thiết kế hệ thống phần cứng và phần mềm IoT nhằm thu thập dữ liệu, xử lý hình ảnh và phát tín hiệu cảnh báo trực quan qua màn hình cùng âm thanh.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Hành vi điều khiển phương tiện và trạng thái của người lái xe, tập trung ưu tiên vào nhóm tài xế mới lái trong môi trường giao thông phức tạp tại Việt Nam, đồng thời hỗ trợ tài xế có kinh nghiệm giảm bớt áp lực khi lái xe.
  • Phạm vi nghiên cứu: Hệ thống được nghiên cứu, thiết kế và thử nghiệm ứng dụng trên các dòng xe ô tô con và xe gia đình, tập trung vào 4 bài toán thị giác máy tính: giữ làn đường, cảnh báo va chạm, nhận diện biển báo tốc độ và giám sát người lái.

Cơ sở lý thuyết và phương pháp

Đề tài vận dụng các cơ sở lý thuyết về Trí tuệ nhân tạo (AI), Học máy (Machine Learning) và Học sâu (Deep Learning), trọng tâm là Mạng nơ-ron tích chập (Convolutional Neural Network - CNN):

  • Cấu trúc CNN: Bao gồm lớp tích chập (Convolutional Layer) với các bộ lọc (filter) trích xuất đặc trưng; hàm kích hoạt phi tuyến; lớp tổng hợp (Pooling Layer) thực hiện giảm mẫu (Downsampling) qua Max Pooling và Average Pooling; kỹ thuật tăng mẫu (Upsampling) qua Chuyển đổi tích chập (Transposed Convolution), Nội suy láng giềng gần (Nearest Neighbor Interpolation) và Nội suy song tuyến tính (Bilinear Interpolation); lớp kết nối đầy đủ (Fully Connected Layer) và kỹ thuật Dropout chống hiện tượng quá khớp (overfitting).
  • Mô hình và thuật toán thị giác máy tính: Khảo sát các kỹ thuật phân loại (Classification), định vị (Localization), phát hiện đối tượng (Object Detection), phân đoạn đối tượng (Object Segmentation) và học chuyển tiếp (Transfer Learning). Đề tài nghiên cứu sâu họ mô hình YOLO (từ YOLOv3, YOLOv4, YOLOv5 đến phiên bản YOLOv8 với các biến thể cho Object Detection, Instance Segmentation, Classification), so sánh với SSD, Faster R-CNN, RetinaNet.
  • Thuật toán theo dõi đối tượng (Object Tracking): Tìm hiểu các cơ chế SORT, DeepSORT, ByteTrack ứng dụng bộ lọc Kalman (Kalman filter) và thuật toán Hungarian.
  • Kỹ thuật ước lượng khoảng cách và an toàn: Khảo sát các kỹ thuật Stereo vision, Structured light, Optical flow, Monocular depth estimation, Single view metrology; xây dựng thuật toán tính khoảng cách an toàn và thời gian va chạm (Time-to-Collision).
  • Chuẩn giao tiếp phần cứng và phần mềm: Nghiên cứu giao tiếp UART, SPI, CAN-bus, cổng chẩn đoán OBD2, giao tiếp Socket và hệ quản trị cơ sở dữ liệu MySQL.

Phương pháp nghiên cứu thực tế gồm 8 bước:

  1. Xác định mục tiêu và phạm vi hệ thống ADAS dựa trên IoT/AI.
  2. Tìm hiểu, khảo sát công nghệ AI, kiến trúc mạng CNN/YOLO và các giao thức IoT.
  3. Thu thập và chuẩn hóa dữ liệu hình ảnh.
  4. Xây dựng và huấn luyện các mô hình AI trên nền tảng điện toán hiệu năng cao.
  5. Thiết kế và tích hợp phần cứng nhúng IoT.
  6. Đánh giá và kiểm tra thực nghiệm từng module trong môi trường mô phỏng.
  7. Tinh chỉnh, tối ưu hóa các siêu tham số và luồng truyền dữ liệu.
  8. Triển khai thử nghiệm thực tế trên xe ô tô trong nhiều điều kiện giao thông.

Nguồn dữ liệu sử dụng:

  • Tập dữ liệu công khai BDD100K (Berkeley DeepDrive) phục vụ huấn luyện mô hình phân đoạn vùng di chuyển (Drivable) và mô hình phát hiện vật cản/phương tiện (Obstacle).
  • Dữ liệu hình ảnh biển báo giao thông giới hạn tốc độ tại Việt Nam do nhóm tác giả tự thu thập và gán nhãn.
  • Dữ liệu video/hình ảnh khuôn mặt người lái trong cabin mô phỏng các trạng thái mắt và tư thế đầu.

Thiết kế và triển khai

Hệ thống được thiết kế theo cấu trúc module phân tán kết hợp giữa khối xử lý thị giác máy tính và khối nhúng điều khiển cảnh báo.

+-------------------------------------------------------------------+
|                        HỆ THỐNG PHẦN CỨNG                         |
|                                                                   |
|   [Camera phía trước]           [Camera trong cabin]              |
+-------------------------------------------------------------------+

Thiết kế phần cứng

  • Bộ xử lý trung tâm và nhúng: Sử dụng bo mạch Raspberry Pi 3 Model B+ đảm nhiệm việc tiếp nhận dữ liệu trạng thái, điều khiển giao diện hiển thị và phát tín hiệu cảnh báo âm thanh; máy tính xách tay cấu hình cao hỗ trợ GPU NVIDIA A100 dùng cho xử lý luồng AI thời gian thực và huấn luyện mô hình.
  • Cảm biến hình ảnh: Hệ thống camera kép gồm webcam hướng về phía trước kính lái (thu nhận làn đường, vật cản, biển báo) và camera gắn trong cabin xe (thu nhận khuôn mặt người lái).
  • Phân hệ cảnh báo: Màn hình LCD hiển thị cảnh báo đồ họa trực quan và loa tích hợp mạch khuếch đại âm thanh để phát âm thanh cảnh báo tức thì khi xuất hiện nguy cơ mất an toàn.

Thiết kế phần mềm và cơ sở dữ liệu

  • Hệ cơ sở dữ liệu MySQL: Thiết lập hai bảng dữ liệu trung gian gồm:
    • Bảng điều kiện giao thông: Lưu trữ trạng thái lệch làn, khoảng cách vật cản, thời gian va chạm dự kiến và giá trị biển báo tốc độ nhận diện được.
    • Bảng tình trạng tài xế: Lưu trữ chỉ số trạng thái mắt (mở, nhắm, nheo, chói) và hướng quay đầu của người lái.
  • Ngôn ngữ và môi trường lập trình: Sử dụng ngôn ngữ Python xây dựng toàn bộ pipeline xử lý từ trích xuất khung hình, tiền xử lý ảnh, suy luận mô hình AI (inference) đến lưu trữ dữ liệu và giao tiếp mạng.

Thuật toán xử lý chuyên biệt

  • Thuật toán LANE: Ứng dụng mô hình phân đoạn vùng di chuyển (Drivable Area Segmentation) nhằm xác định ranh giới làn đường hiện tại của xe, tính toán độ lệch tâm xe so với trục làn để đưa ra cảnh báo lệch làn khi xe có xu hướng lấn sang làn khác không an toàn.
  • Thuật toán OBSTACLE: Phát hiện các phương tiện và chướng ngại vật phía trước, áp dụng thuật toán Single-view Metrology để ước lượng khoảng cách dựa trên kích thước bounding box và tiêu cự camera, tính toán thời gian chạm va (Time-to-Collision) để kích hoạt cảnh báo tiền va chạm.
  • Thuật toán TRAFFIC SIGN: Phát hiện, phân loại biển báo tốc độ và lọc bỏ nhiễu; cập nhật giá trị biển báo hợp lệ gần nhất lên hệ thống hiển thị để người lái luôn nắm bắt được quy định tốc độ trên đoạn đường.
  • Thuật toán DRIVER STATE: Theo dõi tỉ lệ mở mắt và hướng xoay đầu; nếu phát hiện tài xế nhắm mắt quá ngưỡng thời gian quy định hoặc cúi gục đầu/quay đầu lệch góc an toàn, hệ thống lập tức kích hoạt chuông cảnh báo chống ngủ gật.

Nội dung chính theo từng chương

Chương 1: Giới thiệu tổng quan về đề tài

Chương 1 phân tích bức tranh toàn cảnh về an toàn giao thông đường bộ tại Việt Nam và trên thế giới thông qua các số liệu thống kê tai nạn năm 2020. Tác giả chỉ ra rằng các nguyên nhân chủ yếu dẫn đến tai nạn gồm đâm đuôi xe (30,8% tại Việt Nam, 40% tại Mỹ), lệch làn đường (25% tại Mỹ), chạy quá tốc độ và tài xế ngủ gật (7% tại Mỹ). Chương này xác định tính cấp thiết của việc phát triển một hệ thống ADAS đa tính năng có khả năng nâng cấp linh hoạt cho các dòng ô tô phổ thông và xe đời cũ, xác lập rõ mục tiêu, đối tượng nghiên cứu (người lái xe, ưu tiên tài xế mới) và phạm vi giới hạn trên dòng xe ô tô con/gia đình.

Chương 2: Cơ sở lý thuyết

Chương 2 trình bày có hệ thống các kiến thức nền tảng về thị giác máy tính và học sâu. Nội dung đi sâu phân tích cấu trúc mạng CNN, chức năng của các lớp Convolutional, Pooling (Max/Avg Pooling), các kỹ thuật Upsampling (Transposed Convolution, Bilinear/Nearest Neighbor Interpolation), lớp Fully Connected và kỹ thuật Dropout. Chương này cũng phân loại các bài toán nhận dạng đối tượng (Classification, Localization, Detection, Segmentation), so sánh chi tiết các thuật toán phát hiện đối tượng (YOLOv3, YOLOv4, YOLOv5, YOLOv8, SSD, Faster R-CNN, RetinaNet) và theo dõi đối tượng (SORT, DeepSORT, ByteTrack). Đồng thời, tác giả khảo sát các kỹ thuật ước lượng khoảng cách (Monocular, Stereo, Optical flow), chuẩn giao tiếp phần cứng (UART, SPI, CAN, OBD2) và mô hình kiến trúc YOLOv8.

Chương 3: Thiết kế và thuật toán

Chương 3 tập trung vào thiết kế kiến trúc hệ thống và xây dựng lưu đồ thuật toán chi tiết. Tác giả thiết kế cấu trúc cơ sở dữ liệu MySQL làm cầu nối chia sẻ dữ liệu giữa khối xử lý máy tính và khối nhúng. Chương này mô tả chi tiết 4 thuật toán xử lý dữ liệu lõi:

  1. Thuật toán xử lý lệch làn đường (LANE).
  2. Thuật toán xử lý cảnh báo tiền va chạm (OBSTACLE).
  3. Thuật toán xử lý và lưu trữ tín hiệu biển báo giới hạn tốc độ (TRAFFIC SIGN).
  4. Thuật toán phân tích trạng thái tài xế (DRIVER STATE).

Đồng thời, chương 3 hoàn thiện thiết kế giao diện đồ họa hiển thị trên màn hình LCD và thuật toán phát âm thanh cảnh báo điều khiển từ bo mạch Raspberry Pi 3 Model B+.

Chương 4: Huấn luyện mô hình

Chương 4 mô tả toàn bộ quy trình chuẩn bị dữ liệu, tiền xử lý và huấn luyện 3 mô hình học sâu chính sử dụng phần cứng GPU NVIDIA A100:

  • Mô hình Drivable (phục vụ cảnh báo lệch làn): Chuẩn hóa dữ liệu từ tập BDD100k theo định dạng YOLOv8-seg, thực hiện trực quan hóa, theo dõi quá trình huấn luyện qua các epoch, ghi nhận trọng số tốt nhất và đánh giá qua ma trận nhầm lẫn (Confusion Matrix, Confusion Matrix Normalized).
  • Mô hình Obstacle (phục vụ cảnh báo tiền va chạm): Chuẩn hóa tập dữ liệu BDD100k theo định dạng YOLO Object Detection, thống kê phân bố kích thước vật thể và huấn luyện mô hình phát hiện phương tiện.
  • Mô hình Traffic Sign: Xử lý tập dữ liệu biển báo tốc độ, gán nhãn, huấn luyện và đánh giá độ chính xác qua ma trận nhầm lẫn trên các ảnh dự đoán kiểm thử.

Chương 5: Kết quả thực nghiệm và đánh giá

Chương 5 ghi lại kết quả thử nghiệm thực tế của từng phân hệ và toàn bộ hệ thống trên phương tiện trong nhiều kịch bản giao thông thực tế:

  • Mô hình nhận diện làn đường: Kiểm thử thành công trong điều kiện đường rõ vạch kẻ, thời tiết mưa vừa (mặt đường bóng nước, cần gạt nước hoạt động tốc độ trung bình), mưa lớn (cần gạt nước tốc độ cao, mất vạch kẻ đường), điều kiện ban đêm, thiếu sáng và đoạn đường giao nhau phức tạp.
  • Mô hình nhận diện phương tiện/vật cản: Hoạt động chính xác trong điều kiện trời âm u, mưa lớn, ban đêm, đường đông đúc và đường cao tốc.
  • Mô hình nhận diện biển báo tốc độ: Đánh giá khả năng nhận diện ở khoảng cách gần, khoảng cách xa, biển báo trên cao, điều kiện ngược sáng, trời mưa và phân tích các trường hợp nhận diện nhầm lẫn.
  • Mô hình giám sát tài xế: Kiểm thử chính xác các trạng thái mở mắt, nhắm mắt, nheo mắt, đeo kính bị bóng sáng/chói sáng, nghiêng đầu sang trái/phải, ngửa đầu và cúi đầu.
  • Đánh giá toàn hệ thống: Thử nghiệm tích hợp chạy video thực tế trên laptop truyền dữ liệu sang bo mạch Raspberry Pi 3 Model B+, đánh giá độ trễ và độ ổn định của giao diện hiển thị LCD và loa cảnh báo.

Chương 6: Kết luận và hướng phát triển

Chương 6 tóm tắt các kết quả đạt được về mặt thiết kế phần cứng, giải thuật phần mềm và hiệu quả thực nghiệm của hệ thống. Tác giả cũng chỉ ra các mặt hạn chế còn tồn tại và đề xuất phương hướng nâng cấp hệ thống trong tương lai.

Chương 7: Tài liệu tham khảo

Liệt kê các sách chuyên ngành và tài liệu nghiên cứu làm cơ sở cho đề tài, tiêu biểu như "Advanced Driver Assistance Systems (ADAS) for Safe and Efficient Driving" (Hua Chen & Shuang Zhao) và "Driver Assistance Systems: From Basic to Advanced Technologies" (Reza Langari & Jason Bakos), cùng các bài báo khoa học về thị giác máy tính và họ mô hình YOLO.

Kết quả và đóng góp

Kết quả thực nghiệm chính

Đồ án đã chế tạo thành công mẫu thử nghiệm hệ thống hỗ trợ người lái tích hợp IoT/AI hoàn chỉnh, kiểm nghiệm thực tế qua 4 phân hệ chức năng:

Phân hệ chức năng Mô hình / Thuật toán cốt lõi Nền tảng thực thi Kịch bản / Điều kiện kiểm nghiệm thực tế
Cảnh báo lệch làn đường (LANE) YOLOv8-seg (Drivable Area) GPU / Python Đường rõ vạch kẻ, đường thiếu sáng/ban đêm, trời mưa vừa và lớn có cần gạt nước, mặt đường bóng nước, đường mất vạch kẻ
Cảnh báo tiền va chạm (OBSTACLE) YOLOv8 Object Detection & Ước lượng khoảng cách GPU / Python Giao thông đô thị đông đúc, đường cao tốc, trời âm u, mưa lớn, điều kiện ban đêm thiếu sáng
Nhận diện biển báo tốc độ (TRAFFIC SIGN) YOLOv8 Object Detection & Thuật toán lọc lưu trữ GPU / Python Khoảng cách gần/xa, biển báo treo trên cao, điều kiện ngược sáng chói, trời mưa
Giám sát tài xế (DRIVER STATE) Phân tích thị giác vùng mặt, mắt và góc quay đầu GPU / Python Mắt bình thường, nhắm mắt, nheo mắt, đeo kính chói sáng, nghiêng đầu trái/phải, ngửa đầu, cúi đầu
Hiển thị & Cảnh báo trung tâm Cơ sở dữ liệu MySQL, Giao diện LCD & Loa cảnh báo Raspberry Pi 3 Model B+ Đồng bộ thời gian thực dữ liệu điều kiện giao thông và trạng thái tài xế, phát cảnh báo đồ họa và âm thanh

Giải pháp và đóng góp của đề tài

  • Giải pháp kỹ thuật: Đề xuất mô hình hệ thống ADAS độc lập, chi phí thấp, có thể lắp đặt dạng module nâng cấp (retrofit) cho hầu hết các phương tiện ô tô cũ hoặc xe phổ thông đang lưu hành mà không cần can thiệp vào hệ thống điều khiển nguyên bản của nhà sản xuất.
  • Đóng góp học thuật và ứng dụng:
    • Ứng dụng thành công kiến trúc mạng YOLOv8 tiên tiến nhất tại thời điểm nghiên cứu cho đồng thời hai tác vụ Object Detection và Instance Segmentation trong bài toán giao thông.
    • Chuẩn hóa và gán nhãn thành công tập dữ liệu hình ảnh biển báo giao thông đặc thù tại Việt Nam phục vụ huấn luyện mô hình.
    • Xây dựng cơ chế liên lạc dữ liệu thời gian thực giữa khối xử lý máy tính AI và phần cứng nhúng Raspberry Pi thông qua cấu trúc bảng MySQL phân tán.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

  • Quá trình xử lý các mô hình học sâu đa nhiệm (LANE, OBSTACLE, TRAFFIC SIGN, DRIVER STATE) đòi hỏi năng lực tính toán lớn, hiện tại vẫn cần sự hỗ trợ của phần cứng máy tính/GPU rời hiệu năng cao để đảm bảo tốc độ xử lý thời gian thực, chưa thể chạy độc lập hoàn toàn trên bo mạch nhúng Raspberry Pi 3 Model B+.
  • Trong các điều kiện thời tiết cực đoan (mưa bão rất lớn làm mờ tầm nhìn camera, mặt đường bị mất hoàn toàn vạch kẻ hoặc biển báo bị che khuất một phần lớn), độ chính xác dự đoán của mô hình bị suy giảm cục bộ.

Hướng nghiên cứu và phát triển tiếp theo

  • Thực hiện tối ưu hóa, nén và lượng tử hóa mô hình Deep Learning (sử dụng TensorRT, ONNX Runtime hoặc TFLite) nhằm triển khai toàn bộ hệ sinh thái thuật toán lên các vi xử lý chuyên dụng biên (Edge AI) nhỏ gọn như dòng NVIDIA Jetson.
  • Mở rộng giao tiếp trực tiếp với mạng truyền thông nội bộ của xe thông qua cổng OBD2/CAN-bus để thu thập chính xác tín hiệu tốc độ xe thực tế, góc xoay vô lăng và trạng thái chân phanh, giúp thuật toán cảnh báo tiền va chạm đạt độ chuẩn xác cao hơn.
  • Mở rộng tập dữ liệu huấn luyện để nhận diện thêm nhiều nhóm biển báo nguy hiểm, biển báo hiệu lệnh khác trong hệ thống giao thông đường bộ Việt Nam.

Giá trị tham khảo

Tài liệu đồ án tốt nghiệp này mang lại giá trị học thuật và thực tiễn cao cho:

  • Đối tượng tham khảo: Sinh viên, học viên cao học và kỹ sư thuộc các chuyên ngành Công nghệ Kỹ thuật Cơ điện tử, Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Robot, Khoa học Máy tính và Công nghệ Thông tin đang nghiên cứu về xe tự hành, hệ thống ADAS hoặc các ứng dụng Edge AI.
  • Các nội dung nổi bật đáng tham khảo:
    • Chương 2 và Chương 3: Cung cấp bức tranh hệ thống hóa chi tiết về các kỹ thuật trong CNN (từ Downsampling, Upsampling đến Transposed Convolution), cơ chế hoạt động của họ mô hình YOLO (đặc biệt là YOLOv8) và phương pháp xây dựng lưu đồ xử lý thị giác máy tính cho bài toán ADAS.
    • Chương 4: Hướng dẫn quy trình chuẩn bị, chuẩn hóa dữ liệu từ tập BDD100k và quy trình huấn luyện thực tế trên hạ tầng GPU A100.
    • Chương 5: Cung cấp hệ thống các trường hợp kiểm thử thực tế phong phú (các điều kiện thời tiết khắc nghiệt, mưa gió, ban đêm, tài xế đeo kính chói sáng), là nguồn tài liệu hữu ích cho việc kiểm thử các mô hình thị giác trong môi trường tự nhiên.

Câu hỏi thường gặp

1. Đồ án sử dụng những tập dữ liệu nào để huấn luyện các mô hình AI?
Tác giả sử dụng tập dữ liệu chuẩn BDD100k (Berkeley DeepDrive) để huấn luyện mô hình phân đoạn vùng di chuyển (Drivable) phục vụ nhận diện làn đường và mô hình phát hiện vật cản (Obstacle). Đối với bài toán nhận diện biển báo giới hạn tốc độ và giám sát tài xế, nhóm nghiên cứu sử dụng tập dữ liệu hình ảnh được thu thập và gán nhãn thực tế theo điều kiện giao thông tại Việt Nam.

2. Cấu hình phần cứng thực nghiệm của hệ thống bao gồm các thành phần nào?
Hệ thống gồm máy tính xách tay trang bị GPU NVIDIA A100 đảm nhiệm việc huấn luyện và xử lý các luồng mô hình AI; một bo mạch nhúng Raspberry Pi 3 Model B+ đóng vai trò điều khiển hiển thị và cảnh báo; 2 camera/webcam (một hướng trước xe, một hướng vào cabin); màn hình LCD hiển thị giao diện đồ họa và loa tích hợp mạch khuếch đại âm thanh để phát cảnh báo.

3. Phân hệ nhận diện làn đường và phân hệ phát hiện vật cản ứng dụng mô hình cụ thể nào của YOLO?
Phân hệ nhận diện làn đường sử dụng mô hình phân đoạn đối tượng YOLOv8-seg (Instance Segmentation) để nhận diện vùng mặt đường có thể lái (Drivable area). Phân hệ phát hiện vật cản/tiền va chạm sử dụng mô hình YOLOv8 Object Detection kết hợp thuật toán ước lượng khoảng cách dựa trên hình ảnh đơn camera (Monocular/Single-view Metrology).

4. Dữ liệu trạng thái được đồng bộ giữa khối máy tính xử lý AI và bo mạch Raspberry Pi thông qua phương thức nào?
Hệ thống sử dụng hệ quản trị cơ sở dữ liệu MySQL làm trung gian liên lạc. Khối xử lý AI sau khi phân tích hình ảnh sẽ liên tục cập nhật dữ liệu vào hai bảng: Bảng điều kiện giao thông (lệch làn, vật cản, biển báo) và Bảng tình trạng tài xế. Bo mạch Raspberry Pi 3 Model B+ truy vấn các bảng này theo thời gian thực để cập nhật lên màn hình LCD và kích hoạt loa cảnh báo.

5. Mô hình giám sát tài xế đã được kiểm thử với những trạng thái khuôn mặt cụ thể nào?
Mô hình đã được thử nghiệm thực tế với hàng loạt trạng thái: mở mắt bình thường, nhắm mắt, nheo mắt, mắt kính bị bóng sáng/chói sáng, nghiêng đầu sang trái, nghiêng đầu sang phải, ngửa đầu lên trên và cúi đầu xuống dưới.

Kết luận

Đồ án tốt nghiệp "Thiết kế hệ thống hỗ trợ người lái ứng dụng IoT/AI" của sinh viên Nguyễn Ngọc Hiếu và Nguyễn Minh Cường (Trường Đại học Sư phạm Kỹ thuật TP.HCM) đã hoàn thành trọn vẹn mục tiêu nghiên cứu và chế tạo thành công một hệ thống ADAS đa chức năng. Bằng việc tích hợp kiến trúc mạng YOLOv8 hiện đại cùng phần cứng nhúng Raspberry Pi 3 Model B+ và cơ sở dữ liệu MySQL, hệ thống đã giải quyết đồng thời 4 bài toán: cảnh báo lệch làn, cảnh báo tiền va chạm, nhận diện biển báo tốc độ và giám sát trạng thái tài xế. Kết quả thực nghiệm đa dạng khẳng định tính khả thi của giải pháp trong việc nâng cao an toàn giao thông, mở ra tiềm năng trang bị các tính năng hỗ trợ lái xe tiên tiến cho các dòng xe phổ thông và xe cũ tại Việt Nam.