Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh giao thông hiện đại tại Việt Nam, sự gia tăng nhanh chóng của các phương tiện cơ giới kéo theo nguy cơ tai nạn giao thông xuất phát từ sự mất tập trung của người điều khiển phương tiện, bao gồm các hiện tượng xe lệch làn đường, tài xế ngủ gật hoặc không kịp thời xử lý khi có nguy cơ va chạm. Để giải quyết các nguy cơ này, hệ thống hỗ trợ lái xe nâng cao (Advanced Driver Assistance Systems - ADAS) đã được phát triển nhằm cung cấp các cảnh báo kịp thời, giảm thiểu tai nạn và nâng cao mức độ an toàn khi vận hành phương tiện.

Phần lớn các hệ thống ADAS thương mại hiện nay phụ thuộc vào các tổ hợp cảm biến phần cứng chuyên dụng (radar, lidar, cảm biến siêu âm), dẫn đến chi phí sản xuất và lắp đặt cao. Mặt khác, trong lĩnh vực thị giác máy tính, việc xử lý tuần tự từng tác vụ riêng lẻ thông qua các mô hình đơn nhiệm (như YOLO, Faster R-CNN cho phát hiện vật thể; UNet, PSPNet cho phân đoạn ngữ nghĩa; SCNN, ENet-SAD cho nhận diện làn đường) tạo ra độ trễ tính toán lớn, không đáp ứng được yêu cầu phản hồi tức thời của ADAS và không khả thi khi triển khai trên các hệ thống nhúng có tài nguyên hạn chế. Đồng thời, các phương pháp giám sát tài xế ngủ gật truyền thống dựa trên cảm biến sinh lý (như mũ đo sóng não EEG Emotiv EPOC) hoặc thiết bị cơ học (cảm biến rung Stopsleep, thiết bị kẹp tai theo dõi tư thế cổ LGI) bộc lộ nhiều bất cập: gây vướng víu khó chịu, suy giảm độ chính xác do mồ hôi, hoặc mất tác dụng khi tài xế nhắm mắt nhưng vẫn giữ thẳng cổ.

Từ các vấn đề thực tiễn trên, đề tài xác định mục tiêu và nhiệm vụ nghiên cứu cụ thể như sau:

  1. Mục tiêu nghiên cứu: Xây dựng hệ thống hỗ trợ lái xe tiên tiến ADAS dựa trên các giải thuật thị giác máy tính, cung cấp ba chức năng cốt lõi: cảnh báo lệch làn đường, cảnh báo va chạm với phương tiện phía trước và cảnh báo tài xế ngủ gật.
  2. Nhiệm vụ nghiên cứu:
    • Nghiên cứu và triển khai mô hình học sâu đa tác vụ (Multitask Learning) có khả năng đồng thời phát hiện phương tiện và phân đoạn làn đường trên cùng một luồng dữ liệu hình ảnh.
    • Xây dựng thuật toán xác định vị trí tương đối của xe so với tim làn đường và thuật toán ước lượng khoảng cách va chạm dựa trên tọa độ khung bao.
    • Nghiên cứu giải thuật phát hiện khuôn mặt và đánh dấu điểm mốc hình học (Facial Landmark) để tính toán tỷ lệ mở mắt và khoảng cách môi nhằm phát hiện trạng thái buồn ngủ theo thời gian thực mà không cần gắn thiết bị lên cơ thể tài xế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các thuật toán thị giác máy tính, mô hình học sâu tích chập đa nhiệm, kỹ thuật phân đoạn ảnh, thuật toán nhận diện khuôn mặt và ước lượng điểm mốc hình học.
  • Phạm vi và giới hạn kỹ thuật:
    • Chức năng cảnh báo lệch làn và va chạm: Dữ liệu đầu vào là video từ camera hành trình gắn chính giữa đầu xe ô tô 4 chỗ hoặc 5 chỗ, góc đặt gần vuông góc với mặt phẳng nằm ngang, độ phân giải cố định 1280x720 pixel; giả định độ rộng làn đường tiêu chuẩn đạt 3,5 m và độ rộng xe trung bình là 1,8 m; môi trường thực thi tính toán trên GPU của nền tảng Google Colab.
    • Chức năng cảnh báo ngủ gật: Dữ liệu đầu vào thu thập từ webcam máy tính hoặc video giám sát khuôn mặt tài xế; môi trường xử lý và thực thi trên CPU máy tính cá nhân.
    • Giới hạn triển khai: Đề tài tập trung xây dựng, kiểm thử và tối ưu hóa giải thuật phần mềm; không chế tạo mô hình phần cứng thương mại hoàn chỉnh trên xe thực tế.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống dựa trên sự kết hợp giữa các kiến trúc học sâu đa nhiệm hiện đại và các thuật toán thị giác máy tính truyền thống:

1. Khung lý thuyết và mô hình học sâu

  • Học đa nhiệm (Multitask Learning): Cơ chế chia sẻ thông số cứng (Hard Parameter Sharing) được áp dụng để chia sẻ các lớp ẩn giữa các nhánh tác vụ, buộc mô hình học các biểu diễn tổng quát, giảm thiểu hiện tượng quá khớp (overfitting) và tiết kiệm tài nguyên tính toán so với việc vận hành nhiều mô hình đơn nhiệm song song.
  • Mạng HybridNets: Kiến trúc nhận thức đầu-cuối (End-to-End Perception Network) gồm mạng trích xuất đặc trưng chung (Encoder) và hai đầu giải mã riêng biệt (Decoder) phục vụ đồng thời nhiệm vụ phát hiện đối tượng (Detection Head) và phân đoạn ngữ nghĩa (Segmentation Head).
    • Mạng xương sống (Backbone): Sử dụng mạng EfficientNet (cụ thể là EfficientNet-B3, mở rộng từ mạng cơ sở EfficientNet-B0 bằng phương pháp Compound Scaling cân bằng độ sâu, độ rộng và độ phân giải thông qua hệ số $\theta$).
    • Mạng cổ (Neck): Mạng kim tự tháp đặc trưng hai hướng BiFPN (Bidirectional Feature Pyramid Network) kế thừa từ EfficientDet, hỗ trợ tổng hợp đặc trưng đa tỷ lệ có trọng số theo cả hai chiều từ trên xuống và từ dưới lên.
    • Đầu phát hiện (Detection Head): Áp dụng cơ chế hộp neo (Anchor Box) trên lưới $S \times S$ để dự đoán tọa độ khung bao và lớp phương tiện.
    • Đầu phân đoạn (Segmentation Head): Hợp nhất các cấp bản đồ đặc trưng từ $P_2$ đến $P_7$ để xuất bản đồ xác suất phân loại 3 lớp: nền, vùng có thể lái xe và vạch kẻ làn đường.
    • Hàm mất mát: Tổng mất mát đa tác vụ $L_{total} = \alpha L_{det} + \beta L_{seg}$, trong đó $L_{det}$ bao gồm tổn thất phân loại tiêu điểm (Focal Loss) $L_{class}, L_{obj}$ và tổn thất hồi quy khung bao $L_{box}$ ($L_1$ loss).
  • Phát hiện khuôn mặt và cấu trúc hình học:
    • Thuật toán Haar Cascade và AdaBoost: Trích xuất các tập đặc trưng Haar-like (cạnh, đường, xung quanh tâm) thông qua biểu diễn ảnh tích phân (Integral Image) để phát hiện vùng chứa khuôn mặt (Face ROI).
    • Giải thuật Facial Landmark 68 điểm của Dlib: Xác định tọa độ 68 điểm mốc giải phẫu trên khuôn mặt người.
    • Chỉ số tỷ lệ khung hình mắt (Eye Aspect Ratio - EAR): Dựa trên mô hình toán học của Soukupova và Cech để theo dõi trạng thái nhắm/mở mắt qua công thức: $$EAR = \frac{||p_2 - p_6|| + ||p_3 - p_5||}{2||p_1 - p_4||}$$
    • Hàm khoảng cách môi (lip_distance): Tính khoảng cách thẳng đứng giữa điểm giữa môi trên và điểm giữa môi dưới nhằm phát hiện hành vi ngáp.

2. Phương pháp nghiên cứu thực tế

  • Phương pháp phân tích và so sánh mô hình: Khảo sát các thông số hiệu năng (mAP50, Recall, mIoU) của 4 kiến trúc đa nhiệm (HybridNets, YOLOP, MultiNet, DLT-Net) trên tập dữ liệu chuẩn BDD100K.
  • Phương pháp xử lý ảnh thực nghiệm: Thiết lập các bộ lọc nhị phân, giải thuật quét pixel cục bộ và chuyển đổi không gian ảnh sang khoảng cách thực tế.
  • Nguồn dữ liệu: Tập dữ liệu chuẩn quốc tế BDD100K dùng để huấn luyện/đánh giá mô hình học sâu; các video hành trình giao thông đường bộ trên Internet và luồng video ghi nhận trực tiếp từ webcam trong điều kiện chiếu sáng đa dạng.

Thiết kế và triển khai

Hệ thống ADAS được cấu trúc thành ba phân hệ xử lý độc lập nhưng đồng bộ về mặt chức năng:

                          [Video đầu vào (1280x720 / Webcam)]
[Mô-đun Lệch làn]                 [Mô-đun Va chạm]                 [Mô-đun Ngủ gật]
 (HybridNets Segmentation)         (HybridNets Detection)           (Haar Cascade + Dlib)
[Nhị phân vạch làn]               [Lọc Bounding Box xe]            [Trích xuất 68 điểm mốc]
[Tính tâm làn & vị trí xe]        [Xác định đáy Box > Hàng 530]    [Tính chỉ số EAR & Môi]
[Cảnh báo nếu lệch > 0.85m]       [Cảnh báo va chạm < 8m]          [Cảnh báo nếu EAR < 0.24]

1. Phân hệ cảnh báo lệch làn đường

  • Quy trình xử lý:
    1. Tiếp nhận khung hình: Đọc luồng video đầu vào chuẩn hóa kích thước 1280x720 pixel.
    2. Suy luận đa nhiệm: Khung hình đi qua mô hình HybridNets để trích xuất lớp phân đoạn vạch kẻ làn đường (màu xanh dương).
    3. Tách ngưỡng nhị phân: Áp dụng các thuật toán xử lý ảnh để chuyển đổi vùng vạch kẻ làn thành ảnh nhị phân.
    4. Xác định biên làn: Thuật toán quét ngang để xác định vị trí pixel biên trái (left_px) và pixel biên phải (right_px) của làn đường hiện tại.
    5. Tính toán tham số hình học:
      • Tọa độ tâm làn đường: center_lane = (left_px + right_px) / 2.
      • Tỷ lệ chuyển đổi pixel sang mét: m_per_px = 3.5 / (right_px - left_px) (dựa trên bề rộng tiêu chuẩn 3,5 m).
      • Độ lệch vị trí xe so với tim đường: veh_pos = (center_frame - center_lane) * m_per_px (với center_frame là trục giữa khung hình).
    6. Logic kích hoạt cảnh báo: Với độ rộng trung bình của ô tô là 1,8 m, khoảng cách an toàn cho phép từ tâm xe đến biên làn là $(3{,}5 - 1{,}8)/2 = 0{,}85\text{ m}$. Hệ thống phát cảnh báo lệch trái khi veh_pos < -0.85 m và cảnh báo lệch phải khi veh_pos > 0.85 m.

2. Phân hệ cảnh báo va chạm phía trước

  • Quy trình xử lý:
    1. Phát hiện phương tiện: Nhánh Detection Head của HybridNets xuất các khung bao chữ nhật (màu cam) bao quanh các phương tiện trên đường.
    2. Lọc đối tượng cùng làn: Tiến hành nhị phân hóa và xác định phương tiện đang di chuyển trực tiếp phía trước trong cùng làn xe chạy.
    3. Ước lượng khoảng cách an toàn: Quét tìm vị trí hàng pixel của cạnh đáy khung bao chữ nhật theo trục dọc chính giữa khung hình từ dưới lên.
    4. Ngưỡng cảnh báo: Qua khảo sát hình học camera cố định, khoảng cách an toàn tối thiểu 8 m giữa hai xe tương ứng với vị trí hàng thứ 530 của khung hình 1280x720. Nếu chỉ số hàng của cạnh đáy lớn hơn 530 (khoảng cách thực tế nhỏ hơn 8 m), tín hiệu cảnh báo nguy hiểm va chạm sẽ lập tức được kích hoạt.

3. Phân hệ cảnh báo tài xế ngủ gật

  • Quy trình xử lý:
    1. Thu nhận và tiền xử lý: Thu nhận khung hình từ camera giám sát khoang lái/webcam qua thư viện imutils và OpenCV, chuyển đổi ảnh màu sang không gian mức xám.
    2. Định vị khuôn mặt: Sử dụng bộ phân loại tầng Haar Cascade kết hợp thuật toán huấn luyện AdaBoost để trích xuất vùng quan tâm khuôn mặt (Face ROI).
    3. Trích xuất điểm mốc: Mô hình 68 Facial Landmarks của Dlib định vị chính xác 6 điểm mốc cho mỗi bên mắt ($p_1$ đến $p_6$) và các điểm mốc trên đường viền môi.
    4. Tính toán chỉ số trạng thái:
      • Tính giá trị trung bình tỷ lệ khung hình mắt $EAR$ của hai mắt.
      • Tính khoảng cách thẳng đứng giữa hai môi thông qua hàm lip_distance.
    5. Thuật toán ra quyết định:
      • Thiết lập ngưỡng mở mắt EYE_AR_THRESH = 0.24 và số khung hình liên tiếp EYE_AR_CONSEC_FRAMES = 30. Biến đếm COUNTER sẽ tăng dần khi $EAR < 0{,}24$; nếu COUNTER >= 30, cờ cảnh báo alarm_status1 chuyển sang trạng thái bật.
      • Thiết lập ngưỡng ngáp YAWN_THRESH; nếu lip_distance > YAWN_THRESH, cờ cảnh báo ngáp alarm_status2 được kích hoạt. Tín hiệu cảnh báo chỉ tắt khi tài xế mở mắt và khép miệng về trạng thái tỉnh táo.

Nội dung chính theo từng chương

CHƯƠNG 1: GIỚI THIỆU

Chương này phác thảo tổng quan bức tranh an toàn giao thông và sự cần thiết của hệ thống ADAS. Tác giả chỉ rõ hạn chế của các hệ thống ADAS dùng cảm biến đắt tiền và các nghiên cứu giám sát tài xế dựa trên sóng não EEG hay thiết bị đeo sinh lý. Từ đó, nhóm nghiên cứu xác định mục tiêu xây dựng giải pháp ADAS dựa trên thị giác máy tính với ba chức năng chính (lệch làn, va chạm, ngủ gật), đồng thời làm rõ các giới hạn kỹ thuật về độ phân giải video (1280x720), vị trí camera và môi trường thực thi thuật toán.

CHƯƠNG 2: CƠ SỞ LÝ THUYẾT

Tập trung trình bày cơ sở toán học và kiến trúc mô hình học sâu, thị giác máy tính:

  • Bản chất của học đa nhiệm (Multitask Learning), so sánh cơ chế chia sẻ thông số cứng (Hard Parameter Sharing) và mềm (Soft Parameter Sharing).
  • Kiến trúc mạng HybridNets: cơ chế mạng trích xuất đặc trưng EfficientNet-B0/B3, phương pháp mở rộng mạng Compound Scaling, mạng kim tự tháp đặc trưng hai chiều BiFPN từ EfficientDet, cơ chế Anchor Box và cấu trúc Segmentation Head trích xuất đặc trưng cấp $P_2$.
  • Cơ chế hàm mất mát tiêu điểm (Focal Loss) và mất mát $L_1$ cho phát hiện vật thể.
  • Cơ sở phát hiện khuôn mặt bằng đặc trưng Haar-like, ảnh tích phân (Integral Image), thuật toán tăng cường AdaBoost, cấu trúc phân tầng Haar Cascade và mô hình 68 điểm mốc Dlib cùng công thức tính tỷ lệ EAR.

CHƯƠNG 3: THIẾT KẾ HỆ THỐNG

Trình bày chi tiết các yêu cầu thiết kế và sơ đồ khối tổng thể. Tác giả tiến hành so sánh định lượng giữa các mô hình đa nhiệm trên tập dữ liệu BDD100K để đưa ra quyết định chọn lựa mạng HybridNets:

Mô hình mạng Phát hiện phương tiện (mAP50 / Recall) Phân đoạn khu vực lái (mIoU) Phân đoạn làn đường
HybridNets Vượt trội MultiNet, DLT-Net; nhỉnh hơn YOLOP 90,5% (cao hơn MultiNet, DLT-Net) Độ chính xác cao, ổn định đa thời tiết
YOLOP Thấp hơn HybridNets ở vật thể nhỏ 91,5% Kém hơn trong điều kiện thời tiết phức tạp
MultiNet Thấp hơn Kém hơn Không hỗ trợ
DLT-Net Thấp hơn Kém hơn Không có thông số đánh giá

Chương này cũng phân tích việc lựa chọn phương pháp Haar-like kết hợp AdaBoost (cho độ chính xác cao và xử lý thời gian thực so với LBP và HOG-SVM), đồng thời cụ thể hóa các thuật toán tính toán độ lệch làn qua hệ số m_per_px, xác định ngưỡng va chạm tại hàng pixel 530 và cấu hình các thông số ngưỡng ngủ gật (EYE_AR_THRESH = 0.24, EYE_AR_CONSEC_FRAMES = 30).

CHƯƠNG 4: KẾT QUẢ THỰC HIỆN VÀ ĐÁNH GIÁ

Trình bày kết quả thực nghiệm của từng phân hệ trên các tập dữ liệu video kiểm thử và webcam trong nhiều điều kiện vận hành khác nhau:

  • Cảnh báo lệch làn: Đánh giá qua các kịch bản ban ngày (lệch trái, lệch phải), ban đêm, đoạn đường có vạch mũi tên, ngã tư và vạch kẻ đường bị mờ.
  • Cảnh báo va chạm: Đánh giá khả năng nhận diện và cảnh báo phương tiện cùng làn trong điều kiện ban ngày và ban đêm.
  • Cảnh báo ngủ gật: Thực nghiệm qua các điều kiện chiếu sáng (đủ sáng, ngược sáng, thiếu sáng), góc nghiêng khuôn mặt (nghiêng 30 độ sang trái, 30 độ sang phải), khoảng cách lắp đặt camera và kiểm thử qua các video có sẵn.

CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

Tổng kết các kết quả đạt được về độ chính xác và tính khả thi của giải thuật; phân tích các mặt hạn chế khi vận hành trong điều kiện biên và vạch ra các định hướng nghiên cứu tiếp theo để hoàn thiện hệ thống trên phần cứng nhúng.

Kết quả và đóng góp

1. Kết quả thực nghiệm chính

Hệ thống được kiểm thử thực tế và đạt được các chỉ số hiệu năng cụ thể được ghi nhận trong văn bản:

  • Phân hệ cảnh báo lệch làn đường: Đạt độ chính xác tổng thể lên đến 93%, hoạt động ổn định trong các điều kiện thời tiết và môi trường ánh sáng khác nhau (ban ngày, ban đêm, đường có mũi tên chỉ hướng).
  • Phân hệ cảnh báo va chạm: Đạt độ chính xác tuyệt đối 100% trong các thử nghiệm nhận diện phương tiện cùng làn di chuyển vào vùng nguy hiểm (dưới ngưỡng 8 m tương ứng hàng pixel 530) ở cả điều kiện ban ngày và ban đêm.
  • Phân hệ cảnh báo tài xế ngủ gật:
    • Nhận diện chính xác khuôn mặt hướng trực diện vào camera và hỗ trợ góc nghiêng khuôn mặt lên đến 30 độ (sang trái hoặc sang phải).
    • Hoạt động hiệu quả ở khoảng cách từ camera đến tài xế dưới 1,2 m.
    • Đạt độ chính xác 100% trong môi trường có ánh sáng đầy đủ khi thực hiện nhận diện nhắm mắt liên tục 30 khung hình hoặc hành vi ngáp.

2. Đóng góp của đề tài

  • Ứng dụng thành công mô hình học sâu đa tác vụ HybridNets vào bài toán ADAS, cho phép giải quyết đồng thời bài toán phát hiện vật thể và phân đoạn làn đường trên cùng một mạng nơ-ron, giúp giảm đáng kể chi phí tính toán và độ trễ xử lý so với việc ghép nối các mô hình đơn nhiệm.
  • Đề xuất giải pháp thay thế các tổ hợp cảm biến đắt tiền trên xe ô tô bằng hệ thống thị giác máy tính chi phí thấp sử dụng dữ liệu từ camera hành trình đơn lẻ.
  • Xây dựng giải pháp giám sát trạng thái tài xế phi tiếp xúc (non-intrusive) dựa trên phân tích hình học mắt và miệng, khắc phục hoàn toàn nhược điểm gây khó chịu, hư hỏng cảm biến do mồ hôi hoặc sai lệch cử động của các thiết bị đeo tiếp xúc cơ thể.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế của đề tài

  • Phạm vi triển khai phần cứng: Đề tài chỉ tập trung phát triển và kiểm thử thuật toán trên môi trường máy tính (GPU Google Colab và CPU máy tính), chưa tích hợp và đóng gói hoàn chỉnh thành một thiết bị phần cứng nhúng độc lập hoạt động trên xe ô tô thực tế.
  • Điều kiện môi trường của phân hệ ngủ gật: Khả năng nhận diện khuôn mặt và điểm mốc bị suy giảm trong các điều kiện ánh sáng phức tạp như môi trường ngược sáng mạnh hoặc thiếu sáng nghiêm trọng; hệ thống không thể nhận diện chính xác khi góc nghiêng mặt vượt quá 30 độ hoặc khoảng cách đặt camera xa hơn 1,2 m.
  • Xử lý làn đường trong điều kiện biên: Phân hệ cảnh báo lệch làn gặp khó khăn tại các đoạn đường giao nhau (ngã tư), khu vực vạch kẻ đường bị mờ hoặc bị mất nét nghiêm trọng.

2. Hướng nghiên cứu tiếp

  • Tối ưu hóa giải thuật và nén mô hình để triển khai trực tiếp trên các vi xử lý, bo mạch nhúng chuyên dụng (embedded boards) có kích thước nhỏ gọn và tiêu thụ năng lượng thấp.
  • Bổ sung camera hồng ngoại hoặc cảm biến tầm nhiệt vào phân hệ giám sát tài xế để duy trì độ chính xác cao trong điều kiện lái xe ban đêm hoặc khoang lái thiếu sáng hoàn toàn.
  • Mở rộng tập dữ liệu huấn luyện với các kịch bản thời tiết cực đoan (mưa bão lớn, sương mù dày đặc) và các dạng địa hình đường sá phức tạp không có vạch phân làn chuẩn.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và ứng dụng thực tiễn dành cho:

  • Sinh viên và học viên chuyên ngành: Công nghệ Kỹ thuật Máy tính, Công nghệ Thông tin, Kỹ thuật Điều khiển và Tự động hóa, Kỹ thuật Ô tô hoặc Trí tuệ nhân tạo.
  • Các nhóm nghiên cứu về ADAS và Xe tự hành: Cung cấp tài liệu tham khảo chi tiết về cách thiết kế mạng học đa nhiệm (Multitask Learning với kiến trúc HybridNets, EfficientNet, BiFPN) để xử lý đồng thời nhiều tác vụ thị giác thời gian thực.
  • Nghiên cứu thị giác máy tính ứng dụng: Phần thiết kế phân hệ giám sát ngủ gật (Haar Cascade, AdaBoost, Dlib 68 landmarks, tính toán chỉ số EAR và khoảng cách môi) là tài liệu tham khảo thực tế cho các bài toán phân tích hành vi con người và nhận diện cử chỉ khuôn mặt phi tiếp xúc.

Câu hỏi thường gặp

1. Tại sao đồ án lựa chọn mạng đa tác vụ HybridNets thay vì chạy tuần tự các mô hình đơn nhiệm như YOLO và UNet?

Việc chạy tuần tự từng mô hình đơn nhiệm (YOLO cho phát hiện vật thể, UNet/SCNN cho phân đoạn làn đường) tạo ra tổng độ trễ tính toán rất lớn và tiêu tốn nhiều tài nguyên bộ nhớ, không đáp ứng được yêu cầu cảnh báo tức thời của ADAS và không khả thi trên thiết bị nhúng. Mạng HybridNets sử dụng chung một mạng xương sống (Backbone EfficientNet) và mạng cổ (BiFPN) để trích xuất đặc trưng một lần duy nhất, sau đó chia sẻ thông tin cho cả hai đầu phát hiện và phân đoạn, giúp tối ưu hóa tốc độ xử lý và nâng cao độ chính xác nhận diện vật thể nhỏ trên tập dữ liệu BDD100K.

2. Ngưỡng cảnh báo lệch làn đường được tính toán dựa trên các thông số hình học nào?

Thuật toán dựa trên bề rộng làn đường tiêu chuẩn là 3,5 m và bề rộng trung bình của xe ô tô (4–5 chỗ) là 1,8 m. Khoảng cách cho phép từ tâm xe đến biên mỗi bên làn đường là $(3{,}5 - 1{,}8)/2 = 0{,}85\text{ m}$. Dựa trên hệ số quy đổi pixel sang mét m_per_px = 3.5 / (right_px - left_px), hệ thống xác định độ lệch vị trí xe veh_pos = (center_frame - center_lane) * m_per_px. Nếu veh_pos < -0.85 m, hệ thống cảnh báo xe lệch trái; nếu veh_pos > 0.85 m, hệ thống cảnh báo xe lệch phải.

3. Phân hệ cảnh báo va chạm xác định khoảng cách nguy hiểm 8 mét bằng cách nào trên khung hình video?

Với khung hình đầu vào cố định 1280x720 pixel và camera hành trình đặt chính giữa đầu xe gần vuông góc với mặt đất, nhóm tác giả đã khảo sát và ánh xạ khoảng cách thực tế 8 m an toàn tối thiểu tương ứng với vị trí hàng pixel thứ 530 (tính từ trên xuống). Khi phương tiện cùng làn phía trước di chuyển lại gần, cạnh đáy của khung bao chữ nhật (bounding box) sẽ tụt xuống dưới; nếu vị trí hàng của pixel cạnh đáy lớn hơn 530, hệ thống xác định khoảng cách đã nhỏ hơn 8 m và phát tín hiệu cảnh báo nguy hiểm.

4. Tiêu chí xác định tài xế ngủ gật thông qua chỉ số EAR và chuyển động miệng được thiết lập như thế nào?

Hệ thống sử dụng tỷ lệ khung hình mắt $EAR = \frac{||p_2 - p_6|| + ||p_3 - p_5||}{2||p_1 - p_4||}$ từ 6 điểm mốc của Dlib. Trong thực nghiệm, ngưỡng mở mắt được đặt là EYE_AR_THRESH = 0.24. Nếu giá trị EAR giảm xuống dưới 0,24 liên tục trong 30 khung hình (EYE_AR_CONSEC_FRAMES = 30), hệ thống xác định tài xế đang nhắm mắt buồn ngủ. Đồng thời, hàm lip_distance đo khoảng cách giữa điểm giữa môi trên và môi dưới; nếu khoảng cách này vượt ngưỡng YAWN_THRESH, hệ thống sẽ kích hoạt cảnh báo ngáp.

5. Giới hạn hoạt động hiệu quả của hệ thống cảnh báo ngủ gật về góc quay và khoảng cách là bao nhiêu?

Hệ thống cảnh báo ngủ gật hoạt động chính xác khi khuôn mặt tài xế hướng trực diện hoặc nghiêng không quá 30 độ sang trái/phải, ở khoảng cách từ camera đến mặt tài xế dưới 1,2 m trong điều kiện môi trường có ánh sáng đầy đủ (đạt độ chính xác 100%). Hệ thống sẽ không thể nhận diện được nếu góc nghiêng vượt quá 30 độ, khoảng cách quá xa hoặc trong môi trường bị ngược sáng/thiếu sáng nghiêm trọng.

Kết luận

Đồ án tốt nghiệp "Ứng dụng thị giác máy tính vào hệ thống lái xe tiên tiến ADAS" đã nghiên cứu và ứng dụng thành công mô hình học sâu đa nhiệm HybridNets cùng các kỹ thuật phân tích điểm mốc hình học khuôn mặt để xây dựng trọn vẹn ba chức năng: cảnh báo lệch làn, cảnh báo va chạm và cảnh báo ngủ gật. Kết quả thực nghiệm cho thấy hệ thống đạt độ chính xác 93% đối với cảnh báo lệch làn, 100% đối với cảnh báo va chạm dưới 8 m và 100% đối với cảnh báo ngủ gật trong điều kiện đủ sáng. Mặc dù còn hạn chế do chưa triển khai trực tiếp trên phần cứng nhúng và còn nhạy cảm với điều kiện ánh sáng cực đoan, công trình đã đề xuất một giải pháp phần mềm thị giác máy tính khả thi, chi phí thấp nhằm nâng cao an toàn giao thông đường bộ.