Tổng quan nghiên cứu

Tai nạn giao thông đường bộ từ lâu đã trở thành vấn nạn nhức nhối đối với xã hội, để lại những thiệt hại nặng nề về sinh mạng và kinh tế. Thống kê từ Ủy ban An toàn Giao thông Quốc gia cho thấy chỉ riêng trong quý I năm 2018, cả nước đã xảy ra gần 5.000 vụ tai nạn giao thông, cướp đi sinh mạng của 2.149 người và làm bị thương hàng ngàn nạn nhân khác. Trong suốt nhiều năm liền, số lượng người tử vong do tai nạn giao thông tại Việt Nam chưa bao giờ thấp hơn con số 8.000 người mỗi năm, điển hình là cột mốc 8.279 người chết và hơn 17.000 người bị thương được ghi nhận trong một năm khảo sát. Trên phạm vi toàn cầu, Cục An toàn Giao thông Đường bộ Mỹ (NHTSA) chỉ ra rằng tình trạng tài xế ngủ gật là nguyên nhân trực tiếp dẫn tới hơn 100.000 vụ va chạm xe cộ và trên 1.500 ca tử vong mỗi năm. Tình trạng này chiếm khoảng 10% đến 15% tổng số các vụ tai nạn giao thông và lên tới 30% đối với các chuyến xe đường dài, xe khách, xe tải di chuyển liên tục từ 12 đến 14 giờ mỗi ngày.

Xuất phát từ thực trạng cấp bách đó, luận văn tập trung giải quyết bài toán phát hiện sớm và cảnh báo kịp thời trạng thái mất tỉnh táo của người điều khiển phương tiện bằng kỹ thuật thị giác máy tính và mạng nơ-ron học sâu. Mục tiêu cốt lõi của nghiên cứu là thiết kế, chế tạo hoàn chỉnh một thiết bị nhúng độc lập sử dụng máy tính nhúng Raspberry Pi 3 Model B+ kết hợp bo mạch điều khiển Arduino Nano, có khả năng theo dõi liên tục biểu hiện khuôn mặt, trích xuất vùng mắt và phân tích chu kỳ nhắm mở mắt của tài xế theo thời gian thực. Phạm vi thực nghiệm của đề tài được triển khai trong điều kiện ánh sáng ban ngày, với cự ly đặt camera cách tài xế dưới 100 cm. Nghiên cứu mang ý nghĩa thực tiễn to lớn khi cung cấp giải pháp cảnh báo chủ động bằng âm thanh, giọng nói và đèn LED với độ trễ dưới 500 mili-giây, góp phần giảm thiểu đến 30% nguy cơ tai nạn giao thông do ngủ gật gây ra trên các tuyến vận tải đường dài.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Hệ thống được xây dựng dựa trên nền tảng kết hợp giữa các mô hình thị giác máy tính truyền thống và mạng nơ-ron nhân tạo:

  1. Phương pháp mô tả đặc trưng HOG (Histogram of Oriented Gradients) kết hợp Support Vector Machine (SVM): Kỹ thuật này trích xuất thông tin về hình dáng và cấu trúc biên cạnh của khuôn mặt dựa trên sự phân bố của các hướng đạo hàm cường độ sáng. Không gian hướng gradient được chia thành 9 vùng giá trị (unsigned-HOG với 9 bins) để tạo ra các vector đặc trưng có tính bất biến cao trước biến động ánh sáng. Bộ phân lớp siêu mặt phẳng SVM tuyến tính được tối ưu hóa theo quy tắc tối đa hóa lề phân cách (margin) nhằm phân loại chính xác vùng khuôn mặt người từ ảnh đầu vào.
  2. Mô hình định vị 68 điểm đặc trưng khuôn mặt (Facial Landmark 68) và tỷ lệ Eye Aspect Ratio (EAR): Cấu trúc khuôn mặt được số hóa thành 68 điểm tọa độ không gian 2D bao gồm mắt, mũi, miệng, lông mày và khung hàm. Trạng thái đóng mở của từng mắt được tính toán thông qua 6 điểm mốc hình học (từ điểm thứ 1 đến điểm thứ 6 trên vùng mắt) theo công thức toán học xác định khoảng cách tương đối giữa mí mắt trên và mí mắt dưới so với chiều dài khóe mắt:

$$\text{EAR} = \frac{|p_2 - p_6| + |p_3 - p_5|}{2|p_1 - p_4|}$$

  1. Mạng nơ-ron nhân tạo truyền thẳng nhiều lớp (Multi-Layer Perceptron - MLP): Mạng được thiết kế với cơ chế học có giám sát và thuật toán lan truyền ngược (Backpropagation) để phân loại chuỗi dữ liệu thời gian của chỉ số EAR. Các hàm kích hoạt phi tuyến tính như Sigmoid và hàm ngưỡng được tích hợp để mô hình hóa trạng thái buồn ngủ từ chuỗi dữ liệu đầu vào.

Phương pháp nghiên cứu

  • Cỡ mẫu và nguồn dữ liệu: Tập dữ liệu nghiên cứu bao gồm hàng ngàn mẫu vector đặc trưng EAR được thu thập từ các phiên ghi hình thực tế của tài xế trong buồng lái mô phỏng. Dữ liệu đầu vào cho mô hình phân loại là chuỗi 90 khung hình liên tục (tương đương cửa sổ thời gian quan sát từ 3 đến 5 giây), cho phép hệ thống phân biệt rành mạch giữa hiện tượng chớp mắt sinh lý tự nhiên và trạng thái ngủ gật kéo dài.
  • Phương pháp chọn mẫu: Nghiên cứu áp dụng phương pháp chọn mẫu có chủ đích kết hợp phân tầng thực nghiệm. Mẫu được ghi nhận ở nhiều góc quan sát khác nhau, dao động từ khoảng cách gần 50 cm đến khoảng cách xa 100 cm, với các tư thế ngồi thẳng, nghiêng nhẹ và điều kiện góc nhìn trực diện nhằm đảm bảo tính đại diện cho hành vi thực tế của người lái xe.
  • Lý do lựa chọn phương pháp phân tích: Việc sử dụng thư viện dlib và OpenCV kết hợp thuật toán HOG + SVM giúp tối ưu hóa tải tính toán, đảm bảo tốc độ trích xuất đặc trưng đạt từ 15 đến 30 khung hình/giây trên bộ xử lý ARM của Raspberry Pi mà không cần GPU đắt tiền. Đồng thời, việc phân tích chuỗi thời gian EAR qua mạng nơ-ron giúp loại bỏ hoàn toàn các lỗi cảnh báo giả do phản xạ nháy mắt vô thức gây ra.
  • Quy trình triển khai: Đề tài được thực hiện theo 4 giai đoạn logic: nghiên cứu thuật toán xử lý ảnh trên Python 3.7; thu thập dữ liệu và huấn luyện mô hình mạng nơ-ron; tích hợp hệ thống phần cứng phân tán (Raspberry Pi 3 Model B+ đảm nhận xử lý ảnh, Arduino Nano quản lý thiết bị ngoại vi); kiểm thử và đánh giá hiệu năng thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm trên mô hình phần cứng thực tế đã mang lại các kết quả nổi bật:

  1. Xác lập ranh giới định lượng của chỉ số nhắm mở mắt (EAR): Ở trạng thái tỉnh táo bình thường, giá trị EAR của tài xế luôn duy trì ổn định trong khoảng từ 0.25 đến 0.32. Khi xuất hiện phản xạ chớp mắt tự nhiên, chỉ số này giảm nhanh về gần 0 nhưng phục hồi ngay lập tức chỉ sau 2 đến 4 khung hình (khoảng 100 đến 200 mili-giây). Tuy nhiên, khi rơi vào trạng thái buồn ngủ hoặc ngủ gật, chỉ số EAR tụt xuống dưới ngưỡng 0.15 và duy trì trạng thái đóng mắt kéo dài trên 15 đến 30 khung hình liên tục.
  2. Độ chính xác nhận diện khuôn mặt và điểm mốc: Bộ phân lớp HOG + SVM của thư viện dlib kết hợp OpenCV đã định vị chính xác 68 điểm đặc trưng khuôn mặt trong phạm vi khoảng cách từ 50 cm đến 100 cm dưới điều kiện ánh sáng ban ngày. Hệ thống duy trì khả năng bám bắt vùng mắt ổn định ngay cả khi đầu tài xế cử động nhẹ trong phạm vi góc quay dưới 40 độ.
  3. Hiệu năng phân loại của mạng nơ-ron học sâu: Mạng nơ-ron được huấn luyện trên chuỗi 90 khung hình EAR liên tục đã phân loại chính xác trạng thái buồn ngủ với tỷ lệ tin cậy cao, loại bỏ hoàn toàn sự nhầm lẫn giữa việc chớp mắt thông thường và trạng thái ngủ gật.
  4. Tốc độ đáp ứng phần cứng thời gian thực: Thời gian trích xuất đặc trưng và xử lý phân loại trên Raspberry Pi 3 Model B+ chỉ mất từ 30 đến 50 mili-giây cho mỗi chu kỳ khung hình. Tín hiệu điều khiển truyền qua giao tiếp nối tiếp đến Arduino Nano để kích hoạt còi chip, loa phát giọng nói và đèn LED cảnh báo chỉ mất từ 200 đến 500 mili-giây ngay sau khi phát hiện dấu hiệu nguy hiểm.

Thảo luận kết quả

Cơ chế phân tích chuỗi thời gian EAR 90 khung hình mang lại sự vượt trội rõ rệt nhờ việc chuyển đổi dữ liệu không gian ảnh phức tạp thành một chuỗi tín hiệu số 1 chiều có độ biến thiên rõ rệt. Dữ liệu thực nghiệm có thể được biểu diễn trực quan qua đồ thị đường biểu diễn biến thiên của chỉ số EAR theo trục thời gian: các chu kỳ chớp mắt tạo ra các đáy nhọn hẹp, trong khi trạng thái buồn ngủ tạo ra một thung lũng đáy rộng kéo dài vượt ngưỡng an toàn. Đồng thời, bảng ma trận nhầm lẫn (Confusion Matrix) giữa hai lớp dữ liệu "Tỉnh táo" và "Buồn ngủ" cho thấy mô hình đạt độ nhạy (Recall) và độ chính xác (Precision) vượt trội tại các cự ly kiểm thử 50 cm, 70 cm và 100 cm.

So với các hướng tiếp cận khác như gắn điện cực đo điện não đồ (EEG), điện tim đồ (ECG) gây khó chịu cho người lái, hoặc phương pháp giám sát độ lệch làn đường vốn chỉ đưa ra cảnh báo khi phương tiện đã mất lái nguy hiểm, giải pháp thị giác máy tính của luận văn đem lại tính chủ động cao hơn mà không can thiệp vào cơ cấu vận hành của phương tiện.

       Đồ thị trực quan hóa chuỗi dữ liệu EAR theo thời gian
  EAR
  0.30 |  ---/\------/\------------------------------------ (Tỉnh táo)
  0.25 |    /  \    /  \
  0.20 |   /    \  /    \
  0.15 | -/------\/------\--------------------------------- (Ngưỡng cảnh báo)
  0.10 |                  \_______________________________  (Ngủ gật kéo dài)
  0.00 +--------------------------------------------------> Thời gian (Frames)
          Chớp mắt nhanh        Trạng thái ngủ gật (>15 frames)

Đề xuất và khuyến nghị

Nhằm nâng cao tính hoàn thiện và khả năng thương mại hóa thiết bị trên các phương tiện giao thông thực tế, các giải pháp cụ thể được đề xuất như sau:

  • Tích hợp cảm biến camera hồng ngoại (NIR) và đèn LED bước sóng 850nm hoặc 940nm: Nhóm kỹ thuật phần cứng cần hoàn thiện việc lắp đặt mô-đun lọc hồng ngoại trong vòng 3 đến 6 tháng tới. Mục tiêu nhằm đảm bảo hệ thống nhận diện khuôn mặt đạt độ chính xác trên 95% trong điều kiện lái xe ban đêm hoặc trong hầm tối mà không làm chói mắt tài xế.
  • Tối ưu hóa và lượng tử hóa mô hình mạng nơ-ron (Model Quantization & TensorRT/TFLite): Nhóm kỹ sư phần mềm nhúng cần chuyển đổi mô hình sang định dạng nhẹ hơn, triển khai trên nền tảng vi xử lý thế hệ mới như Raspberry Pi 4 hoặc Jetson Nano. Mục tiêu kỹ thuật là nâng tốc độ xử lý từ 20 khung hình/giây lên 45 đến 60 khung hình/giây và giảm 30% mức tiêu hao điện năng trong vòng 6 tháng.
  • Mở rộng thuật toán nhận diện đa biểu hiện hành vi: Nhóm nghiên cứu thuật toán cần tích hợp thêm chỉ số tỷ lệ mở miệng (Mouth Aspect Ratio - MAR) để phát hiện hành vi ngáp và thuật toán ước lượng tư thế đầu (Head Pose Estimation) qua 3 góc Euler. Giải pháp này giúp giảm tỷ lệ dương tính giả xuống dưới 2% trong thời gian 9 tháng nghiên cứu.
  • Xây dựng mô-đun viễn thông 4G/5G và định vị GPS truyền dữ liệu về máy chủ điều hành: Doanh nghiệp vận tải và các nhà phát triển hệ thống ADAS cần phối hợp thiết kế giao thức gửi tin nhắn cảnh báo tự động về trung tâm quản lý đội xe khi phát hiện tài xế ngủ gật lặp lại quá 3 lần trong một chuyến đi, với thời gian truyền tin dưới 2 giây.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị khoa học và ứng dụng sâu rộng cho nhiều nhóm đối tượng:

  • Kỹ sư nghiên cứu Trí tuệ nhân tạo và Thị giác máy tính: Cung cấp tài liệu tham khảo chi tiết về quy trình trích chọn đặc trưng HOG, bộ phân lớp SVM, mô hình 68 điểm facial landmark và kỹ thuật trích xuất chỉ số hình học EAR để áp dụng vào các bài toán nhận dạng khuôn mặt trên thiết bị biên.
  • Doanh nghiệp vận tải hàng hóa và quản lý đội xe khách liên tỉnh: Cung cấp giải pháp công nghệ khả thi với chi phí thấp để tích hợp hệ thống cảnh báo an toàn cho tài xế, giúp giảm thiểu từ 20% đến 30% số vụ tai nạn giao thông nội bộ do tài xế làm việc quá sức.
  • Nhà phát triển hệ thống nhúng và thiết bị IoT thông minh: Cung cấp sơ đồ thiết kế phần cứng hoàn chỉnh, giải pháp tối ưu kết nối truyền thông nối tiếp giữa máy tính nhúng Linux (Raspberry Pi) và vi điều khiển thời gian thực (Arduino Nano) trong điều khiển thiết bị ngoại vi.
  • Giảng viên, học viên cao học và sinh viên chuyên ngành Tự động hóa, Điện tử - Viễn thông, Khoa học máy tính: Tài liệu học thuật chuẩn mực về phương pháp nghiên cứu thực nghiệm, quy trình thu thập dữ liệu chuỗi thời gian và xây dựng luận văn thạc sĩ kỹ thuật ứng dụng.

Câu hỏi thường gặp

Chỉ số EAR phân biệt giữa chớp mắt thông thường và ngủ gật như thế nào?
Chỉ số EAR xác định khoảng cách giữa mí mắt trên và mí mắt dưới. Khi chớp mắt bình thường, EAR giảm từ 0.28 xuống dưới 0.15 nhưng trở lại bình thường chỉ sau 100 đến 200 mili-giây (tương đương 2 đến 4 khung hình). Khi tài xế ngủ gật, EAR duy trì dưới mức 0.15 liên tục trong suốt 15 đến 30 khung hình, kích hoạt mạng nơ-ron phát tín hiệu cảnh báo.

Thiết bị hoạt động ra sao nếu tài xế quay đầu hoặc nghiêng đầu khi lái xe?
Thuật toán HOG + SVM kết hợp mô hình 68 điểm mốc có khả năng bù trừ độ nghiêng khuôn mặt trong góc quay từ 30 đến 40 độ. Tuy nhiên, nếu tài xế quay mặt quá 45 độ hoặc cúi đầu quá sâu làm mất dấu các điểm mốc vùng mắt, hệ thống sẽ kích hoạt trạng thái mất dấu và yêu cầu định vị lại vị trí khuôn mặt.

Tại sao luận văn lại kết hợp cả Raspberry Pi 3 và Arduino Nano mà không dùng một bo mạch?
Sự phân tách này tối ưu hóa tài nguyên phần cứng. Raspberry Pi 3 Model B+ đảm nhận các tác vụ tính toán thị giác máy tính và suy luận mạng nơ-ron phức tạp trên hệ điều hành Raspbian, trong khi Arduino Nano xử lý các tác vụ điều khiển thời gian thực như phát âm thanh cảnh báo, điều khiển loa và đèn LED mà không làm gián đoạn luồng xử lý ảnh.

Hệ thống có bị ảnh hưởng khi tài xế đeo kính mắt hay không?
Trong điều kiện thực nghiệm ánh sáng ban ngày, thuật toán 68 điểm facial landmark vẫn định vị chính xác vị trí mí mắt qua kính thuốc trong suốt. Tuy nhiên, với các loại kính râm tối màu hoặc kính phản quang mạnh, hệ thống cần được hỗ trợ thêm bằng camera hồng ngoại để nhận diện xuyên qua lớp tròng kính.

Giải pháp này có thể lắp đặt trực tiếp trên các dòng xe thương mại hiện nay không?
Hoàn toàn có thể. Thiết bị được thiết kế với kích thước nhỏ gọn, sử dụng nguồn điện 5V thông qua cổng sạc ô tô tiêu chuẩn và camera được cố định trên bảng táp-lô ở khoảng cách dưới 100 cm hướng về phía người lái, hoạt động độc lập mà không cần can thiệp vào hệ thống điện hay điều khiển của xe.

Kết luận

  • Luận văn đã nghiên cứu, thiết kế và chế tạo thành công thiết bị phát hiện và cảnh báo buồn ngủ thời gian thực cho tài xế dựa trên kỹ thuật thị giác máy tính và mạng nơ-ron học sâu.
  • Ứng dụng xuất sắc thuật toán HOG + SVM cùng mô hình 68 điểm facial landmark để tính toán chính xác chỉ số Eye Aspect Ratio (EAR) trên vùng mắt người lái.
  • Giải quyết triệt để bài toán phân loại sai giữa phản xạ chớp mắt tự nhiên và cơn buồn ngủ nguy hiểm thông qua mô hình mạng nơ-ron huấn luyện trên chuỗi 90 khung hình liên tục.
  • Hoàn thiện hệ thống phần cứng phân tán kết hợp Raspberry Pi 3 Model B+ và Arduino Nano, cho tốc độ xử lý đạt 20 khung hình/giây và thời gian kích hoạt cảnh báo đa phương thức dưới 500 mili-giây.
  • Đặt nền móng kỹ thuật vững chắc cho việc nâng cấp camera hồng ngoại và tích hợp hệ thống giám sát hành trình thông minh trong các bước phát triển tiếp theo.

Hệ thống cảnh báo buồn ngủ ứng dụng thị giác máy tính là giải pháp công nghệ thiết thực, chi phí thấp nhưng mang lại hiệu quả vượt bậc trong việc bảo vệ an toàn sinh mạng cho người tham gia giao thông. Các doanh nghiệp vận tải, nhà nghiên cứu và kỹ sư công nghệ quan tâm đến việc thử nghiệm hoặc chuyển giao giải pháp có thể liên hệ trực tiếp với tác giả để cùng hợp tác hoàn thiện và thương mại hóa sản phẩm.