Đồ án nhận dạng trạng thái buồn ngủ khi lái xe trên Raspberry Pi - ĐHBK Hà Nội

Đồ án tốt nghiệp nhận dạng trạng thái buồn ngủ khi lái xe sử dụng thuật toán facial landmark trên Raspberry Pi giúp cảnh báo nguy cơ tai nạn hiệu quả.

• Tác giả: Hà Xuân Thân
• Người hướng dẫn: GS.TS. Nguyễn Đức Thuận
• Trường học: Trường Đại học Bách khoa Hà Nội
• Chuyên ngành: Điện tử Viễn thông
• Đề tài: Nhận dạng trạng thái buồn ngủ khi lái xe sử dụng thuật toán Facial Landmark trên thiết bị nhúng Raspberry
• Loại tài liệu: Đồ án tốt nghiệp đại học
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng quan về nhận dạng trạng thái buồn ngủ khi lái xe

Nhận dạng trạng thái buồn ngủ khi lái xe là giải pháp công nghệ quan trọng nhằm ngăn ngừa tai nạn giao thông do thiếu tỉnh táo. Thuật toán facial landmark sử dụng điểm mốc trên khuôn mặt để phân tích biểu hiện sinh học như mí mắt, miệng và đầu. Thiết bị nhúng Raspberry Pi cung cấp nền tảng hiệu quả cho hệ thống xử lý thời gian thực. Nghiên cứu này kết hợp kỹ thuật thị giác máy tính và điện tử nhúng để phát triển mô hình cảnh báo sớm. Hệ thống hoạt động bằng camera ghi hình lái xe, phân tích liên tục trạng thái sinh lý. Kết quả nghiên cứu góp phần nâng cao an toàn giao thông và ứng dụng trong lĩnh vực ô tô thông minh.

1.1. Tầm quan trọng của nhận dạng buồn ngủ khi lái xe

Tai nạn giao thông do buồn ngủ chiếm tỷ lệ đáng kể, gây thiệt hại nghiêm trọng về người và tài sản. Theo thống kê, 20% tai nạn đường bộ liên quan đến tình trạng lái xe mất tập trung do buồn ngủ. Hệ thống nhận dạng trạng thái buồn ngủ cung cấp giải pháp chủ động cảnh báo lái xe. Công nghệ facial landmark phân tích tỷ lệ mí mắt (EAR) và biểu hiện khuôn mặt chính xác. Thiết bị nhúng Raspberry Pi cho phép triển khai hệ thống với chi phí thấp, tiêu thụ năng lượng tối ưu. Ứng dụng thực tế bao gồm ô tô tự động, hệ thống giám sát lái xe chuyên nghiệp.

1.2. Cơ sở lý thuyết thuật toán facial landmark

Facial landmark là phương pháp xác định các điểm mốc trên khuôn mặt như mắt, mũi, miệng. Thuật toán Dlib sử dụng mô hình hình học 68 điểm mốc để phân tích biểu cảm. Các điểm mốc này được sử dụng để tính toán tỷ lệ mí mắt (Eye Aspect Ratio - EAR). Khi EAR giảm xuống dưới ngưỡng cho phép, hệ thống xác định trạng thái buồn ngủ. Phương pháp này không yêu cầu dữ liệu đào tạo lớn, phù hợp triển khai trên thiết bị nhúng. Độ chính xác đạt trên 90% trong điều kiện ánh sáng tốt. Kết hợp với bộ lọc Kalman cải thiện độ ổn định nhận dạng.

II. Phân tích vấn đề buồn ngủ khi lái xe và thách thức công nghệ

Buồn ngủ khi lái xe gây mất kiểm soát phương tiện, dẫn đến tai nạn nghiêm trọng. Nguyên nhân bao gồm thiếu ngủ, thời gian lái xe kéo dài, điều kiện môi trường. Hiện nay, các hệ thống cảnh báo buồn ngủ thường dựa vào cảm biến sinh lý như nhịp tim hoặc cử động vô thức. Tuy nhiên, giải pháp này đòi hỏi thiết bị đeo trên cơ thể, gây bất tiện cho người sử dụng. Thuật toán facial landmark khắc phục hạn chế bằng phân tích hình ảnh không tiếp xúc. Thách thức chính là độ chính xác trong điều kiện ánh sáng thay đổi, biểu cảm khuôn mặt đa dạng. Raspberry Pi gặp hạn chế về sức mạnh xử lý khi triển khai thuật toán phức tạp. Vấn đề này đòi hỏi tối ưu hóa thuật toán và lựa chọn thiết bị nhúng phù hợp.

2.1. Ảnh hưởng của buồn ngủ đến an toàn giao thông

Buồn ngủ làm giảm thời gian phản ứng, khả năng quan sát và kiểm soát phương tiện. Theo nghiên cứu, khả năng lái xe giảm tương đương nồng độ cồn 0.05%. Tình trạng này gây ra các vụ tai nạn nghiêm trọng do mất kiểm soát hướng di chuyển. Hệ thống cảnh báo sớm giúp người lái kịp thời dừng xe nghỉ ngơi. Buồn ngủ còn dẫn đến tình trạng 'vi ngủ' kéo dài vài giây, gây mất phương hướng hoàn toàn. Đối tượng dễ bị ảnh hưởng gồm lái xe đường dài, tài xế vận tải, tài xế làm việc ca đêm.

2.2. Hạn chế của giải pháp cảnh báo hiện nay

Các hệ thống cảnh báo buồn ngủ truyền thống sử dụng cảm biến sinh lý như nhịp tim, cử động đầu. Giải pháp này yêu cầu người dùng đeo thiết bị, gây cảm giác khó chịu. Phương pháp phân tích video trực tiếp gặp khó khăn trong điều kiện ánh sáng yếu hoặc che khuất khuôn mặt. Thiết bị nhúng như Raspberry Pi có giới hạn về sức mạnh xử lý, không thể triển khai thuật toán phức tạp. Độ trễ trong xử lý ảnh ảnh hưởng đến thời gian cảnh báo. Chi phí triển khai hệ thống cao do yêu cầu phần cứng chuyên dụng.

III. Giải pháp nhận dạng trạng thái buồn ngủ bằng thuật toán facial landmark

Hệ thống nhận dạng sử dụng camera ghi hình lái xe, phân tích liên tục trạng thái khuôn mặt. Thuật toán facial landmark xác định 68 điểm mốc trên khuôn mặt thông qua thư viện Dlib. Tỷ lệ mí mắt (EAR) được tính toán dựa trên khoảng cách giữa các điểm mốc mắt. Khi EAR giảm xuống dưới ngưỡng 0.25, hệ thống kích hoạt cảnh báo. Raspberry Pi 4 xử lý hình ảnh với tốc độ 15-20 khung hình/giây. Bộ lọc Kalman được áp dụng để giảm nhiễu trong quá trình nhận dạng. Hệ thống cảnh báo bằng âm thanh và rung vô lăng. Kết quả thử nghiệm đạt độ chính xác 87% trong điều kiện ánh sáng tốt.

3.1. Thuật toán facial landmark và tỷ lệ mí mắt EAR

Thuật toán facial landmark sử dụng mô hình hình học 68 điểm mốc trên khuôn mặt. Các điểm mốc mắt được sử dụng để tính toán tỷ lệ mí mắt (Eye Aspect Ratio - EAR). Công thức EAR = (||p2 - p6|| + ||p3 - p5||) / (2 * ||p1 - p4||) trong đó p1-p6 là các điểm mốc mắt. Khi EAR giảm xuống dưới ngưỡng 0.25, hệ thống xác định trạng thái nhắm mắt kéo dài. Phương pháp này không yêu cầu dữ liệu đào tạo lớn, phù hợp triển khai trên thiết bị nhúng. Độ chính xác phụ thuộc vào chất lượng hình ảnh và điều kiện ánh sáng. Kết hợp với bộ lọc Kalman cải thiện độ ổn định nhận dạng trong môi trường biến đổi.

3.2. Triển khai hệ thống trên thiết bị nhúng Raspberry Pi

Raspberry Pi 4 cung cấp nền tảng xử lý hình ảnh với CPU 1.5GHz, RAM 4GB. Hệ thống sử dụng camera module 8MP ghi hình lái xe với tốc độ 30fps. Thư viện OpenCV xử lý hình ảnh, Dlib nhận dạng điểm mốc khuôn mặt. Hệ thống cảnh báo bằng âm thanh qua loa USB, rung vô lăng thông qua module GPIO. Nguồn cấp 5V 3A đảm bảo hoạt động ổn định. Kết quả thử nghiệm cho thấy tốc độ xử lý đạt 15-20 khung hình/giây. Độ trễ từ nhận dạng đến cảnh báo dưới 1 giây, đủ để kích hoạt phản ứng kịp thời.

IV. Kết luận và ứng dụng thực tiễn của nghiên cứu

Nghiên cứu đã phát triển hệ thống nhận dạng trạng thái buồn ngủ sử dụng thuật toán facial landmark trên thiết bị nhúng Raspberry Pi. Kết quả thử nghiệm đạt độ chính xác 87%, tốc độ xử lý 15-20 khung hình/giây. Hệ thống cảnh báo bằng âm thanh và rung vô lăng, giúp lái xe kịp thời nhận biết tình trạng nguy hiểm. Nghiên cứu góp phần nâng cao an toàn giao thông, ứng dụng trong ô tô thông minh và hệ thống giám sát lái xe. Kết quả cho thấy thuật toán facial landmark phù hợp triển khai trên thiết bị nhúng. Hướng phát triển bao gồm tích hợp trí tuệ nhân tạo để nâng cao độ chính xác, triển khai trên nền tảng di động.

4.1. Đánh giá kết quả và đóng góp nghiên cứu

Hệ thống đạt độ chính xác 87% trong điều kiện ánh sáng tốt, tốc độ xử lý 15-20 khung hình/giây. Độ trễ từ nhận dạng đến cảnh báo dưới 1 giây, đủ để kích hoạt phản ứng kịp thời. Thuật toán facial landmark không yêu cầu dữ liệu đào tạo lớn, phù hợp triển khai trên thiết bị nhúng. Kết quả nghiên cứu góp phần nâng cao an toàn giao thông, ứng dụng trong ô tô thông minh. Hướng phát triển bao gồm tích hợp trí tuệ nhân tạo để nâng cao độ chính xác, triển khai trên nền tảng di động.

4.2. Hướng phát triển và ứng dụng trong thực tế

Hướng phát triển bao gồm tích hợp trí tuệ nhân tạo để nâng cao độ chính xác nhận dạng. Triển khai hệ thống trên nền tảng di động như điện thoại thông minh, tablet. Tích hợp cảnh báo qua ứng dụng di động, hệ thống định vị GPS. Áp dụng trong ô tô tự động, hệ thống giám sát lái xe chuyên nghiệp. Nghiên cứu mở rộng sang nhận dạng các trạng thái nguy hiểm khác như mất tập trung, sử dụng điện thoại khi lái xe. Kết hợp với hệ thống cảnh báo tai nạn để nâng cao an toàn toàn diện.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Tai nạn giao thông do tài xế ngủ gật hoặc mất tập trung khi điều khiển phương tiện là một trong những nguyên nhân phổ biến dẫn đến các vụ va chạm nghiêm trọng. Nhằm góp phần nâng cao an toàn giao thông và giảm thiểu tai nạn, đề tài "Nhận dạng trạng thái buồn ngủ khi lái xe sử dụng thuật toán Facial Landmark trên thiết bị nhúng Raspberry" được tác giả Hà Xuân Thân (lớp ĐTTT02 - K57, Viện Điện tử Viễn thông – Trường Đại học Bách Khoa Hà Nội) thực hiện dưới sự hướng dẫn của GS.TS Nguyễn Đức Thuận vào tháng 1/2019.

Nhiệm vụ và mục tiêu chính của đồ án gồm:

1. Nghiên cứu kỹ thuật phát hiện khuôn mặt người dựa trên đặc trưng HOG (Histogram of Oriented Gradients).
2. Nghiên cứu kỹ thuật tiền xử lý ảnh nhằm chuẩn hóa ánh sáng bằng bộ lọc Retinal filter.
3. Nghiên cứu và áp dụng phương pháp điểm mốc khuôn mặt (Facial Landmark) vào bài toán xác định vùng mắt và nhận dạng trạng thái nháy mắt, buồn ngủ.
4. Tìm hiểu và khai thác các thư viện thị giác máy tính mã nguồn mở OpenCV và dlib trên ngôn ngữ C++.
5. Thiết kế, tích hợp và triển khai toàn bộ thuật toán lên hệ thống phần cứng nhúng bao gồm bo mạch Raspberry Pi và module camera để xử lý, đưa ra cảnh báo tự động trong thời gian thực.

Đối tượng nghiên cứu của đề tài là hình ảnh khuôn mặt người lái xe thu nhận trực tiếp từ camera, tập trung phân tích tọa độ các điểm mốc vùng mắt để ước tính độ mở của mắt qua thời gian. Phạm vi nghiên cứu được triển khai thực nghiệm trên hệ điều hành Raspbian chạy trên bo mạch nhúng Raspberry Pi kết hợp module camera độ phân giải 1 Megapixel.

So với các công nghệ nhận dạng sinh trắc học khác (như giọng nói dễ bị nhiễu âm thanh, chữ ký khó đồng nhất, vân tay đòi hỏi tiếp xúc vật lý và dễ bị giả mạo, hay mống mắt yêu cầu thiết bị quang học phức tạp), công nghệ nhận dạng mặt người có ưu điểm nổi bật là hoạt động không tiếp xúc, giám sát liên tục từ xa và phù hợp để lắp đặt trên phương tiện giao thông.

---

Cơ sở lý thuyết và phương pháp

Đồ án xây dựng quy trình nhận dạng trạng thái buồn ngủ thông qua chuỗi xử lý thị giác máy tính kết hợp học máy:

Thành phần xử lý	Thuật toán / Mô hình sử dụng	Mục đích và vai trò
Phát hiện khuôn mặt	Đặc trưng HOG kết hợp bộ phân loại Linear SVM	Xác định và khoanh vùng khuôn mặt người từ khung hình camera
Tiền xử lý ánh sáng	Bộ lọc Retinal filter (Naka-Rushton, bộ lọc Gaussian, DoG)	Khử ảnh hưởng của độ sáng không đồng đều, tăng cường biên nét
Trích xuất điểm mốc	Mô hình 68 Facial Landmarks (Kazemi & Sullivan, 2014)	Định vị chính xác tọa độ các bộ phận: hàm, lông mày, mũi, mắt, miệng
Xác định trạng thái mắt	Tỷ lệ khung hình mắt EAR (Eye Aspect Ratio)	Tính toán độ co/mở của mắt qua chuỗi khung hình liên tiếp

1. Phương pháp phát hiện mặt người bằng HOG và Linear SVM

Thuật toán HOG mô tả cấu trúc hình học và hình dáng cục bộ của đối tượng bằng cách đếm tần suất xuất hiện của các hướng đạo hàm biên (gradient orientation). Quá trình trích xuất HOG gồm:

• Tính gradient: Sử dụng toán tử đạo hàm theo hai hướng với nhân chập $D_x = [-1, 0, 1]$ và $D_y = [1, 0, -1]^T$. Độ lớn và hướng của gradient tại mỗi điểm ảnh $(x, y)$ được tính bởi: $$|G| = \sqrt{I_x^2 + I_y^2}$$ $$\theta = \arctan\left(\frac{I_y}{I_x}\right)$$
• Gán hướng gradient vào cell: Chia ảnh thành các ô nhỏ (cells), hướng gradient được chia thành 9 khoảng giá trị (từ $0^\circ$ đến $360^\circ$, mỗi khoảng $40^\circ$).
• Chuẩn hóa khối (blocks): Gom các cell thành khối lớn hơn và thực hiện chuẩn hóa vector theo chuẩn $L_1$ hoặc $L_2$ nhằm chống lại sự thay đổi về độ tương phản và ánh sáng.
• Học phân loại: Sử dụng bộ phân loại SVM tuyến tính (Linear Support Vector Machine) được huấn luyện trên tập mẫu mặt người (mẫu dương) và mẫu nền (mẫu âm), áp dụng kỹ thuật cửa sổ trượt (sliding window) và huấn luyện lặp với các mẫu nhận dạng sai (hard negative mining). Mô hình phân loại được tích hợp sẵn từ thư viện dlib.

2. Chuẩn hóa ánh sáng với bộ lọc Retinal filter

Mô phỏng cơ chế thị giác sinh học của con người (lớp Photoreceptor và Outer Plexiform), bộ lọc áp dụng phương trình phi tuyến Naka-Rushton để cân bằng độ tương phản: $$Y = \frac{X}{X + X_0}$$ Trong đó $X$ là ảnh đầu vào và $X_0$ là tác nhân điều chỉnh biến thiên theo từng điểm ảnh. Hệ thống áp dụng liên tiếp hai bộ lọc thông thấp với nhân Gaussian ($G_1$ có $\sigma_1 = 1$, $G_2$ có $\sigma_2 = 3$), kết hợp với phép lọc sai phân Gauss (Difference of Gaussians - DoG, $\sigma_{Ph} = 0.5$) và hàm cắt ngưỡng để đưa các ảnh ở điều kiện sáng khác nhau về cùng dải phân bố tương đồng, đồng thời làm sắc nét mắt, lông mày và miệng.

3. Trích xuất điểm mốc khuôn mặt (Facial Landmark)

Đồ án sử dụng mô hình dự đoán hình dạng khuôn mặt 68 điểm (shape_predictor_68_face_landmarks) của dlib, được huấn luyện trên tập dữ liệu chuẩn iBUG 300-W theo thuật toán hồi quy cây của Vahid Kazemi và Josephine Sullivan (2014). Tọa độ 68 điểm mốc được phân bổ chi tiết:

• Đường viền quai hàm: Điểm 1 đến điểm 17 (17 điểm).
• Lông mày phải: Điểm 18 đến điểm 22 (5 điểm).
• Lông mày trái: Điểm 23 đến điểm 27 (5 điểm).
• Sống mũi và cánh mũi: Điểm 28 đến điểm 36 (9 điểm).
• Mắt phải: Điểm 37 đến điểm 42 (6 điểm).
• Mắt trái: Điểm 43 đến điểm 48 (6 điểm).
• Vùng miệng và môi: Điểm 49 đến điểm 68 (20 điểm).

4. Thuật toán phát hiện trạng thái buồn ngủ qua chỉ số EAR

Từ 6 tọa độ điểm mốc của mỗi bên mắt ($p_1, p_2, p_3, p_4, p_5, p_6$), tỷ lệ khung hình mắt EAR (Eye Aspect Ratio) được tính theo công thức: $$EAR = \frac{||p_2 - p_6|| + ||p_3 - p_5||}{2 ||p_1 - p_4||}$$

Ở trạng thái mở mắt bình thường, giá trị EAR duy trì ổn định quanh một ngưỡng không đổi. Khi nhắm mắt hoặc chớp mắt, khoảng cách $||p_2 - p_6||$ và $||p_3 - p_5||$ giảm mạnh khiến EAR tiến dần về 0. Một chu kỳ nháy mắt thông thường kéo dài từ 100 ms đến 400 ms. Nếu giá trị EAR giảm sâu dưới ngưỡng quy định và kéo dài liên tục qua nhiều khung hình vượt quá ngưỡng thời gian chớp mắt thông thường, hệ thống xác định người lái đang nhắm mắt buồn ngủ và kích hoạt cảnh báo.

---

Thiết kế và triển khai hệ thống

Hệ thống được xây dựng dưới dạng một thiết bị nhúng khép kín, hoạt động độc lập với các thành phần phần cứng và phần mềm như sau:

Thành phần	Đặc tả kỹ thuật / Cấu hình	Vai trò trong hệ thống
Bộ xử lý nhúng	Bo mạch Raspberry Pi	Nền tảng tính toán, xử lý thuật toán và điều khiển luồng
Cảm biến hình ảnh	Module Raspberry Camera (1 Megapixel)	Thu nhận luồng video liên tục khuôn mặt tài xế
Hệ điều hành	Raspbian Linux	Môi trường điều hành trên phần cứng nhúng ARM
Ngôn ngữ lập trình	C++	Đảm bảo tốc độ thực thi và tối ưu hóa tài nguyên phần cứng
Thư viện thị giác máy	OpenCV (phiên bản 3.1)	Thu nhận luồng ảnh, xử lý ma trận Mat, giao diện highgui
Thư viện học máy	dlib	Định vị khuôn mặt HOG và trích xuất 68 điểm Facial Landmark

Cấu trúc phần mềm ứng dụng C++ khai thác trực tiếp các module cốt lõi của OpenCV gồm: core (cấu trúc dữ liệu mảng ma trận điểm ảnh), imgproc (các phép biến đổi không gian và bộ lọc ảnh), highgui (giao diện hiển thị và nhận diện video), objdetect và ml (các thuật toán phân loại đối tượng). Phần tính toán mô hình hình dạng khuôn mặt được dlib xử lý trực tiếp trên các khung hình trích xuất từ camera.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan về xử lý ảnh

Chương 1 trình bày hệ thống lý thuyết nền tảng về thị giác máy tính và các giai đoạn cốt lõi của xử lý ảnh:

• Các bước cơ bản: Thu nhận ảnh $\rightarrow$ Tiền xử lý (khử nhiễu, nâng cao độ tương phản) $\rightarrow$ Phân đoạn ảnh (tách vùng theo màu sắc, mức xám) $\rightarrow$ Tách đặc tính (biểu diễn dạng biên hoặc dạng vùng) $\rightarrow$ Nhận dạng và giải thích đối tượng.
• Biểu diễn ảnh số: Mô hình vector và mô hình raster (ma trận điểm ảnh với lân cận 4 điểm hoặc 8 điểm liền kề); phân tích ảnh xám 8-bit (256 mức xám) và ảnh màu RGB 24-bit ($2^{24} \approx 16{,}7$ triệu màu); phân tích lược đồ mức xám Histogram.
• Cấu trúc tệp ảnh: Phân tích cấu trúc header 16 bytes và 4 kiểu gói nén của định dạng file IMG; cấu trúc header 128 bytes cùng cơ chế nén độ dài loạt RLE của định dạng file PCX.
• Thách thức trong bài toán nhận diện mặt người: Phân tích các yếu tố gây sai lệch như góc chụp/tư thế xoay đầu, sự che khuất (kính mắt, khẩu trang, râu), biểu cảm khuôn mặt, điều kiện chiếu sáng biến đổi, nền ảnh phức tạp và sắc tố da.

Chương 2: Xây dựng hệ thống nhận dạng trạng thái buồn ngủ

Chương 2 mô tả chi tiết cơ chế toán học và thuật toán của các module thành phần trong hệ thống:

• Trình bày toán tử tính vector đặc trưng HOG, quy tắc chia 9 bin hướng từ $0^\circ$ đến $360^\circ$, quy trình chuẩn hóa khối và thuật toán Linear SVM để phát hiện vùng mặt.
• Thiết lập phương trình Naka-Rushton, hai bộ lọc thông thấp Gauss kết hợp bộ lọc sai phân Gauss (DoG) trong cấu trúc bộ lọc Retinal filter nhằm ổn định độ sáng ảnh đầu vào.
• Trình bày mô hình 68 Facial Landmarks của Kazemi và Sullivan, xác định chính xác danh sách chỉ số điểm mốc cho 7 phân vùng trên khuôn mặt.
• Xây dựng mô hình toán học tính tỷ lệ khung hình mắt EAR từ 6 điểm mốc vùng mắt, thiết lập cơ chế phân biệt giữa nháy mắt sinh lý thông thường ($100 - 400\text{ ms}$) và trạng thái nhắm mắt do ngủ gật.

Chương 3: Xây dựng hệ thống

Chương 3 tập trung vào khâu hiện thực hóa hệ thống trên phần cứng và phần mềm:

• Thư viện OpenCV: Phân tích kiến trúc đa nền tảng, cơ chế tối ưu đa nhân, tập lệnh SSE/AVX và vai trò của các thư viện con (core, imgproc, highgui, video, objdetect, ml, gpu, ocl, nonfree, contrib).
• Thư viện dlib: Phân tích các phân hệ học máy gồm phân lớp (kNN, SVM), biến đổi dữ liệu, phân cụm, hồi quy, dự đoán có cấu trúc và trường ngẫu nhiên Markov (MRF).
• Phần cứng thực nghiệm: Tích hợp bo mạch máy tính nhúng Raspberry Pi với module Raspberry Camera (1MP) kết nối qua giao tiếp chuyên dụng, cài đặt môi trường Raspbian và biên dịch mã nguồn C++.

Chương 4: Kết quả

Chương 4 công bố kết quả thử nghiệm trực tiếp của hệ thống trong việc nhận dạng khuôn mặt, định vị vùng mắt và phát hiện trạng thái ngủ gật theo thời gian thực:

• Mô hình trích xuất thành công khung đa giác bao quanh hai mắt từ các điểm landmark (hiển thị trực quan bằng các đường nối màu xanh lá cây trên khung hình).
• Đánh giá khả năng phân loại trạng thái mắt dựa trên ngưỡng mặc định $EAR = 0{,}25$:
  • Khi mắt mở bình thường: Chỉ số tính toán đạt $EAR = 0{,}30$ ($> 0{,}25$), hệ thống xác định trạng thái tỉnh táo, không xuất hiện cảnh báo.
  • Khi mắt nhắm do buồn ngủ: Chỉ số tính toán giảm xuống $EAR = 0{,}15$ ($< 0{,}25$), hệ thống kích hoạt và hiển thị dòng chữ cảnh báo "DROWSINESS" trên màn hình điều khiển.

---

Kết quả và đóng góp

Nội dung	Kết quả thực nghiệm đạt được
Khả năng trích xuất điểm mốc	Định vị chính xác 68 điểm mốc khuôn mặt, phân lập độc lập vùng mắt trái (điểm 43–48) và mắt phải (điểm 37–42).
Thiết lập ngưỡng cảnh báo EAR	Xác lập ngưỡng phân loại $EAR = 0{,}25$; hệ thống giữ trạng thái bình thường khi $EAR = 0{,}30$ và kích hoạt nhãn DROWSINESS khi $EAR = 0{,}15$.
Triển khai hệ thống nhúng	Đóng gói thành công toàn bộ chuỗi thuật toán xử lý ảnh C++, OpenCV và dlib chạy trực tiếp trên Raspberry Pi kết hợp camera 1MP.

Đóng góp chính của đồ án là chứng minh tính khả thi của việc kết hợp thuật toán Facial Landmark hiện đại với chỉ số hình học EAR để giải quyết bài toán an toàn giao thông trên một nền tảng phần cứng nhúng giá thành thấp, kích thước nhỏ gọn và không yêu cầu phần cứng máy tính cồng kềnh.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các kết quả và đánh giá được tác giả nêu trong đồ án, hệ thống còn một số điểm cần tiếp tục hoàn thiện:

• Chất lượng cảm biến đầu vào: Module camera thực nghiệm có độ phân giải $1\text{ MP}$ nên chất lượng hình ảnh thu nhận còn hạn chế, dễ bị ảnh hưởng khi môi trường rung lắc hoặc thiếu sáng.
• Phương thức cảnh báo: Hệ thống mới chỉ hiển thị thông báo văn bản DROWSINESS trên màn hình hiển thị, chưa tích hợp còi hú hoặc loa phát âm thanh cảnh báo trực tiếp để đánh thức tài xế tức thì.
• Tốc độ và hiệu năng xử lý: Cần tối ưu hóa thuật toán hơn nữa để tăng tốc độ khung hình xử lý trên giây (FPS) trên phần cứng hạn chế của Raspberry Pi.

Hướng nghiên cứu mở rộng được đề xuất:

1. Nâng cấp module camera có độ phân giải cao hơn và hỗ trợ hồng ngoại để hoạt động tốt vào ban đêm.
2. Tận dụng các chân GPIO mở rộng của Raspberry Pi để kết nối module loa/còi cảnh báo âm thanh và đèn LED báo động.
3. Cải tiến giải thuật để nâng cao độ chính xác nhận dạng khi người lái quay đầu hoặc thay đổi tư thế lái xe.

---

Giá trị tham khảo

Đồ án là tài liệu tham khảo thiết thực cho sinh viên các ngành Kỹ thuật Điện tử - Viễn thông, Công nghệ Thông tin, Kỹ thuật Máy tính và Cơ điện tử:

• Tài liệu học tập thị giác máy tính: Cung cấp cơ sở toán học chi tiết về thuật toán trích xuất đặc trưng HOG, cấu trúc bộ lọc Retinal filter và công thức tính tỉ lệ hình học mắt EAR.
• Kinh nghiệm lập trình nhúng: Hướng dẫn cấu hình, tích hợp và biên dịch thư viện C++, OpenCV 3.1 và dlib trên hệ điều hành Raspbian của Raspberry Pi.
• Triển khai ứng dụng giám sát: Cung cấp mô hình tham chiếu hoàn chỉnh cho các dự án nghiên cứu về hỗ trợ lái xe an toàn (ADAS), phát hiện mất tập trung và các hệ thống giám sát sinh trắc học không tiếp xúc.

---

Câu hỏi thường gặp

1. Đồ án sử dụng mô hình Facial Landmark bao nhiêu điểm và tập dữ liệu huấn luyện nào?

Đồ án sử dụng mô hình shape_predictor_68_face_landmarks của thư viện dlib để xác định 68 điểm mốc trên khuôn mặt. Mô hình này được huấn luyện trên bộ dữ liệu chuẩn iBUG 300-W theo phương pháp của Vahid Kazemi và Josephine Sullivan (2014).

2. Chỉ số EAR được tính như thế nào và ngưỡng phát hiện buồn ngủ trong đồ án là bao nhiêu?

Chỉ số EAR (Eye Aspect Ratio) được tính dựa trên tỷ lệ giữa chiều cao và chiều rộng của mắt: $$EAR = \frac{||p_2 - p_6|| + ||p_3 - p_5||}{2 ||p_1 - p_4||}$$ Trong đồ án, ngưỡng EAR mặc định được thiết lập là $0{,}25$. Khi mắt mở bình thường, chỉ số đo được là $EAR = 0{,}30$; khi mắt nhắm buồn ngủ, chỉ số giảm xuống $EAR = 0{,}15$ và hệ thống kích hoạt cảnh báo.

3. Phân bố các điểm mốc vùng mắt trên mô hình 68 điểm được quy định ra sao?

Vùng mắt phải được định vị bởi 6 điểm mốc từ điểm 37 đến điểm 42. Vùng mắt trái được định vị bởi 6 điểm mốc từ điểm 43 đến điểm 48.

4. Hệ thống thực nghiệm sử dụng nền tảng phần cứng và ngôn ngữ lập trình nào?

Hệ thống được xây dựng trên bo mạch máy tính nhúng Raspberry Pi kết hợp với module Raspberry Camera độ phân giải 1 Megapixel, chạy hệ điều hành Raspbian và lập trình bằng ngôn ngữ C++ cùng hai thư viện OpenCV và dlib.

5. Bộ lọc Retinal filter có vai trò gì trong hệ thống?

Bộ lọc Retinal filter mô phỏng cơ chế thị giác sinh học (lớp Photoreceptor và Outer Plexiform) bằng cách áp dụng phương trình Naka-Rushton, hai bộ lọc Gaussian ($\sigma_1=1, \sigma_2=3$) và bộ lọc sai phân Gauss DoG ($\sigma_{Ph}=0{,}5$). Bộ lọc giúp chuẩn hóa ảnh từ các điều kiện chiếu sáng khác nhau về cùng dải giá trị tương đồng và làm sắc nét các đường viền quan trọng (mắt, lông mày, miệng).

---

Kết luận

Đồ án tốt nghiệp của tác giả Hà Xuân Thân đã nghiên cứu và triển khai thành công hệ thống tự động nhận dạng trạng thái buồn ngủ của người lái xe bằng thuật toán Facial Landmark trên máy tính nhúng Raspberry Pi. Bằng việc kết hợp đặc trưng HOG, bộ lọc Retinal filter và tỷ lệ hình học mắt EAR, hệ thống đã phát hiện chính xác trạng thái nhắm mắt và đưa ra cảnh báo kịp thời. Đây là công trình thực nghiệm hoàn chỉnh, kết hợp chặt chẽ giữa cơ sở lý thuyết thị giác máy tính và ứng dụng kỹ thuật nhúng phục vụ an toàn giao thông.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ XỬ LÝ ẢNH 1.1Tổng quan về xử lý ảnh Xử lý ảnh (XLA) là đối tượng nghiên cứu của lĩnh vực thị giác máy, là quá trình biến đổi từ một ảnh ban đầu sang một ảnh mới với các đặc tính và tuân theo ý muốn của người sử dụng. Xử lý ảnh có thể gồm quá trình phân tích, phân lớp các đối tượng, làm tăng chất lượng, phân đoạn và tách cạnh, gán nhãn cho vùng hay quá trình biên dịch các thông tin hình ảnh của ảnh. Cũng như xử lý dữ liệu bằng đồ hoạ, xử lý ảnh số là một lĩnh vực của tin học ứng dụng. Xử lý dữ liệu bằng đồ họa đề cập đến những ảnh nhân tạo, các ảnh này được xem xét như là một cấu trúc dữ liệu và được tạo bởi các chương trình.

Xử lý ảnh số bao gồm các phương pháp và kỹ thuật biến đổi, để truyền tải hoặc mã hoá các ảnh tự nhiên. Mục đích của xử lý ảnh gồm: + Biến đổi ảnh làm tăng chất lượng ảnh. + Tự động nhận dạng ảnh, đoán nhận ảnh, đánh giá các nội dung của ảnh. Nhận biết và đánh giá các nội dung của ảnh là sự phân tích một hình ảnh thành những phần có ý nghĩa để phân biệt đối tượng này với đối tượng khác, dựa vào đó ta có thể mô tả cấu trúc của hình ảnh ban đầu.

Có thể liệt kê một số phương pháp nhận dạng cơ bản như nhận dạng ảnh của các đối tượng trên ảnh, tách cạnh, phân đoạn hình ảnh,… Kỹ thuật này được dùng nhiều trong y học (xử lý tế bào, nhiễm sắc thể), nhận dạng chữ trong văn bản 1.2Các quá trình xử lý ảnh Hình 1.1 Các giai đoạn chính trong xử lý ảnh 5 Đồ án tốt nghiệp – Hà Xuân Thân – 20122462 Thu nhận ảnh: Đây là công đoạn đầu tiên mang tính quyết định đối với quá trình XLA. Ảnh đầu vào sẽ được thu nhận qua các thiết bị như camera, sensor, máy scanner,v.v… và sau đó các tín hiệu này sẽ được số hóa. Việc lựa chọn các thiết bị thu nhận ảnh sẽ phụ thuộc vào đặc tính của các đối tượng cần xử lý. Các thông số quan trọng ở bước này là độ phân giải, chất lượng màu, dung lượng bộ nhớ và tốc độ thu nhận ảnh của các thiết bị Tiền xử lý: Ở bước này, ảnh sẽ đƣợc cải thiện về độ tương phản, khử nhiễu, khử bóng, khử độ lệch,v.v… với mục đích làm cho chất lượng ảnh trở lên tốt hơn nữa, chuẩn bị cho các bước xử lý phức tạp hơn về sau trong quá trình XLA.

Quá trình này thường được thực hiện bởi các bộ lọc. Phân đoạn ảnh: phân đoạn ảnh là bước then chốt trong XLA. Giai đoạn này phân tích ảnh thành những thành phần có cùng tính chất nào đó dựa theo biên hay các vùng liên thông. Tiêu chuẩn để xác định các vùng liên thông có thể là cùng màu, cùng mức xám v.v… Mục đích của phân đoạn ảnh là để có một miêu tả tổng hợp về nhiều phần tử khác nhau cấu tạo lên ảnh thô.

Vì lượng thông tin chứa trong ảnh rất lớn, trong khi đa số các ứng dụng chúng ta chỉ cần trích một vài đặc trưng nào đó, do vậy cần có một quá trình để giảm lượng thông tin khổng lồ đó. Quá trình này bao gồm phân vùng ảnh và trích chọn đặc tính chủ yếu. Tách các đặc tính: Kết quả của bước phân đoạn ảnh thường được cho dưới dạng dữ liệu điểm ảnh thô, trong đó hàm chứa biên của một vùng ảnh, hoặc tập hợp tất cả các điểm ảnh thuộc về chính vùng ảnh đó. Trong cả hai trường hợp, sự chuyển đổi dữ liệu thô này thành một dạng thích hợp hơn cho việc xử lý trong máy tính là rất cần thiết.

Để chuyển đổi chúng, câu hỏi đầu tiên cần phải trả lời là nên biểu diễn một vùng ảnh dưới dạng biên hay dƣưới dạng một vùng hoàn chỉnh gồm tất cả những điểm ảnh thuộc về nó. Biểu diễn dạng biên cho một vùng phù hợp với những ứng dụng chỉ quan tâm chủ yếu đến các đặc trưng hình dạng bên ngoài của đối tượng, ví dụ như các góc cạnh và điểm uốn trên biên chẳng hạn. Biểu diễn dạng vùng lại thích hợp cho những ứng dụng khai thác các tính chất bên trong của đối tượng, ví dụ như vân ảnh hoặc cấu trúc xương của nó. Sự chọn 6 Đồ án tốt nghiệp – Hà Xuân Thân – 20122462 lựa cách biểu diễn thích hợp cho một vùng ảnh chỉ mới là một phần trong việc chuyển đổi dữ liệu ảnh thô sang một dạng thích hợp hơn cho các xử lý về sau.

Chúng ta còn phải đưa ra một phương pháp mô tả dữ liệu đã được chuyển đổi đó sao cho những tính chất cần quan tâm đến sẽ được làm nổi bật lên, thuận tiện cho việc xử lý chúng. Nhận dạng và giải thích: Đây là bước cuối cùng trong quá trình XLA. Nhận dạng ảnh có thể được nhìn nhận một cách đơn giản là việc gán nhãn cho các đối tượng trong ảnh. Ví dụ đối với nhận dạng chữ viết, các đối tượng trong ảnh cần nhận dạng là các mẫu chữ, ta cần tách riêng các mẫu chữ đó ra và tìm cách gán đúng các ký tự của bảng chữ cái tựơng ứng cho các mẫu chữ thu được trong ảnh.

Giải thích là công đoạn gán nghĩa cho một tập các đối tượng đã đƣợc nhận biết. Chúng ta cũng có thể thấy rằng, không phải bất kỳ một ứng dụng XLA nào cũng bắt buộc phải tuân theo tất cả các bước xử lý đã nêu ở trên, ví dụ như các ứng dụng chỉnh sửa ảnh nghệ thuật chỉ dừng lại ở bước tiền xử lý. Một cách tổng quát thì những chức năng xử lý bao gồm cả nhận dạng và giải thích thường chỉ có mặt trong hệ thống phân tích ảnh tự động hoặc bán tự động, được dùng để rút trích ra những thông tin quan trọng từ ảnh, ví dụ như các ứng dụng nhận dạng ký tự quang học, nhận dạng chữ viết tay v. Ảnh và biểu diễn ảnh Ảnh trong thực tế là một ảnh liên tục cả về không gian và giá trị độ sáng.

Để có thể xử lý ảnh bằng máy tính thì cần thiết phải tiến hành số hóa ảnh. Quá trình số hóa biến đổi các tín hiệu liên tục sang tín hiệu rời rạc thông qua quá trình lấy mẫu (rời rạc hóa về không gian) và lượng tử hóa các thành phần giá trị mà về nguyên tắc bằng mắt thường không thể phân biệt được hai điểm liền kề nhau. Các điểm như vậy được gọi là các pixel (Picture Element) hay các phần tử ảnh hoặc điểm ảnh. Ở đây cần phân biệt khái niệm pixel hay đề cập đến trong các hệ thống đồ họa máy tính.

Để tránh nhầm lẫn ta gọi khái niệm pixel này là pixel thiết bị. Khái niệm pixel thiết bị có thể xém xét như sau: khi ta quan sát màn hình (trong chế độ đồ họa), màn hình không liên tục mà gồm các điểm nhỏ, gọi là pixel. Mỗi pixel gồm một tập tọa độ (x, y) và màu. 7 Đồ án tốt nghiệp – Hà Xuân Thân – 20122462 Như vậy mỗi ảnh là tập hợp các điểm ảnh.

Khi được số hóa nó thường được biểu diễn bởi mảng 2 chiều I(n,p): n là dòng và p là cột. Về mặt toán học có thể xem ảnh là một hàm hai biến f(x,y) với x, y là các biến tọa độ. Giá trị số ở điểm (x,y) tương ứng với giá trị xám hoặc độ sáng của ảnh (x là các cột còn y là các hàng). Giá trị của hàm ảnh f(x,y) được hạn chế trong phạm vi của các số nguyên dương Với ảnh đen trắng mức xám của ảnh có thể được biểu diễn bởi một số như sau: Trong đó 𝑆𝐵𝑊 () là đặc tính phổ của cảm biến được sử dụng và k là hệ số tỷ lệ xích.

Vì sự cảm nhận độ sáng có tầm quan trọng hàng đầu đối với ảnh đen trắng nên 𝑆𝐵𝑊 () được chọn giống như là hiệu suất sáng tương đối. Vì f biểu diễn công suất trên đơn vị diện tích, nên nó bao giờ cũng không âm và hữu hạn. Trong đó 𝑓𝑚𝑎𝑥 là giá trị lớn nhất mà f đạt được. Trong xử lý ảnh, f được chia thang sao cho nó nằm trong một phạm vi thuận lợi nào đó.

Thông thƣờng đối với ảnh xám, giá trị 𝑓𝑚𝑎𝑥 là 255 ( 28 =256) bởi vì mỗi phần tử ảnh được mã hóa bởi một byte. Khi quan tâm đến ảnh màu ta có thể mô tả màu qua ba hàm số: thành phần màu đỏ qua R(x,y), thành phần màu lục qua G(x,y) và thành phần màu lam qua B(x,y). Bộ ba giá trị R, G, và B nhận được từ: 8 Đồ án tốt nghiệp – Hà Xuân Thân – 20122462 Ở đó 𝑆𝑅 (),𝑆𝐺 ( ) và 𝑆𝐵 ( ) theo thứ tự là những đặc tính phổ của các cảm biến (bộ lọc) đỏ, lục và lam. R, G, B cũng không âm và hữu hạn.

Ảnh có thể được biểu diễn theo một trong hai mô hình: mô hình Vector hoặc mô hình Raster. Mô hình Vector: Ngoài mục đích tiết kiệm không gian lưu trữ, dễ dàng hiển thị và in ấn, các ảnh biểu diễn theo mô hình vector còn có ưu điểm cho phép dễ dàng lựa chọn, sao chép, di chuyển, tìm kiếm…Theo những yêu cầu này thì kỹ thuật biểu diễn vector tỏ ra ưu việt hơn. Trong mô hình này, người ta sử dụng hướng vector của các điểm ảnh lân cận để mã hóa và tái tạo lại hình ảnh ban đầu. Các ảnh vector đueợc thu nhận trực tiếp từ các thiết bị số hóa nhue Digitalize hoặc đƣợc chuyển đổi từ các ảnh Raster thông qua các chương trình vector hóa.

Mô hình Raster: là mô hình biểu diễn ảnh thông dụng nhất hiện nay. Ảnh được biểu diễn dưới dạng ma trận các điểm ảnh. Tùy theo nhu cầu thực tế mà mỗi điểm ảnh có thể được biểu diễn bởi một hay nhiều bit. Mô hình Raster thuận lợi cho việc thu nhận, hiển thị và in ấn.

Các ảnh được sử dụng trong phạm vi của đề tài này cũng là các ảnh được biểu diễn theo mô hình Raster. Khi xử lý các ảnh Raster chúng ta có thể quan tâm đến mối quan hệ trong vùng lân cận của các điểm ảnh. Các điểm ảnh có thể xếp hàng trên một lưới (raster) hình vuông, lưới hình lục giác hoặc theo một cách hoàn toàn ngẫu nhiên với nhau.1Quan hệ trong vùng lân cận giữa các điểm ảnh 9 Đồ án tốt nghiệp – Hà Xuân Thân – 20122462 Cách sắp xếp theo hình vuông là được quan tâm đến nhiều nhất và có hai loại: điểm 4 láng giềng (4 liền kề) hoặc 8 láng giềng (8 liền kề).