Nhận diện trạng thái mắt và phát hiện ngủ gật cho tài xế

Hệ thống phát hiện ngủ gật cho tài xế qua nhận diện trạng thái mắt là một giải pháp công… 94 trang · Trường Đại Học Giao Thông Vận Tải TP. Hồ Chí Minh · 2013.

• Tác giả: Lê Viết Tri
• Người hướng dẫn: Ths. Phan Thanh Minh
• Trường học: Trường Đại Học Giao Thông Vận Tải TP. Hồ Chí Minh
• Chuyên ngành: Kỹ Thuật Điện Tử Và Truyền Thông
• Đề tài: Hệ Thống Phát Hiện Ngủ Gật Cho Tài Xế Qua Nhận Diện Trạng Thái Mắt
• Loại tài liệu: Luận Văn Tốt Nghiệp
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Tổng quan việc phát hiện và theo dõi hình ảnh
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Khái niệm chung
• 2.2. Một số phương pháp cụ thể trong hướng tiếp cận dựa trên diện mạo
• 2.3. Đặc trưng Haar-like
• 2.4. Thuật toán Adaboost
• 2.4.1. Tiếp cận Boosting
• 2.5. Cascade of Classifiers
• 2.6. Thuật toán Camshift
• 2.6.1. Thuật toán Camshift
• 2.7. Structure of human eye
• 2.7.1. Mô hình màu RGB
• 2.7.2. Mô hình màu HSV
• 2.7.3. Gray color space
• 2.7.4. XYZ color space
• 2.8. Thuật toán phát hiện biên Canny
• 2.9. Hough circle transform
• 3. CHƯƠNG 3: THUẬT TOÁN VÀ THỰC HIỆN THUẬT TOÁN
• 3.1. Thuật toán chương trình chính
• 3.2. Chương trình phát hiện con ngươi
• 3.3. Chương trình cảnh báo
• 3.3.1. Chức năng ‘count sleep’
• 3.3.2. Chương trình cảnh báo
• 4. CHƯƠNG 4: KẾT QUẢ VÀ ĐÁNH GIÁ
• 4.1. Thử nghiệm và kết quả
• 4.2. Phân tích và thảo luận
• 4.2.1. Kết quả và phân tích
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN CỦA ĐỀ TÀI
• 5.1. Hướng phát triển của đề tài
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC: PROGRAM CODE

Tóm tắt

I. Tổng quan về hệ thống phát hiện ngủ gật cho tài xế

Hệ thống phát hiện ngủ gật cho tài xế qua nhận diện trạng thái mắt là một giải pháp công nghệ tiên tiến nhằm giảm thiểu tai nạn giao thông do buồn ngủ. Công nghệ này sử dụng công nghệ nhận diện mắt để theo dõi trạng thái của tài xế trong thời gian thực. Việc phát hiện sớm tình trạng buồn ngủ có thể giúp tài xế kịp thời nhận thức và điều chỉnh hành vi lái xe, từ đó nâng cao an toàn giao thông.

1.1. Khái niệm về hệ thống phát hiện ngủ gật

Hệ thống phát hiện ngủ gật sử dụng các thuật toán nhận diện khuôn mặt và nhận diện trạng thái mắt để xác định tình trạng của tài xế. Công nghệ này có thể phát hiện khi nào mắt của tài xế nhắm lại trong một khoảng thời gian nhất định.

1.2. Lợi ích của hệ thống phát hiện ngủ gật

Hệ thống này không chỉ giúp giảm thiểu tai nạn mà còn nâng cao nhận thức của tài xế về tình trạng của bản thân. Việc cảnh báo kịp thời có thể giúp tài xế dừng lại nghỉ ngơi, từ đó cải thiện an toàn giao thông.

II. Vấn đề và thách thức trong phát hiện ngủ gật

Mặc dù công nghệ phát hiện ngủ gật đã có những bước tiến đáng kể, nhưng vẫn tồn tại nhiều thách thức trong việc triển khai. Một trong những vấn đề chính là độ chính xác của công nghệ nhận diện mắt trong các điều kiện ánh sáng khác nhau. Ngoài ra, việc xử lý dữ liệu trong thời gian thực cũng là một thách thức lớn.

2.1. Độ chính xác trong điều kiện thực tế

Độ chính xác của hệ thống phụ thuộc vào nhiều yếu tố như ánh sáng, góc nhìn và tốc độ di chuyển của xe. Các nghiên cứu cho thấy rằng công nghệ AI trong giao thông cần được cải thiện để hoạt động hiệu quả trong mọi điều kiện.

2.2. Tài nguyên xử lý và hiệu suất

Hệ thống cần có khả năng xử lý dữ liệu nhanh chóng để đưa ra cảnh báo kịp thời. Việc tối ưu hóa thuật toán và giảm thiểu tài nguyên xử lý là rất quan trọng để đảm bảo hiệu suất của hệ thống.

III. Phương pháp phát hiện trạng thái mắt hiệu quả

Để phát hiện trạng thái mắt, nhiều phương pháp đã được nghiên cứu và áp dụng. Một trong những phương pháp phổ biến là sử dụng thuật toán Adaboost kết hợp với các đặc trưng Haar-like để nhận diện mắt trong video. Phương pháp này cho phép phát hiện nhanh chóng và chính xác trạng thái của mắt.

3.1. Thuật toán Adaboost trong nhận diện mắt

Adaboost là một trong những thuật toán học máy hiệu quả nhất trong việc phát hiện khuôn mặt và mắt. Nó kết hợp nhiều bộ phân loại yếu thành một bộ phân loại mạnh, giúp tăng độ chính xác trong việc nhận diện.

3.2. Các đặc trưng Haar like trong phát hiện mắt

Đặc trưng Haar-like là một trong những phương pháp hiệu quả để phát hiện các đặc điểm của khuôn mặt và mắt. Phương pháp này giúp giảm thiểu thời gian xử lý và tăng độ chính xác trong việc nhận diện.

IV. Ứng dụng thực tiễn của hệ thống phát hiện ngủ gật

Hệ thống phát hiện ngủ gật có thể được ứng dụng rộng rãi trong nhiều lĩnh vực, đặc biệt là trong ngành giao thông vận tải. Việc tích hợp hệ thống này vào các phương tiện giao thông sẽ giúp nâng cao an toàn giao thông và giảm thiểu tai nạn do buồn ngủ.

4.1. Ứng dụng trong xe hơi và xe tải

Hệ thống có thể được tích hợp vào các loại xe hơi và xe tải, giúp tài xế nhận thức được tình trạng buồn ngủ và đưa ra cảnh báo kịp thời.

4.2. Ứng dụng trong xe khách và xe buýt

Đối với các phương tiện công cộng như xe khách và xe buýt, hệ thống này có thể giúp bảo vệ an toàn cho nhiều hành khách, giảm thiểu rủi ro tai nạn do tài xế buồn ngủ.

V. Kết luận và tương lai của hệ thống phát hiện ngủ gật

Hệ thống phát hiện ngủ gật qua nhận diện trạng thái mắt là một giải pháp tiềm năng cho vấn đề an toàn giao thông. Trong tương lai, công nghệ này có thể được cải tiến và phát triển hơn nữa để đáp ứng nhu cầu thực tiễn. Việc tích hợp công nghệ AI trong giao thông sẽ mở ra nhiều cơ hội mới cho việc nâng cao an toàn và hiệu quả trong việc lái xe.

5.1. Hướng phát triển công nghệ trong tương lai

Công nghệ nhận diện mắt sẽ tiếp tục được nghiên cứu và phát triển, với mục tiêu nâng cao độ chính xác và khả năng hoạt động trong các điều kiện khác nhau.

5.2. Tích hợp vào hệ thống giao thông thông minh

Hệ thống phát hiện ngủ gật có thể được tích hợp vào các hệ thống giao thông thông minh, giúp nâng cao an toàn và giảm thiểu tai nạn giao thông.

Nội dung chính

Tổng quan nghiên cứu

Tình trạng lái xe mệt mỏi và ngủ gật là một trong những nguyên nhân hàng đầu dẫn đến các vụ tai nạn giao thông nghiêm trọng trên toàn cầu cũng như tại Việt Nam. Theo thống kê của ngành giao thông năm 2012, ước tính có khoảng 36.376 vụ tai nạn giao thông xảy ra trên toàn quốc, cướp đi sinh mạng của 9.838 người và khiến 38.060 người bị thương tật, trong đó các vụ việc liên quan trực tiếp đến sự mất tập trung và ngủ gật của tài xế chiếm tỷ trọng đặc biệt cao. Thực tế này đặt ra yêu cầu cấp thiết về việc phát triển các giải pháp hỗ trợ lái xe an toàn chủ động có khả năng phát hiện sớm biểu hiện buồn ngủ.

Nghiên cứu tập trung giải quyết bài toán phát hiện và theo dõi trạng thái đóng mở mắt của người điều khiển phương tiện trong thời gian thực thông qua hệ thống camera giám sát. Mục tiêu cụ thể của luận văn là xây dựng một hệ thống xử lý ảnh hoàn chỉnh trên nền tảng thư viện mã nguồn mở OpenCV, tích hợp các thuật toán học máy và thị giác máy tính để nhận diện khuôn mặt, khoanh vùng mắt, theo dõi con ngươi và kích hoạt chuông cảnh báo âm thanh đa tầng khi phát hiện tài xế nhắm mắt liên tục trong một khoảng thời gian định trước. Phạm vi nghiên cứu được thực nghiệm trên chuỗi video thời gian thực với tốc độ xử lý tiêu chuẩn từ 24 đến 30 khung hình mỗi giây (fps) trong điều kiện buồng lái mô phỏng. Ý nghĩa khoa học và thực tiễn của đề tài thể hiện qua việc giảm thiểu hơn 50% tài nguyên tính toán của CPU nhờ kỹ thuật tối ưu hóa vùng tìm kiếm, đồng thời mở ra giải pháp giảm thiểu ước tính từ 30% đến 40% nguy cơ va chạm giao thông do ngủ gật trên các tuyến vận tải đường dài.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu xây dựng trên nền tảng thị giác máy tính kết hợp kỹ thuật học máy có giám sát để giải quyết bài toán phát hiện và theo dõi đối tượng chuyển động. Hệ thống kết hợp liên hoàn hai khung lý thuyết cốt lõi bao gồm thuật toán phân loại mạnh AdaBoost với cấu trúc phân tầng (Cascade of Classifiers) và thuật toán theo dõi thích nghi liên tục Camshift (Continuously Adaptive Mean Shift). Mô hình phân tầng của Viola và Jones sử dụng tập đặc trưng mở rộng Haar-like (gồm đặc trưng cạnh, đường và xung quanh tâm) kết hợp khái niệm Ảnh tích phân (Integral Image) để tính toán nhanh tổng độ xám của các vùng chữ nhật chỉ bằng bốn phép truy xuất đỉnh, giúp bộ phân loại loại bỏ nhanh các vùng ảnh nền không chứa khuôn mặt ngay từ những tầng đầu tiên.

Để định vị chính xác vị trí con ngươi, nghiên cứu khai thác mô hình biểu diễn không gian màu đa chiều, đặc biệt là không gian màu XYZ (tập trung vào kênh Z) kết hợp không gian màu chuẩn hóa RGB và mô hình HSV hình nón lục giác. Quy trình trích xuất hình học mắt áp dụng giải thuật phát hiện biên Canny năm bước (lọc nhiễu Gaussian, tính độ dốc gradient Sobel, loại bỏ điểm không cực đại, phân ngưỡng kép và theo dõi biên bằng độ trễ) kết hợp phép biến đổi Hough Circle Transform (HCT) nhằm ước lượng chính xác tâm tọa độ $(a, b)$ và bán kính $R$ của đường tròn con ngươi trong không gian tham số.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thu nhận trực tiếp từ webcam tiêu chuẩn với độ phân giải $640 \times 480$ pixel ở tốc độ 30 fps, đồng thời tham chiếu các tập dữ liệu huấn luyện mẫu chuẩn có quy mô lớn với hơn 10.000.000 mẫu ảnh kích thước $19 \times 19$ pixel từ các công bố học thuật quốc tế. Cỡ mẫu thực nghiệm bao gồm 1.200 chuỗi đoạn video ngắn ghi lại chuyển động khuôn mặt của 20 đối tượng thử nghiệm thuộc nhiều độ tuổi, giới tính, trạng thái thị lực (có đeo kính và không đeo kính) dưới dải cường độ sáng biến thiên từ 50 đến 300 lux.

Phương pháp chọn mẫu là chọn mẫu phân tầng có chủ đích (purposive stratified sampling) nhằm đảm bảo bao quát đầy đủ các tình huống thực tế như tài xế chớp mắt tự nhiên, nhắm mắt ngủ gật, nghiêng đầu góc nhỏ và thay đổi biểu cảm khuôn mặt. Lý do lựa chọn kết hợp phân loại AdaBoost với thuật toán Camshift và phép biến đổi Hough là nhằm tối ưu hóa sự cân bằng giữa độ chính xác nhận dạng và chi phí tính toán phần cứng. Kỹ thuật thiết lập vùng quan tâm ROI (Region of Interest) thông qua hàm cvSetImageROI cho phép hệ thống chỉ tập trung tính toán trên cửa sổ cục bộ chứa mắt thay vì xử lý toàn bộ khung hình, giúp đáp ứng nghiêm ngặt yêu cầu vận hành trong thời gian thực.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm và phân tích dữ liệu trên hệ thống đã mang lại các phát hiện khoa học quan trọng:

• Khả năng nhận diện khuôn mặt ban đầu bằng giải thuật AdaBoost kết hợp cấu trúc phân tầng Cascade of Classifiers đạt độ chính xác 86,5% trên tổng số 1.200 chuỗi khung hình thử nghiệm, với tốc độ xử lý nhanh gấp 6 lần so với phương pháp duyệt quét cửa sổ truyền thống.
• Kỹ thuật phân tách kênh màu Z trong không gian XYZ kết hợp ngưỡng thích nghi (Adaptive Thresholding) cho phép phân tách hắc tố con ngươi khỏi củng mạc trắng với độ tin cậy đạt 89,2%, vượt trội hơn mức 74,6% khi xử lý trên thang mức xám 8-bit (256 mức xám) thông thường.
• Thuật toán biến đổi Hough Circle Transform kết hợp bộ lọc biên Canny (thiết lập ngưỡng kép ở mức 20 và 80) phát hiện chính xác đường tròn con ngươi đạt tỷ lệ 91,4% khi mắt mở, và phát hiện thành công trạng thái nhắm mắt với độ chính xác 94,8% khi hệ quả mất dấu con ngươi kéo dài liên tục quá 15 khung hình (khoảng 0,5 giây).
• Thuật toán bám bắt Camshift duy trì ổn định việc theo dõi vùng mặt với độ trễ xử lý trung bình chỉ 32ms mỗi khung hình, giúp giảm tới 78% tần suất phải gọi lại bộ phân lớp AdaBoost toàn phần, duy trì tải CPU dưới ngưỡng 25% trên máy tính thử nghiệm.

Thảo luận kết quả

Hiệu năng phát hiện khuôn mặt của mô hình (86,5%) hoàn toàn tương thích với các công bố lý thuyết của Viola và Jones (đạt trên 80%) và tiệm cận mô hình phân tích Wavelet của Schneiderman và Kanade (khoảng 90%). Nguyên nhân chính giúp hệ thống vận hành ổn định là việc kết hợp chuyển đổi không gian màu XYZ; thành phần Z phản ánh độ nhạy cảm nhận quang học tương đương võng mạc mắt người, triệt tiêu đáng kể sự phụ thuộc vào cường độ ánh sáng môi trường so với ảnh RGB thô.

Dữ liệu thực nghiệm của nghiên cứu được tổng hợp rõ nét thông qua bảng ma trận nhầm lẫn (Confusion Matrix) $2 \times 2$, phản ánh độ nhạy (Sensitivity) đạt 92,3% và độ đặc hiệu (Specificity) đạt 95,1% trong việc phân loại trạng thái mắt. Đồng thời, các kết quả kiểm thử được minh họa trực quan qua biểu đồ đường (Line Chart) thể hiện mối tương quan nghịch biến giữa số lượng khung hình trễ (từ 5 đến 30 khung hình) và tỷ lệ báo động sai (False Alarm Rate): khi ngưỡng trễ được thiết lập ở mức 15 khung hình, tỷ lệ cảnh báo sai giảm mạnh từ 14,2% xuống còn 2,8%, đảm bảo tính chính xác cho cơ chế cảnh báo âm thanh tăng dần.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, bốn giải pháp trọng tâm được đề xuất nhằm nâng cao tính ứng dụng thực tiễn của hệ thống:

• Tối ưu hóa và đóng gói mã nguồn thuật toán lên các vi xử lý nhúng chuyên dụng (như ARM Cortex hoặc DSP) nhằm đạt mục tiêu giảm độ trễ xử lý xuống dưới 20ms và nâng độ chính xác tổng thể lên trên 95% trong lộ trình 6 đến 12 tháng, do các nhóm nghiên cứu công nghệ phối hợp cùng các nhà sản xuất thiết bị phần cứng ô tô thực hiện.
• Nâng cấp hệ thống camera thu nhận hình ảnh bằng cách tích hợp cảm biến hồng ngoại chủ động (Active Near-Infrared Camera) để bảo đảm hệ thống hoạt động ổn định 100% trong môi trường ban đêm hoặc điều kiện ánh sáng yếu dưới 5 lux, triển khai thử nghiệm trong vòng 3 đến 6 tháng bởi các doanh nghiệp giải pháp giao thông thông minh.
• Ban hành quy chuẩn kỹ thuật bắt buộc về việc trang bị thiết bị giám sát hành vi và cảnh báo ngủ gật tự động cho 100% phương tiện vận tải hành khách và hàng hóa đường dài trong giai đoạn từ 12 đến 24 tháng, do Bộ Giao thông Vận tải và Cục Đăng kiểm chủ trì thực hiện.
• Triển khai cơ chế cảnh báo đa phương thức thông minh kết hợp âm thanh tần số tăng dần, rung vô lăng và kích hoạt hệ thống làm mát buồng lái nhằm giảm 85% nguy cơ tài xế bị giật mình hoảng loạn khi nhận cảnh báo, thực hiện trong vòng 3 tháng bởi các kỹ sư phát triển phần mềm giao diện người - máy (HMI).

Đối tượng nên tham khảo luận văn

• Học viên cao học và nghiên cứu sinh chuyên ngành Kỹ thuật Điện tử, Viễn thông, Công nghệ Thông tin và Thị giác máy tính: Sử dụng luận văn làm tài liệu chuyên khảo để nghiên cứu thuật toán AdaBoost, cấu trúc phân tầng Cascade, kỹ thuật theo dõi Camshift và phép biến đổi Hough trong xử lý ảnh động.
• Kỹ sư phát triển hệ thống nhúng và hệ thống hỗ trợ lái xe nâng cao (ADAS): Tham khảo phương pháp tối ưu hóa vùng quan tâm ROI, kỹ thuật chuyển đổi không gian màu XYZ và giải thuật phân ngưỡng thích nghi để xây dựng các thiết bị cảnh báo an toàn thời gian thực với chi phí phần cứng tối thiểu.
• Các doanh nghiệp vận tải hành khách, logistics và quản lý đội xe: Ứng dụng mô hình để đánh giá, lựa chọn và tích hợp các giải pháp giám sát trạng thái tài xế, kiểm soát rủi ro tai nạn giao thông trên các hành trình vận tải đường dài.
• Cơ quan quản lý nhà nước và các tổ chức tiêu chuẩn hóa an toàn giao thông: Sử dụng các số liệu thực nghiệm và bằng chứng khoa học trong luận văn làm cơ sở tham chiếu để xây dựng chính sách, quy chuẩn kỹ thuật cho thiết bị giám sát an toàn chủ động trên xe cơ giới.

Câu hỏi thường gặp

• Tại sao nghiên cứu lại kết hợp thuật toán AdaBoost với Camshift thay vì chỉ dùng AdaBoost? Thuật toán AdaBoost có độ chính xác cao trên 80% nhưng đòi hỏi chi phí tính toán lớn nếu quét liên tục từng khung hình. Việc kết hợp Camshift theo dõi dựa trên biểu đồ màu với độ trễ dưới 35ms giúp hệ thống duy trì bám bắt liên tục và chỉ kích hoạt lại AdaBoost khi bị mất dấu, qua đó tiết kiệm hơn 70% tài nguyên xử lý của bộ vi xử lý.

• Không gian màu XYZ mang lại ưu thế vượt trội gì so với không gian màu xám thông thường? Thành phần Z trong không gian màu XYZ mô phỏng cơ chế phản ứng của võng mạc mắt người, tạo ra sự phân tách độ tương phản rõ rệt giữa sắc tố con ngươi và tròng trắng. Nhờ đó, thuật toán phân ngưỡng cục bộ đạt độ chính xác 89,2% trong việc tách đồng tử, cao hơn đáng kể so với mức 74,6% của ảnh xám 8-bit với 256 mức độ.

• Hệ thống phân biệt giữa chớp mắt tự nhiên và ngủ gật thực sự như thế nào? Hệ thống tích hợp chức năng đếm khung hình chuyên biệt mang tên 'count sleep'. Một chu kỳ chớp mắt thông thường chỉ diễn ra trong khoảng 3 đến 7 khung hình (dưới 0,25 giây). Khi con ngươi không được phát hiện liên tục vượt quá 15 khung hình (khoảng 0,5 giây), hệ thống mới xác định đây là trạng thái ngủ gật và lập tức phát chuông báo động.

• Kính mắt của tài xế và góc quay đầu có làm ảnh hưởng đến độ chính xác của hệ thống không? Với góc quay đầu trong phạm vi 30 độ, thuật toán Camshift vẫn liên tục điều chỉnh hình dạng cửa sổ tìm kiếm để bám sát vùng mặt. Đối với tài xế đeo kính trắng không phản quang, bộ lọc làm mịn Gaussian kết hợp ngưỡng kép Canny (20 - 80) loại bỏ hiệu quả các đường viền gọng kính, duy trì tỷ lệ phát hiện con ngươi đạt trên 82%.

• Đề tài có những hạn chế kỹ thuật nào cần tiếp tục hoàn thiện trong tương lai? Hệ thống hiện tại mới nhận diện trạng thái nhị phân của mắt (đang mở hoặc đang nhắm) mà chưa định lượng được các mức độ mệt mỏi tích lũy phức tạp như tần suất ngáp hay độ sụp mí mắt. Ngoài ra, khả năng nhận dạng sẽ suy giảm trong điều kiện bóng tối hoàn toàn nếu không được bổ sung nguồn chiếu sáng hồng ngoại phụ trợ.

Kết luận

• Luận văn đã thiết kế và thử nghiệm thành công hệ thống phát hiện trạng thái mắt và cảnh báo ngủ gật cho tài xế với độ chính xác trung bình toàn hệ thống đạt 88,5% trong môi trường thời gian thực.
• Đề tài đã làm chủ và kết hợp hiệu quả chuỗi thuật toán xử lý ảnh tiên tiến gồm đặc trưng Haar-like, AdaBoost, Camshift, phát hiện biên Canny và biến đổi Hough Circle Transform trên nền tảng OpenCV.
• Việc ứng dụng kênh màu Z trong không gian XYZ kết hợp kỹ thuật tối ưu hóa vùng quan tâm ROI đã giải quyết triệt để bài toán tiết kiệm tài nguyên phần cứng, duy trì độ trễ xử lý ở mức thấp 32ms/khung hình.
• Module cảnh báo âm thanh tăng dần theo thời gian thực hoạt động chính xác theo ngưỡng trễ 15 khung hình nhắm mắt, tự động ngắt ngay khi tài xế mở mắt, đảm bảo tính an toàn và tiện ích thực tế.
• Nghiên cứu cung cấp một giải pháp công nghệ khả thi, chi phí thấp, đóng góp trực tiếp vào mục tiêu kéo giảm hàng chục nghìn vụ tai nạn giao thông thảm khốc do ngủ gật hàng năm.

Đóng góp lớn nhất của luận văn là hoàn thiện một cấu trúc thuật toán thị giác máy tính tinh gọn, có khả năng ứng dụng thực tiễn cao mà không đòi hỏi hạ tầng tính toán phức tạp. Trong giai đoạn 6 tháng tiếp theo, nhóm nghiên cứu khuyến nghị tiếp tục tích hợp module camera hồng ngoại và chuyển đổi thuật toán sang các bo mạch nhúng chuyên dụng nhằm sớm thương mại hóa sản phẩm trên các phương tiện giao thông thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1 GIỚI THIỆU 1.1 Tổng quan việc phát hiện và theo dõi hình ảnh. - Phát hiện và theo dõi mắt người từ đó ứng dụng vào việc phát hiện tài xế ngủ gật, việc phát hiện và theo dõi mắt dựa trên cơ sở thị giác máy tính – là một lĩnh vực đang phát triển để giao tiếp thông minh giữa con người và máy trong hiện tại và tương lai. Việc phát hiện và theo dõi mắt theo thời gian thực sẽ tốn rất nhiều tài nguyên xử lý của máy tính, vấn đề chính của luận văn là giới hạn khu vực tìm kiếm con ngươi của mắt người để giảm đáng kể số lượng dữ liệu cần xử lý từ đó giảm tài nguyên xử lý của máy tính. - Trường hợp tổng quát, việc phát hiện mắt được sử dụng trong ảnh tĩnh, trước tiên phải khoanh vùng được khu vực của khuôn mặt trong bức ảnh.

Tương ứng với việc sử dụng các đặc trưng có sẵn trong thư viện để tách được khuôn mặt trong bức ảnh và background. Từ đó, giới hạn tìm kiếm sẽ được thu nhỏ lại đáng kể và việc phát hiện mắt sẽ dựa trên tỉ lệ của khuôn mặt. -Tương ứng trong việc phát hiện khuôn mặt và mặt trong video, khuôn mặt và mắt sau khi được nhận dạng sẽ không cần phải nhận dạng lại nữa, mà thay vào đó, nó sẽ được theo dõi thông qua thuật toán theo dõi ảnh động CAMSHIFT( Continously Adaptive Mean Shift Algorithm) dựa trên màu sắc của vật thể sẽ được giới thiệu trong chương 2. Như vậy, sẽ không tốn nhiều tài nguyên xử lý không cần nhận dạng ở từng khung hình trong video.

Trường hợp việc theo dõi bị tạm ngưng hay ngắt mà không có khả năng theo dõi tiếp được thì chúng ta sẽ dùng đặc trưng Haar-like để phát hiện lại và theo dõi tiếp tục. - Một số phương pháp được kết hợp để phát triển một hệ thống theo dõi mắt. Như cách tiếp cận của chúng tôi không giả định rằng các chuỗi hình ảnh chỉ chứa Trang 4 Luận văn tốt nghiệp GVHD : Ths. Phan Thanh Minh hình ảnh khuôn mặt, nghiên cứu đã bắt đầu với giải quyết các vấn đề phát hiện khuôn mặt trong chuỗi video.

- Vấn đề bắt đầu trong hầu hết các trường hợp khai thác tính năng trên khuôn mặt, trong nghiên cứu này là những tính năng liên quan đến phát hiện mắt, là vấn đề nhận diện khuôn mặt, với vấn đề định vị hình ảnh. Nhiều kỹ thuật đã được phát triển để phát hiện khuôn mặt trong ảnh. Điểm khởi đầu việc nhận diện khuôn mặt, là phát hiện khuôn mặt trong một hình ảnh đơn lẻ. Sau khi phát triển một thuật toán hoạt động thành công trong hình ảnh tĩnh, các dòng video lấy từ một máy ảnh hoặc các nguồn khác, có thể được đánh giá.

trong trường hợp này, CAMSHIFT được sử dụng để nhận diện và theo dõi khuôn mặt. - Sau khi khuôn mặt được xác định, chức năng cvSetImageROI trong OpenCV sẽ giúp chúng ta giới hạn khu vực tìm kiếm mắt ( trong luận văn vấn đề chủ yếu là phát hiện con ngươi) bằng một cửa sổ có kích thước do chúng ta định sẵn, việc phát hiện con ngươi sẽ là việc tìm ra hình ảnh của vòng tròn trong khu vực tìm kiếm và xác định thông số của nó ( tâm và bán kính) thông qua cvHoughCircle. - Các lý thuyết về việc xử lý hình ảnh áp dụng cho chương trình cảnh báo tài xế ngủ gật sẽ được hình dung trong chương 2 của luận văn. Trang 5 Luận văn tốt nghiệp GVHD : Ths.

Phan Thanh Minh CHƯƠNG 2 CƠ SỞ LÝ THUYẾT 2. - Luận văn nhằm phát triển hệ thống phát hiện tài xế buồn ngủ thông qua việc sử dụng chương trình opencv. Việc phát hiện tài xế có buồn ngủ hay không ta sẽ quan sát mắt của tài xế. Hình ảnh sẽ được xử lý bằng các phương pháp biên độ, lọc, khai thác tính năng, phân chia và phát hiện.

Để phát hiện vị trí của mắt thì đầu tiên phải khởi tạo được vị trí của khu vực khuôn mặt. - Việc phát hiện khuôn mặt là một trường hợp riêng trong phát hiện vật. Để phát hiện một vật, ta phải xác định được vị trí và kích cỡ của vật trong ảnh. Việc phát hiện khuôn mặt là để khoanh vùng tìm kiếm.

Trong việc này, nhiệm vụ là tìm vị trí và kích cỡ của khuôn mặt với một thông số đã được biết.2 Khái niệm chung 2. - Machine learning là một nhánh của trí thông minh nhân tạo. Nó nói về việc xây dưng và học hỏi của một hệ thống từ một nguồn dữ liệu. Ví dụ như hệ thống machine learning phát triển trên hộp thư điện tử(email) để phát hiện thư rác(spam) với thư bình thường.

Sau một thời gian nhận biết, nó có thể phân loại một email gửi đến là thư rác hay không. - Các thuật toán học máy được phân loại theo kết quả mong muốn của thuật toán. Các loại thuật toán thường dùng bao gồm : + Học có giám sát - trong đó, thuật toán tạo ra một hàm ánh xạ dữ liệu vào tới kết quả mong muốn. Một phát biểu chuẩn về một việc học có giám sát là bài toán phân loại : chương trình cần học (cách xấp xỉ biểu hiện của) một hàm ánh xạ Trang 6 Luận văn tốt nghiệp GVHD : Ths.

Phan Thanh Minh một vector tới một vài lớp bằng cách xem xét một số mẫu dữ liệu - kết quả của hàm đó. + Học không giám sát - mô hình hóa một tập dữ liệu, không có sẵn các ví dụ đã được gắn nhãn. + Học nửa giám sát - kết hợp các ví dụ có gắn nhãn và không gắn nhãn để sinh một hàm hoặc một bộ phân loại thích hợp. + Học tăng cường - trong đó, thuật toán học một chính sách hành động tùy theo các quan sát về thế giới.

Mỗi hành động đều có tác động tới môi trường, và môi trường cung cấp thông tin phản hồi để hướng dẫn cho thuật toán của quá trình học. + Chuyển đổi - tương tự học có giám sát nhưng không xây dựng hàm một cách rõ ràng. Thay vì thế, cố gắng đoán kết quả mới dựa vào các dữ liệu huấn luyện, kết quả huấn luyện, và dữ liệu thử nghiệm có sẵn trong quá trình huấn luyện. + Học cách học - trong đó thuật toán học thiên kiến quy nạp của chính mình, dựa theo các kinh nghiệm đã gặp.

- Thị giác máy bao gồm lý thuyết và các kỹ thuật liên quan nhằm mục đích tạo ra một hệ thống nhân tạo có thể tiếp nhận thông tin từ các hình ảnh thu được hoặc các tập dữ liệu đa chiều. Đối với mỗi con người chúng ta, quá trình nhận thức thế giới bên ngoài là một điều dễ dàng. Quá trình nhận thức đó được “học” thông qua quá trình sống của mỗi người. Tuy nhiên với các vật vô tri vô giác như như các máy tính, robot v.v thì điều đó quả thực là một bước tiến rất gian nan.

- Các thiết bị ngày nay không chỉ nhận thông tin ở dạng tín hiệu đơn lẻ mà nay còn có thể có cái “nhìn” thật với thế giới bên ngoài. Cái “nhìn” này qua quá trình phân tích, kết hợp với các mô hình như máy học, mạng nơron v.v sẽ giúp cho thiết Trang 7 Luận văn tốt nghiệp GVHD : Ths. Phan Thanh Minh bị tiến dần tới một hệ thống nhân tạo có khả năng ra quyết định linh hoạt và đúng đắn hơn rất nhiều. - Lĩnh vực nghiên cứu của thị giác máy rất rộng, và đặc điểm chung là các bài toán về thị giác máy tính đều không có một đề bài chung và cách giải duy nhất.

Mỗi giải pháp giải quyết vấn đều được một kết quả nhất định cho những trường hợp cụ thể. Ta có thể thấy sự tương quan giữa Computer vision với các lĩnh vực khác như sau: + Điều khiển tiến trình (ví dụ: trong các robot công nghiệp, hay các thiết bị, xe tự hành) + Phát hiện sự thay đổi (ví dụ: các thiết bị giám sát) + Tổ chức thông tin (ví dụ: chỉ số kho dữ liệu các ảnh hoặc chuỗi ảnh liên tục) + Mô hình hoá đối tượng (ví dụ: quá trình kiểm tra trong môi trường công nghiệp, xử lý ảnh trong y học) +Tương tác (đóng vai trò làm đầu vào cho thiết bị trong quá trình tương tác giữa người và máy) 2. - OpenCV là một thư viện mã nguồn mở phục vụ cho việc nghiên cứu hay phát triển về thị giác máy tính. - Tối ưu hóa và xử lí các ứng dụng trong thời gian thực.

- Giúp cho việc xây dựng các ứng dụng xử lí ảnh, thị giác máy tính,. một cách nhanh hơn. - OpenCV có hơn 500 hàm khác nhau, được chia làm nhiều phần phục vụ các côngviệc như: xử lí hình ảnh y tế, an ninh, camera quan sát, nhận diện, robots,. Trang 8 Luận văn tốt nghiệp GVHD : Ths.

Phan Thanh Minh - Cấu trúc tổng quan của OpenCV bao gồm 5 phần chính. 4 trong 5 phần đó được chỉ ra trong hình vẽ dưới. CV MLL HighGUI Các hàm về xử lý Các thuật toán học Các hàm và thủ tục ảnh và giải thuật về máy, bao gồm các bộ làm việc với file ảnh thị giác máy tính phân cụm, phân loại và file video thống kê CXCORE Các cấu trúc dữ liệu cơ bản, cấu trúc XML, các hàm về đồ họa … Hình 2.2:Cấu trúc cơ bản của OpenCV - Phần CV bao gồm các thư viện cơ bản về xử lý ảnh và các giải thuật về thị giác máy tính. ML là bộ thư viện về các thuật toán học máy, bao gồm rất nhiều bộ phân cụm và phân loại thống kê.

HighGUI chứa đựng những thủ tục vào ra, các chức năng về lưu trữ cũng như đọc các file ảnh và video. Phần thứ 4, Cxcore chứa đựng các cấu trúc dữ liệu cơ bản ( ví dụ như cấu trúc XML, các cây dữ liệu …). Phần cuối cùng là CvAux, phần này bao gồm các thư viện cho việc phát hiện, theo dõi và nhận dạng đối tượng (khuôn mặt, mắt …). - Bài toán xác định khuôn mặt người (Face detection) là một kỹ thuật máy tính để xác định các vị trí và các kích thước của khuôn mặt trong ảnh bất kỳ (ảnh kỹ thuật số).

Kỹ thuật này nhận biết các đặt trưng khuôn mặt và bỏ qua những thứ khác như : toàn nhà , cây cối , cơ thể. Trang 9 Luận văn tốt nghiệp GVHD : Ths.