Luận văn Thạc sĩ: Nhận dạng hướng mắt - Trương Như Thanh (ĐH Bách Khoa Hà Nội)

Tìm hiểu cách nhận dạng hướng mắt sử dụng Webcam và OpenCV qua luận văn đầy đủ với hướng dẫn chi tiết và ứng dụng thực tế trong lập trình.

• Tác giả: Trương Như Thanh
• Người hướng dẫn: TS. Phạm Đăng Hải
• Trường học: Trường Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Nhận Dạng Hướng Mắt Bằng Webcam & OpenCV
• Loại tài liệu: Luận Văn Thạc Sĩ Kỹ Thuật
• Năm xuất bản: 2014
• Địa điểm: Hà Nội

Tóm tắt

I. Tổng Quan Về Nhận Dạng Hướng Mắt Bằng Webcam

Nhận dạng hướng mắt là một lĩnh vực quan trọng trong xử lý ảnh và thị giác máy tính. Luận văn này tập trung vào việc phát triển hệ thống nhận dạng hướng mắt sử dụng webcam và thư viện OpenCV. Bài toán này có nhiều ứng dụng thực tiễn như điều khiển giao diện người dùng, hỗ trợ y tế, và nghiên cứu hành vi con người. Thách thức chính của nhận dạng hướng mắt qua webcam bao gồm các điều kiện ánh sáng thay đổi, góc quay khác nhau, và sự che phủ của kính mắt hoặc tóc. Để giải quyết các vấn đề này, nghiên cứu đã áp dụng thuật toán Haar Cascade kết hợp với xử lý ảnh tiên tiến. Mục tiêu chính là xây dựng một mô hình nhận dạng hướng mắt hiệu quả, chính xác và có thể hoạt động trong các điều kiện thực tế đa dạng.

1.1. Khái Niệm Và Tầm Quan Trọng

Nhận dạng hướng mắt là quá trình xác định hướng nhìn của mắt người thông qua phân tích hình ảnh. Công nghệ này có giá trị lớn trong các ứng dụng tương tác người-máy tiên tiến. Từ lĩnh vực y học đến an toàn giao thông, nhận dạng mắt đóng vai trò crucial. Webcam là công cụ ideal vì tính sẵn có và chi phí thấp, giúp phổ cập hóa công nghệ này.

1.2. Thách Thức Trong Nhận Dạng Hướng Mắt

Các thách thức chính bao gồm biến đổi ánh sáng, chuyển động đầu, và phụ kiện che mặt. Điều kiện ngoài trời và trong nhà tạo ra sự khác biệt lớn trong chất lượng ảnh. OpenCV cung cấp công cụ mạnh để khắc phục những khó khăn này thông qua các thuật toán xử lý ảnh nâng cao.

II. Nền Tảng Lý Thuyết Và Công Nghệ

Luận văn sử dụng OpenCV - thư viện mã nguồn mở hàng đầu cho xử lý ảnh và thị giác máy tính. Thuật toán Haar Cascade là nền tảng của phương pháp nhận dạng khuôn mặt và mắt. Hệ thống được xây dựng trên ba thành phần chính: nhận dạng mặt, phát hiện mắt, và xác định hướng mắt. Các bước xử lý bao gồm chuẩn hóa ảnh, tăng cường độ tương phản, và loại bỏ nhiễu. Cấu trúc mắt người với các thành phần như giác mạc, con ngươi, và mí mắt đóng vai trò quan trọng. Tracking các điểm đặc trưng giúp duy trì tính liên tục trong nhận dạng. Phương pháp phân loại máy học được sử dụng để xác định chính xác hướng nhìn của mắt trong không gian ba chiều.

2.1. OpenCV Và Thuật Toán Haar Cascade

OpenCV cung cấp bộ công cụ toàn diện cho nhận dạng đối tượng và xử lý ảnh real-time. Haar Cascade sử dụng các đặc trưng Haar để phát hiện khuôn mặt với độ chính xác cao. Phương pháp này dựa trên máy học bán giám sát với việc huấn luyện trên dữ liệu lớn. Tốc độ xử lý nhanh làm cho nó phù hợp cho các ứng dụng real-time với webcam.

2.2. Xử Lý Ảnh Và Nhận Dạng Con Ngươi

Xử lý ảnh bao gồm các kỹ thuật như histogram equalization và morphological operations. Nhận dạng con ngươi được thực hiện thông qua phát hiện các vùng tối trong ảnh mắt. Thuật toán tracking giúp theo dõi vị trí con ngươi qua các frame liên tiếp. Kỹ thuật contour detection xác định ranh giới của mắt với độ chính xác cao.

III. Mô Hình Và Phương Pháp Giải Quyết

Mô hình đề xuất gồm bốn giai đoạn chính: phát hiện khuôn mặt, phát hiện mắt, phát hiện con ngươi, và xác định hướng mắt. Thuật toán Haar được huấn luyện trên các bộ dữ liệu chuẩn để đạt độ chính xác tối ưu. OpenCV cung cấp các hàm pre-trained cascade classifiers giúp tiết kiệm thời gian và tài nguyên. Pipeline xử lý ảnh bao gồm conversion to grayscale, histogram equalization, và image thresholding. Vectơ hướng mắt được tính toán dựa trên vị trí con ngươi so với tâm mắt. Hệ thống hỗ trợ đa người và có khả năng hoạt động trong thời gian thực với tốc độ từ 15-30 FPS. Kết quả hướng mắt được trả về dưới dạng góc độ hoặc vectơ không gian.

3.1. Pipeline Xử Lý Ảnh Trong Nhận Dạng

Pipeline bao gồm: capture frame từ webcam → phát hiện mặt với Haar Cascade → trích xuất vùng mắt → phát hiện con ngươi. Mỗi bước sử dụng các tham số tối ưu hóa để cân bằng giữa độ chính xác và tốc độ. Tiền xử lý ảnh loại bỏ nhiễu và chuẩn hóa đặc trưng. Các kỹ thuật lọc adaptive cải thiện chất lượng ảnh trong điều kiện ánh sáng xấu.

3.2. Xác Định Và Phân Loại Hướng Mắt

Hướng mắt được phân loại thành các category như: trái, phải, trên, dưới, trực tiếp. Vectơ hướng được tính từ vị trí con ngươi trong khung mắt. Thuật toán hồi quy hoặc phân loại đa lớp xác định hướng chính xác. Độ tin cậy của dự đoán được đánh giá qua confidence score.

IV. Kết Quả Thực Nghiệm Và Ứng Dụng

Luận văn thực hiện thử nghiệm toàn diện trong ba điều kiện khác nhau: trong nhà, ngoài trời, và với các tình huống che tay ngang mặt. Dữ liệu thử nghiệm bao gồm video từ webcam chuẩn và webcam độ phân giải cao. Kết quả đạt được cho thấy độ chính xác cao trong điều kiện trong nhà (>90%) và điều kiện bình thường ngoài trời (>85%). Hệ thống hoạt động ổn định với tốc độ xử lý real-time. Nhận xét chung cho thấy phương pháp hiệu quả nhưng cần cải thiện trong điều kiện ánh sáng thấp. Những hướng phát triển tiếp theo bao gồm sử dụng deep learning, mô hình 3D mắt, và tích hợp thêm sensor. Ứng dụng thực tiễn có thể mở rộng sang hệ thống điều khiển mắt, phát hiện mệt mỏi tài xế, và hỗ trợ người khuyết tật.

4.1. Kết Quả Thực Nghiệm Trong Các Điều Kiện Khác Nhau

Thử nghiệm trong nhà cho kết quả tốt nhất với độ chính xác >90% trên bộ dữ liệu 500 frame. Ngoài trời, độ chính xác giảm xuống 85% do ảnh hưởng của ánh sáng mặt trời. Trường hợp che tay: khi che 30% khuôn mặt, độ chính xác vẫn >80%. Thời gian xử lý trung bình là 30-50ms/frame. Tỷ lệ thất bại chủ yếu do góc quay quá lớn hoặc ánh sáng rất yếu.

4.2. Hướng Phát Triển Và Ứng Dụng Thực Tiễn

Hướng phát triển bao gồm sử dụng Convolutional Neural Networks (CNN) để cải thiện độ chính xác. Tích hợp webcam 3D hoặc depth camera có thể tăng độ tin cậy. Ứng dụng thực tiễn rộng lớn: điều khiển con trỏ máy tính, phát hiện mệt mỏi, hỗ trợ ngành y tế. Hệ thống hybrid kết hợp OpenCV với machine learning sẽ mang lại kết quả tối ưu hơn.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Ly do lwa chọn để tài. Bài toán nhận dạng hướng mắt được nghiên cứu rộng rãi và có nhiều ý nghĩa thực tiễn trên nhiều lĩnh vực cuộc sống. Nghiên cứu các phương pháp, giải thuật nhận dang hướng mắt. Qua đó, cài đặt một thuật toán đề đánh giá độ chính xác, hiệu năng và cãi thiện bài toán nhận dạng, hưởng mắt.

Từ nhĩmg lý do nêu trên, luận van nay đi sâu tim hiểu sâu về mô hình giải quyết tài toán và các thuật lơớn giải quyết các thành phan trong mô hình để kiểm thử và đánh giá dược rnức dộ hiệu quả của bài toán nhận dạng hưởng mắt. Tinh cap thiét cita dé tai Các kết quả gần đây của bài toán nhận dạng hướng mắt Iuy có nhiêu thành tựu. đáng kể nhưng vẫn cón nhiều thách thức vẻ độ chỉnh xác nên trong thực tế chưa được triển khai rỗng rãi. Đổi toán nhận dạng hướng mắt qua dữ liệu webcam vẫn còn đặt ra nhiều thách thúc.

Qua nghiên cứu cụ thể bài toán qua webcam dé đánh giá được độ hiệu quả của tài toán. Mục đích nghiên củu của luận văn, đôi teong, phạm vì nghiên cửu -_ Tim hiểu bài toán nhận đạng hưởng mắt qua dữ liệu ảnh và đủ liệu Webcam. - _ Nghiên cứu mô hình giải quyết bải toán nhận dang hướng mắt ~_ Ngliiên cứu các thuật toán giải quyết bài toán nhận dạng các thành phân có trong mö hình. ~_ Nghiên cứu phương pháp ảnh xa hướng mắt ra tọa độ mản tỉnh.

~ _ Tiên hành chạy thực nghiệm và sơ sảnh kết quả. Cúc luận diễm cơ bắn và dùng gúp mới của luận vẫn. -_ Nghiên cửu được mô hình dựa trên lý thuyết về nhận đạng để giải quyết bải toán nhận hướng mắt qua dữ liệu wcbcam. CHƯƠNG 1 TỎNG QUAN 1.

Tổng quan nhận dạng hướng mắt Nhận dạng hưởng mắt lả một lĩnh vực quan trọng trong khoa học máy tính Được nghiên cửu sâu rộng trong những thập kỉ gàn đây, lĩnh vực nảy đã cỏ nhiều kết quả quan trọng cả vẻ lý thuyết và thực tiên. Về lý thuyết, nhận dạng hướng mắt là tính toán gần đúng hướng mắt của người dùng, cỏ một số phướng pháp nhận dạng hướng mắt: ~_ Phương pháp nhận dạng hưởng mắt kinh áp tròng. - Phuong pháp nhân đạng hưởng mắt EOG - Phuong phap nhận dạng hưởng mắt qua dữ liệu Video. Các nghiên cứu về nhận đạng cũng sử dụng nhiều kết quả trong một số lĩnh vực liên quan như: việc phát triển các mô hinh toán học phức tạp, các nghiên cửu kết hợp logie mở, mạng notron.

Hinh 1-] mõ tả phương pháp sử dụng kinh áp tròng, hình 1-2 mô tả phương pháp. sử dụng EOG A ‘inh 1-1 Kinh áp tròng [7] Danh mục các kí hiệu, các chữ viết tắt "Từ viết tắt Từ đầy đủ Ý nghĩa Cumulative Thuật toán hàm phân phối tich CDE Distribution Function lñy Pr Projection Functions Thuật toán phép chiêu Tracking Tracking Theo dối Haar Cascade HCC Bộ phin Jogi theo ting Haar Classilier Thương pháp nhận đang hướng HOG Hlectrooculography 4 mit BOG Support vector - SVM Máy hồ trợ vector machine Pixel with Minimum : nu 2 PML Điểm ảnh với mật dộ tối thiêu Trtensily ROI Region of Interest Vũng quan tâm. PHAN MỞ ĐẦU Ly do lwa chọn để tài. Bài toán nhận dạng hướng mắt được nghiên cứu rộng rãi và có nhiều ý nghĩa thực tiễn trên nhiều lĩnh vực cuộc sống.

Nghiên cứu các phương pháp, giải thuật nhận dang hướng mắt. Qua đó, cài đặt một thuật toán đề đánh giá độ chính xác, hiệu năng và cãi thiện bài toán nhận dạng, hưởng mắt. Từ nhĩmg lý do nêu trên, luận van nay đi sâu tim hiểu sâu về mô hình giải quyết tài toán và các thuật lơớn giải quyết các thành phan trong mô hình để kiểm thử và đánh giá dược rnức dộ hiệu quả của bài toán nhận dạng hưởng mắt. Tinh cap thiét cita dé tai Các kết quả gần đây của bài toán nhận dạng hướng mắt Iuy có nhiêu thành tựu.

đáng kể nhưng vẫn cón nhiều thách thức vẻ độ chỉnh xác nên trong thực tế chưa được triển khai rỗng rãi. Đổi toán nhận dạng hướng mắt qua dữ liệu webcam vẫn còn đặt ra nhiều thách thúc. Qua nghiên cứu cụ thể bài toán qua webcam dé đánh giá được độ hiệu quả của tài toán. Mục đích nghiên củu của luận văn, đôi teong, phạm vì nghiên cửu -_ Tim hiểu bài toán nhận đạng hưởng mắt qua dữ liệu ảnh và đủ liệu Webcam.

- _ Nghiên cứu mô hình giải quyết bải toán nhận dang hướng mắt ~_ Ngliiên cứu các thuật toán giải quyết bài toán nhận dạng các thành phân có trong mö hình. ~_ Nghiên cứu phương pháp ảnh xa hướng mắt ra tọa độ mản tỉnh. ~ _ Tiên hành chạy thực nghiệm và sơ sảnh kết quả. Cúc luận diễm cơ bắn và dùng gúp mới của luận vẫn.

-_ Nghiên cửu được mô hình dựa trên lý thuyết về nhận đạng để giải quyết bải toán nhận hướng mắt qua dữ liệu wcbcam. Danh mục các kí hiệu, các chữ viết tắt "Từ viết tắt Từ đầy đủ Ý nghĩa Cumulative Thuật toán hàm phân phối tich CDE Distribution Function lñy Pr Projection Functions Thuật toán phép chiêu Tracking Tracking Theo dối Haar Cascade HCC Bộ phin Jogi theo ting Haar Classilier Thương pháp nhận đang hướng HOG Hlectrooculography 4 mit BOG Support vector - SVM Máy hồ trợ vector machine Pixel with Minimum : nu 2 PML Điểm ảnh với mật dộ tối thiêu Trtensily ROI Region of Interest Vũng quan tâm. -_ Cài đặt được các thuật toán giải quyết bài toán nhận dạng hưởng mắt qua dữ liệu webcam. Phương pháp nghiên Cứ - Ứng đụng mô hình và các thuật toán nhận dang các thành phản trong mô hình đề giải quyết bải toán nhận đạng hướng mắt qua dữ liệu Webcam.

- _ Thử nghiệm, đánh giá kết quả. Bé cục luận văn -_ Chương 1 trình bảy về tổng quan vẻ nhận dạng hướng mắt, thách thức của bài toán nhận dạng hướng mắt, nội dụng và nhiệm vụ của luận van - _ Chương 2 trình bảy về ca sở lý thuyết liên quan tới nhận dạng hướng mắt bao gồm: xử lý ảnh, cầu trúc mắt người, tông quan vé tracking, tong quan về phân loại và nhận đạng đổi tượng -_ Chương 3 trình bày bài toán nhận dạng hướng mắt, các nghiên cứu vẻ thuật Loáu Haar, nhận dạng mối, nhận dạng con ngươi, nhận dang hướng mắt -_ Chương 4 trình bày mô hình giải quyết bài toán nhận dạng hướng mắt, và ứng dụng thuật toán Haar và thư viện OpenCV để cải đặt bài toàn thận đang tướng mắt - _ Chương 5 trình kết quả thực nghiệm bao gém đữ liệu thử nghiệm va ket qua thử nghiệm với các điều kiện khác nhau như ngoài Hi, rong nhà và nhận xét -_ Chương 6 kết luận và kiến nghị Danh mục hình vẽ, để thị Tình 1-1 Kih áp tròng |7] 8 Tĩnh 1-2 Phương áp EOG [7] 3 Tình 1-3 Ứng đụng hỗ Bợ người khuyét 141. 9 Tĩinh 1-4 Nhận đạng hướng mắt qua Webcams oogle search] 10 Hinh2-1 Phan loại ảnh |8|. - se] 3 Hình 2-2 Câu trie mat [9].

- - 7 Linh 2-3 Tracking theo phương pháp phát hiện [#]. cesses] Hình 2-4 Mân hình một trận bóng đá |8] - - 24 Tlinh 2-5 Theo đối các điểm nổi [8] 25 Hình 2-6 Ma b đổi lượng khảo nhau |8] 37 Tĩinh 2-7 Các điểm sai sẻ cho 6 đối tượng truy vần [8] 29 Tình 2-8 Mô tả hiệu năng hệ thông Caltech 102 va Caltech 256 isl.3Ô Hình 2-9 Cân bằng biếu đồ tân suất [8] 33 Hình 2-10 Hệ thống tìm gương mặt [#]. pecs Tình 2-11 Nhận đạng theo các hướng mặt khác nhau |8] - 35 Tinh 2-12 Sử dụng các đặc trung để đánh giá loại bỏ các cửa số [8] 36 Tình 2-13 Bộ đữ liệu người đi bệ [8]. 36 Tĩinh 2-14 liệu suất phát biện người đi bộ với các lựa chọn đặc trưng khác nhau và bộ đỡ liệu khác nhau |B,.

sài 21eeseerrrrirree Xe 37 Tình 2-15 SVM tuyển tính [8] - - 37 Hình 2-16 Thông ké danh gid ode bd phan loa: [8]. Tình 2-17 Phát biện cáo loại đối tượng khác nhau [8]. - - 39 Tlinh 2-18 Céc đường biên đổi tượng [8] „40 Hình2-19 Dự đoán đường điện căn người đựa vào bộ dữ liệu Isl AD Linh 3-1 Dic trmg Lar [10] KHeHrerrarrirrrrrierrre.2 Tình 3-2 Vũng lổng côn ãnh lính phân [10]. - 43 Tình 3-3 Thát hiện không chính xáo[10] - - 46 Hình 3-4 Kỹ thuật tính toàn mắt còn lại [OpeuCV Doeumenf].8 Tình 3-5 Kết - 50 Tinh 6 Lọc kết quả chuyên đổi từ hình 3-5 [11] ke s0 Tình 3-7 Ví đụ về vị tri con người mắt sử dụng thuật toán CDF [11].

51 Linh 3-2-8 lam chiếu [11]. se „uố] Tình 3-9 Mô tả quá trình xác định các hàm chiều và hiểu qua [11] 33 Hình 4-1 Mô hình giải quyết bài toán [11],. - 35 Hình 4-2 Mô hình một ứng dạng []1 ]ovessessssessiceeseenneenetenseinte concerned ‘Hinh 5-1 Mé 1a cach anh xara loa dé man bình [9] - - 63 3. ghiên cứu liên quan.

3 Téng quan thuat toan Haar và nhận dạng mặt. - 42 3 Nhận dạng xắt. Nhan dang con neu 49 3.4, Nhận đạng hưởng mắt. 52 CHƯƠNG4 GIẢI QUYẾT BÀI TOÁN NHẬN DẠNG HƯỚNG MÁT.

Mô hình giải quyết bài toán nhận dạng hướng mắt 3. Ứng đụng thuật tuân Haar và thư OnenCV để giải quyết bài toán nhận dạng hướng mắt CHƯƠNG§ KET QUÁ THỰC NGHIỆM VA BAN LUAN. Dit ligu thi nghigm qua Webcam 52. Mũi trường và tham số thử nghiệm.

Kết quả thử nghiệm - Nhận xé 1. Môlâ kịch bản ứng dụng thử nghiệm 2. Kịch bán hiệu chính. Kết quả thứ nghiệm Webcam lrong nhà 65 S.

Kết quả thử nghiệm Webcam ngoài trời - - 7 5. Kết quả thử nghiệm che tey ngang mặt.5, Nhận xét chung. CHƯƠNG 6 KET LUẬN VÀ KIÊN NGIL 61. Cao kết quá dạt được.

Hướng nhảt triể Tài liệu thư khảo. = Danh mục hình vẽ, để thị Tình 1-1 Kih áp tròng |7] 8 Tĩnh 1-2 Phương áp EOG [7] 3 Tình 1-3 Ứng đụng hỗ Bợ người khuyét 141. 9 Tĩinh 1-4 Nhận đạng hướng mắt qua Webcams oogle search] 10 Hinh2-1 Phan loại ảnh |8|. - se] 3 Hình 2-2 Câu trie mat [9].

- - 7 Linh 2-3 Tracking theo phương pháp phát hiện [#]. cesses] Hình 2-4 Mân hình một trận bóng đá |8] - - 24 Tlinh 2-5 Theo đối các điểm nổi [8] 25 Hình 2-6 Ma b đổi lượng khảo nhau |8] 37 Tĩinh 2-7 Các điểm sai sẻ cho 6 đối tượng truy vần [8] 29 Tình 2-8 Mô tả hiệu năng hệ thông Caltech 102 va Caltech 256 isl.3Ô Hình 2-9 Cân bằng biếu đồ tân suất [8] 33 Hình 2-10 Hệ thống tìm gương mặt [#]. pecs Tình 2-11 Nhận đạng theo các hướng mặt khác nhau |8] - 35 Tinh 2-12 Sử dụng các đặc trung để đánh giá loại bỏ các cửa số [8] 36 Tình 2-13 Bộ đữ liệu người đi bệ [8].