MỞ ĐẦU Lý do chọn đề tài. Trong nhiều ứng dụng về giao tiếp giữa con người với thiết bị, khuôn mặt đóng một vai trò quan trọng. Đó là một nguồn thông tin hữu ích, chẳng hạn dùng để xác định trạng thái hoặc dự đoán nhận thức của người sử dụng. Để xây dựng các hệ thống thông minh, hệ thống đó phải nhận biết được ý định của người dùng, và những điểm mà người dùng đang chú ý đến.
Với hướng nhìn của mắt thể hiện ý định và sự chú ý của một người về một đối tường nào đó, thì việc xây dựng các hệ thống thông minh như thế là điều hoàn toàn làm được. Theo thống kê, Việt Nam có khoảng 6.1 triệu người khuyết tật, tương đương 7.8% dân số (02/2011) [1], việc ứng dụng này sẽ hỗ trợ được nhiều cho những người bị khuyết tật. Người khuyết tật với hạn chế về cử động của tay chân, đi lại khó khăn sẽ có thể điều khiển thiết bị trong nhà bằng chuyển động của mắt. Hoặc với chiếc xe lăn được gắn thiết bị di động cùng với một chiếc camera, những người tàn tật ngồi xe lăn có thể dễ dàng điều khiển xe mà không phải dùng đến tay.
Những người già không cần ghi nhớ chức năng của các nút điều khiển có thể bật tắt thiết bị bằng cách nhìn về phía thiết bị… Thêm vào đó, trong lĩnh vực quảng cáo và tiếp thị, hướng nhìn của mắt là một kênh thông tin quan trọng giúp nhận biết sự chú ý của khách hàng về một sản phẩm nào đó. Bằng cách xác định hướng chú ý của khách hàng, có thể nhanh chóng hiển thị những lời giới thiệu và thông tin về sản phẩm. Khoa học công nghệ đang ngày càng một phát triển hơn. Việc ứng dụng công nghệ vào cuộc sống nhằm mục đích hỗ trợ cho sinh hoạt của con người được thoải mái, dễ dàng hơn đang là xu hướng hiện nay.
Trong thời gian không xa, những tiến bộ công nghệ sẽ thay đổi cuộc sống của con người theo chiều hướng tốt đẹp hơn. Trang 2 Mục đích, đối tượng và phạm vi nghiên cứu của đề tài. Đề tài này sẽ tìm hiểu một số phương pháp hiện có trong việc phát hiện tâm tròng mắt, làm cơ sở áp dụng cho việc phát hiện hướng nhìn của mắt. Tìm hiểu cơ bản về xử lý ảnh số.
Tìm hiểu phương pháp calib các thông số của camera. Tìm hiểu các phương pháp hiện có dùng để phát hiện hướng nhìn. Tìm hiểu hệ điều hành Linux và và hệ điều hành nhúng Linux. Tiến hành áp dụng trên ảnh thu được từ webcam độ phân giải thấp.
Áp dụng trong thực tế với webcam được đặt cách mắt khoảng cách 0. Phương pháp nghiên cứu. Tiến hành tìm hiểu, phân tích một số công trình nghiên cứu của các tác giả trong và ngoài nước có liên quan đến đề tài. Tìm hiểu cách lập trình với thư viện OpenCV.
Tìm hiểu phương pháp xác định các thông số của camera sử dụng phương pháp của ZhengYou Zhang [2]. Tìm hiểu đặc tính sinh học của tròng mắt người trong việc phát hiện tâm của tròng mắt, và đặc tinh sinh học của khuôn mặt (bao gồm cầu mắt) trong việc xác định hướng của khuôn mặt, được dùng để thử nghiệm ứng dụng xác định hướng nhìn. Tìm hiểu phương pháp phát hiện tâm: Isophote Curvature và mean of gradients. Tìm hiểu đặc tính Haar-like và thuật toán Adaboost.
Tìm hiểu phương pháp nhúng hệ điều hành nhúng Linux. Tìm hiểu các phương pháp lọc nhiễu. Tìm hiểu cách nhúng chương trình lên hệ thống Linux trên board ARM. Tiến hành thực nghiệm trên ảnh thu được từ webcam.
Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài. Kết quả của đề tài này sẽ góp một phần kiến thức vào việc ứng dụng công nghệ thị giác máy tính trong đời sống nhằm mục đích hỗ trợ cho sinh hoạt của con người được thoải mái, dễ dàng hơn. Trang 3 Việc phát hiện hướng nhìn dựa trên kết quả phát hiện tâm tròng mắt người sẽ là cơ sở cho bài toán giao tiếp với máy tính bằng thị giác sau này. Tổng quan về khuôn mặt và mắt người 2.
Đặc tính sinh học của khuôn mặt Như chúng ta đã biết, khuôn mặt bao gồm các phần chính: Vùng trán, bên dưới là lông mày. Hai mắt, bảo vệ bởi mi mắt và lông mi. Hai lỗ mũi và sống mũi. Miệng gồm môi trên và môi dưới.
Cằm nằm bên dưới miệng. Hình 1-1: Khuôn mặt của con người. Đặc tính sinh học của mắt người 2. Cấu tạo Mắt là cơ quan thị giác, gồm 2 con mắt có kích thước nhỏ.
Mỗi con mắt là một khối cầu dai có đường kính chừng 2,5 cm. Các mô quan trọng của mắt : Giác mạc: Giác mạc được xem như một tấm cửa trong suốt nằm phía trước mắt, nó là một bức tường dày và dai có nhiệm vụ lọc và cho phép hình ảnh đi Trang 5 vào bên trong mắt. Giác mạc cũng hoạt động như một thấu kính có tác dụng khúc xạ hoặc hội tụ ánh sáng từ một đối tượng nhìn. Mống mắt: Mống mắt hoạt động như một màng chắn hoặc một cửa sập tròn có tác dụng điều chỉnh lượng ánh sáng đi vào bên trong mắt.
Đây là bộ phận tạo ra các màu khác nhau của mắt. Thủy tinh thể: Thủy tinh thể là một cấu trúc protein trong suốt, giúp tập trung hình ảnh và điều tiết mắt tùy thuộc vào khoảng cách xa hay gần của đối tượng nhìn. Thủy tinh dịch: Đây là một khối dịch đặc như lòng trắng trứng và trong suốt, giúp định hình mắt và hỗ trợ các cấu trúc bên trong của mắt. Thể mi: Đây là bó cơ giúp thay đổi hình dạng của thủy tinh thể nhằm tạo ra sự điều tiết phù hợp.
Đây cũng chính là tuyến tiết ra một loại dịch lỏng, được gọi là thủy dịch. Sự cân bằng giữa việc sản sinh và dẫn lưu của thủy dịch tạo áp lực làm mắt lồi ra. Võng mạc: Võng mạc là mô thần kinh lót mặt trong của mắt. Nó bao gồm các mô thần kinh cực mỏng được chia thành từng lớp rất tinh vi.
Phần trung tâm của võng mạc là nơi chúng ta sử dụng để nhìn các vật thể. Vị trí này được gọi là hoàng điểm. Đây là nơi tập trung nhiều nhất các tế bào nhạy cảm ánh sáng, hay còn gọi là những tế bào thụ quang (thụ thể ánh sáng). Dây thần kinh thị giác: Cấu trúc của bộ phận này được tạo thành bởi các sợi thần kinh nhỏ từ toàn bộ các vùng của võng mạc.
Chúng hội tụ lại thành một bó, xuyên qua một mạng lưới các lỗ nhỏ trên vỏ nhãn cầu, đi ra phía sau, mang các xung điện đến não bộ như một dây cáp tinh tế. Tất cả các mô này có cấu trúc rất tinh vi. Ngoại trừ thành ngoài của mắt khá dai, các mô khác đều rất mảnh và cần được bảo vệ. Vì vậy, nhãn cầu nằm trong ổ mắt, một hốc xương được bảo vệ tốt trên khuôn mặt với những phần vững chắc và những phần khác có thể bị vỡ.
Mắt được bảo vệ nhờ vào những cơ chế phản xạ tự nhiên cùng với một hệ thống rửa (bằng nước mắt) và lau sạch bề mặt (thông qua động tác nháy mi mắt). Trang 6 Hình 1-2: Cấu tạo mắt người. Chức năng Chức năng của mắt là để xác định các đối tượng nhìn, tập hợp và hội tụ tia sáng từ đối tượng, sau đó truyền hình ảnh rõ nét đến các tế bào nhạy cảm ánh sáng nằm ở đáy mắt, nơi hình ảnh được thu nhận và bước đầu được xử lý. Hình ảnh sau đó được chuyển tải bởi xung điện dọc theo dây thần kinh thị giác (là dây thần kinh đi từ đáy mắt lên não).
Các dây thần kinh thị giác liên kết với nhau trong não bộ cho phép chúng ta nhìn thấy được những hình ảnh kết hợp từ cả hai mắt. Phần não bộ ghi nhận các tín hiệu thị giác này được gọi là vỏ não thị giác, nằm ở phía sau cùng của não bộ. Từ vỏ thị giác, tín hiệu được truyền đến nhiều phần khác của não. Các xung điện ban đầu phải trải qua một quá trình xử lý phức tạp để tạo ra những hình ảnh mà chúng ta nhìn thấy.
Tổng quan về một số công trình nghiên cứu của các tác giả trong và ngoài nước có liên quan đến đề tài 2. Phân tích Trong thời gian gần đây, có nhiều tài liệu của các tác giả nghiên cứu về vấn đề ứng dụng thị giác máy tính để xác định hướng nhìn của mắt [3-14]. Trong các bài [3,4] việc xác định hướng nhìn dựa vào sự phản chiếu ánh sáng của giác mạc. Một nguồn sáng hồng ngoại được dùng để chiếu vào mắt và tạo nên 1 điểm sáng trên Trang 7 giác mạc.
Khi đó, bằng việc phát hiện vị trí tâm của tròng mắt và điểm sáng phản chiếu, tác giả ước lượng hướng nhìn qua vị trí tương đối giữa 2 điểm. Sung [5] tính toán hướng nhìn bằng cách ước lượng hình dạng của đồng tử hoặc tròng mắt được phát hiện thông qua việc khớp hình elip, và sử dụng đồng tử được ước lượng hoặc hình elip của tròng mắt để suy ra hướng nhìn. Sự chính xác của phương pháp này không cao vì bị ảnh hưởng của mi mắt và hướng của khuôn mặt. Hơn nữa thuật toán đòi hỏi phải sử dụng hình ảnh từ camera độ phân giải cao.
Để giải quyết các vấn đề này, các phương pháp phát hiện mới đã được nghiên cứu dựa trên đặc tính của khuôn mặt [6,7]. Vị trí của tròng mắt và các góc của mắt được xác định trong ảnh và được sử dụng để ước lượng hướng nhìn. Năm 2008, tác giả Hirotake Yamazoe và các cộng sự [7] đã áp dụng xử lý ảnh để xác định hướng nhìn của mắt, chỉ sử dụng 1 camera mà không dùng thêm nguồn sáng và các thiết bị hỗ trợ khác. Tác giả đã tiến hành mô hình hóa đầu và mắt của chủ thể dựa vào chuỗi ảnh từ camera, sau đó sử dụng mô hình này để ước lượng hướng nhìn của mắt.
Độ chính xác đạt được của phương pháp là 6o với ảnh độ phân giải thấp 320x240. Cùng năm đó, các tác giả Jixu Chen và Qiang Ji [8] đã sử dụng các điểm trên khuôn mặt để ước lượng hướng của đầu. Kết hợp với việc mô hình hóa mắt dựa trên đặc tính sinh học của đầu người đã tính toán được hướng nhìn với độ chính xác nhỏ hơn 3o. Tác giả Matsumoto và các cộng sự [9] đã sử dụng hệ thống 2 camera để ước lượng vị trí 3D của mắt và từ đó tính toán hướng nhìn trong không gian.