Ứng Dụng Xử Lý Ảnh Trong Việc Xác Định Chuyển Động Của Tròng Mắt Người

Luận văn thạc sĩ nghiên cứu kỹ thuật cơ điện tử ứng dụng xử lý ảnh trong việc xác định chuyển động của tròng mắt người, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp

• Tác giả: Đinh Quang Trí
• Người hướng dẫn: TS. Đoàn Thế Thảo
• Trường học: Đại học Bách Khoa - ĐHQG - HCM
• Chuyên ngành: Kỹ thuật Cơ điện tử
• Đề tài: Ứng Dụng Xử Lý Ảnh Để Xác Định Chuyển Động Của Tròng Mắt Người
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2013
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Tổng Quan Về Ứng Dụng Xử Lý Ảnh Theo Dõi Mắt Người

Hướng nhìn của mắt chứa đựng thông tin quan trọng về ý định và sự tập trung của một người. Các nghiên cứu về ước lượng hướng nhìn đã có một lịch sử phát triển lâu dài với nhiều hệ thống khác nhau. Luận văn này tập trung vào ứng dụng xử lý ảnh để xác định chuyển động của tròng mắt người, một bước quan trọng trong việc xây dựng các giao diện người-máy tự nhiên và trực quan hơn. Các ứng dụng tiềm năng bao gồm hỗ trợ người khuyết tật, phân tích hành vi người dùng và cải thiện trải nghiệm tương tác trong môi trường thực tế ảo (VR) và tăng cường (AR). Nghiên cứu này sử dụng camera để theo dõi ánh mắt, xác định hướng nhìn của mắt và hiện thực hệ thống nhúng lên board ARM Mini210s với nhân Linux. Luận văn này được thực hiện tại trường Đại học Bách Khoa – ĐHQG - HCM dưới sự hướng dẫn của TS. Đoàn Thế Thảo.

1.1. Tầm Quan Trọng của Theo Dõi Ánh Mắt trong Thực Tế

Việc xác định chuyển động mắt có ý nghĩa to lớn trong nhiều lĩnh vực. Nó có thể giúp người khuyết tật điều khiển thiết bị bằng giao diện người máy dựa trên ánh mắt. Trong lĩnh vực quảng cáo, phân tích hành vi người dùng qua ánh mắt có thể giúp đo lường sự chú ý của khách hàng đối với sản phẩm. Ứng dụng này đang trở thành xu hướng hiện nay, công nghệ giúp cuộc sống con người trở nên dễ dàng và thoải mái hơn. Theo thống kê, Việt Nam có khoảng 6.1 triệu người khuyết tật, tương đương 7.8% dân số (02/2011) [1], việc ứng dụng này sẽ hỗ trợ được nhiều cho những người bị khuyết tật.

1.2. Ứng Dụng Tiềm Năng Của Công Nghệ Eye Tracking

Ứng dụng của theo dõi ánh mắt không chỉ giới hạn trong lĩnh vực y tế và quảng cáo. Nó còn có tiềm năng lớn trong việc cải thiện trải nghiệm người dùng trong các ứng dụng thực tế ảo (VR) và thực tế tăng cường (AR). Bằng cách đo lường sự tập trung qua ánh mắt, hệ thống có thể điều chỉnh nội dung hiển thị phù hợp với sự quan tâm của người dùng, tạo ra trải nghiệm tương tác cá nhân hóa và hấp dẫn hơn. Việc ước lượng hướng nhìn của mắt để giao tiếp với máy tính bằng thị giác mở ra nhiều tiềm năng phát triển.

II. Thách Thức Trong Xác Định Chuyển Động Mắt Bằng AI

Mặc dù có nhiều tiến bộ, việc xác định chuyển động mắt chính xác vẫn còn nhiều thách thức. Các yếu tố như ánh sáng, góc nhìn, và đặc điểm khuôn mặt khác nhau có thể ảnh hưởng đến độ chính xác của hệ thống. Các hệ thống theo dõi ánh mắt truyền thống thường dựa trên máy tính cá nhân, giới hạn khả năng triển khai trong các môi trường thực tế. Do đó, việc phát triển các hệ thống nhúng linh hoạt và hiệu quả là rất quan trọng. Hơn nữa, cần có các thuật toán mạnh mẽ có thể xử lý các biến thể khác nhau trong điều kiện thực tế để đảm bảo độ chính xác của theo dõi ánh mắt.

2.1. Các Yếu Tố Ảnh Hưởng Đến Độ Chính Xác Theo Dõi Mắt

Độ chính xác của hệ thống theo dõi ánh mắt chịu ảnh hưởng bởi nhiều yếu tố. Ánh sáng yếu hoặc quá mạnh có thể gây khó khăn cho việc nhận diện ánh mắt. Góc nhìn khác nhau cũng có thể làm thay đổi hình dạng và kích thước của tròng mắt, ảnh hưởng đến việc phân tích chuyển động mắt. Đặc điểm khuôn mặt riêng của từng người, như hình dạng mắt, lông mày, và nếp nhăn, cũng tạo ra sự khác biệt và đòi hỏi hệ thống phải có khả năng thích ứng cao. Thử thách này được giải quyết bằng cách sử dụng đặc trưng Haar-like.

2.2. Hạn Chế Của Hệ Thống Theo Dõi Mắt Truyền Thống

Hầu hết các hệ thống eye tracking hiện nay vẫn còn hạn chế bởi vì hầu hết các hệ thống này được phát triển trên máy tính cá nhân. Hạn chế này ngăn cản các hệ thống được sử dụng trong đời sống hằng ngày. Yêu cầu cấu hình phần cứng cao và khả năng xử lý mạnh mẽ khiến chúng khó triển khai trong các thiết bị di động hoặc hệ thống nhúng. Do đó, việc phát triển các thuật toán nhẹ và hiệu quả, có thể chạy trên các nền tảng có tài nguyên hạn chế, là một hướng đi quan trọng.

III. Cách Xử Lý Ảnh Số Xác Định Chuyển Động Tròng Mắt

Luận văn này đề xuất một phương pháp sử dụng xử lý ảnh để xác định chuyển động của tròng mắt. Đầu tiên, khuôn mặt được phát hiện bằng cách sử dụng các đặc trưng Haar-like. Tiếp theo, phương pháp đường Isophote được áp dụng để tính toán vị trí tâm tròng mắt. Sau đó, thư viện flandmark được sử dụng để phát hiện các điểm đặc trưng trên khuôn mặt và thuật toán của J. Chen và cộng sự [8] được áp dụng để ước lượng hướng nhìn. Hệ thống được phát triển và nhúng lên board ARM với nhân Linux để tăng tính linh động.

3.1. Phát Hiện Khuôn Mặt Bằng Đặc Trưng Haar like và Adaboost

Các đặc trưng Haar-like được sử dụng rộng rãi trong các ứng dụng thị giác máy tính để phát hiện đối tượng, đặc biệt là khuôn mặt. Chúng dựa trên việc phân tích sự khác biệt về cường độ sáng giữa các vùng lân cận trong ảnh. Thuật toán Adaboost được sử dụng để kết hợp các đặc trưng Haar-like đơn giản thành một bộ phân loại mạnh mẽ, có khả năng phân biệt giữa khuôn mặt và các đối tượng khác một cách hiệu quả.

3.2. Xác Định Tâm Tròng Mắt Bằng Đường Isophote và Gradient

Phương pháp đường Isophote dựa trên việc tìm kiếm các đường cong có cùng cường độ sáng trong ảnh. Tâm của các đường cong này được ước tính là tâm của tròng mắt. Ngoài ra, thuật toán dựa trên giá trị gradient cũng được nghiên cứu, sử dụng thông tin về hướng thay đổi cường độ sáng để xác định vị trí tâm tròng mắt. Việc so sánh và đánh giá giữa hai phương pháp được thực hiện để chọn ra phương pháp phù hợp nhất.

3.3. Ước Lượng Hướng Nhìn Sử Dụng Điểm Đặc Trưng Khuôn Mặt

Sau khi xác định được tâm tròng mắt và các điểm đặc trưng trên khuôn mặt, hướng nhìn có thể được ước lượng bằng cách sử dụng các thuật toán hình học và mô hình hóa. Thuật toán được đề xuất bởi J. Chen và các cộng sự [8] được sử dụng để ước lượng hướng của đầu. Sau đó, kết hợp với việc mô hình hóa mắt dựa trên đặc tính sinh học của đầu người đã tính toán được hướng nhìn.

IV. Ứng Dụng Nhúng Theo Dõi Mắt Trên Board ARM Mini210s

Để tăng tính di động và khả năng triển khai trong thực tế, hệ thống theo dõi ánh mắt được nhúng lên board ARM Mini210s với hệ điều hành Linux. Quá trình này bao gồm việc cài đặt các thư viện cần thiết, như OpenCV, và biên dịch chương trình cho kiến trúc ARM. Kết quả cho thấy hệ thống có thể chạy ổn định trên board ARM, mở ra khả năng ứng dụng trong nhiều lĩnh vực khác nhau, chẳng hạn như hỗ trợ người khuyết tật hoặc tương tác thực tế ảo.

4.1. Cài Đặt OpenCV và Các Thư Viện Trên ARM Linux

OpenCV là một thư viện thị giác máy tính mạnh mẽ, cung cấp nhiều thuật toán và chức năng để xử lý ảnh và video. Việc cài đặt OpenCV trên ARM Linux đòi hỏi phải cấu hình toolchain và biên dịch thư viện cho kiến trúc ARM. Ngoài ra, cần cài đặt các thư viện phụ thuộc, như libjpeg, libpng, và libtiff, để hỗ trợ các định dạng ảnh khác nhau.

4.2. Tối Ưu Hóa Hiệu Năng Cho Hệ Thống Nhúng

Do tài nguyên hạn chế trên hệ thống nhúng, việc tối ưu hóa hiệu năng là rất quan trọng. Các kỹ thuật như sử dụng các thuật toán nhẹ, giảm độ phân giải ảnh, và sử dụng các thư viện được tối ưu hóa cho ARM có thể giúp cải thiện hiệu năng của hệ thống. Việc sử dụng C-make và Qt-creator là cần thiết để tạo ra một chương trình tối ưu.

4.3. Kiểm Tra và Đánh Giá Kết Quả Trên Board ARM

Sau khi nhúng chương trình lên board ARM, cần kiểm tra và đánh giá kết quả để đảm bảo hệ thống hoạt động chính xác và ổn định. Các thử nghiệm có thể được thực hiện với các điều kiện ánh sáng và góc nhìn khác nhau để đánh giá độ chính xác của theo dõi ánh mắt. Kết quả nhúng chương trình lên board được trình bày rõ ràng trong luận văn.

V. Kết Luận và Hướng Phát Triển Nghiên Cứu Theo Dõi Mắt

Luận văn này đã trình bày một phương pháp ứng dụng xử lý ảnh để xác định chuyển động của tròng mắt người. Kết quả cho thấy phương pháp này có tiềm năng trong việc xây dựng các giao diện người-máy trực quan và hỗ trợ người khuyết tật. Tuy nhiên, vẫn còn nhiều vấn đề cần được giải quyết để cải thiện độ chính xác của theo dõi ánh mắt và mở rộng phạm vi ứng dụng. Các hướng nghiên cứu tiếp theo bao gồm phát triển các thuật toán mạnh mẽ hơn, tích hợp thông tin từ nhiều nguồn khác nhau, và ứng dụng trong các lĩnh vực mới.

5.1. Tóm Tắt Kết Quả Đạt Được và Đóng Góp Của Nghiên Cứu

Luận văn đã đạt được những kết quả nhất định trong việc phát triển một hệ thống theo dõi ánh mắt dựa trên xử lý ảnh. Hệ thống có thể xác định vị trí tâm tròng mắt và ước lượng hướng nhìn với độ chính xác chấp nhận được. Các kết quả này đóng góp vào việc nghiên cứu và phát triển các ứng dụng giao diện người máy dựa trên ánh mắt.

5.2. Các Vấn Đề Còn Tồn Tại và Hướng Nghiên Cứu Tiếp Theo

Mặc dù đã đạt được những kết quả đáng khích lệ, vẫn còn nhiều vấn đề cần được giải quyết để cải thiện độ chính xác của theo dõi ánh mắt. Các thuật toán hiện tại vẫn còn nhạy cảm với ánh sáng và góc nhìn. Cần phát triển các thuật toán mạnh mẽ hơn, có khả năng thích ứng với các điều kiện khác nhau. Ngoài ra, việc tích hợp thông tin từ nhiều nguồn khác nhau, như cảm biến chuyển động và thông tin ngữ cảnh, có thể giúp cải thiện độ chính xác và độ tin cậy của hệ thống.

Trích đoạn nội dung tài liệu

MỞ ĐẦU Lý do chọn đề tài. Trong nhiều ứng dụng về giao tiếp giữa con người với thiết bị, khuôn mặt đóng một vai trò quan trọng. Đó là một nguồn thông tin hữu ích, chẳng hạn dùng để xác định trạng thái hoặc dự đoán nhận thức của người sử dụng. Để xây dựng các hệ thống thông minh, hệ thống đó phải nhận biết được ý định của người dùng, và những điểm mà người dùng đang chú ý đến.

Với hướng nhìn của mắt thể hiện ý định và sự chú ý của một người về một đối tường nào đó, thì việc xây dựng các hệ thống thông minh như thế là điều hoàn toàn làm được. Theo thống kê, Việt Nam có khoảng 6.1 triệu người khuyết tật, tương đương 7.8% dân số (02/2011) [1], việc ứng dụng này sẽ hỗ trợ được nhiều cho những người bị khuyết tật. Người khuyết tật với hạn chế về cử động của tay chân, đi lại khó khăn sẽ có thể điều khiển thiết bị trong nhà bằng chuyển động của mắt. Hoặc với chiếc xe lăn được gắn thiết bị di động cùng với một chiếc camera, những người tàn tật ngồi xe lăn có thể dễ dàng điều khiển xe mà không phải dùng đến tay.

Những người già không cần ghi nhớ chức năng của các nút điều khiển có thể bật tắt thiết bị bằng cách nhìn về phía thiết bị… Thêm vào đó, trong lĩnh vực quảng cáo và tiếp thị, hướng nhìn của mắt là một kênh thông tin quan trọng giúp nhận biết sự chú ý của khách hàng về một sản phẩm nào đó. Bằng cách xác định hướng chú ý của khách hàng, có thể nhanh chóng hiển thị những lời giới thiệu và thông tin về sản phẩm. Khoa học công nghệ đang ngày càng một phát triển hơn. Việc ứng dụng công nghệ vào cuộc sống nhằm mục đích hỗ trợ cho sinh hoạt của con người được thoải mái, dễ dàng hơn đang là xu hướng hiện nay.

Trong thời gian không xa, những tiến bộ công nghệ sẽ thay đổi cuộc sống của con người theo chiều hướng tốt đẹp hơn. Trang 2 Mục đích, đối tượng và phạm vi nghiên cứu của đề tài.  Đề tài này sẽ tìm hiểu một số phương pháp hiện có trong việc phát hiện tâm tròng mắt, làm cơ sở áp dụng cho việc phát hiện hướng nhìn của mắt.  Tìm hiểu cơ bản về xử lý ảnh số.

 Tìm hiểu phương pháp calib các thông số của camera.  Tìm hiểu các phương pháp hiện có dùng để phát hiện hướng nhìn.  Tìm hiểu hệ điều hành Linux và và hệ điều hành nhúng Linux.  Tiến hành áp dụng trên ảnh thu được từ webcam độ phân giải thấp.

 Áp dụng trong thực tế với webcam được đặt cách mắt khoảng cách 0. Phương pháp nghiên cứu.  Tiến hành tìm hiểu, phân tích một số công trình nghiên cứu của các tác giả trong và ngoài nước có liên quan đến đề tài.  Tìm hiểu cách lập trình với thư viện OpenCV.

 Tìm hiểu phương pháp xác định các thông số của camera sử dụng phương pháp của ZhengYou Zhang [2].  Tìm hiểu đặc tính sinh học của tròng mắt người trong việc phát hiện tâm của tròng mắt, và đặc tinh sinh học của khuôn mặt (bao gồm cầu mắt) trong việc xác định hướng của khuôn mặt, được dùng để thử nghiệm ứng dụng xác định hướng nhìn.  Tìm hiểu phương pháp phát hiện tâm: Isophote Curvature và mean of gradients.  Tìm hiểu đặc tính Haar-like và thuật toán Adaboost.

 Tìm hiểu phương pháp nhúng hệ điều hành nhúng Linux.  Tìm hiểu các phương pháp lọc nhiễu.  Tìm hiểu cách nhúng chương trình lên hệ thống Linux trên board ARM.  Tiến hành thực nghiệm trên ảnh thu được từ webcam.

Ý nghĩa khoa học và ý nghĩa thực tiễn của đề tài.  Kết quả của đề tài này sẽ góp một phần kiến thức vào việc ứng dụng công nghệ thị giác máy tính trong đời sống nhằm mục đích hỗ trợ cho sinh hoạt của con người được thoải mái, dễ dàng hơn. Trang 3  Việc phát hiện hướng nhìn dựa trên kết quả phát hiện tâm tròng mắt người sẽ là cơ sở cho bài toán giao tiếp với máy tính bằng thị giác sau này. Tổng quan về khuôn mặt và mắt người 2.

Đặc tính sinh học của khuôn mặt Như chúng ta đã biết, khuôn mặt bao gồm các phần chính:  Vùng trán, bên dưới là lông mày.  Hai mắt, bảo vệ bởi mi mắt và lông mi.  Hai lỗ mũi và sống mũi.  Miệng gồm môi trên và môi dưới.

 Cằm nằm bên dưới miệng. Hình 1-1: Khuôn mặt của con người. Đặc tính sinh học của mắt người 2. Cấu tạo Mắt là cơ quan thị giác, gồm 2 con mắt có kích thước nhỏ.

Mỗi con mắt là một khối cầu dai có đường kính chừng 2,5 cm. Các mô quan trọng của mắt :  Giác mạc: Giác mạc được xem như một tấm cửa trong suốt nằm phía trước mắt, nó là một bức tường dày và dai có nhiệm vụ lọc và cho phép hình ảnh đi Trang 5 vào bên trong mắt. Giác mạc cũng hoạt động như một thấu kính có tác dụng khúc xạ hoặc hội tụ ánh sáng từ một đối tượng nhìn.  Mống mắt: Mống mắt hoạt động như một màng chắn hoặc một cửa sập tròn có tác dụng điều chỉnh lượng ánh sáng đi vào bên trong mắt.

Đây là bộ phận tạo ra các màu khác nhau của mắt.  Thủy tinh thể: Thủy tinh thể là một cấu trúc protein trong suốt, giúp tập trung hình ảnh và điều tiết mắt tùy thuộc vào khoảng cách xa hay gần của đối tượng nhìn.  Thủy tinh dịch: Đây là một khối dịch đặc như lòng trắng trứng và trong suốt, giúp định hình mắt và hỗ trợ các cấu trúc bên trong của mắt.  Thể mi: Đây là bó cơ giúp thay đổi hình dạng của thủy tinh thể nhằm tạo ra sự điều tiết phù hợp.

Đây cũng chính là tuyến tiết ra một loại dịch lỏng, được gọi là thủy dịch. Sự cân bằng giữa việc sản sinh và dẫn lưu của thủy dịch tạo áp lực làm mắt lồi ra.  Võng mạc: Võng mạc là mô thần kinh lót mặt trong của mắt. Nó bao gồm các mô thần kinh cực mỏng được chia thành từng lớp rất tinh vi.

Phần trung tâm của võng mạc là nơi chúng ta sử dụng để nhìn các vật thể. Vị trí này được gọi là hoàng điểm. Đây là nơi tập trung nhiều nhất các tế bào nhạy cảm ánh sáng, hay còn gọi là những tế bào thụ quang (thụ thể ánh sáng).  Dây thần kinh thị giác: Cấu trúc của bộ phận này được tạo thành bởi các sợi thần kinh nhỏ từ toàn bộ các vùng của võng mạc.

Chúng hội tụ lại thành một bó, xuyên qua một mạng lưới các lỗ nhỏ trên vỏ nhãn cầu, đi ra phía sau, mang các xung điện đến não bộ như một dây cáp tinh tế. Tất cả các mô này có cấu trúc rất tinh vi. Ngoại trừ thành ngoài của mắt khá dai, các mô khác đều rất mảnh và cần được bảo vệ. Vì vậy, nhãn cầu nằm trong ổ mắt, một hốc xương được bảo vệ tốt trên khuôn mặt với những phần vững chắc và những phần khác có thể bị vỡ.

Mắt được bảo vệ nhờ vào những cơ chế phản xạ tự nhiên cùng với một hệ thống rửa (bằng nước mắt) và lau sạch bề mặt (thông qua động tác nháy mi mắt). Trang 6 Hình 1-2: Cấu tạo mắt người. Chức năng Chức năng của mắt là để xác định các đối tượng nhìn, tập hợp và hội tụ tia sáng từ đối tượng, sau đó truyền hình ảnh rõ nét đến các tế bào nhạy cảm ánh sáng nằm ở đáy mắt, nơi hình ảnh được thu nhận và bước đầu được xử lý. Hình ảnh sau đó được chuyển tải bởi xung điện dọc theo dây thần kinh thị giác (là dây thần kinh đi từ đáy mắt lên não).

Các dây thần kinh thị giác liên kết với nhau trong não bộ cho phép chúng ta nhìn thấy được những hình ảnh kết hợp từ cả hai mắt. Phần não bộ ghi nhận các tín hiệu thị giác này được gọi là vỏ não thị giác, nằm ở phía sau cùng của não bộ. Từ vỏ thị giác, tín hiệu được truyền đến nhiều phần khác của não. Các xung điện ban đầu phải trải qua một quá trình xử lý phức tạp để tạo ra những hình ảnh mà chúng ta nhìn thấy.

Tổng quan về một số công trình nghiên cứu của các tác giả trong và ngoài nước có liên quan đến đề tài 2. Phân tích Trong thời gian gần đây, có nhiều tài liệu của các tác giả nghiên cứu về vấn đề ứng dụng thị giác máy tính để xác định hướng nhìn của mắt [3-14]. Trong các bài [3,4] việc xác định hướng nhìn dựa vào sự phản chiếu ánh sáng của giác mạc. Một nguồn sáng hồng ngoại được dùng để chiếu vào mắt và tạo nên 1 điểm sáng trên Trang 7 giác mạc.

Khi đó, bằng việc phát hiện vị trí tâm của tròng mắt và điểm sáng phản chiếu, tác giả ước lượng hướng nhìn qua vị trí tương đối giữa 2 điểm. Sung [5] tính toán hướng nhìn bằng cách ước lượng hình dạng của đồng tử hoặc tròng mắt được phát hiện thông qua việc khớp hình elip, và sử dụng đồng tử được ước lượng hoặc hình elip của tròng mắt để suy ra hướng nhìn. Sự chính xác của phương pháp này không cao vì bị ảnh hưởng của mi mắt và hướng của khuôn mặt. Hơn nữa thuật toán đòi hỏi phải sử dụng hình ảnh từ camera độ phân giải cao.

Để giải quyết các vấn đề này, các phương pháp phát hiện mới đã được nghiên cứu dựa trên đặc tính của khuôn mặt [6,7]. Vị trí của tròng mắt và các góc của mắt được xác định trong ảnh và được sử dụng để ước lượng hướng nhìn. Năm 2008, tác giả Hirotake Yamazoe và các cộng sự [7] đã áp dụng xử lý ảnh để xác định hướng nhìn của mắt, chỉ sử dụng 1 camera mà không dùng thêm nguồn sáng và các thiết bị hỗ trợ khác. Tác giả đã tiến hành mô hình hóa đầu và mắt của chủ thể dựa vào chuỗi ảnh từ camera, sau đó sử dụng mô hình này để ước lượng hướng nhìn của mắt.

Độ chính xác đạt được của phương pháp là 6o với ảnh độ phân giải thấp 320x240. Cùng năm đó, các tác giả Jixu Chen và Qiang Ji [8] đã sử dụng các điểm trên khuôn mặt để ước lượng hướng của đầu. Kết hợp với việc mô hình hóa mắt dựa trên đặc tính sinh học của đầu người đã tính toán được hướng nhìn với độ chính xác nhỏ hơn 3o. Tác giả Matsumoto và các cộng sự [9] đã sử dụng hệ thống 2 camera để ước lượng vị trí 3D của mắt và từ đó tính toán hướng nhìn trong không gian.