ĐẶT VẤN ĐỀ Nhằm nâng cao chất lượng cuộc sống, cũng như đáp ứng nhu cầu nghiên cứu học tập và giải trí hằng ngày, hàng loạt các thành tựu khoa học kỹ thuật được phát triển và ứng dụng vào đời sống. Cùng với sự phát triển của khoa học, nhiều phương pháp điều khiển cho các hệ thống tự động tiên tiến lần lượt ra đời, cụ thể là các hệ thống tương tác người-máy (human-computer interface – HCI) thông qua các giao tiếp cơ học như nút nhấn, bàn phím, con trỏ chuột, cần gạt, bàn đạp; ngoài ra còn có các giao tiếp bằng giọng nói, cử chỉ bàn tay, dáng điệu của thân người hoặc hướng đầu. Nhưng những hệ thống điều khiển được nêu ra ở trên chỉ được sử dụng bởi những người khỏe mạnh, chân tay lành lặn hay giọng nói rõ ràng. Đối với những người cao tuổi, bị bại liệt, xơ hóa tứ chi, họ không thể điều khiển chân tay hay giọng nói theo ý muốn và cần một phương pháp điều khiển thuận tiện hơn.
Mặt khác, trong những môi trường làm việc mà ở đó cả chân và tay được sử dụng cho các mục đích khác hay có nhiều tạp âm thì phương pháp điều khiển bằng tay hay giọng nói bị hạn chế rất nhiều. Với những lý do kể trên, các hệ thống xác định hướng nhìn (eye-gaze detection) và phương pháp điều khiển bằng hướng mắt đã và đang được nghiên cứu, phát triển trên thế giới. Kỹ thuật xác định hướng nhìn của mắt dùng để đo đạc điểm nhìn hay chuyển động tương đối của mắt so với đầu. Thiết bị xác định hướng nhìn của mắt là một thiết bị dùng để đo vị trí và chuyển động của mắt.
Các thiết bị này được sử dụng trong nghiên cứu trên hệ thống ảo, trong tâm lý học, trong ngôn ngữ học và trong thiết kế sản phẩm. 2 Khoa học nghiên cứu về các chuyển động của mắt đã bắt đầu từ thế kỷ 19. Nhưng gần đây, công nghệ xử lý ảnh và thị giác máy tính phát triển nhanh chóng và có nhiều ứng dụng thực tiễn nhờ sự ra đời của những thiết bị phần cứng (bao gồm thiết bị tính toán và camera) tốc độ cao, giá thành thấp; các thuật toán xử lý ảnh và thị giác máy tính từ đó cũng phát triển đa dạng tùy theo cấu hình phần cứng, chất lượng hình ảnh thu nhận; tiềm năng ứng dụng của các chuyển động mắt trong giao tiếp người máy mới được khám phá. Giao tiếp dùng ánh mắt là một phương thức giao tiếp người-máy tự nhiên, thân thiện với con người.
Nhiều nghiên cứu đã cho thấy rõ khả năng của kỹ thuật xác định hướng nhìn của mắt giúp nâng cao chất lượng giao tiếp người-máy trong cuộc sống hàng ngày, đặc biệt các ứng dụng hỗ trợ người khuyết tật, người già trong giao tiếp và điều khiển các thiết bị phục vụ. Với những lợi ích thiết thực nêu trên, bài toán xác định hướng nhìn của mắt đang được chú trọng đầu tư nghiên cứu ở hầu hết các quốc gia phát triển trên thế giới và đã có được một số ứng dụng trong phòng thí nghiệm và các sản phẩm dùng trong đời sống hằng ngày.2 NGHIÊN CỨU TỔNG QUAN 1.1 Nghiên cứu - Nhóm tác giả A. Cohen [01] đề xuất mô hình biến dạng (deformable template) của mắt bao gồm hai parabol thể hiện hai mí mắt (mô hình với 11 thông số) và một vòng tròn thể hiện con ngươi (H. Nghiên cứu thực nghiệm cho thấy vị trí ban đầu của khuôn biến dạng rất quan trọng.
Thuật toán không phát hiện được mắt khi khởi tạo các mặt nạ ở trên lông mày. Một vấn đề khác nằm ở sự phức tạp trong việc mô tả các mặt nạ. Ngoài ra, phương pháp tiếp cận dựa trên mặt nạ có thể gặp khó khăn khi mí mắt nhắm lại hoặc tư thế đầu không hướng về trước.1 (a) Mô hình mắt của Yuille, (b) kết quả phát hiện mắt - Nhóm tác giả C. Bimbo [02] đề xuất một mô hình mắt với sáu tham số biến dạng bao gồm hai nửa elip có cùng trục chính.
Vị trí mắt bên trái và bên phải được ước lượng và hình dạng mắt được tính toán lúc đầu. Các mặt nạ này sau đó được tối ưu tương tự như trong phương pháp của Yuille.2 Mô hình tham chiếu cho mắt - Nhóm tác giả G. Ban đầu, các điểm mốc của mắt được đặt và sử dụng để định vị con ngươi và giới hạn vùng mắt. Các vị trí và kích thước chính xác của con ngươi hoặc mí mắt được xác định bằng cách sử dụng các sai lệch cường độ trong vùng mắt.
Các thí nghiệm cho thấy phương pháp này không thành công nếu mắt nhắm hoặc một phần mắt bị che bởi tóc và bị ảnh hưởng bởi hướng mặt, vùng tối và chuyển động mắt. Ngoài ra, kỹ thuật này có thể nhầm lẫn lông mày là mắt.3 a) Mô hình mắt; b) Mô hình tổng quát của mắt và các hàm sai lệch cường độ theo phương dọc và phương ngang - Nhóm tác giả Zheng, Jie Yang, Meng Wang và Yonggang Wang [04] đề xuất thuật toán phát hiện các đặc trưng của mắt. Đầu tiên, sử dụng kênh H trong không gian màu HSV để phát hiện tâm đồng tử, bán kính đồng tử được ước lượng. Sau đó, bộ lọc góc mắt dựa trên không gian đặc trưng Gabor định vị các góc mắt.
Cuối cùng, các đường cong Spline nối vùng mí mắt lại.4 Xác định vị trí đồng tử bằng đồ thị cường độ sáng 5 Hình 1.5 Phát hiện góc mắt (a) ảnh xám của mắt; (b) biểu hiện xoắn Gabor của part2 hình (a) với F7x (c) biểu hiện xoắn Gabor của part1 hình (a) với F5x5; (d) kết quả phát hiện góc - Nhóm tác giả Cui Xu, Ying Zheng và Zengfu Wang [05] đề xuất phương pháp phát hiện góc mắt dựa trên đặc trưng màu sắc trích từ đặc tính cấu trúc và biểu hiện của khóe mắt. Mí mắt được cố định trước để xây dựng mô hình góc mắt. Dựa trên mô hình này, một đặc trưng định rõ biểu hiện khác nhau giữa vùng bên trong và bên ngoài khóe mắt (vùng ngoài khóe mắt là da, vùng trong là nhãn cầu), và một đặc trưng khác chỉ rõ vai trò của đường phân giác ở khóe mắt (đường phân giác của khóe mắt đi qua cả tròng trắng và tròng đen nên biểu hiện của vùng quanh phân giác phải có 2 trạng thái, cường độ cao ở tròng trắng và thấp ở tròng đen). Kết hợp hai đặc trưng này thành bộ phân lớp để phát hiện khóe mắt.6 a) Các góc trích bởi thuật toán Harris; b) mô hình góc của khóe mắt c) gắn mô hình (đường đỏ) và các đường nét của ảnh mắt.
- Rainer Stiefelhagen và các đồng sự [06] giới thiệu một hệ thống xác định hướng nhìn không gây phiền toái (non-intrusive) có thể xác định và bám đuổi mắt của người dùng trong thời gian thực ngay khi gương mặt xuất hiện trong thị trường của camera mà không cần sử dụng nguồn sáng đặc biệt hay bất kỳ dấu hiệu nào trên gương mặt người dùng. Đầu tiên hệ thống phát hiện vùng mặt bằng cách tính diện tích tất cả các vùng mà điểm ảnh có màu da, vùng có diện tích lớn nhất được xem là 6 vùng mặt. Sau đó, hệ thống tìm mắt bằng cách áp dụng phương pháp phân ngưỡng trong vùng mặt vừa phát hiện được. Do điều kiện sáng và người dùng có thể thay đổi, quá trình phân ngưỡng phải lặp lại nhiều lần, với giá trị từ nhỏ tới lớn, cho đến khi cả hai con ngươi xuất hiện.
Hệ thống sử dụng mạng thần kinh để ước lượng hướng nhìn của mắt người dùng. Mỗi ảnh mắt có kích thước 20x10, 2 ảnh mắt có 400 tín hiệu đưa đến ngõ vào của mạng thần kinh. Lớp ẩn của mạng có từ 40 đến 50 tế bào, lớp ra của mạng có 2x50 tế bào biểu diễn tọa độ điểm nhìn của người dùng trên màn hình. Nhóm thực hiện đã thu thập 4 tập dữ liệu từ 4 người dùng khác nhau dùng hệ thống nhận dạng hướng nhìn và đã huấn luyện và kiểm tra bằng mạng thần kinh với nhiều cấu hình khác nhau.
Hệ thống nhận dạng hướng nhìn của mắt đã đạt được độ chính xác từ 1.8 độ với chế độ một người dùng và 1.9 độ với chế độ nhiều người dùng.7 a) Phát hiện vùng mặt dựa vào màu da b) Phát hiện mắt dùng phương pháp phân ngưỡng lặp c) Ảnh mắt có kích thước 20x10 được trích ra để huấn luyện mạng thần kinh - Nhóm tác giả Michael Chau và Margrit Betke giới thiệu hệ thống giao tiếp người- máy (HCI) được thiết kế dùng cho những người khuyết tật, bị liệt hay mắc bệnh hiểm nghèo không thể cử động hay điều khiển các bộ phận như tay, chân; ngoại trừ cặp mắt. Hệ thống [07] phát hiện trạng thái chớp mắt của người dùng, phân tích và 7 sử dụng ảnh, khoảng thời gian chớp mắt để làm tín hiệu nhập vào máy tính, giống như thao tác click chuột. Hệ thống khởi động sau khi ghi nhận sự kiện người dùng chớp mắt một đến hai lần, hệ thống theo dõi mắt trong thời gian thực bằng cách lấy mẫu liên tục và phân tích tương quan. Nếu khoảng cách từ WebCam đến người dùng thay đổi nhiều hay đầu người dùng chuyển động nhanh, hệ thống tự tinh chỉnh lại.
Hệ thống không cần thêm nguồn sáng hoặc thu thập các mẫu mắt trước. Hệ thống sử dụng camera USB phổ thông và hoạt động ở 30 fps. Các thử nghiệm mở rộng cho phép xác định tính chính xác của hệ thống trong việc xác định chớp mắt cố ý và vô ý, cũng như khả năng thích nghi của hệ thống trong các điều kiện môi trường không ổn định, chẳng hạn như thay thế camera khác hay các điều kiện ánh sáng khác nhau. Thí nghiệm thực hiện trên tám đối tượng và phát hiện chính xác đến 95.8 Phân tính chuyển động (A) ảnh người dùng ở thời điểm f; (B) ảnh người dùng ở thời điểm f+1, đang chớp mắt; (C) Khác biệt giữa 2 thời điểm, nhiễu xuất hiện ở nền ảnh do điều kiện sáng và đặc tính của máy quay; (D) Ảnh khác biệt giữa 2 thời điểm sau khi xử lý bằng thuật toán Opening, được dùng để xác định vị trí mắt 8 - Hướng nhìn của mắt là một tín hiệu điều khiển có vai trò quan trọng trong các hệ thống giao tiếp người máy.
Trong lĩnh vực này, chuyển động của mắt được nghiên cứu nhiều nhất. Nhóm tác giả Kyung-Nam Kim và R. Ramakrishna [08] giới thiệu hệ thống theo dõi hướng nhìn của mắt một cách thuận tiện, cho phép đầu có thể chuyển động nhẹ. Một điểm nhỏ được dùng để tham chiếu bù chuyển động của đầu.
Tâm tròng đen được dùng làm thước đo chuyển động của mắt. Điểm nhìn được dự đoán sau khi biết được dữ liệu về chuyển động của mắt.