Luận Văn Thạc Sĩ Kỹ Thuật Cơ Điện Tử: Phát Triển Hệ Thống Xác Định Hướng Nhìn Mắt

Luận văn thạc sĩ kỹ thuật cơ điện tử tập trung phát triển hệ thống xác định hướng nhìn của mắt, ứng dụng công nghệ hiện đại trong lĩnh vực điều khiển và giám sát.

• Tác giả: Ngô Trần Khánh Đăng
• Người hướng dẫn: TS. Đoàn Thế Thảo
• Trường học: Đại học Bách Khoa - Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Kỹ thuật Cơ Điện Tử
• Đề tài: Hệ Thống Xác Định Hướng Nhìn Của Mắt (Develop Eye-Gaze Detection System)
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: TP. Hồ Chí Minh

Tóm tắt

I. Giới thiệu tổng quan về hệ thống xác định hướng nhìn của mắt

Luận văn thạc sĩ này tập trung vào việc phát triển hệ thống nhằm xác định hướng nhìn mắt (EyeGaze Detection). Hệ thống này sử dụng công nghệ nhận diện mắt để theo dõi và phân tích hướng nhìn của người dùng. Kỹ thuật xác định mắt được áp dụng để ước lượng điểm nhìn dựa trên vị trí của tâm đồng tử và các đốm sáng phản xạ trên giác mạc. Hệ thống theo dõi mắt này có thể được ứng dụng trong nhiều lĩnh vực như điều khiển thiết bị, giám sát hành vi, và nghiên cứu thị giác máy tính.

1.1 Cấu tạo và hoạt động của mắt

Mắt người là cơ quan thị giác phức tạp, bao gồm các bộ phận như giác mạc, mống mắt, đồng tử, thủy tinh thể, và võng mạc. Giác mạc là lớp màng trong suốt giúp khúc xạ ánh sáng, trong khi thủy tinh thể điều chỉnh tiêu cự để hình ảnh rõ nét trên võng mạc. Đồng tử co giãn để điều chỉnh lượng ánh sáng vào mắt. Hoạt động của mắt liên quan đến sự khúc xạ ánh sáng và tạo ra các chùm ảnh Purkinje, được sử dụng trong kỹ thuật theo dõi mắt.

1.2 Khái niệm về xác định hướng nhìn

Xác định hướng nhìn là quá trình ước lượng điểm nhìn của mắt trong không gian 3D. Trục ảo của mắt được xác định bằng đường thẳng đi qua điểm vàng và điểm nút của mắt. Hệ thống nhận diện mắt sử dụng các phương pháp toán học và công nghệ để tính toán hướng nhìn dựa trên vị trí của tâm đồng tử và các đốm sáng phản xạ.

II. Phương pháp và kỹ thuật xác định hướng nhìn

Luận văn thạc sĩ này đề xuất một hệ thống EyeGaze Detection sử dụng camera và nguồn sáng để theo dõi hướng nhìn. Công nghệ EyeGaze được áp dụng để xác định vị trí tâm đồng tử và các đốm sáng trên giác mạc. Phân tích hướng nhìn được thực hiện thông qua các mô hình toán học và xử lý ảnh số. Hệ thống này có độ chính xác cao với sai số dưới 4 độ.

2.1 Phương pháp xử lý ảnh

Xử lý ảnh số là bước quan trọng trong hệ thống nhận diện mắt. Các phương pháp như chuyển đổi ảnh màu sang ảnh xám, lọc nhiễu, và xác định vị trí khuôn mặt được áp dụng. Thuật toán Viola & Jones được sử dụng để nhận diện khuôn mặt, trong khi các phương pháp khác xác định tâm đồng tử và các đốm sáng.

2.2 Mô hình toán học

Mô hình toán học được sử dụng để tính toán hướng nhìn dựa trên vị trí của tâm đồng tử và các đốm sáng. Hệ trục tọa độ và các phương trình toán học được áp dụng để ước lượng điểm nhìn. Kỹ thuật xác định mắt này đảm bảo độ chính xác và hiệu quả trong việc theo dõi hướng nhìn.

III. Ứng dụng và giá trị thực tiễn

Hệ thống EyeGaze Detection có nhiều ứng dụng thực tiễn trong các lĩnh vực như điều khiển thiết bị, nghiên cứu thị trường, và giám sát hành vi. Công nghệ EyeGaze cung cấp một phương thức tương tác mới giữa con người và máy móc. Nghiên cứu thị giác máy tính được hỗ trợ bởi hệ thống này giúp cải thiện hiệu quả trong việc phân tích và dự đoán hành vi con người.

3.1 Ứng dụng trong điều khiển thiết bị

Hệ thống theo dõi mắt được sử dụng để điều khiển các thiết bị như TV, điện thoại, và máy tính. Ứng dụng EyeGaze này giúp người dùng tương tác với thiết bị một cách tự nhiên và hiệu quả. Công nghệ nhận diện mắt cũng được áp dụng trong việc thiết kế giao diện người dùng tối ưu.

3.2 Ứng dụng trong nghiên cứu thị trường

Hệ thống nhận diện mắt hỗ trợ việc nghiên cứu thị hiếu của khách hàng bằng cách theo dõi hướng nhìn của họ. Phân tích hướng nhìn giúp các nhà nghiên cứu hiểu rõ hơn về sự quan tâm của khách hàng đối với sản phẩm và dịch vụ. Công nghệ EyeGaze này mang lại giá trị lớn trong việc cải thiện chiến lược marketing.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu tổng quan về các khái niệm định nghĩa có liên quan đến hệ thống xác định hướng nhìn của mắt. Chương 2: Giới thiệu về các mô hình xác định hướng nhìn của mắt đã được công bố trong và ngoài nước. Phân tích ưu và nhược điểm của các mô hình khác nhau để từ đó đưa ra lựa chọn và định hướng nghiên cứu cho luận văn. Chưởng 3: Đưa ra mô hình toán và cách thức xác định hướng nhìn của mắt thông qua các dữ liệu đầu vào có được của bài toán.

Chương 4: Trình bày các lý thuyết, kiến thức nền tảng về xử lý ảnh sẽ áp dụng cho đề tài. Chương 5: Trình bày cấu tạo, cách lắp đặt và cách thức hoạt động của mô hình xác định hướng nhìn của mắt. Chương 6: Tiến hành thực nghiệm và đưa ra kết quả thực nghiệm để từ đó có thể đánh giá, nhận xét và đề xuất phương hướng phát triển cho đề tài. 12 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 2.

Phân tích tổng quan các hệ thống xác định hướng nhìn của mắt Như ở Chương 1, phần Tổng quan về hệ thống xác định hướng nhìn của mắt đã có nêu qua một số hệ thống xác định hướng nhìn của mắt. Hệ thống xác định hướng nhìn với các thiết bị camera gắn liền với người dùng Với hệ thống camera giám sát gắn liền với người dùng (thường được thiết kế dưới dạng nón chụp hoặc kính đeo) sẽ đưa ra các thông số đo đạc, giám sát mắt nhanh và chính xác hơn các phương pháp khác. Hơn thế nữa hệ thống này còn có thể dễ dàng gắn thêm các thiết bị hoặc cảm biến để đo đạc sự chuyển động đầu của người dùng.1 Hệ thống camera gắn liền với người dùng ( Nguồn: https://eyegaze.com/wp-content/uploads/2015/05/Eye-Tracking1.jpg https://www.uk/psychology/research/facilities/EL2_1.JPG ) Tuy nhiên, đây cũng sẽ là một hệ thống với thiết kế phức tạp, đắt tiền và phải sử dụng các thuật toán phức tạp để xử lý các dữ liệu đầu vào. Ngoài ra người dùng còn phải đeo các sản phẩm này trong quá trình sử dụng.

Hệ thống xác định hướng nhìn với các thiết bị điện cực đo đạc sự dịch chuyển của mắt Với hệ thống dùng các điện cực để đo đạc, giám sát các hoạt động của mắt thì thiết kế hệ thống sẽ trở nên đơn giản hơn, giá thành sản phẩm sẽ giảm xuống. 13 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT Hình 2.2 Xác định hướng nhìn của mắt bằng các điện cực ( Nguồn: https://neupsykey.com/wp-content/uploads/2016/07/B9781455712670000035_f03-03-9781455712670.jpg https://www.jpg ) Tuy nhiên, với thiết kế này, mặt hạn chế lớn nhất của hệ thống là việc lắp đặt và calib cho hệ thống sẽ phức tạp và tốn nhiều thời gian. Việc xử lý nhiễu từ tín hiệu thu được và sản phẩm của thiết kế bắt buộc phải gắn chặt với da của người dùng cũng là những hạn chế phải kể đến. Hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa người dùng Với thiết kế các camera giám sát, đo đạc thông tin của mắt nằm cách xa người dùng, hệ thống được thiết kế sẽ trở nên rất đơn giản và người dùng sẽ cảm thấy rất thoải mái khi sử dụng hệ thống này (vì không phải đeo hay mang theo bất kỳ thiết bị nào trên người).

Giải thuật, thuật toán áp dụng cho hệ thống này không quá phức tạp cũng là một ưu điểm nữa cho hệ thống. Độ chính xác của hệ thống có thể được tăng cường bằng cách lựa chọn và sử dụng các camera với độ phân giải cao hơn hoặc tăng cường số lượng camera giám sát.3 Eye control for Windows 10 ( Nguồn: https://youtu.be/AShNPfmAkvY ) 14 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT Tuy nhiên hệ thống này cũng có khuyết điểm khi mà hệ thống chỉ có thể hoạt động trong một không gian giới hạn đã xác định trước. Khi con người bước ra khỏi vùng giám sát của camera thì hệ thống sẽ không thể hoạt động. Yêu cầu chung cho hệ thống và đưa ra kết quả lựa chọn thiết kế tổng quan Yêu cầu chung của luận văn là: - Thiết kế một hệ thống giám sát hướng nhìn của mắt không bắt buộc người dùng phải đem theo hoặc đeo bất kỳ thiết bị nào.

- Chi phí thiết kế, lắp đặt cho hệ thống rẻ nhất có thể. - Hạn chế việc calib lại hệ thống. - Thiết kế hệ thống phải dễ dàng lắp đặt và vận hành. Từ các tiêu chí đã nêu, ta có thể thấy phương án thứ 3, xây dựng hệ thống xác định hướng nhìn với các thiết bị camera tách biệt và đặt cách xa người dùng là phù hợp với các tiêu chí này nhất.

Các phương án thiết kế với hệ thống xác định hướng nhìn của mắt sử dụng camera tách rời và đặt cách xa người dùng Thiết kế tổng quan đã được lựa chọn cho hệ thống ở mục 2.1 là thiết kế được lựa chọn nhiều nhất cho các hệ thống giám sát hướng nhìn của mắt hiện nay. Với thiết kế chi tiết hơn người ta sẽ đi theo một trong hai hướng chủ đạo như Hình 2. 15 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT Hình 2.4 So sánh tổng quan giữa thiết kế không dùng và có dùng đèn hồng ngoại ( Nguồn: http://journal.com/en/2014/09/09/01/img/index_img_1.jpg ) Các phân tích và so sánh chi tiết hơn cho từng phương án sẽ được trình bày cụ thể hơn qua các mục ngay dưới đây. Hệ thống chỉ sử dụng một camera Trong lịch sử nghiên cứu về việc xác định hướng nhìn có một số nghiên cứu chỉ sử dụng một camera như các nghiên cứu của Chen J và Ji Q [1] sử dụng mô hình 3D của khuôn mặt và mắt để xác định hướng nhìn của mắt.

Hay như các nghiên cứu của kỹ sư Nguyễn Hữu Cường và PGS.TS Huỳnh Thái Hoàng [2] thực hiện ước lượng hướng nhìn bằng các đặc trưng hình học của mắt. Nếu chỉ sử dụng một camera, hệ thống thiết kế sẽ có được các ưu điểm sau: - Thiết kế hệ thống đơn giản giúp dễ tối giản kích thước sản phẩm và giá cả sản phẩm sẽ nằm ở mức thấp nhất nếu so sánh với các thiết kế khác. - Sản phẩm sẽ dễ dàng lắp đặt và dễ sử dụng. Tuy nhiên thiết kế này cũng có các nhược điểm: - Độ chính xác của hệ thống bị ảnh hưởng nhiều nếu ánh sáng của môi trường bị thay đổi.

16 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT - Vì chỉ dùng các đặc trưng hình học (vị trí của con ngươi, góc mắt, vị trí của đỉnh mũi…) để ước lượng hướng nhìn của mắt nên kết quả ước lượng hướng nhìn của mắt sẽ không còn chính xác khi người dùng dịch chuyển vị trí của đầu (xoay đầu, không nhìn trực diện vào khu vực quan sát) hoặc trường hợp khuôn mặt người bị che chắn biến dạng. - Có thể phải thực hiện calib lại tất cả các thông số của hệ thống nếu hệ thống có thêm người dùng mới. Hệ thống sử dụng một camera và một nguồn sáng Với thiết kế này có thể kể đến các nghiên cứu của công ty Fujitsu, họ đã sản xuất một số sản phẩm hỗ trợ người dùng cuộn hay phóng to màn hình bằng điều khiển của mắt. Nếu có thêm một ràng buộc về nguồn sáng thì việc ước lượng hướng nhìn của mắt sẽ trở nên chính xác hơn.5 How the Corneal Reflection Method Works ( Nguồn: http://www.com/global/Images/20121002-02b_tcm100-839130.jpg ) Như vậy nếu lắp thêm một nguồn sáng hồng ngoại, hệ thống sẽ có được các ưu điểm: - Tăng cường độ chính xác cho việc ước lượng hướng nhìn của mắt.

- Giảm bớt ảnh hưởng của các nguồn sáng môi trường xung quanh đối với việc ước lượng hướng nhìn của mắt. - Kết quả ước lượng hướng nhìn của mắt sẽ được cải thiện kể cả với các trường hợp người dùng không nhìn trực diện vào vật thể. Tuy nhiên, lựa chọn này cũng có các khuyết điểm: - Giá thành sản phẩm sẽ tăng. 17 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT - Thiết kế và lắp đặt hệ thống sẽ phức tạp hơn.

- Việc calib cho hệ thống trở nên phức tạp hơn. Hệ thống sử dụng một camera và hai nguồn sáng Với thiết kế này có một số nghiên cứu đã được công bố như: - Nghiên cứu của White K và các đồng nghiệp [3] đã cải tiến độ chính xác cho máy tính cá nhân được điều khiền bằng mắt. - Nghiên cứu của Guestrin E và Eizenman M [4] đã đưa ra các lý thuyết tổng quan để ước lượng hướng nhìn của mắt, trong đó có thuật toán để xác định hướng nhìn với một camera và một nguồn sáng. - Morimoto C và các đồng nghiệp với nghiên cứu chi tiết cho mô hình một camera và hai nguồn sáng ở tài liệu [5].

Thiết kế này có các ưu điểm: - Kết quả xác định hướng nhìn của mắt được cải thiện một cách rõ rệt so với khi sử dụng 1 nguồn sáng. - Ảnh hưởng của việc dịch chuyển đầu hay không nhìn vật thể một cách trực diện được giảm thiểu. - Do dùng nguồn sáng hồng ngoại nên hệ thống ít bị ảnh hưởng bởi sự thay đổi của ánh sáng môi trường xung quanh. - Có thể thực hiện calib hệ thống một cách độc lập với người dùng.

Nhược điểm của hệ thống cũng tương tự với trường hợp sử dụng một nguồn sáng: - Tốn thêm chi phí khi lắp thêm nguồn sáng thứ hai. - Thiết kế và lắp đặt hệ thống sẽ phức tạp hơn. - Việc calib cho hệ thống trở nên phức tạp hơn - Các sai số về mối liên hệ vị trí giữa các thiết bị sẽ dẫn đến sai số rất lớn cho việc ước lượng hướng nhìn của mắt. 18 CHƯƠNG 2: CÁC PHƯƠNG ÁN LỰA CHỌN CHO HỆ THỐNG XÁC ĐỊNH HƯỚNG NHÌN CỦA MẮT 2.

Hệ thống sử dụng một camera và nhiều nguồn sáng Trường hợp này thường người ta sẽ kết hợp các thuật toán khi hệ thống có một nguồn sáng và khi có hai nguồn sáng lại với nhau để vận hành cho hệ thống. Hoặc đề xuất các thuật toán, mô hình toán mới cho hệ thống như nghiên cứu của Coutinho F và Morimoto C [6], họ đã dựa vào các tính toán hồi quy để xác định hướng nhìn của mắt. Với thiết kế này hệ thống sẽ có các ưu điểm: - Độ chính xác của hệ thống sẽ tăng lên so với khi chỉ dùng một hoặc hai nguồn sáng. - Có thể thực hiện calib hệ thống một cách độc lập với người dùng.