Tổng quan nghiên cứu

Thị giác là giác quan quan trọng nhất của con người, đảm nhận việc tiếp nhận khoảng 80% lượng thông tin từ môi trường xung quanh. Việc xác định chính xác điểm nhìn và hướng nhìn không chỉ phản ánh sự chú ý của người dùng mà còn mở ra bước đột phá trong giao tiếp người - máy. Luận văn thạc sĩ chuyên ngành Kỹ thuật Cơ Điện Tử tại Trường Đại học Bách Khoa - ĐHQG TP.HCM, hoàn thành vào tháng 12 năm 2018, tập trung nghiên cứu và hiện thực hóa mô hình xác định hướng nhìn của mắt dựa trên công nghệ thị giác máy tính và hệ thống nhúng.

Vấn đề cốt lõi của nghiên cứu là giải quyết bài toán ước lượng trục ảo của mắt trong không gian 3 chiều với độ chính xác cao nhưng vẫn tối ưu hóa phần cứng, tránh sự bất tiện của các thiết bị đeo cồng kềnh. Mục tiêu cụ thể là thiết kế một hệ thống không tiếp xúc, hoạt động độc lập, sử dụng 1 camera đơn kết hợp với 2 nguồn sáng hồng ngoại, đạt sai số góc nhìn dưới 4 độ. Phạm vi thực nghiệm của hệ thống được giới hạn trong không gian làm việc khoảng 0,25 m2 trước màn hình, khoảng cách từ người dùng đến camera dao động từ 50 cm đến 70 cm.

Công trình mang ý nghĩa khoa học và thực tiễn sâu sắc khi giải quyết triệt để hệ 16 phương trình giải tích không gian để tìm ra 15 biến số hình học, giúp giảm 100% sự phụ thuộc vào quá trình cân chỉnh phức tạp theo từng người dùng. Đây là tiền đề kỹ thuật vững chắc để triển khai các hệ thống điều khiển thông minh, hỗ trợ người khuyết tật, giám sát trạng thái tài xế và phân tích hành vi khách hàng với chi phí chế tạo giảm hơn 60% so với các giải pháp thương mại nhập khẩu.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng quang học hình học mắt và lý thuyết thị giác máy tính hiện đại. Đầu tiên là mô hình quang học mắt với giả thuyết giác mạc là một mặt cầu có bán kính cong xấp xỉ 7,8 mm. Luận văn phân biệt rõ hai trục quan trọng: trục quang học đi qua tâm giác mạc và tâm đồng tử, và trục thị giác (trục ảo) nối hoàng điểm với điểm nút của mắt. Trục thị giác lệch một góc cố định khoảng 5 độ so với trục quang học.

Thứ hai là lý thuyết phản xạ Purkinje, tập trung vào tia phản xạ đầu tiên (glint) xuất hiện tại mặt trước giác mạc khi có nguồn sáng chiếu vào. Thứ ba là mô hình camera pinhole 3 chiều, chuyển đổi không gian thực sang tọa độ cảm biến ảnh. Cuối cùng, nghiên cứu ứng dụng phương pháp độ cong Isophote kết hợp với vector Gradient cường độ sáng ($I = 0,299R + 0,587G + 0,114B$) để trích xuất tâm đồng tử với độ mịn đến cấp dưới pixel.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp giải tích toán học thuần túy. Dữ liệu thực nghiệm bao gồm 500 khung hình video thu thập từ 10 người tham gia thử nghiệm ở các điều kiện góc nghiêng đầu và khoảng cách khác nhau trong phòng thí nghiệm Cơ Điện Tử. Phương pháp chọn mẫu là chọn mẫu có chủ đích nhằm kiểm thử tối đa các trường hợp góc quay đầu từ âm 15 độ đến dương 15 độ.

Lý do lựa chọn phương pháp giải tích hình học 3D thay vì thuật toán hồi quy 2D là vì mô hình 3D cho phép tách biệt chuyển động của đầu với hướng nhìn của mắt, đảm bảo độ bền vững khi người dùng cử động tự nhiên. Quá trình xử lý ảnh áp dụng thuật toán tầng Haar-like của Viola-Jones để định vị khuôn mặt và vùng mắt với tốc độ xử lý nhanh, sau đó khoanh vùng xử lý cục bộ nhằm tiết kiệm tài nguyên bộ nhớ. Toàn bộ thuật toán được tối ưu và nạp vào máy tính mini Raspberry Pi chạy hệ điều hành Linux trong khung thời gian nghiên cứu kéo dài 11 tháng (từ tháng 1 năm 2018 đến tháng 12 năm 2018).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thực nghiệm hệ thống đã thu được 4 kết quả then chốt:

  1. Độ chính xác xác định hướng nhìn: Sai số trung bình đo được đạt 3,42 độ, đáp ứng hoàn toàn chỉ tiêu kỹ thuật đề ra ban đầu là dưới 4,0 độ.
  2. Khả năng nhận diện vùng mắt và đồng tử: Thuật toán Isophote đạt độ chính xác phát hiện tâm đồng tử 96,5% và phát hiện đúng 2 đốm sáng phản xạ đạt tỷ lệ 98,2% trong điều kiện ánh sáng phòng tiêu chuẩn từ 300 đến 500 lux.
  3. Tốc độ xử lý thời gian thực: Khi chạy trên máy tính mini Raspberry Pi 3 Model B, hệ thống đạt tốc độ xử lý ổn định 22 đến 25 khung hình trên giây (FPS), với độ trễ phản hồi thuật toán dưới 45 mili-giây.
  4. Độ ổn định theo khoảng cách: Khi khoảng cách người dùng thay đổi trong phạm vi từ 45 cm đến 65 cm, sai số chỉ dao động nhẹ trong khoảng 0,6 độ, chứng minh tính thích ứng cao của mô hình quang học 2 nguồn sáng.

Thảo luận kết quả

Khi biểu diễn dữ liệu thực nghiệm qua biểu đồ tương quan giữa khoảng cách làm việc và sai số góc nhìn, đường cong sai số duy trì hình đáy thuyền với điểm tối ưu tại khoảng cách 55 cm (sai số chỉ 3,1 độ). Tại khoảng cách vượt quá 70 cm, sai số tăng lên 4,6 độ do kích thước ảnh đồng tử thu được trên cảm biến bị suy giảm hơn 40% diện tích pixel.

Bảng so sánh hiệu năng giữa các cấu hình cho thấy: hệ thống 1 camera - 1 nguồn sáng có sai số lên đến 6,8 độ khi đầu xoay nhẹ 10 độ; trong khi hệ thống 1 camera - 2 nguồn sáng của luận văn giảm thiểu sai số xuống còn 3,42 độ nhờ vectơ giao tuyến của hai mặt phẳng phản xạ. Nguyên nhân chính là do 2 đốm sáng đã khóa cứng được vị trí tâm mặt cong giác mạc trong không gian 3 chiều mà không cần đo đạc lại bán kính mắt của từng cá nhân. So với nghiên cứu của các tác giả quốc tế cùng thời điểm sử dụng hệ thống đa camera đắt tiền, phương pháp này tiết kiệm 70% chi phí phần cứng nhưng vẫn duy trì độ chính xác tương đương ở phạm vi làm việc thông thường.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, 4 giải pháp chiến lược được đề xuất nhằm nâng cao hiệu quả ứng dụng thực tế:

  1. Nâng cấp thuật toán xử lý luồng đa luồng: Tối ưu hóa mã nguồn C++ và tận dụng tập lệnh NEON trên vi xử lý ARM để nâng tốc độ xử lý từ 25 FPS lên 60 FPS, hướng tới đáp ứng các tác vụ tương tác thời gian thực cao trong vòng 6 tháng do nhóm kỹ sư phần mềm nhúng đảm nhiệm.
  2. Tích hợp mạng nơ-ron tích chập nhẹ (Lightweight CNN): Ứng dụng mô hình học sâu MobileNetV3 để định vị điểm mốc mắt trong điều kiện ánh sáng nhiễu mạnh, đặt mục tiêu giảm sai số nhận diện dưới 2,5 độ trong lộ trình 9 tháng do các chuyên gia thị giác máy tính thực hiện.
  3. Mở rộng vùng làm việc với cơ cấu Pan-Tilt tự động: Thiết kế cụm camera xoay 2 bậc tự do có khả năng bám theo khuôn mặt, mở rộng không gian hoạt động của người dùng lên gấp 3 lần (đạt 0,75 m2) trong thời hạn 12 tháng do nhóm kỹ thuật cơ khí chính xác triển khai.
  4. Thương mại hóa thiết bị giao tiếp hỗ trợ: Phát triển giao diện điều khiển máy tính và xe lăn thông minh dành riêng cho bệnh nhân xơ cứng teo cơ một bên (ALS) và người khuyết tật vận động, mục tiêu hoàn thiện sản phẩm mẫu thương mại trong 18 tháng với sự phối hợp giữa viện nghiên cứu và các doanh nghiệp thiết bị y tế.

Đối tượng nên tham khảo luận văn

  1. Học viên cao học và nghiên cứu sinh ngành Cơ Điện Tử, Tự Động Hóa: Cung cấp tài liệu tham khảo chi tiết về cách thiết lập mô hình toán học 3D, cân chỉnh camera và lập trình thị giác máy tính trên hệ điều hành Linux nhúng.
  2. Kỹ sư phát triển hệ thống nhúng và IoT: Nắm bắt phương pháp tối ưu hóa thuật toán xử lý ảnh trên các phần cứng tài nguyên giới hạn như Raspberry Pi, Jetson Nano mà vẫn duy trì tốc độ xử lý thời gian thực.
  3. Chuyên gia nghiên cứu trải nghiệm người dùng (UX/UI) và Marketing: Ứng dụng mô hình theo dõi hướng nhìn để lập bản đồ nhiệt (Heatmap), phân tích sự tập trung thị giác của khách hàng trên website và bao bì sản phẩm.
  4. Nhà phát triển thiết bị y tế và phục hồi chức năng: Khai thác giải pháp kỹ thuật không tiếp xúc giá thành thấp để chế tạo hệ thống giao tiếp bằng mắt cho người tổn thương hệ vận động.

Câu hỏi thường gặp

Hệ thống có hoạt động chính xác khi người dùng đeo kính cận hoặc kính áp tròng không? Hệ thống sử dụng đèn LED hồng ngoại bước sóng gần nên hạn chế được hiện tượng lóa sáng thông thường. Tuy nhiên, nếu mắt kính có lớp phản xạ chống tia hồng ngoại mạnh, tỷ lệ phát hiện đốm sáng có thể giảm khoảng 12% đến 15%, cần tinh chỉnh ngưỡng nhị phân phù hợp.

Tại sao nghiên cứu chọn cấu hình 1 camera kết hợp 2 đèn LED thay vì dùng 2 camera? Việc dùng 2 camera làm tăng gấp đôi chi phí phần cứng và đòi hỏi băng thông xử lý lớn, khó triển khai trên vi xử lý nhúng giá rẻ. Cấu hình 1 camera và 2 đèn LED tạo đủ 2 mặt phẳng phản xạ để xác định giao tuyến vị trí mắt, vừa tối ưu chi phí vừa đạt độ chính xác dưới 4 độ.

Người dùng có cần cố định đầu tuyệt đối khi sử dụng hệ thống này không? Không cần cố định đầu hoàn toàn. Mô hình toán 3D giải tích của luận văn cho phép người dùng cử động tự nhiên trong vùng không gian 0,25 m2 với góc quay đầu dao động trong khoảng 15 độ mà không làm mất dấu vết hướng nhìn.

Đèn LED hồng ngoại chiếu vào mắt liên tục có gây hại cho thị lực không? Nguồn phát sử dụng chùm LED hồng ngoại công suất thấp, tuân thủ nghiêm ngặt các tiêu chuẩn quốc tế về an toàn bức xạ quang học cho mắt người, không gây cảm giác chói mắt hay tổn thương giác mạc khi sử dụng liên tục trong 8 giờ.

Hệ thống có thể chạy độc lập không cần máy tính cá nhân cấu hình cao không? Toàn bộ giải thuật từ thu nhận ảnh, định vị khuôn mặt, trích xuất đồng tử đến giải toán 3D đều được nhúng trực tiếp vào bo mạch Raspberry Pi, cho phép hệ thống xuất dữ liệu tọa độ trực tiếp qua cổng giao tiếp nối tiếp mà không cần PC hỗ trợ.

Kết luận

  • Công trình đã thiết kế và chế tạo thành công hệ thống xác định hướng nhìn của mắt dạng không tiếp xúc với kết cấu tinh gọn gồm 1 camera và 2 nguồn sáng hồng ngoại.
  • Xây dựng hoàn chỉnh mô hình toán học giải tích 3 chiều giải hệ 16 phương trình, cho phép ước lượng trục thị giác mà không phụ thuộc vào việc cân chỉnh phức tạp từng người dùng.
  • Thực nghiệm trên nền tảng nhúng Raspberry Pi đạt sai số góc nhìn trung bình 3,42 độ (vượt chỉ tiêu thiết kế dưới 4,0 độ) cùng tốc độ xử lý thời gian thực đạt 25 khung hình trên giây.
  • Đóng góp giải pháp công nghệ giá thành thấp, mở ra tiềm năng ứng dụng rộng lớn trong điều khiển thông minh, y tế hỗ trợ và nghiên cứu hành vi người dùng.
  • Kế hoạch tiếp theo tập trung vào việc tích hợp học sâu để nâng cao độ chính xác dưới 2,5 độ và mở rộng góc quay camera tự động trong 12 tháng tới.

Hãy kết nối và ứng dụng ngay giải pháp theo dõi hướng nhìn mã nguồn mở này vào các dự án công nghệ của bạn để đón đầu xu hướng tương tác người - máy thế hệ mới!