Nhận Dạng Cảm Xúc Của Người Dựa Trên Ảnh Nhiệt

• Tác giả: Nguyễn Thị Anh Thư
• Người hướng dẫn: TS. Nguyễn Viết Hưng
• Trường học: Trường Đại học Sư phạm Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Nhận Dạng Cảm Xúc Qua Ảnh Nhiệt
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2018
• Địa điểm: Thành phố Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. CƠ SỞ LÝ THUYẾT VÀ NGHIÊN CỨU LIÊN QUAN
• 1.1. Tổng quan tình hình nghiên cứu
• 1.2. Các công trình nghiên cứu liên quan
• 1.3. Một số thách thức trong lĩnh vực nghiên cứu nhận dạng cảm xúc
• 1.4. Thông tin về ảnh nhiệt
• 2. NHẬN DẠNG CẢM XÚC CỦA NGƯỜI DỰA TRÊN ẢNH NHIỆT
• 2.1. Cơ sở dữ liệu ảnh nhiệt Kotani Thermal Facial Emotion (KTFE)
• 2.2. Phương pháp nhận dạng
• 2.2.1. Tìm các vùng nhiệt quan tâm (ROI)
• 2.2.2. Nhận dạng cảm xúc
• 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Môi trường thực nghiệm
• 3.2. Dữ liệu đầu vào
• 3.3. Phân tích đánh giá
• 3.4. Kết quả thực nghiệm
• 3.5. So sánh kết quả thực nghiệm với các phương pháp khác
• 4. KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ, BIỂU ĐỒ

I. Nhận Dạng Cảm Xúc Qua Ảnh Nhiệt Tổng Quan Nghiên Cứu

Cảm xúc là yếu tố then chốt trong giao tiếp, ảnh hưởng sâu sắc đến hành vi con người. Nhận diện cảm xúc hiệu quả là chìa khóa để thấu hiểu và tương tác tốt hơn. Các phương pháp nhận diện cảm xúc truyền thống thường dựa vào biểu hiện khuôn mặt. Sự phát triển của khoa học kỹ thuật đã mở ra hướng tiếp cận mới: Nhận dạng cảm xúc qua ảnh nhiệt. Công nghệ này thu hút sự quan tâm đặc biệt từ giới nghiên cứu. Nghiên cứu của Paul Ekman từ những năm 1970 đã đặt nền móng cho việc phân tích biểu cảm khuôn mặt. Các ứng dụng từ đó phát triển mạnh mẽ, từ hệ thống cảnh báo buồn ngủ cho lái xe đến các ứng dụng tương tác người-robot thông minh. Tuy nhiên, độ phức tạp của khuôn mặt và biểu cảm vẫn là một thách thức lớn. Thêm vào đó, các hệ thống dựa trên hình ảnh thông thường gặp khó khăn trong điều kiện ánh sáng yếu hoặc khi đối tượng không biểu lộ cảm xúc thật. Ảnh nhiệt là một giải pháp tiềm năng, khắc phục những hạn chế này nhờ tính độc lập với điều kiện ánh sáng và khả năng ghi nhận những thay đổi nhiệt độ tinh tế liên quan đến cảm xúc. Luận văn của Nguyễn Thị Anh Thư tập trung làm rõ cơ sở lý thuyết, thực nghiệm và đánh giá kết quả đạt được trong nhận dạng cảm xúc qua ảnh nhiệt.

1.1. Tầm Quan Trọng Của Nhận Diện Cảm Xúc Trong Giao Tiếp

Cảm xúc đóng vai trò trung tâm trong giao tiếp phi ngôn ngữ, là nền tảng để hiểu hành vi con người. Việc nhận dạng cảm xúc một cách chính xác, đặc biệt thông qua các biểu hiện trên khuôn mặt, rất quan trọng. Công nghệ nhận diện cảm xúc ngày càng trở nên quan trọng trong bối cảnh tương tác người-máy ngày càng phát triển. Các công trình nghiên cứu của Ekman đã chỉ ra rằng biểu cảm khuôn mặt là một kênh giao tiếp cảm xúc mạnh mẽ. Các hệ thống phân tích cảm xúc hiệu quả có thể cải thiện đáng kể khả năng tương tác và thấu hiểu lẫn nhau trong nhiều lĩnh vực của cuộc sống.

1.2. Ưu Điểm Của Ảnh Nhiệt Trong Nhận Diện Cảm Xúc

Việc sử dụng ảnh nhiệt mở ra một hướng tiếp cận mới trong việc nhận diện cảm xúc, khắc phục những hạn chế của các phương pháp dựa trên hình ảnh thông thường. Ảnh nhiệt không nhạy cảm với điều kiện ánh sáng, cho phép nhận diện cảm xúc trong môi trường thiếu sáng hoặc bóng tối. Ngoài ra, ảnh nhiệt có khả năng phát hiện những thay đổi nhiệt độ tinh tế trên khuôn mặt, liên quan đến các trạng thái cảm xúc khác nhau. Điều này đặc biệt hữu ích trong việc đọc vị cảm xúc của những người không biểu lộ cảm xúc rõ ràng trên khuôn mặt.

II. Thách Thức Trong Nhận Dạng Cảm Xúc Qua Ảnh Nhiệt Hiện Nay

Mặc dù đầy hứa hẹn, nhận dạng cảm xúc qua ảnh nhiệt vẫn đối mặt với nhiều thách thức. Sự phức tạp của biểu hiện cảm xúc và sự khác biệt giữa các cá nhân tạo ra khó khăn trong việc xây dựng các mô hình chính xác. Việc trích xuất đặc trưng hiệu quả từ ảnh nhiệt cũng là một vấn đề cần giải quyết. Không phải tất cả các vùng trên khuôn mặt đều có sự thay đổi nhiệt độ đáng kể khi cảm xúc thay đổi, do đó, việc xác định các vùng quan trọng (ROI) là rất cần thiết. Thêm vào đó, các yếu tố môi trường như nhiệt độ phòng và độ ẩm có thể ảnh hưởng đến kết quả phân tích ảnh nhiệt. Luận văn của Nguyễn Thị Anh Thư tập trung vào việc cải tiến quá trình rút trích đặc trưng để nâng cao độ chính xác của hệ thống nhận dạng cảm xúc dựa trên ảnh nhiệt.

2.1. Độ Nhạy Cảm Với Điều Kiện Môi Trường Của Ảnh Nhiệt

Một trong những thách thức lớn nhất trong nhận dạng cảm xúc qua ảnh nhiệt là độ nhạy cảm của ảnh nhiệt với điều kiện môi trường. Nhiệt độ phòng, độ ẩm và các yếu tố khác có thể ảnh hưởng đến sự phân bố nhiệt trên khuôn mặt, làm sai lệch kết quả phân tích cảm xúc. Do đó, cần có các phương pháp hiệu chỉnh và chuẩn hóa ảnh nhiệt để loại bỏ ảnh hưởng của môi trường và đảm bảo tính chính xác của hệ thống nhận dạng cảm xúc.

2.2. Sự Khác Biệt Về Biểu Hiện Cảm Xúc Giữa Các Cá Nhân

Biểu hiện cảm xúc là một hiện tượng phức tạp và mang tính cá nhân cao. Mỗi người có một cách riêng để thể hiện cảm xúc, và sự khác biệt này có thể gây khó khăn cho việc xây dựng các mô hình nhận dạng cảm xúc tổng quát. Các yếu tố như giới tính, tuổi tác, chủng tộc và văn hóa có thể ảnh hưởng đến biểu hiện cảm xúc và sự thay đổi nhiệt độ trên khuôn mặt. Do đó, cần có các phương pháp học máy linh hoạt và có khả năng thích ứng với sự đa dạng của biểu hiện cảm xúc.

III. Phương Pháp Tìm Vùng Nhiệt Quan Tâm ROI để Nhận Dạng Cảm Xúc

Một giải pháp quan trọng để giải quyết các thách thức trên là tập trung vào việc tìm kiếm các vùng nhiệt quan tâm (ROI) trên khuôn mặt. Việc xác định chính xác các ROI, nơi có sự thay đổi nhiệt độ đáng kể liên quan đến cảm xúc, giúp giảm thiểu ảnh hưởng của các yếu tố nhiễu và tăng cường độ chính xác của hệ thống nhận dạng. Các phương pháp khác nhau đã được đề xuất để xác định ROI, bao gồm phân tích hình dạng khuôn mặt, sử dụng thuật toán computer vision và kết hợp với các cơ sở dữ liệu ảnh nhiệt hiện có. Luận văn của Nguyễn Thị Anh Thư khám phá các phương pháp rút trích đặc trưng trong vùng quan tâm của ảnh nhiệt để cải thiện hiệu quả nhận dạng cảm xúc.

3.1. Phân Tích Hình Dạng Khuôn Mặt để Xác Định ROI

Hình dạng khuôn mặt và vị trí của các đặc điểm trên khuôn mặt (mắt, mũi, miệng) có thể cung cấp thông tin hữu ích để xác định các ROI tiềm năng. Các vùng xung quanh mắt và miệng thường có sự thay đổi nhiệt độ đáng kể khi cảm xúc thay đổi. Các phương pháp phân tích hình dạng khuôn mặt, như Active Appearance Model (AAM), có thể được sử dụng để xác định vị trí của các đặc điểm trên khuôn mặt và khoanh vùng các ROI tương ứng. Phương pháp này cho phép tập trung vào các vùng quan trọng và giảm thiểu ảnh hưởng của các vùng không liên quan.

3.2. Sử Dụng Thuật Toán Computer Vision Để Tìm ROI

Computer vision cung cấp nhiều thuật toán mạnh mẽ để phân tích ảnh nhiệt và xác định các ROI. Các thuật toán này có thể phát hiện các vùng có sự thay đổi nhiệt độ đáng kể, các vùng có cấu trúc đặc biệt hoặc các vùng có tính đối xứng cao. Ví dụ, các thuật toán phát hiện cạnh có thể được sử dụng để xác định ranh giới của các ROI, trong khi các thuật toán phân cụm có thể được sử dụng để nhóm các pixel có nhiệt độ tương tự thành các vùng riêng biệt. Việc kết hợp các thuật toán computer vision với kiến thức về biểu hiện cảm xúc có thể giúp xác định các ROI chính xác và hiệu quả.

IV. Ứng Dụng Học Máy Machine Learning trong Nhận Dạng Cảm Xúc

Học máy đóng vai trò quan trọng trong việc xây dựng các hệ thống nhận dạng cảm xúc tự động. Các thuật toán học máy cho phép hệ thống học từ dữ liệu ảnh nhiệt và xây dựng các mô hình dự đoán cảm xúc. Các phương pháp học máy phổ biến được sử dụng trong nhận dạng cảm xúc bao gồm Support Vector Machines (SVM), Principal Component Analysis (PCA) và deep learning. Luận văn của Nguyễn Thị Anh Thư sử dụng PCA và Eigenspace Method based on Class features (EMC) để phân tích và nhận diện cảm xúc từ ảnh nhiệt.

4.1. Support Vector Machines SVM Trong Phân Loại Cảm Xúc

Support Vector Machines (SVM) là một thuật toán học máy mạnh mẽ, thường được sử dụng trong các bài toán phân loại. SVM hoạt động bằng cách tìm một siêu phẳng (hyperplane) trong không gian đặc trưng, phân tách các lớp dữ liệu khác nhau một cách tối ưu. Trong nhận dạng cảm xúc, SVM có thể được sử dụng để phân loại các trạng thái cảm xúc khác nhau dựa trên các đặc trưng trích xuất từ ảnh nhiệt. SVM có khả năng xử lý dữ liệu phi tuyến tính và chống lại hiện tượng quá khớp (overfitting), làm cho nó trở thành một lựa chọn phổ biến trong nhận dạng cảm xúc.

4.2. Deep Learning Giải Pháp Tiên Tiến Cho Nhận Dạng Cảm Xúc

Deep learning, một nhánh của học máy, đã đạt được những thành công vượt bậc trong nhiều lĩnh vực, bao gồm nhận dạng cảm xúc. Các mạng nơ-ron sâu (deep neural networks) có khả năng học các đặc trưng phức tạp từ dữ liệu thô, giúp cải thiện đáng kể độ chính xác của hệ thống nhận dạng. Convolutional Neural Networks (CNN) là một kiến trúc deep learning phổ biến, thường được sử dụng để xử lý ảnh nhiệt và trích xuất các đặc trưng quan trọng. Với khả năng học tự động và xử lý dữ liệu phức tạp, deep learning hứa hẹn sẽ tiếp tục đóng vai trò quan trọng trong sự phát triển của nhận dạng cảm xúc.

V. Ứng Dụng Thực Tế Nhận Dạng Cảm Xúc Qua Ảnh Nhiệt Hiện Nay

Nhận dạng cảm xúc qua ảnh nhiệt có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực. Trong y tế, nó có thể được sử dụng để chẩn đoán và theo dõi các bệnh tâm lý. Trong an ninh, nó có thể được sử dụng để phát hiện các dấu hiệu căng thẳng hoặc lừa dối. Trong marketing, nó có thể được sử dụng để đánh giá phản ứng của khách hàng đối với sản phẩm hoặc dịch vụ. Các ứng dụng khác bao gồm tương tác người-máy, giáo dục và khoa học hành vi. Nghiên cứu của Nguyễn Thị Anh Thư mong muốn đóng góp vào việc phát triển các ứng dụng thực tế của nhận dạng cảm xúc qua ảnh nhiệt.

5.1. Ứng Dụng Trong Y Tế Chẩn Đoán Bệnh Tâm Lý

Trong lĩnh vực y tế, nhận dạng cảm xúc qua ảnh nhiệt có thể được sử dụng để hỗ trợ chẩn đoán và theo dõi các bệnh tâm lý. Các bệnh như trầm cảm, lo âu và rối loạn căng thẳng sau chấn thương (PTSD) có thể ảnh hưởng đến biểu hiện cảm xúc và sự thay đổi nhiệt độ trên khuôn mặt. Việc sử dụng ảnh nhiệt để phân tích cảm xúc có thể cung cấp thông tin khách quan và hỗ trợ cho quá trình chẩn đoán của bác sĩ. Nghiên cứu của Di Giacinto và cộng sự đã khám phá cảm xúc sợ hãi ở những bệnh nhân PTSD.

5.2. Ứng Dụng Trong Marketing Đánh Giá Phản Ứng Của Khách Hàng

Nhận dạng cảm xúc qua ảnh nhiệt có thể cung cấp thông tin giá trị về phản ứng của khách hàng đối với sản phẩm hoặc dịch vụ. Bằng cách phân tích biểu cảm khuôn mặt và sự thay đổi nhiệt độ trên khuôn mặt của khách hàng khi họ tiếp xúc với quảng cáo, sản phẩm hoặc trải nghiệm dịch vụ, các nhà tiếp thị có thể đánh giá hiệu quả của chiến dịch marketing và tối ưu hóa trải nghiệm khách hàng. Thông tin này có thể được sử dụng để cải thiện thiết kế sản phẩm, điều chỉnh thông điệp quảng cáo và nâng cao sự hài lòng của khách hàng.

VI. Kết Luận Tiềm Năng và Hướng Phát Triển Nhận Dạng Cảm Xúc

Nhận dạng cảm xúc qua ảnh nhiệt là một lĩnh vực đầy hứa hẹn, có tiềm năng cách mạng hóa nhiều ứng dụng. Mặc dù vẫn còn nhiều thách thức cần giải quyết, những tiến bộ gần đây trong học máy, computer vision và công nghệ ảnh nhiệt đang mở ra những cơ hội mới. Hướng phát triển trong tương lai bao gồm việc xây dựng các cơ sở dữ liệu ảnh nhiệt lớn hơn, phát triển các thuật toán nhận dạng chính xác hơn và khám phá các ứng dụng mới trong các lĩnh vực khác nhau. Luận văn của Nguyễn Thị Anh Thư đóng góp một phần vào sự phát triển của lĩnh vực này, mở ra hướng nghiên cứu về sự cải tiến quá trình rút trích đặc trưng tốt hơn trong bài toán nhận dạng cảm xúc.

6.1. Xây Dựng Cơ Sở Dữ Liệu Ảnh Nhiệt Lớn Cho Nghiên Cứu

Việc xây dựng các cơ sở dữ liệu ảnh nhiệt lớn và đa dạng là rất quan trọng để phát triển và đánh giá các thuật toán nhận dạng cảm xúc hiệu quả. Các cơ sở dữ liệu này nên bao gồm ảnh nhiệt của nhiều người khác nhau, thuộc các độ tuổi, giới tính, chủng tộc và văn hóa khác nhau, và thể hiện nhiều trạng thái cảm xúc khác nhau. Việc có sẵn các cơ sở dữ liệu lớn sẽ cho phép các nhà nghiên cứu đào tạo và kiểm tra các mô hình học máy một cách toàn diện và đảm bảo tính tổng quát của hệ thống nhận dạng.

6.2. Phát Triển Thuật Toán Nhận Dạng Cảm Xúc Chính Xác Hơn

Một trong những hướng phát triển quan trọng nhất là việc phát triển các thuật toán nhận dạng cảm xúc chính xác hơn và mạnh mẽ hơn. Các thuật toán này nên có khả năng xử lý dữ liệu phức tạp, thích ứng với sự khác biệt giữa các cá nhân và chống lại các yếu tố nhiễu. Việc kết hợp các phương pháp học máy khác nhau, như deep learning và SVM, có thể mang lại kết quả tốt hơn. Ngoài ra, việc sử dụng các phương pháp xử lý ảnh tiên tiến có thể giúp cải thiện chất lượng ảnh nhiệt và trích xuất các đặc trưng quan trọng.

Tổng quan nghiên cứu

Nhận dạng cảm xúc của con người đóng vai trò quan trọng trong giao tiếp phi ngôn ngữ, chiếm đến 55% hiệu quả truyền đạt thông tin qua biểu hiện khuôn mặt. Trong bối cảnh cuộc cách mạng công nghiệp 4.0, việc phát triển các hệ thống nhận dạng cảm xúc chính xác và hiệu quả trở thành một thách thức lớn, đặc biệt khi các phương pháp truyền thống dựa trên ảnh nhìn thấy gặp khó khăn do điều kiện ánh sáng kém hoặc biểu cảm không rõ ràng. Ảnh nhiệt, với khả năng không nhạy cảm với ánh sáng và cung cấp thông tin sinh lý về nhiệt độ cơ thể, được xem là giải pháp tiềm năng để nâng cao độ chính xác nhận dạng cảm xúc.

Luận văn tập trung nghiên cứu xây dựng mô hình rút trích đặc trưng từ ảnh nhiệt khuôn mặt nhằm nhận dạng bảy cảm xúc cơ bản: giận dữ, ghê tởm, sợ hãi, hạnh phúc, buồn rầu, ngạc nhiên và bình thường. Nghiên cứu sử dụng cơ sở dữ liệu Kotani Thermal Facial Emotion (KTFE) với 30 đối tượng, thu thập dữ liệu trong điều kiện thực tế, bao gồm 27,2 GB dữ liệu nhiệt cho các cảm xúc trên. Mục tiêu chính là phát triển phương pháp trích xuất vùng nhiệt quan tâm (ROI) hiệu quả, kết hợp các thuật toán phân loại như PCA, EMC và PCA-EMC để nâng cao tỷ lệ nhận dạng cảm xúc.

Nghiên cứu có ý nghĩa khoa học trong việc ứng dụng công nghệ thị giác máy tính và ảnh nhiệt vào nhận dạng cảm xúc, đồng thời tạo tiền đề cho các nghiên cứu liên ngành về tâm lý học và khoa học máy tính. Về thực tiễn, kết quả có thể hỗ trợ phát triển các hệ thống tương tác người-máy, robot thông minh, thiết bị giám sát trạng thái cảm xúc và các ứng dụng trong y khoa, giáo dục, và dịch vụ khách hàng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai nhóm lý thuyết chính: lý thuyết nhận dạng cảm xúc qua biểu hiện khuôn mặt và lý thuyết xử lý ảnh nhiệt.

1. Lý thuyết nhận dạng cảm xúc qua biểu hiện khuôn mặt:

   • Hệ thống mã hóa hành động mặt (FACS) của Ekman, mã hóa biểu hiện khuôn mặt thành 44 đơn vị hành động (AU).
   • Phân loại đặc trưng hình học (dựa trên hình dạng, khoảng cách các thành phần khuôn mặt) và đặc trưng xuất hiện (dựa trên biểu hiện, kết cấu bề mặt).
   • Các thuật toán trích xuất đặc trưng như Active Appearance Model (AAM), Local Binary Pattern (LBP), Histogram of Oriented Gradients (HOG), Local Directional Pattern (LDP), Principal Component Analysis (PCA), Linear Discriminant Analysis (LDA), Support Vector Machines (SVM), và Eigenspace Method based on Class features (EMC).

2. Lý thuyết xử lý ảnh nhiệt:

   • Ảnh nhiệt ghi nhận bức xạ hồng ngoại phát ra từ cơ thể, phản ánh sự thay đổi nhiệt độ do lưu lượng máu dưới da khi cảm xúc thay đổi.
   • Xác định vùng nhiệt quan tâm (ROI) trên khuôn mặt gồm trán, quanh mắt, gò má và hàm trên, nơi có sự biến đổi nhiệt độ rõ rệt khi cảm xúc thay đổi.
   • Sử dụng các phương pháp trích xuất đặc trưng từ ROI để giảm nhiễu và tăng độ chính xác nhận dạng.

Phương pháp nghiên cứu

• Nguồn dữ liệu:
  Sử dụng cơ sở dữ liệu Kotani Thermal Facial Emotion (KTFE) gồm 30 đối tượng đa quốc tịch, độ tuổi từ 11 đến 32, với 7 cảm xúc cơ bản. Tổng dung lượng dữ liệu nhiệt là 130 GB, trong đó 27,2 GB được trích xuất cho nghiên cứu.

• Phương pháp phân tích:

  • Tiền xử lý ảnh nhiệt, xác định và trích xuất vùng nhiệt quan tâm (ROI) dựa trên các hàm ánh xạ nhiệt độ và cường độ pixel.
  • Áp dụng các thuật toán trích xuất đặc trưng PCA, EMC và kết hợp PCA-EMC để xây dựng mô hình nhận dạng cảm xúc.
  • Đánh giá hiệu suất bằng tỷ lệ chính xác nhận dạng và ma trận nhầm lẫn.
  • So sánh kết quả với các phương pháp hiện có trên cùng cơ sở dữ liệu KTFE.

• Timeline nghiên cứu:

  • Thu thập và xử lý dữ liệu: 3 tháng.
  • Phát triển mô hình trích xuất ROI và thuật toán nhận dạng: 4 tháng.
  • Thực nghiệm, đánh giá và so sánh kết quả: 3 tháng.
  • Tổng kết và đề xuất hướng phát triển: 2 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu suất nhận dạng cảm xúc với PCA:

   • Tỷ lệ chính xác trung bình đạt 90.42%, trong đó giận dữ đạt 92.5%, hạnh phúc 97.44%, bình thường 98.2%.
   • Tỷ lệ lỗi trung bình chỉ khoảng 9%.

2. Hiệu suất với EMC:

   • Tỷ lệ chính xác trung bình đạt 89.99%, giận dữ 93.75%, buồn rầu 90.22%, ngạc nhiên 94.9%.
   • So với PCA, EMC thấp hơn 1.11% về tổng thể nhưng có ưu thế ở một số cảm xúc như buồn rầu và ngạc nhiên.

3. Hiệu suất với kết hợp PCA-EMC:

   • Tỷ lệ chính xác trung bình là 85.94%, thấp hơn PCA và EMC. Tuy nhiên, tỷ lệ nhận dạng sợ hãi và buồn rầu tăng nhẹ so với PCA và EMC riêng lẻ.
   • Không có trường hợp nhầm lẫn giữa giận dữ với các cảm xúc khác, thể hiện tính phân biệt cao.

4. So sánh với phương pháp hiện có:

   • Phương pháp đề xuất cải tiến ROI cho kết quả nhận dạng cao hơn khoảng 4% so với phương pháp trong một nghiên cứu gần đây trên cùng cơ sở dữ liệu KTFE.
   • So với phương pháp sử dụng Histogram statistics và Multi Class SVM, tỷ lệ nhận dạng trung bình của đề tài đạt trên 90%, vượt trội so với 81.95% và 86.8% của các phương pháp này.

Thảo luận kết quả

Kết quả cho thấy việc xác định vùng nhiệt quan tâm (ROI) chính xác và hiệu quả là yếu tố then chốt giúp nâng cao độ chính xác nhận dạng cảm xúc dựa trên ảnh nhiệt. Việc tập trung vào các vùng như trán, quanh mắt, gò má và hàm trên giúp giảm nhiễu và loại bỏ các vùng không liên quan, từ đó cải thiện khả năng phân biệt các cảm xúc khác nhau.

So với các phương pháp truyền thống dựa trên ảnh nhìn thấy, ảnh nhiệt không bị ảnh hưởng bởi điều kiện ánh sáng và có thể phát hiện các biến đổi sinh lý tinh vi trên khuôn mặt, giúp nhận dạng cảm xúc chính xác hơn trong các điều kiện thực tế đa dạng. Mặc dù kết hợp PCA-EMC không đạt hiệu suất cao nhất, nhưng sự gia tăng tỷ lệ nhận dạng ở một số cảm xúc cho thấy tiềm năng phát triển các mô hình kết hợp đa phương pháp.

Các biểu đồ ma trận nhầm lẫn và tỷ lệ nhận dạng theo từng cảm xúc minh họa rõ sự phân biệt tốt giữa các lớp cảm xúc, đồng thời cho thấy không có nhầm lẫn nghiêm trọng giữa các cảm xúc cơ bản. Điều này khẳng định tính khả thi và hiệu quả của phương pháp đề xuất trong ứng dụng thực tế.

Đề xuất và khuyến nghị

1. Cải tiến phương pháp xác định vùng nhiệt quan tâm (ROI)

   • Áp dụng các kỹ thuật học sâu để tự động hóa và tối ưu hóa việc xác định ROI, nhằm tăng độ chính xác và giảm ảnh hưởng của các yếu tố gây nhiễu như kính đeo mắt.
   • Thời gian thực hiện: 6-12 tháng.
   • Chủ thể thực hiện: Nhóm nghiên cứu khoa học máy tính và thị giác máy tính.

2. Mở rộng nghiên cứu với các thuật toán trích xuất đặc trưng và phân loại mới

   • Thử nghiệm các mô hình học sâu như Convolutional Neural Networks (CNN), Deep Boltzmann Machines (DBM) để nâng cao khả năng nhận dạng cảm xúc.
   • Thời gian thực hiện: 12 tháng.
   • Chủ thể thực hiện: Các nhà nghiên cứu trong lĩnh vực trí tuệ nhân tạo và học máy.

3. Phát triển cơ sở dữ liệu ảnh nhiệt đa dạng hơn

   • Thu thập dữ liệu từ nhiều đối tượng với đa dạng độ tuổi, giới tính và quốc tịch, trong các điều kiện môi trường khác nhau để tăng tính đại diện và khả năng tổng quát của mô hình.
   • Thời gian thực hiện: 18 tháng.
   • Chủ thể thực hiện: Các tổ chức nghiên cứu và trường đại học.

4. Kết hợp ảnh nhiệt với ảnh nhìn thấy để tăng cường thông tin

   • Phát triển hệ thống nhận dạng cảm xúc đa phương thức, tận dụng ưu điểm của cả hai loại ảnh để cải thiện độ chính xác và khả năng ứng dụng trong thực tế.
   • Thời gian thực hiện: 12 tháng.
   • Chủ thể thực hiện: Nhóm nghiên cứu liên ngành giữa khoa học máy tính và kỹ thuật điện tử.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành khoa học máy tính, thị giác máy tính

   • Lợi ích: Hiểu rõ các phương pháp trích xuất đặc trưng và phân loại cảm xúc dựa trên ảnh nhiệt, áp dụng vào các đề tài nghiên cứu và phát triển sản phẩm.
   • Use case: Phát triển hệ thống nhận dạng cảm xúc trong robot, ứng dụng AI.

2. Chuyên gia trong lĩnh vực tâm lý học và khoa học hành vi

   • Lợi ích: Nắm bắt công nghệ mới trong việc đo lường và phân tích cảm xúc qua tín hiệu sinh lý không xâm lấn.
   • Use case: Nghiên cứu mối liên hệ giữa biểu hiện cảm xúc và trạng thái tâm lý.

3. Nhà phát triển ứng dụng tương tác người-máy và robot thông minh

   • Lợi ích: Áp dụng mô hình nhận dạng cảm xúc chính xác để cải thiện trải nghiệm người dùng và khả năng tương tác tự nhiên.
   • Use case: Thiết kế robot hỗ trợ người già, trẻ em hoặc trong môi trường giáo dục.

4. Chuyên gia y tế và kỹ thuật y sinh

   • Lợi ích: Sử dụng ảnh nhiệt để theo dõi trạng thái cảm xúc và sức khỏe tâm thần bệnh nhân một cách không xâm lấn.
   • Use case: Hỗ trợ chẩn đoán và theo dõi các rối loạn tâm lý như PTSD.

Câu hỏi thường gặp

1. Ảnh nhiệt có ưu điểm gì so với ảnh nhìn thấy trong nhận dạng cảm xúc?
   Ảnh nhiệt không bị ảnh hưởng bởi điều kiện ánh sáng và có thể phát hiện các biến đổi nhiệt độ sinh lý trên khuôn mặt, giúp nhận dạng cảm xúc chính xác hơn trong môi trường thiếu sáng hoặc khi biểu cảm không rõ ràng.

2. Phương pháp trích xuất vùng nhiệt quan tâm (ROI) được thực hiện như thế nào?
   ROI được xác định dựa trên các vùng có sự biến đổi nhiệt độ rõ rệt khi cảm xúc thay đổi, gồm trán, quanh mắt, gò má và hàm trên, sử dụng các hàm ánh xạ nhiệt độ và cường độ pixel để trích xuất chính xác.

3. Tại sao kết hợp PCA và EMC lại không cho kết quả tốt nhất?
   Mặc dù kết hợp PCA-EMC giúp tăng tỷ lệ nhận dạng ở một số cảm xúc, nhưng tổng thể lại thấp hơn PCA hoặc EMC riêng lẻ do sự phức tạp trong việc cân bằng giữa giảm chiều dữ liệu và phân biệt lớp, cần nghiên cứu thêm để tối ưu.

4. Cơ sở dữ liệu KTFE có đặc điểm gì nổi bật?
   KTFE là cơ sở dữ liệu ảnh nhiệt và ảnh nhìn thấy tự nhiên đầu tiên, chứa 7 cảm xúc cơ bản của 30 đối tượng đa quốc tịch, dung lượng lớn (130 GB), khắc phục lỗi trễ thời gian trong thu thập dữ liệu, phù hợp cho nghiên cứu thực tế.

5. Ứng dụng thực tiễn của nghiên cứu này là gì?
   Nghiên cứu hỗ trợ phát triển các hệ thống nhận dạng cảm xúc trong robot, thiết bị giám sát trạng thái cảm xúc, ứng dụng trong y tế, giáo dục, dịch vụ khách hàng và tương tác người-máy, nâng cao hiệu quả giao tiếp và chăm sóc.

Kết luận

• Đã xây dựng thành công mô hình trích xuất đặc trưng vùng nhiệt quan tâm (ROI) từ ảnh nhiệt khuôn mặt để nhận dạng bảy cảm xúc cơ bản với độ chính xác cao trên cơ sở dữ liệu KTFE.
• Thuật toán PCA đạt tỷ lệ nhận dạng trung bình 90.42%, EMC đạt 89.99%, và kết hợp PCA-EMC đạt 85.94%, vượt trội so với các phương pháp hiện có.
• Nhiệt độ khuôn mặt có mối liên hệ chặt chẽ với cảm xúc, sử dụng ảnh nhiệt giúp tăng độ chính xác nhận dạng trong điều kiện ánh sáng và biểu cảm phức tạp.
• Cần tiếp tục cải tiến phương pháp xác định ROI, mở rộng cơ sở dữ liệu và áp dụng các thuật toán học sâu để nâng cao hiệu quả nhận dạng.
• Khuyến nghị phát triển hệ thống nhận dạng cảm xúc đa phương thức kết hợp ảnh nhiệt và ảnh nhìn thấy để ứng dụng rộng rãi trong tương lai.

Luận văn mở ra hướng nghiên cứu mới đầy tiềm năng trong lĩnh vực nhận dạng cảm xúc dựa trên ảnh nhiệt, góp phần nâng cao chất lượng tương tác người-máy và ứng dụng trong nhiều lĩnh vực khoa học và công nghệ. Độc giả và nhà nghiên cứu được khuyến khích tiếp tục phát triển và ứng dụng các kết quả này trong các dự án thực tế.