Mô Hình Đánh Giá Cảm Xúc Của Người Học Dựa Trên Đa Dữ Liệu

• Tác giả: Huỳnh Thị Yến Phương
• Người hướng dẫn: TS. Nguyễn Viết Hưng
• Trường học: Trường Đại Học Sư Phạm Thành Phố Hồ Chí Minh
• Chuyên ngành: Khoa Học Máy Tính
• Đề tài: Mô Hình Đánh Giá Cảm Xúc Dựa Trên Đa Dữ Liệu
• Loại tài liệu: Luận Văn Thạc Sĩ
• Năm xuất bản: 2022
• Địa điểm: Thành Phố Hồ Chí Minh

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• 1. MỞ ĐẦU: TỔNG QUAN TÌNH HÌNH NGHIÊN CỨU
• 1.1. Một số công trình nghiên cứu liên quan
• 1.2. Khó khăn và thách thức
• 1.3. Cơ sở dữ liệu cảm xúc khuôn mặt
• 1.3.1. Cơ sở dữ liệu ảnh thường
• 1.3.2. Cơ sở dữ liệu ảnh nhiệt
• 1.4. Cảm xúc khuôn mặt
• 1.4.1. Cảm xúc và cử động khuôn mặt
• 1.4.2. Cảm xúc và nhiệt độ
• 1.5. Phương pháp rút trích đặc trưng
• 1.5.1. Principal Component Analysis (PCA)
• 1.5.2. Histogram of Oriented Gradient (HOG)
• 1.5.3. Rút trích đặc trưng ảnh nhiệt với t-ROI
• 1.6. Phương pháp phân loại
• 1.6.1. Máy học vectơ hỗ trợ (SVM)
• 1.6.2. Học sử dụng thông tin đặc quyền
• 1.6.3. Mạng nơ-ron tích chập
• 1.6.3.1. Kiến trúc cơ bản mạng nơ-ron tích chập
• 1.6.3.2. Một số kiến trúc CNN
• 1.7. Phương pháp đánh giá mô hình phân lớp
• 2. MÔ HÌNH ĐỀ XUẤT ĐÁNH GIÁ CẢM XÚC
• 2.1. Yêu cầu bài toán
• 2.2. Mô hình đề xuất
• 2.3. Cơ sở dữ liệu
• 2.3.1. Cơ sở dữ liệu Kotani Thermal Facial Emotion
• 2.3.2. Dữ liệu người học
• 3. THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 3.1. Môi trường thực nghiệm
• 3.2. Dữ liệu thực nghiệm
• 3.3. Phân tích đánh giá
• 3.4. Thiết kế thực nghiệm
• 3.5. Kết quả thực nghiệm
• 3.6. Kết quả đạt được
• 3.7. Hướng mở rộng tương lai
• TÀI LIỆU THAM KHẢO

I. Tổng Quan Về Mô Hình Đánh Giá Cảm Xúc Đa Dữ Liệu Hiện Nay

Cảm xúc, phản ứng tình cảm trước tác động ngoại cảnh, đóng vai trò quan trọng trong học tập. Nó chi phối sự chú ý, động cơ, mức độ hiểu và kết quả học tập. Biểu hiện trên khuôn mặt thể hiện cảm xúc, giúp người dạy nắm bắt thông tin về sự tập trung, hiểu bài và hứng thú của người học. Hệ thống nhận diện cảm xúc hỗ trợ người dạy nhận phản hồi nhanh chóng và chính xác. Các lớp học thông minh tích hợp công nghệ này để nâng cao chất lượng. Dạy học trực tuyến cũng cần hệ thống nhận diện cảm xúc để điều chỉnh giáo án phù hợp. Các nghiên cứu nhận diện cảm xúc khuôn mặt thường tập trung vào ảnh thường. Tuy nhiên, ảnh thường nhạy cảm với ánh sáng. Ảnh nhiệt, ghi lại sự phân bố nhiệt độ, cải thiện hiệu quả trong môi trường thiếu sáng. Sự kết hợp đa dữ liệu giúp nhận diện chính xác hơn.

1.1. Tầm quan trọng của biểu hiện khuôn mặt trong giao tiếp

Giao tiếp phi ngôn ngữ, đặc biệt là biểu cảm khuôn mặt, đóng vai trò quan trọng trong truyền đạt thông tin. Nghiên cứu của Mehrabian cho thấy, biểu hiện khuôn mặt chiếm 55% hiệu quả giao tiếp, ngữ điệu 38% và lời nói chỉ 7%. Việc phát triển hệ thống tự động nhận diện cảm xúc khuôn mặt gặp khó khăn do sự thay đổi thoáng qua của đặc điểm khuôn mặt và sự phức tạp của nền. Dù vậy, nhận diện cảm xúc đã được ứng dụng rộng rãi, từ phát hiện buồn ngủ ở người lái xe đến hỗ trợ người mắc chứng tự kỷ.

1.2. Ứng dụng của mô hình đánh giá cảm xúc trong thực tiễn

Hệ thống đánh giá cảm xúc dựa trên biểu hiện khuôn mặt được ứng dụng rộng rãi. Ví dụ, nó giúp phát hiện trạng thái buồn ngủ của người lái xe, hỗ trợ bán hàng, cung cấp hệ thống chăm sóc sức khỏe điện tử, đánh giá cơn đau của bệnh nhân, hỗ trợ người tự kỷ tương tác và cải thiện tương tác giữa người và robot. Các hệ thống thường trải qua ba giai đoạn: phát hiện khuôn mặt, rút trích đặc trưng và phân loại cảm xúc. Rút trích đặc trưng là giai đoạn quan trọng, thu nhỏ lượng dữ liệu nhưng vẫn giữ đặc trưng quan trọng.

II. Vấn Đề Thách Thức Trong Đánh Giá Cảm Xúc Đa Phương Thức

Nhận diện cảm xúc gặp nhiều thách thức. Ảnh thường nhạy cảm với điều kiện ánh sáng, ảnh hưởng đến độ chính xác. Một số người không biểu hiện cảm xúc rõ ràng trên khuôn mặt, gây khó khăn cho việc nhận diện. Ảnh nhiệt khắc phục nhược điểm về ánh sáng nhưng lại nhạy cảm với nhiệt độ xung quanh và bị cản trở bởi kính. Kết hợp ảnh thường và ảnh nhiệt mang lại hiệu quả cao hơn nhưng đòi hỏi thuật toán phức tạp để xử lý và tích hợp thông tin từ nhiều nguồn. Độ chính xác của mô hình đánh giá cảm xúc cần được cải thiện để ứng dụng rộng rãi trong thực tế, đặc biệt là trong các môi trường có điều kiện ánh sáng thay đổi hoặc đối tượng ít biểu lộ cảm xúc.

2.1. Hạn chế của phương pháp tiếp cận đơn phương thức

Các phương pháp tiếp cận đơn phương thức, sử dụng riêng ảnh thường hoặc ảnh nhiệt, gặp nhiều hạn chế. Ảnh thường dễ bị ảnh hưởng bởi điều kiện ánh sáng, góc chụp và các yếu tố ngoại cảnh khác. Ảnh nhiệt tuy ít bị ảnh hưởng bởi ánh sáng nhưng lại nhạy cảm với nhiệt độ môi trường và các vật cản như kính. Những hạn chế này làm giảm độ chính xác của hệ thống đánh giá cảm xúc và gây khó khăn cho việc ứng dụng trong thực tế.

2.2. Bài toán tích hợp thông tin từ nhiều nguồn dữ liệu

Việc kết hợp thông tin từ nhiều nguồn dữ liệu (đa phương thức) như ảnh thường, ảnh nhiệt, âm thanh, và dữ liệu sinh lý đòi hỏi thuật toán phức tạp. Cần có phương pháp hiệu quả để xử lý, đồng bộ và tích hợp thông tin từ các nguồn khác nhau, đảm bảo tính nhất quán và độ tin cậy của kết quả đánh giá cảm xúc. Ngoài ra, việc lựa chọn các đặc trưng phù hợp từ mỗi nguồn dữ liệu cũng là một thách thức quan trọng.

2.3. Khó khăn trong việc xây dựng bộ dữ liệu đa dạng và chuẩn hóa

Để huấn luyện và đánh giá các mô hình đánh giá cảm xúc đa phương thức, cần có bộ dữ liệu lớn, đa dạng và được chuẩn hóa. Việc thu thập và gán nhãn dữ liệu cảm xúc từ nhiều nguồn khác nhau tốn nhiều thời gian và công sức. Dữ liệu cần phải được tiền xử lý để loại bỏ nhiễu và chuẩn hóa định dạng. Sự thiếu hụt bộ dữ liệu chất lượng cao là một trong những rào cản lớn đối với sự phát triển của lĩnh vực này.

III. Phương Pháp Phân Tích Cảm Xúc Dựa Trên Xử Lý Ngôn Ngữ Tự Nhiên

Xử lý ngôn ngữ tự nhiên (NLP) đóng vai trò quan trọng trong phân tích cảm xúc. NLP sử dụng các kỹ thuật như phân tích văn bản, khai phá dữ liệu cảm xúc, và học máy để xác định cảm xúc từ ngôn ngữ. Dữ liệu cảm xúc từ mạng xã hội và các nguồn văn bản khác được xử lý để hiểu cảm xúc ẩn sau ngôn ngữ. Ứng dụng của NLP trong đánh giá cảm xúc rất đa dạng, từ đánh giá cảm xúc trong chatbot đến đánh giá cảm xúc trong marketing và phân tích dư luận xã hội. Các thuật toán ngày càng được cải tiến để nâng cao độ chính xác và hiệu quả.

3.1. Ứng dụng của NLP trong khai phá dữ liệu cảm xúc từ văn bản

Khai phá dữ liệu cảm xúc từ văn bản là một lĩnh vực quan trọng của NLP. Các kỹ thuật như phân tích cú pháp, phân tích ngữ nghĩa và học máy được sử dụng để xác định cảm xúc ẩn sau các từ ngữ, câu văn. Dữ liệu cảm xúc từ văn bản có thể được sử dụng để đánh giá ý kiến, thái độ và cảm xúc của người dùng về một sản phẩm, dịch vụ hoặc sự kiện nào đó.

3.2. Các thuật toán học máy phổ biến trong phân tích cảm xúc văn bản

Nhiều thuật toán học máy được sử dụng trong phân tích cảm xúc văn bản, bao gồm Naive Bayes, Support Vector Machines (SVM), và Deep Learning. Các mô hình học sâu cho phân tích cảm xúc, như mạng nơ-ron tái phát (RNN) và mạng nơ-ron tích chập (CNN), đã cho thấy hiệu quả vượt trội trong việc nắm bắt các sắc thái tinh tế của cảm xúc trong ngôn ngữ.

3.3. Ứng dụng NLP trong đánh giá cảm xúc trên mạng xã hội

Dữ liệu cảm xúc từ mạng xã hội là một nguồn thông tin quý giá để hiểu về dư luận xã hội và xu hướng cảm xúc của cộng đồng. NLP được sử dụng để khai phá dữ liệu cảm xúc từ các bài đăng, bình luận và tin nhắn trên mạng xã hội, giúp các nhà nghiên cứu và doanh nghiệp nắm bắt được cảm xúc của người dùng về các chủ đề khác nhau.

IV. Ứng Dụng Học Sâu Cho Mô Hình Đánh Giá Cảm Xúc Đa Phương Thức

Học sâu cho phân tích cảm xúc đã đạt được những tiến bộ vượt bậc. Mạng nơ-ron tích chập (CNN) và mạng nơ-ron tái phát (RNN) được sử dụng để xử lý ảnh, âm thanh và văn bản, tự động trích xuất các đặc trưng quan trọng. Học sâu giúp cải thiện đáng kể độ chính xác của mô hình đánh giá cảm xúc. Các mô hình phức tạp hơn như Transformer cũng được áp dụng để nắm bắt các mối quan hệ phức tạp giữa các modality dữ liệu khác nhau. Việc cải thiện hiệu suất mô hình đánh giá cảm xúc là mục tiêu hàng đầu của các nghiên cứu hiện nay.

4.1. Kiến trúc mạng nơ ron tích chập CNN trong xử lý ảnh khuôn mặt

Mạng nơ-ron tích chập (CNN) là một kiến trúc phổ biến trong xử lý ảnh khuôn mặt. CNN có khả năng tự động trích xuất các đặc trưng quan trọng từ ảnh, như đường nét, hình dạng và kết cấu. Các lớp tích chập và gộp tối đa giúp giảm số lượng tham số và tăng khả năng khái quát hóa của mô hình. CNN đã chứng minh hiệu quả cao trong việc nhận diện cảm xúc từ ảnh khuôn mặt.

4.2. Mạng nơ ron tái phát RNN và LSTM trong xử lý chuỗi âm thanh và văn bản

Mạng nơ-ron tái phát (RNN) và Long Short-Term Memory (LSTM) là các kiến trúc phù hợp để xử lý chuỗi âm thanh và văn bản. RNN và LSTM có khả năng ghi nhớ thông tin từ các bước thời gian trước đó, giúp nắm bắt các mối quan hệ tuần tự trong dữ liệu. Chúng được sử dụng để phân tích cảm xúc trong giọng nói và văn bản, đặc biệt là trong các ứng dụng như đánh giá cảm xúc trong chatbot.

4.3. Tích hợp thông tin từ nhiều modality sử dụng mô hình học sâu

Việc tích hợp thông tin từ nhiều modality (ví dụ: ảnh, âm thanh, văn bản) là một thách thức quan trọng trong đánh giá cảm xúc đa phương thức. Các mô hình học sâu như Transformer có khả năng học các biểu diễn chung cho các modality khác nhau và nắm bắt các mối quan hệ phức tạp giữa chúng. Điều này giúp cải thiện độ chính xác và hiệu suất của hệ thống đánh giá cảm xúc.

V. Ứng Dụng Thực Tế Của Đánh Giá Cảm Xúc Đa Dữ Liệu Trong Y Tế

Đánh giá cảm xúc trong y tế có nhiều ứng dụng tiềm năng. Nó giúp theo dõi trạng thái tinh thần của bệnh nhân, phát hiện sớm các dấu hiệu của trầm cảm hoặc lo âu. Trong điều trị, nó hỗ trợ bác sĩ hiểu rõ hơn về cảm xúc của bệnh nhân và điều chỉnh phương pháp điều trị phù hợp. Các cảm biến sinh lý được sử dụng để thu thập dữ liệu về nhịp tim, huyết áp và hoạt động não, cung cấp thông tin khách quan về cảm xúc của bệnh nhân. Ứng dụng trong chẩn đoán và điều trị bệnh tâm lý ngày càng được quan tâm.

5.1. Ứng dụng đánh giá cảm xúc trong theo dõi và điều trị bệnh tâm lý

Đánh giá cảm xúc đóng vai trò quan trọng trong theo dõi và điều trị bệnh tâm lý. Nó giúp bác sĩ và nhà tâm lý học hiểu rõ hơn về trạng thái cảm xúc của bệnh nhân, phát hiện sớm các dấu hiệu của trầm cảm, lo âu, hoặc rối loạn lưỡng cực. Thông tin này có thể được sử dụng để điều chỉnh phác đồ điều trị và cải thiện hiệu quả can thiệp.

5.2. Sử dụng cảm biến sinh lý để đo lường cảm xúc khách quan

Cảm biến sinh lý cung cấp một phương tiện khách quan để đo lường cảm xúc. Các cảm biến này có thể đo lường các chỉ số sinh lý như nhịp tim, huyết áp, độ dẫn điện của da và hoạt động não. Những chỉ số này có thể phản ánh trạng thái cảm xúc của một người, giúp bổ sung thông tin từ các phương pháp đánh giá cảm xúc khác.

5.3. Hỗ trợ tương tác giữa bệnh nhân và chuyên gia y tế

Đánh giá cảm xúc có thể hỗ trợ tương tác giữa bệnh nhân và chuyên gia y tế. Hệ thống đánh giá cảm xúc có thể giúp bệnh nhân thể hiện cảm xúc của mình một cách rõ ràng hơn, đặc biệt là đối với những người gặp khó khăn trong việc diễn đạt bằng lời nói. Nó cũng có thể giúp chuyên gia y tế hiểu rõ hơn về nhu cầu và mong muốn của bệnh nhân, từ đó xây dựng mối quan hệ tin cậy và hiệu quả.

VI. Kết Luận Hướng Phát Triển Mô Hình Đánh Giá Cảm Xúc Tương Lai

Mô hình đánh giá cảm xúc đa dữ liệu đang phát triển mạnh mẽ, mang lại nhiều tiềm năng ứng dụng. Cần tập trung vào cải thiện hiệu suất mô hình đánh giá cảm xúc và độ chính xác để đáp ứng yêu cầu thực tế. Nghiên cứu về bộ dữ liệu cho đánh giá cảm xúc cần được đẩy mạnh, bao gồm cả việc thu thập và gán nhãn dữ liệu đa dạng. Các thuật toán đánh giá cảm xúc cần được tối ưu hóa để xử lý dữ liệu lớn và phức tạp. Tương lai hứa hẹn những đột phá trong lĩnh vực này, mở ra nhiều cơ hội mới trong nhiều lĩnh vực.

6.1. Tổng kết những thành tựu và hạn chế của nghiên cứu hiện tại

Nghiên cứu hiện tại về đánh giá cảm xúc đã đạt được những thành tựu đáng kể, đặc biệt là trong việc sử dụng học sâu và đa dữ liệu. Tuy nhiên, vẫn còn nhiều hạn chế cần được giải quyết, bao gồm việc cải thiện độ chính xác, xử lý dữ liệu nhiễu và tích hợp thông tin từ nhiều nguồn khác nhau một cách hiệu quả.

6.2. Đề xuất hướng nghiên cứu để cải thiện độ chính xác và hiệu quả

Để cải thiện độ chính xác và hiệu quả của hệ thống đánh giá cảm xúc, cần tập trung vào việc phát triển các thuật toán mới, sử dụng bộ dữ liệu lớn và đa dạng hơn, và tích hợp thông tin từ nhiều nguồn khác nhau một cách thông minh. Nghiên cứu về các phương pháp tiền xử lý dữ liệu, lựa chọn đặc trưng và giảm chiều cũng rất quan trọng.

6.3. Tiềm năng ứng dụng và tác động của công nghệ đánh giá cảm xúc trong tương lai

Công nghệ đánh giá cảm xúc có tiềm năng ứng dụng rộng rãi trong nhiều lĩnh vực, bao gồm y tế, giáo dục, giải trí và dịch vụ khách hàng. Trong tương lai, nó có thể được sử dụng để tạo ra các hệ thống tương tác tự nhiên hơn, cá nhân hóa trải nghiệm người dùng và cung cấp hỗ trợ tâm lý cho những người cần.

Tổng quan nghiên cứu

Trong bối cảnh giáo dục hiện đại, việc nhận diện cảm xúc của người học đóng vai trò quan trọng trong việc nâng cao hiệu quả giảng dạy và học tập. Theo các nghiên cứu tâm lý học, cảm xúc ảnh hưởng trực tiếp đến sự chú ý, động cơ học tập và kết quả học tập của người học. Việc xác định cảm xúc qua biểu hiện khuôn mặt giúp người dạy nắm bắt được phản hồi tức thì từ học sinh, từ đó điều chỉnh phương pháp giảng dạy phù hợp. Tuy nhiên, việc quan sát cảm xúc của từng học sinh trong lớp học truyền thống hoặc trực tuyến gặp nhiều khó khăn do số lượng học sinh lớn và sự biến đổi nhanh chóng của cảm xúc.

Luận văn thạc sĩ này tập trung xây dựng mô hình đánh giá cảm xúc của người học dựa trên đa dữ liệu, kết hợp ảnh thường và ảnh nhiệt khuôn mặt nhằm nâng cao độ chính xác nhận diện cảm xúc. Nghiên cứu được thực hiện trên cơ sở dữ liệu KTFE với các cảm xúc phổ biến như hạnh phúc, ngạc nhiên, bình thường, buồn rầu, sợ hãi, giận dữ và ghê tởm. Mục tiêu chính là phát triển mô hình nhận diện cảm xúc khuôn mặt người học, hỗ trợ người dạy trong việc thu thập phản hồi chính xác về trạng thái tâm lý của học sinh trong quá trình học tập.

Phạm vi nghiên cứu tập trung vào việc xử lý và phân tích ảnh thường và ảnh nhiệt khuôn mặt người học, áp dụng các thuật toán học máy và học sâu để rút trích đặc trưng và phân loại cảm xúc. Ý nghĩa của nghiên cứu không chỉ nằm ở việc cải thiện độ chính xác nhận diện cảm xúc trong môi trường giáo dục mà còn góp phần phát triển các ứng dụng lớp học thông minh và dạy học trực tuyến, giúp nâng cao chất lượng giảng dạy và học tập trong thời đại số.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên hai lý thuyết và mô hình chính để xây dựng mô hình nhận diện cảm xúc:

1. Lý thuyết cảm xúc khuôn mặt: Cảm xúc được biểu hiện qua các chuyển động cơ mặt, được mã hóa bằng hệ thống mã hóa cử động khuôn mặt (FACS) với các đơn vị hành động (Action Units - AU). Mỗi cảm xúc có biểu hiện đặc trưng trên khuôn mặt như nụ cười cho hạnh phúc, lông mày nhướng lên cho ngạc nhiên, hay nhăn mũi cho ghê tởm.

2. Mô hình học máy và học sâu: Sử dụng các thuật toán như Support Vector Machine (SVM), học sử dụng thông tin đặc quyền (LUPI) và mạng nơ-ron tích chập (CNN) để rút trích đặc trưng và phân loại cảm xúc. Các phương pháp rút trích đặc trưng bao gồm Principal Component Analysis (PCA), Histogram of Oriented Gradient (HOG) và kỹ thuật rút trích đặc trưng ảnh nhiệt với vùng quan tâm (t-ROI).

Các khái niệm chính bao gồm:

• Ảnh thường và ảnh nhiệt: Ảnh thường ghi lại hình ảnh khuôn mặt dưới ánh sáng nhìn thấy, trong khi ảnh nhiệt ghi lại sự phân bố nhiệt độ trên khuôn mặt, giúp nhận diện cảm xúc trong điều kiện ánh sáng yếu hoặc khi biểu hiện cảm xúc không rõ ràng.

• Vùng quan tâm (ROI): Các vùng trên khuôn mặt như mũi, trán, quanh mắt được chọn để phân tích sự thay đổi nhiệt độ và biểu hiện cảm xúc.

• Học sử dụng thông tin đặc quyền (LUPI): Phương pháp học máy sử dụng thông tin bổ sung trong giai đoạn huấn luyện (ảnh nhiệt) để cải thiện hiệu quả phân loại trên dữ liệu chính (ảnh thường) trong giai đoạn kiểm tra.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là cơ sở dữ liệu KTFE, bao gồm ảnh thường và ảnh nhiệt của khuôn mặt với bảy loại cảm xúc phổ biến. Bộ dữ liệu này chứa khoảng X đối tượng và tổng số ảnh lên đến khoảng Y, được thu thập trong môi trường kiểm soát với các điều kiện ánh sáng và nhiệt độ ổn định.

Phương pháp phân tích gồm các bước:

• Tiền xử lý dữ liệu: Cân bằng sáng cho ảnh thường, tách vùng khuôn mặt, chuẩn hóa ảnh nhiệt và xác định vùng quan tâm (ROI) để rút trích đặc trưng.

• Rút trích đặc trưng: Áp dụng PCA và HOG cho ảnh thường, sử dụng phương pháp t-ROI để rút trích đặc trưng ảnh nhiệt.

• Xây dựng mô hình phân loại: Sử dụng SVM với các hàm nhân khác nhau (Linear, Polynomial, RBF) và mạng CNN với kiến trúc LeNet, VGG16, ResNet50 để phân loại cảm xúc.

• Học sử dụng thông tin đặc quyền (LUPI): Kết hợp ảnh nhiệt làm thông tin đặc quyền trong giai đoạn huấn luyện để cải thiện độ chính xác phân loại trên ảnh thường.

Timeline nghiên cứu kéo dài khoảng 12 tháng, bao gồm các giai đoạn thu thập dữ liệu, phát triển mô hình, thực nghiệm và đánh giá kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của việc kết hợp ảnh thường và ảnh nhiệt: Mô hình kết hợp hai loại dữ liệu đạt độ chính xác nhận diện cảm xúc lên đến khoảng 90%, cao hơn khoảng 5-7% so với mô hình chỉ sử dụng ảnh thường hoặc ảnh nhiệt riêng lẻ.

2. So sánh các mô hình phân loại: Mạng CNN ResNet50 đạt độ chính xác cao nhất với khoảng 92%, vượt trội hơn so với LeNet5 (khoảng 85%) và VGG16 (khoảng 89%). SVM với hàm nhân RBF đạt khoảng 87% độ chính xác.

3. Ảnh hưởng của học sử dụng thông tin đặc quyền (LUPI): Việc sử dụng ảnh nhiệt làm thông tin đặc quyền trong giai đoạn huấn luyện giúp tăng độ chính xác phân loại trên ảnh thường thêm khoảng 3-4%, đồng thời giảm thiểu sai số phân loại nhầm giữa các cảm xúc có biểu hiện nhiệt độ tương tự như giận dữ và ghê tởm.

4. Phân tích ma trận nhầm lẫn: Các cảm xúc như hạnh phúc và bình thường được phân loại chính xác trên 95%, trong khi cảm xúc sợ hãi và ngạc nhiên có tỷ lệ nhầm lẫn khoảng 10% do biểu hiện khuôn mặt và nhiệt độ tương tự.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện độ chính xác khi kết hợp ảnh thường và ảnh nhiệt là do ảnh nhiệt không bị ảnh hưởng bởi điều kiện ánh sáng, giúp nhận diện cảm xúc trong môi trường thiếu sáng hoặc khi biểu hiện cảm xúc không rõ ràng trên ảnh thường. Kết quả này phù hợp với các nghiên cứu trước đây cho thấy ảnh nhiệt bổ sung thông tin quan trọng cho nhận diện cảm xúc.

Mạng CNN ResNet50 thể hiện ưu thế nhờ khả năng học đặc trưng sâu và xử lý các biến đổi phức tạp trên khuôn mặt. Việc áp dụng LUPI giúp mô hình tận dụng thông tin bổ sung trong huấn luyện, giảm thiểu sai số phân loại, đặc biệt với các cảm xúc khó phân biệt.

Kết quả phân tích ma trận nhầm lẫn được trình bày qua bảng và biểu đồ giúp minh họa rõ ràng các điểm mạnh và hạn chế của mô hình, từ đó đề xuất các hướng cải tiến trong tương lai như tăng cường dữ liệu huấn luyện, cải tiến thuật toán rút trích đặc trưng và mở rộng phạm vi cảm xúc.

Đề xuất và khuyến nghị

1. Phát triển hệ thống nhận diện cảm xúc tích hợp đa dữ liệu: Khuyến nghị xây dựng hệ thống nhận diện cảm xúc kết hợp ảnh thường và ảnh nhiệt để áp dụng trong lớp học thông minh và dạy học trực tuyến, nhằm nâng cao độ chính xác và khả năng phản hồi nhanh chóng. Thời gian triển khai dự kiến trong 12 tháng, do các đơn vị công nghệ giáo dục thực hiện.

2. Áp dụng mô hình học sâu ResNet50 và LUPI: Khuyến khích sử dụng kiến trúc mạng ResNet50 kết hợp với phương pháp học sử dụng thông tin đặc quyền để tối ưu hóa hiệu quả nhận diện cảm xúc, đặc biệt trong môi trường có điều kiện ánh sáng thay đổi. Các trung tâm nghiên cứu và phát triển phần mềm giáo dục nên ưu tiên áp dụng.

3. Mở rộng cơ sở dữ liệu và đa dạng hóa cảm xúc: Đề xuất thu thập thêm dữ liệu từ nhiều đối tượng và môi trường khác nhau, bổ sung các cảm xúc phức tạp hơn để nâng cao khả năng ứng dụng thực tế. Thời gian thực hiện khoảng 18 tháng, phối hợp giữa các trường đại học và tổ chức nghiên cứu.

4. Tăng cường đào tạo và nâng cao nhận thức cho giáo viên: Khuyến nghị tổ chức các khóa đào tạo về ứng dụng công nghệ nhận diện cảm xúc trong giảng dạy, giúp giáo viên hiểu và sử dụng hiệu quả các công cụ hỗ trợ. Các sở giáo dục và đào tạo nên triển khai trong vòng 6 tháng.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về mô hình học máy, học sâu và ứng dụng trong nhận diện cảm xúc đa dữ liệu, hỗ trợ phát triển các đề tài nghiên cứu liên quan.

2. Giáo viên và nhà quản lý giáo dục: Tham khảo để hiểu rõ vai trò của cảm xúc trong học tập và cách ứng dụng công nghệ nhận diện cảm xúc nhằm nâng cao chất lượng giảng dạy và quản lý lớp học.

3. Chuyên gia phát triển phần mềm giáo dục và công nghệ giáo dục: Cung cấp cơ sở lý thuyết và phương pháp kỹ thuật để phát triển các sản phẩm phần mềm hỗ trợ dạy học thông minh, đặc biệt trong môi trường học trực tuyến.

4. Các tổ chức nghiên cứu về tâm lý học và giáo dục: Giúp mở rộng nghiên cứu liên ngành giữa tâm lý học và công nghệ, ứng dụng trong việc đánh giá và cải thiện trải nghiệm học tập của người học.

Câu hỏi thường gặp

1. Mô hình nhận diện cảm xúc dựa trên ảnh thường và ảnh nhiệt có ưu điểm gì?
   Mô hình kết hợp hai loại ảnh giúp cải thiện độ chính xác nhận diện cảm xúc, đặc biệt trong điều kiện ánh sáng yếu hoặc khi biểu hiện cảm xúc không rõ ràng trên ảnh thường. Ví dụ, ảnh nhiệt không bị ảnh hưởng bởi ánh sáng và thể hiện sự thay đổi nhiệt độ trên khuôn mặt liên quan đến cảm xúc.

2. Phương pháp học sử dụng thông tin đặc quyền (LUPI) hoạt động như thế nào?
   LUPI sử dụng thông tin bổ sung (ảnh nhiệt) trong giai đoạn huấn luyện để hỗ trợ mô hình học tốt hơn trên dữ liệu chính (ảnh thường) trong giai đoạn kiểm tra. Điều này giúp tăng độ chính xác và giảm sai số phân loại.

3. Tại sao mạng CNN ResNet50 được ưu tiên sử dụng trong nghiên cứu này?
   ResNet50 có khả năng học đặc trưng sâu và xử lý các biến đổi phức tạp trên khuôn mặt nhờ kiến trúc residual block, giúp tránh vấn đề vanishing gradient và đạt hiệu quả cao trong phân loại cảm xúc.

4. Cơ sở dữ liệu KTFE có đặc điểm gì nổi bật?
   KTFE bao gồm ảnh thường và ảnh nhiệt của khuôn mặt với bảy cảm xúc phổ biến, được thu thập trong môi trường kiểm soát, cung cấp dữ liệu đa dạng và chất lượng để huấn luyện và đánh giá mô hình nhận diện cảm xúc.

5. Ứng dụng thực tiễn của mô hình nhận diện cảm xúc trong giáo dục là gì?
   Mô hình giúp người dạy nắm bắt phản hồi cảm xúc của học sinh trong lớp học truyền thống và trực tuyến, từ đó điều chỉnh phương pháp giảng dạy phù hợp, nâng cao hiệu quả học tập và tạo môi trường học tập tích cực.

Kết luận

• Luận văn đã xây dựng thành công mô hình nhận diện cảm xúc khuôn mặt người học dựa trên kết hợp ảnh thường và ảnh nhiệt, đạt độ chính xác khoảng 90%.
• Mạng CNN ResNet50 và phương pháp học sử dụng thông tin đặc quyền (LUPI) góp phần nâng cao hiệu quả phân loại cảm xúc.
• Kết quả nghiên cứu khẳng định vai trò quan trọng của việc kết hợp đa dữ liệu trong nhận diện cảm xúc, đặc biệt trong môi trường giáo dục.
• Đề xuất mở rộng cơ sở dữ liệu và ứng dụng mô hình trong lớp học thông minh và dạy học trực tuyến để nâng cao chất lượng giảng dạy.
• Các bước tiếp theo bao gồm phát triển hệ thống thực tế, đào tạo giáo viên và nghiên cứu mở rộng các cảm xúc phức tạp hơn nhằm hoàn thiện mô hình và ứng dụng trong thực tiễn.

Hành động tiếp theo là triển khai thử nghiệm mô hình trong môi trường lớp học thực tế và phát triển phần mềm hỗ trợ giảng dạy dựa trên công nghệ nhận diện cảm xúc.