Chương 1 Chương này đã giới thiệu tổng quan về bối cảnh nghiên cứu, bao gồm sự phát triển nhanh chóng của trí tuệ nhân tạo và học sâu, cùng với những thách thức khi áp dụng vào thực tế, đặc biệt là trong bài toán nhận diện và phân tích cảm xúc. Từ đó, mục tiêu và phạm vi nghiên cứu của luận văn đã được xác định rõ ràng, tập trung vào việc phát triển các mô hình nhận diện cảm xúc đa phương thức với khả năng giải thích cao, sử dụng các phương pháp dựa trên đồ thị. Cuối cùng, các đóng góp quan trọng của luận văn đã được trình bày, nhấn mạnh những cải tiến về độ chính xác và khả năng giải thích của mô hình. Chương tiếp theo sẽ đi sâu vào việc khảo sát các nghiên cứu liên quan, tập trung vào bài toán nhận diện cảm xúc đa phương thức, các mô hình đồ thị và các phương pháp giải thích mô hình học sâu.
Nội dung này sẽ cung cấp nền tảng lý thuyết vững chắc cho các phần nghiên cứu và phát triển tiếp theo của luận văn. 6 Chương 2 Tổng quan các nghiên cứu liên quan Chương 2 của luận văn sẽ cung cấp cái nhìn khái quát về các nghiên cứu liên quan trong lĩnh vực nhận diện cảm xúc trong hội thoại. Nội dung chương này sẽ bao gồm việc phân tích và so sánh các phương pháp nhận diện cảm xúc, từ những mô hình đơn phương thức đến đa phương thức. Bên cạnh đó, chương sẽ trình bày những hướng nghiên cứu nổi bật trong việc nâng cao khả năng giải thích của các mô hình học sâu, đặc biệt là các phương pháp dựa trên đồ thị và cơ chế chú ý.
Những tiến bộ trong mô hình hóa ngữ cảnh và cảm xúc, cũng như các phương pháp giải thích mô hình đa phương thức, sẽ được thảo luận nhằm làm rõ những điểm mạnh, hạn chế và tiềm năng của các phương pháp hiện tại.1 Bài toán nhận diện cảm xúc trong hội thoại Nhận diện cảm xúc trong hội thoại (Emotion Recognition in Conversation - ERC) là quá trình phân tích và nhận biết các trạng thái cảm xúc mà một cá nhân thể hiện trong một cuộc trò chuyện. Đây không chỉ là việc hiểu nội dung của lời nói mà còn bao gồm việc giải mã các tín hiệu cảm xúc thông qua nhiều phương thức như văn bản, giọng nói, nét mặt và cử chỉ. Ví dụ, trong một cuộc trò chuyện giữa hai người, một người có thể nói: "Tôi ổn thôi" với giọng trầm và nét mặt buồn bã. Mặc dù nội dung của câu nói có vẻ tích cực, nhưng qua phân tích giọng điệu và biểu cảm, hệ thống ERC có thể phát hiện ra rằng người này đang thực sự cảm thấy buồn hoặc thất vọng.
Lĩnh vực ERC đã phát triển mạnh mẽ nhờ vào những tiến bộ trong các công nghệ như xử lý ngôn ngữ tự nhiên (NLP), thị giác máy tính (CV), và học máy. Các công nghệ này không chỉ giúp hệ thống phân tích được nội dung ngôn ngữ mà còn nhận diện các sắc thái cảm xúc tinh tế, từ biểu cảm gương mặt đến ngữ điệu và hành động. Việc nhận biết cảm xúc trong cuộc hội thoại đóng vai trò quan trọng trong nhiều ứng dụng như dịch vụ chăm sóc khách hàng, nơi việc thấu hiểu cảm xúc của khách hàng có thể cải thiện đáng kể chất lượng dịch vụ, hoặc trong lĩnh vực hỗ 7 Hình 2.1: Nhận diện cảm xúc đa phương thức trong hội thoại [1] trợ sức khỏe tâm thần, nơi cần phát hiện các dấu hiệu tâm lý của người dùng để cung cấp hỗ trợ phù hợp. Trong quá trình phát triển lĩnh vực này, đã có nhiều bộ dữ liệu như IEMOCAP, MOSEI được xây dựng và phổ biến rộng rãi cho các bài toán nhận dạng cảm xúc trong hội thoại đa phương thức (MERC).Một ví dụ dữ liệu được trình bày trong Hình 2.
Những bộ dữ liệu này cung cấp cơ sở cho việc nghiên cứu và đánh giá các mô hình ERC, góp phần nâng cao độ chính xác và khả năng giải thích của các hệ thống AI. Nhận dạng cảm xúc trong các cuộc trò chuyện có thể được ứng dụng trong nhiều lĩnh vực: • Tương tác người-máy: Các hệ thống nhận biết cảm xúc có khả năng cung cấp phản hồi cá nhân hóa và đồng cảm hơn, từ đó cải thiện sự hài lòng và mức độ tương tác của người dùng. • Chăm sóc khách hàng: Chatbot tự động được trang bị khả năng nhận dạng cảm xúc giúp xử lý các mối quan tâm của khách hàng một cách hiệu quả hơn bằng cách điều chỉnh phản hồi dựa trên trạng thái cảm xúc của họ. • Y học: Nhận dạng cảm xúc hỗ trợ các nhà trị liệu và chuyên gia sức khỏe tâm thần bằng cách cung cấp thông tin chi tiết về trạng thái cảm xúc của bệnh nhân, giúp tối ưu hóa kế hoạch điều trị.
Nhận dạng cảm xúc trong cuộc trò chuyện thực hiện dự đoán cảm xúc cho mỗi 8 phát ngôn trong bối cảnh toàn bộ cuộc hội thoại, dựa trên ba yếu tố chính: ngữ cảnh trò chuyện, tâm trạng của người tham gia, và ý định của họ. Khác với việc nhận dạng cảm xúc trong các văn bản đơn lẻ, ERC đòi hỏi sự phân tích sâu hơn về ngữ cảnh hội thoại và thông tin người nói để có thể phân biệt các cảm xúc gần tương tự như ’buồn’ (sad) và ’bực tức’ (angry). Mô hình hóa bối cảnh hội thoại và tương tác đa phương thức là những yếu tố cốt lõi trong bài toán này. Dựa trên số lượng phương thức đầu vào, các mô hình ERC hiện tại có thể được phân loại thành các phương pháp tiếp cận đơn phương thức và đa phương thức.1 Nhận diện cảm xúc đơn phương thức Các phương pháp nhận diện cảm xúc đơn phương thức chủ yếu dựa vào một loại dữ liệu đầu vào duy nhất, thường được chia thành ba loại chính: phương pháp dựa trên văn bản, âm thanh, và hình ảnh.
Phương pháp dựa trên văn bản đã chiếm ưu thế trong nhận diện cảm xúc đơn phương thức nhờ sự phát triển của xử lý ngôn ngữ tự nhiên (NLP) cũng như các mô hình ngôn ngữ tiền huấn luyện (BERT [5], GPT [6]). Các phương pháp này thường sử dụng các mạng nơ-ron hồi qui như Gated Recurrent Unit (GRU [7]) và Long Short-Term Memory (LSTM [8]) để mô hình hóa ngữ cảnh trong hội thoại. Chẳng hạn, AGHMN [9] sử dụng Mạng Bộ nhớ Phân cấp và BiGRU để trích xuất thông tin tương tác giữa các phát ngôn trong lịch sử và tóm tắt bộ nhớ ngắn hạn và dài hạn với sự hỗ trợ của trọng số chú ý (attention score). I-GCN [13] khai thác mạng Nơ-ron Tích chập đồ thị - GCN [14] để trích xuất thông tin liên kết ngữ nghĩa của các phát ngôn và thông tin trình tự thời gian của các cuộc hội thoại.
Nghiên cứu CoG-BART [15] kết hợp hai phương pháp: học tương phản và mô hình sinh để nâng cao khả năng diễn đạt cảm xúc trong các câu nói. Cụ thể, nghiên cứu này sử dụng cả hàm mất mát tương phản và hàm mất mát sinh để cải thiện sự chính xác trong việc nhận diện cảm xúc. Hàm mất mát tương phản giúp phân biệt rõ hơn giữa các biểu cảm cảm xúc khác nhau, trong khi hàm mất mát sinh giúp tạo ra các câu nói có cảm xúc một cách tự nhiên và chính xác. Phương pháp dựa trên âm thanh, còn được gọi là nhận diện cảm xúc qua giọng nói (Speech Emotion Recognition - SER), sử dụng phân tích giọng nói để đánh giá trạng thái cảm xúc của người nói.
ISNet [16] giới thiệu mạng chuẩn hóa cá nhân nhằm giải quyết vấn đề nhầm lẫn cảm xúc giữa các cá nhân trong SER. Phương pháp dựa trên hình ảnh chủ yếu tập trung vào nhận diện cảm xúc thông qua biểu cảm khuôn mặt, đây là một lĩnh vực quan trọng trong điện toán cảm xúc. Ví dụ, Jeong et al. [17] đề xuất phương pháp nhận diện cảm xúc khuôn mặt nhanh để theo dõi cảm xúc của tài xế trong thời gian thực.
Wang et al. [18] sử dụng phương pháp entropy để trích xuất đặc trưng và áp dụng thuật toán Jaya 10 để huấn luyện mô hình nhận diện cảm xúc sử dụng ảnh khuôn mặt. Khaireddin et al. [19] đã tinh chỉnh các siêu tham số của kiến trúc VGGNet để đạt được mô hình có độ chính xác vượt trội.
Tóm lại, mặc dù các phương pháp nhận diện cảm xúc đơn phương thức đã đạt được những thành tựu đáng kể trong các bài toán riêng lẻ, chúng vẫn gặp khó khăn khi xử lý các ngữ cảnh phức tạp trong hội thoại đa phương thức, nơi biểu lộ cảm xúc qua gương mặt có thể không nhất quán với nội dung lời nói hoặc các phương thức không mang đầy đủ thông tin phục vụ cho việc phân loại.2 Nhận diện cảm xúc đa phương thức Các Mô Hình Truyền Thống Nhận diện cảm xúc đa phương thức tập trung vào việc khai thác thông tin từ nhiều nguồn khác nhau để cải thiện độ chính xác, đặc biệt khi thông tin từ các phương thức đơn lẻ dễ bị ảnh hưởng bởi các yếu tố ngoại cảnh như biểu cảm khuôn mặt bị che khuất hoặc giọng nói bị nhiễu. Các mô hình truyền thống như BC-LSTM [20] đã sử dụng mạng LSTM để nắm bắt thông tin ngữ cảnh từ các câu thoại, kết hợp các đặc trưng từ văn bản, âm thanh, và hình ảnh. CMN (Conversational Memory Network) [21] là một trong những mô hình đầu tiên kết hợp các đặc trưng từ nhiều phương thức và sử dụng GRU để mô hình hóa thông tin ngữ cảnh từ các cuộc hội thoại trước đó. Những mô hình này đã mở ra hướng tiếp cận mới trong việc nhận diện cảm xúc đa phương thức, bằng cách tận dụng các thông tin bổ sung từ nhiều nguồn khác nhau để giảm thiểu những hạn chế của từng phương thức đơn lẻ, từ đó cải thiện độ chính xác và độ tin cậy của các mô hình nhận diện cảm xúc.
Các Mô Hình Sử Dụng Đồ Thị Sự phát triển của các phương pháp dựa trên đồ thị đã mang lại những bước tiến đáng kể trong lĩnh vực nhận diện cảm xúc đa phương thức. Các mô hình đồ thị không chỉ kết hợp thông tin đa phương thức mà còn mô hình hóa các mối quan hệ phức tạp giữa các đối tượng và ngữ cảnh trong cuộc hội thoại. Ví dụ, ICON [22] sử dụng mạng bộ nhớ GRU để mô hình hóa ngữ cảnh và xem xét ảnh hưởng của 11 cả người nói và người nghe trong cuộc hội thoại, tạo ra một cách tiếp cận tiên tiến để nhận diện cảm xúc.