CHƯƠNG 1 TÓNG QUAN TÌNH HÌNH NGHIÊN CỨU Con người có rất nhiều cảm xúc và nó có thé được biểu diễn bằng nhiều cách như văn bản, âm thanh, hình ảnh,.Nhận dạng cảm xúc là quá trình sử dụng các kỹ thuật nhận biết và phân tích cảm xúc từ các biéu hiện của con người. Dé xác định được cảm xúc của con người thì về thủ công sẽ cần 1 người am hiểu về tâm lý, giao tiếp dé biết suy nghĩ và tương tác với người bị xác định cảm xúc. biết cách quan sát vẻ hành vi. Tuy nhiên, phương pháp này đòi hỏi nhiều thời gian và nguồn lực vì mỗi lần phải có một người dé xác định cảm xúc.
Đối với việc xác định cảm xúc của nhiều người, thì việc này sẽ trở nên càng mat thời gian hơn. Trong bài toán nhận dạng cảm xúc, hai mô hình chính được sử dụng là mô hình học sâu (deep learning) và mô hình học máy (machine learning). Việc nhận dạng cảm xúc bằng các thuật toán học máy mang lại kết quả tốt, chang hạn như Deepak Ghimire [1] và các đồng sự dé xuất mô hình sử dụng Local Binary Patterns (LBP) va Histogram of Oriented Gradients (HOG) dé rút trích đặc trưng appearance, Landmark detection va Face alignment để rút trích đặc trưng geometric. Từ những đặc trưng đó qua mô hình SVM để phân loại cam xúc, phương pháp này đạt độ chính xác 97,5% trên bộ dữ liệu CK+.
Mutawa [2] và các cộng sự đề xuất một phương pháp nhận dạng biểu cảm khuôn mặt sử dụng hai thuật toán học máy là KNN va Decision Tree. Phương pháp này sử dụng các đặc trưng khoáng cách giữa các điểm đánh dấu trên khuôn mặt dé phân loại biểu cảm. Kết quả thử nghiệm cho thay phương pháp này đạt độ chính xác 98.03% khi sử dụng thuật toán KNN và 97,21% khi sử dụng thuật toán Decision Tree trên bộ dữ liệu CK+. Tuy nhiên, khi so sánh mô hình học máy và mô hình học sâu thì mô hình học sâu có the học đặc trưng tự động, học máy thường can phải xác định và trích xuất các đặc trưng một cách thủ công hoặc sử dụng các phương pháp lựa chọn đặc trưng; mô hình học sâu có khả năng tự sửa lỗi và tự cải thiện khi gặp phải các trường hợp sai sót trong khi một mô hình học máy gặp phải một lỗi, thường cần có sự can thiệp của con người; các mô hình deep learning thường cho kết quả cao hơn so với các mô hình học máy truyền thong trong các bài toán nhận dang cảm xúc [3]{4].
1] Nhận dạng cảm xúc bằng hình ảnh của con người thông qua máy tính và các thuật toán deep learning có thé giúp theo đõi cảm xúc [5]. Matheus Schmitz [6] đề xuất một mô hình rút trích đặc trưng có Long Short Term Memory (LSTM) cho âm thanh, LSTM cho Video, Fully Connected cho văn ban sử dụng bộ dữ liệu IEMOCAP cho F1 đạt 27.04% cho âm thanh, 65.14% cho video, Ozioma Collins Oguine [7] dé xuất mô hình phân loại cảm xúc gồm Deep Convolutional Neural Network (DCNN) và cầu trúc Haar Cascade deep learning, mô hình phân loại theo thời gian thực va anh khuôn mat được phan loại dựa trên danh mục nhãn, họ huấn luyện trên bộ dữ liệu FER2013 và cho kết qua Accuracy là 70. Ashish Ramayee Asokan [8] đề xuất mô hình chủ yếu về Bi-directional Contextual LSTM cho cả văn bản va âm thanh cho FT đạt 47.4% cho âm thanh, 53. Yousif Khaireddin [9] và các đồng sự đề xuất mô hình có sử dụng VGGNet gém 4 tang convolutional và 4 tang max pooling và 3 tang fully connected, họ huấn luyện trên bộ dữ liệu FER2013 và cho kết qua Accuracy là 73.
Tuy nhiên hình ảnh tốt yêu cau camera chất lượng cao dé ghi lại dẫn đến chi phí thực hiện cao [ L0], ngoài ra thì việc nhận dạng cảm xúc một phương thức như vậy có thê chính xác nhưng đôi khi nhận dạng cảm xúc như vậy thì chỉ đưa ra dấu hiệu về cảm xúc hoặc cảm xúc có thẻ bị làm giả (vì nhận dạng hình ảnh là nhận đạng dựa vào bề ngoài cho nên giả sử ai đó có thé vui bên ngoai như khuôn mặt nhưng có thé trong suy nghĩ họ buôn) nên sẽ không được chính xác. Vì vậy kết hợp hình ảnh và âm thanh vì âm thanh không chỉ gồm thông tin ngữ nghĩa mà còn có cam xúc của người nói [ 10]. Lợi ích của đa phương thức là vì thông tin của từng đơn phương thức trong đa phương thức có thé bé sung cho nhau [11] còn đơn phương thức thì không có sự bỗ sung tử phương thức khác. Tông quan công trình nghiên cứu Trong những năm gần đây, mô hình Graph và Transformer đã được dành nhiều sự quan tâm của các nhà nghiên cứu như Abhinav Joshi [12] và Jiang Li [13].
Graph Neural Network là một phương pháp có ưu thế trong việc mô hình hóa các mỗi quan 12 hệ giữa những đối tượng. Dữ liệu được biêu diễn dưới các đỉnh và cạnh, các nút đại điện cho các thực thẻ (1 phương thức, 1 batch của hình ảnh, .), các cạnh dai điện cho mỗi quan hệ giữa các nút. Mô hình sử dụng cấu trúc căn bản là Graph Neural Network (GNN) dé mô hình phụ thuộc phức tạp (thông tin cục bộ và toàn cục) trong cuộc hội thoại của dữ liệu IEMOCAP. Mô hình gồm 4 phan, phan | là rút trích đặc trưng về ngữ cảnh dựa vào Transformer Encode, phan 2 là kết quả của phần 1 được mô hình hóa dưới dang Relation Graph, phần 3 la dùng GraphTransformer dé học đặc trưng cục bộ và toàn cục, phần 4 là concat các kết quả của phần 3 và qua FullyConnected đẻ phân loại.
Họ đưa ra được kết quả state-of-the art (SOTA) với bộ dữ liệu này. Mô hình tận dụng mang đồ thị chú ý đề lưu lại thông tin ngữ cảnh đơn phương thức và bô sung thông tin đa phương thức. Mô hình gồm 4 phan, phan 1 là encode đơn phương thức như video, âm thanh, văn bản; phan 2 là cộng kết quả vừa rồi với Speaker Embedding (Speaker Embedding đại diện cho một phương thức dé trích xuất các biêu diễn vectơ đại diện từ tín hiệu giọng nói sao cho biếu dién chỉ liên quan đến nhận dạng người nói); phan 3 là mô hình hóa dir liệu đưới đồ thị với mỗi cặp dữ liệu là | đỏ thị (d6 thị âm thanh va video, dé thị video và văn bản, đô thị văn bản và âm thanh) và phan cuối cùng là thực hiện trên Graph Attention Network và concat rồi đưa qua Fully Connected dé dự đoán. Mô hình cũng được kết quả State-Of-The-Art (SOTA) với độ chính xác Accuracy là 67.90% với dữ liệu IEMOCAP.
Ashish Ramayee Asokan [§] và các đồng sự cho biết hầu hết các nghiên cứu trong lĩnh vực nảy liên quan đến các kiến trúc mới dé cải thiện hiệu suất cho nhiệm vụ này. Họ dé xuất mô hình với dit liệu đầu vào là âm thanh. Déi với mỗi dit liệu đầu vào, họ sử dụng Bi-directional Contextual LSTM dé rút trích thông tin độc lap, sau đó kết quả đã được rút trích sẽ được concat va đưa vào Bi-directional Contextual LSTM dé rút trích đặc trưng đa phương thức. Kết qua của phương pháp 13 này về Fl đạt 47.4% cho âm thanh, 53.5% cho âm thanh, van ban, video.
Matheus Schmitz [6] và các đồng sự khám phá những thành kiến tồn tại trong các hệ thong nhận dang cảm xúc liên quan đến các phương thức được sử dụng và nghiên cứu cách các phương pháp tiếp cận đa phương thức ảnh hưởng đến sự thiên vị và tính công bang của hệ thống. Họ xem xét các phương thức âm thanh, văn bản và video. Cau trúc mô hình cơ bản bao gồm bộ trích xuất đặc trưng LSTM cho âm thanh, LSTM cho Video, Fully Connected cho văn bản. Sau đó họ concat các kết quả đã trích xuất đặc trưng này qua Fully Connected rồi thực hiện dự đoán.
Kết quả của phương pháp này về Fl đạt 27.04% cho âm thanh, 65.64% cho âm thanh và văn bản, 26.76% cho âm thanh và video, 65.11% cho văn ban va video, 65.39% cho âm thanh và văn ban và video trên bộ dit liệu IEMOCAP. Xuefeng Liang [15] và các đồng sự dé xuất phương pháp lý thuyết về Pairwise- emotion Data Distribution Smoothing (PDDS) vì họ nhận thấy phân phối đữ liệu trong IEMOCAP không được cân bang, và mô hình CLTNet của họ cũng gồm 3 phần là: mô hình tiền xử lý với việc sử dụng pre-train data2vec để rút trích đặc trưng của âm thanh và pre-train BERT đề rút trích đặc trưng của văn ban, sau đó họ dùng PDDS cho âm thanh và văn bản vì cho rằng việc phân phối dữ liệu cảm xúc phải điển ra suôn sẻ trong thực tế, sau đó áp dụng phương pháp làm mịn Gaussian cho các cặp cam xúc để xây dựng một tập huấn luyện mới với sự phân bé mượt mà hon, tiếp đến mô hình CLTNet là họ sử dụng 3 khối ConvBlock 1D và 1 khối LSTM cho âm thanh rồi concat 4 khối đó lại, sử dụng TransformerEncoder và Attention cho văn bản, cuối cùng tác giả concat đặc trưng của âm thanh và văn ban đưa qua Fully Connected dé dự đoán và đạt được kết qua là WA (%) với 60.7% và UA (%) với 58. Dekai Sun [16] và các đồng sự đề xuất mô hình pre-train model. Họ sử dụng wav2vec và sau đó dùng transformer layer cho rút trích đặc trưng âm thanh, BERT cho văn bản.
Tiếp theo là mỗi phương thức sẽ thực hiện việc cross attention, nghĩa là với đặc trưng là âm thanh đã rút trích thì họ sẽ thực hiện Attention với Q của âm thanh còn V và K sẽ sử dụng của văn bản, tương tự với đặc trưng là văn bản đã rút trích thì thì họ sẽ thực hiện Attention với Q của văn bản còn V và K sẽ sử dụng của âm thanh. Cuối cùng là kết quả của 2 Attention đó sẽ được concat va đưa qua FC rồi thực hiện 14 dự đoán. Tuy nhiên, họ còn thực hiện thêm Auxiliary Tasks gồm task | va task 2. Đối với task 1 thì khi dự đoán họ không chi dự đoán trên nhãn gốc mà còn tạo ra nhãn mới dựa vào nhãn của âm thanh và văn bản dé dự đoán, với task | này thì tác dụng là không bỏ qua bat kỳ thông tin phương thức trong quá trình hợp nhất đặc trưng của hai phương thức.
Còn task 2 thì họ sẽ đảo phương thức (Vi dụ ta có tex(_l và audio_1 có nhãn là label_I và text 2 và audio 2 cùng nhãn label_| thì tác giả sẽ đảo lại là textÍ với audio_2 và text_2 với audio_1 cùng nhãn là label_1), tác giả hy vọng rằng mạng tông hợp có thé tập trung vào các đặc điểm của cảm xúc ở các phương thức khác nhau.