chương 1, chúng tôi sẽ trình bày tổng quan về bài toán nhận diện cảm xúc dựa trên khía cạnh và vai trò quan trọng của nó. Đồng thời, chúng tôi sẽ thảo luận về những thách thức gặp phải, các mục tiêu cần đạt được, và những đóng góp của chúng tôi trong đề tài này. > Chương 2: Các công trình nghiên cứu liên quan Trong chương 2, chúng tôi sẽ nghiên cứu và trình bày các bộ dữ liệu và các phương pháp liên quan tới bai toán trong và ngoai nước. > Chương 3: Bộ dữ liệu Trong chương 3, chúng tôi sẽ định nghĩa bai toán nhận diện cảm xúc dựa trên khía cạnh.
Sau đó sẽ trình bày quá trình xây dựng bộ dữ liệu bao gồm: thu nhập, gán nhãn, đánh giá, phân tích. > Chương 4: Fine-grained Cross-Modal Fusion Framework Trong chương 4, chúng tôi sẽ trình bày cơ sở lí thuyết của các module trong framework của chúng tôi đề xuất. Sau đó, chúng tôi trình bày chỉ tiết các module trong framework: Image Processing, Auxilliary Sentence, Image-guided Attention, Geometric Roi-aware Attettion va Sentiment Detection. > Chương 5: Cai đặt, kết quả và đánh giá Trong chương 5, chúng tôi sẽ tóm tắt các mô hình SOTA trước đây để so sánh với framework chúng tôi đề xuất.
Tiếp theo, chúng tôi trình bày về độ đo đánh giá, bước tiền xử lí đữ liệu, và tham số cài đặt của các mô hình. Cuối cùng, chúng tôi nhận xét kết quả đạt được và phân tích các lỗi gặp phải. > Chương 6: Kết luận và hướng phát triển Trong chương cuối, chúng tôi trình bày những kết quả thu được, đồng thời rút ra những hạn chế và đề xuất các hướng phát triển trong tương lai trong khóa luận tốt nghiệp này. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN Các phương pháp tiếp cận đa thé thức đã nhận được sự quan tâm rộng rãi từ các nhà nghiên cứu trên toàn thế giới [4, 5, 6, 7, 8, 9], bao gồm cả lĩnh vực phân tích cảm xúc đa thể thức.
Phân tích cảm xúc đa thể thức (Multimodal Sentiment Analysis - MSA) nhằm hiểu rõ cảm xúc được truyền tải thông qua sự kết hợp của nhiều thé thức như giọng nói, hình ảnh và văn bản. Các nhà nghiên cứu đã phát triển nhiều bộ dữ liệu đa thể thức dé hỗ trợ nghiên cứu nhiệm vụ MSA (Phan 2. Các phương pháp tiên tiến đã xuất hiện để giải quyết nhiệm vụ MSA, ví dụ như những mô hình dựa trên LSTM va BERT, cho phép phân tích sâu các tương tác phức tạp giữa các thé thức (Phan 2. Hơn nữa, chúng tôi đánh giá toàn diện các bộ dữ liệu va phương pháp hiện có về bài toán đa thê thức trên tiếng Việt (Phần 2.
Các bộ dữ liệu phân tích cảm xúc đa thể thức Nhờ sự phát triển nhanh của công nghệ, người dùng có thể biểu đạt cảm xúc thông qua thé thức âm thanh và hình anh. Phân tích cảm xúc đa thé thức tận dụng những khả năng mới này, mang lại một sự mở rộng mạnh mẽ của phân tích cảm xúc truyền thống dựa trên văn ban. Lĩnh vực nay đã nhanh chóng phát triển mạnh mẽ, thu hút sự quan tâm rộng rãi của các nhà nghiên cứu trên toàn thế giới [3]. Hiện nay có rất nhiều bộ dữ liệu chất lượng cao để hỗ trợ nghiên cứu này, như được trình bày trong Bảng 2.
Hầu hết các bộ dữ liệu này tập trung vào phân tích cảm xúc trên video, bao gồm [10, 11, 12, 13, 14, 15, 16]. Tuy nhiên, có tương đối ít các bộ dữ liệu phân tích cảm xúc đa thể thức tập trung vào dữ liệu văn bản-hình ảnh. Năm 2019, Cai và các cộng sự [17] đã tạo ra một bộ dữ liệu đa thé thức dé phân loại các bình luận châm biến. Năm 2021, Zhou và các cộng sự [18] đã tạo ra một bộ dit liệu đa thé thức với 38,532 mẫu trên 7 miền và 57 khía cạnh.
Năm 2022, Ramamoorthy và các cộng sự [19] đã tạo ra một bộ dữ liệu dựa trên meme đa thể thức với 10,000 mẫu cho ba nhiệm vụ: Phân tích cảm xúc, Phân loại biêu cảm, và Cường độ cảm xúc. Các bộ dữ liệu trên đêu được gán nhãn cho phân tính cảm xúc ở câp độ câu. Đôi với các bộ dữ liệu tập trung vào nhiệm vụ phân tích cảm xúc ở câp độ khía cạnh, Xu và các cộng sự [20] đã tạo ra một bộ dữ liệu đa thé thức chứa 5,528 mẫu trên miền điện thoại, được gán nhãn trên 6 khía cạnh (screen, photographing effect, appearance and feeling, performance configuration, battery life, and price performance ratio). Năm 2019, Yu và các cộng sự [21] đã tao ra hai bộ dữ liệu, Twitter-15 và Twitter-17, được gan nhãn cảm xúc trên mỗi khía cạnh.1: Những bộ dữ liệu hiện có về phân tích cảm xúc đa thê thức Dataset Year Source | Modality | Language Labels | #Aspects | #Samples MVSA-Multiple | 2016 Twitter V+T English Neg, - 19,600 [22] Neu, Pos B-T4SA [23] 2017 | Twitter V+T English [-3,3] - 470,586 CMU-MOSEI 2018 | Youtube | A+V+T English [-3,3] - 23,453 [13] Twitter-Sacram | 2019 | Twitter V+T English Neg, - 24,635 [17] Pos Twitter 15 [21] 2019 Twitter V+T English Neg, - 5,338 Neu, Pos Twitter 17 [21] 2019 Twitter V+T English Neg, - 5,972 Neu, Pos Multi-ZOL [20] | 2019 ZOL V+T Chinese [1,10] 6 5,228 MELD [14] 2019 The A+V+T English Emotion 7 13,000 Friends 10 CH-SIMS [15] 2020 Movie, A+V+T Chinese [-1,1] - 2,281 TV seires, etc.
MASAD [18] 2021 Yahoo, V+T English Neg, 57 38,532 Flickr Pos CMU-MOSEAS | 2021 | Youtube | A+V+T Spanish, [-3,3], - 40,000 [16] Portuguese, [0-3] German, French Memotion 2 2022 | Facebook, V+T English Neg, 20 10,000 [19] Reddit, Neu, etc. Cac phương pháp phân tích cảm xúc da thé thức Các nghiên cứu trước đây về phân tích cảm xúc dựa trên khía cạnh chủ yếu tập trung vào phân tích cảm xúc trong dữ liệu văn bản, bao gồm [24. Tuy nhiên, đối với dit liệu đa thé thức, mục tiêu là xác định mối quan hệ giữa khía cạnh-cảm xúc và kết hợp các thé thức hiệu quả [2, 1, 29, 30, 31, 32]. Các kỹ thuật kết hợp (fusion) hiện tại được phân loại thành ba loại chính: kết hợp sớm (early fusion), kết hợp trung gian (intermediate fusion) và kết hợp muộn (late fusion) [33].
Đối với early fusion, đặc trưng của các thé thức được nối với nhau dé tạo thành một biéu diễn đặc trưng chung. Ngược lai, late fusion sử dụng các mô hình độc lập cho mỗi thé thức, sau đó tổng hợp chúng dé tạo ra đầu ra cuối cùng. Tuy nhiên, những kỹ thuật này không nắm bắt được tương tác giữa các thé thức. Dé giải quyết van dé này, kỹ thuật intermediate fusion được sử dụng dé phân tích tương tác phức tạp giữa các thể thức.
Ví dụ, vào năm 2019, Xu và các cộng sự [20] tạo ra mô hình MIMN sử dụng mạng lưới nhớ tương tác (interactive memory 11 networks) để học tương tác nội và liên thé thức. Cùng năm đó, Yu và các cộng sự [34] tạo ra mô hình ESAFN, kết hợp cơ chế công (gating), và các tương tac bilinear (bilinear interaction) dé nam bat sự linh hoạt cua nội va liên thé thức cho nhiệm vu phan tich cam xuc da thé thức ở cấp độ khía cạnh. Năm 2020, Xu và các cộng sự [35] tạo ra mô hình AHRM, sử dung progressive attention module dé nam bắt sự tương tác hình ảnh-văn bản. Ngoài ra, các mô hình dựa trên BERT cũng có nhiều tiến triển, bao gồm TomBERT [21] sửa đổi kiến trúc BERT [36] để có được sự tương tác giữa khía cạnh-hình ảnh.
Năm 2021, Khan và các cộng sự [37] công bố mô hình EF- CapTrBERT, sử dung Object Dectection Transformer dé tạo ra chú thích hình ảnh và sau đó xây dựng một câu phụ trợ cho nhiệm vụ phân tích cảm xúc đa thể thức dựa trên khía cạnh. Nam 2022, Yu và các cộng sự [38] đề xuất mạng ITM (Image- Target Matching) dé có được biéu dién hình ảnh dựa trên sự liên quan giữa hình ảnh và khía cạnh, từ đó tăng cường phân tích cảm xúc đa thể thức thông qua sự kết hợp dựa trên mô hình Transformer. Năm 2024, Yang và các cộng sự [39] công bố mô hình MGAM, sử dụng câu phụ trợ và sử dụng đồ thị không đồng nhất (heterogeneous graph) dé học tương tác liên thể thức. Phân tích cảm xúc da thé thức cho Tiếng Việt Ở Việt Nam hiện nay các bộ dữ liệu đa thé thức còn khá hạn chế.
Hiện tại, các bộ dữ liệu đa thê thức tiếng Việt chủ yếu tập trung vào nhiệm vụ trả lời câu hỏi trên hình ảnh, bao gồm các bộ dữ liệu như ViVQA [40], ViCLEVR [41], OpenViVQA [42], va EVJVQA [43]. Trong lĩnh vực phân tích cảm xúc, chỉ tập trung vào dữ liệu dựa trên văn bản [44, 45, 46, 47, 48]. Hiện tại, chưa có bộ dữ liệu đa thể thức cho phân tích cảm xúc bằng tiếng Việt. Tóm lại, các bộ dit liệu hiện tại còn hạn chế do bỏ qua việc gán nhãn chi tiết trong hình ảnh, dẫn đến việc căn chỉnh thông tin giữa các thể thức gặp nhiều khó khăn.
Hơn nữa, các bộ dữ liệu trước đây việc chỉ sử dụng duy nhất một hình ảnh, điều này là không đủ trong các bài toán thực tế. Vì vậy, trong khóa luận này, chúng 12 tôi đê xuât một bộ dữ liệu chuân cùng với một mô hình mới đê giải quyêt những hạn chế này. Chúng tôi sẽ trình bày chỉ tiết trong các phần tiếp theo. BỘ DỮ LIỆU Trong phần này, chúng tôi định nghĩa nhiệm vụ phân tích cảm xúc dựa trên khía cạnh đa thể thức và giới thiệu một bộ dữ liệu chuẩn mới cho nhiệm vụ phân tích cảm xúc dựa trên khía cạnh đa thé thức tiếng Việt, được đặt tên là VIMACSA.
Một đặc điểm phân biệt của bộ dữ liệu VIMACSA namở việc gan nhãn chỉ tiết trên cả hình ảnh và văn bản. Cụ thể là, chúng tôi sẽ gán nhãn các đối tượng (Region of Interest - Rol) trong ảnh, giúp tăng cường yếu tố hình ảnh trong bộ dữ liệu. Quá trình xây dựng bộ dữ liệu gồm ba giai đoạn: Thu Thập Dữ Liệu (Phần 3.2), Gán nhãn Dữ Liệu (Phần 3.3), và Đánh giá Dữ Liệu (Phần 3. Định nghĩa bài toán Dựa trên các nghiên cứu trước đó về phân tích cảm xúc dựa trên khía cạnh (ACSA) và phân tích cảm xúc dựa trên khía cạnh đa thể thức (MACSA), MACSA được định nghĩa như sau.
Với một cặp văn bản-hình ảnh, có một đoạn văn bản S chứa m từ S = {W¡,Ws,.,Wm} và các hình ảnh đi kèm I = {l,l¿,. Danh sách các khía cạnh sử dụng trong bài toán được định nghĩa trước là A = {A!, A?,. Trong đó m, n, k lần lượt là số từ trong đoạn văn bản, số lượng hình ảnh và số aspect được định nghĩa trước.