Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP) và khai phá dữ liệu, phân tích cảm xúc dựa trên khía cạnh (Aspect-Based Sentiment Analysis - ABSA) giữ vai trò then chốt trong việc hỗ trợ doanh nghiệp nắm bắt phản hồi chi tiết của người dùng về từng yếu tố cụ thể của sản phẩm hoặc dịch vụ. Thay vì chỉ đưa ra đánh giá phân loại cảm xúc tổng quát trên toàn bộ văn bản, ABSA đào sâu vào từng khía cạnh riêng biệt như vị trí, dịch vụ hay cơ sở vật chất. Đối với các nền tảng mạng xã hội và trang web thương mại điện tử, dịch vụ du lịch hiện đại, người dùng có xu hướng đăng tải nhận xét dưới dạng đa thể thức (kết hợp giữa văn bản và nhiều hình ảnh minh họa). Sự kết hợp này hình thành bài toán Phân tích cảm xúc dựa trên khía cạnh đa thể thức (Multimodal Aspect Category Sentiment Analysis - MACSA).

Tuy nhiên, việc nghiên cứu bài toán MACSA đang đối mặt với nhiều thách thức lớn:

  1. Hạn chế về dữ liệu và gán nhãn: Các bộ dữ liệu đa thể thức hiện hữu chủ yếu tập trung gán nhãn cho phần văn bản, bỏ qua việc gán nhãn chi tiết các đối tượng thị giác trong hình ảnh, gây khó khăn cho việc căn chỉnh thông tin giữa các thể thức. Bên cạnh đó, phần lớn nghiên cứu trước đây chỉ sử dụng một hình ảnh duy nhất cho mỗi bài đánh giá, chưa phản ánh đúng thực tế người dùng đăng tải nhiều hình ảnh cùng lúc.
  2. Rào cản ngôn ngữ và tài nguyên tiếng Việt: Tại Việt Nam, các bộ dữ liệu đa thể thức chủ yếu tập trung vào bài toán trả lời câu hỏi qua hình ảnh (Visual Question Answering), trong khi các nghiên cứu phân tích cảm xúc hoàn toàn dựa trên đơn thể thức văn bản. Chưa có bộ dữ liệu chuẩn nào cho bài toán phân tích cảm xúc dựa trên khía cạnh đa thể thức bằng tiếng Việt.
  3. Đặc trưng nhiễu của ngôn ngữ mạng xã hội: Dữ liệu tiếng Việt thu thập từ đánh giá trực tuyến có độ phức tạp cao, chứa nhiều lỗi chính tả, từ viết tắt, từ kéo dài, ký tự đặc biệt và tỷ lệ hình ảnh không liên quan cao.
  4. Yêu cầu tài nguyên và thuật toán kết hợp: Việc tích hợp và mô hình hóa mối quan hệ phi cấu trúc giữa nhiều thể thức đòi hỏi các phương pháp kết hợp trung gian phức tạp cùng chi phí tính toán lớn.

Nhằm giải quyết các thách thức trên, khóa luận xác định 4 mục tiêu nghiên cứu cụ thể:

  1. Xây dựng bộ dữ liệu cho bài toán phân tích cảm xúc dựa trên khía cạnh đa thể thức trên tiếng Việt.
  2. Nghiên cứu, thử nghiệm các công trình trước đó trên bộ dữ liệu đã xây dựng.
  3. Đề xuất một framework mới có khả năng học các tương tác nội thể thức và liên thể thức.
  4. Xây dựng ứng dụng minh họa phân tích cảm xúc dựa trên khía cạnh đa thể thức.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các đánh giá đa thể thức của người dùng (gồm các đoạn văn bản nhận xét và tập hợp các hình ảnh đi kèm) phản ánh trải nghiệm dịch vụ.
  • Phạm vi dữ liệu: Dữ liệu thu thập từ nền tảng đặt phòng trực tuyến Traveloka tiếng Việt trong lĩnh vực nhà hàng - khách sạn. Nghiên cứu tập trung vào 6 khía cạnh định trước: Room (Phòng), Location (Vị trí), Food (Ẩm thực), Facilities (Tiện ích/Cơ sở vật chất), Service (Dịch vụ), Public area (Khu vực chung) và 4 trạng thái cảm xúc: Irrelevant (0), Negative (1), Neutral (2), Positive (3).

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng giải pháp dựa trên hệ thống cơ sở lý thuyết về mô hình hóa chuỗi, xử lý ảnh và cơ chế chú ý liên thể thức:

  • Cơ chế chú ý (Attention Mechanisms):
    • Self-Attention & Multi-Head Self-Attention: Tính toán trọng số chú ý giữa các thành phần trong cùng một chuỗi dữ liệu thông qua các ma trận truy vấn ($Q$), khóa ($K$), và giá trị ($V$) theo công thức $\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$.
    • Multi-modal Attention: Ghép nối vector đặc trưng từ các thể thức khác nhau thành một chuỗi biểu diễn thống nhất trước khi tính ma trận chú ý, hỗ trợ mô hình học đồng thời tương tác nội thể thức và liên thể thức.
    • Cross-modal Attention: Tính toán trọng số tương tác giữa hai thể thức riêng biệt, trong đó vector của thể thức này đóng vai trò là truy vấn ($Q$) để trích xuất thông tin từ khóa ($K$) và giá trị ($V$) của thể thức kia.
  • Mô hình quan hệ đối tượng (Object Relation Module): Mô hình hóa tương tác không gian giữa các vùng quan tâm (Region of Interest - RoI) trong ảnh bằng cách kết hợp vector chuyển dịch hình học $\Delta(m, n)$, mã hóa vị trí (Positional Encoding) và trọng số chú ý hình học $w_G^{mn}$.
  • Mô hình ngôn ngữ tiền huấn luyện XLM-RoBERTa: Phiên bản Transformer đa ngôn ngữ huấn luyện trên 2,5TB dữ liệu, tối ưu hóa cơ chế Masked Language Model (MLM) với kỹ thuật dynamic masking và loại bỏ nhiệm vụ Next Sentence Prediction (NSP).
  • Mạng trích xuất đặc trưng thị giác ResNet-152: Mạng nơ-ron tích chập sâu áp dụng cơ chế học phần dư (residual learning) với kết nối tắt (skip connection) để hạn chế triệt tiêu đạo hàm (vanishing gradient).
  • Mô hình phát hiện đối tượng YOLOv8: Sử dụng để định vị và trích xuất các vùng đối tượng (RoI) cùng tọa độ hộp bao trong hình ảnh.

Phương pháp nghiên cứu thực nghiệm và xây dựng dữ liệu:

  1. Thu thập dữ liệu: Thu thập 8.000 mẫu đánh giá từ Traveloka (mỗi mẫu gồm văn bản nhận xét kèm tối đa 7 hình ảnh).
  2. Gán nhãn 3 giai đoạn:
    • Giai đoạn 1: Gán nhãn văn bản trên 6 khía cạnh bằng công cụ Label Studio.
    • Giai đoạn 2: Phát hiện RoIs tự động bằng YOLOv8 trên phần mềm X-AnyLabeling, lọc bỏ RoIs nhiễu và gán nhãn khía cạnh cho ảnh/RoI (không gán nhãn cảm xúc cho ảnh do tính chất mơ hồ).
    • Giai đoạn 3: Gán nhãn cảm xúc cho cặp văn bản - hình ảnh đối với các khía cạnh xuất hiện mới từ hình ảnh.
  3. Đánh giá độ tin cậy gán nhãn:
    • Hệ số Cohen's Kappa được áp dụng để đo độ đồng thuận giữa các chuyên viên gán nhãn đối với nhãn khía cạnh - cảm xúc.
    • Chỉ số IoU (Intersection over Union) được dùng để đo độ chuẩn xác không gian của các vùng RoI.
    • Quy trình huấn luyện gán nhãn trải qua 5 vòng (100 mẫu/vòng), chuyển sang gán nhãn chính thức khi độ đồng thuận đạt trên 0,5.

Thiết kế và kiến trúc Framework FCMF

Khóa luận đề xuất kiến trúc Fine-Grained Cross-Modal Fusion (FCMF) để xử lý toàn diện các mẫu dữ liệu đầu vào dạng $m_i = (A^m, T_i, I)$ gồm khía cạnh mục tiêu $A^m$, ngữ cảnh văn bản $T_i$ và tập hợp hình ảnh $I$. Kiến trúc framework gồm 4 khối chức năng chính:

[Mẫu đầu vào: Khía cạnh A^m, Văn bản T_i, Tập ảnh I]
                                    Multi-modal Attention thứ hai -> Pooling -> Linear -> Softmax
                                    Dự đoán phân phối xác suất cảm xúc P(y)
  1. Khối xử lý hình ảnh (Image Processing):
    • Nhận diện khía cạnh: YOLOv8 phát hiện tập hợp RoIs $R^k = {R_1^k, R_2^k, \dots, R_J^k}$ cùng tọa độ hộp bao $G^k = {G_1^k, G_2^k, \dots, G_J^k}$. Mô hình ResNet-152 phân loại đa nhãn (multi-label) dự đoán khía cạnh hình ảnh $C^I$, và phân loại đa lớp (multi-class) dự đoán khía cạnh từng RoI $C^{RoI}$.
    • Trích xuất đặc trưng thị giác: Ảnh và RoIs được chuẩn hóa về kích thước $224 \times 224$ pixel. ResNet-152 trích xuất vector đặc trưng từ lớp tích chập cuối cùng đối với toàn bộ ảnh ($m_h^k \in \mathbb{R}^{2048}$) và áp dụng trung bình hóa (mean-pooling) đối với RoI ($m_j^{R,k} \in \mathbb{R}^{2048}$). Một phép biến đổi tuyến tính được dùng để ánh xạ vector thị giác sang cùng không gian chiều với văn bản.
  2. Khối câu phụ trợ (Auxiliary Sentence):
    • Ghép nối khía cạnh mục tiêu, ngữ cảnh văn bản, danh sách khía cạnh ảnh và khía cạnh RoI thành chuỗi cấu trúc: <s> A^m </s></s> T </s></s> A^I </s></s> A^R </s>.
    • Chuỗi này được đưa vào mô hình XLM-RoBERTa nhằm làm phong phú biểu diễn văn bản bằng các thông tin ngữ nghĩa thị giác, trích xuất vector trạng thái ẩn $H_T$ từ token <s>.
  3. Khối chú ý định hướng theo ảnh (Image-guided Attention):
    • Sử dụng Cross-modal Attention với truy vấn là vector văn bản $H_T$, khóa và giá trị là vector đặc trưng ảnh $v^{I,k}$. Khối này hỗ trợ mô hình tập trung vào các từ ngữ mang tính chủ quan và cảm xúc trong văn bản có liên kết trực tiếp tới nội dung ảnh.
  4. Khối chú ý nhận biết RoI hình học (Geometric RoI-aware Attention):
    • Đặc trưng RoI và tọa độ hình học $G^k$ được đưa vào Object Relation Module để mô hình hóa mối quan hệ không gian giữa các vật thể.
    • Vector biểu diễn thu được tiếp tục được ghép với biểu diễn văn bản và xử lý qua Multi-modal Attention để nắm bắt ngữ cảnh tương tác giữa đối tượng cụ thể và nhận xét.
  5. Khối nhận diện cảm xúc (Sentiment Detection):
    • Ghép nối 3 vector biểu diễn: văn bản ($H_{text}$), hình ảnh ($H_I$) và RoI ($H_R$) thành vector đa thể thức thống nhất.
    • Vector này đi qua một lớp Multi-modal Attention tổng hợp, lớp kết nối đầy đủ (Linear layer) và hàm Softmax để xác định nhãn cảm xúc cuối cùng, tối ưu bằng hàm mất mát Cross-entropy.
  6. Triển khai ứng dụng minh họa (Demo):
    • Khóa luận thiết kế chương trình demo hoàn chỉnh sử dụng thư viện Streamlit, cung cấp giao diện trực quan cho phép người dùng nhập đoạn văn bản đánh giá kèm tải lên nhiều hình ảnh, hiển thị kết quả phân tích cảm xúc theo từng khía cạnh cụ thể.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 làm rõ vai trò của bài toán nhận diện cảm xúc dựa trên khía cạnh trong bối cảnh thương mại dịch vụ; giới thiệu bài toán phân tích cảm xúc dựa trên khía cạnh đa thể thức (MACSA) và phân tích các thách thức kỹ thuật khi kết hợp dữ liệu phi cấu trúc; xác định 4 mục tiêu, các đóng góp khoa học chính và tóm tắt cấu trúc 6 chương của khóa luận.

Chương 2: Các công trình nghiên cứu liên quan

Chương 2 tổng hợp bức tranh toàn cảnh về các nghiên cứu MSA và MACSA quốc tế cũng như tại Việt Nam.

Tên bộ dữ liệu Năm Nguồn dữ liệu Thể thức Ngôn ngữ Số khía cạnh Quy mô mẫu
MVSA-Multiple 2016 Twitter V + T Tiếng Anh - 19.600
B-T4SA 2017 Twitter V + T Tiếng Anh - 470.586
CMU-MOSEI 2018 YouTube A + V + T Tiếng Anh - 23.453
Twitter-Sarcasm 2019 Twitter V + T Tiếng Anh - 24.635
Twitter-15 2019 Twitter V + T Tiếng Anh - 5.338
Twitter-17 2019 Twitter V + T Tiếng Anh - 5.972
Multi-ZOL 2019 ZOL V + T Tiếng Trung 6 5.228
MELD 2019 Phim The Friends A + V + T Tiếng Anh 7 13.000
CH-SIMS 2020 Phim ảnh, TV series A + V + T Tiếng Trung - 2.281
MASAD 2021 Yahoo, Flickr V + T Tiếng Anh 57 38.532
CMU-MOSEAS 2021 YouTube A + V + T Tây Ban Nha, Bồ Đào Nha... - 40.000
Memotion 2 2022 Facebook, Reddit... V + T Tiếng Anh 20 10.000

Ghi chú thể thức: V (Hình ảnh), T (Văn bản), A (Âm thanh).

Chương 2 phân loại các kỹ thuật dung hợp đặc trưng thành: kết hợp sớm (early fusion), kết hợp muộn (late fusion) và kết hợp trung gian (intermediate fusion). Đánh giá các kiến trúc SOTA như MIMN, ESAFN, AHRM, TomBERT, EF-CapTrBERT, ITM, MGAM; chỉ ra tại Việt Nam các nghiên cứu mới dừng lại ở VQA (ViVQA, OpenViVQA) hoặc phân tích cảm xúc đơn thể thức văn bản.

Chương 3: Bộ dữ liệu

Chương 3 trình bày chi tiết định nghĩa toán học của bài toán MACSA, quy trình 3 giai đoạn xây dựng bộ dữ liệu ViMACSA, phương pháp kiểm soát chất lượng và các đặc trưng thống kê.

Phân loại tập dữ liệu Số lượng đánh giá Điểm tích cực (Pos) Điểm trung tính (Neu) Điểm tiêu cực (Neg) Số lượng ảnh Số lượng RoIs
Tập huấn luyện (Train) 2.876 - - - - -
Tổng thể bộ dữ liệu 4.876 - - - - -
  • Khía cạnh ẩn và thể thức: Gán nhãn trên cả cặp văn bản - hình ảnh thu được 14.618 nhãn khía cạnh, nhiều hơn 36,51% so với chỉ gán nhãn trên văn bản đơn lẻ (10.708 nhãn), chứng minh hình ảnh giúp khai thác hiệu quả các khía cạnh ngụ ý (implicit aspects).
  • Tỷ lệ ảnh nhiễu: Tỷ lệ hình ảnh không liên quan đến trải nghiệm thực tế chiếm 38%.
  • Nhiễu ngôn ngữ mạng xã hội:
    • Sai chính tả / từ vô nghĩa: hồ trợ $\rightarrow$ hỗ trợ, deppppp $\rightarrow$ đẹp, siu $\rightarrow$ siêu, ngonnn $\rightarrow$ ngon.
    • Từ viết tắt: ks / ksan $\rightarrow$ khách sạn, ko / kh $\rightarrow$ không, nhg $\rightarrow$ nhưng, mn $\rightarrow$ mọi người, mk $\rightarrow$ mình, gd $\rightarrow$ gia đình.
    • Biểu tượng cảm xúc (Emoji) và ký tự đặc biệt: :) , :D , =)).
  • Phân phối khía cạnh: Hai khía cạnh chiếm tỷ trọng cao nhất là Room và Service; khía cạnh xuất hiện ít nhất là Food. Phân phối nhãn cảm xúc bị mất cân bằng, trong đó nhãn tích cực (Positive) chiếm đa số.

Chương 4: Fine-Grained Cross-Modal Fusion Framework

Chương 4 trình bày cơ sở toán học của các khối phép toán Attention, chi tiết 4 module thành phần của FCMF và phương pháp tối ưu hóa toàn bộ tham số thông qua hàm mất mát Cross-entropy.

Chương 5: Cài đặt, kết quả và đánh giá

Chương 5 mô tả thiết lập thực nghiệm so sánh FCMF với hai nhóm mô hình cơ sở:

  1. Mô hình dựa trên văn bản: MemNet, GCAE, IAN, LCF-RoBERTa.
  2. Mô hình dựa trên văn bản và hình ảnh: TomBERT, EF-CapTrBERT, ITM, MGAM...
  • Kết quả thực nghiệm: Framework FCMF đạt hiệu năng tổng thể vượt trội so với các mô hình baseline, đạt điểm số Macro-F1 cao nhất là 79%.
  • Phân tích chuyên sâu: Thực hiện các thử nghiệm cắt bỏ (Ablation Study) nhằm chứng minh tính hiệu quả của từng thành phần (khối RoI hình học, câu phụ trợ và khối chú ý định hướng ảnh); phân tích sự ảnh hưởng của số lượng ảnh đầu vào và quy mô tập dữ liệu huấn luyện; trực quan hóa trọng số chú ý bằng Grad-CAM và ma trận chú ý để giải thích khả năng liên kết giữa các từ ngữ cảm xúc và vùng ảnh tương ứng.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết toàn bộ kết quả đạt được về mặt lý thuyết, bộ dữ liệu và mô hình; chỉ ra các điểm hạn chế và vạch ra các hướng mở rộng cho nghiên cứu trong tương lai.

Kết quả và đóng góp

Khóa luận đóng góp các kết quả cụ thể cho bài toán phân tích cảm xúc đa thể thức tiếng Việt:

  1. Bộ dữ liệu chuẩn ViMACSA:
    • Xây dựng thành công bộ dữ liệu đa thể thức đầu tiên cho tiếng Việt trong bài toán ACSA với 4.876 cặp văn bản - hình ảnh, cung cấp 14.618 nhãn chi tiết cho cả 2 thể thức trong lĩnh vực khách sạn.
    • Đóng góp bộ nhãn chi tiết đối tượng thị giác (RoIs) kèm tọa độ hình học, giải quyết hiện tượng khía cạnh ẩn mà dữ liệu văn bản đơn lẻ không thể hiện (tăng 36,51% lượng khía cạnh nhận diện).
  2. Đề xuất Framework FCMF:
    • Đề xuất thành công kiến trúc Fine-Grained Cross-Modal Fusion tích hợp tương tác không gian hình học giữa các đối tượng và câu phụ trợ đa thể thức.
    • FCMF đạt điểm F1 cao nhất là 79%, vượt qua các mô hình SOTA baseline trên bộ dữ liệu ViMACSA.
  3. Đóng góp ứng dụng thực tiễn:
    • Xây dựng hoàn chỉnh chương trình thử nghiệm có giao diện người dùng dựa trên Streamlit, minh họa trực quan khả năng tiếp nhận và phân tích đồng thời nhiều hình ảnh và văn bản đánh giá.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các hạn chế tồn tại từ phạm vi và dữ liệu nghiên cứu:

  • Mất cân bằng dữ liệu: Sự phân bổ giữa các nhãn cảm xúc chưa đồng đều, nhãn tích cực (Positive) chiếm phần lớn trong khi nhãn trung tính (Neutral) và tiêu cực (Negative) có tỷ lệ thấp; sự phân bổ giữa các khía cạnh cũng chênh lệch (Room và Service chiếm ưu thế so với Food).
  • Nhiễu thị giác và ngôn ngữ: 38% hình ảnh thu thập từ mạng xã hội là ảnh không liên quan; văn bản chứa nhiều biến thể viết tắt, lỗi gõ dấu và từ lóng tiếng Việt gây khó khăn cho việc biểu diễn ngữ nghĩa.
  • Hạn chế trong gán nhãn cảm xúc ảnh: Do tính chất trừu tượng và dễ gây bất đồng thuận, nghiên cứu chưa thể gán nhãn cảm xúc độc lập trực tiếp cho từng ảnh/RoI mà phải dựa vào thể thức văn bản kết hợp.

Hướng nghiên cứu tiếp theo:

  • Mở rộng quy mô bộ dữ liệu sang các lĩnh vực dịch vụ khác ngoài khách sạn (nhà hàng, thương mại điện tử, điểm du lịch).
  • Nghiên cứu các kỹ thuật tiền xử lý chuyên biệt để giải quyết hiện tượng mất cân bằng dữ liệu và khử nhiễu văn bản mạng xã hội.
  • Cải tiến kiến trúc để nâng cao độ chính xác nhận diện trên nhãn Neutral và tối ưu hóa thời gian xử lý khi mở rộng số lượng ảnh đầu vào.

Giá trị tham khảo

Tài liệu khóa luận cung cấp giá trị tham khảo thiết thực cho nhiều đối tượng nghiên cứu:

  • Sinh viên và học viên ngành Khoa học Dữ liệu, Trí tuệ nhân tạo, CNTT: Cung cấp quy trình bài bản từ khâu thu thập, tiền xử lý, thiết lập tiêu chuẩn gán nhãn đa thể thức (sử dụng Label Studio, X-AnyLabeling, YOLOv8) đến các phương pháp định lượng độ tin cậy dữ liệu qua chỉ số Cohen's Kappa và IoU.
  • Nhà nghiên cứu xử lý ngôn ngữ tự nhiên và thị giác máy tính: Cung cấp thiết kế kiến trúc chi tiết về việc kết hợp cơ chế Cross-modal Attention với Object Relation Module, cách xây dựng câu phụ trợ (Auxiliary Sentence) để đưa thông tin thị giác vào không gian ngữ nghĩa của mô hình ngôn ngữ lớn (XLM-RoBERTa).
  • Doanh nghiệp dịch vụ và du lịch: Tham khảo mô hình phân tích tự động để khai thác sâu phản hồi đa thể thức của khách hàng trên các nền tảng đặt phòng trực tuyến.

Câu hỏi thường gặp

1. Bộ dữ liệu ViMACSA có quy mô bao nhiêu và được xây dựng từ nguồn dữ liệu nào?

Bộ dữ liệu ViMACSA bao gồm 4.876 cặp văn bản - hình ảnh đã qua xử lý loại bỏ mẫu mâu thuẫn (từ 8.000 mẫu thu thập ban đầu), chứa tổng cộng 14.618 nhãn chi tiết trên 6 khía cạnh. Dữ liệu được thu thập từ các đánh giá thực tế của người dùng trên nền tảng đặt phòng du lịch Traveloka Việt Nam trong lĩnh vực khách sạn.

2. Nghiên cứu phân loại cảm xúc trên những khía cạnh (aspects) và nhãn cảm xúc cụ thể nào?

Khóa luận xác định 6 khía cạnh đánh giá dịch vụ gồm: Room (Phòng), Location (Vị trí), Food (Ẩm thực), Facilities (Cơ sở vật chất/tiện ích), Service (Dịch vụ), và Public area (Khu vực chung/sảnh/view). Mỗi khía cạnh được phân loại theo 4 nhãn cảm xúc: 0 (Irrelevant - Không liên quan), 1 (Negative - Tiêu cực), 2 (Neutral - Trung tính), và 3 (Positive - Tích cực).

3. Tại sao bộ dữ liệu không gán nhãn cảm xúc trực tiếp cho từng hình ảnh và đối tượng (RoI)?

Theo phân tích của tác giả, hình ảnh liên quan đến dịch vụ khách sạn thường mang tính chất trung tính hoặc mơ hồ về mặt cảm xúc nếu đứng độc lập, dễ dẫn đến sự bất đồng thuận và sai lệch giữa những người gán nhãn. Do đó, hình ảnh và các RoI chỉ được gán nhãn phân loại khía cạnh nội dung; nhãn cảm xúc chỉ được xác định khi kết hợp cặp văn bản - hình ảnh.

4. Khối Geometric RoI-aware Attention trong kiến trúc FCMF hoạt động như thế nào?

Khối này sử dụng mô hình Object Relation Module để tiếp nhận vector đặc trưng của các đối tượng (RoI) cùng tọa độ hộp bao $G^k$. Hệ thống tính toán vector chuyển dịch không gian $\Delta(m,n)$ giữa các hộp bao, áp dụng Positional Encoding để tạo trọng số chú ý hình học $w_G^{mn}$, sau đó đưa qua Multi-modal Attention cùng với vector văn bản nhằm nắm bắt sự tương tác giữa vị trí không gian của vật thể với nội dung nhận xét.

5. Kết quả thực nghiệm của framework FCMF so với các mô hình baseline đạt mức hiệu năng ra sao?

Trên bộ dữ liệu ViMACSA, framework FCMF đạt điểm F1 cao nhất là 79%, vượt trội hơn các mô hình dựa trên văn bản truyền thống (như MemNet, GCAE, IAN, LCF-RoBERTa) và các mô hình đa thể thức SOTA khác, chứng minh hiệu quả của việc kết hợp tương tác nội thể thức và liên thể thức có nhận biết vị trí hình học đối tượng.

Kết luận

Khóa luận của nhóm tác giả Nguyễn Hoàng Quý và Nguyễn Trương Minh Văn đã giải quyết thành công bài toán phân tích cảm xúc dựa trên khía cạnh đa thể thức cho tiếng Việt trong lĩnh vực khách sạn. Công trình mang lại hai đóng góp học thuật nổi bật: xây dựng bộ dữ liệu benchmark ViMACSA gồm 4.876 cặp dữ liệu được gán nhãn đối tượng chi tiết, và đề xuất framework FCMF tích hợp cơ chế chú ý nhận biết hình học RoI đạt điểm F1 79%. Đây là tài liệu nghiên cứu có giá trị thực nghiệm cao, đặt nền móng phương pháp luận vững chắc cho các nghiên cứu xử lý đa thể thức tiếng Việt tiếp theo.