MỞ ĐẦU 6 hình tăng từ 0.85%, ngoại trừ tiếng Thổ Nhĩ Kỳ giảm 5.9% vì bị hiện tượng “Curse of Multilingual”. * (RQ3) Những cải thiện nào có thể mong đợi khi giải quyét bài toán ACD cho các ngôn nữ đích có sẵn một lượng nhỏ các mẫu dit liệu huấn luyện? Ở câu hỏi này, chúng tôi cài đặt thí nghiệm theo 2 hướng và đạt được những thành quả sau: - Đối với hướng tiếp cận Cross-lingual Transfer Learning with addi- tional Target Language Data: Hướng tiếp cận này đạt được hiệu suất thực sự tốt, chứng minh được chỉ cần một ít dữ liệu của ngôn ngữ đích, mô hình Học chuyển tiếp đa ngôn ngữ có thể cho kết quả cạnh tranh. Cu thể, khi so sánh với hướng tiếp cận Zero-shot Cross-lingual, mBERT nổi bật ở một số ngôn ngữ: tiếng Anh, tiếng Hà Lan, tiếng Nga, chỉ cần kết hợp từ 10 mẫu dữ liệu ngôn ngữ đích, mô hình có thể cho kết quả có thể so sánh hoặc vượt qua mBERT khi zero-shot. Tương tự, mô hình XLM-R nổi bật ở các ngôn ngữ còn lại, bao gồm: tiếng Pháp, tiếng Tây Ban Nha, tiếng Thổ nhĩ Kỳ, có thể cho kết quả tốt hơn kết quả hướng tiếp cận Zero-shot Cross-lingual khi chỉ kết hợp ngôn ngữ nguồn với 10 mẫu dữ liệu ngôn ngữ đích.
Tuy nhiên, ở hướng tiếp cận này, ngôn ngữ ít tài nguyên, khác họ ngôn ngữ với các ngôn ngữ còn lại, là tiếng Thổ Nhĩ Ky lại tiếp tục bị hiện tượng đột ngột giảm hiệu suất khi mô hình tinh chỉnh kết hợp dữ liệu ngôn ngữ nguồn và 500 mẫu dữ liệu ngôn ngữ đích trở lên. - Đối với hướng tiếp cận Few-shot Cross-lingual Transfer Learning: Kết quả thí nghiệm đem lại những kết quả sau: + Đối với ngôn ngữ đích cùng họ ngôn ngữ với các ngôn ngữ nguồn: Hướng tiếp cận Few-shot Cross-lingual Transfer Learning hầu như không tốt bằng hướng tiếp cận Cross-lingual Transfer Learning with additional Target Language Data. x Đối với ngôn ngữ đích khác họ ngôn ngữ với các ngôn ngữ nguồn: Mặc dù, hướng tiếp cận lúc bắt đầu tinh chỉnh từ 10-100 cho hiệu suất thấp hơn hướng tiếp cận Cross-lingual Transfer Learning with additional Target Language Data, nhưng hiệu suất mô hình lại Chương 1. MỞ ĐẦU 7 tăng rất ổn định, đặc biệt khi few-shot từ 500 mẫu dữ liệu tiếng Thổ Nhĩ Kỳ, mô hình còn có thể tốt hơn mô hình đơn ngữ tinh chỉnh trên 1000 mẫu dữ liệu tiếng Thổ Nhĩ Kỳ, cụ thể từ 0%-7.49% khi sử dụng mô hình mBERT, và từ 0.36% khi sử dung mô hình XLM-R.
x Bên cạnh đó, khi so sánh với các mô hình của hướng tiếp cận Zero- shot Cross-lingual, hướng tiếp cận này cũng tốt hơn trên tất cả các ngôn ngữ. Điều này lần nữa chứng minh chỉ cần một vài mẫu dữ liệu ngôn ngữ đích, mô hình phương pháp Học chuyển tiếp vẫn có thể cải thiện rất nhiều. © (RQ4) Hướng tiếp cận nào trong các hướng tiếp cận đã thực nghiệm tốt nhất khi giải quyét bài toán ACD trên ngôn ngữ ít tài nguyên? - Đối với ngôn ngữ đích ít tài nguyên, cùng họ với ngôn ngữ nguồn, hướng tiếp cận Cross-lingual Transfer Learning with additional Target Language Data đem lại kết quả tốt nhất. - Đối với ngôn ngữ dich ít tài nguyên, khác họ với ngôn ngữ nguồn, hướng tiếp cận Few-shot Cross-lingual Transfer Learning chứng minh được hướng nay vừa có thé dem lại hiệu quả tốt vừa có thể giúp giảm hầu hết hiện tượng đột ngột giảm hiệu suất hay bão hòa hiệu suất (hiện tượng “Curse of Multilingual”).
© (RQ5) Các yéu tô nào có thể anh hưởng đến viéc lựa chon ngôn ngữ nguồn khi sử dung phương pháp Học chuyển tiếp da ngôn nữ cho bài toán ACD? Các thí nghiệm và phân tích trên bài toán ACD của nhóm đã chứng minh được việc sử dụng ngôn ngữ khác tiếng Anh làm ngôn ngữ nguồn trong học Chuyển tiếp đa ngôn ngữ là có khả năng, đặc biệt góp phần tránh thiên kiến trên tiếng Anh, tạo điều kiện cho các ngôn ngữ khác cùng được phát triển. Đồng thời, nhóm cũng chỉ ra một sỐ yếu tố cần lưu ý khi chọn ngôn ngữ nguồn thích hợp để Học chuyển tiếp đa ngôn ngữ trong bài toán ACD là: - Mối quan hệ về mặt ngôn ngữ giữa ngôn ngữ nguồn và ngôn ngữ đích. — Kích thước dữ liệu khi tinh chỉnh mô hình của ngôn ngữ nguồn. MỞ ĐẦU 8 — Kích thước dt liệu tiền huấn luyện các mô hình học sẵn của ngôn ngữ nguồn.
- Xu hướng phân bố nhãn dữ liệu giữa ngôn ngữ nguồn và ngôn ngữ đích. © (RQ6) Mô hình da ngôn ngữ nào trong các mô hình (mBERT va XLM-R) tốt hơn khi Học chuyén tiếp da ngôn ngữ trong bài toán ACD? Sau khi tiền hành nhiều thí nghiệm trên nhiều hướng tiếp cận của phương pháp Học chuyển tiếp đa ngôn ngữ, kết quả cho thấy mô hình XLM-R cho kết quả tốt hơn mô hình mBERT trên tất cả các hướng tiếp cận của Học chuyển tiếp đa ngôn ngữ trong bài toán ACD. Từ một phần những kết quả đạt được trong luận văn này, chúng tôi đã có đóng góp vào bài báo khoa học gửi đến Hội nghị quốc tế Scopus “The 4th In- ternational Conference on Multimedia Analysis and Pattern Recognition (MAPR 2021)” mang tén “Exploring Zero-shot Cross-lingual Aspect-based Sentiment Anal- ysis using Pre-trained Multilingual Language Models” (Accepted), với các tác gia đóng góp gồm Khoa Thi-Kim Phan, Dang Van Thin, Duong Ngoc Hao, Ngan Luu-Thuy Nguyen. Đồng thời, trong thời gian hoàn thành đề tai, nhờ những tìm hiểu về các mô hình học sẵn đa ngôn ngữ, tôi đã tham gia giải bài toán “Vietnamese and English- Vietnamese Textual Entailment” tại Hội thảo VLSP 2021 về Xử lí ngôn ngữ và tiếng nói tiếng Việt (VLSP - Vietnamese Language and Speech Processing) cùng đội của mình gồm Hoang Xuan Vu, Nguyen Van Tai, Khoa Thi-Kim Phan, Dang Van Thin, và đạt được kết quả là đội có kết qua đứng thứ 2 với F1 = 0.5 Cau trúc khóa luận Khóa luận được chia thành 6 chương, câu trúc được trình bày như sau.
° Chương[†} Mở đầu. Trình bày ly do chọn nghiên cứu, đối tượng và phạm vi nghiên cứu, mục tiêu cũng như kết quả đạt được. ° Chương |} Bối cảnh và các công trình liên quan. Tổng quan, trình bày cơ sở lý thuyết cũng như các công trình liên quan đến dé tài.
Sau đó, nêu ra Chương 1. MỞ ĐẦU 9 những vấn đề còn tồn đọng và hướng giải quyết được đề cập trong nghiên cứu của chúng tôi. ° Chương j3} Phương pháp. Trình bày kiến trúc các mô hình được sử dụng thực nghiệm trong nghiên cứu.
° Chương |4} Tổng quan dữ liệu. Phân tích, tổng quan về các bộ dữ liệu sử dụng trong nghiên cứu. ° Chuong|5} Thi nghiém va két qua Trinh bay cach cai dat, va phan tich két qua giữa các thí nghiệm. e Chương |6} Kết luận và hướng phát triển.
Tổng kết các kết quả quan trọng đã đạt được trong nghiên cứu, những hạn chế chưa được giải quyết và hướng phát triển trong tương lai. 10 Chương 2 BỒI CẢNH VÀ CÁC CÔNG TRÌNH LIÊN QUAN Đề tài nghiên cứu của chúng tôi liên quan đến các lĩnh vực sau: ¢ Phân tích cảm xúc theo khía cạnh: Cu thể ở nghiên cứu này là bài toán con Phát hiện danh mục khía cạnh trên dữ liệu lĩnh vực Nhà hàng. * Các hướng tiếp cận của phương pháp Học chuyển tiếp đa ngôn ngữ. * Các mô hình học sẵn đa ngôn ngữ.
Trong chương này, chúng tôi tiến hành tổng quan, trình bày cơ sở lý thuyết cũng như các công trình liên quan đến dé tài. Sau đó, nêu ra những van dé còn ton đọng và hướng giải quyết được dé cập trong nghiên cứu của chúng tôi.1 Tổng quan về bài toán Phân tích cảm xúc theo khía cạnh Hơn nhiều thập kỷ qua, Phân tích cảm xúc (SA) là một bài toán nổi bật được đông đảo cộng đồng các nhà nghiên cứu thuộc lĩnh vực NLP cả trong lẫn ngoài nước quan tâm. Nhiệm vụ chính của bài toán là phân tích và đánh giá bình luận/ý kiến của người dùng thành các loại cảm xúc khác nhau: tích cực, tiêu cực hay trung lập (11, (12) Bên cạnh đó, không chỉ là một van dé nổi bật nhận được nhiều quan tâm trong lĩnh vực NLP, bài toán Phân tích cảm xúc còn được ứng dụng rộng rai bởi Chương 2. BỒI CẢNH VA CÁC CÔNG TRINH LIEN QUAN 11 các doanh nghiệp, cơ quan, tổ chức trong các ngành công nghiệp - dịch vụ như một công cụ có thể phân tích, nhận biết thái độ của khách hàng về sản phẩm và dịch vụ mà họ cung cấp một cách tự động.
Tuy nhiên, với sự phát triển vượt bật của khoa học, công nghệ, và sự tăng lên không ngừng của nhu cầu thực tế, bài toán Phân tích cảm xúc thông thường không còn đáp ứng đủ nhu cầu thực tế nếu bình luận/đánh giá chứa nhiều hơn một chủ đề hay khía cạnh. «Ví dụ: “Quán này, thức ăn ngon quá, nhưng bạn phục vụ hơi bị trời đất.” Trong ví dụ trên, câu có 2 loại cảm xúc (tích cực, tiêu cực) tương ứng với 2 loại khía cạnh (thức ăn, dịch vụ). Vì vậy các hệ thống phân tích cảm xúc cần phải được tập trung cải thiện ở mức độ chỉ tiết hơn. Để đáp ứng như cầu trên, bài toán Phân tích cảm xúc theo khía cạnh (Aspect- Based Sentiment Analysis - ABSA) sớm ra đời với khả năng phân tích cảm xúc cụ thể trên từng khía cạnh có trong bình luận/đánh giá của người dùng [13], (14).
Va cũng nhờ thé, bài toán ABSA đã thu hút nhiều chú ý từ cộng đồng NLP những năm gan đây (Í15]-[18|) (Thức ăn quán này[ngon quá|nhưng|bạn phục vụ Opininon Target: Opininon Target: Thức ăn Phục vụ Aspect category: Aspect category: FOOD#QUALITY SERVICE#GENERAL † † 1 I 1 I I + I Ỷ " —. Polarity: BS _| Polarity: Positive Negative HÌNH 2.1: Ví du minh hoa mô ta bài toán ABSA. Dựa trên định nghĩa của (3), bai toan Phan tich cam xuc theo khia canh (Aspect- Based Sentiment Analysis - ABSA) bao gồm3 bài toán con: e Phat hiện danh mục khía cạnh (Aspect Category Detection - ACD): Nhận diện các cặp thực thé E và thuộc tinh A có trong bình luận/đánh giá của Chương 2. BỒI CẢNH VA CÁC CÔNG TRINH LIEN QUAN 12 người dùng.
E#A sẽ được chọn từ các danh mục khía cạnh đã cho trước (Ví dụ: SERVICE#GENERAL, FOOD#OUALTTY,. © Phat hiện khía cạnh (Opinion Target Expression - OTE): Trích xuất những cụm từ chỉ ra khía cạnh có trong câu (Ví dụ: Food, sushi, service,. ¢ Phân cực cảm xúc (Sentiment Polarity - SP): Với mỗi cặp E#A trong bai toán ACD, hay Aspect trong bài toán OTE, bài toán này sẽ gan một trong các nhãn cảm xúc: tích cực, tiêu cực, hoặc trung tính.