Phân Tích Cảm Xúc Theo Khía Cạnh Cho Văn Bản: Nghiên cứu từ ĐH Bách Khoa

Phân tích cảm xúc theo khía cạnh (ABSA) cho văn bản: Tìm hiểu cách xác định và phân tích cảm xúc đối với từng khía cạnh cụ thể trong tài liệu. Ứng dụng ABSA giúp hiểu sâu hơn ý ...

• Tác giả: Trần Công Toàn Trí
• Người hướng dẫn: TS. Lê Thanh Vân
• Trường học: Trường Đại học Bách khoa - Đại học Quốc gia Thành phố Hồ Chí Minh
• Chuyên ngành: Khoa học máy tính
• Đề tài: Phân tích cảm xúc theo khía cạnh từ dữ liệu văn bản
• Loại tài liệu: Luận văn tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• ĐẠI HỌC QUỐC GIA TP.HCMCỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM
• NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP
• PHIẾU CHẤM BẢO VỆ LVTN
• DEDICATION
• Acknowledgements
• Abstract
• 1. Chapter 1 Introduction
• 1.1. Why we chose this project
• 2. Aspect Based Sentiment Analysis
• 2.1. What is ABSA
• 2.2. ABSA research overview
• 2.3. Vietnamese ABSA shared task
• 3. Our proposed models
• 3.1. Bert sequence-pair with auxiliary sentences
• 4. Experimental results and discussion
• 4.1. Exploratory data analysis
• 4.2. Analysis and Discussion
• 4.3. Evaluation on real-life data
• 5. Model application for a recommender system
• A Our Research Paper
• List of Tables
• List of Figures
• Acronyms

Tóm tắt

I. Khám phá Phân Tích Cảm Xúc Theo Khía Cạnh là gì

Phân tích cảm xúc truyền thống chỉ cho biết một văn bản mang sắc thái tích cực, tiêu cực hay trung tính. Tuy nhiên, cách tiếp cận này không đủ sâu để nắm bắt toàn bộ ý kiến của người dùng. Một bài đánh giá có thể khen món ăn nhưng chê dịch vụ. Đây là lúc Phân Tích Cảm xúc theo Khía cạnh (Aspect-Based Sentiment Analysis - ABSA) phát huy vai trò, cung cấp một cái nhìn chi tiết và đa chiều hơn.

1.1. Định nghĩa Aspect Based Sentiment Analysis ABSA

Aspect-Based Sentiment Analysis (ABSA), hay còn gọi là Phân tích Cảm xúc theo Khía cạnh, là một nhánh chuyên sâu của Opinion Mining và Xử lý Ngôn ngữ Tự nhiên (NLP). Thay vì gán một nhãn cảm xúc duy nhất cho toàn bộ văn bản, ABSA xác định các khía cạnh (aspects) cụ thể được đề cập và phân loại cảm xúc (tích cực, tiêu cực, trung tính) cho từng khía cạnh đó. Ví dụ, trong câu "Món ăn ở đây rất ngon nhưng phục vụ quá chậm", ABSA có thể trích xuất hai cặp thông tin: (Đồ ăn#Chất lượng, Tích cực) và (Dịch vụ#Tổng quát, Tiêu cực). Luận văn của Trần Công Toàn Trí và Nguyễn Phú Thiện (2021) định nghĩa nhiệm vụ của ABSA là xác định các bộ (Khía cạnh, Sắc thái) từ một bài đánh giá. Mỗi khía cạnh là một cặp gồm thực thể (entity) và thuộc tính (attribute). Nhiệm vụ này đòi hỏi khả năng Trích xuất khía cạnh và Phân loại cảm xúc ở mức độ chi tiết, mang lại giá trị lớn cho việc phân tích phản hồi khách hàng.

1.2. Hạn chế của phân tích cảm xúc cấp độ câu

Phân tích cảm xúc ở cấp độ câu hoặc tài liệu thường bỏ lỡ các sắc thái quan trọng. Một bài phân tích review sản phẩm dài có thể chứa đựng nhiều ý kiến trái chiều. Nếu chỉ kết luận chung là 'tích cực', doanh nghiệp sẽ bỏ qua những phàn nàn quan trọng về một tính năng cụ thể. Tài liệu nghiên cứu gốc chỉ ra rằng, một người dùng có thể nói về nhiều khía cạnh với các cảm xúc khác nhau. Việc chỉ gán một nhãn cảm xúc chung sẽ làm mất đi thông tin quý giá. ABSA giải quyết vấn đề này bằng cách đi sâu vào từng chi tiết, giúp các tổ chức hiểu chính xác điểm mạnh và điểm yếu của sản phẩm, dịch vụ. Đây là nền tảng cho các hoạt động như Social Listening (Lắng nghe mạng xã hội) hiệu quả, giúp theo dõi sức khỏe thương hiệu một cách chính xác.

II. Top thách thức trong Phân Tích Cảm Xúc tiếng Việt

Việc triển khai hệ thống ABSA hiệu quả đối mặt với nhiều rào cản, đặc biệt là với các ngôn ngữ có cấu trúc phức tạp và nguồn tài nguyên hạn chế như tiếng Việt. Các thách thức không chỉ nằm ở thuật toán mà còn ở bản chất của dữ liệu ngôn ngữ tự nhiên.

2.1. Vấn đề trích xuất khía cạnh và xử lý ngữ nghĩa

Một trong những thách thức lớn nhất là Aspect Extraction (Trích xuất khía cạnh) một cách chính xác. Các khía cạnh có thể được đề cập một cách tường minh ("giá đắt") hoặc ẩn ý ("phải chi nhiều tiền mới mua được"). Hơn nữa, ngôn ngữ tự nhiên chứa đầy sự mỉa mai, châm biếm và các câu phức tạp, khiến việc Phân loại cảm xúc trở nên khó khăn. Ví dụ, câu "Dịch vụ nhanh chưa từng thấy" có thể mang ý nghĩa tích cực hoặc tiêu cực tùy thuộc vào ngữ cảnh. Các mô hình cần hiểu được mối quan hệ ngữ nghĩa sâu sắc giữa các từ và cụm từ để đưa ra kết luận đúng. Quá trình gán nhãn dữ liệu cho việc huấn luyện các mô hình này cũng đòi hỏi sự tỉ mỉ và tốn kém, đặc biệt là với các tập dữ liệu lớn.

2.2. Sự phức tạp của tiếng Việt và thiếu hụt dữ liệu

Luận văn gốc nhấn mạnh những khó khăn riêng của phân tích cảm xúc tiếng Việt. Tiếng Việt là ngôn ngữ phức tạp với dấu thanh, từ ghép và sự đa dạng trong cách diễn đạt. Việc thay đổi dấu thanh có thể làm thay đổi hoàn toàn ý nghĩa của từ. Từ ghép (ví dụ: 'khách_sạn', 'đồ_ăn') cần được xử lý như một đơn vị ngữ nghĩa duy nhất. Các mô hình NLP đa ngôn ngữ thường không xử lý tốt những đặc điểm này. Thêm vào đó, tài liệu nghiên cứu chỉ ra rằng các tài nguyên như bộ dữ liệu được gán nhãn và các mô hình tiền huấn luyện (pre-trained models) cho tiếng Việt còn hạn chế so với tiếng Anh. Điều này tạo ra rào cản lớn cho việc xây dựng các hệ thống ABSA có độ chính xác cao.

III. Phương pháp tiếp cận Phân Tích Cảm Xúc theo Khía cạnh

Để giải quyết bài toán ABSA, nhiều phương pháp đã được nghiên cứu và phát triển, từ các kỹ thuật học máy truyền thống đến các kiến trúc học sâu phức tạp. Mỗi phương pháp có những ưu và nhược điểm riêng, phù hợp với các bối cảnh khác nhau.

3.1. Tiếp cận học máy truyền thống SVM và MLP

Các phương pháp Machine Learning for NLP ban đầu thường dựa vào kỹ thuật trích xuất đặc trưng thủ công (feature engineering). Các mô hình như Support Vector Machine (SVM) và Multi-layer Perceptron (MLP) đã được áp dụng cho bài toán ABSA. Theo tài liệu tham khảo, các nghiên cứu đầu tiên trên bộ dữ liệu VLSP 2018 đã sử dụng SVM bằng cách chia bài toán thành hai giai đoạn: Phát hiện Khía cạnh và Phân loại Sắc thái. Các đặc trưng như N-gram, Part-of-Speech (POS) tag, và TF-IDF được sử dụng để chuyển văn bản thành vector số. Mặc dù các phương pháp này đặt nền móng cho lĩnh vực, chúng phụ thuộc nhiều vào chất lượng của các đặc trưng được thiết kế thủ công và khó nắm bắt các mối quan hệ ngữ nghĩa phức tạp trong câu.

3.2. Mô hình học sâu sơ khởi BiLSTM CNN và Attention

Sự phát triển của Deep Learning for NLP đã mang lại những bước tiến vượt bậc. Các kiến trúc như Mạng thần kinh tích chập (CNN) và Mạng bộ nhớ dài-ngắn hai chiều (BiLSTM) được sử dụng để tự động học các đặc trưng từ dữ liệu. Luận văn trích dẫn công trình của Thin et al. sử dụng mô hình kết hợp BiLSTM-CNN, trong đó BiLSTM nắm bắt ngữ cảnh của câu và CNN trích xuất các đặc trưng quan trọng. Cơ chế chú ý (Attention) cũng được tích hợp để giúp mô hình tập trung vào những từ ngữ quan trọng nhất liên quan đến một khía cạnh cụ thể. Các mô hình này cho thấy hiệu quả vượt trội so với phương pháp truyền thống vì chúng có khả năng hiểu ngữ cảnh và các phụ thuộc dài hạn trong văn bản tốt hơn.

IV. Hướng dẫn mô hình ABSA đột phá với PhoBERT và HSUM HC

Sự ra đời của các mô hình Transformer, đặc biệt là BERT, đã tạo ra một cuộc cách mạng trong lĩnh vực NLP. Nghiên cứu của Trần Công Toàn Trí và Nguyễn Phú Thiện đã tận dụng sức mạnh này để đề xuất các mô hình tiên tiến cho bài toán ABSA tiếng Việt, đạt được kết quả vượt trội.

4.1. PhoBERT Nền tảng SOTA cho xử lý ngôn ngữ tiếng Việt

Mô hình BERT (Bidirectional Encoder Representations from Transformers) là một mô hình ngôn ngữ được tiền huấn luyện trên một kho dữ liệu văn bản khổng lồ. PhoBERT là một biến thể của BERT được VinAI Research phát triển và tiền huấn luyện riêng cho tiếng Việt. Luận văn đã chỉ ra ưu điểm của PhoBERT so với các mô hình đa ngôn ngữ khác nhờ việc sử dụng bộ phân tách từ (word segmenter) để xử lý từ ghép, một đặc trưng của tiếng Việt. Điều này giúp PhoBERT hiểu ngữ nghĩa tiếng Việt sâu sắc hơn. Việc sử dụng PhoBERT làm nền tảng đã được chứng minh là cực kỳ hiệu quả, vượt qua đáng kể các mô hình trước đó trên các tác vụ ABSA tiếng Việt.

4.2. Mô hình HSUM HC Kết hợp lớp ẩn và phân loại phân cấp

Điểm sáng tạo cốt lõi trong luận văn là việc đề xuất mô hình HSUM-HC. Mô hình này giải quyết một hạn chế của các cách tiếp cận BERT thông thường, vốn chỉ sử dụng thông tin từ lớp ẩn cuối cùng. Dựa trên nghiên cứu cho thấy các lớp ẩn cao hơn của BERT chứa thông tin ngữ nghĩa quý giá, HSUM-HC (Hierarchical Hidden State Aggregation for Hierarchical Classification) đã được xây dựng. Kiến trúc này tổng hợp thông tin từ nhiều lớp ẩn trên cùng của PhoBERT và đưa chúng vào một bộ phân loại phân cấp (Hierarchical Classifier). Bộ phân loại này mô phỏng quá trình con người gán nhãn: đầu tiên xác định Thực thể, sau đó là Thuộc tính, và cuối cùng là Cảm xúc. Sự kết hợp này giúp mô hình tận dụng tối đa sức mạnh biểu diễn của PhoBERT và cấu trúc của bài toán ABSA, mang lại độ chính xác vượt trội trên các bộ dữ liệu thực nghiệm.

4.3. Mô hình NLI B Biến ABSA thành bài toán hỏi đáp

Một hướng tiếp cận sáng tạo khác được khám phá trong luận văn là mô hình NLI-B. Phương pháp này định dạng lại bài toán ABSA thành một bài toán suy luận ngôn ngữ tự nhiên (Natural Language Inference - NLI), tương tự như hỏi-đáp. Thay vì phân loại trực tiếp, mô hình được huấn luyện để xác định xem một câu giả thuyết có đúng hay không. Ví dụ, với một bài đánh giá, mô hình sẽ được hỏi: "Cảm xúc về khía cạnh Dịch vụ#Tổng quát là tích cực?". Câu trả lời sẽ là 'Đúng' hoặc 'Sai'. Bằng cách tạo ra các câu phụ trợ (auxiliary sentences) cho mỗi cặp khía cạnh-cảm xúc, mô hình có thể học được mối quan hệ chi tiết hơn. Cách tiếp cận này giúp tăng cường lượng dữ liệu huấn luyện và buộc mô hình phải tập trung vào mối liên kết giữa khía cạnh và cảm xúc cụ thể.

V. Cách ứng dụng Phân Tích Cảm Xúc vào doanh nghiệp

Giá trị của Phân Tích Cảm xúc theo Khía cạnh không chỉ nằm ở học thuật mà còn ở khả năng ứng dụng thực tiễn to lớn. Các doanh nghiệp có thể khai thác công nghệ này để thu thập thông tin chi tiết, cải thiện sản phẩm và nâng cao trải nghiệm khách hàng.

5.1. Phân tích phản hồi khách hàng và lắng nghe mạng xã hội

Ứng dụng phổ biến nhất của ABSA là tự động hóa việc phân tích phản hồi khách hàng từ nhiều nguồn như email, khảo sát, mạng xã hội, và các trang đánh giá. Thay vì đọc hàng ngàn bình luận thủ công, doanh nghiệp có thể sử dụng hệ thống ABSA để nhanh chóng xác định các chủ đề được thảo luận nhiều nhất (ví dụ: 'pin', 'màn hình', 'giá cả') và sắc thái cảm xúc của chúng. Điều này giúp phát hiện sớm các vấn đề tiềm ẩn, nắm bắt xu hướng thị trường và hiểu rõ hơn về đối thủ cạnh tranh. Hoạt động Lắng nghe mạng xã hội (Social Listening) trở nên sâu sắc hơn, không chỉ đếm số lượt đề cập mà còn hiểu được 'tại sao' khách hàng lại nói về thương hiệu theo cách đó.

5.2. Xây dựng hệ thống gợi ý thông minh từ review

Luận văn đã chứng minh tính ứng dụng thực tế bằng cách xây dựng một hệ thống tìm kiếm khách sạn thông minh. Hệ thống này sử dụng mô hình ABSA đã huấn luyện để phân tích hàng loạt đánh giá của người dùng. Từ đó, nó xây dựng một hồ sơ chi tiết cho mỗi khách sạn, chỉ ra các điểm mạnh (ví dụ: 'phòng_sạch_sẽ', 'nhân_viên_thân_thiện') và điểm yếu ('vị_trí_xa_trung_tâm'). Khi người dùng nhập một truy vấn tìm kiếm dạng ngôn ngữ tự nhiên như "khách sạn gần trung tâm có phòng rộng", hệ thống có thể phân tích yêu cầu này và đối chiếu với hồ sơ đã được xây dựng từ các đánh giá để đưa ra những gợi ý phù hợp nhất. Điều này cải thiện đáng kể trải nghiệm tìm kiếm và giúp người dùng đưa ra quyết định tốt hơn.

VI. Kết luận Tương lai của Phân Tích Cảm Xúc Theo Khía Cạnh

Phân tích Cảm xúc theo Khía cạnh đã và đang chứng tỏ là một công cụ mạnh mẽ để khai phá dữ liệu văn bản. Với sự tiến bộ không ngừng của các mô hình NLP, tiềm năng của lĩnh vực này là vô cùng rộng mở, hứa hẹn nhiều ứng dụng đột phá trong tương lai.

6.1. Tóm tắt kết quả nghiên cứu và hiệu quả của mô hình HSUM HC

Nghiên cứu của Trần Công Toàn Trí và Nguyễn Phú Thiện đã đóng góp quan trọng cho lĩnh vực ABSA tiếng Việt. Bằng việc đề xuất mô hình HSUM-HC dựa trên PhoBERT, luận văn đã thiết lập một tiêu chuẩn hiệu suất mới (State-Of-The-Art) trên các bộ dữ liệu công khai như VLSP 2018 và UIT-ABSA. Kết quả thực nghiệm cho thấy mô hình này vượt trội hơn các phương pháp trước đó, khẳng định tính hiệu quả của việc kết hợp tổng hợp thông tin từ nhiều lớp ẩn và bộ phân loại phân cấp. Thành công của mô hình chứng tỏ rằng việc thiết kế kiến trúc chuyên biệt, phù hợp với đặc điểm ngôn ngữ và cấu trúc bài toán, là chìa khóa để đạt được hiệu suất cao.

6.2. Hướng phát triển tiềm năng trong lĩnh vực Opinion Mining

Tương lai của Opinion Mining và ABSA hứa hẹn nhiều hướng đi thú vị. Một trong số đó là việc xử lý các khía cạnh ẩn và các hình thức diễn đạt phức tạp hơn như mỉa mai. Sự phát triển của các mô hình ngôn ngữ lớn (Large Language Models - LLMs) cũng mở ra tiềm năng giải quyết bài toán ABSA với ít dữ liệu gán nhãn hơn (few-shot hoặc zero-shot learning). Ngoài ra, việc mở rộng phân tích sang các định dạng đa phương thức (văn bản kết hợp hình ảnh, video) và các ngôn ngữ ít tài nguyên khác cũng là những thách thức hấp dẫn. Việc cải tiến các mô hình để chúng không chỉ chính xác mà còn có thể giải thích được (explainable AI) cũng sẽ là một hướng đi quan trọng để tăng cường sự tin cậy và ứng dụng trong các lĩnh vực nhạy cảm.

Trích đoạn nội dung tài liệu

HO CHI MINH CITY NATIONAL UNIVERSITY UNIVERSITY OF TECHNOLOGY FACULTY OF COMPUTER SCIENCE AND ENGINEERING GRADUATE THESIS ASPECT BASED SENTIMENT ANALYSIS FOR TEXT DOCUMENTS Major: Computer Science Council: KHMT 5 Supervisor: Dr. Le Thanh Van Examiner: Dr. Nguyen Quang Hung Students: Tran Cong Toan Tri 1713657 Nguyen Phu Thien 1713304 Ho Chi Minh, December 2021 ĐẠI HỌC QUỐC GIA TP.HCM CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM ---------- Độc lập - Tự do - Hạnh phúc TRƯỜNG ĐẠI HỌC BÁCH KHOA KHOA:KH & KT Máy tính NHIỆM VỤ LUẬN ÁN TỐT NGHIỆP BỘ MÔN:Hệ thống & Mạng ____ Chú ý: Sinh viên phải dán tờ này vào trang nhất của bản thuyết trình HỌ VÀ TÊN: TRẦN CÔNG TOÀN TRÍ MSSV: 1713657 HỌ VÀ TÊN: NGUYỄN PHÚ THIỆN MSSV: 1713304 NGÀNH: KHOA HỌC MÁY TÍNH LỚP: MTKH03 1. Đầu đề luận án: Phân tích cảm xúc theo khía cạnh từ dữ liệu văn bản Aspect based sentiment analysis for text documents 2.

Nhiệm vụ (yêu cầu về nội dung và số liệu ban đầu): - Tìm hiểu về đặc điểm của bài toán phân tích cảm xúc theo khía cạnh từ dữ liệu văn bản. - Tìm hiểu các công trình liên quan. - Nghiên cứu và đề xuất mô hình có thể nhận biết được khía cạnh và cảm xúc của khía cạnh từ dữ liệu văn bản. - Thu thập dữ liệu để huấn luyện và kiểm thử mô hình.

- Hiện thực mô hình đề xuất, thực nghiệm, so sánh và đánh giá. Ngày giao nhiệm vụ luận án: 30/08/2021 4. Ngày hoàn thành nhiệm vụ: 31/12/2021 5. Họ tên giảng viên hướng dẫn: Phần hướng dẫn: 100% 1) TS.

Lê Thanh Vân __________________________________________________________ Nội dung và yêu cầu LVTN đã được thông qua Bộ môn. CHỦ NHIỆM BỘ MÔN GIẢNG VIÊN HƯỚNG DẪN CHÍNH (Ký và ghi rõ họ tên) (Ký và ghi rõ họ tên) Lê Thanh Vân PHẦN DÀNH CHO KHOA, BỘ MÔN: Người duyệt (chấm sơ bộ): ________________________ Đơn vị: _______________________________________ Ngày bảo vệ:___________________________________ Điểm tổng kết: _________________________________ Nơi lưu trữ luận án: _____________________________ TRƯỜNG ĐẠI HỌC BÁCH KHOA CỘNG HÒA XÃ HỘI CHỦ NGHĨA VIỆT NAM KHOA KH & KT MÁY TÍNH Độc lập - Tự do - Hạnh phúc ---------------------------- Ngày 27 tháng 12 năm 2021 PHIẾU CHẤM BẢO VỆ LVTN (Dành cho người hướng dẫn/phản biện) 1. Họ và tên SV: Trần Công Toàn Trí, Nguyễn Phú Thiện MSSV: 1713657, 1713304 Ngành (chuyên ngành): Khoa học máy tính 2. Đề tài: Phân tích cảm xúc theo khía cạnh từ dữ liệu văn bản 3.

Họ tên người hướng dẫn/phản biện: TS. Lê Thanh Vân 4. Tổng quát về bản thuyết minh: Số trang: 88 Số chương: 7 (bao gồm 1 chương phụ lục) Số bảng số liệu: 16 Số hình vẽ: 38 Số tài liệu tham khảo: Phần mềm tính toán: Hiện vật (sản phẩm) 5. Tổng quát về các bản vẽ: - Số bản vẽ: Bản A1: Bản A2: Khổ khác: - Số bản vẽ vẽ tay Số bản vẽ trên máy tính: 6.

Những ưu điểm chính của LVTN: Luận văn hướng đến việc đề xuất mô hình phân tích cảm xúc theo khía cạnh từ dữ liệu văn bản. Để đạt được mục tiêu của đề tài, nhóm sinh viên đã thực hiện tốt những việc sau: -! Tìm hiểu các đặc điểm của bài toán phân tích cảm xúc nói chung và theo khía cạnh nói riêng từ dữ liệu văn bản. -! Tìm hiểu các công trình nghiên cứu liên quan nổi bật trong những năm gần đây. -! Chủ động liên hệ các nhóm nghiên cứu VLSP và UIT để thu thập các tập dữ liệu mẫu để xây dựng tập dữ liệu huấn luyện và kiểm thử.

Xây dựng công cụ crawler để thu thập dữ liệu từ trang booking.com để có dữ liệu thực tế phục vụ đánh giá mô hình đề xuất. -! Tìm hiểu và phân tích tốt ưu điểm của các mô hình xử lý ngôn ngữ tự nhiên như BERT, PhoBert, các mô hình về tích hợp các lớp tiềm ẩn và mô hình phân loại phân cấp theo entity, aspect và sentiment, mô hình dựng câu bổ trợ dựa trên Bert. -! Ứng dụng mô hình NLI-B dựng câu bổ trợ dựa trên PhoBert cho ngôn ngữ tiếng Việt. -! Đề xuất mô hình HSUM-HC là sự kết hợp và tận dụng tốt các ưu điểm của PhoBert, các lớp ẩn của mô hình để tăng khả năng nhận biết ngữ nghĩa và tích hợp với mô hình phân loại phân cấp.

-! Đánh giá thực nghiệm NLI-B, HSUM-HC 4 lớp tiềm ẩn và HSUM-HC 8 lớp tiềm ẩn với 3 tập dữ liệu VLSP, UIT và Booking.com cho 2 miền dữ liệu là nhà hàng và khách sạn. Thực nghiệm cho kết quả tốt hơn ở đa số trường hợp khi so sánh với Linear SVM, Multilayer Perceptron, CNN, BiLSTM+CNN, PhoBert và viBErt. Thêm vào đó, mô hình có các độ đo đánh giá cao khi dữ liệu biểu diễn ở mức document vì nhận biết tốt sự liên kết về mặt ngữ nghĩa giữa các câu. Ngoài ra, khi nhận thấy mô hình mang lại kết quả đánh giá tốt, trong giai đoạn cuối thực hiện, luận văn đã được đề xuất bổ sung thêm một ứng dụng đơn giản hỗ trợ tìm kiếm cho phép người dùng nhập vào một yêu cầu bất kì về khách sạn mà không theo tiêu chí định trước như các trang đặt phòng hiện tại.

Ứng dụng sẽ phân tích yêu cầu, nhận biết yêu cầu và trả ra kết quả các khách sạn ứng với các tiêu chí cần tìm kiếm. Ứng dụng này nhằm thể hiện tính ứng dụng thực tế của bài toán đề xuất và sẽ được phát triển hoàn thiện hơn trong hệ thống gợi ý thực hiện bởi các nhóm đề tài sau. Bên cạnh đó, nhóm sinh viên cũng đã viết bài báo khoa học “HSUM- HC: Integrating Bert-based hidden aggregation to hierarchical classifier for Vietnamese aspect-based sentiment analysis” được chấp thuận và đã trình bày tại hội nghị IEEE, 2021 8th NAFOSTED Conference on Information and Computer Science (NICS) vào ngày 21/12/2021, Hà Nội, Việt Nam. Những thiếu sót chính của LVTN: Một số câu trong báo cáo luận văn quá dài, nên tách ý ra để rõ nghĩa và đọc dễ hiểu hơn.

Đề nghị: Được bảo vệ ! Bổ sung thêm để bảo vệ o Không được bảo vệ o 9. 3 câu hỏi SV phải trả lời trước Hội đồng: a. Đánh giá chung (bằng chữ: giỏi, khá, TB): Giỏi Điểm : 10 /10 Ký tên (ghi rõ họ tên) Lê Thanh Vân VT姶云PI"A萎K"J窺E"DèEJ"MJQC E浦PI"JñC"ZÊ"J浦K"EJ曳"PIJ C XK烏V"PCO MJQC"MJ"("MV"Oè["VëPJ A瓜e"n壱r"/"V詠"fq"/"J衣pj"rj¿e //////////////////////////// Pi {"44"vjƒpi"34"p<o"4243 RJK蔭W"EJ遺O"D謂Q"X烏"NXVP *F pj"ejq"pi⇔ぜk"j⇔ずpi"fｄp1rjＶp"dkうp+ 30"J丑"x "v‒p"UX<"VT井P"EðPI"VQÉP"VTë OUUX<"3935879 Pi pj"*ejw{‒p"pi pj+<"Mjqc"j丑e"oƒ{"v pj J丑"x "v‒p"UX<"PIW[右P"RJò"VJK烏P OUUX<"3935526 Pi pj"*ejw{‒p"pi pj+<"Mjqc"j丑e"oƒ{"v pj 40"A隠"v k<"Rj¤p"v ej"e違o"z¿e"vjgq"mj c"e衣pj"v瑛"f英"nk羽w"x<p"d違p"*Curgev"dcugf"ugpvkogpv"cpcn{uku"hqt"vgzv fqewogpvu+ 50"J丑"v‒p"pi逢運k j逢噂pi"f磯p1rj違p"dk羽p<"VU0"Piw{宇p"Swcpi J́pi 60"V鰻pi"swƒv"x隠"d違p"vjw{院v"okpj< U嘘"vtcpi<"9: U嘘"ej逢挨pi<"28 U嘘"d違pi"u嘘"nk羽w<"38 U嘘"j·pj"x胤<"5: U嘘"v k"nk羽w"vjco"mj違q<"49 Rj亥p"o隠o"v pj"vqƒp< Jk羽p"x壱v"*u違p"rj育o+ 70"V鰻pi"swƒv"x隠"eƒe"d違p"x胤< /"U嘘"d違p"x胤< D違p"C3< D違p"C4< Mj鰻"mjƒe< /"U嘘"d違p"x胤"x胤"vc{ U嘘"d違p"x胤"vt‒p"oƒ{"v pj< 80"Pj英pi"逢w"8k吋o"ej pj"e栄c"NXVP< / E違 jck ukpj xk‒p vj吋 jk羽p m悦 p<pi n o xk羽e pj„o v嘘v. 8丑e jk吋w v k nk羽w vk院pi Cpj v嘘v.

xk院v nw壱p x<p d茨pi pi»p"pi英"Vk院pi"Cpj"v嘘v0 / Nw壱p x<p vj吋 jk羽p jck ukpj xk‒p e„ mj違 p<pi pijk‒p e泳w mjqc j丑e. 8« e»pi d嘘 x vt·pj d { 23 d k dƒq v衣k j瓜k"pij鵜"PKEU"42430 / Pj„o ukpj xk‒p e„ m悦 p<pi z¤{ f詠pi d k vqƒp pijk‒p e泳w. v·o jk吋w e»pi pij羽 x o» j·pj j丑e oƒ{ v瑛 8„ e違k vk院p ejq tc o» j·pj o噂k *JUWO/JE+ e„ mj違 p<pi v嘘v j挨p f詠c vt‒p RjqDgtv ƒr f映pi ejq d k vqƒp Curgev Dcugf Ugpvkogpv Cpcn{uku *CDUC+ vk院pi Xk羽v n o瓜v vj¿ x鵜0 Pj„o ukpj xk‒p e„ 8ƒpj ikƒ 8吋 mk吋o ej泳pi o» j·pj"JUWO/JE"8隠"zw医v"x "8衣v"8逢嬰e"v嘘v"j挨p"mjk"uq"uƒpj"x噂k"eƒe"e»pi"vt·pj"mjƒe0 90"Pj英pi"vjk院w"u„v"ej pj"e栄c"NXVP< / O» j·pj RjqDgtv n 8« e„ u鰯p mjƒ p鰻k vk院pi v瑛 m院v sw違 pijk‒p e泳w e栄c XkpCK0 Nw壱p x<p f瑛pi n衣k 荏 xk羽e z¤{ f詠pi eƒe n噂r vt‒p e栄c RtqDgtv 8吋 v衣q tc o» j·pj o噂k JUWO/JE rj́ j嬰r x噂k 8隠 v k nw壱p x<p *d k vqƒp CDUC+0 E»pi xk羽e p { 荏 o泳e 8瓜 nw壱p x<p A衣k j丑e jq p vq p ej医r pj壱p 8逢嬰e0 Nw壱p x<p j挨k vjk‒p x隠 f衣pi n o"8隠"v k"pijk‒p"e泳w"j挨p"8隠"v k"nw壱p"x<p"v嘘v"pijk羽r0 / Mjk 8逢c o» j·pj JUWO/JE x q d k vqƒp vj詠e v院 VtcxgnNkpm *f英 nk羽w pj壱p zfiv v瑛 Dqqmkpi0eqo+ vj· e”p pjk隠w j衣p ej院0 Vtcpi ygd ikcq fk羽p VtcxgnNkpm swƒ u挨 u k. vjk院w eƒe rj¤p v ej {‒w e亥w v瑛 rj c pi逢運k f́pi 8院p vjk院v m院 j羽 vj嘘pi0 X医p 8隠 mk吋o vj穎 rj亥p o隠o ej逢c 8衣v0 X f映< Pj„o ukpj xk‒p ej雨 f瑛pi n衣k 荏 xk羽e n医{ # mk院p pj壱p zfiv x ej医o 8k吋o x噂k o瓜v u嘘 d衣p ukpj xk‒p e栄c vƒe ik違 *p‒p m院v sw違 ejq mjƒ v嘘v+0 Xk羽e u逸r z院r m院v sw違"v·o"mk院o"ej逢c"vj詠e"u詠"j嬰r"n#0"Eƒe"o磯w"e¤w"vtw{"x医p"e”p"j衣p"ej院"ej逢c"rj́"j嬰r"vj詠e"v院0 :0"A隠"pij鵜<"A逢嬰e"d違q"x羽 餅 D鰻"uwpi"vj‒o"8吋"d違q"x羽 Mj»pi"8逢嬰e"d違q"x羽 ;0"5"e¤w"j臼k"UX"rj違k"vt違"n運k"vt逢噂e"J瓜k"8欝pi< c0"Ukpj"xk‒p"j«{"n#"ik違k"x·"ucq"f詠c"vt‒p"RjqDgtv."p院w"mj»pi"e„"RjqDgtv"vj·"u胤"違pj"j逢荏pi"m院v"sw違"nw壱p"x<p pj逢"vj院"p qA d0"Uq"uƒpj"m院v"sw違"v·o"mk院o"f詠c"vt‒p"eqoogpv"e栄c"nw壱p"x<p"vt‒p"VtcxgnNkpm"x噂k"m院v"sw違"v·o"mk院o"f詠c"vt‒p"v瑛 mjqƒ"x "e„"zfiv"{院w"v嘘"mjq違pi"eƒej"e„"mjƒe"pj逢"vj院"p qA"X "f映<"swƒp"<p"piqp"i亥p"vt逢運pi"AJDM"x "e„"ej厩 8壱w"zg0 320"Aƒpj"ikƒ"ejwpi"*d茨pi"ej英<"ik臼k."VD+<"Ik臼k Ak吋o"<"""""""";.7"1"32 M#"v‒p"*ijk"t "j丑"v‒p+ VU0"Piw{宇p"Swcpi"J́pi DEDICATION We, Tran Cong Toan Tri and Nguyen Phu Thien, declare that this thesis titled "Sen- timent Analysis of User Comments" and the work presented in it are our own and that, to the best of our knowledge and belief, it contains no material previously published or written by another person (except where explicitly defined in the acknowledgments), nor material which to a substantial extent has been submitted for the award of any other degree or diploma of a university or other institution of higher learning.

Acknowledgements It gives us great pleasure and satisfaction in presenting our thesis on “Aspect based sentiment analysis for text documents”. This would be our last project as bachelor students in university, this project reflects what we have learned and the skills we acquire during the years at the University of Technology. For that reason, we would like to express our deepest sense of gratitude towards our guidance teacher, Dr. Le Thanh Van for allowing us to work on this project, for her continuous support throughout our study and research, and for the amount of patience, motivation, and knowledge that she has given us.

We could not have imagined a better advisor and mentor for our thesis. Besides our advisor, we would like to say thank you for all the knowledge, experience, and support of the teachers and staff of the Computer Science and Engineering Faculty that has been given to us in our time at university, their teachings have helped us acquire the foundational knowledge for this thesis. Lastly, we would like to thank all of our friends and family who have motivated us every step of the way, we would not have been able to finish this without them, and we are grateful for everything we have been given till this day. Abstract In today’s world, customers and their feedback are vital to any business’s survival.

Competition is harsh on every market, the competitor who understands and pleases their customer the most will be more successful. For that to happen, businesses need to gather information about their customers’ opinions on a large scale. ABSA is a method for them to achieve this, it has been studied rigorously by researchers in the past, and since the creation of Bert, ABSA methods are getting more and more advance, showing better and better results in recent years. However for Vietnamese, ABSA is still not as developed, due to the limited resources and the nuances of the language.

In our work, we want to improve the capabilities of Vietnamese ABSA, we use the Vietnamese SOTA pre-trained PhoBert and built two models from it. One has a custom classifier, made from a combination of previous methods that proved effective, and the other is made to utilize Bert’s sequence pair feature, constructing auxiliary sentences and turning ABSA into a question-answering problem.