Nghiên Cứu Cải Tiến Một Số Phương Pháp Phân Tích Quan Điểm Mức Khía Cạnh Dựa Trên Học Máy

• Tác giả: Nguyễn Thị Ngọc Tú
• Người hướng dẫn: PGS.TS Nguyễn Việt Anh
• Trường học: Đại học Điện Lực
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Cải Tiến Phương Pháp Phân Tích Quan Điểm Mức Khía Cạnh Dựa Trên Học Máy
• Loại tài liệu: luận án
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• MỤC LỤC
• 1. CHƯƠNG 1: TỔNG QUAN VỀ PHÂN TÍCH QUAN ĐIỂM VÀ PHÂN TÍCH QUAN ĐIỂM MỨC KHÍA CẠNH
• 1.1. Tổng quan về phân tích quan điểm
• 1.1.1. Các khái niệm cơ bản
• 1.1.2. Các nhiệm vụ trong phân tích quan điểm
• 1.1.3. Các mức độ phân tích quan điểm
• 1.1.4. Vấn đề đặc trưng trong phân tích quan điểm
• 1.2. Phân tích quan điểm mức khía cạnh
• 1.2.1. Quy trình phân tích quan điểm mức khía cạnh
• 1.2.2. Các bài toán trong phân tích quan điểm mức khía cạnh
• 1.2.3. Các cách tiếp cận trích rút khía cạnh
• 1.2.3.1. Các phương pháp trích rút khía cạnh rõ ràng
• 1.2.3.2. Các phương pháp trích rút khía cạnh ẩn
• 1.2.4. Các phương pháp phân loại cảm xúc khía cạnh
• 1.3. Một số kiến thức học máy liên quan được sử dụng trong luận án cho phân tích quan điểm mức khía cạnh
• 1.3.1. Thuật toán bootstrap
• 1.3.2. Cơ sở lý thuyết biểu diễn từ Word to Vector
• 1.3.2.1. Một số khái niệm trong biểu diễn từ Word to Vector
• 1.3.3. Thuật toán nhúng từ W2V
• 1.3.4. Phân loại hai lớp máy vector hỗ trợ
• 1.3.5. Phân loại đa lớp Naive Bayes
• 1.3.6. Tương tác không kết hợp (Nhiễu cổng OR - Noisy OR-gate)
• 1.4. Các phương pháp đánh giá kết quả phân tích quan điểm
• 1.5. Kết luận chương 1
• 2. CHƯƠNG 2: PHÂN TÍCH QUAN ĐIỂM MỨC KHÍA CẠNH TRÊN CÁC BÀI ĐÁNH GIÁ SẢN PHẨM TRỰC TUYẾN
• 2.1. Các nghiên cứu liên quan
• 2.1.1. Trích rút khía cạnh
• 2.1.2. Phân lớp cảm xúc
• 2.1.3. Trọng số khía cạnh
• 2.2. Các khái niệm cơ bản trong bài toán phân tích quan điểm mức khía cạnh
• 2.3. Hệ thống phân tích quan điểm mức khía cạnh các bài đánh giá sản phẩm trực tuyến
• 2.3.1. Trích rút khía cạnh sử dụng xác suất có điều kiện kết hợp kỹ thuật Bootstraping
• 2.3.2. Dự đoán điểm đánh giá khía cạnh dựa trên phân lớp Naive Bayes
• 2.3.3. Ước lượng trọng số khía cạnh dựa trên tần suất khía cạnh trong bài đánh giá và trong toàn bộ kho ngữ liệu
• 2.4. Kết quả thực nghiệm
• 2.4.1. Dữ liệu và môi trường thử nghiệm
• 2.4.2. Tiền xử lý và trích chọn đặc trưng
• 2.4.3. Kết quả và đánh giá
• 2.5. Kết luận chương 2
• 3. CHƯƠNG 3: TRÍCH RÚT KHÍA CẠNH DỰA TRÊN BIỂU DIỄN TỪ WORD2VEC VÀ ĐỘ ĐO HỖ TRỢ
• 3.1. Các nghiên cứu liên quan
• 3.2. Một số khái niệm cơ bản trong mô hình trích rút khía cạnh dựa trên biểu diễn từ Word2vec
• 3.3. Trích rút khía cạnh dựa trên biểu diễn từ Word2vec và độ đo hỗ trợ
• 3.4. Kết quả thực nghiệm
• 3.4.1. Tiền xử lý dữ liệu
• 3.4.2. Huấn luyện Word2vec
• 3.4.3. Tạo cơ sở dữ liệu và lựa chọn đặc trưng tính toán
• 3.4.4. Kết quả thực nghiệm
• 3.5. Kết luận chương 3
• 4. CHƯƠNG 4: PHÂN LỚP CẢM XÚC BẰNG CÁCH KẾT HỢP CÁC BỘ PHÂN LOẠI CƠ SỞ
• 4.1. Các nghiên cứu liên quan
• 4.2. Phân loại cảm xúc đa lớp bằng cách kết hợp các bộ phân loại cơ sở
• 4.2.1. Phân loại cảm xúc đa lớp dựa trên SVM
• 4.2.2. Biến đổi đầu ra của SVM thành xác suất
• 4.2.3. Phân loại cảm xúc đa lớp dựa trên mạng Bayesian cổng Noisy- OR
• 4.2.4. Mô hình kết hợp sử dụng lý thuyết Dempster-Shafer
• 4.3. Kết quả thực nghiệm
• 4.3.1. Bộ dữ liệu thực nghiệm
• 4.3.2. Tiền xử lý và lựa chọn đặc trưng
• 4.3.3. Kết quả và thảo luận
• 4.4. Kết luận chương 4
• MỞ ĐẦU
• KẾT LUẬN
• CÁC CÔNG TRÌNH CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Giới thiệu Phân Tích Quan Điểm Mức Khía Cạnh ABSA

Phân tích quan điểm mức khía cạnh (ABSA) là một lĩnh vực quan trọng trong xử lý ngôn ngữ tự nhiên (NLP). ABSA tập trung vào việc xác định sắc thái tình cảm, thái độ, và ý kiến được thể hiện về các khía cạnh cụ thể của một thực thể (ví dụ: sản phẩm, dịch vụ, tổ chức). Khác với phân tích quan điểm truyền thống, ABSA đi sâu vào chi tiết hơn bằng cách xác định các khía cạnh được đề cập trong văn bản và cảm xúc liên quan đến từng khía cạnh đó. Điều này cho phép hiểu rõ hơn về những gì người dùng thích hoặc không thích về một đối tượng cụ thể. Việc áp dụng học máy trong phân tích quan điểm giúp tự động hóa quá trình phân tích và trích xuất thông tin, tăng tính hiệu quả và độ chính xác. Nghiên cứu này tập trung vào việc cải tiến phương pháp phân tích quan điểm để giải quyết những thách thức còn tồn tại trong ABSA.

1.1. Tầm quan trọng của Phân Tích Quan Điểm Mức Khía Cạnh

Phân tích quan điểm mức khía cạnh đóng vai trò quan trọng trong việc hiểu rõ ý kiến và phản hồi của khách hàng về các sản phẩm hoặc dịch vụ. Thông tin này có thể được sử dụng để cải thiện chất lượng sản phẩm, nâng cao trải nghiệm khách hàng và đưa ra các quyết định kinh doanh sáng suốt hơn. Ví dụ, bằng cách phân tích các đánh giá trực tuyến về một chiếc điện thoại, ta có thể biết được người dùng hài lòng về camera và thời lượng pin, nhưng không hài lòng về thiết kế. Thông tin này có thể giúp nhà sản xuất cải thiện các khía cạnh mà khách hàng không hài lòng. Nghiên cứu của Bing Liu cho thấy phân tích quan điểm có thể chia thành 3 cấp độ chính.

1.2. Ứng dụng thực tiễn của ABSA trong các ngành

ABSA có nhiều ứng dụng thực tiễn trong nhiều ngành khác nhau. Trong lĩnh vực thương mại điện tử, ABSA có thể được sử dụng để phân tích các đánh giá sản phẩm, giúp khách hàng đưa ra quyết định mua hàng thông minh hơn. Trong lĩnh vực du lịch, ABSA có thể được sử dụng để phân tích các đánh giá khách sạn và nhà hàng, giúp du khách tìm được những địa điểm phù hợp với nhu cầu của họ. Trong lĩnh vực tài chính, ABSA có thể được sử dụng để phân tích các tin tức và bình luận về các công ty và thị trường, giúp nhà đầu tư đưa ra các quyết định đầu tư sáng suốt hơn. Phân tích phản hồi khách hàng giúp xây dựng các chiến dịch tiếp thị, sản phẩm ưu tiên, giám sát danh tiếng.

II. Thách Thức và Vấn Đề Trong Phân Tích Quan Điểm Mức Khía Cạnh

Mặc dù ABSA mang lại nhiều lợi ích, nhưng nó cũng đối mặt với nhiều thách thức và vấn đề. Một trong những thách thức lớn nhất là sự phức tạp của ngôn ngữ tự nhiên. Các câu đánh giá thường chứa nhiều sắc thái tình cảm, sự mỉa mai và các biểu hiện ý kiến khác nhau, khiến việc trích xuất và phân loại chính xác trở nên khó khăn. Ngoài ra, việc xử lý dữ liệu không có nhãn và thiếu hụt dữ liệu cũng là một vấn đề lớn. Nhiều bài đánh giá không được gán nhãn, và việc tạo ra các tập dữ liệu huấn luyện lớn và chất lượng cao đòi hỏi nhiều công sức và thời gian. Nghiên cứu này sẽ tập trung vào việc giải quyết các thách thức này thông qua việc áp dụng các kỹ thuật học máy trong phân tích quan điểm tiên tiến.

2.1. Khó khăn trong Trích Rút Khía Cạnh Aspect Extraction

Việc trích rút khía cạnh là một trong những nhiệm vụ khó khăn nhất trong ABSA. Nhiều câu đánh giá thiếu các thể hiện khía cạnh rõ ràng, và các khía cạnh thường được thể hiện một cách ẩn ý hoặc thông qua các cụm từ phức tạp. Ví dụ, trong câu “Màn hình đẹp nhưng pin quá tệ”, hai khía cạnh “màn hình” và “pin” được đề cập, nhưng chỉ có “màn hình” là được thể hiện rõ ràng. Thêm vào đó, ngữ cảnh cũng đóng vai trò quan trọng trong việc xác định khía cạnh. Từ “apple” có thể đề cập đến một loại trái cây hoặc một công ty công nghệ, tùy thuộc vào ngữ cảnh sử dụng. Một số khía cạnh có tần suất xuất hiện thấp cũng dễ bị bỏ qua.

2.2. Thách Thức Phân Loại Cảm Xúc Khía Cạnh Đa Lớp

Việc phân loại cảm xúc khía cạnh cũng đối mặt với nhiều thách thức. Sự hiện diện của nhiều lớp cảm xúc (ví dụ: tích cực, tiêu cực, trung tính) làm cho việc phân loại chính xác trở nên khó khăn. Hơn nữa, sự khác biệt giữa các lớp cảm xúc thường rất nhỏ, và việc xác định ranh giới giữa các lớp khác nhau đòi hỏi sự hiểu biết sâu sắc về ngôn ngữ và ngữ cảnh. Một từ có thể miêu tả nhiều trạng thái cảm xúc khác nhau, ngay cả con người cũng khó phân biệt sự khác nhau này. Khoảng cách giữa các lớp cảm xúc khác nhau nhỏ, giữa các lớp có cùng cực cảm xúc.

2.3. Xử lý Phủ định và Sự Phụ thuộc vào Ngữ Cảnh

Sự phụ thuộc vào ngữ cảnh là một thách thức lớn trong ABSA. Một từ có thể có các nghĩa khác nhau dựa trên ngữ cảnh và miền lĩnh vực được sử dụng. Nghĩa của cùng một từ có thể khác nhau đối với từng tình huống. Ví dụ: từ “long time” khi nói về thời lượng pin của điện thoại thì mang nghĩa tích cực, xong trong ngữ cảnh nói về tốc độ xử lý của CPU thì lại mang tính tiêu cực. Ngoài ra, việc xử lý các câu phủ định và các biểu hiện ý kiến phức tạp cũng đòi hỏi các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) tiên tiến.

III. Cải Tiến Trích Rút Khía Cạnh Bằng Word2Vec và Độ Đo Hỗ Trợ

Một trong những phương pháp được đề xuất trong nghiên cứu này là sử dụng biểu diễn từ (word embeddings) Word2Vec và độ đo hỗ trợ để cải thiện quá trình trích rút khía cạnh. Word2Vec là một kỹ thuật học máy trong phân tích quan điểm tạo ra các biểu diễn vector cho các từ, sao cho các từ có nghĩa tương tự sẽ có các vector gần nhau trong không gian vector. Độ đo hỗ trợ được sử dụng để đánh giá mức độ liên quan giữa các từ và các khía cạnh. Bằng cách kết hợp hai kỹ thuật này, ta có thể trích xuất các khía cạnh một cách chính xác hơn, kể cả các khía cạnh ẩn. Phương pháp này đặc biệt hiệu quả trong việc xử lý dữ liệu không có nhãn, vì nó dựa trên việc học các biểu diễn từ từ dữ liệu văn bản lớn.

3.1. Ứng dụng Word2Vec để biểu diễn ngữ nghĩa của từ

Biểu diễn từ (word embeddings) như Word2Vec giúp nắm bắt được ngữ nghĩa của từ. Các từ có nghĩa tương tự sẽ có các vector gần nhau trong không gian vector. Điều này cho phép các mô hình học máy hiểu được mối quan hệ giữa các từ và trích xuất thông tin chính xác hơn. Trong phân tích quan điểm mước khía cạnh, Word2Vec có thể được sử dụng để xác định các từ và cụm từ liên quan đến một khía cạnh cụ thể, ngay cả khi chúng không được thể hiện rõ ràng trong văn bản. Ví dụ, “pin” và “thời lượng pin” sẽ có các vector gần nhau.

3.2. Sử dụng Độ Đo Hỗ Trợ để Xác Định Mức Độ Liên Quan

Độ đo hỗ trợ được sử dụng để đánh giá mức độ liên quan giữa các từ và các khía cạnh. Nếu một từ thường xuyên xuất hiện cùng với một khía cạnh cụ thể trong các câu đánh giá, thì nó có khả năng liên quan đến khía cạnh đó. Bằng cách kết hợp độ đo hỗ trợ với biểu diễn từ (word embeddings) Word2Vec, ta có thể xác định các từ và cụm từ liên quan đến một khía cạnh cụ thể một cách chính xác hơn. Điều này đặc biệt hữu ích trong việc xử lý các khía cạnh ẩn, vì nó cho phép ta khai thác thông tin ngữ nghĩa tiềm ẩn trong văn bản. Độ hỗ trợ của từ đối với khía cạnh giúp gán nhãn khía cạnh của câu dựa trên word2vec.

IV. Kết Hợp Các Bộ Phân Loại Cơ Sở Để Phân Lớp Cảm Xúc

Để cải thiện độ chính xác của việc phân loại cảm xúc khía cạnh, nghiên cứu này đề xuất một phương pháp kết hợp các bộ phân loại cơ sở khác nhau. Phương pháp này tận dụng sức mạnh của nhiều mô hình học máy khác nhau, như Máy Vector Hỗ Trợ (SVM) và Mạng Bayesian cổng Noisy-OR. Bằng cách kết hợp các kết quả dự đoán của các bộ phân loại này, ta có thể giảm thiểu sai sót và đạt được độ chính xác cao hơn. Phương pháp này đặc biệt hiệu quả trong việc xử lý các lớp cảm xúc gần nhau, vì nó cho phép các bộ phân loại bù trừ cho những điểm yếu của nhau.

4.1. Sử dụng SVM để phân loại cảm xúc đa lớp

Máy Vector Hỗ Trợ (SVM) là một thuật toán học máy trong phân tích quan điểm mạnh mẽ có thể được sử dụng để phân loại cảm xúc khía cạnh. SVM hoạt động bằng cách tìm một siêu phẳng phân chia các điểm dữ liệu thành các lớp khác nhau một cách tối ưu. Trong trường hợp phân loại cảm xúc đa lớp, SVM có thể được sử dụng để phân chia các câu đánh giá thành các lớp cảm xúc khác nhau (ví dụ: tích cực, tiêu cực, trung tính). SVM kết hợp với OGBN dựa trên luật DS

4.2. Mạng Bayesian Cổng Noisy OR để kết hợp thông tin

Mạng Bayesian cổng Noisy-OR là một mô hình xác suất có thể được sử dụng để kết hợp thông tin từ nhiều nguồn khác nhau. Trong trường hợp phân tích quan điểm mức khía cạnh, Mạng Bayesian cổng Noisy-OR có thể được sử dụng để kết hợp các kết quả dự đoán của các bộ phân loại cơ sở khác nhau. Mô hình này cho phép ta tính đến sự không chắc chắn và sự phụ thuộc giữa các nguồn thông tin, giúp cải thiện độ chính xác của quá trình phân loại cảm xúc khía cạnh.

V. Thực Nghiệm và Đánh Giá Mô Hình Phân Tích Quan Điểm

Các phương pháp được đề xuất trong nghiên cứu này đã được đánh giá trên nhiều tập dữ liệu khác nhau, bao gồm các bài đánh giá sản phẩm trực tuyến từ các lĩnh vực như khách sạn, bia và cà phê. Kết quả thực nghiệm cho thấy rằng các phương pháp đề xuất đạt được độ chính xác cao hơn so với các phương pháp hiện có, đặc biệt là trong việc trích rút khía cạnh và phân loại cảm xúc khía cạnh đa lớp. Các kết quả này chứng minh tính hiệu quả của việc sử dụng Word2Vec, độ đo hỗ trợ và kết hợp các bộ phân loại cơ sở để cải thiện quá trình phân tích quan điểm mức khía cạnh.

5.1. So sánh với các phương pháp phân tích quan điểm khác

Để đánh giá hiệu quả của các phương pháp đề xuất, chúng đã được so sánh với các phương pháp phân tích quan điểm hiện có, như LDA và các phương pháp dựa trên quy tắc. Kết quả cho thấy rằng các phương pháp đề xuất đạt được độ chính xác cao hơn trong việc trích rút khía cạnh và phân loại cảm xúc khía cạnh. Điều này chứng minh rằng việc sử dụng Word2Vec, độ đo hỗ trợ và kết hợp các bộ phân loại cơ sở là một hướng đi đầy hứa hẹn để cải thiện hiệu suất của các hệ thống ABSA.

5.2. Đánh giá khả năng ứng dụng thực tiễn của mô hình

Ngoài việc đánh giá độ chính xác, nghiên cứu này cũng tập trung vào việc đánh giá khả năng ứng dụng thực tiễn của các phương pháp đề xuất. Các phương pháp này đã được triển khai trong một hệ thống ABSA thực tế, và kết quả cho thấy rằng chúng có thể được sử dụng để phân tích các bài đánh giá sản phẩm trực tuyến một cách hiệu quả và chính xác. Hệ thống này có thể giúp các doanh nghiệp hiểu rõ hơn về ý kiến của khách hàng và đưa ra các quyết định kinh doanh sáng suốt hơn. Các bộ dữ liệu thực nghiệm bao gồm Khách Sạn, Bia, Cà phê.

VI. Kết Luận và Hướng Nghiên Cứu Tương Lai Về ABSA

Nghiên cứu này đã trình bày một số phương pháp mới để cải thiện quá trình phân tích quan điểm mức khía cạnh (ABSA) dựa trên học máy trong phân tích quan điểm. Các phương pháp đề xuất tận dụng sức mạnh của Word2Vec, độ đo hỗ trợ và kết hợp các bộ phân loại cơ sở để trích rút khía cạnh và phân loại cảm xúc khía cạnh một cách chính xác hơn. Kết quả thực nghiệm cho thấy rằng các phương pháp đề xuất đạt được độ chính xác cao hơn so với các phương pháp hiện có, chứng minh tính hiệu quả của chúng. Trong tương lai, nghiên cứu có thể tập trung vào việc xử lý các ngôn ngữ khác nhau, khám phá các mô hình học sâu cho phân tích quan điểm, và phát triển các ứng dụng ABSA thực tế hơn.

6.1. Tóm tắt các đóng góp chính của nghiên cứu

Nghiên cứu này đã đóng góp vào lĩnh vực ABSA bằng cách đề xuất các phương pháp mới để cải thiện quá trình trích rút khía cạnh và phân loại cảm xúc khía cạnh. Các phương pháp này tận dụng sức mạnh của Word2Vec, độ đo hỗ trợ và kết hợp các bộ phân loại cơ sở để đạt được độ chính xác cao hơn. Nghiên cứu cũng đã đánh giá các phương pháp đề xuất trên nhiều tập dữ liệu khác nhau và chứng minh tính hiệu quả của chúng.

6.2. Hướng phát triển tiếp theo của phân tích quan điểm mức khía cạnh

Trong tương lai, nghiên cứu trong lĩnh vực ABSA có thể tập trung vào việc xử lý các ngôn ngữ khác nhau, khám phá các mô hình học sâu cho phân tích quan điểm, và phát triển các ứng dụng ABSA thực tế hơn. Ngoài ra, việc nghiên cứu các phương pháp để xử lý các biểu hiện ý kiến phức tạp, như sự mỉa mai và sự trào phúng, cũng là một hướng đi đầy hứa hẹn. Một hướng đi khác là phát triển các phương pháp để tự động tạo ra các tập dữ liệu huấn luyện lớn và chất lượng cao, giúp giảm thiểu công sức và thời gian cần thiết để xây dựng các hệ thống ABSA.