Luận Án Tiến Sĩ: Phát Triển Mô Hình Mạng Nơ Ron Cho Phân Tích Quan Điểm Theo Khía Cạnh

Luận án tiến sĩ nghiên cứu máy tính phát triển các mô hình dựa trên mạng nơ ron cho phân tích quan điểm theo khía cạnh, phát triển phương pháp mới, đánh giá hiệu quả ứng dụng

• Tác giả: Phạm Đức Hồng
• Người hướng dẫn: PGS. Lê Anh Cường
• Trường học: Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội
• Chuyên ngành: Khoa học Máy tính
• Đề tài: Phát Triển Mô Hình Mạng Nơ Ron Cho Phân Tích Quan Điểm Theo Khía Cạnh Trong Khoa Học Máy Tính
• Loại tài liệu: luận án tiến sĩ
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI CAM ĐOAN
• MỤC LỤC
• Danh mục các chữ viết tắt
• Danh mục các bảng
• Danh mục các hình vẽ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VẤN ĐỀ NGHIÊN CỨU
• 1.1. Giới thiệu bài toán
• 1.2. Các bài toán trong phân tích quan điểm
• 1.3. Các nghiên cứu liên quan
• 1.4. Các tiếp cận giải quyết bài toán
• 1.5. Nghiên cứu trên thế giới và Việt Nam
• 2. CHƯƠNG 2: KIẾN THỨC CƠ SỞ
• 2.1. Các ký hiệu và khái niệm liên quan
• 2.2. Các mô hình học máy cơ sở cho phân tích quan điểm theo khía cạnh
• 2.3. Các mô hình học biểu diễn mức từ, câu, đoạn/văn bản
• 2.3.1. Mô hình Word2Vec
• 2.3.2. Mô hình GloVe
• 2.3.3. Mô hình véc-tơ Paragraph
• 2.3.4. Mô hình mạng nơ-ron tích chập CNN
• 2.3.5. Mô hình véc-tơ kết hợp
• 2.4. Kết luận và thảo luận
• 3. CHƯƠNG 3: ĐỀ XUẤT MÔ HÌNH DỰA TRÊN MẠNG NƠ-RON XÁC ĐỊNH HẠNG VÀ TRỌNG SỐ KHÍA CẠNH CỦA THỰC THỂ
• 3.1. Mô hình hóa bài toán
• 3.1.1. Bài toán xác định hạng và trọng số khía cạnh ẩn của thực thể
• 3.1.2. Bài toán xác định trọng số khía cạnh chung của các thực thể
• 3.2. Phương pháp đề xuất
• 3.2.1. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình mạng nơ-ron một lớp ẩn
• 3.2.2. Xác định hạng và trọng số khía cạnh ẩn của thực thể sử dụng mô hình học biểu diễn đa tầng
• 3.2.3. Xác định trọng số khía cạnh chung của thực thể sử dụng mô hình mạng nơ-ron
• 3.3. Cài đặt mô hình
• 3.4. Kết quả thực nghiệm
• 3.5. Hiệu quả của các tham số trong mô hình LRNN-ASR
• 4. CHƯƠNG 4: HỌC VEC-TƠ BIỂU DIỄN TỪ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH
• 4.1. Mô hình hóa bài toán
• 4.1.1. Bài toán tinh chỉnh véc-tơ biểu diễn từ
• 4.1.2. Bài toán học véc-tơ biểu diễn từ
• 4.2. Phương pháp đề xuất
• 4.2.1. Mô hình tinh chỉnh véc-tơ biểu diễn từ
• 4.2.2. Mô hình học véc-tơ biểu diễn từ SSCWE
• 4.3. Dữ liệu thực nghiệm và các độ đo
• 4.4. Cài đặt và đánh giá mô hình tinh chỉnh véc-tơ từ WEFT
• 4.4.1. Cài đặt mô hình
• 4.4.2. Đánh giá mô hình
• 4.5. Cài đặt và đánh giá mô hình SSCWE
• 4.5.1. Cài đặt mô hình
• 4.5.2. Đánh giá mô hình
• 4.6. So sánh hai mô hình WEFT và SSCWE
• 5. CHƯƠNG 5: MÔ HÌNH ĐA KÊNH DỰA TRÊN CNN NHẰM KHAI THÁC ĐA VEC-TƠ BIỂU DIỄN TỪ VÀ KÝ TỰ CHO PHÂN TÍCH QUAN ĐIỂM THEO KHÍA CẠNH
• 5.1. Mô tả bài toán
• 5.2. Phương pháp đề xuất
• 5.2.1. Thành phần tích chập
• 5.2.2. Mô hình mạng nơ-ron tích chập đa kênh cho phân tích quan điểm theo khía cạnh
• 5.3. Dữ liệu thực nghiệm và cài đặt mô hình MCNN
• 5.4. Môi trường và thời gian thực nghiệm
• 5.5. Hiệu quả của các loại tham số
• KẾT LUẬN
• Danh mục công trình khoa học của tác giả liên quan đến luận án
• Tài liệu tham khảo

Tóm tắt

I. Giới thiệu về mô hình mạng nơ ron và phân tích quan điểm

Mô hình mạng nơ-ron đã trở thành một công cụ mạnh mẽ trong khoa học máy tính, đặc biệt trong lĩnh vực xử lý ngôn ngữ tự nhiên và phân tích quan điểm. Các mô hình này cho phép xử lý dữ liệu phức tạp và đa chiều, giúp cải thiện độ chính xác trong việc phân tích cảm xúc và phân tích văn bản. Học sâu và học máy là hai khái niệm trung tâm trong việc phát triển các mô hình này, đặc biệt khi áp dụng vào phân tích quan điểm theo khía cạnh.

1.1. Ứng dụng của mạng nơ ron trong phân tích quan điểm

Mạng nơ-ron nhân tạo được sử dụng rộng rãi trong phân tích quan điểm nhờ khả năng học các đặc trưng phức tạp từ dữ liệu. Các mô hình như CNN (Convolutional Neural Network) và LSTM (Long Short-Term Memory) đã chứng minh hiệu quả trong việc xử lý văn bản và phân tích cảm xúc. Mô hình hóa dữ liệu và phân tích đa chiều là những yếu tố quan trọng giúp cải thiện độ chính xác của các mô hình này.

1.2. Thách thức trong phân tích quan điểm theo khía cạnh

Một trong những thách thức lớn nhất trong phân tích quan điểm theo khía cạnh là việc xác định và phân loại các khía cạnh cụ thể trong văn bản. Xử lý ngôn ngữ tự nhiên đòi hỏi các mô hình phải hiểu được ngữ nghĩa và ngữ cảnh của từng câu. Mô hình học sâu cần được cải tiến để xử lý các văn bản có cấu trúc phức tạp và đa dạng.

II. Phát triển mô hình mạng nơ ron cho phân tích quan điểm theo khía cạnh

Việc phát triển mô hình mạng nơ-ron cho phân tích quan điểm theo khía cạnh đòi hỏi sự kết hợp giữa học biểu diễn và phân loại. Các mô hình như Word2Vec và GloVe được sử dụng để học biểu diễn từ, trong khi mạng nơ-ron tích chập và mạng nơ-ron hồi quy được áp dụng để phân loại quan điểm. Phân tích dữ liệu và mô hình hóa dữ liệu là hai yếu tố then chốt trong quá trình này.

2.1. Mô hình học biểu diễn đa tầng

Mô hình học biểu diễn đa tầng được đề xuất để giải quyết bài toán xác định hạng và trọng số khía cạnh. Mô hình này tích hợp thông tin từ mức từ, mức câu đến mức văn bản, giúp cải thiện độ chính xác trong phân tích quan điểm. Mạng nơ-ron nhân tạo và học sâu là hai công nghệ chính được sử dụng trong mô hình này.

2.2. Mô hình tích hợp đa kênh CNN

Mô hình tích hợp đa kênh CNN được phát triển để khai thác thông tin từ nhiều nguồn khác nhau, bao gồm Word2Vec và Character2Vec. Mô hình này sử dụng các tầng CNN để tích hợp thông tin và cải thiện hiệu quả trong phân tích quan điểm theo khía cạnh. Phân tích đa chiều và mô hình hóa dữ liệu là những yếu tố quan trọng trong quá trình này.

III. Đánh giá và ứng dụng thực tế

Các mô hình mạng nơ-ron được đề xuất đã được đánh giá trên các tập dữ liệu thực tế, cho thấy hiệu quả vượt trội trong phân tích quan điểm theo khía cạnh. Học máy và học sâu đã chứng minh được giá trị trong việc xử lý dữ liệu phức tạp và đa chiều. Phân tích dữ liệu và mô hình hóa dữ liệu là những yếu tố then chốt trong quá trình đánh giá.

3.1. Kết quả thực nghiệm

Các kết quả thực nghiệm cho thấy các mô hình đề xuất đạt độ chính xác cao trong phân tích quan điểm theo khía cạnh. Mạng nơ-ron nhân tạo và học sâu đã chứng minh được hiệu quả trong việc xử lý dữ liệu phức tạp. Phân tích đa chiều và mô hình hóa dữ liệu là những yếu tố quan trọng trong quá trình đánh giá.

3.2. Ứng dụng thực tế

Các mô hình mạng nơ-ron được đề xuất có thể được áp dụng trong nhiều lĩnh vực thực tế, bao gồm phân tích cảm xúc và phân tích văn bản. Học máy và học sâu đã chứng minh được giá trị trong việc xử lý dữ liệu phức tạp và đa chiều. Phân tích dữ liệu và mô hình hóa dữ liệu là những yếu tố then chốt trong quá trình ứng dụng.

Nội dung chính

Tổng quan luận án

Tính cấp thiết và khoảng trống nghiên cứu

Dữ liệu đánh giá trực tuyến của người dùng trên các hệ thống tin tức, diễn đàn, mạng xã hội và các trang thương mại điện tử (như Amazon, TripAdvisor, Thegioididong, YouTube) ngày càng phong phú và gia tăng liên tục. Nguồn dữ liệu này chứa các ý kiến phản hồi về sản phẩm, dịch vụ và các sự kiện xã hội, giúp các tổ chức nắm bắt thông tin khách hàng để cải tiến chất lượng và hỗ trợ quản trị thương hiệu. Do dung lượng thông tin lớn, việc xây dựng hệ thống tự động phân tích và tổng hợp quan điểm trở nên cần thiết trong lĩnh vực khai phá tri thức.

Các hướng tiếp cận ban đầu trong khai phá quan điểm tập trung vào việc phân loại toàn bộ văn bản thành các nhãn tích cực, tiêu cực hoặc trung lập. Tuy nhiên, trong thực tế, khách hàng thường bày tỏ các đánh giá hỗn hợp trên nhiều khía cạnh khác nhau của một thực thể (ví dụ: khía cạnh vị trí, nhân viên, giá cả hay phòng ốc của một khách sạn). Phân tích quan điểm mức văn bản không cung cấp đủ thông tin chi tiết về từng thuộc tính cụ thể.

Mặc dù các mô hình học sâu đã mang lại nhiều cải tiến trong xử lý ngôn ngữ tự nhiên, các nghiên cứu về phân tích quan điểm theo khía cạnh vẫn gặp các rào cản kỹ thuật:

• Các mô hình hồi quy xác suất và mô hình phân lớp truyền thống thường sử dụng túi từ (bag-of-words) hoặc từ điển, dẫn đến biểu diễn đặc trưng thưa, thiếu ngữ nghĩa và bỏ qua mối quan hệ tương tác giữa từ và khía cạnh.
• Các mô hình học biểu diễn từ không giám sát phổ biến (như Word2Vec, GloVe) chỉ học ngữ cảnh xuất hiện mà chưa tích hợp đồng thời thông tin khía cạnh và độ phân cực quan điểm.
• Các mô hình dựa trên mạng bộ nhớ ngắn-dài (LSTM) đòi hỏi chi phí tính toán và thời gian huấn luyện lớn, đồng thời khó tích hợp hiệu quả nhiều nguồn biểu diễn đa mức (từ và ký tự).
• Chưa có mô hình học biểu diễn mức khía cạnh để xác định đồng thời hạng và trọng số khía cạnh ẩn, cũng như xác định trọng số khía cạnh chung của tập thực thể.

Mục tiêu nghiên cứu

Luận án đặt ra mục tiêu nghiên cứu các kỹ thuật, mô hình học biểu diễn cho mức từ, mức câu và mức văn bản, từ đó đề xuất các mô hình mới và cải tiến nhằm giải quyết hai bài toán chính:

1. Bài toán 1: Xếp hạng và xác định trọng số khía cạnh của thực thể (sản phẩm/dịch vụ), bao gồm xác định hạng và trọng số khía cạnh ẩn, cùng với xác định trọng số khía cạnh chung.
2. Bài toán 2: Xây dựng các mô hình phân tích quan điểm theo khía cạnh nhằm xác định khía cạnh cho từng câu đầu vào và phân loại quan điểm theo khía cạnh tương ứng.

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Các mô hình học biểu diễn đặc trưng mức từ, mức ký tự, mức câu, mức đoạn/khía cạnh và văn bản; các phương pháp phân loại quan điểm và xác định trọng số khía cạnh dựa trên mạng nơ-ron nhân tạo.
• Phạm vi không gian và dữ liệu: Dữ liệu phản hồi, bài đánh giá văn bản của người dùng trên các nền tảng trực tuyến thuộc các miền dữ liệu cụ thể như dịch vụ khách sạn (dữ liệu TripAdvisor, Vinpearl Phu Quoc Resort), sản phẩm công nghệ (dữ liệu điện thoại iPhone trên Thegioididong), và miền dữ liệu nhà hàng.
• Phạm vi nội dung kỹ thuật:
  • Mô hình hóa phân cấp từ mức từ, câu, đoạn đến toàn bộ văn bản đánh giá.
  • Tinh chỉnh và học biểu diễn véc-tơ từ có giám sát kết hợp nhúng ngữ nghĩa, khía cạnh và quan điểm.
  • Tích hợp đa tập véc-tơ biểu diễn từ (Word2Vec, GloVe) và véc-tơ ký tự (Character2Vec) thông qua mạng nơ-ron tích chập đa kênh (MCNN).

---

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa các nghiên cứu liên quan theo các bài toán thành phần trong phân tích quan điểm theo khía cạnh:

Bài toán thành phần	Các công trình nghiên cứu tiêu biểu được điểm luận	Hạn chế của nghiên cứu trước
Trích xuất từ thể hiện khía cạnh	- Mô hình tuần tự có giám sát: Wong và cs. (2008) [HMM, CRF], Jin (2009) [HMM], Skip-CRF và Tree-CRF (2009). - Học sâu: Poria và cs. (2016) [Word2Vec + CNN đa tầng], Lin (2019) [LSTM], Zhang và cs. (2019) [LSTM + CNN + cổng ngữ cảnh]. - Không giám sát: Hu và Liu (2004) [tần suất danh từ], Popescu và Etzioni (2005) [OPINE/KnowItAll], Mei và cs. (2007) [mô hình chủ đề], Wu và cs. (2009) [cú pháp phụ thuộc], Luo và cs. (2018) [WordNet], Dragoni và cs. (2018).	- Phương pháp giám sát đòi hỏi chi phí gán nhãn lớn. - Phương pháp không giám sát dựa trên luật hoặc từ điển bỏ sót nhiều quan hệ ngữ nghĩa phức tạp.
Xác định khía cạnh	- Phân lớp truyền thống: Ganu và cs. (2009) [SVM], Kiritchenko và cs. (2014) [SVM + từ điển liên kết], McAuley và cs. (2012). - Học sâu: Zhou và cs. (2015) [lai đặc trưng], Sun và cs. (2019) [BERT phân loại cặp câu], Hu và cs. (2019) [mạng chú ý có điều kiện], Movahedi và cs. (2019) [mạng chú ý theo chủ đề trên LSTM].	- Chưa tối ưu hóa biểu diễn đặc trưng đa tầng cho các câu chứa nhiều khía cạnh phức tạp.
Phân đoạn khía cạnh	- Lu và cs. (2011) [PLSA]. - Wang và cs. (2010) [Bootstrapping kết hợp từ hạt nhân và thống kê $\chi^2$]. - Cú pháp phụ thuộc nông (shallow dependency parser) trên nội dung Ưu/Nhược điểm.	- Biểu diễn phân đoạn thường tách rời khỏi quá trình học biểu diễn ngữ nghĩa của mô hình phân loại phía sau.
Phân loại quan điểm theo khía cạnh	- Dựa trên từ điển: Hu và Liu (2004) [WordNet bootstrapping], Ding và cs. (2008) [từ điển ngữ cảnh]. - Học máy: SVM, Naive Bayes, Maximum Entropy. - Mạng nơ-ron: Xu (2018) [bán giám sát], Tang và cs. (2015, 2016) [LSTM, Deep Memory Network], Wang và cs. (2016) [LSTM], Xue và cs. (2018) [Gated CNN].	- Các mô hình từ điển không xử lý được sự đa nghĩa theo ngữ cảnh. - Mô hình LSTM có chi phí thời gian huấn luyện cao.
Xếp hạng và xác định trọng số khía cạnh	- Snyder và Barzilay (2007) [Mô hình Good Grief (GG) + PRank]. - Titov và McDonald (2008) [Mô hình chủ đề + hồi quy]. - Zha và cs. (2014) [Thuật toán xác suất xếp hạng khía cạnh]. - Wang và cs. (2017) [Entropy / Information Gain], Yang và cs. (2018) [Tập mờ], Guo và cs. (2017) [LDA + PageRank].	- Thường giả thiết hạng khía cạnh đã biết trước trong tập dữ liệu huấn luyện hoặc chưa tính toán trọng số khía cạnh.
Xác định hạng và trọng số khía cạnh ẩn	- Lu và cs. (2011) [Dự đoán cục bộ và toàn cục PLSA]. - Wang và cs. (2010, 2011) [Latent Rating Regression (LRR), LRR + Topic Model]. - Xu và cs. (2013) [Sparse Aspect Coding, $l_1$-regularizer, MAP]. - Wang và cs. (2015) [Sentiment-Aligned Topic Model (SATM)]. - Wang và cs. (2016) [CARW không giám sát]. - Li và cs. (2017) [RABI phân tích độ lệch hạng]. - Xiao và cs. (2018) [Matrix Factorization + Topic Model].	- Coi đặc trưng khía cạnh là túi từ (bag-of-words), bỏ qua ngữ nghĩa của từ và mối quan hệ ngữ nghĩa phân cấp giữa các tầng biểu diễn.

Nghiên cứu tại Việt Nam: Luận án điểm lại các công trình xử lý dữ liệu tiếng Việt gồm: khai phá câu so sánh (2015); phân tích quan điểm phản hồi của sinh viên sử dụng biến thể LSTM của Nguyen và cs. (2018); mô hình đa kênh kết hợp LSTM và CNN của Vo và cs. (2017); mô hình mạng nơ-ron hồi quy hai chiều kết hợp CRF (BiRNN-CRF) của Mai và cs. (2018).

Khoảng trống luận án lựa chọn giải quyết:

1. Khắc phục hạn chế của việc sử dụng túi từ trong mô hình LRR bằng cách tích hợp mô hình Paragraph Vector và kiến trúc học biểu diễn đa tầng (LRNN-ASR) cho bài toán xác định hạng và trọng số khía cạnh ẩn.
2. Xây dựng mô hình xác định trọng số khía cạnh chung cho toàn bộ tập thực thể (NNAWs).
3. Khắc phục hạn chế của các véc-tơ từ không giám sát (Word2Vec, GloVe) bằng cách xây dựng mô hình tinh chỉnh (WEFT) và mô hình học biểu diễn từ có giám sát (SSCWE) tích hợp ngữ nghĩa, khía cạnh và phân cực quan điểm.
4. Xây dựng mạng nơ-ron tích chập đa kênh (MCNN) tích hợp đồng thời nhiều tập véc-tơ từ và véc-tơ ký tự nhằm tối ưu hóa độ chính xác và giảm chi phí huấn luyện so với các mô hình hồi quy tuần tự.

---

Cơ sở lý thuyết và phương pháp nghiên cứu

Hệ thống khái niệm và ký hiệu hình thức

• Tập thực thể $P = {p_1, p_2, \dots, p_{|P|}}$, mỗi thực thể $p \in P$ có tập ý kiến đánh giá $C^p = {c_1, c_2, \dots}$.
• Tập khía cạnh ${A_i}$ với $i = 1, \dots, k$ đặc trưng cho các thuộc tính, thành phần của thực thể $p$.
• Văn bản đánh giá thực thể $d \in D$: tập hợp các ý kiến về thực thể $p$.
• Hạng chung của ý kiến ($O_c$) và hạng chung của thực thể ($O_d$): có giá trị từ 1 đến 5 sao.
• Hạng khía cạnh của thực thể $r_d = (r_{d1}, r_{d2}, \dots, r_{dk})$ với $r_{di} \in [1, 5]$.
• Trọng số khía cạnh $\alpha_d = (\alpha_{d1}, \alpha_{d2}, \dots, \alpha_{dk})$ với $\alpha_{di} \in [0, 1]$ và $\sum_{i=1}^k \alpha_{di} = 1$.
• Trọng số khía cạnh chung $\alpha = (\alpha_1, \alpha_2, \dots, \alpha_k)$ của tập văn bản $D$.

Các mô hình cơ sở được sử dụng

1. Mô hình hồi quy đánh giá ẩn (LRR)

Mô hình của Wang và cs. (2010) thiết lập quan hệ giữa hạng chung $O_d$ và hạng khía cạnh $r_{di}$: $$r_{di} = \sum_{j=1}^n \beta_{ij} W_{dij}$$ $$O_d \sim \mathcal{N}\left(\sum_{i=1}^k \alpha_{di} \sum_{j=1}^n \beta_{ij} W_{dij}, \delta^2\right)$$ Trong đó $\beta_i$ là véc-tơ trọng số phân cực, $W_{di}$ là véc-tơ trọng số từ của khía cạnh thứ $i$, $\alpha_d \sim \mathcal{N}(\mu, \Sigma)$. Ước lượng tham số $\Theta = (\mu, \Sigma, \delta^2, \beta)$ được thực hiện thông qua ước lượng hợp lý cực đại (MLE).

2. Thuật toán xác suất xếp hạng khía cạnh

Thuật toán của Zha và cs. (2014) giả định hạng chung $O_c$ của ý kiến $c$ tuân theo phân phối Gaussian: $$p(O_c | \alpha_c, r_c, \sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp\left(-\frac{(O_c - \alpha_c^T r_c)^2}{2\sigma^2}\right)$$ Phân phối tiên nghiệm của trọng số $\alpha_c$ được chuẩn hóa thông qua độ đo phân kỳ Kullback-Leibler (KL-divergence) đối với phân phối chuẩn tắc $\mathcal{N}(\mu_0, I)$ dựa trên tần suất xuất hiện quan sát được của các khía cạnh.

3. Các kỹ thuật học biểu diễn

• Word2Vec (Mikolov và cs., 2013): Kiến trúc Continuous Bag-of-Words (CBOW) dự đoán từ đích dựa trên ngữ cảnh xung quanh và Continuous Skip-gram dự đoán các từ ngữ cảnh từ từ trung tâm, tối ưu hóa bằng phân cấp Softmax (Hierarchical Softmax).
• GloVe (Pennington và cs., 2014): Mô hình hồi quy log-bilinear dựa trên ma trận đồng xuất hiện từ toàn cục $X_{ij}$ với hàm trọng số $f(X_{ij}) = \min\left(1, (X_{ij}/x_{\max})^{0.75}\right)$.
• Paragraph Vector (Le và Mikolov, 2014): Hai kiến trúc Distributed Memory (PV-DM) và Distributed Bag of Words (PV-DBOW) ánh xạ văn bản độ dài biến thiên thành véc-tơ đặc trưng có kích thước cố định.
• Mạng nơ-ron tích chập (CNN): Áp dụng các bộ lọc tích chập (filters) kích thước $h \times k$ trượt trên ma trận câu $A_{m \times n}$, kết hợp hàm kích hoạt phi tuyến (ReLU, Tanh) và phép lấy giá trị lớn nhất theo thời gian (max-overtime pooling) để trích xuất đặc trưng tiêu biểu.
• Mô hình véc-tơ kết hợp: Hàm BI kết hợp cặp từ $v(x) = \sum_{i=1}^n \tanh(M[x_{i-1} + x_i] + b)$ với ma trận trọng số $M \in \mathbb{R}^{m \times m}$.

Nguồn tư liệu và phương pháp thực nghiệm

Luận án sử dụng phương pháp nghiên cứu định lượng kết hợp thực nghiệm mô phỏng trên các ngữ liệu chuẩn và dữ liệu thu thập thực tế:

• Tiền xử lý dữ liệu: Tách từ, chuẩn hóa ký tự, loại bỏ từ dừng.
• Phân đoạn khía cạnh: Áp dụng kỹ thuật bootstrapping dựa trên thống kê $\chi^2$ từ tập từ hạt nhân ban đầu để gom nhóm các câu theo khía cạnh.
• Đánh giá định lượng: Sử dụng các độ đo sai số (MSE, RMSE) cho bài toán xác định hạng/trọng số ẩn, và độ đo phân loại ($F_1$-score, Accuracy, Macro-$F_1$) cho bài toán xác định khía cạnh và phân loại quan điểm.

---

Nội dung chính theo từng chương

Chương 1: Tổng quan vấn đề nghiên cứu

Chương 1 thiết lập khung lý thuyết tổng thể về hệ thống phân tích quan điểm trực tuyến gồm 4 thành phần: Thu thập dữ liệu (crawler), Tiền xử lý (pre-processing), Trích chọn đặc trưng (feature extraction), và Học máy (machine learning). Chương phân loại chi tiết 6 bài toán thành phần trong phân tích quan điểm theo khía cạnh và chỉ rõ phạm vi tập trung của luận án vào 3 bài toán:

1. Xác định khía cạnh mức câu.
2. Phân loại quan điểm theo khía cạnh.
3. Xác định hạng và trọng số khía cạnh ẩn (cùng bài toán mở rộng xác định trọng số khía cạnh chung).

Chương 1 làm rõ sự chuyển dịch từ các mô hình dựa trên từ điển, học tuần tự truyền thống sang các kỹ thuật học biểu diễn nơ-ron, đồng thời chỉ ra các hạn chế trong việc mã hóa ngữ nghĩa và tối ưu chi phí tính toán của các nghiên cứu trước.

Chương 2: Kiến thức cơ sở

Chương 2 trình bày cơ sở toán học và cấu trúc giải thuật của các mô hình nền tảng:

• Mô hình xác suất LRR và thuật toán xác suất xếp hạng khía cạnh.
• Chi tiết toán học của hai mô hình nhúng từ Word2Vec (CBOW, Skip-gram) và GloVe.
• Cấu trúc biểu diễn đoạn văn của Paragraph Vector (PV-DM và PV-DBOW) cùng cơ chế cập nhật ma trận đoạn $D$ cho văn bản mới.
• Nguyên lý toán tử tích chập trên ma trận câu và cơ chế Max-overtime Pooling của mạng CNN.
• Hàm kết hợp véc-tơ ADD và BI mức câu.

Chương kết luận rằng mạng CNN có tính linh hoạt cao hơn và ít tham số hơn mạng LSTM, phù hợp cho việc tích hợp đa nguồn biểu diễn.

Chương 3: Đề xuất mô hình dựa trên mạng nơ-ron xác định hạng và trọng số khía cạnh của thực thể

Chương 3 giải quyết hai bài toán: (1) Xác định hạng và trọng số khía cạnh ẩn, (2) Xác định trọng số khía cạnh chung. Các mô hình đề xuất bao gồm:

[Văn bản đánh giá d] 
[Phân đoạn khía cạnh (Bootstrapping Chi-Square)]
[Học biểu diễn khía cạnh (Paragraph Vector / ASR)]

1. Mô hình LRNN (Latent Rating Neural Network): Mạng nơ-ron một lớp ẩn tích hợp véc-tơ biểu diễn khía cạnh học từ Paragraph Vector làm đầu vào, khắc phục hạn chế của túi từ trong mô hình LRR truyền thống.
2. Mô hình LRNN-ASR (Biểu diễn ngữ nghĩa khía cạnh đa tầng): Mạng học biểu diễn đa tầng kết nối từ mức từ đến mức câu, mức khía cạnh và mức toàn văn bản, cho phép chia sẻ thông tin và dự đoán đồng thời hạng $r_{di}$ và trọng số $\alpha_{di}$.
3. Mô hình NNAWs (Neural Network Aspect Weights): Mô hình mạng nơ-ron xác định véc-tơ trọng số khía cạnh chung $\alpha = (\alpha_1, \dots, \alpha_k)$ cho toàn bộ tập thực thể cùng loại.

Kết quả thực nghiệm:

• Dữ liệu thực nghiệm thu thập từ các bài đánh giá khách sạn trên TripAdvisor và sản phẩm điện thoại iPhone.
• So sánh trên 4 trường hợp biểu diễn khía cạnh cho thấy mô hình LRNN đạt kết quả dự đoán hạng và trọng số chính xác hơn mô hình LRR.
• Mô hình FULL-LRNN-ASR đạt hiệu quả tối ưu khi cân bằng trọng số $\gamma$ và $\beta$ ($\beta + \gamma = 1$) và điều chỉnh số chiều véc-tơ từ phù hợp.
• Trích xuất thành công top 10 từ có trọng số tích cực và tiêu cực đặc trưng cho từng khía cạnh.

Chương 4: Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh

Chương 4 đề xuất hai mô hình học biểu diễn từ có giám sát nhằm tích hợp đồng thời ba thành phần thông tin: ngữ nghĩa, khía cạnh và độ phân cực quan điểm:

1. Mô hình WEFT (Word Embedding Fine-Tuning): Mô hình tinh chỉnh các véc-tơ biểu diễn từ sẵn có (pre-trained word vectors) thông qua việc cập nhật hàm mục tiêu có giám sát trên nhãn khía cạnh và quan điểm.
2. Mô hình SSCWE (Supervised Sentiment and Aspect Word Embedding): Mô hình học véc-tơ từ trực tiếp từ tập dữ liệu huấn luyện, sử dụng kiến trúc CBOW kết hợp đồng thời thành phần nhúng ngữ cảnh và thành phần nhúng thông tin khía cạnh - phân cực quan điểm.

Kết quả thực nghiệm:

• Đánh giá chất lượng véc-tơ từ thông qua hai bài toán: (1) Xác định khía cạnh, (2) Phân loại quan điểm theo khía cạnh.
• Bảng thực nghiệm top 4 và top 5 từ gần ngữ nghĩa nhất (nearest neighbors) chứng minh các véc-tơ học từ SSCWE và WEFT nhóm các từ có cùng tính chất phân cực và cùng khía cạnh sát nhau hơn so với Word2Vec và GloVe gốc.
• Mô hình SSCWE đạt độ chính xác phân loại quan điểm cao hơn mô hình WEFT, trong khi WEFT có ưu thế về thời gian thực hiện khi tận dụng được véc-tơ huấn luyện sẵn.

Chương 5: Mô hình đa kênh dựa trên CNN nhằm khai thác đa véc-tơ biểu diễn từ và ký tự cho phân tích quan điểm theo khía cạnh

Chương 5 đề xuất mô hình tích hợp thông tin đa nguồn MCNN (Multichannel Convolutional Neural Network):

Kênh đầu vào	Nguồn dữ liệu véc-tơ	Vai trò biểu diễn đặc trưng
Kênh CNN1	Véc-tơ từ Word2Vec (CBOW / Skip-gram)	Biểu diễn ngữ nghĩa phân phối trên ngữ cảnh từ cục bộ
Kênh CNN2	Véc-tơ từ GloVe	Biểu diễn ngữ nghĩa dựa trên ma trận đồng xuất hiện toàn cục
Kênh CNN3	Véc-tơ ký tự (Character2Vec)	Bắt các đặc trưng hình thái từ, tiền tố, hậu tố và xử lý từ ngoài từ điển (OOV)

Các kênh tích chập được kết hợp thông qua các tầng trích chọn đặc trưng và lớp kết nối đầy đủ (fully-connected layer) để phân loại.

Kết quả thực nghiệm:

• Ngữ liệu thực nghiệm bao gồm tập câu tiếng Anh có gán nhãn khía cạnh và quan điểm, kết hợp bảng từ điển ký tự tiếng Anh.
• Mô hình lai đa kênh (CNN1 + CNN2 + CNN3) đạt độ chính xác và chỉ số $F_1$ vượt trội so với các mô hình đơn kênh và các mô hình cơ sở.
• Phân tích độ nhạy tham số:
  • Áp dụng kỹ thuật dropout giúp giảm hiện tượng quá khớp (overfitting) và cải thiện kết quả phân loại.
  • Khảo sát ảnh hưởng của số chiều véc-tơ ký tự nhúng (character embedding dimensions) và số lượng bộ lọc (filters) từ 10 đến 100.
  • Đánh giá hiệu quả của kích thước mini-batch từ 10 đến 100 đối với thời gian và chất lượng huấn luyện.

---

Kết quả và những đóng góp mới

Đóng góp về mặt lý luận và mô hình

1. Mô hình biểu diễn đa tầng LRNN-ASR: Luận án xây dựng mô hình mạng nơ-ron tích hợp biểu diễn đa tầng (từ, câu, khía cạnh, toàn văn bản), cho phép dự đoán đồng thời hạng khía cạnh ẩn $r_d$ và trọng số khía cạnh $\alpha_d$, khắc phục hạn chế biểu diễn túi từ của mô hình LRR.
2. Mô hình xác định trọng số khía cạnh chung (NNAWs): Đề xuất giải pháp mạng nơ-ron xác định mức độ quan trọng tổng thể của từng khía cạnh đối với một dòng sản phẩm/dịch vụ trên toàn bộ tập dữ liệu.
3. Mô hình học véc-tơ từ có giám sát (WEFT và SSCWE): Đề xuất phương pháp tích hợp đồng thời ba luồng thông tin (ngữ nghĩa, khía cạnh, quan điểm) vào không gian véc-tơ từ, khắc phục hiện tượng các từ trái nghĩa nhưng cùng ngữ cảnh bị xếp gần nhau trong Word2Vec và GloVe không giám sát.
4. Kiến trúc tích chập đa kênh MCNN: Xây dựng kiến trúc CNN đa kênh tích hợp đồng thời đa véc-tơ từ (Word2Vec, GloVe) và véc-tơ ký tự (Character2Vec), tối ưu hóa việc trích xuất đặc trưng câu cho bài toán xác định khía cạnh và phân loại quan điểm.

Công bố khoa học từ kết quả luận án

• Tạp chí ISI-SCIE: Công bố trên Data & Knowledge Engineering (DKE), 2018 (về mô hình học biểu diễn đa tầng xác định hạng và trọng số khía cạnh ẩn).
• Tạp chí ISI-SCI: Công bố trên International Journal of Approximate Reasoning (IJAR), 2018 (về mô hình đa kênh MCNN khai thác đa véc-tơ từ và ký tự).
• Hội nghị quốc tế:
  • Text, Speech, and Dialogue (TSD), 2017 (mô hình học véc-tơ từ có giám sát).
  • The Pacific Association for Computational Linguistics (PACLING), 2017 (mô hình biểu diễn từ cho phân tích quan điểm).
  • Computational Social Networks (CSoNet), 2016 (mô hình LRNN một lớp ẩn kết hợp Paragraph Vector).
• Tạp chí quốc tế khác: Công bố trên Indian Journal of Science and Technology, 2016 (về mô hình mạng nơ-ron xác định trọng số khía cạnh chung NNAWs).

Kiến nghị và ứng dụng thực tiễn

• Ứng dụng mô hình vào các hệ thống lắng nghe mạng xã hội, phân tích phản hồi khách hàng tự động trên các sàn thương mại điện tử và trang dịch vụ du lịch (như hệ thống quản lý chất lượng khách sạn, đánh giá sản phẩm điện thoại di động).
• Hỗ trợ doanh nghiệp xác định chính xác các khía cạnh cần ưu tiên cải tiến thông qua véc-tơ trọng số khía cạnh chung $\alpha$.

---

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận

• Quá trình phân đoạn khía cạnh ban đầu vẫn dựa trên kỹ thuật bootstrapping với tập từ hạt nhân $\chi^2$, phụ thuộc vào chất lượng chọn tập từ hạt nhân khởi tạo.
• Các mô hình thực nghiệm chủ yếu tập trung vào các miền dữ liệu cụ thể (khách sạn, điện thoại di động, nhà hàng); khả năng thích ứng miền (domain adaptation) sang các lĩnh vực chuyên ngành phức tạp khác cần được đánh giá thêm.
• Mô hình tích hợp biểu diễn từ và ký tự trên CNN được xây dựng trên các véc-tơ tĩnh (Word2Vec, GloVe), chưa tích hợp các biểu diễn ngữ cảnh động kích thước lớn.

Hướng nghiên cứu tiếp

• Nghiên cứu cơ chế tự động trích xuất từ hạt nhân cho quá trình phân đoạn khía cạnh mà không cần can thiệp thủ công.
• Mở rộng kiến trúc mạng nơ-ron tích hợp đa nguồn sang các bài toán phân tích quan điểm đa ngôn ngữ và dữ liệu đa phương tiện (văn bản kết hợp hình ảnh).
• Tối ưu hóa thời gian huấn luyện và cấu hình tham số tự động cho các tầng tích chập đa kênh trên các tập dữ liệu có quy mô lớn hơn.

---

Giá trị tham khảo

• Đối với nghiên cứu sinh và học viên cao học ngành Khoa học Máy tính / Xử lý Ngôn ngữ Tự nhiên:
  • Tham khảo phương pháp luận kết hợp giữa mô hình học máy xác suất và mạng nơ-ron trong việc giải quyết bài toán ước lượng tham số ẩn.
  • Cung cấp khung kỹ thuật hoàn chỉnh để thiết kế các kiến trúc học biểu diễn từ mức ký tự, từ, câu đến đoạn văn bản.
• Đối với giảng viên và chuyên gia nghiên cứu:
  • Tài liệu tham khảo hữu ích cho các chuyên đề về Khai phá dữ liệu (Data Mining), Khai phá quan điểm (Opinion Mining) và Mạng nơ-ron sâu trong xử lý ngôn ngữ tự nhiên.
• Đối với kỹ sư phát triển hệ thống và doanh nghiệp công nghệ:
  • Hướng dẫn chi tiết cách xây dựng đường ống (pipeline) xử lý dữ liệu đánh giá sản phẩm/dịch vụ từ khâu tiền xử lý, phân đoạn khía cạnh đến chấm điểm đánh giá và tính toán trọng số quan trọng của từng thuộc tính sản phẩm.

---

Câu hỏi thường gặp

1. Vì sao luận án không dùng mô hình hồi quy đánh giá ẩn (LRR) truyền thống mà đề xuất mô hình LRNN và LRNN-ASR?

Mô hình LRR truyền thống sử dụng biểu diễn túi từ (bag-of-words), dẫn đến không gian véc-tơ thưa, thiếu ngữ nghĩa và không bắt được mối quan hệ giữa các từ trong ngữ cảnh. Luận án đề xuất LRNN nhằm thay thế túi từ bằng véc-tơ Paragraph Vector, và đề xuất LRNN-ASR để học biểu diễn đa tầng (từ mức từ, câu, khía cạnh đến toàn văn bản), giúp mô hình hóa phân cấp dữ liệu và ước lượng đồng thời cả hạng lẫn trọng số khía cạnh ẩn.

2. Sự khác biệt giữa hai mô hình biểu diễn từ WEFT và SSCWE trong Chương 4 là gì?

• WEFT (Word Embedding Fine-Tuning) là mô hình tinh chỉnh: sử dụng các véc-tơ từ đã được huấn luyện sẵn (như Word2Vec) rồi cập nhật trọng số dựa trên hàm mục tiêu có giám sát về khía cạnh và quan điểm.
• SSCWE (Supervised Sentiment and Aspect Word Embedding) là mô hình học trực tiếp từ đầu: mở rộng kiến trúc CBOW để nhúng đồng thời thông tin ngữ cảnh ngữ nghĩa, nhãn khía cạnh và nhãn phân cực quan điểm trong quá trình huấn luyện véc-tơ từ.

3. Mô hình MCNN trong Chương 5 tích hợp những nguồn thông tin nào và tại sao lại chọn kiến trúc CNN thay vì LSTM?

Mô hình MCNN tích hợp 3 kênh thông tin: véc-tơ từ Word2Vec (kênh CNN1), véc-tơ từ GloVe (kênh CNN2) và véc-tơ ký tự Character2Vec (kênh CNN3). Luận án lựa chọn kiến trúc CNN thay vì LSTM vì CNN có cấu trúc song song hóa tốt, số lượng tham số ít hơn, chi phí thời gian huấn luyện thấp hơn đáng kể và dễ dàng kết hợp các ma trận đặc trưng từ nhiều kênh độc lập.

4. Trọng số khía cạnh ($\alpha_d$) và trọng số khía cạnh chung ($\alpha$) khác nhau như thế nào?

• Trọng số khía cạnh $\alpha_d$: Là véc-tơ trọng số riêng của một văn bản/người dùng cụ thể đối với một thực thể, thể hiện mức độ quan tâm của bài đánh giá đó đối với từng khía cạnh $A_i$.
• Trọng số khía cạnh chung $\alpha$: Là véc-tơ trọng số tổng thể của toàn bộ tập thực thể cùng loại (được học bởi mô hình NNAWs), phản ánh mức độ quan trọng chung của các khía cạnh trong mắt toàn bộ khách hàng trên thị trường.

5. Quá trình phân đoạn khía cạnh trong luận án được thực hiện bằng thuật toán nào?

Quá trình phân đoạn khía cạnh được thực hiện thông qua thuật toán lặp bootstrapping dựa trên độ đo thống kê $\chi^2$. Thuật toán xuất phát từ các tập từ hạt nhân của $k$ khía cạnh, sau đó mở rộng dần danh sách từ dựa trên giá trị $\chi^2$ đạt ngưỡng cho đến khi hội tụ, từ đó gán nhãn khía cạnh cho từng câu và gom thành các đoạn văn bản khía cạnh.

---

Kết luận

Luận án tiến sĩ của tác giả Phạm Đức Hồng đã giải quyết có hệ thống các bài toán cốt lõi trong phân tích quan điểm theo khía cạnh bằng việc kết hợp các kỹ thuật học biểu diễn và mạng nơ-ron nhân tạo. Các mô hình đề xuất như LRNN-ASR, WEFT, SSCWE và MCNN đã khắc phục những hạn chế của phương pháp túi từ và các mô hình biểu diễn không giám sát truyền thống, cho phép ước lượng chính xác hạng khía cạnh ẩn, trọng số khía cạnh cũng như phân loại quan điểm đa mức. Các kết quả nghiên cứu đã được công bố trên các tạp chí khoa học quốc tế uy tín (ISI-SCI/SCIE) và hội thảo chuyên ngành, mang lại giá trị lý thuyết vững chắc và khả năng ứng dụng thực tiễn cao trong khai phá dữ liệu thương mại điện tử.

Trích đoạn nội dung tài liệu

Chương 1 Tổng quan vấn đề nghiên cứu Chương này trình bày tổng quan về các vấn đề nghiên cứu trong luận án, bao gồm: giới thiệu chung về bài toán, kiến trúc chung của một hệ thống phân tích quan điểm; các bài toán trong phân tích quan điểm theo khía cạnh; các nghiên cứu liên quan; các tiếp cận; tình hình nghiên cứu trên thế giới và Việt Nam. Sau khi phân tích, đánh giá những điểm còn tồn tại từ các nghiên cứu liên quan, phần thảo luận sẽ được trình bày, đưa ra các bài toán mà luận án sẽ giải quyết. Lý do và động lực đề xuất mô hình cho mỗi bài toán cũng sẽ được đưa ra.1 Giới thiệu bài toán Các ý kiến phản hồi của khách hàng đối với các sản phẩm, dịch vụ trực tuyến trên mạng Internet là nguồn thông tin quan trọng đối với các doanh nghiệp bởi vì nó giúp họ hiểu được điểm mạnh, điểm yếu trong sản phẩm, dịch vụ của mình, đồng thời nhanh chóng nắm bắt được tâm lý và nhu cầu khách hàng để mang đến cho họ sản phẩm, dịch vụ tốt hơn. Tuy nhiên với số lượng ý kiến rất lớn và cập nhật liên tục thì sẽ nảy sinh nhu cầu xây dựng một hệ thống tự động để phân tích và khai phá quan điểm.

Mỗi ý kiến đánh giá thường bao gồm thông tin về các sản phẩm hay dịch vụ, các sự kiện, sự việc, cơ quan tổ chức được đánh giá và quan điểm của người đánh giá đối với các loại đối tượng này. Sau đây ta sẽ gọi chung các đối tượng được đánh giá là các thực thể và khi cần sẽ đề cập riêng để nhấn mạnh thực thể chung hay là khía cạnh (aspect) của thực thể. Quan điểm là các ý kiến chủ quan mà con người nói về các thực thể. Nhiệm vụ của phân tích quan điểm là xác định thực thể cùng các khía cạnh của nó nhằm tính toán quan điểm, đánh giá thái độ và cảm xúc của con người đối với thực thể cũng như các khía cạnh (thuộc tính, thành phần) của thực thể.

Thông tin quan điểm đối với một thực thể cụ thể có vai trò rất quan trọng, bởi khi 5 chúng ta cần đưa ra một quyết định liên quan tới một thực thể nào đó, chúng ta thường quan tâm tới ý kiến của người khác đối với thực thể đó, theo dạng như “Những người khác đã nghĩ và đánh giá về thực thể đó như thế nào?”. Ví dụ khi chúng ta muốn mua một chiếc điện thoại iPhone X 64GB chúng ta sẽ muốn tìm hiểu hoặc hỏi bạn bè và người thân “Điện thoại iPhone X 64GB có tốt không? Hệ điều hành IOS của iPhone thế nào? Camera quay video và chụp ảnh có đẹp không?. Như vậy quan điểm của người khác giúp các cá nhân có thêm thông tin trước khi quyết định một vấn đề. Ngoài ra khi biết được thông tin quan điểm đối với một sản phẩm, dịch vụ từ các khách hàng thì rõ ràng nó giúp mang lại các thông tin hữu ích cho các công ty, tổ chức thay đổi hoặc cải tiến dòng sản phẩm, dịch vụ của mình.

Bên cạnh đó thông tin quan điểm phân tích được trên một cộng đồng dân chúng còn giúp các chính quyền nắm được hiểu quả của các chính sách khi áp dụng trong xã hội.2 Các bài toán trong phân tích quan điểm 1.1 Tổng quan một hệ thống phân tích quan điểm Ngày nay đã có nhiều hệ thống phân tích quan điểm làm việc với những miền dữ liệu khác nhau, như hệ thống Smcc1 của công ty InfoRe làm việc trên miền dữ liệu sản phẩm điện thoại di động, hệ thống Vsocial 2 của công ty Tecapro làm việc trên miền dữ liệu ngân hàng. Nhìn chung, mô hình biểu diễn kiến trúc chung của một hệ thống khai phá và phân tích quan điểm được thể hiện như trong Hình 1. Xuất phát từ nguồn dữ liệu đánh giá thực thể của người sử dụng trên các hệ thống như Amazon3 , Tripadvisor4 , Youtube5 , Thegioididong6. Hệ thống phân tích quan điểm làm việc với các nguồn dữ liệu này, gồm các thành phần chính như sau: 1 smcc.1: Kiến trúc tổng quan của hệ thống phân tích quan điểm • Thu thập (crawler) • Tiền xử lý (pre-processing) • Trích chọn đặc trưng (feature extraction, data representation) • Học máy (machine learning) Thu thập: Là thành phần tự động lấy dữ liệu đánh giá của người dùng từ các hệ thống trực tuyến (Web).

Tiền xử lý: Thành phần này có nhiệm vụ xử lý dữ liệu, gồm các công việc như: loại bỏ từ dừng, chuẩn hóa các từ và dấu cách, tách từ. Trích chọn đặc trưng: Sử dụng kỹ thuật biểu diễn văn bản (ví dụ mô hình bag of word) để biểu diễn các văn bản đầu vào thành các véc-tơ đặc trưng. Học máy: Gồm có hai pha: huấn luyện, và dự đoán. Pha huấn luyện sử dụng tập dữ liệu huấn luyện làm đầu vào và có nhiệm vụ học một mô hình dự đoán.

Pha dự đoán có nhiệm vụ tính toán để phân loại quan điểm cho các véc-tơ biểu diễn văn bản từ đầu vào.2 Phân tích quan điểm cho toàn bộ văn bản Phân tích quan điểm cho toàn bộ văn bản là bài toán cơ bản nhất trong phân tích quan điểm. Cũng giống bài toán phân lớp văn bản thông thường. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm (phân loại) quan điểm chung cho nó. Dựa trên điểm quan điểm đã đạt được, từng văn bản sau đó được gán các nhãn quan điểm hoặc các hạng tương ứng.

Các nhãn có thể được gán như nhãn tích cực (Positive) hoặc tiêu cực (Negative) hoặc trung lập. Trong trường hợp cần xếp hạng quan điểm cho văn bản thì hạng được gán cho văn bản là “1 sao” (có nghĩa là rất tiêu cực) hoặc “2 sao” (tiêu cực mức trung bình) hoặc “3 sao” (trung lập) hoặc “4 sao” (tích cực) hoặc “5 sao” (rất tích cực). Việc phân tích quan điểm theo loại bài toán này thường ở mức tài liệu và không quan tâm tới vấn đề chi tiết hơn như người đánh giá sản phẩm thích hay không thích khía cạnh nào của sản phẩm.3 Phân tích quan điểm theo khía cạnh Chúng ta dễ thấy rằng đánh giá một quan điểm cho toàn bộ văn bản là không đủ chi tiết cho các ứng dụng thực tế. Một văn bản đánh giá tích cực về một đối tượng cụ thể không có nghĩa là người dùng có ý kiến tích cực về mọi khía cạnh của đối tượng đó.

Tương tự, một văn bản đánh giá tiêu cực cho một đối tượng không có nghĩa là người dùng không thích tất cả mọi khía cạnh của đối tượng đó. Ví dụ, trong một ý kiến đánh giá sản phẩm, người đánh giá thường ghi cả khía cạnh tích cực và tiêu cực của sản phẩm, mặc dù quan điểm chung về sản phẩm có thể là tích cực hoặc tiêu cực. Để có thể phân tích quan điểm phù hợp với nhu cầu sử dụng trong thực tế, chúng ta cần phải nghiên cứu sâu về quan điểm ở mức khía cạnh. Cho trước một tập các văn bản đánh giá sản phẩm, đối với từng văn bản đầu vào, bài toán yêu cầu tính điểm quan điểm cho từng khía cạnh của thực thể đã được thể hiện trong nó.

Dựa trên điểm quan điểm đã đạt được, từng khía cạnh sau đó được gán nhãn quan điểm (ví dụ: nhãn tích cực, tiêu cực, hoặc trung lập) hoặc hạng (ví dụ: hạng “1 sao”, “2 sao”, “3 sao” , “4 sao”, hoặc “5 sao”) tương ứng.4 Các bài toán trong phân tích quan điểm theo khía cạnh Trong thực tế, phân tích quan điểm theo khía cạnh bao gồm các bài toán điển hình như sau: (1) Trích xuất từ thể hiện khía cạnh: Cho trước một tập các ý kiến (văn bản) đánh 8 giá của một số thực thể được xác định trước (ví dụ: Các khách sạn, các quán ăn, điện thoại), mỗi văn bản bao gồm một số câu. Yêu cầu xác định các từ thể hiện khía cạnh trong từng câu, sau đó thu thập các từ đó vào trong các khía cạnh tương ứng. (2) Xác định khía cạnh: Cho trước một tập nhãn khía cạnh của một thực thể, đối với một câu văn bản đánh giá chưa được gán nhãn, chúng ta cần dự đoán nhãn khía cạnh thích hợp cho nó. (3) Phân loại quan điểm theo khía cạnh: Tương ứng với tập nhãn khía cạnh của một thực thể đã được xác định trước, cho trước một tập nhãn quan điểm (ví dụ bao gồm các nhãn: tích cực (positive), trung lập (neutral), tiêu cực (negative)), đối với một câu đầu vào đã được gán nhãn khía cạnh, bài toán cần dự đoán nhãn quan điểm tương ứng cho nó.

(4) Phân đoạn khía cạnh: Cho trước một tập văn bản đánh giá của một tập thực thể (một số thực thể hay một tập thực thể trong luận án này được hiểu là các dòng sản phẩm/dịch vụ cùng loại), yêu cầu xác định các đoạn văn bản đề cập tương ứng tới các khía cạnh của thực trong từng văn bản. (5) Xếp hạng khía cạnh: Xếp hạng khía cạnh là công việc định hướng ước lượng đánh giá qua điểm theo khía cạnh của thực thể, giá trị ước lượng quan điểm theo khía cạnh thường theo các giá trị từ 1 đến 5. Bài toán cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ thực thể khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Yêu cầu xếp hạng hay tính điểm theo mức độ đánh giá quan điểm từ 1 đến 5 của từng khía cạnh đã được người dùng thảo luận trong mỗi văn bản.

(6) Xác định hạng và trọng số khía cạnh ẩn: Cho trước một tập văn bản đánh giá của một tập thực thể (ví dụ: tập thực thể sản phẩm khách sạn) bao gồm các quan điểm về sản phẩm này và các khía cạnh của nó. Từng văn bản đánh giá được gán một hạng chung, hạng chung này xác nhận quan điểm chung cho cả văn bản. Yêu cầu xác định hạng và trọng số khía cạnh cho từng thực thể, đây là bài toán giả thiết hạng khía cạnh và trọng số khía cạnh ẩn, chưa biết và làm thế nào chúng ta có thể xác định được các hạng cũng như các trọng số khía cạnh đó. Trong nội dung luận án, chúng tôi giải quyết bài toán (2), (3), và (6).

Đối với bài toán (6), để giải quyết được nó chúng tôi cần thực hiện các công việc liên quan tới tất cả các bài toán. Do đó trong phần trình bày các nghiên cứu liên quan, chúng tôi cũng trình bày các nghiên cứu liên quan tới các bài toán này.3 Các nghiên cứu liên quan 1.