Tổng quan luận án

Dữ liệu ý kiến đánh giá trực tuyến của người dùng trên các hệ thống thương mại điện tử, mạng xã hội và diễn đàn thông tin (như Amazon, TripAdvisor, YouTube, Thegioididong) ngày càng gia tăng về quy mô và tần suất cập nhật. Nguồn dữ liệu phản hồi này phản ánh cảm nhận chủ quan về chất lượng sản phẩm, dịch vụ hoặc các sự kiện xã hội. Tiếp cận truyền thống của bài toán phân tích quan điểm (sentiment analysis) chủ yếu thực hiện ở cấp độ toàn bộ văn bản (document-level), phân loại bài viết thành các nhãn chung như tích cực (positive), tiêu cực (negative), trung lập (neutral) hoặc dự đoán số sao tổng thể từ 1 đến 5 sao. Tuy nhiên, một ý kiến đánh giá thực tế thường chứa đựng các nhận xét trái chiều trên từng thuộc tính, đặc điểm cụ thể của thực thể (ví dụ: một khách sạn có thể được khen về vị trí và thái độ phục vụ nhưng bị chê về giá cả hoặc cách âm phòng ngủ). Việc chỉ đánh giá tổng thể làm mất đi các thông tin chi tiết của từng thành phần cấu thành sản phẩm hoặc dịch vụ.

Khoảng trống nghiên cứu đặt ra là các phương pháp học máy truyền thống (như Support Vector Machine, Naive Bayes, hồi quy xác suất) và các mô hình biểu diễn dạng túi từ (bag-of-words) gặp phải giới hạn lớn về độ thưa của dữ liệu, thiếu hụt ngữ nghĩa ngữ cảnh, không mô hình hóa được cấu trúc phân cấp đa tầng từ từ, câu, đoạn đến văn bản, đồng thời bỏ qua sự tương tác giữa các khía cạnh. Bên cạnh đó, các mô hình học biểu diễn từ không giám sát phổ biến (như Word2Vec, GloVe) chỉ nắm bắt được quan hệ đồng xuất hiện trong ngữ cảnh câu thông thường mà không mã hóa được thông tin khía cạnh và định hướng phân cực quan điểm.

Luận án tiến sĩ ngành Khoa học máy tính (mã số: 9480101.01) của tác giả Phạm Đức Hồng, thực hiện dưới sự hướng dẫn khoa học của PGS. Lê Anh Cường tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội, tập trung nghiên cứu phát triển các mô hình học sâu dựa trên mạng nơ-ron nhân tạo nhằm giải quyết đồng thời bài toán học biểu diễn (representation learning) và bài toán phân loại (classification) trong phân tích quan điểm theo khía cạnh (Aspect-Based Sentiment Analysis - ABSA).

Mục tiêu nghiên cứu của luận án hướng đến giải quyết hai bài toán chính:

  1. Bài toán xếp hạng và xác định trọng số khía cạnh của thực thể (sản phẩm/dịch vụ).
  2. Bài toán xây dựng các mô hình phân tích quan điểm theo khía cạnh nhằm xác định khía cạnh cho từng câu đầu vào và phân loại quan điểm theo khía cạnh tương ứng cho nó.

Đối tượng nghiên cứu của luận án bao gồm các thực thể (sản phẩm, dịch vụ như điện thoại di động, nhà hàng, khách sạn), các ý kiến đánh giá của người dùng, các khía cạnh cấu thành thực thể, hạng khía cạnh và trọng số khía cạnh (ở dạng ẩn hoặc tường minh). Phạm vi nghiên cứu tập trung vào các mô hình nơ-ron học biểu diễn ngữ nghĩa ở mức từ, mức câu, mức đoạn và văn bản; phương pháp thực nghiệm sử dụng các tập dữ liệu đánh giá thực tế thu thập từ TripAdvisor, Thegioididong và tập dữ liệu chuẩn SemEval 2014.

Tổng quan tài liệu và vị trí của luận án

Luận án tổng hợp và hệ thống hóa các nghiên cứu trong nước và quốc tế theo sáu bài toán thành phần của phân tích quan điểm theo khía cạnh:

  1. Trích xuất từ thể hiện khía cạnh: Các phương pháp học giám sát dựa trên gán nhãn chuỗi như mô hình Hidden Markov (HM) và Conditional Random Fields (CRF) của Wong và cộng sự (2008) [4], Jin (2009) [5], Skip-CRF và Tree-CRF [6]; các mô hình học sâu gần đây gồm CNN đa tầng của Poria và cộng sự (2016) [7], mạng LSTM của Lin (2019) [8], và mô hình kết hợp LSTM-CNN với cổng ngữ cảnh của Zhang và cộng sự (2019) [9]. Các tiếp cận không giám sát tiêu biểu gồm phương pháp khai thác tần suất danh từ của Hu và Liu (2004) [10], hệ thống OPINE của Popescu và Etzioni (2005) [11], mô hình chủ đề xác suất của Mei và cộng sự (2007) [13], bộ phân tích cú pháp phụ thuộc của Wu và cộng sự (2009) [14], tập luật cú pháp kết hợp WordNet của Luo và cộng sự (2018) [15], và chiến lược khai thác của Dragoni và cộng sự (2018) [16].
  2. Xác định khía cạnh: Ganu và cộng sự (2009) [17] áp dụng SVM trên tập dữ liệu nhà hàng; Kiritchenko và cộng sự (2014) [18] sử dụng từ điển liên kết từ - khía cạnh; McAuley và cộng sự (2012) [19] dùng mô hình phân biệt với hai nhóm tham số; Zhou và cộng sự (2015) [20] dùng phương pháp lai đặc trưng; Sun và cộng sự (2019) [21] xây dựng câu phụ và áp dụng mô hình BERT [22]; Hu và cộng sự (2019) [23] cùng Movahedi và cộng sự (2019) [24] đề xuất các biến thể của mạng nơ-ron bộ nhớ ngắn dài (LSTM) kết hợp cơ chế chú ý (attention).
  3. Phân đoạn khía cạnh: Lu và cộng sự (2011) [25] sử dụng mô hình PLSA (Probabilistic Latent Semantic Analysis); Wang và cộng sự (2010) [1] áp dụng thuật toán bootstrapping mở rộng từ tập từ hạt nhân; Zha và cộng sự (2014) [26] dùng bộ phân tích cú pháp nông trên nội dung ưu/nhược điểm.
  4. Phân loại quan điểm theo khía cạnh: Tiếp cận dựa trên từ điển của Ding và cộng sự (2008) [27]; các mô hình học sâu bán giám sát của Xu (2019) [28], mạng LSTM và mạng bộ nhớ sâu của Tang và cộng sự (2016) [29, 30], mạng tích chập có cổng (Gated CNN) của Xue và cộng sự (2018) [32].
  5. Xếp hạng khía cạnh: Mô hình Good Grief (GG) dựa trên thuật toán PRank của Snyder và Barzilay (2007) [33]; mô hình chủ đề kết hợp hồi quy của Titov và McDonald (2008) [35]; thuật toán xác suất xếp hạng khía cạnh của Zha và cộng sự (2014, 2017) [26, 71]; phương pháp dựa trên entropy của Wang và cộng sự (2015) [36]; lý thuyết tập mờ của Yang và cộng sự (2018) [37]; mô hình đồ thị kết hợp LDA và PageRank của Guo và cộng sự (2019) [38].
  6. Xác định hạng và trọng số khía cạnh ẩn: Mô hình Latent Rating Regression (LRR) của Wang và cộng sự (2010) [1]; mô hình mở rộng kết hợp chủ đề của Wang và cộng sự (2011) [39]; mô hình mã hóa khía cạnh thưa SACM với ràng buộc chuẩn $l_1$ và ước lượng MAP của Xu và cộng sự (2013) [40]; mô hình SATM của Wang và cộng sự (2014) [41]; mô hình không giám sát CARW của Wang và cộng sự (2016) [42]; mô hình xác suất RABI của Li và cộng sự (2016) [43]; mô hình phân tích ma trận kết hợp chủ đề của Xiao và cộng sự (2017) [44].

Tại Việt Nam, các nghiên cứu tập trung vào khai phá câu so sánh (2012) [72], phân tích quan điểm phản hồi của sinh viên bằng biến thể LSTM của Nguyen và cộng sự (2018) [73, 74], mô hình đa kênh LSTM kết hợp CNN của Vo và cộng sự (2018) [75], và mô hình mạng hồi quy hai chiều Bi-RNN kết hợp CRF của Mai và cộng sự (2018) [76].

Vị trí nghiên cứu của luận án: Luận án định vị vào việc khắc phục các hạn chế còn tồn tại của các công trình đi trước, cụ thể: (1) Khắc phục việc biểu diễn túi từ thưa thớt trong bài toán ước lượng hạng và trọng số ẩn bằng mô hình mạng nơ-ron học biểu diễn đa tầng; (2) Giải quyết nhược điểm thiếu thông tin khía cạnh và phân cực trong các mô hình nhúng từ không giám sát bằng mô hình học véc-tơ từ có giám sát; (3) Tích hợp đa nguồn thông tin mức từ (Word2Vec, GloVe) và mức ký tự (Character2Vec) thông qua mạng tích chập đa kênh MCNN.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khái niệm và ký hiệu hình thức

Luận án thiết lập hệ thống ký hiệu và không gian bài toán trên tập thực thể $P = {p_1, p_2, \dots, p_{|P|}}$:

  • Mỗi thực thể $p \in P$ có tập ý kiến đánh giá $C_p = {c_1, c_2, \dots}$. Toàn bộ ý kiến về $p$ được gom thành văn bản $d \in D$.
  • Thực thể có $k$ khía cạnh cấu thành ${A_1, A_2, \dots, A_k}$.
  • $O_c$ và $O_d$: Hạng đánh giá chung (Overall Rating) của ý kiến $c$ và văn bản $d$, nhận giá trị số thực hoặc số nguyên trong khoảng $[1, 5]$.
  • $r_c = (r_{c1}, \dots, r_{ck})$ và $r_d = (r_{d1}, \dots, r_{dk})$: Véc-tơ hạng khía cạnh (Aspect Ratings), với $r_{di} \in [1, 5]$.
  • $\alpha_d = (\alpha_{d1}, \dots, \alpha_{dk})$: Véc-tơ trọng số khía cạnh riêng của văn bản $d$, thỏa mãn $\alpha_{di} \in [0, 1]$ và $\sum_{i=1}^k \alpha_{di} = 1$.
  • $\alpha = (\alpha_1, \dots, \alpha_k)$: Véc-tơ trọng số khía cạnh chung của toàn bộ tập thực thể $P$.
  • Ràng buộc giữa hạng chung và các khía cạnh: $$\hat{O}d = \sum{i=1}^k \alpha_{di} r_{di}$$
+-----------------------------------------------------------------------------------+
| Ràng buộc toán học: Hạng chung = Tổng (Trọng số khía cạnh x Hạng khía cạnh tương ứng) |
| Od ~ N( sum_{i=1}^k alpha_{di} * r_{di}, delta^2 )                                |
+-----------------------------------------------------------------------------------+

Các mô hình học máy và học biểu diễn cơ sở

Luận án phân tích cơ sở lý thuyết của các mô hình nền tảng:

  1. Mô hình Hồi quy đánh giá ẩn (Latent Rating Regression - LRR): Giả thiết hạng khía cạnh $r_{di} = \sum_{j=1}^n \beta_{ij} W_{dij}$, trong đó $\beta_i$ là trọng số phân cực từ và $W_{di}$ là trọng số từ quan sát được. Hạng chung $O_d$ tuân theo phân phối chuẩn $O_d \sim \mathcal{N}\left(\sum_{i=1}^k \alpha_{di} \sum_{j=1}^n \beta_{ij} W_{dij}, \delta^2\right)$, với $\alpha_d \sim \mathcal{N}(\mu, \Sigma)$. Việc học tham số $\Theta = (\mu, \Sigma, \delta^2, \beta)$ được thực hiện qua ước lượng hợp lý cực đại (MLE).
  2. Thuật toán xác suất xếp hạng khía cạnh: Dựa trên phân phối Gaussian của hạng chung $O_c \sim \mathcal{N}(\alpha_c^T r_c, \sigma^2)$ và trọng số $\alpha_c \sim \mathcal{N}(\mu, \Sigma)$, tối ưu hóa khoảng cách phân phối thông qua độ đo Kullback-Leibler (KL) divergence đối với $\mathcal{N}(\mu_0, I)$.
  3. Mô hình Word2Vec: Kiến trúc Continuous Bag-of-Words (CBOW) dự đoán từ đích dựa trên ngữ cảnh xung quanh qua hàm tối đa hóa $\frac{1}{T}\sum_{t=k}^{T-k} \log p(\omega_t | \omega_{t-k}, \dots, \omega_{t+k})$ kết hợp softmax phân cấp; kiến trúc Skip-gram dự đoán các từ ngữ cảnh từ từ trung tâm.
  4. Mô hình GloVe: Tối ưu hóa hàm lỗi bình phương có trọng số trên ma trận đồng xuất hiện từ $X_{ij}$: $$E = \sum_{i,j=1}^V f(X_{ij})\left(w_i^T w_j + b_i + b_j - \log X_{ij}\right)^2$$ với hàm làm suy giảm trọng số $f(x) = \min\left(1, (x/x_{\max})^{3/4}\right)$.
  5. Mô hình Paragraph Vector: Gồm kiến trúc bộ nhớ phân phối PV-DM (Distributed Memory) kết hợp véc-tơ đoạn văn với véc-tơ từ trong cửa sổ trượt, và kiến trúc túi từ phân phối PV-DBOW (Distributed Bag of Words).
  6. Mô hình mạng nơ-ron tích chập (CNN) cho biểu diễn mức câu: Áp dụng ma trận bộ lọc $w \in \mathbb{R}^{hk}$ trên cửa sổ $h$ từ liên tiếp $x_{i:i+h-1}$, sinh ra đặc trưng $c_i = f(w \cdot x_{i:i+h-1} + b)$ với hàm kích hoạt Tanh hoặc ReLU, sau đó áp dụng phép gom cụm lớn nhất theo thời gian (max-overtime pooling) $\hat{c} = \max{c}$ để tạo véc-tơ biểu diễn câu.
  7. Mô hình véc-tơ kết hợp: Biểu diễn câu thông qua hàm BI phi tuyến: $v(x) = \sum_{i=1}^n \tanh(M[x_{i-1} + x_i] + b)$.

Phương pháp nghiên cứu và quy trình thực nghiệm

Luận án áp dụng phương pháp định lượng thực nghiệm:

  • Xây dựng thuật toán, cài đặt mô hình mạng nơ-ron bằng ngôn ngữ lập trình và các thư viện học máy.
  • Tiền xử lý dữ liệu: Tách từ, chuẩn hóa dấu cách, loại bỏ từ dừng, trích xuất bảng từ vựng và bảng ký tự.
  • Đánh giá mô hình bằng các độ đo tiêu chuẩn: Độ chính xác (Accuracy), độ đo $F_1$-score (Macro-$F_1$ và Micro-$F_1$), sai số tuyệt đối trung bình (MAE), sai số bình phương trung bình (MSE), và hệ số tương quan (Correlation).

Nội dung chính theo từng chương

Chương 1: Tổng quan vấn đề nghiên cứu

Chương 1 giới thiệu tổng quan về bài toán phân tích quan điểm, đưa ra kiến trúc bốn thành phần của một hệ thống xử lý hoàn chỉnh (Thu thập dữ liệu, Tiền xử lý, Trích chọn đặc trưng/Biểu diễn dữ liệu, và Pha học máy gồm Huấn luyện - Dự đoán). Chương phân định rõ ranh giới giữa phân tích quan điểm toàn văn bản và phân tích quan điểm theo khía cạnh (ABSA).

Tác giả hệ thống hóa các hướng nghiên cứu hiện có và chỉ ra ba vấn đề kỹ thuật còn tồn tại:

  1. Thiếu các mô hình học biểu diễn tự động ở mức khía cạnh có khả năng dự đoán đồng thời hạng và trọng số khía cạnh ẩn mà không phụ thuộc vào từ điển túi từ thưa thớt.
  2. Các không gian nhúng từ không giám sát (Word2Vec, GloVe) thiếu sự liên kết ngữ nghĩa với các nhãn khía cạnh và phân cực cảm xúc.
  3. Chưa có cơ chế tích hợp đa kênh CNN để khai thác đồng thời nhiều không gian nhúng từ độc lập cùng với thông tin hình thái mức ký tự cho bài toán ABSA.

Chương 2: Kiến thức cơ sở

Chương 2 trình bày chi tiết nền tảng toán học và kỹ thuật của các mô hình học máy, xác suất và mạng nơ-ron làm cơ sở phát triển các đóng góp của luận án. Nội dung bao gồm mô hình hồi quy đánh giá ẩn LRR, thuật toán xác suất xếp hạng khía cạnh, thuật toán nhúng từ Word2Vec (CBOW, Skip-gram), mô hình hồi quy đồng xuất hiện toàn cục GloVe, mô hình nhúng đoạn văn bản Paragraph Vector (PV-DM, PV-DBOW), mô hình tích chập câu CNN, và các hàm kết hợp véc-tơ (ADD, BI).

Chương thảo luận lý do lựa chọn mạng CNN thay vì mạng hồi quy LSTM: Mô hình dựa trên LSTM có số lượng tham số lớn, chi phí huấn luyện cao và không thuận lợi bằng CNN trong việc kết hợp song song nhiều nguồn biểu diễn đầu vào khác nhau (như đa véc-tơ từ và ký tự).

Chương 3: Đề xuất mô hình dựa trên mạng nơ-ron xác định hạng và trọng số khía cạnh của thực thể

Chương 3 giải quyết bài toán xác định hạng và trọng số khía cạnh ẩn của thực thể từ dữ liệu chỉ có nhãn hạng chung $O_d$. Tác giả đề xuất ba mô hình nơ-ron:

  1. Mô hình LRNN (Latent Rating Neural Network): Mạng nơ-ron một lớp ẩn, tiếp nhận đầu vào là các véc-tơ biểu diễn khía cạnh được học tự động từ mô hình Paragraph Vector (PV-DM), khắc phục việc sử dụng túi từ thưa thớt của LRR.
  2. Mô hình LRNN-ASR (kèm biến thể FULL-LRNN-ASR): Mô hình học biểu diễn đa tầng tích hợp cơ chế biểu diễn ngữ nghĩa khía cạnh (Aspect Semantic Representation - ASR). Mô hình liên kết phân cấp từ mức từ, mức câu đến mức khía cạnh, cho phép tối ưu hóa đồng thời việc học biểu diễn và dự đoán hạng khía cạnh $r_d$ cùng trọng số $\alpha_d$.
  3. Mô hình NNAWs (Neural Network Aspect Weights): Mô hình mạng nơ-ron xác định véc-tơ trọng số khía cạnh chung $\alpha$ cho toàn bộ một nhóm thực thể cùng loại (ví dụ: toàn bộ nhóm dịch vụ khách sạn), cung cấp góc nhìn quản lý tổng thể về mức độ quan tâm của khách hàng.
Mô hình Đầu vào đặc trưng Cơ chế xử lý Đầu ra dự đoán
LRR (Cơ sở) Túi từ (Bag-of-words) Hồi quy xác suất Gaussian Hạng ẩn $r_d$, Trọng số ẩn $\alpha_d$
LRNN Véc-tơ Paragraph (PV-DM) Mạng nơ-ron 1 lớp ẩn Hạng ẩn $r_d$, Trọng số ẩn $\alpha_d$
LRNN-ASR Biểu diễn đa tầng (Từ - Câu - Đoạn) Học biểu diễn ASR kết hợp nơ-ron Hạng ẩn $r_d$, Trọng số ẩn $\alpha_d$
NNAWs Ý kiến đánh giá toàn tập dữ liệu Mạng nơ-ron tối ưu hóa hàm mục tiêu Trọng số khía cạnh chung $\alpha$

Thực nghiệm trên tập dữ liệu đánh giá khách sạn từ TripAdvisor và sản phẩm điện thoại di động từ Thegioididong cho thấy mô hình LRNN và LRNN-ASR đạt sai số dự đoán (MSE, MAE) thấp hơn và hệ số tương quan cao hơn rõ rệt so với mô hình LRR truyền thống. Mô hình FULL-LRNN-ASR khi khảo sát sự thay đổi của các siêu tham số $\gamma$ và $\beta$ ($\beta + \gamma = 1$) cùng số chiều véc-tơ từ cho thấy tính ổn định cao.

Chương 4: Học véc-tơ biểu diễn từ cho phân tích quan điểm theo khía cạnh

Chương 4 đề xuất hai mô hình học biểu diễn từ có giám sát nhằm tích hợp đồng thời ba luồng thông tin: Ngữ nghĩa (semantic), Khía cạnh (aspect) và Quan điểm theo khía cạnh (aspect-sentiment):

  1. Mô hình tinh chỉnh véc-tơ từ WEFT (Word Embedding Fine-Tuning): Nhận véc-tơ từ đã được tiền huấn luyện không giám sát (Word2Vec) làm đầu vào, sau đó áp dụng hàm mục tiêu có giám sát dựa trên thông tin khía cạnh và phân cực quan điểm để điều chỉnh vị trí các véc-tơ từ trong không gian nhúng.
  2. Mô hình học véc-tơ từ SSCWE (Supervised Sentiment and Aspect Word Embedding): Học trực tiếp các véc-tơ từ từ dữ liệu văn bản ban đầu. Kiến trúc mạng tích hợp hai thành phần: Nhánh học ngữ nghĩa ngữ cảnh (dựa trên kiến trúc CBOW) và nhánh học thông tin nhãn khía cạnh cùng nhãn quan điểm theo khía cạnh.
Tiêu chí so sánh Mô hình WEFT Mô hình SSCWE
Cơ chế khởi tạo Sử dụng véc-tơ tiền huấn luyện Word2Vec Khởi tạo ngẫu nhiên, học từ đầu
Nguồn thông tin tích hợp Ngữ nghĩa gốc + Nhãn giám sát Ngữ cảnh CBOW + Khía cạnh + Quan điểm
Hiệu năng phân loại ($F_1$) Cải thiện so với Word2Vec/GloVe gốc Đạt kết quả cao hơn WEFT
Thời gian thực hiện Nhanh hơn (do chỉ tinh chỉnh) Lâu hơn (do tối ưu hóa đồng thời 2 nhánh)

Thực nghiệm đánh giá véc-tơ từ sinh ra qua hai tác vụ kiểm thử: Xác định khía cạnh và Phân loại quan điểm theo khía cạnh trên các ngữ liệu chuẩn. Kết quả phân tích không gian ngữ nghĩa chỉ ra rằng các từ đồng nghĩa hoặc có cùng xu hướng phân cực trong cùng một khía cạnh được kéo lại gần nhau hơn so với không gian của Word2Vec và GloVe ban đầu.

Chương 5: Mô hình đa kênh dựa trên CNN nhằm khai thác đa véc-tơ biểu diễn từ và ký tự cho phân tích quan điểm theo khía cạnh

Chương 5 xây dựng mô hình mạng nơ-ron tích chập đa kênh MCNN (Multichannel Convolutional Neural Network) nhằm tích hợp nhiều nguồn biểu diễn đặc trưng độc lập:

  • Kênh từ vựng: Sử dụng song song các tập véc-tơ từ tiền huấn luyện khác nhau (Word2Vec học trên Google News, GloVe học trên Common Crawl/Wikipedia). Do được học trên các tập ngữ liệu và thuật toán khác nhau, mỗi tập véc-tơ nắm bắt các khía cạnh ngữ nghĩa bổ trợ cho nhau.
  • Kênh ký tự (Character2Vec): Nhúng chuỗi ký tự thông qua bảng từ điển ký tự tiếng Anh, giúp mô hình bắt được cấu trúc hình thái từ, tiền tố, hậu tố và giảm thiểu ảnh hưởng của từ chưa có trong từ điển (out-of-vocabulary).

Kiến trúc tích hợp gồm ba nhánh tích chập song song (CNN1, CNN2, CNN3), tương ứng với các kích thước cửa sổ bộ lọc khác nhau. Đầu ra của các phép tích chập sau khi qua lớp gom cụm lớn nhất (max-overtime pooling) được nối lại thành một véc-tơ đặc trưng tổng hợp tại tầng áp chót trước khi đưa vào bộ phân loại.

Thực nghiệm khảo sát chi tiết ảnh hưởng của các thành phần trong MCNN:

  • Kỹ thuật dropout giúp giảm hiện tượng quá khớp (overfitting) và cải thiện độ chính xác phân loại.
  • Khảo sát số chiều nhúng ký tự tối ưu và số lượng bộ lọc (filter size) trên hiệu năng mô hình.
  • Kích thước mini-batch từ 10 đến 100 được thực nghiệm để tìm điểm cân bằng giữa tốc độ hội tụ và độ chính xác dự đoán.

Kết quả và những đóng góp mới

Luận án đã đạt được các đóng góp khoa học chính sau đây:

  1. Đóng góp về mô hình học biểu diễn đa tầng xác định hạng và trọng số khía cạnh ẩn: Đề xuất mô hình LRNN-ASR có khả năng mô hình hóa tính phân cấp ngữ nghĩa từ từ đến câu và văn bản, cho phép dự đoán đồng thời hạng khía cạnh ẩn và trọng số khía cạnh tương ứng chỉ từ nhãn đánh giá chung. Kết quả nghiên cứu đã được công bố trên tạp chí quốc tế thuộc danh mục ISI-SCIE: Data & Knowledge Engineering (DKE), năm 2018.
  2. Đóng góp về mô hình mạng tích chập đa kênh khai thác đa nguồn biểu diễn: Đề xuất mô hình MCNN kết hợp đồng thời đa tập véc-tơ từ (Word2Vec, GloVe) và véc-tơ mức ký tự (Character2Vec) qua các tầng tích chập song song, giải quyết bài toán xác định khía cạnh và phân loại quan điểm. Công trình được công bố trên tạp chí quốc tế thuộc danh mục ISI-SCI: International Journal of Approximate Reasoning, năm 2018.
  3. Đóng góp về mô hình học biểu diễn từ có giám sát cho ABSA: Đề xuất hai mô hình WEFT và SSCWE tích hợp đồng thời ba luồng thông tin (ngữ nghĩa, khía cạnh, quan điểm) vào không gian nhúng từ. Các kết quả này được công bố trong kỷ yếu hội nghị quốc tế Text, Speech, and Dialogue (TSD) năm 2017 và The Pacific Association for Computational Linguistics (PACLING) năm 2017.
  4. Các đóng góp bổ trợ: Đề xuất mô hình mạng nơ-ron một lớp ẩn LRNN sử dụng biểu diễn Paragraph Vector công bố tại hội nghị quốc tế Computational Social Networks (CSoNet) năm 2016; đề xuất mô hình nơ-ron xác định trọng số khía cạnh chung NNAWs công bố trên tạp chí Indian Journal of Science and Technology năm 2016.

Về mặt ứng dụng thực tiễn, các mô hình đề xuất cung cấp giải pháp tự động hóa quá trình tổng hợp thông tin phản hồi của người tiêu dùng, giúp các doanh nghiệp phát hiện chính xác các khía cạnh dịch vụ cần cải thiện và hỗ trợ cơ quan quản lý khảo sát ý kiến cộng đồng.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung và phạm vi nghiên cứu được trình bày trong văn bản:

  • Mô hình học biểu diễn từ có giám sát (SSCWE, WEFT) đòi hỏi tập dữ liệu huấn luyện ban đầu phải có nhãn khía cạnh và quan điểm, làm tăng chi phí chuẩn bị ngữ liệu so với các mô hình hoàn toàn không giám sát.
  • Mô hình MCNN kết hợp nhiều kênh nhúng và bộ lọc tích chập làm tăng số lượng tham số cần tối ưu và yêu cầu tài nguyên tính toán lớn hơn trong quá trình huấn luyện so với các mô hình đơn kênh.
  • Phạm vi dữ liệu thực nghiệm tập trung vào các miền ứng dụng cụ thể (khách sạn, nhà hàng, điện thoại di động) với ngôn ngữ tiếng Anh và tiếng Việt.

Hướng nghiên cứu tiếp theo được xác định là mở rộng mô hình sang các miền dữ liệu phức tạp hơn, nghiên cứu cơ chế giảm độ phức tạp tính toán cho mạng đa kênh, và khảo sát khả năng thích ứng của các biểu diễn đa tầng trên các cấu trúc ngôn ngữ đa dạng.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị học thuật và ứng dụng trong các lĩnh vực:

  • Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Tham khảo Chương 2 về tổng quan toán học của các mô hình nhúng (Word2Vec, GloVe, Paragraph Vector, CNN); tham khảo Chương 3 và Chương 4 về phương pháp xây dựng hàm mục tiêu và kỹ thuật tối ưu hóa mạng nơ-ron kết hợp nhiều nguồn đặc trưng.
  • Giảng viên và các nhóm nghiên cứu về Khai phá dữ liệu (Data Mining / Opinion Mining): Sử dụng các khung phân tích phân cấp đa tầng và thuật toán ước lượng trọng số khía cạnh làm tài liệu giảng dạy chuyên đề hoặc phát triển các hướng nghiên cứu liên quan.
  • Kỹ sư phát triển hệ thống tại các doanh nghiệp thương mại điện tử, du lịch, công nghệ thông tin: Áp dụng kiến trúc mạng MCNN và mô hình trọng số khía cạnh chung NNAWs để xây dựng các phân hệ tự động phân tích đánh giá sản phẩm, quản trị thương hiệu và hỗ trợ chăm sóc khách hàng.

Câu hỏi thường gặp

1. Luận án giải quyết những bài toán cụ thể nào trong phân tích quan điểm theo khía cạnh?

Luận án tập trung giải quyết ba bài toán chính: (1) Xác định khía cạnh cho từng câu văn bản; (2) Phân loại quan điểm theo khía cạnh (dự đoán nhãn tích cực, tiêu cực, trung lập); và (3) Xác định hạng và trọng số khía cạnh ẩn của thực thể (bao gồm cả bài toán ước lượng trọng số khía cạnh chung).

2. Sự khác biệt chính giữa mô hình LRNN-ASR đề xuất và mô hình LRR truyền thống là gì?

Mô hình LRR truyền thống của Wang và cộng sự (2010) sử dụng biểu diễn túi từ (bag-of-words), dẫn đến đặc trưng thưa thớt và bỏ qua ngữ nghĩa ngữ cảnh. Ngược lại, mô hình LRNN-ASR của luận án sử dụng kiến trúc học biểu diễn đa tầng (ASR) dựa trên mạng nơ-ron, tự động học biểu diễn phân cấp từ mức từ đến mức câu và mức khía cạnh, giúp dự đoán đồng thời hạng và trọng số khía cạnh ẩn với độ chính xác cao hơn.

3. Mô hình học véc-tơ từ SSCWE khắc phục nhược điểm nào của Word2Vec và GloVe?

Word2Vec và GloVe là các mô hình học không giám sát, chỉ nắm bắt quan hệ ngữ nghĩa dựa trên ngữ cảnh đồng xuất hiện trong câu, bỏ qua nhãn khía cạnh và chiều phân cực quan điểm. Mô hình SSCWE khắc phục điều này bằng kiến trúc học có giám sát hai nhánh, tích hợp đồng thời thông tin ngữ cảnh (dựa trên CBOW) cùng với nhãn khía cạnh và nhãn quan điểm vào không gian véc-tơ từ.

4. Mô hình MCNN trong Chương 5 sử dụng những nguồn thông tin đầu vào nào?

Mô hình MCNN sử dụng đồng thời hai nguồn thông tin: (1) Đa tập véc-tơ nhúng mức từ tiền huấn luyện độc lập (Word2Vec và GloVe) nhằm khai thác các khía cạnh ngữ nghĩa bổ trợ; (2) Véc-tơ nhúng mức ký tự (Character2Vec) nhằm nắm bắt đặc trưng hình thái từ và xử lý các từ ngoài từ điển.

5. Ý nghĩa của bài toán xác định trọng số khía cạnh chung trong mô hình NNAWs là gì?

Bài toán xác định trọng số khía cạnh chung nhằm tìm ra một véc-tơ trọng số $\alpha$ đại diện cho mức độ quan trọng tổng thể của từng khía cạnh trên toàn bộ tập dữ liệu của một nhóm thực thể cùng loại (như ngành dịch vụ khách sạn), giúp các nhà quản lý nắm bắt được thuộc tính nào được khách hàng quan tâm nhiều nhất.

Kết luận

Luận án tiến sĩ của tác giả Phạm Đức Hồng đã phát triển thành công hệ thống các mô hình học sâu dựa trên mạng nơ-ron nhân tạo cho bài toán phân tích quan điểm theo khía cạnh. Công trình đã đề xuất các giải pháp kỹ thuật cụ thể gồm mô hình học biểu diễn đa tầng xác định hạng và trọng số khía cạnh ẩn (LRNN-ASR), mô hình học véc-tơ từ có giám sát tích hợp ba luồng thông tin (WEFT, SSCWE), và mô hình mạng tích chập đa kênh khai thác đa biểu diễn từ và ký tự (MCNN). Toàn bộ các mô hình đề xuất đều được kiểm chứng thực nghiệm chặt chẽ trên các tập ngữ liệu thực tế, đạt hiệu năng vượt trội so với các phương pháp cơ sở và được công bố trên các tạp chí khoa học quốc tế uy tín thuộc danh mục ISI-SCI/SCIE.