Tổng quan luận án

Luận án tiến sĩ "Tích hợp đặc trưng ngôn ngữ vào mô hình học thống kê cho phân tích tình cảm" thuộc chuyên ngành Khoa học máy tính (Mã số: 9480101.01), được thực hiện bởi nghiên cứu sinh Nguyễn Thị Xuân Hương dưới sự hướng dẫn khoa học của PGS. Lê Anh Cường và GS. Nguyễn Lê Minh tại Trường Đại học Công nghệ, Đại học Quốc gia Hà Nội.

1. Tính cấp thiết và khoảng trống nghiên cứu

Sự phát triển của mạng Internet, thiết bị di động và các nền tảng mạng xã hội, diễn đàn trực tuyến đã tạo ra khối lượng dữ liệu đánh giá khổng lồ từ người dùng. Các bình luận trực tuyến chứa đựng quan điểm cá nhân về sản phẩm, dịch vụ, sự kiện xã hội và chính trị. Việc khai phá nguồn dữ liệu này có vai trò hỗ trợ việc ra quyết định của người tiêu dùng, xây dựng chiến lược kinh doanh của doanh nghiệp và hoạch định chính sách của các nhà quản lý.

Tuy nhiên, phần lớn các công trình nghiên cứu trước năm 2010 tập trung chủ yếu vào dữ liệu tiếng Anh với văn bản quy chuẩn. Tại Việt Nam, dữ liệu đánh giá thực tế trên các diễn đàn công nghệ (như diễn đàn Tinhte) thường ở dạng nhật ký trực tuyến ngắn (Microblog-style data). Dạng dữ liệu này có đặc điểm: câu văn ngắn, cấu trúc phi quy chuẩn, xuất hiện nhiều từ viết tắt, tiếng lóng, ngôn ngữ ký hiệu và từ vay mượn tiếng nước ngoài. Các công cụ tiền xử lý truyền thống dành cho văn bản chính thống không đáp ứng được độ chính xác khi xử lý dữ liệu Microblog. Bên cạnh đó, các mô hình học máy truyền thống thường sử dụng các đặc trưng phân loại được thiết kế thủ công, rời rạc hoặc các mô hình học sâu chưa tích hợp đầy đủ thông tin ngôn ngữ bổ trợ bên ngoài, làm hạn chế hiệu năng phân loại tính chủ quan và phân tích tình cảm theo khía cạnh.

2. Mục tiêu nghiên cứu

Luận án xác định hai mục tiêu chính:

  1. Nghiên cứu đề xuất các phương pháp và mô hình học máy cho bài toán phân tích tình cảm:
    • Phân tích các đặc trưng ngôn ngữ được trích chọn dựa trên các mẫu có sẵn và các mẫu học tự động để tích hợp vào mô hình học thống kê cho phân loại tính chủ quan áp dụng cho dữ liệu tiếng Anh và tiếng Việt.
    • Nghiên cứu các mô hình học sâu và đề xuất phương pháp tích hợp các đặc trưng giàu thông tin bên ngoài vào mạng nơ-ron tích chập (CNN) cho bài toán phân tích tình cảm/quan điểm theo khía cạnh.
  2. Nghiên cứu đặc điểm dữ liệu tình cảm tiếng Việt dạng Microblog và đề xuất các phương pháp chuẩn hóa dữ liệu (kiểm tra chính tả, tách từ) nhằm nâng cao độ chính xác cho các bước phân tích tiếp theo.

3. Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu:
    • Văn bản bình luận tiếng Anh và tiếng Việt phục vụ phân loại câu chủ quan (chứa quan điểm) và khách quan (thông tin thực tế).
    • Dữ liệu bình luận đánh giá sản phẩm có gán nhãn thực thể, khía cạnh và độ phân cực tình cảm (tích cực, tiêu cực, trung lập).
    • Tập dữ liệu bình luận dạng Microblog tiếng Việt trong lĩnh vực sản phẩm công nghệ (điện thoại di động, máy tính xách tay, máy tính bảng, máy ảnh, truyền hình).
  • Phạm vi nghiên cứu:
    • Về không gian dữ liệu: Tập trung vào dữ liệu ngôn ngữ tiếng Anh chuẩn và dữ liệu tiếng Việt dạng Microblog thu thập từ các diễn đàn công nghệ tại Việt Nam.
    • Về cấp độ phân tích: Tập trung vào phân tích tính chủ quan ở mức câu/tài liệu và phân tích tình cảm/quan điểm ở mức thực thể/khía cạnh (Aspect-Based Sentiment Analysis - ABSA). Không đi sâu vào phân tích luồng đối thoại hay tóm tắt đa văn bản phức tạp.

Tổng quan tài liệu và vị trí của luận án

1. Các hướng nghiên cứu trên thế giới

Phân tích tình cảm và khai phá quan điểm là lĩnh vực liên ngành giữa Xử lý ngôn ngữ tự nhiên (NLP) và Học máy (ML). Luận án hệ thống hóa các hướng nghiên cứu tiêu biểu:

  • Nghiên cứu lịch sử và ứng dụng: Nghiên cứu sớm về trích xuất quan điểm dư luận thông qua định lượng câu hỏi [23]; đo lường biểu đạt quan điểm chính trị bằng bỏ phiếu tại Athens cổ đại [76]; phân tích quan điểm trong bầu cử và tài chính qua dữ liệu Twitter [55], [12], [21], [25]; phân tích cảm xúc văn học [49]; nghiên cứu quan hệ xã hội [27] và các trạng thái cảm xúc phức tạp [14].
  • Phân loại tính chủ quan: Wiebe và cộng sự [94] sử dụng tập đặc trưng nhị phân của các từ loại (đại từ, tính từ, từ chỉ số lượng, trợ động từ, trạng từ) kết hợp bộ phân loại Naive Bayes. Riloff và Wiebe [69] đề xuất kỹ thuật học tăng cường (bootstrapping) để học các mẫu danh từ chủ quan. Raaijmakers và cộng sự [68] khảo sát tương quan giữa n-gram và mẫu cú pháp từ vựng. Một số nghiên cứu khác khai thác n-gram đoạn từ [65], kết hợp n-gram từ, ký tự và âm vị [66], [96], phân loại chủ quan 4 lớp [11], trích xuất không giám sát dựa trên từ đầu mối chủ quan [95], và ứng dụng biểu diễn véc-tơ trong mô hình học sâu [17], [43].
  • Phân tích tình cảm theo khía cạnh (ABSA): Tiếp cận dựa trên cây cú pháp phụ thuộc [33], từ điển SentiWordNet [7], Naive Bayes [82]; tiếp cận không giám sát dựa trên luật từ vựng và cú pháp [22], [40]; tiếp cận học sâu với Attention-based LSTM [90], LSTM nhiều tầng chú ý [75], học biểu diễn véc-tơ nhúng khía cạnh qua lan truyền ngược [59], và mạng nơ-ron tích chập CNN [99], [32], [70].
  • Kiểm tra chính tả và chuẩn hóa: Kỹ thuật cửa sổ trượt [26], so khớp chuỗi xấp xỉ [103], mô hình n-gram biến đổi lặp [20], mô hình n-gram kết hợp ước lượng Bayes SCInsunSpell cho tiếng Trung [38], mô hình kênh nhiễu [97] và các hệ thống phát hiện - sửa lỗi dựa trên n-gram lớn [89], [42].

2. Các hướng nghiên cứu tại Việt Nam

  • Phương pháp dựa trên luật và từ điển: Sử dụng GATE framework phân loại đánh giá máy tính [35]; mô hình FOMS kết hợp luật ngữ pháp, SVM-kNN và mở rộng từ điển VietSentiWordNet từ 977 lên 9333 synsets [85], [28]; xây dựng bộ từ điển cảm xúc tiếng Việt VNSD bằng dịch máy, hồi quy logistic, Double Propagation và luật mờ [80], [79], [78].
  • Phương pháp học máy và trích chọn đặc trưng: Phân lớp quan điểm đánh giá khách sạn [24]; kỹ thuật chọn đặc trưng kết hợp Decision Tree, Naive Bayes, SVM [8], [9]; mô hình phân cấp Dirichlet (HDP) kết hợp SVM [83]; chuỗi gán nhãn BRNN kết hợp CRF trích xuất khía cạnh điện thoại thông minh [46]; mạng LSTM và Dependency Tree-LSTM cho phản hồi sinh viên [54]; các nhiệm vụ phân loại phân cực tại hội thảo VLSP 2016, 2018.
  • Kiểm tra chính tả tiếng Việt: Ứng dụng n-gram và thuật toán Viterbi [64]; mã hóa Automat kết hợp mô hình thống kê 1-gram, 2-gram, 3-gram [6].

3. Khoảng trống nghiên cứu luận án lựa chọn giải quyết

  1. Thiếu hụt các công cụ tiền xử lý chuyên biệt cho dữ liệu phi quy chuẩn dạng Microblog tiếng Việt, đặc biệt là xử lý lỗi chính tả ngữ cảnh bằng mô hình n-gram lớn và giải quyết các hiện tượng nhập nhằng trong tách từ có lỗi viết tắt.
  2. Các mẫu ngữ pháp xác định tính chủ quan cho tiếng Việt chưa được tự động hóa trích xuất từ dữ liệu thống kê ngữ liệu lớn.
  3. Việc tích hợp các đặc trưng ngôn ngữ bên ngoài (như trọng số TF-IDF biểu diễn véc-tơ) vào kiến trúc học sâu CNN hai pha cho bài toán ABSA trên văn bản đánh giá chưa được tối ưu hóa.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Khung lý thuyết và mô hình hóa

  • Khung biểu diễn quan điểm:
    • Mức tài liệu/câu: Quan điểm được mô hình hóa thành bộ 4 thành phần $\langle g, s, h, t \rangle$, trong đó $g$ là mục tiêu (goal), $s$ là mức phân cực tình cảm (sentiment), $h$ là người phát biểu (holder), $t$ là thời gian (time).
    • Mức thực thể/khía cạnh: Quan điểm được mô hình hóa thành bộ 5 thành phần $\langle e, a, s, h, t \rangle$, trong đó $e$ là thực thể mục tiêu (entity), $a$ là khía cạnh của thực thể (aspect), $s$ là tình cảm gắn với khía cạnh, $h$ là chủ thể quan điểm, $t$ là thời điểm đánh giá.
  • Biểu diễn văn bản và ngôn ngữ:
    • Mô hình tần suất từ và tần suất nghịch đảo (TF-IDF, VS.TF, BM25.TF, VS.IDF, BM25.IDF).
    • Mô hình ngôn ngữ thống kê $n$-gram và kỹ thuật nén $n$-gram.
    • Gán nhãn từ loại (POS Tagging) theo chuẩn Penn Treebank (NN, NNS, JJ, JJR, JJS, RB, RBR, RBS, VB, VBD, VBG, VBN, VBP, VBZ, v.v.).
    • Phân tích cú pháp thành phần và cú pháp phụ thuộc.
    • Véc-tơ nhúng từ (Word2Vec CBOW, FastText) và mạng ngữ nghĩa (WordNet, VietSentiWordNet).

2. Phương pháp thực nghiệm và công cụ phân tích

  • Phương pháp chuẩn hóa dữ liệu:
    • Xây dựng thuật toán kiểm tra chính tả mở rộng ngữ cảnh hai phía dựa trên mô hình ngôn ngữ $n$-gram lớn ($n \ge 3$) kết hợp kỹ thuật nén ngữ liệu.
    • Tách từ kết hợp mô hình kiểm tra lỗi chính tả và từ điển từ viết tắt để phát hiện và xử lý hai loại nhập nhằng: nhập nhằng chồng chéo (overlapping ambiguity) và nhập nhằng liên kết (combination ambiguity).
  • Phương pháp phân loại chủ quan:
    • Tiếng Anh: Khai thác tập mẫu ngữ pháp định sẵn dựa trên các nhãn từ loại tính từ, trạng từ, động từ, danh từ để trích chọn đặc trưng cho mô hình phân loại Naive Bayes và SVM.
    • Tiếng Việt: Thuật toán học thống kê tự động các mẫu ngữ pháp từ loại từ tập ngữ liệu huấn luyện đã gán nhãn, chia thành các mẫu Kiểu 1 và Kiểu 2.
  • Phương pháp học sâu cho ABSA:
    • Thiết kế kiến trúc mạng nơ-ron tích chập (CNN) hai pha: Pha 1 trích xuất khía cạnh (Aspect Extraction), Pha 2 phân loại tình cảm theo khía cạnh (Aspect Sentiment Classification).
    • Tích hợp véc-tơ đặc trưng bên ngoài tính toán qua TF-IDF vào các tầng tích chập của mạng CNN.

3. Phương pháp đánh giá hiệu năng

Hệ thống các công thức và chỉ số đánh giá được sử dụng:

Lĩnh vực đánh giá Chỉ số / Độ đo Công thức tính toán
Kiểm tra chính tả Detection Precision (DP) $DP = \frac{\text{Số phát hiện đúng}}{\text{Tổng số lỗi được phát hiện}}$
Detection Recall (DR) $DR = \frac{\text{Số phát hiện đúng}}{\text{Tổng số lỗi thực tế}}$
Correction Precision (CP) $CP = \frac{\text{Số sửa đúng}}{\text{Tổng số lỗi được phát hiện}}$
F-measure phát hiện (DF) $DF = \frac{2 \times DP \times DR}{DP + DR}$
False Positive Rate (FPR) $FPR = \frac{\text{Số phát hiện sai}}{\text{Tổng số âm tiết đúng}}$
Phân loại học máy Độ chính xác (Accuracy) $Acc = \frac{TP + TN}{TP + TN + FP + FN}$
Tỷ lệ lỗi (Error Rate) $Error_rate = 1 - Acc$
Precision ($P$) & Recall ($R$) $P = \frac{TP}{TP + FP}, \quad R = \frac{TP}{TP + FN}$
Điểm $F_1$ ($F_1\text{-score}$) $F_1 = \frac{2 \times P \times R}{P + R}$
Kiểm định chéo $k\text{-fold Cross Validation}$ ($k=10$)

Nội dung chính theo từng chương

Chương 1. TỔNG QUAN VỀ CÁC KỸ THUẬT PHÂN TÍCH TÌNH CẢM

Chương 1 thiết lập nền tảng lý thuyết tổng thể của luận án. Nội dung tập trung phân định ba cấp độ nghiên cứu trong khai phá quan điểm: mức tài liệu, mức câu và mức thực thể/khía cạnh. Tác giả phân tích chi tiết cấu trúc biểu diễn quan điểm dạng bộ 4 thành phần $\langle g, s, h, t \rangle$ cho mức câu/tài liệu và bộ 5 thành phần $\langle e, a, s, h, t \rangle$ cho mức thực thể/khía cạnh. Chương này khảo cứu hệ thống các kỹ thuật biểu diễn văn bản từ mô hình không gian véc-tơ truyền thống (TF-IDF, $n$-gram, nhãn từ loại POS, cây cú pháp) đến các kỹ thuật biểu diễn ngữ nghĩa phân tán (Word2Vec, nhúng ký tự, FastText) và mạng ngữ nghĩa (WordNet). Cuối cùng, chương 1 chuẩn hóa khung đánh giá thực nghiệm bao gồm ma trận nhầm lẫn (Confusion Matrix), các độ đo phân loại ($Acc, P, R, F_1$), các tiêu chí đánh giá sửa lỗi chính tả ($DP, DR, CP, DF, FPR$) và phương pháp kiểm định chéo 10-fold.

Chương 2. KỸ THUẬT CHUẨN HÓA DỮ LIỆU TIẾNG VIỆT TRONG PHÂN TÍCH TÌNH CẢM

Chương 2 giải quyết thách thức xử lý dữ liệu bình luận dạng Microblog tiếng Việt. Luận án đề xuất hai giải pháp cốt lõi:

[Văn bản Microblog thô]
[Dữ liệu tiếng Việt chuẩn hóa]
  1. Kiểm tra và sửa lỗi chính tả bằng mô hình $n$-gram lớn: Xây dựng thuật toán kiểm tra chính tả mở rộng ngữ cảnh hai phía. Để giải quyết vấn đề bùng nổ không gian lưu trữ của mô hình ngôn ngữ lớn, tác giả áp dụng kỹ thuật nén $n$-gram. Kết quả thực nghiệm cho thấy phương pháp đề xuất vượt trội so với phương pháp kiểm tra chính tả Copcon về độ chính xác và khả năng bao phủ ngữ cảnh.
  2. Phương pháp tách từ cho dữ liệu Microblog: Tác giả phân tích các lỗi chính tả và lỗi viết tắt là nguyên nhân chính tạo ra các âm tiết chưa biết trong từ điển, làm suy giảm hiệu năng của các bộ tách từ truyền thống. Luận án đề xuất quy trình tích hợp kiểm tra lỗi viết tắt và kiểm tra chính tả trực tiếp vào thuật toán tách từ, đồng thời xây dựng cơ chế phát hiện và khử hai dạng nhập nhằng:
    • Nhập nhằng chồng chéo: giải quyết thông qua thuật toán ghép cặp lớn nhất từ bên trái và từ bên phải.
    • Nhập nhằng liên kết: xác định sự kết hợp từ dựa trên ràng buộc ngữ cảnh. Kết quả đánh giá trên tập ngữ liệu bình luận công nghệ cho thấy độ chính xác tách từ trên dữ liệu Microblog sau khi chuẩn hóa được cải thiện rõ rệt so với khi chưa xử lý lỗi.

Chương 3. PHÂN LOẠI CÂU CHỦ QUAN DỰA TRÊN TRÍCH CHỌN CÁC ĐẶC TRƯNG TỪ CÁC MẪU NGỮ PHÁP

Chương 3 tập trung vào nhiệm vụ phân loại câu chủ quan nhằm sàng lọc câu chứa quan điểm trước khi phân loại phân cực hoặc khai phá khía cạnh. Luận án triển khai hai phương pháp tiếp cận riêng biệt cho tiếng Anh và tiếng Việt:

  1. Trích chọn đặc trưng dựa trên mẫu ngữ pháp cho tiếng Anh: Luận án định nghĩa các mẫu ngữ pháp chứa các từ loại nòng cốt mang tính đánh giá gồm: tính từ (JJ, JJR, JJS), trạng từ (RB, RBR, RBS), động từ (VB, VBD, VBG, VBN, VBP, VBZ) và danh từ (NN, NNS, NNP, NNPS). Thuật toán trích xuất các cụm từ khớp với các mẫu này từ tập câu huấn luyện để tạo thành không gian đặc trưng cho bộ phân loại SVM và Naive Bayes, mang lại độ chính xác cao hơn các đặc trưng $n$-gram cơ sở.
  2. Phương pháp học tự động các mẫu ngữ pháp cho tiếng Việt: Do tính chất ngữ pháp tiếng Việt không biến hình từ tố, tác giả đề xuất thuật toán học thống kê tự động các mẫu từ loại từ tập dữ liệu huấn luyện đã gán nhãn chủ quan/khách quan. Các mẫu được phân loại thành Kiểu 1 và Kiểu 2. Thuật toán tiến hành trích xuất, lọc ngưỡng tần suất và đánh giá trọng số mẫu. Thực nghiệm so sánh giữa mô hình chỉ dùng 1-gram, 2-gram với mô hình tích hợp các mẫu Kiểu 1 và Kiểu 2 cho thấy việc bổ sung các mẫu từ loại được học tự động đã nâng cao đáng kể độ chính xác phân loại câu chủ quan tiếng Việt.

Chương 4. PHÂN TÍCH TÌNH CẢM/QUAN ĐIỂM THEO KHÍA CẠNH VỚI MÔ HÌNH CNN

Chương 4 nghiên cứu bài toán phân tích tình cảm/quan điểm theo khía cạnh (ABSA). Luận án đề xuất mô hình mạng nơ-ron tích chập (CNN) cải tiến với hai đặc điểm kiến trúc:

  1. Kiến trúc CNN hai pha (Two-phase CNN):
    • Pha 1 (Trích xuất khía cạnh): Xác định các thực thể và khía cạnh mục tiêu xuất hiện trong câu văn.
    • Pha 2 (Phân loại tình cảm theo khía cạnh): Dự đoán mức độ phân cực tình cảm (tích cực, tiêu cực, trung lập) tương ứng với từng khía cạnh đã trích xuất.
  2. Tích hợp đặc trưng ngôn ngữ bên ngoài (External Features): Thay vì chỉ dựa vào véc-tơ nhúng từ thuần túy, mô hình tích hợp thêm các đặc trưng thống kê ngoài được tính toán dựa trên trọng số TF-IDF của các từ thể hiện quan điểm. Các đặc trưng này được kết hợp vào các lớp biểu diễn đầu vào của mạng CNN.

Thực nghiệm trên tập dữ liệu đánh giá sản phẩm công nghệ cho thấy mô hình CNN hai pha tích hợp đặc trưng ngoài đạt hiệu năng vượt trội so với các mô hình CNN cơ sở và các mô hình học máy truyền thống trong cả nhiệm vụ trích xuất khía cạnh lẫn phân loại phân cực khía cạnh.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả và đóng góp khoa học chính như sau:

1. Đóng góp về mặt phương pháp và kỹ thuật

  1. Chuẩn hóa dữ liệu Microblog tiếng Việt: Đề xuất thành công phương pháp kiểm tra chính tả sử dụng mô hình ngôn ngữ $n$-gram lớn kết hợp kỹ thuật nén dữ liệu và thuật toán mở rộng ngữ cảnh hai phía; xây dựng mô hình tách từ tích hợp từ điển từ viết tắt và kiểm tra chính tả giúp giải quyết hiệu quả các hiện tượng nhập nhằng chồng chéo và nhập nhằng liên kết trên dữ liệu bình luận ngắn.
  2. Phân loại câu chủ quan:
    • Đề xuất bộ đặc trưng ngôn ngữ dựa trên các mẫu ngữ pháp từ loại chứa tính từ, trạng từ, động từ, danh từ cho bài toán phân loại câu chủ quan tiếng Anh.
    • Xây dựng thuật toán học tự động các mẫu ngữ pháp từ loại (Kiểu 1 và Kiểu 2) dựa trên thống kê ngữ liệu cho bài toán phân loại câu chủ quan tiếng Việt.
  3. Phân tích tình cảm theo khía cạnh: Đề xuất kiến trúc mạng nơ-ron tích chập CNN hai pha kết hợp tích hợp các đặc trưng thông tin ngoài (dựa trên TF-IDF) giúp nâng cao độ chính xác trong việc phát hiện khía cạnh và phân loại phân cực tình cảm tương ứng.

2. Công bố khoa học

Các kết quả nghiên cứu chính trong luận án đã được bình duyệt và công bố trong 5 công trình khoa học tại các kỷ yếu hội thảo quốc tế chuyên ngành (thuộc hệ thống IEEE và Springer):

  • IALP 2012: Công bố phương pháp trích chọn đặc trưng ngôn ngữ cho phân loại câu chủ quan tiếng Anh.
  • KSE 2014: Công bố phương pháp kiểm tra chính tả tiếng Việt sử dụng $n$-gram lớn.
  • KSE 2014: Công bố phương pháp học tự động các mẫu ngữ pháp phân loại câu chủ quan tiếng Việt.
  • ACIS 2014: Công bố phương pháp tách từ thích nghi cho dữ liệu Microblog tiếng Việt.
  • NICS 2018: Công bố mô hình CNN hai pha tích hợp đặc trưng ngoài cho phân tích tình cảm theo khía cạnh.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ vào nội dung và phạm vi nghiên cứu được trình bày trong luận án, một số hạn chế và định hướng phát triển tiếp theo được xác định:

  • Hạn chế:
    • Ngữ liệu thực nghiệm tiếng Việt chủ yếu tập trung vào miền dữ liệu bình luận các sản phẩm công nghệ (điện thoại, máy tính bảng, laptop, máy ảnh), chưa bao phủ toàn diện các lĩnh vực dịch vụ khác như y tế, du lịch, giáo dục hay tài chính.
    • Các mẫu ngữ pháp học tự động cho tiếng Việt vẫn phụ thuộc vào chất lượng của bộ gán nhãn từ loại ban đầu; các cấu trúc câu quá phức tạp hoặc có hiện tượng đảo ngữ nặng vẫn có thể gây sai số.
    • Mô hình CNN hai pha xử lý tuần tự hai nhiệm vụ có thể dẫn đến việc lan truyền sai số từ pha trích xuất khía cạnh sang pha phân loại tình cảm.
  • Hướng nghiên cứu tiếp theo:
    • Mở rộng phạm vi thử nghiệm các mô hình trên các miền dữ liệu đánh giá đa dạng khác.
    • Nghiên cứu các kiến trúc học sâu kết hợp cơ chế chú ý (Attention mechanism), mạng bộ nhớ dài-ngắn (LSTM) hoặc các mô hình ngôn ngữ tiền huấn luyện sâu để cùng tối ưu hóa đồng thời cả hai nhiệm vụ trích xuất khía cạnh và phân loại tình cảm.
    • Hoàn thiện và tích hợp toàn bộ các module tiền xử lý, phân loại chủ quan và ABSA thành một hệ thống phần mềm hoàn chỉnh ứng dụng trong thực tế.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Xử lý ngôn ngữ tự nhiên: Tham khảo phương pháp luận kết hợp đặc trưng ngôn ngữ truyền thống với mô hình học máy thống kê và học sâu; phương pháp thiết kế thực nghiệm và xử lý dữ liệu phi chuẩn.
  • Kỹ sư phát triển hệ thống và xử lý dữ liệu lớn: Ứng dụng trực tiếp các giải pháp kỹ thuật ở Chương 2 để tiền xử lý, sửa lỗi chính tả và tách từ cho dữ liệu mạng xã hội tiếng Việt; áp dụng kiến trúc mạng CNN ở Chương 4 để xây dựng module phân tích ý kiến người dùng.
  • Tổ chức, doanh nghiệp và các nhà quản lý: Tham khảo cơ sở kỹ thuật để xây dựng các hệ thống lắng nghe mạng xã hội (Social Listening), hệ thống theo dõi mức độ hài lòng của khách hàng và phân tích phản hồi thị trường đối với sản phẩm, dịch vụ.

Câu hỏi thường gặp

1. Tại sao luận án phải xây dựng công cụ kiểm tra chính tả và tách từ riêng cho dữ liệu Microblog tiếng Việt?

Các công cụ tiền xử lý truyền thống được huấn luyện trên ngữ liệu chính thống (như báo chí, văn bản hành chính) nên đạt hiệu năng kém khi gặp dữ liệu Microblog. Dữ liệu này chứa nhiều từ viết tắt, tiếng lóng, ký hiệu tuổi teen và lỗi gõ phím. Những lỗi này tạo ra các âm tiết chưa biết trong từ điển, khiến thuật toán tách từ dựa trên từ điển bị sai lệch. Luận án kết hợp kiểm tra chính tả bằng $n$-gram lớn và từ điển từ viết tắt để chuẩn hóa âm tiết trước khi tách từ, giải quyết triệt để các nhập nhằng ngữ cảnh.

2. Khác biệt cốt lõi giữa phân loại tính chủ quan và phân loại tình cảm là gì?

Phân loại tính chủ quan là bước phân loại nhị phân nhằm xác định xem một câu/tài liệu có chứa quan điểm, cảm xúc của con người hay chỉ chứa thông tin thực tế khách quan. Phân loại tình cảm là bước tiếp theo, chỉ thực hiện trên các câu đã được xác định là chủ quan để đánh giá mức độ phân cực (tích cực, tiêu cực, trung lập) hoặc điểm số xếp hạng của quan điểm đó.

3. Cấu trúc của một quan điểm ở mức thực thể/khía cạnh gồm những thành phần nào?

Trong mô hình mức thực thể/khía cạnh, một quan điểm được mô hình hóa bằng bộ 5 thành phần: $\langle e, a, s, h, t \rangle$, trong đó $e$ là thực thể mục tiêu, $a$ là khía cạnh cụ thể của thực thể được nhận xét, $s$ là thể hiện tình cảm đối với khía cạnh $a$ (tích cực, tiêu cực hoặc trung lập), $h$ là chủ thể đưa ra quan điểm và $t$ là thời điểm đưa ra quan điểm.

4. Mô hình CNN hai pha trong Chương 4 giải quyết bài toán ABSA như thế nào?

Mô hình chia quy trình ABSA thành hai pha riêng biệt: Pha 1 thực hiện trích xuất các thực thể và khía cạnh mục tiêu trong câu; Pha 2 nhận đầu vào là các khía cạnh đã trích xuất để phân loại phân cực tình cảm tương ứng. Mô hình tích hợp thêm các véc-tơ đặc trưng bên ngoài tính bằng TF-IDF vào các lớp biểu diễn của mạng CNN để gia tăng độ chính xác phân loại.

Kết luận

Luận án "Tích hợp đặc trưng ngôn ngữ vào mô hình học thống kê cho phân tích tình cảm" của nghiên cứu sinh Nguyễn Thị Xuân Hương đã giải quyết có hệ thống các bài toán từ tiền xử lý chuẩn hóa dữ liệu Microblog tiếng Việt, phân loại câu chủ quan cho tiếng Anh và tiếng Việt, đến phân tích tình cảm theo khía cạnh bằng mô hình mạng nơ-ron tích chập CNN hai pha. Công trình kết hợp hiệu quả giữa các đặc trưng ngôn ngữ cú pháp - từ loại với các mô hình học máy thống kê và học sâu hiện đại. Toàn bộ các đề xuất phương pháp đều được kiểm chứng bằng thực nghiệm khoa học rõ ràng và được công bố tại các hội thảo quốc tế uy tín, đóng góp thiết thực cho sự phát triển của lĩnh vực xử lý ngôn ngữ tự nhiên tại Việt Nam.