Tổng quan luận án

Luận án tiến sĩ kỹ thuật với đề tài "Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc" (chuyên ngành Khoa học máy tính, mã số 62.01) do nghiên cứu sinh Lê Thị Thủy thực hiện tại Trường Đại học Bách khoa – Đại học Quốc gia TP. Hồ Chí Minh năm 2022, dưới sự hướng dẫn khoa học của GS. Phan Thị Tươi.

Tính cấp thiết và khoảng trống nghiên cứu

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (Natural Language Processing - NLP), phân tích cảm xúc (Sentiment Analysis - SA) và phân giải đồng tham chiếu (Coreference Resolution - CR) là hai hướng nghiên cứu nhận được nhiều sự quan tâm. Khi các nền tảng trực tuyến, mạng xã hội và trang thương mại điện tử phát triển, khối lượng văn bản chứa ý kiến, nhận xét của người dùng về sản phẩm và dịch vụ gia tăng nhanh chóng. Các nghiên cứu phân tích cảm xúc truyền thống chủ yếu tập trung vào ba mức độ: mức văn bản, mức câu và mức khía cạnh (Aspect-Based Sentiment Analysis - ABSA). Tuy nhiên, các cách tiếp cận hiện tại thường chỉ dừng lại ở việc xác định cực tính cảm xúc (tích cực, tiêu cực, trung lập) hoặc trích xuất các cặp khía cạnh – cảm xúc, mà chưa xác định đầy đủ và chính xác mối quan hệ liên kết giữa đối tượng cụ thể với khía cạnh và cảm xúc tương ứng.

Vấn đề càng trở nên phức tạp trong các văn bản chứa từ hai đối tượng trở lên, nơi người viết thường xuyên so sánh các đối tượng hoặc sử dụng các từ thay thế (đại từ, thực thể đồng tham chiếu) thay vì nhắc lại tên đối tượng cụ thể. Đồng thời, sự xuất hiện của các khía cạnh ẩn (khía cạnh không xuất hiện tường minh dưới dạng danh từ mà được ngụ ý qua từ cảm xúc) gây ra hiện tượng mất thông tin hoặc gán sai cảm xúc cho thực thể. Việc giải quyết bài toán phân giải đồng tham chiếu đối tượng nhằm xác định chính xác các bộ ba gồm Đối tượng – Khía cạnh – Cảm xúc chính là khoảng trống nghiên cứu mà luận án tập trung giải quyết.

Mục tiêu và các bài toán nghiên cứu

Mục tiêu tổng quát của luận án là xây dựng mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc trên các văn bản có một đối tượng và nhiều đối tượng, nhằm rút trích tự động các bộ ba đối tượng, khía cạnh và cảm xúc.

Để đạt được mục tiêu tổng quát, luận án xác định và giải quyết bốn bài toán cụ thể:

  1. Bài toán 1: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng (OCR1Obj).
  2. Bài toán 2: Làm giàu ontology cảm xúc (ESO) hỗ trợ phân giải đồng tham chiếu đối tượng.
  3. Bài toán 3: Xác định khía cạnh ẩn (IAI) hỗ trợ phân giải đồng tham chiếu đối tượng.
  4. Bài toán 4: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng (OCR2Obj / CROAS).

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các thành phần biểu đạt trong văn bản cảm xúc, bao gồm:
    • Đối tượng (Object): Khái niệm chỉ thực thể hoặc tên riêng của sản phẩm, dịch vụ cụ thể (ví dụ: Samsung Galaxy Note7, iPhone 6S).
    • Khía cạnh (Aspect): Khái niệm chỉ thành phần (component) hoặc thuộc tính (attribute) của đối tượng (ví dụ: pin, thiết kế, giá thành). Khía cạnh gồm hai dạng: tường minh (explicit aspect) và ẩn (implicit aspect).
    • Cảm xúc (Sentiment): Từ ngữ biểu đạt ý kiến, thái độ (tích cực, tiêu cực, trung lập) đối với khía cạnh của đối tượng.
  • Phạm vi nghiên cứu:
    • Ngôn ngữ: Văn bản cảm xúc, nhận xét, bình luận bằng tiếng Anh.
    • Miền ứng dụng: Miền chuyên biệt về sản phẩm công nghệ (thực nghiệm trọng tâm trên dòng sản phẩm điện thoại thông minh - smartphone).
    • Nguồn dữ liệu: Thu thập từ các trang đánh giá sản phẩm của Amazon và Công ty YouNetMedia.

Tổng quan tài liệu và vị trí của luận án

Luận án đã hệ thống hóa các hướng nghiên cứu liên quan trực tiếp đến các thành phần của bài toán:

                                  CÁC HƯỚNG NGHIÊN CỨU LIÊN QUAN
Phân giải đồng tham chiếu     Phân tích cảm xúc & ABSA        Đồng tham chiếu trong ABSA     Xác định khía cạnh ẩn
- Đại từ & thực thể:         - Mức câu/từ: Liu (2004)        - Đặc trưng ML: Ding (2010)     - Gom cụm: Su (2008)
  Sukthanker (2018),           WordNet; Manning (2014)         PMI, sentiment consistency    - Phân cấp: Yu (2011)
  Culotta (2007) đồ thị,       Stanford Sentiment Treebank   - Khung tri thức: Chen (2020)   - Naive Bayes: Mohammed (2016)
  Prokofyev (2015) KG,         & RNTN (CoreNLP)                OAC2, OMCS, SenticNet, BERT   - Đồ thị/Deep: Bagheri (2013),
  Học sâu: FFNN, LSTM, CNN   - Học sâu: Wu (2016) C/M-CNN,   - Phân lớp & ILP: Zhao (2015)     Yan (2015) NodeRank,
- Sự kiện: Cây quyết định,     Dhanush (2016) RNN-CNN          ràng buộc tuyến tính nguyên     Rana (2020) NGD & IACs
  SVM, MaxEnt, ANN           - Tích hợp ACR: Gurevych        - Cải tiến của luận án:
                               (2010), De Clercq (2020)        tích hợp bộ 3 (Obj-Asp-Sen)

Các hướng nghiên cứu trước đây

  1. Phân giải đồng tham chiếu đại từ (ACR) và thực thể:

    • Phương pháp dựa trên luật: Sukthanker và cộng sự (2018) tổng hợp các ràng buộc cú pháp và ngữ nghĩa [11-19].
    • Phương pháp học máy và thống kê: Cây quyết định [20-22], Naive Bayes [23], gom cụm [24-26].
    • Phương pháp đồ thị: Culotta và cộng sự (2007) [29] sử dụng đồ thị xác suất cụm danh từ; phương pháp phân chia đồ thị bằng thuật toán Min-Cut [30, 31]; Prokofyev và cộng sự (2015) [32] tích hợp đồ thị tri thức (Knowledge Graph) vào tầng ngữ nghĩa.
    • Phương pháp học sâu: Sử dụng mạng truyền thẳng (FFNN) [34-36], kết hợp FFNN với RNN [37], mô hình kết hợp FFNN, LSTM, CNN và cơ chế Attention [38].
    • Đồng tham chiếu sự kiện: Tiếp cận qua cây quyết định [39], Maximum Entropy [40, 41], SVM [42], và mạng nơ-ron [43, 44].

  2. Phân tích cảm xúc mức khía cạnh (ABSA):

    • M. Liu (2004) [64] sử dụng WordNet và kỹ thuật tái định cỡ mẫu thống kê để phân loại ý kiến khen/chê theo khía cạnh.
    • C. Manning và cộng sự (2014) [63] xây dựng Stanford Sentiment Treebank và mạng Tensor nơ-ron đệ quy (RNTN) tích hợp trong bộ công cụ Stanford CoreNLP để phân lớp 5 mức cảm xúc.
    • Các tiếp cận mô hình hóa chủ đề và không gian ngữ nghĩa ẩn: PLSA [66-68], LDA [69-72], LSA kết hợp SentiWordNet và WordNet Affect của Balahur và cộng sự (2009, 2012) [67, 68].
    • Mô hình học sâu cho ABSA: H. Wu và cộng sự (2016) [77] đề xuất Cascade CNN và Multitask CNN; D. Dhanush và cộng sự (2016) [78] kết hợp RNN và CNN với tầng nhúng từ Word2Vec.
    • Kết hợp đồng tham chiếu đại từ vào phân tích cảm xúc: Gurevych (2010) [83] dùng chuỗi ACR làm đường dẫn phụ thuộc trích xuất cặp khía cạnh – cảm xúc; De Clercq và V. Hoste (2020) [86] dùng ACR gán nhãn đa miền.

  3. Phân giải đồng tham chiếu đối tượng và khía cạnh trong văn bản cảm xúc:

    • X. Ding và cộng sự (2010) [6] sử dụng học máy có giám sát trên các đặc trưng cú pháp, khoảng cách và các đặc trưng cảm xúc mới (đồng nhất quan điểm - sentiment consistency, độ tương quan thực thể - từ cảm xúc theo PMI).
    • J. Chen và cộng sự (2020) [87] đề xuất mô hình OAC2 kết hợp tri thức chung (OMCS 62.730 bộ ba, SenticNet 50.000 khái niệm) với tri thức miền và mạng nơ-ron sâu dựa trên nhúng từ BERT.
    • Y. Zhao và cộng sự (2015) [88] kết hợp bộ phân lớp nhị phân cặp khía cạnh – đối tượng với quy hoạch tuyến tính nguyên (Integer Linear Programming - ILP).

  4. Xác định khía cạnh ẩn (Implicit Aspect Identification):

    • Gom cụm liên kết khía cạnh tường minh và từ cảm xúc: Q. Su và cộng sự (2008) [95], [96, 97].
    • Phân cấp khía cạnh: J. Yu và cộng sự (2011) [98].
    • Học máy: E. Mohammed (2016) [99] kết hợp Naive Bayes và WordNet.
    • Học sâu và đồ thị: J. Feng và cộng sự (2019) [100] dùng CNN; Bagheri và cộng sự (2013) [101] dùng đồ thị ngưỡng đồng xuất hiện; Z. Yan và cộng sự (2015) [102] đề xuất thuật toán NodeRank; T. Rana và cộng sự (2020) [103] dùng khoảng cách chuẩn hóa Google (NGD) và tập chỉ dẫn khía cạnh ẩn (IACs).

  5. Ontology cảm xúc và làm giàu ontology (Ontology Population):

    • Nguyen và cộng sự (2014) [8] xây dựng ontology gồm hai tầng khái niệm khía cạnh và cảm xúc với các quan hệ phân loại, phi phân loại và quan hệ cảm xúc.
    • E. Cambria và cộng sự xây dựng OntoSenticNet [104] với 100.000 khái niệm ngữ nghĩa chia theo bốn nhánh: SenticConcept, Domain, PolarityInstance, Resource.
    • Các hướng làm giàu ontology: Học máy [114-118], học sâu [119-122], dựa luật cú pháp [123-130], thống kê khoảng cách ngữ nghĩa [131-133], tiếp cận lai [134, 135].

Khoảng trống luận án lựa chọn giải quyết

Các công trình của Ding (2010), Zhao (2015) và Chen (2020) chỉ dừng lại ở việc liên kết các cặp tham chiếu giữa đối tượng và khía cạnh trên các câu so sánh mà chưa gắn kết trực tiếp với từ cảm xúc để hình thành bộ ba đầy đủ. Nhiều mô hình phụ thuộc vào việc gán nhãn thủ công tốn kém, sử dụng biểu diễn BERT chung không phản ánh đúng ngữ cảnh miền hẹp, hoặc bỏ qua việc xử lý khía cạnh ẩn. Luận án khắc phục các hạn chế này bằng cách kết hợp ontology cảm xúc tái cấu trúc, đồ thị đồng tham chiếu CRG và mô hình biểu diễn ngữ cảnh hai chiều để giải quyết đồng thời bài toán trên cả văn bản một đối tượng và văn bản nhiều đối tượng.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khung phân tích

  • Ontology cảm xúc (Sentiment Ontology - SO): Được kế thừa và tái cấu trúc từ mô hình của Nguyen và cộng sự (2014). SO gồm hai thành phần T-Box (lược đồ khái niệm) và A-Box (các thể hiện instance), phân chia thành ba lớp chính:
    • Lớp Object: Chứa các nhãn hàng và tên sản phẩm cụ thể (ví dụ: Samsung, iPhone).
    • Lớp Aspect: Chứa 3 lớp con gồm Device (thiết bị), Attribute (thuộc tính như pin, thiết kế, giá cả), Application (ứng dụng).
    • Lớp Sentiment: Chứa 3 lớp con phân cực gồm Positive (tích cực), Negative (tiêu cực), Neutral (trung lập).
  • Đồ thị đồng tham chiếu (CoReference Graph - CRG): Đồ thị có hướng và có trọng số $G = (V, E)$. Trong đó:
    • Tập đỉnh $V$: Là các từ/cụm từ đại diện cho thực thể, đại từ hoặc từ cảm xúc được rút trích từ bộ phân giải đồng tham chiếu đại từ (Core) và bộ phân tích cảm xúc (Sen).
    • Tập cạnh $E$ và trọng số: Thể hiện mối quan hệ cú pháp – ngữ nghĩa, với trọng số được tính toán dựa trên khoảng cách giữa các lớp tương ứng trong cấu trúc phân cấp của SO.
  • Văn phạm phụ thuộc (Dependency Grammar): Sử dụng các quan hệ cú pháp (như quan hệ ghép từ compound, quan hệ bổ nghĩa) để nhận diện liên kết trực tiếp giữa các thành phần trong câu.
  • Độ tương tự ngữ nghĩa giữa các từ (Semantic Similarity between Words - SSW): Kết hợp độ đo khoảng cách ngữ nghĩa trên cây phân cấp WordNet và độ tương quan thông tin tương hỗ từng điểm (PMI).

Phương pháp nghiên cứu

Luận án áp dụng phương pháp nghiên cứu định lượng kết hợp kỹ thuật tri thức:

  1. Phương pháp dựa trên tri thức và luật: Khai thác tập luật ngôn ngữ từ văn phạm phụ thuộc, kết hợp đối sánh từ vựng trên WordNet và Opinion Lexicon (OL) nhằm làm giàu tự động các thể hiện cho SO.
  2. Phương pháp học máy và mạng nơ-ron nhân tạo (ANN):
    • Sử dụng Perceptron đa tầng (Multilayer Perceptron - MLP) gồm tầng vào, hai tầng ẩn và tầng ra với hàm kích hoạt phi tuyến Tanh: $$\text{Tanh}(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}$$
    • Tối ưu hóa mạng bằng thuật toán lan truyền ngược (Backpropagation) kết hợp phương pháp hạ độ dốc (Gradient Descent) để cực tiểu hóa hàm lỗi.
  3. Mô hình biểu diễn ngôn ngữ theo ngữ cảnh (Contextual Word Embeddings):
    • Ứng dụng kiến trúc BERT (Bidirectional Encoder Representations from Transformers) với cơ chế Self-Attention đa tầng, thực hiện tiền huấn luyện trên hai tác vụ học không giám sát: Mô hình ngôn ngữ mặt nạ (Masked Language Model - MLM, chọn ngẫu nhiên 15% từ: 80% gắn nhãn [MASK], 10% thay bằng từ ngẫu nhiên, 10% giữ nguyên) và Dự đoán câu tiếp theo (Next Sentence Prediction - NSP).
    • Biểu diễn đầu vào của mỗi từ là tổng hợp của Token Embeddings, Position Embeddings và Segment Embeddings.
       ĐẦU VÀO TOKEN BERT CHO MÔ HÌNH NGỮ CẢNH
       [CLS]  Token_1  Token_2  ...  [SEP]  Token_k  ...  [SEP]
                 VÉC-TƠ NGỮ CẢNH 2 CHIỀU (ECW)

Nguồn tư liệu và dữ liệu thực nghiệm

  • Corpus12: Kho ngữ liệu gồm 389.103 văn bản cảm xúc tiếng Anh về điện thoại thông minh, thu thập từ website Amazon và YouNetMedia. Kho ngữ liệu được phân tách thành:
    • Corpus1: Tập hợp các văn bản chỉ đề cập đến một đối tượng duy nhất.
    • Corpus2: Tập hợp các văn bản đề cập từ hai đối tượng trở lên.
  • Tập dữ liệu huấn luyện mô-đun IAI: Trích xuất 69.905 mẫu từ Corpus12 (gồm 64.374 mẫu huấn luyện và 5.598 mẫu kiểm thử).
  • Bộ từ điển và tài nguyên tri thức hỗ trợ: Cơ sở dữ liệu từ vựng WordNet (với cấu trúc đồng nghĩa synset và phân cấp hypernym/hyponym), từ điển cảm xúc Opinion Lexicon (OL), kho ngữ liệu tiền huấn luyện BooksCorpus (800 triệu từ) và Wikipedia tiếng Anh (2.500 triệu từ).

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập nền tảng nghiên cứu, chỉ rõ động cơ từ nhu cầu thực tiễn trong khai phá dữ liệu thương mại điện tử và những điểm chưa hoàn thiện của các hệ thống phân tích cảm xúc hiện hành. Tác giả trình bày cấu trúc tổng thể của hệ thống đề xuất gồm các mô-đun chức năng:

                   SƠ ĐỒ LUỒNG XỬ LÝ HỆ THỐNG ĐỀ XUẤT
                               Document
                                PARSE
                     (Gán nhãn, văn phạm phụ thuộc)
                                RECOAS
             (Nhận dạng thành phần dựa trên Sentiment Ontology)
        [Số đối tượng = 1]                    [Số đối tượng > 1]
            OCR1Obj                               OCR2Obj
    (Khai thác SO, CRG, IAI)               (Học sâu BERT + ECW + CRG)
                      TRIPLETS OF OBJECT - ASPECT - SENTIMENT

Chương này cũng tóm tắt 5 đóng góp chính và bố cục toàn văn luận án.

Chương 2: Các nghiên cứu liên quan và các kiến thức nền tảng

Chương 2 cung cấp tổng quan tài liệu về 5 nhóm bài toán: phân giải đồng tham chiếu (đại từ, thực thể, sự kiện), phân tích cảm xúc các mức độ, phân giải đồng tham chiếu đối tượng – khía cạnh, trích xuất khía cạnh ẩn, và các kỹ thuật xây dựng/làm giàu ontology. Phân tích chỉ ra rằng các mô hình như OAC2 (Chen và cộng sự, 2020) dù tích hợp tri thức OMCS/SenticNet nhưng cấu trúc phức tạp với 8 mạng nơ-ron xếp chồng vẫn chỉ đạt F1-score từ 71% đến 73% và chưa trích xuất được cảm xúc hay khía cạnh ẩn. Chương này cũng trình bày lý thuyết nền tảng về mạng ANN, hàm Tanh, thuật toán lan truyền ngược và mô hình ngôn ngữ BERT.

Chương 3: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng

Chương 3 tập trung giải quyết bài toán trên văn bản đề cập duy nhất một đối tượng thông qua mô hình OCR1Obj kết hợp mô hình xác định khía cạnh ẩn IAI:

  • Mô hình xác định khía cạnh ẩn (IAI): Ứng dụng mạng ANN 2 tầng ẩn. Quá trình huấn luyện sử dụng 69.905 mẫu trích xuất từ Corpus12, chia thành tập huấn luyện (64.374 mẫu) và tập kiểm thử (5.598 mẫu), đạt độ chính xác 0,82. Mô hình tiếp tục trải qua hai bước tinh chỉnh (Fine-Tuning1 và Fine-Tuning2) với các bộ trọng số $W_1 \rightarrow W_{2s} \rightarrow W_{3s}$ tương ứng với các từ cảm xúc và thuộc tính trong SO.
       QUY TRÌNH TINH CHỈNH TRỌNG SỐ TRONG MÔ HÌNH IAI
  • So sánh thực nghiệm trên tập 110 văn bản về smartphone cho thấy IAI vượt trội hơn phương pháp baseline ML-KB*.
  • Mô hình OCR1Obj: Tích hợp bộ phân tích cú pháp (PARSE), bộ phân giải đồng tham chiếu đại từ/thực thể (Core), bộ phân tích cảm xúc mức khía cạnh (Sen) và mô-đun OBASCore. Các mối quan hệ được biểu diễn trên đồ thị đồng tham chiếu CRG. Thuật toán tìm kiếm và duyệt cây trên CRG được thực thi để rút ra các bộ ba đối tượng – khía cạnh – cảm xúc. Đánh giá thực nghiệm trên 320 văn bản cảm xúc về smartphone xác nhận tính hiệu quả của mô hình.

Chương 4: Làm giàu ontology cảm xúc hỗ trợ phân giải đồng tham chiếu cho phân tích cảm xúc

Chương 4 đề xuất mô hình làm giàu ontology cảm xúc (Enriched Sentiment Ontology - ESO) dựa trên việc bổ sung các thể hiện (instance) cho A-Box mà không làm thay đổi cấu trúc T-Box:

  • Cơ chế hoạt động: Kết hợp phân tích quan hệ văn phạm phụ thuộc (đặc biệt là quan hệ từ ghép compound), tính độ tương tự ngữ nghĩa SSW trên cấu trúc phân cấp của WordNet và đối sánh với bộ từ vựng cảm xúc Opinion Lexicon.
  • Quy trình gán lớp: Tính toán độ tương đồng giữa danh từ mới xuất hiện và các lớp con của lớp Aspect (Device, Attribute, Application). Thể hiện mới được gán vào lớp có giá trị SSW cao nhất.
  • Thực nghiệm và đánh giá: Thực hiện trên tập dữ liệu gồm 614 câu văn bản cảm xúc. Đánh giá so sánh hiệu quả nhận dạng của SO trước và sau khi làm giàu cho thấy sự cải thiện rõ rệt về độ bao phủ và độ chính xác của các thể hiện đối tượng, khía cạnh và từ cảm xúc.

Chương 5: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng

Chương 5 giải quyết bài toán phức tạp nhất khi văn bản chứa từ hai đối tượng trở lên (mô hình CROAS):

  • Kiến trúc mô hình CROAS: Gồm hai giai đoạn chính:
    1. Giai đoạn huấn luyện: Sử dụng kho ngữ liệu văn bản một đối tượng (Corpus1) để học mối liên kết ngữ cảnh chuẩn giữa đối tượng – khía cạnh và đối tượng – cảm xúc. Áp dụng mô hình BERT tiền huấn luyện với 300.000 và 500.000 bước lặp (steps) để trích xuất véc-tơ nhúng ngữ cảnh hai chiều (Embedding Context Word - ECW). Sử dụng mạng nơ-ron để học bộ trọng số phân lớp $W_2$.
    2. Giai đoạn thử nghiệm/phân loại: Nhận văn bản đầu vào chứa nhiều đối tượng, lọc các thực thể qua SO, tính toán véc-tơ ngữ cảnh, đưa qua bộ phân lớp để xác định xác suất liên kết của từng khía cạnh/cảm xúc với đối tượng tương ứng.
  • Tích hợp đồ thị CRG: Kết quả phân lớp được đưa vào đồ thị CRG đa đối tượng. Áp dụng thuật toán tìm kiếm duyệt cây để sinh ra các bộ ba hoàn chỉnh.
  • Đánh giá thực nghiệm: Đánh giá trên tập dữ liệu thử nghiệm chuẩn gồm 1.000 văn bản bình luận về smartphone, so sánh trực tiếp với hai công trình cơ sở (Baseline 1 và Baseline 2), khẳng định tính khả thi và độ chính xác của giải pháp đề xuất.

Chương 6: Kết luận

Chương 6 tổng kết các kết quả nghiên cứu đã đạt được của luận án, khẳng định hệ thống đã giải quyết trọn vẹn 4 bài toán đặt ra, trích xuất thành công các bộ ba đối tượng – khía cạnh – cảm xúc trên cả văn bản đơn và đa đối tượng. Đồng thời, chương này chỉ ra các định hướng nghiên cứu tiếp theo nhằm mở rộng giải pháp.

Kết quả và những đóng góp mới

Những đóng góp mới về mặt lý luận và khoa học

Theo công bố của tác giả, luận án mang lại 5 đóng góp chính:

  1. Xây dựng cấu trúc Ontology cảm xúc (SO) và Đồ thị đồng tham chiếu (CRG): Tái cấu trúc ontology phân cấp gồm 3 lớp độc lập (Object, Aspect, Sentiment) và thiết lập mô hình đồ thị có hướng, có trọng số CRG làm công cụ suy diễn bộ ba.
  2. Đề xuất mô hình phân giải đồng tham chiếu đối tượng cho văn bản có một đối tượng: Xây dựng mô-đun OBASCore kết nối kết quả phân giải đồng tham chiếu đại từ, thực thể và phân tích cảm xúc mức khía cạnh trên đồ thị CRG.
  3. Đề xuất mô hình làm giàu ontology cảm xúc (ESO): Giải pháp bán tự động kết hợp quan hệ văn phạm phụ thuộc, độ đo tương tự ngữ nghĩa WordNet và từ điển Opinion Lexicon để bổ sung thể hiện theo miền chuyên biệt.
  4. Đề xuất mô hình xác định khía cạnh ẩn (IAI): Ứng dụng mạng nơ-ron nhân tạo đa tầng kết hợp kỹ thuật tinh chỉnh trọng số nhiều pha ($W_1 \rightarrow W_{2s} \rightarrow W_{3s}$) trên kho ngữ liệu lớn.
  5. Xây dựng mô hình phân giải đồng tham chiếu đối tượng cho văn bản có nhiều đối tượng (CROAS): Giải pháp kết hợp mô hình ngôn ngữ BERT trích xuất véc-tơ ngữ cảnh hai chiều (ECW), học phân lớp từ kho ngữ liệu đơn đối tượng (Corpus1) và suy luận đa đối tượng trên đồ thị CRG.

Tổng hợp số liệu thực nghiệm chính

Thành phần / Mô-đun Tập dữ liệu thực nghiệm Quy mô dữ liệu Thông số / Kỹ thuật Kết quả ghi nhận
Mô-đun huấn luyện IAI Dữ liệu trích xuất từ Corpus12 69.905 mẫu 64.374 mẫu train, 5.598 mẫu test; ANN 2 tầng ẩn Độ chính xác đạt 0,82
Đánh giá IAI Dữ liệu văn bản smartphone 110 văn bản So sánh đối chuẩn với phương pháp ML-KB* IAI cho kết quả vượt trội hơn ML-KB*
Mô hình OCR1Obj Văn bản cảm xúc smartphone 320 văn bản Tích hợp PARSE, Core, Sen, SO và OBASCore trên CRG Trích xuất chính xác các bộ ba Obj-Asp-Sen
Mô hình ESO Câu văn bản cảm xúc 614 câu Phân tích quan hệ compound, SSW trên WordNet, Opinion Lexicon Gia tăng số lượng thể hiện trong SO
Tiền huấn luyện CROAS Corpus1 (trích từ Corpus12) 389.103 văn bản BERT tiền huấn luyện với 300.000 và 500.000 bước (steps) Tối ưu hóa khoảng cách Euclid và bộ trọng số phân lớp
Đánh giá mô hình CROAS Bình luận smartphone 1.000 văn bản So sánh đối chuẩn với 2 mô hình cơ sở (Baseline) Đạt độ chính xác cao hơn hai mô hình Baseline

Kiến nghị và ứng dụng thực tiễn

Kết quả của luận án cung cấp giải pháp trích xuất thông tin có cấu trúc phục vụ các hệ thống phân tích thị trường, theo dõi phản hồi người tiêu dùng tự động trên các sàn thương mại điện tử, hỗ trợ doanh nghiệp nắm bắt chi tiết đánh giá của khách hàng đối với từng linh kiện, tính năng của sản phẩm.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của luận án

  • Phạm vi ngôn ngữ: Toàn bộ các mô hình và giải thuật thực nghiệm chỉ mới áp dụng trên tập ngữ liệu văn bản tiếng Anh.
  • Miền chuyên biệt: Thực nghiệm chính của luận án chủ yếu tập trung vào miền dữ liệu sản phẩm điện thoại thông minh (smartphone); việc mở rộng sang các miền sản phẩm hoặc dịch vụ phức tạp khác đòi hỏi phải khởi tạo lại cấu trúc thể hiện của ontology cảm xúc.
  • Chi phí tính toán: Quá trình tiền huấn luyện véc-tơ nhúng ngữ cảnh với mô hình BERT và tinh chỉnh trọng số mạng nơ-ron qua nhiều bước (300.000 – 500.000 bước) đòi hỏi tài nguyên tính toán lớn.

Hướng phát triển tiếp theo

  • Mở rộng nghiên cứu áp dụng mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc trên dữ liệu văn bản tiếng Việt.
  • Thử nghiệm và hoàn thiện mô hình trên nhiều miền sản phẩm, dịch vụ đa dạng khác nhau (xe hơi, thiết bị gia dụng, nhà hàng, khách sạn).
  • Nghiên cứu ứng dụng các kiến trúc mô hình ngôn ngữ lớn và kỹ thuật học sâu mới nhằm tối ưu hóa thời gian huấn luyện và nâng cao độ chính xác trong phân giải đồng tham chiếu đa đối tượng.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên sâu cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Khoa học máy tính, Trí tuệ nhân tạo, Xử lý ngôn ngữ tự nhiên: Cung cấp phương pháp luận kết hợp cơ sở tri thức hình thức (Ontology) với các kỹ thuật học sâu hiện đại (BERT, Contextual Word Embeddings) và lý thuyết đồ thị (CRG).
  • Giảng viên và chuyên gia giảng dạy: Làm tài liệu tham khảo cho các chuyên đề chuyên sâu về Khai phá quan điểm (Opinion Mining), Phân tích cảm xúc mức khía cạnh (ABSA) và Phân giải đồng tham chiếu (Coreference Resolution).
  • Kỹ sư phát triển phần mềm và chuyên viên phân tích dữ liệu: Tham khảo quy trình xây dựng hệ thống phân tích phản hồi khách hàng tự động, kỹ thuật trích xuất khía cạnh ẩn từ dữ liệu phi cấu trúc và phương pháp làm giàu ontology miền tự động từ văn bản.

Câu hỏi thường gặp

1. Cấu trúc Sentiment Ontology (SO) của luận án có điểm gì khác biệt so với mô hình của Nguyen và cộng sự (2014)?

Trong mô hình của Nguyen và cộng sự (2014), ontology chỉ gồm hai lớp khái niệm là Aspect và Sentiment, trong đó lớp Aspect bao hàm cả tên nhãn hàng, sản phẩm lẫn các đặc tính. Luận án của Lê Thị Thủy đã tái cấu trúc SO thành ba lớp khái niệm riêng biệt gồm Object (chứa các lớp con về thương hiệu, tên dòng sản phẩm), Aspect (chứa 3 lớp con: Device, Attribute, Application phản ánh đúng thuộc tính, thành phần) và Sentiment (chứa Positive, Negative, Neutral). Cấu trúc này giúp phân định rõ ràng giữa thực thể mang thuộc tính và bản thân thuộc tính, tạo tiền đề để xây dựng bộ ba Đối tượng – Khía cạnh – Cảm xúc.

2. Mô hình IAI giải quyết việc xác định khía cạnh ẩn bằng kỹ thuật nào?

Mô hình IAI sử dụng mạng nơ-ron nhân tạo 2 tầng ẩn. Đầu tiên, mạng được huấn luyện trên 69.905 mẫu dữ liệu trích xuất từ Corpus12 để thu được bộ trọng số cơ sở $W_1$. Sau đó, $W_1$ được tinh chỉnh qua bước Fine-Tuning1 dựa trên tập dữ liệu tương ứng với từng từ cảm xúc cụ thể để tạo ra các bộ trọng số $W_{2s}$. Cuối cùng, $W_{2s}$ tiếp tục được tinh chỉnh qua bước Fine-Tuning2 đối với các từ cảm xúc tham chiếu đến lớp thuộc tính (Attribute) trong SO để sinh ra bộ trọng số tối ưu $W_{3s}$, dùng để phân lớp chính xác khía cạnh ẩn.

3. Đồ thị đồng tham chiếu (CRG) đóng vai trò gì trong việc tìm ra bộ ba kết quả?

CRG là đồ thị có hướng và có trọng số, đóng vai trò là cấu trúc dữ liệu trung gian hợp nhất kết quả từ bộ phân giải đồng tham chiếu đại từ/thực thể (Core) và bộ phân tích cảm xúc mức khía cạnh (Sen). Các đỉnh biểu diễn các từ/cụm từ, còn các cạnh có trọng số tương ứng với khoảng cách phân cấp giữa các lớp trong SO. Bằng cách áp dụng các giải thuật tìm kiếm và duyệt cây trên CRG, hệ thống kết nối các mắt xích để truy xuất ra các bộ ba hoàn chỉnh Đối tượng – Khía cạnh – Cảm xúc.

4. Tại sao luận án lại sử dụng kho ngữ liệu một đối tượng (Corpus1) để huấn luyện mô hình cho văn bản nhiều đối tượng (CROAS)?

Trong văn bản một đối tượng (Corpus1), toàn bộ các từ chỉ khía cạnh và cảm xúc xuất hiện đều chắc chắn quy chiếu về đối tượng duy nhất đó. Do đó, Corpus1 cung cấp nguồn dữ liệu gán nhãn tự nhiên, chuẩn xác mà không cần chuyên gia gán nhãn thủ công. Mô hình CROAS trích xuất các véc-tơ ngữ cảnh hai chiều (ECW) từ Corpus1 thông qua BERT để học các mẫu liên kết đối tượng – khía cạnh và đối tượng – cảm xúc, sau đó áp dụng bộ trọng số đã học để phân lớp cho văn bản chứa nhiều đối tượng so sánh phức tạp (Corpus2).

5. Quá trình làm giàu ontology (ESO) sử dụng những nguồn tri thức nào?

Mô hình ESO kết hợp phân tích cú pháp phụ thuộc (đặc biệt là quan hệ ghép từ compound) với hai nguồn tài nguyên từ vựng chuẩn trong xử lý ngôn ngữ tự nhiên: cơ sở dữ liệu phân cấp WordNet (để tính toán độ tương tự ngữ nghĩa SSW giữa danh từ mới và các lớp con của Aspect) và từ điển cảm xúc Opinion Lexicon (OL) (để xác định phân cực của từ cảm xúc mới).

Kết luận

Luận án tiến sĩ của tác giả Lê Thị Thủy đã giải quyết trọn vẹn bài toán phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc trên văn bản tiếng Anh thuộc miền sản phẩm chuyên biệt. Công trình đã kết hợp hài hòa giữa cơ sở tri thức hình thức (Sentiment Ontology, đồ thị CRG) và các kỹ thuật học máy, học sâu tiên tiến (mạng ANN, mô hình ngôn ngữ BERT trích xuất véc-tơ ngữ cảnh hai chiều). Các kết quả thực nghiệm trên kho ngữ liệu 389.103 văn bản từ Amazon và YouNetMedia đã chứng minh tính khả thi và hiệu quả của các mô hình IAI, ESO, OCR1Obj và CROAS trong việc rút trích chính xác các bộ ba Đối tượng – Khía cạnh – Cảm xúc. Công trình đóng góp thiết thực cho cả lý thuyết xử lý ngôn ngữ tự nhiên và ứng dụng khai phá ý kiến trong thực tiễn.