Tổng quan luận án

Luận án tiến sĩ kỹ thuật chuyên ngành Khoa học máy tính (Mã số: 62.01) của nghiên cứu sinh Lê Thị Thủy, được thực hiện dưới sự hướng dẫn khoa học của GS. Phan Thị Tươi tại Trường Đại học Bách Khoa – Đại học Quốc gia Thành phố Hồ Chí Minh (năm 2022), mang tiêu đề: "Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc".

Tính cấp thiết và khoảng trống nghiên cứu

Phân giải đồng tham chiếu (Coreference Resolution - CR) và phân tích cảm xúc (Sentiment Analysis - SA / Opinion Mining) là hai bài toán quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP). Khi thương mại điện tử và mạng xã hội phát triển, khối lượng văn bản chứa ý kiến đánh giá của người dùng về các sản phẩm, dịch vụ ngày càng gia tăng. Trong các văn bản này, một đối tượng hoặc thuộc tính của đối tượng thường được lặp lại nhiều lần bằng các từ thay thế như đại từ nhân xưng, danh từ ngắn gọn hoặc các cụm từ đồng tham chiếu.

Các hướng tiếp cận phân tích cảm xúc truyền thống ở mức văn bản, mức câu và mức khía cạnh (Aspect-Based Sentiment Analysis - ABSA) chủ yếu tập trung vào việc phân loại phân cực cảm xúc (tích cực, tiêu cực, trung lập) hoặc xác định cặp khía cạnh – cảm xúc. Tuy nhiên, các phương pháp này bộc lộ khoảng trống nghiên cứu khi chưa xác định đầy đủ và tường minh mối liên kết giữa ba thành phần: đối tượng được nói đến, khía cạnh của đối tượng và từ ngữ mang cảm xúc. Đặc biệt, đối với các văn bản chứa từ hai đối tượng trở lên (văn bản so sánh), việc xác định một khía cạnh hay một từ cảm xúc đang quy chiếu về đối tượng nào là bài toán phức tạp và chưa có nhiều công trình giải quyết trọn vẹn. Mặt khác, các nghiên cứu trước đây về phân giải đồng tham chiếu đối tượng – khía cạnh thường chỉ dừng lại ở câu so sánh, phụ thuộc vào dữ liệu gán nhãn thủ công và chưa tích hợp xử lý khía cạnh ẩn (implicit aspect).

Mục tiêu và các bài toán nghiên cứu cụ thể

Mục tiêu tổng quát của luận án là xây dựng mô hình phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc trên các văn bản có một hoặc nhiều đối tượng nhằm rút trích chính xác các bộ ba: Đối tượng – Khía cạnh – Cảm xúc (Object – Aspect – Sentiment).

Để đạt được mục tiêu tổng quát, luận án xác định và giải quyết 4 bài toán thành phần:

  1. Bài toán 1: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng (OCR1Obj).
  2. Bài toán 2: Làm giàu ontology cảm xúc (Enriched Sentiment Ontology - ESO) hỗ trợ phân giải đồng tham chiếu đối tượng.
  3. Bài toán 3: Xác định khía cạnh ẩn (Implicit Aspect Identification - IAI) hỗ trợ phân giải đồng tham chiếu đối tượng.
  4. Bài toán 4: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng (OCR2Obj / CROAS).

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Các thực thể sản phẩm/dịch vụ (Object), các thành phần và thuộc tính của sản phẩm (Aspect), cùng các từ ngữ biểu thị thái độ, ý kiến (Sentiment) xuất hiện trong văn bản phản hồi người dùng.
  • Phạm vi dữ liệu: Luận án giới hạn thực nghiệm trên các văn bản cảm xúc, bình luận và nhận xét bằng tiếng Anh được thu thập từ trang thương mại điện tử Amazon và công ty YouNetMedia, tập trung chuyên sâu vào miền dữ liệu sản phẩm điện thoại thông minh (smartphone).

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu trước đây

Luận án đã hệ thống hóa các hướng nghiên cứu liên quan trên bốn nhóm chủ đề chính:

  • Phân giải đồng tham chiếu đại từ và thực thể: Các tiếp cận dựa trên luật (Sukthanker và cs., 2018); học máy như cây quyết định, Naive Bayes, thuật toán gom cụm; tiếp cận đồ thị như đồ thị cắt Min-Cut của A. Culotta và cs. (2007); tiếp cận đồ thị tri thức (Knowledge Graph) của R. Prokofyev và cs. (2015); và các mô hình học sâu kết hợp mạng nơ-ron lan truyền tiến (FFNN), mạng nơ-ron hồi quy (RNN), mạng tích chập (CNN), bộ nhớ dài-ngắn (LSTM) và cơ chế Attention.
  • Phân tích cảm xúc mức khía cạnh (ABSA): C. Manning và cs. (2014) sử dụng ngân hàng cây Stanford Sentiment Treebank và mạng Tensor nơ-ron đệ quy (RNTN) tích hợp trong bộ công cụ Stanford CoreNLP; M. Liu (2004) khai phá ý kiến dựa trên từ điển WordNet; các phương pháp mô hình hóa chủ đề như PLSA (Balahura và cs., 2009, 2012) và LDA; các kiến trúc học sâu như Cascade CNN (C-CNN), Multitask CNN (M-CNN) của H. Wu và cs. (2016); mô hình kết hợp RNN và CNN với Word2Vec của D. Dhanush và cs. (2016); và hướng tiếp cận ontology cảm xúc của Nguyen và cs. (2014).
  • Phân giải đồng tham chiếu kết hợp phân tích cảm xúc: Gurevych (2010), De Clercq và Hoste (2020) áp dụng đồng tham chiếu đại từ vào phân tích cảm xúc; X. Ding và cs. (2010) sử dụng học máy có giám sát trên tập đặc trưng từ vựng – ngữ nghĩa kết hợp độ đo thông tin tương hỗ từng điểm (Pointwise Mutual Information - PMI) và đặc trưng đồng nhất quan điểm (sentiment consistency); Y. Zhao và cs. (2015) đề xuất mô hình phân lớp nhị phân kết hợp quy hoạch tuyến tính nguyên (Integer Linear Programming - ILP); J. Chen và cs. (2020) xây dựng mô hình OAC2 định hướng tri thức kết hợp BERT, cơ sở tri thức OMCS và SenticNet.
  • Xác định khía cạnh ẩn: Tiếp cận gom cụm (Q. Su và cs., 2008); tiếp cận phân cấp (J. Yu và cs., 2011); tiếp cận học máy Naive Bayes kết hợp WordNet (E. Mohammed, 2016); tiếp cận học sâu với CNN (J. Feng và cs., 2019), mô hình đồ thị (Bagheri và cs., 2013), thuật toán NodeRank (Z. Yan và cs., 2015); tiếp cận tri thức dựa trên khoảng cách Google chuẩn hóa (Normalized Google Distance - NGD) của T. Rana và cs. (2020).
  • Ontology cảm xúc và làm giàu ontology (Ontology Population): Cơ sở tri thức OntoSenticNet; các kỹ thuật làm giàu tầng thể hiện (A-Box) qua học máy (SVM), học sâu (CNN, RNN), luật ngữ pháp – từ vựng và các độ đo thống kê tương tự ngữ nghĩa.
Nhóm nghiên cứu Công trình tiêu biểu Phương pháp chính Hạn chế ghi nhận trong luận án
Phân giải đồng tham chiếu đối tượng & khía cạnh X. Ding và cs. (2010) Học máy có giám sát, đặc trưng PMI, tính đồng nhất quan điểm Chỉ áp dụng trên câu so sánh; chưa liên kết bộ ba với từ cảm xúc.
Định hướng tri thức cho đồng tham chiếu J. Chen và cs. (2020) (OAC2) Kết hợp OMCS, SenticNet, BERT, 8 mạng nơ-ron xếp chồng BERT tổng quát chưa sát miền chuyên biệt; gán nhãn thủ công; chưa xử lý khía cạnh ẩn.
Phân lớp cặp thực thể Y. Zhao và cs. (2015) Phân lớp nhị phân kết hợp quy hoạch tuyến tính nguyên (ILP) Phụ thuộc gán nhãn thủ công; chưa tích hợp thành phần cảm xúc vào bộ ba.
Xác định khía cạnh ẩn T. Rana và cs. (2020) Tri thức nhiều lớp, độ đo NGD Chưa xử lý đồng tham chiếu đại từ (thay thế sai đại từ 'it').
Ontology cảm xúc Nguyen và cs. (2014) Ontology 2 lớp (Aspect Concepts và Sentiment Concepts) Lớp Aspect gộp cả nhà sản xuất, sản phẩm và đặc tính, chưa phân định rõ đối tượng độc lập.

Khoảng trống luận án lựa chọn giải quyết

Luận án giải quyết khoảng trống về việc trích xuất đồng thời bộ ba (Đối tượng – Khía cạnh – Cảm xúc) thay vì chỉ xác định cặp rời rạc. Nghiên cứu khắc phục tình trạng phụ thuộc vào dữ liệu gán nhãn thủ công bằng cách khai thác mô hình biểu diễn từ có ngữ cảnh (Contextual Word Embeddings) kết hợp ontology cảm xúc miền chuyên biệt, giải quyết triệt để khía cạnh ẩn và mở rộng phạm vi xử lý cho văn bản chứa nhiều đối tượng so sánh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và các khái niệm cốt lõi

  • Đối tượng (Object): Khái niệm chỉ thực thể hoặc tên riêng của một sản phẩm, đồ vật cụ thể (ví dụ: Samsung Galaxy Note7, Apple iPhone7).
  • Khía cạnh (Aspect): Khái niệm đề cập đến một thành phần (component) hoặc thuộc tính (attribute) của đối tượng (ví dụ: battery, design, price, sound, storage).
  • Cảm xúc (Sentiment): Khái niệm gồm các từ ngữ mang thái độ, ý kiến đánh giá về khía cạnh của đối tượng, được phân loại thành ba trạng thái phân cực: tích cực (positive), tiêu cực (negative) hoặc trung lập (neutral).
  • Ontology cảm xúc (Sentiment Ontology - SO): Luận án tái cấu trúc ontology từ mô hình của Nguyen và cs. (2014) thành 3 lớp khái niệm chính: Object (chứa các lớp con thương hiệu, dòng máy như Samsung, iPhone), Aspect (chứa các lớp con Device, Attribute, Application), và Sentiment (chứa các lớp con Positive, Negative, Neutral).
  • Đồ thị đồng tham chiếu (CoReference Graph - CRG): Đồ thị có hướng và có trọng số $G = (V, E, W)$, trong đó các đỉnh $V$ biểu diễn các từ/cụm từ trích xuất từ phân giải đồng tham chiếu đại từ/thực thể và phân tích cảm xúc; các cạnh $E$ thể hiện quan hệ cú pháp – ngữ nghĩa; trọng số $W$ được xác định dựa trên khoảng cách cấu trúc giữa các lớp tương ứng trong ontology cảm xúc.
  • Mô hình học sâu và biểu diễn ngôn ngữ:
    • Mạng nơ-ron nhân tạo đa tầng (Multilayer Perceptron - MLP / ANN) với thuật toán lan truyền ngược (Backpropagation) và các hàm kích hoạt (Sigmoid, Tanh, ReLU).
    • Mô hình ngôn ngữ BERT (Bidirectional Encoder Representations from Transformers) với cơ chế Self-Attention và hai nhiệm vụ tiền huấn luyện: Mô hình ngôn ngữ mặt nạ (Masked Language Model - MLM) và Dự đoán câu tiếp theo (Next Sentence Prediction - NSP), tạo ra các vector nhúng từ có ngữ cảnh hai chiều (Contextual Word Embeddings).

Phương pháp nghiên cứu

Luận án áp dụng phương pháp nghiên cứu kết hợp giữa cơ sở tri thức (Knowledge-based), phân tích ngôn ngữ học dựa trên luật và học sâu (Deep Learning):

  1. Phân tích cú pháp (Parsing): Sử dụng quan hệ văn phạm phụ thuộc (Dependency Grammar) từ Stanford Parser để xác định các quan hệ ngữ pháp (ví dụ: quan hệ từ ghép compound, quan hệ bổ nghĩa).
  2. Đo lường độ tương tự ngữ nghĩa (SSW): Kết hợp cấu trúc phân cấp phân loại của WordNet và từ điển Opinion Lexicon (OL) để đo độ tương tự giữa các từ, hỗ trợ gán lớp tự động trong mô hình làm giàu ontology.
  3. Mô hình hóa chuỗi và học biểu diễn: Huấn luyện mạng nơ-ron để tối ưu hóa vector trọng số $W$ qua các tầng ẩn, kết hợp biểu diễn ngữ cảnh từ BERT để phân loại cặp đối tượng – khía cạnh và đối tượng – cảm xúc.
  4. Duyệt đồ thị suy luận: Sử dụng các thuật toán tìm kiếm và duyệt cây trên đồ thị CRG để truy xuất các đường đi hợp lệ tạo thành bộ ba (Đối tượng – Khía cạnh – Cảm xúc).

Nguồn tư liệu và dữ liệu thực nghiệm

  • Kho ngữ liệu Corpus12: Gồm 389.103 văn bản cảm xúc tiếng Anh về điện thoại thông minh (smartphone) thu thập từ Amazon và YouNetMedia. Kho ngữ liệu được chia tách thành:
    • Corpus1: Tập các văn bản cảm xúc chỉ đề cập đến duy nhất 1 đối tượng (dùng để sinh vector ngữ cảnh và học quan hệ cơ sở).
    • Corpus2: Tập các văn bản cảm xúc đề cập từ 2 đối tượng trở lên (dùng cho huấn luyện và kiểm thử mô hình phân giải đa đối tượng).
  • Tập mẫu huấn luyện IAI: 69.905 mẫu trích xuất từ Corpus12 (trong đó tập huấn luyện gồm 64.374 mẫu, tập thử nghiệm gồm 5.598 mẫu).
  • Tập dữ liệu đánh giá thực nghiệm khác: 110 văn bản so sánh với phương pháp ML-KB*; 320 văn bản đánh giá mô hình đơn đối tượng; 614 câu đánh giá mô hình làm giàu ESO; 1.000 văn bản bình luận smartphone đánh giá mô hình CROAS với các mốc 300.000 và 500.000 bước tiền huấn luyện.
  • Tài nguyên tri thức chuẩn: WordNet, Opinion Lexicon, SenticNet, OMCS, BooksCorpus (800 triệu từ) và Wikipedia tiếng Anh (2.500 triệu từ).

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương 1 thiết lập động cơ nghiên cứu, tính cấp thiết và mục tiêu của đề tài. Tác giả định nghĩa các khái niệm cốt lõi (Object, Aspect, Sentiment), chỉ rõ giới hạn áp dụng trên văn bản cảm xúc tiếng Anh và đưa ra kiến trúc tổng thể của hệ thống phân giải đồng tham chiếu đối tượng.

Hệ thống bao gồm các mô-đun chức năng: Document (văn bản đầu vào), PARSE (phân tích cú pháp), RECOAS (nhận dạng thành phần đối tượng, khía cạnh, cảm xúc theo cấu trúc ontology), ECW (nhúng từ có ngữ cảnh), OCR1Obj (xử lý văn bản 1 đối tượng), OCR2Obj (xử lý văn bản nhiều đối tượng), SENTIMENT ONTOLOGY (cơ sở tri thức), POPULATION (làm giàu ontology), COREFERENCE RESOLUTION (suy luận trên đồ thị CRG) và đầu ra là TRIPLETS OF OBJECT – ASPECT – SENTIMENT. Chương này cũng tóm tắt 5 đóng góp chính và phác thảo cấu trúc 6 chương của luận án.

Chương 2: Các nghiên cứu liên quan và các kiến thức nền tảng

Chương 2 tổng quan tài liệu về phân giải đồng tham chiếu (đại từ, thực thể, sự kiện), phân tích cảm xúc ở 3 cấp độ, các công trình kết hợp đồng tham chiếu vào phân tích cảm xúc (Ding và cs., 2010; Zhao và cs., 2015; Chen và cs., 2020), các phương pháp xác định khía cạnh ẩn và các kỹ thuật làm giàu ontology.

Chương này cũng trình bày các kiến thức nền tảng về toán học và mô hình: cấu trúc nơ-ron Perceptron, mạng nơ-ron nhân tạo đa tầng (ANN), thuật toán lan truyền ngược kết hợp tối ưu Gradient Descent, các hàm kích hoạt (Sigmoid, Tanh, ReLU), kỹ thuật nhúng từ (Word Embeddings như Word2Vec, GloVe) và phân tích nguyên lý hoạt động của mô hình ngôn ngữ BERT (cơ chế Attention, biểu diễn đầu vào qua Token/Position/Segment Embeddings, hai nhiệm vụ MLM và NSP).

Chương 3: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có một đối tượng

Chương 3 trình bày giải pháp cho bài toán phân giải đồng tham chiếu trên văn bản đơn đối tượng kết hợp xác định khía cạnh ẩn.

Nội dung trọng tâm gồm:

  1. Mô hình xác định khía cạnh ẩn (IAI): Xây dựng mạng nơ-ron ANN 2 tầng ẩn. Mô hình huấn luyện trên 69.905 mẫu dữ liệu từ Corpus12 đạt độ chính xác 0,82 ở tập thử nghiệm 5.598 mẫu để thu được bộ trọng số gốc $W_1$. Sau đó, $W_1$ được tinh chỉnh qua mô-đun Fine-Tuning 1 tương ứng với từng từ cảm xúc để sinh ra các bộ trọng số $W_{2s}$, và tiếp tục tinh chỉnh qua Fine-Tuning 2 dựa trên các khía cạnh thuộc lớp Attribute của ontology cảm xúc để thu được bộ trọng số cuối $W_{3s}$. Thử nghiệm trên 110 văn bản smartphone cho thấy IAI đạt kết quả vượt trội so với phương pháp ML-KB*.
  2. Mô hình phân giải đồng tham chiếu đơn đối tượng (OCR1Obj): Tích hợp kết quả phân tích cú pháp (Parse), phân giải đồng tham chiếu đại từ/thực thể (Anaphora & Entity CR - gọi tắt là Core) và phân tích cảm xúc mức khía cạnh (Aspect-based sentiment analysis - gọi tắt là Sen).
  3. Mô-đun OBASCore và đồ thị CRG: OBASCore thực hiện ánh xạ các thực thể vào ontology cảm xúc (SO), thiết lập các đỉnh và cạnh có trọng số trên đồ thị CRG, sau đó áp dụng giải thuật tìm kiếm để suy luận ra các bộ ba (Đối tượng – Khía cạnh – Cảm xúc). Thực nghiệm trên 320 văn bản cảm xúc smartphone chứng minh tính hiệu quả của mô hình đề xuất.

Chương 4: Làm giàu ontology cảm xúc hỗ trợ phân giải đồng tham chiếu cho phân tích cảm xúc

Chương 4 đề xuất mô hình làm giàu ontology cảm xúc tự động dựa trên thể hiện (Enriched Sentiment Ontology - ESO) mà không làm biến đổi cấu trúc phân cấp (T-Box) có sẵn.

Quy trình của mô hình ESO:

  • Rút trích các ứng viên thể hiện mới từ văn bản thô thông qua các mẫu quan hệ văn phạm phụ thuộc (đặc biệt là quan hệ từ ghép compound).
  • Sử dụng cấu trúc phân cấp của WordNet để tính toán độ tương tự ngữ nghĩa giữa các từ (Semantic Similarity between Words - SSW).
  • Xác định cực tính cảm xúc cho các thuật ngữ mới bằng cách đối chiếu với tập từ điển Opinion Lexicon (OL).
  • Tự động bổ sung các thể hiện được xác thực vào các lớp Object, Aspect và Sentiment trong A-Box.
  • Kết quả thực nghiệm: Đánh giá trên tập ngữ liệu 614 câu văn bản cảm xúc chứng minh mô hình ESO làm giàu dữ liệu chính xác, giúp nâng cao chất lượng nhận dạng thực thể của ontology cảm xúc phục vụ cho các bước phân giải tiếp theo.

Chương 5: Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc có nhiều đối tượng

Chương 5 giải quyết bài toán phức tạp nhất của luận án: phân giải đồng tham chiếu trong văn bản chứa từ hai đối tượng trở lên (CROAS / OCR2Obj).

Các giai đoạn thực hiện:

  1. Tiền huấn luyện sinh vector ngữ cảnh: Sử dụng mô hình ngôn ngữ BERT tiền huấn luyện trực tiếp trên kho ngữ liệu miền smartphone Corpus1 (với các mốc thiết lập 300.000 và 500.000 bước huấn luyện) để tạo ra các vector nhúng từ có ngữ cảnh (Contextual Word Embeddings) cho từng vị trí xuất hiện của từ.
  2. Giai đoạn huấn luyện phân lớp: Lọc ra các mẫu dữ liệu số theo cặp Đối tượng – Khía cạnh và Đối tượng – Cảm xúc từ Corpus1. Mạng nơ-ron học mối quan hệ liên kết trong không gian vector để sinh ra bộ trọng số phân lớp $W_2$.
  3. Giai đoạn thử nghiệm và phân giải: Đối với văn bản chứa nhiều đối tượng (Corpus2), mô hình xác định vector ngữ cảnh của các từ trong văn bản, áp dụng bộ phân lớp để tính toán khoảng cách Euclid và xác định xác suất liên kết của từng khía cạnh/từ cảm xúc với đối tượng tương ứng.
  4. Suy luận trên đồ thị CRG: Kết quả phân lớp được đưa vào đồ thị đồng tham chiếu CRG, áp dụng thuật toán duyệt cây để trích xuất tập hợp các bộ ba (Đối tượng – Khía cạnh – Cảm xúc).
  5. Kết quả thực nghiệm: Đánh giá trên 1.000 văn bản bình luận smartphone cho thấy mô hình CROAS với 500.000 bước tiền huấn luyện đạt độ chính xác cao hơn rõ rệt so với 300.000 bước và vượt trội hơn hai phương pháp Baseline được so sánh.

Chương 6: Kết luận

Chương 6 tổng kết toàn bộ các kết quả đạt được của luận án, khẳng định việc hoàn thành các mục tiêu nghiên cứu đề ra và vạch ra các hướng phát triển tiếp theo cho đề tài.

Kết quả và những đóng góp mới

Những đóng góp mới của luận án

Theo công bố của tác giả, luận án mang lại 5 đóng góp chính:

  1. Đóng góp thứ nhất: Xây dựng ontology cảm xúc (SO) gồm 3 lớp độc lập (Object, Aspect, Sentiment) khắc phục hạn chế của các ontology trước đó, đồng thời đề xuất cấu trúc đồ thị đồng tham chiếu (CRG) có hướng và có trọng số làm công cụ cốt lõi để suy luận và kết nối các thành phần thành bộ ba.
  2. Đóng góp thứ hai: Đề xuất mô hình OCR1Obj với mô-đun trung tâm OBASCore, kết hợp thành công kết quả phân giải đồng tham chiếu đại từ/thực thể với phân tích cảm xúc mức khía cạnh trên đồ thị CRG cho văn bản có một đối tượng.
  3. Đóng góp thứ ba: Đề xuất mô hình làm giàu ontology cảm xúc ESO dựa trên thể hiện, kết hợp quan hệ văn phạm phụ thuộc, độ tương tự ngữ nghĩa WordNet (SSW) và từ điển Opinion Lexicon, giúp tự động mở rộng tri thức miền mà không làm thay đổi cấu trúc T-Box.
  4. Đóng góp thứ tư: Đề xuất mô hình xác định khía cạnh ẩn IAI ứng dụng mạng nơ-ron học sâu với quy trình huấn luyện và tinh chỉnh trọng số 3 cấp ($W_1 \rightarrow W_{2s} \rightarrow W_{3s}$), giúp gán nhãn chính xác khía cạnh ẩn cho các từ cảm xúc phụ thuộc ngữ cảnh.
  5. Đóng góp thứ năm: Xây dựng mô hình CROAS giải quyết bài toán phân giải đồng tham chiếu trên văn bản có từ hai đối tượng trở lên bằng cách kết hợp vector nhúng ngữ cảnh hai chiều tiền huấn luyện từ Corpus1, mạng nơ-ron phân lớp cặp liên kết và giải thuật duyệt đồ thị CRG, loại bỏ nhu cầu gán nhãn thủ công trên toàn bộ kho dữ liệu.

Kiến nghị và giải pháp đề xuất

  • Ứng dụng mô hình trích xuất bộ ba (Đối tượng – Khía cạnh – Cảm xúc) vào các hệ thống tóm tắt đánh giá sản phẩm tự động, hệ thống hỗ trợ ra quyết định mua sắm và các nền tảng phân tích thị trường.
  • Tích hợp biểu diễn ngữ cảnh chuyên miền kết hợp cơ sở tri thức ontology để nâng cao độ tin cậy trong các bài toán khai phá ý kiến đa thực thể.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế ghi nhận

  • Luận án mới chỉ tập trung nghiên cứu và thực nghiệm trên các văn bản cảm xúc bằng tiếng Anh; chưa mở rộng đánh giá trực tiếp trên các ngôn ngữ đơn lập có cấu trúc ngữ pháp đặc thù như tiếng Việt.
  • Dữ liệu thực nghiệm tập trung chủ yếu vào miền sản phẩm điện thoại thông minh (smartphone), chưa đánh giá toàn diện trên các miền dịch vụ phức tạp khác (như du lịch, y tế, giáo dục).
  • Quá trình tiền huấn luyện vector ngữ cảnh đòi hỏi tài nguyên tính toán lớn và phụ thuộc vào quy mô của kho ngữ liệu thô theo miền.

Hướng nghiên cứu tiếp theo

  • Mở rộng mô hình và giải thuật phân giải đồng tham chiếu đối tượng cho các văn bản cảm xúc tiếng Việt.
  • Thử nghiệm và hoàn thiện quy trình làm giàu ontology tự động trên nhiều miền chuyên biệt khác nhau.
  • Nghiên cứu tối ưu hóa số bước tiền huấn luyện và cải tiến các thuật toán duyệt đồ thị nhằm nâng cao tốc độ xử lý của hệ thống.

Giá trị tham khảo

  • Đối với nghiên cứu sinh, học viên cao học và nhà nghiên cứu ngành Khoa học máy tính / NLP: Luận án cung cấp tài liệu tham khảo chi tiết về phương pháp kết hợp giữa cơ sở tri thức hình thức (Ontology) với các mô hình biểu diễn học sâu (BERT, ANN). Đáng chú ý là phương pháp luận xây dựng đồ thị đồng tham chiếu CRG và quy trình tinh chỉnh trọng số 3 giai đoạn trong bài toán xác định khía cạnh ẩn.
  • Đối với giảng viên và cơ sở đào tạo: Luận án là tài liệu tham khảo chuyên khảo giá trị cho các môn học chuyên đề về Khai phá dữ liệu văn bản (Text Mining), Xử lý ngôn ngữ tự nhiên và Hệ thống dựa trên tri thức.
  • Đối với kỹ sư phát triển và doanh nghiệp phân tích dữ liệu (Social Listening / E-commerce): Các giải thuật trong mô-đun OBASCore, ESO và CROAS cung cấp giải pháp kỹ thuật để xây dựng các công cụ phân tích phản hồi khách hàng ở mức chi tiết (rút trích bộ ba đối tượng - khía cạnh - cảm xúc), hỗ trợ so sánh sản phẩm cạnh tranh trực tiếp từ các bài đánh giá trực tuyến.

Câu hỏi thường gặp

1. Cấu trúc Ontology cảm xúc (SO) trong luận án có điểm gì khác biệt so với mô hình ontology của Nguyen và cộng sự (2014)?

Trong nghiên cứu của Nguyen và cs. (2014), ontology cảm xúc chỉ được chia thành 2 lớp khái niệm là Aspect Concepts và Sentiment Concepts, trong đó lớp Aspect bị gộp chung cả nhà sản xuất, tên sản phẩm và đặc trưng. Luận án đã tái cấu trúc thành 3 lớp khái niệm độc lập: Object (chỉ thực thể, thương hiệu, dòng sản phẩm cụ thể), Aspect (chỉ thành phần và thuộc tính của sản phẩm) và Sentiment (chỉ các từ mang cực tính cảm xúc tích cực, tiêu cực, trung lập), giúp xác định tường minh quan hệ sở hữu giữa đối tượng và thuộc tính.

2. Mô hình xác định khía cạnh ẩn (IAI) thực hiện quy trình huấn luyện qua các bước nào?

Mô hình IAI sử dụng mạng nơ-ron nhân tạo 2 tầng ẩn và trải qua 3 bước huấn luyện – tinh chỉnh:

  1. Huấn luyện trên 69.905 mẫu dữ liệu trích xuất từ Corpus12 (đạt độ chính xác 0,82 trên 5.598 mẫu thử nghiệm) để xác định bộ trọng số ban đầu $W_1$.
  2. Tinh chỉnh $W_1$ trên các tập dữ liệu tương ứng với từng từ cảm xúc cụ thể để tạo ra các bộ trọng số $W_{2s}$.
  3. Tiếp tục tinh chỉnh $W_{2s}$ trên các tập dữ liệu tương ứng với các khía cạnh thuộc lớp Attribute của ontology cảm xúc để thu được bộ trọng số cuối cùng $W_{3s}$ dùng cho phân lớp khía cạnh ẩn.

3. Đồ thị đồng tham chiếu (CRG) được thiết lập và đóng vai trò gì trong hệ thống?

CRG là đồ thị có hướng và có trọng số. Các đỉnh của đồ thị là các từ/cụm từ được trích xuất từ mô-đun phân giải đồng tham chiếu đại từ/thực thể và mô-đun phân tích cảm xúc mức khía cạnh. Trọng số của các cạnh được gán dựa trên khoảng cách giữa các lớp tương ứng trong ontology cảm xúc (SO). Đồ thị CRG đóng vai trò là cấu trúc dữ liệu trung gian hợp nhất, cho phép áp dụng các thuật toán tìm kiếm và duyệt cây để truy xuất các bộ ba hoàn chỉnh (Đối tượng – Khía cạnh – Cảm xúc).

4. Luận án giải quyết bài toán phân giải đồng tham chiếu trên văn bản có nhiều đối tượng (CROAS) bằng cách nào?

Luận án sử dụng mô hình ngôn ngữ BERT tiền huấn luyện trên kho ngữ liệu các văn bản 1 đối tượng (Corpus1) để tạo ra các vector nhúng từ có ngữ cảnh hai chiều. Sau đó, mạng nơ-ron học các mẫu liên kết cặp (Đối tượng – Khía cạnh và Đối tượng – Cảm xúc) từ dữ liệu số hóa này để tạo bộ phân lớp. Khi gặp văn bản chứa nhiều đối tượng (Corpus2), mô hình tính toán khoảng cách vector để gán khía cạnh/từ cảm xúc về đúng đối tượng sở hữu, sau đó đưa dữ liệu vào đồ thị CRG để duyệt ra các bộ ba kết quả.

5. Mô hình ESO làm giàu ontology cảm xúc dựa trên những nguyên lý nào?

Mô hình ESO thực hiện làm giàu tầng thể hiện (A-Box) tự động bằng cách kết hợp:

  • Khai thác các mẫu quan hệ văn phạm phụ thuộc (như quan hệ từ ghép compound) từ văn bản thô để tìm ứng viên thực thể mới.
  • Tính toán độ tương tự ngữ nghĩa giữa các từ (SSW) dựa trên cấu trúc phân cấp của WordNet để phân loại thực thể vào đúng lớp.
  • Xác định cực tính cảm xúc của từ mới thông qua từ điển Opinion Lexicon (OL) trước khi cập nhật vào ontology.

Kết luận

Luận án "Phân giải đồng tham chiếu đối tượng cho phân tích cảm xúc" của tác giả Lê Thị Thủy đã giải quyết trọn vẹn bài toán trích xuất bộ ba Đối tượng – Khía cạnh – Cảm xúc từ các văn bản đánh giá sản phẩm tiếng Anh. Bằng việc kết hợp chặt chẽ giữa cơ sở tri thức Ontology cảm xúc 3 lớp, đồ thị đồng tham chiếu CRG và các kỹ thuật học sâu với vector ngữ cảnh hai chiều (BERT), nghiên cứu đã đề xuất các mô hình hiệu quả cho cả trường hợp văn bản đơn đối tượng (OCR1Obj), xác định khía cạnh ẩn (IAI), làm giàu ontology tự động (ESO) và văn bản phức tạp chứa nhiều đối tượng so sánh (CROAS). Các kết quả thực nghiệm trên kho ngữ liệu quy mô lớn về điện thoại thông minh khẳng định tính đúng đắn và khả năng ứng dụng thực tiễn của các mô hình trong lĩnh vực khai phá ý kiến và xử lý ngôn ngữ tự nhiên.