Tổng quan luận án

Luận án tiến sĩ kỹ thuật chuyên ngành Khoa học máy tính (mã số: 9.48.01.01) với đề tài "Khai phá quan điểm với kỹ thuật học sâu" (Opinion mining with deep learning) được nghiên cứu sinh Trần Uyên Trang thực hiện tại Trường Đại học Bách khoa – Đại học Đà Nẵng, dưới sự hướng dẫn khoa học của TS. Hoàng Thị Thanh Hà và TS. Đặng Hoài Phương, bảo vệ năm 2023.

Trong bối cảnh bùng nổ thông tin từ các nền tảng truyền thông xã hội và thương mại điện tử, người dùng liên tục chia sẻ dữ liệu phi cấu trúc phản ánh quan điểm, cảm xúc cá nhân về sản phẩm, dịch vụ hoặc các chính sách kinh tế - xã hội. Khối lượng dữ liệu này gia tăng nhanh chóng, đặc biệt từ năm 2020 trở đi dưới tác động của đại dịch Covid-19 khi hành vi tiêu dùng chuyển dịch mạnh mẽ sang trực tuyến. Các bình luận, phản hồi trực tuyến trở thành nguồn tài nguyên để người tiêu dùng và tổ chức tham khảo trước khi ra quyết định. Tuy nhiên, khối lượng thông tin khổng lồ và tính phi cấu trúc gây khó khăn cho việc xử lý thủ công.

Khoảng trống nghiên cứu được tác giả chỉ ra là: các phương pháp khai phá quan điểm truyền thống dựa trên từ điển/ngữ liệu hoặc học máy truyền thống bộc lộ sự phụ thuộc lớn vào đặc trưng thủ công, gặp trở ngại trước các hiện tượng ngôn ngữ tự nhiên phức tạp (phủ định, mỉa mai, nghĩa bóng, phụ thuộc ngữ cảnh) và suy giảm hiệu quả khi chuyển đổi miền dữ liệu. Trong khi đó, kỹ thuật học sâu có khả năng tự động học các biểu diễn phân cấp từ mức thấp đến mức trừu tượng cao, tận dụng hiệu năng xử lý song song của bộ xử lý đồ họa (GPU) trên tập dữ liệu lớn. Luận án đặt mục tiêu vận dụng các kỹ thuật học sâu để đề xuất và tinh chỉnh các mô hình khai phá quan điểm mức khía cạnh (Aspect-Based Sentiment Analysis - ABSA).

Mục tiêu nghiên cứu của luận án gồm mục tiêu chung và ba mục tiêu cụ thể:

  1. Đề xuất trích rút khía cạnh của thực thể với hướng tiếp cận học sâu và mô hình khai phá quan điểm thực hiện tác vụ này dựa trên các kỹ thuật học sâu;
  2. Đề xuất, mở rộng khả năng trích rút, phân loại các tác vụ chính một cách đồng thời (đa tác vụ/đa nhiệm) trong một hệ thống khai phá quan điểm dựa trên mức khía cạnh; và mô hình khai phá quan điểm mức khía cạnh đa tác vụ thực hiện trích rút các tác vụ nói trên sử dụng hướng tiếp cận học sâu;
  3. Đề xuất xây dựng một tập dữ liệu đa miền dùng cho thực nghiệm được hình thành trên cơ sở tích hợp các bình luận của người dùng trên các miền khác nhau; và mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền sử dụng hướng tiếp cận học sâu được thực nghiệm trên tập dữ liệu đa miền này.

Đối tượng nghiên cứu của luận án:

  • Khía cạnh, quan điểm, khai phá và phân tích quan điểm mức khía cạnh.
  • Các kỹ thuật học sâu áp dụng cho xử lý ngôn ngữ tự nhiên.
  • Các mô hình trích rút khía cạnh và khai phá quan điểm mức khía cạnh sử dụng kỹ thuật học sâu.

Phạm vi nghiên cứu:

  • Không gian dữ liệu: Tập trung vào văn bản bình luận, đánh giá của người dùng dạng phi cấu trúc bằng tiếng Anh trong các tập ngữ liệu thực nghiệm tiêu chuẩn (SemEval 2014, SemEval 2016) trên các miền Máy tính xách tay (Laptop), Nhà hàng (Restaurant) và tập dữ liệu đa miền kết hợp thêm Khách sạn (Hotel).
  • Kỹ thuật: Tập trung vào các kiến trúc mạng nơ-ron sâu phục vụ xử lý chuỗi và trích xuất đặc trưng (CNN, RNN, LSTM, IndyLSTM, GRU, cơ chế Attention, CRF), tận dụng khả năng tính toán trên GPU để cải thiện tốc độ và độ chính xác phân loại.
  • Thời gian nghiên cứu: Luận án hoàn thành và bảo vệ năm 2023, kế thừa các công trình nghiên cứu trong giai đoạn từ năm 2002 đến năm 2020.

Tổng quan tài liệu và vị trí của luận án

Tổng quan tài liệu trong luận án được phân định thành hai nhóm hướng tiếp cận chính:

1. Hướng tiếp cận dựa trên ngữ liệu

Hướng tiếp cận này phân loại không giám sát thông qua đối sánh dữ liệu văn bản với các kho từ điển hoặc ngữ liệu chứa điểm số phân cực cảm xúc xác định trước.

  • Turney và Littman (2002) xác định hướng ngữ nghĩa của từ thông qua mối liên hệ thống kê với các từ hạt nhân tích cực và tiêu cực.
  • Takamura và cộng sự (2005) sử dụng mô hình spin xây dựng mạng lưới liên kết từ dựa trên chú thích, từ điển đồng nghĩa, trái nghĩa và xác suất đồng xuất hiện.
  • Kamps và cộng sự (2004) khai thác từ điển WordNet đo khoảng cách đường đi ngắn nhất giữa từ cần xét với hai từ mốc "good" và "bad" trên tập tính từ.
  • Hu và Liu (2004) sử dụng bộ gán nhãn từ loại (POS tagger) lọc các danh từ và cụm danh từ có tần suất cao làm khía cạnh, kết hợp WordNet để lan truyền nhãn quan điểm từ tập hạt nhân.
  • Popescu và Etzioni (2005) cải tiến giải thuật trên thông qua độ đo thông tin tương hỗ từng điểm (PMI) để kiểm tra tính hợp lệ của khía cạnh ứng viên.
  • Scaffidi và cộng sự (2007) so sánh tần số xuất hiện của danh từ trong văn bản quan điểm với tỷ lệ xuất hiện trong kho ngữ liệu tiếng Anh tổng quát.
  • Long, Zhang và Zhu (2014) kết hợp tần suất từ và khoảng cách thông tin để định vị cụm từ liên quan đến khía cạnh.
  • Kobayashi, Inui và Matsumoto (2007) cùng Wu và cộng sự (2009) áp dụng bộ phân tích cú pháp phụ thuộc để bóc tách quan hệ giữa khía cạnh và từ quan điểm.
  • Qiu và cộng sự (2011) đề xuất phương pháp lan truyền kép dựa trên quan hệ phụ thuộc cú pháp để trích rút đồng thời khía cạnh và từ quan điểm với tập từ hạt nhân.
  • Lu và cộng sự (2011) ứng dụng phân tích ngữ nghĩa tiềm ẩn xác suất (pLSA); Lin và He (2009) áp dụng mô hình phân bổ Dirichlet tiềm ẩn (LDA) để phát hiện chủ đề và quan điểm; Brody và Elhadad (2010) dùng mô hình chủ đề tập trung vào tính từ; Mowlaei và cộng sự (2020) kết hợp thống kê và giải thuật di truyền để mở rộng từ vựng cho mô hình khai phá mức khía cạnh.
Tác giả / Công trình Dữ liệu thực nghiệm Accuracy Precision Recall F1
Hu và Liu (2004) Electronics / Inquirer 0.681 - - -
Popescu và Etzioni (2005) Tập dữ liệu tự xây dựng - 0.890 - -
Qiu và cộng sự (2011) Electronics - 0.731 - -
Mowlaei và cộng sự (2020) Bing Liu - 0.828 - -

2. Hướng tiếp cận máy học và học sâu

Hướng tiếp cận máy học có giám sát giải quyết bài toán biểu diễn văn bản và trích rút khía cạnh.

  • Pang và cộng sự (2002) so sánh Naïve Bayes (NB), Maximum Entropy (ME) và Support Vector Machine (SVM) ở mức tài liệu, chỉ ra SVM và ME hoạt động hiệu quả khi không gian đặc trưng lớn nhưng ME dễ gặp hiện tượng quá khớp (overfitting).
  • Jakob và Gurevych (2010), Li và cộng sự (2010), Zhang (2015) áp dụng trường ngẫu nhiên có điều kiện (CRF), Skip-CRF, Tree-CRF kết hợp biểu diễn từ phân tán để trích rút khía cạnh và từ quan điểm.
  • Katiyar và Cardie (2016) sử dụng mạng BiLSTM xác định quan hệ IS-FROM và IS-ABOUT; Irsoy và Cardie (2014) dùng mạng BiRNN sâu; Xue và Li (2018) phát triển mô hình CNN kết hợp cổng Tanh-ReLU; Wang và cộng sự (2016) dùng Attention-based LSTM; Fan và cộng sự (2018) đề xuất cơ chế chú ý chi tiết đa mức; Majumder và Frasincar (2019) tích hợp Multi-Hop và BiLSTM; Ansar và cộng sự (2020) áp dụng kiến trúc Transformer trên tập phim ảnh.
Tác giả / Công trình Phương pháp Dữ liệu thực nghiệm Accuracy
Pannala và cộng sự (2016) SVM Electronics 0.916
Akhtar và cộng sự (2016) SVM Đánh giá sản phẩm tiếng Hindi 0.870
Hegde và Seema (2017) SVM / Decision Tree Đánh giá sản phẩm tiếng Anh 0.758 / 0.759
Al-Smadi và cộng sự (2016) SVM / Random Forest Hotel 0.916 / 0.674
Tang và cộng sự (2016) Deep Learning SemEval 2014 Task 4 0.829
Dong và cộng sự (2014) Deep Learning SemEval 2014 Task 4 0.457
Nguyen và Shirai (2015) Deep Learning (RecNN) Restaurants 0.622
Xue và Li (2018) Deep Learning (CNN) Electronics 0.773
Yang và cộng sự (2017) Attention + LSTM SemEval 2014 Task 4 Subtask 2 0.722
Gu và cộng sự (2018) Bi-GRU Electronics 0.812
Fan và cộng sự (2018) Attention + Bi-GRU Electronics 0.708
Majumder và Frasincar (2019) Multi-Hop + Bi-LSTM Electronics 0.831
Gao và cộng sự (2019) Syntax-Based + BERT SemEval 2014 Task 4 0.744
Ansar và cộng sự (2020) Transformer Movies 0.924

Khoảng trống nghiên cứu được luận án lựa chọn giải quyết:

  • Hướng tiếp cận ngữ liệu phụ thuộc nhiều vào kho từ điển và độ đo PMI vốn chỉ xác định tương quan tuyến tính.
  • Các mô hình học sâu trước đây chủ yếu xử lý từng tác vụ phân lập trên một miền đơn lẻ, dẫn đến hạn chế khi mở rộng hệ thống thực tế cần xử lý đồng thời nhiều thành phần quan điểm trên các tập dữ liệu hỗn hợp nhiều miền.
  • Vấn đề triệt tiêu và bùng nổ đạo hàm (vanishing/exploding gradient) trong các mạng hồi quy chuỗi khi mô hình hóa phụ thuộc xa được luận án giải quyết bằng các kiến trúc mạng IndyLSTM, kết hợp với các cơ chế trích xuất n-gram cục bộ của CNN và cơ chế Attention.

Cơ sở lý thuyết và phương pháp nghiên cứu

1. Cơ sở lý thuyết và khái niệm

Luận án kế thừa mô hình quan điểm năm thành phần của Bing Liu (2012): $$(e_i, a_{ij}, s_{ijkl}, h_k, t_l)$$ Trong đó:

  • $e_i$: tên thực thể (entity).
  • $a_{ij}$: khía cạnh (aspect) của thực thể $e_i$.
  • $s_{ijkl}$: quan điểm biểu đạt trên khía cạnh $a_{ij}$ của thực thể $e_i$ (tích cực, tiêu cực hoặc trung lập).
  • $h_k$: chủ thể nắm giữ quan điểm (opinion holder).
  • $t_l$: thời điểm quan điểm được biểu đạt bởi $h_k$.

Quan điểm được phân loại thành:

  • Quan điểm chính quy: gồm quan điểm trực tiếp (biểu đạt trực tiếp trên thực thể hoặc khía cạnh) và quan điểm không trực tiếp (thể hiện thông qua tác động lên thực thể khác).
  • Quan điểm so sánh: thể hiện sự giống, khác hoặc thiên hướng ưu tiên giữa các thực thể, khía cạnh.
  • Hình thức thể hiện: quan điểm hiện (câu chủ quan tường minh) và quan điểm ẩn (câu khách quan mang hàm ý cảm xúc).

Về cấp độ, khai phá quan điểm chia thành ba mức:

  • Khai phá quan điểm mức tài liệu (DBSA): gán nhãn phân cực cho toàn bộ tài liệu.
  • Khai phá quan điểm mức câu (SBSA): phân loại cảm xúc cho từng câu đơn lẻ.
  • Khai phá quan điểm mức khía cạnh (ABSA): xác định cụ thể từng khía cạnh của thực thể được nhắc đến và hướng cảm xúc gắn liền với khía cạnh đó. Luận án tập trung sâu vào cấp độ ABSA.

2. Các kỹ thuật học sâu nền tảng

  • Mạng nơ-ron tích chập (CNN): Sử dụng các lớp Convolution với các bộ lọc trượt (filters) kích thước khác nhau (trích xuất đặc trưng n-gram cục bộ), hàm kích hoạt phi tuyến ReLU ($f(x) = \max(0, x)$), lớp Pooling (MaxPooling để giảm số chiều tham số, kiểm soát quá khớp) và lớp Fully Connected kết hợp Softmax để phân loại.
  • Mạng nơ-ron hồi quy (RNN) và các biến thể:
    • RNN cơ bản: xử lý chuỗi dựa trên trạng thái ẩn $h_t = f(Ux_t + Wh_{t-1})$, tuy nhiên bị giới hạn bởi hiện tượng triệt tiêu hoặc bùng nổ đạo hàm khi học phụ thuộc khoảng cách xa.
    • BiRNN: xử lý hai chiều tiến và lùi để nắm bắt ngữ cảnh trước và sau từ mục tiêu.
    • LSTM và GRU: sử dụng cấu trúc cổng (gate) để điều tiết luồng thông tin, duy trì bộ nhớ dài hạn.
    • IndyLSTM (Independently Recurrent LSTM) và Bi-IndyLSTM: các nơ-ron trong cùng một lớp độc lập với nhau, giúp hạn chế phân rã đạo hàm và cho phép huấn luyện mạng sâu hơn.
  • Cơ chế chú ý (Attention): Tính toán trọng số phân bố tập trung vào các từ ngữ cảnh liên quan trực tiếp đến từ mục tiêu hoặc khía cạnh, giảm thiểu ảnh hưởng của các từ nhiễu.
  • Trường ngẫu nhiên có điều kiện (CRF) và sơ đồ gán nhãn IOB2: Tối ưu hóa chuỗi nhãn đầu ra, đảm bảo tính phụ thuộc hợp lệ giữa các nhãn liên tiếp trong bài toán gán nhãn chuỗi (sequence labeling).

3. Phương pháp nghiên cứu và nguồn dữ liệu thực nghiệm

Luận án sử dụng phương pháp nghiên cứu định lượng kết hợp thiết kế mô hình thực nghiệm:

  • Xây dựng các kiến trúc mô hình học sâu tích hợp nhiều tầng (hybrid neural architectures).
  • Tiền xử lý dữ liệu: sử dụng kỹ thuật nhúng từ (word embedding) dạng phân tán như GloVe kết hợp thông tin hình thái từ.
  • Huấn luyện và đánh giá trên các tập dữ liệu thực nghiệm chuẩn và tập dữ liệu tự xây dựng:
    • Tập SemEval 2014 Task 4: gồm tập dữ liệu miền Laptop và Restaurant.
    • Tập SemEval 2016: miền Restaurant.
    • Tập dữ liệu đa miền do tác giả xây dựng: kết hợp trộn ngẫu nhiên bình luận từ các miền Laptop, Restaurant và Hotel (Laptop_Restaurant và Laptop_Restaurant_Hotel).
  • Độ đo đánh giá hiệu năng:
    • Độ chính xác (Precision - Pre): Tỷ lệ các dự đoán đúng trên tổng số dự đoán được đưa ra.
    • Độ triệu hồi (Recall - Rec): Tỷ lệ các thực thể được trích rút đúng trên tổng số thực thể thực tế.
    • Điểm F1: Trung bình điều hòa giữa Precision và Recall ($F_1 = 2 \cdot \frac{\text{Pre} \cdot \text{Rec}}{\text{Pre} + \text{Rec}}$).
    • Độ chính xác tổng thể (Accuracy - Acc): Tỷ lệ số mẫu được phân loại đúng trên toàn bộ tập mẫu kiểm thử.

Nội dung chính theo từng chương

Chương 1: Tổng quan về khai phá quan điểm và kỹ thuật học sâu

Chương 1 hệ thống hóa cơ sở lý thuyết về khai phá quan điểm và học sâu. Tác giả phân tích các cấp độ khai phá quan điểm (tài liệu, câu, khía cạnh); cấu trúc 5 thành phần của quan điểm theo Bing Liu; điểm lại các công trình tiêu biểu theo hai hướng tiếp cận ngữ liệu và máy học/học sâu. Chương này phân tích chi tiết các kỹ thuật học sâu cốt lõi gồm CNN (lớp tích chập, hàm kích hoạt ReLU, pooling, fully connected), mạng hồi quy RNN và các cơ chế bộ nhớ ngắn dài (LSTM, GRU, IndyLSTM, BiRNN, BiLSTM, BiGRU, BiIndyLSTM), cùng cơ chế chú ý (Attention). Trên cơ sở chỉ ra hạn chế của các nghiên cứu trước (phụ thuộc ngữ cảnh tĩnh, khó khăn khi xử lý đa tác vụ và tính chuyển dịch miền), chương 1 đề xuất định hướng nghiên cứu tổng thể được triển khai ở ba chương tiếp theo.

Chương 2: Trích rút khía cạnh trong khai phá quan điểm với hướng tiếp cận học sâu

Chương 2 giải quyết bài toán trích rút khía cạnh (Aspect Extraction) của thực thể dưới dạng bài toán gán nhãn chuỗi. Tác giả đề xuất hai mô hình học sâu tích hợp:

  1. Mô hình BiGRU-CRF: Tích hợp mạng GRU hai chiều (BiGRU) để học biểu diễn ngữ cảnh hai chiều từ câu đánh giá, kết hợp lớp CRF ở tầng đầu ra để ràng buộc tính hợp lệ của chuỗi nhãn gán cho từng từ.
  2. Mô hình Bi-IndyLSTM-CRF: Thay thế BiGRU bằng mạng IndyLSTM hai chiều (Bi-IndyLSTM), khai thác tính độc lập của các nơ-ron hồi quy nhằm khắc phục triệt để hiện tượng suy giảm hoặc bùng nổ đạo hàm khi câu bình luận có độ dài lớn, kết hợp tầng CRF để giải mã chuỗi nhãn tối ưu.

Thực nghiệm được thực hiện trên hai tập dữ liệu đơn miền chuẩn SemEval 2014 (Laptop và Restaurant). Kết quả đánh giá trên độ đo F1 cho thấy hai mô hình đề xuất cải thiện độ chính xác trích rút khía cạnh so với các mô hình baseline trước đó trong tài liệu tổng quan.

Chương 3: Khai phá quan điểm mức khía cạnh đa tác vụ với hướng tiếp cận học sâu

Chương 3 mở rộng phạm vi xử lý từ một tác vụ đơn lẻ sang hệ thống khai phá quan điểm mức khía cạnh đa tác vụ (Multitask Aspect-Based Sentiment Analysis - MABSA), cho phép trích rút và phân loại đồng thời nhiều thành phần quan điểm trên một miền dữ liệu xác định:

  1. Mô hình CNN-BiGRU: Kết hợp lớp tích chập CNN (trích xuất đặc trưng cụm từ n-gram cục bộ) và BiGRU (nắm bắt ngữ cảnh tuần tự hai chiều) để trích rút đồng thời cả khía cạnh và từ quan điểm.
  2. Mô hình CNN-IOB2: Sử dụng kiến trúc CNN kết hợp sơ đồ gán nhãn IOB2 phục vụ riêng cho tác vụ trích rút từ mục tiêu quan điểm (opinion target extraction).
  3. Mô hình MABSA: Kiến trúc đa tác vụ tích hợp các tầng mạng học sâu xếp chồng kết hợp kỹ thuật nhúng từ và thông tin hình thái từ, thực hiện đồng thời ba tác vụ: trích rút/phân loại khía cạnh, trích rút/phân loại thực thể, và xác định cực tính quan điểm (tích cực, tiêu cực, trung lập) trên từng khía cạnh.

Thực nghiệm trên tập dữ liệu SemEval 2014 (Laptop, Restaurant) và SemEval 2016 (Restaurant) sử dụng 4 độ đo (Precision, Recall, F1, Accuracy) cho thấy việc học liên kết đa tác vụ giúp các tầng biểu diễn chia sẻ thông tin ngữ nghĩa bổ trợ lẫn nhau, nâng cao hiệu suất so với các mô hình chỉ huấn luyện đơn tác vụ.

Chương 4: Khai phá quan điểm mức khía cạnh đa tác vụ, đa miền với hướng tiếp cận học sâu

Chương 4 tập trung giải quyết bài toán khai phá quan điểm khi dữ liệu bình luận xuất phát từ nhiều lĩnh vực khác nhau, khắc phục giới hạn thực nghiệm đơn miền của Chương 2 và Chương 3:

  1. Xây dựng tập dữ liệu đa miền thực nghiệm: Tác giả tích hợp và trộn ngẫu nhiên các bình luận từ các miền đơn lẻ thành hai tập dữ liệu hỗn hợp: tập 2 miền (Laptop_Restaurant) và tập 3 miền (Laptop_Restaurant_Hotel).
  2. Mô hình CNN-BiLSTM: Kiến trúc tích hợp CNN và mạng BiLSTM phục vụ khai phá quan điểm mức khía cạnh trên dữ liệu đa miền.
  3. Mô hình CNN-BiIndyLSTM-Attention: Mô hình đa tác vụ đa miền tích hợp lớp tích chập CNN, mạng Bi-IndyLSTM (duy trì biểu diễn ngữ cảnh dài và ổn định gradient) và cơ chế chú ý Attention (gán trọng số tập trung vào các từ mang tính biểu cảm đặc thù của từng miền). Hệ thống thực hiện đồng thời 4 tác vụ: trích rút khía cạnh, phân loại thực thể, phân loại miền (domain classification) và phân loại cảm xúc khía cạnh.

Thực nghiệm so sánh trên cả tập đơn miền (Restaurant, Laptop) và các tập đa miền (Laptop_Restaurant, Laptop_Restaurant_Hotel) chứng minh mô hình duy trì độ chính xác cao trên các độ đo Precision, Recall, F1 và Accuracy, khẳng định tính khả thi của việc sử dụng một mô hình duy nhất để xử lý dữ liệu bình luận đa lĩnh vực.

Kết quả và những đóng góp mới

1. Các đóng góp mới của luận án

Theo công bố của luận án, các đóng góp mới bao gồm:

  • Xây dựng mô hình trích rút khía cạnh của thực thể trong khai phá quan điểm dựa trên hướng tiếp cận học sâu mới (BiGRU-CRF và Bi-IndyLSTM-CRF), nâng cao hiệu suất so với các mô hình học máy truyền thống và mạng hồi quy cơ bản trên tập SemEval 2014.
  • Xây dựng hệ thống khai phá quan điểm dựa trên mức khía cạnh đa tác vụ mới (gồm CNN-BiGRU, CNN-IOB2 và MABSA), thực hiện đồng thời các tác vụ: trích rút từ mục tiêu, trích rút khía cạnh, phân loại thực thể và xác định quan điểm thể hiện trên từng khía cạnh trong các bình luận đơn miền.
  • Xây dựng tập dữ liệu bình luận đa miền phục vụ thực nghiệm thông qua cơ chế trộn ngẫu nhiên dữ liệu bình luận từ các miền khác nhau thành tập dữ liệu hỗn hợp đa miền (Laptop_Restaurant và Laptop_Restaurant_Hotel).
  • Xây dựng hệ thống khai phá quan điểm mức khía cạnh đa tác vụ đa miền mới (CNN-BiLSTM và CNN-BiIndyLSTM-Attention), cho phép thực hiện đồng thời 4 tác vụ: trích rút khía cạnh, phân loại thực thể, phân loại miền và xác định quan điểm trên tập dữ liệu đa miền hỗn hợp mà vẫn duy trì hiệu năng cao.
Chương Mô hình đề xuất Kiến trúc tích hợp Tác vụ giải quyết Miền dữ liệu thực nghiệm
Chương 2 BiGRU-CRF BiGRU + CRF Trích rút khía cạnh Đơn miền (Laptop, Restaurant)
Chương 2 Bi-IndyLSTM-CRF Bi-IndyLSTM + CRF Trích rút khía cạnh (xử lý phụ thuộc xa) Đơn miền (Laptop, Restaurant)
Chương 3 CNN-BiGRU CNN + BiGRU Trích rút khía cạnh và quan điểm Đơn miền (Laptop, Restaurant)
Chương 3 CNN-IOB2 CNN + Gán nhãn IOB2 Trích rút từ mục tiêu quan điểm Đơn miền (Restaurant)
Chương 3 MABSA Mạng học sâu đa tầng + Hình thái từ Đa tác vụ: khía cạnh, thực thể, quan điểm Đơn miền (Restaurant)
Chương 4 CNN-BiLSTM CNN + BiLSTM Khai phá quan điểm mức khía cạnh đa miền Đa miền (Laptop_Restaurant)
Chương 4 CNN-BiIndyLSTM-Attention CNN + BiIndyLSTM + Attention Đa tác vụ, đa miền: khía cạnh, thực thể, miền, quan điểm Đơn miền và Đa miền (Laptop_Restaurant_Hotel)

2. Kiến nghị và giải pháp đề xuất

  • Đề xuất các doanh nghiệp và nhà hoạch định chiến lược tích hợp mô hình khai phá quan điểm tự động vào hệ thống theo dõi phản hồi khách hàng để chắt lọc ý kiến chi tiết về từng tính năng sản phẩm thay vì chỉ dựa vào điểm số chung.
  • Khuyến nghị ứng dụng kiến trúc học đa tác vụ và học đa miền để tiết kiệm chi phí tính toán, thay thế việc phải xây dựng và duy trì nhiều mô hình đơn lẻ riêng biệt cho từng lĩnh vực sản phẩm.

Hạn chế và hướng nghiên cứu tiếp

1. Hạn chế

  • Dữ liệu thực nghiệm của luận án tập trung trên các tập dữ liệu tiếng Anh chuẩn (SemEval 2014, SemEval 2016); chưa mở rộng kiểm chứng thực nghiệm trên ngôn ngữ tiếng Việt hoặc các tập dữ liệu mạng xã hội có tính nhiễu cao.
  • Khả năng xử lý các hiện tượng ngôn ngữ học trừu tượng như câu mỉa mai, nghĩa bóng, từ ngữ hoán dụ hoặc câu có cấu trúc đảo ngữ phức tạp vẫn là thách thức chưa được giải quyết trọn vẹn trong các mô hình mạng nơ-ron tích hợp.
  • Kích thước tập dữ liệu đa miền do tác giả kết hợp vẫn giới hạn ở 3 miền chính (Laptop, Restaurant, Hotel); chưa bao quát được các miền có sự khác biệt lớn về từ vựng như y tế, pháp luật, tài chính.

2. Hướng nghiên cứu tiếp

  • Mở rộng các mô hình học sâu đề xuất sang xử lý văn bản tiếng Việt, kết hợp các công cụ tách từ và gán nhãn từ loại đặc thù của tiếng Việt.
  • Tích hợp các mô hình ngôn ngữ lớn tiền huấn luyện tiên tiến (Pre-trained Language Models) và các kiến trúc dựa trên đồ thị cú pháp (như GCN) để tăng cường nhận thức ngữ cảnh sâu.
  • Mở rộng thử nghiệm hệ thống khai phá đa tác vụ, đa miền trên các kho ngữ liệu thương mại điện tử thực tế quy mô lớn hơn với nhiều lĩnh vực dịch vụ đa dạng.

Giá trị tham khảo

Luận án là tài liệu tham khảo chuyên khảo hữu ích cho các nhóm đối tượng:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Khoa học máy tính, Công nghệ thông tin: Tham khảo cấu trúc tích hợp các mạng nơ-ron sâu (CNN, BiGRU, BiIndyLSTM, Attention, CRF) và phương pháp luận thiết kế thực nghiệm đa tác vụ, đa miền.
  • Kỹ sư xử lý ngôn ngữ tự nhiên (NLP) và khoa học dữ liệu: Cung cấp giải pháp kỹ thuật cụ thể về biểu diễn vector từ, kỹ thuật gán nhãn chuỗi IOB2, và cách thức xử lý hiện tượng triệt tiêu đạo hàm bằng IndyLSTM trong bài toán trích rút thông tin.
  • Nhà quản trị doanh nghiệp và phát triển hệ thống thông tin: Cung cấp cơ sở khoa học để thiết kế các hệ thống lắng nghe mạng xã hội (social listening) và phân tích phản hồi người dùng phục vụ hoạt động hỗ trợ khách hàng và cải tiến sản phẩm.

Câu hỏi thường gặp

1. Khai phá quan điểm mức khía cạnh (ABSA) khác biệt như thế nào so với mức tài liệu và mức câu? Khai phá quan điểm mức tài liệu (DBSA) gán một nhãn phân cực duy nhất cho toàn bộ văn bản; mức câu (SBSA) gán nhãn cho từng câu đơn lẻ. Cả hai mức này không chỉ ra được cảm xúc của người dùng đối với từng thuộc tính cụ thể. Mức khía cạnh (ABSA) đi sâu trích xuất từng thuộc tính/đặc trưng cụ thể của thực thể được nhắc đến và xác định rõ cảm xúc biểu đạt trên từng thuộc tính đó (ví dụ: trong cùng một bài đánh giá, món ăn có thể được khen nhưng giá cả hoặc phục vụ bị chê).

2. Mô hình quan điểm năm thành phần được sử dụng trong luận án gồm những yếu tố nào? Luận án áp dụng định nghĩa nhóm 5 thành phần của Bing Liu: $(e_i, a_{ij}, s_{ijkl}, h_k, t_l)$, gồm: tên thực thể ($e_i$), khía cạnh của thực thể ($a_{ij}$), hướng quan điểm trên khía cạnh ($s_{ijkl}$), người nắm giữ quan điểm ($h_k$) và thời điểm đưa ra quan điểm ($t_l$).

3. Vì sao luận án đề xuất sử dụng mạng IndyLSTM thay cho RNN và LSTM truyền thống trong bài toán trích rút khía cạnh? Mạng RNN truyền thống gặp vấn đề triệt tiêu hoặc bùng nổ đạo hàm khi xử lý các chuỗi văn bản dài. LSTM giải quyết được một phần nhờ các cổng kiểm soát, nhưng các nơ-ron vẫn phụ thuộc chéo phức tạp. IndyLSTM giải quyết hiện tượng này bằng cách thiết lập các nơ-ron trong cùng một lớp hoạt động độc lập với nhau, giúp quá trình truyền đạo hàm theo thời gian ổn định hơn, cho phép mô hình học được các phụ thuộc khoảng cách xa trong câu bình luận dài.

4. Kiến trúc MABSA ở Chương 3 thực hiện đồng thời những tác vụ nào? Mô hình MABSA thực hiện đồng thời ba tác vụ: trích rút và phân loại khía cạnh (aspect extraction/classification), trích rút và phân loại thực thể (entity extraction/classification), và xác định phân cực quan điểm (sentiment classification: tích cực, tiêu cực, trung lập) trên từng khía cạnh của thực thể.

5. Tập dữ liệu đa miền trong Chương 4 được xây dựng từ những nguồn nào? Tác giả xây dựng tập dữ liệu đa miền bằng cách trộn ngẫu nhiên các bình luận từ các tập dữ liệu đơn miền chuẩn SemEval 2016 và 2014, tạo thành tập dữ liệu 2 miền (Laptop_Restaurant) và tập dữ liệu 3 miền (Laptop_Restaurant_Hotel) để kiểm thử mô hình CNN-BiLSTM và CNN-BiIndyLSTM-Attention.

Kết luận

Luận án "Khai phá quan điểm với kỹ thuật học sâu" của tác giả Trần Uyên Trang đã giải quyết có hệ thống bài toán khai phá quan điểm mức khía cạnh thông qua các kiến trúc mạng nơ-ron sâu tích hợp. Công trình đã phát triển thành công các mô hình trích rút khía cạnh BiGRU-CRF và Bi-IndyLSTM-CRF, mở rộng sang hệ thống đa tác vụ MABSA và hệ thống đa tác vụ đa miền CNN-BiIndyLSTM-Attention trên các tập dữ liệu hỗn hợp. Các kết quả thực nghiệm được kiểm chứng qua các độ đo Precision, Recall, F1 và Accuracy trên tập chuẩn SemEval, cung cấp tài liệu tham khảo có giá trị khoa học cho chuyên ngành Khoa học máy tính trong lĩnh vực xử lý ngôn ngữ tự nhiên.