Tổng quan luận án

Luận án tiến sĩ kỹ thuật chuyên ngành Khoa học máy tính (mã số: 9.01) của tác giả Trần Uyên Trang, với đề tài "Khai phá quan điểm với kỹ thuật học sâu" (Opinion mining with deep learning), được thực hiện tại Trường Đại học Bách khoa – Đại học Đà Nẵng dưới sự hướng dẫn của TS. Hoàng Thị Thanh Hà và TS. Đặng Hoài Phương vào năm 2023.

Tính cấp thiết và khoảng trống nghiên cứu

Trong bối cảnh bùng nổ thông tin và sự phát triển của các nền tảng truyền thông xã hội cùng thương mại điện tử, người dùng liên tục tạo ra khối lượng dữ liệu khổng lồ chứa đựng các bình luận, phản hồi và đánh giá về sản phẩm, dịch vụ, chính sách hoặc các sự kiện xã hội. Nguồn dữ liệu phi cấu trúc này ảnh hưởng trực tiếp đến quyết định tiêu dùng của cá nhân và chiến lược vận hành của tổ chức. Đặc biệt từ năm 2020, đại dịch Covid-19 đã thúc đẩy sự tăng trưởng của thương mại điện tử, kéo theo lượng tương tác trực tuyến tăng vọt, gây khó khăn cho việc kiểm soát, tìm kiếm, tổng hợp và phân tích thông tin thủ công. Do đó, việc xây dựng các hệ thống khai phá quan điểm tự động là yêu cầu cấp thiết.

Khoảng trống nghiên cứu được luận án chỉ ra gồm hai điểm nghẽn chính:

  1. Các phương pháp dựa trên từ vựng hoặc máy học truyền thống phụ thuộc nhiều vào tập đặc trưng thủ công, gặp khó khăn khi xử lý các cấu trúc ngôn ngữ tự nhiên phức tạp như hiện tượng đảo ngược nghĩa do phủ định, sắc thái mỉa mai, ngữ nghĩa phụ thuộc ngữ cảnh hoặc phụ thuộc miền.
  2. Các hệ thống phân tích cảm xúc mức khía cạnh (Aspect-Based Sentiment Analysis - ABSA) hiện hữu phần lớn chỉ xử lý đơn tác vụ (tách rời việc trích rút thực thể, khía cạnh và phân loại cực tính cảm xúc) và chỉ được huấn luyện, thử nghiệm trên từng miền đơn lẻ, dẫn đến hạn chế về tính bao quát và hiệu quả xử lý dữ liệu thực tế.

Mục tiêu nghiên cứu

Mục tiêu chung của luận án là vận dụng các kỹ thuật học sâu nhằm đề xuất và tinh chỉnh các mô hình khai phá quan điểm mức khía cạnh, cải tiến độ chính xác, nâng cao hiệu suất xử lý và tăng tính ứng dụng của mô hình.

Các mục tiêu cụ thể gồm:

  1. Đề xuất phương pháp trích rút khía cạnh của thực thể dựa trên hướng tiếp cận học sâu và xây dựng mô hình thực thi tác vụ này.
  2. Đề xuất và mở rộng khả năng trích rút, phân loại đồng thời các tác vụ chính (đa tác vụ/đa nhiệm) trong hệ thống khai phá quan điểm mức khía cạnh sử dụng các kỹ thuật học sâu tích hợp.
  3. Đề xuất xây dựng tập dữ liệu đa miền từ các bình luận của người dùng trên nhiều lĩnh vực khác nhau, đồng thời phát triển mô hình khai phá quan điểm mức khía cạnh đa tác vụ, đa miền để thực nghiệm trên tập dữ liệu này.

Đối tượng và phạm vi nghiên cứu

  • Đối tượng nghiên cứu: Khía cạnh, quan điểm và quy trình khai phá, phân tích quan điểm mức khía cạnh; các kỹ thuật học sâu trong xử lý ngôn ngữ tự nhiên; các mô hình học sâu kết hợp phục vụ trích rút khía cạnh và phân loại quan điểm đa tác vụ, đa miền.
  • Phạm vi nghiên cứu: Luận án tập trung vào bài toán khai phá quan điểm của người dùng trên dữ liệu văn bản; nghiên cứu các kiến trúc mạng nơ-ron sâu (CNN, RNN, LSTM, BiLSTM, IndyLSTM, BiIndyLSTM, GRU, BiGRU) kết hợp cơ chế chú ý (Attention) và trường ngẫu nhiên có điều kiện (CRF); tận dụng khả năng tính toán song song trên card đồ họa (GPU); thực nghiệm trên các bộ ngữ liệu chuẩn tiếng Anh (SemEval 2014, SemEval 2016) trên các miền máy tính xách tay (Laptop), nhà hàng (Restaurant) và khách sạn (Hotel).

Tổng quan tài liệu và vị trí của luận án

Luận án phân loại các nghiên cứu tiền nhiệm thành hai nhánh tiếp cận chính:

Hướng tiếp cận dựa trên ngữ liệu (Lexicon-based approach)

Hướng tiếp cận này sử dụng các từ điển cảm xúc hoặc thống kê ngữ liệu không giám sát để đo đạc độ phân cực của văn bản:

  • Turney và Littman (2003) xác định hướng ngữ nghĩa của từ thông qua mối liên hệ với tập từ hạt nhân tích cực và tiêu cực bằng đo lường thông tin tương hỗ.
  • Takamura và cộng sự (2005) áp dụng mô hình spin để trích xuất hướng ngữ nghĩa của từ thông qua mạng lưới từ vựng kết hợp từ điển đồng nghĩa, trái nghĩa và thống kê đồng xuất hiện.
  • Kamps và cộng sự (2004) dùng WordNet tính khoảng cách ngắn nhất giữa từ cần xét với hai từ mốc "good" và "bad" trên tập tính từ.
  • Hu và Liu (2004) trích xuất khía cạnh dựa trên tần số xuất hiện của danh từ, cụm danh từ thông qua bộ gán nhãn từ loại (POS tagger) và tra cứu WordNet.
  • Popescu và Etzioni (2005) cải tiến thuật toán của Hu và Liu bằng cách đánh giá mức độ phụ thuộc qua độ đo tương quan điểm thông tin tương hỗ (Pointwise Mutual Information - PMI).
  • Scaffidi và cộng sự (2007) so sánh tần số xuất hiện của danh từ/cụm danh từ trong văn bản đánh giá với tỷ lệ xuất hiện trong kho ngữ liệu tổng quát tiếng Anh.
  • Long, Zhang và Zhu (2006) áp dụng khoảng cách thông tin để chọn lọc khía cạnh.
  • Kobayashi, Inui và Matsumoto (2007) cùng Wu và cộng sự (2009) sử dụng bộ phân tích cú pháp phụ thuộc để nhận dạng quan hệ giữa khía cạnh và từ biểu đạt cảm xúc.
  • Qiu và cộng sự (2011) đề xuất phương pháp trích rút đồng thời khía cạnh và quan điểm qua quan hệ cú pháp phụ thuộc với từ hạt nhân.
  • Các mô hình chủ đề: Lu và cộng sự (2011) kết hợp phân tích ngữ nghĩa tiềm ẩn xác suất (pLSA); Lin và He (2009) áp dụng phân bổ Dirichlet tiềm ẩn (LDA); Brody và Elhadad (2010) kết hợp mô hình chủ đề với xem xét tính từ; Mowlaei và cộng sự (2020) mở rộng từ vựng bằng thống kê và giải thuật di truyền.
Nghiên cứu Dữ liệu thực nghiệm Accuracy Precision Recall F1
Hu và Liu (2004) Electronics 0.681 - - -
Inquirer Tập dữ liệu chuẩn - - - -
Popescu và Etzioni (2005) Tự xây dựng - 0.890 - -
Qiu và cộng sự (2011) Electronics - 0.731 - -
Mowlaei và cộng sự (2020) Bing Liu - - - 0.828

Hướng tiếp cận dựa trên máy học và học sâu (Machine learning and deep learning approach)

Các kỹ thuật phân loại có giám sát và bán giám sát được áp dụng để cải thiện độ chính xác:

  • Máy học truyền thống: Pang và cộng sự (2002) so sánh Naïve Bayes (NB), Maximum Entropy (ME) và Support Vector Machine (SVM), chứng minh SVM và ME vượt trội khi không gian đặc trưng lớn; Jakob và Gurevych (2010) dùng Conditional Random Field (CRF) cho gán nhãn chuỗi; Li và cộng sự (2010) kết hợp Skip-CRF và Tree-CRF; Zhang (2015) dùng CRF mở rộng kết hợp tầng nơ-ron; Akhtar và cộng sự (2016), Hegde và Seema (2017), Al-Smadi (2017) khảo nghiệm các bộ phân loại SVM, Decision Tree, Random Forest trên nhiều tập dữ liệu.
  • Học sâu và cơ chế chú ý: Katiyar và Cardie (2016) áp dụng BiLSTM; Irsoy và Cardie (2014) phát triển RNN sâu hai chiều; Xue và Li (2018) dùng CNN với kiểm soát Tanh-ReLU; Xu và cộng sự (2018) đề xuất CNN với cơ chế nhúng kép (double embeddings); Wang và cộng sự (2016) phát triển Attention-based LSTM; Fan và cộng sự (2018) áp dụng Attention đa mức chi tiết; Zhu và Qian (2018) sử dụng mạng bộ nhớ sâu kết hợp Attention; Zhang và cộng sự (2019) xây dựng mạng tích chập đồ thị (GCN) trên cây cú pháp; Gao và cộng sự (2019) tích hợp mô hình ngôn ngữ BERT; Ansar và cộng sự (2020) ứng dụng Transformer trên tập dữ liệu đánh giá phim.
Nghiên cứu Phương pháp Dữ liệu thực nghiệm Accuracy F1
Pang và cộng sự (2002) SVM / NB / ME Movie reviews - -
Pannala và cộng sự SVM Electronics 0.916 -
Tang và cộng sự (2016) Deep Learning SemEval 2014 Task 4 0.829 -
Ruder và cộng sự (2016) Deep Learning Electronics 0.827 -
Xue và Li (2018) Deep CNN Electronics 0.773 -
Yang và cộng sự (2017) Attention + LSTM SemEval 2014 Task 4 0.722 -
Gu và cộng sự (2018) Attention + BiGRU SemEval 2014 Task 4 0.812 -
Majumder và Frasincar (2019) Multi-Hop + BiLSTM Electronics 0.831 -
Xu và cộng sự (2019) BERT-based SemEval 2014 Task 4 0.770 -
Ansar và cộng sự (2020) Transformer Movies 0.924 -

Khoảng trống luận án lựa chọn giải quyết

Luận án tập trung khắc phục nhược điểm của tiếp cận ngữ liệu (phụ thuộc kích thước từ điển, độ đo tương quan tuyến tính PMI bị hạn chế) và sự phân mảnh của tiếp cận máy học trước đó. Tác giả lựa chọn giải quyết: (1) Nâng cao độ chính xác trích rút khía cạnh bằng việc tích hợp các biến thể mạng hồi quy với CRF; (2) Giải quyết sự rời rạc của các bài toán con bằng mô hình tích hợp đa tác vụ; (3) Mở rộng khả năng thích ứng của hệ thống khai phá quan điểm trên môi trường đa miền thay vì chỉ giới hạn trong các miền đơn lập.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết và khái niệm nền tảng

Luận án sử dụng định nghĩa hình thức của Bing Liu, mô hình hóa quan điểm dưới dạng một bộ 5 thành phần: $$(e_i, a_{ij}, s_{ijkl}, h_k, t_l)$$ Trong đó:

  • $e_i$: Tên của thực thể mục tiêu.
  • $a_{ij}$: Khía cạnh cụ thể của thực thể $e_i$.
  • $s_{ijkl}$: Cực tính quan điểm đối với khía cạnh $a_{ij}$ của thực thể $e_i$ (tích cực, tiêu cực, hoặc trung lập).
  • $h_k$: Người nắm giữ quan điểm (chủ thể phát biểu).
  • $t_l$: Thời điểm quan điểm được biểu đạt.

Về cấp độ phân tích, luận án phân định 3 cấp độ: mức tài liệu (DBSA), mức câu (SBSA) và mức khía cạnh (ABSA). Trọng tâm nghiên cứu được đặt ở cấp độ ABSA nhằm bóc tách cụ thể từng khía cạnh chi tiết thay vì chỉ đưa ra phân loại tổng thể.

Các kỹ thuật học sâu được sử dụng

  1. Mạng nơ-ron tích chập (CNN): Sử dụng các bộ lọc tích chập (convolutional filters) quét qua ma trận nhúng từ để trích xuất các đặc trưng ngữ nghĩa n-gram cục bộ. Sau tầng tích chập là hàm kích hoạt phi tuyến ReLU: $$f(x) = \max(0, x)$$ Tiếp theo là tầng lấy mẫu cực đại (MaxPooling) nhằm giảm chiều dữ liệu, kiểm soát hiện tượng quá khớp (overfitting) và tầng kết nối đầy đủ (Fully Connected).
  2. Mạng nơ-ron hồi quy và các biến thể:
    • RNN cơ bản tính toán trạng thái ẩn: $$s_t = f(Ux_t + Ws_{t-1})$$ Tuy nhiên RNN gặp hiện tượng triệt tiêu hoặc bùng nổ đạo hàm (vanishing/exploding gradient) khi xử lý các chuỗi phụ thuộc dài.
    • Long Short-Term Memory (LSTM) và Bidirectional LSTM (BiLSTM): Kiểm soát luồng thông tin qua các cổng quên, cổng vào và cổng ra.
    • Gated Recurrent Unit (GRU) và Bidirectional GRU (BiGRU): Rút gọn cấu trúc so với LSTM bằng cổng cập nhật (update gate) và cổng đặt lại (reset gate), duy trì hiệu năng và giảm chi phí tính toán.
    • Independently Recurrent Neural Network / Independently LSTM (IndyLSTM, BiIndyLSTM): Cấu trúc nơ-ron hồi quy độc lập cho phép giải quyết tốt hơn vấn đề suy giảm đạo hàm và hỗ trợ học các chuỗi văn bản dài.
  3. Trường ngẫu nhiên có điều kiện (CRF): Được đặt ở tầng đầu ra của các mô hình gán nhãn chuỗi (như trích rút khía cạnh) để giải mã chuỗi nhãn tối ưu tổng thể, loại bỏ các chuyển tiếp nhãn không hợp lệ.
  4. Cơ chế chú ý (Attention): Đo lường trọng số phân bổ của từng từ trong câu đối với các từ mục tiêu, giúp mô hình tập trung vào các từ mang thông tin ngữ cảnh quan trọng.
  5. Kỹ thuật biểu diễn từ và gán nhãn: Luận án sử dụng kỹ thuật nhúng từ (word embeddings) như GloVe để chuyển đổi từ thành vector số thực và quy ước gán nhãn IOB2 (Inside, Outside, Beginning) cho bài toán gán nhãn chuỗi thực thể và khía cạnh.

Nguồn tư liệu và phương pháp thực nghiệm

  • Ngữ liệu thực nghiệm: Dữ liệu chuẩn quốc tế SemEval 2014 Task 4 (các miền Restaurant, Laptop); SemEval 2016 (các miền Restaurant, Laptop); và dữ liệu đa miền do tác giả tạo lập bằng cách trộn ngẫu nhiên các mẫu bình luận: tập song miền Laptop_Restaurant và tập tam miền Laptop_Restaurant_Hotel.
  • Độ đo đánh giá: Độ chuẩn xác (Precision - P), Độ thu hồi (Recall - R), Điểm số F1 (F1-score) và Độ chính xác tổng thể (Accuracy - Acc).

Nội dung chính theo từng chương

Chương 1: Tổng quan về khai phá quan điểm và kỹ thuật học sâu

Chương 1 hệ thống hóa cơ sở lý thuyết về bài toán khai phá quan điểm và học sâu. Tác giả trình bày chi tiết định nghĩa bộ 5 thành phần của quan điểm, phân biệt quan điểm chính quy (trực tiếp, không trực tiếp) với quan điểm so sánh, cùng hai dạng biểu hiện là quan điểm hiện và quan điểm ẩn. Chương này phân tích chi tiết ba cấp độ khai phá quan điểm: mức tài liệu, mức câu và mức khía cạnh.

Nội dung chương điểm lại chi tiết hai hướng nghiên cứu chính: hướng tiếp cận dựa trên ngữ liệu (sử dụng từ điển, WordNet, các độ đo khoảng cách, PMI, mô hình chủ đề pLSA, LDA) và hướng tiếp cận máy học (các thuật toán giám sát NB, ME, SVM; các mô hình chuỗi HMM, CRF; các kiến trúc học sâu CNN, RNN, LSTM, BiLSTM, GRU, BiGRU, mạng nơ-ron đệ quy, GCN, mô hình tiền huấn luyện BERT). Phân tích hạn chế của các phương pháp hiện tại, tác giả chỉ ra điểm yếu của việc phụ thuộc vào từ điển cảm xúc, sự thiếu hụt ngữ cảnh của độ đo PMI, và hiện tượng triệt tiêu đạo hàm trong RNN truyền thống. Từ đó, chương đề xuất ứng dụng các mô hình học sâu tích hợp giải quyết bài toán khai phá quan điểm mức khía cạnh qua 3 giai đoạn được triển khai ở các chương sau.

Chương 2: Trích rút khía cạnh trong khai phá quan điểm với hướng tiếp cận học sâu

Chương 2 giải quyết bài toán trích rút khía cạnh (aspect extraction) – nhiệm vụ nhận diện các cụm từ thể hiện khía cạnh của thực thể trong câu bình luận. Tác giả đề xuất hai mô hình học sâu tích hợp:

  1. Mô hình BiGRU-CRF: Tích hợp mạng hồi quy hai chiều BiGRU với tầng CRF. Chuỗi vector từ sau khi qua BiGRU sẽ nắm bắt được thông tin ngữ cảnh cả từ phía trước lẫn phía sau; tầng CRF đóng vai trò giải mã chuỗi nhãn khía cạnh theo chuẩn IOB.
  2. Mô hình Bi-IndyLSTM-CRF: Thay thế khối hồi quy bằng Independently LSTM hai chiều, khắc phục triệt để hiện tượng phân rã đạo hàm và tăng cường khả năng ghi nhớ các phụ thuộc ngữ nghĩa khoảng cách xa trong câu bình luận.

Thực nghiệm được triển khai trên hai miền dữ liệu chuẩn Laptop và Restaurant của tập SemEval 2014. Kết quả đánh giá trên độ đo F1 cho thấy các mô hình đề xuất đạt hiệu năng vượt trội so với các mô hình so sánh trước đó.

Chương 3: Khai phá quan điểm mức khía cạnh đa tác vụ với hướng tiếp cận học sâu

Chương 3 mở rộng phạm vi nghiên cứu từ việc chỉ trích rút khía cạnh đơn lẻ sang xử lý đồng thời nhiều tác vụ trong khai phá quan điểm mức khía cạnh (Multitask Aspect-Based Sentiment Analysis - MABSA). Luận án đề xuất ba kiến trúc mô hình:

  1. Mô hình CNN-BiGRU: Kết hợp mạng tích chập CNN (trích xuất đặc trưng cục bộ n-gram) và mạng BiGRU (mô hình hóa phụ thuộc thứ tự chuỗi) để thực hiện đồng thời hai tác vụ: trích rút khía cạnh và phân loại quan điểm.
  2. Mô hình CNN-IOB2: Ứng dụng tích hợp kiến trúc CNN với quy chuẩn gán nhãn IOB2 phục vụ trích rút từ mục tiêu quan điểm (opinion target extraction).
  3. Mô hình MABSA: Kiến trúc học sâu hợp nhất cho phép giải quyết đồng thời ba tác vụ: trích rút khía cạnh, phân loại thực thể và phân loại phân cực quan điểm trên từng khía cạnh.

Thực nghiệm được tiến hành trên tập SemEval 2014 (miền Laptop, Restaurant) và tập SemEval 2016 (miền Restaurant). Kết quả đánh giá trên cả 4 độ đo Precision, Recall, F1 và Accuracy khẳng định mô hình đa tác vụ MABSA cải thiện độ chính xác và tính toàn vẹn thông tin so với các phương pháp thực hiện đơn lẻ từng tác vụ riêng biệt.

Chương 4: Khai phá quan điểm mức khía cạnh đa tác vụ, đa miền với hướng tiếp cận học sâu

Chương 4 tập trung giải quyết giới hạn miền dữ liệu trong khai phá quan điểm. Các mô hình truyền thống thường giảm hiệu suất khi áp dụng sang miền dữ liệu mới. Tác giả đề xuất xây dựng tập dữ liệu đa miền bằng cách kết hợp ngẫu nhiên các bình luận từ các miền khác nhau, hình thành tập đa miền Laptop_Restaurant và Laptop_Restaurant_Hotel.

Luận án đề xuất hai mô hình khai phá quan điểm đa miền:

  1. Mô hình CNN-BiLSTM đa miền: Tích hợp CNN và BiLSTM để đồng thời phân loại miền văn bản và thực hiện trích rút, phân loại quan điểm mức khía cạnh.
  2. Mô hình CNN-BiIndyLSTM-Attention: Kiến trúc đa tác vụ đa miền tích hợp mạng CNN, mạng BiIndyLSTM và cơ chế Attention. CNN trích xuất các mẫu n-gram đại diện; BiIndyLSTM ghi nhớ ngữ cảnh hai chiều ổn định; cơ chế Attention phân bổ trọng số tập trung vào các từ khóa mang sắc thái quan điểm tương ứng với từng khía cạnh cụ thể.

Mô hình thực hiện đồng thời 4 tác vụ: phân loại miền, trích rút khía cạnh, phân loại thực thể và phân loại quan điểm. Thực nghiệm so sánh giữa dữ liệu đơn miền và đa miền cho thấy mô hình CNN-BiIndyLSTM-Attention duy trì độ chính xác cao trên các tập dữ liệu hỗn hợp, chứng minh tính thích ứng với dữ liệu đa dạng.

Kết quả và những đóng góp mới

Đóng góp mới về mặt lý luận và mô hình

  • Luận án đã đề xuất và triển khai thành công chuỗi các kiến trúc mô hình học sâu kết hợp mới phục vụ bài toán khai phá quan điểm mức khía cạnh: BiGRU-CRF, Bi-IndyLSTM-CRF, CNN-BiGRU, CNN-IOB2, MABSA, CNN-BiLSTM và CNN-BiIndyLSTM-Attention.
  • Phát triển khung phân tích khai phá quan điểm mức khía cạnh đa tác vụ (MABSA), chứng minh khả năng thực thi đồng thời nhiều bài toán con (trích rút từ mục tiêu, trích rút khía cạnh, phân loại thực thể, xác định cực tính cảm xúc) trong một mô hình thống nhất mà vẫn cải thiện độ chính xác so với việc giải quyết tuần tự hay riêng lẻ.
  • Xây dựng mô hình khai phá quan điểm đa tác vụ trên dữ liệu đa miền (CNN-BiIndyLSTM-Attention), kết hợp khả năng trích xuất đặc trưng của CNN, khả năng nhớ chuỗi của BiIndyLSTM và tính chọn lọc thông tin của cơ chế Attention, giúp giải quyết bài toán phụ thuộc miền trong phân tích cảm xúc.

Đóng góp về mặt thực nghiệm và dữ liệu

  • Thiết lập quy trình tạo lập các tập dữ liệu bình luận đa miền hỗn hợp (Laptop_Restaurant và Laptop_Restaurant_Hotel) dùng cho huấn luyện và kiểm thử các mô hình học sâu đa nhiệm.
  • Cung cấp các kết quả thực nghiệm toàn diện trên các tập dữ liệu chuẩn quốc tế SemEval 2014 và SemEval 2016, kiểm chứng định lượng qua các độ đo Precision, Recall, F1 và Accuracy.

Khuyến nghị và giải pháp đề xuất

  • Ứng dụng các mô hình học sâu đề xuất vào việc xây dựng hệ thống thu thập và xử lý tự động phản hồi khách hàng trong các nền tảng thương mại điện tử, đặt phòng du lịch, dịch vụ ăn uống.
  • Khuyến nghị triển khai các mô hình tích hợp có cơ chế Attention và nơ-ron hồi quy độc lập (IndyLSTM) để tối ưu hóa thời gian huấn luyện và khai thác năng lực xử lý phần cứng trên các cụm tính toán GPU.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu

  • Phạm vi thực nghiệm của luận án tập trung chủ yếu trên các tập ngữ liệu chuẩn tiếng Anh (SemEval 2014, SemEval 2016); chưa mở rộng kiểm thử trên tập dữ liệu tiếng Việt chuyên biệt.
  • Việc xử lý các cấu trúc ngôn ngữ mang tính ẩn dụ sâu, sắc thái mỉa mai (sarcasm) hoặc các câu bình luận dài có cấu trúc cú pháp phức tạp vẫn còn giới hạn.
  • Chi phí tính toán của các mô hình tích hợp nhiều tầng sâu (CNN, BiIndyLSTM, Attention) đòi hỏi tài nguyên phần cứng lớn trong quá trình huấn luyện.

Hướng nghiên cứu tiếp

  • Mở rộng mô hình và kiểm thử trên các bộ dữ liệu tiếng Việt có gán nhãn khía cạnh và thực thể.
  • Nghiên cứu kết hợp các mô hình ngôn ngữ lớn tiền huấn luyện (Pre-trained Language Models) theo cơ chế chuyển giao tri thức để tối ưu hóa biểu diễn ngữ nghĩa.
  • Nghiên cứu các phương pháp nén mô hình hoặc tối ưu hóa tham số nhằm giảm độ phức tạp tính toán, phục vụ triển khai trên các hệ thống thời gian thực.

Giá trị tham khảo

Luận án là tài liệu tham khảo có giá trị chuyên môn cao đối với:

  • Nghiên cứu sinh, học viên cao học chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo, Xử lý ngôn ngữ tự nhiên: Tham khảo cấu trúc tích hợp các kiến trúc học sâu (CNN, BiGRU, BiLSTM, BiIndyLSTM, CRF, Attention), kỹ thuật thiết kế mô hình đa tác vụ và phương pháp thực nghiệm trên các bộ dữ liệu chuẩn SemEval.
  • Giảng viên và cán bộ nghiên cứu: Tham khảo bức tranh tổng quan có hệ thống về lịch sử phát triển của lĩnh vực khai phá quan điểm từ tiếp cận ngữ liệu, máy học truyền thống đến học sâu; cấu trúc hình thức hóa bộ 5 thành phần của Bing Liu và hệ thống độ đo đánh giá mô hình.
  • Kỹ sư dữ liệu và chuyên gia phát triển phần mềm: Tham khảo giải pháp kiến trúc để xây dựng các công cụ phân tích cảm xúc người dùng, hệ thống lắng nghe mạng xã hội (Social Listening), hệ thống đánh giá sản phẩm tự động trong môi trường thương mại điện tử.

Câu hỏi thường gặp

1. Quan điểm được luận án định nghĩa hình thức bằng cấu trúc nào?

Luận án sử dụng định nghĩa của Bing Liu, mô hình hóa quan điểm dưới dạng một bộ 5 thành phần: $(e_i, a_{ij}, s_{ijkl}, h_k, t_l)$, bao gồm: tên thực thể ($e_i$), khía cạnh của thực thể ($a_{ij}$), phân cực quan điểm trên khía cạnh ($s_{ijkl}$), người nắm giữ quan điểm ($h_k$) và thời gian biểu đạt ($t_l$).

2. Ưu thế của IndyLSTM và BiIndyLSTM so với mạng RNN truyền thống trong luận án là gì?

Mạng RNN truyền thống bị giới hạn bởi vấn đề triệt tiêu hoặc bùng nổ đạo hàm khi học các chuỗi dài do các nơ-ron phụ thuộc lẫn nhau qua các bước thời gian. IndyLSTM (và biến thể hai chiều BiIndyLSTM) sử dụng các nơ-ron hoạt động độc lập ở cùng một tầng, giúp việc truyền đạo hàm qua thời gian không bị suy giảm mạnh, từ đó học được các phụ thuộc ngữ cảnh xa hơn và đạt độ ổn định cao hơn trong quá trình huấn luyện.

3. Mô hình MABSA trong Chương 3 thực hiện đồng thời những tác vụ cụ thể nào?

Mô hình MABSA (Multitask Aspect-Based Sentiment Analysis) thực hiện đồng thời ba tác vụ chính trong cùng một kiến trúc thống nhất: trích rút khía cạnh, phân loại thực thể và phân loại phân cực quan điểm (tích cực, tiêu cực, trung lập) trên từng khía cạnh của thực thể.

4. Tập dữ liệu đa miền ở Chương 4 được xây dựng như thế nào?

Tập dữ liệu đa miền được tác giả tạo lập bằng phương pháp trộn ngẫu nhiên các bình luận từ các miền dữ liệu đơn lẻ trong tập SemEval: hình thành tập song miền Laptop_Restaurant (kết hợp miền máy tính xách tay và nhà hàng) và tập tam miền Laptop_Restaurant_Hotel (kết hợp miền máy tính xách tay, nhà hàng và khách sạn).

5. Vai trò của tầng CRF trong mô hình BiGRU-CRF ở Chương 2 là gì?

Tầng CRF (Conditional Random Field) đóng vai trò giải mã chuỗi nhãn tối ưu ở đầu ra. Trong bài toán trích rút khía cạnh theo lược đồ IOB2, việc gán nhãn có sự phụ thuộc lẫn nhau (ví dụ: nhãn I-Aspect không thể xuất hiện ngay sau nhãn O mà phải sau B-Aspect). Tầng CRF xem xét sự tương quan chuyển tiếp giữa các nhãn liên tiếp để đưa ra chuỗi dự đoán hợp lệ nhất trên toàn câu.

Kết luận

Luận án tiến sĩ "Khai phá quan điểm với kỹ thuật học sâu" của tác giả Trần Uyên Trang đã giải quyết có hệ thống bài toán phân tích quan điểm mức khía cạnh thông qua việc vận dụng các kiến trúc mạng nơ-ron sâu tiên tiến. Bằng việc đề xuất chuỗi mô hình tích hợp từ trích rút khía cạnh đơn lẻ (BiGRU-CRF, Bi-IndyLSTM-CRF), khai phá đa tác vụ (CNN-BiGRU, CNN-IOB2, MABSA) đến mô hình thích ứng đa tác vụ trên dữ liệu đa miền (CNN-BiLSTM, CNN-BiIndyLSTM-Attention), công trình đã đóng góp cả về mặt lý luận mô hình hóa lẫn giá trị ứng dụng thực nghiệm. Kết quả đánh giá trên các bộ ngữ liệu chuẩn SemEval 2014, SemEval 2016 và dữ liệu đa miền tự tạo đã khẳng định tính hiệu quả và độ tin cậy của các giải pháp đề xuất.