Tổng quan luận án

Bài toán phân lớp dữ liệu tự động giữ vai trò trọng tâm trong lĩnh vực khai phá dữ liệu trước bối cảnh gia tăng nhanh chóng về dung lượng và chủng loại dữ liệu. Trong mười thuật toán khai phá dữ liệu điển hình nhất, có bảy thuật toán trực tiếp phục vụ bài toán phân lớp bao gồm C4.5, máy vectơ hỗ trợ (SVM), thuật toán cực đại hóa kỳ vọng (EM), AdaBoost, k-láng giềng gần nhất (k-NN), Naïve Bayes và CART. Bản chất của phân lớp là xác định một hàm ánh xạ toàn phần từ tập dữ liệu miền ứng dụng sang một tập hữu hạn các nhãn lớp cho trước, dựa trên việc học thông tin từ tập mẫu huấn luyện đã được gán nhãn.

Sự phát triển của thực tiễn ứng dụng đã thúc đẩy bài toán phân lớp tiến hóa theo các cấp độ phức tạp tăng dần: từ phân lớp đơn nhãn đơn thể hiện (mỗi đối tượng biểu diễn bằng một tập đặc trưng và gán duy nhất một nhãn), phân lớp đơn nhãn đa thể hiện (đối tượng biểu diễn qua một túi nhiều thể hiện và nhận một nhãn), phân lớp đa nhãn (mỗi đối tượng biểu diễn bằng một tập đặc trưng nhưng có thể đồng thời thuộc về nhiều nhãn) cho đến phân lớp đa nhãn đa thể hiện (mỗi đối tượng gồm nhiều thể hiện và nhận đồng thời nhiều nhãn). Trong thực tế xử lý văn bản, một tài liệu thường mang nhiều chủ đề đồng thời (chẳng hạn bài viết về chuyển nhượng cầu thủ bóng đá vừa thuộc lĩnh vực kinh tế, vừa thuộc lĩnh vực thể thao). Khung học máy đa nhãn (Multi-Label Classification - MLC / Multi-Label Learning - MLL) đáp ứng sát thực tế yêu cầu này, nhưng đặt ra nhiều thách thức kỹ thuật về khai thác mối tương quan phụ thuộc giữa các nhãn, chi phí tính toán thuật toán, sự mất cân bằng phân bố nhãn và sự bùng nổ số chiều của không gian đặc trưng cũng như không gian nhãn.

Tại Việt Nam, các nghiên cứu phân lớp văn bản truyền thống (đơn nhãn) đã được quan tâm rộng rãi, song nghiên cứu phân lớp đa nhãn, đặc biệt là đa nhãn cho văn bản tiếng Việt, còn rất hạn chế (dữ liệu khảo sát trên Google Scholar tính đến ngày 20/12/2016 chỉ ghi nhận 29 tài liệu liên quan). Các công trình đa nhãn hiện hữu chủ yếu tập trung vào học có giám sát, đòi hỏi chi phí gán nhãn dữ liệu mẫu rất lớn và tốn kém thời gian do mối quan hệ phụ thuộc phức tạp giữa các nhãn, trong khi các giải pháp phân lớp đa nhãn bán giám sát tận dụng dữ liệu chưa gán nhãn vẫn còn thiếu vắng. Luận án "Nghiên cứu cải tiến phân lớp đa nhãn văn bản và ứng dụng" của nghiên cứu sinh Phạm Thị Ngân (Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, chuyên ngành Hệ thống thông tin, mã số 62.04) được thực hiện nhằm giải quyết trực tiếp khoảng trống này.

Mục tiêu nghiên cứu của luận án được xác định gồm bốn nội dung cụ thể:

  1. Cung cấp một khảo sát khái quát, có hệ thống về phân lớp đa nhãn.
  2. Đề xuất các phương pháp biểu diễn dữ liệu và lựa chọn đặc trưng phù hợp nhằm nâng cao hiệu quả của giải pháp phân lớp đa nhãn văn bản tiếng Việt.
  3. Nghiên cứu, đề xuất các thuật toán phân lớp đa nhãn dựa trên các thuật toán phân lớp hiện đại (hướng tiếp cận bán giám sát).
  4. Xây dựng một số phần mềm thử nghiệm thực thi các giải pháp biểu diễn dữ liệu và thuật toán phân lớp đa nhãn được đề xuất để kiểm chứng tính hiệu quả.

Đối tượng nghiên cứu của luận án là phương pháp biểu diễn dữ liệu, lựa chọn đặc trưng và thuật toán phân lớp đa nhãn trong miền dữ liệu văn bản tiếng Việt. Phạm vi nghiên cứu được giới hạn ở các giải pháp biểu diễn dữ liệu, kỹ thuật lựa chọn đặc trưng và thuật toán phân lớp đa nhãn văn bản tiếng Việt, tập trung vào miền ứng dụng phân tích nhận xét đánh giá của người dùng đối với 1000 khách sạn tại Việt Nam.

Tổng quan tài liệu và vị trí của luận án

Tổng quan tài liệu trong luận án chỉ ra rằng học máy đa nhãn thu hút sự quan tâm lớn của cộng đồng khoa học quốc tế. Thống kê của E. Ventura (2013) trên hai cơ sở dữ liệu thư mục ISI và Scopus cho thấy số lượng công bố và lượt trích dẫn về học đa nhãn tăng trưởng liên tục, với sự đóng góp quan trọng từ các hội nghị như ECML/PKDD 2009, MLD 2009 và MLD 2010. Các nhóm nghiên cứu tiêu biểu trên thế giới bao gồm nhóm của Zhi-Hua Zhou và Min-Ling Zhang (Trung Quốc), nhóm của Ioannis P. Vlahavas và Grigorios Tsoumakas (Hy Lạp), cùng nhóm của Sebastián Ventura Soto (Tây Ban Nha).

Nhiều luận án tiến sĩ và công trình trên thế giới đã đặt nền tảng cho lĩnh vực này:

  • J. Read (2010) nghiên cứu giải pháp phân lớp đa nhãn trên quy mô lớn, phát triển hai mô hình dựa trên phương pháp tập cắt tỉa (Pruned Sets - PS) và chuỗi bộ phân lớp (Classifier Chains - CC).
  • T. T. Le (2013) đề xuất kỹ thuật lựa chọn đặc trưng đa lớp và thuật toán phân lớp đa nhãn đa cặp (Multi-Pair) trên dữ liệu web có cấu trúc nhóm, chuyển đổi bài toán về các bộ phân lớp nhị phân một - đối - tất cả (One-Vs-All - OVA) rồi chia nhỏ thành các cặp so sánh để khắc phục tình trạng mất cân bằng dữ liệu.
  • S. Bucak (2011) đề xuất phương pháp biểu diễn ảnh dựa trên học đa nhân và thuật toán học đa nhãn theo hướng tiếp cận xếp hạng đa nhãn.
  • C. Jungjit (2014) xây dựng mô hình kết hợp hai bộ phân lớp kinh điển là phân lớp đa nhãn k láng giềng gần nhất (ML-kNN) và phân lớp đa nhãn mạng nơ-ron lan truyền ngược (BPMLL) cùng giải pháp tìm kiếm tập con đặc trưng phù hợp.
  • M. Boutell và cộng sự (2004) chuẩn hóa phương pháp tương hợp nhị phân (Binary Relevance - BR).
  • Hướng nghiên cứu về lựa chọn và trích rút đặc trưng đa nhãn được Zhang và cộng sự đẩy mạnh thông qua phân tích thành phần chính (PCA), thuật toán di truyền và khai thác các đặc trưng riêng biệt cho từng nhãn (LIFT). Pupo và cộng sự tập trung cải tiến thuật toán đánh trọng số ReliefF và bộ lọc cho phân lớp đa nhãn.

Tại Việt Nam, trước thời điểm luận án hoàn thành, hầu hết các công bố về phân lớp đa nhãn văn bản tiếng Việt mới chỉ được thực hiện rải rác bởi một số nhóm nghiên cứu tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội, và chưa có một luận án tiến sĩ chuyên sâu nào về phân lớp đa nhãn văn bản tiếng Việt. Phần lớn các phương pháp trước đó dừng lại ở học có giám sát. Luận án lựa chọn giải quyết khoảng trống: cải tiến phương pháp biểu diễn dữ liệu bằng cách khai thác ngữ nghĩa ẩn (mô hình chủ đề ẩn và mô hình đồ thị khoảng cách chủ đề ẩn), tối ưu hóa đặc trưng bằng thông tin tương hỗ, đồng thời phát triển thuật toán phân lớp đa nhãn bán giám sát nhằm khai thác triệt để nguồn tài nguyên văn bản tiếng Việt chưa gán nhãn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án xây dựng trên nền tảng lý thuyết học máy và khai phá dữ liệu, hình thức hóa bài toán phân lớp đa nhãn như sau: Cho không gian thể hiện $X$ và tập nhãn cho trước $L = {l_1, l_2, \dots, l_q}$ gồm $q$ nhãn. Tập dữ liệu huấn luyện gồm $m$ mẫu $D = {(x_i, Y_i) \mid 1 \le i \le m}$, trong đó $x_i \in X$ là thể hiện dữ liệu và $Y_i \subseteq L$ là tập nhãn tương ứng của $x_i$. Mục tiêu là học hàm phân lớp $h: X \to 2^L$.

Các độ đo đặc trưng cho dữ liệu đa nhãn được tác giả sử dụng bao gồm:

  • Card nhãn (Label Cardinality - $LCard$): Trung bình số nhãn được gán cho mỗi mẫu trong tập dữ liệu: $$LCard(D) = \frac{1}{m} \sum_{i=1}^m |Y_i|$$
  • Mật độ nhãn (Label Density - $LDens$): Tỷ lệ chuẩn hóa của $LCard$ trên tổng số nhãn $q$: $$LDens(D) = \frac{LCard(D)}{q}$$
  • Tỷ lệ tập nhãn kết hợp duy nhất ($PUniq$) và tỷ lệ xuất hiện của tập nhãn có tần suất lớn nhất ($PMax$), phản ánh mức độ cân đối, hiện tượng lệch nhãn (nhiều mẫu chỉ tập trung vào một số tập nhãn phổ biến) hoặc đồng nhất nhãn trong lược đồ gán nhãn.

Về mặt kỹ thuật thuật toán, luận án khảo cứu hai hướng tiếp cận chính:

  1. Tiếp cận chuyển đổi bài toán: Chuyển bài toán đa nhãn thành một hoặc nhiều bài toán đơn nhãn (nhị phân, đa lớp) hoặc hồi quy (tiêu biểu gồm BR, CC, CLR, RakEL).
  2. Tiếp cận thích nghi thuật toán: Mở rộng trực tiếp các thuật toán học máy đơn nhãn truyền thống để xử lý dữ liệu đa nhãn (tiêu biểu gồm ML-kNN, ML-DT, Rank-SVM, CML).

Về giảm chiều dữ liệu đa nhãn, tác giả phân tích sự khác biệt cốt lõi giữa đơn nhãn và đa nhãn: trong đơn nhãn các lớp loại trừ lẫn nhau, còn trong đa nhãn các nhãn có tính tương quan và thường do con người gán nhãn nên có thể không đầy đủ hoặc thiếu chính xác. Luận án phân định hai hướng giảm chiều: giảm chiều không gian đặc trưng đầu vào (gồm lựa chọn đặc trưng/trích chọn đặc trưng; giám sát/không giám sát; lọc/đóng gói) và giảm chiều không gian nhãn đầu ra. Tác giả sử dụng độ đo thông tin tương hỗ (Mutual Information - MI) để chọn lọc đặc trưng tiêu biểu và áp dụng kỹ thuật trích rút đặc trưng riêng biệt theo nhãn (LIFT).

Phương pháp nghiên cứu thực tế của luận án là phương pháp nghiên cứu lý thuyết kết hợp nghiên cứu thực nghiệm định lượng:

  • Xây dựng mô hình biểu diễn dữ liệu mới: Mô hình chủ đề ẩn dựa trên phân bổ Dirichlet ẩn (Latent Dirichlet Allocation - LDA) và mô hình biểu diễn văn bản theo đồ thị khoảng cách các chủ đề ẩn.
  • Phát triển thuật toán phân lớp mới: Thuật toán phân lớp đa nhãn bán giám sát MULTICS kết hợp thuật toán phân cụm bán giám sát văn bản TESC và kỹ thuật khai thác đặc trưng nhãn riêng biệt LIFT.
  • Nguồn dữ liệu thực nghiệm: Ngữ liệu nhận xét tiếng Việt thu thập từ đánh giá của người dùng về 1000 khách sạn tại Việt Nam; dữ liệu gán nhãn thực thể có tên tiếng Việt; dữ liệu hành vi mạng xã hội cho bài toán tư vấn.
  • Hệ thống tiêu chí đánh giá:
    • Các độ đo dựa trên mẫu: Subset Accuracy (độ chính xác tập con), Hamming Loss, One-error, Coverage, Ranking Loss, Average Precision.
    • Các độ đo dựa trên nhãn: Tính toán giá trị trung bình thô (Macro-averaging) và trung bình mịn (Micro-averaging) cho Precision, Recall và F-measure dựa trên các giá trị $TP_j, FP_j, TN_j, FN_j$ của từng nhãn $j$.

Nội dung chính theo từng chương

Chương 1: Từ phân lớp đơn nhãn tới phân lớp đa nhãn

Chương 1 hệ thống hóa quá trình tiến hóa của bài toán phân lớp trong học máy từ đơn nhãn đơn thể hiện, đơn nhãn đa thể hiện, đa nhãn đơn thể hiện tới đa nhãn đa thể hiện. Tác giả đi sâu phân tích toàn diện các phương diện kỹ thuật của phân lớp đa nhãn đơn thể hiện.

Trong tiếp cận chuyển đổi bài toán, chương phân tích bốn thuật toán:

  • Tương hợp nhị phân (Binary Relevance - BR): Tách bài toán thành $q$ bộ phân lớp nhị phân độc lập. Để khắc phục hiện tượng tập nhãn rỗng khi toàn bộ các bộ phân lớp đều dự đoán âm, luật T-Criterion được sử dụng nhằm bổ sung nhãn có giá trị đầu ra ít âm nhất. BR có ưu điểm trực tiếp nhưng bỏ qua tương quan nhãn và dễ gặp mất cân bằng dữ liệu.
  • Chuỗi bộ phân lớp (Classifier Chains - CC): Khắc phục nhược điểm của BR bằng cách xếp các bộ phân lớp nhị phân theo một chuỗi hoán vị, trong đó thuộc tính đầu vào của bộ phân lớp thứ $j$ được bổ sung thêm nhãn dự đoán của các bộ phân lớp trước đó. Tác giả giới thiệu kỹ thuật tích hợp chuỗi bộ phân lớp (Ensemble of Classifier Chains - ECC) để giải quyết sự phụ thuộc vào thứ tự chuỗi ngẫu nhiên.
  • Xếp hạng nhãn theo kích cỡ (Calibrated Label Ranking - CLR): Chuyển bài toán thành xếp hạng nhãn thông qua kỹ thuật so sánh cặp đôi, sinh ra $q(q-1)/2$ bộ phân lớp nhị phân kết hợp cơ chế bỏ phiếu.
  • Tập k nhãn ngẫu nhiên (Random k-Labelsets - RakEL): Áp dụng kỹ thuật tập lũy thừa nhãn (Label Powerset - LP) trên các tập con kích thước $k$ được chọn ngẫu nhiên trong không gian nhãn, kết hợp tập hợp các bộ phân lớp để đưa ra dự đoán hoàn chỉnh.

Trong tiếp cận thích nghi thuật toán, chương làm rõ bốn giải pháp:

  • ML-kNN: Tìm $k$ láng giềng gần nhất của mẫu kiểm tra, sau đó áp dụng nguyên lý cực đại hậu nghiệm (MAP) từ thông tin nhãn của các láng giềng để gán nhãn.
  • Cây quyết định đa nhãn (ML-DT): Xây dựng cây quyết định đệ quy dựa trên độ lợi thông tin tính từ entropy đa nhãn có thể phân rã dưới giả thiết độc lập nhãn.
  • Rank-SVM: Thích nghi máy vectơ hỗ trợ bằng quy hoạch toàn phương, tối ưu hệ thống $q$ bộ phân lớp tuyến tính để cực đại hóa biên phân cách giữa các cặp nhãn liên quan và không liên quan.
  • Phân lớp đa nhãn nhóm (Collective Multi-Label - CML): Áp dụng nguyên lý cực đại hóa entropy với các ràng buộc về mối quan hệ giữa các cặp nhãn để ước lượng phân phối xác suất có điều kiện.

Bảng tổng hợp đặc tính các thuật toán phân lớp đa nhãn được tác giả khái quát như sau:

Thuật toán Ý tưởng chính Độ phức tạp Huấn luyện / Kiểm thử Loại dữ liệu phù hợp Độ đo tối ưu
Binary Relevance (BR) Chuyển bài toán đa nhãn về $q$ bộ phân lớp nhị phân độc lập. $O(q \cdot g_1(m, d)) \big/ O(q \cdot g_2(d))$ Ảnh Phân lớp (Hamming loss)
Classifier Chains (CC) Chuyển bài toán đa nhãn về chuỗi $q$ bộ phân lớp nhị phân phụ thuộc. $O(q \cdot g_1(m, d+q)) \big/ O(q \cdot g_2(d+q))$ Ảnh, video, văn bản Phân lớp (Hamming loss)
Random k-Labelsets (RakEL) Chuyển bài toán đa nhãn về $n$ bộ phân lớp đa lớp dựa trên tập lũy thừa $k$ nhãn. $O(n \cdot g_1(m, d)) \big/ O(n \cdot g_2(d))$ Ảnh, văn bản, sinh học Phân lớp (Độ chính xác)
ML-DT Sử dụng cây quyết định với độ lợi thông tin dựa trên entropy đa nhãn phân rã. $O(d \cdot m^2) \big/ O(d)$ Dữ liệu sinh học Phân lớp (Hamming loss)
Rank-SVM Cực đại hóa biên quyết định giữa các nhãn liên quan và không liên quan bằng quy hoạch toàn phương. $O(m^2 \cdot d + q \cdot QP(m, d)) \big/ O(q \cdot d)$ Xếp hạng / Sinh học Xếp hạng (Ranking loss)
CML Cực đại hóa entropy dựa trên ràng buộc phân phối nhãn để xác định xác suất có điều kiện. $O(m \cdot q^2 + Opt(q^2)) \big/ O((2^q + d) \cdot q^2)$ Văn bản Phân lớp (Độ chính xác tập con)

Bên cạnh đó, Chương 1 phân tích chi tiết các kỹ thuật giảm chiều không gian đặc trưng đầu vào (phân loại theo trích rút/lựa chọn, giám sát/không giám sát, bộ lọc/đóng gói) và không gian nhãn đầu ra, chỉ rõ hạn chế của việc áp dụng máy móc giảm chiều đơn nhãn sang bài toán đa nhãn.

Chương 2: Hai mô hình phân lớp đơn nhãn văn bản tiếng Việt

Chương 2 trình bày hai mô hình phân lớp đơn nhãn ứng dụng cho văn bản tiếng Việt như một bước đệm thực nghiệm trước khi đi sâu vào bài toán đa nhãn:

  1. Mô hình nhận diện thực thể có tên (Named Entity Recognition - NER) tiếng Việt: Mô hình kết hợp trường ngẫu nhiên có điều kiện (Conditional Random Fields - CRFs) với tiêu chuẩn kỳ vọng tổng quát (Generalized Expectation criteria - GE). Tác giả xây dựng tập ràng buộc (constraint file) dựa trên các mẫu ngữ cảnh từ vựng và ngữ cảnh phát hiện tên thực thể. Phương pháp này cho phép thực hiện gán nhãn bán giám sát hiệu quả trong điều kiện ngữ liệu gán nhãn ban đầu có quy mô nhỏ.

  2. Mô hình phân lớp đơn nhãn trong hệ tư vấn xã hội (Social Recommender System): Mô hình áp dụng kỹ thuật lọc cộng tác kết hợp thông tin bổ sung của người dùng khai thác từ phương tiện truyền thông xã hội. Tác giả tiến hành lập bảng đặc trưng tiểu sử và đặc trưng xã hội của người dùng, thực nghiệm khảo sát mức độ tác động của các nhóm đặc trưng xã hội bổ sung tới độ chính xác của kết quả tư vấn dịch vụ.

Các kết quả thực nghiệm đạt được trong chương khẳng định tính khả thi của việc khai thác tri thức ngữ cảnh và đặc trưng bổ sung trong xử lý văn bản tiếng Việt.

Chương 3: Phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn

Chương 3 đề xuất hai giải pháp biểu diễn dữ liệu mới cho bài toán phân lớp đa nhãn văn bản tiếng Việt:

  1. Mô hình phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn: Xuất phát từ hạn chế của mô hình không gian vectơ truyền thống (Bag-of-Words) là kích thước không gian từ vựng quá lớn và dữ liệu bị thưa thớt, tác giả áp dụng mô hình phân bổ Dirichlet ẩn (LDA) để trích xuất các chủ đề tiềm ẩn dưới dạng phân phối xác suất của từ trên chủ đề và tài liệu trên chủ đề. Để loại bỏ các đặc trưng dư thừa hoặc ít mang tính phân biệt, luận án sử dụng độ đo thông tin tương hỗ (Mutual Information - MI) để chọn lọc tập đặc trưng tiêu biểu nhất liên quan đến từng chủ đề và nhãn. Quy trình gồm hai pha: Pha 1 huấn luyện mô hình chủ đề và bộ phân lớp đa nhãn; Pha 2 đánh giá mô hình trên tập kiểm thử độc lập.

  2. Mô hình phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo đồ thị khoảng cách các chủ đề ẩn: Khắc phục nhược điểm của mô hình chủ đề ẩn thông thường là bỏ qua trật tự xuất hiện và vị trí ngữ cảnh của các chủ đề trong văn bản, tác giả đề xuất biểu diễn văn bản dưới dạng đồ thị khoảng cách. Các đỉnh của đồ thị biểu diễn các chủ đề ẩn, trong khi các cạnh có hướng hoặc vô hướng thể hiện khoảng cách tương đối (tính theo số câu hoặc số từ) giữa các chủ đề trong văn bản. Mô hình đồ thị khoảng cách vượt trội hơn mô hình n-gram nhờ khả năng nắm bắt quan hệ ngữ cảnh tầm xa giữa các chủ đề.

Ứng dụng thực nghiệm được triển khai trên tập ngữ liệu nhận xét của người dùng về 1000 khách sạn tại Việt Nam (phân tích đa khía cạnh: phòng ốc, vị trí, giá cả, thái độ phục vụ, vệ sinh...). Kết quả thực nghiệm cho thấy mô hình biểu diễn dữ liệu kết hợp chủ đề ẩn và đồ thị khoảng cách đạt hiệu quả phân lớp cao hơn so với biểu diễn không gian vectơ truyền thống trên các độ đo Hamming Loss, Subset Accuracy và Micro-F1.

Chương 4: Kỹ thuật bán giám sát phân lớp đa nhãn văn bản tiếng Việt

Chương 4 tập trung giải quyết bài toán thiếu hụt dữ liệu gán nhãn trong phân lớp đa nhãn thông qua kỹ thuật bán giám sát:

  1. Tiếp cận phân cụm bán giám sát: Tác giả phân tích hai nhánh tiếp cận chính: tiếp cận dựa trên ràng buộc (sử dụng ràng buộc phải cùng nhóm must-link và không cùng nhóm cannot-link) và tiếp cận dựa trên khoảng cách (điều chỉnh hàm khoảng cách theo phản hồi giám sát). Chương phân tích sâu hai thuật toán nền tảng:
  • Thuật toán TESC (TExt classification using Semi-supervised Clustering): Phương pháp phân lớp văn bản đơn nhãn bán giám sát kết hợp phân cụm và thông tin giám sát dạng nhãn để dẫn dắt quá trình gom cụm.
  • Thuật toán LIFT (Multi-Label Learning with Label-specIfic FeaTures): Kỹ thuật học đa nhãn khai thác các đặc trưng riêng biệt cho từng nhãn thông qua việc phân cụm các mẫu dương và mẫu âm của từng nhãn độc lập.

  1. Thuật toán phân lớp đa nhãn bán giám sát MULTICS: Tác giả đề xuất thuật toán MULTICS trên cơ sở mở rộng thuật toán TESC từ đơn nhãn sang đa nhãn, kết hợp cơ chế khai thác đặc trưng nhãn riêng biệt từ LIFT. Thuật toán áp dụng chiến thuật "tham lam" (greedy strategy) trong việc gán nhãn cho các cụm dữ liệu chưa gán nhãn dựa trên mức độ liên kết với các mẫu có nhãn sẵn có, qua đó mở rộng dần tập dữ liệu huấn luyện một cách tin cậy.

  2. Mô hình ứng dụng và kết quả thực nghiệm: Mô hình ứng dụng phân lớp đa nhãn bán giám sát được thiết kế với hai pha: Pha huấn luyện bán giám sát trên tập dữ liệu gồm một phần nhỏ văn bản có nhãn và phần lớn văn bản chưa gán nhãn; Pha phân lớp áp dụng mô hình đã huấn luyện cho văn bản mới.

Thực nghiệm được triển khai trên ngữ liệu đánh giá danh tiếng 1000 khách sạn tại Việt Nam. Tác giả tiến hành 5 kịch bản thực nghiệm với tỷ lệ dữ liệu có nhãn và chưa gán nhãn thay đổi. Kết quả thực nghiệm khẳng định thuật toán MULTICS đạt độ chính xác và chỉ số F-measure vượt trội so với các thuật toán học có giám sát truyền thống khi chỉ sử dụng một lượng nhỏ mẫu huấn luyện ban đầu, chứng minh khả năng tận dụng tốt nguồn dữ liệu văn bản tiếng Việt chưa gán nhãn.

Kết quả và những đóng góp mới

Các kết quả và đóng góp mới của luận án được tổng hợp cụ thể như sau:

  1. Về mặt lý luận và mô hình biểu diễn dữ liệu:
  • Đề xuất mô hình biểu diễn dữ liệu văn bản theo chủ đề ẩn kết hợp độ đo thông tin tương hỗ (MI) để chọn lọc đặc trưng cho bài toán phân lớp đa nhãn.
  • Đề xuất phương pháp biểu diễn dữ liệu văn bản theo đồ thị khoảng cách các chủ đề ẩn, cho phép nắm bắt quan hệ ngữ cảnh và cấu trúc ngữ nghĩa giữa các chủ đề trong văn bản.
  1. Về mặt thuật toán học máy:
  • Phát triển và đề xuất thành công thuật toán phân lớp đa nhãn bán giám sát MULTICS dựa trên việc mở rộng thuật toán phân cụm bán giám sát TESC kết hợp kỹ thuật khai thác đặc trưng riêng biệt cho từng nhãn (LIFT) và chiến thuật tham lam.
  1. Về ứng dụng thực tiễn trong xử lý văn bản tiếng Việt:
  • Đề xuất mô hình nhận diện thực thể có tên (NER) tiếng Việt dựa trên CRFs kết hợp tiêu chuẩn kỳ vọng tổng quát (GE) với tập ràng buộc ngữ cảnh.
  • Xây dựng mô hình phân lớp trong hệ tư vấn xã hội tiếng Việt tích hợp đặc trưng người dùng từ mạng xã hội.
  • Xây dựng phần mềm thử nghiệm thực thi các mô hình và thuật toán đề xuất, áp dụng giải quyết bài toán đánh giá danh tiếng cho 1000 khách sạn tại Việt Nam từ dữ liệu nhận xét trực tuyến.
  1. Kiến nghị và giải pháp đề xuất:
  • Khuyến nghị ứng dụng mô hình MULTICS và phương pháp biểu diễn đồ thị khoảng cách chủ đề ẩn vào các hệ thống khai phá ý kiến (opinion mining), lắng nghe mạng xã hội (social listening) và đánh giá chất lượng dịch vụ du lịch – khách sạn tự động tại Việt Nam.
  • Đề xuất tiếp tục chuẩn hóa và mở rộng các bộ ngữ liệu văn bản tiếng Việt phục vụ cho bài toán học đa nhãn và bán giám sát.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế của nghiên cứu:

  • Thực nghiệm phân lớp đa nhãn mới chỉ tập trung giới hạn trong miền dữ liệu văn bản nhận xét, đánh giá khách sạn tiếng Việt; chưa mở rộng đánh giá trên các thể loại văn bản khác có văn phong phức tạp hơn như văn bản báo chí, pháp luật hoặc y tế.
  • Chi phí tính toán xây dựng đồ thị khoảng cách chủ đề ẩn và bước phân cụm trong thuật toán bán giám sát tăng đáng kể khi kích thước ngữ liệu và số lượng chủ đề ẩn mở rộng quy mô lớn.

Hướng nghiên cứu tiếp:

  • Thử nghiệm và hoàn thiện thuật toán MULTICS trên các tập ngữ liệu văn bản tiếng Việt thuộc nhiều miền nghiệp vụ khác nhau với kích thước mẫu lớn hơn.
  • Tối ưu hóa cấu trúc dữ liệu và giải thuật nhằm giảm độ phức tạp thời gian khi xây dựng biểu diễn đồ thị khoảng cách các chủ đề ẩn.
  • Nghiên cứu mô hình phân lớp đa nhãn bán giám sát kết hợp phân cấp nhãn (Hierarchical Multi-Label Classification) và khai thác sâu hơn mối tương quan phụ thuộc bậc cao giữa các nhãn.

Giá trị tham khảo

Luận án mang lại giá trị tham khảo rõ ràng cho các nhóm đối tượng nghiên cứu và triển khai:

  • Nghiên cứu sinh, học viên cao học và giảng viên ngành Hệ thống thông tin, Khoa học máy tính, Khoa học dữ liệu: Có thể sử dụng Chương 1 như tài liệu tổng quan toàn diện về lý thuyết học đa nhãn, bao gồm chi tiết các thuật toán chuyển đổi (BR, CC, CLR, RakEL), thích nghi (ML-kNN, ML-DT, Rank-SVM, CML) và hệ thống công thức các độ đo đánh giá ($LCard$, $LDens$, Subset Accuracy, Hamming Loss, One-error, Coverage, Ranking Loss).
  • Các nhà nghiên cứu và kỹ sư xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt: Có thể tham khảo phương pháp biểu diễn văn bản dựa trên chủ đề ẩn LDA kết hợp đồ thị khoảng cách ở Chương 3 và thuật toán bán giám sát MULTICS ở Chương 4 để áp dụng cho các bài toán phân tích sắc thái đa khía cạnh (Aspect-Based Sentiment Analysis), gán nhãn văn bản tự động khi thiếu hụt dữ liệu gán nhãn thủ công.
  • Doanh nghiệp công nghệ và đơn vị cung cấp dịch vụ du lịch: Tham khảo kiến trúc hệ thống đánh giá danh tiếng khách sạn và mô hình tư vấn xã hội để xây dựng các giải pháp tự động giám sát thương hiệu và phân tích phản hồi của khách hàng từ các diễn đàn, mạng xã hội.

Câu hỏi thường gặp

1. Luận án phân loại các kỹ thuật phân lớp đa nhãn thành những hướng tiếp cận chính nào và thuật toán cụ thể của mỗi hướng gồm những gì?
Luận án chia kỹ thuật phân lớp đa nhãn thành hai hướng tiếp cận chính:

  • Tiếp cận chuyển đổi bài toán: Chuyển đổi bài toán đa nhãn thành các bài toán phân lớp đơn nhãn hoặc xếp hạng. Các thuật toán điển hình được trình bày gồm Tương hợp nhị phân (Binary Relevance - BR), Chuỗi bộ phân lớp (Classifier Chains - CC), Xếp hạng nhãn theo kích cỡ (Calibrated Label Ranking - CLR) và Tập k nhãn ngẫu nhiên (Random k-Labelsets - RakEL).
  • Tiếp cận thích nghi thuật toán: Mở rộng trực tiếp thuật toán đơn nhãn để xử lý dữ liệu đa nhãn. Các thuật toán điển hình gồm k láng giềng gần nhất đa nhãn (ML-kNN), Cây quyết định đa nhãn (ML-DT), Xếp hạng máy vectơ hỗ trợ (Rank-SVM) và Bộ phân lớp đa nhãn nhóm (Collective Multi-Label - CML).

2. Các độ đo nào được tác giả sử dụng để định lượng đặc trưng phân bố của dữ liệu đa nhãn?
Tác giả sử dụng bốn độ đo cơ bản:

  • Card nhãn ($LCard$): Trung bình số lượng nhãn được gán cho mỗi mẫu dữ liệu.
  • Mật độ nhãn ($LDens$): Giá trị $LCard$ chia cho tổng số nhãn trong không gian nhãn $q$.
  • Tỷ lệ kết hợp nhãn duy nhất ($PUniq$): Tỷ lệ các tổ hợp nhãn duy nhất xuất hiện trên tổng số mẫu.
  • Tỷ lệ xuất hiện của tập nhãn lớn nhất ($PMax$): Tỷ lệ các mẫu nhận tổ hợp nhãn có tần suất xuất hiện cao nhất, phản ánh mức độ lệch nhãn của tập dữ liệu.

3. Thuật toán phân lớp đa nhãn bán giám sát MULTICS được đề xuất dựa trên những nền tảng lý thuyết nào?
Thuật toán MULTICS được tác giả phát triển dựa trên việc mở rộng thuật toán phân cụm bán giám sát văn bản đơn nhãn TESC (TExt classification using Semi-supervised Clustering), tích hợp cơ chế trích xuất các đặc trưng riêng biệt cho từng nhãn từ kỹ thuật LIFT (Multi-Label Learning with Label-specIfic FeaTures), kết hợp chiến thuật tham lam (greedy strategy) để gán nhãn dữ liệu chưa gán nhãn thông qua các cụm.

4. Dữ liệu thực nghiệm chính được luận án sử dụng để kiểm chứng các mô hình phân lớp đa nhãn là gì?
Dữ liệu thực nghiệm chính của luận án là tập ngữ liệu văn bản nhận xét, đánh giá của người dùng về 1000 khách sạn tại Việt Nam, phục vụ cho bài toán xây dựng hệ thống phân lớp đa nhãn đánh giá danh tiếng khách sạn dựa trên nhiều khía cạnh dịch vụ khác nhau.

5. Vì sao các phương pháp giảm chiều dữ liệu trong phân lớp đơn nhãn không thể áp dụng nguyên bản cho phân lớp đa nhãn?
Theo phân tích của tác giả, trong phân lớp đơn nhãn các lớp loại trừ lẫn nhau, trong khi trong phân lớp đa nhãn các nhãn không độc lập mà có sự tương quan phụ thuộc lẫn nhau. Đồng thời, nhãn trong dữ liệu đa nhãn do con người gán nên thường không đầy đủ hoặc thiếu chính xác. Việc áp dụng máy móc các phương pháp giảm chiều đơn nhãn theo hướng chuyển đổi bài toán sẽ phá vỡ mối quan hệ phụ thuộc giữa các nhãn, dẫn đến giảm sút hiệu quả phân lớp.

Kết luận

Luận án "Nghiên cứu cải tiến phân lớp đa nhãn văn bản và ứng dụng" của nghiên cứu sinh Phạm Thị Ngân là công trình nghiên cứu hệ thống về bài toán phân lớp đa nhãn trong xử lý văn bản tiếng Việt. Tác giả đã đề xuất hai giải pháp biểu diễn dữ liệu mới (mô hình chủ đề ẩn kết hợp thông tin tương hỗ và mô hình đồ thị khoảng cách các chủ đề ẩn), cùng thuật toán phân lớp đa nhãn bán giám sát MULTICS kết hợp kỹ thuật phân cụm TESC và đặc trưng nhãn riêng biệt LIFT. Các kết quả thực nghiệm trên tập dữ liệu đánh giá 1000 khách sạn tại Việt Nam đã kiểm chứng tính hiệu quả của các mô hình và thuật toán đề xuất, mở ra khả năng ứng dụng thực tế trong lĩnh vực khai phá ý kiến và phân tích dữ liệu văn bản tiếng Việt.