Tổng quan luận án

Luận án tiến sĩ "Nghiên cứu cải tiến phân lớp đa nhãn văn bản và ứng dụng" của nghiên cứu sinh Phạm Thị Ngân, chuyên ngành Hệ thống thông tin (mã số: 62.48.01.04), được thực hiện tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội dưới sự hướng dẫn khoa học của PGS. TS. Hà Quang Thụy và PGS. TS. Phan Xuân Hiếu (bảo vệ năm 2017).

Về tính cấp thiết, sự gia tăng nhanh chóng của dữ liệu số hóa đặt ra yêu cầu thiết yếu đối với các kỹ thuật phân lớp dữ liệu tự động. Trong mười thuật toán khai phá dữ liệu tiêu biểu, có tới bảy thuật toán phục vụ bài toán phân lớp gồm C4.5, SVM, EM, AdaBoost, k-NN, Naïve Bayes và CART. Tuy nhiên, bài toán phân lớp đơn nhãn truyền thống (mỗi đối tượng chỉ thuộc về một lớp duy nhất) bộc lộ sự hạn chế khi ứng dụng vào các ngữ cảnh thực tế phức tạp, nơi một đối tượng thường mang nhiều ngữ nghĩa đồng thời. Phân lớp đa nhãn (Multi-Label Classification - MLC) đã xuất hiện như một khung học máy phù hợp nhằm gán một tập các nhãn đồng thời cho từng mẫu dữ liệu. Mặc dù vậy, quá trình xử lý dữ liệu đa nhãn phải đối mặt với các thách thức kỹ thuật lớn: mối quan hệ phụ thuộc phức tạp giữa các nhãn, chi phí tính toán tăng cao, hiện tượng mất cân bằng nhãn và sự bùng nổ số chiều đặc trưng.

Khoảng trống nghiên cứu được tác giả xác định cụ thể: trên thế giới, học đa nhãn là chủ đề thu hút sự quan tâm lớn nhưng các phương pháp chủ yếu vận hành theo cơ chế học có giám sát; tại Việt Nam, các công trình về phân lớp văn bản tiếng Việt chủ yếu tập trung vào bài toán đơn nhãn, trong khi nghiên cứu về phân lớp đa nhãn cho văn bản tiếng Việt còn rất hạn chế (chỉ có 29 tài liệu liên quan trên Google Scholar tính đến tháng 12 năm 2016) và chưa có luận án tiến sĩ nào nghiên cứu chuyên sâu về phân lớp đa nhãn. Hơn nữa, việc gán nhãn thủ công cho dữ liệu đa nhãn đòi hỏi chi phí rất lớn, dẫn tới sự thiếu hụt nghiêm trọng các tập dữ liệu mẫu chuẩn; các mô hình phân lớp đa nhãn bán giám sát nhằm tận dụng khối lượng văn bản chưa gán nhãn phong phú vẫn chưa được phát triển đầy đủ.

Luận án xác định 4 mục tiêu nghiên cứu cụ thể:

  1. Cung cấp một khảo sát khái quát, có hệ thống về khung học máy phân lớp đa nhãn.
  2. Đề xuất các phương pháp biểu diễn dữ liệu và lựa chọn đặc trưng phù hợp nhằm nâng cao hiệu quả phân lớp đa nhãn cho văn bản tiếng Việt.
  3. Nghiên cứu, đề xuất các thuật toán phân lớp đa nhãn dựa trên các thuật toán phân lớp hiện đại, đặc biệt là kỹ thuật bán giám sát.
  4. Xây dựng một số phần mềm thử nghiệm thực thi các giải pháp biểu diễn dữ liệu và thuật toán phân lớp đa nhãn đề xuất để kiểm chứng tính hiệu quả qua thực nghiệm.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các phương pháp biểu diễn dữ liệu, kỹ thuật lựa chọn đặc trưng và thuật toán phân lớp đa nhãn trong miền dữ liệu văn bản tiếng Việt.
  • Phạm vi nghiên cứu: Tập trung vào văn bản tiếng Việt, giới hạn trong phạm vi bài toán phân tích nhận xét đánh giá (nghiên cứu thực nghiệm trên tập ngữ liệu gồm nhận xét đánh giá về 1000 khách sạn tại Việt Nam).

Tổng quan tài liệu và vị trí của luận án

Luận án hệ thống hóa bức tranh nghiên cứu học máy đa nhãn trên phạm vi quốc tế và trong nước thông qua các nhóm tác giả, công trình và hướng tiếp cận tiêu biểu:

  1. Các nhóm nghiên cứu và công trình quốc tế tiêu biểu:
  • Nhóm nghiên cứu của Zhi-Hua Zhou, Min-Ling Zhang: Các công trình nền tảng về khung học máy đa nhãn đơn thể hiện và đa thể hiện (Zhou và cộng sự, 2004, 2006, 2012); thuật toán ML-kNN (Zhang và Zhou, 2007); thuật toán LIFT khai thác đặc trưng nhãn riêng biệt (Zhang, 2011); kỹ thuật lựa chọn đặc trưng bằng PCA và giải thuật di truyền (Zhang và cộng sự, 2010).
  • Nhóm nghiên cứu của Grigorios Tsoumakas, Ioannis P. Vlahavas: Tổng quan các thuật toán phân lớp đa nhãn và độ đo đánh giá (Tsoumakas và Katakis, 2007; Tsoumakas và cộng sự, 2010); thuật toán Random k-Labelsets - RakEL (Tsoumakas và Vlahavas, 2007).
  • Nhóm nghiên cứu của Sebastián Ventura: Khảo sát thống kê về sự phát triển của học đa nhãn trên cơ sở dữ liệu ISI và Scopus từ năm 2009 đến năm 2013 (Gibaja và Ventura, 2014, 2015).
  • Các luận án tiến sĩ tiêu biểu trên thế giới: Luận án của J. Read (2010) đề xuất phương pháp tập cắt tỉa (Pruned Sets) và chuỗi bộ phân lớp (Classifier Chains) trên quy mô lớn; luận án của T. T. Le (2014) về lựa chọn đặc trưng đa lớp và thuật toán Multi-Pair cho dữ liệu web có cấu trúc nhóm; luận án của S. Bucak (2011) về biểu diễn ảnh dựa trên học đa nhân và xếp hạng nhãn; luận án của C. Jungjit (2013) kết hợp ML-kNN và mạng nơ-ron BPMLL với lựa chọn đặc trưng.
  • Các hướng tiếp cận kỹ thuật: Chuyển đổi nhị phân (Binary Relevance - Boutell và cộng sự, 2004); xếp hạng nhãn (Elisseeff và Weston, 2001; Fürnkranz và cộng sự, 2008); khai thác quan hệ nhãn và chuỗi bộ phân lớp (Read và cộng sự, 2009, 2011); đánh trọng số đặc trưng bằng bộ lọc và ReliefF (Pupo và cộng sự, 2013, 2015).
  1. Tình hình nghiên cứu tại Việt Nam và vị trí của luận án: Tại Việt Nam, các nghiên cứu xử lý ngôn ngữ tự nhiên và phân lớp văn bản tiếng Việt chủ yếu giới hạn ở bài toán phân lớp đơn nhãn. Phân lớp đa nhãn văn bản tiếng Việt chỉ mới được khởi xướng bởi một số nhóm nghiên cứu tại Đại học Công nghệ – Đại học Quốc gia Hà Nội. Trước thời điểm luận án hoàn thành, chưa có luận án tiến sĩ nào nghiên cứu toàn diện về phân lớp đa nhãn. Hầu hết các tiếp cận đã có đều áp dụng học có giám sát, phụ thuộc hoàn toàn vào tập dữ liệu huấn luyện đã được gán nhãn đầy đủ.

Luận án định vị trọng tâm giải quyết khoảng trống này bằng cách: nghiên cứu sự tiến hóa của bài toán phân lớp; đề xuất hai mô hình biểu diễn dữ liệu mới (chủ đề ẩn LDA và đồ thị khoảng cách chủ đề ẩn); phát triển thuật toán phân lớp đa nhãn bán giám sát MULTICS kết hợp kỹ thuật phân cụm bán giám sát và trích xuất đặc trưng nhãn riêng biệt, cho phép khai thác hiệu quả khối lượng lớn dữ liệu văn bản tiếng Việt chưa gán nhãn.

Cơ sở lý thuyết và phương pháp nghiên cứu

Luận án vận dụng các lý thuyết, khái niệm và phương pháp nghiên cứu học máy từ cơ bản đến hiện đại:

  1. Cơ sở lý thuyết và khung phân tích:
  • Khung tiến hóa của bài toán phân lớp: Luận án định vị bài toán qua bốn cấp độ:
    • Phân lớp đơn nhãn đơn thể hiện: Mỗi đối tượng được biểu diễn bằng một vector đặc trưng duy nhất và được gán một nhãn duy nhất $y \in L$.
    • Phân lớp đơn nhãn đa thể hiện (Multi-Instance Single-Label): Đối tượng biểu diễn bằng một túi (bag) chứa nhiều thể hiện (instances), túi nhận nhãn dương nếu chứa ít nhất một thể hiện dương (Dietterich và cộng sự, 1997; Zhou và cộng sự, 2004).
    • Phân lớp đa nhãn đơn thể hiện: Đối tượng biểu diễn bằng một vector đặc trưng duy nhất nhưng được gán đồng thời một tập nhãn con $Y \subseteq L$.
    • Phân lớp đa nhãn đa thể hiện (MIML): Mỗi đối tượng được mô tả bởi một túi nhiều thể hiện và nhận đồng thời nhiều nhãn lớp (Zhou và Zhang, 2006, 2012).
  • Hai hướng tiếp cận phân lớp đa nhãn:
    • Chuyển đổi bài toán (Problem Transformation): Biến đổi bài toán đa nhãn thành một hoặc nhiều bài toán học đơn nhãn (nhị phân hoặc đa lớp) để sử dụng các thuật toán chuẩn như SVM, Naïve Bayes, kNN.
    • Thích nghi thuật toán (Algorithm Adaptation): Mở rộng trực tiếp thuật toán phân lớp đơn nhãn để xử lý dữ liệu đa nhãn.
  • Mô hình xác suất và cấu trúc:
    • Mô hình chủ đề ẩn Latent Dirichlet Allocation (LDA) (Blei và cộng sự, 2003): Sinh phân phối chủ đề cho tài liệu và phân phối từ vựng cho từng chủ đề.
    • Thông tin tương hỗ (Mutual Information - MI): Sử dụng để đánh giá mối liên hệ và chọn lọc các đặc trưng tiêu biểu nhất theo từng chủ đề.
    • Mô hình biểu diễn văn bản dạng đồ thị khoảng cách (distance graph) kết hợp n-gram.
    • Trường ngẫu nhiên có điều kiện (CRFs) kết hợp tiêu chuẩn kỳ vọng tổng quát (Generalized Expectation - GE) (Mann và McCallum, 2010).
    • Mô hình phân cụm bán giám sát TESC (Text classification using Semi-supervised Clustering) (Nguyen và Hieu, 2011) và kỹ thuật LIFT (Zhang, 2011).
  1. Phương pháp nghiên cứu thực nghiệm và đánh giá: Luận án kết hợp nghiên cứu lý thuyết hình thức hóa thuật toán với kiểm chứng thực nghiệm định lượng trên các tập dữ liệu thực tế. Hiệu năng của các mô hình được đo lường thông qua hệ thống chỉ số toàn diện:
  • Các độ đo đặc trưng dữ liệu đa nhãn:
    • Label Cardinality ($LCard$): Số lượng nhãn trung bình gán cho mỗi mẫu: $$LCard(D) = \frac{1}{|D|} \sum_{i=1}^{|D|} |Y_i|$$
    • Label Density ($LDens$): Mật độ nhãn trên toàn không gian nhãn $q$: $LDens(D) = \frac{LCard(D)}{q}$.
    • Tỷ lệ tổ hợp nhãn duy nhất ($PUniq$) và tỷ lệ tổ hợp nhãn xuất hiện nhiều nhất ($PMax$).
  • Các độ đo đánh giá mô hình dựa trên mẫu (Example-based):
    • Độ chính xác tập con (Subset Accuracy): Đánh giá tỷ lệ mẫu có tập nhãn dự đoán hoàn toàn trùng khớp với tập nhãn thực tế.
    • Hamming Loss: Tỷ lệ các cặp thể hiện - nhãn bị gán sai (dương tính giả hoặc âm tính giả): $$HammingLoss(h) = \frac{1}{|D|} \sum_{i=1}^{|D|} \frac{1}{q} |h(x_i) \Delta Y_i|$$
    • Example-based Precision, Recall, F-measure ($F_1$).
    • One-error: Tỷ lệ nhãn được xếp hạng cao nhất không thuộc tập nhãn đúng.
    • Coverage: Khoảng cách duyệt trung bình để bao phủ toàn bộ các nhãn đúng.
    • Ranking Loss: Tỷ lệ các cặp nhãn bị đảo lộn thứ tự xếp hạng (nhãn không liên quan được xếp cao hơn nhãn liên quan).
    • Average Precision: Độ chính xác trung bình của việc xếp hạng các nhãn liên quan.
  • Các độ đo đánh giá dựa trên nhãn (Label-based):
    • Tính toán dựa trên 4 giá trị cơ bản cho từng nhãn $j$: $TP_j$, $FP_j$, $TN_j$, $FN_j$.
    • Macro-averaging: Lấy trung bình cộng không trọng số kết quả trên từng nhãn (đánh giá bình đẳng giữa các nhãn).
    • Micro-averaging: Tính tổng dồn các giá trị $TP, FP, TN, FN$ trên toàn bộ tập dữ liệu rồi mới tính chỉ số (chịu ảnh hưởng bởi các nhãn có tần suất xuất hiện cao).
  1. Nguồn dữ liệu thực nghiệm:
  • Dữ liệu nhận xét đánh giá tiếng Việt: Tập ngữ liệu gồm các nhận xét đánh giá của người dùng về 1000 khách sạn tại Việt Nam, được gán nhãn theo các khía cạnh dịch vụ (vị trí, phòng ốc, dịch vụ, giá cả, vệ sinh...).
  • Dữ liệu nhận dạng thực thể có tên tiếng Việt: Sử dụng ngữ liệu văn bản tiếng Việt để đánh giá mô hình CRFs kết hợp tiêu chuẩn kỳ vọng tổng quát.
  • Dữ liệu mạng xã hội: Sử dụng dữ liệu hồ sơ cá nhân và tương tác mạng xã hội cho mô hình hệ tư vấn.

Nội dung chính theo từng chương

Chương 1: Từ phân lớp đơn nhãn tới phân lớp đa nhãn

Chương 1 trình bày tổng quan lý thuyết về quá trình phát triển của các kỹ thuật phân lớp dữ liệu từ đơn nhãn đến đa nhãn, phân tích sâu các thuật toán, độ đo và bài toán giảm chiều dữ liệu.

Tác giả phân tích chi tiết hai nhóm kỹ thuật phân lớp đa nhãn chủ đạo:

  • Tiếp cận chuyển đổi bài toán:
    • Binary Relevance (BR): Chia bài toán $q$ nhãn thành $q$ bài toán phân lớp nhị phân độc lập. Khắc phục nhược điểm dự đoán tập rỗng bằng luật $T\text{-}Criterion$. Độ phức tạp pha huấn luyện là $O(q \cdot g(m, d))$, pha kiểm thử là $O(q \cdot f(d))$.
    • Classifier Chains (CC): Xây dựng chuỗi $q$ bộ phân lớp nhị phân, trong đó bộ phân lớp thứ $j$ bổ sung nhãn dự đoán của các bộ phân lớp trước vào không gian đặc trưng. Phiên bản Ensemble of Classifier Chains (ECC) sử dụng các hoán vị ngẫu nhiên để khắc phục sự phụ thuộc vào thứ tự chuỗi. Độ phức tạp: huấn luyện $O(q \cdot g(m, d+q))$, kiểm thử $O(q \cdot f(d+q))$.
    • Calibrated Label Ranking (CLR): Chuyển đổi thành bài toán xếp hạng nhãn thông qua so sánh cặp đôi, sinh ra $\frac{q(q-1)}{2}$ bộ phân lớp nhị phân. Độ phức tạp: huấn luyện $O(q^2 \cdot g(m, d))$, kiểm thử $O(q^2 \cdot f(d))$.
    • Random k-Labelsets (RakEL): Chọn ngẫu nhiên $n$ tập con kích thước $k$ từ không gian nhãn và áp dụng phương pháp tập lũy thừa nhãn (Label Powerset - LP) để huấn luyện các bộ phân lớp đa lớp. Độ phức tạp: huấn luyện $O(n \cdot g(m, d, 2^k))$, kiểm thử $O(n \cdot f(d, 2^k))$.
  • Tiếp cận thích nghi thuật toán:
    • ML-kNN: Tìm $k$ láng giềng gần nhất của mẫu chưa biết, sau đó áp dụng nguyên lý cực đại hậu nghiệm (Maximum A Posteriori - MAP) từ thống kê tần suất nhãn của các láng giềng để ra quyết định. Độ phức tạp: huấn luyện $O(md + m^2)$, kiểm thử $O(md + kq)$.
    • ML-DT: Mở rộng cây quyết định C4.5 bằng cách định nghĩa hàm entropy đa nhãn có thể phân rã dựa trên giả thiết độc lập có điều kiện giữa các nhãn. Độ phức tạp: huấn luyện $O(d \cdot m \log m)$, kiểm thử $O(dm)$.
    • Rank-SVM: Xây dựng hệ thống $q$ bộ phân lớp tuyến tính biên cực đại dựa trên việc giải bài toán quy hoạch toàn phương (Quadratic Programming - QP), cực đại hóa khoảng cách giữa các nhãn liên quan và nhãn không liên quan. Độ phức tạp: huấn luyện $O(qd + m \cdot QP(m, mq))$, kiểm thử $O(qd)$.
    • Collective Multi-Label (CML): Áp dụng nguyên lý cực đại hóa entropy với các ràng buộc về tương quan cặp nhãn. Độ phức tạp: huấn luyện $O(qd + Opt(q^2))$, kiểm thử $O(2^q)$.

Dưới đây là bảng tổng hợp đặc trưng của các thuật toán phân lớp đa nhãn tiêu biểu được trình bày trong Chương 1 của luận án:

Thuật toán Tiếp cận Ý tưởng kỹ thuật chính Độ phức tạp huấn luyện Độ phức tạp kiểm thử Miền ứng dụng phù hợp Độ đo tối ưu
Binary Relevance (BR) Chuyển đổi bài toán Chia thành $q$ bộ phân lớp nhị phân độc lập $O(q \cdot g(m, d))$ $O(q \cdot f(d))$ Phân lớp ảnh Hamming Loss
Classifier Chains (CC) Chuyển đổi bài toán Chuỗi các bộ phân lớp nhị phân truyền nhãn liên tiếp $O(q \cdot g(m, d+q))$ $O(q \cdot f(d+q))$ Ảnh, video, văn bản Hamming Loss
Random k-Labelsets (RakEL) Chuyển đổi bài toán Bộ tích hợp các bộ phân lớp đa lớp trên tập $k$ nhãn ngẫu nhiên $O(n \cdot g(m, d, 2^k))$ $O(n \cdot f(d, 2^k))$ Ảnh, văn bản, sinh học Subset Accuracy
ML-kNN Thích nghi thuật toán Kết hợp $k$ láng giềng gần nhất với suy diễn Bayes cực đại hậu nghiệm $O(md + m^2)$ $O(md + kq)$ Dữ liệu đa dạng Ranking Loss, Hamming Loss
ML-DT Thích nghi thuật toán Cây quyết định đệ quy với hàm entropy đa nhãn phân rã $O(d \cdot m \log m)$ $O(dm)$ Dữ liệu sinh học Hamming Loss
Rank-SVM Thích nghi thuật toán Cực đại hóa biên giữa các cặp nhãn liên quan và không liên quan bằng quy hoạch toàn phương $O(qd + m \cdot QP(m, mq))$ $O(qd)$ Dữ liệu văn bản, sinh học One-error, Ranking Loss
Collective Multi-Label (CML) Thích nghi thuật toán Cực đại hóa entropy thỏa mãn các ràng buộc phân phối cặp nhãn $O(qd + Opt(q^2))$ $O(2^q)$ Phân lớp văn bản Subset Accuracy

Chương 1 cũng thảo luận về vấn đề giảm chiều dữ liệu. Khác với phân lớp đơn nhãn nơi các nhãn loại trừ lẫn nhau, phân lớp đa nhãn đòi hỏi các thuật toán giảm chiều (chọn lọc hoặc trích chọn đặc trưng) phải bảo toàn được thông tin tương quan giữa các nhãn và xử lý được hiện tượng gán nhãn không đầy đủ do con người tạo ra.

Chương 2: Hai mô hình phân lớp đơn nhãn văn bản tiếng Việt

Chương 2 trình bày hai mô hình nghiên cứu bổ trợ cho bài toán phân lớp đơn nhãn trên ngữ liệu văn bản tiếng Việt, đóng vai trò nền tảng thực nghiệm trước khi tác giả mở rộng sang bài toán đa nhãn:

  1. Mô hình nhận diện thực thể có tên (NER) dựa trên CRFs và tiêu chuẩn kỳ vọng tổng quát (GE): Tác giả đề xuất mô hình gán nhãn thực thể tiếng Việt bán giám sát kết hợp giữa Trường ngẫu nhiên có điều kiện (Conditional Random Fields - CRFs) và tiêu chuẩn kỳ vọng tổng quát (Generalized Expectation - GE). Phương pháp này cho phép kết hợp tri thức chuyên gia dưới dạng tập các ràng buộc (constraint file) áp đặt lên phân phối kỳ vọng của các đặc trưng, giúp giảm bớt sự phụ thuộc vào dữ liệu gán nhãn lớn. Tác giả thiết kế hệ thống mẫu ngữ cảnh từ vựng và mẫu ngữ cảnh phát hiện thực thể (tên người, địa danh, tổ chức). Thực nghiệm kiểm chứng cho thấy mô hình CRFs kết hợp GE đạt độ chính xác cao hơn so với mô hình CRFs giám sát truyền thống khi huấn luyện trên tập dữ liệu mẫu nhỏ.

  2. Mô hình phân lớp đơn nhãn trong hệ tư vấn xã hội: Tác giả phát triển mô hình gợi ý dựa trên kỹ thuật lọc cộng tác kết hợp thông tin bổ sung từ mạng xã hội. Nghiên cứu khai thác hai nhóm đặc trưng mới: đặc trưng tiểu sử người dùng (tuổi, giới tính, nghề nghiệp) và đặc trưng mạng xã hội (mối quan hệ bạn bè, mức độ tương tác, nhóm tham gia). Kết quả thực nghiệm khẳng định việc tích hợp các đặc trưng xã hội cải thiện rõ rệt độ chính xác của phân lớp sở thích và chất lượng gợi ý so với phương pháp lọc cộng tác thuần túy.

Chương 3: Phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn

Chương 3 đề xuất hai mô hình biểu diễn dữ liệu mới nhằm nâng cao hiệu năng phân lớp đa nhãn cho văn bản tiếng Việt:

  1. Mô hình phân lớp đa nhãn dựa trên biểu diễn dữ liệu theo chủ đề ẩn (LDA): Văn bản tiếng Việt thường gặp vấn đề về tính thưa và đa nghĩa của từ vựng. Tác giả áp dụng mô hình phân bổ Dirichlet ẩn (LDA) để chuyển đổi không gian từ vựng ban đầu thành không gian phân phối các chủ đề ẩn. Quy trình mô hình gồm hai pha:
  • Pha 1 (Huấn luyện): Dữ liệu văn bản được trích chọn chủ đề qua LDA. Sau đó, kỹ thuật Thông tin tương hỗ (Mutual Information - MI) được áp dụng để đánh giá mối tương quan giữa các từ vựng và chủ đề, giúp chọn lọc ra tập đặc trưng tiêu biểu nhất và loại bỏ các đặc trưng nhiễu.
  • Pha 2 (Đánh giá): Sử dụng không gian đặc trưng chủ đề ẩn để huấn luyện các bộ phân lớp đa nhãn. Mô hình được áp dụng thực nghiệm trên tập dữ liệu gồm các bài nhận xét đánh giá về 1000 khách sạn tại Việt Nam. Kết quả phân lớp cho thấy việc biểu diễn qua chủ đề ẩn giúp cải thiện độ chính xác và giảm đáng kể thời gian tính toán so với biểu diễn vector không gian từ (TF-IDF) truyền thống.
  1. Mô hình phân lớp đa nhãn dựa trên đồ thị khoảng cách các chủ đề ẩn: Để khắc phục hạn chế của mô hình "túi từ" (bag-of-words) vốn bỏ qua trật tự ngữ cảnh và mối quan hệ vị trí giữa các từ, tác giả đề xuất mô hình biểu diễn văn bản dựa trên đồ thị khoảng cách (distance graph) kết hợp với các chủ đề ẩn và mô hình n-gram.
  • Cơ chế: Mỗi văn bản được mô hình hóa thành một đồ thị, trong đó các đỉnh là các từ hoặc chủ đề ẩn rút ra từ câu chủ đề, còn các cạnh thể hiện khoảng cách và tần suất đồng xuất hiện giữa chúng trong một cửa sổ trượt xác định.
  • Kết quả thực nghiệm: Áp dụng trên tập dữ liệu đánh giá 1000 khách sạn tại Việt Nam. Biểu diễn đồ thị khoảng cách chủ đề ẩn giúp hệ thống nắm bắt được cấu trúc ngữ nghĩa cục bộ và phụ thuộc ngữ cảnh, đem lại các chỉ số phân lớp đa nhãn (Subset Accuracy, Macro/Micro F1) vượt trội so với các phương pháp biểu diễn không gian vector thông thường.

Chương 4: Kỹ thuật bán giám sát phân lớp đa nhãn văn bản tiếng Việt

Chương 4 là phần đóng góp cốt lõi về thuật toán của luận án, tập trung giải quyết bài toán thiếu hụt dữ liệu gán nhãn trong phân lớp đa nhãn tiếng Việt thông qua phương pháp học bán giám sát:

  1. Phát triển thuật toán MULTICS (Multi-label Text classification using Semi-supervised Clustering with label-specific features): Thuật toán được xây dựng trên cơ sở tích hợp và phát triển hai kỹ thuật:
  • Thuật toán phân cụm bán giám sát đơn nhãn TESC (Text classification using Semi-supervised Clustering): Tận dụng các ràng buộc cặp (must-link và cannot-link) từ dữ liệu đã gán nhãn để định hướng quá trình phân cụm dữ liệu chưa gán nhãn.
  • Kỹ thuật LIFT (Multi-Label Learning with Label specIfic FeaTures): Khai thác các đặc trưng chuyên biệt cho từng nhãn lớp thông qua việc phân tích cụm trên các mẫu dương và mẫu âm tương ứng với nhãn đó.
  • Cơ chế vận hành: Thuật toán MULTICS sử dụng chiến thuật "tham lam" (greedy strategy) để liên tục cập nhật và lựa chọn các đặc trưng nhãn riêng biệt tối ưu trong quá trình phân cụm bán giám sát, từ đó xây dựng các bộ phân lớp nhị phân hiệu quả cho từng nhãn.
  1. Mô hình ứng dụng và kết quả thực nghiệm: Tác giả triển khai mô hình ứng dụng thuật toán MULTICS vào bài toán phân tích danh tiếng và đánh giá chất lượng dịch vụ cho 1000 khách sạn tại Việt Nam. Thực nghiệm được thiết kế qua 5 kịch bản thử nghiệm:
  • Thực nghiệm 1 và 2: Đánh giá tác động của tỷ lệ dữ liệu gán nhãn ban đầu (từ tỷ lệ rất nhỏ 10%, 20% đến các tỷ lệ cao hơn) kết hợp với khối lượng lớn dữ liệu chưa gán nhãn. Kết quả khẳng định thuật toán MULTICS đạt độ chính xác tương đương các mô hình học giám sát đầy đủ ngay cả khi chỉ sử dụng một lượng nhỏ dữ liệu gán nhãn.
  • Thực nghiệm 3, 4 và 5: So sánh đối sánh MULTICS với các thuật toán phân lớp đa nhãn kinh điển (BR, CC, ML-kNN) trong điều kiện thiếu nhãn. Thuật toán MULTICS thể hiện sự vượt trội rõ rệt trên các chỉ số Hamming Loss (giảm thiểu lỗi gán nhãn), Ranking Loss và Micro-$F_1$.

Kết quả và những đóng góp mới

Luận án đã đạt được các kết quả cụ thể và đóng góp mới sau:

  1. Đóng góp về mặt lý luận và phương pháp:
  • Đề xuất hai mô hình biểu diễn dữ liệu mới cho bài toán phân lớp đa nhãn văn bản tiếng Việt: mô hình không gian chủ đề ẩn dựa trên LDA kết hợp lựa chọn đặc trưng bằng Thông tin tương hỗ (MI), và mô hình đồ thị khoảng cách các chủ đề ẩn kết hợp n-gram. Các mô hình này giải quyết hiệu quả tính thưa của dữ liệu và khai thác được mối quan hệ vị trí ngữ nghĩa trong văn bản.
  • Đề xuất thuật toán phân lớp đa nhãn bán giám sát MULTICS dựa trên việc mở rộng thuật toán TESC và tích hợp kỹ thuật khai thác đặc trưng nhãn riêng biệt LIFT với chiến thuật tìm kiếm tham lam. Thuật toán cung cấp giải pháp toán học xử lý hiệu quả bài toán phân lớp khi tập dữ liệu huấn luyện gán nhãn bị hạn chế.
  • Cung cấp khảo sát hệ thống, phân loại chi tiết các thuật toán, độ phức tạp tính toán và các hệ thống độ đo đánh giá trong học máy đa nhãn.
  1. Đóng góp về mặt thực tiễn và ứng dụng:
  • Xây dựng thành công hệ thống phần mềm thử nghiệm đánh giá danh tiếng và phân tích nhận xét đa khía cạnh cho 1000 khách sạn tại Việt Nam, chứng minh khả năng áp dụng thực tế của các mô hình lý thuyết.
  • Đóng góp cho bài toán xử lý ngôn ngữ tự nhiên tiếng Việt thông qua hai mô hình phân lớp đơn nhãn ứng dụng: mô hình nhận diện thực thể có tên (NER) tiếng Việt dựa trên CRFs kết hợp tiêu chuẩn kỳ vọng tổng quát (GE) và mô hình hệ tư vấn xã hội tích hợp thông tin hồ sơ và mạng lưới tương tác.
  • Công bố 6 công trình khoa học liên quan trực tiếp đến nội dung luận án tại các hội nghị và tạp chí chuyên ngành (từ công trình [PTNgan1] đến [PTNgan6]).
  1. Đề xuất, kiến nghị giải pháp:
  • Khuyến nghị ứng dụng kỹ thuật học bán giám sát (như MULTICS) cho các bài toán phân lớp đa nhãn văn bản tiếng Việt trong bối cảnh các nguồn dữ liệu mạng xã hội và web bùng nổ nhưng chi phí gán nhãn chuyên gia quá cao.
  • Đề xuất kết hợp biểu diễn chủ đề ẩn và đồ thị khoảng cách để chuẩn hóa và rút gọn đặc trưng văn bản trước khi đưa vào các bộ phân lớp học máy, giúp giảm tài nguyên tính toán.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên nội dung và phạm vi nghiên cứu được tác giả trình bày, luận án ghi nhận một số hạn chế và định hướng phát triển:

  1. Hạn chế:
  • Phạm vi dữ liệu thực nghiệm mới chỉ tập trung chủ yếu vào miền văn bản nhận xét, đánh giá dịch vụ khách sạn tiếng Việt; chưa tiến hành kiểm chứng trên các miền dữ liệu văn bản có phong cách hành văn chuyên ngành phức tạp hơn (như văn bản pháp luật, y tế, khoa học kỹ thuật).
  • Chi phí xây dựng đồ thị khoảng cách và trích chọn đặc trưng chủ đề ẩn tăng đáng kể khi kích thước tập từ vựng và số lượng văn bản mở rộng ở quy mô lớn.
  • Mô hình bán giám sát MULTICS hiện phụ thuộc vào các tham số khởi tạo phân cụm và ngưỡng tham lam, đòi hỏi quá trình tinh chỉnh tham số thực nghiệm tương đối công phu.
  1. Hướng nghiên cứu tiếp:
  • Mở rộng phạm vi thử nghiệm mô hình biểu diễn dữ liệu và thuật toán MULTICS trên các tập ngữ liệu tiếng Việt đa dạng khác, đặc biệt là văn bản tin tức báo chí và mạng xã hội quy mô lớn.
  • Nghiên cứu tối ưu hóa tốc độ tính toán của thuật toán phân lớp trên đồ thị khoảng cách nhằm đáp ứng các bài toán xử lý luồng dữ liệu thời gian thực.
  • Khảo sát khả năng tích hợp kỹ thuật học sâu (deep learning) với khung phân lớp đa nhãn bán giám sát để tự động hóa hoàn toàn quá trình trích chọn đặc trưng.

Giá trị tham khảo

Bản luận án mang lại giá trị học thuật và tài liệu tham khảo cụ thể cho các đối tượng sau:

  1. Đối với nghiên cứu sinh và học viên cao học chuyên ngành Hệ thống thông tin, Khoa học máy tính, Trí tuệ nhân tạo:
  • Chương 1 là tài liệu tổng quan toàn diện về học máy đa nhãn, cung cấp đầy đủ công thức toán học, phân tích độ phức tạp thuật toán và các độ đo đánh giá chuẩn (Subset Accuracy, Hamming Loss, Ranking Loss, Macro/Micro-averaging), giúp người học nhanh chóng tiếp cận lý thuyết phân lớp đa nhãn.
  • Cung cấp phương pháp luận chặt chẽ trong việc mở rộng một thuật toán đơn nhãn sang đa nhãn hoặc kết hợp các mô hình thành phần (như cách tích hợp TESC và LIFT để tạo ra MULTICS).
  1. Đối với các kỹ sư dữ liệu và lập trình viên xử lý ngôn ngữ tự nhiên (NLP) tiếng Việt:
  • Phần mã giả thuật toán và quy trình xử lý thực nghiệm ở Chương 3 và Chương 4 cung cấp hướng dẫn rõ ràng để triển khai các hệ thống phân tích sắc thái đa khía cạnh (aspect-based sentiment analysis), phân loại ý kiến khách hàng tự động cho các sản phẩm thương mại điện tử, dịch vụ du lịch.
  • Kỹ thuật xây dựng tập ràng buộc cho tiêu chuẩn kỳ vọng tổng quát (GE) kết hợp CRFs ở Chương 2 có thể tái sử dụng trực tiếp cho các bài toán gán nhãn chuỗi tiếng Việt như tách từ, gán nhãn từ loại (POS tagging) và nhận diện thực thể (NER).
  1. Đối với các nhà quản lý và doanh nghiệp:
  • Cung cấp mô hình khả thi để xây dựng hệ thống lắng nghe mạng xã hội (social listening) và theo dõi danh tiếng trực tuyến với chi phí gán nhãn dữ liệu thấp nhờ kỹ thuật học bán giám sát.

Câu hỏi thường gặp

  1. Sự khác nhau bản chất giữa phân lớp đơn nhãn, đơn nhãn đa thể hiện, đa nhãn và đa nhãn đa thể hiện trong luận án là gì? Trong phân lớp đơn nhãn truyền thống, mỗi đối tượng là một thể hiện đơn lẻ và chỉ được gán một nhãn duy nhất. Trong phân lớp đơn nhãn đa thể hiện, mỗi đối tượng được biểu diễn bởi một túi gồm nhiều thể hiện nhưng toàn bộ túi chỉ mang một nhãn (túi là dương nếu chứa ít nhất một thể hiện dương). Trong phân lớp đa nhãn, đối tượng là một thể hiện đơn lẻ nhưng được gán đồng thời nhiều nhãn. Ở mức tiến hóa cao nhất là phân lớp đa nhãn đa thể hiện, mỗi đối tượng vừa được biểu diễn bởi một tập nhiều thể hiện, vừa nhận đồng thời nhiều nhãn lớp khác nhau.

  2. Hai trường phái thuật toán phân lớp đa nhãn chính gồm những đại diện nào và ưu nhược điểm ra sao? Hai trường phái chính là:

  • Tiếp cận chuyển đổi bài toán (BR, CC, CLR, RakEL): Ưu điểm là tính linh hoạt cao, có thể tận dụng trực tiếp bất kỳ thuật toán phân lớp đơn nhãn nào sẵn có. Nhược điểm là BR bỏ qua tương quan giữa các nhãn, còn CC và CLR có chi phí tính toán tăng nhanh hoặc không thực thi song song được.
  • Tiếp cận thích nghi thuật toán (ML-kNN, ML-DT, Rank-SVM, CML): Ưu điểm là giải quyết trực tiếp bài toán đa nhãn và tính toán được mối quan hệ giữa các nhãn một cách tự nhiên. Nhược điểm là đòi hỏi phải sửa đổi sâu cấu trúc thuật toán nền tảng và độ phức tạp toán học cao (như quy hoạch toàn phương trong Rank-SVM hay tối ưu entropy trong CML).

  1. Việc biểu diễn dữ liệu bằng mô hình chủ đề ẩn (LDA) và đồ thị khoảng cách ở Chương 3 giải quyết vấn đề gì của văn bản tiếng Việt? Văn bản tiếng Việt khi biểu diễn theo mô hình vector không gian từ truyền thống (TF-IDF) thường gặp hiện tượng số chiều rất lớn, ma trận thưa và không nắm bắt được ngữ nghĩa ngữ cảnh cũng như trật tự từ. Mô hình LDA giải quyết hiện tượng bùng nổ số chiều bằng cách quy giảm các từ về một số lượng chủ đề ẩn cô đọng và dùng Thông tin tương hỗ (MI) để lọc từ tiêu biểu. Mô hình đồ thị khoảng cách tiếp tục bổ sung thông tin về trật tự ngữ cảnh và khoảng cách xuất hiện giữa các từ/chủ đề trong câu, khắc phục triệt để nhược điểm "mất ngữ cảnh" của mô hình túi từ truyền thống.

  2. Thuật toán MULTICS trong Chương 4 hoạt động theo nguyên lý nào và tại sao lại phù hợp với dữ liệu thiếu gán nhãn? Thuật toán MULTICS là thuật toán phân lớp đa nhãn bán giám sát, được phát triển bằng cách kết hợp thuật toán phân cụm bán giám sát TESC với kỹ thuật trích xuất đặc trưng nhãn riêng biệt LIFT. MULTICS vận hành theo chiến thuật tìm kiếm tham lam: sử dụng một lượng nhỏ dữ liệu đã gán nhãn để tạo ra các ràng buộc hướng dẫn quá trình phân cụm trên dữ liệu chưa gán nhãn, đồng thời trích xuất các đặc trưng phân biệt riêng cho từng nhãn. Cơ chế này cho phép thuật toán khai thác tối đa cấu trúc phân bố của khối lượng lớn văn bản chưa gán nhãn để nâng cao độ chính xác phân lớp mà không đòi hỏi chi phí gán nhãn thủ công lớn.

  3. Những độ đo nào được luận án sử dụng để đánh giá toàn diện một mô hình phân lớp đa nhãn? Luận án chỉ ra rằng các độ đo đơn nhãn thông thường không đủ để đánh giá phân lớp đa nhãn. Hệ thống độ đo được chia thành hai nhóm chính:

  • Nhóm độ đo dựa trên mẫu: Subset Accuracy (đo độ trùng khớp chính xác tuyệt đối của toàn bộ tập nhãn dự đoán), Hamming Loss (đo tỷ lệ nhãn bị gán sai hoặc bỏ sót), One-error (đo tỷ lệ nhãn có xác suất cao nhất bị sai), Coverage (đo độ sâu cần duyệt để phủ hết nhãn đúng), Ranking Loss (đo mức độ đảo lộn trật tự nhãn) và Average Precision.
  • Nhóm độ đo dựa trên nhãn: Tính toán các chỉ số Precision, Recall, F-measure theo hai phương thức là Macro-averaging (lấy trung bình cộng theo từng nhãn, coi các nhãn bình đẳng) và Micro-averaging (tính tổng gộp trên toàn bộ mẫu, phản ánh hiệu năng trên các nhãn chiếm đa số).

Kết luận

Luận án tiến sĩ của tác giả Phạm Thị Ngân là công trình nghiên cứu có hệ thống và toàn diện về bài toán phân lớp đa nhãn văn bản tiếng Việt. Luận án đã đóng góp các giải pháp kỹ thuật cụ thể gồm hai mô hình biểu diễn dữ liệu mới (chủ đề ẩn LDA kết hợp MI và đồ thị khoảng cách các chủ đề ẩn) cùng thuật toán phân lớp đa nhãn bán giám sát MULTICS. Các kết quả thực nghiệm trên tập ngữ liệu nhận xét đánh giá 1000 khách sạn tại Việt Nam đã chứng minh tính hiệu quả của các giải pháp đề xuất trong việc nâng cao độ chính xác phân lớp và giải quyết bài toán thiếu hụt dữ liệu gán nhãn. Công trình cung cấp nguồn tài liệu tham khảo có giá trị cao về mặt lý thuyết học máy đa nhãn cũng như khả năng ứng dụng thực tiễn trong lĩnh vực khai phá văn bản và xử lý ngôn ngữ tự nhiên tiếng Việt.