Phân loại văn bản sử dụng mô hình xác suất trên đa tạp văn bản

Phân loại văn bản đóng vai trò then chốt trong Xử lý ngôn ngữ tự nhiên (NLP) và Tìm kiếm thông tin (IR). Nó cho phép tổ chức, sắp xếp và truy xuất thông tin hiệu quả. Các ứng dụng bao gồm lọc thư rác, phân tích tình cảm, phân loại tin tức và định tuyến tài liệu. Việc tự động hóa quy trình phân loại giúp tiết kiệm thời gian và nguồn lực đáng kể. Các thuật toán Machine learning cung cấp các công cụ mạnh mẽ để xây dựng các hệ thống phân loại văn bản chính xác và có khả năng mở rộng. Mô hình xác suất là một cách tiếp cận quan trọng trong phân loại văn bản, giúp ước tính xác suất một tài liệu thuộc về một danh mục cụ thể.

Nhiều mô hình xác suất khác nhau đã được sử dụng trong phân loại văn bản. Naive Bayes classifier là một mô hình đơn giản nhưng hiệu quả, dựa trên giả định độc lập giữa các đặc trưng. Multinomial Naive Bayes là một biến thể phổ biến cho dữ liệu văn bản, xem xét tần số xuất hiện của các từ. Bayesian networks cung cấp một cách tiếp cận tổng quát hơn, cho phép mô hình hóa các phụ thuộc giữa các biến. Maximum Entropy là một mô hình khác, cố gắng tìm phân phối xác suất phù hợp nhất với dữ liệu huấn luyện. Các mô hình xác suất dựa trên học sâu như RNNs và CNNs cũng đang trở nên phổ biến, cho phép học các biểu diễn phức tạp của văn bản.

Việc thiếu dữ liệu nhãn là một thách thức lớn trong phân loại văn bản. Các thuật toán học có giám sát (Supervised learning), như SVM và Naive Bayes, đòi hỏi một lượng lớn dữ liệu được gán nhãn để học các mô hình chính xác. Khi dữ liệu được gán nhãn khan hiếm, các mô hình này có thể hoạt động kém hiệu quả. Điều này đặc biệt đúng đối với các bài toán phức tạp, nơi có nhiều lớp hoặc các lớp không được xác định rõ. Việc thu thập dữ liệu được gán nhãn thường là một quá trình tốn kém và tốn thời gian, đặc biệt đối với các lĩnh vực chuyên môn.

Học bán giám sát cung cấp một giải pháp để giải quyết vấn đề thiếu dữ liệu nhãn. Phương pháp này tận dụng cả dữ liệu được gán nhãn và dữ liệu chưa được gán nhãn để xây dựng các mô hình phân loại. Dữ liệu chưa được gán nhãn có thể cung cấp thông tin hữu ích về cấu trúc của dữ liệu, giúp cải thiện hiệu suất của các mô hình. Các kỹ thuật học bán giám sát phổ biến bao gồm Self-training, Co-training và các phương pháp dựa trên đồ thị (graph-based methods). Các phương pháp này đã cho thấy hiệu quả trong nhiều ứng dụng phân loại văn bản.

SSvMFs là một mô hình xác suất dựa trên phân phối von Mises-Fisher (vMF), một phân phối trên các vector đơn vị. Mô hình này giả định rằng mỗi tài liệu được tạo ra từ một hỗn hợp các phân phối vMF, mỗi phân phối tương ứng với một lớp hoặc chủ đề. Học bán giám sát được thực hiện bằng cách kết hợp thông tin từ cả dữ liệu được gán nhãn và dữ liệu chưa được gán nhãn vào quá trình ước tính tham số. Mô hình SSvMFs đặc biệt phù hợp với dữ liệu văn bản có số chiều cao và thưa, vì phân phối vMF có thể xử lý trực tiếp các vector có số chiều cao. Ước lượng tham số cho SSvMFs có thể được thực hiện bằng cách sử dụng giải thuật EM (Expectation-Maximization) hoặc suy diễn biến phân (variational inference).

SSWatsons tương tự như SSvMFs, nhưng sử dụng phân phối Watson thay vì phân phối vMF. Phân phối Watson là một phân phối khác trên các vector đơn vị, với các đặc tính khác nhau. Mô hình SSWatsons cũng được sử dụng trong học bán giám sát để tận dụng cả dữ liệu được gán nhãn và dữ liệu chưa được gán nhãn. Việc lựa chọn giữa SSvMFs và SSWatsons phụ thuộc vào các đặc tính cụ thể của dữ liệu văn bản. Cả hai mô hình đều cung cấp một cách tiếp cận hiệu quả để phân loại văn bản trong các tình huống có dữ liệu nhãn hạn chế. Tóm lại, Mô hình xác suất dựa trên phân phối vMF và Watson có hiệu năng tốt hơn các mô hình dựa trên các phân phối đa thức và phân phối Bernoulli [2, 23, 3].

Việc mã hóa thông tin cấu trúc hình học vào mô hình xác suất có thể được thực hiện bằng cách sử dụng một hàm điều chuẩn (regularization function). Hàm điều chuẩn này phạt các mô hình không phù hợp với cấu trúc hình học của dữ liệu. Ví dụ: một hàm điều chuẩn có thể phạt các mô hình gán các nhãn khác nhau cho các tài liệu tương tự. Việc lựa chọn hàm điều chuẩn phù hợp phụ thuộc vào các đặc tính cụ thể của dữ liệu văn bản. Các phương pháp dựa trên Laplacian là một lựa chọn phổ biến, vì chúng có thể nắm bắt hiệu quả các mối quan hệ cục bộ trong dữ liệu.

Việc sử dụng cấu trúc hình học trong phân loại văn bản có thể mang lại nhiều lợi ích. Nó có thể giúp cải thiện độ chính xác, đặc biệt trong các tình huống có dữ liệu nhãn hạn chế. Nó cũng có thể giúp học các biểu diễn tốt hơn của dữ liệu, cho phép mô hình nắm bắt các mối quan hệ phức tạp giữa các tài liệu. Ngoài ra, nó có thể giúp cải thiện khả năng giải thích của mô hình, vì cấu trúc hình học có thể cung cấp thông tin về các mối quan hệ ngữ nghĩa giữa các tài liệu. Nghiên cứu của Linh (2013) chỉ ra rằng việc kết hợp cấu trúc hình học giúp cải thiện hiệu suất của thuật toán phân loại.

Để đánh giá hiệu năng của LapSSvMFs và LapSSWatsons, chúng được so sánh với một số thuật toán phân loại văn bản khác, bao gồm Naive Bayes, SVM, Label Propagation (LP) và Labeled-LDA. Các thuật toán này đại diện cho các cách tiếp cận khác nhau để phân loại văn bản, từ học có giám sát đến học bán giám sát. Việc so sánh với các thuật toán này cho phép đánh giá xem các phương pháp đề xuất có thực sự cải thiện hiệu năng hay không. Các độ đo hiệu năng phổ biến, chẳng hạn như accuracy, precision, recall và F1-score, được sử dụng để so sánh các thuật toán.

Các thử nghiệm được thực hiện trên cả dữ liệu phân loại đơn nhãn (single-label classification) và phân loại đa nhãn (multi-label classification). Trong phân loại đơn nhãn, mỗi tài liệu được gán một nhãn duy nhất. Trong phân loại đa nhãn, mỗi tài liệu có thể được gán nhiều nhãn. Việc phân tích kết quả trên cả hai loại dữ liệu cho phép đánh giá tính linh hoạt của các phương pháp đề xuất. Các độ đo hiệu năng khác nhau có thể được sử dụng cho dữ liệu đơn nhãn và đa nhãn. Chẳng hạn, Micro-F1 và Macro-F1 thường được sử dụng để đánh giá hiệu năng trên dữ liệu đa nhãn.

Học sâu đã đạt được những thành công đáng kể trong nhiều lĩnh vực, bao gồm cả phân loại văn bản. Các mô hình mạng nơ-ron tích chập (Convolutional Neural Networks - CNNs) và mạng nơ-ron hồi quy (Recurrent Neural Networks - RNNs) có thể học các biểu diễn phức tạp của văn bản và đạt được hiệu năng vượt trội. Các kỹ thuật word embeddings (Word2Vec, GloVe, BERT) cho phép biểu diễn các từ và câu dưới dạng các vector số, nắm bắt các mối quan hệ ngữ nghĩa. Việc kết hợp học sâu với mô hình xác suất có tiềm năng tạo ra các hệ thống phân loại văn bản mạnh mẽ và linh hoạt hơn.

Phát triển các phương pháp học bán giám sát hiệu quả hơn vẫn là một mục tiêu quan trọng trong phân loại văn bản. Các phương pháp hiện tại vẫn còn nhiều hạn chế, chẳng hạn như sự phụ thuộc vào các giả định mạnh mẽ về cấu trúc của dữ liệu. Các nghiên cứu trong tương lai có thể tập trung vào việc phát triển các phương pháp ít phụ thuộc hơn vào các giả định này, hoặc vào việc khai thác thông tin từ dữ liệu chưa được gán nhãn một cách hiệu quả hơn. Việc kết hợp các kỹ thuật tăng cường dữ liệu (data augmentation) với học bán giám sát cũng có thể cải thiện hiệu năng. Trong tương lai, các phương pháp học bán giám sát có thể ứng dụng các mô hình Language Model Pre-trained như BERT