Phân lớp đa nhãn và ứng dụng trong phân loại tin nhắn văn bản SMS

Phân lớp đa nhãn là một bài toán học máy (Machine learning) trong đó mỗi mẫu có thể thuộc về nhiều lớp khác nhau. Ví dụ, một bài báo có thể thuộc cả chủ đề "kinh tế" và "chính trị". Các thuật toán phân lớp đa nhãn phức tạp hơn so với phân lớp đơn nhãn vì chúng cần xử lý sự phụ thuộc giữa các nhãn. Độ phức tạp này đòi hỏi các phương pháp đánh giá khác biệt, tập trung vào độ chính xác, độ bao phủ, và F1-score trên từng nhãn và tổng thể.

Phân lớp đa nhãn giúp mô tả dữ liệu một cách đầy đủ và chính xác hơn, phản ánh đúng bản chất phức tạp của thế giới thực. Trong nhiều ứng dụng công nghệ thông tin, một đối tượng thường mang nhiều thuộc tính hoặc ý nghĩa khác nhau. Ví dụ, một sản phẩm bán trên mạng có thể thuộc nhiều danh mục như “điện tử”, “gia dụng”, và “khuyến mãi”. Multi-label classification giúp phân loại văn bản hiệu quả hơn. Việc sử dụng mô hình học sâu (Deep learning models) đang trở nên phổ biến nhờ khả năng tự động trích xuất đặc trưng.

Dữ liệu tin nhắn SMS tiếng Việt có nhiều đặc điểm gây khó khăn cho việc phân loại. Thứ nhất, tin nhắn thường ngắn và chứa nhiều từ viết tắt, tiếng lóng, và lỗi chính tả. Thứ hai, ngôn ngữ sử dụng trong tin nhắn thường không tuân theo ngữ pháp chuẩn. Thứ ba, tin nhắn có thể chứa nhiều thông tin không liên quan (ví dụ, ký tự đặc biệt, URL). Những đặc điểm này đòi hỏi các phương pháp tiền xử lý văn bản (Text preprocessing) mạnh mẽ để làm sạch và chuẩn hóa dữ liệu, cũng như trích chọn những đặc trưng (feature extraction) quan trọng.

Một tin nhắn SMS có thể thuộc về nhiều chủ đề khác nhau. Ví dụ, một tin nhắn có thể vừa là “quảng cáo” vừa là “khuyến mãi” vừa chứa nội dung “thông báo”. Nếu chỉ sử dụng phân lớp đơn nhãn, thông tin quan trọng có thể bị mất. Phân lớp đa nhãn cho phép gán nhiều nhãn cho một tin nhắn, giúp phân loại chính xác hơn và cung cấp thông tin chi tiết hơn. Điều này đặc biệt quan trọng trong các ứng dụng như phân loại tin nhắn rác (Spam detection) và phân loại mức độ khẩn cấp (Urgency level classification of messages).

Công đoạn tiền xử lý dữ liệu là bước quan trọng để đảm bảo chất lượng của mô hình. Các bước cần thiết bao gồm: loại bỏ ký tự đặc biệt, chuyển đổi chữ hoa thành chữ thường, tách từ (word segmentation), loại bỏ stopwords, chuẩn hóa từ viết tắt. Sau đó, sử dụng các phương pháp trích chọn đặc trưng như TF-IDF, Word Embeddings, BERT, RoBERTa để biểu diễn văn bản dưới dạng vector số, phù hợp với các thuật toán học máy.

Binary Relevance là một phương pháp đơn giản và dễ thực hiện, nhưng nó bỏ qua sự phụ thuộc giữa các nhãn. Mỗi nhãn được xử lý độc lập, do đó không tận dụng được thông tin từ các nhãn khác. Tuy nhiên, BR vẫn là một lựa chọn tốt khi số lượng nhãn lớn và mối quan hệ giữa các nhãn không rõ ràng. Các thuật toán như Naive Bayes, SVM, và Logistic Regression thường được sử dụng trong Binary Relevance.

Classifier Chains cố gắng giải quyết vấn đề phụ thuộc giữa các nhãn bằng cách xây dựng một chuỗi các bộ phân loại. Kết quả của bộ phân loại trước được sử dụng làm đầu vào cho bộ phân loại tiếp theo. Phương pháp này có thể cải thiện hiệu suất so với Binary Relevance, nhưng nó cũng phức tạp hơn và có thể bị ảnh hưởng bởi lỗi lan truyền.

ML-kNN là một phương pháp dựa trên láng giềng gần nhất, tìm kiếm các mẫu tương tự trong tập huấn luyện và gán các nhãn tương ứng. Phương pháp này không cần huấn luyện mô hình phức tạp, nhưng nó có thể tốn kém về mặt tính toán, đặc biệt khi tập dữ liệu lớn. ML-kNN thường được sử dụng khi mối quan hệ giữa các nhãn phức tạp và khó mô hình hóa bằng các phương pháp khác.

Độ chính xác đo lường tỷ lệ các tin nhắn được dự đoán là thuộc một nhãn thực sự thuộc nhãn đó. Độ bao phủ đo lường tỷ lệ các tin nhắn thực sự thuộc một nhãn được dự đoán đúng. F1-score là trung bình điều hòa của độ chính xác và độ bao phủ, cung cấp một đánh giá cân bằng về hiệu năng của mô hình. Các chỉ số này được tính toán cho từng nhãn và sau đó tính trung bình để có được đánh giá tổng thể.

Hamming Loss đo lường tỷ lệ các nhãn bị dự đoán sai. Subset Accuracy đo lường tỷ lệ các tin nhắn được dự đoán đúng tất cả các nhãn. Hamming Loss càng thấp, mô hình càng tốt. Subset Accuracy càng cao, mô hình càng tốt. Hai tiêu chí này cung cấp thông tin bổ sung về hiệu năng của mô hình, đặc biệt là khả năng dự đoán chính xác toàn bộ tập nhãn.

Micro Average tính trung bình các giá trị trên tất cả các mẫu, trong khi Macro Average tính trung bình các giá trị trên từng nhãn và sau đó tính trung bình các giá trị này. Micro Average phù hợp khi các nhãn có số lượng mẫu khác nhau đáng kể. Macro Average phù hợp khi muốn đánh giá hiệu năng trên tất cả các nhãn một cách công bằng, bất kể số lượng mẫu của mỗi nhãn.

Phân loại tin nhắn rác là một ứng dụng quan trọng của phân lớp đa nhãn trong phân loại tin nhắn SMS. Bằng cách gán các nhãn như “quảng cáo”, “lừa đảo”, và “khuyến mãi”, mô hình có thể xác định các tin nhắn rác một cách chính xác và ngăn chặn chúng đến người dùng. Các thuật toán học máy như SVM và Naive Bayes thường được sử dụng trong phân loại tin nhắn rác.

Phân loại chủ đề tin nhắn là một ứng dụng khác của phân lớp đa nhãn. Bằng cách gán các nhãn như “công việc”, “gia đình”, và “bạn bè”, mô hình có thể giúp người dùng dễ dàng quản lý và tìm kiếm tin nhắn. Ứng dụng này đặc biệt hữu ích cho những người nhận được nhiều tin nhắn mỗi ngày.

Phân loại mức độ khẩn cấp là một ứng dụng tiềm năng của phân lớp đa nhãn. Bằng cách gán các nhãn như “khẩn cấp”, “quan trọng”, và “bình thường”, mô hình có thể giúp người dùng ưu tiên xử lý các tin nhắn quan trọng. Ứng dụng này có thể hữu ích trong các tình huống khẩn cấp hoặc trong các lĩnh vực như chăm sóc khách hàng.

Bài viết đã trình bày tổng quan về phân lớp đa nhãn và ứng dụng của nó trong phân loại tin nhắn SMS. Các phương pháp như Binary Relevance, Classifier Chains, và ML-kNN đã được thảo luận, cùng với các tiêu chí đánh giá hiệu năng quan trọng. Ứng dụng thực tế của phân lớp đa nhãn trong phân loại tin nhắn rác và phân loại chủ đề tin nhắn cũng đã được trình bày chi tiết.

Trong tương lai, các nghiên cứu có thể tập trung vào việc sử dụng mô hình học sâu (Deep learning models) cho phân lớp đa nhãn. Các mô hình như BERT và RoBERTa có khả năng tự động trích xuất đặc trưng mạnh mẽ và có thể cải thiện hiệu suất đáng kể. Ngoài ra, việc thu thập và sử dụng bộ dữ liệu văn bản SMS lớn hơn sẽ giúp các mô hình học tốt hơn và đạt được độ chính xác cao hơn.