I. Tổng Quan Về Học Không Giám Sát Và Học Có Giám Sát Trong Phân Lớp Văn Bản
Phân lớp văn bản là một bài toán quan trọng trong xử lý ngôn ngữ tự nhiên và khai phá dữ liệu. Học không giám sát và học có giám sát là hai phương pháp chính để giải quyết bài toán này. Học không giám sát (unsupervised learning) phân nhóm văn bản mà không cần dữ liệu huấn luyện được gắn nhãn, trong khi học có giám sát (supervised learning) sử dụng dữ liệu có nhãn để huấn luyện mô hình. Sự kết hợp giữa hai phương pháp này mang lại hiệu quả cao trong việc phân loại văn bản tiếng Việt, giúp tối ưu hóa độ chính xác và giảm chi phí gắn nhãn dữ liệu. Luận văn thạc sĩ này tập trung vào việc đề xuất các cải tiến công thức tính độ liên quan giữa các văn bản trong mô hình vector.
1.1. Định Nghĩa Học Không Giám Sát
Học không giám sát là phương pháp học máy khám phá cấu trúc ẩn trong dữ liệu mà không cần nhãn. Phương pháp này thường được sử dụng cho phân nhóm văn bản (text clustering), giúp nhóm các văn bản tương tự với nhau. Các thuật toán như K-means, FIHC (phân nhóm có phân cấp dựa trên thuật ngữ thường xuyên) được áp dụng để tự động phân chia dữ liệu thành các nhóm có ý nghĩa nhất.
1.2. Định Nghĩa Học Có Giám Sát
Học có giám sát sử dụng dữ liệu huấn luyện với nhãn để xây dựng mô hình dự đoán. Trong phân lớp văn bản, các thuật toán như Decision Tree (cây quyết định) và k-NN (k-Nearest Neighbor) được sử dụng rộng rãi. Phương pháp này đòi hỏi dữ liệu huấn luyện chất lượng cao nhưng mang lại độ chính xác cao hơn trong phân loại tài liệu.
II. Phương Pháp Phân Nhóm Văn Bản Học Không Giám Sát
Phân nhóm văn bản là bài toán cơ bản của học không giám sát trong xử lý văn bản. Mục đích là nhóm các văn bản tương tự lại với nhau mà không cần thông tin nhãn lớp trước. Các phương pháp phân nhóm chính bao gồm phương pháp phân chia (partitioning), phương pháp dựa trên mật độ (density-based), và phương pháp dựa trên lưới (grid-based). Đặc biệt, phân nhóm dựa trên thuật ngữ xuất hiện thường xuyên là một tiếp cận hiệu quả cho văn bản tiếng Việt. Các tiêu chí đánh giá hiệu suất phân nhóm bao gồm độ tương tự trong nhóm (intra-cluster similarity) và độ tương tự giữa các nhóm (inter-cluster similarity).
2.1. Các Thuật Toán Phân Nhóm Cơ Bản
Các thuật toán phân nhóm chính gồm phương pháp phân chia, phương pháp dựa trên mật độ, và phương pháp dựa trên lưới. FIHC (Hierarchical Frequent Item Based Clustering) là một thuật toán tiên tiến dựa trên frequent itemset (tập thuật ngữ xuất hiện thường xuyên). Các thuật toán này được đánh giá dựa trên hiệu suất phân nhóm, khả năng xử lý dữ liệu thưa và tốc độ xử lý.
2.2. Đánh Giá Hiệu Suất Phân Nhóm
Hiệu suất phân nhóm văn bản được đánh giá thông qua các chỉ số như độ tương tự trong nhóm cao và độ tương tự giữa các nhóm thấp. Các công thức tính độ liên quan giữa các văn bản trong mô hình vector là yếu tố then chốt. Luận văn đề xuất cải tiến công thức này để nâng cao độ chính xác trong phân nhóm văn bản tiếng Việt.
III. Phương Pháp Phân Lớp Văn Bản Học Có Giám Sát
Phân lớp văn bản (text classification) là bài toán của học có giám sát, nơi mỗi văn bản được gán một hoặc nhiều lớp từ một tập hợp được định nghĩa trước. Phương pháp này sử dụng dữ liệu huấn luyện có nhãn để xây dựng mô hình nhận dạng văn bản mới. Các thuật toán chính bao gồm Decision Tree (cây quyết định) và k-NN (k lân cận gần nhất). Decision Tree tạo ra cây quyết định thông qua quá trình xây dựng tổng hợp các quy tắc phân chia. k-NN là phương pháp đơn giản nhưng hiệu quả, dựa trên khoảng cách giữa các document vector. Hiệu suất phân lớp văn bản được đánh giá thông qua độ chính xác, độ nhớ và độ F1-score.
3.1. Thuật Toán Cây Quyết Định
Decision Tree (cây quyết định) là thuật toán học có giám sát phổ biến cho phân lớp văn bản. Cây được xây dựng bằng cách chia dữ liệu dựa trên các thuộc tính có từ khóa hoặc thuật ngữ quan trọng nhất. Quá trình xây dựng cây quyết định sử dụng tiêu chí như information gain để chọn nút phân chia tối ưu. Phương pháp này có ưu điểm là dễ giải thích, nhưng có thể bị overfitting trên dữ liệu nhỏ.
3.2. Thuật Toán k Nearest Neighbor
k-NN (k-Nearest Neighbor hay thuật toán k lân cận gần nhất) là phương pháp học có giám sát đơn giản dựa trên tương đồng. Để phân lớp một document vector mới, phương pháp tìm k văn bản huấn luyện gần nhất trong mô hình vector và gán lớp theo đa số. Hiệu suất phụ thuộc vào cách tính độ liên quan giữa các văn bản, vì vậy công thức tính khoảng cách là yếu tố then chốt.
IV. Cải Tiến Công Thức Tính Độ Liên Quan Trong Mô Hình Vector
Một đóng góp quan trọng của luận văn là đề xuất cải tiến công thức tính độ liên quan giữa các văn bản trong mô hình vector (Vector Space Model - VSM). Độ liên quan (relevance) là thước đo mức độ tương tự giữa hai document vector, được sử dụng trong cả phân nhóm văn bản và phân lớp văn bản. Công thức truyền thống sử dụng cosine similarity, tuy nhiên với dữ liệu văn bản tiếng Việt đặc biệt, cải tiến này giúp nâng cao độ chính xác. Luận văn phân tích các phương pháp biểu diễn văn bản như mô hình Boolean, mô hình tần số (term frequency), và phương pháp xử lý vector thưa. Các cải tiến được đề xuất dựa trên trọng số của thuật ngữ (term weighting) và feature vector tối ưu hóa.
4.1. Mô Hình Vector Space Model
Mô hình Vector Space Model (VSM) là nền tảng để biểu diễn văn bản. Mỗi document vector là một vector trong không gian nhiều chiều, trong đó mỗi chiều đại diện cho một từ khóa hoặc thuật ngữ. Trọng số của mỗi thuật ngữ được xác định bằng TF-IDF (Term Frequency-Inverse Document Frequency) hoặc các phương pháp khác. Mô hình này cho phép tính toán độ liên quan giữa các văn bản dễ dàng thông qua các công thức khoảng cách.
4.1. Cải Tiến Công Thức Tính Độ Liên Quan
Luận văn đề xuất cải tiến công thức tính độ liên quan giữa hai văn bản bằng cách tích hợp trọng số thuật ngữ và đặc trưng ngôn ngữ của tiếng Việt. Công thức cải tiến không chỉ xem xét tần số xuất hiện của thuật ngữ mà còn tính đến semantic similarity (tương tự nghĩa). Điều này giúp nâng cao độ chính xác cho cả phân nhóm và phân lớp văn bản tiếng Việt đáng kể.
