Tổng quan luận án
Tính cấp thiết và khoảng trống nghiên cứu
Sự bùng nổ của dữ liệu số hóa cả về dung lượng lẫn chủng loại đặt ra yêu cầu cấp thiết đối với các kỹ thuật phân loại dữ liệu tự động trong lĩnh vực khai phá dữ liệu. Theo thống kê về mười thuật toán khai phá dữ liệu tiêu biểu, có tới bảy thuật toán liên quan trực tiếp đến bài toán phân lớp: C4.5, máy vector hỗ trợ (SVM), cực đại hóa kỳ vọng (EM), AdaBoost, k láng giềng gần nhất (k-NN), Naïve Bayes và cây phân loại/hồi quy (CART). Bản chất của phân lớp là xây dựng ánh xạ từ không gian đối tượng đến tập nhãn xác định dựa trên tập mẫu huấn luyện đã gán nhãn.
Trong thực tế ứng dụng, dữ liệu ngày càng phát triển theo hướng phức tạp: từ phân lớp đơn nhãn đơn thể hiện truyền thống sang phân lớp đơn nhãn đa thể hiện, phân lớp đa nhãn đơn thể hiện và phân lớp đa nhãn đa thể hiện (Multi-Instance Multi-Label - MIML). Học đa nhãn cho phép một đối tượng dữ liệu đồng thời mang nhiều nhãn phân loại (chẳng hạn một bài viết về chuyển nhượng cầu thủ bóng đá đồng thời thuộc chuyên mục thể thao và kinh tế). Khung làm việc này có tính tương thích cao với các miền ứng dụng như phân loại văn bản, phân tích dữ liệu đa phương tiện, tin sinh học, khai phá mạng xã hội và học điện tử.
Tuy nhiên, học đa nhãn đối mặt với nhiều thách thức kỹ thuật lớn:
- Khai thác mối quan hệ tương quan giữa các nhãn.
- Độ phức tạp và chi phí tính toán của thuật toán.
- Vấn đề mất cân bằng nhãn phân bố trong tập dữ liệu.
- Vấn đề số chiều lớn của không gian đặc trưng đầu vào và không gian nhãn đầu ra.
Tại Việt Nam, các nghiên cứu về phân lớp đơn nhãn đã nhận được sự quan tâm rộng rãi, nhưng các nghiên cứu về phân lớp đa nhãn—đặc biệt trên dữ liệu văn bản tiếng Việt—còn rất hạn chế (theo khảo sát trên Google Scholar đến ngày 20/12/2016 chỉ có 29 tài liệu liên quan đến truy vấn phân lớp đa nhãn tiếng Việt). Hầu hết các giải pháp hiện hành chủ yếu dựa trên học có giám sát, đòi hỏi chi phí gán nhãn thủ công rất lớn, trong khi các mô hình bán giám sát nhằm tận dụng nguồn dữ liệu chưa gán nhãn còn thiếu vắng. Luận án được thực hiện nhằm giải quyết các khoảng trống này.
Mục tiêu nghiên cứu
Luận án xác định bốn mục tiêu cụ thể:
- Cung cấp một nghiên cứu khảo sát khái quát và hệ thống hóa về lý thuyết học máy đa nhãn.
- Đề xuất các phương pháp biểu diễn dữ liệu và lựa chọn đặc trưng phù hợp nhằm nâng cao hiệu quả phân lớp đa nhãn văn bản tiếng Việt.
- Nghiên cứu và đề xuất thuật toán phân lớp đa nhãn dựa trên các kỹ thuật phân lớp hiện đại (cụ thể là thuật toán bán giám sát).
- Xây dựng các chương trình phần mềm thử nghiệm thực thi các giải pháp đề xuất để kiểm chứng và đánh giá hiệu năng thực tế.
Đối tượng và phạm vi nghiên cứu
- Đối tượng nghiên cứu: Phương pháp biểu diễn dữ liệu, kỹ thuật lựa chọn đặc trưng và các thuật toán phân lớp đa nhãn áp dụng cho dữ liệu văn bản tiếng Việt.
- Phạm vi nghiên cứu: Tập trung vào biểu diễn dữ liệu theo ngữ nghĩa ẩn, đồ thị khoảng cách chủ đề ẩn và thuật toán phân lớp bán giám sát cho văn bản tiếng Việt; miền ứng dụng thực nghiệm là phân loại các nhận xét, đánh giá tiếng Việt (cụ thể là dữ liệu đánh giá danh tiếng của 1000 khách sạn tại Việt Nam).
Tổng quan tài liệu và vị trí của luận án
Các hướng nghiên cứu quốc tế
Theo thống kê từ cơ sở dữ liệu ISI và Scopus do Sebastián Ventura Soto và cộng sự công bố năm 2013, số lượng công bố và trích dẫn về học máy đa nhãn tăng trưởng liên tục. Các diễn đàn khoa học như ECML/PKDD 2009, MLD 2009 và MLD 2010 đã công bố nhiều nghiên cứu nền tảng. Các nhóm nghiên cứu tiêu biểu trên thế giới gồm:
- Nhóm của Zhi-Hua Zhou, Min-Ling Zhang và cộng sự (Đại học Nam Kinh, Trung Quốc).
- Nhóm của Ioannis P. Vlahavas, Grigorios Tsoumakas và cộng sự (Hy Lạp).
- Nhóm của Sebastián Ventura Soto và cộng sự (Tây Ban Nha).
Các luận án tiến sĩ trên thế giới đã giải quyết các khía cạnh khác nhau của học đa nhãn:
- J. Read (2010/2012): Đề xuất giải pháp phân lớp quy mô lớn dựa trên phương pháp tập cắt tỉa (Pruned Sets - PS) và chuỗi bộ phân lớp (Classifier Chains - CC).
- Le (2014): Đề xuất kỹ thuật lựa chọn đặc trưng đa lớp và thuật toán Multi-Pair chia bài toán đa nhãn về các bài toán One-Vs-All (OVA) kết hợp cấu trúc nhóm.
- Bucak (2013): Đề xuất biểu diễn ảnh dựa trên học đa nhân và thuật toán xếp hạng đa nhãn (Ranking via Single-label Learning - RSL).
- Jungjit (2013): Xây dựng mô hình kết hợp k láng giềng gần nhất đa nhãn (ML-kNN) và mạng nơ-ron lan truyền ngược đa nhãn (BPMLL) kết hợp giải pháp tìm kiếm tập con đặc trưng.
Các hướng phát triển thuật toán phân lớp đa nhãn phân chia thành hai nhóm tiếp cận chính:
- Tiếp cận chuyển đổi bài toán (Problem Transformation):
- Phân lớp nhị phân (Binary Relevance - BR): Chuyển bài toán $q$ nhãn thành $q$ bài toán nhị phân độc lập (Boutell và cộng sự).
- Chuỗi bộ phân lớp (Classifier Chains - CC): Huấn luyện chuỗi phân lớp nhị phân trong đó đầu ra của các bộ phân lớp trước là thuộc tính bổ sung cho bộ phân lớp sau (Read và cộng sự).
- Tập lũy thừa nhãn (Label Powerset - LP) và các biến thể: Biến đổi mỗi tập hợp nhãn xuất hiện thành một lớp đơn trong bài toán đa lớp; các biến thể mở rộng gồm Random k-labelsets (RakEL), Pruned Sets (PS), Ensemble of Pruned Sets (EPS).
- Xếp hạng nhãn (Label Ranking): Calibrated Label Ranking (CLR), Ranking by Pairwise Comparison (RPC).
- Tiếp cận thích nghi thuật toán (Algorithm Adaptation):
- Mở rộng trực tiếp các giải thuật phân lớp đơn nhãn sang xử lý dữ liệu đa nhãn: Cây quyết định đa nhãn (ML-DT), k láng giềng gần nhất đa nhãn (ML-kNN), mạng nơ-ron đa nhãn (BPMLL), thuật toán tối ưu đàn kiến đa nhãn (MuLAM), thuật toán Perceptron đa lớp đa nhãn (MMP).
- Mô hình phân lớp đa nhãn đa thể hiện (MIML): MIMLSVM, MIMLBoost (Zhou và cộng sự), DBA, Ranking Loss, MIML-kNN.
Về giảm chiều dữ liệu và lựa chọn đặc trưng:
- Giảm chiều không gian đặc trưng đầu vào: Sử dụng phân tích thành phần chính (PCA) kết hợp giải thuật di truyền (Zhang và cộng sự), đánh giá trọng số đặc trưng qua ReliefF và thuật toán lười (Pupo và cộng sự), sử dụng mô hình chủ đề ẩn Latent Dirichlet Allocation (LDA) của Blei và cộng sự.
- Khai thác đặc trưng nhãn riêng biệt (Label-Specific Features): Thuật toán LIFT của Zhang và cộng sự nhằm tạo không gian đặc trưng riêng cho từng nhãn.
Khoảng trống luận án lựa chọn giải quyết
- Đa phần các nghiên cứu xử lý văn bản tiếng Việt mới dừng lại ở phân lớp đơn nhãn; thiếu vắng giải pháp biểu diễn cấu trúc ngữ nghĩa văn bản tiếng Việt phục vụ phân lớp đa nhãn.
- Các mô hình đa nhãn chủ yếu là học có giám sát, phụ thuộc hoàn toàn vào tập dữ liệu huấn luyện đã gán nhãn sẵn. Luận án tập trung phát triển mô hình biểu diễn dữ liệu dựa trên chủ đề ẩn / đồ thị khoảng cách chủ đề và thuật toán bán giám sát MULTICS nhằm khai thác nguồn dữ liệu tiếng Việt chưa gán nhãn.
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và các khái niệm hình thức
Luận án thiết lập các phát biểu toán học cho các biến thể của bài toán phân lớp:
- Không gian thuộc tính (thể hiện): Ký hiệu $\mathcal{X}$.
- Tập nhãn phân loại: Ký hiệu $\mathcal{Y} = {y_1, y_2, \dots, y_q}$.
| Loại bài toán | Dữ liệu đầu vào $(\mathbf{x}, Y)$ | Ánh xạ cần học $f$ |
|---|---|---|
| Phân lớp đơn nhãn đơn thể hiện | $\mathbf{x} \in \mathcal{X}$, nhãn $y \in \mathcal{Y}$ | $f: \mathcal{X} \rightarrow \mathcal{Y}$ |
| Phân lớp đơn nhãn đa thể hiện | Túi thể hiện $X = {\mathbf{x}_1, \dots, \mathbf{x}_m} \subset \mathcal{X}$, nhãn $y \in \mathcal{Y}$ | $f: 2^{\mathcal{X}} \rightarrow \mathcal{Y}$ |
| Phân lớp đa nhãn đơn thể hiện | $\mathbf{x} \in \mathcal{X}$, tập nhãn $Y \subseteq \mathcal{Y}$ | $f: \mathcal{X} \rightarrow 2^{\mathcal{Y}}$ |
| Phân lớp đa nhãn đa thể hiện (MIML) | Túi thể hiện $X = {\mathbf{x}_1, \dots, \mathbf{x}_m}$, tập nhãn $Y \subseteq \mathcal{Y}$ | $f: 2^{\mathcal{X}} \rightarrow 2^{\mathcal{Y}}$ |
Các lý thuyết và công cụ bổ trợ được sử dụng:
- Mô hình chủ đề ẩn (LDA - Latent Dirichlet Allocation): Khai phá phân bố xác suất của các chủ đề ẩn trong tài liệu và phân bố của từ vựng trong từng chủ đề.
- Độ đo Thông tin tương hỗ (Mutual Information - MI): Đo lường mức độ phụ thuộc thông tin giữa từ/đặc trưng và lớp nhãn để chọn lọc các đặc trưng đại diện.
- Trường ngẫu nhiên có điều kiện (CRFs) kết hợp Tiêu chuẩn kỳ vọng tổng quát (GE): Xây dựng các ràng buộc xác suất trên dữ liệu chưa gán nhãn cho bài toán nhận dạng thực thể có tên tiếng Việt.
- Thuật toán phân cụm văn bản bán giám sát (TESC): Làm nền tảng mở rộng sang bài toán phân lớp đa nhãn bán giám sát.
- Kỹ thuật khai thác đặc trưng nhãn riêng biệt (LIFT): Áp dụng phân cụm trên tập mẫu dương và mẫu âm của từng nhãn để tạo vector đặc trưng chuyên biệt.
Phương pháp nghiên cứu
- Phương pháp nghiên cứu lý thuyết: Hình thức hóa các bài toán; phát triển giải thuật mới kết hợp kỹ thuật phân cụm bán giám sát với trích chọn đặc trưng theo nhãn; thiết kế các mô hình biểu diễn dữ liệu văn bản theo chủ đề ẩn và đồ thị khoảng cách.
- Phương pháp thực nghiệm:
- Xây dựng quy trình xử lý thực nghiệm qua hai pha: Pha 1 (Huấn luyện mô hình) và Pha 2 (Phân lớp và đánh giá kiểm thử).
- Sử dụng các tập kiểm thử độc lập với tập huấn luyện để đảm bảo tính khách quan.
Nguồn tư liệu và dữ liệu thực nghiệm
- Ngữ liệu văn bản tiếng Việt cho bài toán nhận dạng thực thể có tên (NER).
- Tập dữ liệu mạng xã hội cho bài toán phân lớp đơn nhãn trong hệ tư vấn.
- Tập dữ liệu thực nghiệm gồm phản hồi, nhận xét của người dùng đối với 1000 khách sạn tại Việt Nam (dữ liệu khách sạn, đánh giá dịch vụ, phòng ốc, vị trí...).
Nội dung chính theo từng chương
CẤU TRÚC BỐN CHƯƠNG CỦA LUẬN ÁN
Chương 1: Từ phân lớp đơn nhãn tới phân lớp đa nhãn
Chương 1 hệ thống hóa quá trình tiến hóa của bài toán phân lớp dữ liệu trong học máy:
- Sự tiến hóa của bài toán phân lớp: Trình bày chi tiết bốn cấp độ từ đơn nhãn đơn thể hiện, đơn nhãn đa thể hiện, đa nhãn đơn thể hiện cho đến đa nhãn đa thể hiện.
- Kỹ thuật phân lớp đa nhãn:
- Phân tích chi tiết phương pháp chuyển đổi bài toán Binary Relevance (BR): Phân rã bài toán $q$ nhãn thành $q$ bài toán nhị phân độc lập. Phân tích ưu điểm về tính trực tiếp và nhược điểm làm mất mối tương quan nhãn, dễ dẫn đến mất cân bằng lớp hoặc dự đoán tập nhãn rỗng. Luận án trình bày kỹ thuật áp dụng luật $T$-criterion để khắc phục lỗi dự đoán tập rỗng: $$\hat{Y} = {y_j \mid h_j(\mathbf{x}) \ge 0} \cup {\arg\max_{y_j} h_j(\mathbf{x})}$$
- Trình bày phương pháp Chuỗi bộ phân lớp (Classifier Chains - CC) của Read và cộng sự, sử dụng hoán vị nhãn để đưa kết quả dự đoán của các bộ phân lớp trước làm đặc trưng đầu vào cho các bộ phân lớp tiếp theo trong chuỗi.
- Giảm chiều dữ liệu trong phân lớp đa nhãn: Đánh giá các kỹ thuật giảm chiều không gian đặc trưng đầu vào (lựa chọn đặc trưng - Feature Selection, trích chọn đặc trưng - Feature Extraction) và giảm chiều không gian nhãn đầu ra.
- Các độ đo đánh giá: Hệ thống hóa các chỉ số đo lường hiệu năng chuyên dụng cho học đa nhãn dựa trên ví dụ và dựa trên nhãn (Hamming Loss, One-error, Coverage, Ranking Loss, Average Precision...).
Chương 2: Hai mô hình phân lớp đơn nhãn văn bản tiếng Việt
Chương 2 trình bày hai mô hình phân lớp đơn nhãn giải quyết hai bài toán ứng dụng thực tế trên dữ liệu tiếng Việt:
- Mô hình nhận diện thực thể có tên (NER) tiếng Việt:
- Sử dụng mô hình trường ngẫu nhiên có điều kiện (CRFs) kết hợp tiêu chuẩn kỳ vọng tổng quát (Generalized Expectation - GE).
- Xây dựng tập ràng buộc dựa trên tiêu chuẩn kỳ vọng tổng quát áp dụng cho dữ liệu chưa gán nhãn, giúp mô hình học từ cả dữ liệu có nhãn hạn chế và dữ liệu không nhãn.
- Mô hình phân lớp đơn nhãn trong hệ tư vấn xã hội tiếng Việt:
- Ứng dụng kỹ thuật lọc cộng tác (Collaborative Filtering) kết hợp các đặc trưng tiểu sử và đặc trưng xã hội của người dùng thu thập từ các phương tiện truyền thông xã hội.
- Khảo sát và đánh giá thực nghiệm tác động của các nhóm thuộc tính bổ sung từ mạng xã hội đối với độ chính xác của hệ tư vấn.
Chương 3: Phân lớp đa nhãn văn bản dựa trên biểu diễn dữ liệu theo chủ đề ẩn
Chương 3 đề xuất hai mô hình biểu diễn dữ liệu mới nhằm nâng cao chất lượng phân lớp đa nhãn văn bản tiếng Việt:
- Mô hình phân lớp đa nhãn dựa trên biểu diễn chủ đề ẩn (LDA kết hợp MI):
- Sử dụng mô hình LDA để rút trích các chủ đề ngữ nghĩa tiềm ẩn trong văn bản.
- Sử dụng độ đo Thông tin tương hỗ (Mutual Information - MI) để chọn lọc các đặc trưng tiêu biểu và loại bỏ các đặc trưng dư thừa, ít quan trọng.
- Quy trình thực thi gồm: Pha 1 (Huấn luyện mô hình trích xuất chủ đề và bộ phân loại) và Pha 2 (Đánh giá kiểm thử mô hình).
- Mô hình phân lớp đa nhãn dựa trên biểu diễn đồ thị khoảng cách các chủ đề ẩn:
- Đề xuất cấu trúc đồ thị khoảng cách nhằm mô hình hóa mối liên kết và vị trí tương quan giữa các chủ đề ẩn trong văn bản, khắc phục hạn chế mất thông tin cấu trúc của mô hình túi từ (Bag-of-Words) và kết hợp ưu điểm của mô hình n-gram.
- Xây dựng quy trình phân lớp đa nhãn dựa trên vector đặc trưng trích xuất từ đồ thị khoảng cách chủ đề.
- Thực nghiệm ứng dụng:
- Áp dụng các mô hình đề xuất vào bài toán phân tích đánh giá danh tiếng cho tập dữ liệu 1000 khách sạn tại Việt Nam. Kết quả thực nghiệm khẳng định hiệu quả của việc kết hợp chủ đề ẩn và đồ thị khoảng cách.
Chương 4: Kỹ thuật bán giám sát phân lớp đa nhãn văn bản tiếng Việt
Chương 4 tập trung vào giải thuật phân lớp đa nhãn bán giám sát trên văn bản tiếng Việt:
- Phát biểu bài toán phân lớp đa nhãn bán giám sát: Thiết lập bài toán với tập dữ liệu huấn luyện gồm hai phần: tập dữ liệu đã gán nhãn $D_L$ và tập dữ liệu chưa gán nhãn $D_U$ (với $|D_U| \gg |D_L|$).
- Đề xuất thuật toán MULTICS:
- Kế thừa và mở rộng thuật toán phân cụm bán giám sát đơn nhãn TESC (Text Classification using Semi-supervised Clustering).
- Tích hợp kỹ thuật trích xuất đặc trưng nhãn riêng biệt LIFT theo chiến thuật "tham lam" (greedy) để tối ưu không gian biểu diễn cho từng nhãn.
- Mô hình ứng dụng và kết quả thực nghiệm:
- Xây dựng hệ thống phân lớp đa nhãn bán giám sát hoàn chỉnh áp dụng vào tập dữ liệu nhận xét 1000 khách sạn Việt Nam.
- Tiến hành các đợt thực nghiệm (Thực nghiệm 1 đến Thực nghiệm 5) so sánh đối chuẩn hiệu năng giữa các mô hình đề xuất với các thuật toán cơ sở, chứng minh tính khả thi và hiệu quả của thuật toán MULTICS trong việc tận dụng dữ liệu chưa gán nhãn.
Kết quả và những đóng góp mới
Luận án tự nêu các đóng góp học thuật và thực tiễn chính:
| STT | Tên đóng góp / Đề xuất | Chi tiết kỹ thuật | Công trình công bố của tác giả liên quan |
|---|---|---|---|
| 1 | Mô hình biểu diễn dữ liệu chủ đề ẩn | Khai thác thông tin ngữ nghĩa ẩn bằng LDA kết hợp lựa chọn đặc trưng qua độ đo Mutual Information (MI) cho phân lớp đa nhãn văn bản. | [PTNgan3] |
| 2 | Mô hình biểu diễn theo đồ thị khoảng cách chủ đề | Biểu diễn tương quan vị trí và khoảng cách giữa các chủ đề ẩn trong câu/văn bản dưới dạng đồ thị, nâng cao độ chính xác phân loại. | [PTNgan4] |
| 3 | Thuật toán phân lớp đa nhãn bán giám sát MULTICS | Mở rộng thuật toán phân cụm TESC, kết hợp chiến thuật tham lam khai thác đặc trưng riêng biệt theo nhãn LIFT trên dữ liệu bán giám sát tiếng Việt. | [PTNgan5], [PTNgan6] |
| 4 | Hai mô hình phân lớp đơn nhãn tiếng Việt | 1. Mô hình NER tiếng Việt sử dụng CRFs kết hợp ràng buộc GE. 2. Mô hình hệ tư vấn xã hội kết hợp lọc cộng tác và thông tin mạng xã hội. |
[PTNgan1], [PTNgan2] |
| 5 | Hệ thống hóa lý thuyết và xây dựng ứng dụng | Cung cấp bức tranh tổng quan về học máy đa nhãn; xây dựng hệ thống phần mềm thử nghiệm đánh giá danh tiếng cho 1000 khách sạn tại Việt Nam. | Luận án & các công trình đi kèm |
Danh mục các ký hiệu và chữ viết tắt trong luận án
| Viết tắt | Thuật ngữ tiếng Anh | Thuật ngữ tiếng Việt |
|---|---|---|
| ANN | Artificial neural network | Mạng nơ-ron nhân tạo |
| BPMLL | Backpropagation for Multilabel Learning | Phân lớp đa nhãn mạng nơ-ron lan truyền ngược |
| BR | Binary Relevance | Phân lớp nhị phân |
| CC | Classifier Chains | Chuỗi bộ phân lớp |
| CDE | ChiDep Ensemble | Phương pháp tích hợp phụ thuộc chi |
| CLR | Calibrated Label Ranking | Xếp hạng nhãn xác định |
| CML | Collective Multi-Label Classifier | Bộ phân lớp đa nhãn nhóm |
| CRFs | Conditional Random Fields | Trường ngẫu nhiên có điều kiện |
| CTM | Correlated Topic Model | Mô hình chủ đề tương quan |
| DTM | Dynamic Topic Model | Mô hình chủ đề động |
| ECC | Ensemble of Classifier Chains | Tích hợp chuỗi bộ phân lớp |
| EPCC | Ensemble of Probabilistic Classifier Chains | Tích hợp chuỗi bộ phân lớp xác suất |
| EPS | Ensemble of Pruned Sets | Tích hợp các tập cắt tỉa |
| FE | Feature Extraction | Trích chọn đặc trưng |
| FS | Feature Selection | Lựa chọn đặc trưng |
| IBLR | Instance-Based Learning by Logistic Regression | Học dựa trên thực thể bằng hồi quy logistic |
| IG | Information Gain | Độ lợi thông tin |
| kNN | k Nearest Neighbour | k láng giềng gần nhất |
| LC | Label Combination | Kết hợp nhãn |
| LP | Label Powerset | Tập lũy thừa nhãn |
| LDA | Latent Dirichlet Allocation | Mô hình chủ đề ẩn |
| LIFT | Multi-Label Learning with Label-Specific Features | Học đa nhãn với đặc trưng nhãn riêng biệt |
| LSA | Latent Semantic Analysis | Phân tích ngữ nghĩa ẩn |
| MI | Mutual Information | Thông tin tương hỗ |
| MIML | Multi-Instance Multi-Label | Đa nhãn đa thể hiện |
| MLC | Multi-Label Classification | Phân lớp đa nhãn |
| ML-DT | Multi-Label Decision Tree | Cây quyết định đa nhãn |
| ML-kNN | Multi-Label k Nearest Neighbour | k láng giềng gần nhất đa nhãn |
| MLL | Multi-Label Learning | Học đa nhãn |
| MLNB | Multilabel Naive Bayes | Naïve Bayes đa nhãn |
| MMAC | Multiclass Multilabel Associative Classification | Phân lớp kết hợp đa nhãn đa lớp |
| MMP | Multilabel Multiclass Perceptron | Thuật toán Perceptron phân lớp đa lớp đa nhãn |
| MuLAM | Multilabel Ant-Miner | Thuật toán tối ưu đàn kiến đa nhãn |
| NER | Named Entity Recognition | Nhận dạng thực thể có tên |
| PCA | Principal Component Analysis | Phân tích thành phần chính |
| PCC | Probabilistic Classifier Chains | Chuỗi bộ phân lớp xác suất |
| PCT | Predictive Clustering Trees | Thuật toán cây phân cụm dự đoán |
| PMM1 / PMM2 | Parametric Mixture Models | Mô hình hòa trộn tham số |
| POS | Part of Speech | Từ loại |
| PS | Pruned Sets | Các tập bị cắt tỉa |
| PW | Pairwise Methods | Phương pháp cặp đôi |
| RPC | Ranking by Pairwise Comparison | Phương pháp xếp hạng theo so sánh cặp đôi |
| RSL | Ranking via Single-label Learning | Xếp hạng thông qua học đơn nhãn |
| SVM | Support Vector Machine | Máy vector hỗ trợ (máy vector tựa) |
| TESC | Text Classification using Semi-supervised Clustering | Phân lớp văn bản sử dụng phân cụm bán giám sát |
| TFIDF | Term Frequency Inverse Document Frequency | Trọng số về tần suất và độ quan trọng của từ |
Hạn chế và hướng nghiên cứu tiếp
Dựa trên phạm vi và nội dung được trình bày trong văn bản:
- Phạm vi thử nghiệm dữ liệu: Các mô hình thực nghiệm đa nhãn tập trung chủ yếu vào miền dữ liệu đánh giá, nhận xét khách sạn tiếng Việt (1000 khách sạn); việc mở rộng sang các miền dữ liệu văn bản tiếng Việt khác cần tiếp tục được đánh giá thêm.
- Độ phức tạp tính toán: Khi số lượng chủ đề ẩn và không gian nhãn tăng lên, việc xây dựng đồ thị khoảng cách và tính toán các đặc trưng riêng biệt đòi hỏi tài nguyên tính toán lớn.
- Hướng nghiên cứu tiếp:
- Tiếp tục hoàn thiện và tối ưu hóa thời gian thực thi của thuật toán MULTICS trên các tập dữ liệu có quy mô lớn hơn.
- Thử nghiệm các mô hình biểu diễn dữ liệu và thuật toán phân lớp bán giám sát trên các bài toán xử lý ngôn ngữ tự nhiên tiếng Việt khác.
Giá trị tham khảo
Luận án là tài liệu tham khảo cho:
- Nghiên cứu sinh và học viên cao học ngành Khoa học máy tính, Hệ thống thông tin: Tham khảo bức tranh tổng quan, các công thức hình thức hóa và các phương pháp giải quyết bài toán phân lớp đa nhãn (đặc biệt là các kỹ thuật chuyển đổi bài toán BR, CC, LP và thích nghi thuật toán).
- Giảng viên và các nhà nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt: Sử dụng phương pháp biểu diễn văn bản theo chủ đề ẩn LDA kết hợp MI và mô hình đồ thị khoảng cách chủ đề để nâng cao chất lượng trích chọn đặc trưng.
- Kỹ sư phát triển hệ thống khai phá dữ liệu và phân tích ý kiến (Opinion Mining / Sentiment Analysis): Áp dụng thuật toán bán giám sát MULTICS để phân loại tự động các phản hồi, đánh giá đa khía cạnh của người dùng khi nguồn dữ liệu có nhãn bị hạn chế.
Câu hỏi thường gặp
1. Thuật toán Binary Relevance (BR) gặp phải những nhược điểm gì trong phân lớp đa nhãn và cách khắc phục lỗi dự đoán tập rỗng là gì?
Thuật toán BR chia bài toán $q$ nhãn thành $q$ bài toán nhị phân độc lập. Nhược điểm chính của BR là loại bỏ hoàn toàn các mối tương quan tiềm năng giữa các nhãn và dễ rơi vào trạng thái mất cân bằng lớp khi số lượng mẫu dương của một nhãn quá thấp. Khi tất cả các bộ phân lớp nhị phân đều trả về kết quả âm, tập nhãn dự đoán sẽ bị rỗng. Để khắc phục, quy tắc $T$-criterion được áp dụng để bổ sung nhãn có giá trị đầu ra lớn nhất (ít âm nhất) vào kết quả.
2. Mô hình biểu diễn văn bản theo đồ thị khoảng cách các chủ đề ẩn giải quyết vấn đề gì của mô hình túi từ truyền thống?
Mô hình túi từ (Bag-of-Words) bỏ qua hoàn toàn thứ tự và khoảng cách giữa các từ trong văn bản. Mô hình đồ thị khoảng cách các chủ đề ẩn biểu diễn vị trí và mối liên hệ không gian giữa các chủ đề ngữ nghĩa trong câu/văn bản, kết hợp được các ưu điểm của mô hình n-gram và phân bố chủ đề ẩn để làm giàu không gian đặc trưng đầu vào.
3. Thuật toán MULTICS được phát triển dựa trên những nền tảng lý thuyết nào?
Thuật toán MULTICS là thuật toán phân lớp đa nhãn bán giám sát được tác giả phát triển dựa trên việc mở rộng thuật toán phân cụm bán giám sát đơn nhãn TESC (Text Classification using Semi-supervised Clustering), kết hợp chiến thuật "tham lam" để khai thác các đặc trưng riêng biệt của từng nhãn dựa trên kỹ thuật LIFT.
4. Dữ liệu thực nghiệm chính được tác giả sử dụng trong luận án là gì?
Dữ liệu thực nghiệm chính là tập dữ liệu thu thập các phản hồi, nhận xét đánh giá của người dùng tiếng Việt về 1000 khách sạn tại Việt Nam, phục vụ bài toán phân loại đa nhãn đánh giá danh tiếng khách sạn theo nhiều tiêu chí dịch vụ.
5. Sự khác biệt giữa phân lớp đa nhãn đơn thể hiện và phân lớp đa nhãn đa thể hiện (MIML) là gì?
Trong phân lớp đa nhãn đơn thể hiện, mỗi đối tượng được biểu diễn bằng một vector đặc trưng duy nhất và được gán một tập gồm nhiều nhãn. Trong phân lớp đa nhãn đa thể hiện (MIML), mỗi đối tượng được biểu diễn bởi một túi gồm nhiều thể hiện (nhiều vector đặc trưng) và đồng thời tương ứng với một tập gồm nhiều nhãn phân loại.
Kết luận
Luận án tiến sĩ "Nghiên cứu cải tiến phân lớp đa nhãn văn bản và ứng dụng" của nghiên cứu sinh Phạm Thị Ngân đã giải quyết các vấn đề cốt lõi trong phân lớp đa nhãn văn bản tiếng Việt. Tác giả đã đề xuất hai mô hình biểu diễn dữ liệu mới (chủ đề ẩn LDA kết hợp MI và đồ thị khoảng cách chủ đề ẩn) cùng thuật toán phân lớp bán giám sát MULTICS. Các kết quả nghiên cứu lý thuyết được chứng minh qua các thử nghiệm trên tập dữ liệu thực tế đánh giá danh tiếng 1000 khách sạn tại Việt Nam, đóng góp các giải pháp kỹ thuật cho lĩnh vực khai phá dữ liệu và xử lý ngôn ngữ tự nhiên tiếng Việt.