Các Phương Pháp Học Máy Suốt Đời và Ứng Dụng trong Phân Loại Đa Nhãn

Chuyên khảo phân tích Lifelong machine learning methods and its application in multi label classification, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu tiếp theo.

• Tác giả: Nguyen Minh Chau
• Người hướng dẫn: Assoc. Ha Quang Thuy
• Trường học: Vietnam National University, Hanoi University of Engineering and Technology
• Chuyên ngành: Computer Science
• Đề tài: Học Máy Suốt Đời và Ứng Dụng trong Phân Loại Đa Nhãn
• Loại tài liệu: thesis
• Năm xuất bản: 2019
• Địa điểm: Hanoi

Mục lục chi tiết

• AUTHORSHIP
• SUPERVISOR’S APPROVAL
• ACKNOWLEDGEMENT
• ABSTRACT
• TABLE OF CONTENTS
• List of Figures
• List of tables
• Contributions and thesis format
• 1. CHAPTER 1: INTRODUCTION
• 1.1. Motivation
• 2. CHAPTER 2: RELATED WORK
• 2.1. Lifelong machine learning
• 2.2. Definition of lifelong learning
• 3. CHAPTER 3: PROPOSED METHOD
• 4. CHAPTER 4: RESULTS AND DISCUSSIONS
• 4.1. Experimental results and discussions
• ABBREVIATIONS

Tóm tắt

I. Học máy suốt đời Tổng quan tiềm năng ứng dụng LML

Bài toán phân loại đa nhãn đang ngày càng trở nên quan trọng, đặc biệt trong lĩnh vực xử lý ngôn ngữ tự nhiên và khai thác thông tin. Tuy nhiên, việc xây dựng một mô hình phân loại đa nhãn hiệu quả đòi hỏi một lượng lớn dữ liệu được gán nhãn, điều này thường tốn kém và mất thời gian. Học máy suốt đời (Lifelong Machine Learning - LML) nổi lên như một giải pháp tiềm năng. LML giúp mô hình học hỏi liên tục, tích lũy kiến thức từ các nhiệm vụ trước đó và áp dụng nó vào các nhiệm vụ mới. Khác với các phương pháp học máy truyền thống, LML hướng đến việc xây dựng một hệ thống học máy thông minh, có khả năng thích nghi và học hỏi không ngừng, tương tự như con người. Việc tích hợp kiến thức từ các miền khác nhau giúp LML giải quyết bài toán thiếu dữ liệu và cải thiện hiệu suất đáng kể. Theo Chen và Liu, Machine Learning đã đóng vai trò then chốt cho sự phát triển của cả phân tích dữ liệu và trí tuệ nhân tạo.

1.1. Định nghĩa và lợi ích của Học máy suốt đời Lifelong Learning

Học máy suốt đời là một phương pháp học liên tục, tích lũy kiến thức từ các nhiệm vụ đã học và sử dụng kiến thức này để giúp học các nhiệm vụ mới. Lợi ích của LML bao gồm: giảm thiểu nhu cầu về dữ liệu được gán nhãn, tăng tốc độ học, và cải thiện hiệu suất trên các nhiệm vụ mới. Lifelong Learning giúp hệ thống học hỏi và thích nghi tốt hơn với môi trường thay đổi liên tục. LML giải quyết vấn đề học cô lập thường thấy trong các mô hình học máy truyền thống, giúp hệ thống học hỏi thông minh hơn và hiệu quả hơn. Mục tiêu là tối ưu hiệu suất trên nhiệm vụ mới TNC1 hoặc bất kỳ nhiệm vụ nào bằng cách coi các nhiệm vụ còn lại là các nhiệm vụ trước đó.

1.2. So sánh Học máy suốt đời với Transfer Learning và Multi task Learning

Điểm khác biệt chính giữa LML, Transfer Learning và Multi-task Learning nằm ở khả năng học liên tục và tích lũy kiến thức. Transfer Learning tập trung vào việc chuyển giao kiến thức từ một nhiệm vụ nguồn sang một nhiệm vụ đích cụ thể, trong khi Multi-task Learning học nhiều nhiệm vụ cùng một lúc. LML, ngược lại, học một chuỗi các nhiệm vụ liên tục, lưu trữ kiến thức vào một cơ sở tri thức và sử dụng nó để giúp học các nhiệm vụ mới. Do đó, LML có khả năng thích nghi và học hỏi tốt hơn trong môi trường thay đổi liên tục. LML yêu cầu cơ sở kiến thức (KB) rõ ràng để nhấn mạnh tầm quan trọng của việc tích lũy kiến thức và khai thác meta các kiến thức cấp cao hơn bổ sung từ kiến thức thu được từ việc học trước đó.

II. Thách thức Vấn đề trong phân loại đa nhãn Giải pháp LML

Việc xây dựng mô hình phân loại đa nhãn hiệu quả gặp phải nhiều thách thức. Một trong số đó là sự thiếu hụt dữ liệu được gán nhãn. Gán nhãn cho dữ liệu đa nhãn là một công việc tốn thời gian và công sức. Ngoài ra, các mô hình truyền thống thường gặp khó khăn trong việc xử lý sự thay đổi của dữ liệu (concept drift) và duy trì hiệu suất ổn định theo thời gian (knowledge retention, catastrophic forgetting). LML cung cấp một giải pháp tiềm năng bằng cách cho phép mô hình học hỏi liên tục từ các nguồn dữ liệu khác nhau, tích lũy kiến thức và sử dụng nó để cải thiện hiệu suất trên các nhiệm vụ mới. Việc áp dụng các kỹ thuật như Transfer Learning và Domain Adaptation trong LML giúp mô hình thích nghi tốt hơn với các miền dữ liệu khác nhau.

2.1. Vấn đề thiếu dữ liệu gán nhãn trong phân loại đa nhãn

Việc gán nhãn dữ liệu đa nhãn đòi hỏi kiến thức chuyên môn và tốn nhiều thời gian, đặc biệt đối với các miền phức tạp. Do đó, các mô hình phân loại đa nhãn thường gặp khó khăn khi có ít dữ liệu được gán nhãn. Active Learning có thể được sử dụng để chọn lọc các mẫu dữ liệu quan trọng nhất để gán nhãn, giúp giảm thiểu chi phí gán nhãn. LML cung cấp một giải pháp khác bằng cách sử dụng kiến thức từ các nhiệm vụ trước đó để cải thiện hiệu suất trên các nhiệm vụ mới với ít dữ liệu được gán nhãn hơn. Data streams thay đổi liên tục làm cho việc thu thập dữ liệu gặp nhiều khó khăn.

2.2. Catastrophic Forgetting và Knowledge Retention trong LML

Catastrophic forgetting là hiện tượng mô hình quên đi kiến thức đã học từ các nhiệm vụ trước đó khi học các nhiệm vụ mới. Knowledge retention là khả năng của mô hình duy trì kiến thức đã học theo thời gian. LML cần các kỹ thuật để giảm thiểu catastrophic forgetting và tăng cường knowledge retention. Các kỹ thuật như Regularization Techniques, Ensemble Methods và Model Compression có thể được sử dụng để cải thiện knowledge retention trong LML. Mô hình cần phải duy trì đủ lượng tri thức trong quá khứ để có thể giúp học trong tương lai.

III. Phương pháp Lifelong Topic Modeling Giải pháp phân loại hiệu quả

Lifelong Topic Modeling là một phương pháp LML sử dụng các mô hình chủ đề để tích lũy kiến thức từ các tài liệu khác nhau và sử dụng nó để cải thiện hiệu suất trên các nhiệm vụ phân loại văn bản. Phương pháp này đặc biệt hữu ích trong các bài toán phân loại đa nhãn, nơi mỗi tài liệu có thể thuộc về nhiều chủ đề khác nhau. Lifelong Topic Modeling giúp mô hình hiểu rõ hơn về ngữ cảnh và ý nghĩa của các từ trong tài liệu, từ đó cải thiện độ chính xác của phân loại. Việc kết hợp kiến thức từ các miền khác nhau giúp mô hình Task Adaptation tốt hơn và giảm thiểu concept drift.

3.1. Kiến trúc hệ thống của Lifelong Topic Modeling LTM

Hệ thống LTM bao gồm một cơ sở tri thức (KB) chứa các mô hình chủ đề đã học từ các tài liệu trước đó. Khi một tài liệu mới được đưa vào, hệ thống sẽ sử dụng KB để khởi tạo mô hình chủ đề cho tài liệu đó. Sau đó, mô hình chủ đề được tinh chỉnh bằng cách sử dụng dữ liệu từ tài liệu mới. Cuối cùng, mô hình chủ đề đã học được lưu trữ lại vào KB để sử dụng cho các nhiệm vụ trong tương lai. Kiến trúc này cho phép hệ thống học hỏi liên tục và cải thiện hiệu suất theo thời gian. Hình 2 trong tài liệu gốc minh họa kiến trúc LTM một cách chi tiết.

3.2. AMC Lifelong Topic Model cho dữ liệu nhỏ Small Data

AMC (Adaptively Meta-knowledge based classifier) là một mô hình LTM được thiết kế đặc biệt cho các bài toán với ít dữ liệu. AMC sử dụng meta-knowledge, tức là kiến thức về các mô hình chủ đề đã học, để khởi tạo mô hình chủ đề cho tài liệu mới. Điều này giúp mô hình học hỏi nhanh hơn và hiệu quả hơn, ngay cả khi có ít dữ liệu. AMC cũng sử dụng một cơ chế để tự động điều chỉnh meta-knowledge, giúp mô hình thích nghi tốt hơn với các miền dữ liệu khác nhau. Hình 3 minh họa kiến trúc của mô hình AMC.

3.3. Đánh giá độ tương đồng giữa các tập dữ liệu Dataset Closeness

Một yếu tố quan trọng trong LML là đánh giá độ tương đồng giữa các tập dữ liệu. Việc này giúp xác định xem kiến thức từ các tập dữ liệu nào có thể được sử dụng để giúp học một tập dữ liệu mới. Các phương pháp đánh giá độ tương đồng có thể dựa trên nhiều yếu tố khác nhau, chẳng hạn như đặc trưng của dữ liệu, hiệu suất của các mô hình trên dữ liệu, hoặc khoảng cách giữa các phân phối dữ liệu. Việc lựa chọn phương pháp đánh giá độ tương đồng phù hợp là rất quan trọng để đảm bảo hiệu quả của LML.

IV. Ứng dụng LTM cải tiến trong phân loại đa nhãn Đề xuất mô hình mới

Bài viết đề xuất một mô hình Lifelong Topic Modeling mới, tận dụng kiến thức miền gần gũi để cải thiện hiệu suất phân loại đa nhãn. Mô hình này kết hợp kiến thức từ các miền tương tự để khởi tạo mô hình chủ đề, giúp tăng tốc độ học và cải thiện độ chính xác. Việc sử dụng kiến thức miền gần gũi cũng giúp mô hình thích nghi tốt hơn với các miền dữ liệu mới. Đề xuất này mở ra hướng nghiên cứu mới trong lĩnh vực LML và phân loại đa nhãn.

4.1. Tận dụng tri thức miền gần để cải thiện phân loại

Mô hình đề xuất tập trung vào việc xác định và tận dụng kiến thức từ các miền có liên quan chặt chẽ đến nhiệm vụ hiện tại. Việc này được thực hiện bằng cách sử dụng các độ đo tương đồng để so sánh các miền và chọn ra những miền có độ tương đồng cao nhất. Kiến thức từ các miền này sau đó được sử dụng để khởi tạo hoặc tinh chỉnh mô hình cho nhiệm vụ hiện tại, giúp cải thiện hiệu suất phân loại.

4.2. Kết hợp LTM với các thuật toán phân loại khác

Để tận dụng tối đa sức mạnh của LTM, mô hình đề xuất kết hợp LTM với các thuật toán phân loại khác như Neural Networks, Deep Learning và Machine Learning Algorithms. Sự kết hợp này cho phép mô hình tận dụng cả kiến thức về chủ đề và kiến thức phân loại, dẫn đến kết quả phân loại tốt hơn. Các phương pháp Ensemble Methods có thể được sử dụng để kết hợp các mô hình khác nhau.

V. Thử nghiệm và Đánh giá Kết quả ứng dụng LML vào thực tiễn

Phần này trình bày kết quả thử nghiệm của mô hình Lifelong Topic Modeling đề xuất trên các tập dữ liệu thực tế. Kết quả cho thấy mô hình đạt được hiệu suất tốt hơn so với các phương pháp phân loại đa nhãn truyền thống, đặc biệt là khi có ít dữ liệu được gán nhãn. Thử nghiệm cũng cho thấy tầm quan trọng của việc lựa chọn kiến thức miền phù hợp để cải thiện hiệu suất mô hình. Kết quả này chứng minh tiềm năng của LML trong việc giải quyết các bài toán thực tế.

5.1. Các tập dữ liệu và thiết lập thử nghiệm Experimental Setup

Thử nghiệm được thực hiện trên một số tập dữ liệu phân loại đa nhãn khác nhau, bao gồm tập dữ liệu văn bản và tập dữ liệu hình ảnh. Các tập dữ liệu được chia thành các tập huấn luyện và tập kiểm tra. Mô hình Lifelong Topic Modeling được huấn luyện trên tập huấn luyện và đánh giá hiệu suất trên tập kiểm tra. Các tham số của mô hình được điều chỉnh để đạt được hiệu suất tốt nhất. Bảng 1 cung cấp chi tiết về việc phân chia dữ liệu.

5.2. So sánh hiệu suất với các phương pháp phân loại truyền thống

Hiệu suất của mô hình Lifelong Topic Modeling được so sánh với các phương pháp phân loại đa nhãn truyền thống như kNN, Decision Tree, Random Forest, MLP, AdaBoost và Gaussian Naïve Bayes. Các kết quả so sánh cho thấy mô hình Lifelong Topic Modeling đạt được hiệu suất tốt hơn trên hầu hết các tập dữ liệu, đặc biệt là khi có ít dữ liệu được gán nhãn. Điều này chứng minh rằng LML có thể cải thiện hiệu suất trong các tình huống thiếu dữ liệu. Bảng 2, 3, 4, 5 trình bày kết quả thử nghiệm chi tiết với các phương pháp phân loại khác nhau.

5.3. Ảnh hưởng của việc lựa chọn kiến thức miền đến hiệu suất

Thử nghiệm cũng cho thấy tầm quan trọng của việc lựa chọn kiến thức miền phù hợp để cải thiện hiệu suất mô hình. Việc sử dụng kiến thức từ các miền có liên quan chặt chẽ đến nhiệm vụ hiện tại giúp mô hình học hỏi nhanh hơn và hiệu quả hơn. Ngược lại, việc sử dụng kiến thức từ các miền không liên quan có thể làm giảm hiệu suất mô hình. Do đó, việc lựa chọn kiến thức miền phù hợp là một bước quan trọng trong việc áp dụng LML vào thực tế.

VI. Kết luận Hướng phát triển Tương lai của Học máy suốt đời

Học máy suốt đời (Lifelong Machine Learning) hứa hẹn mang đến những đột phá trong lĩnh vực học máy, đặc biệt là trong bối cảnh dữ liệu ngày càng lớn và phức tạp. Việc tích lũy kiến thức và khả năng thích nghi liên tục giúp mô hình học máy hoạt động hiệu quả hơn trong các môi trường thay đổi. Trong tương lai, LML có thể được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ xử lý ngôn ngữ tự nhiên đến thị giác máy tính và robot học. Các nghiên cứu tiếp theo sẽ tập trung vào việc phát triển các phương pháp LML hiệu quả hơn và khám phá các ứng dụng mới của LML.

6.1. Tổng kết những đóng góp của nghiên cứu

Nghiên cứu này đã đóng góp vào lĩnh vực LML bằng cách đề xuất một mô hình Lifelong Topic Modeling mới, tận dụng kiến thức miền gần gũi để cải thiện hiệu suất phân loại đa nhãn. Nghiên cứu cũng đề xuất các phương pháp đánh giá độ tương đồng giữa các tập dữ liệu và kết hợp LTM với các thuật toán phân loại khác. Kết quả thử nghiệm cho thấy mô hình đề xuất đạt được hiệu suất tốt hơn so với các phương pháp truyền thống, chứng minh tiềm năng của LML trong việc giải quyết các bài toán thực tế.

6.2. Các hướng nghiên cứu tiềm năng trong tương lai

Trong tương lai, các nghiên cứu có thể tập trung vào việc phát triển các phương pháp LML hiệu quả hơn, chẳng hạn như các phương pháp Meta-learning, Few-shot Learning và Zero-shot Learning. Nghiên cứu cũng có thể khám phá các ứng dụng mới của LML, chẳng hạn như trong lĩnh vực Healthcare, Finance và Recommender Systems. Ngoài ra, việc phát triển các phương pháp LML bảo đảm quyền riêng tư (Privacy-preserving Learning) và có thể hoạt động trên các thiết bị phân tán (Federated Learning) cũng là một hướng nghiên cứu quan trọng.

Nội dung chính

Tổng quan nghiên cứu

Phân loại đa nhãn là một bài toán phân loại trong đó mỗi đối tượng dữ liệu có thể thuộc về nhiều nhãn cùng lúc. Trong các ứng dụng phân loại văn bản, phân loại đa nhãn đóng vai trò quan trọng nhưng gặp nhiều thách thức, đặc biệt khi dữ liệu đào tạo bị hạn chế. Việc thu thập và gán nhãn dữ liệu đa nhãn tốn nhiều thời gian và công sức, trong khi các mô hình học máy truyền thống thường yêu cầu lượng lớn dữ liệu để đạt hiệu quả cao. Do đó, mục tiêu của nghiên cứu là phát triển một phương pháp học máy suốt đời (Lifelong Machine Learning - LML) có khả năng học liên tục, tích lũy kiến thức từ các tác vụ trước để hỗ trợ cho các tác vụ mới, đặc biệt trong điều kiện dữ liệu nhỏ.

Nghiên cứu tập trung vào ứng dụng LML trong phân loại đa nhãn văn bản, với phạm vi thực nghiệm trên bộ dữ liệu gồm hơn 1000 đánh giá khách sạn tại Việt Nam, phân chia thành các tập con đại diện cho các miền dữ liệu khác nhau. Thời gian nghiên cứu được thực hiện trong năm 2019 tại Đại học Bách Khoa Hà Nội. Ý nghĩa của nghiên cứu thể hiện qua việc giảm thiểu nhu cầu dữ liệu gán nhãn lớn, tăng hiệu quả phân loại trong các ứng dụng thực tế như phân tích đánh giá khách hàng, trợ lý ảo, chatbot và robot tương tác.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên lý thuyết học máy suốt đời (Lifelong Machine Learning - LML), một mô hình học máy tiên tiến cho phép học liên tục và tích lũy kiến thức qua nhiều tác vụ. LML khác biệt với các phương pháp học truyền thống ở chỗ nó duy trì một cơ sở tri thức (Knowledge Base - KB) lưu trữ các mô hình, mẫu, và kiến thức trung gian từ các tác vụ trước đó, từ đó hỗ trợ việc học các tác vụ mới hiệu quả hơn.

Hai mô hình chủ đạo được áp dụng trong nghiên cứu là:

• Lifelong Topic Model (LTM): Sử dụng các chủ đề (topics) đã học từ các miền dữ liệu trước làm kiến thức nền tảng, khai thác các mối liên kết bắt buộc (must-links) giữa các từ khóa để cải thiện chất lượng mô hình chủ đề cho miền dữ liệu mới.

• AMC (Automatically generated Must-links and Cannot-links): Phát triển cho trường hợp dữ liệu nhỏ, AMC khai thác các must-links và cannot-links được khai thác tự động từ các chủ đề trước đó mà không phụ thuộc vào dữ liệu miền mới, đồng thời sử dụng các biện pháp xử lý đa nghĩa từ và loại bỏ các liên kết sai lệch.

Các khái niệm chính bao gồm:

• Must-link và Cannot-link: Các ràng buộc giữa từ khóa giúp mô hình chủ đề học chính xác hơn.
• Cơ sở tri thức (Knowledge Base - KB): Lưu trữ kiến thức tích lũy từ các tác vụ trước.
• Độ gần (closeness) giữa các miền dữ liệu: Được đo bằng các tiêu chí tương đồng, xác suất hậu nghiệm và kết quả phân loại để lựa chọn miền dữ liệu liên quan hỗ trợ cho tác vụ hiện tại.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu đánh giá khách sạn Việt Nam với hơn 1000 đánh giá, được chia thành 5 tập con: D1, D2, D3 (các miền dữ liệu trước), D4 (miền dữ liệu hiện tại) và Dtest (dữ liệu kiểm thử). Mỗi tập con chứa các đánh giá với bộ nhãn đa nhãn gồm 5 nhãn chính: Vị trí và giá cả, Dịch vụ, Tiện nghi, Tiêu chuẩn phòng và Thức ăn.

Phương pháp phân tích bao gồm:

• Tìm miền dữ liệu gần (close domains): Sử dụng ba cách tiếp cận dựa trên độ tương đồng cosine, xác suất hậu nghiệm và kết quả phân loại từ các thuật toán Naive Bayes và Logistic Regression.

• Mô hình hóa chủ đề suốt đời: Áp dụng mô hình AMC để khai thác kiến thức từ các miền dữ liệu gần nhằm cải thiện đặc trưng chủ đề cho miền hiện tại.

• Phân loại đa nhãn: Sử dụng phương pháp Binary Relevance kết hợp với các thuật toán phân loại như k-Nearest Neighbors (kNN), Decision Tree, Random Forest, Multilayer Perceptrons (MLP), AdaBoost và Gaussian Naive Bayes.

Cỡ mẫu trong các thí nghiệm là 50 hoặc 100 đánh giá cho miền hiện tại D4, với các tham số thuật toán được thiết lập phù hợp (ví dụ: k=5 cho kNN, max_depth=5 cho Random Forest). Quá trình nghiên cứu được thực hiện theo timeline từ việc chuẩn bị dữ liệu, xây dựng mô hình, đến đánh giá kết quả trên tập kiểm thử.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của việc sử dụng miền dữ liệu gần: Việc lựa chọn miền dữ liệu gần dựa trên các tiêu chí tương đồng, xác suất và phân loại giúp cải thiện đáng kể hiệu suất phân loại đa nhãn so với sử dụng dữ liệu gốc. Ví dụ, khi sử dụng phương pháp tìm miền gần dựa trên xác suất (CMP), độ chính xác (precision) và độ nhớ (recall) tăng trung bình khoảng 5-10% so với phương pháp không sử dụng kiến thức miền trước (OF).

2. Mô hình AMC vượt trội trong điều kiện dữ liệu nhỏ: Với chỉ 50 hoặc 100 đánh giá trong miền hiện tại, AMC giúp khai thác hiệu quả kiến thức từ các miền trước, cải thiện F1-score lên đến khoảng 70-80% tùy thuật toán phân loại, cao hơn đáng kể so với các mô hình không sử dụng kiến thức suốt đời.

3. So sánh các thuật toán phân loại: Random Forest và MLP cho kết quả tốt nhất với F1-score đạt khoảng 80% khi kết hợp với phương pháp tìm miền gần và mô hình AMC. Trong khi đó, kNN và Decision Tree có hiệu suất thấp hơn, nhưng vẫn được cải thiện rõ rệt khi sử dụng kiến thức miền gần.

4. Ảnh hưởng của đặc trưng dữ liệu: Việc sử dụng đặc trưng TF-IDF cho kết quả phân loại tốt hơn so với chỉ dùng Term Frequency (TF), với mức tăng F1-score trung bình khoảng 3-5%.

Thảo luận kết quả

Nguyên nhân chính của sự cải thiện là do mô hình học máy suốt đời tận dụng được kiến thức tích lũy từ các miền dữ liệu trước, giúp bù đắp cho hạn chế về lượng dữ liệu nhãn trong miền hiện tại. Việc khai thác must-links và cannot-links trong AMC giúp mô hình chủ đề chính xác hơn, từ đó tạo ra đặc trưng tốt hơn cho phân loại đa nhãn.

So với các nghiên cứu trước đây chỉ tập trung vào học máy truyền thống hoặc học chuyển giao đơn giản, nghiên cứu này mở rộng khả năng học liên tục và tích lũy kiến thức qua nhiều miền dữ liệu khác nhau, phù hợp với các ứng dụng thực tế có dữ liệu hạn chế và đa dạng.

Dữ liệu có thể được trình bày qua các biểu đồ so sánh F1-score giữa các phương pháp (OF, CMP, CMS, CMC) và các thuật toán phân loại, cũng như bảng thống kê chi tiết về precision, recall và F1-score cho từng cấu hình thí nghiệm.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phân loại đa nhãn dựa trên LML trong các ứng dụng thực tế: Các doanh nghiệp có thể áp dụng mô hình AMC kết hợp với phương pháp tìm miền gần để phân loại đánh giá khách hàng, giúp tiết kiệm thời gian gán nhãn và nâng cao độ chính xác. Thời gian triển khai dự kiến trong vòng 3-6 tháng.

2. Phát triển cơ sở tri thức liên tục: Khuyến nghị xây dựng và duy trì một cơ sở tri thức tích lũy từ các miền dữ liệu khác nhau, cập nhật thường xuyên để hỗ trợ các tác vụ mới, do các tổ chức nghiên cứu hoặc doanh nghiệp có dữ liệu lớn thực hiện.

3. Tối ưu hóa thuật toán phân loại: Khuyến khích sử dụng các thuật toán ensemble như Random Forest hoặc mạng nơ-ron MLP để tận dụng tối đa đặc trưng chủ đề được trích xuất, đồng thời điều chỉnh tham số phù hợp với từng ứng dụng cụ thể.

4. Mở rộng nghiên cứu sang các lĩnh vực khác: Áp dụng phương pháp LML và AMC cho các bài toán phân loại đa nhãn trong các lĩnh vực như y tế, tài chính, hoặc mạng xã hội để đánh giá tính tổng quát và hiệu quả của mô hình.

Đối tượng nên tham khảo luận văn

1. Nhà nghiên cứu và sinh viên ngành Khoa học Máy tính: Có thể sử dụng luận văn làm tài liệu tham khảo về học máy suốt đời, mô hình chủ đề và phân loại đa nhãn, phục vụ cho các đề tài nghiên cứu hoặc luận văn.

2. Chuyên gia phát triển hệ thống phân tích dữ liệu: Áp dụng các phương pháp đề xuất để xây dựng hệ thống phân loại văn bản tự động, đặc biệt trong các ứng dụng xử lý ngôn ngữ tự nhiên và khai thác dữ liệu.

3. Doanh nghiệp trong lĩnh vực dịch vụ khách sạn và du lịch: Sử dụng mô hình để phân tích đánh giá khách hàng, cải thiện chất lượng dịch vụ và quản lý phản hồi hiệu quả hơn.

4. Nhà phát triển sản phẩm trí tuệ nhân tạo: Tận dụng kiến thức về học máy suốt đời để phát triển các trợ lý ảo, chatbot và robot có khả năng học liên tục và thích nghi với môi trường thay đổi.

Câu hỏi thường gặp

1. Học máy suốt đời khác gì so với học chuyển giao (transfer learning)?
   Học máy suốt đời liên tục tích lũy và sử dụng kiến thức từ nhiều tác vụ trước đó để hỗ trợ các tác vụ mới, trong khi học chuyển giao thường chỉ chuyển kiến thức từ một tác vụ nguồn sang một tác vụ đích duy nhất. LML có khả năng học không giới hạn số lượng tác vụ và cập nhật kiến thức liên tục.

2. Làm thế nào để xác định miền dữ liệu gần trong nghiên cứu này?
   Nghiên cứu sử dụng ba phương pháp: đo độ tương đồng cosine giữa các tập dữ liệu, so sánh xác suất hậu nghiệm của nhãn và đánh giá kết quả phân loại từ các mô hình như Naive Bayes và Logistic Regression để chọn miền dữ liệu có liên quan nhất hỗ trợ cho tác vụ hiện tại.

3. Phương pháp AMC có ưu điểm gì khi dữ liệu nhỏ?
   AMC khai thác must-links và cannot-links tự động từ các miền dữ liệu trước mà không phụ thuộc vào dữ liệu miền hiện tại, giúp mô hình chủ đề chính xác hơn ngay cả khi dữ liệu mới rất hạn chế, khắc phục nhược điểm của các mô hình chủ đề truyền thống.

4. Các thuật toán phân loại nào phù hợp nhất trong mô hình đề xuất?
   Random Forest và Multilayer Perceptrons (MLP) cho kết quả tốt nhất trong các thí nghiệm, nhờ khả năng xử lý dữ liệu phức tạp và tận dụng đặc trưng chủ đề hiệu quả. Tuy nhiên, lựa chọn thuật toán còn phụ thuộc vào đặc điểm dữ liệu và yêu cầu ứng dụng.

5. Làm sao để áp dụng mô hình này vào các lĩnh vực khác ngoài khách sạn?
   Cần thu thập dữ liệu đa nhãn phù hợp với lĩnh vực mới, xây dựng cơ sở tri thức từ các miền dữ liệu liên quan, sau đó áp dụng mô hình AMC và phương pháp tìm miền gần để trích xuất đặc trưng và phân loại. Quá trình này có thể được tùy chỉnh dựa trên đặc thù từng lĩnh vực.

Kết luận

• Luận văn đã đề xuất thành công phương pháp học máy suốt đời kết hợp mô hình chủ đề AMC và kỹ thuật tìm miền dữ liệu gần để giải quyết bài toán phân loại đa nhãn trong điều kiện dữ liệu hạn chế.
• Phương pháp giúp cải thiện đáng kể hiệu suất phân loại với F1-score đạt tới khoảng 80% trên bộ dữ liệu đánh giá khách sạn Việt Nam.
• Nghiên cứu mở rộng khả năng học liên tục và tích lũy kiến thức trong học máy, phù hợp với các ứng dụng thực tế như trợ lý ảo và chatbot.
• Các kết quả thí nghiệm cho thấy sự ưu việt của mô hình AMC và tầm quan trọng của việc lựa chọn miền dữ liệu gần trong học máy suốt đời.
• Đề xuất các bước tiếp theo bao gồm triển khai ứng dụng thực tế, mở rộng sang các lĩnh vực khác và phát triển thêm các kỹ thuật khai thác kiến thức nâng cao.

Khuyến khích các nhà nghiên cứu và doanh nghiệp quan tâm áp dụng và phát triển tiếp phương pháp này để nâng cao hiệu quả xử lý dữ liệu đa nhãn trong môi trường thực tế.

Trích đoạn nội dung tài liệu

VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY ---------- Nguyen Minh Chau LIFELONG MACHINE LEARNING METHODS AND ITS APPLICATION IN MULTI-LABEL CLASSIFICATION Major: Computer Science HANOI – 2019 VIETNAM NATIONAL UNIVERSITY, HANOI UNIVERSITY OF ENGINEERING AND TECHNOLOGY ---------- Nguyen Minh Chau LIFELONG MACHINE LEARNING METHODS AND ITS APPLICATION IN MULTI-LABEL CLASSIFICATION Major: Computer Science Supervisor: Assoc. Ha Quang Thuy HANOI – 2019 AUTHORSHIP “I hereby declare that the work contained in this thesis is of my own and has not been previously submitted for a degree or diploma at this or any other higher education institution. To the best of my knowledge and belief, the thesis contains no materials previously published or written by another person except where due reference or acknowledgement is made.” Signature:……………………………………………… i SUPERVISOR’S APPROVAL “I hereby approve that the thesis in its current form is ready for committee examination as a requirement for the Bachelor of Computer Science degree at the University of Engineering and Technology.” Signature: ……………………………………………… ii ACKNOWLEDGEMENT First of all, I would like to express my sincere and deepest gratitude to the teacher, Assoc. Ha Quang Thuy, who dedicated and instructed, encouraged and guided me during the research process.

Secondly, I would like to thank the teachers and students in Knowledge Technology Laboratory, especially Dr. Pham Thi Ngan and Mr. Nguyen Van Quang, for their enthusiasm to work with, comment and guide me while doing research as members of the research team. Thirdly, I sincerely thank the teachers and staff of the University of Engineering and Technology, Vietnam National University, Hanoi for creating favorable conditions for me to do research.

Finally, I want to thank my family and friends, especially my parents, those who always give me love, faith and encouragement. iii ABSTRACT Multi-label classification is a classification problem that classifies data which can have more than one label. Multi-label learning is very useful in text classification applications, however, there are many challenges in building training examples. One challenge is that we may not have a large amount of data for training when we face a new task.

In addition, even if we spend time to collect a large amount of data, labelling multi- label data is a very time-consuming task. Hence, we should have a model that could work well when we only have a small amount of training data. Lifelong Machine Learning (LML) is one possible approach to solve this problem. Lifelong Machine Learning (or Lifelong Learning) is an advanced machine learning paradigm that learns continuously, gathers the information learned in past tasks, and utilizations it to support future learning.

All the while, the learner turns out to be increasingly educated and compelling at learning. This learning capacity is one of the signs of human intelligence. Notwithstanding, the current dominant machine learning paradigm learns in isolation: given a training dataset, it runs machine learning algorithm on the dataset to create a model. It makes no endeavor to retain the information and use it in future learning.

In spite of the fact that this isolated learning paradigm has been exceptionally effective, it requires an extensive number of training examples, and is appropriate for well-characterized and restricted tasks. In correlation, we people can adapt adequately with a few examples since we have aggregated a great amount of information in the past which empowers us to learn with little information or exertion. Lifelong learning means to accomplish this ability. As statistical machine learning develops, the time has come to endeavor to break the isolated learning tradition and to examine lifelong learning figuring out how to bring machine learning higher than ever.

Applications, for example, intelligent assistants, chatbots, and physical robots that cooperate with humans and systems in real-life environments are also calling for such lifelong learning capabilities. Without the capacity to amass the information and use it to adapt more learning gradually, a system will presumably never be truly intelligent. iv TABLE OF CONTENTS ABSTRACT. iv TABLE OF CONTENTS.

v List of Figures. vii List of tables. Contributions and thesis format. Lifelong machine learning.

Definition of lifelong learning. System architecture of lifelong learning. Lifelong topic modeling. LTM: a lifelong topic model.

AMC: a lifelong topic model for small data. The closeness of previous datasets to the current dataset. The closeness of two datasets. Proposed model of lifelong topic modeling using close domain knowledge for multi- label classification.

RESULTS AND DISCUSSIONS. Experimental results and discussions. 40 vi List of Figures Figure 1. The system architecture of lifelong machine learning .8 Figure 2: The Lifelong Topic Model (LTM) system architecture.13 Figure 3: The AMC model system architecture.15 Figure 4: Entropy function with n = 2.

The lifelong topic model using close domain knowledge for multi-label classification .34 vii List of tables Table 1. Data division details. The experimental results with 50 reviews in D4 and using kNN, Decision Tree as classifying methods. The experimental results with 50 reviews in D4 and using Random Forest, MLP, AdaBoost, Gaussian Naïve Bayes as classifying methods.

The experimental results with 100 reviews in D4 and using kNN, Decision Tree as classifying methods. The experimental results with 100 reviews in D4 and using Random Forest, MLP, AdaBoost, Gaussian Naïve Bayes as classifying methods .39 viii TÓM TẮT Phân loại đa nhãn là lớp bài toán phân lớp mà đối tượng dữ liệu có thể có nhiều hơn một nhãn. Bộ học phân lớp đa nhãn rất hữu ích trong các ứng dụng phân loại văn bản, tuy nhiên, có nhiều thách thức trong việc xây dựng bộ ví dụ đào tạo. Một thách thức là chúng ta có thể không có một lượng lớn dữ liệu để đào tạo khi chúng ta đối mặt với một tác vụ mới.

Ngoài ra, ngay cả khi chúng ta dành thời gian để thu thập một lượng lớn dữ liệu, việc gán nhãn dữ liệu đa nhãn là một công việc rất tốn thời gian. Do đó, chúng ta nên có một mô hình có thể hoạt động tốt khi chúng ta chỉ có một lượng nhỏ dữ liệu đào tạo. Học máy suốt đời (Lifelong Machine Learning - LML) là một cách tiếp cận khả thi để giải quyết vấn đề này. Học máy suốt đời (hay học suốt đời) là một mô hình học máy tiên tiến, học liên tục, thu thập thông tin học được trong các tác vụ trước đây và sử dụng nó để hỗ trợ cho việc học trong tương lai.

Trong khi đó, bộ học ngày càng được có nhiều kiến thức và hiệu quả hơn trong việc học. Năng lực học tập này là một trong những dấu hiệu của trí tuệ con người. Mặc dù vậy, mô hình học máy phổ biến hiện tại lại học một cách cô lập: nó được cung cấp một tập dữ liệu đào tạo và chạy thuật toán học máy trên tập dữ liệu để tạo ra một mô hình. Nó không có nỗ lực để giữ lại thông tin và sử dụng nó trong việc học tập trong tương lai.

Mặc dù thực tế là mô hình học tập cô lập này có hiệu quả, nhưng nó đòi hỏi một số lượng lớn các ví dụ đào tạo, và chỉ phù hợp cho các bài toán được định nghĩa rõ ràng. Trong khi đó, con người chúng ta có thể học chỉ với một vài ví dụ vì chúng ta đã tổng hợp một lượng lớn thông tin trong quá khứ cho phép chúng ta học hỏi với ít thông tin hoặc nỗ lực. Học máy suốt đời có thể thực hiện khả năng này. Đã đến lúc nỗ lực phá vỡ truyền thống học máy cô lập và tiến tới học máy suốt đời để tìm ra cách đưa học máy lên một nấc cao hơn.

Các ứng dụng như trợ lý thông minh, chatbot và robot vật lý tương tác vớicon người và các hệ thống trong môi trường thực tế cũng cần đến khả năng học tập suốt đời. Nếu không có khả năng tích lũy thông tin và sử dụng nó để phục vụ việc học hỏi dần dần, một hệ thống có lẽ sẽ không bao giờ được coi là thực sự thông minh. ix ABBREVATIONS LML Lifelong Machine Learning ML Machine Learning AI Artificial Intelligence kNN k-nearest neighbors NBC Naive Bayes Classifier CART Classification and Regression Trees MLP Multilayer Perceptrons x Chapter 1 INTRODUCTION 1.1 Motivation Multi-label text classification is a problem with many practical applications. For example, you own a hotel and you care about what your customers refer to about your hotel service on the hotel website or on a social network (e.

Those aspects could be the attitude of the staff, the view from the hotel, the price of the room, the quality of the hotel food,. There are thousands or even tens of thousands of reviews on your website or on social network. However, it is very time consuming to read and classify each review. A good approach is that you have a classification of these reviews, however, assigning labels to thousands of reviews is also a waste of time and effort.

If there is a model that could classify well with just a small amount of labeled data, you will save your time and effort. The commonly used approach is machine learning. Chen and Liu [x] state that “Machine learning (ML) has been instrumental for the advances of both data analysis and artificial intelligence (AI)”. The ongoing accomplishment of profound learning conveys it 1 to another tallness.

ML algorithms have been utilized in practically all zones of software engineering and numerous zones of regular science, building, and sociologies. Commonsense applications are much progressively far reaching. Without effective ML algorithms, numerous ventures would not have prospered, e., Internet commerce and Web search. The current dominant paradigm for machine learning is to run a ML algorithm on a dataset to create a model.

The model is then applied in tasks in real-life. For both supervised learning and unsupervised learning, this is true. It is called isolated learning because it does not think about some other related data or the learned information. The crucial issue with this isolated learning paradigm is that it does not retain and accumulate knowledge learned before and use it in future learning.

This is not the way human learns. We people never learn isolation. We generally retain the information learned before and use it to support future learning and problem solving. That is the reason at whatever point we experience another circumstance or issue, we may see that numerous parts of it are not really new because of the fact that we have seen them in the past in some different contexts.

Without the capacity to collect information, a ML algorithm ordinarily needs a big number of training examples to learn effectively. For supervised learning, marking of data labels is regularly done physically, which is exceptionally time-consuming and tedious. Since the world is too complex with too many possible tasks, it is almost impossible to label a large number of examples for every possible task or application for an ML algorithm to learn. To make matters worse, everything around us additionally changes always, and the labeling in this way should be done continuously, which is an overwhelming task for people.

Even for unsupervised learning, gathering a substantial volume of data may not be possible in many cases. In contrast, we human beings seem to learn quite differently. We accumulate and maintain the knowledge learned from previous tasks and use it seamlessly in learning new tasks and solving new problems. Over time we learn more and more and become more and more knowledgeable, and more and more effective at learning.

Lifelong Machine Learning (LML) (or simply lifelong learning) aims to mimic this human learning process and capability.