Cải Tiến Thuật Toán Phân Lớp Cho Dữ Liệu Không Cân Bằng Và Ứng Dụng Trong Dự Đoán Đồng Tác Giả

Nghiên cứu cải tiến thuật toán phân lớp cho dữ liệu không cân bằng, ứng dụng trong dự đoán đồng tác giả. Giải pháp mới nâng cao độ chính xác, hiệu quả.

• Tác giả: Võ Đức Quang
• Người hướng dẫn: PGS. Trần Đình Khang
• Trường học: Đại Học Bách Khoa Hà Nội
• Chuyên ngành: Hệ Thống Thông Tin
• Đề tài: Cải tiến Thuật Toán Phân Lớp Cho Dữ Liệu Không Cân Bằng Và Ứng Dụng Trong Dự Đoán Đồng Tác Giả
• Loại tài liệu: Luận Án Tiến Sĩ
• Năm xuất bản: 2024
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU
• 1.1. Bài toán phân lớp với dữ liệu không cân bằng. Một số thuật toán liên quan
• 1.2. Thuật toán SVM
• 1.3. Thuật toán Weighted-SVM
• 1.4. Fuzzy SVM-CIL
• 1.5. Thuật toán AdaBoost. Thuật toán CNN
• 1.6. Phương pháp Cây quyết định
• 1.7. K-nearest neighbors và Tomek link
• 1.8. Bài toán dự đoán đồng tác giả
• 1.9. Mô hình hóa bài toán
• 1.10. Phương pháp phân lớp cho bài toán dự đoán đồng tác giả
• 1.11. Phương pháp thực nghiệm và đánh giá. Tập dữ liệu thử nghiệm
• 1.12. Môi trường và kịch bản thử nghiệm
• 1.13. Kết luận Chương 1
• 2. CHƯƠNG 2: CẢI TIẾN THUẬT TOÁN ADABOOST CHO DỮ LIỆU KHÔNG CÂN BẰNG
• 2.1. Đề xuất thuật toán Im. Phân tích thuật toán AdaBoost
• 2.2. Phương pháp khởi tạo trọng số cho AdaBoost thích nghi với mức độ không cân bằng
• 2.3. Phương pháp tính trọng số tin cậy của bộ phân lớp thành viên nhạy cảm với nhãn dương
• 2.4. Mô tả thuật toán Im.AdaBoost kết hợp với WSVM
• 2.5. Thử nghiệm trên các bộ dữ liệu UCI
• 2.6. Thử nghiệm cho bài toán dự đoán đồng tác giả
• 2.7. Kết luận Chương 2
• 3. CHƯƠNG 3: ĐỀ XUẤT THUẬT TOÁN ĐIỀU CHỈNH THÍCH NGHI TRỌNG SỐ MỜ DỰA TRÊN FUZZY SVM-CIL
• 3.1. Đề xuất thuật toán trọng số mờ thích nghi. Xây dựng hàm thuộc mờ giàu ngữ nghĩa cho Fuzzy SVM.
• 3.2. Phương pháp điều chỉnh trọng số mờ cho các mẫu nhạy cảm
• 3.3. Thuật toán phân lớp với trọng số mờ thích nghi. Thử nghiệm trên các bộ dữ liệu UCI
• 3.4. Thử nghiệm cho bài toán dự đoán đồng tác giả
• 3.5. Thử nghiệm so sánh các thuật toán đã đề xuất
• 3.6. Kết luận Chương 3
• DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Cải Tiến Thuật Toán Phân Lớp Cho Bài Toán

Trong lĩnh vực nghiên cứu khoa học, mạng xã hội học thuật (ASN) đóng vai trò quan trọng trong việc thúc đẩy hợp tác giữa các nhà nghiên cứu. Mạng đồng tác giả, một phần của ASN, mô tả mối quan hệ hợp tác thông qua các bài báo khoa học. Các bài báo này trình bày kết quả nghiên cứu và được công bố trên các tạp chí khoa học thuộc nhiều lĩnh vực. Việc nghiên cứu các bài toán trong mạng đồng tác giả có ý nghĩa lớn đối với khoa học thông tin, khoa học dữ liệu và sự phát triển của cộng đồng nghiên cứu. Một trong những bài toán quan trọng là dự đoán đồng tác giả, giúp các nhà nghiên cứu tìm kiếm cộng sự tiềm năng, thúc đẩy các dự án nghiên cứu và ý tưởng sáng tạo. Larivière và cộng sự đã chỉ ra rằng các nhóm tác giả đa dạng giúp các công trình khoa học có tác động lớn hơn. Do đó, việc nghiên cứu các phương pháp dự đoán cộng tác đồng tác giả là rất cần thiết.

1.1. Bài Toán Dự Đoán Đồng Tác Giả và Ứng Dụng

Bài toán dự đoán đồng tác giả dự đoán khả năng hợp tác giữa các tác giả trong tương lai, dựa trên dữ liệu về mạng đồng tác giả hiện tại. Bài toán này có thể được xem như là một dạng bài toán dự đoán liên kết trong mạng xã hội. Mục tiêu là dự đoán các mối quan hệ tiềm năng giữa các tác giả, sử dụng các độ đo liên kết như số lượng hàng xóm chung hoặc chiều dài đường dẫn. Các phương pháp giải quyết bài toán này bao gồm sử dụng độ đo tương đồng, xây dựng mô hình dựa trên xác suất, khai phá đồ thị và học máy. Tiếp cận bằng học máy, đặc biệt là phân lớp nhị phân, đang được quan tâm vì khả năng tích hợp thông tin liên kết đa dạng và khả năng cải thiện mô hình thông qua huấn luyện.

1.2. Các Phương Pháp Tiếp Cận Thuật Toán Phân Lớp

Các phương pháp tiếp cận thuật toán phân lớp cho bài toán dự đoán đồng tác giả bao gồm sử dụng độ đo tương đồng (CN, PA, AA, RA, JC), xây dựng các mô hình dựa trên xác suất và khả năng tối đa, khai phá đồ thị, và học máy. Hướng tiếp cận học máy phân lớp nhị phân thu hút được nhiều sự quan tâm nghiên cứu bởi mang nhiều ưu điểm như: tích hợp đa dạng thông tin liên kết, khả năng mở rộng linh hoạt trong việc đánh giá lựa chọn các phương pháp thuật toán, khả năng điều chỉnh và cải thiện mô hình thông qua quá trình huấn luyện. Các thuật toán được sử dụng rất đa dạng như: Decision Tree, Neural Networks, Support Vector Machines, K-Nearest Neighbors, XGboost hay các mô hình dạng hồi quy.

II. Thách Thức Dữ Liệu Không Cân Bằng Ảnh Hưởng Thế Nào

Trong bài toán dự đoán đồng tác giả, việc xây dựng một mô hình dự đoán tốt đòi hỏi sự quan tâm đến các yếu tố như phương pháp xây dựng bộ dữ liệu, xây dựng các đặc trưng và lựa chọn thuật toán huấn luyện. Vấn đề xây dựng đặc trưng tập trung vào việc mở rộng các độ đo liên kết và đánh giá tầm quan trọng của chúng. Tuy nhiên, khả năng tìm kiếm thêm các độ đo liên kết mới để cải thiện chất lượng mô hình là hạn chế. Quan trọng hơn, không có mô hình học máy nào phù hợp với mọi bộ dữ liệu. Do đó, cần nghiên cứu các phương pháp phù hợp với đặc tính của bộ dữ liệu cụ thể để xây dựng các mô hình phân lớp chất lượng.

2.1. Bài Toán Dữ Liệu Không Cân Bằng Trong Thực Tế

Bộ dữ liệu huấn luyện được tạo ra từ mạng đồng tác giả được gọi là dữ liệu bảng ứng viên đồng tác giả. Khi đưa thông tin đầu vào là một tác giả vi nào đó, chúng ta xây dựng một danh sách các tác giả vj , vk , vh , . có tiềm năng cộng tác hiệu quả với tác giả vi trong tương lai. Các tác giả vj , vk , vh , . gọi là ứng viên đồng tác giả. Theo đó, mỗi cặp (vi , vj ) là một cặp ứng viên cộng tác tiềm năng và được xem như là một mẫu dữ liệu. Mức độ liên kết hợp tác của cặp ứng viên được biểu diễn bởi một véc-tơ thuộc tính, được tính bằng các độ đo liên kết. Nhãn lớp (khả năng xảy ra liên kết cộng tác) được xác định bằng cách khảo sát sự mở rộng liên kết trong mạng đồng tác giả theo chiều thời gian.

2.2. Ảnh Hưởng Của Dữ Liệu Mất Cân Bằng Đến Mô Hình

Trong nhiều bài toán thực tế, đặc biệt là trong dự đoán đồng tác giả, dữ liệu không cân bằng là một vấn đề lớn. Số lượng các cặp tác giả thực sự hợp tác (lớp dương) thường ít hơn nhiều so với số lượng các cặp không hợp tác (lớp âm). Điều này dẫn đến việc các thuật toán phân lớp truyền thống thường bị thiên vị, có xu hướng dự đoán các mẫu thuộc lớp âm nhiều hơn. Do đó, cần có các phương pháp đặc biệt để xử lý dữ liệu không cân bằng, nhằm đảm bảo rằng mô hình có thể dự đoán chính xác cả hai lớp.

III. Cải Tiến AdaBoost Giải Pháp Cho Dữ Liệu Không Cân Bằng

Luận án đề xuất cải tiến thuật toán AdaBoost để xử lý dữ liệu không cân bằng. AdaBoost là một thuật toán học kết hợp mạnh mẽ, nhưng nó có thể bị ảnh hưởng bởi sự mất cân bằng dữ liệu. Phương pháp cải tiến bao gồm việc điều chỉnh trọng số của các mẫu và các bộ phân lớp thành viên để tập trung vào các mẫu thuộc lớp thiểu số. Đồng thời kết hợp với WSVM (Weight Support Vector Machine). Các thử nghiệm trên các bộ dữ liệu UCI và bộ dữ liệu dự đoán đồng tác giả cho thấy rằng phương pháp cải tiến này mang lại kết quả tốt hơn so với AdaBoost truyền thống.

3.1. Đề Xuất Thuật Toán Im. AdaBoost

Thuật toán Im.AdaBoost được đề xuất bao gồm các bước: phân tích thuật toán AdaBoost, phương pháp khởi tạo trọng số cho AdaBoost thích nghi với mức độ không cân bằng, phương pháp tính trọng số tin cậy của bộ phân lớp thành viên nhạy cảm với nhãn dương. Thuật toán kết hợp WSVM (Weight Support Vector Machine) để cải thiện hiệu quả phân lớp. Sơ đồ thuật toán Im.AdaBoost kết hợp với WSVM được trình bày chi tiết trong luận án.

3.2. Thử Nghiệm Với Dữ Liệu UCI và Dự Đoán Đồng Tác Giả

Các thử nghiệm được thực hiện trên các bộ dữ liệu UCI và bộ dữ liệu dự đoán đồng tác giả cho thấy rằng thuật toán Im.AdaBoost mang lại kết quả tốt hơn so với AdaBoost truyền thống. Các giá trị Gmean, SE (Sensitivity), và SP (Specificity) được xác định cho các dữ liệu khác nhau, cho thấy sự cải thiện về hiệu suất phân lớp khi sử dụng thuật toán Im.AdaBoost.

IV. Fuzzy SVM CIL Thuật Toán Điều Chỉnh Trọng Số Mờ

Luận án cũng đề xuất một thuật toán điều chỉnh thích nghi trọng số mờ dựa trên Fuzzy SVM-CIL để xử lý dữ liệu không cân bằng. Phương pháp này xây dựng hàm thuộc mờ giàu ngữ nghĩa và điều chỉnh trọng số mờ cho các mẫu nhạy cảm. Các thử nghiệm trên các bộ dữ liệu UCI và bài toán dự đoán đồng tác giả cho thấy hiệu quả của phương pháp đề xuất.

4.1. Xây Dựng Hàm Thuộc Mờ Cho Fuzzy SVM CIL

Phương pháp xây dựng hàm thuộc mờ giàu ngữ nghĩa cho Fuzzy SVM-CIL dựa trên việc xác định vị trí tương đối của các mẫu giữa hai lớp và xác định các trường hợp "mẫu nhạy cảm" được chỉ ra bởi TLPs (Tomek Links Pairs). Phương pháp này giúp cải thiện khả năng phân biệt giữa các lớp và xử lý dữ liệu không cân bằng hiệu quả hơn.

4.2. Thử Nghiệm Với Fuzzy SVM CIL và Kết Quả

So sánh kết quả phân lớp của FSVM-CILcen lin và FSVM-CIL trên các bộ dữ liệu UCI cho thấy sự cải thiện về hiệu suất phân lớp khi sử dụng phương pháp xây dựng hàm thuộc mờ. Các kết quả so sánh cũng cho thấy hiệu quả của phương pháp điều chỉnh F-AWA khi áp dụng vào FSVM-CIL trên các bộ dữ liệu UCI và bộ dữ liệu dự đoán đồng tác giả.

V. Ứng Dụng Dự Đoán Đồng Tác Giả Trong Mạng Học Thuật

Kết quả nghiên cứu này có thể được ứng dụng để xây dựng một hệ thống khuyến nghị cộng tác đồng tác giả trong mạng xã hội học thuật. Hệ thống này có thể giúp các nhà nghiên cứu tìm kiếm cộng sự tiềm năng, thúc đẩy các dự án nghiên cứu và tăng cường sự hợp tác trong cộng đồng khoa học. Các thuật toán được cải tiến, đặc biệt là AdaBoost và Fuzzy SVM-CIL, có thể giúp xây dựng các mô hình dự đoán chính xác hơn, ngay cả khi dữ liệu bị mất cân bằng.

5.1. Xây Dựng Hệ Thống Khuyến Nghị Cộng Tác

Các thuật toán phân lớp cải tiến, đặc biệt là AdaBoost và Fuzzy SVM-CIL, có thể được sử dụng để xây dựng hệ thống khuyến nghị cộng tác. Hệ thống này sẽ phân tích thông tin về các nhà nghiên cứu, các bài báo và các mối quan hệ hợp tác để đưa ra gợi ý về các cộng sự tiềm năng. Hệ thống cần có khả năng xử lý dữ liệu không cân bằng để đảm bảo tính chính xác của các gợi ý.

5.2. Tích Hợp Vào Mạng Xã Hội Học Thuật

Hệ thống khuyến nghị cộng tác có thể được tích hợp vào các mạng xã hội học thuật hiện có, như ResearchGate hoặc Academia.edu. Điều này sẽ giúp các nhà nghiên cứu dễ dàng tìm kiếm cộng sự và kết nối với nhau. Hệ thống cũng có thể cung cấp các công cụ để quản lý các dự án hợp tác và chia sẻ kết quả nghiên cứu.

VI. Kết Luận Tiềm Năng Phát Triển Thuật Toán Phân Lớp

Nghiên cứu này đã đề xuất các phương pháp cải tiến thuật toán phân lớp cho dữ liệu không cân bằng và ứng dụng trong bài toán dự đoán đồng tác giả. Các kết quả thử nghiệm cho thấy rằng các phương pháp này có tiềm năng cải thiện đáng kể hiệu suất dự đoán. Trong tương lai, có thể tiếp tục nghiên cứu để phát triển các thuật toán mới, sử dụng các kỹ thuật học sâu hoặc kết hợp nhiều phương pháp khác nhau để đạt được kết quả tốt hơn. Ngoài ra, cần nghiên cứu sâu hơn về các yếu tố ảnh hưởng đến sự hợp tác giữa các nhà nghiên cứu, để xây dựng các mô hình dự đoán chính xác và hiệu quả hơn.

6.1. Hướng Nghiên Cứu Tiếp Theo Về Dữ Liệu Không Cân Bằng

Các hướng nghiên cứu tiếp theo có thể tập trung vào việc phát triển các thuật toán mới, sử dụng các kỹ thuật học sâu (deep learning) để tự động trích xuất các đặc trưng quan trọng từ dữ liệu. Cũng có thể nghiên cứu các phương pháp kết hợp nhiều kỹ thuật xử lý dữ liệu không cân bằng để đạt được hiệu quả tốt nhất. Ví dụ, kết hợp oversampling với cost-sensitive learning.

6.2. Mở Rộng Ứng Dụng Trong Các Lĩnh Vực Khác

Các thuật toán phân lớp cải tiến cho dữ liệu không cân bằng không chỉ có thể được áp dụng trong bài toán dự đoán đồng tác giả, mà còn có thể được sử dụng trong nhiều lĩnh vực khác, như phát hiện gian lận, chẩn đoán y tế và dự báo rủi ro tài chính. Việc nghiên cứu và phát triển các thuật toán này có ý nghĩa quan trọng đối với nhiều ngành công nghiệp và lĩnh vực khoa học.

Trích đoạn nội dung tài liệu

Chương 1 TỔNG QUAN VỀ VẤN ĐỀ NGHIÊN CỨU Chương này của luận án giới thiệu các kiến thức cơ bản về bài toán phân lớp nhị phân có tính chất dữ liệu không cân bằng và các vấn đề liên quan khi ứng dụng vào bài toán dự đoán đồng tác giả được mô hình hóa theo dạng phân lớp. Một số phương pháp tiếp cận giải quyết bài toán và thuật toán phân lớp nhị phân nổi bật cũng được phân tích để đưa ra các định hướng nghiên cứu cải tiến các thuật toán. Bài toán phân lớp với dữ liệu không cân bằng Dữ liệu không cân bằng là khái niệm đề cập đến các bộ dữ liệu có đặc điểm phân bố số lượng mẫu trong mỗi lớp có sự chênh lệch cao. Bài toán phân lớp trên dữ liệu không cân bằng là một vấn đề thách thức trong học máy.

Để giải quyết bài toán phân lớp trên dữ liệu không cân bằng nói chung, các nghiên cứu tập trung vào hai hướng giải quyết chính đó là: sửa đổi tập dữ liệu để giảm mức độ không cân bằng mẫu giữa các lớp và cải tiến thuật toán thông qua việc điều chỉnh các tham số. Các phương pháp tiếp cận mức dữ liệu sử dụng các kỹ thuật can thiệp vào bộ dữ liệu gốc để tạo ra bộ dữ liệu huấn luyện có tỷ lệ phân bố mẫu cân bằng hơn, từ đó làm cơ sở cho các thuật toán phân lớp truyền thống hoạt động hiệu quả hơn. Có thể thay đổi sự phân bố số lượng mẫu trong bộ dữ liệu (ReSampling) bằng cách sinh thêm các phần tử cho lớp thiểu số (Over Sampling) như Ran- dom Oversampling, Synthetic Minority Oversampling Technique (SMOTE) [25], Border-line-SMOTE [26], Adaptive Synthetic Sampling (ADA-SYN)[27] over- sampling dựa trên cụm (Cluster Based Sampling-CBO) [28], SMOTEBoost [29], OSD [30]. hay giảm bớt các phần tử thuộc lớp đa số (Under Sampling) như EasyEnsemble [31], BalanceCascade [32], KNN-NearMiss [33],.

để bộ dữ liệu trở nên cân bằng hơn, từ đó sử dụng các thuật toán học máy mạnh để phân lớp. Một số kỹ thuật làm sạch dữ liệu (data cleaning techniques) như Tomek links được dùng để loại bỏ sự trùng lặp hoặc chồng lẫn của các mẫu trong tập dữ liệu sau khi thực hiện các thuật toán tạo các mẫu tổng hợp (Over Sampling) [34][35]. 11 Các phương pháp tiếp cận ở mức thuật toán hướng tới việc điều chỉnh các thuật toán phân lớp truyền thống để vẫn đạt được hiệu quả cao trên các tập dữ liệu không cân bằng. Các phương pháp phổ biến như học dựa trên nhạy cảm chi phí [36][37][38], điều chỉnh xác suất ước lượng [30][39], sử dụng các hằng số phạt khác nhau cho các nhãn lớp khác nhau [40][41].

Một số thuật toán được nghiên cứu cải tiến điển hình như: Boosting [20], AdaC1, AdaC2, AdaC3 [42][43][44][45][46], sử dụng Cây quyết định (Cost-Sensitive Decision Trees) [38][47], sử dụng các hàm kernel máy vectơ hỗ trợ SVM, sử dụng kỹ thuật học sâu,. Một số nghiên cứu khác sử dụng kết hợp cải tiến thuật toán và sửa đổi mẫu như [19][48][49][50][51]. Việc sử dụng các phương pháp tiếp cận ở mức dữ liệu trong một số trường hợp nào đó có thể dẫn đến mất đi những thông tin quan trọng của bộ dữ liệu hoặc đưa nhiễu vào tập dữ liệu. Do đó, luận án tiếp cận giải quyết bài toán có dữ liệu không cân bằng ở mức thuật toán, tức là nghiên cứu cải tiến các thuật toán truyền thống để nó đạt được hiệu quả phân lớp tốt trên dữ liệu không cân bằng.

Trong đó, luận án lựa chọn các giải thuật mạnh như học kết hợp boosting hay SVM có trọng số để nghiên cứu cải tiến, giải quyết vấn đề phân lớp trên dữ liệu không cân bằng. Phân tích một số phương pháp tiếp cận ở mức thuật toán để giải quyết không cân bằng dữ liệu, các phương pháp dựa trên cải tiến dựa trên AdaBoost [42], cải tiến dựa trên SVMs [21][52] và các phương pháp học sâu dựa trên CNN [53] thu hút rất nhiều sự quan tâm bởi tính tùy biến mở rộng của các thuật toán cho các bài toán có dữ liệu có tính chất khác nhau là rất hiệu quả. Thuật toán học kết hợp AdaBoost do Freund [20] đề xuất dựa trên quan điểm là: khi sử dụng một bộ phân lớp đơn lẻ có thể sẽ không xem xét một cách đầy đủ các đặc điểm của tập dữ liệu, do đó việc kết hợp sử dụng nhiều bộ phân lớp thành viên khác nhau để tạo thành một bộ phân lớp tổng hợp có thể sẽ xem xét kỹ hơn các đặc tính của dữ liệu và đem lại hiệu quả phân lớp tốt hơn. Để sử dụng kết hợp các bộ phân lớp con, thường có hai cách kết hợp là tuần tự (boosting) hoặc song song (bagging).

AdaBoost là kiểu kết hợp tuần tự và sửa lỗi phân lớp thích nghi qua mỗi lần lặp. Về phương pháp học kết hợp dạng song song, nổi bật nhất là thuật toán rừng ngẫu nhiên (Random forest). Thuật toán này chia nhỏ bộ dữ liệu gốc thành các tập dữ liệu con bằng kỹ thuật bootstrap và sử dụng các bộ phân lớp thành viên cho các tập dữ liệu con, sau đó kết quả phân lớp chung cuối cùng sẽ được tổng hợp từ các bộ phân lớp thành viên. Tuy 12 nhiên trong trường hợp dữ liệu không cân bằng, đặc biệt là dữ liệu không cân bằng mức cao, số lượng mẫu nhãn dương +1 là rất ít.

Vì vậy việc lấy mẫu ngẫu nhiên để tạo ra các bộ dữ liệu con khó đảm bảo đầy đủ tính chất của dữ liệu. Do đó, thuật toán học kết hợp AdaBoost được luận án lựa chọn để thực hiện nghiên cứu cải tiến. SVM [21] là một thuật toán phân lớp mạnh trong học máy. SVM đã được nghiên cứu rộng rãi và được chứng minh là một phương pháp phân lớp mạnh trong các kết quả thực nghiệm.

Giải thuật này đặc biệt hiệu quả đối với các dữ liệu phân biệt tuyến tính. Ngoài ra, thuật toán cũng khá mềm dẻo và có khả năng cải tiến mở rộng để đạt hiệu quả cao trên những bộ dữ liệu có đặc tính khác nhau. Đối với bài toán phân lớp dữ liệu không cân bằng, đã có rất nhiều các nghiên cứu cải tiến SVM như là Weighted-SVM [22], Kernel-SVM, đặc biệt là Fuzzy SVM [23], Fuzzy SVM-CIL [24]. Một điều cần lưu ý nữa là hai thuật toán AdaBoost và SVM đều sử dụng hàm xét dấu (−/+) để đưa ra kết quả phân lớp nên nó trở thành lựa chọn hợp lý và phù hợp để cải tiến cho bài toán phân lớp nhị phân có dữ liệu không cân bằng mà luận án hướng tới.

Bên cạnh vấn đề dữ liệu không cân bằng về số lượng mẫu trong các lớp, một vấn đề chung để nâng cao chất lượng mô hình phân lớp là cần xử lý tốt việc phân lớp chính xác trong các vùng không gian nhạy cảm như: mẫu dữ liệu là nhiễu hoặc mẫu dữ liệu phân bố trong không gian ranh giới phân lớp của hai lớp. Để xác định các vùng không gian chứa các mẫu nhạy cảm này, chúng ta cần các phương pháp đo lường khoảng cách hoặc xem xét phân bố các mẫu. Do vậy chúng ta cần lưu ý đến việc sử dụng các thuật toán như K-nearest neighbors (KNN) và Tomek link để định vị các mẫu trong không gian phân bố. Mặt khác SVM là thuật toán phân lớp dạng tuyến tính dựa trên lề và có các tham số điều chỉnh để mở rộng hoặc co hẹp không gian biên lề phân lớp.

Khi sử dụng SVM làm bộ phân lớp cơ sở, chúng ta hoàn toàn có thể xác định được vùng không gian nhạy cảm là biên lề phân lớp. Ngoài ra, với dữ liệu không đầy đủ, không chắc chắn, phương pháp xử lý mờ dựa trên lý thuyết tập mờ của Zadeh [54] đưa ra vào năm 1965 tỏ ra hiệu quả. Nhiều nghiên cứu đã đề xuất các phương pháp xử lý mờ để giải quyết vấn đề này. Vì vậy việc nghiên cứu vận dụng và cải tiến các thuật toán như AdaBoost, SVM có trọng số, KNN, Tomek link [55] và các gải thuật phân lớp mờ Fuzzy SVM, Fuzzy SVM-CIL cho dữ liệu không cân bằng mang đến nhiều triển vọng.

13 Dựa vào việc phân tích trên, trong phần tiếp theo, luận án sẽ trình bày tóm lược các thuật toán liên quan làm cơ sở cho các nghiên cứu cải tiến nhằm hướng đến giải quyết bài toán phân lớp nhị phân trên dữ liệu không cân bằng nói chung và ứng dụng trong bài toán dự đoán cộng tác đồng tác giả nói riêng. Một số thuật toán liên quan 1. Thuật toán SVM Thuật toán 1.1: Thuật toán SVM Input: Tập dữ liệu X = {(x1 , y1 ),. , (xN , yN )} với yi = {−1, +1}; C : tham số điều chỉnh kiểm soát sự đồng nhất của siêu phẳng phân lớp.

Output: Hệ số w: véc-tơ trọng số của các thuộc tính, b: thuộc tính độ lệch để xác định siêu phẳng phân lớp. 1 Khởi tạo w và b 2 for Lặp đến khi hội tụ do 3 for Duyệt từng mẫu huấn luyện xi do 4 Tính di = yi (w · xi + b) 5 Tính hàm chi phí cho mẫu xi : costi = max(0, 1 − di ) Tính hàm mục tiêu: J(w, b) = 12 ||w||22 + C N P 6 i=1 costi ; 7 Cập nhật w và b bằng phương pháp tối ưu hóa: minJ(w, b) 8 return h(x) = sign(w · x + b). SVM đã được nghiên cứu, thử nghiệm và chứng minh là một phương pháp phân lớp mạnh, đặc biệt hiệu quả đối với các dữ liệu phân biệt tuyến tính. Ngoài ra, thuật toán cũng khá mềm dẻo và có khả năng cải tiến mở rộng để đạt hiệu quả cao trên những bộ dữ liệu có đặc tính khác nhau.

Đối với vấn đề phân lớp nhị phân, với tập dữ liệu D = {(xi , yi )|i = 1, 2, · · · , N }, trong đó xi ∈ Rn đại diện cho một điểm dữ liệu n chiều và yi ∈ {−1, +1} là nhãn lớp của xi. Mục tiêu của thuật toán SVM là tìm ra một siêu phẳng phân tách các điểm dữ liệu này thành hai lớp trong không gian đặc trưng Rn. Hàm mục tiêu cần tối ưu cho siêu phẳng phân tách trong không gian đặc trưng Rn được biểu thị bằng: ⟨ω, x⟩ + b = 0, (1.1) trong đó ω là ma trận tham số, b là hệ số. Các bước huấn luyện của SVM được trình bày cụ thể ở Thuật toán 1.

Thuật toán Weighted-SVM Đối với vấn đề học máy trên dữ liệu không cân bằng hai nhãn lớp, đã có nhiều cải tiến của thuật toán SVM được đề xuất như [24][56][57][58][59]. Một cải tiến nổi bật, điển hình trong số đó là thuật toán Weighted-SVM (WSVM) [22].