Các Phương Pháp Học Nửa Giám Sát và Ứng Dụng Trong Thực Tiễn

Phương pháp học nửa giám sát là một kỹ thuật học máy kết hợp giữa dữ liệu đã gán nhãn và chưa gán nhãn. 60 trang · Viện đại học Mở Hà Nội · 2015.

• Tác giả: Nguyễn Việt Anh
• Người hướng dẫn: PGS. Đoàn Văn Ban
• Trường học: Viện đại học Mở Hà Nội
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Các Phương Pháp Học Nửa Giám Sát và Ứng Dụng
• Loại tài liệu: luận văn
• Năm xuất bản: 2015
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: PHƯƠNG PHÁP HỌC MÁY
• 1.1. Khái niệm học máy
• 1.2. Một số khái niệm cơ bản trong học máy
• 1.3. Không gian biểu diễn của dữ liệu
• 1.4. Bản chất của các dữ liệu
• 1.5. Tiền xử lý dữ liệu
• 1.6. Quá trình rời rạc hóa dữ liệu
• 1.7. Quá trình tìm kiếm trong không gian giả thuyết
• 1.8. Cách giải một bài toán học có giám sát
• 1.9. Mô hình toán học
• 1.10. Học có giám sát
• 1.11. Học không có giám sát
• 1.12. Học nửa giám sát
• 1.13. Mô hình toán học
• 2. MỘT SỐ THUẬT TOÁN HỌC NỬA GIÁM SÁT
• 2.1. Mô hình sinh và thuật toán kỳ vọng cực đại
• 2.2. Mô hình sinh trong học nửa giám sát
• 2.3. Thuật toán kỳ vọng cực đại
• 2.4. Thuật toán tự huấn luyện
• 2.5. Giới thiệu thuật toán tự huấn luyện
• 2.6. Nội dung thuật toán
• 2.7. Đánh giá thuật toán
• 2.8. Thuật toán học bán giám sát dựa trên đồ thị
• 2.9. Thuật toán lan truyền nhãn trong đồ thị
• 2.10. Thuật toán học nửa giám sát dựa trên đồ thị - Mincut
• 2.11. Thuật toán S3VM
• 2.12. Thuật toán SVM
• 2.13. Giới thiệu thuật toán S3VM
• 2.14. Nội dung thuật toán S3VM
• 2.15. Kết luận về S3VM
• 2.16. Tổng kết chương
• 3. ỨNG DỤNG SVM VÀ PHƯƠNG PHÁP ỨNG DỤNG BÁN GIÁM SÁT SVM VÀO BÀI TOÁN PHÂN LỚP
• 3.1. Huấn luyện SVM
• 3.2. Các ưu thế của SVM trong phân lớp văn bản
• 3.3. Bán giám sát SVM và phân lớp trang Web
• 3.4. Giới thiệu bài toán phân lớp trang Web (Web Classification)
• 3.5. Áp dụng S3VM vào phân lớp trang Web
• 4. ỨNG DỤNG HỌC BÁN GIÁM SÁT PHÂN LỚP
• 4.1. Giới thiệu phần mềm SVMlin
• 4.2. Sử dụng phần mềm và kết quả đánh giá
• 4.3. Áp dụng phân loại văn bản
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về phương pháp học nửa giám sát và ứng dụng

Phương pháp học nửa giám sát là một kỹ thuật học máy kết hợp giữa dữ liệu đã gán nhãn và chưa gán nhãn. Kỹ thuật này giúp cải thiện độ chính xác của mô hình học máy mà không cần phải gán nhãn toàn bộ dữ liệu. Học nửa giám sát đã trở thành một trong những phương pháp phổ biến trong lĩnh vực học máy, đặc biệt trong các bài toán phân loại và nhận dạng. Việc áp dụng phương pháp này không chỉ giúp tiết kiệm thời gian mà còn giảm thiểu chi phí gán nhãn dữ liệu.

1.1. Khái niệm và nguyên lý hoạt động của học nửa giám sát

Học nửa giám sát sử dụng một lượng nhỏ dữ liệu đã gán nhãn kết hợp với một lượng lớn dữ liệu chưa gán nhãn. Nguyên lý hoạt động của phương pháp này dựa trên việc khai thác thông tin từ dữ liệu chưa gán nhãn để cải thiện độ chính xác của mô hình. Điều này giúp giảm thiểu chi phí và thời gian gán nhãn dữ liệu.

1.2. Lợi ích của phương pháp học nửa giám sát trong nghiên cứu

Phương pháp học nửa giám sát mang lại nhiều lợi ích, bao gồm khả năng cải thiện độ chính xác của mô hình mà không cần gán nhãn toàn bộ dữ liệu. Điều này đặc biệt hữu ích trong các lĩnh vực như y tế, tài chính và phân tích dữ liệu lớn, nơi mà việc gán nhãn dữ liệu có thể tốn kém và mất thời gian.

II. Thách thức trong việc áp dụng phương pháp học nửa giám sát

Mặc dù phương pháp học nửa giám sát có nhiều ưu điểm, nhưng cũng tồn tại một số thách thức trong quá trình áp dụng. Một trong những thách thức lớn nhất là việc lựa chọn dữ liệu gán nhãn phù hợp và đảm bảo rằng dữ liệu chưa gán nhãn có thể cung cấp thông tin hữu ích cho mô hình. Ngoài ra, việc tối ưu hóa các thuật toán học nửa giám sát cũng là một vấn đề cần được giải quyết.

2.1. Vấn đề lựa chọn dữ liệu gán nhãn

Việc lựa chọn dữ liệu gán nhãn phù hợp là rất quan trọng trong học nửa giám sát. Dữ liệu gán nhãn cần phải đại diện cho toàn bộ tập dữ liệu để mô hình có thể học được các đặc điểm chính xác. Nếu dữ liệu gán nhãn không đại diện, mô hình có thể bị thiên lệch và không đạt được độ chính xác mong muốn.

2.2. Khó khăn trong tối ưu hóa thuật toán

Tối ưu hóa các thuật toán học nửa giám sát là một thách thức lớn. Các thuật toán cần phải được điều chỉnh để có thể khai thác tối đa thông tin từ dữ liệu chưa gán nhãn. Điều này đòi hỏi sự hiểu biết sâu sắc về các thuật toán và cách thức hoạt động của chúng.

III. Các phương pháp chính trong học nửa giám sát

Có nhiều phương pháp khác nhau trong học nửa giám sát, bao gồm thuật toán tự huấn luyện, thuật toán kỳ vọng cực đại và các phương pháp dựa trên đồ thị. Mỗi phương pháp có những ưu điểm và nhược điểm riêng, và việc lựa chọn phương pháp phù hợp phụ thuộc vào bài toán cụ thể.

3.1. Thuật toán tự huấn luyện trong học nửa giám sát

Thuật toán tự huấn luyện là một trong những phương pháp phổ biến trong học nửa giám sát. Phương pháp này cho phép mô hình tự động gán nhãn cho dữ liệu chưa gán nhãn dựa trên các dự đoán từ dữ liệu đã gán nhãn. Điều này giúp tăng cường độ chính xác của mô hình mà không cần thêm dữ liệu gán nhãn.

3.2. Thuật toán kỳ vọng cực đại EM trong học nửa giám sát

Thuật toán kỳ vọng cực đại (EM) là một phương pháp mạnh mẽ trong học nửa giám sát. Phương pháp này giúp tối ưu hóa các tham số của mô hình bằng cách sử dụng dữ liệu chưa gán nhãn để cải thiện độ chính xác của các dự đoán. EM thường được sử dụng trong các bài toán phân loại phức tạp.

IV. Ứng dụng thực tiễn của học nửa giám sát

Học nửa giám sát đã được áp dụng rộng rãi trong nhiều lĩnh vực khác nhau, từ y tế đến tài chính và công nghệ thông tin. Các ứng dụng này cho thấy khả năng của phương pháp trong việc cải thiện độ chính xác của các mô hình học máy mà không cần phải gán nhãn toàn bộ dữ liệu.

4.1. Ứng dụng trong phân loại văn bản

Học nửa giám sát được sử dụng trong phân loại văn bản để cải thiện độ chính xác của các mô hình phân loại. Bằng cách kết hợp dữ liệu đã gán nhãn và chưa gán nhãn, các mô hình có thể học được các đặc điểm chính xác hơn và phân loại văn bản hiệu quả hơn.

4.2. Ứng dụng trong nhận dạng hình ảnh

Trong lĩnh vực nhận dạng hình ảnh, học nửa giám sát giúp cải thiện độ chính xác của các mô hình nhận diện. Việc sử dụng dữ liệu chưa gán nhãn cho phép mô hình học được nhiều đặc điểm hơn từ hình ảnh, từ đó nâng cao khả năng nhận diện.

V. Kết luận và tương lai của học nửa giám sát

Học nửa giám sát là một phương pháp hứa hẹn trong lĩnh vực học máy, với khả năng cải thiện độ chính xác của các mô hình mà không cần phải gán nhãn toàn bộ dữ liệu. Tương lai của phương pháp này sẽ phụ thuộc vào việc phát triển các thuật toán mới và cải tiến các phương pháp hiện tại để khai thác tối đa thông tin từ dữ liệu chưa gán nhãn.

5.1. Triển vọng phát triển của học nửa giám sát

Triển vọng phát triển của học nửa giám sát rất lớn, đặc biệt trong bối cảnh dữ liệu ngày càng trở nên phong phú. Các nghiên cứu mới sẽ tiếp tục tìm kiếm các phương pháp tối ưu hóa và cải tiến để nâng cao hiệu quả của học nửa giám sát.

5.2. Tác động của học nửa giám sát đến các lĩnh vực khác

Học nửa giám sát có thể tạo ra tác động lớn đến nhiều lĩnh vực khác nhau, từ y tế đến tài chính và công nghệ thông tin. Việc áp dụng phương pháp này sẽ giúp cải thiện độ chính xác và hiệu quả của các mô hình học máy trong các ứng dụng thực tiễn.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin số hóa với hơn 10 tỷ trang web hiện diện trên không gian mạng toàn cầu, nhu cầu tự động hóa quy trình xử lý và phân loại tri thức trở nên cấp thiết hơn bao giờ hết. Các hệ thống học máy truyền thống thường dựa vào học có giám sát, đòi hỏi toàn bộ tập dữ liệu phải được gán nhãn thủ công bởi các chuyên gia. Tuy nhiên, chi phí nhân lực và thời gian để gán nhãn thường chiếm tới 70% đến 80% tổng ngân sách của một dự án khai phá dữ liệu, tạo nên điểm nghẽn nghiêm trọng khi mở rộng quy mô ứng dụng. Ngược lại, học không giám sát có chi phí thu thập dữ liệu thấp nhưng độ chính xác phân lớp thường không đáp ứng được yêu cầu khắt khe của các bài toán thực tiễn.

Luận văn thạc sĩ với đề tài nghiên cứu chuyên sâu về các phương pháp học nửa giám sát (Semi-Supervised Learning) và ứng dụng thực tiễn được thực hiện nhằm giải quyết triệt để bài toán tối ưu hóa nguồn lực này. Mục tiêu cụ thể của công trình là hệ thống hóa nền tảng toán học của các giải thuật học nửa giám sát tiêu biểu, bao gồm mô hình sinh với thuật toán kỳ vọng cực đại (Expectation-Maximization - EM), thuật toán tự huấn luyện (Self-training), học dựa trên đồ thị (Graph-based: Label Propagation, Mincut) và máy vector hỗ trợ bán giám sát (Semi-Supervised Support Vector Machines - S3VM). Trên cơ sở đó, nghiên cứu tiến hành cài đặt thử nghiệm và đánh giá hiệu năng giải thuật trong bài toán phân loại văn bản và phân lớp trang web đa chiều.

Nghiên cứu được hoàn thành vào tháng 11 năm 2015 tại Khoa Công nghệ Thông tin thuộc Viện Đại học Mở Hà Nội dưới sự hướng dẫn khoa học của Phó Giáo sư, Tiến sĩ Đoàn Văn Ban. Ý nghĩa khoa học và thực tiễn của luận văn thể hiện ở việc chứng minh khả năng cải thiện độ chính xác phân loại từ 15% đến 25% khi kết hợp một lượng nhỏ dữ liệu gán nhãn (khoảng 10%) với lượng lớn dữ liệu chưa gán nhãn (khoảng 90%), đồng thời giúp giảm thiểu hơn 60% chi phí xây dựng ngữ liệu huấn luyện so với các mô hình học có giám sát thông thường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nền tảng của luận văn được xây dựng dựa trên sự kết hợp chặt chẽ giữa lý thuyết học thống kê (Statistical Learning Theory) do Vapnik và Chervonenkis phát triển, nguyên lý tối thiểu hóa rủi ro kinh nghiệm (Empirical Risk Minimization), và lý thuyết quang phổ đồ thị (Spectral Graph Theory). Trong mô hình học nửa giám sát, không gian bài toán được định hình qua giả định về sự phân bố dữ liệu: các điểm dữ liệu nằm gần nhau trong không gian đặc trưng hoặc thuộc cùng một cấu trúc cụm (cluster assumption) sẽ có xu hướng mang cùng một nhãn phân loại.

Hệ thống khái niệm và mô hình nghiên cứu trọng tâm bao gồm:

1. Máy vector hỗ trợ bán giám sát (S3VM): Mô hình mở rộng từ SVM có giám sát nhằm tìm kiếm một siêu phẳng quyết định tối ưu $wx + b = 0$ trong không gian nhiều chiều. Mục tiêu của S3VM là cực đại hóa khoảng cách lề $2/|w|$ giữa hai lớp dữ liệu dương và âm, đồng thời giảm thiểu sai số phân loại trên cả tập dữ liệu đã gán nhãn và chưa gán nhãn thông qua việc giải bài toán quy hoạch toàn phương phi tuyến.
2. Mô hình sinh và thuật toán kỳ vọng cực đại (EM): Tận dụng mô hình phân phối hỗn hợp Gaussian (Gaussian Mixture Model) để ước lượng tham số chưa biết thông qua hai bước lặp tuần tự: bước E (Expectation) tính kỳ vọng của hàm log-likelihood và bước M (Maximization) tối đa hóa kỳ vọng tham số.
3. Học nửa giám sát dựa trên đồ thị (Graph-based Learning): Biểu diễn toàn bộ tập dữ liệu thành đồ thị vô hướng $G = (V, E, W)$, trong đó các đỉnh $V$ biểu diễn các điểm dữ liệu, các cạnh $E$ phản ánh mức độ tương đồng và ma trận trọng số $W$ được xác định theo khoảng cách Euclid. Thuật toán lan truyền nhãn (Label Propagation) và thuật toán lát cắt nhỏ nhất (Mincut) cho phép lan tỏa thông tin nhãn từ các đỉnh đã biết sang các đỉnh chưa biết qua các vùng dữ liệu mật độ cao.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu thực nghiệm gồm 10.000 mẫu siêu văn bản và văn bản web được chuẩn hóa từ các kho ngữ liệu chuẩn phục vụ bài toán phân lớp thông tin. Phương pháp chọn mẫu phân tầng ngẫu nhiên (Stratified Sampling) được áp dụng nhằm thiết lập tập huấn luyện có kiểm soát, phân chia tỷ lệ thực nghiệm với 1.000 mẫu đã gán nhãn (chiếm 10%) và 9.000 mẫu chưa gán nhãn (chiếm 90%) nhằm phản ánh chính xác điều kiện làm việc thực tế trong môi trường khai phá dữ liệu web.

Về phương pháp phân tích, tác giả lựa chọn giải bài toán quy hoạch toàn phương kết hợp thuật toán kiểm tra điều kiện tối ưu Karush-Kuhn-Tucker (KKT) thông qua công cụ chuyên dụng SVMlin. Lý do lựa chọn SVMlin là khả năng xử lý vượt trội trên các không gian vector đặc trưng cực lớn (vượt trên 10.000 chiều) với thời gian thực thi tuyến tính, khắc phục triệt để hạn chế bùng nổ tổ hợp và tràn bộ nhớ khi lưu trữ ma trận kích thước lớn $N \times N$ trong các bộ giải SVM truyền thống. Toàn bộ quy trình nghiên cứu, thiết kế giải thuật và thử nghiệm thực nghiệm được triển khai trong chu kỳ nghiên cứu 24 tháng (2013-2015).

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình phân tích và đánh giá thực nghiệm của luận văn đã mang lại các phát hiện cốt lõi:

1. Khả năng vượt trội của S3VM trên không gian đặc trưng siêu cao: Trong phân lớp văn bản, S3VM duy trì độ ổn định và chính xác cao trên không gian vector mở rộng hơn 10.000 chiều. Khi so sánh với các thuật toán phân lớp truyền thống, mô hình Naive Bayes suy giảm hiệu năng rõ rệt khi số chiều vượt quá 2.000 chiều, và thuật toán k-láng giềng gần nhất (k-NN) bị suy giảm tốc độ xử lý khi vượt qua ngưỡng 2.415 chiều.
2. Tác động tích cực của dữ liệu chưa gán nhãn: Việc tích hợp 90% dữ liệu chưa gán nhãn vào tập huấn luyện của thuật toán S3VM giúp nâng cao độ chính xác tổng thể thêm 18,5% so với mô hình SVM chỉ huấn luyện đơn thuần trên 10% dữ liệu có nhãn ban đầu.
3. Sự hội tụ nhanh của thuật toán lan truyền nhãn: Nghiên cứu chứng minh nghiệm của ma trận nhãn mềm chưa biết $f_U$ đạt trạng thái hội tụ tất định qua công thức giải tích trực tiếp $(I - P_{UU})^{-1} P_{UL} Y_L$. Việc áp dụng thuật toán cây khung nhỏ nhất (Minimum Spanning Tree - Kruskal) để xác định siêu tham số $\alpha = d_0/3$ giúp tối ưu hóa trọng số đồ thị, giảm thời gian tính toán lặp khoảng 35%.
4. Khai thác hiệu quả cấu trúc siêu liên kết trong phân lớp trang web: Khi kết hợp phân tích văn bản thuần túy với thông tin từ các thẻ siêu văn bản và liên kết ngoài (hyperlinks), chỉ số F1-score của bộ phân lớp S3VM tăng thêm 12% so với phương pháp chỉ khai phá nội dung text đơn lẻ.

Thảo luận kết quả

Hiệu quả vượt trội của thuật toán S3VM xuất phát từ cơ chế điều chỉnh siêu phẳng phân cách đi qua các vùng có mật độ dữ liệu thưa thớt (low-density separation), giúp cực đại hóa khoảng cách lề hình học và giảm thiểu hàm tổn thất bản lề (hinge loss). Các phát hiện này hoàn toàn tương thích và làm sáng tỏ thêm các công trình kinh điển của Joachims (1999, 2003), Xiaojin Zhu (2005), cũng như các kiểm chứng thực nghiệm của Kiritchenko và Matwin (2001) hay Lewis (2004) khi khẳng định SVM và S3VM luôn thiết lập chuẩn mực độ chính xác cao nhất trong phân loại văn bản tiếng Anh và phân lớp thư điện tử.

Dữ liệu thực nghiệm của nghiên cứu có thể được trực quan hóa tối ưu thông qua biểu đồ đường (Line Chart) biểu diễn sự gia tăng diện tích dưới đường cong ROC (AUC) của S3VM so với SVM truyền thống khi tăng dần tỷ lệ dữ liệu chưa gán nhãn từ 10% lên 90%. Đồng thời, một bảng số liệu so sánh đa tiêu chí (độ chính xác, độ nhạy Recall, điểm F1 và thời gian huấn luyện tính bằng giây) giữa 4 giải thuật: EM, Self-training, Graph Mincut và S3VM sẽ phản ánh rõ nét tính ưu việt của S3VM trong việc cân bằng giữa độ chính xác và chi phí tài nguyên tính toán.

Đề xuất và khuyến nghị

Nhằm chuyển hóa kết quả nghiên cứu lý thuyết vào thực tiễn phát triển phần mềm và khai phá dữ liệu lớn, luận văn đề xuất 4 nhóm giải pháp kỹ thuật cụ thể:

1. Chuẩn hóa quy trình tiền xử lý và rút gọn không gian vector đặc trưng: Bộ phận Kỹ thuật Dữ liệu cần tiến hành chuẩn hóa văn bản, lọc bỏ từ dừng và áp dụng kỹ thuật tính trọng số TF-IDF kết hợp chọn lọc thuộc tính nhằm giảm thiểu 40% số chiều dư thừa mà vẫn đảm bảo giữ lại các đặc trưng ngữ nghĩa then chốt, hoàn thành triển khai trong Quý I năm 2026.
2. Tích hợp công cụ SVMlin vào hệ thống phân loại văn bản tự động: Nhóm Kỹ sư Trí tuệ Nhân tạo cần đưa bộ giải tuyến tính SVMlin vào kiến trúc backend nhằm tối ưu hóa việc giải các bài toán quy hoạch toàn phương cục bộ, hướng tới mục tiêu nâng thông lượng xử lý đạt mức 5.000 tài liệu mỗi giây trong vòng 6 tháng tới.
3. Triển khai mô hình lan truyền nhãn đồ thị trong phân loại cấu trúc website: Đội ngũ Phát triển Công cụ Tìm kiếm cần ứng dụng thuật toán Graph-based kết hợp phân tích đồ thị liên kết web (web graph) nhằm tự động gán nhãn danh mục cho hơn 1.000.000 trang web nội bộ, nâng tỷ lệ chính xác của hệ thống lập chỉ mục lên mức trên 92% vào Quý III năm 2026.
4. Xây dựng cơ chế kiểm soát ngưỡng tin cậy trong thuật toán tự huấn luyện: Các chuyên viên Machine Learning cần thiết lập ngưỡng xác suất tin cậy tối thiểu 95% trước khi đưa các mẫu dữ liệu tự gán nhãn vào tập huấn luyện tiếp theo, nhằm loại bỏ nguy cơ lan truyền sai số tích lũy (error propagation), hạn chế tỷ lệ gán nhãn sai xuống dưới mức 3% trong vòng 3 tháng tới.

Đối tượng nên tham khảo luận văn

Nội dung và kết quả nghiên cứu của luận văn mang lại giá trị thực tiễn cao cho nhiều nhóm đối tượng chuyên môn:

1. Học viên cao học và nghiên cứu sinh ngành Công nghệ Thông tin, Khoa học Máy tính: Nắm bắt hệ thống lý thuyết toàn diện, các chứng minh toán học chặt chẽ về bài toán tối ưu lề cực đại và thuật toán đồ thị, làm nền tảng phát triển các đề tài nghiên cứu chuyên sâu về học máy bán giám sát và học sâu (Deep Semi-Supervised Learning).
2. Kỹ sư Dữ liệu và Chuyên viên Machine Learning (Data Scientists): Vận dụng trực tiếp các giải thuật S3VM và quy trình tiền xử lý dữ liệu vào việc xây dựng hệ thống phân loại văn bản tự động, lọc thư rác, phát hiện gian lận tài chính trong điều kiện thiếu hụt dữ liệu gán nhãn.
3. Doanh nghiệp phát triển giải pháp Big Data và Công cụ Tìm kiếm: Tận dụng các giải pháp kiến trúc phân lớp trang web dựa trên siêu liên kết để tối ưu hóa công cụ thu thập thông tin tự động (Web Crawler) và nâng cao hiệu quả phân loại tài liệu với chi phí vận hành thấp nhất.
4. Giảng viên và cán bộ nghiên cứu tại các trường đại học: Sử dụng công trình như một tài liệu tham khảo học thuật giá trị phục vụ công tác giảng dạy các học phần Khai phá Dữ liệu (Data Mining), Xử lý Ngôn ngữ Tự nhiên (NLP) và Trí tuệ Nhân tạo nâng cao.

Câu hỏi thường gặp

1. Học nửa giám sát mang lại lợi thế cốt lõi nào so với học có giám sát và không giám sát? Học nửa giám sát kết hợp hài hòa ưu điểm của cả hai phương pháp: tận dụng nguồn dữ liệu chưa gán nhãn dồi dào, chi phí thấp (chiếm khoảng 90% tập mẫu) cùng với lượng nhỏ dữ liệu đã gán nhãn (khoảng 10%) để xây dựng mô hình phân lớp có độ chính xác tiệm cận học có giám sát mà không tốn kém chi phí gán nhãn thủ công.

2. Tại sao thuật toán S3VM lại vượt trội hơn hẳn Naive Bayes và k-NN trong phân lớp văn bản? Phân lớp văn bản thường có số chiều đặc trưng rất lớn (hơn 10.000 chiều). S3VM dựa trên nguyên lý cực đại hóa lề và tìm kiếm siêu phẳng tối ưu mà không phụ thuộc vào giả định độc lập thuộc tính như Naive Bayes hay khoảng cách cục bộ dễ bị nhiễu như k-NN, từ đó tránh được hiện tượng bùng nổ tổ hợp và đạt độ chính xác cao hơn từ 15% đến 20%.

3. Thuật toán lan truyền nhãn trên đồ thị đảm bảo tính hội tụ bằng cách nào? Thuật toán chia ma trận chuyển đổi xác suất $P$ thành các khối ma trận con tương ứng với tập dữ liệu có nhãn và chưa có nhãn. Khi đồ thị liên thông và chứa ít nhất một điểm có nhãn, ma trận $(I - P_{UU})$ luôn khả nghịch, cho phép tính toán trực tiếp nghiệm cố định $f_U = (I - P_{UU})^{-1} P_{UL} Y_L$ mà không cần lặp vô hạn.

4. Nhược điểm lớn nhất của thuật toán tự huấn luyện (Self-training) là gì và cách khắc phục? Nhược điểm chính là hiện tượng tích lũy sai số: nếu một mẫu chưa gán nhãn bị dự đoán sai nhưng vẫn được đưa vào tập huấn luyện mới, sai số sẽ lan truyền sang các vòng lặp sau. Cách khắc phục hiệu quả là thiết lập ngưỡng tin cậy xác suất cao (ví dụ trên 95%) hoặc kết hợp cơ chế kiểm chứng chéo giữa nhiều bộ phân lớp.

5. Cấu trúc siêu liên kết (hyperlink) hỗ trợ phân lớp trang web như thế nào trong S3VM? Siêu liên kết cung cấp thông tin ngữ cảnh và mối quan hệ ngữ nghĩa giữa các văn bản web. Việc tích hợp đặc trưng liên kết cùng với văn bản thuần túy giúp ma trận đặc trưng phản ánh chính xác cấu trúc đồ thị dữ liệu, giúp S3VM xác định siêu phẳng phân cách chuẩn xác hơn và tăng điểm F1-score thêm khoảng 12%.

Kết luận

• Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết của các phương pháp học nửa giám sát tiêu biểu, phân tích chuyên sâu mô hình toán học của thuật toán EM, Self-training, Graph-based và S3VM.
• Chứng minh tính ưu việt của S3VM trong bài toán phân loại văn bản với không gian đặc trưng lớn vượt trên 10.000 chiều, đem lại hiệu năng vượt trội so với các thuật toán phân lớp truyền thống.
• Đánh giá thực nghiệm thành công mô hình phân lớp trang web dựa trên sự kết hợp giữa nội dung văn bản và cấu trúc siêu liên kết, nâng cao độ chính xác tổng thể thêm 18,5%.
• Đóng góp quy trình công nghệ và phương pháp luận rõ ràng, cung cấp giải pháp xử lý hiệu quả điểm nghẽn thiếu hụt dữ liệu gán nhãn trong các bài toán khai phá dữ liệu quy mô lớn.
• Lộ trình phát triển tiếp theo trong 12 đến 24 tháng tới là mở rộng tích hợp các kỹ thuật học sâu nửa giám sát (Semi-Supervised Deep Learning) trên nền tảng mạng Transformer để xử lý ngữ liệu đa phương tiện phức tạp.

Quý độc giả, các nhà nghiên cứu và kỹ sư công nghệ quan tâm có thể khai thác các mô hình giải thuật trong luận văn để ứng dụng vào các bài toán phân loại tự động và tối ưu hóa hệ thống trí tuệ nhân tạo trong thực tế.

Trích đoạn nội dung tài liệu

CHƯƠNG 1.PHƯƠNG PHÁP HỌC MÁY 1. Khái niệm học máy Bản chất của việc học tập là việc thu thập thông tin xử lý theo một logic, phương pháp nào đó để biến thành tri thức, kinh nghiệm. Ở con người khả năng học tập làm tăng khả năng xử lý công viêc, nâng cao nhiều khả năng của bản thân, ứng phó với điều kiện hoàn cảnh luôn luôn vận động để tồn tại, phát triển. Về mặt sinh học thì khả năng học của loài người là khả năng tiến hóa bậc cao giúp con người sinh tồn trong thế giới chọn lọc tự nhiên.Học tập được xem là một quá trình, chứ không phải tập hợp các kiến thức thực tế và hủ tục giáo điều.

Nhưng như thế không phải là mục đích tự thân của hoạt động học mà chính là phương tiện để đạt được mục đích làm thay đổi chính chủ thể của hoạt động. Hoạt động học là hoạt động tiếp thu những tri thức lý luận, khoa học. Nghĩa là việc học không chỉ dừng lại ở việc nắm bắt những khái niệm đời thường mà học phải tiến đến những tri thức khoa học, những tri thức có tính chọn lựa cao, đã được khái quát hoá, hệ thống hoá. Hoạt động học tập không chỉ hướng vào việc tiếp thu những tri thức, kĩ năng, kĩ xảo mà còn hướng vào việc tiếp thu cả những tri thức của chính bản thân hoạt động học.

Hoạt động học muốn đạt kết quả cao, người học phải biết cách học, phương pháp học, nghĩa là phải có những tri thức về chính bản thân hoạt động học. Vậy làm thế nào để máy tính có khả năng học tập, tư duy và có khả năng học tập giống con người, có khả năng sáng tạo có thể thích ứng được với khái quát mọi hoàn cảnh (dữ liệu) khác nhau mà không phải lập trình lại là một lĩnh vực nghiên cứu rất được chú ý trong thời đại hiện nay. Học máy (machine learning) là một ngành khoa học nghiên cứu các kĩ thuật, các phương pháp cho phép các máy tính có khả năng "học" giống như con người. Hay nói một cách khác cụ thể hơn, học máy là một phương pháp để tạo ra các chương trình máy tính bằng việc phân tích các tập dữ liệu, qua đó máy tính có khả 10 năng tích lũy được tri thức thông qua việc học được các khái niệm để có thể ra quyết định trong các trường hợp tương tự [11].

Qua đó ta thấy Học máy có liên quan rất mật thiết với thống kê, vì cả hai lĩnh vực đều nghiên cứu việc phân tích dữ liệu, nhưng học máy khác với thống kê ở chỗ, học máy tập trung vào sự phức tạp của các giải thuật trong việc thực thi tính toán. Nhiều bài toán suy luận được xếp vào loại bài toán NP-khó, vì thế một phần của học máy là nghiên cứu sự phát triển các giải thuật suy luận xấp xỉ mà có thể xử lí được.[22] Học máy được ứng dụng vào nhiều lĩnh vực như: Máy truy vấn dữ liệu, chẩn đoán y khoa, phát hiện thẻ tín dụng giả, phân tích thị trường chứng khoán, phân loại các chuỗi DNA, nhận dạng tiếng nói và chữ viết, dịch tự động, chơi trò chơi và hoạt động rô-bốt,. Mô hình toán học Cho một tập dữ liệu vũ trụ X + Một tập mẫu T, cho T là tập hợp con của X + Một số hàm mục tiêu f : X → {đúng, sai} + Một tập huấn luyện D được gán D={(x,y)| x∈T,y=f(x)} + Tính toán một hàm f’: X → {đúng, sai} bằng cách sử dụng D như là: f’(x) ≅ f(x)cho tất cả các x thuộc X. Một số khái niệm cơ bản trong học máy 1.

Không gian biểu diễn của dữ liệu Không gian biểu diễn là một tập hợp: Ký hiệu là X, mỗi phần tử thuộc X có thể được gọi là các dữ liệu, các thể hiện, các đối tượng hay các ví dụ. Mỗi phần tử S∈X được b iểu diễn bởi một tập gồm n thuộc tính S=(s1, s2, …,sn). 11 Một đối tượng S cũng có thể được biểu diễn kết hợp với lớp liên thuộc của nó hay nói cách khác có thể được biểu diễn dưới dạng nhãn: z = (s, c). Bản chất của các dữ liệu Bản chất của các dữ liệu có thể là các giá trị số trong tập số thực, các giá trị rời rạc, các giá trị nhị phân, dãy các phần tử trong một bảng chữ cái (alphabet),.

Không gian biểu diễn của dữ liệu có thể biểu diễn dưới dạng thuần nhất (cùng kiểu) hoặc dưới dạng trộn (không cùng kiểu). Tiền xử lý dữ liệu Là quá trình xử lý dữ liệu đầu vào nhằm mục đích làm giảm số chiều của dữ liệu đầu vào, giảm số chiều của vấn đề, xử lý nhiễu,. Ta thực hiện như sau: Loại bỏ các thuộc tính không phù hợp hoặc ít phù hợp với quá trình học. Sử dụng các phép biến đổi tuyến tính hoặc không tuyến tính trên các thuộc tính ban đầu, nhằm giảm số chiều của không gian đầu vào.

Dùng các chuyên gia hoặc sử dụng trực quan để phát hiện các bất thường, các lỗi môtả thuộc tính hoặc nhãn, nhằm xử lý nhiễu. Quá trình rời rạc hóa dữ liệu Có những thuật toán học không xử lý được các dữ liệu mang tính liên tục. Do vậy cần phải biến đổi các dữ liệu mang tính liên tục thành các giá trị rời rạc. Có thể sử dụng các phương pháp sau: + Phương pháp phân đoạn.

+ Phương pháp đo lường entropy. + Nếu dữ liệu tuân theo một luật phân phối nào đó, ví dụ phân phối Gauss, phân phối đều,… thì ta có thể rời rạc thành các khoảng phân phối tương ứng. Tập mẫu Tập mẫu là tập hữu hạn các ví dụ. Có ba kiểu tập mẫu: + Tập mẫu học hay tập học.

+ Tập mẫu hợp thức hoá hay tập hợp thức. + Tập mẫu thử hay tập thử. Quá trình tìm kiếm trong không gian giả thuyết Trong một không gian giả thiết X thì học trở thành bài toán tìm kiếm giả thiết tốt nhất trong X. Nếu ta đánh giá mỗi giả thiết bởi một hàm "mục tiêu" thì ta xét học như một bài toán tối ưu hoá.

Nghĩa là bài toán tìm phần tử của X làm tối ưu hàm mục tiêu. Trong học máy người ta thường dùng tối ưu không ràng buộc hoặc tối ưu có ràng buộc. Các phương pháp tối ưu hoá thường dùng trong học máy như Gradient, nhân tử Lagrange,…[6] 1. Khái niệm Học có giám sát là một phương pháp học máy mà dữ liệu huấn luyện là dữ liệu được gắn nhãn hoàn toàn [9].

+ Dữ liệu được gán nhãn: Là dữ liệu bao gồm các cặp gồm đối tượng đầu vào và đầu ra mong muốn. Đầu ra của một hàm có thể là một giá trị liên tục gọi là hồi quy, hoặc có thể là dự đoán một nhãn phân loại cho một đối tượng đầu vào gọi là phân loại. Chương trình học có giám sát có nhiệm vụ là từ một đối tượng đầu vào hợp lệ bất kỳ thì chương trình phải dự đoán được giá trị của hàm, sau khi đã xem xét một sốcác cặp đầu vào và đầu ra tương ứng. 13 Chương trình học phải có khả năng tổng quát hóa từ các dữ liệu sẵn có để dự đoán được những tình huống chưa gặp phải một cách hợp lý.

Mô hình phổ biến nhất của học có giám sát là mô hình toàn cục (global model) là mô hình ánh xạ đối tượng đầu vào đến đối tượng đầu ra mong muốn.Tuy nhiên, trong một số trường hợp, việc ánh xạ được thực hiện dưới dạng một tập các mô hình cục bộ. Cách giải một bài toán học có giám sát Để giải một bài toán học có giám sát ta thực hiện theo các bước sau: Bước 1: Xác định loại của các ví dụ huấn luyện. Trước tiên ta cần phải quyết định xem loại dữ liệu nào sẽ được sử dụng làm ví dụ.1: Cho một công-ten-nơ chứa đầy hoa quả. Nhiệm vụ phải chia số quả này thành các nhóm đúng với loại quả đó.Phải biết trước số nhãn lớp cần phân loại, tức là phải biết trong công-ten-nơ đó có nhưng loại quả gì.

Giả sử trong công-ten-nơ đó có 5 loại quả là xoài, cam, táo, ổi, đào (đây chính là 5 loại nhãn lớp) nhiệm vụ xác định của bước này Ví dụ1.2: Ta có thể chọn dữ liệu một kí tự viết tay đơn lẻ, toàn bộ một từ viết tay, hay toàn bộ một dòng chữ viết tay,. Bước 2: Thu thập tập dữ liệu huấn luyện. Khi thu thập tập dữ liệu huấn luyện cần phải đảm bảo được sự đặc trưng cho thực tế sử dụng của hàm chức năng. Do đó tập các dữ liệu đầu vào và đầu ra tương ứng phải được thu thập từ các chuyên gia hoặc từ việc đo dạc tính toán.3: tiếp theo ví dụ trên phải có tập đặc trưng của mỗi loại quả, ví dụ các đặc trưng là: hình dáng, màu sắc, trọng lượng, độ cứng mềm, v.v… Tập đặc trưng này có được thông qua học một tập dữ liệu huấn luyện (chính là các công-ten- nơ của các chuyến hàng trước đó).

14 Bước 3: Xác định việc biễu diễn các đặc trưng đầu vào cho hàm mục tiêu cần tìm. Độ chính xác của mục tiêu phụ thuộc rất lớn vào các đối tượng đầu vào được biểu diễn như thế nào. Đa số các đối tượng đầu vào được chuyển đổi thành một véc tơ đặc trưng chứa các đặc trưng cơ bản của đối tượng đó. Chú ý số lượng các đặc trưng không được lớn quá, để tránh sự bùng nổ tổ hợp tuy nhiên nó phải đủ lớn để đảm bảo dự đoán chính xác đầu ra.

Tiếp ví dụ trên 1.3: Khi thực hiện phân loại các loại quả trong công-ten-nơ đang xét, dựa vào đặc trưng của các loại quả (điều kiện 2), quả sẽ được đưa vào 1 trong 5 nhóm đã biết (ví dụ trên). Bước 4: Xác định cấu trúc của hàm mục tiêu cần tìm và giải thuật học tương ứng. Ví dụ: Ta có thể ứngdụng mạng nơ-ron nhân tạo,cây quyết định,. Bước 5: Hoàn thiện thiết kế.

Tiến hành chạy giải thuật học với tập dữ liệu huấn luyện thu thập được. Ta có thể điều chỉnh các tham số của giải thuật học bằng cách tối ưu hóa hiệu năng trên một tập con của tập huấn luyện, hay thông qua kiểm chứng chéo. Sau đó ta tiến hành đo đạc hiệu năng của giải thuật trên một tập dữ liệu kiểm tra độc lập với tập huấn luyện. Cực tiểu hóa rủi ro kinh nghiệm Mô hình toàn cục của việc học có giám sát có mục tiêu nhằm tìm ra một hàm g, khi cho sẵn một tập hợp các điểm có dạng (x, g(x)).