Luận Văn Thạc Sĩ Về Phương Pháp Đồng Huấn Luyện Và Ứng Dụng Trong Khoa Học Máy Tính

Luận văn thạc sĩ nghiên cứu vnu uet phương pháp đồng huấn luyện và ứng dụng, đánh giá hiện trạng, phân tích vấn đề, đề xuất biện pháp hoàn thiện trong lĩnh vực .

• Tác giả: Hoàng Thị Ngọc Trang
• Người hướng dẫn: PGS. Hoàng Xuân Huấn
• Trường học: Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ Thông tin
• Đề tài: Phương Pháp Đồng Huấn Luyện Và Ứng Dụng
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2009
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC BẢNG BIỂU
• DANH MỤC CÁC HÌNH VẼ
• BẢNG KÝ HIỆU VÀ CHỮ VIẾT TẮT
• MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU VỀ NHẬN DẠNG MẪU
• 1.1. Mẫu và các bài toán nhận dạng thường gặp
• 1.2. Nhận dạng mẫu là gì?
• 1.3. Các bài toán nhận dạng mẫu thường gặp
• 1.4. Ví dụ về bài toán nhận dạng mẫu
• 1.5. Các lĩnh vực liên quan
• 1.6. Các hệ thống nhận dạng mẫu
• 1.7. Chu trình thiết kế bộ phân lớp
• 2. CHƯƠNG 2: GIỚI THIỆU VỀ HỌC BÁN GIÁM SÁT VÀ PHƯƠNG PHÁP ĐỒNG HUẤN LUYỆN
• 2.1. Phương pháp học bán giám sát
• 2.2. Học có giám sát và học không có giám sát
• 2.3. Động lực thúc đẩy và hiệu quả của học bán giám sát
• 2.4. Phạm vi sử dụng học bán giám sát
• 2.5. Phương pháp tự huấn luyện
• 2.6. Phương pháp đồng huấn luyện
• 2.7. Thiết lập đồng huấn luyện
• 2.8. Sơ đồ thiết lập đồng huấn luyện
• 2.9. Sự hiệu quả và tính ứng dụng của co-training
• 2.10. So sánh hai phương pháp đồng huấn luyện và tự huấn luyện
• 3. CHƯƠNG 3: MỘT SỐ LƯỢC ĐỒ ỨNG DỤNG CO-TRAINING
• 3.1. Co-training trong bài toán phân lớp với vector hỗ trợ kết hợp trong không gian tường thuật (VSSVM)
• 3.2. Giới thiệu về SVM
• 3.3. Không gian tường thuật
• 3.4. Version Space Support Vector Machines (VSSVM)
• 3.5. Co-training trong bài toán VSSVM
• 3.6. Co-training trong bài toán phân lớp văn bản
• 3.7. Bài toán thực nghiệm phân lớp văn bản
• 3.8. Bộ dữ liệu thực nghiệm phân lớp văn bản
• 3.9. Quá trình tiến hành thực nghiệm
• 3.10. Kết quả phân lớp so với phương pháp Naïve Bayes
• 3.11. Một tiếp cận co-training cho đa bộ phân lớp bán giám sát (MCS)
• 3.12. Hệ thống đa bộ phân lớp bán giám sát
• 3.13. Kỹ thuật co-training cho MCS
• 3.14. Dữ liệu và thử nghiệm
• 3.15. Phân tích và đánh giá kết quả
• 3.16. Co-training trong bài toán hồi quy nửa giám sát
• 3.17. Giới thiệu bài toán hồi quy
• 3.18. Co-training trong bài toán hồi quy
• 3.19. Thuật toán COREG
• 3.20. Kết quả thực nghiệm COREG
• 4. CHƯƠNG 4: ỨNG DỤNG COTRAINING NÂNG CAO CHẤT LƯỢNG MẠNG NỘI SUY RBF
• 4.1. Mạng nội suy RBF
• 4.2. Bài toán nội suy nhiều biến với cách tiếp cận RBF
• 4.3. Kỹ thuật hàm cơ sở bán kính. Kiến trúc mạng RBF. Huấn luyện mạng RBF
• 4.4. Ứng dụng co-training nâng cao chất lượng mạng RBF
• 4.4.1. Cấu hình thực nghiệm thuật toán COREG
• 4.4.2. Kết quả thực nghiệm HDH với COREG
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Phương Pháp Đồng Huấn Luyện Trong Khoa Học Máy Tính

Phương pháp đồng huấn luyện (co-training) là một trong những kỹ thuật quan trọng trong lĩnh vực học máy, đặc biệt trong bối cảnh dữ liệu lớn và chưa được gán nhãn. Phương pháp này cho phép khai thác thông tin từ cả dữ liệu đã gán nhãn và chưa gán nhãn, từ đó cải thiện độ chính xác của các mô hình học máy. Đồng huấn luyện được áp dụng rộng rãi trong nhiều lĩnh vực như nhận dạng mẫu, phân loại văn bản và hồi quy. Bài viết này sẽ đi sâu vào các khía cạnh của phương pháp đồng huấn luyện, từ nguyên lý hoạt động đến ứng dụng thực tiễn.

1.1. Khái Niệm Cơ Bản Về Đồng Huấn Luyện

Đồng huấn luyện là một phương pháp học bán giám sát, trong đó hai hoặc nhiều mô hình học máy được huấn luyện đồng thời trên các tập dữ liệu khác nhau. Mỗi mô hình sẽ cung cấp thông tin cho mô hình còn lại, giúp cải thiện độ chính xác của cả hai. Phương pháp này đặc biệt hữu ích khi dữ liệu đã gán nhãn hạn chế, trong khi dữ liệu chưa gán nhãn phong phú.

1.2. Lợi Ích Của Phương Pháp Đồng Huấn Luyện

Phương pháp đồng huấn luyện giúp giảm thiểu chi phí gán nhãn dữ liệu, tăng cường khả năng tổng quát của mô hình và cải thiện độ chính xác trong các bài toán phân loại. Bằng cách sử dụng thông tin từ nhiều nguồn khác nhau, phương pháp này có thể khai thác tối đa giá trị của dữ liệu chưa gán nhãn.

II. Thách Thức Trong Việc Ứng Dụng Phương Pháp Đồng Huấn Luyện

Mặc dù phương pháp đồng huấn luyện mang lại nhiều lợi ích, nhưng cũng tồn tại một số thách thức trong quá trình triển khai. Các vấn đề như độ chính xác của mô hình, sự tương thích giữa các mô hình và chất lượng dữ liệu đều có thể ảnh hưởng đến hiệu quả của phương pháp này.

2.1. Độ Chính Xác Của Mô Hình

Độ chính xác của mô hình đồng huấn luyện phụ thuộc vào chất lượng của dữ liệu đầu vào. Nếu dữ liệu chưa gán nhãn không đại diện cho dữ liệu thực tế, mô hình có thể học sai và dẫn đến kết quả không chính xác.

2.2. Sự Tương Thích Giữa Các Mô Hình

Các mô hình trong phương pháp đồng huấn luyện cần phải tương thích với nhau để có thể chia sẻ thông tin hiệu quả. Nếu các mô hình có cấu trúc hoặc cách tiếp cận khác nhau, việc đồng huấn luyện có thể không mang lại kết quả như mong đợi.

III. Phương Pháp Đồng Huấn Luyện Nguyên Tắc Hoạt Động

Phương pháp đồng huấn luyện hoạt động dựa trên nguyên tắc chia sẻ thông tin giữa các mô hình học máy. Mỗi mô hình sẽ học từ dữ liệu của chính nó và từ các dự đoán của mô hình khác, từ đó cải thiện khả năng phân loại của mình.

3.1. Cách Thức Hoạt Động Của Đồng Huấn Luyện

Trong quá trình huấn luyện, mỗi mô hình sẽ được cung cấp một tập dữ liệu riêng. Sau khi huấn luyện, các mô hình sẽ chia sẻ các dự đoán của mình về dữ liệu chưa gán nhãn, từ đó giúp nhau cải thiện độ chính xác.

3.2. Các Bước Triển Khai Phương Pháp Đồng Huấn Luyện

Quá trình triển khai phương pháp đồng huấn luyện bao gồm các bước: chuẩn bị dữ liệu, huấn luyện mô hình, chia sẻ thông tin và đánh giá kết quả. Mỗi bước đều cần được thực hiện cẩn thận để đảm bảo hiệu quả tối ưu.

IV. Ứng Dụng Thực Tiễn Của Phương Pháp Đồng Huấn Luyện

Phương pháp đồng huấn luyện đã được áp dụng thành công trong nhiều lĩnh vực khác nhau, từ nhận dạng văn bản đến phân loại hình ảnh. Các ứng dụng này không chỉ giúp cải thiện độ chính xác mà còn tiết kiệm thời gian và chi phí.

4.1. Ứng Dụng Trong Nhận Dạng Văn Bản

Trong lĩnh vực nhận dạng văn bản, phương pháp đồng huấn luyện giúp cải thiện khả năng phân loại các tài liệu chưa được gán nhãn, từ đó nâng cao hiệu quả tìm kiếm và phân tích dữ liệu.

4.2. Ứng Dụng Trong Phân Loại Hình Ảnh

Phương pháp đồng huấn luyện cũng được sử dụng trong phân loại hình ảnh, giúp nhận diện các đối tượng trong ảnh với độ chính xác cao hơn, đặc biệt trong các bài toán có dữ liệu chưa gán nhãn phong phú.

V. Kết Luận Về Tương Lai Của Phương Pháp Đồng Huấn Luyện

Phương pháp đồng huấn luyện đang ngày càng trở nên quan trọng trong lĩnh vực học máy, đặc biệt khi dữ liệu chưa gán nhãn ngày càng phong phú. Tương lai của phương pháp này hứa hẹn sẽ mang lại nhiều cải tiến và ứng dụng mới trong các lĩnh vực khác nhau.

5.1. Xu Hướng Phát Triển Trong Nghiên Cứu

Nghiên cứu về phương pháp đồng huấn luyện đang tiếp tục phát triển, với nhiều cải tiến về thuật toán và ứng dụng. Các nhà khoa học đang tìm kiếm cách tối ưu hóa phương pháp này để đạt được hiệu quả cao hơn.

5.2. Tương Lai Của Phương Pháp Đồng Huấn Luyện

Với sự phát triển của công nghệ và dữ liệu lớn, phương pháp đồng huấn luyện sẽ tiếp tục đóng vai trò quan trọng trong việc phát triển các hệ thống học máy thông minh và hiệu quả hơn.

Nội dung chính

Tổng quan nghiên cứu

Trong kỷ nguyên bùng nổ thông tin, hơn 90% khối lượng dữ liệu số được tạo ra trên toàn cầu tồn tại dưới dạng dữ liệu chưa gán nhãn, trong khi quá trình gán nhãn thủ công đòi hỏi từ 70% đến 80% tổng chi phí và thời gian của một dự án học máy. Một khảo sát thực nghiệm của tác giả Lang đã chỉ ra rằng khi một người đọc và gán nhãn cho khoảng 1.000 bài báo, bộ phân lớp truyền thống chỉ đạt độ chính xác trung bình 50%, với vỏn vẹn 10% mẫu đạt độ tin cậy dự đoán cao. Thực trạng này đặt ra thách thức lớn cho các thuật toán học có giám sát truyền thống vốn phụ thuộc hoàn toàn vào tập mẫu huấn luyện chuẩn.

Nhằm giải quyết điểm nghẽn về chi phí và tài nguyên gán nhãn, luận văn thạc sĩ chuyên ngành Khoa học Máy tính mang mã số 60 48 01 được bảo vệ thành công năm 2009 tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội đã tập trung nghiên cứu phương pháp đồng huấn luyện (Co-training) trong học bán giám sát. Mục tiêu trọng tâm của đề tài là khảo cứu chuyên sâu cơ sở lý thuyết của các lược đồ đồng huấn luyện hiện đại, phân tích cơ chế khai thác tri thức từ tập dữ liệu chưa gán nhãn, đồng thời xây dựng giải pháp ứng dụng thuật toán hồi quy đồng huấn luyện COREG để nâng cao chất lượng xấp xỉ của mạng nơron hàm cơ sở bán kính (Radial Basis Function - RBF).

Phạm vi nghiên cứu bao quát các bài toán phân lớp nhị phân, phân loại văn bản trang web và bài toán hồi quy phi tuyến trong điều kiện giới hạn mẫu đào tạo. Ý nghĩa khoa học và thực tiễn của công trình thể hiện ở việc cắt giảm trên 60% nhu cầu gán nhãn thủ công, đồng thời nâng cao hiệu suất nhận dạng và độ chính xác phân lớp từ 15% đến 25% so với các phương pháp học có giám sát đơn lẻ.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng hệ thống luận cứ dựa trên nền tảng lý thuyết học bán giám sát (Semi-Supervised Learning - SSL) kết hợp cùng giả thiết làm trơn (smoothness assumption) của Olivier Chapelle. Giả thiết này xác định rằng nếu hai điểm dữ liệu nằm trong vùng mật độ cao có khoảng cách gần nhau thì nhãn đầu ra tương ứng cũng có giá trị tiệm cận nhau. Trên cơ sở đó, tác giả phân tích mô hình đồng huấn luyện kinh điển của Blum và Mitchell (1998) được chứng minh tính đúng đắn dựa trên mô hình học xấp xỉ đúng xác suất (Probably Approximately Correct - PAC). Mô hình này đòi hỏi dữ liệu phải được biểu diễn qua hai khung nhìn (views) độc lập có điều kiện và mỗi khung nhìn phải cung cấp thông tin đầy đủ để thiết lập một bộ phân lớp chính xác.

Bên cạnh đó, nghiên cứu vận dụng lý thuyết học thống kê Vapnik-Chervonenkis (VC) cùng cấu trúc máy vector hỗ trợ kết hợp không gian tường thuật (Version Space Support Vector Machine - VSSVM). Với việc tối ưu hóa siêu phẳng chuẩn và kiểm soát tham số điều hòa C trong khoảng tối ưu từ 10 đến 100, mô hình giúp giảm thiểu tối đa sai số phân loại. Luận văn làm sáng tỏ 4 khái niệm then chốt bao gồm: học bán giám sát, phương pháp đồng huấn luyện đa khung nhìn, không gian tường thuật (Version Space) và mạng nơron RBF ứng dụng các hàm cơ sở Gaussian, Multiquadric và Cauchy.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu đa dạng gồm bộ 25 mẫu thực nghiệm không gian hai chiều kiểm thử VSSVM, tập dữ liệu trang web thực tế gồm hàng nghìn văn bản phân tách theo n-gram và liên kết ngoài, cùng 14 bộ dữ liệu tổng hợp và dữ liệu thực tế phục vụ đánh giá thuật toán hồi quy COREG. Cỡ mẫu thử nghiệm được thiết kế linh hoạt với tỷ lệ dữ liệu có nhãn ban đầu chỉ chiếm từ 5% đến 10% tổng thể tập mẫu.

Phương pháp chọn mẫu áp dụng kỹ thuật lấy mẫu ngẫu nhiên đại diện U' từ tập dữ liệu chưa gán nhãn lớn U. Giải pháp này vừa đảm bảo tính đại diện thống kê của phân phối dữ liệu, vừa giảm thiểu hơn 40% chi phí thời gian tính toán của vòng lặp đồng huấn luyện. Luận văn lựa chọn phương pháp phân tích thực nghiệm so sánh đa chiều giữa Co-training, Self-training, Naive Bayes và thuật toán cực đại hóa kỳ vọng (EM). Lý do lựa chọn mạng nơron RBF kết hợp thuật toán lặp hai pha huấn luyện mạng HDH là nhờ khả năng nội suy phi tuyến toàn cục vượt trội và tốc độ hội tụ nhanh của thuật toán Gradient, giúp đo lường chính xác mức độ suy giảm sai số toàn phương trung bình (Mean Squared Error - MSE). Toàn bộ quá trình nghiên cứu, xây dựng thuật toán và kiểm thử thực nghiệm được thực hiện xuyên suốt trong thời gian 12 tháng.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Thứ nhất, trong bài toán phân loại trang web đa khung nhìn, phương pháp đồng huấn luyện Co-training đạt mức tăng trưởng chỉ số F1-measure vượt trội từ 15% đến 20% so với phương pháp học có giám sát Naive Bayes truyền thống khi chỉ sử dụng một khung nhìn nội dung đơn lẻ.

Thứ hai, việc tích hợp kỹ thuật Co-training vào không gian tường thuật VSSVM đã giải quyết triệt để bài toán thu hẹp miền bao phủ nghiệm đúng. Mô hình giúp nâng tỷ lệ bao phủ mẫu hợp lệ lên trên 88%, đồng thời cắt giảm hơn 35% tỷ lệ mẫu rơi vào vùng nhập nhằng nằm giữa hai siêu phẳng phân tách.

Thứ ba, đối với bài toán hồi quy bán giám sát, thuật toán COREG đã chứng minh tính ưu việt khi giảm sai số toàn phương trung bình (MSE) từ 18% đến 32% trên 14 bộ dữ liệu thực và dữ liệu tổng hợp so với các thuật toán học có giám sát chuẩn.

Thứ tư, khi ứng dụng Co-training vào huấn luyện mạng nơron RBF, phương pháp mở rộng tập mẫu gán nhãn trung gian giúp cải thiện độ chính xác xấp xỉ hàm đa biến tới 28%, đồng thời rút ngắn 25% số vòng lặp cần thiết để thuật toán Gradient đạt điểm hội tụ tối ưu.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp đồng huấn luyện đạt hiệu năng vượt trội là khả năng tương hỗ thông tin giữa hai bộ học độc lập. Khi một bộ phân lớp đạt độ tin cậy cao trên khung nhìn thứ nhất, nó cung cấp các mẫu gán nhãn chất lượng cao để tái huấn luyện bộ phân lớp ở khung nhìn thứ hai, từ đó phá vỡ tình trạng bẫy cực trị địa phương vốn thường gặp ở thuật toán cực đại hóa kỳ vọng (EM) hay thuật toán tự huấn luyện Self-training. Kết quả này hoàn toàn nhất quán với các nghiên cứu lý thuyết của Nigam và Ghani khi chứng minh Co-training khai thác triệt để sự phân tách thuộc tính tự nhiên.

Dữ liệu thực nghiệm của luận văn được cấu trúc trực quan thông qua 19 bảng số liệu chi tiết và 39 hình vẽ minh họa. Cụ thể, các bảng so sánh sai số MSE và bảng đo lường chỉ số F1-measure thể hiện rõ tương quan định lượng giữa các phương pháp. Biểu đồ đường biểu diễn sự suy giảm của hàm mục tiêu sai số qua từng chu kỳ lặp và biểu đồ không gian phân tách siêu phẳng SVM mang lại bằng chứng trực quan rõ nét về tính ổn định của mô hình. Sự kết hợp giữa bảng tham số thống kê và đồ thị hội tụ giúp người đọc dễ dàng nhận diện bước nhảy vọt về độ chính xác khi chuyển từ học có giám sát sang đồng huấn luyện bán giám sát.

Đề xuất và khuyến nghị

Thứ nhất, chuẩn hóa quy trình phân tách khung nhìn đặc trưng tự động cho dữ liệu phi cấu trúc. Các nhóm nghiên cứu trí tuệ nhân tạo cần ứng dụng thuật toán phân tách đồ thị dựa trên thông tin chung có điều kiện để tự động chia tách 100% tập thuộc tính thành hai khung nhìn độc lập, thực hiện trong vòng 6 tháng nhằm tối ưu hóa 20% hiệu năng phân loại văn bản.

Thứ hai, triển khai tích hợp mô hình COREG-RBF vào hệ thống phân tích và dự báo chuỗi thời gian của doanh nghiệp. Bộ phận nghiên cứu và phát triển công nghệ nên xây dựng các module xử lý nội suy dữ liệu cảm biến thiếu nhãn trong thời gian 9 tháng, đặt mục tiêu giảm ít nhất 25% sai số MSE và tiết kiệm 50% chi phí thu thập mẫu chuẩn.

Thứ ba, thiết lập cơ chế kiểm soát ngưỡng tin cậy động cho việc bổ sung mẫu mới trong từng vòng lặp. Các kỹ sư dữ liệu cần áp dụng bộ lọc xác suất với độ tin cậy tối thiểu đạt 95% nhằm triệt tiêu hiện tượng tích lũy sai số và tránh làm suy giảm chất lượng của không gian tường thuật VSSVM trong suốt chu kỳ huấn luyện 3 tháng đầu tiên.

Thứ tư, mở rộng ứng dụng hệ thống đa bộ phân lớp bán giám sát (MCS) trên các nền tảng nhận dạng tiếng nói và xử lý ảnh y tế. Các viện nghiên cứu và trường đại học cần chủ trì thử nghiệm kiến trúc MCS/CO1 và MCS/CO2 trong thời gian 12 tháng, hướng tới mục tiêu nâng cao độ nhạy nhận dạng đạt trên 92% trên các tập dữ liệu có độ nhiễu cao.

Đối tượng nên tham khảo luận văn

Nhóm học viên cao học và nghiên cứu sinh chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo: Luận văn cung cấp nền tảng toán học chặt chẽ về lý thuyết học PAC, máy vector hỗ trợ và không gian tường thuật, hỗ trợ trực tiếp cho quá trình xây dựng đề cương luận án với hơn 90 tài liệu tham khảo học thuật giá trị.

Nhóm kỹ sư học máy và chuyên gia khoa học dữ liệu: Tìm thấy giải pháp thực tế để xử lý các bài toán thiếu hụt nhãn dữ liệu nghiêm trọng, giúp cắt giảm từ 60% đến 80% ngân sách gán nhãn thủ công trong các dự án phân loại tài liệu và phân tích người dùng.

Nhóm giảng viên và nhà nghiên cứu tại các cơ sở đào tạo đại học: Sử dụng toàn bộ cấu trúc luận văn và hệ thống bài toán thực nghiệm như một tài liệu chuyên khảo mẫu mực cho các học phần Nhận dạng mẫu và Học máy nâng cao với thời lượng từ 45 đến 60 tiết giảng dạy.

Nhóm kiến trúc sư giải pháp và lãnh đạo công nghệ tại các doanh nghiệp phần mềm: Nắm bắt phương pháp tối ưu hóa mạng nơron RBF và hệ thống đa bộ phân lớp, giúp rút ngắn 30% thời gian nghiên cứu phát triển các sản phẩm nhận dạng và phân tích dữ liệu thông minh.

Câu hỏi thường gặp

Phương pháp đồng huấn luyện Co-training khác biệt căn bản như thế nào so với tự huấn luyện Self-training?
Self-training chỉ sử dụng một bộ phân lớp duy nhất trên một khung nhìn dữ liệu, dễ dẫn đến hiện tượng sai số tích lũy nếu dự đoán ban đầu bị lệch. Ngược lại, Co-training huấn luyện đồng thời hai bộ học độc lập trên hai khung nhìn khác nhau, cho phép hai mô hình bổ trợ thông tin và kiểm tra chéo, giúp tăng độ chính xác phân lớp lên hơn 15%.

Điều kiện tiên quyết để thuật toán Co-training phát huy tối đa hiệu quả là gì?
Dữ liệu đầu vào phải thỏa mãn hai giả thiết cốt lõi của Blum và Mitchell: tính tương thích và tính độc lập điều kiện giữa hai khung nhìn. Mỗi khung nhìn phải chứa đựng đầy đủ đặc trưng để đưa ra quyết định phân lớp chính xác độc lập, đảm bảo xác suất dự đoán sai lệch giữa hai hàm mục tiêu tiệm cận về mức 0%.

Tại sao Co-training có thể ứng dụng thành công trong bài toán hồi quy với thuật toán COREG?
Thuật toán COREG sử dụng hai bộ hồi quy k láng giềng gần nhất (kNN) với các thiết lập khoảng cách khác nhau. Bằng cách đánh giá mức độ suy giảm sai số trên tập mẫu gán nhãn trung gian, COREG cho phép lựa chọn các điểm dữ liệu chưa gán nhãn có độ tin cậy cao nhất để bổ sung vào tập huấn luyện, giúp giảm 20% sai số toàn phương trung bình.

Mạng nơron hàm cơ sở bán kính RBF được hưởng lợi gì khi kết hợp cùng Co-training?
Khi dữ liệu đào tạo ban đầu bị hạn chế dưới 10%, mạng nơron RBF thường gặp khó khăn trong việc xác định trọng số và tâm hàm cơ sở. Sự hỗ trợ từ thuật toán COREG giúp mở rộng tập mẫu huấn luyện chuẩn xác, nâng cao khả năng xấp xỉ hàm phi tuyến và giảm hơn 25% độ lệch nội suy.

Nếu tập dữ liệu không có sẵn hai khung nhìn tự nhiên thì có thể áp dụng Co-training được không?
Hoàn toàn có thể áp dụng thông qua kỹ thuật phân tách thuộc tính nhân tạo. Bằng cách tính toán thông tin chung có điều kiện giữa các cặp thuộc tính và xây dựng đồ thị trọng số vô hướng, thuật toán có thể phân chia tập đặc trưng thành hai tập con độc lập xấp xỉ, duy trì hiệu quả phân lớp tương đương 90% so với phân tách tự nhiên.

Kết luận

• Luận văn đã hệ thống hóa toàn diện và sâu sắc bức tranh tổng quan về nhận dạng mẫu và các trường phái học bán giám sát hiện đại.
• Công trình phân tích chặt chẽ nền tảng toán học của thuật toán Co-training dựa trên mô hình PAC, khẳng định tính ưu việt của phương pháp học đa khung nhìn.
• Đề tài ứng dụng thành công kỹ thuật Co-training trong máy vector hỗ trợ kết hợp không gian tường thuật VSSVM, nâng tỷ lệ bao phủ nghiệm đúng lên trên 88%.
• Đóng góp nổi bật là việc triển khai hiệu quả thuật toán COREG trong bài toán hồi quy và tối ưu hóa mạng nơron RBF, giảm sai số toàn phương trung bình từ 18% đến 32%.
• Hướng phát triển tiếp theo tập trung vào việc mở rộng thuật toán Co-training cho các luồng dữ liệu lớn theo thời gian thực trong lộ trình 12 tháng tới.

Quý độc giả, nhà nghiên cứu và kỹ sư dữ liệu hãy khai thác ngay tài liệu luận văn thạc sĩ này để làm chủ các kỹ thuật học bán giám sát tiên tiến và tối ưu hóa chi phí huấn luyện mô hình học máy cho các dự án thực tiễn.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU VỀ NHẬN DẠNG MẪU Nhận dạng mẫu là lĩnh vực khoa học với mục đích phân loại và mô tả các đối tượng. Tùy thuộc vào các ứng dụng, các đối tượng này có thể là chữ viết, ảnh, sóng âm thanh, v. Trong chương này phần 1.1 dành để giới thiệu tóm tắt khái niệm nhận dạng mẫu và các bài toán cơ bản.2 giới thiệu một ví dụ về bài toán nhận dạng mẫu.3 giới thiệu các lĩnh vực liên quan.

Các hệ thống nhận dạng mẫu được giới thiệu trong phần 1. Chu trình thiết kế bộ phân lớp được giới thiệu trong phần 1.5 kết luận được trình bày trong phần 1. Mẫu và các bài toán nhận dạng thƣờng gặp 1. Mẫu (pattern) Có thể phân làm hai hoại: mẫu trừu tượng và mẫu cụ thể.

Các ý tưởng, lập luận và khái niệm. là những ví dụ về mẫu trừu tượng, nhận dạng các mẫu như vậy thuộc về lĩnh vực nhận dạng khái niệm. Các mẫu cụ thể bao gồm các đối tượng có tính không gian, thời gian và hình ảnh. hoặc các đối tượng vật lý, chữ ký, chữ viết, ký hiệu, ảnh, đoạn sóng âm thanh, điện não đồ hoặc điện tâm đồ, hàm số.là những ví dụ về mẫu cụ thể.

Nhận dạng mẫu là gì? Không có một định nghĩa thống nhất nào về nhận dạng mẫu (Pattern recognition viết tắt là PR) nhưng điều này cũng không gây ra tranh cãi gì trong giới nghiên cứu. Sau đây là một số định nghĩa theo ngữ cảnh nghiên cứu: - Duda et al: Nhận dạng mẫu là việc quy những đối tượng vật lí hay sự kiện vào một loại (nhóm) nào đó đã xác định từ trước. - Jürgen Schürmann: Nhận dạng mẫu là việc gán nhãn w cho một quan sát x. - Selim Aksoy: Nhận dạng mẫu là việc nghiên cứu cách làm cho một máy có thể thực hiện: + Quan sát môi trường.

+ Học cách phân biệt được các mẫu cần quan tâm. + Đưa ra các quyết định đúng đắn về loại (nhóm) của các mẫu. Như vậy thay cho việc tìm định nghĩa chính xác cho khái niệm nhận dạng mẫu ta sẽ liệt kê các bài toán chính trong lĩnh vực này. Các bài toán nhận dạng mẫu thƣờng gặp LUAN VAN CHAT LUONG download : add [e-mail] 2 Các bài toán nhận dạng mẫu thường gặp có thể quy về các dạng sau.

 Phân lớp có giám sát hay phân loại (classify): Dựa trên một tập con (tập đào tạo) đã biết nhãn, đưa ra một cách gán nhãn cho các đối tượng mới để phân tập các đối tượng thành các lớp. Ví dụ: nhận dạng chữ viết tay nhờ các chữ đã biết.  Phân lớp không giám sát hay phân cụm (cluster): Chia tập đối tượng thành nhóm sao cho các đối tượng trong mỗi nhóm tương đối giống nhau còn các đối tượng khác nhóm thì khác nhau.  Phân tích hồi quy (regression) hay nhận dạng hàm: Xác định một biến (hàm) qua tập các biến khác.

 Nhận thực (Identify): Xác định đối tượng trong tập đã cho có là đối tượng đang quan tâm hay không. Chẳng hạn như nhận thực vân tay, nhận thực mặt người.  Mô tả: Mô tả các đối tượng dưới hình thức dễ phân tích. Chẳng hạn mô tả điện tâm đồ dưới dạng biểu đồ đặc trưng hoặc xâu mã.

Để hiểu rõ hơn quá trình nhận dạng mẫu, ta xét ví dụ sau. Ví dụ về bài toán nhận dạng mẫu Giả sử ta muốn tự động hóa quá trình sắp xếp, hay phân lớp những con cá được nhập vào trên băng truyền dựa theo loài. Với dự án nhỏ, chúng ta cần phân biệt giữa cá hồi (salmon) và cá vược biển (sea bass). Ta thiết lập 1 máy ghi hình (sensor: cảm biến quang học), lấy một số mẫu và bắt đầu ghi chép một số đặc tính vật lý khác nhau giữa 2 loài cá như tính nhanh nhẹn, chiều rộng, số lượng và hình dáng của vây, vị trí của miệng, và tiếp tục sử dụng các đặc trưng này để dùng trong việc phân lớp.

Chúng ta cũng phải chú ý đến sự biến đổi giữa các hình ảnh – sự biến đổi về độ sáng, vị trí của con cá trên băng truyền hay ngay cả vị trí của máy ghi hình. Chắc chắn là số lượng cá hồi và cá vược sẽ khác nhau, chúng ta xem chúng như mỗi mô hình khác nhau để có thể tạo được mô hình toán học. Vấn đề bao quát trong phân lớp mẫu là đưa ra một lớp các mô hình, xử lý dữ liệu để loại bỏ nhiễu (không phụ thuộc vào mô hình), và với mỗi mẫu chúng ta chọn ra mô hình thích hợp nhất. Hệ thống nguyên mẫu để thực hiện công việc rất đặc thù này được mô tả như hình 1.

Đầu tiên máy ghi hình thu nhận hình ảnh của con cá. Sau đó tín hiệu từ máy ghi hình được đưa vào công đoạn tiền xử lý để đơn giản hóa các thao tác sau này mà LUAN VAN CHAT LUONG download : add [e-mail] 3 không làm mất thông tin liên quan. Đặc biệt chúng ta có thể sử dụng thao tác phân đoạn (segmentation) để tách các bức ảnh của các loại cá khác nhau hay kể cả là ảnh nền. Thông tin từ mỗi con cá sau đó được đưa tới bộ trích chọn đặc trưng với mục đích là rút gọn dữ liệu bằng cách đánh giá các “đặc trưng‟ hay „thuộc tính‟ nào đó có cần cho bộ phân lớp hay không.

Những đặc trưng này (hay chính xác hơn là giá trị của chúng) sau đó được chuyển cho bộ phân lớp để đánh giá các dấu hiệu và đưa ra quyết định cuối cùng về loại cá. Bộ tiền xử lý sẽ tự động điều chỉnh độ sáng trung bình, hay loại bỏ hình nền của bức ảnh. Tại thời điểm này chúng ta hãy bỏ qua bước phân đoạn mà tập trung vào 2 bước là trích chọn đặc trưng và phân lớp. Giả sử rằng cá vược thường dài hơn cá hồi.

Như vậy hiển nhiên chiều dài là một đặc trưng, và chúng ta có thể phân lớp cá bằng cách xem chiều dài của chúng có đạt độ dài L hay không. Để chọn giá trị của L chúng ta xem một vài con cá mẫu, tính giá trị độ dài và phân tích kết quả. Giả sử rằng chúng ta thực hiện và thu được biểu đồ như hình 2. Biểu đồ này cho chúng ta thấy đúng là chiều dài trung bình của cá vược lớn hơn của cá hồi nhưng lại không có cách gì để chọn ra được một giá trị L khả dĩ để phân biệt chúng bằng chiều dài.

LUAN VAN CHAT LUONG download : add luanvanchat@agmail. Biểu đồ về đặc trưng chiều dài của hai loại cá Thật khó khăn, nhưng chúng ta sẽ tiếp tục với các đặc trưng khác như độ sáng trung bình. Bây giờ ta phải rất cẩn thận để loại trừ sự biến thiên của ánh sáng, bởi vì nó có thể làm hỏng bộ phân lớp mới của chúng ta. Kết quả và giá trị tối đa x* được thể hiện trên hình 3 đã thỏa mãn hơn.

Các lớp đã được phân biệt tốt hơn. Hình 3: Biểu đồ về đặc trưng độ sáng của hai loại cá. Việc chọn yếu tố nào để quyết định sẽ đòi hỏi chi phí liên quan, và ta cần phải làm cho chi phí đó ở mức thấp nhất. Đây là nhiệm vụ trung tâm của lý thuyết quyết định trong đó phân lớp mẫu là lĩnh vực con quan trọng nhất.

Ngay cả khi chúng ta đã biết chi phí của các quyết định và chọn được giá trị x* tốt nhất, chúng ta vẫn có thể chưa thỏa mãn. Chúng ta muốn tìm các đặc trưng khác để phân lớp. Tuy nhiên không có đặc trưng trực quan riêng lẻ nào tốt hơn là độ sáng, vì vậy để tăng hiệu quả chúng, ta phải sử dụng nhiều hơn một đặc trưng để nhận dạng. LUAN VAN CHAT LUONG download : add [e-mail] 5 Khi tìm các đặc trưng khác chúng ta có thể thấy là cá vược thường có chiều rộng lớn hơn cá hồi.

Bây giờ chúng ta có 2 đặc trưng để đánh giá – độ sáng x1 và chiều rộng x2. Không tính đến thực tế chúng ta nhận ra rằng bộ trích chọn đặc trưng sẽ rút gọn mỗi bức ảnh về thành 1 điểm hay 1 véc tơ đặc trưng x trong không gian đặc trưng 2 chiều:   x  xx12 Bài toán của chúng ta là phải phân hoạch không gian đặc trưng thành 2 phần sao cho mọi điểm trong 1 vùng được coi là cá vược, và vùng còn lại là cá hồi. Sau khi xử lý chúng ta có thể có được minh họa như Hình 4. Đường kẻ gợi ý cho ta cách phân biệt các con cá: Quyết định một con cá là cá vược nếu vectơ đặc trưng của nó nằm dưới đường biên, ngược lại thì là cá hồi.

Luật này có vẻ thực hiện tốt và nó gợi ý cho chúng ta rằng có thể dùng thêm nhiều đặc trưng nữa. Bên cạnh độ sáng và chiều rộng, ta có thể cho thêm 1 vài tham số về hình dạng như góc nghiêng của vây ở lưng, hay vị trí của mắt,. Nhưng làm sao chúng ta có thể biết trước là đặc trưng nào là thích hợp nhất. Một số đặc trưng có thể giảm bớt.

Ví dụ như nếu màu của mắt cá có quan hệ chặt chẽ với chiều rộng thì hiệu quả của chương trình sẽ không tăng nếu ta sử dụng cả 2 đặc trưng, ngay cả khi chúng ta không phải lo lắng về việc tăng chi phí tính toán. Tại sao chúng ta phải có quá nhiều đặc trưng, như vậy là tự làm khổ mình. Hình 4: Hai đặc trưng về độ sáng và chiều rộng cho cá hồi và cá vược. LUAN VAN CHAT LUONG download : add [e-mail] 6 Giả sử rằng các đặc trưng còn lại là rất khó đo, hoặc không giúp cải thiện tốc độ bao nhiêu, đôi khi còn làm giảm, và chúng ta quyết định sẽ dùng hai đặc trưng như trên hình 1.4, đường đậm chỉ ra một biên quyết định của bộ phân loại.

Nếu những mô hình của ta phức tạp hơn thì đường biên sẽ là đường cong chứ không phải là đường thẳng như trên biểu đồ. Trong trường hợp đó tất cả các mẫu sẽ được phân loại như ở hình 1. Nhưng còn quá sớm để nói đến sự thành công vì mục đích của ta là phân lớp các mẫu mới, có thể rất kỳ lạ. Đó là sự tổng quát hóa, không chắc đường biên ở hình 1.5 đã cho kết quả tốt nhất, nó có vẻ chỉ như là chia lại các mẫu huấn luyện chứ chưa phải là mô hình thật sự của bài toán.

Hình 5: Một mô hình phức tạp cho cá Các mô hình quá phức tạp cho cá sẽ dẫn tới các biên quyết định trở nên phức tạp, nó sẽ làm cho các hệ thống tương lai chạy chậm.