Một Số Phương Pháp Học Máy Hiệu Quả Trong Môi Trường Dữ Liệu Liên Tục

Khám phá các phương pháp học máy hiệu quả trong môi trường luồng dữ liệu liên tục, giúp tối ưu hóa quy trình phân tích và ra quyết định.

Trường đại học

Đại học Bách Khoa Hà Nội

Chuyên ngành

Hệ thống thông tin

Người đăng

Ẩn danh

Thể loại

luận án tiến sĩ

2023

146
4
0

Phí lưu trữ

35 Point

Mục lục chi tiết

LỜI CAM ĐOAN

1. CHƯƠNG 1: KIẾN THỨC NỀN TẢNG

1.1. Mô hình Bayes

1.2. Mô hình Bayes tổng quát

1.3. Mô hình chủ đề ẩn (Latent Dirichlet Allocation (LDA))

1.4. Mô hình Naive Bayes

1.5. Tổng quan học mô hình Bayes trên luồng dữ liệu

1.6. Các phương pháp học mô hình Bayes trên luồng dữ liệu

1.7. Tập dữ liệu và độ đo. Các tập dữ liệu

1.8. Mạng đồ thị tích chập (Graph Convolutional Networks (GCN))

1.9. Kết luận chương 1

2. CHƯƠNG 2: KHAI THÁC TRI THỨC TIÊN NGHIỆM TRONG LUỒNG DỮ LIỆU

2.1. Biến đổi tri thức tiên nghiệm trong môi trường luồng dữ liệu. Đề xuất phương pháp

2.2. Một số tính chất của TPS

2.3. Khai thác tri thức tiên nghiệm dưới dạng vectơ từ

2.4. Khai thác tri thức tiên nghiệm dưới dạng đồ thị

2.5. Thử nghiệm TPS với Word2vec

2.6. Thử nghiệm về GCTM với đồ thị tri thức

2.7. Kết luận chương 2

3. CHƯƠNG 3: DROPOUT VỚI KHẢ NĂNG TỰ THÍCH NGHI CHO LUỒNG DỮ LIỆU

3.1. Dropout với khả năng tự thích nghi cho luồng dữ liệu

3.2. Dropout vô hạn cho dữ liệu luồng

3.3. Dropout vô hạn với với khả năng tự thích nghi aiDropout

3.4. Áp dụng aiDropout cho các mô hình Bayes

3.4.1. Áp dụng 1: LDA là mô hình cơ sở

3.4.2. Áp dụng 2: NB là mô hình cơ sở

3.5. Một số thảo luận về aiDropout

3.6. Thử nghiệm trên dữ liệu ngắn và nhiễu

3.7. Đối diện với sự thay đổi đột ngột của dòng dữ liệu

3.8. Kết luận chương 3

4. CHƯƠNG 4: CÂN BẰNG GIỮA TÍNH ỔN ĐỊNH VÀ MỀM DẺO

4.1. Cân bằng giữa tính ổn định và tính mềm dẻo

4.2. Mô hình cân bằng giữa tính ổn định và mềm dẻo (BSP). Quá trình huấn luyện của BSP

4.3. Một số tính chất của BSP

4.4. Thử nghiệm trên tập văn bản ngắn và nhiễu

4.5. Tính ổn định và mềm dẻo

4.6. Đánh giá ảnh hưởng của các tham số

4.7. Kết luận chương 4

KẾT LUẬN

DANH MỤC CÁC CÔNG TRÌNH ĐÃ CÔNG BỐ

TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Học Máy Liên Tục Khái Niệm Ứng Dụng

Trong bối cảnh dữ liệu ngày càng được tạo ra liên tục từ nhiều nguồn như mạng xã hội, thương mại điện tử, và các ứng dụng IoT, nhu cầu về các phương pháp học máy liên tục hiệu quả trở nên cấp thiết. Học máy liên tục cho phép các mô hình thích ứng với dữ liệu mới mà không cần phải huấn luyện lại từ đầu, tiết kiệm tài nguyên và thời gian. Các ứng dụng của học máy liên tục rất đa dạng, từ gợi ý sản phẩm cá nhân hóa đến phát hiện gian lận trong tài chính và dự đoán bảo trì trong công nghiệp. Việc phát triển các thuật toán học máy thích ứng có khả năng xử lý dữ liệu luồng là một lĩnh vực nghiên cứu quan trọng, nhằm khai thác tối đa giá trị từ dòng dữ liệu không ngừng này. Các phương pháp này cần phải cân bằng giữa việc học kiến thức mới và duy trì những gì đã học được từ dữ liệu cũ, một thách thức không nhỏ trong lĩnh vực học máy trực tuyến.

1.1. Định Nghĩa và Đặc Điểm của Học Máy Liên Tục

Học máy liên tục, còn gọi là học máy trực tuyến hoặc học máy thích ứng, là một phương pháp cho phép mô hình học từ dữ liệu đến liên tục theo thời gian. Khác với học máy truyền thống, học máy liên tục không yêu cầu tập dữ liệu cố định mà cập nhật mô hình dựa trên từng mẫu dữ liệu hoặc mini-batch. Điều này đòi hỏi các thuật toán phải có khả năng thích ứng nhanh chóng với những thay đổi trong phân phối dữ liệu và duy trì hiệu suất ổn định theo thời gian. Đặc điểm nổi bật của học máy liên tục là khả năng xử lý dữ liệu luồngdữ liệu thay đổi theo thời gian một cách hiệu quả.

1.2. Ứng Dụng Thực Tế Của Học Máy Liên Tục Trong Đời Sống

Học máy liên tục có nhiều ứng dụng thực tế quan trọng. Trong lĩnh vực thương mại điện tử, nó được sử dụng để cá nhân hóa gợi ý sản phẩm cho người dùng dựa trên lịch sử mua hàng và hành vi duyệt web. Trong tài chính, nó giúp phát hiện gian lận và dự đoán rủi ro tín dụng. Trong công nghiệp, nó được áp dụng để dự đoán bảo trì và tối ưu hóa quy trình sản xuất. Ngoài ra, học máy liên tục còn được sử dụng trong các hệ thống giám sát môi trường, phân tích mạng xã hội và nhiều lĩnh vực khác, nơi dữ liệu được tạo ra liên tục và cần được xử lý kịp thời.

1.3. So Sánh Học Máy Liên Tục Với Học Máy Truyền Thống

Điểm khác biệt chính giữa học máy liên tụchọc máy truyền thống nằm ở cách xử lý dữ liệu. Học máy truyền thống thường huấn luyện mô hình trên một tập dữ liệu cố định và không thay đổi, trong khi học máy liên tục cập nhật mô hình dựa trên dữ liệu mới đến liên tục. Học máy liên tục đòi hỏi các thuật toán phải có khả năng thích ứng với những thay đổi trong phân phối dữ liệu và duy trì hiệu suất ổn định theo thời gian. Ngoài ra, học máy liên tục thường phải đối mặt với các thách thức như quên thảm họa (catastrophic forgetting), khi mô hình quên kiến thức cũ khi học kiến thức mới.

II. Thách Thức Khi Áp Dụng Học Máy Liên Tục Vấn Đề Cần Giải

Mặc dù học máy liên tục mang lại nhiều lợi ích, việc triển khai nó trong thực tế gặp phải không ít thách thức. Một trong những vấn đề lớn nhất là quên thảm họa (catastrophic forgetting), khi mô hình quên kiến thức đã học được từ dữ liệu cũ khi tiếp xúc với dữ liệu mới. Ngoài ra, dữ liệu luồng thường có tính chất thưa và nhiễu, gây khó khăn cho việc học mô hình chính xác. Sự thay đổi đột ngột trong phân phối dữ liệu (concept drifts) cũng là một thách thức lớn, đòi hỏi mô hình phải có khả năng thích ứng nhanh chóng. Cuối cùng, việc đảm bảo tính ổn định và mềm dẻo của mô hình là một bài toán cân bằng khó khăn, đòi hỏi các nhà nghiên cứu phải phát triển các thuật toán mới và hiệu quả.

2.1. Vấn Đề Quên Thảm Họa Trong Học Máy Liên Tục

Quên thảm họa (catastrophic forgetting) là một trong những thách thức lớn nhất trong học máy liên tục. Khi mô hình học kiến thức mới, nó có thể vô tình ghi đè lên những gì đã học được từ dữ liệu cũ, dẫn đến giảm hiệu suất trên các tác vụ trước đó. Để giải quyết vấn đề này, các nhà nghiên cứu đã đề xuất nhiều phương pháp, bao gồm học chuyển giao, học đa nhiệm, và các kỹ thuật ổn định mô hình.

2.2. Xử Lý Dữ Liệu Thưa và Nhiễu Trong Môi Trường Dữ Liệu Luồng

Dữ liệu luồng thường có tính chất thưa và nhiễu, đặc biệt trong các ứng dụng như phân tích văn bản ngắn và hệ thống gợi ý. Dữ liệu thưa có thể không cung cấp đủ thông tin để học mô hình chính xác, trong khi dữ liệu nhiễu có thể làm sai lệch quá trình học. Để giải quyết vấn đề này, các phương pháp khai thác tri thức tiên nghiệmlàm sạch dữ liệu có thể được sử dụng.

2.3. Thích Ứng Với Sự Thay Đổi Đột Ngột Trong Dòng Dữ Liệu

Sự thay đổi đột ngột (concept drifts) trong dòng dữ liệu là một thách thức lớn đối với học máy liên tục. Khi phân phối dữ liệu thay đổi đột ngột, mô hình cần phải thích ứng nhanh chóng để duy trì hiệu suất. Các phương pháp phát hiện thay đổicập nhật mô hình thích ứng có thể được sử dụng để giải quyết vấn đề này.

III. Phương Pháp Học Máy Thích Ứng Giải Pháp Cho Dữ Liệu Động

Để giải quyết các thách thức trong học máy liên tục, nhiều phương pháp đã được phát triển. Các phương pháp này tập trung vào việc duy trì tính ổn định mô hìnhkhả năng thích ứng với dữ liệu mới. Một số phương pháp phổ biến bao gồm sử dụng tri thức tiên nghiệm, dropout thích ứng, và cân bằng giữa ổn định và mềm dẻo. Các phương pháp này giúp mô hình học kiến thức mới mà không quên kiến thức cũ, đồng thời thích ứng nhanh chóng với những thay đổi trong dòng dữ liệu.

3.1. Khai Thác Tri Thức Tiên Nghiệm Trong Luồng Dữ Liệu

Tri thức tiên nghiệm có thể được sử dụng để cải thiện hiệu suất của học máy liên tục trong môi trường dữ liệu luồng. Bằng cách tích hợp thông tin từ các nguồn bên ngoài hoặc từ dữ liệu quá khứ, mô hình có thể học nhanh hơn và chính xác hơn. Các phương pháp biến đổi tri thức tiên nghiệmgiữ tri thức tiên nghiệm đã được đề xuất để khai thác tri thức tiên nghiệm một cách hiệu quả.

3.2. Sử Dụng Dropout Thích Ứng Cho Học Máy Liên Tục

Dropout là một kỹ thuật regularization phổ biến trong học sâu. Dropout thích ứng là một biến thể của dropout được thiết kế để hoạt động tốt trong môi trường dữ liệu luồng. Bằng cách điều chỉnh tỷ lệ dropout dựa trên đặc điểm của dữ liệu, mô hình có thể tránh được overfitting và duy trì hiệu suất ổn định theo thời gian.

3.3. Cân Bằng Ổn Định và Mềm Dẻo Trong Học Máy Liên Tục

Việc cân bằng giữa ổn định và mềm dẻo là một yếu tố quan trọng trong học máy liên tục. Mô hình cần phải đủ ổn định để không quên kiến thức cũ, nhưng cũng cần phải đủ mềm dẻo để thích ứng với dữ liệu mới. Các phương pháp cân bằng ổn định và mềm dẻo giúp mô hình đạt được sự cân bằng này bằng cách điều chỉnh tốc độ học và các tham số khác.

IV. Ứng Dụng Học Sâu Liên Tục Triển Vọng Trong Tương Lai

Học sâu liên tục là một lĩnh vực nghiên cứu mới nổi, kết hợp sức mạnh của học sâu với khả năng thích ứng của học máy liên tục. Các mô hình học sâu liên tục có tiềm năng giải quyết nhiều bài toán phức tạp trong môi trường dữ liệu luồng, từ xử lý ngôn ngữ tự nhiên đến thị giác máy tính. Với sự phát triển của các kỹ thuật mới và sự gia tăng của dữ liệu, học sâu liên tục hứa hẹn sẽ đóng vai trò quan trọng trong tương lai của học máy.

4.1. Học Sâu Liên Tục Trong Xử Lý Ngôn Ngữ Tự Nhiên

Học sâu liên tục có thể được sử dụng để xây dựng các mô hình xử lý ngôn ngữ tự nhiên có khả năng thích ứng với những thay đổi trong ngôn ngữ và ngữ cảnh. Ví dụ, một mô hình dịch máy có thể được huấn luyện liên tục trên dữ liệu mới để cải thiện độ chính xác và khả năng xử lý các ngôn ngữ mới.

4.2. Học Sâu Liên Tục Trong Thị Giác Máy Tính

Học sâu liên tục có thể được sử dụng để xây dựng các mô hình thị giác máy tính có khả năng nhận diện các đối tượng và cảnh vật trong môi trường thay đổi. Ví dụ, một hệ thống giám sát an ninh có thể được huấn luyện liên tục trên dữ liệu mới để cải thiện khả năng phát hiện các hành vi đáng ngờ.

4.3. Các Hướng Nghiên Cứu Mới Trong Học Sâu Liên Tục

Hiện nay, có nhiều hướng nghiên cứu mới trong học sâu liên tục, bao gồm phát triển các kiến trúc mạng nơ-ron mới, các thuật toán tối ưu hóa hiệu quả, và các phương pháp giải quyết vấn đề quên thảm họa. Các nghiên cứu này hứa hẹn sẽ mang lại những tiến bộ đáng kể trong lĩnh vực học máy.

V. Đánh Giá Hiệu Suất Mô Hình Học Máy Liên Tục Tiêu Chí Quan Trọng

Đánh giá hiệu suất của mô hình học máy liên tục là một bước quan trọng để đảm bảo rằng mô hình hoạt động tốt trong môi trường dữ liệu luồng. Các tiêu chí đánh giá hiệu suất bao gồm độ chính xác, tốc độ học, khả năng mở rộng, và mức tiêu thụ tài nguyên. Việc lựa chọn các tiêu chí phù hợp phụ thuộc vào ứng dụng cụ thể và yêu cầu của bài toán.

5.1. Các Độ Đo Hiệu Suất Phổ Biến Trong Học Máy Liên Tục

Một số độ đo hiệu suất phổ biến trong học máy liên tục bao gồm độ chính xác, độRecall, F1-score, và AUC. Ngoài ra, các độ đo như log predictive probability (LPP)normalized pointwise mutual information (NPMI) cũng được sử dụng để đánh giá hiệu suất của các mô hình học chủ đề.

5.2. Phương Pháp Đánh Giá Mô Hình Học Máy Liên Tục

Có nhiều phương pháp đánh giá mô hình học máy liên tục, bao gồm sử dụng tập kiểm tra trượt, kiểm tra chéo theo thời gian, và đánh giá trực tuyến. Việc lựa chọn phương pháp phù hợp phụ thuộc vào đặc điểm của dữ liệu và yêu cầu của bài toán.

5.3. Các Yếu Tố Ảnh Hưởng Đến Hiệu Suất Mô Hình

Hiệu suất của mô hình học máy liên tục có thể bị ảnh hưởng bởi nhiều yếu tố, bao gồm chất lượng dữ liệu, lựa chọn thuật toán, và các tham số huấn luyện. Việc điều chỉnh các yếu tố này có thể giúp cải thiện hiệu suất của mô hình.

VI. Kết Luận Triển Vọng Học Máy Liên Tục Hướng Đi Tương Lai

Học máy liên tục là một lĩnh vực nghiên cứu đầy tiềm năng, với nhiều ứng dụng quan trọng trong thực tế. Mặc dù vẫn còn nhiều thách thức cần giải quyết, sự phát triển của các thuật toán mới và sự gia tăng của dữ liệu hứa hẹn sẽ mang lại những tiến bộ đáng kể trong lĩnh vực này. Học máy liên tục sẽ đóng vai trò quan trọng trong tương lai của học máy, giúp chúng ta khai thác tối đa giá trị từ dòng dữ liệu không ngừng.

6.1. Tóm Tắt Các Phương Pháp Học Máy Liên Tục Hiệu Quả

Bài viết đã trình bày tổng quan về các phương pháp học máy liên tục hiệu quả, bao gồm sử dụng tri thức tiên nghiệm, dropout thích ứng, và cân bằng giữa ổn định và mềm dẻo. Các phương pháp này giúp mô hình học kiến thức mới mà không quên kiến thức cũ, đồng thời thích ứng nhanh chóng với những thay đổi trong dòng dữ liệu.

6.2. Các Hướng Nghiên Cứu Tiềm Năng Trong Học Máy Liên Tục

Các hướng nghiên cứu tiềm năng trong học máy liên tục bao gồm phát triển các kiến trúc mạng nơ-ron mới, các thuật toán tối ưu hóa hiệu quả, và các phương pháp giải quyết vấn đề quên thảm họa. Ngoài ra, việc nghiên cứu các ứng dụng mới của học máy liên tục trong các lĩnh vực khác nhau cũng là một hướng đi quan trọng.

6.3. Tầm Quan Trọng Của Học Máy Liên Tục Trong Kỷ Nguyên Dữ Liệu

Học máy liên tục đóng vai trò quan trọng trong kỷ nguyên dữ liệu, giúp chúng ta khai thác tối đa giá trị từ dòng dữ liệu không ngừng. Với sự phát triển của các công nghệ mới và sự gia tăng của dữ liệu, học máy liên tục sẽ trở thành một công cụ không thể thiếu cho các tổ chức và cá nhân muốn cạnh tranh trong thị trường ngày càng khốc liệt.

06/06/2025

Trích đoạn nội dung tài liệu

MỞ ĐẦU 1. Bối cảnh nghiên cứu Trong các ứng dụng hiện đại ngày nay như báo mạng, diễn đàn, mạng xã hội, thương mại điện tử, v.v, dữ liệu được sinh ra liên tục và có thể thu thập trong vô hạn các tập dữ liệu nhỏ (mini-batch). Chúng được biết đến như môi trường luồng. Khả năng phân tích dữ liệu từ môi trường luồng đóng vai trò quan trọng trong thực tế.

Dựa trên kết quả phân tích liên tục từ các dữ liệu mới đến, chúng ta có thể thu được các đặc trưng, khuôn mẫu mới để sử dụng cho các phán đoán tương lai. Ví dụ, thông tin tương tác của người dùng trên các trang thương mại điện tử như xem các sản phẩm, thêm sản phẩm vào giỏ hàng, mua các sản phẩm, v.v, được thu thập để phân tích sở thích ngắn hạn và dài hạn của người dùng. Từ đó, hệ thống có thể đưa ra gợi ý các sản phẩm phù hợp tiếp theo cho họ. Phát triển một phương pháp học máy hiệu quả cho luồng dữ liệu đã trở nên vô cùng cấp thiết.

Các phương pháp học máy trong môi trường luồng dữ liệu có các đặc điểm khác biệt rõ ràng so với học máy truyền thống [5, 6, 7]. Học máy truyền thống thường thực hiện quá trình học từ một tập dữ liệu cố định và có thể dùng toàn bộ tập dữ liệu đó tại thời điểm học. Mô hình sau khi huấn luyện sẽ được sử dụng trong các phán đoán tương lai và không được cập nhật về sau. Trong khi đó, do dữ liệu đến liên tục trong môi trường luồng, các phương pháp học cần phải phải cập nhật mô hình liên tục trên dữ liệu mới.

Đặc biệt, khi dữ liệu đến có thể rất lớn và vô hạn, các phương pháp học máy không thể dùng lại quá nhiều dữ liệu trong quá khứ. Thay vì học trên một tập dữ liệu cố định, các phương pháp học luồng thường dựa theo một thủ tục lặp: Thu thập dữ liệu mới xuất hiện (theo khoảng thời gian hoặc kích thước tập dữ liệu) và cập nhật mô hình trên dữ liệu mới đó. Các chiến lược học nhanh trên dữ liệu mới và giữ lại tri thức đã học từ dữ liệu cũ trở thành yếu tố cốt lõi trong các phương pháp học luồng. Một số cách tiếp cận đã được sử dụng phổ biến trong học luồng dữ liệu như sau: Sử dụng chiến lược tối ưu hóa ngẫu nhiên (stochastic approximation), đệ quy Bayes (recursive Bayesian strategy), hiệu chỉnh (regularization), chiến lược mở rộng kiến trúc (architecture strategy), chiến lược huấn luyện lại (rehearsal strategy).

Đầu tiên, hướng tối ưu hóa ngẫu nhiên [5, 8, 9, 10, 11] sử dụng 1 các phương pháp tối ưu ngẫu nhiên như dựa trên hướng đạo hàm (như SGD (stochastic gradient descent), NSGD (natural stochastic gradient descent)) để có thể huấn luyện các mô hình trên lần lượt từng mini-batch. Thứ hai, cách tiếp cận dựa trên đệ quy Bayes (recursive Bayesian strategy) [12, 13, 1, 14, 4] và hiệu chỉnh [7, 15, 16] đặt các ràng buộc để giúp tham số mô hình học ở thời điểm hiện tại phải gần với tham số mô hình đã học được ở thời điểm trước đó. Thứ ba, chiến lược mở rộng kiến trúc (architecture strategy) [7, 6, 17] hướng tới giữ lại (đóng băng) các thành phần kiến trúc, tham số quan trọng mà học được từ dữ liệu quá khứ. Đồng thời, kiến trúc sẽ được mở rộng để học các đặc trưng mới từ dữ liệu mới.

Cuối cùng, chiến lược huấn luyện lại (rehearsal strategy) [7, 18, 19] sẽ dựa trên việc lưu trữ một số mẫu quan trọng hoặc xây dựng mô hình sinh để sinh lại các mẫu đặc trưng. Từ đó, mô hình sẽ được học trên cả dữ liệu mới và dữ liệu cũ. Các chiến lược này có thể giúp các phương pháp học máy truyền thống làm việc được trong môi trường luồng. Một số thách thức khi học từ luồng dữ liệu Tuy nhiên, việc xây dựng phương pháp học máy để giúp chuyển từ học trong môi trường tĩnh sang làm việc được với luồng dữ liệu là chưa đủ.

Luồng dữ liệu đặt ra nhiều thách thức hơn thế rất nhiều [20], ví dụ: Thách thức từ dữ liệu thưa và nhiễu; thách thức về tính khó (intractability) của bài toán suy diễn; thách thức về sự thay đổi đột ngột trong dòng; thách thức về quên nghiêm trọng tri thức cũ; thách thức về những đảm bảo lý thuyết của giải thuật học, v. Luận án này tập trung vào khảo sát 3 thách thức lớn sau: Thách thức từ luồng dữ liệu thưa và nhiễu (sparse and noisy data), thách thức từ sự thay đổi đột ngột trong luồng dữ liệu (concept drifts), thách thức từ việc quên tri thức cũ khi học trên dữ liệu mới (catastrophic forgetting). Thứ nhất, dữ liệu thưa và nhiễu (sparse and noisy data) gây ra khó khăn lớn cho các phương pháp học máy [21, 22, 23]. Những dữ liệu thưa và nhiễu xuất hiện phổ biến trong thực tế, đặc biệt với thời đại bùng nổ dữ liệu như hiện nay.

Ví dụ, văn bản ngắn chỉ bao gồm một vài từ như bình luận trên mạng xã hội, phản ứng của khách hàng trên các cửa hàng trực tuyến hoặc câu hỏi trên các diễn đàn hỏi đáp. Biểu diễn của văn bản theo vectơ từ (như mô hình túi từ, tần suất xuất hiện) là rất thưa khi mà hầu hết các giá trị của các chiều bằng 0, chỉ vài chiều có giá trị khác 0. Mặt khác, các văn bản nhiễu chứa các từ viết tắt, biệt ngữ, từ lóng, lỗi chính tả. Ví dụ khác với hệ gợi ý, các phương pháp học máy thường sử dụng dữ liệu lịch sử tương tác của người dùng như mua hàng, 2 xem hàng để phát hiện ra sở thích của người dùng.

Tuy nhiên, lịch sử mua hàng của người dùng trong một hệ thống thương mại điện tử thường rất ít so với một số lượng lớn các sản phẩm trong hệ thống. Hầu hết người dùng chỉ mua một vài món hàng, chỉ một số ít người dùng mua nhiều hàng. Độ thưa thống kê dựa trên tỉ lệ số lượng sản phẩm chưa mua trên tổng số sản phẩm thường lên tới trên 99% [24, 25]. Họ chỉ thực hiện các thao tác nhấp chuột để xem sản phẩm nhiều hơn là mua sản phẩm.

Hơn nữa, dữ liệu nhấp chuột xem hàng của người dùng có thể chứa nhiễu như nhấp chuột nhầm, nhấp vào sản phẩm không thích vì chưa xem được chi tiết. Rõ ràng, dữ liệu thưa không cung cấp một ngữ cảnh đầy đủ và dữ liệu nhiễu có thể định hướng sai việc học mô hình. Vì vậy, tính tổng quát hóa của mô hình học được sẽ bị giới hạn khi làm việc với dữ liệu thưa và nhiễu. Thứ hai, sự thay đổi đột ngột của luồng dữ liệu (concept drifts) [26, 27] có thể xuất hiện thường xuyên trong môi trường luồng.

Sự thay đổi đột ngột để chỉ sự biến đổi phân phối dữ liệu (p(x)) hoặc thay đổi phân phối xác suất có điều kiện của nhãn khi cho biết trước dữ liệu (p(y|x)) trong môi trường luồng. Ví dụ, trong học chủ đề ẩn không giám sát trên tập dữ liệu tin tức, khi có sự kiện mới (như các tin giật gân) xuất hiện, các chủ đề mới khác biệt nhiều với các chủ đề của ngày trước đó sẽ xuất hiện. Hoặc, trong bài toán lái ô tô tự động có giám sát, hệ thống vẫn phải quyết định các hành động tiếp theo (nhãn là sang trái, sang phải, tăng tốc, giảm tốc, v.v) khi xe chuyển từ đường cao tốc sang đường nội đô. Những ví dụ này chỉ ra sự thay đổi đột ngột của dữ liệu trong dòng và dẫn tới yêu cầu các phương pháp phải thích nghi nhanh với sự thay đổi.

Tuy nhiên, các phương pháp truyền thống thường giả thiết rằng chỉ có một mô hình duy nhất sinh ra toàn bộ dữ liệu (tương tự giả thiết p(x) không đổi trong toàn bộ quá trình học). Giả thiết này chỉ hợp lý với môi trường tĩnh, nhưng không phù hợp với môi trường luồng dữ liệu. Mô hình nên được thay đổi phù hợp theo các khoảng thời gian. Những đặc trưng mới có thể xuất hiện bất cứ lúc nào trong luồng dữ liệu nên một phương pháp học cần mềm dẻo để thích nghi nhanh với chúng.

Thứ ba, việc huấn luyện một mô hình học máy trong môi trường luồng dữ liệu gặp phải một thách thức lớn về việc quên tri thức đã học (catastrophic forgetting) trước đây sau khi học từ nhiều dữ liệu mới hơn. Trong điều kiện luồng dữ liệu, việc truy cập lại dữ liệu cũ là không thực tế vì nó đòi hỏi rất nhiều bộ nhớ và tính toán. Rõ ràng, quên là một vấn đề khó tránh khỏi ở cả con người và hệ thống học máy. Giữ tri thức quá khứ là quan trọng trong thực tế.

Nguồn tri thức học từ dữ liệu quá khứ sẽ giúp phương pháp làm việc tốt với dữ 3 liệu có đặc trưng, khuôn mẫu tương tự với cái đã gặp trước đó. Hiện tượng quên nghiêm trọng tri thức cũ [28] xảy ra khi một mô hình đã huấn luyện làm việc kém trên dữ liệu với đặc trưng đã gặp trong quá khứ. Một điều đáng ngạc nhiên rằng vấn đề quên nghiêm trọng lại không được quan tâm nhiều trong học luồng dữ liệu. Đây là chủ đề chính trong nhánh nghiên cứu học liên tục (continual learning) [29, 30, 15, 31] mà ở đó người ta xem xét học mạng nơ-ron nhân tạo trên một chuỗi nhiều tác vụ khác nhau.

Khi đó, các mô hình học máy thường bị quên (không làm việc tốt với tác vụ cũ như trước) khi học các tác vụ mới. Trong một bài báo gần đây [19], các tác giả cũng bày tỏ sự ngạc nhiên của mình về vấn đề này. Sau đó, họ xây dựng một phương pháp tìm ra những dữ liệu quan trọng để lưu trữ lại trong bộ nhớ đệm cho quá trình học lại. Việc tránh quên nằm ở chỗ luyện tập lại trên dữ liệu quá khứ.

Tuy nhiên, giải pháp lưu trữ dường như cũng kém khả thi khi luồng dữ liệu lớn và có thể đến vô hạn. Phạm vi nghiên cứu Phát triển các phương pháp học cho luồng dữ liệu là chủ đề lớn trong học máy để giúp cho các mô hình truyền thống làm việc tốt với luồng dữ liệu. Luận án này chỉ tập trung vào xây dựng các phương pháp học cho lớp các mô hình Bayes mà sử dụng ngôn ngữ xác suất để mã hóa các giả thiết về dữ liệu. Cụ thể hơn, luận án tập trung vào các giải pháp để giúp học mô hình Bayes hiệu quả khi đối diện với 3 thách thức: Luồng dữ liệu thưa và nhiễu; sự thay đổi đột ngột trong luồng dữ liệu; và vấn đề quên nghiêm trọng tri thức cũ khi học trong luồng dữ liệu.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu có tiêu đề "Phương Pháp Học Máy Hiệu Quả Trong Môi Trường Dữ Liệu Liên Tục" cung cấp cái nhìn sâu sắc về các kỹ thuật và chiến lược tối ưu hóa trong học máy, đặc biệt là trong bối cảnh dữ liệu liên tục. Tài liệu nhấn mạnh tầm quan trọng của việc áp dụng các phương pháp học máy hiệu quả để xử lý và phân tích dữ liệu trong thời gian thực, từ đó giúp cải thiện độ chính xác và hiệu suất của các mô hình.

Độc giả sẽ tìm thấy nhiều lợi ích từ tài liệu này, bao gồm cách thức áp dụng các thuật toán học máy tiên tiến, cũng như các ví dụ thực tiễn minh họa cho việc triển khai trong các lĩnh vực khác nhau. Để mở rộng kiến thức của mình, bạn có thể tham khảo thêm tài liệu Nâng cao hiệu quả mô hình học máy cho dữ liệu y sinh, nơi cung cấp các phương pháp nâng cao hiệu quả trong lĩnh vực y sinh. Ngoài ra, tài liệu Nghiên cứu phương pháp phân cụm nửa giám sát và ứng dụng sẽ giúp bạn hiểu rõ hơn về các phương pháp phân cụm trong học máy. Những tài liệu này không chỉ bổ sung kiến thức mà còn mở ra nhiều hướng nghiên cứu mới cho bạn.