Chương 1. Khái quát về học máy suốt doi, chat loc tri thức và mô hình chủ đề suốt đời Chương đầu tiên của luận án trình bày một cách hệ thống những nội dung cơ bản nhất về HMSD, chat lọc tri thức và MH CDSD. Mục thứ nhất giới thiệu sơ lược về lich sử tiến hóa HMSD, định nghĩa và hệ thống HMSĐ [22], hai dạng HMSĐ đặc biệt là học thế giới mở va học khi làm việc, phân biệt HMSD với năm kiểu học máy truyền thống gần gũi nhất với HMSD, hệ thống học ngôn ngữ không dừng NELL, tám thách thức chính đối với nó. Hai mục tiếp theo giới thiệu về chat lọc tri thức (bao gồm chắt lọc tri thức trong HMSĐ) và mô hình chủ đề suốt đời (mô hình chủ đề truyền thống và mô hình chủ đề trong HMSĐ).
Liên hệ cụ thể các chủ đề trên đây với các nghiên cứu trong luận án được giới thiệu trong mục tiếp đó. Mục cuối cùng giới thiệu các độ đo hiệu năng phân lớp được sử dụng trong luận án.1 Học máy suốt đời 1.1 Sơ lược về lịch sử tiến hóa Học máy suốt đời được khởi đầu từ hệ thống CHILD của M. Ring [88] và hệ thống EBNN của S. Lay cảm hứng từ việc học liên tục của một người máy nhận dạng nhãn ô trong một mê cung, hệ thống CHILD hướng tới ba khả năng: (i) tự chủ, nhận thông tin đầu vào, tạo kết qua đầu ra có thé tác động tới thông tin nhận được, gan trong số tin cậy tới các hành vi tạo kết quả (mong muốn hoặc không mong muốn); (ii) các hành vi này có khoảng thời gian dài tùy ý, có nghĩa là, thời lượng của các hành vi là không bị một giới hạn đặt trước; (11) cần thu nhận các hành vi mới hữu dụng và tránh thu nhận hành vi mới không hữu dụng.
Đây chi là các phát biểu sơ khai nhất về HMSD. Hệ thống EBNN lây cảm hứng từ việc học nhận dạng vật thể qua ảnh màu của một người máy, được tích hợp từ hai chiến lược học mạng nơ-ron và học dựa trên phân tích. Chiến lược học mạng nơ-ron (mức cơ sở với tập dữ liệu đầu vào) cho phép EBNN học từ dữ liệu nhiễu khi không có kinh nghiệm học trước và học được tri thức đặc tả miền để chuyển giao cho các tác vụ học tiếp theo. Chiến lược học dựa trên giải thích (mức mê-ta với tập tri thức học được từ quá khứ) sử dụng tri thức đặc tả miền từ kinh nghiệm dé giải thích dữ liệu, cung cấp chỉ dẫn tổng quát hoá theo một cách hiểu được và đặc tả miền, nhờ đó, cho phép EBNN rút gọn nhu cầu về dữ liệu huấn luyện (do được bù dap bang tri thức đặc tả miền đã học).
Các đặc trưng HMSĐ cơ bản đã được đề cập trong EBNN. Bộ tích hợp KT trithức Ứng viên | niêm tin 2 ee eee meee eee nee eee meee eeeneenns Cac hé théng con thanh phan Hình 1.1 Kiến trúc hệ thong NELL [12] Vào năm 2010, A. Carlson và cộng sự [12] giới thiệu về Hệ thống học ngôn ngữ không dừng NELL. Hệ thống NELL bao gồm Cơ sở tri thức, Bộ tích hợp tri thức và bốn hệ thống con thành phần là Bộ học mẫu khớp nối CPL (Coupled Pattern Learner), Bộ mở rộng tập cho ngôn ngữ theo khớp nối CSEAL (Coupled SEAL: Coupled Set Expander for Any Language), Bộ phân loại hình thái khớp nối CMC (Coupled Morphological Classifier) và Bộ học luật RL (Rule Learner).
Như mô tả trên Hình 1.1, bốn hệ thống con thành phần có chức năng cung cấp ứng viên niềm tin (belief) dé đưa vào cơ sở tri thức. Các ứng viên này sau đó được Bộ tích hợp tri thức đánh giá để chọn lọc ra các niềm tin. Tài nguyên (niềm tin và ứng viên niềm tin) từ cơ sở tri thức hỗ trợ bốn hệ thống con thành phan xử lý các dit liệu mới từ nguồn dữ liệu. Hệ thống NELL được coi là hệ thống HMSD tiêu biéu hiện có trong thực tiễn, hoạt động liên tục từ năm 2010 tới nay, đã phát triển được hơn 4100 tác vụ học vào năm 2018 [77] (xem Mục 1.
Silver và cộng sự [90] đưa ra một định nghĩa chính thức về hệ thống HMSĐ: (i) Học nhiều tác vụ từ một hoặc nhiều miền trong suốt vòng đời; (ii) lưu trữ và duy trì hiệu suất và hiệu quả tri trức; (iii) sử dụng hiệu suất và hiệu 10 qua tri thức quá khứ. Như vậy, hai điểm nỗi bat trong định nghĩa HMSD của D. Silver và cộng sự là học liên tục nhiều tác vụ từ nhiều miền và lưu trữ, duy trì và sử dụng hiệu suất (sử dụng tốt không gian nhớ và tính toán nhanh, v.) và hiệu quả (đạt kết quả tốt so với mục tiêu đặt ra, chăng hạn ngăn ngừa việc tiễn cử/sử dụng tri thức lỗi, bổ sung giả thuyết mới không được làm giảm độ chính xác giả thuyết cũ/mới, v. Khung HMSĐ này có các điểm nhấn về phân tầng tri thức (tri thức phổ quát và tri thức miễn), lựa chọn tri thức va chat lọc tri thức.
Isele va cộng sự [51, 89] giới thiệu một khung hệ thống HMSĐ tường minh dòng tác vụ xuất hiện theo thời gian, kho lưu trữ tri thức đã học được trong quá khứ, dong tri thức quá khứ được chọn lọc để hỗ trợ việc giải quyết tác vụ học hiện tại, cập nhật kho tri thức bằng tri thức mới cũng như tri thức quá khứ được tinh chỉnh qua giải quyết tác vụ hiện tại. Hệ thống hóa và phát triển dòng nghiên cứu về HMSĐ, Z. Liu [20, 22] đã đưa ra một định nghĩa về hệ thống HMSD và khung hoạt động hệ thống này; chúng được coi là toàn diện nhất cho tới hiện nay về các thành phan và yếu tố của HMSD. Các mục con tiếp theo sẽ giới thiệu về định nghĩa, khung hệ thống và một số yếu tố trong khung HMSD này.2 Định nghĩa và khung hệ thống học máy suốt đời Định nghĩa 1.1 Học máy suốt đời [20, 22] Học máy suốt đời (HMSĐ) là một quá trình học liên tục.
Ở thời điểm bat kỳ, bộ học đã thực hiện một dãy N tác vụ Tì, T;,., Ty (được gọi là tác vụ quá khứ) có các tập dir liệu tương ứng là D,, D;,. Các tác vụ quá khứ có thê thuộc các kiểu khác nhau và từ các miền bài toán khác nhau. Khi xuất hiện tác vụ mới Ty+1 (được gọi là tac vụ hiện tai) với tập dữ liệu Dy, của nó, bộ học cần tận dụng tri thức quá khứ trong co sở tri thức (CS TT) S dé giúp hoc tác vu Ty„¡. Tác vu hiện tại có thể nhận được từ bên ngoài hoặc do bộ học tự phát hiện.
Mục đích của HMSD thường là làm tối ưu hiệu năng của tác vụ hiện tại Ty„¡ song nó cũng có thé làm tối ưu hiệu năng của bat ky tác vụ nào thuộc tap các tác vu {Tì, Tạ,., Ty} khi coi toàn bộ các tác vụ còn lại (bao gồm Ty41) như là các tác vụ quá khứ. CSTT lưu giữ tri thức đã được học và đã được làm giàu trong quá trình học các tác vụ quá khứ. Sau khi hoàn thành tác vụ học Ty, CSTT được cập nhật bang tri thức thu được từ việc học tác vụ Ty41 (chang hạn, các kết quả trung gian và kết quả cuối cùng). Kiểm tra tính nhất quán, suy luận và khai phá tổng hợp tri thức mức cao là các tác vụ cập 11 nhật CSTT điển hình.
Lý tưởng nhất, bộ học suốt đời cần phải có năng lực: (1) học và hoạt động trong môi trường mở, ở đó nó không chỉ áp dung mô hình hoặc tri thức đã học để giải quyết tác vụ mà còn phát hiện ra các tác vụ mới cần phải học; (2) học cách cải thiện hiệu năng mô hình khi ứng dụng hoặc thử nghiệm mô hình đã học, giống như con người sau khi được huấn luyện vẫn tự đào tạo khi làm việc dé học tốt hon và làm việc tốt hơn.1 chỉ ra năm đặc điểm chính của HMSD là (i) quá trình học liên tục, (ii) tích lũy và duy trì tri thức trong CSTT, (iii) sử dụng tri thức quá khứ đã tích lũy được dé giúp việc hoc trong tương lai, (iv) phát hiện các tác vu mới, (v) học khi làm việc hoặc học theo công việc. Năm đặc điểm này tạo ra sự khác biệt của HMSĐ so với các kiêu học máy truyền thống gan gũi với nó (xem mục con 1. Bộ quản lý tác vụ Tac vụ mới | 1ì, T1, T3, «+ Ty, Tn+1,. Các tác vụ học ở quá khứ Các tác vụ học trong tương lai Phát hiện tác vụ mới Dyi1 Bộ khai pha tri thức hướng tac vụ ” wa.
ng dung Tri thức được lưu lại Hình 1.2 mô tả kiến trúc điển hình của hệ thống HMSD [22] với sáu thành phần cơ bản: Bộ quản lý tác vụ, Bộ học dựa trên tri thức, Bộ khai phá tri thức hướng tác vụ, Cơ sở tri thức, Mô hình, Ứng dụng. e Cơ sở tri thức (CSTT): (Knowledge Base: KB) lưu trữ tri thức đã học từ các tác vụ quá khứ và có bốn thành phần con chính là Kho tri thức quá khứ (Past Information Store: PIS), Kho siêu tri thức (Meta-Knowledge 12 Store: MKS), Bộ khai phá siêu tri thức (Meta-Knowledge Miner: MKM), Bộ suy luận tri thức (Knowledge Reasoner: KR). Kho tri thức quá khứ lưu trữ thông tin kết quả từ việc học trong quá khứ như: (i) dữ liệu sốc, (ii) kết quả trung gian, (iii) mô hình/mẫu kết quả tác vụ học. Thông tin hoặc tri thức cần giữ lại phụ thuộc vào tác vụ và thuật toán học.
Đối với một hệ thống HMSD, người dùng cần quyết định tri thức cần giữ lại dé giúp học tác vụ mới. Kho siêu tri thức MKS lưu trữ tri thức được khai phá hoặc hợp nhất từ Kho tri thức quá khứ PIS và từ chính MKS. Bộ khai phá siêu tri thức MKM khai phá tri thức mức cao hon (được gọi là siêu tri thức) trong Kho tri thức quá khứ PIS và Kho siêu tri thức MKS. Bộ suy luận tri thức KR suy luận dựa trên tri thức trong MKS và PIS dé tạo ra tri thức chất lượng tốt hơn, phù hợp với tác vụ hiện tại (ngoại trừ NELL và một số ít các hệ thống HMSĐ khác, hầu hết các hệ thống HMSD hiện tại chưa có thành phần này).
Bộ học dựa trên tri thức (Knowledge-Based Learner: KBL) sử dụng tri thức quá khứ để nâng cao hiệu năng của tác vụ học mới và gồm hai thành phần con là Bộ khai phá tri thức tác vụ (Task knowledge miner) và Bộ học tận dụng tri thức. Bộ khai phá tri thức tác vụ sử dung tri thức hoặc thông tin trong CSTT dé khai phá hoặc xác định tri thức phù hợp với tác vụ hiện tại.