Chương 1 trình bày một giới thiệu tổng quan về học máy suốt đời và học máy thế giới mở. Tiếp đó, bài toán chuẩn hoá thực thể tên bệnh trong văn bản y sinh được giới thiệu. Chương 2 trình bày mô hình phân lớp văn bản thế giới mở dựa trên kỹ thuật học sâu. Chương 3 trình bày mô hình ứng dụng phân lớp thế giới mở dựa trên kỹ thuật học sâu cho chuẩn hoá thực thể tên bệnh, là bước tiền đề cho việc trích xuất các quan hệ giữa các thực thể y sinh.
Các quan hệ được biểu diễn trong văn bản là các tri thức tồn tại dưới định dạng chỉ con người mới “đọc hiểu” được. Việc trích xuất quan hệ từ văn bản sẽ tạo ra cơ sở dữ liệu tri thức, là thành phần quan trọng của học máy suốt đời. Chương 4 trình bày các kết quả thực nghiệm của mô hình ứng dụng được đề xuất trong Chương 3, cũng như các phân tích các kết quả thực nghiệm này. Phần Kết luận tóm lược kết quả đạt được của khóa luận và định hướng phát triển tương lai.
Học máy thế giới mở và bài toán chuẩn hóa tên thực thể bệnh Học máy (Machine Learning: ML) đã là công cụ cho sự tiến bộ của cả phân tích dữ liệu và trí tuệ nhân tạo (Artificial Intelligence: AI). Thành công gần đây của học sâu đã đưa ML lên một tầm cao mới. Các thuật toán ML đã được áp dụng trong hầu hết các lĩnh vực khoa học máy tính, khoa học tự nhiên, kỹ thuật, khoa học xã hội và hơn thế nữa. Nếu không có thuật toán ML hiệu quả, nhiều ngành sẽ không tồn tại hoặc phát triển, ví dụ: thương mại điện tử và tìm kiếm trên web.
Tuy nhiên, mô hình ML hiện tại không phải không có điểm yếu. Trước tiên luận văn sẽ giới thiệu về mô hình ML cổ điển và những thiếu sót của nó, sau đó giới thiệu Lifelong ML (Học suốt đời (LL) và học thế giới mở (OpenWorld ML, một dạng học máy suốt đời) như một hướng đi mới nổi và đầy hứa hẹn để khắc phục những thiếu sót đó với mục tiêu cuối cùng là xây dựng những cỗ máy học hỏi như con người [2]. Bài toán chuẩn hóa tên thực thể bệnh trong văn bản y sinh dưới dạng một bài toán học thế giới mở sẽ được giới thiệu ở cuối chương.1 Học máy truyền thống Mô hình ML phổ biến hiện nay là chạy thuật toán ML trên tập dữ liệu đã cho để tạo mô hình. Mô hình này sau đó được áp dụng trong các nhiệm vụ thực tế.
Mô hình học này được gọi là mô hình cô lập bởi vì nó không xem xét bất kỳ thông tin liên quan nào khác hoặc tri thức đã học, tích luỹ được trước đó (xem Hình 1) [2]. Vấn đề cơ bản của mô hình học tập cô lập này là nó không lưu giữ và tích lũy kiến thức đã học trong quá khứ và sử dụng nó trong tương lai. Điều này trái ngược hoàn toàn với việc học của con người. Con người chúng ta luôn tích luỹ lại kiến thức đã học trong quá khứ và sử dụng nó để giúp học tập và giải quyết vấn đề mới trong tương lai.
Không có khả năng tích lũy và sử dụng kiến thức trong quá khứ, thuật toán ML thường cần một số lượng lớn các ví dụ huấn luyện để học hiệu quả. Các môi trường học thường là tĩnh và đóng. Đối với việc học có giám sát, việc gán nhãn dữ liệu huấn luyện thường được thực hiện thủ công, rất tốn công sức và thời gian. Vì thế giới quá phức tạp với nhiều nhiệm vụ khác hẳn nhau, nên gần như không thể gán nhãn một số lượng lớn các ví dụ cho mọi nhiệm vụ để thuật toán ML có thể học hiệu quả.
Tệ hơn nữa, mọi thứ xung quanh chúng ta luôn thay đổi liên tục, do đó việc gán nhãn cần phải được thực hiện liên tục; đó là một việc hết sức khó khăn đối với con người. 3 Ngay cả đối với học không giám sát, việc thu thập một khối lượng dữ liệu lớn có thể không thực hiện được trong nhiều trường hợp. Kiến trúc mô hình học máy cổ điển [2]. Mô hình học cô lập cổ điển không thể thực hiện được việc học suốt đời.
Như đã đề cập trước đó, nó chỉ phù hợp cho các nhiệm vụ hẹp và hạn chế trong môi trường kín. Nó cũng có thể không đủ để xây dựng một hệ thống thông minh có thể học liên tục để đạt được mức độ thông minh như con người. LL nhằm mục đích đạt được tiến bộ theo hướng này. Với sự phổ biến của robot, trợ lý ảo thông minh, LL ngày càng trở nên quan trọng vì các hệ thống này phải tương tác với con người và/hoặc các hệ thống khác, liên tục học hỏi trong quá trình hoạt động và duy trì kiến thức đã học trong các tương tác của chúng trong các môi trường khác nhau, qua đó có thể hoạt động tốt hơn theo thời gian.
Trong 25 năm qua, đã có những tiến bộ đáng kể trong lý thuyết học máy và thuật toán. Tuy nhiên, hiện vẫn có rất ít thuật toán có khả năng học nhiều nhiệm vụ khác nhau trong một thời gian dài. Học có giám sát cổ điển đưa ra giả định thế giới khép kín, có nghĩa là tất cả các lớp dữ liệu lúc kiểm tra đều đã xuất hiện trong lúc học [1, 5, 6]. Mặc dù giả định này đúng trong nhiều ứng dụng, nhưng nó bị vi phạm ở nhiều ứng dụng khác, đặc biệt là trong môi trường động và mở; trong đó các dữ liệu của các lớp không mong muốn có thể xuất hiện trong lúc kiểm tra hoặc hệ thống đi vào hoạt động.
Ví dụ, khi đọc, hệ thống có thể thấy một từ mới mà nó không biết, khi đó hệ thống phải học nó bằng cách tra từ trong từ điển. Trong cuộc trò chuyện giữa người và máy, trợ lý ảo có thể không hiểu một số điều được nói bởi người dùng và sau đó nó cần yêu cầu người dùng giải thích thêm để tìm hiểu. Để 4 học trong một môi trường mở như vậy, chúng ta cần học thế giới mở (phân loại thế giới mở hoặc đơn giản là phân loại mở), trong đó phải phát hiện được các lớp chưa xuất hiện trong quá trình huấn luyện mô hình, và sau đó thêm dần các lớp mới này vào mô hình mà không phải huấn luyện lại toàn bộ mô hình từ đầu. Hình thức học này còn được gọi là học tích lũy trong [5].
Luận văn này sẽ tập trung vào mô hình học có giám sát thế giới mở. Học có giám sát truyền thống dựa trên giả định thế giới đóng với các lớp trong tập dữ liệu kiểm tra (test) đều đã xuất hiện trong dữ liệu huấn luyện D khi huấn luyện mô hình., (xn, yn)} -xi là dữ liệu thứ i, yi ∈ {l1, l2, ., lm} = Y là lớp/nhãn của xi. Khi đó cần xây mô hình f(x) có khả năng phân loại dữ liệu x trong tập test vào một trong m lớp đã biết trong Y. Giả thiết thế giới đóng không đúng với nhiều ứng dụng trong thực tế, đặc biệt trong môi trường mở, biến động.
Ví dụ, đối với dữ liệu truyền thông mạng xã hội luôn có thêm những chủ đề mới được bàn luận, hay với ứng dụng xe tự lái thường có các lớp đối tượng mới xuất hiện, hay các tên bệnh mới có thể chưa có số định danh trong CSDL. Học máy suốt đời Trong cuộc sống, con người luôn phải học hỏi suốt đời, thông qua việc tích lũy, vận dụng tri thức và kỹ năng có sẵn để giải quyết các vấn đề/tác vụ mới gặp phải, từ đó giúp cho việc học nhanh hơn và hiệu quả hơn. Trong quá trình tiến hóa hàng triệu năm của loài người, khả năng học suốt đời đã giúp con người thích nghi, sống sót và phát triển được trong nhiều môi trường sống khắc nghiệt khác nhau. Lấy ví dụ về năng lực giao tiếp, học suốt đời giúp chúng ta có khả năng sử dụng ngôn ngữ để giao tiếp với nhau thông qua các công cụ, các khái niệm (tri thức) hữu dụng học được từ cha mẹ và giáo viên.
Đầu tiên, các từ và cụm từ có ý nghĩa gần như giống nhau trong tất cả các lĩnh vực và tất cả các nhiệm vụ. Thứ hai, các câu trong mỗi ngữ cảnh sử dụng đều tuân theo cùng một cú pháp. Thứ ba, gần như tất cả các vấn đề về ngôn ngữ tự nhiên có liên quan chặt chẽ với nhau, điều đó có nghĩa là chúng có liên kết với nhau và ảnh hưởng lẫn nhau theo một số cách. 5 Hai lý do đầu tiên ở trên đảm bảo rằng kiến thức đã học có thể được sử dụng trong các tác vụ khác nhau (của các lĩnh vực khác nhau).
Đó là lý do tại sao con người chúng ta không cần phải học lại ngôn ngữ (hoặc học một ngôn ngữ mới) mỗi khi chúng ta bắt gặp một miền ứng dụng mới. Ví dụ, giả sử chúng ta chưa bao giờ nghiên cứu tâm lý học, và bây giờ muốn nghiên cứu nó. Chúng ta không cần phải học lại ngôn ngữ được sử dụng trong văn bản tâm lý học, ngoại trừ một số khái niệm mới trong lĩnh vực tâm lý học. Lý do thứ ba ở trên đảm bảo rằng kiến thức về ngôn ngữ của chúng ta có thể được sử dụng trên các loại nhiệm vụ khác nhau.
Ví dụ, giả sử chúng ta đã tích luỹ được tri thức rằng: “iPhone là sản phẩm và mọi sản phẩm đều có giá của nó” và tính từ “đắt” mô tả thuộc tính giá của một sản phẩm. Sau đó, từ câu nhận xét: “Chất lượng hình ảnh của iPhone rất tuyệt, nhưng nó khá đắt”, thông qua việc sử dụng các kiến thức được tích luỹ từ trước, chúng ta có thể dễ dàng nhận ra rằng “chất lượng hình ảnh” là một tính năng hoặc thuộc tính của iPhone và “nó/it” là để chỉ “iPhone” chứ không phải là thuộc tính “chất lượng hình ảnh” của iPhone. Hai vấn đề này có liên quan chặt chẽ với nhau và có thể giúp đỡ lẫn nhau vì kết quả từ một vấn đề có thể hữu ích cho những người khác, trong việc xử lý nhiệm vụ khác. Hiện tượng trên không chỉ đúng cho khả năng học ngôn ngữ của con người mà còn đúng cho bất kỳ lĩnh vực nào khác bởi vì mọi thứ trên thế giới có liên quan và liên kết với nhau.
Do đó, kiến thức học được trong quá khứ trong một số lĩnh vực có thể được áp dụng trong một số lĩnh vực khác có bối cảnh tương tự. Học máy suốt đời được phát triển nhằm mục đích bắt chước quá trình và khả năng học tập suốt đời của con người.