Tổng quan luận án
Luận án tiến sĩ chuyên ngành Hệ thống thông tin (mã số 9480104.01) của nghiên cứu sinh Nguyễn Thị Chăm, thực hiện dưới sự hướng dẫn khoa học của PGS. Hà Quang Thụy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (bảo vệ năm 2023), tập trung vào đề tài nghiên cứu và phát triển các kỹ thuật chắt lọc tri thức trong học máy suốt đời áp dụng cho dữ liệu văn bản.
Về tính cấp thiết, học máy truyền thống hoạt động theo mô hình học cô lập (isolated learning), đòi hỏi tập dữ liệu huấn luyện độc lập cho từng tác vụ và phải có kích thước đủ lớn. Yêu cầu này rất khó đáp ứng trong các hệ thống ứng dụng thực tế do chi phí gán nhãn dữ liệu cao. Học máy suốt đời (Lifelong Machine Learning - HMSĐ), hay còn gọi là học liên tục (Continual Learning) hoặc học không dừng (Never-Ending Learning), hướng tới việc tiếp nhận liên tục các tác vụ học, tích lũy tri thức vào cơ sở tri thức (Knowledge Base) và tái sử dụng tri thức quá khứ để nâng cao hiệu năng xử lý tác vụ mới. Tuy nhiên, việc chuyển giao tri thức từ quá khứ gặp phải các rào cản lớn:
- Hiện tượng lan truyền sai lệch khi tri thức quá khứ không đúng hoặc không phù hợp ngữ cảnh với tác vụ hiện tại.
- Giả định của các mô hình chủ đề suốt đời kinh điển (như LTM, AMC) cho rằng mọi miền dữ liệu quá khứ đều hữu ích cho miền hiện tại là chưa chính xác trên thực tế.
- Sự thiếu hụt các mô hình học sâu suốt đời kết hợp chắt lọc tri thức dạng mạng nơ-ron hồi quy hai chiều (BiLSTM) để xử lý các bài toán gán nhãn chuỗi phức tạp trong văn bản tiếng Việt chuyên ngành y sinh.
Mục tiêu tổng quát của luận án là nghiên cứu, phát triển các kỹ thuật chắt lọc tri thức trong hệ thống học máy suốt đời đối với miền dữ liệu văn bản, tập trung vào hai hướng: chắt lọc tri thức trong mô hình chủ đề suốt đời và chắt lọc tri thức học sâu suốt đời kiểu mạng nơ-ron bộ nhớ dài - ngắn hạn. Luận án giải quyết hai câu hỏi nghiên cứu cụ thể:
- Câu hỏi nghiên cứu 1: Làm thế nào để xác định và chắt lọc tri thức hữu dụng (cặp từ phải-đi-cùng và không-thể-đi-cùng) từ các miền dữ liệu quá khứ có độ tương đồng gần với miền hiện tại, thay vì giả định sử dụng toàn bộ các miền quá khứ, nhằm nâng cao chất lượng mô hình chủ đề và các tác vụ phân lớp văn bản?
- Câu hỏi nghiên cứu 2: Làm thế nào để chắt lọc và chuyển giao tri thức tham số học sâu cũng như tri thức phân lớp từ các tác vụ nhận dạng thực thể quá khứ sang mô hình hiện tại theo kiến trúc mạng BiLSTM, giải quyết tình trạng thiếu hụt dữ liệu huấn luyện có nhãn trong miền văn bản y sinh tiếng Việt?
Đối tượng nghiên cứu của luận án là các kỹ thuật chắt lọc tri thức trong các hệ thống học máy suốt đời (mô hình chủ đề suốt đời và học sâu suốt đời) đối với miền dữ liệu văn bản và các bài toán ứng dụng liên quan.
Phạm vi nghiên cứu được giới hạn ở việc phát triển kỹ thuật chắt lọc tri thức cho dữ liệu văn bản tiếng Việt và tiếng Anh. Về không gian dữ liệu, luận án thực nghiệm trên các tập dữ liệu đánh giá sản phẩm (Hotels, 20 miền đánh giá sản phẩm tiếng Anh) và tập dữ liệu văn bản y sinh tiếng Việt liên quan đến dịch COVID-19 thu thập từ báo điện tử (VnExpress, Dân trí, Sức khỏe và Đời sống) cùng các báo cáo khoa học y sinh xuất bản trong giai đoạn 2020.
Tổng quan tài liệu và vị trí của luận án
Luận án hệ thống hóa các hướng nghiên cứu nền tảng và hiện đại trong học máy suốt đời và chắt lọc tri thức:
Giai đoạn khởi thủy của học máy suốt đời (1994–1995): Xuất phát từ hệ thống CHILD của M. Ring (1994, 1997) với khả năng học gia tăng, phân cấp, phát triển tự chủ; và công trình của S. Thrun, T. Mitchell (1994, 1995) về thuật toán mạng nơ-ron giải thích (Explanation-Based Neural Network - EBNN), đặt nền móng cho việc thu nhận, biểu diễn và chuyển giao tri thức giữa các tác vụ.
Các hệ thống và khung lý thuyết tiêu biểu: A. Carlson và cộng sự (2010), T. Mitchell và cộng sự (2015, 2018) phát triển hệ thống học ngôn ngữ không dừng NELL (Never-Ending Language Learner) với các bộ học CPL, CSEAL, CMC và Rule Learner. D. L. Silver và cộng sự (2013) đưa ra định nghĩa chính thức về HMSĐ và đề xuất khung phân tầng tri thức tổng thể/miền. D. Isele và cộng sự (2016) xây dựng khung lựa chọn tri thức quá khứ cho dòng tác vụ thời gian. Z. Chen và B. Liu (2014, 2016, 2018) hoàn thiện định nghĩa và kiến trúc chuẩn gồm sáu thành phần của hệ thống HMSĐ.
Các công trình luận án tiến sĩ quốc tế liên quan: Luận án điểm lại các công trình giải quyết các khía cạnh chuyên sâu của HMSĐ gồm: M. Bendale (2015) về nhận dạng thế giới mở và thuật toán NNO; P. Mishra (2015) về mô hình hóa quan hệ tác vụ; A. Freytag (2016) về nhận dạng trực quan suốt đời; A. Besedin (2019) về DCGAN chống quên nghiêm trọng; S. Dutt (2019) về hệ thống phân cấp nhãn ngữ nghĩa; V. Lomonaco (2019) về các chiến lược CWR, AR1 và thư viện Avalanche; M. Khatib (2020) và T. Lesort (2020) về khắc phục hiện tượng quên nghiêm trọng bằng phương pháp phát lại (replay); M. Philps (2020) về khung CLA xử lý trôi khái niệm trong tài chính; G. Hocquet (2020) về mạng khả nghịch OvA-INN cho thiết bị nhúng.
Các mô hình chủ đề suốt đời: Xuất phát từ mô hình phân bổ Dirichlet ẩn (LDA) của D. M. Blei và cộng sự (2003). Hai mô hình chủ đề suốt đời nền tảng của Z. Chen và B. Liu (2014) là LTM (Lifelong Topic Model) sử dụng tri thức dạng must-link và AMC (topic modeling with Automatically generated must-link and Cannot-link) sử dụng khai phá tập mục phổ biến và phân tích tương quan để sinh tri thức tự động. Các mô hình mở rộng tiếp theo gồm RLTM-SK của B. Wang và cộng sự (2016), JUTM-MR của L. Shu và cộng sự (2016), LNTM của L. Shu và cộng sự (2017), và LCM của L. Shu và cộng sự (2019).
Mô hình chủ đề hướng đích: S. Wang và cộng sự (2019) đề xuất mô hình TTM (Targeted Topic Model) cho phép định hướng cấu trúc chủ đề theo các khía cạnh mục tiêu cụ thể trong phân tích quan điểm.
Khoảng trống nghiên cứu luận án lựa chọn giải quyết:
- Z. Chen (2015) từng nhận định giả thiết của LTM và AMC cho rằng mọi miền quá khứ đều liên quan đến miền hiện tại là chưa chính xác, đồng thời gợi ý dùng phân kỳ JS để lọc miền, nhưng các công trình của Chen, Liu (2016, 2018) cũng như bốn nghiên cứu kế tiếp (RLTM-SK, JUTM-MR, LNTM, LCM) chưa thực thi gợi ý này. Luận án lựa chọn giải quyết trực tiếp việc định nghĩa và lọc miền gần để chắt lọc tri thức cục bộ có chọn lọc.
- Chưa có nghiên cứu kết hợp mô hình chủ đề miền gần với mô hình chủ đề hướng đích (TTM) nhằm nâng cao chất lượng trích xuất khía cạnh văn bản tiếng Việt.
- Các nghiên cứu chắt lọc tri thức học sâu suốt đời dựa trên kiến trúc BiLSTM cho bài toán nhận dạng thực thể có tên (NER) trên văn bản tiếng Việt chuyên ngành y sinh còn rất hiếm; tập dữ liệu chuẩn cho thực thể y sinh tiếng Việt thời điểm đó chưa hoàn thiện.
Cơ sở lý thuyết và phương pháp nghiên cứu
Cơ sở lý thuyết và khung phân tích
Luận án vận dụng các lý thuyết và khung phân tích chuẩn:
- Khung hệ thống HMSĐ chuẩn của Z. Chen và B. Liu (2016, 2018): Bao gồm 6 thành phần: Bộ quản lý tác vụ (Task Manager - TM), Bộ học dựa trên tri thức (Knowledge-Based Learner - KBL), Bộ khai phá tri thức hướng tác vụ (Task-based Knowledge Miner - TKM), Cơ sở tri thức (Knowledge Base - KB, gồm Kho tri thức quá khứ PIS, Kho siêu tri thức MKS, Bộ khai phá siêu tri thức MKM và Bộ suy luận tri thức KR), Mô hình đầu ra và Ứng dụng thực tiễn.
- Khung chắt lọc tri thức (Knowledge Distillation - KD): Dựa trên mô hình giáo viên – học sinh (Teacher-Student Framework) của G. Hinton và cộng sự (2015), C. Buciluǎ và cộng sự (2006). Tri thức từ mô hình giáo viên cồng kềnh (huấn luyện từ các tác vụ quá khứ) được chuyển giao sang mô hình sinh viên gọn nhẹ của tác vụ hiện tại.
- Lý thuyết mô hình hóa chủ đề: Mô hình sinh đồ thị xác suất LDA, mô hình khai phá tập mục phổ biến nhiều ngưỡng hỗ trợ tối thiểu (MIS-FIM) để trích xuất tri thức phải-đi-cùng (must-link) và không-thể-đi-cùng (cannot-link), mô hình phân bổ Pólya tổng quát (Generalized Pólya Urn - GPU).
- Lý thuyết học sâu cho gán nhãn chuỗi: Mạng nơ-ron hồi quy hai chiều với cổng bộ nhớ dài - ngắn hạn (BiLSTM), mạng tích chập trích xuất đặc trưng ký tự (CNN), tầng nhúng từ tiền huấn luyện fastText, tầng gán nhãn Softmax và Trường ngẫu nhiên có điều kiện (CRF).
Phương pháp nghiên cứu thực tế
Luận án áp dụng phương pháp nghiên cứu hỗn hợp kết hợp phân tích định tính và thực nghiệm định lượng:
- Phân tích định tính: Phân tích hình thức hóa các khái niệm không gian giả thuyết, định nghĩa toán học về độ tương đồng miền ở mức từ vựng, mức từ tốp đầu, mức phân bố chủ đề và mức hiệu năng của bộ phân lớp; xây dựng khung thuật toán và sơ đồ kiến trúc hệ thống.
- Thực nghiệm định lượng: Cài đặt phần mềm, huấn luyện mô hình và đo lường định lượng hiệu năng phân lớp bằng các độ đo thống kê chuẩn: Độ chính xác (Precision - P), Độ hồi tưởng (Recall - R), và Điểm đo hài hòa F1 (Macro-F1).
- Kỹ thuật kiểm định thống kê: Sử dụng kiểm định giả thuyết t một mẫu (one-sample t-test) đối với kỳ vọng quần thể khi chưa biết độ lệch chuẩn trên tập quan sát thực nghiệm để kiểm chứng tính vượt trội có ý nghĩa thống kê của mô hình đề xuất so với mô hình gốc AMC.
- Công cụ và thư viện thực hiện: fastText cho nhúng từ, công cụ VNCoreNLP để phân đoạn từ và gán nhãn từ loại tiếng Việt (POS tagging), bảng nhúng thẻ Penn Treebank POS (OntoNotes v5.0 gồm 56 thẻ), thuật toán tối ưu Gradient Descent (GD) theo lô nhỏ, khởi tạo trọng số theo phân phối Xavier.
Nguồn tư liệu và dữ liệu thực nghiệm
- Dữ liệu phân lớp đa nhãn tiếng Việt: Tập dữ liệu Hotels gồm các đánh giá khách sạn được gán 5 nhãn khía cạnh.
- Dữ liệu phân lớp quan điểm tiếng Anh: Tập dữ liệu chuẩn gồm 20 miền đánh giá sản phẩm của Bing Liu và cộng sự.
- Dữ liệu nhận dạng thực thể y sinh COVID-19 tiếng Việt: Xây dựng mới từ 166 bài viết được chọn lọc kỹ lưỡng theo quy tắc loại trừ nhiễu (loại bỏ bài trùng lặp, bài phi y sinh, bài văn bản pháp quy, bài cảm nhận), thu thập từ VnExpress, Dân trí và Sức khỏe & Đời sống (tháng 2/2020 – tháng 8/2020). Dữ liệu được chia thành hai miền: miền quá khứ (84 bài báo tin tức trực tuyến, 2.360 câu, 3.230 thực thể) và miền hiện tại (82 bài báo cáo khoa học y sinh, 1.269 câu, 1.831 thực thể). Quá trình gán nhãn độc lập bởi hai người gán nhãn đạt chỉ số thỏa thuận liên định giá (IAA) là 0,86 (86%).
Nội dung chính theo từng chương
Chương 1. Khái quát về học máy suốt đời, chắt lọc tri thức và mô hình chủ đề suốt đời
Chương này thiết lập nền tảng lý thuyết cho toàn bộ luận án:
- Trình bày lịch sử tiến hóa từ hệ thống CHILD và EBNN đến hệ thống học đọc Web liên tục NELL với hơn 4.100 tác vụ học tích lũy từ năm 2010.
- Trình bày định nghĩa hình thức về HMSĐ và phân tích 5 đặc điểm cốt lõi: quá trình học liên tục; tích lũy và duy trì tri thức; sử dụng tri thức quá khứ; phát hiện tác vụ mới; và học khi làm việc.
- Phân biệt HMSĐ với 5 kiểu học máy truyền thống: học chuyển giao (Transfer Learning), học đa nhiệm theo lô (Batch Multi-Task Learning), học trực tuyến đơn nhiệm (One-Task Online Learning), học tăng cường (Reinforcement Learning) và học siêu tham số/học meta (Meta-Learning).
- Làm rõ cơ chế của Học thế giới mở (Open-World Learning - nhận biết thực thể ngoài không gian lớp đã biết qua hàm quản lý rủi ro không gian mở) và Học khi làm việc (Learning on the Job - tương tác môi trường để bù đắp tri thức OOKB).
- Trình bày 8 thách thức chính của HMSĐ: tính đúng đắn của tri thức; khả năng áp dụng tri thức; biểu diễn và suy luận tri thức; học đa miền/đa loại tác vụ; học tự tạo động lực; học tự giám sát; học khi làm việc; và hiện tượng quên nghiêm trọng.
- Phân tích cơ chế chắt lọc tri thức và cấu trúc hai mô hình chủ đề suốt đời kinh điển LTM và AMC, chỉ ra thiếu sót then chốt là bỏ qua việc đo độ tương đồng giữa các miền dữ liệu.
Chương 2. Mô hình chủ đề suốt đời miền gần
Chương này đề xuất giải pháp kỹ thuật giải quyết thiếu sót của LTM và AMC:
- Phân tích 4 mô hình chủ đề suốt đời mở rộng gồm RLTM-SK, JUTM-MR, LNTM và LCM.
- Đề xuất mô hình chủ đề suốt đời miền gần CD-AMC (Close Domain - AMC): Chỉ trích xuất tri thức must-link và cannot-link từ các miền quá khứ thỏa mãn điều kiện "gần" với miền hiện tại. Định nghĩa miền gần dựa trên ba mức: mức từ vựng (Vocabulary level), mức từ tốp đầu (Top-word level) và mức phân bố chủ đề (Topic level).
- Đề xuất biến thể CCD-AMC (Classifier-based CD-AMC): Xác định miền gần dựa trên độ chính xác của các bộ phân lớp văn bản huấn luyện từ miền quá khứ khi áp dụng sang dữ liệu miền hiện tại.
- Triển khai thực nghiệm mô hình CD-AMC trên bài toán phân lớp đa nhãn tập dữ liệu Hotels tiếng Việt. Kết quả chứng minh CD-AMC vượt trội so với LDA và AMC cả về Precision, Recall và F1, đặc biệt phát huy hiệu quả cao khi tập dữ liệu hiện tại có kích thước nhỏ. Kiểm định t một mẫu trên 20 quan sát khẳng định mức cải thiện của CD-AMC so với AMC có ý nghĩa thống kê ($p < 0,05$).
- Triển khai thực nghiệm CCD-AMC trên 20 miền đánh giá sản phẩm tiếng Anh kết hợp 4 thuật toán phân lớp (Cây quyết định, Naive Bayes, k-NN, MLP), kết quả chứng minh việc chọn lọc miền quá khứ thông qua bộ phân lớp giúp giảm nhiễu tri thức tiêu cực đáng kể.
Chương 3. Mô hình chủ đề suốt đời miền gần hướng đích
Chương này tích hợp mô hình chủ đề miền gần với phân tích quan điểm hướng khía cạnh:
- Nghiên cứu mô hình chủ đề hướng đích TTM (Targeted Topic Model) của S. Wang và cộng sự (2019), phân tích cơ chế phân tách các từ thuộc khía cạnh mục tiêu và từ thể hiện quan điểm.
- Đề xuất mô hình TCD-AMC (Targeted Close Domain - AMC): Kết hợp kỹ thuật lọc miền gần của CD-AMC vào mô hình TTM để dẫn hướng quá trình tạo chủ đề theo các khía cạnh cần phân tích trong miền hiện tại.
- Xây dựng khung phân lớp đa nhãn kết hợp mô hình học sâu CNN với các đặc trưng chủ đề trích xuất từ TCD-AMC.
- Thực nghiệm trên các tập dữ liệu đánh giá văn bản tiếng Việt cho thấy TCD-AMC vượt trội hơn các mô hình chủ đề không hướng đích và mô hình TTM đơn lẻ, đạt độ chính xác phân lớp khía cạnh cao hơn, khẳng định vai trò của việc lọc tri thức cục bộ đúng mục tiêu.
Chương 4. Chắt lọc tri thức học sâu suốt đời và áp dụng vào nhận dạng thực thể y sinh tiếng Việt
Chương này giải quyết bài toán nhận dạng thực thể có tên (NER) trên văn bản y sinh tiếng Việt:
- Điểm lại 5 mô hình liên quan: MTM-STM, mô hình chắt lọc đa hạt, mô hình học liên tục NER, DeepLML-NER trên tiếng Việt (VLSP2018 và Dân Trí), và mô hình COVID-19 NER 10 nhãn của Thinh Hung Truong và cộng sự (2021).
- Đề xuất mô hình BiLSTM-KD-NER: Kiến trúc mô hình giáo viên – sinh viên chắt lọc tham số học sâu suốt đời. Mô hình biểu diễn đầu vào tích hợp 3 luồng: nhúng từ fastText, nhúng mức ký tự bằng mạng CNN và nhúng thẻ từ loại POS.
- Bộ nhớ tham số BiLSTM quá khứ đóng vai trò giáo viên, chuyển giao trạng thái ẩn chắt lọc $\tilde{h}_t$ kết hợp với trạng thái ẩn hiện tại $h_t$ thông qua trọng số học $\lambda$:
$$h_t = h_t \oplus \lambda \tilde{h}_t$$
- Đầu ra phân lớp áp dụng hàm mất mát entropy chéo có chính quy hóa $L_2$, kết hợp dự đoán chắt lọc từ mô hình giáo viên theo ngưỡng tin cậy heuristic $\alpha$ và tập luật khử xung đột nhãn BIO.
- Xây dựng bộ nhãn y sinh BIO gồm 7 nhãn: B-DIS, I-DIS (Bệnh - Disease), B-CHE, I-CHE (Hóa chất/Thuốc - Chemical), B-TRM, I-TRM (Điều trị - Treatment) và O (Ngoài thực thể).
| Đặc điểm tập dữ liệu y sinh |
Miền quá khứ (Tin tức trực tuyến) |
Miền hiện tại (Báo cáo khoa học) |
| Số tài liệu |
84 |
82 |
| Số câu |
2.360 |
1.269 |
| Thực thể Hóa chất / Thuốc (CHE) |
437 |
228 |
| Thực thể Bệnh (DIS) |
2.134 |
1.171 |
| Thực thể Điều trị (TRM) |
659 |
432 |
| Tổng số thực thể |
3.230 |
1.831 |
| Độ dài trung bình thực thể CHE |
1,826 |
1,842 |
| Độ dài trung bình thực thể DIS |
1,862 |
1,762 |
| Độ dài trung bình thực thể TRM |
2,150 |
2,009 |
- Kết quả thực nghiệm so sánh hiệu năng hệ thống trên tập dữ liệu kiểm thử y sinh tiếng Việt được tổng hợp trong bảng sau:
| Mô hình thử nghiệm |
DISEASE (F1 %) |
CHEMICAL (F1 %) |
TREATMENT (F1 %) |
Trung bình vĩ mô P (%) |
Trung bình vĩ mô R (%) |
Trung bình vĩ mô F1 (%) |
| CRF |
78,69 |
75,54 |
76,07 |
78,35 |
75,50 |
76,77 |
| RNN |
81,59 |
80,49 |
80,97 |
84,53 |
77,93 |
81,02 |
| LSTM |
85,14 |
83,40 |
82,27 |
86,04 |
81,30 |
83,60 |
| BiLSTM |
87,72 |
84,82 |
81,47 |
87,59 |
82,07 |
84,67 |
| BiLSTM (+ dữ liệu tăng cường) |
88,22 |
85,42 |
81,80 |
88,00 |
82,59 |
85,15 |
| BiLSTM-CRF |
88,97 |
85,82 |
83,04 |
86,34 |
85,65 |
85,94 |
| BiLSTM-CRF (+ dữ liệu tăng cường) |
90,11 |
85,91 |
83,25 |
86,87 |
85,98 |
86,42 |
| BiLSTM-KD-NER (Luận án) |
90,95 |
88,38 |
84,97 |
91,30 |
85,27 |
88,10 |
| BiLSTM-KD-NER (+ CRF) |
90,71 |
88,64 |
84,59 |
91,56 |
84,78 |
87,98 |
| BiLSTM-KD-NER (loại bỏ chắt lọc BiLSTM) |
89,05 |
86,00 |
82,90 |
89,63 |
82,81 |
85,98 |
| BiLSTM-KD-NER (loại bỏ dự đoán chắt lọc) |
88,82 |
86,31 |
82,89 |
88,97 |
83,39 |
86,01 |
- Thực nghiệm kiểm chứng đóng góp từng thành phần (ablation study) cho thấy việc loại bỏ chắt lọc tham số BiLSTM làm F1 giảm 2,12%; loại bỏ dự đoán chắt lọc làm F1 giảm 2,09%.
- Thực nghiệm thay đổi tỷ lệ kích thước dữ liệu quá khứ (từ 10% đến 100%) chứng minh hiệu năng F1 tăng tuyến tính thuận theo quy mô tri thức quá khứ được tích lũy.
- Thực nghiệm thay đổi ngưỡng quyết định $\alpha$ cho thấy giá trị $\alpha = 0,85$ đem lại kết quả tối ưu; việc tăng ngưỡng quá cao sát 1,0 khiến mô hình mất đi lợi thế chắt lọc và suy giảm về mức tương đương mô hình cơ sở.
Kết quả và những đóng góp mới
Luận án tự xác định các đóng góp mới về mặt lý luận khoa học và thực tiễn kỹ thuật gồm:
Về mặt lý luận khoa học:
- Đề xuất thuật toán và mô hình chủ đề suốt đời miền gần CD-AMC phát triển từ AMC, phá vỡ giả định truyền thống về tính hữu ích đồng đều của mọi miền quá khứ. Luận án đưa ra hai phương thức xác định miền gần: dựa trên khoảng cách phân bố từ vựng – chủ đề (CD-AMC) và dựa trên độ chính xác của các bộ phân lớp văn bản quá khứ (CCD-AMC).
- Đề xuất mô hình chủ đề suốt đời miền gần hướng đích TCD-AMC, tích hợp thành công nguyên lý lọc miền gần vào mô hình chủ đề hướng đích TTM nhằm phục vụ trích xuất khía cạnh văn bản có định hướng.
- Thiết lập khung kiến trúc học sâu suốt đời chắt lọc tri thức BiLSTM-KD-NER, hình thức hóa quy trình chuyển giao đồng thời hai kênh tri thức: tham số biểu diễn ẩn của mạng nơ-ron hồi quy hai chiều và phân phối xác suất dự đoán của bộ phân lớp thực thể.
Về mặt thực tiễn và ứng dụng:
- Đóng góp bộ dữ liệu thực nghiệm gán nhãn thực thể y sinh tiếng Việt chuyên biệt về dịch bệnh COVID-19 gồm 166 tài liệu phân tách thành hai miền rõ rệt (tin tức và báo cáo khoa học) với 5.061 thực thể thuộc 3 lớp (Bệnh, Hóa chất/Thuốc, Điều trị), đạt độ tin cậy kiểm định liên định giá IAA = 0,86.
- Xây dựng và kiểm chứng các quy trình phần mềm thực thi mô hình CD-AMC, CCD-AMC và BiLSTM-KD-NER trên dữ liệu thực tế tiếng Việt và tiếng Anh, chứng minh tính hiệu quả vượt trội khi miền dữ liệu hiện tại bị hạn chế về số lượng mẫu huấn luyện.
Kiến nghị và giải pháp kỹ thuật đề xuất:
- Khi áp dụng mô hình chủ đề suốt đời vào các tập dữ liệu đa miền, bắt buộc phải triển khai bước lọc miền gần để loại bỏ các miền quá khứ có độ tương quan thấp nhằm tránh hiện tượng chuyển giao tri thức tiêu cực (negative transfer).
- Trong các bài toán xử lý chuỗi y sinh tiếng Việt với tài nguyên nhãn hạn chế, nên sử dụng cơ chế chắt lọc tham số nơ-ron kết hợp ngưỡng tin cậy heuristic thay vì ghép thêm tầng giải mã CRF truyền thống, vì cơ chế chắt lọc tham số đã có khả năng duy trì tính liên kết ngữ cảnh nội tại.
Hạn chế và hướng nghiên cứu tiếp
Hạn chế của luận án:
- Ngưỡng quyết định chắt lọc $\alpha$ trong mô hình BiLSTM-KD-NER hiện vẫn phải dò tìm bằng phương pháp thực nghiệm heuristic, chưa có cơ chế tối ưu hóa tự động theo phân phối dữ liệu đầu vào.
- Quy mô tập dữ liệu thực nghiệm y sinh tiếng Việt mới dừng lại ở phạm vi chủ đề COVID-19 với 3 loại thực thể chính (Bệnh, Hóa chất/Thuốc, Điều trị), chưa bao quát toàn bộ các nhóm thực thể lâm sàng phức tạp khác.
- Việc xác định miền gần trong CD-AMC chủ yếu dựa trên các độ đo thống kê văn bản rời rạc, chưa tích hợp các biểu diễn không gian ngữ nghĩa sâu đa tầng.
Định hướng nghiên cứu tiếp theo:
- Mở rộng kỹ thuật chắt lọc tri thức suốt đời sang các kiến trúc nơ-ron biến đổi tự chú ý (Transformer) như BERT, PhoBERT và các mô hình ngôn ngữ lớn.
- Nghiên cứu cơ chế tự động hóa việc xác định trọng số kết hợp tri thức $\lambda$ và ngưỡng tin cậy $\alpha$ thông qua học tăng cường hoặc học meta.
- Mở rộng quy mô cơ sở tri thức y sinh tiếng Việt cho nhiều nhóm bệnh lý khác nhau, phát triển các tác vụ trích xuất quan hệ ngữ nghĩa y sinh và hệ thống hỏi đáp y tế tự động.
Giá trị tham khảo
Nội dung và kết quả nghiên cứu của luận án có giá trị tham khảo rõ rệt cho các nhóm đối tượng học thuật và ứng dụng:
- Nghiên cứu sinh và học viên cao học ngành Hệ thống thông tin, Khoa học máy tính: Cung cấp tài liệu tổng quan toàn diện, chuẩn mực về lịch sử tiến hóa, khung kiến trúc 6 thành phần và 8 thách thức cốt lõi của học máy suốt đời; là tài liệu tham khảo giá trị về cách thiết kế thực nghiệm kiểm định thống kê t một mẫu để đánh giá mô hình học máy.
- Giảng viên và các nhà nghiên cứu xử lý ngôn ngữ tự nhiên (NLP): Cung cấp giải pháp kỹ thuật cụ thể về mô hình hóa chủ đề có chọn lọc miền (CD-AMC) và kiến trúc chắt lọc tri thức học sâu cho dữ liệu văn bản ít tài nguyên.
- Chuyên gia phát triển hệ thống thông tin y tế và phân tích dữ liệu y sinh: Tham khảo trực tiếp quy trình thu thập, tiền xử lý, bộ quy tắc làm sạch nhiễu và quy chuẩn gán nhãn BIO 7 nhãn cho thực thể y sinh tiếng Việt; khai thác mô hình BiLSTM-KD-NER để xây dựng các công cụ trích xuất thông tin tự động từ y văn tiếng Việt.
Câu hỏi thường gặp
1. Mô hình CD-AMC giải quyết khiếm khuyết cốt lõi nào của các mô hình chủ đề suốt đời LTM và AMC?
Mô hình LTM và AMC vận hành dựa trên giả định mặc định rằng tất cả các miền dữ liệu trong quá khứ đều có liên quan và hữu ích cho miền hiện tại. Trên thực tế, các miền quá khứ có ngữ cảnh khác biệt có thể tạo ra các tri thức phải-đi-cùng và không-thể-đi-cùng sai lệch, gây ra hiện tượng chuyển giao tri thức tiêu cực. CD-AMC khắc phục điểm này bằng cách thiết lập các tiêu chí định lượng để chỉ chọn lọc và chắt lọc tri thức từ các miền quá khứ có độ tương đồng "gần" với miền hiện tại (theo mức từ vựng, mức từ tốp đầu hoặc mức phân bố chủ đề).
2. Dữ liệu thực nghiệm y sinh COVID-19 tiếng Việt được xây dựng với những đặc trưng và quy chuẩn gán nhãn nào?
Dữ liệu gồm 166 bài viết chọn lọc từ VnExpress, Dân trí và Sức khỏe & Đời sống, được chia thành hai miền độc lập: miền quá khứ (84 tin tức trực tuyến, 2.360 câu, 3.230 thực thể) và miền hiện tại (82 báo cáo khoa học, 1.269 câu, 1.831 thực thể). Bộ nhãn sử dụng sơ đồ BIO gồm 7 nhãn cho 3 loại thực thể: Bệnh (B-DIS, I-DIS), Hóa chất/Thuốc (B-CHE, I-CHE) và Điều trị (B-TRM, I-TRM). Quy trình gán nhãn độc lập bởi hai chuyên viên đạt độ nhất quán liên định giá IAA = 0,86 (86%).
3. Hiệu năng của mô hình BiLSTM-KD-NER vượt trội như thế nào so với các mô hình đường cơ sở?
Theo kết quả thực nghiệm trung bình vĩ mô, BiLSTM-KD-NER đạt độ chính xác P = 91,30%, độ hồi tưởng R = 85,27% và F1 = 88,10%. Điểm F1 này vượt trội hơn so với CRF (76,77%), RNN (81,02%), LSTM (83,60%), BiLSTM (84,67%), BiLSTM có tăng cường dữ liệu (85,15%), và BiLSTM-CRF có tăng cường dữ liệu (86,42%). Cụ thể trên từng nhãn thực thể, F1 đạt 90,95% cho Bệnh, 88,38% cho Hóa chất/Thuốc và 84,97% cho Điều trị.
4. Tại sao việc bổ sung tầng CRF vào mô hình BiLSTM-KD-NER không làm tăng hiệu năng tổng thể?
Khi tích hợp thêm CRF vào sau BiLSTM-KD-NER để sửa lỗi các nhãn B-, I- không liên tiếp, độ chính xác tăng nhẹ 0,26% (từ 91,30% lên 91,56%), nhưng độ hồi tưởng giảm từ 85,27% xuống 84,78%, dẫn đến điểm F1 tổng thể giảm 0,12% (từ 88,10% xuống 87,98%). Nguyên nhân là cấu trúc chắt lọc tham số BiLSTM kết hợp tập luật heuristic đã học và duy trì đủ chặt chẽ các ràng buộc chuỗi; việc ép thêm ràng buộc chuyển trạng thái cứng của CRF vô tình loại bỏ một số dự đoán thực thể biên hợp lệ.
5. Ngưỡng tin cậy chắt lọc $\alpha$ tác động như thế nào đến chất lượng phân lớp của mô hình?
Khi thay đổi ngưỡng tin cậy dự đoán chắt lọc $\alpha$ từ 0,5 đến 1,0, hiệu năng F1 của cả ba loại thực thể có xu hướng tăng dần và đạt đỉnh tối ưu tại ngưỡng $\alpha = 0,85$. Nếu tiếp tục tăng ngưỡng từ 0,85 lên 1,0, điểm F1 suy giảm nhanh và quay về xấp xỉ mức của mô hình BiLSTM cơ sở, do ngưỡng quá khắt khe đã loại bỏ gần như toàn bộ tri thức chắt lọc từ mô hình giáo viên.
Kết luận
Luận án tiến sĩ của Nguyễn Thị Chăm đã giải quyết thỏa đáng vấn đề chắt lọc tri thức trong học máy suốt đời đối với dữ liệu văn bản thông qua hai đóng góp kỹ thuật trọng tâm: mô hình chủ đề suốt đời miền gần (CD-AMC, CCD-AMC, TCD-AMC) và mô hình học sâu suốt đời chắt lọc tham số nơ-ron BiLSTM-KD-NER. Các kết quả thực nghiệm định lượng trên tập dữ liệu tiếng Anh và tiếng Việt, đặc biệt là tập dữ liệu y sinh COVID-19 xây dựng mới, đã chứng minh tính hiệu quả vượt trội của các mô hình đề xuất so với các mô hình truyền thống cùng loại. Công trình đóng góp cơ sở lý luận vững chắc về việc chọn lọc tri thức cục bộ trong học liên tục và mở ra tiềm năng ứng dụng thiết thực trong các hệ thống khai phá văn bản chuyên ngành tại Việt Nam.
