Tổng quan về luận án

Trong kỷ nguyên trí tuệ nhân tạo đương đại, các mô hình học máy truyền thống thường vận hành dưới giả định không gian khép kín (closed-world assumption) và học tập cô lập (isolated learning), đòi hỏi tập dữ liệu huấn luyện lớn và phân phối độc lập, đồng nhất (i.i.d). Khi chuyển giao sang các môi trường động, mô hình đối mặt với hai thách thức cốt tử: suy giảm hiệu năng do thiếu hụt dữ liệu huấn luyện cục bộ và hiện tượng quên nghiêm trọng (catastrophic forgetting). Nhằm giải quyết điểm nghẽn này, luận án tiến sĩ chuyên ngành Hệ thống thông tin (Mã số: 9480104.01) của nghiên cứu sinh Nguyễn Thị Chăm, dưới sự hướng dẫn khoa học của PGS. Hà Quang Thụy tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (2023), tập trung nghiên cứu chuyên sâu về đề tài: "Nghiên cứu kỹ thuật chắt lọc tri thức trong học máy suốt đời áp dụng vào xử lý văn bản".

Luận án định vị trọng tâm vào khoảng trống nghiên cứu (research gap) trọng yếu: các mô hình chủ đề suốt đời tiền nhiệm (Lifelong Topic Models - điển hình như LTM và AMC của Chen & Liu, 2014) luôn áp đặt giả định đồng nhất rằng mọi miền dữ liệu trong quá khứ đều hữu ích và liên quan trực tiếp đến tác vụ hiện tại. Giả định tiên nghiệm này dẫn đến hiện tượng chuyển giao tiêu cực (negative transfer) và lan truyền tri thức lỗi khi các miền quá khứ có độ phân kỳ ngữ nghĩa lớn. Đồng thời, trong không gian học sâu suốt đời (Lifelong Deep Learning), việc chắt lọc tri thức chuỗi dựa trên kiến trúc hồi quy hai chiều (BiLSTM) dành cho các ngôn ngữ đơn lập, giàu tài nguyên thấp như tiếng Việt – đặc biệt trong các miền chuyên sâu như y sinh học – chưa từng được hình thức hóa và thực thi một cách hoàn chỉnh.

Nghiên cứu giải quyết 03 câu hỏi nghiên cứu (Research Questions - RQ) và kiểm chứng 03 giả thuyết khoa học (Hypotheses - H) tương ứng:

  • RQ1: Làm thế nào để nhận diện, chọn lọc chính xác các miền quá khứ tương đồng ("miền gần") và chắt lọc ràng buộc tri thức hữu dụng (must-link và cannot-link) nhằm tối ưu hóa mô hình chủ đề cho tác vụ mới? $\rightarrow$ H1: Việc lọc tri thức dựa trên khoảng cách ngữ nghĩa và bộ phân lớp quá khứ giúp mô hình CD-AMC vượt trội mô hình AMC chuẩn về độ hài hòa $F_1$, đặc biệt khi tập dữ liệu tác vụ hiện tại bị hạn chế về quy mô.
  • RQ2: Làm thế nào để tích hợp tri thức miền gần vào các mô hình chủ đề hướng đích phục vụ phân lớp đa nhãn khía cạnh quan điểm? $\rightarrow$ H2: Khung kết hợp TCD-AMC nâng cao độ chính xác trích xuất khía cạnh văn bản tiếng Việt so với các mô hình chủ đề truyền thống không có cơ chế suốt đời.
  • RQ3: Làm thế nào để chuyển giao đồng thời tham số biểu diễn chuỗi ẩn và phân phối xác suất dự đoán từ mô hình giáo viên (cơ sở tri thức) sang mô hình sinh viên (tác vụ hiện tại) trong nhận dạng thực thể y sinh tiếng Việt? $\rightarrow$ H3: Kiến trúc chắt lọc tri thức hai kênh BiLSTM-KD-NER khắc phục hiện tượng suy giảm hiệu năng do thiếu hụt nhãn và vượt trội các mạng học sâu đơn lẻ.

Khung lý thuyết của luận án tích hợp chặt chẽ giữa Lý thuyết Học máy suốt đời (Lifelong Machine Learning Theory - Mitchell, 1995; Chen & Liu, 2018), Lý thuyết Chắt lọc tri thức (Knowledge Distillation Framework - Hinton et al., 2015; Gou et al., 2021) và Mô hình tạo sinh xác suất (Probabilistic Generative Models - Blei et al., 2003). Đóng góp đột phá của công trình được định lượng cụ thể: giải thuật CD-AMC cải thiện $F_1$-score có ý nghĩa thống kê ($p < 0.05$) so với AMC trên 20 tập quan sát thực nghiệm; mô hình BiLSTM-KD-NER nâng Macro $F_1$ lên 88.10%, vượt mô hình BiLSTM cơ sở 3.43% và BiLSTM-CRF 2.16% trên tập dữ liệu y sinh COVID-19 tiếng Việt gồm 166 tài liệu chuyên sâu với 5,061 thực thể được chuẩn hóa.

Literature Review và Positioning

Tổng quan tài liệu học thuật chỉ ra sự phát triển của học máy suốt đời qua ba làn sóng chính:

  1. Làn sóng khởi thủy (1994–1995): Mitchell (1995) và Thrun (1995) đặt nền móng với mạng nơ-ron giải thích EBNN (Explanation-Based Neural Network), kết hợp học quy nạp và học phân tích nhằm tích lũy tri thức đặc tả miền. Ring (1994) phát triển hệ thống CHILD phục vụ học tăng dần, phân cấp và liên tục cho robot tự trị.
  2. Làn sóng kiến trúc mở rộng và hệ thống liên tục (2010–2018): Carlson et al. (2010) và Mitchell et al. (2018) hiện thực hóa hệ thống học ngôn ngữ không dừng NELL (Never-Ending Language Learner), tích lũy hơn 120 triệu niềm tin (beliefs) qua hơn 4,100 tác vụ học tự giám sát. Silver et al. (2013) và Liu (2018) chuẩn hóa khung kiến trúc HMSĐ gồm Bộ quản lý tác vụ (Task Manager), Cơ sở tri thức (Knowledge Base), và Bộ học dựa trên tri thức (Knowledge-Based Learner).
  3. Làn sóng học chủ đề suốt đời và chắt lọc mạng nơ-ron (2014–nay): Chen & Liu (2014) giới thiệu mô hình LTM và AMC, sử dụng thuật toán khai phá tập mục phổ biến (Frequent Itemset Mining - FIM) và mô hình Pólya Urn tổng quát (GPU) để sinh tự động tri thức phải-đi-cùng (must-link) và không-thể-đi-cùng (cannot-link). Wang et al. (2019) mở rộng với mô hình chủ đề hướng đích TTM phục vụ phân lớp đa nhãn khía cạnh.
                         [KHÔNG GIAN LÝ THUYẾT & LITERATURE POSITIONING]
       Mô hình chủ đề truyền thống                 Mô hình học máy suốt đời (HMSĐ)
       (LDA - Blei et al., 2003)                   (NELL - Mitchell et al., 2018)
                  \                                              /
                   \                                            /
                    v                                          v
      Lifelong Topic Models cổ điển                Chắt lọc tri thức học sâu
       (LTM, AMC - Chen & Liu, 2014)               (KD - Hinton et al., 2015)
           [Giả định: Mọi miền quá                       [Ứng dụng: Nhận dạng thực thể
            khứ đều liên quan]                            chuỗi MTM-STM, Wu et al., 2020]
                    \                                            /
                     \                                          /
                      +-------------------+--------------------+
                                          |
                                          v
                       [ĐỊNH VỊ ĐỘT PHÁ CỦA LUẬN ÁN (2023)]
                    1. Khái niệm Miền gần (Close Domain): CD-AMC, CCD-AMC
                    2. Mô hình chủ đề hướng đích miền gần: TCD-AMC
                    3. Chắt lọc hai kênh tham số & dự đoán: BiLSTM-KD-NER

Luận án giải quyết trực tiếp cuộc tranh luận học thuật giữa hai trường phái:

  • Trường phái chuyển giao toàn thể (Omni-domain Transfer) của Chen & Liu (2014), vốn tận dụng mọi tri thức tích lũy từ toàn bộ $N$ tác vụ quá khứ mà không thiết lập cơ chế kiểm soát ngữ cảnh;
  • Trường phái cảnh báo phân kỳ (Divergence-aware Hypothesis) của Zhiyuan Chen (2015), lập luận rằng cần sử dụng phân kỳ Jensen-Shannon (JS-Divergence) để sàng lọc miền nguồn, nhưng chưa thể hiện thực hóa thành mô hình toán học và thuật toán cụ thể.

Luận án khẳng định vị thế học thuật bằng việc vượt qua 02 nghiên cứu quốc tế điển hình:

  • So với mô hình AMC của Chen & Liu (2014), giải thuật CD-AMC của luận án loại bỏ tri thức rác từ các miền xa lạ, ngăn ngừa chuyển giao âm và cải thiện độ chính xác phân lớp trên tập dữ liệu đánh giá sản phẩm đa miền.
  • So với mô hình chắt lọc NER Teacher-AddNER/Teacher-ExtendNER của Wu et al. (2020) và MTM-STM của Gou et al. (2021), mô hình BiLSTM-KD-NER của luận án không chỉ chắt lọc phân phối xác suất lớp mềm (soft labels) mà còn đồng hóa trực tiếp trạng thái ẩn cục bộ ($\tilde{h}_t$) của mạng BiLSTM giáo viên kết hợp vector đặc trưng đa tầng (Word-Char-POS embeddings).

Đóng góp lý thuyết và khung phân tích

Đóng góp cho lý thuyết

Luận án mở rộng Lý thuyết Học máy suốt đời (Liu, 2018) và Lý thuyết Biểu diễn không gian giả thuyết (Mitchell, 1997) thông qua việc phát biểu và chứng minh định lý về không gian miền gần. Luận án trích dẫn nguyên văn cơ sở triết lý của Liu (2018): "Có ba lý do áp dụng HMSĐ vào các miền dữ liệu văn bản: (i) các từ và cụm từ gần như có nghĩa tương tự trong mọi miền ứng dụng và mọi bài toán, (ii) các câu trong mọi miền có cùng cú pháp hoặc ngữ pháp, (iii) hầu như tất cả các bài toán khai phá văn bản liên quan chặt chẽ với nhau, chúng liên kết và tác động lẫn nhau theo một số cách thức nào đó".

                                [MÔ HÌNH HÓA TOÁN HỌC CD-AMC]
+-----------------------------------------------------------------------------------------+
|  1. ĐO ĐỘ TƯƠNG ĐỒNG MIỀN:                                                               |
|     - Mức từ vựng (Vocabulary):     Sim_V(D_k, D_{N+1}) = |V_k \cap V_{N+1}| / |V_{N+1}| |
|     - Mức từ tốp đầu (Top-words):   Sim_W(D_k, D_{N+1}) = |W_k \cap W_{N+1}| / |W_{N+1}| |
|     - Mức chủ đề (Topic):           Sim_T(D_k, D_{N+1}) = |T_k \cap T_{N+1}| / |T_{N+1}| |
|  2. TIÊU CHÍ MIỀN GẦN (Close Domain):                                                   |
|     D_k \in CloseDomains(D_{N+1}) \iff Sim_V \ge \theta_v \land Sim_W \ge \theta_w       |
|  3. CHẮT LỌC TRI THỨC RÀNG BUỘC TỪ MIỀN GẦN:                                           |
|     - Khai phá Must-Link (FIM):     \mathcal{M} = \text{MIS-FIM}(\{CloseDomains\})      |
|     - Khai phá Cannot-Link (KL-D):  \mathcal{C} = \text{Extract-Cannot}(\{CloseDomains\})|
|  4. TỐI ƯU HÓA PHÂN PHỐI CHỦ ĐỀ VỚI GENERAL PÓLYA URN (GPU):                            |
|     Cập nhật phân phối Dirichlet-Multinomial với ma trận liên kết tri thức \mathcal{M}   |
+-----------------------------------------------------------------------------------------+

Mô hình lý thuyết thiết lập 03 mệnh đề cốt lõi:

  • Mệnh đề 1 (Giới hạn miền gần): Hiệu năng mô hình chủ đề trên miền đích $D_{N+1}$ tỷ lệ thuận với mức độ tương đồng ngữ nghĩa phân rã đa tầng (từ vựng, từ khóa, chủ đề) của tập con các miền nguồn $\mathcal{D}{close} \subset \mathcal{D}{past}$.
  • Mệnh đề 2 (Tính bất biến của biểu diễn tuần tự): Trong cấu trúc câu tiếng Việt, các đặc trưng ngữ pháp cục bộ (POS) và hình thái từ (Character n-grams) bảo tồn thông tin ngữ cảnh y sinh học qua các miền văn bản tin tức và báo cáo chuyên ngành.
  • Mệnh đề 3 (Bảo toàn tri thức chắt lọc): Hàm mất mát phạt entropy chéo kết hợp chính quy hóa L2 và trọng số thích ứng $\lambda \in [0, 1]$ kiểm soát hiện tượng trôi dạt gradient, bảo vệ mạng sinh viên khỏi suy thoái hiệu năng.

Khung phân tích độc đáo

Khung phân tích của luận án tích hợp liên hoàn 03 lý thuyết nền tảng: (1) Lý thuyết Phân bổ Dirichlet Ẩn (LDA/GPU), (2) Lý thuyết Chắt lọc Tri thức Giáo viên - Sinh viên (Teacher-Student KD), và (3) Lý thuyết Biểu diễn Ngôn ngữ Hồi quy (Recurrent Sequence Representation).

                      [KHUNG PHÂN TÍCH TỔNG THỂ CỦA LUẬN ÁN]
                                       |
    +----------------------------------+----------------------------------+
    |                                                                     |
    v                                                                     v
[MÔ HÌNH CHỦ ĐỀ SUỐT ĐỜI MIỀN GẦN]                  [HỌC SÂU CHẮT LỌC TRI THỨC SUỐT ĐỜI]
    |                                                                     |
    +---> CD-AMC (Đo tương đồng V-W-T)                                   +---> fastText + CNN Char + POS
    +---> CCD-AMC (Bộ phân lớp quá khứ)                                  +---> BiLSTM Kênh đôi (Song hành)
    +---> TCD-AMC (Chủ đề hướng đích TTM)                                +---> Phân lớp Softmax + Heuristic Threshold

Khung phân tích thiết lập điều kiện biên chặt chẽ: phương pháp miền gần vận hành tối ưu khi tập từ vựng của miền hiện tại có tỷ lệ giao thoa mức từ khóa tốp đầu $Sim_W \ge 0.35$; kiến trúc BiLSTM-KD-NER duy trì tính vững khi ngưỡng dự đoán chắt lọc $\alpha$ được kiểm soát nghiêm ngặt trong khoảng $[0.80, 0.85]$.

Phương pháp nghiên cứu tiên tiến

Thiết kế nghiên cứu

Luận án tuân thủ thế giới quan thực chứng hậu kỳ (post-positivism) kết hợp kỹ thuật tính toán thực nghiệm (computational empiricism). Phương pháp nghiên cứu kết hợp chặt chẽ giữa:

  • Phân tích định tính hình thức: Chuẩn hóa không gian giả thuyết, định nghĩa toán học cấu trúc miền gần, và phân tích quan hệ phụ thuộc giữa các thành phần tri thức;
  • Nghiên cứu định lượng thực nghiệm: Xây dựng thuật toán, triển khai huấn luyện hệ thống, và thực hiện kiểm định giả thuyết thống kê nghiêm ngặt trên các tập ngữ liệu đa miền.

Thiết kế nghiên cứu đa tầng bao quát từ mức từ vị (token-level), mức câu (sentence-level) đến mức văn bản/miền (document/domain-level).

Quy trình nghiên cứu rigorous

Quy trình thu thập và xử lý dữ liệu thực nghiệm được thực hiện qua các giao thức chuẩn hóa cao độ:

  1. Thu thập dữ liệu y sinh COVID-19 tiếng Việt: Khảo sát nguồn tài nguyên từ 03 báo điện tử uy tín hàng đầu (VnExpress, Dân trí, Sức khỏe & Đời sống). Áp dụng bộ lọc 09 tiêu chí loại trừ nghiêm ngặt (loại bỏ bài trùng lặp, bài thống kê số ca/lịch trình di chuyển, văn bản pháp quy, bài xã luận không chứa thông tin lâm sàng). Tập dữ liệu chọn lọc gồm 166 bài viết y sinh chuyên sâu.
  2. Giao thức gán nhãn chuỗi BIO: Phân định 07 nhãn thực thể y sinh: B-DIS/I-DIS (Bệnh), B-CHE/I-CHE (Hóa chất/Thuốc), B-TRM/I-TRM (Phương pháp điều trị), và O (Ngoài thực thể). Gán nhãn ưu tiên đoạn dài nhất đối với các thực thể chồng lấn (overlapping entities).
  3. Kiểm định độ tin cậy gán nhãn (Inter-Annotator Agreement - IAA): Quá trình gán nhãn được 02 chuyên viên thực hiện song song, độc lập. Hệ số tin cậy F-chéo đạt $IAA = 0.86$ (86%), khẳng định tính nhất quán và độ tin cậy vượt bậc của tập dữ liệu chuẩn.
                           [QUY TRÌNH CHẮT LỌC HAI KÊNH BiLSTM-KD-NER]
                      Câu đầu vào: Day <xét_nghiệm, máu, cho, kết_quả, dương_tính>
                                             |
             +-------------------------------+-------------------------------+
             |                                                               |
             v                                                               v
   [KÊNH MÔ HÌNH CHÍNH (Sinh viên)]                             [KÊNH CHẮT LỌC (Giáo viên - KB)]
   Vector đặc trưng: x_i = tanh([x^w + x^c + x^p]W + b)         Vector đặc trưng x_i từ tập huấn luyện
             |                                                               |
             v                                                               v
   Mạng BiLSTM hiện tại: h_t                                    Mạng BiLSTM quá khứ: \tilde{h}_t
             |                                                               |
             +-------------------------------+-------------------------------+
                                             |
                                             v
                         Trạng thái ẩn kết hợp: h_t^{final} = h_t \oplus \lambda \tilde{h}_t
                                             |
                                             v
                         Mạng Perceptron Đa tầng (MLP) & Softmax Classifier
                                             |
                                             v
                         Lọc dự đoán theo ngưỡng Heuristic (\alpha = 0.85)
                                             |
                                             v
                         Nhãn thực thể cuối cùng: <B-TRM, I-TRM, O, O, B-DIS>

Data và phân tích

Đặc tính phân bố tập dữ liệu thực nghiệm nhận dạng thực thể y sinh tiếng Việt được lượng hóa chi tiết:

Miền dữ liệu Loại tài liệu Số tài liệu Số câu Thực thể CHE Thực thể DIS Thực thể TRM Tổng thực thể Độ dài TB thực thể
Miền quá khứ ($D_{past}$) Tin tức y tế trực tuyến 84 2,360 437 2,134 659 3,230 1.95 từ
Miền hiện tại ($D_{curr}$) Báo cáo khoa học chuyên ngành 82 1,269 228 1,171 432 1,831 1.87 từ

Kỹ thuật phân tích và môi trường triển khai:

  • Công cụ tiền xử lý: VnCoreNLP thực hiện phân đoạn câu, tách từ tiếng Việt và gán nhãn từ loại POS theo chuẩn Penn Treebank 56 nhãn của OntoNotes v5.0;
  • Biểu diễn từ vựng đa tầng: Kết hợp ma trận nhúng từ tiền huấn luyện fastText không gian $d_w$, mạng nơ-ron tích chập CNN trích xuất nhúng ký tự $d_c$, và ma trận nhúng từ loại ngẫu nhiên $T_p \in \mathbb{R}^{d_p \times 56}$;
  • Tối ưu hóa và hàm mục tiêu: Huấn luyện thông qua hàm mất mát phạt entropy chéo kết hợp số hạng chính quy hóa: $$L(\Theta) = -\sum_{i=1}^N \hat{y}_i \log \hat{p}_i + \lambda |\Theta|^2$$ Trọng số $\Theta$ được khởi tạo theo phân phối chuẩn Xavier và tối ưu hóa bằng giải pháp giảm dần độ dốc theo lô nhỏ (Mini-batch Gradient Descent).
  • Kiểm định tính vững (Robustness & Validation): Tiến hành xác thực chéo 5 lần (5-fold cross validation), lặp lại 10 lần với các giá trị mầm ngẫu nhiên (random seeds) khác nhau và lấy giá trị kỳ vọng trung bình.

Phát hiện đột phá và implications

Những phát hiện then chốt

Kết quả thực nghiệm của luận án cung cấp bằng chứng định lượng vững chắc trên các phương diện đánh giá hiệu năng:

          [SO SÁNH HIỆU NĂNG MACRO F1 GIỮA CÁC MÔ HÌNH NHẬN DẠNG THỰC THỂ]
  100% +-----------------------------------------------------------------------+
       |                                                               88.10%  |
   90% |                                               85.94%          +-----+ |
       |                               84.67%          +-----+         |     | |
   80% |               81.02%          +-----+         |     |         |     | |
       |   76.77%      +-----+         |     |         |     |         |     | |
   70% |   +-----+     |     |         |     |         |     |         |     | |
       |   | CRF |     | RNN |         |BiLSTM|        |BiLSTM+CRF|   |ĐỀ XUẤT|
    0% +---+-----+-----+-----+---------+-----+---------+-----+---------+-----+---+
           CRF         RNN             BiLSTM          BiLSTM+CRF      BiLSTM-KD-NER
  1. Hiệu năng vượt trội toàn diện của BiLSTM-KD-NER: Mô hình đạt Macro $F_1$ tổng thể 88.10% (Precision: 91.30%, Recall: 85.27%). Xét trên từng loại thực thể chuyên ngành:
    • Thực thể Bệnh (DISEASE): $F_1 = \mathbf{90.95%}$ (Precision 90.68%, Recall 91.21%);
    • Thực thể Hóa chất/Thuốc (CHEMICAL): $F_1 = \mathbf{88.38%}$ (Precision 95.27%, Recall 82.41%);
    • Thực thể Điều trị (TREATMENT): $F_1 = \mathbf{84.97%}$ (Precision 87.95%, Recall 82.19%).
  2. Ưu thế tuyệt đối so với các baseline học sâu: Mô hình BiLSTM-KD-NER vượt trội mô hình mạng nơ-ron hồi quy RNN (+7.08% $F_1$), vượt mô hình BiLSTM cơ sở (+3.43% $F_1$), và vượt cấu hình BiLSTM-CRF mạnh nhất (+2.16% $F_1$).
  3. Phát hiện nghịch đảo (Counter-intuitive Finding) về tầng CRF: Khi tích hợp thêm tầng CRF vào sau kiến trúc BiLSTM-KD-NER nhằm sửa lỗi nhãn gán không liên tiếp, hiệu năng tổng thể suy giảm $0.12%$ $F_1$ (từ 88.10% xuống 87.98%), do độ hồi tưởng (Recall) sụt giảm mạnh từ 85.27% xuống 84.78%. Điều này chứng minh cơ chế chắt lọc tri thức kết hợp ngưỡng heuristic $\alpha$ đã đảm bảo tính trơn ngữ nghĩa chuỗi tốt hơn bộ phân lớp CRF truyền thống.
  4. Đóng góp thành phần qua thực nghiệm bóc tách (Ablation Study): Việc loại bỏ kênh chắt lọc tham số BiLSTM làm suy giảm 2.12% $F_1$; việc loại bỏ kênh chắt lọc dự đoán phân lớp làm suy giảm 2.09% $F_1$. Điều này khẳng định tính bổ trợ song hành không thể thiếu của cấu trúc chắt lọc hai kênh.
  5. Độ nhạy của ngưỡng quyết định heuristic: Ngưỡng tin cậy $\alpha$ đạt điểm tối ưu tại giá trị $\alpha = 0.85$. Khi tăng dần $\alpha \to 1.0$, các tri thức chắt lọc hữu dụng bị triệt tiêu, khiến hiệu năng hệ thống tụt dốc về tương đương mô hình BiLSTM cô lập.

Implications đa chiều

  • Về mặt lý thuyết học máy: Chứng minh tính khả thi của việc giải quyết hiện tượng chuyển giao âm trong học liên tục thông qua việc giới hạn không gian giả thuyết về các "miền gần".
  • Về mặt phương pháp luận: Thiết lập quy trình chắt lọc tri thức kết hợp giữa tham số ẩn biểu diễn chuỗi và phân phối đầu ra, có khả năng tổng quát hóa cho các bài toán gán nhãn chuỗi khác (trích xuất quan hệ, phân tích cú pháp).
  • Về mặt ứng dụng thực tiễn: Cung cấp công cụ trích xuất thông tin tự động phục vụ xây dựng đồ thị tri thức y tế tiếng Việt, hỗ trợ đắc lực cho các hệ thống hỏi đáp y học lâm sàng và cảnh báo dịch bệnh tự động.
  • Về mặt chính sách y tế số: Đặt nền móng kỹ thuật xử lý dữ liệu phục vụ chuyển đổi số hồ sơ bệnh án điện tử và tổng hợp y văn phục vụ quản lý dịch bệnh quốc gia.

Limitations và Future Research

Luận án thừa nhận 04 giới hạn khoa học cần tiếp tục hoàn thiện:

  1. Phụ thuộc tài nguyên gán nhãn chuyên ngành: Quy mô tập ngữ liệu y sinh COVID-19 giới hạn ở 166 bài báo và 5,061 thực thể do chi phí kiểm định chuyên gia y khoa quá lớn.
  2. Cơ chế suy luận tri thức (Knowledge Reasoner): Cơ sở tri thức của hệ thống CD-AMC và BiLSTM-KD-NER chưa tích hợp công cụ suy luận logic tự động (automated logical inference engine) mức cao như các mạng tri thức quy mô lớn của NELL.
  3. Phạm vi kiến trúc mô hình nền: Nghiên cứu tập trung tối ưu hóa trên kiến trúc nơ-ron hồi quy BiLSTM và mô hình chủ đề xác suất LDA/TTM, chưa mở rộng sang các mô hình ngôn ngữ lớn dựa trên kiến trúc Transformer tự chú ý đa đầu (như PhoBERT, ViT5).
  4. Không gian thực thể cố định: Chưa giải quyết trọn vẹn bài toán trích xuất các thực thể nằm ngoài danh mục định trước (Out-of-Vocabulary / Out-of-Knowledge-Base Entities) trong điều kiện luồng dữ liệu mở hoàn toàn.

Chương trình nghiên cứu 5–10 năm tiếp theo định hướng 04 mũi nhọn:

  • Mở rộng kỹ thuật chắt lọc tri thức suốt đời sang kiến trúc Transformer và mô hình ngôn ngữ lớn (LLM Lifelong Distillation);
  • Xây dựng cơ chế phát hiện tác vụ tự động (Automated Task Discovery) và cơ chế tự sửa sai (Self-Correction Reasoner) trong môi trường dữ liệu mở;
  • Tích hợp học tăng cường suốt đời (Lifelong Reinforcement Learning) trong tương tác người máy để thu nhận tri thức tại chỗ (Learning on the Job);
  • Phát triển kho ngữ liệu chuẩn đa ngữ quy mô lớn cho xử lý ngôn ngữ y sinh khu vực Đông Nam Á.

Tác động và ảnh hưởng

Luận án tạo ra dấu ấn học thuật và giá trị ứng dụng rõ nét:

  • Tác động học thuật: Các kết quả nghiên cứu cốt lõi được công bố trên các tạp chí và hội thảo khoa học chuyên ngành uy tín (thuộc danh mục Scopus/ISI và hội nghị quốc gia chuyên sâu), đóng góp trực tiếp vào dòng nghiên cứu HMSĐ thế giới của các nhóm nghiên cứu tiên phong (Bing Liu - UIC, Eric Eaton - UPenn, Vincenzo Lomonaco - Uni Pisa).
  • Chuyển giao công nghệ y tế: Giải pháp trích xuất thực thể y sinh được chuyển giao thử nghiệm vào các hệ thống quản lý cơ sở dữ liệu y học tại Trường Đại học Y Dược Hải Phòng và các đơn vị nghiên cứu thông tin y sinh học.
  • Lợi ích xã hội: Tự động hóa quá trình tổng hợp báo cáo dịch bệnh, hỗ trợ đội ngũ y bác sĩ rút ngắn 65% thời gian tra cứu triệu chứng và phác đồ điều trị trong các tình huống y tế khẩn cấp.

Đối tượng hưởng lợi

                           [CÁC NHÓM ĐỐI TƯỢNG HƯỞNG LỢI CHÍNH]
                                             |
         +--------------------+--------------+--------------+--------------------+
         |                    |                             |                    |
         v                    v                             v                    v
  [NCS & HỌC GIẢ]       [GIẢNG VIÊN ĐẠI HỌC]         [KỸ SƯ R&D AI]        [BÁC SĨ & Y TẾ SỐ]
  Khai thác framework   Giảng dạy chuyên sâu         Ứng dụng giải thuật   Sử dụng hệ thống trích
  CD-AMC & BiLSTM-KD    về Lifelong Learning         vào NLP tiếng Việt    xuất y sinh tự động
  1. Nghiên cứu sinh và Giới học thuật NLP: Tiếp cận phương pháp luận chuẩn xác về chắt lọc tri thức và mô hình hóa chủ đề suốt đời, tận dụng tập dữ liệu y sinh COVID-19 tiếng Việt làm chuẩn so sánh (benchmark).
  2. Kỹ sư AI và Nhà phát triển hệ thống: Tiếp nhận mã nguồn, quy trình cài đặt thực nghiệm và giải pháp siêu tham số tối ưu để giải quyết bài toán thiếu hụt dữ liệu trên các ngôn ngữ tài nguyên thấp.
  3. Cơ quan Quản lý Y tế và Bệnh viện: Ứng dụng hệ thống trích xuất tự động các thực thể Hóa chất/Thuốc, Bệnh và Phác đồ điều trị vào các nền tảng hồ sơ bệnh án điện tử và giám sát dịch tễ học.

Câu hỏi chuyên sâu

1. Đóng góp lý thuyết độc đáo nhất của luận án là gì và đã mở rộng lý thuyết nào?

Đóng góp lý thuyết độc đáo nhất là khái niệm và cấu trúc không gian miền gần (Close Domain) được tích hợp vào mô hình chủ đề suốt đời CD-AMC và CCD-AMC. Nghiên cứu đã mở rộng trực tiếp Lý thuyết Học máy suốt đời của Chen & Liu (2014, 2018) bằng cách bác bỏ giả định "mọi miền quá khứ đều hữu ích", chính thức hóa giải pháp đo lường khoảng cách miền đa cấp độ (từ vựng, từ khóa, phân lớp) nhằm triệt tiêu hiện tượng chuyển giao âm.

2. Đột phá phương pháp luận của luận án vượt trội các nghiên cứu quốc tế trước đây như thế nào?

So với mô hình AMC (Chen & Liu, 2014) và mô hình chắt lọc thực thể chuỗi MTM-STM (Wu et al., 2020), luận án đề xuất cơ chế chắt lọc tri thức nơ-ron hai kênh đồng thời: kết hợp chuyển giao trọng số biểu diễn chuỗi ẩn cục bộ ($\tilde{h}_t$) của BiLSTM và phân phối nhãn gán mềm có điều kiện lọc qua ngưỡng heuristic $\alpha = 0.85$, giúp mô hình giữ vững tính toàn vẹn ngữ nghĩa tiếng Việt mà không cần phụ thuộc vào tầng điều kiện CRF.

3. Phát hiện bất ngờ nhất từ dữ liệu thực nghiệm là gì?

Phát hiện bất ngờ nhất là sự suy giảm hiệu năng khi kết hợp bộ phân lớp CRF vào mô hình đề xuất BiLSTM-KD-NER (F1 giảm 0.12%, Recall giảm từ 85.27% xuống 84.78%). Trong khi các nghiên cứu truyền thống luôn mặc định BiLSTM-CRF là kiến trúc tối ưu, thực nghiệm của luận án chứng minh rằng tri thức được chắt lọc từ miền quá khứ đã mang đầy đủ tính ràng buộc cấu trúc chuỗi, khiến tầng CRF trở nên dư thừa và gây triệt tiêu độ hồi tưởng.

4. Luận án có cung cấp quy trình tái lập thực nghiệm (Replication Protocol) không?

Có. Luận án cung cấp chi tiết toàn bộ siêu tham số: hàm mất mát cross-entropy với tham số chính quy hóa $\lambda$, bộ nhúng từ fastText, ma trận nhúng từ loại $T_p \in \mathbb{R}^{d_p \times 56}$, phương pháp khởi tạo Xavier, quy trình xác thực chéo 5-fold lặp lại 10 lần qua các seed ngẫu nhiên cố định, và bộ tiêu chí gán nhãn BIO 7 lớp rõ ràng.

5. Luận án phác thảo chương trình nghiên cứu 10 năm tới như thế nào?

Chương trình nghiên cứu dài hạn tập trung giải quyết bài toán: Chuyển đổi mô hình chắt lọc suốt đời sang kiến trúc Large Language Models (LLMs), xây dựng hệ thống tác tử hội thoại tự học tại chỗ (Learning on the Job / Open-World AI) có khả năng tự động cập nhật đồ thị tri thức y sinh học liên tục trong thời gian thực mà không suy giảm trí nhớ dài hạn.

Kết luận

Luận án tiến sĩ của NCS. Nguyễn Thị Chăm đã giải quyết trọn vẹn các mục tiêu khoa học đặt ra với 05 đóng góp cốt lõi:

  1. Đề xuất thành công thuật toán và mô hình chủ đề suốt đời miền gần CD-AMC, giải quyết triệt để bài toán chuyển giao âm từ các miền quá khứ không liên quan;
  2. Phát triển mô hình CCD-AMC xác định miền gần dựa trên bộ phân lớp quá khứ, nâng cao hiệu năng phân loại văn bản đa nhãn và khai phá quan điểm;
  3. Đề xuất mô hình chủ đề suốt đời miền gần hướng đích TCD-AMC, tối ưu hóa quá trình trích xuất khía cạnh quan điểm tiếng Việt;
  4. Xây dựng kiến trúc chắt lọc tri thức học sâu suốt đời BiLSTM-KD-NER, đạt kết quả vượt trội ($F_1 = 88.10%$) trong nhận dạng thực thể y sinh tiếng Việt;
  5. Đóng góp cho cộng đồng khoa học bộ ngữ liệu chuẩn COVID-19 NER tiếng Việt gồm 166 tài liệu chuyên sâu với độ tin cậy $IAA = 0.86$.

Công trình là bước tiến vững chắc đưa các kỹ thuật học máy suốt đời và chắt lọc tri thức tiệm cận với năng lực học tập liên tục tự nhiên của con người, mở ra các hướng phát triển quan trọng cho trí tuệ nhân tạo y tế tại Việt Nam và trên trường quốc tế.