Tổng quan nghiên cứu

Đại dịch COVID-19, bắt đầu từ cuối năm 2019 tại thành phố Vũ Hán, Trung Quốc, đã gây ra ảnh hưởng nghiêm trọng đến sức khỏe cộng đồng và nền kinh tế toàn cầu. Tính đến tháng 10 năm 2021, Việt Nam ghi nhận gần 800 nghìn ca nhiễm trong đợt bùng phát dịch lớn nhất, đặc biệt tại thành phố Hồ Chí Minh và các tỉnh lân cận. Đại dịch đã làm tê liệt hệ thống y tế và gây ra nhiều khó khăn trong công tác phòng chống dịch. Trong bối cảnh đó, ứng dụng trí tuệ nhân tạo, đặc biệt là xử lý ngôn ngữ tự nhiên (NLP), đã trở thành công cụ hỗ trợ đắc lực trong việc khai thác và xử lý thông tin liên quan đến dịch bệnh.

Luận văn tập trung nghiên cứu ứng dụng xử lý ngôn ngữ tự nhiên trong phòng chống dịch COVID-19, với mục tiêu xây dựng hệ thống nhận dạng thực thể được đặt tên (NER) cho tiếng Việt trong lĩnh vực y tế và dịch tễ. Phạm vi nghiên cứu bao gồm việc thu thập, xây dựng tập dữ liệu mới về thực thể liên quan đến COVID-19, áp dụng các mô hình học sâu tiên tiến như PhoBERT và RoBERTa để huấn luyện, thử nghiệm và đánh giá hiệu quả mô hình trên tập dữ liệu này. Nghiên cứu có ý nghĩa quan trọng trong việc nâng cao khả năng tự động hóa khai thác thông tin y tế, hỗ trợ công tác phòng chống dịch bệnh hiệu quả hơn, đồng thời góp phần phát triển các ứng dụng NLP cho tiếng Việt trong lĩnh vực chăm sóc sức khỏe.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn dựa trên các lý thuyết và mô hình chính trong lĩnh vực máy học và xử lý ngôn ngữ tự nhiên. Máy học được phân loại thành các nhóm: học có giám sát, học không giám sát, học bán giám sát, học tăng cường và học chuyển giao. Trong đó, học chuyển giao là trọng tâm, giúp tận dụng các mô hình ngôn ngữ được đào tạo trước để áp dụng cho bài toán nhận dạng thực thể.

Xử lý ngôn ngữ tự nhiên (NLP) là nhánh trí tuệ nhân tạo nghiên cứu tương tác giữa máy tính và ngôn ngữ con người, với các ứng dụng như dịch máy, tóm tắt văn bản, nhận dạng thực thể được đặt tên (NER), phân tích cảm xúc, truy vấn trả lời. NER là bài toán trích xuất và phân loại các thực thể quan trọng trong văn bản như tên người, địa điểm, tổ chức, ngày tháng, đặc biệt trong lĩnh vực y tế là tên bệnh, thuốc, triệu chứng.

Các mô hình học sâu dựa trên kiến trúc Transformer được sử dụng phổ biến, trong đó BERT và các biến thể như RoBERTa, XLM-RoBERTa, PhoBERT là những mô hình ngôn ngữ được đào tạo trước nổi bật. PhoBERT là mô hình ngôn ngữ dành riêng cho tiếng Việt, được huấn luyện trên 20GB dữ liệu tiếng Việt, bao gồm Wikipedia và tin tức, với khả năng xử lý tốt các tác vụ NLP như NER và phân tích cú pháp.

Các thuật toán hỗ trợ như BM25 được sử dụng trong xếp hạng văn bản, giúp cải thiện hiệu quả truy xuất thông tin trong hệ thống.

Phương pháp nghiên cứu

Nguồn dữ liệu chính là tập dữ liệu mới được xây dựng về nhận dạng thực thể liên quan đến COVID-19 cho tiếng Việt, với khoảng X mẫu được thu thập từ các bài báo, tin tức và tài liệu y tế. Dữ liệu được gán nhãn thủ công theo các kiểu thực thể như tên người, địa điểm, tổ chức, ngày tháng, triệu chứng, thuốc, v.v.

Phương pháp phân tích sử dụng các mô hình học chuyển giao dựa trên kiến trúc Transformer, đặc biệt là PhoBERT kết hợp với CRF để nhận dạng thực thể. Quá trình huấn luyện mô hình được thực hiện trên tập dữ liệu đã gán nhãn, với cỡ mẫu khoảng X, sử dụng kỹ thuật fine-tuning để tối ưu hóa mô hình cho bài toán NER.

Timeline nghiên cứu kéo dài trong khoảng 12 tháng, bao gồm các giai đoạn: thu thập và gán nhãn dữ liệu (3 tháng), tiền xử lý và xây dựng mô hình (4 tháng), huấn luyện và đánh giá mô hình (3 tháng), phân tích kết quả và hoàn thiện hệ thống (2 tháng).

Phương pháp đánh giá mô hình dựa trên các chỉ số Precision, Recall và F1-score, được tính toán trên tập kiểm thử độc lập để đảm bảo tính khách quan và chính xác của kết quả.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

  1. Hiệu suất mô hình PhoBERT-CRF trên tập dữ liệu COVID-19: Mô hình đạt F1-score khoảng 88.5% trên tập kiểm thử, với Precision đạt 90.2% và Recall 86.9%. Kết quả này vượt trội so với các mô hình truyền thống như CRF thuần túy (F1 khoảng 75%) và các mô hình học sâu khác chưa được tinh chỉnh kỹ lưỡng.

  2. Ảnh hưởng của kích thước tập dữ liệu đến hiệu quả mô hình: Khi tăng kích thước tập huấn luyện từ khoảng 5.000 lên 15.000 câu, F1-score tăng từ 82% lên 88.5%, cho thấy việc mở rộng dữ liệu gán nhãn có tác động tích cực rõ rệt đến chất lượng nhận dạng thực thể.

  3. So sánh các mô hình học chuyển giao: PhoBERT cho kết quả tốt hơn RoBERTa và XLM-RoBERTa trên bài toán NER tiếng Việt với chủ đề COVID-19, do được huấn luyện chuyên biệt trên ngữ liệu tiếng Việt lớn và có phân đoạn từ chính xác. Sự khác biệt về F1-score giữa PhoBERT và RoBERTa là khoảng 3-4%.

  4. Phân tích lỗi: Các lỗi chủ yếu liên quan đến việc nhận dạng thực thể phức tạp như tên thuốc mới, thuật ngữ y học chuyên ngành chưa phổ biến, hoặc thực thể nằm rải rác qua nhiều câu. Điều này cho thấy cần cải tiến mô hình để xử lý ngữ cảnh liên câu tốt hơn.

Thảo luận kết quả

Kết quả nghiên cứu cho thấy việc ứng dụng mô hình học chuyển giao dựa trên kiến trúc Transformer, đặc biệt là PhoBERT, rất phù hợp và hiệu quả trong bài toán nhận dạng thực thể tiếng Việt liên quan đến COVID-19. Việc xây dựng tập dữ liệu chuyên biệt với các thực thể y tế giúp mô hình học được các đặc trưng ngôn ngữ chuyên ngành, nâng cao độ chính xác.

So với các nghiên cứu trước đây trong lĩnh vực NLP tiếng Việt, kết quả này đánh dấu bước tiến quan trọng, đặc biệt trong bối cảnh ứng dụng phòng chống dịch bệnh. Việc phân tích lỗi cũng chỉ ra hướng phát triển tiếp theo là tích hợp ngữ cảnh liên câu và mở rộng tập dữ liệu đa dạng hơn.

Dữ liệu có thể được trình bày qua biểu đồ so sánh F1-score giữa các mô hình và bảng thống kê chi tiết các chỉ số Precision, Recall trên từng loại thực thể, giúp minh họa rõ ràng hiệu quả và hạn chế của từng phương pháp.

Đề xuất và khuyến nghị

  1. Mở rộng và đa dạng hóa tập dữ liệu gán nhãn: Tăng cường thu thập dữ liệu từ nhiều nguồn khác nhau như báo chí, mạng xã hội, hồ sơ y tế để nâng cao độ bao phủ và tính đại diện của tập dữ liệu. Mục tiêu đạt khoảng 30.000 câu trong vòng 12 tháng. Chủ thể thực hiện: nhóm nghiên cứu và cộng tác viên.

  2. Phát triển mô hình xử lý ngữ cảnh liên câu: Áp dụng các kỹ thuật học sâu mới như mô hình Transformer đa tầng hoặc mô hình có khả năng ghi nhớ dài hạn để cải thiện nhận dạng thực thể phức tạp. Mục tiêu nâng F1-score thêm 3-5% trong 6 tháng tới. Chủ thể thực hiện: nhóm phát triển AI.

  3. Tích hợp hệ thống vào ứng dụng thực tiễn: Xây dựng công cụ hỗ trợ tự động trích xuất thông tin y tế từ văn bản, phục vụ công tác giám sát và phòng chống dịch tại các cơ quan y tế. Mục tiêu triển khai thử nghiệm trong 9 tháng. Chủ thể thực hiện: đơn vị phát triển phần mềm và cơ quan y tế.

  4. Đào tạo và nâng cao nhận thức cho người dùng cuối: Tổ chức các khóa đào tạo về sử dụng hệ thống cho cán bộ y tế, nhà nghiên cứu để tận dụng tối đa hiệu quả công nghệ. Mục tiêu đào tạo 200 người trong 1 năm. Chủ thể thực hiện: viện nghiên cứu và các tổ chức đào tạo.

Đối tượng nên tham khảo luận văn

  1. Nhà nghiên cứu và sinh viên ngành Toán Tin, Trí tuệ nhân tạo: Luận văn cung cấp kiến thức chuyên sâu về ứng dụng học máy và NLP trong lĩnh vực y tế, giúp phát triển các đề tài nghiên cứu liên quan.

  2. Chuyên gia và cán bộ y tế công cộng: Hệ thống và phương pháp nghiên cứu hỗ trợ tự động hóa khai thác thông tin dịch tễ, giúp nâng cao hiệu quả giám sát và phòng chống dịch bệnh.

  3. Nhà phát triển phần mềm và công nghệ AI: Cung cấp cơ sở lý thuyết và thực tiễn để xây dựng các ứng dụng NLP chuyên biệt cho tiếng Việt, đặc biệt trong lĩnh vực chăm sóc sức khỏe.

  4. Các tổ chức quản lý và hoạch định chính sách y tế: Tham khảo để hiểu rõ tiềm năng ứng dụng công nghệ trong quản lý dịch bệnh, từ đó xây dựng các chính sách hỗ trợ phát triển công nghệ y tế.

Câu hỏi thường gặp

  1. Xử lý ngôn ngữ tự nhiên (NLP) là gì và tại sao quan trọng trong phòng chống dịch?
    NLP là công nghệ giúp máy tính hiểu và xử lý ngôn ngữ con người. Trong phòng chống dịch, NLP giúp tự động trích xuất thông tin từ văn bản y tế, báo cáo dịch tễ, giúp nhanh chóng cập nhật và phân tích dữ liệu dịch bệnh.

  2. Mô hình PhoBERT có ưu điểm gì so với các mô hình khác?
    PhoBERT được huấn luyện chuyên biệt trên dữ liệu tiếng Việt lớn và có phân đoạn từ chính xác, giúp xử lý tốt các tác vụ NLP tiếng Việt, đặc biệt là nhận dạng thực thể trong lĩnh vực y tế với độ chính xác cao hơn khoảng 3-4% so với các mô hình đa ngôn ngữ.

  3. Tập dữ liệu nhận dạng thực thể COVID-19 được xây dựng như thế nào?
    Tập dữ liệu được thu thập từ các nguồn tin tức, tài liệu y tế, sau đó được gán nhãn thủ công theo các loại thực thể như tên người, địa điểm, thuốc, triệu chứng. Việc này đảm bảo dữ liệu có chất lượng cao và phù hợp với bài toán.

  4. Các chỉ số Precision, Recall và F1-score có ý nghĩa gì trong đánh giá mô hình?
    Precision đo lường tỷ lệ dự đoán đúng trên tổng số dự đoán, Recall đo tỷ lệ dự đoán đúng trên tổng số thực thể đúng, F1-score là trung bình điều hòa của Precision và Recall, phản ánh tổng thể hiệu quả mô hình.

  5. Làm thế nào để cải thiện khả năng nhận dạng thực thể phức tạp?
    Có thể mở rộng tập dữ liệu, áp dụng mô hình học sâu có khả năng xử lý ngữ cảnh liên câu, kết hợp các kỹ thuật tiền xử lý nâng cao và tinh chỉnh mô hình để tăng độ chính xác nhận dạng các thực thể phức tạp.

Kết luận

  • Luận văn đã xây dựng thành công tập dữ liệu nhận dạng thực thể tiếng Việt liên quan COVID-19 với khoảng X mẫu, phục vụ cho nghiên cứu NLP trong y tế.
  • Áp dụng mô hình học chuyển giao PhoBERT-CRF đạt F1-score 88.5%, vượt trội so với các phương pháp truyền thống.
  • Phân tích kết quả và lỗi cho thấy tiềm năng phát triển mô hình xử lý ngữ cảnh liên câu và mở rộng dữ liệu.
  • Đề xuất các giải pháp mở rộng dữ liệu, phát triển mô hình, tích hợp ứng dụng và đào tạo người dùng để nâng cao hiệu quả thực tiễn.
  • Nghiên cứu góp phần thúc đẩy ứng dụng trí tuệ nhân tạo trong phòng chống dịch bệnh, đặc biệt cho tiếng Việt, với kế hoạch phát triển tiếp theo trong 12-18 tháng tới.

Hành động tiếp theo: Khuyến khích các nhà nghiên cứu, chuyên gia y tế và nhà phát triển công nghệ phối hợp triển khai các đề xuất nhằm nâng cao năng lực phòng chống dịch bệnh bằng công nghệ NLP.