Trích Xuất Các Yếu Tố PIO Trong Phân Tích Phản Hồi Y Tế

Khóa luận tốt nghiệp kỹ thuật máy tính nghiên cứu trích xuất các yếu tố PIO trong phản hồi y tế, góp phần nâng cao chất lượng dịch vụ y tế.

• Tác giả: Nguyễn Thành Nhân
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại Học Quốc Gia TP. Hồ Chí Minh
• Chuyên ngành: Ngành Khoa Học Dữ Liệu
• Đề tài: Trích Xuất Các Yếu Tố PIO Trong Phản Hồi Y Tế
• Loại tài liệu: Khóa Luận Tốt Nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Giới thiệu bài toán. Động lực nghiên cứu
• 1.2. Đối tượng và phạm vi nghiên cứu
• 1.3. Mục tiêu của khóa luận tốt nghiệp. Vấn đề thách thức. Tính ứng dụng của đề tài
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 3. CHƯƠNG 3: BỘ DỮ LIỆU
• 3.1. Định nghĩa bộ dữ liệu. Nguồn thu thập bộ dữ liệu. Quy trình xây dựng bộ dữ liệu
• 3.2. Tạo guideline — Quy tắc hướng dẫn gán nhãn. Công cụ gán nhãn
• 3.3. Quy trình xây dựng bộ dữ liệu
• 3.3.1. Giai đoạn 1: Chuẩn bị dữ liệu và quy tắc hướng dẫn
• 3.3.2. Giai đoạn 2: Hướng dẫn và đánh giá người gán nhãn
• 3.3.3. Giai đoạn 3: Gán nhãn và kiểm tra chất lượng
• 3.4. Thông tin về bộ dữ liệu
• 3.5. Đặc điểm bộ dữ liệu
• 3.6. Điểm vượt trội của bộ dữ liệu. Khảo sát bộ dữ liệu
• 3.7. Thống kê phân tích bộ dữ liệu. Thống kê phân tích trên phương diện từ vựng. Kết luận sơ bộ
• 4. CHƯƠNG 4: PHƯƠNG PHÁP THỰC NGHIỆM
• 4.1. Các mô hình thực nghiệm
• 4.2. Phương pháp đánh giá khác
• 4.3. Mô hình ngôn ngữ lớn — Kỹ thuật thiết kế lời nhắc (Prompt Engineering)
• 5. CHƯƠNG 5: CÀI ĐẶT, KẾT QUẢ VÀ ĐÁNH GIÁ
• 5.1. Tiền xử lý dữ liệu
• 5.2. Cài đặt thử nghiệm. Các mô hình thực nghiệm. Mô hình Gemini. Ma trận nhầm lẫn. Phân tích các trường hợp dự đoán sai
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT

Tóm tắt

I. Giới thiệu về Trích Xuất Yếu Tố PIO Trong Phân Tích Phản Hồi Y Tế

Bài toán trích xuất các yếu tố PIO (Population, Intervention, Outcome) trong phản hồi y tế đang trở thành một chủ đề nóng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Với sự phát triển mạnh mẽ của công nghệ thông tin, việc phân tích dữ liệu y tế từ các nguồn không chính thống ngày càng trở nên quan trọng. Việc trích xuất thông tin này không chỉ giúp cải thiện chất lượng dữ liệu mà còn hỗ trợ trong việc đưa ra quyết định y tế chính xác.

1.1. Định nghĩa các yếu tố PIO trong y tế

Yếu tố PIO bao gồm ba thành phần chính: Population (bệnh nhân), Intervention (can thiệp), và Outcome (kết quả). Mỗi yếu tố này đóng vai trò quan trọng trong việc phân tích và đánh giá thông tin y tế.

1.2. Tầm quan trọng của việc trích xuất yếu tố PIO

Trích xuất yếu tố PIO giúp cải thiện khả năng tìm kiếm thông tin y tế, hỗ trợ các nghiên cứu y học và giảm thiểu thông tin sai lệch. Điều này đặc biệt quan trọng trong bối cảnh đại dịch COVID-19.

II. Vấn đề và Thách thức Trong Phân Tích Phản Hồi Y Tế

Mặc dù việc trích xuất yếu tố PIO mang lại nhiều lợi ích, nhưng cũng gặp phải không ít thách thức. Các vấn đề như độ chính xác của dữ liệu, sự đa dạng trong ngôn ngữ và cách diễn đạt của người dùng là những yếu tố cần được xem xét kỹ lưỡng.

2.1. Độ chính xác của dữ liệu y tế

Độ chính xác của dữ liệu y tế là một yếu tố quan trọng. Thông tin không chính xác có thể dẫn đến những quyết định sai lầm trong điều trị và chăm sóc sức khỏe.

2.2. Sự đa dạng trong ngôn ngữ và cách diễn đạt

Ngôn ngữ y tế rất phong phú và đa dạng. Việc hiểu và phân tích các cách diễn đạt khác nhau là một thách thức lớn trong việc trích xuất thông tin.

III. Phương Pháp Trích Xuất Yếu Tố PIO Hiệu Quả

Để trích xuất yếu tố PIO một cách hiệu quả, cần áp dụng các phương pháp hiện đại trong xử lý ngôn ngữ tự nhiên. Các mô hình học máy và kỹ thuật học sâu đang được sử dụng rộng rãi trong lĩnh vực này.

3.1. Sử dụng mô hình BERT trong trích xuất PIO

Mô hình BERT đã chứng minh được hiệu quả trong việc trích xuất thông tin y tế. Với khả năng hiểu ngữ cảnh tốt, BERT giúp cải thiện độ chính xác trong việc nhận diện các yếu tố PIO.

3.2. Kỹ thuật thiết kế lời nhắc Prompt Engineering

Kỹ thuật thiết kế lời nhắc giúp tối ưu hóa đầu vào cho mô hình, từ đó nâng cao khả năng trích xuất thông tin chính xác hơn.

IV. Ứng Dụng Thực Tiễn Của Trích Xuất Yếu Tố PIO

Việc trích xuất yếu tố PIO không chỉ có giá trị trong nghiên cứu mà còn có nhiều ứng dụng thực tiễn trong lĩnh vực y tế. Các ứng dụng này giúp cải thiện chất lượng dịch vụ y tế và hỗ trợ người dùng trong việc tìm kiếm thông tin.

4.1. Hỗ trợ quyết định trong điều trị

Trích xuất yếu tố PIO giúp bác sĩ đưa ra quyết định điều trị chính xác hơn, từ đó nâng cao chất lượng chăm sóc sức khỏe.

4.2. Cải thiện thông tin y tế cho cộng đồng

Việc cung cấp thông tin y tế chính xác và đáng tin cậy giúp người dân nâng cao nhận thức về sức khỏe và phòng ngừa bệnh tật.

V. Kết Luận và Hướng Phát Triển Trong Tương Lai

Trích xuất yếu tố PIO trong phân tích phản hồi y tế là một lĩnh vực đầy tiềm năng. Việc nghiên cứu và phát triển các phương pháp mới sẽ giúp nâng cao chất lượng dữ liệu y tế và hỗ trợ trong việc chống lại thông tin sai lệch.

5.1. Tương lai của nghiên cứu PIO

Nghiên cứu về trích xuất yếu tố PIO sẽ tiếp tục phát triển, mở ra nhiều cơ hội mới trong lĩnh vực y tế và công nghệ thông tin.

5.2. Khuyến nghị cho các nghiên cứu tiếp theo

Cần tiếp tục nghiên cứu và phát triển các mô hình mới, cải thiện độ chính xác và khả năng áp dụng trong thực tiễn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự bùng nổ của mạng xã hội và các diễn đàn trực tuyến đã biến không gian mạng thành nơi người dùng tự do thảo luận, tìm kiếm thông tin về sức khỏe và đặt câu hỏi cho bác sĩ. Xu hướng này gia tăng rõ rệt kể từ khi đại dịch COVID-19 bùng phát, thời điểm các biện pháp phong tỏa, cách ly y tế được triển khai và người dân buộc phải tìm kiếm lời khuyên y khoa từ xa. Các nghiên cứu của Nobles và Barua chỉ ra rằng con người ngày càng dựa vào mạng xã hội để đưa ra các quyết định liên quan đến sức khỏe cá nhân. Tuy nhiên, sự phát triển này đi kèm với nguy cơ lan truyền thông tin y tế sai lệch, thiếu kiểm chứng hoặc bắt nguồn từ các trang web không định danh tác giả. Để giải quyết thực trạng trên, việc ứng dụng các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) nhằm trích xuất thông tin có cấu trúc từ các phản hồi y tế của bác sĩ là bước khởi đầu quan trọng phục vụ công tác đối soát bằng chứng y khoa và phòng chống thông tin giả mạo.

Khóa luận tốt nghiệp của tác giả Nguyễn Thành Nhân (ngành Khoa học Dữ liệu, Trường Đại học Công nghệ Thông tin – ĐHQG-HCM, năm 2024) tập trung vào bài toán "Trích xuất các yếu tố PIO trong phản hồi y tế" (PIO Elements Extraction In Medical Feedback). Bài toán có bản chất là nhiệm vụ nhận dạng thực thể có tên (Named Entity Recognition - NER) trên văn bản phi cấu trúc, kế thừa khung nguyên lý PICO do Tiến sĩ Richardson phát minh trong y học thực chứng nhằm xác định rõ các yếu tố: Bệnh nhân/Quần thể bệnh (Population - P), Sự can thiệp/Điều trị (Intervention - I) và Kết quả/Biến chứng (Outcome - O).

Mục tiêu nghiên cứu được tác giả xác định thông qua bốn nhiệm vụ cụ thể:

1. Xây dựng một bộ dữ liệu tiếng Việt chuyên biệt cho bài toán trích xuất các yếu tố PIO trên miền dữ liệu Y tế - Sức khỏe, bảo đảm cả chất lượng chú thích lẫn số lượng mẫu để đóng góp cho cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên trong nước.
2. Thực hiện các bước tiền xử lý, khảo sát thống kê và trực quan hóa dữ liệu nhằm phân tích toàn diện các đặc điểm ngữ nghĩa, từ vựng và phân bố của tập dữ liệu vừa xây dựng.
3. Thiết kế và triển khai thực nghiệm nhiều phương pháp mô hình hóa khác nhau (từ các mô hình biểu diễn ngôn ngữ dạng Transformer đến mô hình ngôn ngữ lớn) để tìm ra kiến trúc đạt hiệu năng tối ưu cho bài toán.
4. Đánh giá định lượng, so sánh chi tiết kết quả thử nghiệm và tiến hành phân tích các trường hợp lỗi dự đoán nhằm đúc kết kinh nghiệm học thuật cho các hướng nghiên cứu tiếp nối.

Đối tượng nghiên cứu của đề tài là bài toán trích xuất các yếu tố PIO từ các câu trả lời tư vấn y tế viết bằng tiếng Việt. Phạm vi nghiên cứu giới hạn trên tập dữ liệu các phản hồi của bác sĩ ("answer") kế thừa từ bộ dữ liệu hỏi đáp y tế ViHealthQA. Dữ liệu gốc được thu thập trong khoảng thời gian 5 năm (2016–2020) từ hai cổng thông tin điện tử công khai tại Việt Nam là chuyên mục tư vấn sức khỏe của Hệ thống Y tế Vinmec và Báo điện tử VnExpress.

Cơ sở lý thuyết và phương pháp

Khung lý thuyết nền tảng của khóa luận bắt nguồn từ nguyên lý PICO/PIO trong y học dựa trên bằng chứng (Evidence-Based Medicine - EBM), đóng vai trò cấu trúc hóa các truy vấn y khoa phức tạp thành ba thành phần thông tin then chốt:

• P (Population/Patient): Nhãn đại diện cho thông tin định danh người bệnh, nhóm đối tượng hoặc triệu chứng bệnh lý lâm sàng.
• I (Intervention): Nhãn đại diện cho các biện pháp can thiệp, phác đồ điều trị, dược chất, chỉ định cận lâm sàng hoặc chế độ dinh dưỡng/luyện tập được áp dụng.
• O (Outcome): Nhãn đại diện cho kết quả điều trị, biến chứng phát sinh, tác dụng phụ hoặc diễn tiến bệnh được theo dõi.

Về mặt công nghệ xử lý ngôn ngữ, nghiên cứu tiếp cận bài toán dưới dạng nhiệm vụ gán nhãn chuỗi (sequence labeling) sử dụng định dạng BIO (Beginning, Inside, Outside) và cấu trúc tệp CoNLL tiêu chuẩn. Phương pháp nghiên cứu bao gồm hai giai đoạn chính: xây dựng ngữ liệu và thực nghiệm mô hình học sâu.

Quy trình xây dựng bộ dữ liệu UIT-ViPIO được thiết kế có sự đồng hành chuyên môn của sinh viên Đại học Y Dược TP.HCM để thẩm định thuật ngữ y khoa. Quá trình gán nhãn triển khai trên nền tảng Label Studio với sự tham gia của ba người gán nhãn (annotator). Độ tin cậy của bộ dữ liệu được chuẩn hóa thông qua bốn vòng kiểm định độ tương đồng độc lập (Inter-Annotator Agreement) trên tập 100 câu mẫu ngẫu nhiên cho đến khi chỉ số F1-score đạt ngưỡng yêu cầu trên 80%.

Phương pháp thực nghiệm tiến hành huấn luyện và so sánh bảy mô hình ngôn ngữ khác nhau:

• Mô hình tiền huấn luyện đa ngôn ngữ: mBERT, XLM-RoBERTa (phiên bản XLM-R-large).
• Mô hình tiền huấn luyện đơn ngữ tiếng Việt: PhoBERT (phiên bản PhoBERT-large), ViHealthBERT (mô hình chuyên biệt miền y tế tiếng Việt), ViSoBERT và CafeBERT.
• Mô hình ngôn ngữ lớn (LLM): Gemini, được đánh giá thông qua kỹ thuật thiết kế lời nhắc (Prompt Engineering) trong môi trường zero-shot / few-shot.

Hệ thống đánh giá hiệu năng dựa trên các chỉ số định lượng kinh điển trong bài toán NER gồm Precision, Recall và F1-score, kết hợp phân tích ma trận nhầm lẫn (Confusion Matrix) để định vị nguyên nhân sai lệch của từng nhóm nhãn.

Nội dung chính theo từng chương

Chương 1: Giới thiệu

Chương mở đầu phân tích bối cảnh bùng nổ nhu cầu giải đáp y tế trực tuyến, hệ quả từ đại dịch COVID-19 và tình trạng gia tăng thông tin y khoa sai lệch trên không gian mạng. Tác giả đưa ra định nghĩa kỹ thuật của bài toán trích xuất PIO từ câu phản hồi tiếng Việt phi cấu trúc của bác sĩ, kèm ví dụ minh họa về phân đoạn văn bản và gán nhãn thực thể. Chương 1 làm rõ bốn thách thức kỹ thuật lớn của đề tài: sự phức tạp của thuật ngữ y tế khi gán nhãn, sự khan hiếm của các bộ ngữ liệu PIO tiếng Việt, yêu cầu tài nguyên phần cứng lớn để tinh chỉnh mô hình ngôn ngữ và các đặc trưng ngữ pháp phức tạp của tiếng Việt (từ ghép, từ đa nghĩa).

Chương 2: Các công trình nghiên cứu liên quan

Tác giả hệ thống hóa các thành tựu nghiên cứu trên thế giới và trong nước. Trên bình diện quốc tế, khóa luận khảo sát các bộ ngữ liệu NER chuẩn như CoNLL-2003, WNUT-2017 cùng các tập dữ liệu chuyên ngành y tế như pico_ebmnlp và bộ dữ liệu RedHOT (được công bố tại EACL 2023 và dùng cho SemEval 2023 Task 8). Về mô hình, chương này phân tích sự dịch chuyển từ mạng nơ-ron hồi quy kết hợp trường ngẫu nhiên có điều kiện (BiLSTM-CRF) sang kiến trúc Transformer với các mô hình chuyên biệt như BioBERT, ClinicalBERT và SciBERT. Tại Việt Nam, tác giả điểm qua các bộ dữ liệu hỏi đáp y khoa hiện có như ViMQ, ViHealthQA, ViNewsQA, UIT-ViCoQA, UIT-ViCoV19QA và mô hình ngôn ngữ ViHealthBERT, từ đó chứng minh khoảng trống nghiên cứu đối với bài toán trích xuất PIO chuyên sâu trong văn bản tiếng Việt.

Chương 3: Bộ dữ liệu

Chương 3 trình bày chi tiết quy trình xây dựng bộ dữ liệu UIT-ViPIO. Tác giả xây dựng bộ quy tắc hướng dẫn gán nhãn (guideline) phân loại văn bản theo bốn trường hợp liên kết giữa các thành phần P, I, O:

• Trường hợp 1: Đầy đủ cả ba thành phần (Mắc bệnh P, can thiệp I, dẫn đến kết quả O).
• Trường hợp 2: Khuyết P (Can thiệp I, dẫn đến kết quả O).
• Trường hợp 3: Khuyết I (Mắc bệnh P, xuất hiện triệu chứng O).
• Trường hợp 4: Khuyết O (Mắc bệnh P, chỉ định điều trị I).

Quy tắc cũng định rõ các tiêu chí loại trừ: phản hồi chỉ chứa một yếu tố đơn lẻ hoặc các phát ngôn thuần túy mang tính tư vấn chung, giải thích định nghĩa y khoa thông thường mà không có mối liên kết lâm sàng.

Chất lượng gán nhãn giữa ba annotator được theo dõi qua bốn vòng kiểm tra liên tiếp, ghi nhận sự cải thiện rõ rệt về độ tương đồng:

Vòng kiểm tra	Nhãn P (%)	Nhãn I (%)	Nhãn O (%)
Vòng 1	56,73	61,09	41,98
Vòng 2	68,57	71,98	74,91
Vòng 3	75,19	78,32	80,74
Vòng 4	84,49	81,84	82,56

Sau khi hoàn tất, bộ dữ liệu UIT-ViPIO bao gồm 7.272 phản hồi với tổng số 24.770 nhãn, được phân chia theo tỷ lệ 7:1:2 thành ba tập: Huấn luyện (Train: 5.090 mẫu, 17.356 nhãn), Phát triển (Dev: 727 mẫu, 2.476 nhãn) và Kiểm thử (Test: 1.455 mẫu, 4.938 nhãn). Phân tích đặc trưng văn bản ghi nhận độ dài trung bình mỗi phản hồi là 526,65 ký tự, trung bình 4,19 câu/phản hồi và quy mô từ vựng đạt 11.509 đơn vị từ/cụm từ. Về mặt phân bố độ dài thực thể, nhãn P và I có độ dài trung bình ngắn (lần lượt là 25,25 và 25,95 ký tự), trong khi nhãn O có độ dài trung bình lên tới 46,96 ký tự do thường bao quát toàn bộ câu mô tả triệu chứng hoặc biến chứng lâm sàng.

Chương 4: Phương pháp thực nghiệm

Chương 4 mô tả kiến trúc của các mô hình học sâu tham gia thử nghiệm. Tác giả trình bày cấu trúc phân tầng của mạng Transformer hai chiều, cơ chế Self-Attention và phương pháp tiếp cận gán nhãn chuỗi cho các biến thể BERT. Tiếp đó, chương này giải thích phương thức thiết kế lời nhắc (Prompt Engineering) cho mô hình ngôn ngữ lớn Gemini, cách thức cấu trúc hóa ngữ cảnh y khoa nhằm hướng dẫn mô hình trích xuất đúng các thực thể PIO dưới định dạng văn bản mong muốn. Toàn bộ các thước đo đánh giá kỹ thuật (Precision, Recall, F1-score) và cấu trúc ma trận nhầm lẫn được định nghĩa chuẩn xác phục vụ khâu phân tích.

Chương 5: Cài đặt, kết quả và đánh giá

Chương 5 trình bày toàn bộ quy trình tiền xử lý văn bản, chuyển đổi dữ liệu từ định dạng JSONL sang định dạng thẻ BIO/CoNLL và các cấu hình siêu tham số trong quá trình huấn luyện. Kết quả thực nghiệm cho thấy nhóm mô hình dựa trên Transformer đạt hiệu năng đồng đều, trong đó các mô hình quy mô lớn thể hiện năng lực tổng quát hóa vượt trội:

• XLM-RoBERTa-large: Đạt kết quả F1-score cao nhất với 45,41%.
• PhoBERT-large: Đạt kết quả F1-score kế cận với 45,18%.
• CafeBERT: Mô hình kiến trúc mới đạt kết quả khả quan với 44,95%.

Phần phân tích định tính đã bóc tách bốn nguyên nhân sai sót chính của mô hình:

1. Lỗi nhầm lẫn nhãn: Mô hình gán nhầm giữa P và O (ví dụ: các biến chứng y khoa của Outcome bị nhầm thành tình trạng bệnh lý của Population).
2. Lỗi bỏ sót (thiếu từ): Mô hình không nhận diện được toàn bộ độ dài cụm từ thực thể, đặc biệt đối với các nhãn O kéo dài.
3. Lỗi phụ thuộc ngữ cảnh: Các câu trả lời chứa cấu trúc điều kiện hoặc câu giả định khiến mô hình xác định sai thực thể thực tế được can thiệp.
4. Lỗi phân tích cú pháp từ LLM: Mô hình Gemini gặp khó khăn trong việc tuân thủ tuyệt đối định dạng chỉ mục vị trí (offset) của nhãn hoặc trích xuất dư thừa từ ngữ ngoài văn bản gốc.

Chương 6: Kết luận và hướng phát triển

Chương tổng kết khẳng định việc hoàn thành toàn diện các mục tiêu nghiên cứu đề ra. Tác giả thẳng thắn chỉ ra các giới hạn nội tại của đề tài: sự mất cân bằng giữa nhãn I so với hai nhãn còn lại (nhãn I chỉ chiếm khoảng 2/3 số lượng của P hoặc O), độ dài nhãn O gây trở ngại cho việc xác định ranh giới từ và sự hiện diện của nhiều từ viết tắt, từ dừng không thể lược bỏ trong văn phong tư vấn trực tuyến. Cuối cùng, tác giả phác thảo các hướng mở rộng như thu thập thêm mẫu cân bằng nhãn I, thử nghiệm tinh chỉnh chuyên sâu (fine-tuning) các mô hình ngôn ngữ lớn và phát triển ứng dụng truy xuất tài liệu thực chứng chống thông tin y tế sai lệch.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả định lượng cụ thể trên tập dữ liệu và đánh giá thực nghiệm mô hình:

Thống kê quy mô bộ dữ liệu UIT-ViPIO

Bộ dữ liệu gồm 7.272 phản hồi với tổng cộng 24.770 nhãn thực thể được chuẩn hóa:

Tập dữ liệu	Số lượng phản hồi	Nhãn P	Nhãn I	Nhãn O	Tổng số nhãn
Train	5.090	6.844	4.590	5.922	17.356
Dev	727	985	652	839	2.476
Test	1.455	1.958	1.306	1.674	4.938
Tổng cộng	7.272	9.787	6.548	8.435	24.770

Phân tích tần suất thực thể phản ánh rõ nét mối quan tâm y tế công cộng trong giai đoạn dịch bệnh: thực thể Intervention xuất hiện nhiều nhất là "vaccine Covid-19" (1.045 lần), theo sau là "phẫu thuật" (109 lần) và "kháng sinh" (52 lần); thực thể Population xuất hiện nhiều nhất là "dị ứng" (129 lần), "viêm gan B" (52 lần) và "nhiễm trùng" (44 lần); thực thể Outcome xuất hiện nhiều nhất là "đau đầu" (47 lần), "sốt" (43 lần) và "khó thở" (22 lần).

Hiệu năng của các mô hình thực nghiệm

Thực nghiệm xác lập mức chuẩn hiệu năng (benchmark) đầu tiên cho bài toán PIO y tế tiếng Việt:

• Mô hình đạt kết quả tối ưu là XLM-RoBERTa-large với điểm F1-score đạt 45,41%.
• Mô hình PhoBERT-large bám sát với điểm F1-score đạt 45,18%.
• Mô hình CafeBERT đạt điểm F1-score là 44,95%.

Đóng góp học thuật

1. Đóng góp về tài nguyên dữ liệu: Đề tài công bố bộ ngữ liệu UIT-ViPIO gồm 7.272 mẫu phản hồi tư vấn y tế tiếng Việt được gán nhãn thực thể PIO chuẩn hóa, bổ sung nguồn dữ liệu chuyên ngành vốn rất khan hiếm trong cộng đồng NLP tiếng Việt.
2. Đóng góp về phương pháp luận gán nhãn: Xây dựng một khung hướng dẫn gán nhãn (guideline) chi tiết cho văn bản y tế mạng xã hội, giải quyết bài toán xử lý các cấu trúc câu khuyết thiếu thành phần và chứng minh tính hiệu quả qua quy trình kiểm soát độ tương đồng giữa các annotator đạt trên 80%.
3. Đóng góp về chuẩn đối sánh (benchmark): Cung cấp kết quả thực nghiệm hệ thống trên nhiều họ mô hình xử lý ngôn ngữ tự nhiên hiện đại, thiết lập cơ sở tham chiếu và chỉ ra các dạng lỗi đặc trưng khi xử lý văn bản y tế tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ bốn hạn chế kỹ thuật dựa trên dữ liệu thực tế:

• Hiện tượng mất cân bằng nhãn: Số lượng thực thể can thiệp (Intervention) thấp hơn đáng kể so với hai nhãn còn lại (chỉ đạt 6.548 nhãn so với 9.787 nhãn P và 8.435 nhãn O), do trong thực tế nhiều phản hồi của bác sĩ chỉ đóng vai trò phân tích triệu chứng mà chưa chỉ định biện pháp điều trị.
• Độ phức tạp về độ dài thực thể Outcome: Nhãn O có độ dài trung bình lên tới 46,96 ký tự, thường là các đoạn văn mô tả hội chứng hoặc chuỗi triệu chứng kéo dài, gây khó khăn cho việc nhận diện ranh giới bắt đầu (B) và kết thúc (I) của thực thể theo định dạng BIO.
• Đặc thù văn phong mạng xã hội: Văn bản phản hồi chứa nhiều từ ngữ không trang trọng, từ viết tắt và các từ dừng (stopword) có liên kết ngữ nghĩa chặt chẽ (như cụm "dị ứng phản vệ độ II với hải sản"). Việc buộc phải giữ lại toàn bộ từ dừng để bảo toàn nghĩa y khoa làm gia tăng kích thước không gian tìm kiếm và độ nhiễu cho mô hình.
• Giới hạn phần cứng: Việc tinh chỉnh các mô hình ngôn ngữ lớn hoặc mô hình quy mô tham số lớn gặp nhiều rào cản về cấu hình tính toán, buộc tác giả phải tiếp cận Gemini thông qua Prompt Engineering thay vì huấn luyện trọng số trực tiếp.

Hướng phát triển tiếp theo được đề xuất:

• Mở rộng tập dữ liệu, ưu tiên bổ sung các phản hồi có chứa chỉ định điều trị y khoa để cân bằng tỷ lệ nhãn Intervention.
• Thử nghiệm tinh chỉnh chuyên sâu (fine-tuning) các mô hình ngôn ngữ lớn trên miền y tế thay vì chỉ dừng ở kỹ thuật Prompt Engineering.
• Kết hợp đồ thị tri thức y khoa (Medical Knowledge Graph) hoặc các từ điển bệnh học chuẩn để hỗ trợ mô hình nhận diện ranh giới thực thể chính xác hơn.
• Ứng dụng bộ trích xuất PIO vào hệ thống tự động kiểm chứng và truy xuất bằng chứng y khoa nhằm phát hiện thông tin sai lệch trên không gian mạng.

Giá trị tham khảo

Công trình là tài liệu hữu ích cho:

• Sinh viên, học viên ngành Khoa học Dữ liệu, Trí tuệ Nhân tạo và Công nghệ Thông tin: Nguồn tham khảo cụ thể về cách xây dựng và vận hành một dự án xử lý ngôn ngữ tự nhiên chuyên ngành từ bước tạo ngữ liệu, thiết kế quy tắc gán nhãn cho đến tinh chỉnh mô hình học sâu.
• Nhà nghiên cứu trong lĩnh vực Tin học Y sinh (Biomedical Informatics): Cung cấp khung lý thuyết về việc chuyển hóa nguyên lý PICO từ y văn hàn lâm sang môi trường văn bản trao đổi sức khỏe cộng đồng.
• Các nhóm nghiên cứu về công nghệ gán nhãn và kiểm soát chất lượng dữ liệu: Chương 3 là phần đáng tham khảo nhất, minh họa chi tiết phương pháp tổ chức đo lường độ tương đồng (Inter-Annotator Agreement) qua nhiều vòng kiểm tra bằng công cụ Label Studio và phương pháp xử lý các ngoại lệ ngữ nghĩa.

Câu hỏi thường gặp

Nguyên lý PICO được điều chỉnh như thế nào khi áp dụng vào bài toán trong khóa luận này?
Nguyên lý PICO nguyên bản trong y học thực chứng bao gồm bốn thành phần: Population (Bệnh nhân), Intervention (Can thiệp), Comparison (So sánh) và Outcome (Kết quả). Trong khóa luận này, tác giả lược bỏ yếu tố C (Comparison) do trong các câu trả lời tư vấn thường thức, bác sĩ hiếm khi đưa ra phác đồ đối chứng trực tiếp. Bài toán rút gọn thành trích xuất ba yếu tố cốt lõi (PIO), bảo đảm phù hợp với tính chất của văn bản mạng xã hội.

Bộ dữ liệu UIT-ViPIO được xây dựng dựa trên nguồn dữ liệu nào và có quy mô ra sao?
Bộ dữ liệu được xây dựng bằng cách kế thừa trường phản hồi ("answer") của bác sĩ từ bộ dữ liệu hỏi đáp ViHealthQA. Dữ liệu gốc thu thập từ cổng tư vấn của Bệnh viện Đa khoa Quốc tế Vinmec và Báo điện tử VnExpress trong giai đoạn 2016–2020. Sau khi làm sạch và gán nhãn, UIT-ViPIO bao gồm 7.272 mẫu phản hồi với tổng cộng 24.770 nhãn PIO.

Độ tin cậy của quy trình gán nhãn được kiểm định bằng phương pháp nào?
Quy trình gán nhãn được thực hiện bởi ba annotator và có sự tham vấn thuật ngữ của sinh viên Đại học Y Dược TP.HCM. Tác giả tổ chức bốn vòng kiểm tra độc lập, mỗi vòng sử dụng 100 câu phản hồi giống nhau để tính chỉ số đồng thuận F1-score trên từng nhãn. Sau bốn vòng, độ tương đồng tăng từ khoảng 41–61% (ở vòng 1) lên mức đạt chuẩn trên 80% (vòng 4 đạt 84,49% cho nhãn P, 81,84% cho nhãn I và 82,56% cho nhãn O).

Mô hình nào đạt hiệu năng cao nhất trong các thực nghiệm và kết quả cụ thể là bao nhiêu?
Trong số các kiến trúc được thử nghiệm, mô hình XLM-RoBERTa-large đạt hiệu năng cao nhất với điểm F1-score là 45,41%. Theo sát phía sau là PhoBERT-large với 45,18% và CafeBERT với 44,95%.

Tại sao tác giả không loại bỏ các từ dừng (stopword) trong khâu tiền xử lý văn bản?
Trong miền dữ liệu y tế, nhiều từ dừng tiếng Việt (như "và", "với", "do", "kèm") đóng vai trò then chốt cấu thành ranh giới ngữ nghĩa của thực thể bệnh học hoặc chỉ định lâm sàng. Ví dụ, trong các thực thể như "Phụ nữ có thai và cho con bú" hoặc "Dị ứng phản vệ độ II với hải sản", nếu loại bỏ từ dừng "và" hoặc "với" thì thực thể sẽ bị ngắt quãng, làm biến đổi hoàn toàn ý nghĩa y khoa của nhãn được gán.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thành Nhân đã giải quyết trọn vẹn bài toán trích xuất các yếu tố PIO trong phản hồi y tế tiếng Việt thông qua việc xây dựng thành công bộ dữ liệu chuẩn hóa UIT-ViPIO quy mô 7.272 mẫu. Nghiên cứu thiết lập một quy trình gán nhãn dữ liệu y sinh chặt chẽ có kiểm soát độ đồng thuận khoa học và thực hiện đánh giá thực nghiệm toàn diện trên nhiều kiến trúc học sâu tiên tiến. Các phân tích chi tiết về đặc trưng ngôn ngữ, phân bố thực thể và cơ chế sai lỗi của mô hình là tài liệu tham khảo có giá trị học thuật cao, tạo tiền đề vững chắc cho việc phát triển các ứng dụng kiểm chứng thông tin y tế tự động tại Việt Nam.

Trích đoạn nội dung tài liệu

Đặt vấn đề Bài toán “Trích xuất các yếu tố PIO trong phản hỏi y tế” là một dạng của bài toán NER - Named Entity Recognition (tạm dịch: Trích xuất thực thể có tên), đây là một bài toán không dễ dàng trong lĩnh vực xử lý ngôn ngữ tự nhiên. Nhiệm vụ này hiện đã và đang nhận được nhiều sự quan tâm và nghiên cứu, do đó có không ít công trình nghiên cứu và đạt được nhiều thành tựu đáng kể. Bài toán này là bước dau cho những bài toán phức tap dé có thé tạo ra các sản phẩm, các ứng dụng phực vụ con người. Trong lĩnh vực y tế, bài toán này có nhiều tiềm năng hỗ trợ các tình huống như trích xuất các thực thể như tên bệnh nhân, tình trạng y tế, thuốc và phương pháp điều trị để quản lý và tổ chức đữ liệu bệnh nhân, là bước đầu cho bài toán chống lại các thông tin sai lệch về y tế, tìm kiếm hoặc so khớp cái tài liệu y học dựa trên bằng chứng.

Ngoài ra, tôi nhận thấy trên thế giới hiện có rat ít bộ dữ liệu thuộc miền Y Tế - Sức Khỏe phục vu cho bài toán này. Một số bộ dữ liệu phd biến như bigbio/pico_extraction[2] , RedHOT[3] — Bộ dữ liệu được công bố tại hội nghị EACL! vào năm 2023 và được đưa vào làm nhiệm vụ thứ 8 trong cuộc thi SemEval* 2023[4]. Trong nước hiện nay chưa có nhiều bộ dữ liệu thuộc miền y tế sức khỏe và phục vụ cho bài toán trích xuất yếu tố PIO này. Từ những điều trên và lay cảm hứng từ bài báo của bộ RedHOT[3] , tôi nắm bắt được tiềm năng đối với con người của bài toán này, do đó tôi đã có mong muốn xây dựng một công trình nghiên cứu giúp thúc đầy nhiều bài toán ứng dụng trong lĩnh vực Y Tế - Sức Khỏe trong tương lai.

Chính vì thế tôi đã quyết tâm thực hiện nghiên cứu bài toán “Trích xuất các yếu to PIO trong phản hồi y tế” cho ngôn ngữ tiếng Việt, thuộc miền dữ liệu Y Tế - Sức Khỏe. ! European Chapter of the Association for Computational Linguistics — Rank A ? International Workshop on Semantic Evaluation 1. Giới thiệu bài toán Hiện nay với sự phát triển không ngừng của các trang mạng xã hội, mọi người dùng được cho phép thảo luận về bất cứ chủ đề gì, bao gồm cả y tế. Chính vì vậy mà việc đăng các bài viết, các bình luận lên các trang mạng xã hội với mục đích đặt câu hỏi, tư vấn, thảo luận về chủ đề Y Tế - Sức Khỏe xuất hiện ngày một càng nhiều.

Kéo theo đó là nhiều nguồn thông tin (không chính thống) như: các blog chia sẻ kiến thức, thậm chí cả những nên tảng mạng xã hội phục vụ cho việc: “Bạn hỏi — Bác sĩ trả lời”. Sẽ có câu hỏi rằng “Tại sao có các vấn đề về sức khỏe lại không đi đến bệnh viện dé bác sĩ thăm khám, mà lại lên mạng xã hội dé hỏi là sao?”. Có nhiều trường hợp chăng hạn: Có trường hợp khan cấp cần trợ giúp dé sơ cứu; hoặc những trường hợp người bệnh ở vùng sâu vùng xa chưa thể đến bệnh viện kịp thời và cần lời tư vấn để giải quyết trường hợp khẩn cấp. Rõ ràng nhất là vào đợt đại địch COVID-19! vừa qua, lúc mà các biện pháp cách ly được triển khai, khi con người có các dấu hiệu bất thường: “Sốt, ho, mat vị giác,.”; hoặc sau khi đã xét nghiệm và biết được mình đã bị lây nhiễm; hoặc những thắc mắc về vấn đề tiêm ngừa vaccine;.

Từ sự lo lắng, bất an mà vấn đề thảo luận về Y Tế - Sức Khỏe trên các trang mạng xã hội xuất hiện ngày một nhiều và ngày càng trở nên thịnh hành hơn. Tuy nhiên, khi dùng điện thoại hay ngồi trước màn hình máy tính và đăng nhập vào mạng xã hội dé dang một bài viết thắc mắc về vấn dé Y Tế - Sức Khỏe lên mạng xã hội, hoặc các trang hỏi đáp sức khỏe, hoặc các bài viết, thì liệu khi nhận được câu trả lời chúng ta có biết chắc chắn rằng người giải đáp thắc mắc đó có đúng là bác sĩ? Các thông tin họ chia sẻ đó đã được kiểm chứng và có chứng cứ về y học? Thời gian vừa qua vấn đề của thông tin sai lệch y tế xuất hiện ngày càng nhiều và đỉnh cao cũng là vào thời điểm khi mà đại dịch hết sức nguy hiểm là COVID-19 bùng phát mạnh mẽ, khi nhiều tuyên bố không được chứng minh về phương pháp điều trị cho bệnh tật được lan truyên trên mạng xã hội. Hơn thê nữa, một sô nghiên cứu còn cho thây, con ! Corona Virus đisease 2019 người đang ngày càng dựa vào mạng xã hội để quyết định sức khỏe cá nhân (Nobles[5] và Barua[6] ). Qua đó tôi nắm bắt được tầm quan trong và lay ý tưởng dé đề xuất nhiệm vụ xử lý ngôn ngữ tự nhiên và nghiên cứu xây dựng phương pháp để giải quyết bài toán trích xuất các yếu tổ PIO dựa trên các phản hồi y tế của bác sĩ trên các nền tảng mạng xã hội thảo luận về chủ đề Y Tế — Sức Khỏe, một dạng văn bản không có cau trúc.

Tôi tin rang đây là bước đầu cần thiết và quan trọng dé thực hiện các bài toán xử lý và chống lại thông tin sai lệch về y tế. Việc tìm (trích xuất) các yếu tố PIO trong các văn bản (bài viết, phản hồi, tài liệu y văn, bệnh 4n,.) vốn là các là phương pháp dé tìm tài liệu y văn, thường được sử dụng nhiều trong y khoa và là một trong các cách tìm chứng cứ cho nghiên cứu và y học thực chứng rất phô biến. Các yếu tố này được xem là một công cụ rất quan trọng, được phát minh bởi Dr. Richardson[7] , giúp cho cấu trúc của câu hỏi về nghiên cứu y khoa được thé hiện một cách rõ ràng và cụ thé, tạo điều kiện thuận lợi trong việc tìm kiếm các thông tin để có thé kết luận và đưa ra quyết định dựa trên bằng chứng.

Các yếu tố PIO gồm: - P - Patient / Population: Nhãn đại diện cho thông tin bệnh nhân/chứng bệnh. - | — Intervention: Nhãn đại diện cho sự can thiệp, điều trị, các biện pháp đã tác động, áp dụng cho điều trị hay nghiên cứu. - O— Outcome: Kết quả đạt được, hậu quả, biến chứng, van đề phát sinh, vân đề nghỉ ngờ. Các yêu tô này phải có môi liên hệ với nhau.

s* Định nghĩa bài toán: - Đầu vào: Một phản hôi tiêng Việt của bác sĩ đôi với câu hỏi về lĩnh vực Y Tê - Sức Khỏe. - Đâu ra: Đông thời các từ/cụm từ/ đoạn văn và nhãn tương ứng có trong câu đâu vào.1 dưới dây thê hiện một ví dụ cụ thé cho bài toán “Trích xuất các yếu tổ PIO trong phản hồi y tế”.1: Minh họa bài toán trích xuất các yếu tố PIO. Đâu vào Đâu ra “Modafinilintervention là một thuốc có tác động lên thần | 1[[0. "Intervention", kinh trung ương, được chỉ định do bệnh nhân ngwng | [8§, 104, "Population"], thở khi negtiroputation, người bệnh có rối loạn giấc | [121, 138, "Population"], NgtiPopulation do ngủ nhiều vào ban ngày.

Ngoài ra thuốc [205, 287, "Outcome", có các tác dung phụ như dau dau, giảm nhu cau thèm [341, 346, "Outeome"]]\ ăn, đánh trông ngực, tăng huyệt ap, chong mặt, tram camoutcome,. rong đó tác dụng phụ liên quan tim mạch bao gồm đột tửouisome đã được báo cáo. Người bệnh cân được đánh giá chức năng tim mạch trước khi dùng thuốc cũng như theo đõi khi dùng thuốc. Động lực nghiên cứu Động lực đề thực nghiên cứu vì những lí do như sau: Xã hội và đời sống con người ngày càng phát triển và được nâng cao, do đó các thiết bị điện tử hiện đại cùng công nghệ Internet đã trở thành một phần không thể thiếu trong đời sống con người.

Với thực trạng tôi đã nêu ở phần trên, khi nguồn dữ liệu ngày càng phát triển không ngừng và trở nên không lồ, và còn về con người, một số nghiên cứu chỉ ra con người ngày nay ngày càng phụ thuộc mạng xã hội để quyết định sức khỏe của bản thân. Chính vì những điều này dẫn đến nhu cầu tìm kiếm bằng chứng y học phô thông, cũng như các phương pháp hỗ trợ hệ thống y tế ngày một tăng cao. Do đó: - Nhu cầu cần một phương pháp tiếp cận nhanh chóng, tiết kiệm công sức, thời gian và chi phí. - Xã hội Việt Nam ngày càng phát triển và hiện đại, dân số gần đạt đến 100 triệu người.

Đây là động lực lớn và cần thiết thực hiện nghiên cứu phương pháp giải quyết bài toán trên tiếng Việt. - Nguồn dữ liệu ngày càng không lồ là nguồn tài nguyên lí tưởng cho các phương pháp trí tuệ nhân tạo, mô hình học máy. Cách riêng về lĩnh vực xử lý ngôn ngữ tự nhiên trên tiếng Việt hiện nay, đã có nhiều bộ dữ liệu thuộc miền Y Tế - Sức Khỏe phục vụ cho những bài toán chăng hạn như hỏi đáp,. nhưng đối với các bài toán khác thì hâu như chưa có nhiêu.

Tất cả điều mà tôi nhận thấy nêu trên đã trở thành động lực lớn khiến tôi quyết định thực hiện nghiên cứu này. Đối tượng và phạm vi nghiên cứu 1. Đối tượng Bài toán “Trích xuất các yếu tô PIO trong phản hồi y tẾ”, thuộc miền dữ liệu Y Tế - Sức Khỏe trên tiếng Việt. Phạm vi - Phạm vi nghiên cứu của đề tài khóa luận này tập trung chính vào những câu trả lời, phản hồi từ bác sĩ về lĩnh vực Y Tế - Sức Khỏe trên mạng xã hội.

Các phản hồi sẽ được sử dụng và tiễn hành quy trình gán nhãn - xây dựng dữ liệu phục vụ cho bài toán. - Về giới hạn nghiên cứu, tôi khai thác các vấn đề sau: » Xây dựng một bộ dữ liệu đủ lớn và đạt chất lượng với hình thức gán các nhãn Population, Intervention, Outcome cho các từ, cụm từ hoặc câu, đoạn văn bản. ‹ Đề tài nghiên cứu thuần về lĩnh vực học máy - trí tuệ nhân tạo, cụ thể là xử lý ngôn ngữ tự nhiên (thực hiện nghiên cứu, xử lý trên văn bản, câu từ) cho miền dữ liệu về Y Tế - Sức Khỏe, và đây là loại dữ liệu y tế phổ thông, cộng đồng. » Nghiên cứu thử nghiệm, so sánh và đánh giá các các phương pháp trên bộ dữ liệu được xây dựng.

Sỹ — li ¬ lo ¬ EỊ Nguồn Thu thập Tiền xử lý Xây dựng dữ liệu dữ liệu dữ liệu bộ dữ liệu —-H-€®@-8 ~ = Le \ Hoan thién Đánh giá va Thiết kế và Bộ dữ liệu báo cáo phân tích thực nghiệm Hình 1.1: Quy trình thực hiện đề tài.