Nghiên cứu dự đoán tác dụng phụ của thuốc từ y văn sử dụng mạng nơron

Luận văn thạc sĩ nghiên cứu dự đoán tác dụng phụ của thuốc từ y văn bằng mạng nơron dựa trên cơ chế tập trung, mang lại giải pháp mới cho y học.

• Tác giả: Nguyễn Thị Quyền
• Người hướng dẫn: TS. Đặng Thanh Hải
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Dự Đoán Tác Dụng Phụ Của Thuốc Bằng Mạng Nơ Ron Từ Y Văn
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÁC DỤNG PHỤ CỦA THUỐC
• 1.1. Khái niệm
• 1.2. Hiện trạng
• 1.3. Hướng tiếp cận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron tích chập (CNN)
• 2.3. Mạng nơ-ron hồi quy (RNN)
• 2.4. Mạng bộ nhớ dài – ngắn LSTM
• 2.5. Kỹ thuật attention
• 3. CHƯƠNG 3: THỰC NGHIỆM DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG
• 3.1. Mô tả bài toán
• 3.2. Mô tả dữ liệu và các bước thực hiện
• 3.3. Cấu hình phần cứng
• 3.4. Tham số cài đặt mô hình
• 3.5. Phương pháp đánh giá
• 3.6. Kết quả thử nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Hướng phát triển tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về dự đoán tác dụng phụ của thuốc từ y văn

Dự đoán tác dụng phụ của thuốc là một lĩnh vực nghiên cứu quan trọng trong y học hiện đại. Việc sử dụng mạng nơ-ron để phân tích dữ liệu từ y văn giúp cải thiện khả năng phát hiện các tác dụng phụ không mong muốn. Các nghiên cứu trước đây đã chỉ ra rằng việc khai thác thông tin từ y văn có thể giúp phát hiện sớm các tác dụng phụ, từ đó nâng cao an toàn cho bệnh nhân.

1.1. Khái niệm về tác dụng phụ của thuốc

Tác dụng phụ của thuốc được định nghĩa là những phản ứng không mong muốn xảy ra khi sử dụng thuốc. Chúng có thể gây ra những hậu quả nghiêm trọng cho sức khỏe. Việc hiểu rõ về các tác dụng phụ này là rất cần thiết để cải thiện quy trình phát triển thuốc.

1.2. Tầm quan trọng của việc dự đoán tác dụng phụ

Dự đoán tác dụng phụ không chỉ giúp bảo vệ sức khỏe bệnh nhân mà còn hỗ trợ các công ty dược phẩm trong việc phát triển thuốc an toàn hơn. Việc sử dụng mạng nơ-ron trong dự đoán này đã cho thấy hiệu quả vượt trội so với các phương pháp truyền thống.

II. Thách thức trong việc dự đoán tác dụng phụ của thuốc

Mặc dù có nhiều tiến bộ trong việc dự đoán tác dụng phụ của thuốc, nhưng vẫn còn nhiều thách thức cần phải vượt qua. Các dữ liệu từ y văn thường không đầy đủ và có thể chứa nhiều thông tin không chính xác. Điều này gây khó khăn trong việc xây dựng mô hình dự đoán chính xác.

2.1. Hạn chế của dữ liệu y văn

Dữ liệu từ y văn thường không được chuẩn hóa và có thể thiếu thông tin quan trọng. Điều này dẫn đến việc các mô hình dự đoán không thể hoạt động hiệu quả, đặc biệt là trong việc phát hiện các tác dụng phụ hiếm gặp.

2.2. Khó khăn trong việc xử lý ngôn ngữ tự nhiên

Việc xử lý ngôn ngữ tự nhiên trong y văn là một thách thức lớn. Các câu dài và phức tạp có thể gây khó khăn cho các mô hình mạng nơ-ron trong việc hiểu và phân tích thông tin.

III. Phương pháp dự đoán tác dụng phụ bằng mạng nơ ron

Các phương pháp dự đoán tác dụng phụ của thuốc bằng mạng nơ-ron đã được nghiên cứu và áp dụng rộng rãi. Các mô hình như ATT-RNN, ATT-GRU và ATT-LSTM đã cho thấy hiệu quả cao trong việc phân tích dữ liệu từ y văn.

3.1. Mô hình ATT RNN

Mô hình ATT-RNN sử dụng cơ chế tập trung để cải thiện khả năng dự đoán. Kết quả thử nghiệm cho thấy mô hình này hoạt động tốt hơn so với các mô hình truyền thống trong việc phát hiện tác dụng phụ.

3.2. Mô hình ATT GRU

Mô hình ATT-GRU đã đạt được điểm F1 trung bình tốt nhất trong các thử nghiệm. Việc kết hợp cơ chế tập trung với GRU giúp nâng cao khả năng dự đoán và hiểu biết về các tác dụng phụ của thuốc.

IV. Ứng dụng thực tiễn của dự đoán tác dụng phụ

Việc dự đoán tác dụng phụ của thuốc có nhiều ứng dụng thực tiễn trong y học. Các mô hình dự đoán giúp các bác sĩ và nhà nghiên cứu có thể đưa ra quyết định chính xác hơn trong việc kê đơn thuốc cho bệnh nhân.

4.1. Cải thiện quy trình phát triển thuốc

Dự đoán tác dụng phụ giúp các công ty dược phẩm phát triển thuốc an toàn hơn. Việc phát hiện sớm các tác dụng phụ có thể giảm thiểu rủi ro cho bệnh nhân và tăng cường hiệu quả điều trị.

4.2. Hỗ trợ bác sĩ trong việc kê đơn

Các mô hình dự đoán cung cấp thông tin hữu ích cho bác sĩ trong việc lựa chọn thuốc phù hợp cho bệnh nhân. Điều này giúp nâng cao chất lượng chăm sóc sức khỏe và giảm thiểu tác dụng phụ không mong muốn.

V. Kết luận và tương lai của dự đoán tác dụng phụ

Dự đoán tác dụng phụ của thuốc bằng mạng nơ-ron là một lĩnh vực đầy tiềm năng. Các nghiên cứu hiện tại đã chỉ ra rằng việc áp dụng công nghệ học sâu có thể cải thiện đáng kể khả năng phát hiện tác dụng phụ. Tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều tiến bộ mới.

5.1. Hướng phát triển trong nghiên cứu

Nghiên cứu trong lĩnh vực dự đoán tác dụng phụ cần tiếp tục được mở rộng. Việc áp dụng các công nghệ mới như học sâu và mạng nơ-ron sẽ giúp cải thiện độ chính xác và hiệu quả của các mô hình dự đoán.

5.2. Tích hợp dữ liệu từ nhiều nguồn

Tương lai của dự đoán tác dụng phụ có thể bao gồm việc tích hợp dữ liệu từ nhiều nguồn khác nhau. Điều này sẽ giúp xây dựng các mô hình dự đoán mạnh mẽ hơn và chính xác hơn trong việc phát hiện tác dụng phụ của thuốc.

Nội dung chính

Tổng quan nghiên cứu

Phản ứng có hại của thuốc (Adverse Drug Reactions - ADR) là một trong những thách thức y tế nghiêm trọng hàng đầu trên toàn cầu. Theo các thống kê y khoa quốc tế, mỗi năm có khoảng 7.000 ca tử vong bắt nguồn trực tiếp từ các phản ứng bất lợi của thuốc. Đáng lo ngại hơn, các nghiên cứu dịch tễ dược chỉ ra rằng có tới 94% các trường hợp ADR bị bỏ sót hoặc không được ghi nhận kịp thời trong các hệ thống báo cáo thụ động truyền thống như FAERS của Hoa Kỳ hay Yellow Card Scheme của Vương quốc Anh. Việc phát hiện các tác dụng phụ hiếm gặp nhưng nguy hiểm trong giai đoạn hậu kiểm lưu hành thuốc hiện nay vẫn phụ thuộc nhiều vào quy trình thủ công chậm chạp và tốn kém.

Trong bối cảnh đó, sự bùng nổ của kho tàng dữ liệu y văn trên cơ sở dữ liệu PubMed đã mở ra tiềm năng to lớn cho việc khai phá tri thức tự động. Tuy nhiên, các kỹ thuật học máy truyền thống như Máy vectơ hỗ trợ (SVM) hay Trường ngẫu nhiên có điều kiện (CRF) bộc lộ nhiều hạn chế khi xử lý các câu văn dài, phức tạp và đặc biệt là hiện tượng từ ngoài từ vựng (Out-Of-Vocabulary - OOV) thường xuyên xuất hiện trong các văn bản chuyên ngành.

Nhằm giải quyết triệt để bài toán này, luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Thị Quyền, dưới sự hướng dẫn khoa học của Tiến sĩ Đặng Thanh Hải tại Trường Đại học Công nghệ – Đại học Quốc gia Hà Nội (hoàn thành vào tháng 06/2021), đã nghiên cứu giải pháp dự đoán tác dụng phụ của thuốc từ y văn thông qua các mô hình mạng nơ-ron sâu kết hợp cơ chế tập trung (Attention Mechanism). Phạm vi nghiên cứu tập trung vào bài toán phân lớp quan hệ giữa thuốc và bệnh trên tập dữ liệu chuẩn BioCreative V CDR gồm 1.500 bài báo y sinh. Kết quả nghiên cứu mang lại giá trị thực tiễn cao khi mô hình tối ưu đạt điểm F1-score là 0,6037, cung cấp công cụ tự động hóa mạnh mẽ giúp đẩy nhanh tốc độ cảnh giác dược và nâng cao mức độ an toàn trong điều trị y khoa.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng dựa trên nền tảng xử lý ngôn ngữ tự nhiên (NLP) trong lĩnh vực y sinh và bài toán trích xuất quan hệ (Relation Extraction - RE). Mô hình lý thuyết tập trung vào các kiến trúc mạng nơ-ron nhân tạo sâu (Deep Neural Networks - DNNs) cùng cơ chế chú ý:

• Mạng nơ-ron tích chập (CNN): Được sử dụng làm mô hình đường cơ sở (baseline), khai thác các lớp tích chập (convolutional layer) với các bộ lọc kích thước cố định và lớp lấy mẫu cực đại toàn cục (Global Max-pooling) để trích xuất các đặc trưng ngữ cảnh cục bộ cấp cao.
• Mạng nơ-ron hồi quy và các biến thể (RNN, LSTM, GRU): Mạng nơ-ron hồi quy (RNN) xử lý dữ liệu chuỗi tuần tự theo thời gian thông qua thuật toán lan truyền ngược qua thời gian (BPTT). Để khắc phục hiện tượng suy giảm độ dốc (vanishing gradient) khi ghi nhớ ngữ cảnh xa, kiến trúc Mạng bộ nhớ dài - ngắn (LSTM) với 3 cổng chuyên biệt (cổng vào, cổng ra, cổng quên) và Đơn vị hồi quy có cổng (GRU) với 2 cổng tinh gọn (cổng đặt lại và cổng cập nhật) được đưa vào làm mô hình học chuỗi chính.
• Cơ chế tập trung (Attention Mechanism): Áp dụng kỹ thuật của Thang Luong và các cộng sự, lớp attention gán các trọng số xác suất phân phối thích ứng lên từng đơn vị nơ-ron, giúp mô hình tập trung tối đa vào các từ kích hoạt (trigger words) mang tính quyết định quan hệ ngữ nghĩa.
• Kỹ thuật biểu diễn không gian ngữ nghĩa (Word & Position Embedding): Kết hợp mô hình nhúng từ không gian 300 chiều GloVe-6B đã tiền huấn luyện với vector nhúng vị trí (Position Embedding) 50 chiều biểu thị khoảng cách tương đối giữa từ vựng và các thực thể, hình thành vector đặc trưng 400 chiều cho mỗi token đầu vào.

Phương pháp nghiên cứu

Nghiên cứu sử dụng nguồn dữ liệu chuẩn vàng quốc tế BioCreative V CDR (BC5CDR) được xây dựng từ cơ sở dữ liệu PubMed của Viện Y học Quốc gia Hoa Kỳ. Tổng cỡ mẫu gồm chính xác 1.500 bài báo tóm tắt khoa học y sinh, được chia đều thành 3 tập dữ liệu riêng biệt phục vụ quy trình đánh giá chuẩn mực:

• Tập huấn luyện (Training set): 500 bài báo, gồm 4.182 đề cập bệnh (1.965 ID bệnh), 5.203 đề cập hóa chất (1.467 ID thuốc) và 1.038 quan hệ bệnh do hóa chất gây ra (CID).
• Tập phát triển (Development set): 500 bài báo, gồm 4.244 đề cập bệnh (1.865 ID bệnh), 5.347 đề cập hóa chất (1.597 ID thuốc) và 1.012 quan hệ CID.
• Tập kiểm thử (Test set): 500 bài báo, gồm 4.424 đề cập bệnh (1.988 ID bệnh), 5.385 đề cập hóa chất (1.435 ID thuốc) và 1.066 quan hệ CID.

Toàn bộ kho tài liệu chứa tổng cộng 4.409 chú thích hóa chất, 5.818 chú thích bệnh và 3.116 mối quan hệ CID đã được các chuyên gia y sinh thẩm định.

Phương pháp chọn mẫu và tiền xử lý áp dụng bộ tách câu Punkt trong thư viện NLTK để nhận diện các câu đơn chứa đồng thời thực thể thuốc và bệnh. Nghiên cứu triển khai 2 phương pháp xử lý thực thể: giữ nguyên chuỗi từ gốc (Tokens) và thay thế tên thực thể bằng các nhãn chuẩn hóa tổng quát "CHEMICAL" và "DISEASE" (Entity) nhằm giải quyết triệt để rào cản OOV. Hệ thống được lập trình trên nền tảng Keras và TensorFlow với phần cứng Intel Core i5-8400 CPU 2.81 GHz, 8 GB RAM và card đồ họa AMD Radeon R5 430. Thiết lập siêu tham số tối ưu gồm kích thước lô (batch size) bằng 64, số bộ lọc CNN bằng 100 với độ dài cửa sổ lọc là 3, chiều ẩn RNN bằng 128, tỷ lệ dropout 0,5 chống quá khớp và kiểm thử lặp lại tối thiểu 10 lần độc lập để lấy kết quả trung bình.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm đối chứng trên 8 kịch bản mô hình khác nhau mang lại những kết quả nổi bật như sau:

• Mô hình ATT-GRU đạt hiệu năng cao nhất: Mô hình GRU kết hợp cơ chế tập trung và nhãn thực thể (ATT-GRU-ENTITY) đạt điểm F1-score tối ưu là 0,6037 trên tập kiểm thử, vượt trội so với mô hình đường cơ sở CNN-Tokens vốn chỉ đạt F1-score là 0,5731 (mức tăng trưởng tương đối đạt khoảng 5,34%).
• Cơ chế Attention tối ưu hóa vượt bậc trên LSTM và GRU: Sự kết hợp của cơ chế tập trung với các đơn vị bộ nhớ có cổng tạo ra bước nhảy vọt về hiệu năng. Cụ thể, ATT-GRU đạt F1 là 0,6037 và ATT-LSTM đạt F1 là 0,5947, vượt trội rõ rệt so với mô hình ATT-RNN truyền thống chỉ đạt mức F1 là 0,5734 (tăng khoảng 5,28%).
• Chuẩn hóa nhãn thực thể khắc phục hiệu quả rào cản OOV: Việc thay thế tên thuốc và bệnh bằng nhãn tổng quát "CHEMICAL" và "DISEASE" mang lại sự cải thiện điểm F1 nhất quán trên tất cả các thuật toán: ATT-GRU tăng từ 0,6029 (Tokens) lên 0,6037 (Entity); ATT-LSTM tăng từ 0,5915 lên 0,5947.
• Tính cạnh tranh cao so với các công trình quốc tế: Kết quả F1-score 0,6037 của mô hình ATT-GRU hoàn toàn vượt trội so với các nghiên cứu sử dụng học máy truyền thống như SVM của Xu và cộng sự (F1 = 0,5070), mô hình lai LSTM+SVM của Zhou và cộng sự (F1 = 0,5600) và tiệm cận mô hình tích hợp phức tạp CNN+ME của Gu và cộng sự (F1 = 0,6020).

Thảo luận kết quả

Hiệu năng vượt trội của mô hình ATT-GRU có thể được giải thích rõ ràng thông qua nguyên lý hoạt động của cơ chế tập trung. Thay vì tiếp nhận đồng đều mọi thông tin từ chuỗi hồi quy, lớp attention tự động học cách gán trọng số cao cho các từ kích hoạt quan hệ nguyên nhân – kết quả (ví dụ như các từ "caused", "induces", "toxicity", "manifest") và hạ thấp trọng số của các từ nhiễu không liên quan. Kiến trúc 2 cổng của GRU giúp mô hình vừa duy trì ngữ cảnh dài hạn vừa tinh giản tham số, tránh được hiện tượng quá khớp tốt hơn cấu trúc 3 cổng của LSTM.

Các kết quả thực nghiệm này có thể được trình bày trực quan thông qua biểu đồ so sánh độ đo F1 giữa 8 kịch bản và biểu đồ nhiệt (Heatmap) thể hiện phân bố trọng số Attention. Trong các biểu đồ nhiệt, mức độ tập trung chú ý luôn đạt giá trị cực đại (trên 0,80) ngay tại các vị trí tiếp giáp giữa tên thuốc và triệu chứng bệnh liên quan, minh chứng cho khả năng diễn giải ngữ nghĩa minh bạch của mô hình học sâu.

So với các nghiên cứu cùng chuyên ngành, giải pháp đề xuất không cần dựa vào các đặc trưng ngôn ngữ học phức tạp hay các bộ phân tích cú pháp thủ công tốn kém, nhưng vẫn đạt độ chính xác tương đương các hệ thống lai ghép phức tạp. Điều này khẳng định tính ưu việt của việc kết hợp biểu diễn không gian nhúng từ GloVe 300 chiều, nhúng vị trí 50 chiều và cơ chế tập trung.

Đề xuất và khuyến nghị

Dựa trên các phát hiện thực nghiệm, nghiên cứu đưa ra 4 khuyến nghị và giải pháp hành động cụ thể nhằm nâng cao hiệu quả ứng dụng trí tuệ nhân tạo vào hệ thống y tế:

1. Tích hợp mô hình ATT-GRU vào hệ thống Cảnh giác Dược tự động: Cơ quan quản lý Dược phẩm và các trung tâm cảnh giác dược quốc gia cần triển khai phần mềm khai phá tự động các bài báo tóm tắt từ PubMed, hướng tới mục tiêu rút ngắn thời gian phát hiện các tín hiệu an toàn thuốc từ vài tháng xuống dưới 48 giờ, thực hiện trong lộ trình 6 đến 12 tháng tới.
2. Mở rộng quy mô và chuẩn hóa kho dữ liệu huấn luyện y văn: Các viện nghiên cứu tin y sinh và trường đại học công nghệ cần phối hợp xây dựng kho ngữ liệu mở rộng vượt mốc 10.000 bài báo khoa học và hồ sơ bệnh án điện tử (EMR), mục tiêu nâng tỷ lệ bao phủ dữ liệu thực tế lên trên 90% và đẩy điểm F1-score của mô hình vượt ngưỡng 0,6800 trong vòng 12 tháng.
3. Nâng cấp kiến trúc sang các mô hình ngôn ngữ lớn chuyên sâu (Biomedical LLMs): Đội ngũ kỹ sư dữ liệu y tế cần nghiên cứu tích hợp các mô hình ngôn ngữ tiền huấn luyện chuyên ngành như BioBERT hoặc PubMedBERT kết hợp cơ chế đa đầu chú ý (Multi-head Attention), đặt mục tiêu nâng độ chính xác Precision lên trên 70% trong giai đoạn 2024–2025.
4. Phát triển công cụ tra cứu trực quan hỗ trợ bác sĩ và dược sĩ: Các doanh nghiệp công nghệ y tế cần xây dựng giao diện ứng dụng cho phép nhân viên y tế tra cứu nhanh các cặp tương tác thuốc – tác dụng phụ tiềm ẩn, giúp giảm 50% thời gian rà soát y văn thủ công, thí điểm tại ít nhất 15 bệnh viện đa khoa trong vòng 9 tháng.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu tham khảo giá trị cho 4 nhóm đối tượng trọng tâm:

• Kỹ sư Trí tuệ Nhân tạo và Nhà nghiên cứu Khoa học Dữ liệu Y sinh: Tiếp cận phương pháp thiết kế mạng hồi quy (RNN, LSTM, GRU) kết hợp Attention Mechanism và kỹ thuật nhúng từ GloVe 300D kết hợp Position Embedding 50D để giải quyết các bài toán phân lớp quan hệ phức tạp.
• Chuyên gia Dược lâm sàng và Cán bộ Cảnh giác Dược: Khai thác giải pháp tự động hóa sàng lọc tác dụng phụ của thuốc từ hàng triệu công bố y khoa quốc tế, hỗ trợ khắc phục tình trạng 94% ca ADR bị bỏ sót trong các kênh báo cáo thụ động.
• Nhà phát triển Hệ thống Thông tin Y tế và Bệnh viện: Ứng dụng cấu trúc phân lớp nhãn quan hệ thuốc – bệnh để xây dựng các module cảnh báo sớm tích hợp trực tiếp vào phần mềm kê đơn điện tử và bệnh án điện tử (HIS/EMR).
• Học viên Cao học và Sinh viên ngành Công nghệ Thông tin: Nắm vững phương pháp luận nghiên cứu học thuật chuẩn mực, quy trình thiết kế 8 kịch bản kiểm nghiệm đối chứng và kỹ thuật xử lý từ ngoài từ điển (OOV) trong các bài toán NLP chuyên sâu.

Câu hỏi thường gặp

Mô hình ATT-GRU có điểm gì vượt trội hơn so với ATT-LSTM và CNN trong bài toán dự đoán tác dụng phụ của thuốc? Mô hình ATT-GRU sở hữu cấu trúc 2 cổng tinh gọn (cổng đặt lại và cổng cập nhật), giúp giảm đáng kể số lượng tham số cần tối ưu hóa so với 3 cổng của LSTM. Nhờ đó, mô hình hội tụ nhanh, hạn chế quá khớp trên tập dữ liệu 1.500 bài báo và đạt F1-score tối ưu là 0,6037, vượt trội hơn mức 0,5947 của ATT-LSTM và 0,5731 của mô hình CNN cơ bản.

Vì sao việc thay thế tên thuốc và bệnh bằng nhãn "CHEMICAL" và "DISEASE" lại giúp tăng độ chính xác? Trong văn bản y sinh, các tên thuốc và bệnh hiếm gặp thường xuất hiện dưới dạng từ ngoài từ vựng (OOV), khiến mô hình khởi tạo vector ngẫu nhiên dẫn đến phân loại sai. Việc chuẩn hóa tên thực thể thành các nhãn tổng quát giúp mô hình tập trung hoàn toàn vào cấu trúc ngữ pháp và ngữ cảnh liên kết, nâng điểm F1 của ATT-GRU từ 0,6029 lên 0,6037.

Position Embedding đóng vai trò như thế nào trong việc nhận diện quan hệ giữa thuốc và bệnh? Position Embedding mã hóa khoảng cách vị trí tương đối giữa từng từ trong câu tới thực thể thuốc và bệnh thành vector 50 chiều. Khi kết hợp với vector nhúng từ GloVe 300 chiều tạo thành không gian đặc trưng 400 chiều, giúp mạng nơ-ron nhận biết chính xác phạm vi tác động ngữ nghĩa xung quanh các thực thể cần phân loại.

Bộ ngữ liệu BioCreative V CDR được cấu trúc và phân bổ ra sao trong nghiên cứu? Kho ngữ liệu chuẩn BC5CDR gồm 1.500 bài báo PubMed được phân bổ khoa học và đồng đều thành 3 tập riêng biệt: Tập huấn luyện (500 bài, 1.038 quan hệ CID), Tập phát triển (500 bài, 1.012 quan hệ CID) và Tập kiểm thử (500 bài, 1.066 quan hệ CID), chứa tổng cộng 4.409 ID hóa chất và 5.818 ID bệnh.

Mô hình hiện tại có xử lý được các mối quan hệ thuốc – bệnh nằm trên nhiều câu khác nhau hay không? Trong phạm vi luận văn, mô hình tập trung phân lớp các mối quan hệ giữa thuốc và bệnh xuất hiện trong cùng một phạm vi câu đơn (sử dụng bộ tách câu Punkt). Việc mở rộng kiến trúc để trích xuất quan hệ cấp độ toàn văn bản (Document-level) xuyên nhiều câu là một trong những hướng phát triển quan trọng tiếp theo của tác giả.

Kết luận

• Hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron sâu (CNN, RNN, LSTM, GRU) và cơ chế tập trung (Attention Mechanism) trong trích xuất quan hệ y sinh.
• Xây dựng thành công quy trình tiền xử lý ngữ liệu y văn PubMed kết hợp nhúng từ GloVe 300 chiều và nhúng vị trí 50 chiều tạo không gian vector 400 chiều tối ưu.
• Chứng minh bằng thực nghiệm mô hình ATT-GRU với nhãn thực thể đạt hiệu năng cao nhất với F1-score đạt 0,6037 trên tập dữ liệu chuẩn 1.500 tài liệu BioCreative V CDR.
• Khẳng định tính hiệu quả vượt bậc của cơ chế Attention và kỹ thuật chuẩn hóa nhãn thực thể trong việc loại bỏ hiện tượng từ ngoài từ vựng OOV.
• Đề xuất định hướng ứng dụng thực tiễn trong hệ thống cảnh giác dược hiện đại, khắc phục hạn chế lớn của các hệ thống báo cáo thụ động truyền thống.

Công trình nghiên cứu của tác giả Nguyễn Thị Quyền đã đóng góp một giải pháp học sâu hiệu quả, có khả năng tự động hóa việc phát hiện phản ứng có hại của thuốc từ nguồn y văn khổng lồ. Trong giai đoạn tiếp theo từ năm 2024 đến năm 2026, việc mở rộng mô hình sang các kiến trúc Transformer tiên tiến và tập dữ liệu quy mô lớn sẽ tiếp tục nâng cao độ chính xác. Đây là tài liệu tham khảo khoa học hữu ích cho cộng đồng nghiên cứu AI y tế và các đơn vị phát triển giải pháp công nghệ thông tin phục vụ sức khỏe cộng đồng.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TÁC DỤNG PHỤ CỦA THUỐC 1. Khái niệm Dưới đây là một số thuật ngữ thường được sử dụng để mô tả các tác dụng phụ của việc điều trị bằng thuốc theo Pharmacology Education Project (PEP) được phát triển bởi liên minh quốc tế về dược học cơ bản và lâm sàng (IUPHAR) [25]: - Phản ứng có hại của thuốc (Adverse Drug Reaction - ADR) là phản ứng không mong muốn hoặc có hại xảy ra sau khi sử dụng thuốc hoặc kết hợp thuốc trong điều kiện sử dụng bình thường và được nghi ngờ có liên quan đến thuốc. ADR thường sẽ yêu cầu ngừng thuốc hoặc giảm liều. - Tác dụng phụ (side-effect) là bất kỳ tác dụng nào gây ra bởi một loại thuốc khác với tác dụng điều trị dự kiến, cho dù có lợi, trung tính hay có hại.

Kể từ năm 2012, định nghĩa về ADR đã bao gồm các phản ứng xảy ra do lỗi, sử dụng sai hoặc lạm dụng và các phản ứng nghi ngờ đối với các loại thuốc không có giấy phép hoặc được sử dụng ngoài nhãn ngoài việc sử dụng thuốc được phép với liều lượng bình thường [8]. Thông thường, ADR được phân thành hai loại [8]: - Phản ứng loại A - đôi khi được gọi là phản ứng tăng cường - 'phụ thuộc vào liều lượng' và có thể dự đoán được dựa trên dược lý của thuốc. - Phản ứng loại B - phản ứng kỳ lạ - mang tính đặc trưng và không thể dự đoán được trên cơ sở dược lý học. Hiện trạng Phản ứng có hại của thuốc là một vấn đề sức khỏe cấp bách và cũng là một trở ngại cho việc phát triển các loại thuốc có hiệu quả điều trị.

Được biết, khoảng 7000 ca tử vong do ADRs gây ra mỗi năm trong một nghiên cứu được thực hiện trong năm 2000 [13]. Do đó, việc giám sát thuốc sau bán trên thị trường được yêu cầu để xác định các ADR tiềm ẩn như vậy sau khi sản xuất thuốc. Hiện tại, hầu hết các hoạt động giám sát thuốc sau bán trên thị trường đều dựa vào cơ sở dữ liệu hệ thống báo cáo tự phát thụ động, chẳng hạn như Hệ thống báo cáo sự kiện có hại của Cơ quan Quản lý Dược phẩm Liên bang (FAERS) của Mỹ [13], các hệ thống báo cáo tự phát như Chương trình Thẻ Vàng (Yellow Card Scheme) ở Anh được vận hành bởi Cơ quan Quản lý Thuốc và Sản phẩm Chăm sóc sức khỏe (MHRA) và Ủy ban Thuốc cho Người (CHM) [8]. Thông qua các báo cáo này, chương trình thu thập dữ liệu về các ADR nghi ngờ liên quan đến tất cả các loại 12 thuốc và vắc xin được cấp phép và không được cấp phép, bao gồm cả những loại thuốc được cấp theo đơn hoặc mua không cần kê đơn.

Để một báo cáo có hiệu lực, chỉ cần có bốn mục thông tin: bệnh nhân, phản ứng, sản phẩm thuốc bị nghi ngờ và người báo cáo. Tuy nhiên, các báo cáo viên được khuyến khích cung cấp càng nhiều thông tin càng tốt, tức là cung cấp thêm dữ liệu và bối cảnh lâm sàng cho người đánh giá. Hệ thống như vậy có thể chậm và không hiệu quả. Nghiên cứu cho thấy 94% ADR được báo cáo thiếu ở các hệ thống chính thức [20].

Các loại thuốc đặc biệt liên quan đến ADR bao gồm thuốc chống kết tập tiểu cầu, thuốc chống đông máu, thuốc độc tế bào, thuốc ức chế miễn dịch, thuốc lợi tiểu, thuốc chống đái tháo đường và thuốc kháng sinh. ADRs gây tử vong thường là do xuất huyết, nguyên nhân phổ biến nhất được nghi ngờ là do thuốc chống đông máu được sử dụng đồng thời với thuốc chống viêm không steroid (NSAID) [8]. Dự đoán ADRs hiệu quả là điều cần thiết để cải thiện chăm sóc sức khỏe bệnh nhân và thúc đẩy quá trình phát triển thuốc. Các kỹ thuật tính toán khác nhau đã được sử dụng trong thời gian gần đây để tìm hiểu cơ chế phản ứng của thuốc.

Khi lĩnh vực tin sinh học đang phát triển nhanh chóng, người ta có thể thực hiện nhiều khám phá mới về thuốc mới. Dự đoán tác dụng phụ của thuốc là một bước tiến quan trọng, nhiều thú vị. Một số nghiên cứu gần đây [5], [21] tập trung vào ADR đề cập đến việc trích xuất trên văn bản y sinh. Nghiên cứu của tác giả được thực hiện trên kho ngữ liệu văn bản y sinh PubMed.

Hướng tiếp cận Tóm lược tri thức (Abstract Knowledge) là một hình thức để hiểu thế giới, cung cấp nhận thức và trí thông minh ở cấp độ con người cho trí thông minh nhân tạo trong thế hệ tiếp theo. Một trong những thể hiện của tri thức là quan hệ ngữ nghĩa giữa các thực thể. Một cách hiệu quả để tự động thu nhận tri thức quan trọng này, được gọi là trích xuất quan hệ (Relation Extraction - RE), một nhiệm vụ của trích xuất thông tin, đóng một vai trò quan trọng trong Xử lý ngôn ngữ tự nhiên (NLP). Mục đích của nó là xác định các quan hệ ngữ nghĩa giữa các thực thể từ văn bản ngôn ngữ tự nhiên [7].

Luận văn này tập trung vào bài toán trích xuất quan hệ trong lĩnh vực y sinh với đầu vào là dữ liệu từ các văn bản y sinh, đầu ra cần xác định được liệu một cặp thực thể ứng viên trong một văn bản hoặc trong một câu có mối quan hệ ngữ nghĩa hay không? Một số mô hình trích xuất quan hệ truyền thống sử dụng các phương pháp thống kê như máy vectơ hỗ trợ (Support Vector Machine - SVM) [1] và trường 13 ngẫu nhiên có điều kiện (Conditional Random Field - CRF) [18]. Với sự phát triển mạnh mẽ của công nghệ học sâu, các mô hình mạng nơ-ron đã đạt được hiệu suất hiện đại trên nhiều tác vụ gắn nhãn theo trình tự như nhận dạng tên thực thể (NER) [17] và gắn thẻ từ loại (Part-Of-Speech - POS) [3]. Các mô hình học sâu hiện tại thường sử dụng word embeddings, cho phép chúng học các cách biểu diễn tương tự cho các từ tương tự về mặt ngữ nghĩa. Mặc dù đây là một cải tiến lớn so với các mô hình truyền thống, nhưng vẫn còn một số lỗi cần được giải quyết.

Vấn đề khó khăn nhất là làm thế nào để đối phó với các từ “không nằm trong tập từ vựng có sẵn” (Out-Of-Vocabulary - OOV). Trong các văn bản y sinh như các tóm tắt Pubmeds, cách viết không chính thức hoặc mô tả kỹ thuật quá mức có thể khiến một số lượng lớn các từ OOV xuất hiện. Bởi vì những từ này không có từ tương ứng, chúng sẽ được khởi tạo ngẫu nhiên cho một số giá trị cụ thể. Điều này sẽ gây ra nhiều phân loại sai của các từ OOV đó trong tập dữ liệu.

Luận văn này đã tận dụng lợi thế của việc biểu diễn cấp độ từ và ký tự của một token, do đó các từ OOV đó có thể được gắn nhãn tốt hơn do bổ sung các biểu diễn ký tự chi tiết. Ngoài ra, luận văn cũng áp dụng cơ chế tập trung cho phép mô hình tự động và linh hoạt để học đặc trưng nào quan trọng hơn. Luận văn cũng sử dụng đầu ra trung gian của mô hình như một bộ phân loại phụ trợ để cải thiện hiệu suất dự đoán của mô hình. Để xác thực tính hiệu quả của mô hình, luận văn thực hiện thử nghiệm trên tập dữ liệu của PubMed.

Cơ chế tập trung [28], được đề xuất từ trực giác về sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào, đã được chứng minh là cải thiện hiệu suất mô hình và tăng cường khả năng diễn giải mô hình thông qua việc kết hợp thông tin tâp trung vào việc học sâu [16]. Ở đây, luận văn trình bày cách tiếp cận bằng cách sử dụng các mạng nơ ron dựa trên cơ chế tập trung (ATT-) và chứng minh sức mạnh của các mô hình ATT về hiệu suất bằng cách so sánh với các phương pháp học sâu khác và khả năng hiểu của chúng bằng cách phân tích trọng số tập trung ở cấp độ từ. Nhìn chung, mạng nơ ron sâu (DNN) đã được sử dụng rộng rãi trong các nhiệm vụ dự đoán, gán nhãn, trích xuất quan hệ với nhiều mô hình khác nhau. Ví dụ: Đề xuất mạng nơ-ron tích chập (CNN) sử dụng position embedding để trích xuất quan hệ [32], sử dụng mô hình bộ nhớ dài - ngắn (LSTM) cùng tính phụ thuộc và position embedding [29] đã cho thấy chiến lược học tập vượt trội hơn đáng kể so với các phương pháp mạng nơ-ron hồi quy (RNN) sử dụng các tính năng mở rộng bao gồm POS, NER và WordNet.

14 Trong lĩnh vực y sinh, các nhiệm vụ trích xuất quan hệ khác nhau như tương tác protein- protein, tương tác thuốc - thuốc và tương tác bệnh - hóa học đã được nghiên cứu. Các phương pháp dựa trên học máy khác nhau bao gồm các phương pháp học máy có giám sát, phân cụm mẫu và mô hình khai phá chủ đề đã được sử dụng trước khi các mô hình học sâu trở nên chiếm ưu thế trong những tiến bộ gần đây. Bên cạnh các mô hình DNN thông thường, sự phụ thuộc và thông tin cấp độ ký tự đã được sử dụng để cải thiện, nâng cao hiệu quả của các mô hình. Gần đây, cơ chế tập trung trên các mô hình DNN đã cho thấy sự hứa hẹn trong các nhiệm vụ NLP khác nhau, chẳng hạn như dịch máy [16], trả lời câu hỏi [26], phân loại tài liệu [30] cũng như trích xuất quan hệ.

Luận văn này trình bày nghiên cứu mạng nơ ron với cơ chế tập trung cho nhiệm vụ trích xuất tác dụng phụ của thuốc và chứng minh tính hiệu quả của cơ chế tập trung trong việc lựa chọn thông tin mức độ quan trọng. 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) là một tập con của học máy và là trung tâm của các thuật toán học sâu. Tên và cấu trúc của chúng được lấy cảm hứng từ não người, bắt chước cách các tế bào thần kinh sinh học truyền tín hiệu cho nhau.

Mạng nơ ron nhân tạo (ANN) bao gồm một lớp nút, chứa một lớp đầu vào (Input layer), một hoặc nhiều lớp ẩn (Hidden layer) và một lớp đầu ra (Output layer). Mỗi nút, hoặc mỗi nơron nhân tạo, kết nối với một nút khác và có trọng số và ngưỡng liên quan. Những trọng số này có được bằng cách học hỏi hoặc điều chỉnh từ một tập hợp các mẫu đào tạo [12]. Nếu đầu ra của bất kỳ nút riêng lẻ nào vượt quá giá trị ngưỡng được chỉ định, nút đó sẽ được kích hoạt, gửi dữ liệu đến lớp tiếp theo của mạng.