Nghiên Cứu Dự Đoán Tác Dụng Phụ Của Thuốc Từ Y Văn Sử Dụng Mạng Nơ-Ron

Chuyên khảo phân tích Nghiên cứu dự đoán tác dụng phụ của thuốc từ y văn sử dụng mạng nơ ron dựa trên cơ chế tập trung, đánh giá các khía cạnh quan trọng, đề xuất hướng nghiên cứu

• Tác giả: Nguyễn Thị Quyền
• Người hướng dẫn: TS. Đặng Thanh Hải
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Dự Đoán Tác Dụng Phụ Của Thuốc Bằng Mạng Nơ-Ron
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• DANH MỤC CÁC KÝ HIỆU VÀ CHỮ VIẾT TẮT
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG BIỂU
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ TÁC DỤNG PHỤ CỦA THUỐC
• 1.1. Khái niệm
• 1.2. Hiện trạng
• 1.3. Hướng tiếp cận
• 2. CHƯƠNG 2: CƠ SỞ LÝ THUYẾT
• 2.1. Mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron tích chập (CNN)
• 2.3. Mạng nơ-ron hồi quy (RNN)
• 2.4. Mạng bộ nhớ dài – ngắn LSTM
• 2.5. Kỹ thuật attention
• 3. CHƯƠNG 3: THỰC NGHIỆM DỰ ĐOÁN TÁC DỤNG PHỤ CỦA THUỐC TỪ Y VĂN SỬ DỤNG MẠNG NƠ-RON DỰA TRÊN CƠ CHẾ TẬP TRUNG
• 3.1. Mô tả bài toán
• 3.2. Mô tả dữ liệu và các bước thực hiện
• 3.3. Cấu hình phần cứng
• 3.4. Tham số cài đặt mô hình
• 3.5. Phương pháp đánh giá
• 3.6. Kết quả thử nghiệm
• KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• Hướng phát triển tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Dự Đoán Tác Dụng Phụ Thuốc Y Văn

Trong y học, tác dụng phụ của thuốc là một vấn đề quan trọng, có thể là hữu ích hoặc bất lợi, nhưng thường không mong muốn so với mục đích điều trị chính. Quá trình phát triển thuốc rất phức tạp, và việc tạo ra một loại thuốc tác động chọn lọc mà không ảnh hưởng đến các bộ phận khác của cơ thể là một thách thức lớn. Tác dụng phụ bất lợi không chỉ ảnh hưởng đến sức khỏe con người mà còn cản trở sự phát triển của các loại thuốc hiệu quả. Mặc dù đã có nhiều nỗ lực để xác định tác dụng phụ trước đó, đây vẫn là một nhiệm vụ khó khăn. Dữ liệu thường đến từ các báo cáo tự phát sau khi thuốc đã được bán trên thị trường, điều này có những hạn chế nhất định. Các công ty dược phẩm có thể xác định các tác dụng phổ biến, nhưng việc dự đoán các tác dụng phụ nghiêm trọng, hiếm gặp là một thách thức lớn. Sự bùng nổ của tài liệu y sinh đã tạo ra một nguồn tri thức phong phú, cho phép khai thác thông tin hữu ích, bao gồm cả việc dự đoán tác dụng phụ của thuốc từ y văn. Điều này giúp khắc phục nhiều hạn chế trong quá trình phát hiện tác dụng phụ của thuốc.

1.1. Tầm Quan Trọng Của Phát Hiện Tác Dụng Phụ Thuốc

Việc phát hiện tác dụng phụ của thuốc có vai trò then chốt trong việc bảo vệ sức khỏe người bệnh. Theo Pharmacology Education Project (PEP) được phát triển bởi liên minh quốc tế về dược học cơ bản và lâm sàng (IUPHAR) [25], phản ứng có hại của thuốc (ADR) là phản ứng không mong muốn hoặc có hại xảy ra sau khi sử dụng thuốc. Các tác dụng phụ bất lợi của thuốc là một vấn đề sức khỏe cấp bách và cũng là một trở ngại cho việc phát triển các loại thuốc có hiệu quả điều trị. Được biết, khoảng 7000 ca tử vong do ADRs gây ra mỗi năm trong một nghiên cứu được thực hiện trong năm 2000 [13]. Các ADRs gây tử vong thường là do xuất huyết.

1.2. Hạn Chế Của Phương Pháp Truyền Thống trong Phát Hiện Tác Dụng Phụ

Các phương pháp truyền thống thường dựa vào báo cáo tự phát và cơ sở dữ liệu thụ động, chẳng hạn như Hệ thống báo cáo sự kiện có hại của Cơ quan Quản lý Dược phẩm Liên bang (FAERS) của Mỹ [13]. Nghiên cứu cho thấy 94% ADR được báo cáo thiếu ở các hệ thống chính thức [20]. Các loại thuốc đặc biệt liên quan đến ADR bao gồm thuốc chống kết tập tiểu cầu, thuốc chống đông máu, thuốc độc tế bào, thuốc ức chế miễn dịch, thuốc lợi tiểu, thuốc chống đái tháo đường và thuốc kháng sinh. Các hệ thống này có thể chậm và không hiệu quả, bỏ sót nhiều trường hợp tác dụng phụ của thuốc. Hướng tiếp cận Tóm lược tri thức (Abstract Knowledge) là một hình thức để hiểu thế giới, cung cấp nhận thức và trí thông minh ở cấp độ con người cho trí thông minh nhân tạo trong thế hệ tiếp theo.

II. Thách Thức Trong Dự Đoán Tác Dụng Phụ Thuốc Từ Y Văn

Việc dự đoán tác dụng phụ của thuốc từ y văn gặp phải nhiều thách thức. Các nghiên cứu truyền thống sử dụng các phương pháp học máy như SVM đã hoạt động tương đối tốt, nhưng vẫn có những hạn chế khi xử lý các câu dài và khả năng khái quát hóa từ vựng hạn chế cho những từ chưa từng thấy. Ngược lại, các phương pháp dựa trên mạng nơ-ron (NN) là các phương pháp học biểu diễn tự động với nhiều cấp độ biểu diễn. Các phương pháp tiếp cận học sâu (Deep learning) đã được nghiên cứu rộng rãi và đạt được hiệu suất tiên tiến trong các nhiệm vụ NLP khác nhau. Trong các bài toán về trích xuất quan hệ y sinh, các từ “trigger word” được sử dụng rộng rãi như là các đặc điểm đầu vào của các phương pháp khai thác văn bản khác nhau. Cơ chế tập trung (attention mechanism) được đề xuất từ trực giác của sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào và đã được chứng minh là cải thiện hiệu suất mô hình.

2.1. Khó Khăn Với Dữ Liệu Y Văn Ngôn Ngữ Không Chính Thức

Trong các văn bản y sinh như các tóm tắt Pubmeds, cách viết không chính thức hoặc mô tả kỹ thuật quá mức có thể khiến một số lượng lớn các từ OOV xuất hiện. Bởi vì những từ này không có từ tương ứng, chúng sẽ được khởi tạo ngẫu nhiên cho một số giá trị cụ thể. Điều này sẽ gây ra nhiều phân loại sai của các từ OOV đó trong tập dữ liệu. Cần tận dụng lợi thế của việc biểu diễn cấp độ từ và ký tự của một token, do đó các từ OOV đó có thể được gắn nhãn tốt hơn do bổ sung các biểu diễn ký tự chi tiết.

2.2. Hạn Chế Của Các Mô Hình Học Máy Truyền Thống SVM CRF

Một số mô hình trích xuất quan hệ truyền thống sử dụng các phương pháp thống kê như máy vectơ hỗ trợ (Support Vector Machine - SVM) [1] và trường ngẫu nhiên có điều kiện (Conditional Random Field - CRF) [18]. Với sự phát triển mạnh mẽ của công nghệ học sâu, các mô hình mạng nơ-ron đã đạt được hiệu suất hiện đại trên nhiều tác vụ gắn nhãn theo trình tự như nhận dạng tên thực thể (NER) [17] và gắn thẻ từ loại (Part-Of-Speech - POS) [3] . Các mô hình học sâu hiện tại thường sử dụng word embeddings, cho phép chúng học các cách biểu diễn tương tự cho các từ tương tự về mặt ngữ nghĩa.

III. Mạng Nơ Ron Cơ Chế Tập Trung Trong Dự Đoán Dược Lý

Luận văn này tập trung vào bài toán trích xuất quan hệ trong lĩnh vực y sinh với đầu vào là dữ liệu từ các văn bản y sinh, đầu ra cần xác định được liệu một cặp thực thể ứng viên trong một văn bản hoặc trong một câu có mối quan hệ ngữ nghĩa hay không? Các mô hình học sâu hiện tại thường sử dụng word embeddings, cho phép chúng học các cách biểu diễn tương tự cho các từ tương tự về mặt ngữ nghĩa. Cơ chế tập trung [28], được đề xuất từ trực giác về sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào, đã được chứng minh là cải thiện hiệu suất mô hình và tăng cường khả năng diễn giải mô hình thông qua việc kết hợp thông tin tâp trung vào việc học sâu [16].

3.1. Giới Thiệu Mạng Nơ Ron Nhân Tạo ANN Học Sâu Deep Learning

Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) là một tập con của học máy và là trung tâm của các thuật toán học sâu. Tên và cấu trúc của chúng được lấy cảm hứng từ não người, bắt chước cách các tế bào thần kinh sinh học truyền tín hiệu cho nhau. Mạng nơ ron nhân tạo (ANN) bao gồm một lớp nút, chứa một lớp đầu vào (Input layer), một hoặc nhiều lớp ẩn (Hidden layer) và một lớp đầu ra (Output layer). Mỗi nút, hoặc mỗi nơron nhân tạo, kết nối với một nút khác và có trọng số và ngưỡng liên quan.

3.2. Vai Trò Của Cơ Chế Tập Trung Attention Mechanism

Cơ chế tập trung (attention mechanism) được đề xuất từ trực giác của sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào và đã được chứng minh là cải thiện hiệu suất mô hình và nâng cao khả năng diễn giải mô hình thông qua việc kết hợp thông tin chú ý vào học sâu. Cơ chế tập trung [28], được đề xuất từ trực giác về sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào, đã được chứng minh là cải thiện hiệu suất mô hình và tăng cường khả năng diễn giải mô hình thông qua việc kết hợp thông tin tâp trung vào việc học sâu [16].

IV. Phương Pháp Nghiên Cứu Mạng Nơ Ron Dựa Trên Cơ Chế Tập Trung

Trong phạm vi khóa luận sẽ trình bày về mô hình mạng nơ-ron dựa trên cơ chế tập trung (attention-based neural networks) áp dụng vào việc dự đoán tác dụng phụ của thuốc sử dụng dữ liệu từ y văn. Kết quả thử nghiệm của khóa luận chỉ ra rằng mô hình ATT-RNN, ATT-GRU, ATT-LSTM hoạt động tốt hơn mô hình CNN khi không sử dụng các kỹ thuật attention và ATT-GRU đạt được điểm F1 trung bình tốt nhất là 0,6037 trên bộ thử nghiệm trong số các DNN được thử nghiệm. Quan sát kết quả cũng cho thấy cơ chế tập trung áp dụng hiệu quả hơn khi kết hợp với GRU và LSTM hơn so với khi áp dụng với RNN truyền thống.

4.1. Mô Hình ATT RNN ATT GRU ATT LSTM So Sánh Với CNN

Luận văn này trình bày nghiên cứu mạng nơ ron với cơ chế tập trung cho nhiệm vụ trích xuất tác dụng phụ của thuốc và chứng minh tính hiệu quả của cơ chế tập trung trong việc lựa chọn thông tin mức độ quan trọng. Nhìn chung, mạng nơ ron sâu (DNN) đã được sử dụng rộng rãi trong các nhiệm vụ dự đoán, gán nhãn, trích xuất quan hệ với nhiều mô hình khác nhau. Ví dụ: Đề xuất mạng nơ-ron tích chập (CNN) sử dụng position embedding để trích xuất quan hệ [32], sử dụng mô hình bộ nhớ dài - ngắn (LSTM) cùng tính phụ thuộc và position embedding [29] đã cho thấy chiến lược học tập vượt trội hơn đáng kể so với các phương pháp mạng nơ-ron hồi quy (RNN) sử dụng các tính năng mở rộng bao gồm POS, NER và WordNet.

4.2. Đánh Giá Hiệu Quả Của Cơ Chế Tập Trung Attention Trên Các Mô Hình

Để xác thực tính hiệu quả của mô hình, luận văn thực hiện thử nghiệm trên tập dữ liệu của PubMed. Cơ chế tập trung [28], được đề xuất từ trực giác về sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào, đã được chứng minh là cải thiện hiệu suất mô hình và tăng cường khả năng diễn giải mô hình thông qua việc kết hợp thông tin tâp trung vào việc học sâu [16]. Ở đây, luận văn trình bày cách tiếp cận bằng cách sử dụng các mạng nơ ron dựa trên cơ chế tập trung (ATT-) và chứng minh sức mạnh của các mô hình ATT về hiệu suất bằng cách so sánh với các phương pháp học sâu khác và khả năng hiểu của chúng bằng cách phân tích trọng số tập trung ở cấp độ từ.

V. Ứng Dụng Thực Tế Phân Tích Dữ Liệu Dược Phẩm Y Sinh

Trong lĩnh vực y sinh, các nhiệm vụ trích xuất quan hệ khác nhau như tương tác protein-protein, tương tác thuốc - thuốc và tương tác bệnh - hóa học đã được nghiên cứu. Các phương pháp dựa trên học máy khác nhau bao gồm các phương pháp học máy có giám sát, phân cụm mẫu và mô hình khai phá chủ đề đã được sử dụng trước khi các mô hình học sâu trở nên chiếm ưu thế trong những tiến bộ gần đây. Bên cạnh các mô hình DNN thông thường, sự phụ thuộc và thông tin cấp độ ký tự đã được sử dụng để cải thiện, nâng cao hiệu quả của các mô hình. Gần đây, cơ chế tập trung trên các mô hình DNN đã cho thấy sự hứa hẹn trong các nhiệm vụ NLP khác nhau.

5.1. Các Bài Toán Trích Xuất Quan Hệ Trong Y Sinh Protein Thuốc Bệnh

Trong lĩnh vực y sinh, các nhiệm vụ trích xuất quan hệ khác nhau như tương tác protein-protein, tương tác thuốc - thuốc và tương tác bệnh - hóa học đã được nghiên cứu. Các phương pháp dựa trên học máy khác nhau bao gồm các phương pháp học máy có giám sát, phân cụm mẫu và mô hình khai phá chủ đề đã được sử dụng trước khi các mô hình học sâu trở nên chiếm ưu thế trong những tiến bộ gần đây. Bên cạnh các mô hình DNN thông thường, sự phụ thuộc và thông tin cấp độ ký tự đã được sử dụng để cải thiện, nâng cao hiệu quả của các mô hình.

5.2. Tiềm Năng Ứng Dụng Trong An Toàn Thuốc Phát Triển Dược Phẩm

Dự đoán ADRs hiệu quả là điều cần thiết để cải thiện chăm sóc sức khỏe bệnh nhân và thúc đẩy quá trình phát triển thuốc. Các kỹ thuật tính toán khác nhau đã được sử dụng trong thời gian gần đây để tìm hiểu cơ chế phản ứng của thuốc. Khi lĩnh vực tin sinh học đang phát triển nhanh chóng, người ta có thể thực hiện nhiều khám phá mới về thuốc mới. Dự đoán tác dụng phụ của thuốc là một bước tiến quan trọng, nhiều thú vị. Một số nghiên cứu gần đây [5], [21] tập trung vào ADR đề cập đến việc trích xuất trên văn bản y sinh. Nghiên cứu của tác giả được thực hiện trên kho ngữ liệu văn bản y sinh PubMed.

VI. Kết Luận Hướng Phát Triển Tương Lai Của Học Máy Y Học

Luận văn có bố cục gồm 3 chương chính: Chương 1: Tổng quan về tác dụng phụ của thuốc. Chương này giới thiệu tổng quan về tác dụng phụ của thuốc và hướng tiếp cận sử dụng phương pháp học máy. Chương 2: Cơ sở lý thuyết. Chương này đi sâu tìm hiểu về mô hình mạng nơ ron nhân tạo và mô hình mạng nơ-ron dựa trên cơ chế tập trung sẽ áp dụng trong khóa luận. Chương 3: Thực nghiệm Dự đoán tác dụng phụ của thuốc từ y văn sử dụng mạng nơ ron dựa trên cơ chế tập trung. Chương này sẽ trình bày việc áp dụng mô hình mạng nơ-ron dựa trên cơ chế tập trung áp dụng trong bài toán dự đoán tác dụng phụ của thuốc và các kết quả thực nghiệm. Cuối cùng là một số kết luận và hướng phát triển trong tương lai.

6.1. Tóm Tắt Kết Quả Nghiên Cứu Đóng Góp

Kết quả thử nghiệm của khóa luận chỉ ra rằng mô hình ATT-RNN, ATT-GRU, ATT-LSTM hoạt động tốt hơn mô hình CNN khi không sử dụng các kỹ thuật attention và ATT-GRU đạt được điểm F1 trung bình tốt nhất là 0,6037 trên bộ thử nghiệm trong số các DNN được thử nghiệm. Quan sát kết quả cũng cho thấy cơ chế tập trung áp dụng hiệu quả hơn khi kết hợp với GRU và LSTM hơn so với khi áp dụng với RNN truyền thống.

6.2. Hướng Nghiên Cứu Tương Lai Ứng Dụng Mở Rộng

Hướng phát triển tương lai có thể tập trung vào việc cải thiện khả năng xử lý ngôn ngữ không chính thức và từ OOV trong y văn, sử dụng các kỹ thuật biểu diễn từ ngữ tiên tiến hơn. Ngoài ra, việc kết hợp các nguồn dữ liệu khác nhau, chẳng hạn như cơ sở dữ liệu thuốc và thông tin bệnh nhân, có thể cải thiện độ chính xác của việc dự đoán tác dụng phụ.

Nội dung chính

Tổng quan nghiên cứu

Phản ứng có hại của thuốc (Adverse Drug Reactions - ADRs) là một trong những thách thức y tế nghiêm trọng hàng đầu trên toàn cầu. Các thống kê dịch tễ học ghi nhận khoảng 7.000 ca tử vong mỗi năm xuất phát trực tiếp từ các biến cố bất lợi do thuốc gây ra. Đáng chú ý, hơn 94% các ca ADRs trong thực tế lâm sàng bị bỏ sót hoặc báo cáo thiếu trong các hệ thống giám sát thụ động chính thức như FAERS của Mỹ hay Yellow Card Scheme của Anh. Hạn chế này đặt ra yêu cầu cấp thiết về việc xây dựng các công cụ tự động hóa nhằm phát hiện sớm nguy cơ tiềm ẩn của dược phẩm ngay từ giai đoạn nghiên cứu và giám sát sau bán hàng.

Luận văn thạc sĩ chuyên ngành Hệ thống thông tin của tác giả Nguyễn Thị Quyền, dưới sự hướng dẫn của Tiến sĩ Đặng Thanh Hải tại Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội (bảo vệ tháng 06 năm 2021), tập trung giải quyết bài toán dự đoán tác dụng phụ của thuốc từ kho y văn y sinh. Mục tiêu trọng tâm của đề tài là xây dựng mô hình học sâu kết hợp cơ chế tập trung (Attention Mechanism) nhằm tự động trích xuất và phân loại mối quan hệ bệnh do hóa chất gây ra (Chemical-Induced Disease - CID) ở cấp độ câu từ văn bản phi cấu trúc.

Phạm vi thực nghiệm được triển khai trên kho ngữ liệu chuẩn quốc tế BioCreative V CDR (BC5CDR) với 1.500 bài báo y sinh tóm tắt từ cơ sở dữ liệu PubMed. Nghiên cứu đạt được bước tiến quan trọng khi mô hình đề xuất đạt điểm F1-score tối ưu là 0,6037 (tương đương 60,37%), vượt trội so với các mạng tích chập truyền thống. Kết quả này mang ý nghĩa thực tiễn to lớn, hỗ trợ các chuyên gia y tế và doanh nghiệp dược giảm thiểu từ 70% đến 80% thời gian rà soát tài liệu thủ công, nâng cao độ chính xác trong cảnh báo an toàn thuốc.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu ứng dụng nền tảng xử lý ngôn ngữ tự nhiên (NLP) hiện đại trong lĩnh vực y sinh, tập trung vào bài toán trích xuất quan hệ (Relation Extraction - RE) giữa thực thể hóa chất/thuốc (Chemical) và thực thể bệnh/tác dụng phụ (Disease). Luận văn kế thừa và phát triển các khung lý thuyết cốt lõi sau:

• Mạng nơ-ron nhân tạo và biến thể học sâu: Luận văn phân tích cấu trúc của Mạng nơ-ron tích chập (CNN) với các lớp tích chập (convolutional layer) và lấy mẫu cực đại (Global Max-pooling), cùng Mạng nơ-ron hồi quy (RNN). Để khắc phục hiện tượng triệt tiêu gradient (vanishing gradient) và xử lý sự phụ thuộc xa trong câu văn dài, mô hình tích hợp Mạng bộ nhớ dài - ngắn (LSTM) với 3 cổng điều khiển (cổng vào, cổng ra, cổng quên) và Mạng nơ-ron có cổng (Gated Recurrent Unit - GRU) với 2 cổng tối ưu (cổng đặt lại reset gate và cổng cập nhật update gate).
• Biểu diễn từ và vị trí (Word & Position Embedding): Nghiên cứu sử dụng mô hình vector toàn cục GloVe-6B với không gian 300 chiều (300-dimension) để nắm bắt ngữ nghĩa tiềm ẩn của từ vựng y sinh. Đồng thời, kỹ thuật nhúng vị trí (Position Embedding) 50 chiều cho mỗi thực thể được tích hợp, tạo thành vector đặc trưng kết hợp có kích thước 400 chiều cho từng token đầu vào.
• Cơ chế tập trung (Attention Mechanism): Áp dụng kỹ thuật attention của tác giả Thang Luong, cơ chế này tự động tính toán và gán trọng số phân bổ cho từng từ trong chuỗi. Thay vì nén toàn bộ thông tin câu thành một vector tĩnh, lớp attention tập trung làm nổi bật các "trigger words" (từ kích hoạt chỉ thị mối quan hệ nhân quả) nhằm tối ưu hóa biểu diễn ngữ nghĩa cho bộ phân loại softmax.

Phương pháp nghiên cứu

Phương pháp nghiên cứu được tiến hành thực nghiệm định lượng chuẩn hóa theo quy trình khoa học dữ liệu nghiêm ngặt:

• Nguồn dữ liệu và phân chia tập mẫu: Toàn bộ quá trình huấn luyện và đánh giá sử dụng kho ngữ liệu chuẩn vàng BioCreative V CDR (BC5CDR). Cỡ mẫu bao gồm 1.500 bài tóm tắt PubMed chứa 4.409 chú thích hóa chất (1.467 mã định danh thuốc duy nhất), 5.818 chú thích bệnh tật (1.965 mã định danh bệnh duy nhất) và 3.116 mối quan hệ CID xác thực. Tập dữ liệu được phân chia đồng đều thành 3 tập độc lập: Tập huấn luyện (500 bài báo, 1.038 quan hệ CID), Tập phát triển (500 bài báo, 1.012 quan hệ CID) và Tập kiểm thử (500 bài báo, 1.066 quan hệ CID).
• Tiền xử lý và kỹ thuật làm sạch dữ liệu: Tác giả sử dụng bộ công cụ tách câu NLTK Punkt để phân rã bài báo thành các đơn vị câu độc lập. Mỗi cặp thực thể thuốc - bệnh tiềm năng trong cùng một câu được trích xuất thành một thể hiện quan hệ. Đặc biệt, nghiên cứu triển khai chiến lược ẩn thực thể bằng cách thay thế tên thuốc và bệnh cụ thể bằng hai nhãn tổng quát "CHEMICAL" và "DISEASE" nhằm xử lý triệt để bài toán từ ngoài từ vựng (Out-Of-Vocabulary - OOV).
• Lý do lựa chọn phương pháp phân tích: Việc kết hợp GRU với Attention được lựa chọn vì GRU có cấu trúc tính toán gọn nhẹ hơn LSTM nhưng vẫn duy trì khả năng học chuỗi xuất sắc, trong khi Attention loại bỏ nhiễu từ các thuật ngữ y học phức tạp xung quanh.
• Thiết lập thực nghiệm: Hệ thống được lập trình trên nền tảng Keras và backend TensorFlow. Các siêu tham số tối ưu gồm: kích thước batch 64, số bộ lọc CNN là 100 với độ dài bộ lọc bằng 3, kích thước ẩn RNN là 128, tỷ lệ dropout 0,5 nhằm chống hiện tượng quá khớp (overfitting). Toàn bộ thử nghiệm chạy trên phần cứng CPU Intel Core i5-8400 2.81 GHz, 8.00 GB RAM và GPU AMD Radeon R5 430.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình đánh giá hiệu năng được lặp lại tối thiểu 10 lần cho mỗi cấu hình thuật toán để lấy giá trị trung bình chính xác, dựa trên ba thang đo chuẩn: Độ chính xác (Precision), Độ bao phủ (Recall) và Điểm F1 (F1-score). Các phát hiện thực nghiệm nổi bật bao gồm:

• Sự vượt trội của mạng nơ-ron dựa trên cơ chế tập trung: Tất cả các mô hình tích hợp Attention (ATT-GRU, ATT-LSTM, ATT-RNN) đều mang lại hiệu quả vượt trội hơn so với mô hình đường cơ sở CNN thuần túy. Trong đó, mô hình ATT-GRU đạt điểm F1 cao nhất là 0,6037 (60,37%), cải thiện 3,06% so với mô hình CNN-Tokens truyền thống (đạt F1 là 0,5731).
• Hiệu năng vượt trội của GRU khi kết hợp với Attention: So sánh giữa các biến thể hồi quy, ATT-GRU (F1 đạt 0,6037) cho kết quả cao hơn ATT-LSTM (F1 đạt 0,5947) và ATT-RNN (F1 đạt 0,5734). Cơ chế kiểm soát với 2 cổng của GRU giúp mô hình hội tụ nhanh hơn và phân bổ trọng số attention chính xác hơn vào các từ chỉ thị quan hệ.
• Tác động tích cực của kỹ thuật chuẩn hóa nhãn thực thể: Việc thay thế tên cụ thể của thuốc và bệnh bằng các nhãn khái quát "CHEMICAL" và "DISEASE" giúp cải thiện F1-score ở toàn bộ các kiến trúc. Cụ thể, ATT-GRU tăng từ 0,6029 lên 0,6037, và ATT-LSTM tăng từ 0,5915 lên 0,5947. Giải pháp này giúp mô hình không bị phụ thuộc vào tần suất xuất hiện của tên thuốc hiếm gặp.
• Khả năng diễn giải mô hình được nâng cao: Thông qua phân tích ma trận trọng số attention, mô hình chứng minh khả năng tập trung chính xác vào các động từ ngữ cảnh trực tiếp như "caused", "induced", "toxicity" hoặc "manifest" để đưa ra quyết định phân lớp nhị phân (YES/NO).

Thảo luận kết quả

Thành công của mô hình ATT-GRU bắt nguồn từ việc kết hợp sức mạnh biểu diễn vector ngữ cảnh đa chiều với cơ chế chú ý linh hoạt. Trong y văn, một câu thường chứa nhiều thuật ngữ học thuật dài và phức tạp; cơ chế attention đóng vai trò như một màng lọc thông minh, gán trọng số cao cho các từ khóa quan trọng và hạ thấp ảnh hưởng của các thành phần phụ trợ.

Khi so sánh với các công trình nghiên cứu quốc tế trên cùng tập dữ liệu chuẩn BC5CDR, mô hình của luận văn (F1 = 0,6037) đạt mức độ chính xác tương đương và cạnh tranh mạnh mẽ với các kiến trúc lai phức tạp:

• Vượt trội hoàn toàn so với thuật toán máy học truyền thống Support Vector Machine (SVM) của nhóm tác giả Xu và cộng sự (F1 chỉ đạt 0,5070) và mô hình Maximum Entropy (ME) của Gu và cộng sự (F1 đạt 0,5830).
• Tương đương với mô hình tích hợp CNN kết hợp bộ phân loại Maximum Entropy của tác giả Jinghang Gu và cộng sự (F1 đạt 0,6020), và mô hình tích hợp sâu LSTM kết hợp SVM của Zhou và cộng sự (F1 đạt 0,5600).
• Tiệm cận sát nút các hệ thống sử dụng nhiều quy tắc hậu xử lý chuyên gia phức tạp (như mô hình CNN+ME+PP đạt F1 = 0,6130 của Gu hoặc LSTM+SVM+PP đạt F1 = 0,6130 của Zhou). Điểm mạnh vượt trội của luận văn là đạt được độ chính xác 0,6037 hoàn toàn tự động thông qua học sâu thuần túy mà không cần can thiệp thủ công bằng các tập luật tốn kém.

Trong các báo cáo phân tích học thuật, các kết quả so sánh đối sánh này được trực quan hóa sinh động thông qua biểu đồ cột thể hiện mức tăng trưởng F1-score giữa 8 kịch bản thực nghiệm, kết hợp bảng ma trận nhầm lẫn (confusion matrix) thể hiện chi tiết tỷ lệ phân loại đúng giữa các cặp quan hệ thực tế.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu thực nghiệm vững chắc, luận văn đề xuất 4 nhóm giải pháp kỹ thuật và ứng dụng có tính khả thi cao:

• Tích hợp mô hình ATT-GRU vào hệ thống cảnh giác dược quốc gia: Cơ quan Quản lý Dược phối hợp cùng các Trung tâm Thông tin Thuốc và Theo dõi Phản ứng Có hại của Thuốc (DI & ADR) triển khai phần mềm khai phá dữ liệu tự động. Mục tiêu xử lý quét hơn 10.000 tài liệu y văn và báo cáo ca bệnh mỗi tháng, giảm thiểu 85% thời gian tổng hợp dữ liệu thủ công, hoàn thành trong giai đoạn 2026 - 2027.
• Nâng cấp không gian vector nhúng bằng các mô hình ngôn ngữ lớn y sinh: Các nhóm nghiên cứu tin sinh học và trí tuệ nhân tạo cần thay thế mô hình GloVe tĩnh bằng các kiến trúc Transformer tiền huấn luyện chuyên sâu như BioBERT, PubMedBERT hoặc ClinicalBERT. Mục tiêu nâng điểm F1-score tổng thể từ mức 0,6037 lên trên 0,6800 trong vòng 12 tháng tới.
• Xây dựng kho ngữ liệu tương tác thuốc - bệnh chuẩn hóa tiếng Việt: Bộ Y tế cùng các trường Đại học Y Dược chủ trì xây dựng bộ dữ liệu gán nhãn bao gồm tối thiểu 2.000 tóm tắt bệnh án và bài báo khoa học trong nước. Lộ trình triển khai trong 18 tháng nhằm phục vụ việc huấn luyện các mô hình AI đặc thù cho ngôn ngữ y khoa tại Việt Nam.
• Mở rộng phạm vi trích xuất quan hệ liên câu (Cross-sentence Relation Extraction): Các kỹ sư NLP cần hoàn thiện kiến trúc đồ thị tri thức (Knowledge Graph) và mạng nơ-ron tích chập đồ thị (GCN) để nhận diện mối quan hệ giữa các thực thể nằm ở các câu khác nhau trong cùng một văn bản. Mục tiêu nâng tỷ lệ bao phủ (Recall) thêm 15% đến 20%, thực hiện trong giai đoạn 2026 - 2028.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang giá trị học thuật và ứng dụng thực tiễn cao, đặc biệt hữu ích cho 4 nhóm đối tượng sau:

• Học viên cao học, nghiên cứu sinh và nhà khoa học ngành Khoa học máy tính, Hệ thống thông tin: Nắm bắt phương pháp luận nghiên cứu chuẩn mực về xử lý ngôn ngữ tự nhiên trong y sinh, kỹ thuật xây dựng mạng nơ-ron hồi quy kết hợp Attention và kinh nghiệm thực nghiệm trên các kho ngữ liệu chuẩn quốc tế.
• Kỹ sư AI và chuyên gia khoa học dữ liệu trong lĩnh vực Y tế thông minh (HealthTech): Ứng dụng trực tiếp mã nguồn, kỹ thuật xử lý OOV và thiết lập siêu tham số tối ưu để phát triển các module trích xuất thực thể, phân loại quan hệ trong các hệ thống hồ sơ bệnh án điện tử (EMR).
• Chuyên viên an toàn thuốc và cảnh giác dược (Pharmacovigilance) tại các công ty dược phẩm: Sử dụng công trình như một tài liệu tham khảo để xây dựng công cụ sàng lọc tự động các tác dụng phụ hiếm gặp của thuốc mới từ hàng triệu bài báo khoa học toàn cầu.
• Cán bộ quản lý y tế và bác sĩ lâm sàng: Hiểu rõ cơ chế hỗ trợ của trí tuệ nhân tạo trong việc phát hiện sớm các tương tác thuốc bất lợi, từ đó tối ưu hóa phác đồ điều trị và giảm thiểu tỷ lệ tai biến y khoa cho người bệnh.

Câu hỏi thường gặp

Tại sao mô hình ATT-GRU lại đạt hiệu năng cao hơn mô hình CNN truyền thống?
Mô hình CNN chủ yếu trích xuất các đặc trưng ngữ cảnh cục bộ thông qua các cửa sổ bộ lọc kích thước cố định (ví dụ kích thước 3). Ngược lại, ATT-GRU vừa ghi nhớ được thông tin chuỗi dài theo thời gian, vừa tính toán linh hoạt trọng số tập trung cho từng từ khóa kích hoạt, giúp loại bỏ nhiễu từ các câu phức tạp và nâng điểm F1 từ 0,5731 lên 0,6037.

Kỹ thuật thay thế thực thể bằng nhãn CHEMICAL và DISEASE giúp ích gì cho mô hình?
Trong các tài liệu PubMed, nhiều tên thuốc hoặc hợp chất hóa học hiếm gặp sẽ không tồn tại trong từ điển nhúng từ vựng có sẵn, dẫn đến lỗi Out-Of-Vocabulary (OOV). Việc chuyển đổi tên riêng thành nhãn tổng quát giúp mô hình tập trung học cấu trúc ngữ pháp và ngữ nghĩa của mối quan hệ, nâng F1-score từ 0,6029 lên 0,6037.

Tập dữ liệu BioCreative V CDR có độ tin cậy và quy mô như thế nào?
Tập dữ liệu BC5CDR là kho ngữ liệu chuẩn vàng được xây dựng bởi các chuyên gia y sinh quốc tế thuộc dự án BioCreative. Bộ dữ liệu gồm 1.500 bài báo PubMed được chú thích thủ công tỉ mỉ với 4.409 thực thể hóa chất, 5.818 thực thể bệnh và 3.116 mối quan hệ CID xác thực, đảm bảo tính khách quan và chuẩn hóa cao cho nghiên cứu.

Mô hình có thể phát hiện được các tương tác thuốc - thuốc (DDI) hoặc protein - protein (PPI) không?
Hoàn toàn có thể. Mặc dù luận văn tập trung vào mối quan hệ giữa hóa chất và bệnh (CID), cấu trúc mạng nơ-ron dựa trên cơ chế tập trung ATT-GRU có thể dễ dàng chuyển giao học máy (transfer learning) và áp dụng trực tiếp cho bài toán trích xuất tương tác thuốc - thuốc (DDI) hoặc protein - protein (PPI) khi được cung cấp bộ dữ liệu gán nhãn tương ứng.

Cấu hình phần cứng cần thiết để triển khai huấn luyện mô hình này là gì?
Mô hình được tối ưu hóa tốt về mặt tính toán, có thể huấn luyện hiệu quả trên các hệ thống máy tính thông dụng. Trong nghiên cứu, toàn bộ pipeline được thực thi trơn tru trên cấu hình máy tính gồm CPU Intel Core i5-8400 2.81 GHz, 8 GB RAM và card đồ họa AMD Radeon R5 430 với thời gian huấn luyện ngắn và độ ổn định cao.

Kết luận

• Luận văn đã giải quyết thành công bài toán tự động trích xuất và dự đoán mối quan hệ tác dụng phụ của thuốc từ y văn y sinh bằng các kỹ thuật học sâu tiên tiến.
• Chứng minh tính ưu việt của mô hình mạng nơ-ron có cổng kết hợp cơ chế tập trung (ATT-GRU), đạt điểm F1-score trung bình cao nhất là 0,6037 trên tập dữ liệu chuẩn BioCreative V CDR.
• Đề xuất giải pháp thay thế nhãn thực thể tổng quát giúp giải quyết triệt để bài toán từ ngoài từ vựng (OOV), cải thiện độ chính xác phân loại ngữ nghĩa.
• Đóng góp nguồn tài liệu học thuật và quy trình thực nghiệm có giá trị thực tiễn cao cho ngành tin học y sinh và công nghệ xử lý ngôn ngữ tự nhiên tại Việt Nam.
• Trong giai đoạn tiếp theo, nghiên cứu mở ra hướng phát triển tích hợp các mô hình ngôn ngữ lớn (BioBERT, ClinicalBERT) và mở rộng phạm vi trích xuất quan hệ xuyên câu trên các kho ngữ liệu quy mô lớn hơn.

Quý độc giả, các nhà nghiên cứu và doanh nghiệp công nghệ y tế quan tâm đến việc ứng dụng AI trong an toàn dược phẩm có thể liên hệ và tham khảo toàn văn công trình nghiên cứu tại Thư viện Trường Đại học Công nghệ - Đại học Quốc gia Hà Nội để cùng hợp tác phát triển các giải pháp y tế thông minh.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ TÁC DỤNG PHỤ CỦA THUỐC 1. Khái niệm Dưới đây là một số thuật ngữ thường được sử dụng để mô tả các tác dụng phụ của việc điều trị bằng thuốc theo Pharmacology Education Project (PEP) được phát triển bởi liên minh quốc tế về dược học cơ bản và lâm sàng (IUPHAR) [25]: - Phản ứng có hại của thuốc (Adverse Drug Reaction - ADR) là phản ứng không mong muốn hoặc có hại xảy ra sau khi sử dụng thuốc hoặc kết hợp thuốc trong điều kiện sử dụng bình thường và được nghi ngờ có liên quan đến thuốc. ADR thường sẽ yêu cầu ngừng thuốc hoặc giảm liều. - Tác dụng phụ (side-effect) là bất kỳ tác dụng nào gây ra bởi một loại thuốc khác với tác dụng điều trị dự kiến, cho dù có lợi, trung tính hay có hại.

Kể từ năm 2012, định nghĩa về ADR đã bao gồm các phản ứng xảy ra do lỗi, sử dụng sai hoặc lạm dụng và các phản ứng nghi ngờ đối với các loại thuốc không có giấy phép hoặc được sử dụng ngoài nhãn ngoài việc sử dụng thuốc được phép với liều lượng bình thường [8]. Thông thường, ADR được phân thành hai loại [8]: - Phản ứng loại A - đôi khi được gọi là phản ứng tăng cường - 'phụ thuộc vào liều lượng' và có thể dự đoán được dựa trên dược lý của thuốc. - Phản ứng loại B - phản ứng kỳ lạ - mang tính đặc trưng và không thể dự đoán được trên cơ sở dược lý học. Hiện trạng Phản ứng có hại của thuốc là một vấn đề sức khỏe cấp bách và cũng là một trở ngại cho việc phát triển các loại thuốc có hiệu quả điều trị.

Được biết, khoảng 7000 ca tử vong do ADRs gây ra mỗi năm trong một nghiên cứu được thực hiện trong năm 2000 [13]. Do đó, việc giám sát thuốc sau bán trên thị trường được yêu cầu để xác định các ADR tiềm ẩn như vậy sau khi sản xuất thuốc. Hiện tại, hầu hết các hoạt động giám sát thuốc sau bán trên thị trường đều dựa vào cơ sở dữ liệu hệ thống báo cáo tự phát thụ động, chẳng hạn như Hệ thống báo cáo sự kiện có hại của Cơ quan Quản lý Dược phẩm Liên bang (FAERS) của Mỹ [13], các hệ thống báo cáo tự phát như Chương trình Thẻ Vàng (Yellow Card Scheme) ở Anh được vận hành bởi Cơ quan Quản lý Thuốc và Sản phẩm Chăm sóc sức khỏe (MHRA) và Ủy ban Thuốc cho Người (CHM) [8]. Thông qua các báo cáo này, chương trình thu thập dữ liệu về các ADR nghi ngờ liên quan đến tất cả các loại 12 thuốc và vắc xin được cấp phép và không được cấp phép, bao gồm cả những loại thuốc được cấp theo đơn hoặc mua không cần kê đơn.

Để một báo cáo có hiệu lực, chỉ cần có bốn mục thông tin: bệnh nhân, phản ứng, sản phẩm thuốc bị nghi ngờ và người báo cáo. Tuy nhiên, các báo cáo viên được khuyến khích cung cấp càng nhiều thông tin càng tốt, tức là cung cấp thêm dữ liệu và bối cảnh lâm sàng cho người đánh giá. Hệ thống như vậy có thể chậm và không hiệu quả. Nghiên cứu cho thấy 94% ADR được báo cáo thiếu ở các hệ thống chính thức [20].

Các loại thuốc đặc biệt liên quan đến ADR bao gồm thuốc chống kết tập tiểu cầu, thuốc chống đông máu, thuốc độc tế bào, thuốc ức chế miễn dịch, thuốc lợi tiểu, thuốc chống đái tháo đường và thuốc kháng sinh. ADRs gây tử vong thường là do xuất huyết, nguyên nhân phổ biến nhất được nghi ngờ là do thuốc chống đông máu được sử dụng đồng thời với thuốc chống viêm không steroid (NSAID) [8]. Dự đoán ADRs hiệu quả là điều cần thiết để cải thiện chăm sóc sức khỏe bệnh nhân và thúc đẩy quá trình phát triển thuốc. Các kỹ thuật tính toán khác nhau đã được sử dụng trong thời gian gần đây để tìm hiểu cơ chế phản ứng của thuốc.

Khi lĩnh vực tin sinh học đang phát triển nhanh chóng, người ta có thể thực hiện nhiều khám phá mới về thuốc mới. Dự đoán tác dụng phụ của thuốc là một bước tiến quan trọng, nhiều thú vị. Một số nghiên cứu gần đây [5], [21] tập trung vào ADR đề cập đến việc trích xuất trên văn bản y sinh. Nghiên cứu của tác giả được thực hiện trên kho ngữ liệu văn bản y sinh PubMed.

Hướng tiếp cận Tóm lược tri thức (Abstract Knowledge) là một hình thức để hiểu thế giới, cung cấp nhận thức và trí thông minh ở cấp độ con người cho trí thông minh nhân tạo trong thế hệ tiếp theo. Một trong những thể hiện của tri thức là quan hệ ngữ nghĩa giữa các thực thể. Một cách hiệu quả để tự động thu nhận tri thức quan trọng này, được gọi là trích xuất quan hệ (Relation Extraction - RE), một nhiệm vụ của trích xuất thông tin, đóng một vai trò quan trọng trong Xử lý ngôn ngữ tự nhiên (NLP). Mục đích của nó là xác định các quan hệ ngữ nghĩa giữa các thực thể từ văn bản ngôn ngữ tự nhiên [7].

Luận văn này tập trung vào bài toán trích xuất quan hệ trong lĩnh vực y sinh với đầu vào là dữ liệu từ các văn bản y sinh, đầu ra cần xác định được liệu một cặp thực thể ứng viên trong một văn bản hoặc trong một câu có mối quan hệ ngữ nghĩa hay không? Một số mô hình trích xuất quan hệ truyền thống sử dụng các phương pháp thống kê như máy vectơ hỗ trợ (Support Vector Machine - SVM) [1] và trường 13 ngẫu nhiên có điều kiện (Conditional Random Field - CRF) [18]. Với sự phát triển mạnh mẽ của công nghệ học sâu, các mô hình mạng nơ-ron đã đạt được hiệu suất hiện đại trên nhiều tác vụ gắn nhãn theo trình tự như nhận dạng tên thực thể (NER) [17] và gắn thẻ từ loại (Part-Of-Speech - POS) [3]. Các mô hình học sâu hiện tại thường sử dụng word embeddings, cho phép chúng học các cách biểu diễn tương tự cho các từ tương tự về mặt ngữ nghĩa. Mặc dù đây là một cải tiến lớn so với các mô hình truyền thống, nhưng vẫn còn một số lỗi cần được giải quyết.

Vấn đề khó khăn nhất là làm thế nào để đối phó với các từ “không nằm trong tập từ vựng có sẵn” (Out-Of-Vocabulary - OOV). Trong các văn bản y sinh như các tóm tắt Pubmeds, cách viết không chính thức hoặc mô tả kỹ thuật quá mức có thể khiến một số lượng lớn các từ OOV xuất hiện. Bởi vì những từ này không có từ tương ứng, chúng sẽ được khởi tạo ngẫu nhiên cho một số giá trị cụ thể. Điều này sẽ gây ra nhiều phân loại sai của các từ OOV đó trong tập dữ liệu.

Luận văn này đã tận dụng lợi thế của việc biểu diễn cấp độ từ và ký tự của một token, do đó các từ OOV đó có thể được gắn nhãn tốt hơn do bổ sung các biểu diễn ký tự chi tiết. Ngoài ra, luận văn cũng áp dụng cơ chế tập trung cho phép mô hình tự động và linh hoạt để học đặc trưng nào quan trọng hơn. Luận văn cũng sử dụng đầu ra trung gian của mô hình như một bộ phân loại phụ trợ để cải thiện hiệu suất dự đoán của mô hình. Để xác thực tính hiệu quả của mô hình, luận văn thực hiện thử nghiệm trên tập dữ liệu của PubMed.

Cơ chế tập trung [28], được đề xuất từ trực giác về sự chú ý trực quan của con người để nhấn mạnh phần tương đối quan trọng của dữ liệu đầu vào, đã được chứng minh là cải thiện hiệu suất mô hình và tăng cường khả năng diễn giải mô hình thông qua việc kết hợp thông tin tâp trung vào việc học sâu [16]. Ở đây, luận văn trình bày cách tiếp cận bằng cách sử dụng các mạng nơ ron dựa trên cơ chế tập trung (ATT-) và chứng minh sức mạnh của các mô hình ATT về hiệu suất bằng cách so sánh với các phương pháp học sâu khác và khả năng hiểu của chúng bằng cách phân tích trọng số tập trung ở cấp độ từ. Nhìn chung, mạng nơ ron sâu (DNN) đã được sử dụng rộng rãi trong các nhiệm vụ dự đoán, gán nhãn, trích xuất quan hệ với nhiều mô hình khác nhau. Ví dụ: Đề xuất mạng nơ-ron tích chập (CNN) sử dụng position embedding để trích xuất quan hệ [32], sử dụng mô hình bộ nhớ dài - ngắn (LSTM) cùng tính phụ thuộc và position embedding [29] đã cho thấy chiến lược học tập vượt trội hơn đáng kể so với các phương pháp mạng nơ-ron hồi quy (RNN) sử dụng các tính năng mở rộng bao gồm POS, NER và WordNet.

14 Trong lĩnh vực y sinh, các nhiệm vụ trích xuất quan hệ khác nhau như tương tác protein- protein, tương tác thuốc - thuốc và tương tác bệnh - hóa học đã được nghiên cứu. Các phương pháp dựa trên học máy khác nhau bao gồm các phương pháp học máy có giám sát, phân cụm mẫu và mô hình khai phá chủ đề đã được sử dụng trước khi các mô hình học sâu trở nên chiếm ưu thế trong những tiến bộ gần đây. Bên cạnh các mô hình DNN thông thường, sự phụ thuộc và thông tin cấp độ ký tự đã được sử dụng để cải thiện, nâng cao hiệu quả của các mô hình. Gần đây, cơ chế tập trung trên các mô hình DNN đã cho thấy sự hứa hẹn trong các nhiệm vụ NLP khác nhau, chẳng hạn như dịch máy [16], trả lời câu hỏi [26], phân loại tài liệu [30] cũng như trích xuất quan hệ.

Luận văn này trình bày nghiên cứu mạng nơ ron với cơ chế tập trung cho nhiệm vụ trích xuất tác dụng phụ của thuốc và chứng minh tính hiệu quả của cơ chế tập trung trong việc lựa chọn thông tin mức độ quan trọng. 15 CHƯƠNG 2: CƠ SỞ LÝ THUYẾT 2. Mạng nơ-ron nhân tạo Mạng nơ-ron nhân tạo (Artificial Neural Network - ANN) là một tập con của học máy và là trung tâm của các thuật toán học sâu. Tên và cấu trúc của chúng được lấy cảm hứng từ não người, bắt chước cách các tế bào thần kinh sinh học truyền tín hiệu cho nhau.

Mạng nơ ron nhân tạo (ANN) bao gồm một lớp nút, chứa một lớp đầu vào (Input layer), một hoặc nhiều lớp ẩn (Hidden layer) và một lớp đầu ra (Output layer). Mỗi nút, hoặc mỗi nơron nhân tạo, kết nối với một nút khác và có trọng số và ngưỡng liên quan. Những trọng số này có được bằng cách học hỏi hoặc điều chỉnh từ một tập hợp các mẫu đào tạo [12]. Nếu đầu ra của bất kỳ nút riêng lẻ nào vượt quá giá trị ngưỡng được chỉ định, nút đó sẽ được kích hoạt, gửi dữ liệu đến lớp tiếp theo của mạng.