Phương Pháp Trích Xuất Mối Quan Hệ Ngữ Nghĩa Trong Văn Bản Y Sinh Dựa Trên Học Máy

Trích xuất mối quan hệ ngữ nghĩa là một bước quan trọng trong xử lý ngôn ngữ tự nhiên (NLP), đặc biệt trong lĩnh vực y sinh. 193 trang · 2022.

• Tác giả: Le Hoang Quynh
• Chuyên ngành: Biomedical Natural Language Processing
• Đề tài: Trích Xuất Mối Quan Hệ Ngữ Nghĩa Trong Văn Bản Y Sinh Bằng Học Máy
• Loại tài liệu: doctoral dissertation
• Năm xuất bản: 2022
• Địa điểm: Hanoi

Mục lục chi tiết

• DECLARATION
• 1. INTRODUCTION TO BIOMEDICAL RELATION EXTRACTION
• 1.1. Semantic relation extraction
• 1.2. Biomedical named entity recognition
• 1.3. Biomedical relation classification
• 1.4. Literature review of biomedical named entity recognition
• 1.5. Literature review of biomedical relation extraction
• 1.6. Datasets for named entity recognition experiments
• 1.7. Datasets for relation classification experiments
• 1.8. Named entity recognition evaluation
• 1.9. Relation classification evaluation
• 2. AN END-TO-END PIPELINE MODEL FOR BIOMEDICAL RELATION EXTRACTION
• 2.1. Distant supervision learning with silverCID corpus
• 2.2. Proposed UET-CAM system
• 2.3. Joint model of named entity recognition and normalization (DNER)
• 2.4. Intra-sentence relation classification with support vector machine
• 2.5. Experimental results and discussion
• 2.5.1. Choosing the combining manner of SSI and skip-gram for named entity normalization results
• 2.5.2. Named entity recognition and normalization results
• 2.5.3. CID relation classification results
• 3. AN IMPROVED CRE-BILSTM MODEL FOR BIOMEDICAL NAMED ENTITY RECOGNITION
• 3.1. Introduction to deep learning for named entity recognition
• 3.2. Proposed D3NER model
• 3.2.1. Data pre-processing
• 3.2.2. The TPAC embeddings layer
• 3.2.3. Context representing biLSTM layer
• 3.2.4. Conditional random fields layer
• 3.3. Experimental results and discussion
• 3.3.1. Experimental environment and model settings
• 3.3.2. The performance of D3NER model and comparisons
• 3.3.3. Contribution of the model components
• 4. HYBRID, ATTENTION-BASED AND ENSEMBLE DEEP LEARNING MODELS FOR BIOMEDICAL RELATION CLASSIFICATION
• 4.1. The shortest dependency path
• 4.2. A hybrid adaptive deep learning model for biomedical relation extraction
• 4.3. Experimental corpora and comparative models
• 4.4. Experimental environment and model settings
• 4.5. Experimental results and discussion
• 4.5.1. An attentive augmented deep learning model for biomedical relation extraction
• 4.5.2. Experimental environment and model settings
• 4.5.3. Experimental results and discussion
• 4.5.4. A multi-fragment ensemble deep learning model for biomedical relation extraction
• 4.5.4.1. Over-fitting problem of deep learning-based models
• 4.5.4.2. Bagging with bootstrap training data
• 4.5.4.3. Proposed multi-fragment ensemble architecture
• 4.5.4.4. Experimental results and discussion
• 5. GRAPH-BASED INTER-SENTENCE RELATION CLASSIFICATION IN BIOMEDICAL TEXT
• 5.1. Inter-sentence relations classification problem
• 5.2. Proposed graph-based inter-sentence relation classification model
• 5.3. Document sub-graph construction
• 5.4. Paths finding, merging and choosing
• 5.5. Shared-weight convolutional neural network
• 5.6. Experimental results and discussion
• 5.6.1. Experimental environment and model settings
• 5.6.2. Contribution of the added virtual edges in document sub-graph
• 5.6.3. Different sliding window size w for training and testing
• 5.6.4. Contribution of the model components
• 5.6.5. Comparison to comparative model
• CONCLUSION
• LIST OF PUBLICATIONS
• ABBREVIATIONS
• LIST OF FIGURES
• LIST OF TABLES
• Preface

Tóm tắt

I. Giới thiệu về Trích Xuất Mối Quan Hệ Ngữ Nghĩa trong Văn Bản Y Sinh

Trích xuất mối quan hệ ngữ nghĩa là một bước quan trọng trong xử lý ngôn ngữ tự nhiên (NLP), đặc biệt trong lĩnh vực y sinh. Với sự gia tăng nhanh chóng của các tài liệu khoa học y sinh, việc trích xuất thông tin từ các văn bản này trở nên cấp thiết. Học máy đã được áp dụng rộng rãi để tự động hóa quá trình này, giúp xác định các mối quan hệ giữa các thực thể như gen, bệnh, và hóa chất. Phân tích ngữ nghĩa và từ khóa LSI đóng vai trò quan trọng trong việc tối ưu hóa nội dung và cải thiện hiệu quả của các công cụ tìm kiếm.

1.1. Tầm quan trọng của Trích Xuất Mối Quan Hệ Ngữ Nghĩa

Trong lĩnh vực y sinh, việc trích xuất mối quan hệ giữa các thực thể giúp hỗ trợ nghiên cứu khoa học, chẩn đoán bệnh, và phát triển thuốc. Học máy và phân tích dữ liệu đã trở thành công cụ không thể thiếu trong việc xử lý lượng lớn dữ liệu y sinh. Các mô hình học máy như Latent Semantic Indexing (LSI) giúp tối ưu hóa quá trình trích xuất thông tin, đảm bảo tính chính xác và hiệu quả.

1.2. Ứng dụng thực tiễn của Trích Xuất Mối Quan Hệ Ngữ Nghĩa

Các ứng dụng thực tiễn của trích xuất mối quan hệ ngữ nghĩa bao gồm hỗ trợ chẩn đoán bệnh, phát hiện tác dụng phụ của thuốc, và tối ưu hóa quy trình nghiên cứu y học. Công cụ tìm kiếm được tích hợp các kỹ thuật này giúp các nhà nghiên cứu truy cập thông tin nhanh chóng và chính xác. Nghiên cứu từ khóa và tối ưu SEO cũng được áp dụng để cải thiện khả năng tìm kiếm và truy xuất dữ liệu.

II. Phương pháp Học Máy trong Trích Xuất Mối Quan Hệ Ngữ Nghĩa

Học máy đã được sử dụng rộng rãi trong việc trích xuất mối quan hệ ngữ nghĩa từ các văn bản y sinh. Các kỹ thuật học máy như Latent Semantic Indexing (LSI) và mô hình học sâu giúp cải thiện độ chính xác và hiệu quả của quá trình trích xuất. Phân tích ngữ nghĩa và từ khóa liên quan đóng vai trò quan trọng trong việc tối ưu hóa các mô hình này.

2.1. Mô hình Học Sâu trong Trích Xuất Mối Quan Hệ

Các mô hình học sâu như Bidirectional Long Short-term Memory (biLSTM) và Convolutional Neural Network (CNN) đã được áp dụng để trích xuất mối quan hệ giữa các thực thể trong văn bản y sinh. Những mô hình này giúp xử lý các dữ liệu phức tạp và đa dạng, đảm bảo tính chính xác cao. Phân tích dữ liệu và tối ưu hóa nội dung là các bước quan trọng trong quá trình huấn luyện mô hình.

2.2. Ứng dụng của Latent Semantic Indexing LSI

Latent Semantic Indexing (LSI) là một kỹ thuật quan trọng trong việc trích xuất mối quan hệ ngữ nghĩa. LSI giúp xác định các từ khóa liên quan và tối ưu hóa nội dung văn bản. Từ khóa LSI và từ khóa liên quan được sử dụng để cải thiện hiệu quả của các công cụ tìm kiếm và hỗ trợ quá trình nghiên cứu y sinh.

III. Thách thức và Giải pháp trong Trích Xuất Mối Quan Hệ Ngữ Nghĩa

Mặc dù học máy đã mang lại nhiều tiến bộ trong việc trích xuất mối quan hệ ngữ nghĩa, vẫn còn nhiều thách thức cần được giải quyết. Phân tích ngữ nghĩa và tối ưu hóa nội dung là các yếu tố quan trọng để cải thiện hiệu quả của các mô hình. Công cụ tìm kiếm và nghiên cứu từ khóa cũng đóng vai trò quan trọng trong việc giải quyết các thách thức này.

3.1. Thách thức trong Xử lý Dữ liệu Y Sinh

Dữ liệu y sinh thường phức tạp và đa dạng, gây khó khăn trong việc trích xuất thông tin. Phân tích dữ liệu và kỹ thuật học máy được sử dụng để xử lý các dữ liệu này. Tối ưu hóa nội dung và từ khóa LSI giúp cải thiện hiệu quả của quá trình trích xuất.

3.2. Giải pháp Tối ưu hóa Mô hình Học Máy

Để cải thiện hiệu quả của các mô hình học máy, tối ưu hóa nội dung và phân tích ngữ nghĩa là các bước quan trọng. Công cụ tìm kiếm được tích hợp các kỹ thuật này giúp cải thiện khả năng tìm kiếm và truy xuất dữ liệu. Nghiên cứu từ khóa và từ khóa liên quan cũng được áp dụng để tối ưu hóa các mô hình này.

Nội dung chính

Tổng quan luận án

Tài liệu là luận án tiến sĩ ngành Khoa học Máy tính (chuyên hướng Xử lý ngôn ngữ tự nhiên trong y sinh học - BioNLP) của nghiên cứu sinh Lê Hoàng Quỳnh (Le Hoang Quynh), hoàn thành vào tháng 01/2022 tại Hà Nội với tiêu đề tiếng Việt: Trích Xuất Mối Quan Hệ Ngữ Nghĩa Trong Văn Bản Y Sinh (tiêu đề tiếng Anh: Semantic Relation Extraction in Biomedical Text).

Tính cấp thiết và khoảng trống nghiên cứu

Nghiên cứu y sinh và chăm sóc sức khỏe con người là lĩnh vực dịch vụ lớn, thu hút nguồn đầu tư khổng lồ (năm 2011, nghiên cứu y sinh tại Hoa Kỳ nhận 100 tỷ USD đầu tư, trong đó 65% từ doanh nghiệp, 30% từ chính phủ và 5% từ các quỹ từ thiện). Sự gia tăng của các công bố khoa học y sinh đạt tốc độ rất cao với hơn 3.000 bài báo được xuất bản mỗi ngày. Cơ sở dữ liệu MEDLINE của Thư viện Y khoa Quốc gia Hoa Kỳ đã tăng từ khoảng 1 triệu trích dẫn năm 1970 lên xấp xỉ 26 triệu trích dẫn năm 2019 (tổng số trích dẫn tích lũy trên PubMed đã vượt quá 30 triệu vào tháng 11/2019). Khối lượng văn bản khổng lồ, đa dạng và phi cấu trúc này tạo ra thách thức lớn đối với việc tiếp cận thông tin của các nhà nghiên cứu, bác sĩ lâm sàng và chuyên gia quản trị dữ liệu. Thị trường xử lý ngôn ngữ tự nhiên (NLP) trong y tế và khoa học đời sống tại Hoa Kỳ được ước tính tăng từ 1.030,2 triệu USD năm 2016 lên 2.650,2 triệu USD vào năm 2021.

Trong hệ thống BioNLP, trích xuất quan hệ (Relation Extraction - RE) đóng vai trò trung gian trong y học cá thể hóa, phát hiện phản ứng có hại của thuốc (Adverse Drug Reactions - ADR), trích xuất sự kiện lạm dụng thuốc, trích xuất sự kiện đời sống chính, hệ thống hỏi đáp và hệ thống hỗ trợ ra quyết định lâm sàng. Tuy nhiên, việc khai phá dữ liệu văn bản y sinh gặp phải nhiều thách thức:

1. Các vấn đề cố hữu của NLP: dữ liệu mất cân bằng nghiêm trọng, các đơn vị ngôn ngữ đặc biệt (phủ định, liên từ), và các loại quan hệ có hướng.
2. Lỗi tích lũy từ các bước tiền xử lý do văn bản y sinh có tính chuyên môn hóa cao, các công cụ NLP thông thường không hoạt động hiệu quả.
3. Thuật ngữ y sinh có tính biến thiên lớn, thiếu danh mục danh pháp chuẩn hóa toàn diện và xuất hiện nhiều từ vựng ngoài từ điển (Out-Of-Vocabulary - OOV).
4. Tính nhập nhằng và không nhất quán: các thực thể có cùng dạng chính tả có thể thuộc về các phân loại ngữ nghĩa khác nhau tùy theo ngữ cảnh.
5. Bản chất liên ngành phức tạp của miền sinh học và y khoa.

Khoảng trống nghiên cứu được luận án chỉ ra là: đa số các công trình trước đây chỉ tập trung vào một nhiệm vụ đơn lẻ (hoặc NER, hoặc RC); chưa tận dụng đầy đủ các đặc tính cấu trúc của phần tóm tắt bài báo khoa học; chưa khai thác hết các dạng biểu diễn thông tin kết hợp ngữ nghĩa - cú pháp - từ vựng; và kết quả xử lý các quan hệ liên câu (inter-sentence relations) còn rất hạn chế.

Mục tiêu và câu hỏi nghiên cứu

Luận án xác định hai mục tiêu nghiên cứu cụ thể:

• [RO1]: Biểu diễn phù hợp văn bản tài liệu y sinh nhằm tận dụng tối đa thông tin ngôn ngữ, cú pháp và ngữ nghĩa.
• [RO2]: Tận dụng các phương pháp và nguồn tài nguyên hiện có để đề xuất các kiến trúc kết hợp, từ đó cải tiến việc giải quyết hai bài toán Nhận dạng thực thể tên (NER) và Phân loại quan hệ (RC).

Để đạt được mục tiêu, luận án tập trung giải quyết câu hỏi nghiên cứu chính: "Làm thế nào để xây dựng một kiến trúc dựa trên học máy hiệu quả cho các hệ thống NER và RC?", được cụ thể hóa thành hai câu hỏi phụ:

• [sQ1]: Làm thế nào để chuyển đổi văn bản y sinh có gán nhãn thực thể và quan hệ thành một biểu diễn phong phú chứa thông tin hữu ích cho các mô hình học máy?
• [sQ2]: Làm thế nào để áp dụng, kết hợp và cải tiến các phương pháp học máy nhằm xây dựng các hệ thống NER và RC?

Đối tượng và phạm vi nghiên cứu

• Đối tượng nghiên cứu: Văn bản tài liệu khoa học y sinh bằng tiếng Anh, cụ thể là phần tóm tắt (abstracts) từ PubMed/MEDLINE.
• Phạm vi thực thể: Tập trung vào 3 loại thực thể cơ bản: Hóa chất (Chemical), Bệnh (Disease), và Gen/Protein (Gene/Protein). Không xét các thực thể lồng nhau (nested entities).
• Phạm vi quan hệ: Chỉ trích xuất các quan hệ nhị phân (binary relations), bao gồm cả quan hệ nội câu (intra-sentence) và quan hệ liên câu (inter-sentence), quan hệ có hướng (directed) và không hướng (undirected).
• Mối quan hệ trọng tâm: Quan hệ bệnh do hóa chất gây ra (Chemical-induced Disease - CID), đồng thời mở rộng kiểm chứng trên quan hệ tương tác thuốc - thuốc (Drug-Drug Interaction - DDI), quan hệ vi khuẩn và môi trường sống (Lives_In), và quan hệ kiểu hình - bệnh tật.

Tổng quan tài liệu và vị trí của luận án

Các hướng nghiên cứu được điểm lại

Về bài toán Nhận dạng thực thể tên y sinh (NER):

• Phương pháp dựa trên tri thức: Dựa trên từ điển khớp chuỗi với các cơ sở tri thức như MESH, UMLS, SNOMED (Eftimov et al., 2017) hoặc dựa trên tập luật thủ công áp dụng trên UMLS, HPO, MetaMap (Hanisch et al., 2005).
• Phương pháp học máy có giám sát dựa trên đặc trưng: Thuật toán Perceptron cấu trúc (Collins, 2002; Ratinov & Roth, 2009); Trường ngẫu nhiên điều kiện chuỗi tuyến tính Linear-chain CRF (Lafferty et al., 2001; Settles, 2004; Leaman et al., 2013, 2015, 2016); Skip-chain CRF (Ray & Craven, 2001); Mô hình Markov ẩn HMM (Collier et al., 2000); Semi-Markov (Leaman et al., 2015); Mô hình entropy cực đại Markov MEMM (Finkel et al., 2005); Máy vectơ hỗ trợ SVM (Isozaki & Kazawa, 2002); Cây quyết định (Szarvas et al., 2007); Mô hình dựa trên chuyển trạng thái Transition-based (Lu & Roth, 2015).
• Phương pháp học sâu: Mạng nơ-ron hồi quy RNN (Rumelhart et al., 1986; Lample et al., 2016; Yang et al., 2018); Mạng LSTM hai chiều BiLSTM kết hợp CRF (Habibi et al., 2017; Gridach, 2017; Yoon et al., 2019; Wang et al., 2018); Mạng tích chập CNN (LeCun et al., 1998; Collobert et al., 2011). Biểu diễn từ thông qua nhúng từ Word2Vec skip-gram 200 chiều huấn luyện trên PubMed và PMC (Pyysalo et al., 2013), FastText 300 chiều (Bojanowski et al., 2017), và các mô hình ngôn ngữ ngữ cảnh như ELMo (Peters et al., 2018), BERT (Devlin et al., 2019), BioBERT (Lee et al., 2020).
• Học bán giám sát và mô hình kết hợp: Bootstrapping/Self-training (Vlachos, 2006); Co-training (Grandvalet & Bengio, 2005); Học chuyển giao (Wang et al., 2019); Giám sát từ xa Distant supervision (Mintz et al., 2009). Mô hình kết hợp đồng thời NER và chuẩn hóa thực thể (NEN) như TaggerOne (Leaman & Lu, 2016) và mô hình transition-based (Lou et al., 2017).

Về bài toán Phân loại quan hệ y sinh (RC):

• Phương pháp dựa trên tri thức: Thống kê đồng xuất hiện co-occurrence (Blaschke et al., 1999); Hệ luật thủ công (Hao et al., 2005; Novichkova et al., 2005) và mẫu ngôn ngữ (Hishiki et al., 2004; Ravikumar et al., 2012).
• Phương pháp học máy có giám sát dựa trên đặc trưng: Bộ phân loại SVM với tập đặc trưng kỹ thuật cho quan hệ CID (Xu et al., 2016), sự kiện vi khuẩn Live-in (Lever & Jones, 2016), tương tác thuốc DDI (Segura-Bedmar et al., 2011), tương tác protein PPI (Rinaldi et al., 2007), quan hệ protein-sinh vật-vị trí (Niu et al., 2010); CRF (Bundschus et al., 2008); Naive Bayes (Kolchinsky et al., 2015); Maximum Entropy (Fundel et al., 2007); Hồi quy Logistic (Jiang et al., 2017).
• Phương pháp học sâu: CNN cú pháp cho DDI (Zhao et al., 2016); CNN cho CID (Verga et al., 2016; Zhou et al., 2016); Mạng RNN và LSTM dựa trên đường phụ thuộc ngắn nhất (SDP) (Miwa & Bansal, 2016; Zhang et al., 2015; Zheng et al., 2016; Peng et al., 2017; Yadav et al., 2020).
• Học giám sát từ xa và mô hình kết hợp: Quirk & Poon (2017), Verga et al. (2016); các mô hình kết hợp luật và SVM (Xu et al., 2016), CNN và Maximum Entropy (Fundel et al., 2007), LSTM và SVM (Zhou et al., 2016), mô hình đồng thời NER và RC (Miwa & Sasaki, 2014; Song et al., 2018; Li et al., 2019).
• Phân loại quan hệ liên câu (Inter-sentence): Lược đồ phổ quát Universal Schemas và phân rã ma trận Matrix Factorization (Riedel et al., 2013; Rocktäschel et al., 2015; Verga et al., 2017); Cơ chế Attention trên toàn bộ tài liệu (Nguyen & Verspoor, 2019; Verga et al., 2016); Mở rộng câu lân cận và nối cây cú pháp phụ thuộc (Peng et al., 2017; Sahu et al., 2019; Song et al., 2018).

Các luận án tiến sĩ liên quan trên thế giới và tại Việt Nam:

• Quốc tế: Jörg Hakenberg (2010), Bùi Quốc Cường (2011), Zhong Huang (2014), Chen Li (2014), Jari Björne (2014), Philippe Thomas (2015), Yifan Peng (2016), Omid Ghiasvand (2017), Ji Young Lee (2017).
• Việt Nam: Đặng Vũ Tùng (2017), Trần Ngọc Hà (2019), Hoàng Thị Điệp (2019) (chủ yếu tập trung vào tin sinh học/sinh học tính toán).

Vị trí và điểm khác biệt của luận án

Luận án định vị nghiên cứu thông qua 4 điểm khác biệt:

1. Giải quyết cả hai nhiệm vụ NER và RC một cách độc lập và toàn diện trong cùng một khuôn khổ nghiên cứu.
2. Khai thác sâu các đặc tính cấu trúc riêng biệt của phần tóm tắt bài báo khoa học y sinh.
3. Nghiên cứu và áp dụng đa dạng các phương pháp học máy: học máy dựa trên đặc trưng có giám sát, học không giám sát, học giám sát từ xa, học sâu, học kết hợp (ensemble) và biểu diễn đồ thị.
4. Đánh giá tính tổng quát hóa trên nhiều loại quan hệ ngữ nghĩa (CID, DDI, Lives_In, Phenotype-Disease) thay vì chỉ bó hẹp trong một quan hệ duy nhất.

Cơ sở lý thuyết và phương pháp nghiên cứu

Cơ sở lý thuyết và khái niệm

• Trích xuất quan hệ ngữ nghĩa (Semantic Relation Extraction): Xác định quan hệ nhị phân dạng bộ ba $\langle e_1, R, e_2 \rangle$, trong đó $e_1, e_2$ là các thực thể và $R$ là kiểu quan hệ ngữ nghĩa kết nối giữa chúng trong tài liệu $d$. Hàm phân loại $f_R(T(d(e_1, e_2)))$ trả về $+1$ nếu tồn tại quan hệ $R$ và $-1$ nếu không tồn tại.
• Nhận dạng thực thể tên (NER): Bài toán gán nhãn chuỗi (sequence labeling). Cho chuỗi đầu vào $X = (x_1, \dots, x_n)$, xác định chuỗi nhãn $Y = (y_1, \dots, y_n)$ với $y_i \in L$. Sử dụng các lược đồ gán nhãn: IO, IOB (B-Begin, I-Inside, O-Outside) và IOBES (thêm E-End, S-Singleton).
• Đường phụ thuộc ngắn nhất (Shortest Dependency Path - SDP): Chuỗi các từ và quan hệ phụ thuộc cú pháp kết nối trực tiếp hai thực thể trong cây phụ thuộc của câu, giúp lọc bỏ các thành phần nhiễu không liên quan đến quan hệ.
• Biểu diễn từ và văn bản: Nhúng từ Skip-gram (200 chiều), nhúng đặc trưng từ vựng - từ loại - viết tắt - ký tự (TPAC), lập chỉ mục ngữ nghĩa có giám sát (Supervised Semantic Indexing - SSI).

Phương pháp nghiên cứu

Luận án kết hợp phương pháp nghiên cứu định tính và định lượng:

• Nghiên cứu định tính: Phân tích các mô hình lý thuyết, đánh giá ưu nhược điểm của các nghiên cứu trước, đề xuất các sơ đồ kiến trúc mới (mô hình pipeline UET-CAM, mô hình D3NER, mô hình MASS, mô hình RbSP, mô hình Multi-fragment Ensemble, mô hình đồ thị swCNN).
• Nghiên cứu định lượng: Thực nghiệm trên các bộ ngữ liệu chuẩn; đo lường hiệu năng bằng Precision ($P$), Recall ($R$), F1-score ($F_1$), Accuracy ($Acc$), độ lệch chuẩn ($stdev$) qua 20 lần chạy ngẫu nhiên; thực hiện kiểm định cắt bỏ (ablation study), phân tích ma trận nhầm lẫn (confusion matrix) và phân tích nguyên nhân lỗi (error analysis).

Nguồn dữ liệu và ngữ liệu thực nghiệm

Tên ngữ liệu	Số tài liệu / Tóm tắt	Thực thể gán nhãn	Số quan hệ / Kiểu quan hệ	Mục đích sử dụng
BC5 CDR	1.500 (500 train, 500 dev, 500 test)	Chemical, Disease	1 kiểu: Chemical-induced Disease (CID)	Đánh giá NER, NEN, RC xuyên suốt các chương
NCBI Disease	793 (593 train, 100 dev, 100 test)	Disease	Không có	Đánh giá mô hình D3NER (Chương 3)
FSU-PRGE	3.309 (36.223 câu, 960.757 token)	Gene/Protein (59.365 mentions)	Không có	Đánh giá D3NER qua 4-fold cross-validation (Chương 3)
DDI-2013	792 DrugBank + 233 Medline	Pharmacological substances (18.502)	4 kiểu: Mechanism, Effect, Advice, Int (5.028 quan hệ)	Đánh giá phân loại quan hệ (Chương 4)
BB3 (BioNLP-ST 2016)	Tài liệu BioNLP-ST 2016	Bacteria, Habitat, Geographical	1 kiểu: Lives_In	Đánh giá mô hình MASS (Chương 4)
Phenebank	1.500 đoạn trích PubMed	Phenotype, Disease	5 kiểu: Promotes, Associated, Inheres-in, Inhibits, Not-associated	Đánh giá mô hình MASS (Chương 4)
SilverCID	Dữ liệu sinh tự động từ CTD	Chemical, Disease	Quan hệ CID tiêu chuẩn bạc	Học giám sát từ xa (Chương 2, Chương 5)

Nội dung chính theo từng chương

Chapter 1: INTRODUCTION TO BIOMEDICAL RELATION EXTRACTION

Chương 1 thiết lập nền tảng lý thuyết và tổng quan cho toàn bộ luận án:

• Định nghĩa bài toán Semantic Relation Extraction, phân rã thành hai nhiệm vụ con: Nhận dạng thực thể tên y sinh (NER) và Phân loại quan hệ y sinh (RC).
• Trình bày chi tiết các lược đồ gán nhãn chuỗi IO, IOB và IOBES, trong đó IOBES phân biệt rõ các thực thể đơn từ (S) và từ kết thúc (E).
• Khảo cứu toàn diện các phương pháp tiếp cận NER và RC: từ phương pháp dựa trên từ điển, tập luật, học máy có giám sát dựa trên đặc trưng (SVM, Perceptron, CRF) đến các kiến trúc học sâu (CNN, RNN, BiLSTM, Word Embeddings, BERT, BioBERT) và học giám sát từ xa.
• Thống kê và phân tích các bộ ngữ liệu chuẩn (BC5 CDR, NCBI Disease, FSU-PRGE, DDI-2013, BB3, Phenebank). Phân tích tỷ lệ từ chưa biết ngoài từ điển (OOV: 23% - 57%) và tỷ lệ các cặp thực thể mới xuất hiện trong tập kiểm thử (NP: 79% trên CDR, 95% trên DDI-2013 và Phenebank).
• Xác lập các độ đo đánh giá tiêu chuẩn: Precision, Recall, F1-score, Accuracy, Standard Deviation, cùng các quy tắc đánh giá khớp chính xác (strict matching) cho NER và đánh giá cấp độ tóm tắt (abstract-level) cho RC.

Chapter 2: AN END-TO-END PIPELINE MODEL FOR BIOMEDICAL RELATION EXTRACTION

Chương 2 trình bày hệ thống UET-CAM (hệ thống tham gia đánh giá tại phân ban BioCreative V CDR track):

• Xây dựng ngữ liệu tiêu chuẩn bạc silverCID phục vụ kỹ thuật học giám sát từ xa (distant supervision) bằng cách khai thác trường "Direct Evidence" từ cơ sở dữ liệu Comparative Toxicogenomics Database (CTD).
• Đề xuất mô hình tích hợp đồng thời Nhận dạng và Chuẩn hóa thực thể tên bệnh (DNER) bằng cách kết hợp Perceptron với mô hình Supervised Semantic Indexing (SSI) và mô hình skip-gram. So sánh các cấu trúc kết hợp: mô hình SSI nâng cao, mô hình lai ghép (hybrid), và mô hình suy thoái tuần tự (sequential back-off).
• Xây dựng mô hình phân loại quan hệ nội câu bằng bộ phân loại Support Vector Machine (SVM) với tập đặc trưng quy mô lớn (large-scale feature set) trích xuất từ ngữ cảnh, từ loại, cú pháp và nguồn tri thức ngoài.
• Áp dụng kỹ thuật giải quyết đồng tham chiếu (coreference resolution) sử dụng mô hình đa tầng lọc (multi-pass sieve).
• Báo cáo kết quả phân loại quan hệ CID trên tập kiểm thử BC5 CDR, phân tích đóng góp của từng thành phần phương pháp/tài nguyên và phân loại các nguồn gây lỗi của hệ thống.

Chapter 3: AN IMPROVED CRF-BILSTM MODEL FOR BIOMEDICAL NAMED ENTITY RECOGNITION

Chương 3 tập trung giải quyết bài toán NER bằng mô hình học sâu D3NER:

• Kiến trúc mô hình D3NER gồm nhiều tầng xử lý: tầng tiền xử lý dữ liệu, tầng nhúng TPAC (Token-POS tag-Abbreviation-Character Embeddings), tầng mạng BiLSTM biểu diễn ngữ cảnh hai chiều, và tầng giải mã nhãn tối ưu bằng Conditional Random Fields (CRF).
• Tầng nhúng TPAC kết hợp đồng thời 4 nguồn thông tin: biểu diễn từ (Token), nhãn từ loại (POS tag), thông tin viết tắt (Abbreviation), và đặc trưng hình thái ký tự (Character-level) nhằm giảm thiểu tác động của từ ngoài từ điển (OOV).
• Thiết lập môi trường thực nghiệm và tham số mô hình; thực hiện 20 lần chạy độc lập với các khởi tạo ngẫu nhiên khác nhau trên hai bộ ngữ liệu BC5 CDR và NCBI Disease, kiểm định 4-fold cross-validation trên bộ ngữ liệu FSU-PRGE (cho thực thể Gene/Protein).
• Phân tích kiểm định cắt bỏ (ablation test) nhằm định lượng đóng góp của từng thành phần trong tầng nhúng TPAC và đánh giá tác động của việc tinh chỉnh (fine-tuning) siêu tham số nhúng.
• Xây dựng ma trận nhầm lẫn của D3NER trên ngữ liệu CDR và phân tích các trường hợp nhận dạng sai trên ngữ liệu BC5 CDR và FSU-PRGE.

Chapter 4: HYBRID, ATTENTION-BASED AND ENSEMBLE DEEP LEARNING MODELS FOR BIOMEDICAL RELATION CLASSIFICATION

Chương 4 đề xuất các mô hình học sâu cải tiến cho bài toán phân loại quan hệ:

• Khai thác đường phụ thuộc ngắn nhất (SDP) và đơn vị phụ thuộc (Dependency Unit - DU) để biểu diễn quan hệ cú pháp giữa hai thực thể.
• Đề xuất mô hình lai thích ứng MASS (Man for All SeasonS) cho phân loại quan hệ, sử dụng mạng LSTM đa kênh (multi-channel LSTM) cho biểu diễn từ kết hợp kiểm định cắt bỏ để đánh giá các nguồn thông tin đầu vào. Đánh giá hiệu năng của MASS trên 4 ngữ liệu: BC5 CDR, DDI-2013, BB3 và Phenebank.
• Đề xuất mô hình mạng nơ-ron sâu RbSP (Richer-but-Smarter Shortest Dependency Path) tích hợp cơ chế tập trung đa tầng (multi-layer attention mechanism) nhằm trích xuất thông tin bổ trợ từ các nút con đính kèm trên SDP. Phân tích hàm mất mát huấn luyện/kiểm định, độ chính xác và kiểm định cắt bỏ cho các thành phần nhúng kết hợp.
• Giải quyết vấn đề quá khớp (overfitting) của các mô hình học sâu bằng kiến trúc Multi-fragment Ensemble kết hợp kỹ thuật đóng bao (bagging with bootstrap data). Đánh giá biến thiên hiệu năng của mô hình ensemble theo kích thước dữ liệu huấn luyện và ngưỡng bỏ phiếu (vote threshold) trên hai ngữ liệu BC5 CDR và DDI.

Chapter 5: GRAPH-BASED INTER-SENTENCE RELATION CLASSIFICATION IN BIOMEDICAL TEXT

Chương 5 nghiên cứu bài toán phân loại quan hệ liên câu (inter-sentence relation classification) - một thách thức lớn khi các thực thể nằm ở các câu khác nhau trong phần tóm tắt:

• Xây dựng đồ thị con tài liệu (document sub-graph) bằng cách sử dụng kỹ thuật cửa sổ trượt (sliding window kích thước $w$) để liên kết các câu liền kề.
• Bổ sung các cạnh ảo (virtual edges) vào đồ thị con tài liệu nhằm kết nối các thực thể và cấu trúc cú pháp giữa các câu; giải quyết các vấn đề phát sinh khi tạo mẫu từ đồ thị (như hiện tượng bùng nổ các đường đi tương tự nhau khi đoạn văn có mật độ thực thể dày đặc).
• Đề xuất thuật toán tìm kiếm, hợp nhất và lựa chọn đường đi trên đồ thị (paths finding, merging and choosing).
• Xây dựng mô hình mạng tích chập chia sẻ trọng số swCNN (Shared-weight Convolutional Neural Network) để xử lý các đường biểu diễn trích xuất từ đồ thị con.
• Đánh giá thực nghiệm trên BC5 CDR: kiểm định cắt bỏ đối với các cạnh ảo, đánh giá sự thay đổi kết quả theo các kích thước cửa sổ trượt $w$ khác nhau trong quá trình huấn luyện và kiểm thử, so sánh với các mô hình đối sánh và phân tích các trường hợp lỗi trên tập test BC5 CDR.

Kết quả và những đóng góp mới

Các đóng góp mới của luận án

1. Phương pháp biểu diễn dữ liệu phong phú: Đề xuất tập đặc trưng kỹ thuật mở rộng cho mô hình dựa trên đặc trưng; tầng nhúng kết hợp TPAC (Token, POS, Abbreviation, Character) cho mô hình NER; cấu trúc đường phụ thuộc ngắn nhất mở rộng (SDP với các nút con) có gắn cơ chế Attention; và biểu diễn đồ thị con tài liệu (Document Sub-graph) có bổ sung cạnh ảo cho quan hệ liên câu.
2. Các kiến trúc học máy mới:
   • Hệ thống pipeline UET-CAM kết hợp đồng thời NER-NEN với phân loại quan hệ SVM có hỗ trợ của học giám sát từ xa.
   • Mô hình học sâu D3NER kết hợp TPAC-BiLSTM-CRF cho bài toán nhận dạng thực thể tên đa miền (Hóa chất, Bệnh, Gen/Protein).
   • Các mô hình học sâu MASS và RbSP khai thác cơ chế Attention trên cây phụ thuộc cú pháp; kiến trúc Multi-fragment Ensemble chống quá khớp cho phân loại quan hệ.
   • Mô hình đồ thị con kết hợp mạng tích chập chia sẻ trọng số swCNN xử lý hiệu quả bài toán quan hệ liên câu phức tạp.
3. Đóng góp tài nguyên cho cộng đồng nghiên cứu: Xây dựng và công bố bộ ngữ liệu tiêu chuẩn bạc silverCID phục vụ huấn luyện giám sát từ xa cho quan hệ Bệnh do hóa chất gây ra (CID).

Kiến nghị và giải pháp đề xuất

• Kết hợp thông tin ngữ pháp/cú pháp (cây phụ thuộc, nhãn từ loại) với thông tin ngữ nghĩa (nhúng từ, từ điển) để cải thiện độ chính xác phân loại trong miền văn bản y sinh.
• Sử dụng mô hình giải mã kết hợp (như joint NER-NEN hoặc BiLSTM-CRF) để giảm thiểu hiện tượng lan truyền lỗi tuần tự (cascading errors).
• Ứng dụng cơ chế ensemble phân mảnh dữ liệu (multi-fragment bagging) để giảm thiểu hiện tượng quá khớp khi huấn luyện các mạng nơ-ron sâu trên tập dữ liệu y sinh có kích thước giới hạn.
• Sử dụng biểu diễn đồ thị tài liệu kết hợp cạnh ảo và cửa sổ trượt để xử lý liên kết giữa các câu thay vì chỉ ghép nối văn bản thuần túy.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế được ghi nhận trong văn bản

• Luận án giới hạn phạm vi trong các thực thể không lồng nhau (flat entities), chưa xử lý bài toán thực thể lồng nhau (nested named entities).
• Mới tập trung xử lý quan hệ nhị phân (binary relations), chưa mở rộng cho các quan hệ đa thực thể ($n$-ary relations).
• Chưa tích hợp thành công mô hình ngôn ngữ ngữ cảnh tiền huấn luyện chuyên biệt như BERT/BioBERT vào các mô hình dựa trên đường phụ thuộc ngắn nhất (SDP) do xung đột giữa cơ chế tách từ WordPiece/SentencePiece và cấu trúc nút trên cây phụ thuộc cú pháp.

Hướng nghiên cứu tiếp

• Mở rộng kiến trúc để trích xuất các quan hệ phức tạp đa thành phần ($n$-ary relations).
• Nghiên cứu cơ chế điều chỉnh và ánh xạ hiệu quả giữa đơn vị WordPiece của các mô hình Transformer (BERT, BioBERT) với các nút của cây cú pháp phụ thuộc.
• Mở rộng áp dụng các kiến trúc đã đề xuất sang các miền văn bản y sinh toàn văn (full-text articles) và hồ sơ bệnh án điện tử.

Giá trị tham khảo

• Đối với nghiên cứu sinh và học viên cao học: Luận án là tài liệu tham khảo chi tiết về phương pháp luận nghiên cứu BioNLP, quy trình xử lý dữ liệu mất cân bằng, kỹ thuật thiết kế tầng nhúng đa nguồn (TPAC) và phương pháp khai thác cây phụ thuộc cú pháp (SDP, Document Sub-graph).
• Đối với giảng viên và nhà nghiên cứu: Cung cấp bức tranh toàn cảnh có hệ thống về phân loại các hướng tiếp cận NER và RC trong y sinh, phương pháp đánh giá thực nghiệm chuẩn mực (strict matching, 20-run stability test, ablation test) và cách thức xây dựng ngữ liệu tiêu chuẩn bạc (silverCID).
• Đối với kỹ sư công nghệ và phát triển hệ thống: Cung cấp các thiết kế kiến trúc thực tế (hệ thống UET-CAM, mô hình swCNN, mô hình Multi-fragment Ensemble) có thể tái ứng dụng trong các bài toán khai phá văn bản y tế, phát hiện tác dụng phụ của thuốc, và xây dựng đồ thị tri thức y dược.

Câu hỏi thường gặp

1. Tại sao luận án lại chọn bộ ngữ liệu BioCreative V CDR làm ngữ liệu chuẩn xuyên suốt?

Bộ ngữ liệu BioCreative V Chemical-Disease Relation (BC5 CDR) gồm 1.500 bài báo PubMed (500 train, 500 dev, 500 test), chứa đầy đủ nhãn gán chuẩn chuyên gia cho cả thực thể tên (Chemical, Disease) và quan hệ nhân quả (CID). Điều này cho phép luận án đánh giá đồng bộ và so sánh nhất quán hiệu năng của tất cả các mô hình đề xuất cho cả hai bài toán NER và RC trên cùng một không gian dữ liệu chuẩn.

2. Tầng nhúng TPAC trong mô hình D3NER gồm những thành phần nào và giải quyết vấn đề gì?

Tầng nhúng TPAC kết hợp đồng thời 4 thành phần biểu diễn: Token (từ), POS tag (nhãn từ loại), Abbreviation (thông tin viết tắt) và Character (đặc trưng hình thái cấp ký tự). Cấu trúc này giúp mô hình D3NER nắm bắt toàn diện thông tin cú pháp, ngữ cảnh và cấu trúc từ, đặc biệt khắc phục hiệu quả vấn đề từ ngoài từ điển (OOV) và các từ viết tắt phức tạp vốn rất phổ biến trong văn bản y sinh.

3. Mô hình RbSP ở Chương 4 có điểm gì cải tiến so với cách tiếp cận SDP truyền thống?

Thay vì chỉ xem xét chuỗi các nút đơn thuần nằm trực tiếp trên đường phụ thuộc ngắn nhất (SDP), mô hình RbSP (Richer-but-Smarter Shortest Dependency Path) tích hợp thêm thông tin từ các nút con đính kèm với các token trên SDP thông qua cơ chế tập trung đa tầng (multi-layer attention). Điều này giúp mô hình thu nhận được các thông tin ngữ cảnh bổ trợ quan trọng mà không làm tăng độ nhiễu của đường dẫn chính.

4. Luận án giải quyết bài toán quan hệ liên câu (inter-sentence relation) ở Chương 5 bằng cách nào?

Luận án chuyển đổi văn bản tóm tắt thành đồ thị con tài liệu (document sub-graph) bằng kỹ thuật cửa sổ trượt kích thước $w$ trên các câu liền kề và bổ sung các cạnh ảo (virtual edges) để kết nối các thực thể xuyên câu. Sau đó, một thuật toán tìm kiếm và chọn lọc đường đi được áp dụng để trích xuất các chuỗi đặc trưng, đưa vào mạng tích chập chia sẻ trọng số swCNN (Shared-weight CNN) để phân loại quan hệ.

5. Tại sao luận án chưa áp dụng trực tiếp mô hình BERT vào kiến trúc phân loại quan hệ dựa trên SDP?

Cơ chế tách từ của BERT sử dụng WordPiece/SentencePiece chia một từ thành nhiều phần nhỏ (ví dụ: enlargement thành enlarge và ##ment), trong khi mỗi nút trên cây phụ thuộc cú pháp SDP tương ứng với một token hoàn chỉnh. Sự không đồng nhất về ranh giới này dẫn đến việc một WordPiece bị ánh xạ vào nhiều nút hoặc một nút chứa nhiều vector WordPiece, gây trùng lặp thông tin hoặc làm lệch hướng biểu diễn ngữ nghĩa của mô hình học sâu.

Kết luận

Luận án tiến sĩ của Lê Hoàng Quỳnh đã nghiên cứu có hệ thống và toàn diện bài toán trích xuất quan hệ ngữ nghĩa trong văn bản y sinh, phân rã thành hai nhiệm vụ cốt lõi là nhận dạng thực thể tên (NER) và phân loại quan hệ (RC). Thông qua việc kết hợp các kỹ thuật học máy có giám sát, học sâu, học giám sát từ xa và biểu diễn đồ thị văn bản, tác giả đã đề xuất nhiều kiến trúc mô hình hiệu quả như UET-CAM, D3NER, MASS, RbSP và swCNN. Công trình đã được kiểm chứng thực nghiệm nghiêm ngặt trên nhiều bộ ngữ liệu chuẩn quốc tế (BC5 CDR, NCBI, FSU-PRGE, DDI-2013, BB3, Phenebank), đóng góp ngữ liệu tiêu chuẩn bạc silverCID và mở ra các hướng phát triển quan trọng cho lĩnh vực xử lý ngôn ngữ tự nhiên trong y sinh học.

Trích đoạn nội dung tài liệu

Declaration Thereby declare that this Doctoral Dissertation was carried out by me for the degree of Doctor of Philosophy under the guidance and supervision of my supervisors. This dissertation is my own work and includes nothing, which is the outcome of work done in collaboration except as specified in the text. It is not substantially the same as any I have submitted for a degree, diploma or other qualification at any other university; and no part has already been, or is currently being submitted for any degree, diploma or other qualification. Hanoi , January 2022 Author Le Hoang Quynh iii Table of Contents DECLARATION.

00000 2 eee ee Lo Hi TABLE OF CONTENTS. ee ee viii LIST OF FIGURES. xi LIST OF TABLES .00000 00 02 ee 1 1 INTRODUCTION TO BIOMEDICAL RELATION EXTRACTION .1 Semantic relation exftraction.2 Biomedical named entity recognition. Biomedical relation classiicatlon.1 Literature review of biomedical named entity recognition .2 Literature review of biomedical relation extraction .1 Datasets for named entity recognition experiments .2 Datasets for relation classification experiments.

Named entity recognition evaluation. Relation classification evalualon. 00 ee ee 37 IV 2 ANEND-TO-END PIPELINE MODEL FOR BIOMEDICAL RELATION EXTRACTION .000 eee ee ee 38 2.1 Distant supervision learning with silverCID corpus .2 Proposed UET-CAM system.1 Joint model of named entity recognition and normalization (DNER) 43 2. Intra-sentence relation classification with support vector machine .3 Experimental results and discussion .1 Choosing the combining manner of SSI and skip-gram for named entity normalization results .2 Named entity recognition and normalization results.3, CID relation classiicatlonresults.

ee 62 3 AN IMPROVED CRE-BILSTM MODEL FOR BIOMEDICAL NAMED ENTITY RECOGNITION .1 Introduction to deep learning for named entity recognition .2 Proposed D3NER model.1 Data pre-processing .2 The TPAC embeddings layer .3 Context representing biLSTM layer.5 Conditional random fields layer.3 Experimental results and discussion .1 Experimental environment and model settings. The performance of D3NER model and comparisons .4 Contribution of the model components. Q Q Q Q HQ Q HH ee 86 4 HYBRID, ATTENTION-BASED AND ENSEMBLE DEEP LEARNING MODELS FOR BIOMEDICAL RELATION CLASSIFICATION .1 The shortest dependency path.2 The shortest dependency path.2 A hybrid adaptive deep learning model for biomedical relation extraction.2 Experimental corpora and comparative models. Experimental environment and model settings .4 Experimental results and discussion .3, An attentive augmented deep learning model for biomedical relation ex- traction 2.

Experimental environment and model setings.4 Experimental results and discussion .4 A multi-fragment ensemble deep learning model for biomedical relation extraction 2.1 Over-fitting problem of deep learning-based models .2 Bagging with bootstrap tramngdata.3 Proposed multi-fragment ensemble architecture .4 Experimental results and discussion. ee ee 129 GRAPH-BASED INTER-SENTENCE RELATION CLASSIFICATION IN BIOMEDICALTEXT.1 Inter-sentence relations classification problem.2 Proposed graph-based inter-sentence relation classification model. eee ee eee ee 134 5. Document sub-graph construction .3 Paths finding, merging and choosing .4 Shared-weight convolutional neural network.3 Experimental results and discussion .1 Experimental environment and model settings .2 Contribution of the added virtual edges in document sub-graph .3 Different sliding window size w for training and testing .4 Contribution of the model components .5 Comparison to comparativemodel.5 Summary CONCLUSION LIST OF PUBLICATIONS.

Vii ABBREVIATIONS Acc Accuracy Adam Adaptive Moment Estimation ANN Artificial Neural Network bagging Bootstrap Aggregating BB3 Bacteria Biotope Task BCS CDR corpus BioCreative V Chemical-Disease relation cor- pus BERT Bidirectional Encoder Representations from Transformers biLSTM Bidirectional Long Short-term Memory CBOW Continuous Bag-of-words CDR Chemical Disease Relation CID Chemical-induced Disease CNN Convolutional Neural Network CRF Conditional Random Fields CTD Comparative Toxicogenomics Database DDI Drug-drug Interaction DNER Disease Named Entity Recognition DNN Deep Neural Network DU Dependency Unit ELMO Embeddings from Language Models FN False Negative Vili FP False Positive FSU-PRGE The FSU PRotein GEne Corpus GD Gradient Descent HAScO Human-Aware Science Ontology HHEAR Human Health Exposure Analysis Resource HMM Hidden Markov Model TAA Inter-annotator Agreement IE Information Extraction KB Knowledge-base LSTM Long Short-term Memory MASS Man for All SeasonS MESH Medical Subject Headings mf Multi-fragment MLP Multilayer Perceptron MUC Message Understanding Conferences NCBI National Center for Biotechnology Informa- tion NCIT National Cancer Institute Thesaurus NE Named Entity NEN Named Entity Normalization NER Named Entity Recognition NLP Natural Language Processing OOV Out-Of- Vocabulary OWL Orthology Ontology P Precision PMC Pubmed Central 1X POS Part-of-speech R Recall RbSP Richer-but-Smarter Shortest Dependency Path RC Relation Classification RE Relation Extraction ReLU Rectified Linear Unit REP Replacement RGO Radiology Gamuts Ontology RNN Recurrent Neural Network SDP The Shortest Dependency Path SilverCID A Silver-standard Corpus for Chemical- induced Disease Relation Extraction SNOMED Systematized Nomenclature of Medicine SSI Supervised Semantic Indexing stdev Standard Deviation SVM Suport Vector Machine swCNN Shared-weight Convolutional Neural Network TN True Negative TP True Positive TPAC the Token-POS tag-Abbrviation-Character Embeedings UMLS Unified Medical Language System w/o REP With out Replacement List of Figures Growth of MEDLINE citations from 1986 to 2019. 2 Challenges’ subtasks/tracks organized based on NLP perspectives [64]. 3 The dissertation outline.1 An example taken from the BC5 CDR corpus with recognized names of Disease, Chemical and Specles.2 Examples of (a) inter-sentence relation and (b) intra-sentence relation.3 Examples of relations with specific and unspecific location.4 Examples of (a) Promotes - a directed relation and (b) Associated - an undirected relation taken from Phenebank corpus.5 Named entity recognition approaches taxonomy.6 Relation extraction approaches taxonomy.7 The statistics of corpora used in our experiments for relation classification.1 Analysis of the Direct Evidence field in the CTD databases.2 An example of constructing silverCID corpus.3 Architecture of the proposed UET-CAM system.4 Advanced SSI model using skip-gram information for NEN.5 Hybrid model of SSI and skip-gram model for NEN.6 Sequential back-off model of SSI and skip-gram model for NEN.7 An example of coreference In text.8 An examples of using multi-pass sieve for coreference resolution.1 The D3NER architecture.2 The TPAC embedding architecture of D3NER.1 Example of adependency tree.2 Examples of the shortest dependency paths .3 Examples of the dependency unit in the shortest dependency paths.4 The architecture of MASS model for relation classification.5 The multi-channel LSTM for word representation.6 Ablation test results for various components and information sources of MASSmodel.7 Examples of SDPs and attached child nodes.8 The architecture of RbSP model for relation classification.9 The multi-layer attention architecture to extract the augmented informa- tion from the children of a token on SDP.10 Ablation test results for compositional embeddings of RbSP model.11 Ablation test results for augmented information of RbSP model.12 Training loss, training accuracy, validation loss and validation accuracy of our RbSP model in BC5 CDR corpus.13 The range of RbSP model’s results on BCS CDR test set.14 The multi-fragment ensemble architecfure.15 The changes of multi-fragment ensemble model’s results with different size of training data. Ặ Ặ Q Q Q Q HQ HH ko 4.16 The changes #'I of multi-fragment ensemble model with different vote threshold.1 Examples of complicated cross-sentence relations.2 The proposed model for inter-sentence relation classification.3 Use sliding window to choose adjacent sentences for building document sub-graph.4 Examples of adocument sub-graph.5 Examples of two unexpected problems while generating the instance from document sub-graph.6 Example of an abstract with many NER annotations that leads to the ex- ee 140 plosion of similar paths.7 Diagram illustrating of aswCNN architecture.8 Ablation test results for virtual edges of the document sub-graph.9 The change of results with different size of sliding window.

Xi List of Tables 1.1 Example sentences labeled using different tagging schema .2 Examples for different relation types.3 Information about the BCS CDR, NCBI and FSU-PRGE corpora for NER.4 Information about the BC5 CDR, BB3, DDI and Phenebank corpora for relation classification.5 Defining the test metrics.1 Detailed Input/Output and the objectives of UET-CAM components.2 Large-scale feature set used in the intra-sentence relation extraction mod- ule of UET-CAM system.3 Named Entity Normalization results with different combining architectures.4 Disease named entity recognition results on BC5 CDR corpus of UET- CAM system.5 Relation classification results on BC5 CDR corpus of UET-CAM system.6 Analysis of the contribution of methods and resources used in the UET- CAM system for capturing CID relatonships.7 Sources of errors by our system system on the CDR test set.1 Configurations and parameters of D3NER model.2 Experimental results of D3NER for 20 runs each with different random initialization on BCS CDR and NCBI corpora.3 Performance of D3NER and compared state-of-the-art models on two benchmark corpora for Disease and Chemical NER.4 Experimental results of D3NER for 20 runs each with different random initialization on FSU-PRGE corpus (4-fold cross validation).5 Performance of D3NER and compared state-of-the-art model on FSU- PRGE corpus for Gene/protein NER.6 Ablation test results for different embeddings of D3NER model.7 Impact of fine-tunning embeddings as the D3NER’s hyper-parameters.8 D3NER confusion matrix on the CDR corpus.9 Examples for errors caused by D3NER on the BC5 CDR and FSU-PRGE COMpOra.1 Examples for different relation types.2 Configurations and parameters of MASS model.3 Results of MASS model on the BCS CDR corpus.4 Results of MASS model on the DDI-2013 corpus.5 Results of MASS model on the BB3 corpus.6 Results of MASS model on the Phenebank corpus.7 Examples of MASS model’s errors.8 Configurations and parameters of RbSP model.9 The RbSP model’s performance on BC5 CDR corpus.10 Multi-fragment ensemble results on BCS CDR corpus.11 The comparison of our ensemble proposed models with other compara- tive models on BC5 CDR corpus.12 The comparison of our ensemble proposed models with other compara- tive models on DDI corpus.1 Tuned hyper-parameter of proposed model.2 Ablation test results for added virtual edges in the document sub-graph.3 Results of the document sub-graph based model on BCS CDR corpus with different size of sliding window for training and testing.4 Ablation test results for various components of the document sub-graph based model on BC5 CDR corpus.5 The performance of document sub-graph-based model and some compar- ative models.6 The detailed results of the document sub-graph based model.7 Examples of errors on the BC5 CDR testset. 151 XIV Preface The necessities of the dissertation: In the past several decades, biomedicine and human health care have become one of the major service industries. They have been receiving increasing attention from the research community and the whole society., in 2011, biomedical research in the United States received 100—billion dollars of investment, with approximately 65% supported by industry, 30% by the government, and the remaining 5% by charities, foun- dations, or individual donors [137]. Up to the present, many researchers have been still working hard with an expectation that more advances would occur for supporting biomedical science and healthcare.

Therefore, the inevitable need is understanding and analyzing the existed information and knowledge bases. As a result, the field of biomedical research has overgrown, and the number of biomedical scientific publications is growing at an extremely high rate. Accessing and processing this data to keep abreast of the state-of-the-art and making discoveries in biomedical/healthcare scientific researches is essential for several types of users, in- cluding biomedical researchers, clinicians, database curators, and bibliometricians [77]. There is more than 3000 articles are published in biomedical journals every day [64].

MEDLINE®, a biomedical database of the US National Library of Medicine, is one of the most prominent and largest biomedical digital repositories. As of 2019, it already contains more than 26 million citations with a fast increasing number of articles in life sciences with a concentration on biomedicine!. Figure | illustrates the growth of MED- LINE from ~ 1 million in 1970 to ~ 26 million citations in 2019. More impressively, this number has increased nearly two times in 14 years, from 2005 (~ 13.

PubMed®” is a free resource developed and maintained by the NCBI which pro- Inttps://www.gov/bsd/medline_pubmed_production_stats.html "https ://www.gov/pubmed 27 25 23 21 19 17 15 13 11 9 7 5 3 1 PL FFP FP x.% Figure 1: Growth of MEDLINE citations from 1986 to 2019. The vertical axis shows the number ofcitation (in million). For clearly visualization, the Statistics before 2005 were presented every 5 years. vides free access to MEDLINE and some other databases.

Following the statistic re- ported in November 2019°, the total of PubMed citations cumulative has surpassed 30 million.