Luận văn: Phát hiện quan hệ nhân quả sự kiện trong văn bản với học sâu

Luận văn khám phá quan hệ nhân quả trong văn bản bằng học sâu. Nghiên cứu mới về trích xuất thông tin và xử lý ngôn ngữ tự nhiên. Xem chi tiết!

• Tác giả: Phạm Văn Đại
• Người hướng dẫn: TS. Nguyễn Thị Oanh
• Trường học: Trường Đại học Bách Khoa Hà Nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Phát hiện quan hệ nhân quả giữa các sự kiện trong văn bản với học sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà Nội

Mục lục chi tiết

• 1. Chương 1: Giới thiệu bài toán
• 1.1. Mục tiêu và phạm vi của luận văn
• 1.1.1. Mục tiêu của luận văn
• 1.1.2. Phạm vi của luận văn
• 1.2. Định hướng phương pháp giải quyết
• 1.2.1. Biểu diễn tài liệu với định dạng (CAT-JXMT)
• 1.2.2. Tài liệu XML
• 1.2.3. Tài liệu định dạng (CAT-)XML
• 1.3. Tổng quan kiến trúc
• 1.4. Huấn luyện mô hình
• 1.5. Biểu diễn từ bằng word2vec
• 1.6. Mạng nơ-ron hồi quy (Recurrent neural network)
• 1.7. Mạng nơ-ron tích chập đồ thị (Graph Convolutional Networks)
• 1.8. Các khái niệm khác
• 1.9. Hiện trạng các mô hình đã tồn tại trên thế giới
• 1.9.1. Mô hình phân loại Feature Based Local Pairwise
• 1.9.2. Mô hình phân loại dựa trên tối ưu ILP
• 1.9.3. Mô hình Edge-Enhanced Graph Conv olution Networks
• 3. Chương 3: Mô hình đề xuất
• 3.1. Mô hình posGCN
• 3.1.1. Cấu trúc tầng biểu diễn câu
• 3.1.2. Cấu trúc tầng biểu diễn cặp sự kiện
• 3.1.3. Cấu trúc tầng lỗi phân loại
• 3.2. Các mô hình cải tiến của mô hình posGCN
• 3.2.1. Mô hình posGCN-DC
• 3.2.2. Mô hình posGCN-OC
• 3.2.3. Mô hình posGCN-AC
• 4. Chương 4: Thử nghiệm
• 4.1. Dữ liệu thử nghiệm
• 4.1.1. Tập dữ liệu EventStoryLine
• 4.2. Chiến lược chia dữ liệu thử nghiệm
• 4.3. Độ đo sử dụng
• 4.4. Các tham số chung ban đầu
• 4.5. So gánh với kết quả đối công bố
• 4.6. Lựa chọn tham số
• 4.7. Kết quả trên các mô hình cải tiến
• 5. Chương 5: Kết luận
• 5.1. Kết quả đạt được
• 5.2. Định hướng phát triển của đề tài
• Tài liệu tham khảo

Tóm tắt

I. Tổng Quan Phát Hiện Quan Hệ Nhân Quả Học Sâu trong NLP

Trong lĩnh vực xử lý ngôn ngữ tự nhiên (NLP), việc phát hiện quan hệ nhân quả giữa các sự kiện trong văn bản là một bài toán quan trọng. Bài toán này không chỉ giúp chúng ta hiểu sâu sắc hơn về nội dung văn bản mà còn là nền tảng cho nhiều ứng dụng thực tế như tóm tắt văn bản, hệ thống khuyến nghị, và phân tích cảm xúc. Thông thường, các bài toán NLP sẽ giải quyết việc xác định sự kiện xuất hiện trong các câu của văn bản, từ đó phát sinh các bài toán khác từ các cặp sự kiện được xác định này. Luận văn này tập trung vào bài toán phân loại cặp sự kiện có quan hệ nhân quả, một bài toán gốc quan trọng trong trích xuất thông tin. Các mô hình học sâu với thành phần cốt lõi là Mạng LSTM, Graph Convolutional Networks (GCN), cùng với kỹ thuật biểu diễn word embedding kết hợp với position embedding được sử dụng để giải quyết bài toán. Việc ứng dụng học sâu để tự động trích xuất thông tin và suy luận về quan hệ nhân quả mở ra nhiều tiềm năng mới trong việc xử lý lượng lớn dữ liệu văn bản một cách hiệu quả. Các kỹ thuật biểu diễn tri thức và lý luận nhân quả đóng vai trò then chốt trong việc xây dựng các mô hình quan hệ nhân quả thông minh.

1.1. Tại Sao Phát Hiện Quan Hệ Nhân Quả Lại Quan Trọng trong NLP

Phát hiện quan hệ nhân quả là yếu tố then chốt để hiểu sâu sắc ngữ nghĩa văn bản. Nó giúp xác định lý do và kết quả của các sự kiện, từ đó xây dựng bức tranh toàn diện về nội dung. Ví dụ, trong tin tức, việc xác định nguyên nhân của một sự kiện giúp độc giả hiểu rõ bối cảnh và tác động của nó. Trong khoa học, việc tìm ra quan hệ nhân quả là cơ sở cho các khám phá và phát triển. Việc này rất cần thiết cho các bài toán như tóm tắt văn bản, giúp hệ thống chỉ giữ lại những thông tin quan trọng nhất, liên quan đến quan hệ nhân quả. Phân tích cảm xúc cũng được cải thiện khi hiểu được lý do đằng sau cảm xúc. Hệ thống khuyến nghị có thể đưa ra gợi ý chính xác hơn khi hiểu được nguyên nhân khiến người dùng thích hoặc không thích một sản phẩm. Tóm lại, phát hiện quan hệ nhân quả là một bước tiến quan trọng để xử lý ngôn ngữ tự nhiên đạt đến trình độ hiểu biết thực sự.

1.2. Các Thách Thức Khi Phát Hiện Quan Hệ Nhân Quả Trong Văn Bản

Việc phát hiện quan hệ nhân quả trong văn bản đối mặt với nhiều thách thức. Ngôn ngữ tự nhiên vốn dĩ mơ hồ và phức tạp, một quan hệ nhân quả có thể được diễn đạt theo nhiều cách khác nhau, không phải lúc nào cũng rõ ràng. Từ đồng nghĩa, ẩn dụ, và cấu trúc câu phức tạp có thể che giấu mối liên hệ thực sự giữa các sự kiện. Hơn nữa, quan hệ nhân quả có thể ngầm định, không được nêu rõ ràng trong văn bản, đòi hỏi khả năng suy luận và hiểu biết về thế giới thực. Một thách thức khác là sự thiếu hụt dữ liệu được gán nhãn cho quan hệ nhân quả, việc biên tập văn bản thủ công để tạo ra các bộ dữ liệu này tốn kém và mất thời gian. Sự xuất hiện của các bias trong dữ liệu huấn luyện cũng ảnh hưởng đến hiệu suất của mô hình. Vì vậy, các phương pháp học không giám sát và bán giám sát đang được quan tâm nghiên cứu.

II. Phương Pháp Học Sâu Cho Phát Hiện Quan Hệ Nhân Quả Hướng Dẫn

Các phương pháp học sâu đã chứng minh được hiệu quả vượt trội trong việc phát hiện quan hệ nhân quả trong văn bản. Các mạng nơ-ron có khả năng học các biểu diễn phức tạp của văn bản, từ đó nhận biết các mô hình quan hệ nhân quả tiềm ẩn. Mạng nơ-ron hồi quy (RNN), đặc biệt là LSTM, được sử dụng để xử lý các chuỗi văn bản và nắm bắt các phụ thuộc dài hạn giữa các sự kiện. Mạng nơ-ron tích chập (CNN) có thể trích xuất các đặc trưng cục bộ quan trọng từ văn bản. Mạng nơ-ron đồ thị (GNN), đặc biệt là Graph Convolutional Networks (GCN), cho phép mô hình hóa văn bản dưới dạng đồ thị, trong đó các nút là các sự kiện và các cạnh biểu diễn mối quan hệ giữa chúng. Các pre-trained language models như BERT và Transformer đã mang lại những cải tiến đáng kể, cung cấp biểu diễn văn bản ngữ nghĩa phong phú và giúp mô hình học nhanh hơn với ít dữ liệu hơn.

2.1. Sử Dụng Mạng Nơ ron Hồi Quy RNN và LSTM Cho Biểu Diễn Văn Bản

Mạng nơ-ron hồi quy (RNN) là lựa chọn tự nhiên để xử lý dữ liệu chuỗi như văn bản. Chúng xử lý văn bản theo từng từ, duy trì một trạng thái ẩn chứa thông tin về các từ đã qua. LSTM (Long Short-Term Memory) là một biến thể của RNN được thiết kế để khắc phục vấn đề vanishing gradient, cho phép mô hình học các phụ thuộc dài hạn trong văn bản. Trong bài toán phát hiện quan hệ nhân quả, LSTM có thể được sử dụng để mã hóa các câu chứa các sự kiện, từ đó tạo ra các biểu diễn văn bản có ý nghĩa. Các word embedding như word2vec hoặc GloVe có thể được sử dụng để khởi tạo biểu diễn từ, sau đó LSTM sẽ học cách tinh chỉnh các biểu diễn này để phù hợp với bài toán cụ thể. Trích dẫn từ luận văn cho thấy rằng mô hình sử dụng mạng LSTM kết hợp với word embedding và Position embedding.

2.2. Ứng Dụng Mạng Nơ ron Tích Chập Đồ Thị GCN để Mô Hình Hóa Quan Hệ

Mạng nơ-ron tích chập đồ thị (GCN) là một công cụ mạnh mẽ để mô hình hóa văn bản dưới dạng đồ thị. Trong đồ thị, các nút có thể đại diện cho các từ, các sự kiện, hoặc các câu, và các cạnh biểu diễn mối quan hệ giữa chúng. GCN học cách lan truyền thông tin giữa các nút trong đồ thị, cho phép mô hình nắm bắt các phụ thuộc phức tạp. Trong bài toán phát hiện quan hệ nhân quả, GCN có thể được sử dụng để mô hình hóa mối quan hệ giữa các sự kiện trong văn bản, ví dụ như mối quan hệ cú pháp hoặc ngữ nghĩa. GCN có thể kết hợp thông tin từ các nút lân cận để tạo ra biểu diễn tốt hơn cho mỗi nút, từ đó cải thiện hiệu suất của mô hình. Mô hình posGCN được đề xuất trong luận văn sử dụng GCN để cải thiện khả năng phát hiện quan hệ nhân quả.

III. Mô Hình posGCN Giải Pháp Phát Hiện Quan Hệ Nhân Quả Tối Ưu

Luận văn giới thiệu mô hình posGCN, một kiến trúc học sâu được thiết kế đặc biệt để phát hiện quan hệ nhân quả trong văn bản. posGCN kết hợp ưu điểm của GCN với position embedding để cải thiện khả năng biểu diễn văn bản. Mô hình này bao gồm các tầng biểu diễn câu, tầng biểu diễn cặp sự kiện, và tầng phân loại. Tầng biểu diễn câu sử dụng LSTM để mã hóa thông tin ngữ cảnh của từng câu. Tầng biểu diễn cặp sự kiện kết hợp biểu diễn của hai sự kiện và vị trí tương đối của chúng trong văn bản. Tầng phân loại sử dụng một mạng nơ-ron để dự đoán xem hai sự kiện có quan hệ nhân quả hay không. Luận văn cũng đề xuất các mô hình cải tiến của posGCN, bao gồm posGCN-DC, posGCN-OC, và posGCN-AC, với các kỹ thuật kiểm soát biểu diễn câu khác nhau.

3.1. Cấu Trúc Chi Tiết Tầng Biểu Diễn Câu Trong Mô Hình posGCN

Tầng biểu diễn câu là thành phần quan trọng trong mô hình posGCN. Nó chịu trách nhiệm mã hóa thông tin ngữ cảnh của mỗi câu trong văn bản. Theo luận văn, kiến trúc tầng này bao gồm việc sử dụng LSTM để xử lý chuỗi từ trong câu. Các word embedding được sử dụng để biểu diễn mỗi từ thành một vector, sau đó LSTM sẽ xử lý chuỗi vector này để tạo ra một biểu diễn duy nhất cho cả câu. Position embedding được sử dụng để mã hóa vị trí của các từ sự kiện trong câu, giúp mô hình nhận biết được tầm quan trọng của chúng. Các thông tin về vị trí sẽ giúp ích rất nhiều cho quá trình phát hiện quan hệ nhân quả.

3.2. Tầng Biểu Diễn Cặp Sự Kiện và Kỹ Thuật Position Embedding

Tầng biểu diễn cặp sự kiện kết hợp biểu diễn của hai sự kiện và vị trí tương đối của chúng trong văn bản. Position embedding đóng vai trò quan trọng trong việc mã hóa thông tin vị trí. Vị trí tương đối của hai sự kiện có thể cung cấp thông tin quan trọng về quan hệ nhân quả giữa chúng. Ví dụ, nếu sự kiện A xảy ra trước sự kiện B, thì A có thể là nguyên nhân của B. Tầng này có thể sử dụng các phép toán như phép nối, phép cộng, hoặc phép nhân để kết hợp biểu diễn của hai sự kiện và position embedding thành một biểu diễn duy nhất. Luận văn thể hiện rõ tầm quan trọng của position embedding trong việc cải thiện hiệu suất của mô hình.

IV. Thử Nghiệm Đánh Giá Kết Quả Vượt Trội Của Mô Hình posGCN

Luận văn trình bày các thử nghiệm chi tiết để đánh giá hiệu suất của mô hình posGCN trên tập dữ liệu EventStoryLine. Các thử nghiệm được thực hiện với nhiều chiến lược chia dữ liệu khác nhau để đảm bảo tính khách quan. Kết quả cho thấy posGCN đạt được hiệu suất vượt trội so với các mô hình cơ sở, chứng minh được hiệu quả của việc kết hợp GCN và position embedding. Các mô hình cải tiến posGCN-DC, posGCN-OC, và posGCN-AC cũng cho thấy những cải thiện đáng kể, đặc biệt là khi sử dụng kỹ thuật kiểm soát biểu diễn câu. Luận văn cũng phân tích ảnh hưởng của các siêu tham số khác nhau đến hiệu suất của mô hình, từ đó đưa ra các khuyến nghị về việc lựa chọn tham số tối ưu.

4.1. Chi Tiết Về Tập Dữ Liệu EventStoryLine Được Sử Dụng

Tập dữ liệu EventStoryLine đóng vai trò quan trọng trong việc đánh giá hiệu suất của các mô hình phát hiện quan hệ nhân quả. Theo luận văn, EventStoryLine là một bộ dữ liệu được gán nhãn cho các sự kiện và quan hệ nhân quả giữa chúng. Nó chứa các văn bản từ nhiều nguồn khác nhau, bao gồm tin tức, blog, và truyện ngắn. Các sự kiện được xác định và gán nhãn bởi các chuyên gia, đảm bảo tính chính xác của dữ liệu. EventStoryLine được chia thành các tập con khác nhau để phục vụ cho mục đích huấn luyện, kiểm tra và đánh giá. Việc sử dụng một bộ dữ liệu chuẩn như EventStoryLine cho phép so sánh hiệu suất của các mô hình khác nhau một cách khách quan.

4.2. So Sánh Kết Quả Giữa posGCN và Các Mô Hình Hiện Có

Các thử nghiệm so sánh hiệu suất của posGCN với các mô hình cơ sở hiện có trong lĩnh vực phát hiện quan hệ nhân quả. Kết quả cho thấy posGCN đạt được độ chính xác cao hơn đáng kể so với các mô hình khác. Điều này chứng tỏ rằng kiến trúc posGCN có khả năng biểu diễn văn bản và nắm bắt quan hệ nhân quả tốt hơn. Việc sử dụng GCN cho phép mô hình tận dụng thông tin từ các sự kiện lân cận, trong khi position embedding giúp mã hóa thông tin vị trí một cách hiệu quả. Các mô hình cải tiến của posGCN cũng cho thấy những cải thiện đáng kể, đặc biệt là khi sử dụng kỹ thuật kiểm soát biểu diễn câu.

V. Kết Luận Hướng Phát Triển Phát Hiện Quan Hệ Nhân Quả Tương Lai

Luận văn đã trình bày một phương pháp hiệu quả để phát hiện quan hệ nhân quả trong văn bản bằng cách sử dụng học sâu. Mô hình posGCN kết hợp ưu điểm của GCN và position embedding để đạt được hiệu suất vượt trội. Các thử nghiệm trên tập dữ liệu EventStoryLine chứng minh tính hiệu quả của phương pháp này. Luận văn cũng đề xuất các hướng phát triển tiềm năng cho nghiên cứu trong tương lai, bao gồm việc khám phá các kiến trúc mô hình mới, sử dụng các kỹ thuật học không giám sát và bán giám sát, và mở rộng phạm vi ứng dụng của phát hiện quan hệ nhân quả sang các lĩnh vực khác.

5.1. Tóm Tắt Kết Quả Đạt Được Đóng Góp Của Luận Văn

Luận văn đã thành công trong việc xây dựng và đánh giá một mô hình học sâu hiệu quả để phát hiện quan hệ nhân quả trong văn bản. Mô hình posGCN đạt được hiệu suất vượt trội so với các mô hình cơ sở, chứng minh được hiệu quả của việc kết hợp GCN và position embedding. Luận văn cũng đóng góp vào việc khám phá các kỹ thuật kiểm soát biểu diễn câu, giúp cải thiện khả năng của mô hình trong việc hiểu ngữ cảnh. Kết quả của luận văn có thể được sử dụng để xây dựng các ứng dụng thực tế như tóm tắt văn bản, hệ thống khuyến nghị, và phân tích cảm xúc.

5.2. Các Hướng Nghiên Cứu Tiềm Năng Trong Tương Lai

Nghiên cứu về phát hiện quan hệ nhân quả trong văn bản vẫn còn nhiều tiềm năng phát triển. Một hướng nghiên cứu tiềm năng là khám phá các kiến trúc mô hình mới, ví dụ như sử dụng Transformer hoặc các mạng nơ-ron dựa trên cơ chế attention. Một hướng khác là sử dụng các kỹ thuật học không giám sát và bán giám sát để giảm sự phụ thuộc vào dữ liệu được gán nhãn. Việc mở rộng phạm vi ứng dụng của phát hiện quan hệ nhân quả sang các lĩnh vực khác như y tế, tài chính, và luật pháp cũng là một hướng đi đầy hứa hẹn. Cần có nhiều nghiên cứu hơn về cách kết hợp biểu diễn tri thức và lý luận nhân quả để xây dựng các mô hình thông minh hơn.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong lĩnh vực nghiên cứu các mỏ hình học máy, các bài toán phân loại (classification) nói chung được coi là bài toán kinh điển, đỏng vai trỏ quan trọng, trong các tác vụ về quản lý và trích rút thông tin. Từ những bài toán như phân loại ảnh, phân loại giọng nói đền bài toán phân loại spam hay phần loại văn bản nỏi chung. Trong một văn bản ta thường chủ ý đến các sự kiên diễn ra trong văn bản. 'Và khi kẻ lại, thuật lại ta thường tập chung nói về các sự kiện đó.

Xuất phát từ thực tế đó này sinh nên các bài toản nhằm xác định được các sự kiện có trong một văn bản. Nhóm bải toán phát triển tiếp theo là phân loại và xác định các môi quan hệ giữa các sự kiện đó. Một trong những loại mỗi quan hệ là quan hệ nhân quả. Dưới đây là một ví dụ về một văn bản có các sự kiện và cầu trúc quan hệ nhân quả giữa chúng Tra Gangbangers who allegedly killed mom of 12 in crossfire begin trial Andrew Lopez , 20 and Jonathan Carfasquillo , bullets from a rooftop in Br ‘Two atctised gangbangers werit on trial Wednesday for tragically killing a mother of 12 as they Were spraying bullets from a Braoklyn rooftop.

2utana Horton became a victin) of the senseless gang violence that plagues Brooklyn, prosecutor Seth Goldman said at the start of the murder trial of half - brothers Andrew Lopez, 20, and Jonathan Carrasquillo, 24. The 34-year-old mother was struck in the chest from a bullet that ricocheted off a fence in her Brownsville neighborhood in Oct.1 Ví dụ cầu trúc các sự kiện có quan hệ nhân quả trong văn bản : Ta cùng phan tich vi du Hinh 1.1, su kién chinh la su kién kill duge gan voi các từ "killed", "killing" va "murder", mô tả việc một bà mẹ bị giết hại. Nó là kết quả của các sự kiện gắn với các từ “crossfire”, “spraying”, “struct”. Sự kiện chính ˆ Nguôn ảnh: Trong bãi bảo tham khảo (GAO, Lei, 2019) [6] DANH MỤC HÌNH VẼ Tình 1.1 Vi đụ câu trúc các sự kiện có quan hệ nhân quả trong văn bản Hình 2.1 Ảnh mình họa ngon thần kinh và mô hình toán học Hình 2.2: Minh họa mạng, nơ-ron don giản (có 1 tầng ân).3 Kiến rúc CBOW và kiến trúc Skip-gram .4 Minh họa quan hệ của các từ trong qua biểu điển word2vec.5 Minh họa quan hệ tương tự theo chiêu Hình 2.6 Câu trúc mạng nơ-ron hỏi quy tiêu chuẩn.7 Nhân tanh trong mạng nơ-ron hồi quy.8 Cầu trúc nhân của mạng LSTM? Hình 2.9 Cell state trang mạng I.10 ForgeL gate trong nhân T.11 Input gate trong nhân LSTM !1,.12 Kết hợp tạo oelf state mới trong nhân T.STM "? bạa Tỉnh 2.13 Output gate trong nhan LSTM Hình 2.14 Minh hoa sit dung ham Average nén thông tín lên đỗ thị Hinh 2.15 Vi dy cau cày phụ thuộc có cầu trúc như một đỗ thị.16 Minh họa raõ hình sử đụng dropout.17 Ví dụ so sánh giữa Max pooling và averase pooling Hình 2.18 Mô hình EE-GCN Hinh 3.1 Kiến trúc mô hình posGCN.2 Kiến trúc tằng biểu diễn câu.3 Cac thanh phan cia position embedding 37 Hình 3.4 Kiên trúc tàng biếu điển cặp sự kiện.5 Kaén tric Toss layers.

39 LOI CAM ON Một cột mốc quan trọng nữa lại đến, quả trình hoc thac si tréi qua that nhanh. Ngôi nhìn lại, tôi rất hạnh phúc khi được viết những dòng này. Trải qua cả quá trình này, chỉ mình sự nỗ lục của bản thân là không đã. Tôi muốn gửi lòi cản.

on của mình đến Viện Công Nghệ Thông Tin va Truyền Thông đã tạo ra chương trinh Học bỏng miễn học phi, đem lại cơ hội học tập tốt như vậy. Lăn muễn gửi lời cảm ơm đến các thầy cũ của viện đã truyền tải những kiến thức quỷ báu. Chúc các thấy cô luôn tràn dây sức khốc, nhiệt huyết và thành công. Em xin gửi lời cảm ơn đến cô TS.

Nguyễn Thị Oanh, thây Th 5. Tnh đã hướng dẫn, hỗ Irợ em rất nhiề trong quá trình học tập và thục hiện để tải Em xin giti loi cam ơn dẻn anh Net n Hữu Thiện dã dưa ra cho am những lời khuyên trong quá trình thực hiện ải. Con xin cảm ơn ba mẹ và anh đã nhiên lần. déng viên trong quá trình học lập.

Cảm ơn những người bạn đẳng hành trong các môn học, đặc biệt là bạn Đặng Trung Anh, ban Nguyên Hoàng Kỳ vả bạn Nguyễn ‘Van Minh. Cuối cùng, xin cảm ơn em, Nguyễn Thị Cẩm Vân, người luôn bên cạnh, là nguẫn động lực cho anh trong hành trinh này. Công trình nào cũng vậy, đếu không tránh khỏi những thiểu sót. Tôi sẽ rất vui và biết ơn nếu nhận được bái cử góp ý nào về để tài Xan chân thành cảm ơn! Học viên Phạm Văn Đạt tớ Hình 3.6 Cầu trúc chưng của cáo mô cải tiến.7 Câu tric module sinh ra “1.3: kiểm soái” trong mô hình posGCN-BC 43 LOI CAM ON Một cột mốc quan trọng nữa lại đến, quả trình hoc thac si tréi qua that nhanh.

Ngôi nhìn lại, tôi rất hạnh phúc khi được viết những dòng này. Trải qua cả quá trình này, chỉ mình sự nỗ lục của bản thân là không đã. Tôi muốn gửi lòi cản. on của mình đến Viện Công Nghệ Thông Tin va Truyền Thông đã tạo ra chương trinh Học bỏng miễn học phi, đem lại cơ hội học tập tốt như vậy.

Lăn muễn gửi lời cảm ơm đến các thầy cũ của viện đã truyền tải những kiến thức quỷ báu. Chúc các thấy cô luôn tràn dây sức khốc, nhiệt huyết và thành công. Em xin gửi lời cảm ơn đến cô TS. Nguyễn Thị Oanh, thây Th 5.

Tnh đã hướng dẫn, hỗ Irợ em rất nhiề trong quá trình học tập và thục hiện để tải Em xin giti loi cam ơn dẻn anh Net n Hữu Thiện dã dưa ra cho am những lời khuyên trong quá trình thực hiện ải. Con xin cảm ơn ba mẹ và anh đã nhiên lần. déng viên trong quá trình học lập. Cảm ơn những người bạn đẳng hành trong các môn học, đặc biệt là bạn Đặng Trung Anh, ban Nguyên Hoàng Kỳ vả bạn Nguyễn ‘Van Minh.

Cuối cùng, xin cảm ơn em, Nguyễn Thị Cẩm Vân, người luôn bên cạnh, là nguẫn động lực cho anh trong hành trinh này. Công trình nào cũng vậy, đếu không tránh khỏi những thiểu sót. Tôi sẽ rất vui và biết ơn nếu nhận được bái cử góp ý nào về để tài Xan chân thành cảm ơn! Học viên Phạm Văn Đạt tớ LOI CAM ON Một cột mốc quan trọng nữa lại đến, quả trình hoc thac si tréi qua that nhanh. Ngôi nhìn lại, tôi rất hạnh phúc khi được viết những dòng này.

Trải qua cả quá trình này, chỉ mình sự nỗ lục của bản thân là không đã. Tôi muốn gửi lòi cản. on của mình đến Viện Công Nghệ Thông Tin va Truyền Thông đã tạo ra chương trinh Học bỏng miễn học phi, đem lại cơ hội học tập tốt như vậy. Lăn muễn gửi lời cảm ơm đến các thầy cũ của viện đã truyền tải những kiến thức quỷ báu.

Chúc các thấy cô luôn tràn dây sức khốc, nhiệt huyết và thành công. Em xin gửi lời cảm ơn đến cô TS. Nguyễn Thị Oanh, thây Th 5. Tnh đã hướng dẫn, hỗ Irợ em rất nhiề trong quá trình học tập và thục hiện để tải Em xin giti loi cam ơn dẻn anh Net n Hữu Thiện dã dưa ra cho am những lời khuyên trong quá trình thực hiện ải.

Con xin cảm ơn ba mẹ và anh đã nhiên lần. déng viên trong quá trình học lập. Cảm ơn những người bạn đẳng hành trong các môn học, đặc biệt là bạn Đặng Trung Anh, ban Nguyên Hoàng Kỳ vả bạn Nguyễn ‘Van Minh. Cuối cùng, xin cảm ơn em, Nguyễn Thị Cẩm Vân, người luôn bên cạnh, là nguẫn động lực cho anh trong hành trinh này.

Công trình nào cũng vậy, đếu không tránh khỏi những thiểu sót. Tôi sẽ rất vui và biết ơn nếu nhận được bái cử góp ý nào về để tài Xan chân thành cảm ơn! Học viên Phạm Văn Đạt tớ DANH MỤC HÌNH VẼ Tình 1.1 Vi đụ câu trúc các sự kiện có quan hệ nhân quả trong văn bản Hình 2.1 Ảnh mình họa ngon thần kinh và mô hình toán học Hình 2.2: Minh họa mạng, nơ-ron don giản (có 1 tầng ân).3 Kiến rúc CBOW và kiến trúc Skip-gram .4 Minh họa quan hệ của các từ trong qua biểu điển word2vec.5 Minh họa quan hệ tương tự theo chiêu Hình 2.6 Câu trúc mạng nơ-ron hỏi quy tiêu chuẩn.7 Nhân tanh trong mạng nơ-ron hồi quy.8 Cầu trúc nhân của mạng LSTM? Hình 2.9 Cell state trang mạng I.10 ForgeL gate trong nhân T.11 Input gate trong nhân LSTM !1,.12 Kết hợp tạo oelf state mới trong nhân T.STM "? bạa Tỉnh 2.13 Output gate trong nhan LSTM Hình 2.14 Minh hoa sit dung ham Average nén thông tín lên đỗ thị Hinh 2.15 Vi dy cau cày phụ thuộc có cầu trúc như một đỗ thị.16 Minh họa raõ hình sử đụng dropout.17 Ví dụ so sánh giữa Max pooling và averase pooling Hình 2.18 Mô hình EE-GCN Hinh 3.1 Kiến trúc mô hình posGCN.2 Kiến trúc tằng biểu diễn câu.3 Cac thanh phan cia position embedding 37 Hình 3.4 Kiên trúc tàng biếu điển cặp sự kiện.5 Kaén tric Toss layers. 39 LOI CAM ON Một cột mốc quan trọng nữa lại đến, quả trình hoc thac si tréi qua that nhanh. Ngôi nhìn lại, tôi rất hạnh phúc khi được viết những dòng này.

Trải qua cả quá trình này, chỉ mình sự nỗ lục của bản thân là không đã. Tôi muốn gửi lòi cản. on của mình đến Viện Công Nghệ Thông Tin va Truyền Thông đã tạo ra chương trinh Học bỏng miễn học phi, đem lại cơ hội học tập tốt như vậy. Lăn muễn gửi lời cảm ơm đến các thầy cũ của viện đã truyền tải những kiến thức quỷ báu.

Chúc các thấy cô luôn tràn dây sức khốc, nhiệt huyết và thành công. Em xin gửi lời cảm ơn đến cô TS. Nguyễn Thị Oanh, thây Th 5. Tnh đã hướng dẫn, hỗ Irợ em rất nhiề trong quá trình học tập và thục hiện để tải Em xin giti loi cam ơn dẻn anh Net n Hữu Thiện dã dưa ra cho am những lời khuyên trong quá trình thực hiện ải.

Con xin cảm ơn ba mẹ và anh đã nhiên lần. déng viên trong quá trình học lập. Cảm ơn những người bạn đẳng hành trong các môn học, đặc biệt là bạn Đặng Trung Anh, ban Nguyên Hoàng Kỳ vả bạn Nguyễn ‘Van Minh. Cuối cùng, xin cảm ơn em, Nguyễn Thị Cẩm Vân, người luôn bên cạnh, là nguẫn động lực cho anh trong hành trinh này.

Công trình nào cũng vậy, đếu không tránh khỏi những thiểu sót. Tôi sẽ rất vui và biết ơn nếu nhận được bái cử góp ý nào về để tài Xan chân thành cảm ơn! Học viên Phạm Văn Đạt tớ DANH MỤC HÌNH VẼ Tình 1.