Luận văn: Phát hiện quan hệ nhân quả giữa các sự kiện trong văn bản với học sâu

Luận văn trình bày phương pháp phát hiện quan hệ nhân quả trong văn bản bằng học sâu. Ứng dụng các mô hình GCN, LSTM để phân loại cặp sự kiện.

• Tác giả: Phạm Văn Đạt
• Người hướng dẫn: TS. Nguyễn Thị Oanh
• Trường học: Trường đại học bách khoa hà nội
• Chuyên ngành: Khoa học dữ liệu
• Đề tài: Phát hiện quan hệ nhân quả giữa các sự kiện trong văn bản với học sâu
• Loại tài liệu: Luận văn thạc sĩ
• Năm xuất bản: 2021
• Địa điểm: Hà nội

Tóm tắt

I. Giới thiệu về Phát hiện Quan hệ Nhân quả trong Văn bản

Phát hiện quan hệ nhân quả là một bài toán quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP). Bài toán này liên quan đến việc xác định và phân loại các mối quan hệ nhân quả giữa các sự kiện trong một văn bản. Trong thực tế, việc hiểu rõ các quan hệ nhân quả giữa các sự kiện giúp máy tính có thể trích xuất thông tin có giá trị từ các tài liệu văn bản một cách tự động. Học sâu (Deep Learning) đã trở thành một công cụ mạnh mẽ để giải quyết bài toán này, cho phép các mô hình học và khám phá các mẫu phức tạp trong dữ liệu văn bản. Ứng dụng của phát hiện quan hệ nhân quả rất rộng rãi, từ tóm tắt tài liệu, trả lời câu hỏi, đến phân tích sự kiện trong tin tức.

1.1. Khái niệm Quan hệ Nhân quả

Quan hệ nhân quả thể hiện mối liên hệ giữa nguyên nhân và kết quả. Trong phân tích văn bản, khi sự kiện A dẫn đến sự kiện B, ta nói A có quan hệ nhân quả với B. Việc xác định chính xác các quan hệ này từ văn bản tự nhiên là thách thức lớn, vì cùng một mối quan hệ có thể được diễn đạt theo nhiều cách khác nhau. Học sâu cung cấp các cơ chế hiệu quả để học các biểu diễn ẩn của văn bản và nhận dạng các mẫu nhân quả.

1.2. Tầm quan trọng của Học sâu

Mạng nơ-ron sâu có khả năng học các đặc trưng phức tạp mà các phương pháp truyền thống không thể. Mạng LSTM giúp xử lý các chuỗi dữ liệu dài, trong khi Mạng tích chập đồ thị (GCN) mô hình hóa các quan hệ cấu trúc giữa các yếu tố trong văn bản. Kết hợp word embedding với position embedding, các mô hình học sâu đạt hiệu suất vượt trội trong phát hiện quan hệ nhân quả.

II. Các Kỹ thuật Học sâu Cơ bản

Để xây dựng các mô hình phát hiện quan hệ nhân quả, cần hiểu rõ các kỹ thuật học sâu cơ bản. Word2Vec là phương pháp tạo ra các vector từ, cho phép máy tính hiểu ý nghĩa và mối quan hệ giữa các từ. Mạng nơ-ron hồi quy (RNN) xử lý chuỗi dữ liệu tuần tự, lưu giữ thông tin từ các bước trước đó. Đặc biệt, LSTM (Long Short-Term Memory) là biến thể của RNN với khả năng ghi nhớ dài hạn, rất hiệu quả cho các văn bản dài. Mạng tích chập đồ thị (GCN) giúp mô hình hóa các quan hệ phụ thuộc cú pháp giữa các từ, tạo nên một đồ thị biểu diễn cấu trúc của câu.

2.1. Word Embedding và Position Embedding

Word embedding biến đổi các từ thành vector số chiều cao, giúp máy tính xử lý. Word2Vec sử dụng các mô hình Skip-gram hoặc CBOW để tạo ra các embedding có ý nghĩa. Bên cạnh đó, position embedding mã hóa vị trí của từ trong câu, giúp mô hình nhận diện tầm quan trọng của từng từ đối với quan hệ nhân quả. Kết hợp cả hai cách biểu diễn này tạo ra các đầu vào giàu thông tin cho mô hình học sâu.

2.2. Mạng LSTM và GCN

LSTM với các cong thức gating xác định lượng thông tin cần lưu giữ hoặc quên, lý tưởng cho xử lý chuỗi dài. GCN hoạt động trên đồ thị, trích xuất các đặc trưng từ cấu trúc cú pháp của câu. Trong phát hiện quan hệ nhân quả, GCN giúp mô hình hiểu các phụ thuộc ngữ pháp giữa các từ trong sự kiện, tăng cường khả năng nhận diện các mẫu nhân quả phức tạp.

III. Các Mô hình Tiên tiến cho Phát hiện Quan hệ Nhân quả

Các mô hình posGCN và các biến thể của nó đại diện cho các tiến bộ mới nhất trong phát hiện quan hệ nhân quả. posGCN kết hợp LSTM với GCN để tạo ra các biểu diễn cậu được cải tiến. Mô hình này gồm ba tầng chính: tầng biểu diễn câu, tầng biểu diễn cặp sự kiện, và tầng phân loại. Các mô hình cải tiến như posGCN-EC, posGCN-OC, và posGCN-AC giới thiệu kỹ thuật kiểm soát biểu diễn câu, cho phép điều khiển cách các từ sự kiện ảnh hưởng đến quá trình phân loại. Những cải tiến này giúp mô hình tập trung vào các thông tin liên quan nhất đối với việc xác định quan hệ nhân quả.

3.1. Kiến trúc Mô hình posGCN

posGCN được thiết kế với ba tầng riêng biệt. Tầng biểu diễn câu sử dụng LSTM và GCN để trích xuất các đặc trưng từ cấu trúc câu. Tầng biểu diễn cặp sự kiện tạo ra vector đại diện cho mối quan hệ giữa hai sự kiện. Tầng phân loại sử dụng các vector này để quyết định loại quan hệ nhân quả hoặc không có quan hệ. Kiến trúc này cho phép mô hình học sâu xử lý đồng thời cả thông tin từ và cấu trúc câu.

3.2. Kỹ thuật Kiểm soát Biểu diễn

Kiểm soát biểu diễn câu (Attention Mechanism) cho phép mô hình tập trung vào các phần quan trọng của câu. posGCN-EC sử dụng kiểm soát dựa trên sự kiện, posGCN-OC kiểm soát dựa trên phần liên hệ, và posGCN-AC kiểm soát dựa trên tất cả. Những kỹ thuật này cải thiện đáng kể độ chính xác của phát hiện quan hệ nhân quả bằng cách giúp mô hình loại bỏ thông tin nhiễu.

IV. Ứng dụng và Hướng Phát triển

Phát hiện quan hệ nhân quả có ứng dụng rất rộng trong nhiều lĩnh vực thực tế. Trong phân tích tin tức, hệ thống có thể tự động xác định nguyên nhân của các sự kiện được báo cáo. Đối với tóm tắt tài liệu, việc hiểu các quan hệ nhân quả giúp tạo ra các bản tóm tắt liên kết và có ý nghĩa hơn. Trong trả lời câu hỏi, máy tính cần phải suy luận về các mối quan hệ để cung cấp câu trả lời chính xác. Các mô hình học sâu hiện tại vẫn còn những hạn chế, đặc biệt khi làm việc với văn bản dài hoặc các sự kiện ngầm. Nghiên cứu trong tương lai cần tập trung vào việc kết hợp học sâu với kiến thức nền, phát triển các mô hình multi-lingual, và cải thiện khả năng phát hiện quan hệ nhân quả trong các miền chuyên biệt.

4.1. Ứng dụng Thực tế

Các hệ thống xử lý ngôn ngữ tự nhiên dựa trên phát hiện quan hệ nhân quả được áp dụng trong các công cụ phân tích văn bản chuyên nghiệp. Trích xuất thông tin từ báo cáo tài chính, y tế, hoặc pháp lý yêu cầu hiểu rõ quan hệ nhân quả giữa các sự kiện. Các chatbot và hệ thống hỏi đáp cần sử dụng khả năng này để cung cấp thông tin chính xác. Mô hình học sâu hiện đại mang lại hiệu suất cao cho các ứng dụng này.

4.2. Hướng Phát triển Tương lai

Tương lai của phát hiện quan hệ nhân quả nằm ở sự kết hợp giữa học sâu và tri thức độc lập. Các mô hình cần xử lý văn bản đa ngôn ngữ và tập dữ liệu nhỏ hiệu quả hơn. Transfer learning và few-shot learning sẽ giúp các mô hình học sâu thích ứng nhanh với các miền mới. Ngoài ra, việc cải thiện khả năng giải thích của các mô hình là yêu cầu quan trọng để áp dụng trong các lĩnh vực nhạy cảm.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong lĩnh vực nghiên cứu các mô hình học máy, các bài toán phân loại (classification) nói chung được coi là bài toán kinh điển, đóng vai trò quan trọng trong các tác vụ về quản lý và trích rút thông tin. Từ những bài toán như phân loại ảnh, phân loại giọng nói đến bài toán phân loại spam hay phân loại văn bản nói chung. Trong một văn bản ta thường chú ý đến các sự kiện diễn ra trong văn bản. Và khi kể lại, thuật lại ta thường tập chung nói về các sự kiện đó.

Xuất phát từ thực tế đó này sinh nên các bài toán nhằm xác định được các sự kiện có trong một văn bản. Nhóm bài toán phát triển tiếp theo là phân loại và xác định các mối quan hệ giữa các sự kiện đó. Một trong những loại mối quan hệ là quan hệ nhân quả. Dưới đây là một ví dụ về một văn bản có các sự kiện và cấu trúc quan hệ nhân quả giữa chúng.1 Ví dụ cấu trúc các sự kiện có quan hệ nhân quả trong văn bản Ta cùng phân tích ví dụ Hình 1.1, sự kiện chính là sự kiện kill được gắn với các từ "killed", "killing" và "murder", mô tả việc một bà mẹ bị giết hại.

Nó là kết quả của các sự kiện gắn với các từ “crossfire”, “spraying”, “struct”. Sự kiện chính 1 Nguồn ảnh: Trong bài báo tham khảo (GAO, Lei, 2019) [6] 10 cũng dẫn đến sự xảy ra của một số sự kiện khác liên quan gắn với các từ “trial”, “accuse”,. Trong ví dụ trên tồn tại nhiều cặp sự kiện có quan hệ nhân quả và liên quan đến sự kiện chính. Từ đây kết hợp với các thực thể trong câu cùng với các sự kiện có quan hệ nhân quả được xác định ta hoàn toàn có thể tạo một ứng dụng như tóm tắt văn bản, phát hiện xu hướng,.

Cụ thể bài toán cần giải quyết (bài toán gốc) được định nghĩa như sau: Cho các sự kiện trong một văn bản, hãy nhận diện toàn bộ các cặp sự kiện có quan hệ nhân quả, bao gồm cả cặp sự kiện trong một câu hay cặp sự kiện ở liên câu. Như vậy, trên thực tế bài toán của luận văn là một bài toán dựa trên đầu ra của bài toán khác. Đó là bài toán xác định các từ sự kiện có trong văn bản, bài toán đã có nhiều mô hình giải quyết trước đó. Do đó, chúng ta sẽ cần đầu vào là một văn bản và các từ sự kiện trong văn bản và đầu ra khi giải quyết được bài toán là các cặp sự kiện có quan hệ nhân quả trong văn bản.

Ở đây, quan hệ nhân quả mà chúng ta cần xác định là tồn tại hoặc không tồn tại mà không cần phân biệt chiều của quan hệ nhân quả. Khó khăn của bài toán này thể hiện ở 2 điểm. Thứ nhất là số lượng cặp sự kiện có quan hệ nhân quả là ít trên tổng số các cặp sự kiện của một văn bản. Thứ hai là các cặp sự kiện có quan hệ nhân quả thường không có cách xác định rõ ràng (như sử dụng từ khóa because, due to, then,.

Ngoài ra, cách để biểu diễn được thông tin về sự khác biệt giữa từ sự kiện và các từ thông thường cũng là một thách thức.2 Mục tiêu và phạm vi của luận văn 1.1 Mục tiêu của luận văn Luận văn sẽ thực hiện các mục tiêu sau: ● Đề xuất một mô hình học sâu nhận đầu vào là các sự kiện có trong một văn bản, thực hiện phân loại và gán nhãn có hoặc không là cặp sự kiện có quan hệ nhân quả. ● Đánh giá mô hình đề xuất với các kết quả của các công trình được công bố khác cùng giải quyết bài toán gốc. ● Thực hiện tối ưu mô hình đề xuất và xây dựng các mô hình cải tiến có độ phức tạp tăng dần. ● Thực hiện các thí nghiệm cần thiết để làm rõ được điểm mạnh của các mô hình mới và chỉ ra được tính đúng đắn của các giả thuyết.2 Phạm vi của luận văn Phạm vi bài toán ● Đầu vào của bài toán gốc: Một văn bản và các sự kiện trong văn bản ● Đầu ra của bài toán gốc: Các cặp sự kiện có quan hệ nhân quả trong văn bản Phạm vi của các mô hình đề xuất Các mô hình đề xuất là các mô hình phân loại sử dụng học sâu.

Cụ thể là các mạng GCN [1], LSTM [2] , lan truyền tiến và các kĩ thuật trong học sâu như pooling, hàm lỗi Cross Entropy, biểu diễn dữ liệu đầu vào với word2vec [3]. Ngoài ra luận văn sẽ trình các kỹ thuật mới là nhúng thông tin vị trí từ (position embedding), kiểm soát biểu diễn của từ (KSBD).3 Định hướng phương pháp giải quyết Luận văn được định hướng khai thác sâu khả năng biểu diễn thông tin cấu trúc của mạng GCN. Áp dụng vào dữ liệu văn bản vốn thân thuộc với các mô hình sử dụng mạng RNN. Nhằm giữ thêm thông tin về vị trí tương đối của các từ trong văn bản với các từ sự kiện và các câu sự kiện chúng tôi thử nghiệm sử dụng position embedding vào biểu diễn đầu vào của các từ.

Ngoài ra, xuất phát từ các giả thuyết của chúng tôi về sự liên quan nhất định giữa các từ sự kiện với các câu trong văn bản, chúng tôi sẽ hình thành các mô hình thể hiện được các mối quan hệ này. Đảm bảo rằng trong quá trình tối ưu mô hình các mối quan hệ này cũng ảnh hưởng đến giá trị lỗi cần tối ưu. 12 Chương 2: Cơ sở lý thuyết Trong chương Cơ sở lý thuyết này chúng tôi sẽ trình bày những lý thuyết liên quan nhất đến dữ liệu đầu vào, các thuật toán, các mô hình được sử dụng trong luận văn.1 Biểu diễn tài liệu với định dạng (CAT-)XML 2.1 Tài liệu XML XML [4] - Extensible Markup Language được sử dụng để mô tả dữ liệu. Tiêu chuẩn XML là một cách linh hoạt để tạo ra các định dạng thông tin và chia sẻ dữ liệu có cấu trúc.

Tiêu chuẩn XML, được khuyến nghị sử dụng bởi World Wide Web Consortium (W3C). Dữ liệu XML được gọi là tự mô tả hoặc tự định nghĩa, có nghĩa là cấu trúc của dữ liệu được nhúng với dữ liệu, do đó khi nhận được file dữ liệu XML không cần phải xây dựng trước cấu trúc để lưu trữ dữ liệu; nó được hiểu tự động trong XML. Phần tử cơ bản của một tài liệu XML là các thẻ. Một phần tử có một thẻ bắt đầu và một thẻ kết thúc.

Tất cả các phần tử trong một tài liệu XML được chứa trong một phần tử ngoài cùng được gọi là phần tử gốc. XML cũng có thể hỗ trợ các phần tử lồng nhau hoặc các phần tử bên trong các phần tử. Khả năng này cho phép XML hỗ trợ các cấu trúc phân cấp. Tên phần tử mô tả nội dung của phần tử, và cấu trúc mô tả mối quan hệ giữa các phần tử.

Một tài liệu XML được coi là "được định dạng tốt" (có nghĩa là, trình phân tích cú pháp XML có thể đọc và hiểu được) nếu định dạng của nó tuân thủ đặc tả XML, nếu nó được đánh dấu đúng cách và nếu các phần tử được lồng nhau đúng cách. XML cũng hỗ trợ khả năng xác định các thuộc tính cho các phần tử và mô tả các đặc điểm của các phần tử trong thẻ bắt đầu của một phần tử. Dưới đây là một ví dụ đơn giản về nội dung của một tài liệu XML.0" standalone="yes"?> <conversation> <greeting>Hello, world!</greeting> <response>Stop the planet, I want to get off!</response> </conversation> 13 2.2 Tài liệu định dạng (CAT-)XML (CAT-)XML format là một tiêu chuẩn biểu văn bản, kế thừa từ biểu diễn XML. Cấu trúc của một tài liệu theo định dạng (CAT-)XML format gồm những thành phần sau.

Thẻ gốc Document, trong thẻ gốc Document gồm các thẻ con: token, Markables, Relations. Thẻ token: trong thẻ token có các thuộc tính quan trọng như: t_id, sentence, number giúp ta xác định được từ hiện tại có id từ trong văn bản, từ thuộc câu nào và vị trí của từ trong câu. Thẻ Markables: trong phần từ Markables có các thẻ con như: ACTION_ASPECTUAL, ACTION_CAUSATIVE, ACTION_OCCURRENCE, … giúp ta xác định được từ nào trong văn bản là từ sự kiện cũng như loại sự kiện mà từ đó thể hiện. Ngoài ra, còn có các thẻ con như: HUMAN_PART_ORG, HUMAN_PART_PER, LOC_FAC, TIME_DATE, … giúp ta xác định được các thông tin về các từ chỉ người, địa điểm, thời gian trong văn bản.

Thẻ Relations: trong phần tử có các thẻ con như: TLINK, PLOT_LINK giúp ta xác định các liên kết có trong văn bản giữa các từ. Một số loại liên kết như: CONTAINS, PRECONDITION, FALLING_ACTION, CAUSES, CAUSED_BY,. Như vậy, với văn bản được biểu diễn bằng định dạng (CAT-)XML format ta có được những thông tin rất cơ bản về mỗi từ của văn bản, đến những thông tin sâu hơn về các loại từ, liên kết giữa các từ. Có thể nói đây là một định dạng biểu diễn văn bản rất tốt.1 Tổng quan kiến trúc Mạng nơ-ron (Neural network) cái tên được nhắc đến rất nhiều trong những năm gần đây, vì những kết quả đột phá những mô hình này tạo ra trên rất nhiều lĩnh vực bài toán khác nhau.

Mạng nơ-ron được lấy ý tưởng từ cấu trúc nơ-ron trong hệ thần kinh của con người.1 Ảnh minh họa nơ-ron thần kinh và mô hình toán học 2 Thành phần nhỏ nhất của một mạng một nơ-ron.1, các nơ-ron này nhận các đầu vào, tổng hợp và biến đổi thành kết quả đầu ra tương tự như các hoạt động của nơ-ron thần kinh. Có thể mô tả nơ-ron trong Hình 2.1 bằng phương trình: 𝑦 = 𝑓(𝑤1 𝑥1 + 𝑤2 𝑥2 + … + 𝑤𝑛 𝑥𝑛 + 𝑏), PT 2.1 Trong đó, 𝑓 được gọi là hàm tác động (activation function), 𝑤1 , 𝑤2 , … 𝑤𝑛 , 𝑏(bias) là các tham số của mô hình. Có nhiều loại hàm tác động khác nhau, các hàm này đóng vai trò chính trong việc xử lý tín hiệu đầu vào. Từ một nơ-ron đơn lẻ này khi sử dụng nhiều nơ-ron sẽ hơn thành một tầng (layer), và nhiều tầng sẽ thành một mạng (Hình 2.

Với nhiều nơ-ron như vậy sẽ đem lại khả năng tổng hợp, biểu diễn thông tin tốt hơn, đi cùng với đó thì số lượng tham số sẽ nhiều hơn.2: Minh họa mạng nơ-ron đơn giản (có 1 tầng ẩn) 3 2 Nguồn ảnh: https://hackernoon.com/how-do-artificial-neural-network-recognize-images- c3699af0f553, ngày truy cập: 15-04-2021 3 Nguồn ảnh: https://www.com/p/1750/mang-no-ron-nhan-tao-neural-networks- trong-may-hoc-la-gi/, ngày truy cập: 15-04-2021 15 Cấu trúc mạng như Hình 2.2 gọi là mạng lan truyền tiến. Mỗi nơ-ron của tầng i sẽ có một vector tham số có kích thước bằng số nơ-ron của tầng i + 1. Tập hợp các tham số của một tầng ta sẽ có một ma trận tham số cho mỗi tầng.