Chương 1: Tổng quan Chúng tôi sẽ tập trung trình các thông tin ban đầu đề giải thích về bài toán. Chúng tôi giới thiệu sơ bộ về bài toán đọc hiểu tự động, các xu hướng hiện nay trong việc nâng cao hiệu suất QA từ đó đưa ra giải pháp của mình. Đề cập đến tính ứng dụng của đề tài vào bài toán thực tế. Chương 2: Các công trình liên quan Chúng tôi trình bày môi quan hệ giữa nghiên cứu của mình với các bài báo trước đây.
Các dữ liệu liên quan được sử dụng cho mục đích nghiên cứu của khóa luận. Đồng thời trình bày các kỹ thuật và mô hình liên quan cần thiết để nâng cao độ chuẩn xác cho mô hình đọc hiều. Chương 3: Nghiên cứu phương pháp Trong chương này chúng tôi trình bày từng bước thực hiện được sử dụng trong nghiên cứu là ứng dụng NLI dé tăng cường độ chính xác QA trên bộ dữ liệu tiếng Việt. Tập trung phân tích trên hai dạng câu hỏi là câu hỏi có thể trả lời được (answerable) và câu hỏi không trả lời được (unanswerable).
Ngoài ra, đề xuất phương pháp ứng dụng kỹ thuật suy luận ngôn ngữ tự nhiên dé rút gọn ngữ cảnh giúp tăng cường khả năng trả lời của mô hình QA. Chương 4: Xây dựng dữ liệu Nội dung này nhằm mục đích giải thích kỹ càng quá trình chúng tôi tạo nên các bộ dữ liệu hoàn chỉnh cho việc nghiên cứu trong nội dung chương 3. Bao gồm các bước từ tiền xử lý dé đưa ra cách giải quyết kip thời đảm bảo chất lượng của dữ liệu cho việc huấn luyện. Chúng tôi chia thành 3 nhóm dit liệu chính là bộ dữ liệu tao câu gia thuyết, bộ dữ liệu QA_NLI và bộ dữ liệu rút gọn ngữ cảnh.
Với bộ dữ liệu tạo câu giả thuyết được sử dụng từ bộ dữ liệu QA2D [4] tạo thành bộ dữ liệu ViQA2D. Tiếp theo, dé huấn luyện cho mô hình NLI nên chúng tôi sử dụng bộ dữ liệu ViNLI [5] và tạo thêm dữ liệu NLI từ 2 bộ dữ liệu MRC là UIT-ViNewsQA [2] và UIT-ViQuAD 2. Sau đó, bộ dữ liệu UIT-ViQuAD 1.0 [3] được rút gọn ngữ cảnh mới được tạo ra sẽ sử dụng nhằm mục đích tăng cường QA. Chương 5: Thực nghiệm và đánh giá kết quả Quy trình thực nghiệm ứng dụng NLI dé tăng độ chuẩn xác cho mô hình QA sẽ được giải thích kỹ càng trong chương này.
Bắt đầu băng việc cài đặt mô hình NLI và mô hình QA trên dữ liệu tiếng Việt. Từ đó thống kê kết quả từ nhiều mô hình huấn luyện và đánh giá chì tiết hiệu suất của từng mô hình. Từ đó, chứng thực được hiệu quả của việc sử dụng NLI dé cải thiện độ tin cậy của mô hình QA tiếng Việt, đồng thời mở ra những hướng nghiên cứu mới trong lĩnh vực NLP tiếng Việt. Chương 6: Kết luận Kết quả của diễn biến thực hiện khóa luận mà chúng tôi đạt được sẽ được giải trình trong nội dung chương này.
Các ưu nhược điểm của chính đồ án này sẽ được tổng hợp từ đó đề ra hướng cải thiện trong tương lai. Bài toán đọc hiểu tự động tiếng Việt Đọc hiểu tự động (Machine Reading Comprehension - MRC) là một trong những lĩnh vực nghiên cứu chính trong xử lý ngôn ngữ tự nhiên (NLP). MRC yêu cầu máy tính đọc, hiểu văn ban và trả lời các câu hỏi có mối quan hệ đến văn bản đó. Công việc này, mặc dù đơn giản đối với con người, nhưng lại là thử thách lớn đối với máy tính.
Việc trả lời một câu hỏi dựa vào dữ kiện của một văn bản cho sẵn không phải lúc nào cũng giản đơn, ngay cả đối với con người. Do đó, yêu cầu máy tính có thê trả lời đúng câu hỏi từ đoạn văn bản là một nhiệm vụ khó khăn. NLP nhằm giúp hệ thống máy tính hiểu ngôn ngữ con người sử dụng, từ đó có thê tương tác thông qua các ngữ cảnh cụ thể. Đây chính là nhiệm vụ mà các hệ thống đọc hiểu tự động văn bản đảm nhiệm.
Việc cải thiện các mô hình MRC không chỉ yêu cầu khả năng xử lý và phân tích ngôn ngữ mà còn yêu cầu hệ thống phải có khả năng suy luận, kết hợp thông tin từ nhiều nguồn và hiểu rõ ngữ cảnh. Thách thức này càng lớn hơn đối với tiếng Việt do đặc thù ngữ pháp và cú pháp phức tạp của ngôn ngữ này. Tuy nhiên, với sự tăng trưởng của công nghệ AI và NLP, cùng với sự quan tâm ngày càng nhiều từ cộng đồng nghiên cứu, việc xây dựng các hệ thống MRC cho tiếng Việt đang trở nên khả thi và hứa hẹn mang lại nhiều ứng dụng hữu ích trong tương lai. Các xu hướng cải thiện hiệu suất QA Các xu hướng cải thiện hiệu suất QA hiện nay có thé kế đến như học chuyền tiếp (Transfer Learning), học tăng cường (Reinforcement Learning), xử lý đa ngôn ngữ (Multilingual Processing).
Hoc chuyén tiếp (Transfer Learning) La một phương pháp trong hoc máy, trong đó mô hình đã được thử nghiệm trước trên một nguồn dit liệu lớn sau đó từng bước huấn luyện, tinh chỉnh trên một nguồn dit liệu nhỏ hơn chú ý vào một chức năng nhất định. Ở đây có thé nói đến việc tinh chỉnh các mô hình QA trên nguồn dữ liệu tiếng Việt dé có thé trả lời các câu hỏi trong ngữ cảnh tiếng Việt. Tận dụng nguồn dữ liệu QA tiếng Việt dồi dào, kỹ thuật này giúp cho kết quả của mô hình QA được cải tiến. Hoc tăng cường (Reinforcement Learning): Ở kỹ thuật này, một thực thể sẽ tiến hành tương tác với môi trường, khi thực hiện hành động tốt thì thực thể sẽ nhận được phần thưởng và ngược lại là hình phạt.
Trong bối cảnh QA, thực thé là mô hình, môi trường là bộ đữ liệu bao gồm câu hỏi và ngữ cảnh, hành động là đưa ra câu trả lời và phần thưởng là độ chính xác của câu trả lời. Kỹ thuật này chính là hướng đi đầy tiềm năng trong việc cải tiến hiệu suất của các mô hình QA. Xử lý đa ngôn ngữ (Multilingual Processing): Thay vì xây dựng riêng lẻ cho từng ngôn ngữ, kỹ thuật này cho phép tận dụng dữ liệu từ nhiều ngôn ngữ khác nhau dé nâng tam khả năng hiểu và trả lời câu hỏi của mô hình. Các mô hình đa ngôn ngữ như mBERT [6] và XLM-RoBERTa [65] được thực nghiệm trên nhiều ngôn ngữ, giúp tận dụng kiến thức ngôn ngữ chung và cải thiện khả năng chuyên đôi giữa các ngôn ngữ.
Tang cường QA thông qua NLI 1. Tang cường NLI Trong đồ án trước đó của Demszky và cộng sự (2018) [4], họ trình bày kỹ thuật chuyền đồi bộ dữ liệu QA sang NLI, trong đó có đề cập đến phương pháp chuyền đồi các cặp câu hỏi (Question) và câu trả lời (Answer) thành các cặp dữ liệu NLI. Sau đó, nếu câu trả lời ban đầu là đúng thì sẽ gán nhãn cho cặp dữ liệu NLI đã tạo là “kéo theo” (Entailment) và ngược lại nếu câu trả lời là sai thì nhãn sẽ là “không kéo theo” (Not Entailment). Dé thực hiện phương pháp này thì họ đã sử dụng những cách như: tạo nên hệ thống chuyền đổi dựa trên quy tắc (Rule-based system), chuyển đồi thủ công bằng tay và cuối cùng là thử nghiệm mô hình LSTM với dữ liệu huấn luyện được lay từ hai phương pháp trước đó.
Mục đích chính của phương pháp để tạo ra những model NLI mạnh mẽ hơn bằng phương pháp chuyền đổi các tập dữ liệu QA hiện có thành các tập dữ liệu NLI. Điều này giúp tận dụng lượng lớn dữ liệu QA sẵn có dé huấn luyện các mô hình NLL. Từ đó, giúp nâng cao khả năng suy luận logic của mô hình NLI. Các mô hình NLI cần phải xác định xem một câu giả thuyết có được suy ra từ một đoạn tiền đề hay không, điều này đòi hỏi khả năng hiểu sâu và suy luận logic.
Việc tạo ra dữ liệu NLI từ nhiều tập dữ liệu QA giúp đa dạng hóa nguồn đữ liệu thực nghiệm cho mô hình NLI. Điều này có thể giúp mô hình khái quát hóa tốt hơn và hoạt động hiệu suất hơn trên các nhiệm vụ khác nhau. Đặc biệt, có thé giúp giảm sự phụ thuộc vào dữ liệu NLI được tạo thủ công. Tuy nhiên, phương pháp của này có thể tạo ra một số nhiễu trong đữ liệu NLI được tạo ra.
Nhưng lợi ích của việc có thêm dữ liệu huấn luyện đa dạng và phong phú vượt trội hơn so với những hạn chế này. Tang cường QA Dé mô hình QA có thé đưa ra câu trả lời hợp lý thì trong đoạn văn ngữ cảnh phải chứa thông tin về câu trả lời. Nhưng trong đoạn văn ngữ cảnh không chỉ chứa thông tin về câu trả lời mà còn chứa rất nhiều thông tin khác, trong đó có những thông tin không liên quan hay có thể gọi là thông tin nhiễu. Những thông tin nhiễu này gây khó khăn cho mô hình QA dé có thé đưa ra câu trả lời đáng tin cậy.
Hiểu rõ van đề này, Chen và cộng sự (2021) [6] đã đề bạt phương pháp rút gọn ngữ cảnh băng cách sử dụng mô hình T5-3B [7]. Đầu vào của mô hình bao gồm câu trả lời và đoạn context chứa câu trả lời đó, sau đó sử dụng mô hình T5-3B [7] đã huấn luyện dé nhận được đoạn ngữ cảnh đã được khử thông tin nhiễu. Đóng góp chính của đề tài Bài nghiên cứu của chúng tôi đóng góp những điều như sau: - B6 dữ liệu NLI mang đặc tính QA được tạo thành bằng cách chuyền các bộ dữ liệu QA tiếng Việt sang NLI. 10 - Bộ dữ liệu QA với phần ngữ cảnh được rút gọn, cô đọng chú trọng vào câu trả lời hơn.
- Ung dụng NLI vào việc xác thực các câu trả lời mà hệ thống MRC đưa ra. - _ Hiểu rõ hơn về khả năng của việc sử dụng NLI trong việc xác thực các câu trả lời mà hệ thống QA đưa ra. CAC CÔNG TRÌNH LIÊN QUAN Trong thời gian gần đây, các mô hình đọc hiểu tự động đã đạt được những cai tiến đáng ké nhờ sự phát triển của các kiến trúc mạng nơ-ron sâu và nguồn dữ liệu huấn luyện phong phú. Tuy nhiên, thử thức lớn đối với các mô hình MRC là khả năng suy luận và lý giải thông tin.
Với vấn đề này, các nhà nghiên cứu đã bắt đầu khám phá việc tích hợp suy luận ngôn ngữ tự nhiên vào các mô hình MRC. Dé có cái nhìn trực quan hơn, chúng tôi đã tìm hiểu các công trình liên quan đã đóng góp vào sự tăng trưởng của lĩnh vực này, từ đó làm rõ hơn về tiềm năng và những thử thách trong việc kết hợp NLI vào MRC. Các bộ dữ liệu liên quan 2.