Nghiên Cứu Đọc Hiểu Tự Động Dựa Trên Cấp Độ Câu Dành Cho Tiếng Việt

Khóa luận nghiên cứu đọc hiểu tự động cho tiếng Việt, tập trung vào cấp độ câu, mang lại giải pháp mới cho lĩnh vực khoa học máy tính.

• Tác giả: Nguyen Thuận Phong
• Người hướng dẫn: TS. Nguyễn Lưu Thùy Ngân
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành Khoa học máy tính
• Đề tài: Nghiên Cứu Đọc Hiểu Tự Động Dựa Trên Cấp Độ Câu Cho Tiếng Việt
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: ĐỊNH NGHĨA VÀ TÍNH ỨNG DỤNG CỦA BÀI TOÁN
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các bộ dữ liệu liên quan
• 2.2. Công trình trên thế giới
• 2.3. Công trình trong nước
• 2.4. Các mô hình liên quan
• 2.4.1. Phương pháp dựa vào xếp hạng câu
• 2.4.2. Phương pháp dựa vào phân loại
• 2.4.3. Phương pháp đọc hiểu tự động
• 3. CHƯƠNG 3: QUÁ TRÌNH CHUYỂN ĐỔI VÀ TỔNG QUAN VỀ BỘ DỮ LIỆU UIT-ViWikiQA
• 3.1. Quá trình chuyển đổi bộ dữ liệu
• 3.2. Thuật toán chuyển đổi bộ dữ liệu
• 3.3. Kiểm tra chất lượng bộ dữ liệu
• 3.4. Phân tích bộ dữ liệu UIT-ViWikiQA
• 3.4.1. Tổng quan về bộ dữ liệu UIT-ViWikiQA
• 3.4.2. Phân tích UIT-ViWikiQA theo loại câu hỏi
• 3.4.3. Phân tích UIT-ViWikiQA theo loại suy luận
• 4. CHƯƠNG 4: CÁC HƯỚNG TIẾP CẬN VÀ MÔ HÌNH GIẢI QUYẾT BÀI TOÁN
• 4.1. Hướng tiếp cận dựa trên phương pháp xếp hạng
• 4.2. Hướng tiếp cận dựa trên phương pháp phân loại
• 4.2.1. Mô hình Manhattan LSTM (MaLSTM)
• 4.3. Hướng tiếp cận dựa trên phương pháp đọc hiểu tự động
• 5. CHƯƠNG 5: CÀI ĐẶT, THỬ NGHIỆM VÀ ĐÁNH GIÁ
• 5.1. Cài đặt thử nghiệm
• 5.2. Phương pháp đánh giá
• 5.3. Kết quả thử nghiệm
• 5.3.1. Phân tích kết quả
• 5.3.2. Tác động của tính chất ngữ cảnh
• 5.3.3. Tác động của các yếu tố dựa trên loại câu hỏi
• 5.3.4. Tác động của các yếu tố dựa trên loại suy luận
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Hạn chế
• 6.2. Hướng phát triển
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Đọc Hiểu Tự Động Dựa Trên Cấp Độ Câu

Nghiên cứu đọc hiểu tự động dựa trên cấp độ câu cho tiếng Việt là một lĩnh vực đang phát triển mạnh mẽ. Với sự gia tăng của công nghệ AI, việc áp dụng các mô hình học máy vào việc hiểu và phân tích ngôn ngữ tự nhiên trở nên cần thiết. Đặc biệt, việc xây dựng bộ dữ liệu và các mô hình phù hợp cho tiếng Việt là một thách thức lớn. Nghiên cứu này không chỉ giúp cải thiện khả năng đọc hiểu của máy mà còn mở ra nhiều cơ hội ứng dụng trong giáo dục và công nghệ.

1.1. Định Nghĩa Đọc Hiểu Tự Động

Đọc hiểu tự động là khả năng của máy tính trong việc hiểu và phân tích văn bản. Điều này bao gồm việc nhận diện thông tin, trả lời câu hỏi và rút ra kết luận từ nội dung văn bản.

1.2. Tầm Quan Trọng Của Nghiên Cứu Đọc Hiểu

Nghiên cứu đọc hiểu tự động có vai trò quan trọng trong việc phát triển các ứng dụng như trợ lý ảo, hệ thống hỏi đáp và nhiều lĩnh vực khác trong công nghệ thông tin.

II. Vấn Đề Và Thách Thức Trong Nghiên Cứu Đọc Hiểu Tự Động

Mặc dù có nhiều tiến bộ trong lĩnh vực đọc hiểu tự động, nhưng vẫn còn nhiều thách thức cần giải quyết. Một trong những vấn đề lớn nhất là thiếu hụt dữ liệu chất lượng cao cho tiếng Việt. Ngoài ra, việc phát triển các mô hình phù hợp với ngữ cảnh và ngữ nghĩa của tiếng Việt cũng là một thách thức không nhỏ.

2.1. Thiếu Hụt Dữ Liệu Chất Lượng

Việc thiếu hụt bộ dữ liệu lớn và đa dạng cho tiếng Việt gây khó khăn trong việc huấn luyện các mô hình đọc hiểu tự động. Điều này ảnh hưởng đến độ chính xác và hiệu suất của các mô hình.

2.2. Khó Khăn Trong Việc Phát Triển Mô Hình

Phát triển các mô hình đọc hiểu tự động cho tiếng Việt đòi hỏi phải hiểu rõ ngữ pháp và ngữ nghĩa của ngôn ngữ, điều này không dễ dàng do sự phức tạp của tiếng Việt.

III. Phương Pháp Giải Quyết Bài Toán Đọc Hiểu Tự Động

Để giải quyết bài toán đọc hiểu tự động, nghiên cứu này đề xuất ba phương pháp tiếp cận chính. Mỗi phương pháp đều có những ưu điểm và nhược điểm riêng, phù hợp với các loại câu hỏi và ngữ cảnh khác nhau.

3.1. Tiếp Cận Dựa Trên Xếp Hạng Câu

Phương pháp này sử dụng các mô hình như BM25 và Word Count để xếp hạng các câu trong đoạn văn dựa trên độ tương đồng với câu hỏi. Đây là một cách tiếp cận đơn giản nhưng hiệu quả.

3.2. Tiếp Cận Dựa Trên Phân Loại

Phương pháp phân loại sử dụng các mô hình như maLSTM và BiGRU để xác định xem một câu có chứa thông tin trả lời cho câu hỏi hay không. Phương pháp này giúp cải thiện độ chính xác của việc trích xuất câu.

3.3. Tiếp Cận Dựa Trên Đọc Hiểu Tự Động

Sử dụng các mô hình hiện đại như BERT và XLM-Roberta, phương pháp này cho phép máy tính hiểu sâu hơn về ngữ nghĩa và ngữ cảnh của văn bản, từ đó cải thiện khả năng trả lời câu hỏi.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu Đọc Hiểu Tự Động

Nghiên cứu đọc hiểu tự động có nhiều ứng dụng thực tiễn trong đời sống. Từ việc phát triển các hệ thống hỏi đáp tự động đến việc cải thiện trải nghiệm người dùng trong các ứng dụng giáo dục, nghiên cứu này mở ra nhiều cơ hội mới.

4.1. Ứng Dụng Trong Giáo Dục

Các hệ thống đọc hiểu tự động có thể hỗ trợ học sinh trong việc tìm kiếm thông tin và trả lời câu hỏi, từ đó nâng cao hiệu quả học tập.

4.2. Ứng Dụng Trong Công Nghệ Thông Tin

Nghiên cứu này có thể được áp dụng trong các hệ thống tìm kiếm thông tin, trợ lý ảo và nhiều ứng dụng khác trong lĩnh vực công nghệ thông tin.

V. Kết Luận Và Tương Lai Của Nghiên Cứu Đọc Hiểu Tự Động

Nghiên cứu đọc hiểu tự động dựa trên cấp độ câu cho tiếng Việt đang mở ra nhiều triển vọng mới. Với sự phát triển không ngừng của công nghệ AI, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều cải tiến đáng kể.

5.1. Tương Lai Của Nghiên Cứu

Với sự phát triển của các mô hình học sâu và dữ liệu lớn, nghiên cứu đọc hiểu tự động sẽ ngày càng trở nên chính xác và hiệu quả hơn.

5.2. Cơ Hội Phát Triển

Nghiên cứu này không chỉ góp phần vào việc phát triển công nghệ đọc hiểu tự động mà còn mở ra nhiều cơ hội cho các nghiên cứu tiếp theo trong lĩnh vực ngôn ngữ tự nhiên.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Sự phát triển của trí tuệ nhân tạo và các công nghệ xử lý ngôn ngữ tự nhiên (NLP) đã làm gia tăng nhu cầu tìm kiếm và tra cứu thông tin tự động trên môi trường trực tuyến. Tác vụ Đọc hiểu máy (Machine Reading Comprehension - MRC) là một hướng nghiên cứu quan trọng nhằm giúp máy tính có khả năng đọc hiểu văn bản và trả lời chính xác các câu hỏi liên quan. Mặc dù trên thế giới đã có nhiều bộ dữ liệu MRC quy mô lớn dành cho các ngôn ngữ phổ biến như tiếng Anh (SQuAD, WikiQA, NewsQA) hay tiếng Trung (CMRC 2018, C3), nguồn tài nguyên dữ liệu và phương pháp đánh giá bài toán đọc hiểu tự động dành cho tiếng Việt vẫn còn hạn chế.

Phần lớn các bộ dữ liệu MRC hiện tại được thiết kế theo dạng trích xuất đoạn ngắn (span-extraction), trong đó câu trả lời chỉ là một cụm từ rời rạc được cắt ra từ đoạn văn. Hướng tiếp cận này đôi khi không cung cấp đầy đủ thông tin ngữ cảnh xung quanh câu trả lời. Để giải quyết hạn chế này, khóa luận đề xuất bài toán đọc hiểu tự động dựa trên cấp độ câu (Sentence Extraction Based Machine Reading Comprehension) cho tiếng Việt, trong đó hệ thống nhận đầu vào là một đoạn văn bản và một câu hỏi, sau đó trích xuất ra một câu hoàn chỉnh chứa nội dung trả lời.

Khóa luận xác định các mục tiêu và nhiệm vụ nghiên cứu cụ thể bao gồm:

1. Xây dựng bộ dữ liệu đọc hiểu tự động dựa trên cấp độ câu cho tiếng Việt mang tên UIT-ViWikiQA từ bộ dữ liệu UIT-ViQuAD 1.0 thông qua một thuật toán chuyển đổi tự động.
2. Thống kê và phân tích chi tiết bộ dữ liệu UIT-ViWikiQA trên các khía cạnh ngôn ngữ như số lượng từ vựng, loại câu hỏi, tính đa dạng của từ để hỏi và các dạng suy luận.
3. Đề xuất và triển khai ba hướng tiếp cận giải quyết bài toán: tiếp cận dựa trên xếp hạng câu, tiếp cận dựa trên phân loại câu và tiếp cận dựa trên phương pháp đọc hiểu tự động.
4. Thực nghiệm các mô hình học máy và học sâu đại diện cho ba hướng tiếp cận trên bộ dữ liệu UIT-ViWikiQA, đồng thời đánh giá hiệu suất mô hình thông qua hai chỉ số Exact Match (EM) và F1-score.
5. Phân tích tác động của ngữ cảnh, các loại câu hỏi và các dạng suy luận đến hiệu suất của các mô hình theo hướng tiếp cận đọc hiểu tự động.

Đối tượng nghiên cứu của đề tài là bài toán đọc hiểu văn bản tự động dựa trên cấp độ câu dành cho tiếng Việt. Đầu vào của bài toán là đoạn văn bản $D$ gồm $N$ câu ${d_1, d_2, d_3, ..., d_N}$ cùng câu hỏi $Q$ liên quan đến nội dung đoạn văn; đầu ra là một câu $d_i \in D$ chứa thông tin trả lời cho câu hỏi $Q$.

Phạm vi nghiên cứu tập trung vào nguồn ngữ liệu gồm 174 bài báo tiếng Việt trên bách khoa toàn thư mở Wikipedia được kế thừa từ bộ dữ liệu UIT-ViQuAD 1.0. Các câu hỏi được khảo sát tập trung vào dạng câu hỏi có nội dung trả lời nằm trọn vẹn trong một câu đơn lẻ của đoạn văn. Đề tài được thực hiện trong khoảng thời gian từ ngày 06/09/2021 đến ngày 01/01/2022.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống nghiên cứu dựa trên các khái niệm, khung lý thuyết và mô hình sau:

• Khung lý thuyết Đọc hiểu máy (MRC) và Trả lời câu hỏi (QA): Khảo sát các dạng tác vụ trích xuất đoạn văn bản (span-extraction), trắc nghiệm (multiple-choice) và trích xuất câu (sentence extraction).
• Mô hình tính toán độ tương đồng và xếp hạng văn bản: Mô hình đếm từ (Word Count), hàm xếp hạng độ phù hợp xác suất Okapi BM25 và phương pháp thống kê tần suất từ - nghịch đảo tần suất tài liệu (TF-IDF).
• Mô hình mạng nơ-ron học sâu xử lý chuỗi: Mạng bộ nhớ dài-ngắn hạn (LSTM), mạng nơ-ron hồi quy hai chiều (BiLSTM, BiGRU), và kiến trúc mạng nơ-ron dạng bắt cặp Manhattan LSTM (maLSTM) sử dụng khoảng cách Manhattan để đo lường độ tương đồng ngữ nghĩa giữa câu hỏi và câu trong đoạn văn.
• Mô hình ngôn ngữ tiền huấn luyện dựa trên Transformer: Các kiến trúc gồm BERT, Multilingual BERT (mBERT), ALBERT, QANet, DrQA Reader, PhoBERT và mô hình biểu diễn đa ngôn ngữ quy mô lớn XLM-RoBERTa (XLM-R).

Phương pháp nghiên cứu thực nghiệm được triển khai qua các bước:

• Phương pháp xây dựng ngữ liệu: Đề xuất thuật toán chuyển đổi tự động chuyển đổi các nhãn vị trí ký tự của UIT-ViQuAD 1.0 sang ranh giới câu hoàn chỉnh để tạo lập UIT-ViWikiQA.
• Phương pháp tiền xử lý ngôn ngữ: Sử dụng bộ công cụ VnCoreNLP để thực hiện tách từ (word segmentation) cho các đoạn văn bản, câu hỏi và câu trả lời.
• Phương pháp phân lớp nhị phân: Biến đổi bài toán thành tác vụ phân loại từng cặp (câu trong đoạn văn, câu hỏi) với nhãn 1 (chứa câu trả lời) và nhãn 0 (không chứa câu trả lời).
• Phương pháp đọc hiểu tự động trích xuất: Áp dụng mô hình Transformer kết hợp tầng hồi quy BiLSTM ở lớp đầu ra để dự đoán vị trí bắt đầu và kết thúc của câu trả lời trong đoạn văn.
• Phương pháp đánh giá định lượng: Sử dụng hai thông số đo lường chuẩn là độ chính xác tuyệt đối (Exact Match - EM) và độ trùng lặp token (F1-score).

Nguồn dữ liệu nghiên cứu được trích xuất và chuyển đổi từ bộ dữ liệu UIT-ViQuAD 1.0 (do Nguyen và các cộng sự công bố năm 2020), bao gồm các bài viết trên Wikipedia tiếng Việt thuộc nhiều chủ đề khác nhau.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu tổng quan về bài toán đọc hiểu tự động dựa trên cấp độ câu trong tiếng Việt. Tác giả định nghĩa bài toán dưới dạng bài toán trích xuất: với đầu vào là đoạn văn $D$ chứa $N$ câu ${d_1, d_2, ..., d_N}$ và câu hỏi $Q$, hệ thống cần xác định chính xác câu $d_i$ mang nội dung trả lời. Chương này phân tích sự khác biệt giữa việc trả lời bằng một câu hoàn chỉnh so với việc chỉ trích xuất một cụm từ ngắn, nhấn mạnh rằng việc cung cấp nguyên câu sẽ giúp người dùng nắm bắt đầy đủ ngữ cảnh thông tin. Bên cạnh đó, chương 1 trình bày tính ứng dụng thực tế của bài toán trong việc tích hợp vào các hệ thống trợ lý ảo (như Siri, Google Assistant, Cortana, Bixby), các công cụ tìm kiếm thông minh (Google, Bing) và các hệ thống chatbot chăm sóc khách hàng tự động trong các lĩnh vực y tế, tài chính, giáo dục nhằm giảm thiểu chi phí nhân sự.

Chương 2: Các công trình nghiên cứu liên quan

Chương 2 thực hiện khảo sát toàn diện các công trình nghiên cứu về bài toán đọc hiểu tự động trên thế giới và tại Việt Nam. Về mặt dữ liệu quốc tế, tác giả khảo sát các bộ dữ liệu trích xuất đoạn trên tiếng Anh (SQuAD 1.1, SQuAD 2.0, NewsQA, TriviaQA, Natural Questions, Spoken-SQuAD), dữ liệu dạng trắc nghiệm (MCTest, RACE, HeadQA, C3) và dữ liệu đa ngôn ngữ (XQuAD, MLQA). Đặc biệt, bộ dữ liệu cấp độ câu WikiQA trên tiếng Anh (Yi Yang et al., 2015) gồm 3.074 câu hỏi và 29.258 câu được phân tích làm cơ sở tham chiếu. Tại Việt Nam, tác giả điểm qua các bộ dữ liệu UIT-ViQuAD 1.0, UIT-ViQuAD 2.0, UIT-ViNewsQA, UIT-ViCoQA và ViMMRC. Về mặt kỹ thuật, chương này tổng hợp ba nhóm phương pháp chính đã từng được áp dụng gồm phương pháp xếp hạng câu (Word Count, Okapi BM25, TF-IDF), phương pháp phân loại (maLSTM, BiGRU, SVM) và phương pháp đọc hiểu tự động (DrQA Reader, QANet, mBERT, PhoBERT, XLM-RoBERTa).

Chương 3: Quá trình chuyển đổi và tổng quan về bộ dữ liệu UIT-ViWikiQA

Chương 3 mô tả chi tiết quy trình 3 giai đoạn để xây dựng bộ dữ liệu UIT-ViWikiQA từ UIT-ViQuAD 1.0:

• Giai đoạn 1 - Nghiên cứu và tìm thuật toán chuyển đổi: Đề xuất thuật toán xác định vị trí câu $ST_i$ chứa câu trả lời $A_i$ dựa trên vị trí bắt đầu $Istart_i$ từ UIT-ViQuAD 1.0. Thuật toán phân tách đoạn văn thành danh sách các câu, duyệt qua từng câu với chỉ số bắt đầu $Start$ và kết thúc $End$. Khi thỏa mãn điều kiện $Start \le Istart_i \le End$, câu đó được chọn làm câu trả lời $ST_i$ và chỉ số bắt đầu mới được tính lại bằng hàm tìm kiếm vị trí $Ostart_i = D.find(ST_i)$.
• Giai đoạn 2 - Tạo bộ dữ liệu: Thực hiện chuyển đổi đồng loạt toàn bộ ngữ liệu sang định dạng JSON chuẩn gồm các trường title, paragraphs, context, qas, question, answers, answer_start, text và id.
• Giai đoạn 3 - Kiểm tra chất lượng dữ liệu: Rà soát tự động toàn bộ dữ liệu đảm bảo đồng thời hai điều kiện logic: $A_i \subseteq ST_i$ và $Istart_i \ge Ostart_i$. Toàn bộ mẫu sau chuyển đổi đều đáp ứng yêu cầu chính xác.

Bảng số liệu thống kê tổng quan của bộ dữ liệu UIT-ViWikiQA:

Đặc trưng thống kê	Tập huấn luyện (Train)	Tập phát triển (Dev)	Tập kiểm tra (Test)	Tổng cộng
Số lượng bài báo	138	18	18	174
Số lượng đoạn văn	4.101	515	493	5.109
Số lượng câu hỏi	18.579	2.285	2.210	23.074
Độ dài trung bình đoạn văn (từ)	151,21	144,64	152,xx	151,69
Độ dài trung bình câu hỏi (từ)	11,98	11,67	12,xx	11,96
Độ dài trung bình câu trả lời (từ)	33,73	30,29	32,xx	33,29
Kích thước tập từ vựng (từ)	29.881	7.594	8.270	45.745

Chương này cũng phân loại câu hỏi thành 8 nhóm (Who, When, Where, Why, What, How, How many, Others), trong đó câu hỏi "What" chiếm tỷ lệ cao nhất (49,1% trên tập Dev). Đồng thời, dữ liệu được phân tích theo các dạng suy luận gồm so khớp từ vựng (Word Matching) và suy luận liên câu (Multi-sentence Matching).

Chương 4: Các hướng tiếp cận và mô hình giải quyết bài toán

Chương 4 thiết kế chi tiết kiến trúc cho ba hướng tiếp cận giải quyết bài toán:

• Hướng tiếp cận xếp hạng câu: Đoạn văn được tách thành danh sách các câu $S = {s_1, s_2, ..., s_n}$. Mô hình sử dụng hàm Word Count hoặc Okapi BM25 để tính điểm tương đồng giữa từng câu $s_i$ với câu hỏi $Q$. Câu có điểm số cao nhất được trích xuất làm câu trả lời.
• Hướng tiếp cận phân loại: Tách đoạn văn thành các câu $s_i$, sau đó kết hợp từng câu với câu hỏi $Q$ thành cặp đầu vào $(s_i, Q)$ cho mô hình phân lớp nhị phân. Các kiến trúc được xây dựng gồm BiGRU và maLSTM (sử dụng mạng nơ-ron hồi quy Siamese với hàm khoảng cách Manhattan để tính toán độ tương quan ngữ nghĩa).
• Hướng tiếp cận đọc hiểu tự động: Mô hình nhận trực tiếp toàn bộ đoạn văn bản và câu hỏi làm đầu vào, xử lý qua các mạng học sâu như QANet, DrQA Reader, mBERT, PhoBERT và XLM-RoBERTa. Tác giả áp dụng mô hình cải tiến kết hợp XLM-RoBERTa quy mô lớn với tầng hồi quy BiLSTM ở lớp cuối nhằm nâng cao độ chính xác khi xác định biên của câu trả lời.

Chương 5: Cài đặt, thử nghiệm và đánh giá

Chương 5 trình bày môi trường cài đặt, tham số thử nghiệm và kết quả đánh giá chi tiết của các mô hình trên hai tập dữ liệu Dev và Test. Kết quả chỉ ra rằng các mô hình dựa trên đọc hiểu tự động (MRC) vượt trội hoàn toàn so với các mô hình xếp hạng truyền thống và phân loại câu. Mô hình kết hợp XLM-Rlarge + BiLSTM đạt hiệu suất cao nhất trên cả hai tập dữ liệu.

Chương này tiến hành ba phân tích chuyên sâu:

1. Tác động của tính chất ngữ cảnh: So sánh hiệu suất của mô hình MRC khi giữ nguyên thứ tự câu trong đoạn văn bản so với phiên bản bị xáo trộn thứ tự câu.
2. Tác động của loại câu hỏi: Hiệu suất mô hình có sự chênh lệch rõ rệt giữa các nhóm câu hỏi; mô hình đạt kết quả thấp hơn ở các nhóm câu hỏi mang tính giải thích nguyên nhân hoặc phương thức ("Why", "How") và nhóm câu hỏi có từ để hỏi đa dạng ("What", "Where").
3. Tác động của loại suy luận: Độ chính xác của mô hình giảm dần khi mức độ suy luận phức tạp tăng lên; các câu hỏi thuộc dạng so khớp trực tiếp từ vựng (Word Matching) đạt kết quả cao nhất, trong khi các câu hỏi yêu cầu suy luận kết hợp từ nhiều câu (Multi-sentence Matching) ghi nhận hiệu suất thấp nhất.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các kết quả đạt được của khóa luận, bao gồm việc xây dựng bộ dữ liệu UIT-ViWikiQA và thiết lập chuẩn thực nghiệm (benchmark) cho bài toán đọc hiểu cấp độ câu trên tiếng Việt. Bên cạnh đó, tác giả thẳng thắn chỉ ra các điểm hạn chế về phạm vi ngữ liệu và đề xuất các định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

Khóa luận đã đạt được các kết quả thực nghiệm định lượng cụ thể trên bộ dữ liệu UIT-ViWikiQA:

• Xây dựng thành công bộ dữ liệu đọc hiểu cấp độ câu tiếng Việt đầu tiên UIT-ViWikiQA từ 174 bài báo Wikipedia, bao gồm 5.109 đoạn văn và 23.074 cặp câu hỏi - câu trả lời được chuẩn hóa hoàn toàn dưới định dạng JSON.
• Mô hình XLM-Rlarge kết hợp BiLSTM theo hướng tiếp cận đọc hiểu tự động đạt hiệu suất cao nhất trong tất cả các cấu hình thử nghiệm:
  • Trên tập phát triển (Dev set): F1-score đạt 93,95%, Exact Match (EM) đạt 91,79%.
  • Trên tập kiểm tra (Test set): F1-score đạt 93,88%, Exact Match (EM) đạt 91,86%.

Bảng so sánh hiệu năng tổng quan giữa các hướng tiếp cận chính:

Hướng tiếp cận	Mô hình đại diện	Đặc điểm xử lý	Hiệu suất tổng thể
Xếp hạng câu	Word Count, Okapi BM25	Đếm từ trùng lặp và tính độ tương đồng từ vựng nông	Hiệu suất cơ bản, phụ thuộc hoàn toàn vào từ khóa
Phân loại	maLSTM, BiGRU	Phân lớp nhị phân từng cặp (câu, câu hỏi) với mạng Siamese	Tận dụng được quan hệ ngữ nghĩa cặp câu nhưng tốc độ chậm
Đọc hiểu tự động	XLM-Rlarge + BiLSTM	Học biểu diễn ngữ cảnh sâu và trích xuất chỉ số biên câu	Đạt hiệu suất cao nhất (F1: 93,88%, EM: 91,86% trên Test)

Về mặt giải pháp và kỹ thuật, nhóm tác giả đề xuất việc tích hợp lớp mạng hồi quy BiLSTM vào tầng đỉnh của mô hình ngôn ngữ tiền huấn luyện đa ngôn ngữ XLM-RoBERTa thay thế cho lớp tuyến tính thông thường, giúp mô hình nắm bắt tốt hơn mối quan hệ phụ thuộc tuần tự giữa các token trong câu tiếng Việt.

Đóng góp học thuật của đề tài thể hiện ở việc cung cấp bộ dữ liệu chuẩn hóa đầu tiên cho bài toán đọc hiểu cấp độ câu trong tiếng Việt, đồng thời thiết lập hệ thống thực nghiệm đối sánh toàn diện giữa ba trường phái xử lý ngôn ngữ tự nhiên khác nhau, làm tiền đề thực nghiệm cho các nghiên cứu tiếp theo.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế cụ thể dựa trên phạm vi nghiên cứu:

• Nguồn dữ liệu mới chỉ được khai thác trên bách khoa toàn thư Wikipedia, chưa được mở rộng sang các văn bản thuộc các miền chuyên ngành khác như tin tức báo chí, y tế, tài chính hoặc văn bản hành chính pháp luật.
• Bộ dữ liệu mới chỉ tập trung vào các câu hỏi đơn câu (câu trả lời nằm trọn vẹn trong một câu duy nhất), chưa hỗ trợ các câu hỏi phức tạp có nội dung trả lời nằm rải rác trên nhiều câu hoặc yêu cầu tổng hợp từ nhiều đoạn văn bản khác nhau.
• Ngữ liệu chưa tích hợp tập câu hỏi không thể trả lời được (unanswerable questions) để đánh giá khả năng nhận biết giới hạn thông tin của mô hình.

Các hướng nghiên cứu tiếp theo được tác giả đề xuất:

• Mở rộng quy mô bộ dữ liệu sang các miền ngữ liệu đa dạng hơn và nghiên cứu dạng bài toán đọc hiểu trên nhiều đoạn văn bản (Multi-passage MRC).
• Phát triển dữ liệu cho các câu hỏi yêu cầu câu trả lời trải dài trên nhiều câu (Multi-sentence span extraction).
• Bổ sung tập câu hỏi không có câu trả lời trong văn bản tương tự cấu trúc của SQuAD 2.0 và UIT-ViQuAD 2.0.
• Ứng dụng các phương pháp tăng cường dữ liệu tự động (Data Augmentation) và thử nghiệm các kiến trúc mô hình sinh ngôn ngữ mới.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo phù hợp cho sinh viên, học viên cao học và các nghiên cứu viên thuộc chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo và Hệ thống Thông tin đang thực hiện đề tài về Xử lý ngôn ngữ tự nhiên tiếng Việt, Đọc hiểu máy và Hệ thống Hỏi đáp.

Các nội dung có giá trị tham khảo chuyên môn cao bao gồm:

• Quy trình logic và mã giả của thuật toán chuyển đổi dữ liệu từ dạng span sang câu hoàn chỉnh (Chương 3).
• Phương pháp phân tích dữ liệu văn bản theo cấu trúc câu hỏi và dạng suy luận ngữ nghĩa (Chương 3).
• Thiết kế thực nghiệm so sánh ba hướng tiếp cận (xếp hạng, phân loại, đọc hiểu) và phương pháp kết hợp mô hình ngôn ngữ lớn tiền huấn luyện với lớp nơ-ron hồi quy BiLSTM (Chương 4 và Chương 5).

Câu hỏi thường gặp

1. Bộ dữ liệu UIT-ViWikiQA được xây dựng từ nguồn nào và có quy mô bao nhiêu? Bộ dữ liệu UIT-ViWikiQA được chuyển đổi tự động từ bộ dữ liệu UIT-ViQuAD 1.0, có nguồn gốc từ 174 bài báo trên Wikipedia tiếng Việt. Quy mô tổng thể bao gồm 5.109 đoạn văn bản và 23.074 cặp câu hỏi - câu trả lời, được chia thành ba tập: Huấn luyện (18.579 câu hỏi), Phát triển (2.285 câu hỏi) và Kiểm tra (2.210 câu hỏi).

2. Thuật toán chuyển đổi dữ liệu từ UIT-ViQuAD 1.0 sang UIT-ViWikiQA hoạt động như thế nào? Thuật toán phân tách đoạn văn bản thành danh sách các câu đơn lẻ, sau đó duyệt qua từng câu để xác định khoảng vị trí bắt đầu và kết thúc của câu trong đoạn. Khi vị trí bắt đầu của câu trả lời gốc ($Istart_i$) nằm trong khoảng vị trí của câu đang xét ($Start \le Istart_i \le End$), thuật toán sẽ trích xuất toàn bộ câu đó làm câu trả lời mới và tính toán lại vị trí bắt đầu ($Ostart_i$).

3. Khóa luận đề xuất những hướng tiếp cận nào để giải quyết bài toán đọc hiểu cấp độ câu? Tác giả đề xuất ba hướng tiếp cận gồm:

• Hướng tiếp cận xếp hạng câu (Sentence Ranking) sử dụng Word Count và Okapi BM25.
• Hướng tiếp cận phân loại (Classification) sử dụng maLSTM và BiGRU.
• Hướng tiếp cận đọc hiểu tự động (MRC) sử dụng QANet, DrQA Reader, mBERT, PhoBERT và XLM-RoBERTa.

4. Mô hình nào đạt hiệu suất cao nhất trong các thử nghiệm và kết quả cụ thể ra sao? Mô hình XLM-Rlarge kết hợp lớp BiLSTM ở tầng cuối thuộc hướng tiếp cận đọc hiểu tự động đạt hiệu suất cao nhất. Kết quả đạt F1-score 93,95% và EM 91,79% trên tập phát triển (Dev set); F1-score đạt 93,88% và EM 91,86% trên tập kiểm tra (Test set).

5. Hiệu suất của các mô hình đọc hiểu bị suy giảm nhiều nhất ở những dạng câu hỏi và dạng suy luận nào? Về loại câu hỏi, mô hình ghi nhận hiệu suất thấp hơn ở các câu hỏi dạng "Why" (Tại sao) và "How" (Như thế nào), cùng các câu hỏi có từ để hỏi đa dạng ("What", "Where"). Về dạng suy luận, hiệu suất của mô hình giảm dần khi độ phức tạp suy luận tăng lên, trong đó dạng suy luận liên câu (Multi-sentence Matching) có hiệu suất thấp nhất so với dạng so khớp từ vựng trực tiếp (Word Matching).

Kết luận

Khóa luận tốt nghiệp của Đỗ Nguyễn Thuận Phong và Nguyễn Duy Nhật đã giải quyết bài toán đọc hiểu văn bản tự động dựa trên cấp độ câu cho tiếng Việt thông qua việc xây dựng thành công bộ dữ liệu UIT-ViWikiQA gồm 23.074 cặp câu hỏi - câu trả lời từ Wikipedia. Đề tài đã triển khai và so sánh toàn diện ba hướng tiếp cận gồm xếp hạng câu, phân loại và đọc hiểu tự động, trong đó kiến trúc XLM-Rlarge kết hợp BiLSTM đạt hiệu suất vượt trội với F1-score đạt 93,88% trên tập kiểm tra. Các phân tích định lượng về tác động của ngữ cảnh, loại câu hỏi và mức độ suy luận trong báo cáo đã cung cấp cơ sở dữ liệu và căn cứ thực nghiệm có giá trị cho các nghiên cứu tiếp theo về xử lý ngôn ngữ tự nhiên tiếng Việt.

Trích đoạn nội dung tài liệu

Chương 1.--22- 52 SE EEEE2E12E1521271711211211211 111121211 cxe 8 In Dinh nghia bal toa oo. Tinh ứng dụng của bài toán. nh nghi 10 Chương 2. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN.

Cac bộ dữ liệu liên quan. _ Công trình trên thé giới. Cong trình trong ƯỚC.- Gv TH ng nh nành 14 2. Các mô hình liên quañ.

Phương pháp dựa vào xếp hạng câu. Phuong pháp dựa vào phân loại. Phương pháp đọc hiểu tự động.- ¿2 s+cs+E++EzEeExeExerxrrerree 17 XI NN(G). QUÁ TRÌNH CHUYEN DOI VA TONG QUAN VỀ BỘ DU LIEU UIT-ViWikiQa.

Quá trình chuyển đối bộ dữ LGU. Thuật toán chuyên đôi bộ dit liệu .-----2-252+cx+zx+zxczEzrsrred 19 3. Kiếm tra chất lượng bộ dữ liệu. Phân tích bộ dữ liệu UIT-ViWikiQA.

Tổng quan về bộ dit liệu UIT-ViWikiQA. Phan tích UIT-ViWikiQA theo loại câu hỏi. Phân tích UIT-ViWikiQA theo loại suy luận. St St TT 111111 15111111111111111151211111111E1EEEEEttke 32 Chương 4.

CÁC HƯỚNG TIẾP CAN VÀ MÔ HÌNH GIẢI QUYÉT BÀI TOÁN 33 4. Hướng tiếp cận dựa trên phương pháp xếp hạng. Hướng tiếp cận dựa trên phương pháp phân loại. M6 hình Manhattan LSTM (MaLSTM).

Hướng tiếp cận dựa trên phương pháp đọc hiểu tự động.--<2EESEE2EkSEEEE2E121127117111211211 11x ctxee 40 4. 41 AA, Kết luận. CAI ĐẶT, THU NGHIEM VÀ ĐÁNH GIÁ. Cài đặt thử nghiệm.

St SS SH ST TH HH nh hkp 45 5. Phương pháp đánh giá.- -- 6 Ăn TH ng nh nưệt 46 5. Kết quả thử nghiệm. Phân tích kết quả.

Tac động của tính chat ngữ cảnh. Tac động của các yếu tố dựa trên loại câu hỏi. Tac động của các yếu tố dựa trên loại suy luận. cu nh nghe 56 Chương 6.

KẾT LUẬN VÀ HUONG PHAT TRIÊN.----2-5s+cz+cz+xzez 58 6. Hạn ché voeeccccccccccceccececscsesecscsesecsesessucsesvsucecsceveucacsvseacacavsucacevsvsusacavseaceesvees 59 6. Hướng phát triển DANH MỤC HÌNH VẾ Hình 3.1: Phân bố các loại câu trên tập phát triển của UIT-ViWikiQA.2: Phân bố của các loại câu hỏi trên tập kiểm tra của UIT-VIWIKIQA.3: Phân bố các loại câu hỏi và từ dé hỏi trong tập phát triển và kiểm tra của UIT-VIWIKIQA 01.4: Phân bố các loại suy luận có trong tập phát triển của UIT-VïWikiQA.5: Phân bố các loại suy luận có trong tập kiêm tra của UIT-ViWikiQA.1: Kiến trúc mô hình theo hướng tiếp cận xếp hạng.2: Kiến trúc mô hình theo hướng tiếp cận phân loại.3: Kiến trúc mô hình LSTM .4: Kiến trúc mô hình MaLSTM.--- 5: 55cc22tvtiertrirrrrrrrsrrrrrrrrree 39 Hình 4.5: Kiến trúc mô hình theo hướng tiếp cận đọc hiểu tự động .6: Kiến trúc mô hình XLM-Roberta.1: Biểu diễn trùng lặp token giữa câu tra lời đúng và câu trả lời được dự đoán.2: Hiệu suất của các mô hình đối với các loại câu hỏi khác nhau của tập phát triển và được đánh giá trên EM và F Ï~§COF€.-- 2-2 2S +E+EE£EE2EE2EZEerEerxersrree 53 Hình 5.3: Hiệu suất của các mô hình đối với các loại suy luận khác nhau trên tập phát triển và được đánh giá trên Fl-score và EM.----¿--s¿©-++2+z+2x2zxerxesrxrsrsees 55 DANH MỤC BANG Bảng 1.1: Ví dụ về bai toán đọc hiểu dựa trên trích xuất câu cho tiếng Việt.1: Thống kê tổng quan về bộ dữ liệu UIT-ViWikiQA.2: Các loại câu hỏi trong bộ dữ liệu ULT-VIWIkIQA.3: Các loại suy luận có trong bộ dit liệu UIT-VIWIkIQA.1: Hiệu suất của các mô hình được đánh giá trên tập phát triển và tập kiếm CA.2: Hiệu suất của các mô hình MRC trên UIT-ViWikiQA và phiên bản xáo Ò900ì8:LIÍNƯHIađaiaadiẳ. 52 DANH MỤC TỪ VIET TAT STT Từ viết tắt Ý nghĩa 1 NLP Natural Language Processing 2 MRC Machine Reading Comprehension 3 QA Question Answering 4 BERT Bidirectional Encoder Representations from Transformers 5 LSTM Long Short Term Memory 6 BiLSTM Bidirectional Long Short Term Memory 7 MaLSTM Manhattan Long Short Term Memory 8 EM Exact Match TÓM TÁT KHÓA LUẬN Nhận thấy được sự đa dạng của các tài nguyên liên quan đến đọc hiểu tự động cũng như sự phát triển của các bài toán đọc hiểu tự động trên các ngôn ngữ như tiếng Anh, tiếng Trung.