Nghiên Cứu Đọc Hiểu Tự Động Dựa Trên Suy Luận Số Liệu Cho Văn Bản Tiếng Việt Về COVID-19

Luận văn tốt nghiệp nghiên cứu tốt nghiệp khoa học dữ liệu nghiên cứu đọc hiểu tự động dựa trên suy luận số liệu cho văn bản tiếng, điều tra thực trạng, phân tích số liệu, đề xuất

• Tác giả: Lê Việt Thắng
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Cử nhân ngành khoa học dữ liệu
• Đề tài: Nghiên Cứu Đọc Hiểu Tự Động Dựa Trên Suy Luận Số Liệu Cho Văn Bản Tiếng Việt Về COVID-19
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: BÀI TOÁN ĐỌC HIỂU TỰ ĐỘNG SUY LUẬN SỐ LIỆU VÀ TÍNH ỨNG DỤNG
• 1.1. Bài toán đọc hiểu tự động suy luận số liệu
• 1.2. Tính ứng dụng của đề tài
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Kết quả nghiên cứu
• 1.5. Cấu trúc của luận văn
• 2. CHƯƠNG 2: CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 2.1. Các bộ dữ liệu đọc hiểu tự động liên quan
• 2.1.1. Các bộ dữ liệu tiếng nước ngoài
• 2.1.2. Các bộ dữ liệu đọc hiểu tự động rút trích từ đoạn văn
• 2.1.3. Các bộ dữ liệu trắc nghiệm nhiều đáp án
• 2.1.4. Các bộ dữ liệu đọc hiểu tự động tiếng Việt
• 2.2. Các phương pháp giải quyết bài toán đọc hiểu tự động hiện nay
• 2.3. Các phương pháp đánh giá bài toán đọc hiểu tự động
• 3. CHƯƠNG 3: XÂY DỰNG BỘ DỮ LIỆU
• 3.1. Quy trình xây dựng bộ dữ liệu
• 3.1.1. Tuyển dụng annotator và xây dựng Guidelines
• 3.1.2. Thu thập bài báo
• 3.1.3. Tạo câu hỏi và câu trả lời
• 3.1.4. Kiểm tra dữ liệu
• 3.1.5. Thu thập thêm câu trả lời
• 3.2. Phân tích bộ dữ liệu ViCOVIDQA
• 3.2.1. Phân tích tổng quan ViCOVIDQA
• 3.2.2. Phân tích loại suy luận của câu hỏi
• 3.2.3. Phân tích loại câu hỏi
• 3.2.4. Phân tích theo độ dài
• 3.2.5. Chủ đề các đoạn văn của ViCOVIDQA
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ KẾT QUẢ
• 4.1. Cài đặt thực nghiệm
• 4.2. Phân tích kết quả thực nghiệm
• 4.3. Kết quả thực nghiệm
• 4.4. Phân tích loại suy luận
• 4.5. Phân tích độ dài đoạn văn
• 4.6. Phân tích độ dài câu hỏi
• 5. CHƯƠNG 5: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Kết luận
• 5.2. Hướng phát triển
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Tổng quan về Nghiên Cứu Đọc Hiểu Tự Động COVID 19

Nghiên cứu đọc hiểu tự động dựa trên suy luận số liệu cho văn bản tiếng Việt về COVID-19 đang trở thành một lĩnh vực quan trọng trong thời đại công nghệ thông tin. Với sự gia tăng nhanh chóng của thông tin liên quan đến dịch bệnh, việc phát triển các hệ thống đọc hiểu tự động giúp người dùng tiếp cận thông tin một cách nhanh chóng và chính xác là rất cần thiết. Đề tài này không chỉ giúp nâng cao khả năng xử lý ngôn ngữ tự nhiên mà còn đóng góp vào việc cải thiện nhận thức cộng đồng về tình hình dịch bệnh.

1.1. Định nghĩa và tầm quan trọng của đọc hiểu tự động

Đọc hiểu tự động là khả năng của máy tính trong việc hiểu và phân tích văn bản. Tầm quan trọng của nó trong bối cảnh COVID-19 là giúp người dùng nhanh chóng tìm kiếm thông tin chính xác và đáng tin cậy từ các nguồn khác nhau.

1.2. Xu hướng nghiên cứu hiện nay trong lĩnh vực này

Xu hướng nghiên cứu hiện nay tập trung vào việc phát triển các mô hình đọc hiểu tự động có khả năng suy luận số liệu, giúp người dùng không chỉ nhận thông tin mà còn hiểu rõ hơn về các số liệu liên quan đến dịch bệnh.

II. Thách thức trong Nghiên Cứu Đọc Hiểu Tự Động COVID 19

Mặc dù có nhiều tiến bộ trong lĩnh vực đọc hiểu tự động, nhưng vẫn tồn tại nhiều thách thức. Các văn bản về COVID-19 thường chứa nhiều số liệu phức tạp và thông tin không đồng nhất, điều này gây khó khăn cho việc xây dựng các mô hình đọc hiểu chính xác.

2.1. Khó khăn trong việc xử lý ngôn ngữ tự nhiên

Ngôn ngữ tự nhiên có tính đa nghĩa và ngữ cảnh, điều này làm cho việc phát triển các mô hình đọc hiểu tự động trở nên khó khăn hơn, đặc biệt là trong các văn bản liên quan đến COVID-19.

2.2. Vấn đề về độ chính xác của dữ liệu

Độ chính xác của dữ liệu là một yếu tố quan trọng. Các thông tin sai lệch có thể dẫn đến những hiểu lầm nghiêm trọng về tình hình dịch bệnh, do đó cần có các phương pháp kiểm tra và xác thực thông tin.

III. Phương pháp Nghiên Cứu Đọc Hiểu Tự Động COVID 19

Để giải quyết các thách thức trong nghiên cứu đọc hiểu tự động, nhiều phương pháp đã được áp dụng. Các mô hình học sâu và trí tuệ nhân tạo đang được sử dụng để cải thiện khả năng đọc hiểu và suy luận số liệu.

3.1. Sử dụng mô hình học sâu trong đọc hiểu

Mô hình học sâu như NAQANet và NumNet đã được áp dụng để cải thiện khả năng đọc hiểu tự động. Những mô hình này có khả năng xử lý các câu hỏi phức tạp và suy luận từ các số liệu trong văn bản.

3.2. Phát triển bộ dữ liệu ViCOVIDQA

Bộ dữ liệu ViCOVIDQA được xây dựng từ các bài báo về COVID-19, cung cấp một nguồn tài liệu phong phú cho việc nghiên cứu và phát triển các mô hình đọc hiểu tự động.

IV. Ứng dụng thực tiễn của Nghiên Cứu Đọc Hiểu Tự Động

Nghiên cứu đọc hiểu tự động có nhiều ứng dụng thực tiễn trong việc cung cấp thông tin về COVID-19. Các hệ thống chatbot và trợ lý ảo có thể giúp người dùng tìm kiếm thông tin nhanh chóng và chính xác.

4.1. Hệ thống chatbot hỗ trợ người dùng

Các hệ thống chatbot có thể trả lời nhanh chóng các câu hỏi liên quan đến COVID-19, giúp người dùng tiết kiệm thời gian và nâng cao trải nghiệm tìm kiếm thông tin.

4.2. Tích hợp vào các ứng dụng y tế

Nghiên cứu này có thể được tích hợp vào các ứng dụng y tế, giúp người dùng theo dõi tình hình sức khỏe và nhận thông tin chính xác về dịch bệnh.

V. Kết luận và Hướng phát triển trong Nghiên Cứu

Nghiên cứu đọc hiểu tự động dựa trên suy luận số liệu cho văn bản tiếng Việt về COVID-19 đã mở ra nhiều cơ hội mới. Việc phát triển các mô hình và bộ dữ liệu chất lượng cao sẽ giúp nâng cao khả năng đọc hiểu và cung cấp thông tin chính xác cho người dùng.

5.1. Tương lai của nghiên cứu đọc hiểu tự động

Tương lai của nghiên cứu này hứa hẹn sẽ có nhiều tiến bộ hơn nữa trong việc phát triển các mô hình đọc hiểu tự động, đặc biệt là trong bối cảnh dịch bệnh.

5.2. Đề xuất hướng nghiên cứu tiếp theo

Các nghiên cứu tiếp theo có thể tập trung vào việc cải thiện độ chính xác của các mô hình và mở rộng bộ dữ liệu để bao quát nhiều khía cạnh hơn của COVID-19.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong giai đoạn đại dịch Covid-19 bùng phát, lượng tin tức và dữ liệu cập nhật về tình hình dịch bệnh gia tăng liên tục trên các phương tiện truyền thông và báo điện tử chính thống. Các văn bản này chứa mật độ dày đặc các thông tin định lượng như số lượng ca nhiễm mới, số ca bình phục, ca tử vong, số liệu phân bổ theo từng địa phương và các mốc thời gian. Người đọc khi tiếp cận văn bản thường có nhu cầu nắm bắt các thông tin tổng hợp đòi hỏi sự tính toán, so sánh hoặc suy luận số liệu (như tính mức chênh lệch giữa các ngày, tổng số ca tại nhiều khu vực, tỷ lệ phần trăm hoặc xác định địa phương có số liệu cao nhất/thấp nhất) thay vì chỉ đọc các số liệu đơn lẻ.

Bài toán Đọc hiểu tự động (Machine Reading Comprehension - MRC) truyền thống chủ yếu tập trung vào việc rút trích các đoạn văn bản (text spans) có sẵn để trả lời câu hỏi. Khi đối mặt với các câu hỏi đòi hỏi tư duy tính toán trên số liệu, các mô hình trích xuất truyền thống không thể tự đưa ra đáp án chính xác nếu đáp án đó chưa được viết tường minh trong ngữ cảnh. Nhằm giải quyết khoảng trống này trong xử lý ngôn ngữ tự nhiên tiếng Việt, khóa luận đặt mục tiêu nghiên cứu và xây dựng hệ thống đọc hiểu tự động có khả năng suy luận số liệu trên tập văn bản chủ đề Covid-19.

Mục tiêu tổng quát của đề tài là xây dựng hệ thống đọc hiểu tự động kết hợp suy luận số liệu cho văn bản tiếng Việt thuộc chủ đề Covid-19. Để hiện thực hóa mục tiêu này, khóa luận đề ra 3 nhiệm vụ nghiên cứu cụ thể:

1. Nghiên cứu và xây dựng bộ dữ liệu đọc hiểu tự động kết hợp suy luận số liệu chủ đề Covid-19 phục vụ cho bài toán đọc hiểu tự động kết hợp suy luận.
2. Nghiên cứu các mô hình đọc hiểu tự động kết hợp suy luận hiện có trên thế giới.
3. Áp dụng những mô hình đọc hiểu tự động này vào bộ dữ liệu đã xây dựng để phân tích và so sánh kết quả; từ đó đưa ra kết luận và định hướng phát triển đề tài.

Đối tượng nghiên cứu của khóa luận là bài toán đọc hiểu tự động kết hợp suy luận số liệu cho văn bản tiếng Việt. Phạm vi nghiên cứu được giới hạn như sau:

• Phạm vi dữ liệu: Thu thập từ các bài báo tiếng Việt thuộc chủ đề Covid-19 được xuất bản trong khoảng thời gian từ tháng 9 đến tháng 10 năm 2021 trên 4 trang báo điện tử: VnExpress, Thanh Niên, Báo Mới và ZingNews.
• Phạm vi phương pháp: Tập trung xây dựng bộ dữ liệu ViCOVIDQA với các dạng suy luận số liệu xác định; triển khai đánh giá thực nghiệm và phân tích đối sánh hai mô hình suy luận số liệu là NAQANet và NumNet trên hai bộ dữ liệu ViCOVIDQA và UIT-ViQuAD.

Cơ sở lý thuyết và phương pháp

Về mặt lý thuyết, bài toán đọc hiểu tự động suy luận số liệu được định nghĩa với đầu vào gồm một đoạn văn bản tiếng Việt $C$ (ngữ cảnh từ bài báo) và một câu hỏi $Q$ liên quan đến nội dung văn bản. Đầu ra là câu trả lời $A$, có thể là một đoạn trích từ văn bản hoặc một giá trị được tính toán dựa trên các số liệu xuất hiện trong $C$ và $Q$.

Khóa luận tiến hành khảo sát các công trình nghiên cứu và bộ dữ liệu MRC trên thế giới và tại Việt Nam:

• Các bộ dữ liệu quốc tế dạng rút trích: WikiQA, MS MARCO, SQuAD 1.1, SQuAD 2.0, TriviaQA, COVID-QA và DROP (bộ dữ liệu nền tảng tích hợp suy luận số học).
• Các bộ dữ liệu quốc tế dạng trắc nghiệm/điền khuyết: Children’s Book Test (CBT), RACE, Google MC-AFP, CNN/Daily Mail, Who-did-What, LAMBADA.
• Các bộ dữ liệu tiếng Việt: UIT-ViQuAD (dữ liệu rút trích từ Wikipedia), UIT-ViNewsQA (dữ liệu chủ đề sức khỏe), ViMMRC (dữ liệu trắc nghiệm môn Tiếng Việt tiểu học), UIT-WikiQA (đọc hiểu cấp độ câu).

Về kiến trúc mô hình, khóa luận nghiên cứu ba mô hình học sâu:

• QANet: Kiến trúc kết hợp mạng nơ-ron tích chập một chiều (1D-CNN), tích chập tách biệt chiều sâu (Depthwise Separable CNN) và cơ chế tự chú ý đa đầu (Multi-Head Self-Attention) cùng khối Context-Query Attention, giúp tăng tốc độ tính toán song song so với mạng RNN truyền thống.
• NAQANet (Numerically-aware QANet): Kế thừa khối mã hóa của QANet và mở rộng đầu ra để giải quyết 4 dạng câu trả lời: (1) vị trí bắt đầu và kết thúc trên đoạn văn; (2) vị trí bắt đầu và kết thúc trên câu hỏi; (3) câu trả lời phép đếm (dự đoán số nguyên từ 0 đến 9 qua hàm softmax); (4) câu trả lời phép toán số học (gán dấu $+$, $-$, hoặc $0$ cho từng số trong văn bản để tính tổng).
• NumNet: Tích hợp mạng nơ-ron đồ thị (Graph Neural Network - GNN) vào bài toán MRC số liệu. Mô hình biểu diễn các con số trong đoạn văn và câu hỏi thành các nút trên đồ thị có hướng không đồng nhất $G = (V, E)$. Đồ thị sử dụng 2 loại cạnh quan hệ số học (lớn hơn $>$, nhỏ hơn hoặc bằng $\le$) kết hợp với 4 loại quan hệ vị trí ngữ cảnh ($c-c$, $q-q$, $q-c$, $c-q$) để truyền thông tin giữa các nút số liệu trước khi đưa vào mô đun dự đoán.

Phương pháp nghiên cứu thực nghiệm bao gồm quy trình thu thập ngữ liệu báo chí thực tế, xây dựng bộ tiêu chí gán nhãn (Guidelines), tổ chức đội ngũ cộng tác viên gán nhãn qua nhiều vòng kiểm định chéo và kiểm chuẩn con người, kết hợp huấn luyện đánh giá mô hình học sâu. Ba thước đo định lượng được sử dụng để đánh giá hiệu suất mô hình gồm: Độ chính xác tuyệt đối (Exact Match - EM), Điểm F1 ở cấp độ token (F1-score) và Độ chính xác (Accuracy).

Nội dung chính theo từng chương

Chương 1. Bài toán đọc hiểu tự động suy luận số liệu và tính ứng dụng

Chương này trình bày tổng quan về bài toán đọc hiểu tự động kết hợp suy luận số liệu và phân tích vai trò thực tiễn của bài toán trong việc tích hợp vào các hệ thống trợ lý ảo (như Siri, Alexa, Cortana) và các công cụ tìm kiếm trực tuyến (như Google, Bing). Tác giả thiết lập bài toán hình thức với cấu trúc đầu vào - đầu ra, nêu rõ tính cấp thiết của việc tự động hóa xử lý số liệu báo chí dịch bệnh trong bối cảnh Covid-19, đồng thời xác định đối tượng, phạm vi nghiên cứu, cấu trúc luận văn và tóm tắt các kết quả đạt được.

Chương 2. Các công trình nghiên cứu liên quan

Chương 2 thực hiện khảo sát có hệ thống các công trình nghiên cứu trong và ngoài nước liên quan đến bài toán MRC:

• Phân loại và phân tích ưu nhược điểm của các bộ dữ liệu đọc hiểu rút trích và trắc nghiệm trên thế giới, nhấn mạnh bộ dữ liệu DROP như bước chuyển dịch sang suy luận số liệu.
• Tổng hợp tình hình phát triển các bộ dữ liệu MRC tiếng Việt (UIT-ViQuAD, UIT-ViNewsQA, ViMMRC, UIT-WikiQA).
• Trình bày chi tiết toán học và kiến trúc của các mô hình: QANet, mô hình nhận biết số liệu NAQANet và mô hình suy luận dựa trên đồ thị NumNet.
• Trình bày định nghĩa và công thức tính toán của các phương pháp đánh giá: Accuracy, F1-Score và Exact Match.

Chương 3. Xây dựng bộ dữ liệu

Chương 3 trình bày chi tiết quy trình 5 bước xây dựng bộ dữ liệu ViCOVIDQA:

1. Tuyển dụng annotator và xây dựng Guidelines: Tuyển chọn 5 cộng tác viên là sinh viên có nền tảng xử lý ngôn ngữ tự nhiên thông qua bài kiểm tra năng lực. Xây dựng tài liệu hướng dẫn định nghĩa 9 loại suy luận và quy tắc đặt câu hỏi.
2. Thu thập bài báo: Thu thập 841 bài báo gắn nhãn Covid-19 từ 4 trang báo (VnExpress, Thanh Niên, Báo Mới, ZingNews), đối chiếu số liệu ca bệnh với cổng thông tin Bộ Y tế.
3. Tạo câu hỏi và câu trả lời: Thực hiện qua 2 giai đoạn thử nghiệm (đạt 76% F1 ở lần 1 và 89% F1 ở lần 2 sau khi hiệu chỉnh tài liệu hướng dẫn). Quá trình gán nhãn chính thức diễn ra trong 8 tuần, mỗi bài báo tạo tối thiểu 5 câu hỏi (trong đó ít nhất 2 câu suy luận số liệu).
4. Kiểm tra dữ liệu: Thực hiện tự kiểm tra, kiểm tra chéo giữa các cộng tác viên theo 3 tiêu chí (lỗi chính tả, độ chính xác phép tính, tính liên quan của ngữ cảnh) và kiểm tra nghiệm thu bởi tác giả.
5. Thu thập thêm câu trả lời (Human benchmark): 5 cộng tác viên trả lời lại các tập phát triển và kiểm thử độc lập, ghi nhận thời gian trả lời trung bình 18 giây/câu, đạt hiệu suất con người 76.17% F1 trên tập phát triển và 77.xx% F1 trên tập kiểm thử.

Bảng dưới đây tổng hợp thông số cấu trúc của bộ dữ liệu ViCOVIDQA:

Thuộc tính thống kê	Tập huấn luyện (Train)	Tập phát triển (Dev)	Tập kiểm thử (Test)	Toàn bộ (All)
Số lượng bài báo	672	85	84	841
Số lượng câu hỏi	5.193	744	657	6.594
Chiều dài bài báo trung bình (từ)	-	-	-	543,26
Chiều dài câu hỏi trung bình (từ)	-	-	-	17,46
Chiều dài câu trả lời trung bình (từ)	-	-	-	3,27
Kích thước từ điển (từ vựng)	6.506	2.812	2.653	7.180

Phân bố 9 loại câu hỏi suy luận trong bộ dữ liệu ViCOVIDQA được xác định như sau:

STT	Loại câu hỏi suy luận	Tỷ lệ trong tập Train (%)	Tỷ lệ chung toàn bộ (%)
1	Phép trừ	12,45	-
2	Phép so sánh	7,10	-
3	Phép liệt kê	9,43	-
4	Các phép tính khác (nhân, chia, trung bình, tỉ lệ)	3,81	-
5	Đồng tham chiếu	1,17	1,16
6	Phép đếm	-	16,10
7	Nhóm các phép toán số học cộng/trừ/khác	-	39,44
8	Nhóm câu hỏi suy luận số liệu tổng cộng	-	63,21
9	Các loại suy luận khác (trích xuất trực tiếp)	-	36,79

Khóa luận cũng phân loại câu hỏi theo 8 dạng từ để hỏi: Who, When, Where, Why, How, What, Others và bổ sung dạng How Many (chiếm tỷ trọng cao nhất).

Chương 4. Thực nghiệm và đánh giá kết quả

Chương này mô tả quá trình cài đặt thực nghiệm mô hình NAQANet và NumNet trên tập dữ liệu ViCOVIDQA kết hợp biểu diễn từ PhoW2V, đồng thời chạy đối sánh trên bộ dữ liệu UIT-ViQuAD. Kết quả thực nghiệm ghi nhận mô hình NAQANet kết hợp PhoW2V đạt hiệu suất cao nhất trên tập kiểm thử của ViCOVIDQA với điểm số 22.58% F1.

Chương 4 cũng đi sâu phân tích hiệu suất mô hình dưới nhiều góc độ: ảnh hưởng của từng loại suy luận (các câu hỏi phép đếm và phép tính đơn giản có kết quả tốt hơn so với câu hỏi đồng tham chiếu hay phép tính phức tạp), tác động của độ dài đoạn văn (đoạn văn dài làm giảm đáng kể độ chính xác), tác động của độ dài câu hỏi, phân tích lỗi dự đoán và thực hiện nghiên cứu cắt bỏ (Ablation study) trên mô đun suy luận của mô hình NumNet.

Chương 5. Kết luận và hướng phát triển

Chương 5 tóm tắt các kết quả đạt được về việc xây dựng thành công bộ ngữ liệu ViCOVIDQA và kết quả đánh giá thực nghiệm các mô hình suy luận số liệu baseline. Tác giả đồng thời chỉ ra các hạn chế kỹ thuật hiện tại và đề xuất định hướng phát triển trong tương lai.

Kết quả và đóng góp

Khóa luận đã đạt được các kết quả định lượng và đóng góp khoa học cụ thể:

• Xây dựng thành công ViCOVIDQA - bộ dữ liệu đọc hiểu tự động kết hợp suy luận số liệu đầu tiên cho tiếng Việt với quy mô 6.594 cặp câu hỏi - câu trả lời được trích xuất từ 841 bài báo chủ đề Covid-19.
• Thiết lập tỷ lệ câu hỏi suy luận số liệu đạt 63.21% (bao gồm 39.44% câu hỏi phép toán số học, 16.10% phép đếm, cùng các dạng so sánh, chọn lựa, liệt kê và đồng tham chiếu), trong khi nhóm câu hỏi rút trích trực tiếp chiếm 36.79%.
• Xác lập điểm chuẩn hiệu suất của con người (Human Performance) trên tập dữ liệu với kết quả F1 đạt 76.17% trên tập phát triển và 77.xx% trên tập kiểm thử, với thời gian phản hồi trung bình 18 giây/câu.
• Cung cấp kết quả đánh giá thực nghiệm mô hình baseline: Mô hình NAQANet kết hợp PhoW2V đạt kết quả tốt nhất trên tập kiểm thử ViCOVIDQA với 22.58% F1.
• So với các nghiên cứu trước đây tại Việt Nam (chủ yếu tập trung vào đọc hiểu rút trích đơn thuần như UIT-ViQuAD hay trắc nghiệm như ViMMRC), khóa luận đã tiên phong đặt nền tảng nghiên cứu cho dạng bài toán MRC yêu cầu năng lực suy luận và tính toán số học trên ngữ cảnh tiếng Việt.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận một số hạn chế dựa trên phạm vi và kết quả thực nghiệm:

• Chiều dài trung bình của đoạn văn trong ViCOVIDQA tương đối lớn (543.26 từ/bài báo, gấp 2.5 lần bộ dữ liệu DROP), gây khó khăn cho việc áp dụng trực tiếp các mô hình ngôn ngữ tiền huấn luyện theo kiến trúc Transformer tiêu chuẩn (như BERT, XLM-R) vốn bị giới hạn độ dài đầu vào ở mức 512 tokens.
• Tỷ lệ câu hỏi suy luận dạng đồng tham chiếu còn thấp (chỉ chiếm 1.16% - 1.17%) do tính chất phức tạp trong việc đặt câu hỏi và gán nhãn, chỉ có 50% cộng tác viên có khả năng xây dựng loại câu hỏi này.
• Hiệu suất của các mô hình thực nghiệm (NAQANet đạt 22.58% F1) còn khoảng cách rất lớn so với hiệu suất trả lời của con người (trên 77% F1), cho thấy bài toán suy luận số liệu trên văn bản tiếng Việt vẫn là thách thức lớn đối với các kiến trúc mô hình học sâu hiện nay.

Hướng nghiên cứu tiếp theo được tác giả đề xuất:

• Nghiên cứu áp dụng và tinh chỉnh các kiến trúc mô hình ngôn ngữ lớn hoặc các mô hình có khả năng xử lý ngữ cảnh dài để vượt qua rào cản độ dài văn bản.
• Cải tiến mô đun suy luận đồ thị GNN trong NumNet để mô hình hóa tốt hơn các quan hệ ngữ nghĩa và số học phức tạp trong tiếng Việt.
• Mở rộng quy mô bộ dữ liệu ViCOVIDQA sang các chủ đề kinh tế, xã hội khác có mật độ số liệu cao ngoài phạm vi Covid-19.

Giá trị tham khảo

Khóa luận là tài liệu tham khảo chuyên môn phù hợp cho sinh viên, học viên cao học và các nhóm nghiên cứu thuộc các ngành Khoa học Dữ liệu, Công nghệ Thông tin, Trí tuệ Nhân tạo và Xử lý Ngôn ngữ Tự nhiên (NLP).

Các nội dung có giá trị tham khảo nổi bật bao gồm:

• Quy trình 5 bước xây dựng và kiểm định chất lượng bộ dữ liệu MRC (từ tuyển chọn cộng tác viên, thiết kế Guidelines phân loại 9 dạng suy luận đến kiểm tra chéo và đo lường benchmark con người).
• Phương pháp luận chuyển đổi bài toán đọc hiểu văn bản thông thường sang bài toán suy luận số học kết hợp đồ thị (Graph Neural Network).
• Bộ số liệu thống kê chi tiết và mã nguồn/cấu trúc của bộ dữ liệu ViCOVIDQA phục vụ việc làm giàu tài nguyên nghiên cứu cho cộng đồng NLP tiếng Việt.

Câu hỏi thường gặp

1. Bộ dữ liệu ViCOVIDQA có quy mô bao nhiêu và được phân chia theo tỷ lệ nào?
Bộ dữ liệu gồm 6.594 cặp câu hỏi - câu trả lời được xây dựng từ 841 bài báo. Dữ liệu được chia thành 3 tập: Tập huấn luyện (Train) gồm 5.193 câu hỏi từ 672 bài báo; Tập phát triển (Dev) gồm 744 câu hỏi từ 85 bài báo; Tập kiểm thử (Test) gồm 657 câu hỏi từ 84 bài báo.

2. Tỷ lệ các dạng câu hỏi suy luận số liệu trong ViCOVIDQA được phân bổ như thế nào?
Các câu hỏi suy luận số liệu chiếm tổng cộng 63.21% bộ dữ liệu, trong đó: Phép đếm chiếm 16.10%; Phép trừ chiếm 12.45% (tập Train); Phép liệt kê chiếm 9.43%; Phép so sánh chiếm 7.10%; Các phép tính hỗn hợp (nhân, chia, trung bình, tỉ lệ) chiếm 3.81%; Đồng tham chiếu chiếm 1.16% - 1.17%. Nhóm câu hỏi rút trích trực tiếp không suy luận số liệu chiếm 36.79%.

3. Hiệu suất của con người trên bộ dữ liệu ViCOVIDQA đạt mức bao nhiêu và chênh lệch thế nào so với máy?
Hiệu suất trả lời của con người đạt điểm trung bình F1 là 76.17% trên tập phát triển và 77.xx% trên tập kiểm thử (với thời gian trung bình 18 giây/câu). Trong khi đó, mô hình máy đạt kết quả tốt nhất là NAQANet kết hợp PhoW2V chỉ đạt 22.58% F1 trên tập kiểm thử, tạo ra khoảng cách hiệu suất hơn 54% F1 giữa người và máy.

4. Vì sao độ dài bài báo trong ViCOVIDQA lại gây khó khăn cho các mô hình tiền huấn luyện?
Chiều dài trung bình của các bài báo trong ViCOVIDQA là 543.26 từ (do giữ nguyên toàn bộ nội dung bài báo). Mức độ dài này vượt quá ngưỡng giới hạn độ dài đầu vào tối đa phổ biến (512 tokens) của các mô hình ngôn ngữ tiền huấn luyện như BERT hay XLM-R, khiến mô hình không thể tiếp nhận trọn vẹn ngữ cảnh nếu không có giải pháp cắt tỉa hoặc phân đoạn văn bản.

5. Mô hình NumNet xử lý mối quan hệ giữa các con số trong văn bản bằng cơ chế nào?
NumNet trích xuất các con số trong đoạn văn và câu hỏi để tạo thành các nút trên đồ thị có hướng không đồng nhất $G = (V, E)$. Mô hình sử dụng 2 loại cạnh quan hệ giá trị ($>$, $\le$) kết hợp 4 loại cạnh quan hệ ngữ cảnh ($c-c$, $q-q$, $q-c$, $c-q$) và áp dụng nhiều bước suy luận GNN xếp chồng để cập nhật vector biểu diễn số liệu trước khi đưa vào mô đun dự đoán đáp án.

Kết luận

Khóa luận tốt nghiệp của tác giả Lê Việt Thắng đã nghiên cứu toàn diện bài toán đọc hiểu tự động kết hợp suy luận số liệu cho văn bản tiếng Việt thuộc chủ đề Covid-19. Công trình đã xây dựng thành công bộ dữ liệu ViCOVIDQA với 6.594 cặp câu hỏi - câu trả lời từ 841 bài báo, định hình bộ tiêu chuẩn gán nhãn 9 dạng suy luận và thiết lập điểm chuẩn đánh giá con người đạt trên 77% F1. Kết quả thử nghiệm các mô hình học sâu NAQANet và NumNet (đạt F1 cao nhất 22.58%) phản ánh độ thách thức cao của tập dữ liệu và mở ra hướng nghiên cứu mới trong việc ứng dụng mạng nơ-ron đồ thị và mô hình hóa số liệu cho xử lý ngôn ngữ tự nhiên tiếng Việt.

Trích đoạn nội dung tài liệu

Đặt vấn đề “Covid-19” là từ khóa nóng nhất trong vòng hai năm trở lại đây không chỉ ở Việt Nam mà còn trên toàn thế giới. Khi cả nước buộc phải“sống chung với dịch” như hiện nay thì nhu cầu tiếp nhận, cập nhật thông tin về diễn biến dịch bệnh và bảo vệ sức khỏe là rất cấp thiết đối với mỗi người. Cùng với sự phát triển của công nghệ thông tin và phương tiện truyền thông, các website báo điện tử tại Việt Nam trở thành điểm truy cập sôi động hơn bao giờ hết, bởi sự tuy tín, thuận tiện và tính kip thoi. Moi người dân có thé dé dàng tiếp cận với nguồn thông tin chính thống về chính sách và chỉ đạo của cơ quan nhà nước về diễn biến dịch bệnh một cách nhanh nhất đồng thời cũng tránh được rủi ro người dân tiếp cận với những nguồn thông tin sai lệch, gây mất trật tự, an toàn xã hội và đặc biệt hơn còn ảnh hưởng không tốt đến nhận thức của cộng đông.

Góp một phần không nhỏ vào công cuộc phòng, chống Covid-19 và khôi phục nền kinh tế không thé không kể đến các ứng dụng trí tuệ nhân tạo. Day được xem như một công cụ hỗ trợ đắc lực dé không chỉ kiểm soát diễn biến lây lan dịch bệnh, đưa ra dự đoán cho các nhà hoạch định, mà còn giúp các nhân viên y tế chân đoán tình hình sức khỏe của bệnh nhân thông qua tiếng ho, dự đoán Covid-19 qua ảnh chụp CT phdi,.rut ngăn thời gian điều trị và mang lại hiệu quả cao trong công tác y tế. Nhận thức được tầm quan trọng của việc được tiếp cận các nguồn thông tin chính xác liên quan đến tình hình dịch bệnh và những tiện ích mà trí tuệ nhân tạo mang lại cho con người, chúng tôi đã nghiên cứu và xây dựng hệ thống đọc hiéu tự động (Machine Reading Comprehension - MRC) tiếng Việt dé người dùng có thé dé dàng tiếp cận, tra cứu và thu thập cho mình những kiến thức, kỹ năng cũng như giải đáp thắc mắc xoay quanh các bài báo về chủ đề Covid-19. Bài toán đọc hiểu tự động suy luận số liệu và tính ứng dụng 1.

Bai toán đọc hiểu tự động suy luận số liệu Suy luận trong bai toán đọc hiểu tự động là một trong những xu hướng nghiên cứu về bài toán này những năm trở lại đây. Ngoài đưa ra những câu trả lời được trích xuất trong đoạn văn thì mô hình còn có thé trả lời những loại suy luận khác như logic [1], đồng tham chiếu [2],. va trong đó suy luận số liệu là một loại suy luận rất thú vị. Với bài toán đọc hiểu tự động kết hợp với suy luận số liệu này thì ngoài việc chỉ có thé đưa ra câu trả lời có sẵn trong đoạn văn thì những mô hình giải quyết bài toán này còn có khả năng tính toán các phép tính cơ bản trong số liệu để trả lời cho câu hỏi, việc này có tính ứng dụng rất cao trong những văn bản cập nhật diễn biến dịch bệnh Covid-19 như hiện nay khi các số liệu về dịch bệnh liên tục được đưa ra và yêu cầu người đọc phải tự suy luận thì bây giờ với những mô hình đọc hiểu tự động này có thê giúp con người trả lời những thông tin đó, giúp tiết kiệm được thời gian cho người doc, chi tiệt vê bài toán sẽ được chúng tôi mô tả ở dưới.

Đầu vào: Một bài báo tiếng Việt C và một câu hỏi Q về nội dung liên quan trong bài báo. Đầu ra: Câu trả lời A cho câu hỏi Q được rút trích từ bài báo hoặc được tính toán dựa theo những con sô có trong bài báo và câu hỏi.1 Ví dụ bai toán đọc hiểu tự động suy luận số liệu Sáng nay 5.8, Bộ Y tế thông báo 3.941 ca mặc Covid-19 ghi nhận trong nước (giảm 326 ca so với sáng hôm qua); TP.Theo thông báo của Bộ Y tế từ 18 giờ 30 ngày 4.8 đến 6 giờ sáng nay, trên Hệ thống Quốc gia quản lý ca bệnh Covid-19 ghi nhận 3.943 ca nhiễm mới, trong đó 2 ca nhập cảnh và 3.941 ca ghi nhận trong nước (giảm 326 ca so với sang hôm qua) tại 24 tỉnh, thành.943 ca Covid-19, riêng TP.349 bệnh nhân Trong số các trường hợp mắc mới do lây nhiễm trong nước, tại TP.349 ca, Bình Dương 497 ca, Tây Ninh 235 ca, Long An 189 ca, Tiền Giang 169 ca, Đồng Nai 110 ca, Đà Nẵng 92 ca, Bà Rịa - Vũng Tàu 66 ca, Vĩnh Long 58 ca, Bình Dinh 35 ca, Đồng 14 Tháp 32 ca, An Giang 21 ca, Sóc Trăng 20 ca, Phú Yên 17 ca, Kiên Giang 12 ca. Các tỉnh: Đắk Lắk, Quảng Bình và Trà Vinh mỗi nơi có 9 ca; Bạc Liêu 6 ca, Lạng Sơn 2 ca. Các tỉnh: Thanh Hóa, Lâm Đồng, Quảng Trị và Hà Tĩnh mỗi địa phương có 1 ca.941 ca ghi nhận trong cộng đồng.

Theo Bộ Y tế từ đầu dịch đến nay, Việt Nam có 181.756 ca mắc Covid-19 (2.331 ca nhập cảnh va 179.425 ca mắc trong nước); 54.332 ca đã được điều trị khỏi. Số trường hợp nhiễm mới ghi nhận trong nước của đợt dịch thứ 4 (từ 27.4) đến nay là 177.558 bệnh nhân đã khỏi bệnh. 470 bệnh nhân nặng đang điều trị hồi sức tích cực và 21 bệnh nhân nguy kịch đang điều trị ECMO. Câu hoi 1: tinh nào có sô ca mặc nhiêu nhât cả nước ? Đáp án: TP.HCM Câu hỏi 2: Long An, Tiền Giang, Đồng Nai tỉnh nào có 189 ca nhiễm ? Dap an: Long An Câu hỏi 3: Tổng số ca nhiém Covid-19 tại TP.HCM va Binh Dương là bao nhiêu ? Dap án: 2846 Câu hỏi 4: Ti lệ bệnh nhân đã khỏi bệnh tinh từ 27/4 là bao nhiêu ? Đáp án: 28.

Tinh ứng dung của đề tài Bài toán đọc hiểu tự động thường được sử dụng nhiều nhất trong các hệ thống chatbot, trợ lý ảo nồi tiếng như Cortana, Alexa, Siri,. có thé trả lời bất kì câu hỏi nào của người dùng một cách nhanh chóng và tiết kiệm thời gian hơn so với khi người dùng phải tự tìm nguồn tài liệu dé đọc, hiểu và tự trả lời. Ngoài ra, bài toán này còn được ứng dụng vào những hệ thống tìm kiếm thông tin nổi tiếng trên toàn thế giới như Google, Bing, Yahoo,. xếp hạng kết quả tìm kiếm giúp người dùng dé dang tìm thây nội dung liên quan tạo ra trải nghiệm thoải mái và tiện lợi.

Bên cạnh đó, chủ đê 15 về Covid-19 hiện đang là chủ dé rất “nóng”, do đó việc xây dựng một ứng dung đọc hiểu tự động có thể hỗ trợ người dùng tìm kiếm, cập nhật thông tin về diễn biến dịch bệnh và giải đáp thắc mắc của người dùng từ những nguồn nội dung chính thống và tin cậy, đặc biệt với bài toán đọc hiểu tự động suy luận số liệu thì còn có thé giải đáp cho người dùng những câu hỏi đòi hỏi sự tính toán số liệu trong những văn bản cập nhật thông tin diễn biến dịch bệnh chang chit số liệu. Nhìn chung, đề tài nghiên cứu này có ứng dụng rất thiết thực trong thời điểm hiện tại, giúp ích cho hàng triệu người Việt Nam bảo vệ được sức khỏe của mình trong mùa dịch. Mục tiêu: Mục tiêu nghiên cứu của chúng tôi là xây dựng hệ thống đọc hiểu tự động kết hợp suy luận số liệu cho văn bản chủ đề Covid-19 cho tiếng Việt. Dé hoàn thành được mục tiêu này, chúng tôi phải thực hiện 3 công việc: e Nghiên cứu và xây dựng bộ dữ liệu đọc hiệu tự động kết hợp suy luận số liệu chủ đề Covid-19 dé phục vụ cho bai toán đọc hiểu tự động kết hợp suy luận.

e Nghiên cứu các mô hình doc hiểu tự động kết hợp suy luận hiện có trên thế gidi. e Áp dụng những mô hình đọc hiểu tự động này vào bộ dữ liệu đã xây dựng được dé phân tích và so sánh kết quả. Kết luận và nêu ra hướng phát triển cho đề tài. Đối tượng và phạm vi nghiên cứu: Đối tượng: Bài toán đọc hiểu tự động kết hợp suy luận số liệu tiếng Việt.

Pham vi nghiên cứu: Với nghiên cứu này, phạm vi nghiên cứu của chúng tôi tập trung vào các bài báo chủ đề Covid-19 tiếng Việt, về giới hạn trong nghiên cứu thì chúng tôi chỉ tập trung khác thác những vấn đề sau: e Xây dựng bộ dữ liệu đọc hiểu tự động có sự kết hợp của các loại suy luận sé liệu vào câu hoi va câu tra lời. 16 e Đánh giá hai mô hình suy luận số liệu nổi tiếng là NumNet và NAQANet trên bộ dữ liệu đã xây dựng và bộ dữ liệu ViQuAD [3] và so sánh kết quả. e Phân tích kết quả và ảnh hưởng của các khía cạnh khác nhau của bộ dữ liệu lên hiệu suât của hai mô hình này. Kết quả nghiên cứu: Thông qua nghiên cứu này, chúng tôi đã đạt được một số kết quả như sau: e Xây dựng thành công ViCOVIDQA, bộ dữ liệu đọc hiểu tự động kết hợp suy luận số liệu chủ đề Covid-19 tiếng Việt bao gồm 6594 cặp câu hỏi và câu trả lời được xây dựng từ 841 bài báo chủ đề Covid-19.

Đây là bộ dữ liệu đọc hiểu tự động kết hợp suy luận số liệu đầu tiên trên tiếng Việt để làm bước đệm đầu tiên cho những nghiên cứu về bài toán này sau này. e Đánh giá hai mô hình đọc hiểu tự động suy luận số liệu là NumNet và NAQANet trên bộ dữ liệu ViCOVIDQA và so sánh với kết quả của hai mô hình này trên bộ dữ liệu ViQuAD [3], kết quả tốt nhất đạt được trên bộ dữ liệu ViCOVIDQA là khi sử dụng mô hình NAQANet kết hợp với mô hình nhúng PhoW2V với 22. e Phân tích được các khía cạnh khác nhau của bộ dữ liệu VICOVIDQA và anh hưởng của mô hình lên hai khía cạnh là kích thước của đoạn văn và loại câu hỏi suy luận. Cấu trúc của luận văn Phần còn lại của luận văn sẽ được tô chức như sau: Chương 2: Các công trình liên quan Ở chương này, chúng tôi sẽ khái quát về các công trình nghiên cứu về những bộ dữ liệu đọc hiểu tự động đang có hiện nay mà chúng tôi tìm hiểu được cũng như là những mô hình giải quyết bài toán đọc hiểu tự động suy luận số liệu và các phương pháp đánh giá cho bài toán này.

17 Chương 3: Xây dựng bộ dữ liệu Trong chương nay, chúng tôi mô ta chi tiết quy trình xây dựng bộ dữ liệu đọc hiểu tự động từ xây dung guidelines, tuyển dụng, thu thập dit liệu, xây dựng câu hỏi và câu trả lời, kiểm tra dữ liệu và thu thập thêm câu trả lời.