Khóa Luận Tốt Nghiệp: Nghiên Cứu Đọc Hiểu Tự Động Thành Ngữ Tiếng Việt

Khóa luận nghiên cứu về đọc hiểu tự động cho thành ngữ tiếng Việt, khám phá ứng dụng và tiềm năng trong lĩnh vực khoa học máy tính.

• Tác giả: Nguyễn Thành Lâm
• Người hướng dẫn: PGS. Nguyễn Lưu Thùy Ngân
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Đọc Hiểu Tự Động Thành Ngữ Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2024
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: TONG QUAN
• 1.1. Đặt vấn đề
• 1.2. Đối tượng nghiên cứu
• 1.3. Phạm vi nghiên cứu
• 1.4. Mục tiêu đạt được
• 1.5. Cấu trúc khóa luận
• 2. CHƯƠNG 2: CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LÝ THUYẾT
• 2.1. Các công trình nghiên cứu liên quan
• 2.2. Các bộ dữ liệu thành ngữ, tục ngữ đã có
• 2.3. Các bộ dữ liệu liên quan đến bài toán MRC
• 2.3.1. Bidirectional Transformers for Language Understanding
• 2.3.2. Hệ thống hỏi đáp
• 2.3.3. Hệ thống đọc hiểu tự động
• 2.4. Kết chương
• 3. CHƯƠNG 3: XÂY DỰNG BỘ DỮ LIỆU
• 3.1. Quy trình xây dựng bộ dữ liệu
• 3.1.1. Nguồn gốc của bộ dữ liệu
• 3.1.2. Thu thập và tạo dữ liệu thô
• 3.1.3. Thống kê dữ liệu đã thu thập trên Internet
• 3.1.4. Quá trình gán nhãn
• 3.1.5. Ba mức độ của bộ dữ liệu
• 3.2. Thống kê bộ dữ liệu
• 3.3. Kết chương
• 4. CHƯƠNG 4: THỰC NGHIỆM VÀ ĐÁNH GIÁ
• 4.1. Bài toán
• 4.2. Các mô hình cơ sở
• 4.3. Thực nghiệm và kết quả
• 4.4. Hiệu chỉnh tham số
• 4.5. Kết quả thực nghiệm và các thách thức của bộ dữ liệu
• 4.6. Kết chương
• 5. CHƯƠNG 5: KẾT LUẬN, HẠN CHẾ VÀ HƯỚNG PHÁT TRIỂN
• 5.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng Quan Về Nghiên Cứu Đọc Hiểu Tự Động Thành Ngữ Tiếng Việt

Nghiên cứu về đọc hiểu tiếng Việt là một lĩnh vực đang thu hút sự quan tâm lớn trong cộng đồng nghiên cứu ngôn ngữ tự nhiên. Đặc biệt, việc áp dụng công nghệ vào việc hiểu và xử lý thành ngữ tiếng Việt mang lại nhiều thách thức và cơ hội. Thành ngữ không chỉ là những cụm từ thông thường mà còn chứa đựng nhiều ý nghĩa sâu sắc, phản ánh văn hóa và tri thức của người Việt. Việc phát triển các mô hình đọc hiểu tự động cho thành ngữ sẽ giúp máy tính có khả năng xử lý ngôn ngữ tự nhiên một cách hiệu quả hơn.

1.1. Định Nghĩa Thành Ngữ Và Vai Trò Trong Ngôn Ngữ

Thành ngữ là những cụm từ cố định mang ý nghĩa đặc biệt, thường không thể hiểu theo nghĩa đen. Chúng đóng vai trò quan trọng trong việc diễn đạt ý tưởng và cảm xúc trong giao tiếp hàng ngày.

1.2. Tại Sao Cần Nghiên Cứu Đọc Hiểu Tự Động Thành Ngữ

Việc nghiên cứu đọc hiểu tự động cho thành ngữ giúp cải thiện khả năng xử lý ngôn ngữ tự nhiên, từ đó nâng cao hiệu suất của các ứng dụng như dịch máy và phân tích ngữ nghĩa.

II. Những Thách Thức Trong Nghiên Cứu Đọc Hiểu Thành Ngữ Tiếng Việt

Một trong những thách thức lớn trong việc nghiên cứu thành ngữ tiếng Việt là tính đa nghĩa và sự phong phú của ngôn ngữ. Các thành ngữ thường có nhiều cách hiểu khác nhau tùy thuộc vào ngữ cảnh sử dụng. Điều này gây khó khăn cho các mô hình máy học trong việc nhận diện và phân tích chính xác ý nghĩa của chúng.

2.1. Tính Đa Nghĩa Của Thành Ngữ

Nhiều thành ngữ có thể mang nhiều nghĩa khác nhau, điều này làm cho việc phân tích ngữ nghĩa trở nên phức tạp hơn.

2.2. Khó Khăn Trong Việc Thu Thập Dữ Liệu

Việc thu thập dữ liệu cho các thành ngữ là một thách thức lớn, vì không phải tất cả các thành ngữ đều được ghi chép và lưu trữ một cách đầy đủ.

III. Phương Pháp Nghiên Cứu Đọc Hiểu Tự Động Thành Ngữ Tiếng Việt

Để giải quyết các thách thức trong nghiên cứu đọc hiểu tự động, nhiều phương pháp đã được áp dụng. Các mô hình học sâu như BERT và QANet đã cho thấy hiệu quả trong việc xử lý ngôn ngữ tự nhiên, đặc biệt là trong việc hiểu và phân tích thành ngữ.

3.1. Sử Dụng Mô Hình Học Sâu

Mô hình BERT đã được áp dụng để cải thiện khả năng đọc hiểu các văn bản chứa thành ngữ, giúp máy tính hiểu rõ hơn về ngữ cảnh.

3.2. Xây Dựng Bộ Dữ Liệu Thành Ngữ

Việc xây dựng một bộ dữ liệu phong phú về thành ngữ là rất cần thiết để huấn luyện các mô hình đọc hiểu tự động.

IV. Ứng Dụng Thực Tiễn Của Nghiên Cứu Đọc Hiểu Thành Ngữ

Nghiên cứu về đọc hiểu tự động cho thành ngữ không chỉ có giá trị lý thuyết mà còn có nhiều ứng dụng thực tiễn. Các ứng dụng này có thể bao gồm dịch máy, phân tích cảm xúc và nhiều lĩnh vực khác trong xử lý ngôn ngữ tự nhiên.

4.1. Ứng Dụng Trong Dịch Máy

Việc cải thiện khả năng hiểu thành ngữ sẽ giúp nâng cao chất lượng dịch máy, đặc biệt trong các văn bản văn học và văn hóa.

4.2. Ứng Dụng Trong Phân Tích Cảm Xúc

Các mô hình đọc hiểu thành ngữ có thể được sử dụng để phân tích cảm xúc trong các bài viết, giúp hiểu rõ hơn về tâm tư của người viết.

V. Kết Luận Và Hướng Phát Triển Tương Lai

Nghiên cứu về đọc hiểu tự động cho thành ngữ tiếng Việt là một lĩnh vực đầy tiềm năng. Các kết quả đạt được từ nghiên cứu này không chỉ giúp cải thiện khả năng xử lý ngôn ngữ tự nhiên mà còn mở ra nhiều hướng phát triển mới cho các ứng dụng trong tương lai.

5.1. Tầm Quan Trọng Của Nghiên Cứu

Nghiên cứu này đóng góp vào kho tàng tri thức về ngôn ngữ và văn hóa Việt Nam, đồng thời thúc đẩy sự phát triển của công nghệ xử lý ngôn ngữ tự nhiên.

5.2. Hướng Phát Triển Trong Tương Lai

Cần tiếp tục nghiên cứu và phát triển các mô hình mới, cũng như mở rộng bộ dữ liệu để nâng cao hiệu suất của các ứng dụng đọc hiểu tự động.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), việc xử lý thành ngữ và tục ngữ là một thách thức lớn do các cụm từ này mang tính đa nghĩa, gồm cả tầng nghĩa đen và nghĩa bóng, gắn liền với các câu chuyện văn hóa cổ xưa và lịch sử sử dụng ngôn ngữ. Sự khác biệt về cách diễn đạt giữa các vùng miền, tính mơ hồ của các ký tự cấu thành và khả năng phân bố trải rộng khắp câu khiến các mô hình học sâu hiện đại gặp nhiều trở ngại trong quá trình đọc hiểu văn bản tiếng Việt. Việc thiếu hụt nguồn dữ liệu chuẩn hóa về thành ngữ, tục ngữ tiếng Việt cũng gây hạn chế đáng kể cho các bài toán như phân tích cảm xúc (SA), dịch máy (MT) và đọc hiểu máy (MRC).

Khóa luận tốt nghiệp của tác giả Nguyễn Thành Lâm (ngành Khoa học Máy tính, Trường Đại học Công nghệ Thông tin – Đại học Quốc gia TP. Hồ Chí Minh), dưới sự hướng dẫn của PGS. Nguyễn Lưu Thùy Ngân và ThS. Nguyễn Văn Kiệt, tập trung giải quyết bài toán đọc hiểu tự động cho thành ngữ tiếng Việt với hai mục tiêu và nhiệm vụ nghiên cứu cụ thể:

1. Xây dựng bộ dữ liệu Vietnamese Idioms Dataset (ViID) – bộ ngữ liệu đọc hiểu tự động đầu tiên dành cho tiếng Việt bao gồm các văn bản chứa thành ngữ, tục ngữ được bóc tách và chuẩn hóa.
2. Thực nghiệm đa dạng các mô hình học sâu, mô hình học chuyển tiếp đa ngôn ngữ và đơn ngôn ngữ tiếng Việt trên bộ dữ liệu ViID; tiến hành so sánh, phân tích hiệu suất nhằm tìm ra mô hình tối ưu và chỉ ra các thách thức tồn tại trong việc đọc hiểu thành ngữ tiếng Việt.

Đối tượng nghiên cứu của đề tài là các câu thành ngữ, tục ngữ Việt Nam cùng các đoạn văn bản tiếng Việt có chứa chúng. Phạm vi nghiên cứu tập trung vào nguồn ngữ liệu văn bản thu thập trên không gian mạng Internet (các trang báo chí, blog, từ điển trực tuyến) trong khoảng thời gian thực hiện từ ngày 18/09/2023 đến ngày 30/12/2023.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán Đọc hiểu máy dạng điền khuyết (Cloze-style Machine Reading Comprehension - MRC). Trong bài toán này, mô hình tiếp nhận đầu vào gồm một đoạn văn bản ngữ cảnh $C$ chứa ô trống điền khuyết (kí hiệu là [BLANK] hoặc [MASK]) và tập hợp các phương án lựa chọn $Q$, từ đó tìm hàm dự đoán $f(C, Q) \rightarrow A$ để trích xuất ra câu thành ngữ đúng $A$. Khóa luận làm rõ sự khác biệt giữa hệ thống hỏi đáp (QA) và hệ thống đọc hiểu máy (MRC) về mục tiêu xử lý, định dạng đầu vào và nguồn dữ liệu văn bản phi cấu trúc.

Về mặt lý thuyết mô hình, tác giả tập trung vào kiến trúc Transformer hai chiều đại diện ngôn ngữ (BERT) cùng các cơ chế nền tảng:

• Kiến trúc BERT với cơ chế Attention hai chiều (so sánh với mô hình ngữ cảnh một chiều của OpenAI GPT và mô hình nối tiếp của ELMo), hai cấu hình thử nghiệm chuẩn là $BERT_{base}$ (12 lớp, 768 chiều ẩn, 12 attention heads, 110 triệu tham số) và $BERT_{large}$ (24 lớp, 1024 chiều ẩn, 16 attention heads, 340 triệu tham số).
• Biểu diễn đầu vào kết hợp WordPiece embeddings (từ điển 30.000 từ), Segment embeddings và Positional embeddings (độ dài tối đa 512 tokens), sử dụng các token đặc biệt [CLS] và [SEP].
• Hai nhiệm vụ tiền huấn luyện không giám sát: Mô hình ngôn ngữ che từ (Masked Language Model - MLM) với tỷ lệ che 15% tokens (trong đó 80% thay bằng [MASK], 10% thay bằng từ ngẫu nhiên, 10% giữ nguyên) và Dự đoán câu tiếp theo (Next Sentence Prediction - NSP).
• Các mô hình học sâu và học chuyển tiếp bổ trợ gồm XLM-RoBERTa và QANet.
• Các thông số đánh giá hiệu năng: F1-Score (đo mức độ trùng lặp giữa dự đoán và đáp án chuẩn, tương tự bộ dữ liệu SQuAD), QAC (Question-level Accuracy - tỷ lệ dự đoán đúng trên tổng số ô trống) và PAC (Passage-level Accuracy - tỷ lệ đoạn văn bản được trả lời chính xác hoàn toàn).

Khóa luận tiến hành khảo sát và so sánh đặc điểm của bộ dữ liệu ViID với các bộ dữ liệu quốc tế và trong nước:

Tên bộ dữ liệu	Bài toán giải quyết	Ngôn ngữ	Kích thước	Nguồn thu thập
IMIL	MT và SA	7 ngôn ngữ Ấn Độ	47.382 câu	Website và kho ngữ liệu tiếng Anh Mỹ
ChID	Cloze-style MRC	Tiếng Trung	581.000 đoạn văn, 729.000 câu hỏi	Tin tức, tiểu thuyết, tiểu luận
CNN/DailyMail	Cloze-style MRC	Tiếng Anh	287.113 mẫu huấn luyện, 13.368 mẫu xác thực, 11.490 mẫu kiểm tra	Báo điện tử CNN và Daily Mail
Children’s Book Test	Cloze-style MRC	Tiếng Anh	669.343 mẫu huấn luyện, 8.000 mẫu xác thực, 10.000 mẫu kiểm tra	Sách thiếu nhi (Dự án Gutenberg)
CMRC-2017	Cloze-style MRC	Tiếng Trung	354.295 mẫu huấn luyện, 2.000 mẫu xác thực, 2.000 mẫu kiểm tra	Nguồn mở (tài liệu thiếu nhi)
UIT-ViNewsQA	Span-extraction MRC	Tiếng Việt	22.000 câu hỏi	Báo trực tuyến lĩnh vực y tế
UIT-ViQuAD	Span-extraction MRC	Tiếng Việt	5.109 đoạn văn, 23.074 câu hỏi	Wikipedia tiếng Việt
ViID	Cloze-style MRC	Tiếng Việt	3.639 mẫu huấn luyện, 363 mẫu xác thực, 363 mẫu kiểm tra	Internet (báo chí, blog, từ điển)

Phương pháp xây dựng dữ liệu và thực nghiệm bao gồm:

• Sử dụng mã nguồn mở Beautiful Soup để lập trình công cụ thu thập tự động dữ liệu thành ngữ và các văn bản liên quan từ 10 trang web đầu tiên trả về qua công cụ tìm kiếm.
• Lọc bỏ các thành ngữ không có văn bản ngữ cảnh đi kèm, tinh giản từ 1.477 câu ban đầu xuống còn 553 câu tương ứng 5.255 đoạn văn bản.
• Gán nhãn tự động dạng Cloze-test bằng cách thay thế thành ngữ xuất hiện trong văn bản bằng ký hiệu [BLANK], sinh 4 phương án lựa chọn trong trường choices, xuất dữ liệu cấu trúc JSON gồm: context_id, answer, choices, context.
• Kiểm tra dữ liệu đa tầng bằng phương pháp thủ công kết hợp thuật toán tự động; phân chia bộ dữ liệu thành 3 mẫu dữ liệu có độ khó khác nhau để thực nghiệm.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương này trình bày lý do chọn đề tài, nêu bật tính phức tạp và đa nghĩa của thành ngữ, tục ngữ tiếng Việt qua việc phân tích sự khác nhau giữa nghĩa đen và nghĩa bóng. Tác giả đưa ra các ví dụ đối sánh cụ thể: thành ngữ "Ăn quả nhớ kẻ trồng cây" (nghĩa đen chỉ hành động nhớ người trồng cây khi ăn quả; nghĩa bóng chỉ đạo lý biết ơn người giúp đỡ, cống hiến) và "Ăn chắc mặc bền" (nghĩa đen chỉ ăn no mặc bền; nghĩa bóng chỉ kinh nghiệm sống chọn lựa sự chắc chắn, lâu dài thay vì hào nhoáng). Trên cơ sở đó, chương xác định 2 mục tiêu nghiên cứu, đối tượng, phạm vi nghiên cứu và bố cục tổng thể của khóa luận gồm 5 chương.

Chương 2: Các nghiên cứu liên quan và cơ sở lý thuyết

Chương 2 tổng hợp các nghiên cứu tiền đề về xử lý thành ngữ và đọc hiểu máy trên thế giới và tại Việt Nam. Tác giả phân tích các bộ dữ liệu thành ngữ như IMIL (đa ngôn ngữ), ChID (tiếng Trung) cùng các bộ dữ liệu MRC quy mô lớn như CNN/DailyMail, Children’s Book Test, CMRC-2017, UIT-ViNewsQA và UIT-ViQuAD. Về mặt cơ sở lý thuyết, chương trình bày chi tiết kiến trúc mô hình BERT (cơ chế Attention 2 chiều, cấu trúc vector nhúng đầu vào gồm Token, Segment, Position Embeddings, hai tác vụ tiền huấn luyện MLM và NSP), tổng quan về hệ thống hỏi đáp tự động (phân loại QA miền mở, QA miền đóng, QA dựa trên tri thức và QA dựa trên đọc hiểu) và mô hình hóa toán học của bài toán đọc hiểu máy.

Chương 3: Xây dựng bộ dữ liệu

Chương 3 mô tả chi tiết quy trình 4 giai đoạn xây dựng bộ dữ liệu Vietnamese Idiom Dataset (ViID):

• Giai đoạn 1 & 2: Thu thập 1.477 câu thành ngữ, tục ngữ từ các nguồn mạng bằng thư viện Beautiful Soup (các nguồn phổ biến gồm voh.com.vn, tratu...), sau đó tìm kiếm và thu thập các đoạn văn bản tương ứng. Tiến hành lọc bỏ những câu không tìm thấy ngữ cảnh, thu được danh sách chuẩn hóa gồm 553 câu thành ngữ, tục ngữ xuất hiện trong 5.255 đoạn văn bản.
• Phân tích thống kê: Độ dài các câu thành ngữ tập trung chủ yếu ở mốc 4, 6 và 8 từ; độ dài 3 từ chiếm số lượng ít nhất (2 câu). Tần suất xuất hiện dao động từ 1 đến 70 lần, được chia thành hai nhóm: nhóm tần suất thấp từ 1 đến 50 lần (gồm 4.430 đoạn văn, chiếm tỷ lệ 84,30%) và nhóm tần suất cao từ 50 đến 70 lần (gồm 825 đoạn văn, chiếm tỷ lệ 15,70%).
• Giai đoạn 3 & 4: Thực hiện gán nhãn tự động dạng Cloze-test, thay thế thành ngữ bằng ô trống [BLANK], thiết lập 4 phương án lựa chọn trong choices và lưu trữ dưới định dạng JSON. Tiến hành phân chia và kiểm tra dữ liệu, xây dựng thành 3 mẫu dữ liệu tương ứng với ba mức độ khó khác nhau (Mẫu 1 gồm 6.107 điểm dữ liệu; Mẫu 2 gồm 5.540 điểm dữ liệu; Mẫu 3 gồm 5.227 điểm dữ liệu trên toàn bộ các tập huấn luyện, phát triển và kiểm tra).

Chương 4: Thực nghiệm và đánh giá

Chương 4 thiết lập bài toán thực nghiệm đọc hiểu tự động điền khuyết thành ngữ tiếng Việt. Tác giả trình bày cấu hình siêu tham số, quy trình huấn luyện và kiểm thử các mô hình học sâu và mô hình ngôn ngữ tiền huấn luyện (BERT, XLM-RoBERTa, QANet) trên các tập dữ liệu của ViID. Phân tích kết quả thực nghiệm dựa trên ma trận nhầm lẫn (các giá trị TP, TN, FP, FN) cùng các chỉ số F1-Score, QAC và PAC. Chương này cũng phân tích sâu các thách thức tồn tại trong bộ dữ liệu ViID, bao gồm tính nhập nhằng của ngữ cảnh ẩn dụ, mức độ tương đồng giữa các phương án gây nhiễu và độ lệch do sự mất cân bằng tần suất xuất hiện của các thành ngữ.

Chương 5: Kết luận, hạn chế và hướng phát triển

Chương 5 tổng kết toàn bộ quá trình nghiên cứu, khẳng định việc xây dựng thành công bộ dữ liệu ViID và thiết lập các thực nghiệm nền tảng cho bài toán MRC thành ngữ tiếng Việt. Đồng thời, tác giả thẳng thắn chỉ rõ các hạn chế về quy mô dữ liệu, sự chênh lệch phân bố tần suất và hiệu suất thực tế của các mô hình, từ đó đề xuất các định hướng mở rộng nguồn dữ liệu và cải tiến giải thuật trong tương lai.

Kết quả và đóng góp

Khóa luận đạt được các kết quả cụ thể với số liệu trích xuất từ văn bản:

• Xây dựng thành công bộ dữ liệu ViID phục vụ bài toán đọc hiểu thành ngữ tiếng Việt với 553 câu thành ngữ, tục ngữ và 5.255 đoạn văn bản ngữ cảnh được thu thập, xử lý từ Internet.
• Phân chia và kiểm tra bộ dữ liệu thành 3 mẫu với các mức độ khó khác nhau phục vụ huấn luyện và đánh giá mô hình:
  • Mẫu 1: 6.107 điểm dữ liệu.
  • Mẫu 2: 5.540 điểm dữ liệu.
  • Mẫu 3: 5.227 điểm dữ liệu.
• Phân tích phân bố tần suất thành ngữ trong kho dữ liệu: 84,30% văn bản thuộc nhóm tần suất thấp (1 đến 50 lần) và 15,70% thuộc nhóm tần suất cao (50 đến 70 lần).
• Thiết lập quy trình 4 giai đoạn hoàn chỉnh từ thu thập (Beautiful Soup), làm sạch, gán nhãn định dạng JSON (context_id, answer, choices, context) đến kiểm tra chất lượng kết hợp thủ công và tự động.
• Thực nghiệm, đánh giá các mô hình ngôn ngữ lớn và mô hình học sâu (BERT, XLM-RoBERTa, QANet) bằng hệ chỉ số đánh giá F1-Score, QAC và PAC.

Về mặt đóng góp khoa học và thực tiễn, khóa luận là công trình tiên phong tại Việt Nam xử lý bài toán đọc hiểu tự động chuyên biệt cho thành ngữ, tục ngữ tiếng Việt; tạo ra bộ dữ liệu thử nghiệm đầu tiên đóng góp vào kho tài nguyên nghiên cứu NLP tiếng Việt, mở ra hướng tiếp cận xử lý các cấu trúc ngôn ngữ mang tính ẩn dụ cao.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ ra các hạn chế tồn tại dựa trên văn bản:

• Quy mô của bộ dữ liệu ViID còn ở mức khiêm tốn (553 thành ngữ, hơn 5.200 đoạn văn) do nguồn dữ liệu văn bản chứa thành ngữ trên mạng phân bố không đồng đều.
• Mất cân bằng về tần suất xuất hiện giữa các thành ngữ trong tập dữ liệu (nhóm tần suất dưới 50 lần chiếm đa số với 84,30%), dẫn đến một số thành ngữ có ít ngữ cảnh huấn luyện.
• Hiệu suất của các mô hình cơ sở khi khảo sát thực tế trên bộ dữ liệu chưa đạt độ chính xác cao tuyệt đối do tính đa nghĩa phức tạp của thành ngữ tiếng Việt.

Hướng phát triển tiếp theo được tác giả đề xuất bao gồm:

• Mở rộng quy mô thu thập ngữ liệu từ các nguồn tài liệu văn học, báo chí và sách điện tử để bổ sung ngữ cảnh cho các thành ngữ tần suất thấp.
• Cải tiến quy trình tạo phương án gây nhiễu (choices) có tính tương đồng ngữ nghĩa cao hơn nhằm kiểm tra sâu hơn khả năng phân biệt của mô hình.
• Thử nghiệm các kiến trúc mô hình ngôn ngữ lớn (LLM) và các phương pháp biểu diễn vector ngữ cảnh nâng cao nhằm nâng cao độ chính xác khi đọc hiểu thành ngữ, tục ngữ.

Giá trị tham khảo

Khóa luận có giá trị tham khảo thiết thực cho:

• Sinh viên, học viên cao học và nghiên cứu sinh thuộc các ngành Khoa học Máy tính, Công nghệ Thông tin, Trí tuệ Nhân tạo và Ngôn ngữ học tính toán đang thực hiện các đề tài về Xử lý ngôn ngữ tự nhiên (NLP) cho tiếng Việt.
• Các nhà nghiên cứu quan tâm đến quy trình xây dựng tập ngữ liệu đọc hiểu máy dạng điền khuyết (Cloze-style MRC) từ nguồn dữ liệu mở trên Internet, bao gồm các bước viết crawler bằng Beautiful Soup, làm sạch văn bản, gán nhãn tự động và cấu trúc hóa dữ liệu JSON.
• Tài liệu tham khảo hữu ích về phương pháp áp dụng các kiến trúc Transformer (BERT, XLM-RoBERTa) và các chỉ số đo lường (F1-score, QAC, PAC) trong việc đánh giá mức độ hiểu các hiện tượng ngôn ngữ phi quy ước như thành ngữ, tục ngữ.

Câu hỏi thường gặp

1. Một điểm dữ liệu trong tập ngữ liệu ViID có cấu trúc như thế nào? Mỗi điểm dữ liệu trong ViID được cấu trúc dưới định dạng JSON gồm 4 trường thông tin: context_id (mã định danh đoạn văn, ví dụ TRAIN_0), answer (câu thành ngữ chính xác cần điền), choices (danh sách gồm 4 phương án thành ngữ lựa chọn) và context (đoạn văn bản ngữ cảnh chứa vị trí khuyết [BLANK]).

2. Quy trình thu thập và tinh lọc thành ngữ trong khóa luận diễn ra như thế nào và thu được bao nhiêu câu? Tác giả sử dụng thư viện Beautiful Soup để thu thập 1.477 câu thành ngữ, tục ngữ ban đầu từ các trang web (như voh.com.vn, tratu...). Sau đó, hệ thống tìm kiếm văn bản ngữ cảnh qua các công cụ tìm kiếm trên 10 trang web đầu tiên và lọc bỏ những câu không có văn bản liên quan, thu được danh sách chuẩn gồm 553 câu thành ngữ, tục ngữ tương ứng 5.255 đoạn văn bản.

3. Tần suất xuất hiện của các thành ngữ trong bộ ngữ liệu ViID được phân bổ ra sao? Tần suất xuất hiện của các thành ngữ dao động từ 1 đến 70 lần, được chia thành hai khoảng: nhóm tần suất thấp từ 1 đến 50 lần gồm 4.430 đoạn văn (chiếm 84,30%) và nhóm tần suất cao từ 50 đến 70 lần gồm 825 đoạn văn (chiếm 15,70%).

4. Khóa luận sử dụng các mô hình và chỉ số đánh giá nào để thực nghiệm bài toán đọc hiểu thành ngữ? Nghiên cứu sử dụng các mô hình học sâu và mô hình ngôn ngữ tiền huấn luyện gồm QANet, BERT và XLM-RoBERTa. Hiệu năng của mô hình được đánh giá thông qua ma trận nhầm lẫn (TP, TN, FP, FN) cùng 3 thông số chính: F1-Score (đo độ trùng lặp), QAC (độ chính xác cấp câu hỏi/ô trống) và PAC (độ chính xác cấp đoạn văn).

5. Tại sao tác giả lựa chọn phương pháp Cloze-style MRC thay vì gán nhãn phân loại thông thường? Thành ngữ, tục ngữ chứa đựng cả nghĩa đen và nghĩa bóng khác biệt với nghĩa của các từ thành phần tạo nên chúng (ví dụ câu "Ăn quả nhớ kẻ trồng cây"). Do đó, tiếp cận theo dạng Cloze-test MRC giúp kiểm tra giả thuyết liệu việc học vector nhúng của cả câu thành ngữ trong ngữ cảnh bị khuyết [BLANK] có giúp máy tính hiểu được ngữ nghĩa thực sự của thành ngữ đó hay không.

Kết luận

Khóa luận tốt nghiệp của tác giả Nguyễn Thành Lâm đã hoàn thành việc nghiên cứu và xây dựng bộ dữ liệu đọc hiểu tự động đầu tiên cho thành ngữ, tục ngữ tiếng Việt (ViID) với 553 thành ngữ và 5.255 đoạn ngữ cảnh được chuẩn hóa thành 3 mẫu dữ liệu thử nghiệm. Đề tài đã thiết lập quy trình thu thập, gán nhãn cloze-test tự động và tiến hành thực nghiệm đối sánh trên các kiến trúc mô hình học sâu, mô hình ngôn ngữ tiền huấn luyện như BERT và XLM-RoBERTa. Các kết quả thống kê và phân tích thách thức trong khóa luận cung cấp cơ sở thực nghiệm và nguồn tài nguyên hữu ích cho các nghiên cứu tiếp theo về xử lý ngữ nghĩa tiếng Việt.

Trích đoạn nội dung tài liệu

Chương 1. TONG QUAN 4 luận này, có hai mục tiêu chính tôi sé thực hiện. Đầu tiên tôi sẽ xây dựng bộ ngữ liệu về thành ngữ, tục ngữ tiếng Việt. Sau đó, tôi sẽ tìm hiểu các phương pháp để huấn luyện mô hình đọc hiểu thành ngữ, tục ngữ tiếng Việt cũng như kiểm tra tính khả thi của bộ ngữ liệu đã tạo.4 Pham vi nghiên cứu Tuy đề tài hiện đang ở mức sơ khởi nhưng phạm vi áp dụng là vô cùng lớn.

Cụ thé, nghiên cứu về đọc hiểu tự động trên thành ngữ, tục ngữ tiếng Việt với nguồn thu thập chính là các văn bản trên không gian mạng. Công trình nghiên cứu này là một bước đệm giúp cho các hệ thống đọc hiéu trích xuất văn bản tiếng Việt xử lý thông tin mượt mà hơn, tránh tình trạng nhập nhang khi xử lý những văn bản chứa thành ngữ, tục ngữ.5 Cấu trúc khóa luận: Khoá luận được chia thành 5 chương với các nội dung chính như sau: ° Chương 1: Tổng quan Giới thiệu bài toán nhận diện chuỗi xúc phạm, phản cảm có trong bình luận mạng xã hội tiếng Việt. Tầm quan trọng và tính ứng dụng của khoá luận vào thực tế đời sống trong bối cảnh phát triển mạnh mẽ của nền tảng trực tuyến hiện tại. ° Chương 2: Các nghiên cứu liên quan và cơ sở lý thuyết Giới thiệu một vài các công trình nghiên cứu liên quan dén bài toán đọc Chương 1.

TONG QUAN 5 hiểu máy nói chung cũng một số công trình về thành ngữ tiếng Trung va cơ sở lý thuyết. ° Chương 3: Xây dựng bộ dữ liệu Giới thiệu bộ dữ liệu Vietnamese Idiom Dataset (VIID). Tôi sẽ trình bày quy trình xây dựng bộ dữ liệu cu thé theo từng bước kèm theo phân tích về các đặc điểm ngôn ngữ đặc thù kèm phương pháp tiếp cận giải quyết, đưa ra những thống kê cơ bản cho bộ dữ liệu ViID. ° Chương 4: Thực nghiệm và đánh giá Thí nghiệm các mô hình học sâu, học chuyền tiếp đa ngôn ngữ và đơn ngôn ngữ dành riêng cho tiếng Việt trên bộ dữ liệu ViID.

Phân tích kết quả của từng mô hình, sau đó tiễn hành so sánh, đánh giá và kết luận về hiệu suất của từng loại mô hình. ° Chương 5: Kết luận, hạn chế và hướng phát triển Tổng kết các kết quả đạt được của khoá luận, nêu lên những hạn chế còn tồn tại và định hướng phát triển của khoá luận trong tương lai. CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 6 Chương 2 CÁC NGHIÊN CỨU LIÊN QUAN VÀ CƠ SỞ LY THUYET Trong chương này, tôi sẽ trình bày một số công trình nghiên cứu liên quan về xây dựng bộ ngữ liệu về thành ngữ và những bộ ngữ liệu liên quan đến bài toán đọc hiểu tự động trước đó, cũng như những nghiên cứu liên quan về bài toán đọc hiểu tự động, sau đó là tông quan về các cơ sở lý thuyết làm nền tảng trong khóa luận này.1 trình bày về một vài bộ dữ liệu đã có và những công trình nghiên cứu về bài toán đọc hiểu tự động.2 sẽ giới thiệu các kiến trúc cơ sở cần thiết dé xây dựng bộ dữ liệu cũng như giải quyết bài toán liên quan đến bộ dữ liệu.1 Các công trình nghiên cứu liên quan Liên quan đến nghiên cứu của khóa luận tốt nghiệp, tôi tập trung trình bài những bộ dữ liệu liên quan đến thành ngữ đã giới thiệu trước đó (Mục 2.1) và những bộ dữ liệu liên quan đến bài toán MRC (Mục 2. Ngoài ra, bảng 2.1 so sánh chỉ tiết các bộ dit liệu tôi đã đề cập với bộ dit liệu ViID tôi đã xây dựng.1 Các bộ dữ liệu thành ngữ, tục ngữ đã có Chương 2.

CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 7 Thành ngữ luôn là chủ đề gây ra nhiều khó khăn trong lĩnh vực NLP, tuy nhiên trong những năm gần đây, có nhiều nghiên cứu về thành ngữ đã được công bó, có thé kê đến một vài bộ dit liệu nổi bật như IMIL hay ChID, cụ thé: ° IMIL [3]: Bộ dữ liệu IMIL là bộ dữ liệu song song đa ngôn ngữ ảnh xa 2208 thành ngữ thường được sử dụng bằng tiếng Anh sang bản dịch của chúng bang bảy ngôn ngữ Ấn Độ: Hindi, Urdu, Bengali, Tamil, Gujarati, Malayalam va Telugu. Các thành ngữ cũng được chú thích bang những cảm xúc thích hop mà chúng truyền tải và ý nghĩa của chúng trong các ngôn ngữ tương ứng. Tập dữ liệu kết quả có kích thước 47. Các thành ngữ được thu thập trên các website kết hợp với những thành ngữ được tông hợp từ kho ngữ liệu tiếng Anh Mỹ nổi tiếng khác, bao gồm American National Corpus (ANC) (Ide và Suderman, 2004); Tập hợp tiếng Anh học thuật Michigan (MICASE) (Simpson va cộng su, 2002), và Brown Corpus (Francis và Kucera, 1979).5%), thành ngữ được thu thập từ tập thành ngữ tiếng Trung Daquan, các văn bản được thu thập từ các tiểu thuyết và tiêu luận Internet cũng như các bài báo do Sun và các cộng sự của ông cung cấp (2016) [5].2 Các bộ dữ liệu liên quan đến bai toán MRC: Do lĩnh vực MRC có nhiều nghiên cứu, trong khóa luận tốt nghiệp này tôi chỉ tập trung vào các bộ dữ liệu liên quan trực tiếp như CNN/DailyMail, Children”s Chương 2.

CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 8 Book Test, The 1st Evaluation on Chinese Machine Reading Comprehension, New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles, Vietnamese Question Answering Dataset. ° CNN/DailyMail [6]: Bộ dữ liệu CNN/Daily Mail là bộ dữ liệu bao gồm hơn 300,000 bài báo được viết bởi các nhà báo ở hai tòa soạn CNN và Daily Mail, bộ dữ liệu được chia thành 287,113 mẫu đữ liệu để huấn luyện, 13,368 dé xác thực va 11,490 dé kiểm tra. Trung bình, có khoảng 28 câu trong mỗi tài liệu trong bộ huấn luyện. Bộ dữ liệu này bao gồm phiên bản an danh và phiên bản không ân danh.

Phiên bản đầu tiên là tất cả các tên thực thé của dữ liệu được thay thé bằng các từ thẻ đặc biệt, trong khi phiên bản thứ hai là dữ liệu gốc. Dữ liệu CNN/Daily Mail bao gồm nhiều cặp tài liệu-tóm tắt, mỗi cặp tương ứng với một vải câu được đánh dấu trong tài liệu được chú thích thủ công. ° Children’s Book Test [7]: Children’s Book Test được thiết kế để kiểm tra vai trò của trí nhớ và ngữ cảnh trong việc xử lý và hiểu ngôn ngữ. Bài kiểm tra yêu cầu dự đoán về các loại từ còn thiếu khác nhau trong sách dành cho trẻ em, dựa trên cả những từ gần đó và bối cảnh rộng hơn từ cuốn sách.

Bộ đữ liệu được thu thập từ những cuốn sách được cung cấp miễn phí nhờ dự án Gutenberg [8]. Việc sử dụng sách dành cho trẻ em đảm bảo cau trúc tường thuật rõ ràng, điều này có thé làm cho vai trò của bối cảnh trở nên nồi bật hon. ° The Ist Evaluation on Chinese Machine Reading Comprehension (CMRC-2017) [9]: Bộ dữ liệu dang cloze-style reading comprehension của Trung Quốc được tạo tự động quy mô lớn, được thu thập từ tài liệu đọc của trẻ em. Mặc dù tao dữ liệu dao tạo tự động, các bộ dữ liệu đánh giá của CMRC-2017 (xác thực và kiểm tra) được chú thích thủ công.

Dé tăng thêm sự đa dạng và điều tra sâu hon Chương 2. CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 9 về transfer learning, nhóm tác giả cũng cung cấp một bộ đữ liệu đánh giá khác cũng được con người chú thích, nhưng truy vấn tự nhiên hơn loại cloze. ° New Vietnamese Corpus for Machine Reading Comprehension of Health News Articles (UIT-ViNewsQA) [10]: ViNewsQA bao gom hon 22.000 cặp câu hỏi-câu trả lời do con người tạo ra dựa trên hon 4.400 bai báo trực tuyến trong lĩnh vực y tế. Kho ngữ liệu này được cung cấp công khai cho nghiên cứu xử lý ngôn ngữ tiếng Việt và cả cho các nghiên cứu đa ngôn ngữ cùng với các kho tài liệu tương tự khác như NewsQA [11] (cho tiếng Anh), CMRC (cho tiếng Trung) [12], FQuAD (cho tiếng Pháp) [13] và KorQuAD [14] (cho tiếng Hàn).

Bộ ngữ liệu được phân tích theo các khía cạnh ngôn ngữ khác nhau, bao gồm dựa trên từ vựng, ba loại độ dài (câu hỏi, câu trả lời và mạo từ), ba loại dựa trên nội dung (câu hỏi, câu trả lời và lý luận) và mối tương quan giữa dựa trên loại và độ dài câu trả lời, từ đó cung cấp những hiểu biết toàn điện về bộ dữ liệu. ° Vietnamese Question Answering Dataset (UIT-ViQuAD): [15] ViQuAD bao gồm 23.074 cặp câu hỏi-câu trả lời do con người tạo ra dựa trên 5.109 đoạn của 174 bài viết Wikipedia tiếng Việt. Tập dữ liệu được phân tích theo các khía cạnh ngôn ngữ khác nhau bao gồm phân tích theo độ dài (độ dài câu hỏi, độ dài câu trả lời và độ dài đoạn văn) và phân tích dựa trên loại (loại câu hỏi, loại câu trả lời và loại lý luận). UIT-ViQuAD có thể dùng làm nguồn tài nguyên cho nghiên cứu đa ngôn ngữ cùng với các bộ dữ liệu tương tự khác như SQuAD, CMRC và KorQuA.

Dữ liệu Giải quyết | Ngôn ngữ Kích thước Nguồn thu bài toán thập Chương 2. CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 10 IMIL MT vaSA |7ngônngữÁn | 47.382 câu (Tập | Website kết Độ gồm: Hindi, | huấn luyện - hợp với những Urdu, Bengali, | 46200, tập phát | thành ngữ Tamil, Gujarati, | triển - 1432,tập | được tổng hợp Malayalam và | thử nghiệm — từ kho ngữ liệu Telugu. tiếng Anh Mỹ. ChID Cloze-style | Tiéng Trung 581K đoạn văn | Tin tức, tiểu MRC Quốc và 729K thuyết và tiểu luận CNN/Daily | Cloze-style | Tiếng Anh 287,113 mẫu đữ | CNN và Daily Mai MRC liệu đểhuẩn | Mail luyện, 13,368 để xác thực và 11,490 đề kiểm tra Children’s | Cloze-style | Tiếng Anh 669,343 mau dữ | Sách dành cho Book Test | MRO liệu huấn luyện, | trẻ em 8,000 mẫu xác thực và 10,000 mẫu kiểm tra CMRC- Cloze-style | Tiéng Trung 354,295 mẫu dữ | Mã nguồn mở 2017 MRC Quéc liệu dé huấn luyện, 2,000 dé xac thuc va Chương 2.

CÁC NGHIÊN CUU LIÊN QUAN VÀ CƠ SỞ LÝ THUYET 11 2,000 dé kiém tra UIT- Span- Tiéng Viét 22K cau hoi Y tế va tin tức ViNewsQA | extraction MRC UIT- Span- Tiéng Viét 5109 doan van va | Wikipedia(Ma ViQuAD extraction ae x. MRC 23074 câu hỏi nguôn mở) VIID Cloze-style | Tiếng Việt 3639 mẫu đữ liệu | Internet MRC dé huấn luyện, 363 mẫu xác thực và 363 mẫu kiêm tra Bảng 2.1: Khảo sát sơ bộ về bộ đữ liệu ViID và các bộ dữ liệu liên quan 2.1 Bidirectional Transformers for Language Understanding: BERT [16] là một kiến trúc mới cho lớp bài toán Language Representation được Google công bố vào năm 2019.