Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Khóa luận tốt nghiệp công nghệ thông tin nghiên cứu về tạo sinh tự động câu hỏi tiếng Việt, ứng dụng trong giáo dục và phát triển ngôn ngữ.

• Tác giả: Vũ Nguyễn
• Người hướng dẫn: ThS. Nguyễn Văn Kiệt
• Trường học: Đại học Quốc gia TP. Hồ Chí Minh
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt
• Loại tài liệu: khóa luận tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• LỜI CẢM ƠN
• LỜI MỞ ĐẦU
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Thách thức của đề tài
• 1.2. Tính ứng dụng của đề tài
• 1.3. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN
• 1.3.1. Tình hình nghiên cứu trên thế giới
• 1.3.2. Tình hình nghiên cứu trong nước
• 2. CHƯƠNG 2: BỘ DỮ LIỆU VÀ CÁC PHƯƠNG PHÁP THỬ NGHIỆM
• 2.1. Bộ dữ liệu
• 2.1.1. Bộ dữ liệu UIT-ViNewsQA
• 2.1.2. Bộ dữ liệu UIT-ViQuAD
• 2.2. Các phương pháp thử nghiệm
• 2.2.1. Mô hình học sâu Sequence-to-Sequence
• 2.2.2. Mô hình học chuyển tiếp mT5
• 2.2.3. Mô hình học chuyển tiếp PhoBERT
• 2.2.4. Nghiên cứu thử nghiệm
• 2.3. Tiền xử lý dữ liệu
• 2.4. Thông số cài đặt các mô hình
• 2.5. Phương pháp học tăng cường
• 3. CHƯƠNG 3: SO SÁNH CÁC PHƯƠNG PHÁP THỬ NGHIỆM
• 3.1. Thông số đánh giá
• 3.2. Kết quả thử nghiệm
• 3.3. Hiệu suất các bộ biểu diễn từ
• 3.4. Khả năng tạo sinh câu hỏi của các phương pháp thử nghiệm
• 3.5. Mở rộng ứng dụng bài toán
• 4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 4.1. Hướng phát triển
• TÀI LIỆU THAM KHẢO
• DANH MỤC HÌNH
• DANH MỤC BẢNG
• DANH MỤC TỪ VIẾT TẮT
• TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Nghiên cứu tạo sinh tự động câu hỏi tiếng Việt là một lĩnh vực đang thu hút sự quan tâm lớn trong cộng đồng nghiên cứu trí tuệ nhân tạo. Việc phát triển các mô hình tự động tạo câu hỏi không chỉ giúp cải thiện khả năng đọc hiểu của máy mà còn hỗ trợ người dùng trong việc tiếp nhận thông tin một cách hiệu quả hơn. Mục tiêu của nghiên cứu này là xây dựng các mô hình có khả năng tạo ra câu hỏi từ văn bản tiếng Việt, từ đó nâng cao khả năng tương tác giữa con người và máy tính.

1.1. Tầm quan trọng của việc tạo câu hỏi tự động

Việc tạo câu hỏi tự động giúp người dùng dễ dàng tiếp cận thông tin quan trọng trong văn bản. Điều này đặc biệt hữu ích trong các lĩnh vực giáo dục và nghiên cứu, nơi mà việc trích xuất thông tin chính xác là rất cần thiết.

1.2. Các ứng dụng của công nghệ tạo câu hỏi

Công nghệ tạo câu hỏi tự động có thể được ứng dụng trong nhiều lĩnh vực như giáo dục, hỗ trợ học tập, và phát triển các hệ thống hỏi đáp thông minh. Những ứng dụng này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả học tập.

II. Thách thức trong Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Mặc dù có nhiều tiềm năng, nhưng việc nghiên cứu tạo sinh tự động câu hỏi tiếng Việt vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là thiếu hụt dữ liệu chất lượng cao để huấn luyện các mô hình. Ngoài ra, ngôn ngữ tiếng Việt có nhiều đặc điểm ngữ pháp và ngữ nghĩa phức tạp, điều này làm cho việc phát triển các thuật toán trở nên khó khăn hơn.

2.1. Thiếu hụt dữ liệu huấn luyện

Việc thiếu hụt các bộ dữ liệu lớn và đa dạng cho tiếng Việt là một trong những rào cản lớn nhất trong việc phát triển các mô hình tạo câu hỏi tự động. Điều này ảnh hưởng trực tiếp đến khả năng học tập của các mô hình.

2.2. Đặc điểm ngôn ngữ tiếng Việt

Ngôn ngữ tiếng Việt có nhiều đặc điểm riêng biệt như ngữ điệu, từ đồng nghĩa và từ trái nghĩa, điều này tạo ra thách thức trong việc xây dựng các mô hình có khả năng hiểu và tạo câu hỏi chính xác.

III. Phương Pháp Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Để giải quyết các thách thức nêu trên, nghiên cứu này áp dụng nhiều phương pháp khác nhau, bao gồm các mô hình học sâu và các kỹ thuật xử lý ngôn ngữ tự nhiên hiện đại. Các phương pháp này giúp cải thiện khả năng tạo câu hỏi từ văn bản một cách tự động và chính xác hơn.

3.1. Mô hình học sâu Sequence to Sequence

Mô hình học sâu Sequence-to-Sequence được sử dụng để tạo câu hỏi từ văn bản. Mô hình này cho phép máy tính học cách chuyển đổi một đoạn văn thành câu hỏi tương ứng thông qua việc sử dụng các mạng nơ-ron.

3.2. Sử dụng PhoBERT và mT5

PhoBERT và mT5 là những mô hình hiện đại được áp dụng trong nghiên cứu này. Chúng giúp cải thiện độ chính xác trong việc tạo câu hỏi bằng cách hiểu ngữ cảnh và ý nghĩa của văn bản tốt hơn.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Nghiên cứu này không chỉ dừng lại ở lý thuyết mà còn có những ứng dụng thực tiễn rõ ràng. Các mô hình được phát triển có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến công nghệ thông tin. Kết quả nghiên cứu cho thấy khả năng tạo câu hỏi tự động từ văn bản tiếng Việt đã đạt được những thành công nhất định.

4.1. Ứng dụng trong giáo dục

Các mô hình tạo câu hỏi tự động có thể được sử dụng để phát triển các công cụ học tập thông minh, giúp học sinh và sinh viên dễ dàng tiếp cận kiến thức và ôn tập hiệu quả.

4.2. Kết quả đánh giá mô hình

Kết quả đánh giá cho thấy mô hình đạt được độ chính xác cao trong việc tạo câu hỏi, với các chỉ số đánh giá như BLEU cho thấy sự cải thiện rõ rệt so với các phương pháp trước đó.

V. Kết Luận và Tương Lai của Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi

Nghiên cứu tạo sinh tự động câu hỏi tiếng Việt đã mở ra nhiều cơ hội mới trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên. Mặc dù còn nhiều thách thức, nhưng với sự phát triển không ngừng của công nghệ, tương lai của lĩnh vực này hứa hẹn sẽ rất tươi sáng.

5.1. Hướng phát triển trong tương lai

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện chất lượng dữ liệu và phát triển các mô hình mạnh mẽ hơn, giúp nâng cao khả năng tạo câu hỏi tự động.

5.2. Tác động đến xã hội

Công nghệ tạo câu hỏi tự động có thể có tác động lớn đến cách mà con người tiếp cận và xử lý thông tin, từ đó nâng cao hiệu quả học tập và làm việc trong xã hội hiện đại.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong xu thế phát triển của cuộc Cách mạng Công nghiệp 4.0 và lĩnh vực Trí tuệ nhân tạo, nhu cầu tiếp nhận và trích xuất thông tin của con người ngày càng gia tăng. Phần lớn quá trình tiếp nhận thông tin diễn ra thông qua tương tác hỏi – đáp nhằm nắm bắt các nội dung cốt lõi của vấn đề mà không bị phân tán bởi các thông tin thứ yếu. Mặc dù bài toán đọc hiểu và trả lời câu hỏi tự động (Question Answering - QA) đã thu hút nhiều công trình nghiên cứu, nhưng phần lớn các nỗ lực trước đây tập trung vào vế "đáp". Ngược lại, bài toán "hỏi" – cụ thể là tạo sinh tự động câu hỏi (Automatic Question Generation - AQG) – đóng vai trò định hướng ngữ cảnh và hỗ trợ tóm tắt văn bản, lại chưa nhận được sự đầu tư tương xứng, đặc biệt là đối với các ngôn ngữ có nguồn tài nguyên hạn chế như tiếng Việt.

Tiếng Việt có đặc thù ngữ pháp, cấu trúc từ ghép và ngữ nghĩa phức tạp. Tại thời điểm tác giả triển khai nghiên cứu, chưa có bất kỳ công bố khoa học nào về bài toán tạo sinh tự động câu hỏi cho tiếng Việt. Nhận thấy khoảng trống nghiên cứu và tiềm năng ứng dụng của bài toán trong việc tự động hóa quy trình đọc hiểu văn bản, tác giả Vũ Nguyễn đã thực hiện đề tài nhằm xây dựng các mô hình tạo sinh câu hỏi tự động trên nền tảng ngữ liệu tiếng Việt.

Theo văn bản đăng ký và đề cương khóa luận, các mục tiêu và nhiệm vụ nghiên cứu được xác định cụ thể như sau:

1. Nghiên cứu, xây dựng và thực nghiệm các mô hình học sâu như Sequence-to-Sequence (seq2seq) kết hợp cơ chế Attention, cùng các mô hình học chuyển tiếp hiện đại áp dụng cho tiếng Việt gồm PhoBERT và mô hình đa ngôn ngữ mT5 trên hai bộ dữ liệu đọc hiểu tiếng Việt sẵn có là UIT-ViNewsQA và UIT-ViQuAD.
2. Nghiên cứu và thực nghiệm việc kết hợp các mô hình đã xây dựng với phương pháp học tăng cường (Reinforcement Learning) nhằm khảo sát khả năng cải thiện chất lượng câu hỏi sinh ra.
3. Tích hợp thuật toán nhận diện thực thể có tên (Named-Entity Recognition - NER) để tự động hóa việc xác định câu trả lời tiềm năng từ văn bản, tiến tới xây dựng hệ thống tự động sinh câu hỏi hoàn chỉnh mà không cần người dùng nhập câu trả lời thủ công.
4. Đánh giá, so sánh hiệu suất của các giải pháp trên cấp độ câu và cấp độ đoạn văn bằng độ đo BLEU (với BLEU-4 là độ đo chính), làm tiền đề đối sánh cho các nghiên cứu tiếp theo về xử lý ngôn ngữ tự nhiên tiếng Việt.

Đối tượng và phạm vi nghiên cứu của khóa luận được xác lập rõ ràng:

• Đối tượng nghiên cứu: Bài toán tạo sinh tự động câu hỏi tiếng Việt dựa trên đầu vào là văn bản ngữ cảnh kèm câu trả lời tương ứng.
• Phạm vi nghiên cứu: Dữ liệu văn bản tiếng Việt thuộc hai bộ dữ liệu UIT-ViNewsQA và UIT-ViQuAD; nghiên cứu giới hạn ở cấp độ câu và cấp độ đoạn; thời gian thực hiện nghiên cứu từ ngày 13/09/2021 đến ngày 01/01/2022 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp

Khóa luận thiết lập cơ sở lý thuyết dựa trên các kiến trúc mô hình học sâu và mô hình học chuyển tiếp tiêu biểu trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) và Tạo sinh ngôn ngữ tự nhiên (NLG):

• Kiến trúc Sequence-to-Sequence (Seq2seq): Sử dụng bộ mã hóa – giải mã mạng nơ-ron hồi quy (RNN Encoder - Decoder) theo công bố của Cho và cộng sự (2014), kết hợp cơ chế tập trung toàn cục (Global Attention Mechanism) của Luong và cộng sự (2015). Quá trình giải mã áp dụng thuật toán tìm kiếm chùm (Beam Search).
• Mô hình học chuyển tiếp mT5 (Multilingual pre-trained text-to-text transformer): Biến thể đa ngôn ngữ của kiến trúc T5 (Raffel và cộng sự, 2020), cấu hình dạng text-to-text với cơ chế chuẩn hóa lớp pre-norm, phiên bản tác giả lựa chọn là mT5-small.
• Mô hình ngôn ngữ PhoBERT: Kiến trúc dựa trên RoBERTa được đào tạo chuyên biệt cho tiếng Việt bởi Nguyen và cộng sự (2020) với ngữ liệu 20GB. Tác giả áp dụng kỹ thuật giải mã lặp dựa trên bài toán điền mặt nạ (Fill-Mask) theo tiếp cận của Chan và Fan (2019), sử dụng phiên bản PhoBERT-base gồm 12 lớp mã hóa.
• Phương pháp học tăng cường (Reinforcement Learning - RL): Ứng dụng thuật toán Self-Critical Sequence Training (SCST) của Rennie và cộng sự (2017) dựa trên thuật toán REINFORCE của Williams (1992) để trực tiếp tối ưu hóa hàm mất mát theo độ đo đánh giá BLEU-4.

Phương pháp nghiên cứu thực tế được triển khai qua quy trình thực nghiệm hệ thống:

• Tiền xử lý dữ liệu và định dạng đầu vào: Văn bản được xử lý qua hai công cụ tách từ là ViTokenizer (thư viện PyVi) áp dụng cho mô hình Seq2seq và RDRSegmenter (thư viện VnCoreNLP) áp dụng cho mT5 và PhoBERT. Đầu vào của mô hình được biểu diễn dưới dạng chuỗi có chèn các mã đặc biệt: X = [CLS] c1, c2, ... [HL] a1, ... [HL] ... cc [SEP], trong đó mã [HL] (Highlight) bao bọc vị trí của câu trả lời mục tiêu ngay trong văn bản ngữ cảnh, giúp tránh việc mô hình phải đọc lặp lại câu trả lời và hạn chế nhầm lẫn vị trí.
• Nhúng từ (Word Embedding): Mô hình Seq2seq thử nghiệm đối sánh giữa hai bộ vector nhúng 300 chiều gồm fastText (phiên bản cc.vec cho tiếng Việt của Grave và cộng sự, 2018) và PhoW2V (phiên bản PhoW2V_words_300dims của Nguyen và cộng sự, 2020).
• Huấn luyện và tinh chỉnh: Cài đặt trên thư viện PyTorch phiên bản 1.1, huấn luyện trên phần cứng GPU đơn.

Nguồn dữ liệu thực nghiệm gồm hai bộ ngữ liệu đọc hiểu văn bản tiếng Việt do Kiet Nguyen và cộng sự công bố:

• Bộ dữ liệu UIT-ViNewsQA: Xây dựng thủ công dựa trên các bài báo thuộc lĩnh vực sức khỏe.
• Bộ dữ liệu UIT-ViQuAD: Xây dựng thủ công dựa trên các bài viết bách khoa toàn thư trích xuất từ Wikipedia tiếng Việt.

Bộ dữ liệu	Phân chia	Số bài báo	Số đoạn văn	Số cặp hỏi – đáp	Độ dài trung bình
UIT-ViNewsQA	Tập huấn luyện (Train)	3.517	-	17.568	342,9
	Tập phát triển (Dev)	500	-	2.497	323,9
	Tập kiểm thử (Test)	399	-	1.992	360,4
	Toàn bộ (All)	4.416	-	22.057	342,4
UIT-ViQuAD	Tập huấn luyện (Train)	138	4.101	18.579	153,9
	Tập phát triển (Dev)	18	515	2.285	147,2
	Tập kiểm thử (Test)	18	493	2.210	-
	Toàn bộ (All)	174	5.109	23.074	-

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu khái quát bài toán tạo sinh tự động câu hỏi tiếng Việt trong phạm vi lĩnh vực Tạo sinh ngôn ngữ tự nhiên. Tác giả nêu rõ sự cần thiết của bài toán đối với các hệ thống hỗ trợ người dùng trích xuất thông tin nhanh. Chương này phân tích chi tiết các thách thức đối với ngôn ngữ tiếng Việt: là ngôn ngữ có nguồn tài nguyên thấp, có cấu trúc ngữ nghĩa và từ ghép phức tạp, và chưa có công trình nghiên cứu tiền nhiệm nào về tạo câu hỏi tự động. Từ đó, tác giả chỉ ra tính ứng dụng của đề tài vào việc phát triển trợ lý ảo, hệ thống Chatbot và quy trình tóm tắt văn bản tự động, đồng thời tóm lược mục tiêu cùng cấu trúc các chương tiếp theo.

Chương 2: Các công trình nghiên cứu liên quan

Chương 2 tổng hợp bức tranh nghiên cứu trong nước và quốc tế liên quan đến bài toán hỏi – đáp và tạo sinh câu hỏi:

• Nghiên cứu quốc tế: Phần lớn các nghiên cứu được thực hiện trên bộ dữ liệu SQuAD tiếng Anh. Với mô hình Seq2seq, các công trình tiêu biểu gồm Duan và cộng sự (2017) đạt điểm BLEU-4 là 12,28%; Du và cộng sự (2017) đạt 17,63%; Kim và cộng sự đạt 16,xx% nhờ kỹ thuật tách biệt câu trả lời. Với các mô hình học chuyển tiếp, Chan và Fan (2019) áp dụng kiến trúc BERT đạt 21,20% ở cấp độ câu và 22,17% ở cấp độ đoạn văn; Lopez và cộng sự (2020) xây dựng mô hình Transformer dạng end-to-end. Về học tăng cường, Wang Liuyin và cộng sự (2020) đạt 17,54% trên HotpotQA; Chen Yu và cộng sự (2019) đạt 18,30% trên SQuAD.
• Nghiên cứu trong nước: Tác giả khẳng định tại thời điểm thực hiện chưa có công bố chính thức nào về tạo sinh tự động câu hỏi cho tiếng Việt, do đó đề tài mang tính chất tiên phong trên hai bộ dữ liệu UIT-ViNewsQA và UIT-ViQuAD.

Chương 3: Bộ dữ liệu và các phương pháp thử nghiệm

Chương 3 trình bày chi tiết về cấu trúc hai bộ dữ liệu thực nghiệm và thông số kỹ thuật của các mô hình:

• Mô tả chi tiết cấu trúc tập Train, Dev, Test của UIT-ViNewsQA và UIT-ViQuAD.
• Thiết kế mô hình Seq2seq dùng RNN Encoder - Decoder và cơ chế Luong Attention; mô hình chuyển tiếp mT5-small; và mô hình PhoBERT-base áp dụng cơ chế Masked Language Model tuần tự để sinh từng từ cho đến khi gặp token [SEP].
• Cấu hình thông số cài đặt cụ thể của từng mô hình được chuẩn hóa để kiểm thử:

Mô hình	Thuật toán tối ưu (Optimizer)	Tốc độ học (Learning Rate)	Số vòng lặp (Epoch)	Kích thước lô (Batch Size)	Độ rộng Beam (Beam Size)	Thông số kiến trúc khác
Seq2seq	SGD	1e-4	15	32	3	Chiều vector: 300; Encoder vocab: 45.000; Decoder vocab: 20.000; LSTM hidden: 600; Số lớp: 2; Dropout: 0.3
mT5	base	1e-4	5	32	4	Gradient accumulation: 8; Logging step: 50
PhoBERT	AdamW	5e-5	3	-	-	Số lớp: 12; Hidden size: 768; Attention head: 12; Vocab: 64.001; Dropout: 0.1

• Tích hợp học tăng cường SCST: Hàm mất mát entropy chéo có trọng số thưởng $L_r = (r(Y) - r(\hat{Y})) \sum_{t} \log P(y_t^|X, y_{<t}^)$ kết hợp với hàm mất mát học tăng cường $L_{RL}$, tạo thành hàm mục tiêu tổng thể $L = \gamma L_{RL} + (1 - \gamma) L_r$, trong đó hàm thưởng $r$ được định nghĩa dựa trên BLEU-4 và độ tương đồng cosin.

Chương 4: So sánh các phương pháp thử nghiệm

Chương 4 tập trung phân tích kết quả thử nghiệm định lượng trên thang đo BLEU (từ BLEU-1 đến BLEU-4):

• Đánh giá bộ biểu diễn từ trên mô hình Seq2seq: Thử nghiệm cho thấy fastText đạt kết quả vượt trội hơn so với PhoW2V trên cả hai bộ dữ liệu. Tác giả lý giải sự chênh lệch lớn này bắt nguồn từ việc công cụ tách từ chưa tương thích tối ưu với bộ vector PhoW2V hoặc có sai sót trong quá trình tiền xử lý định dạng từ.
• Đánh giá các mô hình tạo câu hỏi cấp độ câu: Mô hình PhoBERT nguyên bản đạt kết quả BLEU-4 cao nhất, lần lượt là 19,32% trên UIT-ViNewsQA và 20,21% trên UIT-ViQuAD.
• Hiệu quả của học tăng cường: Việc kết hợp thuật toán SCST giúp cải thiện điểm số ở tất cả các phương pháp, đưa mô hình PhoBERT + RL đạt mốc 19,77% trên UIT-ViNewsQA (tăng 0,45%) và 20,43% trên UIT-ViQuAD (tăng 0,22%).
• Mở rộng ứng dụng bài toán: Tác giả tích hợp API BERT-VN-NER để trích xuất tự động các thực thể có tên trong văn bản làm đầu vào câu trả lời, giúp mô hình tự sinh câu hỏi mà không cần người dùng nhập câu trả lời mẫu.

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết các mốc kết quả đạt được của khóa luận: xây dựng thành công quy trình tạo câu hỏi tự động cho tiếng Việt, thiết lập kết quả thực nghiệm cơ sở trên hai bộ dữ liệu chuẩn, nộp 01 bài báo khoa học đến hội nghị quốc tế ACIIDS 2022 và nghiệm thu đề tài nghiên cứu khoa học sinh viên cấp trường năm 2021. Đồng thời, chương này chỉ ra các hạn chế về mặt hiệu suất của module NER và định hướng nghiên cứu tiếp theo.

Kết quả và đóng góp

Khóa luận đã thu thập và đối sánh các kết quả định lượng cụ thể giữa các mô hình và phương pháp đề xuất:

Phương pháp thực nghiệm	UIT-ViNewsQA (BLEU-4 %)	UIT-ViQuAD (BLEU-4 %)	Mức độ cải thiện BLEU-4
Seq2seq (fastText)	Đạt hiệu suất cao hơn PhoW2V	Đạt hiệu suất cao hơn PhoW2V	-
PhoBERT (cơ sở)	19,32	20,21	Mốc chuẩn ban đầu
PhoBERT + Học tăng cường (RL)	19,77	20,43	Tăng 0,45% (ViNewsQA) / 0,22% (ViQuAD)

Các giải pháp và kỹ thuật được tác giả đề xuất bao gồm:

• Sử dụng cặp thẻ đặc biệt [HL] để khoanh vùng trực tiếp câu trả lời mục tiêu trong văn bản ngữ cảnh, giải quyết vấn đề phân tách rời rạc câu trả lời và giảm thiểu tình trạng mô hình mã hóa lặp lại thông tin.
• Ứng dụng quy trình sinh lặp từng token dựa trên cơ chế Fill-Mask của kiến trúc PhoBERT, thích ứng mô hình ngôn ngữ dạng che dấu cho bài toán tạo sinh văn bản tự động.
• Ứng dụng thuật toán Self-Critical Sequence Training đưa độ đo BLEU-4 trực tiếp vào hàm phần thưởng, tối ưu hóa quá trình giải mã và cải thiện độ chính xác ngữ cảnh của câu hỏi sinh ra.
• Kết hợp API mã nguồn mở BERT-VN-NER để khép kín quy trình sinh câu hỏi tự động từ văn bản thô.

Đóng góp khoa học của nghiên cứu:

• Là công trình tiên phong nghiên cứu thực nghiệm bài toán tạo sinh tự động câu hỏi cho tiếng Việt trên hai bộ dữ liệu đọc hiểu UIT-ViNewsQA và UIT-ViQuAD.
• Thiết lập hệ thống tham số thực nghiệm và điểm số benchmark chi tiết, tạo cơ sở đối sánh cho cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên tiếng Việt.
• Tác giả đã hoàn thiện và gửi 01 bài báo khoa học đến Hội nghị quốc tế ACIIDS 2022 (đang trong quá trình phản biện tại thời điểm nộp khóa luận), đồng thời đề tài đã được thông qua và nghiệm thu trong khuôn khổ Nghiên cứu khoa học sinh viên năm 2021 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận ghi nhận các hạn chế kỹ thuật trong quá trình thực nghiệm:

• Hiệu suất của việc kết hợp API BERT-VN-NER chưa đạt được mức kỳ vọng của tác giả, khả năng trích xuất thực thể để làm câu trả lời tự động còn phụ thuộc nhiều vào chất lượng nhận diện của mô hình NER bên ngoài.
• Kết quả thực nghiệm của bộ nhúng từ PhoW2V trên mô hình Seq2seq có sự chênh lệch lớn và thấp hơn đáng kể so với fastText, phản ánh quy trình tiền xử lý và tách từ tiếng Việt chưa thực sự tương thích với bộ vector này.
• Mức độ gia tăng hiệu suất từ việc kết hợp học tăng cường (tăng 0,45% trên ViNewsQA và 0,22% trên ViQuAD) còn ở mức khiêm tốn.

Các hướng phát triển tiếp theo được tác giả xác định:

• Nâng cấp và cải tiến giải pháp xác định câu trả lời tự động trong văn bản thay thế cho API NER hiện tại nhằm tăng độ chính xác của đầu vào.
• Tinh chỉnh các phương pháp tiền xử lý và nhúng từ chuyên biệt để khai thác hiệu quả hơn các bộ biểu diễn từ tiếng Việt như PhoW2V.
• Mở rộng bài toán và thực nghiệm sâu hơn trên cấp độ đoạn văn phức tạp, hướng tới tích hợp mô hình vào các hệ sinh thái hỏi – đáp thực tế như Chatbot và trợ lý ảo tiếng Việt.

Giá trị tham khảo

Tài liệu khóa luận này cung cấp giá trị tham khảo học thuật cho:

• Sinh viên, học viên cao học và nghiên cứu viên thuộc các ngành Công nghệ Thông tin, Khoa học Máy tính và Khoa học Dữ liệu đang nghiên cứu về Xử lý ngôn ngữ tự nhiên tiếng Việt, đặc biệt là mảng Tạo sinh văn bản (NLG) và Đọc hiểu tự động (Machine Reading Comprehension).
• Các kỹ sư phát triển hệ thống trí tuệ nhân tạo muốn tham khảo phương pháp áp dụng mô hình Fill-Mask (PhoBERT) cho bài toán sinh chuỗi tuần tự và cách tích hợp học tăng cường (SCST) vào các mô hình Transformer.
• Các phần đáng tham khảo trực tiếp trong khóa luận bao gồm: cấu trúc tiền xử lý dữ liệu với mã định danh [HL] trong mục 3.3.1, bảng thiết lập siêu tham số chi tiết của ba dòng mô hình trong Bảng 3.5, và các công thức toán học về hàm thưởng kết hợp giữa BLEU-4 và độ đo Cosine trong mục 3.4.

Câu hỏi thường gặp

Đề tài sử dụng những bộ dữ liệu nào và quy mô của chúng ra sao?
Nghiên cứu sử dụng hai bộ dữ liệu đọc hiểu văn bản tiếng Việt chuẩn gồm UIT-ViNewsQA (xây dựng từ 4.416 bài báo sức khỏe với 22.057 cặp câu hỏi – đáp) và UIT-ViQuAD (xây dựng từ 174 bài báo Wikipedia, chia thành 5.109 đoạn văn bản với 23.074 cặp câu hỏi – đáp). Cả hai bộ dữ liệu đều được chia thành các tập huấn luyện (Train), phát triển (Dev) và kiểm thử (Test).

Tại sao tác giả sử dụng thẻ đặc biệt [HL] trong biểu diễn đầu vào của mô hình?
Thẻ đặc biệt [HL] (Highlight) được chèn vào trước và sau câu trả lời mục tiêu nằm trong đoạn văn ngữ cảnh ([CLS] c1, c2, ... [HL] a1, ... [HL] ... cc [SEP]). Cơ chế này giúp mô hình nhận diện chính xác vị trí câu trả lời mà không cần phân tách câu trả lời thành một trường dữ liệu độc lập, từ đó tránh việc mô hình phải đọc lặp lại câu trả lời và loại bỏ nguy cơ nhầm lẫn vị trí trong văn bản.

Việc kết hợp phương pháp học tăng cường (RL) mang lại hiệu quả như thế nào cho mô hình PhoBERT?
Việc áp dụng thuật toán SCST để tối ưu hàm mất mát trực tiếp theo BLEU-4 đã giúp cải thiện hiệu suất của mô hình PhoBERT trên cả hai tập dữ liệu kiểm thử. Cụ thể, điểm BLEU-4 tăng từ 19,32% lên 19,77% (tăng 0,45%) trên bộ dữ liệu UIT-ViNewsQA và từ 20,21% lên 20,43% (tăng 0,22%) trên bộ dữ liệu UIT-ViQuAD.

Kết quả so sánh giữa hai bộ biểu diễn từ fastText và PhoW2V trên mô hình Sequence-to-Sequence phản ánh điều gì?
Thực nghiệm tại Bảng 4.1 cho thấy bộ biểu diễn từ fastText đạt điểm số vượt trội hoàn toàn so với PhoW2V khi áp dụng cho mô hình Seq2seq. Tác giả phân tích rằng nguyên nhân dẫn đến chênh lệch lớn này có thể do công cụ tách từ ViTokenizer tạo ra định dạng từ phù hợp hơn với fastText, hoặc do quy trình tiền xử lý dữ liệu của nghiên cứu chưa tương thích tốt với bộ vector của PhoW2V.

Khóa luận giải quyết bài toán tự động xác định câu trả lời đầu vào bằng cách nào?
Tác giả đã tích hợp API BERT-VN-NER vào pipeline xử lý. Công cụ này tự động nhận diện các thực thể có tên trong văn bản ngữ cảnh để làm câu trả lời giả định cho mô hình sinh câu hỏi, giúp hệ thống vận hành tự động mà không cần con người cung cấp câu trả lời trước, dù hiệu suất thực tế của module này được ghi nhận là chưa đạt kỳ vọng ban đầu.

Kết luận

Khóa luận tốt nghiệp của tác giả Vũ Nguyễn là công trình tiên phong nghiên cứu bài toán tạo sinh tự động câu hỏi tiếng Việt trên hai bộ dữ liệu chuẩn UIT-ViNewsQA và UIT-ViQuAD. Tác giả đã triển khai thực nghiệm có hệ thống từ mô hình học sâu Sequence-to-Sequence đến các mô hình học chuyển tiếp mT5 và PhoBERT, đồng thời kết hợp thành công kỹ thuật học tăng cường SCST để tối ưu hóa kết quả theo độ đo BLEU-4. Với điểm số BLEU-4 cao nhất đạt 20,43% và việc nộp bài báo khoa học đến hội nghị ACIIDS 2022, nghiên cứu đã thiết lập một hệ thống kết quả cơ sở phục vụ cho các nghiên cứu tiếp theo về xử lý ngôn ngữ tự nhiên tiếng Việt.

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong bối cảnh nền công nghiệp 4.0 phát triển mạnh mẽ, việc ứng dụng Trí tuệ nhân tạo đã và đang có mặt tại hầu hết các lĩnh vực kinh tế và đời sống. Một trong những nhiệm vụ đã và đang được cộng đồng Xử lý ngôn ngữ tự nhiên quan tâm đến trong những năm gần đây là các bài toán hỏi — đáp. Việc nghiên cứu, phát triển bài toán hỏi — đáp có vai trò, ý nghĩa rat lớn trong cuộc sống hàng ngày của con người. Khi hỏi — đáp được áp dụng trên các văn bản, việc hỏi — đáp còn giúp cho người đọc tóm tat được thông tin, trích xuất được các thông tin chính của văn bản mà không cần phải đọc quá kỹ về các thông tin bên lề xuất hiện trong văn bản.

Hiểu được ý nghĩa to lớn đó, nhiều công trình nghiên cứu việc tự động hỏi — đáp dựa trên văn bản cho máy tính đã được cộng đồng công bố. Trong những năm qua, nhiều công trình nghiên cứu cho bài toán hỏi — đáp đã được công bó trên nhiều ngôn ngữ khác nhau, từ những ngôn ngữ nhiều tài nguyên như tiếng Anh đến ngôn ngữ kém tài nguyên hơn như tiếng Việt. Hỏi — đáp luôn mang nhiều ý nghĩa quan trọng, nhưng con người thường quan tâm đến quá trình đáp nhiều hơn so với việc hỏi. Con người có thói quen hỏi về một vấn đề họ quan tâm đến, điều đó giúp họ tập trung hơn vào một vấn đề cụ thể từ việc đáp.

Ngoài ra, việc hỏi còn giúp con người hình dung rõ hơn về một van đề. Khi chưa đọc và tiếp nhận một thông tin mới, việc nhìn vào những câu hỏi được đặt ra xoay quanh vấn đề giúp con người tóm tắt được vấn đề đang được nhắc đến là gì, bối cảnh của thông tin họ đang muốn tiếp nhận ra sao. Hiểu được ý nghĩa của việc này, chúng tôi quyết định đi đến nghiên cứu và xây dựng một bài toán “Tạo sinh tự động câu hỏi tiêng Việt”. Bài toán “Tạo sinh tự động câu hỏi tiếng Việt” thuộc về lĩnh vực Tao sinh ngôn ngữ tu nhiên (Natural Language Generation — NLG), một lĩnh vực rất được cộng đồng NLG quan tâm trong những năm gần đây.

Đã có nhiều công trình nghiên cứu liên quan đến bài toán của chúng tôi được công bồ trên thế giới, tuy nhiên theo sự tìm hiéu của chúng tôi, các nghiên cứu liên quan trên ngôn ngữ kém tài nguyên như tiêng Việt chưa nhận được nhiêu sự quan tâm và có bât kỳ công bô nào cho bài toán này. Vi vậy, chúng tôi tiên phong thực hiện nghiên cứu bài toán “Tao sinh tự động câu hỏi tiêng Việt”, với mục dich mang lại nhiêu tính ứng dụng hơn va phục vụ nhiêu nhu câu trong cuộc sông hiện đại. Bài toán “Tạo sinh tự động câu hỏi tiêng Việt” được tông quát như sau: e Đầu vào: Một đoạn văn ban đi kèm với một câu trả lời liên quan đên nội dung của đoạn văn bản. e Đâu ra: Câu hỏi tương ứng với câu trả lời (dựa trên ngữ cảnh của câu / đoạn văn).

Bên dưới là mau dữ liệu được trích từ bộ dữ liệu UIT-ViNewsQA [5] đã được xây dựng trước đó: Đoạn văn: Trước khi phẫu thuật hôm 10/10, bé đã được các bác sĩ tại Trung tâm Y tế huyện Anh Sơn tiến hành các xét nghiệm cần thiết, nội soi tai mũi họng phát hiện hai đường rò luân nhĩ. Câu hỏi: Phát hiện điều gì khi nội soi tai mũi họng của bệnh nhân? Câu trả lời: Hai đường rò luân nhĩ. Mục tiêu khóa luận Mục tiêu của khóa luận tôt nghiệp là nghiên cứu về bài toán tạo sinh tự động câu hỏi tiêng Việt. Tông quan gôm các mục tiêu chính sau đây: e Dau tiên, chúng tôi nghiên cứu, tiên hành thử nghiệm và đánh giá hiệu quả của các mô hình học sâu Sequence-to-Sequence [1] va mô hình học chuyển tiếp như PhoBERT [3], mT5 [2] trên bộ dữ liệu đã được xây dung từ trước: UIT- ViNewsQA [5] và UIT-ViQuAD [6].

Thứ hai, chúng tôi tién hành thử nghiệm kết hợp, đánh giá các mô hình đã được xây dựng với phương pháp học tăng cường. Cuối cùng, chúng tôi xây dựng, mở rộng ứng dụng của bài toán khi kết hợp với các bài toán hiện đại đã được xây dựng trước đó như Named-Entity Recognition, giúp máy tự xác định thành phần trong văn bản và đặt câu hỏi dựa trên thành phan đã được xác định và ngữ cảnh của thành phan đó. Đôi tượng và phạm vỉ nghiên cứu > Đối tượng: Bài toán tạo sinh tự động câu hỏi tiêng Việt dựa trên văn bản và câu trả lời, sử dụng bộ dữ liệu đã được xây dựng từ trước. > Pham vi: Pham vi nghiên cứu của đề tài tập trung chủ yếu vào việc giúp máy hoc khả năng tao sinh tự động câu hỏi cho văn bản tiêng Việt, được dựa trên hai bộ dữ liệu vê văn bản được xây dựng từ nghiên cứu trước đó trên tiếng Việt là UIT-ViNewsQA và UIT- ViQuAD.

Dé tài của chúng tôi tập trung chủ yêu vào các van đề sau: Nghiên cứu, thực nghiệm và đánh giá các phương pháp học sâu Sequence-to- Sequence và phương pháp học chuyên tiếp mT5, PhoBERT. Nghiên cứu, thực nghiệm và đánh giá việc kết hợp các phương pháp đã xây dựng từ nhiệm vụ trên với phương pháp học tăng cường. Liệu việc kết hợp với phương pháp học tăng cường có giúp cải thiện được hiệu quả của các phương pháp trên độ đo đánh giá hay không? Kết hợp ứng dụng bài toán của chúng tôi với bài toán phổ biến trước đó là Named-Entity Reconnition. Việc kết hợp ứng dụng này giúp chúng tôi trả lời câu hỏi “Liệu mô hình của chúng tôi có khả năng đặt câu hỏi dựa trên thành phần câu do chính máy tính xác định hay không?”.

> Kết quả nghiên cứu Sau khi hoàn thành, nghiên cứu của chúng tôi đạt được các kết quả sau: e Ching tôi tién hanh những nghiên cứu thử nghiệm ban đầu và đạt được kết quả cao nhất trên mô hình PhoBERT trên độ đo đánh giá BLEU [4], sử dụng BLEU-4 là độ đo đánh giá chính, lần lượt là 19.32% trên bộ di liệu UIT- ViNewsQA và 20.21% trên bộ dữ liệu UTT-VIQuAD. Ngoài ra, chúng tôi còn thử nghiệm trên mô hình học sâu Sequence-to-Sequence và mô hình học chuyên tiếp đa ngôn ngữ mT5. Việc thử nghiệm nhiều mô hình khác nhau giúp chúng tôi có cái nhìn và đánh giá khách quan về hiệu suất của các mô hình trên bài toán tạo sinh tự động câu hỏi trên bộ dữ liệu sẵn có. Những kết quả này cũng chính là tiền dé dé các nghiên cứu trong tương lai sử dụng dé so sánh hiệu suất của các mô hình trên nhiệm vụ tương đương.

e Chúng tôi thử nghiệm thành công việc kết hợp các mô hình đã được xây dựng với phương pháp học tăng cường. Việc kết hợp học tăng cường giúp tăng hiệu suất của các phương pháp đã được xây dựng, đạt hiệu suất cao nhất khi kết hợp với mô hình PhoBERT trên độ đo đánh giá BLEU, lần lượt là 19.77% trên bộ dữ liệu UIT-VINewsQA (cao hơn 0.45% so với thử nghiệm trước đó), và 20.43% trên bộ dữ liệu UIT-ViQuAD (cao hơn 0.22% so với thử nghiệm trước đó). Tuy rang hiệu suất khi kết hợp có cao hơn nhưng không quá vượt trội. Việc kết hợp thành công các phương pháp vẫn sẽ là một tiền đề cho những nghiên cứu về sau.

e Ứng dụng thành công API BERT-VN-NER! - nghiên cứu bài toán Named- Entity Recognition sử dụng BERT trên tiếng Việt được xây dựng trước đó. Việc ứng dụng thành công API cho đầu vào của bài toán giúp cho máy tự xác định thành phần sẽ được dùng dé đặt câu hỏi dựa trên ngữ cảnh mà văn bản mang đên, và mô hình đạt hiệu suât cao nhât của chúng tôi đã đặt được câu 1 https://github.com/dat821168/bert_vn_ner hỏi mà không cần đưa câu trả lời liên quan đến văn bản làm đầu vào. Tuy nhiên, ứng dụng chưa đạt được hiệu suất mà chúng tôi mong muốn. e Viết và gửi 01 bài báo khoa học đến hội nghị uy tín trên thế giới - ACIIDS 2022 va đang trong quá trình xét duyệt.

Ngoài ra, bai toán đã được thông qua cho đề tài nghiên cứu khoa học sinh viên 2021 do trường Đại học Công nghệ Thông tin, Đại học Quốc gia thành phó Hồ Chí Minh tô chức. Cấu trúc khóa luận Khóa luận gồm 5 chương với các các nội dung chính sau: > Chương 1: Tổng quan Trong chương này, chúng tôi sẽ trình bày tổng quan về bài toán “Tạo sinh tự động câu hỏi tiếng Việt” trên hai bộ dữ liệu hỏi — đáp về văn bản đã được xây dựng trước đó. > Chương 2: Các công trình nghiên cứu liên quan Chúng tôi giới thiệu các công trình nghiên cứu trên thế giới và trong nước có liên quan đến bài toán tạo sinh tự động câu hỏi tiếng Việt trong chương 2 bao gồm các bộ dữ liệu được sử dụng và các phương pháp thực nghiệm bài toán tạo sinh tự động câu hỏi. > Chương 3: Bộ dữ liệu và các phương pháp thử nghiệm Trong chương 3, chúng tôi trình bày về bộ dữ liệu được sử dụng, phục vụ cho nghiên cứu tạo sinh tự động câu hỏi và khách quan về các phương pháp thử nghiệm, bao gồm phương pháp học sâu và phương pháp học chuyền tiếp.

Ngoài ra, chúng tôi trình bày về việc xây dựng phương pháp học tăng cường, được sử dụng trong việc kết hợp với các phương pháp thử nghiệm đã xây dựng trước đó. > Chương 4: So sánh các phương pháp thử nghiệm Trong chương này, chúng tôi đi đến so sánh, đánh giá các phương pháp thử nghiệm trên độ đo đánh giá nhất định. Chúng tôi đi đến phân tích nguyên nhân dẫn đến các kết quả, sai số. Ngoài ra, chúng tôi đi đến phân tích khả năng tạo câu hỏi của các phương pháp thử nghiệm.

Chương 5: Kết luận va hướng phát triển Trong chương cuối, chúng tôi trình bày các kết quả đã thực hiện và đạt được trong khóa luận tốt nghiệp này, các mặt hạn chế cũng như là các hướng phát triển và mở rộng đề tài trong tương lai. Giới thiệu đề tài Tao sinh văn ban (Text Generation) là một bài toán được cộng đồng Trí tuệ nhân tạo nói chung và cộng đồng Xử lý ngôn ngữ tự nhiên nói riêng quan tâm đến trong những năm gần đây. Một số bài toán điển hình trong lĩnh vực tạo sinh văn bản có thé kế đến bài toán tạo sinh tiếp nối văn bản từ văn bản cho trước, hay đối với bài toán được chúng tôi đi đến nghiên cứu trong khóa luận này là bài toán tạo sinh tự động câu hỏi cho văn bản.