Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Khóa luận tốt nghiệp công nghệ thông tin nghiên cứu về tạo sinh tự động câu hỏi tiếng Việt, ứng dụng trong giáo dục và phát triển ngôn ngữ.

Chuyên ngành

Công nghệ thông tin

Người đăng

Ẩn danh

Thể loại

khóa luận tốt nghiệp

2022

66
2
0

Phí lưu trữ

30 Point

Mục lục chi tiết

LỜI CẢM ƠN

LỜI MỞ ĐẦU

1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI

1.1. Thách thức của đề tài

1.2. Tính ứng dụng của đề tài

1.3. CÁC CÔNG TRÌNH NGHIÊN CỨU LIÊN QUAN

1.3.1. Tình hình nghiên cứu trên thế giới

1.3.2. Tình hình nghiên cứu trong nước

2. CHƯƠNG 2: BỘ DỮ LIỆU VÀ CÁC PHƯƠNG PHÁP THỬ NGHIỆM

2.1. Bộ dữ liệu

2.1.1. Bộ dữ liệu UIT-ViNewsQA

2.1.2. Bộ dữ liệu UIT-ViQuAD

2.2. Các phương pháp thử nghiệm

2.2.1. Mô hình học sâu Sequence-to-Sequence

2.2.2. Mô hình học chuyển tiếp mT5

2.2.3. Mô hình học chuyển tiếp PhoBERT

2.2.4. Nghiên cứu thử nghiệm

2.3. Tiền xử lý dữ liệu

2.4. Thông số cài đặt các mô hình

2.5. Phương pháp học tăng cường

3. CHƯƠNG 3: SO SÁNH CÁC PHƯƠNG PHÁP THỬ NGHIỆM

3.1. Thông số đánh giá

3.2. Kết quả thử nghiệm

3.3. Hiệu suất các bộ biểu diễn từ

3.4. Khả năng tạo sinh câu hỏi của các phương pháp thử nghiệm

3.5. Mở rộng ứng dụng bài toán

4. CHƯƠNG 4: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN

4.1. Hướng phát triển

TÀI LIỆU THAM KHẢO

DANH MỤC HÌNH

DANH MỤC BẢNG

DANH MỤC TỪ VIẾT TẮT

TÓM TẮT KHÓA LUẬN

Tóm tắt

I. Giới thiệu về Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Nghiên cứu tạo sinh tự động câu hỏi tiếng Việt là một lĩnh vực đang thu hút sự quan tâm lớn trong cộng đồng nghiên cứu trí tuệ nhân tạo. Việc phát triển các mô hình tự động tạo câu hỏi không chỉ giúp cải thiện khả năng đọc hiểu của máy mà còn hỗ trợ người dùng trong việc tiếp nhận thông tin một cách hiệu quả hơn. Mục tiêu của nghiên cứu này là xây dựng các mô hình có khả năng tạo ra câu hỏi từ văn bản tiếng Việt, từ đó nâng cao khả năng tương tác giữa con người và máy tính.

1.1. Tầm quan trọng của việc tạo câu hỏi tự động

Việc tạo câu hỏi tự động giúp người dùng dễ dàng tiếp cận thông tin quan trọng trong văn bản. Điều này đặc biệt hữu ích trong các lĩnh vực giáo dục và nghiên cứu, nơi mà việc trích xuất thông tin chính xác là rất cần thiết.

1.2. Các ứng dụng của công nghệ tạo câu hỏi

Công nghệ tạo câu hỏi tự động có thể được ứng dụng trong nhiều lĩnh vực như giáo dục, hỗ trợ học tập, và phát triển các hệ thống hỏi đáp thông minh. Những ứng dụng này không chỉ giúp tiết kiệm thời gian mà còn nâng cao hiệu quả học tập.

II. Thách thức trong Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Mặc dù có nhiều tiềm năng, nhưng việc nghiên cứu tạo sinh tự động câu hỏi tiếng Việt vẫn gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là thiếu hụt dữ liệu chất lượng cao để huấn luyện các mô hình. Ngoài ra, ngôn ngữ tiếng Việt có nhiều đặc điểm ngữ pháp và ngữ nghĩa phức tạp, điều này làm cho việc phát triển các thuật toán trở nên khó khăn hơn.

2.1. Thiếu hụt dữ liệu huấn luyện

Việc thiếu hụt các bộ dữ liệu lớn và đa dạng cho tiếng Việt là một trong những rào cản lớn nhất trong việc phát triển các mô hình tạo câu hỏi tự động. Điều này ảnh hưởng trực tiếp đến khả năng học tập của các mô hình.

2.2. Đặc điểm ngôn ngữ tiếng Việt

Ngôn ngữ tiếng Việt có nhiều đặc điểm riêng biệt như ngữ điệu, từ đồng nghĩa và từ trái nghĩa, điều này tạo ra thách thức trong việc xây dựng các mô hình có khả năng hiểu và tạo câu hỏi chính xác.

III. Phương Pháp Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt

Để giải quyết các thách thức nêu trên, nghiên cứu này áp dụng nhiều phương pháp khác nhau, bao gồm các mô hình học sâu và các kỹ thuật xử lý ngôn ngữ tự nhiên hiện đại. Các phương pháp này giúp cải thiện khả năng tạo câu hỏi từ văn bản một cách tự động và chính xác hơn.

3.1. Mô hình học sâu Sequence to Sequence

Mô hình học sâu Sequence-to-Sequence được sử dụng để tạo câu hỏi từ văn bản. Mô hình này cho phép máy tính học cách chuyển đổi một đoạn văn thành câu hỏi tương ứng thông qua việc sử dụng các mạng nơ-ron.

3.2. Sử dụng PhoBERT và mT5

PhoBERT và mT5 là những mô hình hiện đại được áp dụng trong nghiên cứu này. Chúng giúp cải thiện độ chính xác trong việc tạo câu hỏi bằng cách hiểu ngữ cảnh và ý nghĩa của văn bản tốt hơn.

IV. Ứng Dụng Thực Tiễn và Kết Quả Nghiên Cứu

Nghiên cứu này không chỉ dừng lại ở lý thuyết mà còn có những ứng dụng thực tiễn rõ ràng. Các mô hình được phát triển có thể được áp dụng trong nhiều lĩnh vực khác nhau, từ giáo dục đến công nghệ thông tin. Kết quả nghiên cứu cho thấy khả năng tạo câu hỏi tự động từ văn bản tiếng Việt đã đạt được những thành công nhất định.

4.1. Ứng dụng trong giáo dục

Các mô hình tạo câu hỏi tự động có thể được sử dụng để phát triển các công cụ học tập thông minh, giúp học sinh và sinh viên dễ dàng tiếp cận kiến thức và ôn tập hiệu quả.

4.2. Kết quả đánh giá mô hình

Kết quả đánh giá cho thấy mô hình đạt được độ chính xác cao trong việc tạo câu hỏi, với các chỉ số đánh giá như BLEU cho thấy sự cải thiện rõ rệt so với các phương pháp trước đó.

V. Kết Luận và Tương Lai của Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi

Nghiên cứu tạo sinh tự động câu hỏi tiếng Việt đã mở ra nhiều cơ hội mới trong lĩnh vực trí tuệ nhân tạo và xử lý ngôn ngữ tự nhiên. Mặc dù còn nhiều thách thức, nhưng với sự phát triển không ngừng của công nghệ, tương lai của lĩnh vực này hứa hẹn sẽ rất tươi sáng.

5.1. Hướng phát triển trong tương lai

Trong tương lai, nghiên cứu có thể tập trung vào việc cải thiện chất lượng dữ liệu và phát triển các mô hình mạnh mẽ hơn, giúp nâng cao khả năng tạo câu hỏi tự động.

5.2. Tác động đến xã hội

Công nghệ tạo câu hỏi tự động có thể có tác động lớn đến cách mà con người tiếp cận và xử lý thông tin, từ đó nâng cao hiệu quả học tập và làm việc trong xã hội hiện đại.

10/07/2025
Khóa luận tốt nghiệp công nghệ thông tin nghiên cứu tạo sinh tự động câu hỏi tiếng việt

Trích đoạn nội dung tài liệu

Đặt vấn đề Trong bối cảnh nền công nghiệp 4.0 phát triển mạnh mẽ, việc ứng dụng Trí tuệ nhân tạo đã và đang có mặt tại hầu hết các lĩnh vực kinh tế và đời sống. Một trong những nhiệm vụ đã và đang được cộng đồng Xử lý ngôn ngữ tự nhiên quan tâm đến trong những năm gần đây là các bài toán hỏi — đáp. Việc nghiên cứu, phát triển bài toán hỏi — đáp có vai trò, ý nghĩa rat lớn trong cuộc sống hàng ngày của con người. Khi hỏi — đáp được áp dụng trên các văn bản, việc hỏi — đáp còn giúp cho người đọc tóm tat được thông tin, trích xuất được các thông tin chính của văn bản mà không cần phải đọc quá kỹ về các thông tin bên lề xuất hiện trong văn bản.

Hiểu được ý nghĩa to lớn đó, nhiều công trình nghiên cứu việc tự động hỏi — đáp dựa trên văn bản cho máy tính đã được cộng đồng công bố. Trong những năm qua, nhiều công trình nghiên cứu cho bài toán hỏi — đáp đã được công bó trên nhiều ngôn ngữ khác nhau, từ những ngôn ngữ nhiều tài nguyên như tiếng Anh đến ngôn ngữ kém tài nguyên hơn như tiếng Việt. Hỏi — đáp luôn mang nhiều ý nghĩa quan trọng, nhưng con người thường quan tâm đến quá trình đáp nhiều hơn so với việc hỏi. Con người có thói quen hỏi về một vấn đề họ quan tâm đến, điều đó giúp họ tập trung hơn vào một vấn đề cụ thể từ việc đáp.

Ngoài ra, việc hỏi còn giúp con người hình dung rõ hơn về một van đề. Khi chưa đọc và tiếp nhận một thông tin mới, việc nhìn vào những câu hỏi được đặt ra xoay quanh vấn đề giúp con người tóm tắt được vấn đề đang được nhắc đến là gì, bối cảnh của thông tin họ đang muốn tiếp nhận ra sao. Hiểu được ý nghĩa của việc này, chúng tôi quyết định đi đến nghiên cứu và xây dựng một bài toán “Tạo sinh tự động câu hỏi tiêng Việt”. Bài toán “Tạo sinh tự động câu hỏi tiếng Việt” thuộc về lĩnh vực Tao sinh ngôn ngữ tu nhiên (Natural Language Generation — NLG), một lĩnh vực rất được cộng đồng NLG quan tâm trong những năm gần đây.

Đã có nhiều công trình nghiên cứu liên quan đến bài toán của chúng tôi được công bồ trên thế giới, tuy nhiên theo sự tìm hiéu của chúng tôi, các nghiên cứu liên quan trên ngôn ngữ kém tài nguyên như tiêng Việt chưa nhận được nhiêu sự quan tâm và có bât kỳ công bô nào cho bài toán này. Vi vậy, chúng tôi tiên phong thực hiện nghiên cứu bài toán “Tao sinh tự động câu hỏi tiêng Việt”, với mục dich mang lại nhiêu tính ứng dụng hơn va phục vụ nhiêu nhu câu trong cuộc sông hiện đại. Bài toán “Tạo sinh tự động câu hỏi tiêng Việt” được tông quát như sau: e Đầu vào: Một đoạn văn ban đi kèm với một câu trả lời liên quan đên nội dung của đoạn văn bản. e Đâu ra: Câu hỏi tương ứng với câu trả lời (dựa trên ngữ cảnh của câu / đoạn văn).

Bên dưới là mau dữ liệu được trích từ bộ dữ liệu UIT-ViNewsQA [5] đã được xây dựng trước đó: Đoạn văn: Trước khi phẫu thuật hôm 10/10, bé đã được các bác sĩ tại Trung tâm Y tế huyện Anh Sơn tiến hành các xét nghiệm cần thiết, nội soi tai mũi họng phát hiện hai đường rò luân nhĩ. Câu hỏi: Phát hiện điều gì khi nội soi tai mũi họng của bệnh nhân? Câu trả lời: Hai đường rò luân nhĩ. Mục tiêu khóa luận Mục tiêu của khóa luận tôt nghiệp là nghiên cứu về bài toán tạo sinh tự động câu hỏi tiêng Việt. Tông quan gôm các mục tiêu chính sau đây: e Dau tiên, chúng tôi nghiên cứu, tiên hành thử nghiệm và đánh giá hiệu quả của các mô hình học sâu Sequence-to-Sequence [1] va mô hình học chuyển tiếp như PhoBERT [3], mT5 [2] trên bộ dữ liệu đã được xây dung từ trước: UIT- ViNewsQA [5] và UIT-ViQuAD [6].

Thứ hai, chúng tôi tién hành thử nghiệm kết hợp, đánh giá các mô hình đã được xây dựng với phương pháp học tăng cường. Cuối cùng, chúng tôi xây dựng, mở rộng ứng dụng của bài toán khi kết hợp với các bài toán hiện đại đã được xây dựng trước đó như Named-Entity Recognition, giúp máy tự xác định thành phần trong văn bản và đặt câu hỏi dựa trên thành phan đã được xác định và ngữ cảnh của thành phan đó. Đôi tượng và phạm vỉ nghiên cứu > Đối tượng: Bài toán tạo sinh tự động câu hỏi tiêng Việt dựa trên văn bản và câu trả lời, sử dụng bộ dữ liệu đã được xây dựng từ trước. > Pham vi: Pham vi nghiên cứu của đề tài tập trung chủ yếu vào việc giúp máy hoc khả năng tao sinh tự động câu hỏi cho văn bản tiêng Việt, được dựa trên hai bộ dữ liệu vê văn bản được xây dựng từ nghiên cứu trước đó trên tiếng Việt là UIT-ViNewsQA và UIT- ViQuAD.

Dé tài của chúng tôi tập trung chủ yêu vào các van đề sau: Nghiên cứu, thực nghiệm và đánh giá các phương pháp học sâu Sequence-to- Sequence và phương pháp học chuyên tiếp mT5, PhoBERT. Nghiên cứu, thực nghiệm và đánh giá việc kết hợp các phương pháp đã xây dựng từ nhiệm vụ trên với phương pháp học tăng cường. Liệu việc kết hợp với phương pháp học tăng cường có giúp cải thiện được hiệu quả của các phương pháp trên độ đo đánh giá hay không? Kết hợp ứng dụng bài toán của chúng tôi với bài toán phổ biến trước đó là Named-Entity Reconnition. Việc kết hợp ứng dụng này giúp chúng tôi trả lời câu hỏi “Liệu mô hình của chúng tôi có khả năng đặt câu hỏi dựa trên thành phần câu do chính máy tính xác định hay không?”.

> Kết quả nghiên cứu Sau khi hoàn thành, nghiên cứu của chúng tôi đạt được các kết quả sau: e Ching tôi tién hanh những nghiên cứu thử nghiệm ban đầu và đạt được kết quả cao nhất trên mô hình PhoBERT trên độ đo đánh giá BLEU [4], sử dụng BLEU-4 là độ đo đánh giá chính, lần lượt là 19.32% trên bộ di liệu UIT- ViNewsQA và 20.21% trên bộ dữ liệu UTT-VIQuAD. Ngoài ra, chúng tôi còn thử nghiệm trên mô hình học sâu Sequence-to-Sequence và mô hình học chuyên tiếp đa ngôn ngữ mT5. Việc thử nghiệm nhiều mô hình khác nhau giúp chúng tôi có cái nhìn và đánh giá khách quan về hiệu suất của các mô hình trên bài toán tạo sinh tự động câu hỏi trên bộ dữ liệu sẵn có. Những kết quả này cũng chính là tiền dé dé các nghiên cứu trong tương lai sử dụng dé so sánh hiệu suất của các mô hình trên nhiệm vụ tương đương.

e Chúng tôi thử nghiệm thành công việc kết hợp các mô hình đã được xây dựng với phương pháp học tăng cường. Việc kết hợp học tăng cường giúp tăng hiệu suất của các phương pháp đã được xây dựng, đạt hiệu suất cao nhất khi kết hợp với mô hình PhoBERT trên độ đo đánh giá BLEU, lần lượt là 19.77% trên bộ dữ liệu UIT-VINewsQA (cao hơn 0.45% so với thử nghiệm trước đó), và 20.43% trên bộ dữ liệu UIT-ViQuAD (cao hơn 0.22% so với thử nghiệm trước đó). Tuy rang hiệu suất khi kết hợp có cao hơn nhưng không quá vượt trội. Việc kết hợp thành công các phương pháp vẫn sẽ là một tiền đề cho những nghiên cứu về sau.

e Ứng dụng thành công API BERT-VN-NER! - nghiên cứu bài toán Named- Entity Recognition sử dụng BERT trên tiếng Việt được xây dựng trước đó. Việc ứng dụng thành công API cho đầu vào của bài toán giúp cho máy tự xác định thành phần sẽ được dùng dé đặt câu hỏi dựa trên ngữ cảnh mà văn bản mang đên, và mô hình đạt hiệu suât cao nhât của chúng tôi đã đặt được câu 1 https://github.com/dat821168/bert_vn_ner hỏi mà không cần đưa câu trả lời liên quan đến văn bản làm đầu vào. Tuy nhiên, ứng dụng chưa đạt được hiệu suất mà chúng tôi mong muốn. e Viết và gửi 01 bài báo khoa học đến hội nghị uy tín trên thế giới - ACIIDS 2022 va đang trong quá trình xét duyệt.

Ngoài ra, bai toán đã được thông qua cho đề tài nghiên cứu khoa học sinh viên 2021 do trường Đại học Công nghệ Thông tin, Đại học Quốc gia thành phó Hồ Chí Minh tô chức. Cấu trúc khóa luận Khóa luận gồm 5 chương với các các nội dung chính sau: > Chương 1: Tổng quan Trong chương này, chúng tôi sẽ trình bày tổng quan về bài toán “Tạo sinh tự động câu hỏi tiếng Việt” trên hai bộ dữ liệu hỏi — đáp về văn bản đã được xây dựng trước đó. > Chương 2: Các công trình nghiên cứu liên quan Chúng tôi giới thiệu các công trình nghiên cứu trên thế giới và trong nước có liên quan đến bài toán tạo sinh tự động câu hỏi tiếng Việt trong chương 2 bao gồm các bộ dữ liệu được sử dụng và các phương pháp thực nghiệm bài toán tạo sinh tự động câu hỏi. > Chương 3: Bộ dữ liệu và các phương pháp thử nghiệm Trong chương 3, chúng tôi trình bày về bộ dữ liệu được sử dụng, phục vụ cho nghiên cứu tạo sinh tự động câu hỏi và khách quan về các phương pháp thử nghiệm, bao gồm phương pháp học sâu và phương pháp học chuyền tiếp.

Ngoài ra, chúng tôi trình bày về việc xây dựng phương pháp học tăng cường, được sử dụng trong việc kết hợp với các phương pháp thử nghiệm đã xây dựng trước đó. > Chương 4: So sánh các phương pháp thử nghiệm Trong chương này, chúng tôi đi đến so sánh, đánh giá các phương pháp thử nghiệm trên độ đo đánh giá nhất định. Chúng tôi đi đến phân tích nguyên nhân dẫn đến các kết quả, sai số. Ngoài ra, chúng tôi đi đến phân tích khả năng tạo câu hỏi của các phương pháp thử nghiệm.

Chương 5: Kết luận va hướng phát triển Trong chương cuối, chúng tôi trình bày các kết quả đã thực hiện và đạt được trong khóa luận tốt nghiệp này, các mặt hạn chế cũng như là các hướng phát triển và mở rộng đề tài trong tương lai. Giới thiệu đề tài Tao sinh văn ban (Text Generation) là một bài toán được cộng đồng Trí tuệ nhân tạo nói chung và cộng đồng Xử lý ngôn ngữ tự nhiên nói riêng quan tâm đến trong những năm gần đây. Một số bài toán điển hình trong lĩnh vực tạo sinh văn bản có thé kế đến bài toán tạo sinh tiếp nối văn bản từ văn bản cho trước, hay đối với bài toán được chúng tôi đi đến nghiên cứu trong khóa luận này là bài toán tạo sinh tự động câu hỏi cho văn bản.

Nội dung được bảo vệ bản quyền — Tải xuống đầy đủ

Tài liệu "Nghiên Cứu Tạo Sinh Tự Động Câu Hỏi Tiếng Việt" khám phá các phương pháp và công nghệ trong việc tự động hóa quá trình tạo ra câu hỏi bằng tiếng Việt. Nghiên cứu này không chỉ giúp nâng cao khả năng tương tác giữa con người và máy móc mà còn mở ra nhiều cơ hội ứng dụng trong giáo dục và công nghệ thông tin. Độc giả sẽ tìm thấy những lợi ích rõ ràng từ việc áp dụng các kỹ thuật này, như cải thiện khả năng học tập và hỗ trợ trong việc tìm kiếm thông tin.

Để mở rộng thêm kiến thức về lĩnh vực này, bạn có thể tham khảo tài liệu Đồ án hcmute xây dựng hệ thống chatbot tự động, nơi trình bày chi tiết về việc phát triển các hệ thống chatbot thông minh. Ngoài ra, tài liệu Luận văn tốt nghiệp khoa học máy tính hệ thống question answering hỗ trợ học sinh tìm hiểu môn lịch sử cũng sẽ cung cấp cái nhìn sâu sắc về cách thức hệ thống hỏi đáp có thể hỗ trợ trong việc học tập. Cuối cùng, bạn có thể tìm hiểu thêm về Luận văn thạc sĩ nhận dạng thực thể tên cho ngôn ngữ nói tiếng việt và ứng dụng trong tương tác với điện thoại thông minh 04, tài liệu này sẽ giúp bạn hiểu rõ hơn về việc nhận diện và xử lý ngôn ngữ tự nhiên trong các ứng dụng di động.

Mỗi liên kết trên đều là cơ hội để bạn khám phá sâu hơn về các chủ đề liên quan, mở rộng kiến thức và ứng dụng trong thực tiễn.