Luận văn nghiên cứu và phát triển hệ thống hỏi đáp tiếng Việt tại Đại học Bách khoa Hà Nội

Nghiên cứu và phát triển hệ thống hỏi đáp tiếng Việt nhằm nâng cao khả năng tương tác và hỗ trợ người dùng trong việc tìm kiếm thông tin.

• Tác giả: Nguyễn Hoàng Tiến Bách
• Người hướng dẫn: TS. Nguyễn Thị Thu Trang
• Trường học: Đại học Bách Khoa Hà Nội
• Chuyên ngành: Công nghệ thông tin
• Đề tài: Nghiên Cứu Và Phát Triển Hệ Thống Hỏi Đáp Tiếng Việt
• Loại tài liệu: luận văn tốt nghiệp
• Năm xuất bản: 2022
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• TÓM TẮT NỘI DUNG
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Tổng quan về bài toán hỏi đáp
• 1.2. Bài toán hỏi đáp dựa trên đọc hiểu văn bản
• 1.3. Các nghiên cứu về đọc hiểu văn bản trên thế giới
• 1.4. Các nghiên cứu về đọc hiểu văn bản cho tiếng Việt
• 1.5. Mục tiêu nghiên cứu của luận văn
• 1.6. Bố cục luận văn
• 2. CHƯƠNG 2: TỔNG QUAN VỀ MẠNG NƠ-RON NHÂN TẠO
• 2.1. Tổng quan về mạng nơ-ron nhân tạo
• 2.2. Mạng nơ-ron hồi quy RNN
• 2.3. Kiến trúc bộ mã hóa – giải mã (Encoder-Decoder)
• 2.4. Cơ chế chú ý cơ bản
• 2.5. Cơ chế tự chú ý
• 2.6. Multi-Head Attention
• 3. CHƯƠNG 3: BIỂU DIỄN CỦA TỪ
• 3.1. Biểu diễn bằng tần suất từ TF-IDF
• 3.2. Biểu diễn từ bằng các mô hình học máy
• 4. CHƯƠNG 4: MÔ HÌNH MẠNG BERT
• 5. CHƯƠNG 5: ĐỀ XUẤT CẢI TIẾN KỸ THUẬT CHO BÀI TOÁN ĐỌC HIỂU TIẾNG VIỆT
• 5.1. Mô hình cơ sở
• 5.2. Đề xuất cải tiến kỹ thuật cho đọc hiểu tiếng Việt (UtlTran)
• 5.2.1. Kỹ thuật chuyển đổi dữ liệu
• 5.2.2. Tiền xử lý dữ liệu
• 5.2.3. Huấn luyện tinh chỉnh mô hình đọc hiểu
• 5.3. Thực nghiệm và đánh giá
• 5.3.1. Các tập dữ liệu sử dụng cho tiền huấn luyện
• 5.3.2. Tập dữ liệu cho huấn luyện tinh chỉnh
• 5.3.3. Các mô hình thực nghiệm
• 5.3.4. Các độ đo đánh giá
• 5.3.5. Kết quả thử nghiệm và đánh giá
• 6. CHƯƠNG 6: HỆ THỐNG HỎI ĐÁP DỰA TRÊN ĐỌC HIỂU TIẾNG VIỆT
• 6.1. Kiến trúc tổng quan của hệ thống hỏi đáp dựa trên đọc hiểu
• 6.2. Mô hình hỏi đáp dựa trên đọc hiểu nhiều văn bản
• 6.3. Mô-đun xếp hạng đoạn văn bản
• 6.4. Mô-đun chọn lựa văn bản
• 6.5. Mô-đun đọc hiểu văn bản
• 6.6. Thử nghiệm và đánh giá
• 7. CHƯƠNG 7: MINH HỌA HỆ THỐNG HỎI ĐÁP TIẾNG VIỆT ĐỀ XUẤT
• 7.1. Đóng góp của luận văn
• 7.2. Hướng phát triển tương lai
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về Nghiên cứu Hệ thống Hỏi Đáp Tiếng Việt

Hệ thống hỏi đáp tiếng Việt đang trở thành một lĩnh vực nghiên cứu quan trọng trong Xử lý ngôn ngữ tự nhiên. Với sự gia tăng nhanh chóng của thông tin trên mạng, nhu cầu về các hệ thống có khả năng trả lời câu hỏi một cách chính xác và nhanh chóng ngày càng cao. Nghiên cứu này không chỉ giúp cải thiện khả năng tìm kiếm thông tin mà còn mở ra nhiều ứng dụng thực tiễn trong đời sống hàng ngày.

1.1. Định nghĩa và vai trò của hệ thống hỏi đáp

Hệ thống hỏi đáp là công cụ giúp người dùng tìm kiếm thông tin một cách nhanh chóng. Chúng sử dụng các thuật toán để phân tích và hiểu câu hỏi, từ đó tìm ra câu trả lời chính xác từ cơ sở dữ liệu.

1.2. Lịch sử phát triển hệ thống hỏi đáp

Hệ thống hỏi đáp đã có lịch sử phát triển từ những năm 1970 với các mô hình đơn giản. Tuy nhiên, sự phát triển của công nghệ học sâu đã mang lại những bước tiến vượt bậc cho lĩnh vực này.

II. Thách thức trong Nghiên cứu Hệ thống Hỏi Đáp Tiếng Việt

Mặc dù có nhiều tiến bộ, việc phát triển hệ thống hỏi đáp tiếng Việt vẫn gặp phải nhiều thách thức. Các vấn đề về ngữ nghĩa, cú pháp và thiếu hụt dữ liệu chất lượng cao là những rào cản lớn. Điều này đòi hỏi các nhà nghiên cứu phải tìm ra các giải pháp sáng tạo để vượt qua những khó khăn này.

2.1. Vấn đề về ngữ nghĩa và cú pháp

Ngôn ngữ tiếng Việt có nhiều đặc điểm phức tạp, điều này gây khó khăn cho việc phân tích và hiểu câu hỏi. Các hệ thống cần phải được cải tiến để xử lý tốt hơn các cấu trúc ngữ pháp phức tạp.

2.2. Thiếu hụt dữ liệu chất lượng cao

Việc thiếu hụt bộ dữ liệu lớn và chất lượng cao cho tiếng Việt là một thách thức lớn. Các nghiên cứu cần phải xây dựng và mở rộng bộ dữ liệu để cải thiện độ chính xác của hệ thống.

III. Phương pháp phát triển Hệ thống Hỏi Đáp Tiếng Việt

Để phát triển hệ thống hỏi đáp tiếng Việt, nhiều phương pháp đã được đề xuất. Các nghiên cứu hiện tại chủ yếu tập trung vào việc áp dụng các mô hình học sâu và cải tiến kỹ thuật để nâng cao hiệu suất của hệ thống.

3.1. Ứng dụng mô hình BERT trong hệ thống hỏi đáp

Mô hình BERT đã được chứng minh là hiệu quả trong việc xử lý ngôn ngữ tự nhiên. Việc áp dụng BERT giúp cải thiện khả năng hiểu ngữ nghĩa và cú pháp của hệ thống hỏi đáp.

3.2. Kỹ thuật UtlTran cho chuyển đổi dữ liệu

Kỹ thuật UtlTran cho phép chuyển đổi dữ liệu từ tiếng Anh sang tiếng Việt, giúp cải thiện độ chính xác của mô hình. Kỹ thuật này đã được áp dụng thành công trong nhiều nghiên cứu gần đây.

IV. Ứng dụng thực tiễn của Hệ thống Hỏi Đáp Tiếng Việt

Hệ thống hỏi đáp tiếng Việt có nhiều ứng dụng thực tiễn trong đời sống hàng ngày. Chúng không chỉ giúp người dùng tìm kiếm thông tin mà còn hỗ trợ trong các lĩnh vực như giáo dục, y tế và dịch vụ khách hàng.

4.1. Ứng dụng trong giáo dục

Hệ thống hỏi đáp có thể hỗ trợ học sinh và sinh viên trong việc tìm kiếm thông tin học tập. Chúng giúp tiết kiệm thời gian và nâng cao hiệu quả học tập.

4.2. Ứng dụng trong dịch vụ khách hàng

Nhiều doanh nghiệp đã áp dụng hệ thống hỏi đáp để cải thiện dịch vụ khách hàng. Điều này giúp giảm thiểu thời gian chờ đợi và nâng cao sự hài lòng của khách hàng.

V. Kết luận và Tương lai của Hệ thống Hỏi Đáp Tiếng Việt

Nghiên cứu và phát triển hệ thống hỏi đáp tiếng Việt đang trên đà phát triển mạnh mẽ. Với sự tiến bộ của công nghệ, tương lai của lĩnh vực này hứa hẹn sẽ mang lại nhiều giá trị cho người dùng. Các nghiên cứu tiếp theo cần tập trung vào việc cải thiện độ chính xác và khả năng mở rộng của hệ thống.

5.1. Hướng phát triển trong tương lai

Các nghiên cứu cần tiếp tục mở rộng bộ dữ liệu và cải tiến các mô hình học sâu để nâng cao hiệu suất của hệ thống hỏi đáp.

5.2. Tác động đến xã hội

Hệ thống hỏi đáp có thể tạo ra những thay đổi tích cực trong cách mà người dùng tương tác với thông tin, từ đó nâng cao chất lượng cuộc sống.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của thông tin số trên không gian mạng đã tạo ra áp lực lớn đối với các hệ thống truy xuất thông tin truyền thống. Người dùng hiện đại không chỉ tìm kiếm các liên kết trang web đơn thuần mà có nhu cầu tiếp nhận câu trả lời ngắn gọn, chính xác từ các câu hỏi tự nhiên. Theo ước tính từ các báo cáo chuyên ngành xử lý ngôn ngữ tự nhiên, các hệ thống hỏi đáp tự động ứng dụng mô hình máy đọc hiểu (Machine Reading Comprehension - MRC) trên thế giới đã đạt hiệu năng ấn tượng với độ chính xác tiệm cận con người trên 95.00%. Tuy nhiên, đối với các ngôn ngữ có nguồn tài nguyên ngữ liệu hạn chế như tiếng Việt, việc phát triển hệ thống hỏi đáp dựa trên đọc hiểu nhiều đoạn văn bản vẫn gặp rào cản nghiêm trọng do sự khan hiếm trầm trọng của các bộ ngữ liệu quy mô lớn.

Luận văn thạc sĩ chuyên ngành Công nghệ thông tin của tác giả Nguyễn Hoàng Tiến Bách, thực hiện dưới sự hướng dẫn khoa học của TS. Nguyễn Thị Thu Trang tại Trường Công nghệ thông tin và Truyền thông thuộc Trường Đại học Bách khoa Hà Nội (nghiệm thu tháng 10 năm 2022), đã tập trung giải quyết triệt để nút thắt này. Mục tiêu nghiên cứu cốt lõi của đề tài là xây dựng phương pháp tăng cường dữ liệu đọc hiểu cho tiếng Việt, mở rộng bộ ngữ liệu đọc hiểu nhiều đoạn văn bản, đồng thời thiết kế kiến trúc hoàn chỉnh cho hệ thống hỏi đáp tiếng Việt.

Nghiên cứu mang ý nghĩa học thuật và thực tiễn to lớn khi đề xuất kỹ thuật chuyển giao UtlTran kết hợp mô hình ngôn ngữ XLM-RoBERTa Large, giúp nâng điểm số F1 lên mức 88.80% trên tập dữ liệu chuẩn UIT-ViQuAD, cao hơn từ 1.00% đến 3.00% so với các mô hình hiện đại cùng thời điểm. Đồng thời, trên tập dữ liệu đánh giá mở rộng UIT-ViQuAD-Open, kỹ thuật này giúp hệ thống hỏi đáp đạt điểm F1 bằng 65.40%, ghi nhận mức tăng trưởng vượt bậc 9.04% so với phương pháp cơ sở.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng nền tảng nghiên cứu dựa trên sự kết hợp của mạng nơ-ron sâu và các mô hình ngôn ngữ ngữ cảnh tiên tiến. Cụ thể, nghiên cứu vận dụng hai lý thuyết nền tảng:

• Kiến trúc Transformer cùng cơ chế tự chú ý (Self-Attention) và Multi-Head Attention: Cơ chế này cho phép mô hình tính toán mối quan hệ ngữ nghĩa hai chiều giữa các từ trong chuỗi văn bản một cách đồng thời, khắc phục triệt để hiện tượng mất mát thông tin trên chuỗi dài của các mạng hồi quy RNN và LSTM truyền thống.
• Lý thuyết học chuyển giao (Transfer Learning) và học tinh chỉnh (Fine-tuning): Cho phép kế thừa các đặc trưng ngôn ngữ trừu tượng mức thấp từ các mô hình đã được tiền huấn luyện trên kho ngữ liệu khổng lồ, sau đó điều chỉnh trọng số ở các tầng phân loại cuối cùng cho bài toán đọc hiểu trích xuất.

Mô hình nghiên cứu chính bao gồm mô hình ngôn ngữ đa ngữ XLM-RoBERTa (phiên bản XLM-RLarge sở hữu 550 triệu tham số, được huấn luyện trên 2.5TB ngữ liệu thuộc 100 ngôn ngữ) kết hợp so sánh đối sánh với mô hình PhoBERT (đơn ngữ tiếng Việt) và mBERT. Các khái niệm trung tâm được chuẩn hóa xuyên suốt bao gồm: Đọc hiểu văn bản trích xuất (Extractive MRC), Đọc hiểu nhiều đoạn văn bản (Multi-passage MRC), Biểu diễn từ ngữ cảnh (Contextual Word Embedding) và Độ đo mức độ trùng khớp hoàn toàn (Exact Match - EM).

Phương pháp nghiên cứu

Nguồn dữ liệu thực nghiệm được thu thập và tổng hợp từ các bộ ngữ liệu uy tín quốc tế và trong nước: tập dữ liệu UIT-ViQuAD gồm 23,074 cặp câu hỏi - đáp dựa trên 174 bài viết Wikipedia tiếng Việt, tập dữ liệu dịch tự động XQuAD (khoảng 87,187 mẫu) cùng hai tập dữ liệu tiếng Anh quy mô lớn là TriviaQA (110,647 mẫu gốc) và NewsQA (92,549 mẫu gốc).

Quy mô mẫu nghiên cứu được thiết kế công phu khi xây dựng bộ dữ liệu UIT-ViQuAD-Open phục vụ bài toán đọc hiểu nhiều đoạn văn. Tập huấn luyện bao gồm 4,957 đoạn văn ngữ cảnh (mở rộng lên 15 đoạn văn cho mỗi câu hỏi), và tập cơ sở dữ liệu kiểm thử độc lập lưu trữ 5,109 đoạn văn bản. Phương pháp chọn mẫu áp dụng kỹ thuật chọn mẫu ngẫu nhiên phân tầng từ 5,000 bài viết tiếng Việt có lượt xem cao nhất trên Wikipedia nhằm đảm bảo độ phủ thông tin đa dạng trên nhiều lĩnh vực đời sống.

Lý do lựa chọn phương pháp phân tích: Nghiên cứu áp dụng quy trình học chuyển giao 3 giai đoạn mang tên UtlTran kết hợp kỹ thuật đánh dấu vị trí câu trả lời bằng hai token đặc biệt nhằm bảo toàn chính xác vị trí span câu trả lời sau quá trình dịch thuật. Đồng thời, nghiên cứu đề xuất hai chiến lược cắt giảm độ dài ngữ cảnh là Kỹ thuật độ dài ngữ cảnh (CL) và Kỹ thuật vị trí câu trả lời (AP) để lọc bỏ nhiễu và thích ứng với giới hạn chiều dài 512 token của mô hình Transformer. Timeline nghiên cứu được thực hiện liên tục trong giai đoạn từ năm 2020 đến cuối năm 2022.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thực nghiệm nghiêm ngặt đã đem lại 4 phát hiện khoa học quan trọng:

• Phát hiện 1: Kỹ thuật UtlTran kết hợp chiến lược Answer Position (AP) trên mô hình XLM-RLarge đã thiết lập kỷ lục hiệu năng mới trên tập kiểm thử UIT-ViQuAD với điểm F1 đạt 88.80% và EM đạt 73.59%, vượt qua toàn bộ các mô hình SOTA tiền nhiệm với mức tăng từ 1.00% đến 3.00%.
• Phát hiện 2: Chiến lược lọc dữ liệu dựa trên vị trí câu trả lời (AP) vượt trội rõ rệt so với chiến lược cắt giảm theo độ dài (CL). Cụ thể, trên tập NewsQA dịch sang tiếng Việt, kỹ thuật AP giúp mô hình đạt F1 = 74.83% và EM = 54.34% trên tập dev, cao hơn đáng kể so với kỹ thuật CL chỉ đạt F1 = 72.89% và phương pháp dịch giữ nguyên ngữ cảnh chỉ đạt F1 = 65.95% (chênh lệch tới 8.88%).
• Phát hiện 3: Trên hệ thống hỏi đáp hoàn chỉnh đánh giá với bộ dữ liệu UIT-ViQuAD-Open chứa 5,109 đoạn văn bản, mô-đun đọc hiểu ứng dụng UtlTran đạt kết quả F1 = 65.40%, tăng 9.04% so với mô hình cơ sở không sử dụng UtlTran.
• Phát hiện 4: Việc gộp trực tiếp toàn bộ dữ liệu dịch thô vào tập huấn luyện tinh chỉnh (phương pháp ghép nối dữ liệu truyền thống VIT-MRC) làm giảm hiệu năng mô hình (giảm 2.40% EM và giảm 1.08% F1 so với mô hình cơ sở), chứng minh rằng quá trình tiền huấn luyện phân tầng đóng vai trò quyết định trong việc thích ứng miền tri thức.

Thảo luận kết quả

Nguyên nhân cốt lõi giúp kỹ thuật UtlTran đạt hiệu quả cao là nhờ cơ chế cắm mốc span bằng token đặc biệt giúp giải quyết triệt để hiện tượng sai lệch vị trí ký tự bắt đầu (answer_start) sau khi chuyển ngữ. Bên cạnh đó, chiến lược AP đã loại bỏ các đoạn văn bản dài trên 2,000 ký tự vốn gây phân tán trọng số chú ý của lớp Multi-Head Attention, từ đó giữ lại các đoạn ngữ cảnh súc tích quanh vị trí câu trả lời với ngưỡng độ dài tối ưu dưới 650 ký tự.

Về mặt biểu diễn trực quan, toàn bộ phân phối điểm số EM và F1 giữa các cấu hình mô hình (PhoBERT, mBERT, XLM-RBase, XLM-RLarge) có thể được trực quan hóa tối ưu thông qua biểu đồ cột nhóm (grouped bar chart). Biểu đồ này làm nổi bật bước nhảy vọt hiệu năng khi chuyển từ mô hình đơn ngữ (PhoBERT với F1 = 47.14%) sang mô hình tiền huấn luyện đa ngữ kết hợp UtlTran (F1 = 73.59% trên tập dev). Đồng thời, cấu trúc dữ liệu của bộ ngữ liệu mở rộng UIT-ViQuAD-Open được tổng hợp rõ ràng qua bảng ma trận đối sánh với bộ dữ liệu HotpotQA nổi tiếng thế giới, phản ánh sự tương đồng về độ phức tạp và khả năng liên kết văn bản.

Kết quả F1 đạt 88.80% của luận văn đã rút ngắn đáng kể khoảng cách giữa hệ thống máy đọc hiểu tiếng Việt và năng lực đọc hiểu của con người (đạt 95.00% F1), mở ra tiềm năng ứng dụng thực tiễn rộng rãi.

Đề xuất và khuyến nghị

Dựa trên các kết quả đạt được, luận văn đưa ra 4 khuyến nghị cụ thể nhằm thúc đẩy ứng dụng công nghệ hỏi đáp thông minh:

• Nâng cấp mô-đun xếp hạng đoạn văn bản: Thay thế thuật toán xếp hạng dựa trên tần suất từ khóa TF-IDF truyền thống bằng các mô hình biểu diễn mật độ cao như Dense Passage Retrieval (DPR) kết hợp SimCSE-BERT. Mục tiêu nhằm nâng cao độ chính xác truy xuất Top-5 đoạn văn bản liên quan đạt trên 85.00%, do các kỹ sư trí tuệ nhân tạo triển khai trong vòng 6 tháng tới.
• Tối ưu hóa hiệu năng và nén mô hình triển khai: Áp dụng kỹ thuật chưng cất tri thức (Knowledge Distillation) và lượng tử hóa (Quantization) để nén mô hình XLM-RLarge từ 550 triệu tham số xuống dưới 150 triệu tham số. Mục tiêu giảm độ trễ phản hồi của hệ thống xuống dưới 200 mili-giây, giúp doanh nghiệp công nghệ vận hành mượt mà trên môi trường máy chủ đám mây và thiết bị di động trong giai đoạn 2023 - 2024.
• Mở rộng quy mô cơ sở tri thức chuyên ngành: Mở rộng kho dữ liệu ngữ cảnh từ 5,109 đoạn văn hiện tại lên hơn 50,000 văn bản thuộc các lĩnh vực y tế, hành chính công và tài chính. Các viện nghiên cứu và trường đại học cần chủ trì xây dựng các bộ ngữ liệu chuyên biệt trước quý 4 năm 2024.
• Phát triển bộ dữ liệu hỏi đáp đa bước suy luận: Thiết kế và chuẩn hóa tối thiểu 30,000 cặp câu hỏi - đáp tiếng Việt đòi hỏi suy luận logic qua nhiều đoạn văn bản (Multi-hop QA) tương tự HotpotQA. Hoạt động này cần sự chung tay của cộng đồng nghiên cứu xử lý ngôn ngữ tự nhiên Việt Nam trong giai đoạn 2024 - 2025.

Đối tượng nên tham khảo luận văn

Công trình nghiên cứu mang lại giá trị tham khảo sâu sắc cho 4 nhóm đối tượng trọng tâm:

• Học viên cao học và nghiên cứu sinh chuyên ngành Khoa học máy tính, Trí tuệ nhân tạo: Luận văn cung cấp phương pháp luận chặt chẽ về cách giải quyết bài toán thiếu hụt dữ liệu (low-resource NLP) thông qua quy trình học chuyển giao 3 bước và kỹ thuật xử lý span câu trả lời khi dịch máy.
• Kỹ sư phần mềm và Kiến trúc sư giải pháp AI: Cung cấp bản thiết kế kiến trúc hoàn chỉnh của một hệ thống hỏi đáp nhiều đoạn văn bản gồm 3 tầng độc lập (Xếp hạng đoạn văn - Lựa chọn văn bản - Máy đọc hiểu trích xuất), có thể ứng dụng trực tiếp vào xây dựng chatbot chăm sóc khách hàng và trợ lý ảo thông minh.
• Doanh nghiệp công nghệ và Tổ chức chuyển đổi số: Nắm bắt giải pháp xây dựng hệ thống tìm kiếm ngữ nghĩa nội bộ, giúp trích xuất chính xác thông tin từ kho tài liệu quy chế, văn bản pháp lý và sổ tay vận hành hàng ngàn trang với chi phí tối ưu.
• Giảng viên và Nhà nghiên cứu ngôn ngữ học tính toán: Sử dụng bộ dữ liệu mở rộng UIT-ViQuAD-Open và các chiến lược dịch UtlTran như một tài liệu tham khảo chuẩn mực phục vụ công tác giảng dạy và phát triển các đề tài khoa học cấp bộ, cấp nhà nước.

Câu hỏi thường gặp

Kỹ thuật UtlTran giải quyết hiện tượng lệch vị trí câu trả lời sau khi dịch máy như thế nào? Kỹ thuật UtlTran chèn hai token đặc biệt đánh dấu ranh giới câu trả lời trước khi gửi qua API dịch thuật. Sau khi văn bản được chuyển sang tiếng Việt, do các token này được bảo toàn nguyên vẹn, thuật toán dễ dàng định vị lại chỉ số ký tự bắt đầu và trích xuất chuỗi câu trả lời tiếng Việt chính xác tuyệt đối.

Tại sao mô hình đa ngữ XLM-RLarge lại đạt hiệu năng cao hơn mô hình đơn ngữ PhoBERT trên tập dữ liệu tiếng Việt? XLM-RLarge sở hữu tới 550 triệu tham số và được tiền huấn luyện trên 2.5TB dữ liệu đa ngữ. Nhờ dung lượng tham số vượt trội và khả năng học chuyển giao biểu diễn ngữ nghĩa liên ngôn ngữ sâu sắc, mô hình thể hiện khả năng tổng quát hóa tốt hơn khi tiếp nhận tập dữ liệu đọc hiểu đã qua tiền huấn luyện UtlTran.

Bộ dữ liệu UIT-ViQuAD-Open có điểm gì khác biệt so với UIT-ViQuAD gốc? Bộ dữ liệu gốc UIT-ViQuAD chỉ hỗ trợ đọc hiểu trên một đoạn văn đơn lẻ cố định. Ngược lại, UIT-ViQuAD-Open mở rộng ngữ cảnh huấn luyện lên 15 đoạn văn cho mỗi câu hỏi và lưu trữ toàn bộ 5,109 đoạn văn đánh giá trong cơ sở dữ liệu chung, mô phỏng chính xác môi trường tìm kiếm thông tin thực tế.

Tại sao việc gộp trực tiếp dữ liệu dịch vào tập huấn luyện lại làm giảm độ chính xác của mô hình? Việc ghép nối trực tiếp dữ liệu dịch máy vốn còn tồn tại nhiễu ngữ pháp vào tập huấn luyện tinh chỉnh đã phá vỡ phân phối dữ liệu tự nhiên của tiếng Việt chuẩn, khiến mô hình bị quá khớp với dữ liệu nhiễu và làm giảm 1.08% F1 so với mô hình cơ sở.

Hệ thống hỏi đáp trong luận văn có thể triển khai trên thiết bị di động hay không? Hệ thống hoàn toàn có thể triển khai thực tế thông qua việc xây dựng giao diện ứng dụng web đáp ứng (Responsive Web) tương thích tốt trên cả máy tính và điện thoại thông minh, kết nối với máy chủ tính toán qua hệ thống giao diện lập trình ứng dụng RESTful API.

Kết luận

Công trình luận văn thạc sĩ "Nghiên cứu và phát triển hệ thống hỏi đáp tiếng Việt" của tác giả Nguyễn Hoàng Tiến Bách đã giải quyết xuất sắc bài toán xây dựng hệ thống hỏi đáp trên ngôn ngữ ít tài nguyên ngữ liệu. Năm đóng góp then chốt của luận văn bao gồm:

• Đề xuất kỹ thuật cải tiến UtlTran chuyển đổi dữ liệu tiếng Anh sang tiếng Việt chất lượng cao với 4 tập ngữ liệu quy mô khoảng 40,000 cặp câu hỏi - đáp mỗi tập.
• Xây dựng thành công bộ dữ liệu đọc hiểu nhiều đoạn văn bản đầu tiên cho tiếng Việt mang tên UIT-ViQuAD-Open với 4,957 đoạn văn huấn luyện và 5,109 đoạn văn kiểm thử.
• Thiết lập kỷ lục hiệu năng mới trên bộ dữ liệu UIT-ViQuAD với điểm F1 đạt 88.80%, công bố thành công tại hội nghị quốc tế IEA/AIE 2022.
• Nâng cao độ chính xác F1 của hệ thống hỏi đáp nhiều đoạn văn bản lên 65.40%, tăng 9.04% so với mô hình không áp dụng UtlTran.
• Đóng gói và hiện thực hóa thành công giao diện hệ thống hỏi đáp tiếng Việt trực quan, thân thiện cho cả máy tính và thiết bị di động.

Trong giai đoạn tiếp theo từ năm 2023 đến 2025, hướng nghiên cứu sẽ tập trung tích hợp mô hình truy xuất văn bản mật độ cao DPR và mở rộng sang bài toán hỏi đáp tạo sinh. Quý độc giả, nhà nghiên cứu và doanh nghiệp quan tâm đến công nghệ xử lý ngôn ngữ tự nhiên hãy cùng khai thác, ứng dụng các giải pháp của luận văn nhằm thúc đẩy sự phát triển của hệ sinh thái trí tuệ nhân tạo Việt Nam.

Trích đoạn nội dung tài liệu

CHƯƠNG 1. GIỚI THIỆU ĐỀ TÀI 1.1 Tổng quan về bài toán hỏi đáp Ngày nay, với sự phát triển của xã hội, khối lượng thông tin trên không gian mạng ngày càng tăng lên một cách mạnh mẽ. Điều này dẫn đến nhu cầu lớn về các hệ thống hỏi đáp - những hệ thống trả lời tự động câu hỏi bằng cách chọn lọc thông tin từ các nguồn tri thức. Tuy nhiên, việc phát triển các hệ thống này gặp không ít thách thức về cú pháp, ngữ nghĩa hay các vấn đề biểu diễn thông tin cho bài toán hỏi đáp.

Điều này đã tạo động lực cho rất nhiều các nghiên cứu nổi bật trong những thập kỷ gần đây. Một nghiên cứu được coi là nền tảng xuất hiện sớm nhất trong giải quyết bài toán hỏi đáp có thể kể đến như hệ thống BASEBALL [1]. BASEBALL là một chương trình được phát triển bởi Green và cộng sự nhằm mục đích trả lời các câu hỏi về trò chơi bóng chày được chơi ở Mỹ. Ý tưởng của chương trình là tìm câu trả lời được lưu trữ trong thẻ với sự trợ giúp của từ điển.

Với sự tăng lên nhanh chóng về số lượng thông tin trên không gian mạng, người dùng có nhu cầu đặt các câu hỏi rất cụ thể, và muốn nhận được các câu trả lời ngắn và chính xác. Vì vậy, đã có rất nhiều các nghiên cứu trên thế giới đã được phát triển để đưa ra câu trả lời ngắn gọn và chính xác trong hệ thống hỏi đáp. Tùy vào dạng dữ liệu dùng để cung cấp câu trả lời thì các hệ thống hỏi đáp cũng có các hướng tiếp cận khác nhau. Với dữ liệu có cấu trúc như dữ liệu dạng bảng, dữ liệu dạng RDF, các nghiên cứu phát triển hệ thống hỏi đáp dựa trên các Ontology có độ chính xác cao [2], và dễ dàng triển khai trên một tập dữ liệu được xây dựng sẵn.

Ngược lại, với dạng dữ liệu văn bản tự do, không có cấu trúc thì vẫn là thách thức lớn đối với các nghiên cứu hiện nay. Với sự cải thiện rõ rệt ở khả năng tính toán của máy tính, các hướng giải quyết bài toán hỏi đáp dựa trên bộ mã hóa-giải mã đã được nghiên cứu sâu và chứng kiến sự tiến bộ vượt bậc, đặc biệt là sau khi có sự tham gia của máy học và các kỹ thuật học sâu [3] [4] [5] [6] [7] [8].1 cho thấy thống kê tổng số bài báo về lĩnh vực Hỏi đáp đã được đóng góp và chấp nhận trong Hiệp hội Ngôn ngữ học tính toán (Association for Computational Linguistics - ACL) [9] chỉ ra sự chú trọng phát triển cho lĩnh vực hỏi đáp ngày càng tăng lên rõ rệt. Việc đưa ra câu trả lời ngắn gọn và chính xác dựa trên một đoạn văn bản tự do là một thách thức đòi hỏi hệ thống phải nắm bắt được các đặc trưng cần thiết của cả câu hỏi lẫn đặc trưng của phần văn bản tự do tương ứng với câu hỏi đó. Nhiệm vụ này vừa chính xác là mục tiêu của bài toán “Đọc hiểu văn bản” trong Xử lý ngôn ngữ tự nhiên.

Các nghiên cứu hiện đại đã chú trọng áp dụng thêm nhiệm vụ máy đọc hiểu (Machine Reading Comprehension MRC) cho hệ thống hỏi đáp [10] [11] [12]. Đây cũng là hướng tiếp cận của luận văn để xây dựng một hệ thống hỏi 1 đáp dựa trên đọc hiểu văn bản. Về mặt dữ liệu, để phục vụ cho việc giải quyết hệ thống hỏi đáp theo hướng dựa trên đọc hiểu văn bản, rất nhiều bộ dữ liệu tiếng Anh cũng đã được xây dựng từ các tài nguyên hữu ích thực tế để trả lời câu hỏi bao gồm Wikipedia, Quora, Reddit, Tweeter, Stackoverflow, … [11] [13] [14] [15] [16] [17].1 Thống kê số lượng các bài báo về hỏi đáp tại ACL 1.2 Bài toán hỏi đáp dựa trên đọc hiểu văn bản Một trong những nhiệm vụ chính trong Xử lý ngôn ngữ tự nhiên là giúp máy tính có thể “đọc và hiểu” được ngôn ngữ. Để hoàn thành nhiệm vụ này, dựa trên ý tưởng kiểm tra xem một người có thể hiểu đầy đủ một đoạn văn bản hay không bằng cách yêu cầu họ trả lời các câu hỏi về đoạn văn bản đó, các nhà nghiên cứu đã tiến hành mô phỏng lại quá trình này để xác định khả năng đọc hiểu của máy trên nhiều khía cạnh khác nhau.

Cũng tương tự như bài kiểm tra ngôn ngữ của con người, đọc hiểu là một cách tự nhiên để đánh giá khả năng hiểu ngôn ngữ của máy tính. Đọc hiểu văn bản là một bài toán với đặc điểm đa dạng của đầu vào (một đoạn văn, nhiều đoạn văn, văn bản dạng bảng, …) [12]. Với bài toán gốc, đầu vào ban đầu sẽ gồm một đoạn văn bản và một câu hỏi liên quan tới đoạn văn đó. Tuy nhiên, bài toán này khó áp dụng vào thực tế, khi rất nhiều đoạn văn bản được cung cấp để tìm ra câu trả lời cho câu hỏi.

Vì vậy, trong các nghiên cứu gần đây, để ứng dụng dễ dàng hơn vào thực tiễn, các giải pháp đã được mở rộng nghiên cứu cho bài toán đọc hiểu cho nhiều đoạn văn (Multi-passage MRC). Để giải quyết tốt cả hai bài toán này, các nghiên cứu thường đi theo hướng tiếp cận xây dựng mô hình có kết quả tốt khi đọc hiểu với một đoạn văn bản và sau đó sử dụng lại mô hình đó kèm thêm bước chọn lựa văn bản ở phía trước để giải quyết bài toán với nhiều đoạn văn. Vì vậy, luận văn sẽ đề xuất hệ thống hỏi đáp đi theo hướng giải quyết 2 bài toán đọc hiểu với một đoạn văn, sau đó sẽ áp dụng chính kết quả đó vào trong bài toán đọc hiểu nhiều đoạn văn bản. Bài toán đọc hiểu văn bản cổ điểncó đầu vào gồm câu hỏi và một đoạn văn bản dẫn chứng, đầu ra là câu trả lời có thể có trong đoạn văn đó.

Ví dụ như ở hình 1.3, có các câu hỏi về một văn bản chủ đề là “Đại học Notre Dame” được dùng để làm đầu vào, nhiệm vụ của máy sẽ tìm ra câu trả lời chứa trong đoạn văn bản được cung cấp, ở trường hợp này các câu hỏi là về kiến trúc và lịch sử của ngôi trường đại học, máy sẽ dựa trên đoạn văn bản dẫn chứng để đưa ra câu trả lời tương ứng. Để làm được điều này, máy sẽ phải đọc hiểu hoàn toàn được nội dung của câu hỏi cũng như đoạn văn, từ đó đưa ra câu trả lời chính xác.2 Ví dụ về bài toán hỏi đáp dựa trên đọc hiểu Hiện này, bài toán này có thể được áp dụng rộng rãi trong nhiều hệ thống xử lý ngôn ngữ khác nhau như công cụ tìm kiếm, hệ thống đối thoại hay trợ lý ảo cá nhân.3 cho ta thấy một vài ứng dụng nổi bật hiện nay được áp dụng hỏi đáp dựa trên đọc hiểu. Khi chúng ta nhập một câu hỏi vào công cụ tìm kiếm Google, đôi khi Google có thể trả lại trực tiếp câu trả lời đúng bằng cách đánh dấu nó trong ngữ cảnh (nếu câu hỏi đủ đơn giản), ví dụ như “Trường đại học Bách khoa có bao nhiêu trường?”, kết quả trả về sẽ không chỉ còn là các trang được tìm kiếm ra nữa mà còn trực tiếp là câu trả lời chính xác kèm theo dẫn chứng. Một ví dụ khác về hệ hỏi đáp dựa trên đọc hiểu, nếu ta mở "Trợ lý ảo Cortana" trên chính máy tính có cài đặt Window OS, như được hiển thị ở phần góc dưới bên trái của máy tính, chúng ta cũng có thể hỏi nó những câu hỏi như "Thái Bình Dương rộng bao nhiêu?", Cortana sẽ trực tiếp đưa ra câu trả lời là "63,78 triệu dặm vuông".

Rõ ràng là MRC có thể giúp cải thiện hiệu suất của các công cụ tìm kiếm và hệ thống đối thoại, có thể cho phép người dùng nhanh chóng nhận được câu trả lời đúng cho câu hỏi của họ.3 Một số ứng dụng của bài toán hỏi đáp dựa trên đọc hiểu [12] 1.3 Các nghiên cứu về đọc hiểu văn bản trên thế giới Việc nghiên cứu các giải pháp giải quyết bài toán hỏi đáp dựa trên đọc hiểu đã được bắt đầu khá sớm. Ngay từ năm 1977, Lehnert và cộng sự [8] đã xây dựng một chương trình trả lời câu hỏi được gọi là QUALM được sử dụng bởi hai hệ thống hiểu câu chuyện. Độ chính xác của hệ thống nằm trong khoảng từ 30% đến 40% trên 11 tác vụ phụ khác nhau. Hầu hết các hệ thống MRC trong cùng thời kỳ là các mô hình thống kê hoặc dựa trên các luật.

Các nghiên cứu tiếp sau đó thiếu bộ dữ liệu MRC chất lượng cao nên đều không thể phát triển thêm, lĩnh vực nghiên cứu này đã bị bỏ quên trong một thời gian dài. Gần đây với sự xuất hiện của bộ dữ liệu quy mô lớn cùng với khả năng tính toán cao hơn và các kỹ thuật học sâu, đã thúc đẩy toàn bộ các nghiên cứu trong Xử lý ngôn ngữ tự nhiên nói chung cũng như các nghiên cứu về bài toán Hỏi đáp dựa trên đọc hiểu nói riêng. Một bước ngoặt cho lĩnh vực này đến vào năm 2015 [10]. Để giải quyết những nút thắt này, Hermann và cộng sự [10] đã xác định một phương pháp tạo tập dữ liệu mới cung cấp tập dữ liệu đọc hiểu được giám sát quy mô lớn vào năm 2015.

Họ cũng đã phát triển một lớp mạng học sâu để học cách đọc tài liệu và trả lời các câu hỏi phức tạp với kiến thức tối thiểu. Kể từ năm 2015, với sự xuất hiện của nhiều bộ dữ liệu được giám sát quy mô lớn và các mô hình mạng nơ-ron, lĩnh vực đọc hiểu của máy đã bước vào giai đoạn phát triển nhanh chóng. Số lượng bài báo về MRC đã tăng lên với tốc độ ấn tượng. Hiện nay, dựa trên các cách đưa ra câu trả lời cho bài toán đọc hiểu, có hai cách tổng quát để giải quyết bài toán: (i) Sử dụng phương pháp tổng hợp (Generative 4 MRC) và (ii) Sử dụng phương pháp trích xuất (Extractive MRC).

Ở cách tiếp cận thứ nhất, có thể xem đây là cách tiếp cận khó hơn khi đưa ra câu trả lời không cần thiết bắt buộc phải nằm trong đoạn văn bản được cung cấp, mà được máy tự sinh ra dựa trên các thông tin biểu diễn của chuỗi đầu vào. Điều đó giúp câu trả lời được linh hoạt hơn và phù hợp với thực tế. Tuy nhiên do việc câu trả lời tự sinh, có tính linh hoạt cao nên việc đánh giá độ hiệu quả của mô hình trở nên khó khăn hơn. Ngoài ra chi phí xây dựng bộ dữ liệu của giải pháp này cũng rất tốn kém.