Bối cảnh và vấn đề nghiên cứu

Hệ thống Hỏi - Đáp (Question Answering - QA) là một nhánh nghiên cứu quan trọng trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP), đóng vai trò rút ngắn khoảng cách giữa ngôn ngữ tự nhiên của con người và năng lực hiểu biết của máy móc. Các hệ thống này cung cấp khả năng tìm kiếm thông tin chính xác, tư vấn tri thức và hỗ trợ giải quyết vấn đề mà không đòi hỏi người dùng phải duyệt qua khối lượng tài liệu khổng lồ.

Theo tác giả, trên thế giới, bài toán hỏi - đáp dạng tri thức miền mở (open-domain QA) đã đạt được nhiều thành tựu với sự hỗ trợ của các bộ dữ liệu quy mô lớn như SQuAD, TriviaQA (tiếng Anh), CMRC (tiếng Trung) hay SberQuAD (tiếng Nga). Tuy nhiên, tại Việt Nam, hướng nghiên cứu này vẫn còn tương đối mới, nguồn tài nguyên ngữ liệu tiếng Việt còn hạn chế và các nghiên cứu về mô hình sinh cho bài toán hỏi - đáp chưa có nhiều kết quả sâu rộng. Thêm vào đó, việc huấn luyện các mô hình học sâu đòi hỏi chi phí tính toán cao và tài nguyên phần cứng lớn (bộ nhớ RAM xấp xỉ 40GB để lưu trữ các trạng thái trong quá trình huấn luyện). Xuất phát từ bối cảnh thực tiễn này, khóa luận tập trung giải quyết bài toán hỏi - đáp tiếng Việt dựa trên các mô hình sinh ngôn ngữ.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Tìm hiểu và nghiên cứu bài toán hệ thống hỏi - đáp với hai họ mô hình sinh tiêu biểu là BART và T5 (cùng mở rộng sang mBART) áp dụng cho tiếng Việt trên miền dữ liệu đa lĩnh vực.
  2. Khảo sát, thử nghiệm các phương pháp và mô hình khác nhau để phân tích, so sánh hiệu suất trên cùng một bài toán theo các tiêu chí đánh giá chuẩn hóa.
  3. Kiểm chứng thực nghiệm tác động của kỹ thuật tách từ (word segmentation) đối với hiệu suất của các mô hình sinh ngôn ngữ trong bài toán hỏi - đáp tiếng Việt.
  4. Rút ra các nhận xét, đúc kết kinh nghiệm làm định hướng cho việc phát triển các mô hình tiếp theo, đồng thời xây dựng một ứng dụng trực quan nhằm kiểm nghiệm khả năng vận hành thực tế của mô hình đề xuất.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Hệ thống hỏi - đáp tiếng Việt vận hành dựa trên các mô hình sinh ngôn ngữ.
  • Phạm vi dữ liệu: Bộ dữ liệu tiếng Việt đa lĩnh vực UIT-ViQuAD2.0, bao gồm các văn bản ngữ cảnh, câu hỏi và câu trả lời.
  • Đầu vào và đầu ra: Đầu vào gồm một câu hỏi tiếng Việt thuộc lĩnh vực bất kỳ cùng một đoạn văn bản liên quan (ngữ cảnh); đầu ra là một câu trả lời dạng đoạn trích (span-based answer) hoặc câu trả lời được sinh ra từ văn bản nguồn.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng trên nền tảng kiến trúc mạng Transformer với cơ chế tự chú ý (Self-Attention). Trọng tâm nghiên cứu xoay quanh mô hình sinh Sequence-to-Sequence:

  • Mô hình BART (Bidirectional and Auto-Regressive Transformers): Kết hợp bộ mã hóa hai chiều (Bidirectional Encoder) tương tự BERT và bộ giải mã tự hồi quy (Autoregressive Decoder) tương tự GPT. Quá trình tiền huấn luyện của BART dựa trên cơ chế tự khử nhiễu văn bản (denoising sequence-to-sequence) với các kỹ thuật làm hỏng ngữ liệu: Token Masking, Token Deletion, Text Infilling, Sentence Permutation và Document Rotation.
  • Mô hình mBART (Multilingual BART): Bản mở rộng đa ngôn ngữ của BART, được tiền huấn luyện trên kho ngữ liệu Common Crawl quy mô lớn thuộc nhiều ngôn ngữ (bao gồm 137GB ngữ liệu văn bản tiếng Việt). Mô hình chuẩn mBART Large gồm 12 lớp Encoder và 12 lớp Decoder ở mỗi khối.
  • Mô hình T5 (Text-to-Text Transfer Transformer) và các biến thể: Kiến trúc chuẩn hóa mọi tác vụ NLP về dạng văn bản sang văn bản (text-to-text), bao gồm các nhánh như T5v1.1, mT5 (huấn luyện trên tập mC4 với 101 ngôn ngữ) và byT5 (xử lý ở mức chuỗi byte).
  • Mô hình đối chứng bổ sung: GPT-3.5 (thông qua ChatGPT) được sử dụng để tiến hành đánh giá đối chiếu định tính.

Phương pháp nghiên cứu thực nghiệm bao gồm:

  1. Tiền xử lý và chuẩn hóa dữ liệu: Sử dụng bộ dữ liệu UIT-ViQuAD2.0. Phân tích đặc điểm phân bố độ dài, tần suất từ vựng bằng trực quan hóa đám mây từ (WordCloud).
  2. Kỹ thuật tách từ (Word Segmentation): Sử dụng thư viện py_vncorenlp với độ chính xác công bố đạt 96%. Quá trình tách từ đòi hỏi thuật toán định vị lại chỉ mục bắt đầu của câu trả lời (answer_start) trong đoạn văn bản.
  3. Huấn luyện mô hình: Tinh chỉnh mô hình bằng giải thuật tối ưu AdamW. Khảo sát các dải siêu tham số: tốc độ học (learning rate) với các giá trị $1 \times 10^{-5}$, $2 \times 10^{-5}$, $5 \times 10^{-5}$; hệ số suy giảm trọng số (weight decay) với 2 mức $0$ và $0.01$.
  4. Phương pháp đánh giá: Sử dụng hai độ đo định lượng chuẩn gồm F1-score (đo lường độ trùng lặp từ giữa kết quả dự đoán và nhãn thực tế dựa trên Precision và Recall) và Exact Match - EM (tính tỷ lệ khớp tuyệt đối 100% giữa dự đoán và nhãn). Ngoài ra, phương pháp đánh giá thủ công của con người được áp dụng trên tập kiểm thử 100 mẫu ngẫu nhiên để so sánh với ChatGPT.
Thuộc tính phương pháp Chi tiết kỹ thuật
Công cụ tách từ Thư viện py_vncorenlp (độ chính xác ~96%)
Giải thuật tối ưu AdamW
Tốc độ học (Learning rate) $1 \times 10^{-5}$, $2 \times 10^{-5}$, $5 \times 10^{-5}$
Suy giảm trọng số (Weight decay) $0$ và $0.01$ (giá trị $0.01$ đem lại hiệu suất tối ưu hơn)
Thước đo định lượng F1-score, Exact Match (EM)
Mẫu đánh giá thủ công 100 mẫu (60% câu hỏi không thể trả lời, 40% có thể trả lời)

Thiết kế và triển khai

Hệ thống được thiết kế theo luồng kiến trúc mô-đun phục vụ bài toán trích xuất và sinh câu trả lời tiếng Việt từ văn bản đầu vào:

  1. Kiến trúc hệ thống MBARTQA:

    • Mô-đun nạp và tiền xử lý dữ liệu: Tiếp nhận dữ liệu có cấu trúc từ tập dữ liệu UIT-ViQuAD2.0. Văn bản được xử lý qua hai nhánh thử nghiệm độc lập: nhánh giữ nguyên chuỗi ký tự tự nhiên (không tách từ - non-seg) và nhánh thực hiện tách từ thông qua py_vncorenlp (seg). Trong nhánh tách từ, hệ thống thực hiện bước cập nhật vị trí answer_start.
    • Mô-đun mô hình hóa: Mô hình cốt lõi kế thừa kiến trúc mBART với 12 lớp Encoder hai chiều và 12 lớp Decoder tự hồi quy. Khối Encoder mã hóa ngữ cảnh và câu hỏi, khối Decoder sinh văn bản câu trả lời tương ứng.
    • Mô-đun tối ưu hóa: Sử dụng thư viện Transformers của Hugging Face, kết nối bộ tối ưu AdamW để cập nhật trọng số trong quá trình huấn luyện và điều chỉnh siêu tham số.

  2. Triển khai ứng dụng thử nghiệm:

    • Giao diện người dùng được xây dựng bằng framework Streamlit trong môi trường Python.
    • Ứng dụng cung cấp các trường nhập liệu trực quan: một hộp văn bản cho phép người dùng cung cấp đoạn văn bản ngữ cảnh nguồn (context), một hộp văn bản để nhập câu hỏi cần giải đáp (question).
    • Khi nhận lệnh truy vấn, hệ thống nạp mô hình non-seg_mBART đã tinh chỉnh tốt nhất, xử lý suy luận (inference) và kết xuất trực tiếp câu trả lời ra màn hình giao diện.

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 giới thiệu khái quát bài toán hỏi - đáp và vai trò của hệ thống trong việc hỗ trợ tra cứu tri thức ở các lĩnh vực chuyên ngành như y học, pháp luật, lịch sử và giáo dục. Tác giả nhấn mạnh thực trạng nghiên cứu NLP cho bài toán hỏi - đáp tại Việt Nam còn non trẻ, đối mặt với rào cản khan hiếm dữ liệu chất lượng cao và hạn chế phần cứng khi các mô hình sinh đòi hỏi bộ nhớ RAM lớn (~40GB). Chương này cũng xác định phạm vi nghiên cứu là xây dựng hệ thống trên bộ dữ liệu tiếng Việt đa lĩnh vực, đồng thời phác thảo cấu trúc khóa luận và các công việc triển khai.

Chương 2: Các công trình nghiên cứu liên quan

Chương 2 tổng hợp các nghiên cứu tiêu biểu trên thế giới và trong nước. Trên phạm vi quốc tế, tác giả phân tích các bộ dữ liệu chuẩn như Natural Questions (NQ - gồm 307.373 mẫu huấn luyện, 7.830 mẫu phát triển, 7.842 mẫu kiểm thử), MRQA và MLQA, cùng các công trình nền tảng như kiến trúc Transformer ("Attention Is All You Need"), BERT, ELECTRA và UnifiedQA. Tại Việt Nam, tác giả điểm qua các ngữ liệu tiêu biểu như VIMMRC và UIT-ViQuAD. Trong đó, UIT-ViQuAD phiên bản đầu tiên có 23.074 cặp câu hỏi - đáp dựa trên 5.109 đoạn văn từ 174 bài báo Wikipedia, với mô hình baseline ghi nhận tại thời điểm công bố là XLM-R Large đạt EM 68,98% và F1 87,02%. Từ việc tổng thuật, tác giả chỉ ra khoảng trống nghiên cứu về việc ứng dụng các mô hình sinh đa ngôn ngữ cho bài toán hỏi - đáp tiếng Việt.

Chương 3: Xử lý dữ liệu

Chương 3 trình bày chi tiết về bộ dữ liệu thực nghiệm UIT-ViQuAD2.0. Ngữ liệu bao gồm 35.990 cặp câu hỏi - câu trả lời được thu thập từ 13 chủ đề khác nhau (khoa học, vật lý, địa lý, công nghệ thông tin...). Mỗi bản ghi gồm 3 thành phần: đoạn văn bản nguồn, câu hỏi và đáp án, đi kèm các trường thông tin: id, title, context, is_impossible, answer_start, question_length, context_length, context_sentence.

Tác giả thống kê phân bố độ dài của các thành phần qua bảng số liệu:

  • Độ dài câu hỏi: Phần lớn tập trung ở khoảng 50–200 ký tự (chiếm 74,59% trên toàn bộ tập dữ liệu).
  • Độ dài câu trả lời: Tập trung chủ yếu ở khoảng trên 500 ký tự và khoảng 50–200 ký tự (chiếm 29,00%).
  • Độ dài đoạn văn bản nguồn (ngữ cảnh): Chiếm tỷ lệ cao nhất ở khoảng 500–1000 ký tự và trên 1000 ký tự; khoảng ngắn từ 100–500 ký tự chỉ chiếm tỷ lệ nhỏ (khoảng 1,4%).

Phân tích trực quan qua WordCloud cho thấy:

  • Tập câu hỏi xuất hiện phổ biến các từ để hỏi: "Bao nhiêu", "thế nào", "là gì", "điều gì".
  • Tập câu trả lời và ngữ cảnh xuất hiện dày đặc các thực thể, mốc thời gian và danh từ chung: "ngày tháng", "năm", "chiến tranh", "chính phủ", "tổ chức", thể hiện rõ tính đa dạng về chủ đề của bộ dữ liệu.
Tập dữ liệu Quy mô tổng Đặc điểm phân bố độ dài chính
Câu hỏi (Question) 35.990 cặp Tập trung ở mức 50–200 ký tự (tỷ lệ 74,59%)
Câu trả lời (Answer) 35.990 cặp Tập trung ở mức >500 ký tự và 50–200 ký tự (29,00%)
Đoạn văn (Context) 35.990 cặp Tập trung ở mức 500–1000 ký tự và >1000 ký tự (100–500 ký tự chỉ chiếm 1,4%)

Chương 4: Hệ thống MBARTQA

Chương 4 mô tả chi tiết phương pháp xây dựng hệ thống với nòng cốt là mô hình mBART. Tác giả tiến hành thử nghiệm hai tiến trình: huấn luyện mô hình không sử dụng kỹ thuật tách từ và huấn luyện mô hình có áp dụng tách từ thông qua py_vncorenlp. Quá trình tách từ bộc lộ thách thức khi phải cập nhật lại chỉ mục answer_start. Đối với các từ xuất hiện nhiều lần trong cùng một đoạn văn (ví dụ từ "Paris"), việc cập nhật vị trí dễ bị sai lệch, tạo ra nhiễu trong dữ liệu huấn luyện.

Về mặt tối ưu hóa, tác giả khảo sát giải thuật AdamW với các dải learning rate ($1 \times 10^{-5}$, $2 \times 10^{-5}$, $5 \times 10^{-5}$) và weight decay ($0$, $0.01$). Kết quả thực nghiệm xác định mức weight decay = $0.01$ giúp mô hình đạt hiệu suất cao hơn. Tác giả phân tích cấu trúc mBART gồm 12 lớp Encoder và 12 lớp Decoder, nêu bật lợi thế của việc mô hình đã được tiền huấn luyện trên 137GB dữ liệu tiếng Việt.

Chương 5: Phương pháp tiếp cận khác

Chương 5 mở rộng khảo sát các mô hình so sánh:

  • BART: Phân tích cơ chế khử nhiễu tự hồi quy với các scheme: Token Masking, Token Deletion, Text Infilling, Sentence Permutation và Document Rotation. Khảo sát hai biến thể seg_BART và non-seg_BART. Kết quả kiểm thử trên tập dev cho thấy non-seg_BART đạt điểm số Exact Match cao hơn so với seg_BART (thực nghiệm ghi nhận non-seg_BART đạt EM xấp xỉ 36%, trong khi seg_BART chỉ đạt EM xấp xỉ 33%).
  • T5 và các biến thể: Giới thiệu cấu trúc text-to-text và tập dữ liệu huấn luyện C4 (750GB văn bản), cùng các phiên bản T5v1.1, mT5 và byT5.
  • ChatGPT (GPT-3.5): Tiến hành đánh giá đối chứng thủ công trên tập 100 mẫu ngẫu nhiên (gồm 60% mẫu có is_impossible = True và 40% có is_impossible = False). Tác giả ghi nhận dù được huấn luyện trên khối ngữ liệu khổng lồ, ChatGPT vẫn gặp hiện tượng sinh câu trả lời không chính xác, suy luận thiếu căn cứ từ ngữ cảnh hoặc từ chối trả lời ở một số trường hợp.

Chương 6: Cài đặt, kết quả và đánh giá

Chương 6 trình bày các thiết lập thử nghiệm chi tiết trên thư viện Transformers của Hugging Face và tập dữ liệu UIT-ViQuAD2.0. Quá trình đánh giá được thực hiện song song giữa độ đo tự động (F1-score, EM) và đánh giá thủ công. Tác giả tổng hợp kết quả của các cấu hình mô hình khác nhau, khẳng định biến thể không tách từ luôn cho kết quả vượt trội hơn so với biến thể có tách từ. Cụ thể, mô hình non-seg_mBART đạt F1-score 53, trở thành cấu hình có kết quả tốt nhất trong các mô hình dạng sinh được khảo sát trong khóa luận.

Chương 7: Kết luận và hướng phát triển

Chương 7 tổng kết toàn bộ nội dung nghiên cứu, khẳng định mục tiêu đề xuất mô hình hỏi - đáp dạng sinh cho tiếng Việt đã hoàn thành. Tác giả khái quát các điểm mạnh của mô hình non-seg_mBART, đúc kết phát hiện thực nghiệm về ảnh hưởng của tách từ, đồng thời chỉ ra các hạn chế cố hữu về dữ liệu và phần cứng để đề xuất các phương hướng cải tiến trong tương lai.

Kết quả và đóng góp

Nghiên cứu đạt được các kết quả cụ thể cùng các số liệu thực nghiệm sau:

Mô hình / Phương pháp Kỹ thuật tách từ F1-score Đánh giá / Exact Match (EM)
mBART đề xuất Không tách từ (non-seg_mBART) 53 Hiệu suất cao nhất trong các mô hình sinh thử nghiệm
mBART Có tách từ (seg_mBART) Thấp hơn non-seg Hiệu suất suy giảm do lỗi cập nhật vị trí đáp án
BART Không tách từ (non-seg_BART) - EM đạt ~36% trên tập dev
BART Có tách từ (seg_BART) - EM đạt ~33% trên tập dev
ChatGPT (GPT-3.5) Đánh giá thủ công (100 mẫu) - Độ chính xác không ổn định, xuất hiện câu trả lời sai lệch ngữ cảnh

Các đóng góp chính được tác giả ghi nhận:

  • Đề xuất mô hình sinh tối ưu: Xây dựng thành công mô hình non-seg_mBART fine-tune trên UIT-ViQuAD2.0, đạt F1-score 53, chứng minh tính khả thi của mô hình sinh đa ngôn ngữ cho bài toán hỏi - đáp tiếng Việt.
  • Phát hiện thực nghiệm về kỹ thuật tách từ: Cung cấp minh chứng thực nghiệm cho thấy việc áp dụng tách từ tiếng Việt (dù sử dụng công cụ đạt độ chính xác 96% như py_vncorenlp) không làm tăng hiệu suất mà ngược lại gây suy giảm kết quả của các mô hình sinh dạng Transformer (cả mô hình đơn ngữ BART lẫn đa ngôn ngữ mBART). Ảnh hưởng của tách từ đối với mô hình sinh là phi tuyến tính.
  • Xây dựng công cụ trực quan: Triển khai ứng dụng giao diện web bằng Streamlit kết nối trực tiếp với mô hình huấn luyện, tạo điều kiện thuận lợi cho việc kiểm chứng và trải nghiệm thực tế.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận chỉ rõ các hạn chế trong quá trình thực hiện:

  • Nhiễu chỉ mục vị trí: Việc cập nhật tham số vị trí câu trả lời (answer_start) sau khi tách từ phát sinh lỗi định vị sai lệch khi một từ xuất hiện lặp lại nhiều lần trong cùng ngữ cảnh (ví dụ từ "Paris"), gây nhiễu dữ liệu huấn luyện.
  • Hạn chế phần cứng: Cấu trúc các mô hình sinh có kích thước lớn đòi hỏi dung lượng bộ nhớ cao (RAM ~40GB), làm giới hạn quy mô thử nghiệm các dải siêu tham số mở rộng.
  • Xử lý câu hỏi ngắn: Mô hình bộc lộ khó khăn trong việc nắm bắt đầy đủ ngữ nghĩa đối với các mẫu dữ liệu có câu hỏi ngắn, dẫn đến khả năng suy luận chưa đạt độ chính xác mong muốn.

Các hướng phát triển tiếp theo được tác giả đề xuất:

  • Cải thiện thuật toán căn chỉnh vị trí answer_start để loại bỏ hoàn toàn hiện tượng định vị nhầm lẫn khi tiền xử lý dữ liệu.
  • Nghiên cứu các phương pháp và cơ chế chuyên biệt nhằm nâng cao khả năng biểu diễn và hiểu ngữ nghĩa cho các câu hỏi ngắn.
  • Mở rộng quy mô tập dữ liệu huấn luyện tiếng Việt và thử nghiệm tinh chỉnh trên các kiến trúc mô hình sinh thế hệ mới.

Giá trị tham khảo

Khóa luận có giá trị tham khảo thiết thực cho các nhóm đối tượng:

  • Sinh viên và học viên ngành Khoa học máy tính, Công nghệ thông tin, Trí tuệ nhân tạo: Cung cấp tài liệu tham khảo chi tiết về quy trình xử lý dữ liệu hỏi - đáp tiếng Việt trên bộ ngữ liệu UIT-ViQuAD2.0, cùng mã nguồn cấu hình mô hình sinh trên nền tảng thư viện Hugging Face Transformers.
  • Các nhà nghiên cứu NLP tiếng Việt: Cung cấp các số liệu và biện luận thực nghiệm về tác động tiêu cực của kỹ thuật tách từ đối với các mô hình sinh tự hồi quy, là cứ liệu thực tế phục vụ việc lựa chọn quy trình tiền xử lý (giữa subword tokenization thuần túy và word-level segmentation).
  • Phần đáng tham khảo nhất: Chương 3 (phân tích thống kê đặc tính phân bố và từ vựng của UIT-ViQuAD2.0), Chương 4 (các thiết lập siêu tham số AdamW cho mBART) và Chương 5 (so sánh thực nghiệm có và không tách từ giữa BART và mBART).

Câu hỏi thường gặp

1. Tại sao mô hình đề xuất trong khóa luận lại là non-seg_mBART thay vì seg_mBART?

Theo kết quả thực nghiệm của tác giả, việc áp dụng kỹ thuật tách từ (seg) bằng công cụ py_vncorenlp làm giảm hiệu suất của mô hình so với việc giữ nguyên văn bản không tách từ (non-seg). Nguyên nhân xuất phát từ tính chất không tuyến tính của việc phân đoạn từ đối với mô hình sinh Transformer, đồng thời việc phân đoạn làm phát sinh lỗi định vị sai lệch tham số answer_start khi từ khóa lặp lại nhiều lần trong đoạn văn, tạo thêm nhiễu ngữ liệu. Do đó, non-seg_mBART đạt kết quả tối ưu nhất với F1-score 53.

2. Bộ dữ liệu UIT-ViQuAD2.0 được sử dụng trong khóa luận có quy mô và cấu trúc như thế nào?

Bộ dữ liệu gồm 35.990 cặp câu hỏi - câu trả lời được thu thập từ 13 chủ đề khác nhau (khoa học, vật lý, địa lý, công nghệ thông tin...). Mỗi mẫu dữ liệu có cấu trúc 3 phần: đoạn văn bản nguồn, câu hỏi và đáp án, đi kèm các trường thông tin: id, title, context, is_impossible, answer_start, question_length, context_length và context_sentence.

3. Tác giả đã khảo sát các giá trị siêu tham số nào trên giải thuật AdamW khi huấn luyện mô hình?

Tác giả đã thử nghiệm dải tốc độ học (learning rate) gồm $1 \times 10^{-5}$, $2 \times 10^{-5}$, $5 \times 10^{-5}$ và hệ số suy giảm trọng số (weight decay) với hai mức $0$ và $0.01$. Kết quả thực nghiệm xác định mức weight decay = $0.01$ đem lại hiệu suất F1-score và Exact Match (EM) cao hơn.

4. Kết quả so sánh giữa mô hình non-seg BART và seg BART trên tập dev cho thấy điều gì?

Kiểm thử trên tập dev ghi nhận mô hình không tách từ (non-seg_BART) đạt chỉ số Exact Match (EM) xấp xỉ 36%, trong khi mô hình có tách từ (seg_BART) chỉ đạt EM xấp xỉ 33%. Kết quả này củng cố kết luận rằng việc áp dụng công cụ tách từ tiếng Việt làm suy giảm hiệu suất dự đoán của mô hình BART.

5. Đánh giá đối chứng thủ công giữa mô hình đề xuất và ChatGPT được thực hiện trên tập dữ liệu nào?

Quá trình so sánh thủ công được tiến hành trên một tập kiểm thử gồm 100 mẫu ngẫu nhiên trích xuất từ dữ liệu (gồm các trường context, question, answers). Trong đó, 60% là câu hỏi không thể trả lời (is_impossible = True) và 40% là câu hỏi có thể trả lời (is_impossible = False). Đánh giá cho thấy ChatGPT dù được huấn luyện trên ngữ liệu khổng lồ nhưng câu trả lời đôi khi vẫn thiếu chính xác hoặc không bám sát ngữ cảnh được cấp.

Kết luận

Khóa luận của nhóm tác giả Nguyễn Thị Nguyên Diệu và Nguyễn Trường Giang đã giải quyết trọn vẹn bài toán xây dựng hệ thống hỏi - đáp tiếng Việt dựa trên mô hình sinh ngôn ngữ mBART huấn luyện trên bộ dữ liệu UIT-ViQuAD2.0. Nghiên cứu mang lại phát hiện thực nghiệm quan trọng khi chứng minh kỹ thuật tách từ làm suy giảm hiệu suất của mô hình sinh, đồng thời xác lập mô hình non-seg_mBART làm baseline hiệu quả với F1-score đạt 53. Công trình được hoàn thiện bằng một công cụ trực quan hóa trên nền tảng Streamlit, tạo tiền đề hữu ích cho các nghiên cứu chuyên sâu tiếp theo về xử lý ngôn ngữ tự nhiên tiếng Việt.