Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP), bài toán Đọc hiểu tự động (Machine Reading Comprehension - MRC) và Trả lời câu hỏi (Question Answering - QA) đóng vai trò then chốt nhằm giúp máy tính có khả năng hiểu và trích xuất thông tin chính xác từ văn bản. Mặc dù các công cụ tìm kiếm phổ biến như Google có thể truy xuất nhanh chóng các tài liệu liên quan, người dùng vẫn phải tự đọc qua các đoạn văn để tìm kiếm câu trả lời cụ thể. Đối với tiếng Việt, các hệ thống hỏi đáp tự động miền mở hoàn chỉnh có khả năng xử lý đồng thời cả câu hỏi trả lời được và câu hỏi không thể trả lời còn rất hạn chế.

Đặc thù ngôn ngữ tiếng Việt đặt ra nhiều thách thức lớn cho các mô hình học máy:

  • Tiếng Việt là ngôn ngữ có dấu với hệ thống sáu thanh điệu và số lượng ký tự phong phú, đòi hỏi mô hình phải học biểu diễn phức tạp hơn so với các ngôn ngữ không dấu.
  • Hiện tượng từ đồng âm, từ đồng nghĩa và sự thay đổi ngữ nghĩa phụ thuộc chặt chẽ vào ngữ cảnh (ví dụ: từ "cổ", "nghỉ" / "nghĩ") khiến mô hình dễ nhầm lẫn.
  • Cấu trúc câu linh hoạt và vị trí đặt dấu phẩy có thể làm thay đổi hoàn toàn ý nghĩa của câu.
  • Sự đa dạng của các từ để hỏi (ví dụ: "cái gì", "là gì", "điều gì", "để làm gì" đều tương đương với nhóm "What") gây phân tán dữ liệu đầu vào.

Bên cạnh đó, việc xác định các câu hỏi không thể trả lời (unanswerable questions) là một bài toán phức tạp. Tác giả phân loại câu hỏi không thể trả lời thành ba trường hợp thực tế:

  1. Trường hợp 1: Hệ thống không truy xuất được đoạn văn chứa câu trả lời hoặc đoạn văn chứa câu trả lời không tồn tại trong nguồn dữ liệu truy xuất.
  2. Trường hợp 2: Câu hỏi chứa tiền đề sai hoặc phi lý (ví dụ: "Lý do 1 + 1 = 3").
  3. Trường hợp 3: Câu hỏi về những vấn đề tri thức mà nhân loại chưa có lời giải đáp (ví dụ: "Có bao nhiêu chủng loại người ngoài hành tinh?").

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể:

  1. Xây dựng một hệ thống hỏi đáp hoàn chỉnh cho tiếng Việt dựa trên nguồn tri thức miền mở từ Wikipedia tiếng Việt, kết hợp hai mô-đun chính: Mô hình truy xuất tài liệu (Retriever) và Mô hình đọc hiểu văn bản (Reader).
  2. Tối ưu hóa mô hình đọc hiểu tự động để xử lý tốt cả hai dạng câu hỏi: đưa ra đoạn trích chính xác (span extraction) cho câu hỏi có câu trả lời và trả về chuỗi rỗng ("") cho câu hỏi không thể trả lời.
  3. Ứng dụng các kỹ thuật tiền huấn luyện hiện đại (XLM-RoBERTa, PhoBERT) kết hợp với các giải pháp cải tiến như mô-đun chuẩn hóa quy tắc câu hỏi (Rules question), mô-đun trích xuất câu có tính ngữ cảnh và mô-đun lọc kết quả đầu ra (Output Filter).
  4. Hướng tới mục tiêu đạt độ chính xác F1 vượt mức 80% trên bộ dữ liệu UIT-ViQuAD 2.0 (vượt qua mức F1 = 77,241% của đội top 1 cuộc thi VLSP 2021-ViMRC Challenge).
  5. Xây dựng giao diện web trực quan cho từng mô-đun và toàn bộ hệ thống để phục vụ tương tác người dùng.

Đối tượng nghiên cứu là toàn bộ người dùng có nhu cầu giải đáp tri thức bằng tiếng Việt thông qua trí tuệ nhân tạo. Phạm vi nghiên cứu tập trung xây dựng, thử nghiệm và đánh giá trên bộ dữ liệu UIT-ViQuAD 2.0 và UIT-ViWikiQA, lấy nguồn dữ liệu từ Wikipedia tiếng Việt trong khoảng thời gian từ tháng 02/2022 đến tháng 06/2022.

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng khung lý thuyết dựa trên các nghiên cứu tiêu biểu về bài toán Machine Reading Comprehension dạng trích xuất khoảng (span-extraction MRC) và hệ thống Question Answering miền mở (Open-Domain QA).

Các bộ dữ liệu nền tảng

Tác giả tiến hành khảo sát có hệ thống các bộ ngữ liệu chuẩn trong nước và quốc tế:

  • SQuAD 1.0 & SQuAD 2.0: Bộ dữ liệu chuẩn tiếng Anh do Đại học Stanford phát triển. SQuAD 1.0 gồm 107.785 cặp câu hỏi - câu trả lời trên 536 bài báo Wikipedia. SQuAD 2.0 bổ sung hơn 50.000 câu hỏi không thể trả lời kèm các đáp án gây nhiễu (plausible answers).
  • UIT-ViNewsQA: Ngữ liệu đọc hiểu tiếng Việt gồm 22.057 cặp câu hỏi - câu trả lời trích từ 4.416 bài báo thuộc lĩnh vực chăm sóc sức khỏe trực tuyến tại Việt Nam.
  • UIT-ViQuAD 1.0: Bộ dữ liệu đọc hiểu tiếng Việt đầu tiên trích từ Wikipedia, gồm hơn 23.000 cặp câu hỏi - câu trả lời trên 5.109 đoạn văn của 174 bài báo.
  • UIT-ViWikiQA: Ngữ liệu đọc hiểu dựa trên trích xuất câu tiếng Việt, gồm 23.074 câu trả lời trích từ 5.109 đoạn văn (174 bài báo) của Wikipedia.
  • UIT-ViQuAD 2.0 (Bộ dữ liệu chính): Mở rộng từ UIT-ViQuAD 1.0, bổ sung các câu hỏi không thể trả lời để đánh giá toàn diện khả năng phát hiện câu hỏi ngoài ngữ cảnh.
Tập dữ liệu Số bài báo (Articles) Số đoạn văn (Passages) Tổng số câu hỏi Số câu hỏi không trả lời được
Train 138 4.101 28.457 9.217
Public Test 19 557 3.821 1.168
Private Test 19 515 3.712 1.116
Toàn bộ (All) 176 5.173 35.990 11.501

Các mô hình tham khảo và mô hình tiền huấn luyện

Khóa luận kế thừa và đối sánh với các kiến trúc tiêu biểu:

  • DrQA: Kiến trúc hỏi đáp miền mở kinh điển gồm Document Retriever (dùng TF-IDF hashing) và Document Reader (dùng RNN đa tầng).
  • ViQAS & ViReader: Các hệ thống đọc hiểu tiếng Việt phát triển bởi Đỗ và cộng sự dựa trên mô hình trích xuất câu (STR - Sentence Transformer) và PhoBERT.
  • Retro-Reader (Retrospective Reader): Phương pháp đọc hiểu tích hợp hai giai đoạn (đọc lướt sơ bộ để nắm tương tác tổng thể và đọc chuyên sâu để xác minh câu trả lời).
  • Multi-Hop Paragraph Retrieval: Kỹ thuật biểu diễn vector chung giữa câu hỏi và đoạn văn để truy xuất lặp các đoạn văn hỗ trợ lồng ghép.
  • PhoBERT: Mô hình ngôn ngữ tiền huấn luyện theo kiến trúc RoBERTa dành riêng cho tiếng Việt.
  • XLM-RoBERTa (XLM-R): Mô hình ngôn ngữ đa ngôn ngữ lớn dựa trên kiến trúc Transformer, được huấn luyện tự giám sát trên 2,5TB dữ liệu CommonCrawl đã qua lọc từ hơn 100 ngôn ngữ khác nhau.

Phương pháp nghiên cứu và độ đo đánh giá

Phương pháp nghiên cứu thực nghiệm bao gồm:

  1. Thu thập và tiền xử lý dữ liệu văn bản từ Wikipedia tiếng Việt.
  2. Xây dựng quy tắc chuẩn hóa từ để hỏi bằng phương pháp dựa trên luật (rule-based).
  3. Huấn luyện mô hình truy xuất và xếp hạng lại tài liệu kết hợp giữa phương pháp đối sánh từ vựng truyền thống và mô hình nhúng câu học sâu.
  4. Tinh chỉnh (fine-tuning) mô hình XLM-R cho tác vụ phân loại nhị phân (có/không có câu trả lời) và dự đoán vị trí bắt đầu/kết thúc của câu trả lời.
  5. Xây dựng thuật toán gom cụm và chọn lọc kết quả từ nhiều lần huấn luyện khác nhau.

Độ đo đánh giá hiệu năng hệ thống sử dụng hai thước đo chuẩn của bài toán đọc hiểu:

  • Exact Match (EM): Tỷ lệ phần trăm các câu trả lời dự đoán trùng khớp hoàn toàn từng ký tự với câu trả lời nhãn gốc.
  • F1-Score: Độ đo dung hòa giữa độ chính xác (Precision) và độ bao phủ (Recall) ở cấp độ từ (word level) giữa câu trả lời dự đoán và đáp án chuẩn.

Thiết kế và triển khai hệ thống

Hệ thống hỏi đáp hoàn chỉnh được xây dựng dựa trên đường ống xử lý tuần tự gồm hai khối chức năng trung tâm: Mô-đun Retriever (Truy xuất) và Mô-đun Reader (Đọc hiểu).

Câu hỏi đầu vào -> Rules question -> Mô-đun Retriever -> Top L tài liệu -> Trích xuất câu & Re-ranker -> Top 5 đoạn văn -> Mô-đun Reader (XLM-R) -> Mô-đun Output Filter -> Câu trả lời / Chuỗi rỗng

1. Chuẩn hóa câu hỏi (Rules question)

Để giải quyết tính đa dạng của các từ để hỏi trong tiếng Việt, nhóm tác giả xây dựng mô-đun tiền xử lý dựa trên luật nhằm gom các cụm từ đồng nghĩa về một từ đại diện duy nhất:

Các cụm từ để hỏi gốc Nhóm câu hỏi quy đổi Từ chuẩn hóa sau Rules question
Cái gì, gì, điều gì, là gì, để làm gì What gì
Ở đâu, tại đâu, chỗ nào, nơi nào Where ở đâu
Khi nào, bao giờ, lúc nào, thời gian nào When khi nào
Ai, người nào, nhân vật nào Who ai
Tại sao, vì sao, nguyên nhân gì, lý do gì Why tại sao
Như thế nào, bằng cách nào, ra sao How như thế nào

2. Mô-đun Truy xuất tài liệu (Retriever)

Mô-đun Retriever có nhiệm vụ tìm kiếm các tài liệu liên quan nhất từ kho ngữ liệu UIT-ViWikiQA, gồm ba bước thực thi:

  • Tính điểm tài liệu (Scoring): Kết hợp thuật toán biểu diễn tần suất từ khóa TF-IDF và thuật toán so khớp ngữ nghĩa BM25 plus theo công thức tuyến tính: $$\text{Score} = a \times \text{Score}{\text{TF-IDF}} + (1 - a) \times \text{Score}{\text{BM25+}}$$ Trong đó, tham số $a \in [0, 1]$ được tối ưu hóa thông qua thực nghiệm trên tập huấn luyện UIT-ViQuAD 1.0. Sau khi chấm điểm, hệ thống chọn ra top $L$ tài liệu có điểm số cao nhất.

  • Trích xuất câu (Sentence Extraction) và nắm bắt ngữ cảnh liên câu: Do giới hạn xử lý tối đa 512 token của mô hình Transformer, các tài liệu cần được rút gọn thành các đoạn ngắn mang thông tin tập trung. Tác giả sử dụng mô hình Sentence-BERT (SBERT) tinh chỉnh trên nền tảng PhoBERT để tính độ tương đồng cosin giữa câu hỏi và từng câu đơn lẻ trong tài liệu. Nhằm khắc phục nhược điểm mất thông tin ngữ cảnh khi các câu có mối quan hệ phụ thuộc lẫn nhau (ví dụ: câu chứa đại từ nhân xưng thay thế cho chủ ngữ ở câu trước), nhóm tác giả đề xuất bổ sung ma trận tính toán độ liên quan giữa các câu liền kề nhằm đảm bảo không loại bỏ các câu bổ trợ quan trọng.

  • Sắp xếp lại (Re-ranker): Xếp hạng lại các đoạn văn thu được để trích xuất top 5 tài liệu/đoạn văn có xác suất chứa câu trả lời cao nhất chuyển sang mô-đun Reader.

3. Mô-đun Đọc hiểu tự động (Reader)

Mô-đun Reader tiếp nhận đầu vào gồm câu hỏi ($Q$) và ngữ cảnh của đoạn văn trích xuất ($C$).

  • Biểu diễn và mã hóa: Cặp dữ liệu được mã hóa qua bộ Tokenizer của XLM-RoBERTa theo cấu trúc chuỗi đầu vào: $$\text{Input} = [\text{CLS}] + Q + [\text{SEP}] + C + [\text{SEP}]$$
  • Xác định vị trí câu trả lời: Mô hình tính toán phân phối xác suất cho vị trí bắt đầu ($i$) và vị trí kết thúc ($j$) của đoạn trích câu trả lời trong ngữ cảnh $C$. Vị trí được chọn tương ứng với tích vô hướng cực đại của hai vector xác suất vị trí bắt đầu và kết thúc.
  • Xử lý câu hỏi không thể trả lời: Nếu giá trị tích vô hướng cực đại không vượt qua một ngưỡng ngưỡng tin cậy xác định trước (threshold), hệ thống kết luận câu hỏi không thể trả lời và trả về chuỗi ký tự rỗng "". Ngược lại, nếu vượt ngưỡng, đoạn văn bản từ vị trí $i$ đến $j$ được trích xuất làm câu trả lời.
  • Mô-đun Bộ lọc kết quả (Output Filter): Tác giả đề xuất phương pháp kết hợp kết quả từ khoảng 8 tệp dự đoán được sinh ra từ các lần huấn luyện mô hình với những bộ siêu tham số khác nhau: $$f_1 = {A_{11}, \dots, A_{1n}}, \dots, f_m = {A_{m1}, \dots, A_{mn}}$$ Câu trả lời cuối cùng $A_i$ cho từng câu hỏi được lựa chọn dựa trên thuật toán chọn đáp án xuất hiện nhiều nhất (đa số phiếu bầu): $$A_i = \text{max_repeat_answer}{A_{1i}, A_{2i}, \dots, A_{mi}}$$ Thực nghiệm chỉ ra mô-đun này giúp cải thiện trực tiếp từ 1% đến 2% độ chính xác cho toàn hệ thống.

4. Triển khai giao diện người dùng

Hệ thống được đóng gói với giao diện trực quan hỗ trợ ba chức năng chính:

  • Trang truy xuất tài liệu: Cho phép nhập câu hỏi và hiển thị danh sách các tài liệu liên quan từ Wikipedia kèm điểm số xếp hạng.
  • Trang đọc hiểu tự động: Cho phép nhập trực tiếp một đoạn văn ngữ cảnh và một câu hỏi, mô hình Reader sẽ bôi đậm vị trí câu trả lời trích xuất hoặc thông báo câu hỏi không có đáp án trong đoạn văn.
  • Trang toàn bộ hệ thống hỏi đáp tích hợp: Nhận câu hỏi tự do từ người dùng, tự động thực hiện quy trình từ truy xuất tài liệu miền mở đến trích xuất và hiển thị câu trả lời cuối cùng.

Nội dung chính theo từng chương

Chương 1. Giới thiệu hệ thống hỏi đáp dựa trên đọc hiểu tự động miền mở

Chương 1 trình bày tổng quan về bài toán hỏi đáp tự động (QA) và đọc hiểu bằng máy (MRC). Tác giả phân tích sự khác biệt giữa hệ thống hỏi đáp miền đóng và miền mở, đồng thời chỉ ra xu hướng kết hợp các mô hình biểu diễn ngôn ngữ sâu (Pretrained Language Models) vào kiến trúc Retriever-Reader. Chương này nhấn mạnh tính cấp thiết và giá trị ứng dụng thực tiễn của đề tài trong bối cảnh khối lượng thông tin tiếng Việt trên Internet tăng trưởng nhanh chóng nhưng các công cụ hỗ trợ trích xuất câu trả lời trực tiếp còn khan hiếm.

Chương 2. Các công việc liên quan

Chương 2 cung cấp bức tranh tổng quan và phân tích so sánh chi tiết các công trình nghiên cứu, nguồn ngữ liệu và mô hình tiền nhiệm:

  • Đánh giá các bộ dữ liệu đọc hiểu quốc tế (SQuAD 1.0, SQuAD 2.0) và các bộ dữ liệu tiếng Việt (UIT-ViNewsQA, UIT-ViQuAD 1.0, UIT-ViWikiQA, UIT-ViQuAD 2.0).
  • Phân tích kiến trúc của các hệ thống hỏi đáp tiêu biểu gồm DrQA, ViQAS và ViReader.
  • Khảo sát các đặc trưng ngôn ngữ học phức tạp của tiếng Việt (thanh điệu, dấu câu, từ đồng âm, đồng nghĩa, phụ thuộc ngữ cảnh) ảnh hưởng đến hiệu năng của mô hình đọc hiểu.

Chương 3. Xây dựng hệ thống

Chương 3 là chương trọng tâm mô tả chi tiết giải pháp kỹ thuật và kiến trúc hệ thống do nhóm tác giả thiết kế:

  • Xây dựng mô-đun Rules question nhằm chuẩn hóa các dạng câu hỏi tiếng Việt.
  • Thiết kế mô-đun Retriever kết hợp phương pháp tính điểm lai (TF-IDF và BM25 plus), mô hình trích xuất câu SBERT trên nền PhoBERT có bổ sung ma trận tương quan giữa các câu, và bộ xếp hạng Re-ranker.
  • Triển khai mô-đun Reader dựa trên mô hình tiền huấn luyện XLM-RoBERTa, cơ chế tính ngưỡng phân loại câu hỏi không trả lời được và mô-đun lọc kết quả Output Filter.
  • Xây dựng các giao diện tương tác người dùng phục vụ thử nghiệm và đánh giá thực tế.

Chương 4. Thử nghiệm và phân tích

Chương 4 công bố kết quả thực nghiệm chi tiết của từng thành phần và toàn bộ hệ thống hỏi đáp:

  • Phân tích hiệu năng của mô-đun Retriever và mô-đun Reader trên các tập kiểm thử của bộ dữ liệu UIT-ViQuAD 2.0.
  • Tiến hành phân loại và mổ xẻ nguyên nhân các ca lỗi thành bốn nhóm chính: lỗi truy xuất tài liệu (Retrieval error), lỗi không nhận diện được câu hỏi unanswerable (Unanswerable error), lỗi bỏ sót câu trả lời hợp lệ (False unanswerable), và lỗi trích xuất sai biên giới khoảng câu trả lời (Incorrect span error).

Chương 5. Kết luận và hướng phát triển

Chương 5 đúc kết các kết quả đạt được của khóa luận, khẳng định tính khả thi của hệ thống hỏi đáp kết hợp Retriever-Reader cho tiếng Việt, đồng thời đề ra các hướng nghiên cứu mở rộng trong tương lai nhằm nâng cao độ chính xác và mở rộng phạm vi ứng dụng.

Kết quả và đóng góp

Kết quả thực nghiệm chính

  • Hiệu năng mô hình Reader: Tại thời điểm báo cáo đề cương và thử nghiệm ban đầu, mô hình đọc hiểu của nhóm đạt độ chính xác F1 = 76,386% trên bộ dữ liệu UIT-ViQuAD 2.0.
  • Đóng góp của mô-đun Output Filter: Việc tổng hợp kết quả dự đoán đa mô hình thông qua cơ chế bầu chọn tần suất giúp cải thiện trực tiếp từ 1% đến 2% độ chính xác F1 so với mô hình đơn lẻ.
  • Thành tích học thuật:
    • Đạt Hạng 4 chung cuộc tại cuộc thi xử lý ngôn ngữ tiếng Việt quy mô quốc gia VLSP 2021 - ViMRC Challenge (Vietnamese Machine Reading Comprehension).
    • Có 01 công trình khoa học được chấp nhận đăng tại tạp chí khoa học chuyên ngành thuộc Đại học Quốc gia (VNU Journal).

Đóng góp khoa học và kỹ thuật

  1. Hoàn thiện hệ thống hỏi đáp miền mở cho tiếng Việt: Xây dựng thành công quy trình khép kín kết hợp giữa truy xuất tài liệu Wikipedia và đọc hiểu tự động có khả năng xử lý bài toán câu hỏi không thể trả lời trên ngữ liệu UIT-ViQuAD 2.0.
  2. Cải tiến mô-đun trích xuất câu (Sentence Extraction): Đề xuất giải pháp bổ sung ma trận tương quan giữa các câu liền kề trong văn bản khi trích xuất bằng SBERT/PhoBERT, giúp giảm thiểu hiện tượng mất ngữ cảnh đối với các câu hỏi đòi hỏi thông tin liên câu.
  3. Đề xuất mô-đun Output Filter hiệu quả: Xây dựng giải pháp ensemble đơn giản nhưng hiệu quả, tận dụng phân phối kết quả từ nhiều lần huấn luyện siêu tham số khác nhau để gia tăng độ chính xác dự đoán.
  4. Xây dựng phần mềm hoàn chỉnh có giao diện tương tác: Đóng gói mã nguồn thành hệ thống có giao diện web trực quan, cho phép kiểm thử độc lập từng mô-đun hoặc vận hành toàn bộ hệ thống hỏi đáp tích hợp.

Hạn chế và hướng nghiên cứu tiếp

Hạn chế

  • Giới hạn ngữ cảnh đầu vào của Reader: Kiến trúc Transformer của XLM-RoBERTa bị giới hạn ở độ dài chuỗi tối đa 512 token, dẫn đến nguy cơ mất thông tin nếu đoạn văn truy xuất quá dài hoặc quá trình rút gọn câu chưa tối ưu.
  • Phụ thuộc vào chất lượng truy xuất tài liệu: Nếu mô-đun Retriever không đưa được đoạn văn chứa đáp án vào top 5, mô-đun Reader chắc chắn sẽ đưa ra kết quả sai hoặc trả về chuỗi rỗng.
  • Khả năng suy luận đa bước (Multi-hop Reasoning) còn hạn chế: Hệ thống gặp khó khăn đối với các câu hỏi phức tạp đòi hỏi phải tổng hợp thông tin nằm rải rác ở nhiều đoạn văn hoặc nhiều bài viết khác nhau trên Wikipedia.
  • Ảnh hưởng của hiện tượng nhập nhằng từ vựng: Các câu hỏi sử dụng từ đồng âm, từ đồng nghĩa hoặc câu hỏi mang tính suy luận sâu vẫn ghi nhận tỷ lệ lỗi dự đoán sai biên giới câu trả lời.

Hướng nghiên cứu tiếp

  • Tiếp tục tối ưu hóa các siêu tham số của mô hình Reader để nâng cao độ chính xác F1 vượt mục tiêu 80% trên bộ dữ liệu UIT-ViQuAD 2.0.
  • Nghiên cứu tích hợp các kiến trúc tiên tiến như mô hình Retro-Reader (Retrospective Reader) và cơ chế truy xuất đoạn văn đa bước (Multi-Hop Paragraph Retrieval).
  • Mở rộng nguồn dữ liệu truy xuất ra ngoài phạm vi Wikipedia tiếng Việt, hướng tới các kho dữ liệu báo chí, văn bản pháp luật và dữ liệu y tế trực tuyến.
  • Tối ưu hóa thời gian phản hồi của toàn bộ hệ thống để phục vụ tích hợp vào các ứng dụng thực tế như trợ lý ảo (Voice Assistant) và hệ thống hỗ trợ khách hàng tự động (Chatbot).

Giá trị tham khảo

Khóa luận là tài liệu tham khảo có giá trị học thuật và kỹ thuật đối với:

  • Sinh viên, học viên cao học ngành Công nghệ Thông tin, Khoa học Dữ liệu và Trí tuệ Nhân tạo: Cung cấp tài liệu tổng quan toàn diện về bài toán Machine Reading Comprehension và Question Answering trên ngôn ngữ tiếng Việt.
  • Các nhà nghiên cứu NLP tiếng Việt: Cung cấp thông số thực nghiệm, phương pháp tinh chỉnh các mô hình tiền huấn luyện PhoBERT, XLM-RoBERTa, cũng như kinh nghiệm xử lý các đặc trưng ngôn ngữ học phức tạp của tiếng Việt.
  • Kỹ sư phát triển phần mềm và hệ thống thông tin: Cung cấp kiến trúc tham khảo chi tiết về đường ống xử lý kết hợp Retriever-Reader, kỹ thuật ranking văn bản kết hợp TF-IDF/BM25+ với mạng nơ-ron, cùng giải pháp xây dựng giao diện ứng dụng hỏi đáp thực tế.

Câu hỏi thường gặp

1. Khóa luận sử dụng những bộ dữ liệu chính nào để huấn luyện và đánh giá hệ thống?

Hệ thống sử dụng bộ dữ liệu chính là UIT-ViQuAD 2.0 gồm 35.990 câu hỏi trên 5.173 đoạn văn của 176 bài báo Wikipedia tiếng Việt (trong đó có 11.501 câu hỏi không thể trả lời). Nguồn ngữ liệu dùng cho mô-đun truy xuất tài liệu là tập UIT-ViWikiQA gồm 23.074 câu trả lời trích xuất từ 5.109 đoạn văn Wikipedia.

2. Mô hình Retriever kết hợp những phương pháp tính điểm nào để tìm tài liệu liên quan?

Mô-đun Retriever kết hợp hai phương pháp tính điểm truyền thống là TF-IDF và BM25 plus theo công thức tuyến tính $\text{Score} = a \times \text{Score}{\text{TF-IDF}} + (1-a) \times \text{Score}{\text{BM25+}}$, sau đó sử dụng mô hình SBERT tinh chỉnh trên nền PhoBERT để trích xuất các câu có độ tương đồng ngữ nghĩa cao nhất.

3. Mô hình Reader sử dụng kiến trúc nào và xử lý câu hỏi không thể trả lời bằng cách nào?

Mô hình Reader sử dụng kiến trúc tiền huấn luyện đa ngôn ngữ XLM-RoBERTa (XLM-R) để dự đoán vị trí bắt đầu và kết thúc của câu trả lời. Hệ thống xác định một ngưỡng giá trị (threshold) cho tích vô hướng giữa vị trí bắt đầu và kết thúc; nếu giá trị này không vượt qua ngưỡng, mô hình sẽ kết luận câu hỏi không có câu trả lời và trả về chuỗi rỗng "".

4. Mô-đun Output Filter hoạt động như thế nào và đem lại hiệu quả ra sao?

Mô-đun Output Filter thu thập kết quả dự đoán từ khoảng 8 tệp kết quả của các lần huấn luyện mô hình với những bộ siêu tham số khác nhau. Sau đó, thuật toán chọn câu trả lời xuất hiện nhiều lần nhất (đa số phiếu bầu) cho từng câu hỏi. Thực nghiệm cho thấy mô-đun này giúp tăng từ 1% đến 2% độ chính xác F1.

5. Nhóm tác giả đã đạt được những thành tích nghiên cứu cụ thể nào trong quá trình thực hiện khóa luận?

Nhóm tác giả đã xuất sắc đạt Hạng 4 chung cuộc tại cuộc thi quốc gia VLSP 2021 - ViMRC Challenge và có 01 bài báo khoa học về giải pháp cho bài toán đọc hiểu tiếng Việt được chấp nhận đăng tại Tạp chí ĐHQG (VNU Journal).

Kết luận

Khóa luận tốt nghiệp của sinh viên Đặng Văn Nhân và Nguyễn Lê Minh đã nghiên cứu và triển khai thành công một hệ thống hỏi đáp tự động miền mở hoàn chỉnh cho tiếng Việt, kết hợp hiệu quả giữa mô hình truy xuất tài liệu Retriever và mô hình đọc hiểu Reader. Đề tài đã giải quyết bài toán phân biệt câu hỏi có câu trả lời và không thể trả lời trên tập ngữ liệu chuẩn UIT-ViQuAD 2.0 thông qua việc ứng dụng các mô hình ngôn ngữ lớn như PhoBERT và XLM-RoBERTa kết hợp với mô-đun lọc kết quả Output Filter. Công trình được minh chứng về mặt học thuật thông qua giải thưởng Hạng 4 tại cuộc thi VLSP 2021-ViMRC và bài báo đăng trên VNU Journal, đồng thời thể hiện tính ứng dụng thực tiễn cao qua hệ thống giao diện phần mềm hoàn chỉnh.