Bối cảnh và vấn đề nghiên cứu

Trong bối cảnh thương mại điện tử phát triển nhanh chóng, người tiêu dùng có xu hướng tìm hiểu kỹ thông tin về sản phẩm và dịch vụ trước khi đưa ra quyết định mua sắm trực tuyến. Lượng người dùng gia tăng kéo theo số lượng câu hỏi thắc mắc gửi đến các hệ thống bán hàng ngày càng lớn. Thực trạng này dẫn đến tình trạng quá tải đối với đội ngũ chăm sóc khách hàng, khiến nhiều thắc mắc bị chậm trễ giải đáp hoặc không được phản hồi, gây ảnh hưởng tiêu cực đến trải nghiệm của khách hàng và doanh thu của doanh nghiệp.

Mặc dù phần lớn các thắc mắc này đã từng được đề cập và giải đáp trong các bài đánh giá, bình luận (reviews) của những người mua trước, việc người dùng phải tự đọc thủ công hàng trăm bình luận không trang trọng để tìm kiếm thông tin là một quá trình tốn nhiều thời gian và công sức. Do đó, việc xây dựng một hệ thống đọc hiểu máy tự động (Machine Reading Comprehension - MRC) có khả năng đọc hiểu bình luận và tự động trích xuất câu trả lời là một nhu cầu thực tiễn cấp thiết.

Tại Việt Nam, các nghiên cứu đọc hiểu tự động trước đó chủ yếu tập trung vào các tập ngữ liệu có văn phong trang trọng (formal) và thuộc các chủ đề tổng quát hoặc chuyên ngành hẹp, tiêu biểu như bộ dữ liệu UIT-ViQuAD (trên miền bài viết Wikipedia) và UIT-ViNewsQA (trên miền tin tức sức khỏe). Văn bản bình luận khách hàng trên các trang thương mại điện tử lại mang đặc thù văn phong không trang trọng (informal), thường xuyên xuất hiện lỗi chính tả, viết tắt, thiếu dấu câu hoặc dùng từ ngữ địa phương. Cho đến thời điểm tác giả thực hiện nghiên cứu (năm 2022), tiếng Việt chưa có công bố nào về bộ dữ liệu đọc hiểu tự động dành riêng cho miền bình luận khách hàng.

Mục tiêu và nhiệm vụ nghiên cứu của khóa luận được xác định cụ thể như sau:

  1. Kế thừa và phát triển dữ liệu bình luận từ hai nguồn có sẵn gồm bộ dữ liệu ViSD4SA (chủ đề điện thoại thông minh) và bộ dữ liệu của Tran et al. (chủ đề nhà hàng, quán ăn trên nền tảng Foody), áp dụng quy trình và quy tắc gắn nhãn được tham khảo từ bộ dữ liệu UIT-ViQuAD để tạo ra bộ ngữ liệu đọc hiểu tự động trên bình luận khách hàng tiếng Việt với quy mô 6.429 cặp câu hỏi - đáp.
  2. Thực hiện nghiên cứu thực nghiệm, so sánh và đánh giá hiệu năng của 5 kiến trúc mô hình học sâu tiêu biểu trong bài toán đọc hiểu tự động (R-Net, QANet, multilingual BERT, PhoBERT và XLM-RoBERTa) trên tập dữ liệu vừa xây dựng, đồng thời phân tích chi tiết hiệu năng theo từng loại câu hỏi và phân loại các dạng lỗi dự đoán thực tế.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Bài toán đọc hiểu máy tự động dạng trích xuất trên văn bản tiếng Việt; quy trình xây dựng tập dữ liệu hỏi đáp trên văn bản không trang trọng; các kiến trúc học sâu bao gồm mạng nơ-ron hồi quy kết hợp cơ chế chú ý (R-Net), mạng tích chập kết hợp cơ chế tự chú ý (QANet) và các mô hình biểu diễn ngôn ngữ tiền huấn luyện dựa trên Transformer (mBERT, PhoBERT, XLM-RoBERTa).
  • Phạm vi dữ liệu: Dữ liệu bình luận tiếng Việt giới hạn trong hai lĩnh vực: bình luận về điện thoại thông minh thu thập từ trang thương mại điện tử lớn tại Việt Nam thông qua tập ViSD4SA, và bình luận về dịch vụ ẩm thực, nhà hàng, quán ăn thu thập từ nền tảng Foody.

Cơ sở lý thuyết và phương pháp

Khóa luận tiếp cận bài toán Đọc hiểu tự động dạng trích xuất (Extractive Machine Reading Comprehension). Về mặt toán học, bài toán nhận đầu vào gồm một đoạn bình luận $C = {c_1, c_2, ..., c_n}$ gồm $n$ từ và một câu hỏi $Q = {q_1, q_2, ..., q_m}$ gồm $m$ từ có nội dung liên quan đến $C$. Mục tiêu của hệ thống là xác định vị trí bắt đầu $i$ và vị trí kết thúc $i+k$ trong đoạn bình luận $C$ ($1 \le i \le i+k \le n$) để trích xuất ra câu trả lời chính xác $A = {c_i, c_{i+1}, ..., c_{i+k}}$.

Khung lý thuyết về mô hình học máy được tác giả khảo sát và áp dụng bao gồm:

  • Mô hình học sâu truyền thống: Mô hình R-Net (sử dụng mạng BiGRU kết hợp cơ chế Gated Attention và Self-Matching Attention, đầu ra dùng Pointer Network) và mô hình QANet (loại bỏ hoàn toàn kiến trúc mạng hồi quy RNN, thay thế bằng Depthwise Separable Convolution kết hợp Multi-Head Self-Attention và chuẩn hóa Layer Normalization). Cả hai mô hình này sử dụng véc-tơ biểu diễn từ PhoW2V tiền huấn luyện cho tiếng Việt.
  • Mô hình tiền huấn luyện dựa trên Transformer: Mô hình multilingual BERT (mBERT) được huấn luyện trên ngữ liệu Wikipedia của 104 ngôn ngữ; mô hình PhoBERT được huấn luyện chuyên biệt trên ngữ liệu tiếng Việt quy mô lớn theo cấu trúc RoBERTa; mô hình XLM-RoBERTa (gồm hai phiên bản base và large) được tiền huấn luyện trên hơn 100 ngôn ngữ với cơ chế tối ưu cho các ngôn ngữ tài nguyên thấp.

Phương pháp nghiên cứu thực nghiệm được triển khai theo các quy trình chuẩn:

  • Phương pháp gán nhãn và kiểm tra chéo (Cross-check): Dữ liệu được 4 cộng tác viên xây dựng thông qua công cụ Microsoft Excel Online. Quy trình gán nhãn thực hiện theo chu kỳ kiểm tra chéo từng cặp 2 người, kết hợp lấy mẫu ngẫu nhiên 10% để kiểm định độc lập và tổ chức họp thảo luận định kỳ hàng tuần nhằm chuẩn hóa hướng dẫn gán nhãn (guideline).
  • Phương pháp tiền xử lý và khắc phục lỗi phân đoạn từ: Sử dụng thư viện biểu thức chính quy (Regex) trong ngôn ngữ Python để loại bỏ các thẻ HTML tồn dư. Khắc phục hạn chế của công cụ tách từ VnCoreNLP đối với các trường hợp viết sai quy chuẩn soạn thảo (từ dính liền dấu câu không có khoảng trắng như <dấu câu><chữ cái>) bằng cách tự động chèn khoảng trắng trước khi đưa vào tách từ.
  • Phương pháp hậu xử lý căn chỉnh chuỗi (Reverse Alignment): Xây dựng thuật toán rút gọn chuỗi ký tự (loại bỏ toàn bộ khoảng trắng, ký tự ngắt dòng) kết hợp lưu mảng chỉ mục vị trí gốc nhằm ánh xạ chính xác kết quả dự đoán của các mô hình đã tách từ (như PhoBERT, R-Net, QANet) trở lại văn bản gốc ban đầu.
  • Độ đo đánh giá: Sử dụng mã nguồn chuẩn của SQuAD do Rajpurkar et al. cung cấp, tính toán hai độ đo: F1-score (đánh giá mức độ trùng lặp ở cấp độ từ giữa chuỗi dự đoán và nhãn thực tế) và Exact Match - EM (chỉ số nhị phân đạt giá trị 1 khi chuỗi dự đoán khớp hoàn toàn 100% với nhãn thực tế).

Nội dung chính theo từng chương

Chương 1. Định nghĩa bài toán

Chương này thiết lập cơ sở toán học và phạm vi ứng dụng của bài toán đọc hiểu trích xuất trên bình luận khách hàng tiếng Việt. Tác giả chỉ rõ dạng dữ liệu đầu vào là các cặp đoạn văn bình luận $C$ và câu hỏi $Q$, kết quả đầu ra là đoạn chuỗi con $A$ thuộc $C$. Chương 1 phân tích tính cấp thiết của việc tự động hóa xử lý văn bản thương mại điện tử, xác định rõ mục đích nghiên cứu kép (xây dựng tập ngữ liệu chuẩn và thực nghiệm đánh giá mô hình học sâu), đồng thời giới hạn phạm vi đề tài vào hai miền thực tế là điện thoại thông minh và nhà hàng ăn uống.

Chương 2. Các hướng nghiên cứu liên quan

Tác giả hệ thống hóa bức tranh toàn cảnh về bài toán đọc hiểu máy trên thế giới và tại Việt Nam:

  • Nghiên cứu quốc tế: Khảo sát các tập dữ liệu đọc hiểu bình luận tiêu biểu như AmazonQA (dạng sinh câu trả lời - abstractive, quy mô 923.000 câu hỏi trên 14 triệu bình luận) và ReviewRC (dạng trích xuất - extractive trên dữ liệu Amazon và Yelp). Khảo sát các bộ dữ liệu đọc hiểu chuẩn tắc như SQuAD và Natural Questions, điểm lại bước chuyển dịch công nghệ từ các mô hình R-Net, QANet sang các mô hình Transformer tiền huấn luyện như BERT, RoBERTa và ELECTRA.
  • Nghiên cứu trong nước: Phân tích cấu trúc và kết quả của hai bộ dữ liệu tiếng Việt hiện có là UIT-ViQuAD (23.000 cặp hỏi-đáp trên Wikipedia, XLM-RoBERTa đạt F1 87%) và UIT-ViNewsQA (22.077 cặp hỏi-đáp trên tin tức y tế, mô hình cao nhất đạt F1 57,90%).
  • Khoảng trống nghiên cứu: Rút ra nhận định về sự thiếu hụt trầm trọng của các bộ dữ liệu trên văn bản không chính thống (informal), làm tiền đề cho việc chọn lựa các mô hình R-Net, QANet, mBERT, PhoBERT và XLM-RoBERTa để tiến hành thực nghiệm.

Chương 3. Xây dựng và phân tích bộ dữ liệu

Chương 3 trình bày chi tiết quy trình tạo lập và đặc điểm phân bố của bộ ngữ liệu:

  • Chuẩn bị và công cụ: Khai thác dữ liệu thô từ tập ViSD4SA và tập dữ liệu của Tran et al. Sử dụng Microsoft Excel Online để tận dụng khả năng tự động lưu phiên bản và tính năng gợi ý các câu hỏi đã nhập, giúp hạn chế việc cộng tác viên lặp lại các mẫu câu đơn điệu.
  • Quy tắc gán nhãn: Yêu cầu câu trả lời phải là đoạn liên tục ngắn nhất trong văn bản, không chứa dấu câu ở hai đầu. Đưa ra hướng dẫn cụ thể về 4 cấp độ suy luận: Tương đồng về từ (Word matching), Viết lại câu (Paraphrasing), Suy luận từ một câu (Single-sentence inference - SSI) và Suy luận từ nhiều câu (Multi-sentence inference - MSI). Nhận diện và loại trừ 3 lỗi phổ biến: câu hỏi có nhiều câu trả lời nằm rải rác, câu hỏi thiếu từ để hỏi, và câu trả lời chưa tối ưu độ dài ngắn nhất.
  • Quy trình triển khai: 4 cộng tác viên tham gia gán nhãn qua các vòng thử nghiệm 50 mẫu, tiếp đó phân công mỗi đợt 200 cặp/người trong 4-5 ngày, thực hiện kiểm tra chéo trong 2-3 ngày, lấy mẫu ngẫu nhiên 10% để kiểm định và tổ chức họp thống nhất hàng tuần. Dữ liệu cuối cùng được phân chia ngẫu nhiên thành ba tập: Huấn luyện (Train), Phát triển (Dev) và Kiểm thử (Test) theo tỉ lệ xấp xỉ 8:1:1.
Phân loại tập dữ liệu Huấn luyện (Train) Phát triển (Dev) Kiểm thử (Test) Toàn bộ dữ liệu
Số lượng bình luận 1.621 202 204 2.027
Số cặp hỏi - đáp 5.123 679 627 6.429
Số lượng theo chủ đề Điện thoại - - - 3.140
Số lượng theo chủ đề Nhà hàng - - - 3.289
Số từ trung bình / bình luận - - - 91,73 từ
Số từ trung bình / câu hỏi - - - 11,00 từ
Số từ trung bình / câu trả lời - - - 7,74 từ
Chiều dài trung bình (câu hỏi + bình luận) - - - 102,73 từ
  • Thống kê dạng câu hỏi và dạng suy luận (trên tập Kiểm thử):
    • Khảo sát 500 mẫu câu hỏi: Loại câu hỏi như thế nào (how) chiếm tỷ lệ cao nhất với 46,0%, tiếp theo là cái gì/điều gì (what) chiếm 20,8%, bao nhiêu (how much) chiếm 4,2%, tại sao (why) chiếm 4,2%, bao lâu (how long) chiếm 2,2%, cái nào (which) chiếm 2,2%, và các dạng khác chiếm phần còn lại.
    • Khảo sát 100 mẫu dạng suy luận: Dạng Paraphrasing chiếm ưu thế lớn nhất, tiếp theo là dạng tương đồng từ (Word matching), suy luận từ nhiều câu (MSI), suy luận từ một câu (SSI), và một phần nhỏ thuộc dạng nhập nhằng/không chính xác (AoI).

Chương 4. Mô hình cho bài toán đọc hiểu tự động

Chương này phân tích kiến trúc toán học và quy trình tính toán của các mô hình thực nghiệm:

  • Cơ chế chung: Mọi mô hình đều thực hiện qua các giai đoạn: mã hóa bình luận và câu hỏi đầu vào, hòa trộn ngữ nghĩa giữa ngữ cảnh và truy vấn, và tính toán hai phân phối xác suất độc lập $s_i$ và $e_i$ để dự báo vị trí bắt đầu và kết thúc của câu trả lời.
  • Kiến trúc R-Net: Tích hợp mạng BiGRU, tầng Gated Attention-based Recurrent Network để truyền thông tin câu hỏi vào đoạn văn, tầng Self-Matching Attention để nắm bắt ngữ cảnh toàn cục của đoạn văn, và mạng con trỏ (Pointer Network) để xác định biên câu trả lời.
  • Kiến trúc QANet: Ứng dụng cấu trúc khối mã hóa xếp chồng (Encoder Block) gồm các lớp tích chập tách biệt theo chiều sâu (Depthwise Separable Convolution), chuẩn hóa Layer Normalization, tầng Multi-Head Self-Attention và tầng nơ-ron kết nối đầy đủ (Feedforward). Mô hình tính độ tương đồng giữa câu hỏi và đoạn văn thông qua hàm trilinear, mang lại tốc độ huấn luyện nhanh vượt bậc so với RNN.
  • Kiến trúc BERT và các biến thể: Cấu trúc Transformer Encoder nhiều tầng (12 tầng đối với bản Base, 24 tầng đối với bản Large). Khảo sát cơ chế tiền huấn luyện theo hai nhiệm vụ Masked Language Model (MLM) và Next Sentence Prediction (NSP), cùng các biến thể mở rộng trên kho ngữ liệu tiếng Việt và đa ngôn ngữ gồm multilingual BERT, PhoBERT và XLM-RoBERTa.

Chương 5. Thí nghiệm và đánh giá kết quả

Chương 5 là trọng tâm thực nghiệm của khóa luận, mô tả môi trường cài đặt, quy trình tinh chỉnh siêu tham số và phân tích kết quả:

  • Thiết lập siêu tham số: Huấn luyện trong 3 epoch; độ dài chuỗi tối đa (max sequence length) được đặt là 256 (phù hợp với độ dài trung bình ghép giữa câu hỏi và bình luận là 102,73 từ); tốc độ học (learning rate) được tinh chỉnh lưới trong tập giá trị ${3\text{e-}4, 1\text{e-}4, 5\text{e-}5}$ và chọn giá trị tối ưu trên tập Dev.
  • Xử lý bất tương thích phân đoạn từ: Tác giả mô tả chi tiết giải pháp tiền xử lý chèn khoảng trắng bằng Regex nhằm ngăn chặn hiện tượng VnCoreNLP gộp sai cụm từ, và giải pháp thuật toán rút gọn chuỗi để khôi phục ranh giới ký tự ban đầu khi đánh giá các mô hình yêu cầu tách từ như PhoBERT, R-Net và QANet.
  • Hiệu năng tổng thể: Các mô hình dựa trên Transformer áp đảo hoàn toàn các mô hình học sâu truyền thống. Phiên bản XLM-RoBERTa-large đạt hiệu năng cao nhất trên toàn bộ các chỉ số đánh giá.
Kiến trúc mô hình Tập phát triển (Dev) - F1 (%) Tập phát triển (Dev) - EM (%) Tập kiểm thử (Test) - F1 (%) Tập kiểm thử (Test) - EM (%)
R-Net 48,47 - - -
QANet - - - -
mBERT - - - -
PhoBERT-base - - - -
PhoBERT-large - - - -
XLM-RoBERTa-base 66,22 - - -
XLM-RoBERTa-large 73,xx - 72,97 41,xx

(Ghi chú: Các chỉ số được trích xuất trực tiếp từ các số liệu có trong văn bản báo cáo khóa luận).

  • Phân tích theo loại câu hỏi: Trên 500 mẫu kiểm thử, các biến thể BERT vượt trội so với R-Net và QANet trên toàn bộ các nhóm câu hỏi. Đối với R-Net và QANet, điểm F1 trên nhóm câu hỏi chiếm đa số dữ liệu (như thế nào - 46,0%) cao gấp đôi so với nhóm câu hỏi có ít dữ liệu huấn luyện (bao nhiêu, tại sao - mỗi loại 4,2%). Ngược lại, PhoBERT và XLM-RoBERTa thể hiện khả năng khái quát hóa vượt trội khi duy trì điểm F1 rất cao ngay cả trên các nhóm câu hỏi ít dữ liệu này.
  • Phân tích lỗi (Error Analysis): Lấy ngẫu nhiên 100 mẫu dự đoán sai hoàn toàn (EM = 0) của hai mô hình tốt nhất (XLM-RoBERTa-large và PhoBERT-large) để phân loại thành 7 nhóm lỗi: Gần đúng, Thừa nội dung, Thiếu nội dung, Nhầm lẫn, Paraphrase, Lỗi dữ liệu và Khác. Kết quả định lượng cho thấy 3 dạng lỗi: Gần đúng, Thừa nội dung và Thiếu nội dung chiếm tới khoảng 75% tổng số trường hợp sai.

Chương 6. Kết luận và hướng phát triển

Tác giả tóm tắt toàn bộ khối lượng công việc đã hoàn thành: xây dựng thành công tập dữ liệu đọc hiểu bình luận khách hàng tiếng Việt đầu tiên với 6.429 cặp hỏi - đáp; thiết lập kết quả thực nghiệm cơ sở (baseline) của 5 mô hình học sâu; chỉ ra các nguyên nhân dẫn đến lỗi dự đoán trên văn bản không trang trọng. Về hướng phát triển, tác giả đề xuất mở rộng số lượng câu trả lời tham chiếu cho mỗi câu hỏi và nâng cấp quy chuẩn gán nhãn nhằm xử lý triệt để hiện tượng sai lệch ranh giới từ.

Kết quả và đóng góp

Nghiên cứu mang lại các kết quả định lượng cụ thể và những đóng góp kỹ thuật rõ ràng cho bài toán xử lý ngôn ngữ tự nhiên trên văn bản tiếng Việt:

1. Kết quả định lượng chính

  • Bộ ngữ liệu thực nghiệm: Xây dựng thành công bộ dữ liệu gồm 2.027 bình luận khách hàng và 6.429 cặp câu hỏi - đáp trích xuất, phân bổ cân bằng giữa hai miền nội dung: Điện thoại thông minh (3.140 cặp) và Nhà hàng, quán ăn (3.289 cặp). Bộ dữ liệu được phân định thành ba tập độc lập: Huấn luyện (5.123 cặp), Phát triển (679 cặp) và Kiểm thử (627 cặp).
  • Hiệu năng mô hình: Khẳng định tính ưu việt của kiến trúc Transformer đa ngôn ngữ được huấn luyện trên quy mô lớn. Mô hình XLM-RoBERTa-large thiết lập mức điểm chuẩn cao nhất trên tập kiểm thử với F1 đạt 72,97% và EM đạt trên 41%.
  • Phân tích lỗi định lượng: Xác định chính xác rằng khoảng 75% sai số của các mô hình học sâu tốt nhất thuộc về 3 nhóm: lỗi gần đúng, lỗi thừa nội dung và lỗi thiếu nội dung.

2. Giải pháp kỹ thuật tác giả đề xuất

  • Giải pháp tiền xử lý bất thường dấu câu: Nhận diện và xử lý thành công hiện tượng lỗi định dạng trong văn bản không chính thống (ký tự dính liền sau dấu câu) bằng quy tắc Regex <dấu câu><chữ cái> chuyển thành <dấu câu><khoảng trắng><chữ cái>, loại bỏ triệt để việc mô hình gộp hai từ độc lập thành một từ đơn sai lệch.
  • Thuật toán hậu xử lý ánh xạ vị trí chuỗi (Reverse Alignment): Đề xuất giải pháp đối soát chuỗi rút gọn không khoảng trắng, cho phép bảo toàn chỉ mục ký tự gốc và chuyển đổi ngược thành công câu trả lời dự đoán từ dạng đã phân đoạn từ (_) về văn bản thô ban đầu mà không làm sai lệch số lượng từ khi tính toán độ đo F1 và EM.

3. Đóng góp so với các nghiên cứu trước

  • Tác giả đã lấp đầy khoảng trống về tài nguyên dữ liệu đọc hiểu máy cho tiếng Việt trên văn phong không trang trọng (informal text), vốn hoàn toàn khác biệt so với văn phong bách khoa toàn thư của UIT-ViQuAD hay văn phong báo chí y tế của UIT-ViNewsQA.
  • Cung cấp một bộ dữ liệu kiểm chuẩn (benchmark) hoàn chỉnh, có phân loại chi tiết theo 4 cấp độ suy luận ngữ nghĩa và 7 loại hình câu hỏi, đi kèm hệ thống kết quả thực nghiệm đối sánh toàn diện giữa các thế hệ mô hình học sâu từ BiGRU, CNN/Self-Attention đến Pre-trained Transformer.

Hạn chế và hướng nghiên cứu tiếp

Khóa luận đã thẳng thắn chỉ ra các hạn chế cố hữu trong phạm vi nghiên cứu và đề xuất các hướng giải quyết cụ thể:

Hạn chế

  • Cơ chế đơn nhãn câu trả lời (Single ground-truth): Trong bộ dữ liệu hiện tại, mỗi câu hỏi chỉ gắn liền với một câu trả lời duy nhất của một cộng tác viên. Điều này dẫn đến tỷ lệ lỗi "gần đúng" rất cao khi mô hình dự đoán trúng phần lớn ý nghĩa nhưng khác biệt về ranh giới từ (ví dụ dự đoán thừa hoặc thiếu từ bổ nghĩa), khiến độ đo EM bị phạt về 0 dù câu trả lời hoàn toàn chấp nhận được đối với người dùng thực tế.
  • Độ nhiễu của văn phong không trang trọng: Dữ liệu bình luận thực tế chứa nhiều từ viết tắt, tiếng lóng, lỗi chính tả và ngắt nghỉ câu tùy tiện. Các công cụ phân đoạn từ hiện hành (như VnCoreNLP) vốn được huấn luyện trên văn bản chuẩn tắc nên gặp nhiều sai sót khi xử lý loại văn bản này, làm ảnh hưởng trực tiếp đến chất lượng biểu diễn của các mô hình cần tách từ như PhoBERT, R-Net và QANet.
  • Mức độ phức tạp của câu văn bình luận: Bình luận của khách hàng thường bao gồm nhiều ý ngắn gọn nhưng tính liên kết logic giữa các câu không cao. Do đó, tỷ lệ các câu hỏi yêu cầu suy luận phức tạp từ nhiều câu (MSI) trong tập dữ liệu còn chiếm tỷ trọng khiêm tốn so với các câu hỏi diễn giải (Paraphrasing) hoặc đối khớp từ (Word matching).

Hướng nghiên cứu tiếp

  • Mở rộng đa câu trả lời tham chiếu: Bổ sung thêm nhiều câu trả lời độc lập cho cùng một câu hỏi (tương tự cách tiếp cận của tập dữ liệu SQuAD) để bao quát các biến thể diễn đạt hợp lệ, giảm thiểu tỷ lệ phạt lỗi gần đúng.
  • Hoàn thiện quy chuẩn gán nhãn: Rà soát và siết chặt hơn nữa hướng dẫn đặt câu hỏi - đáp cho cộng tác viên nhằm kiểm soát tính đồng nhất về độ dài câu trả lời ngắn nhất và loại bỏ các trường hợp câu hỏi đa nghĩa.
  • Tối ưu hóa tiền xử lý cho văn bản không chính thống: Nghiên cứu các phương pháp chuẩn hóa văn bản chuyên sâu (chuẩn hóa từ viết tắt, sửa lỗi chính tả tự động, phân đoạn từ thích ứng miền) trước khi đưa dữ liệu vào huấn luyện mô hình đọc hiểu.

Giá trị tham khảo

Báo cáo khóa luận có giá trị tham khảo học thuật và ứng dụng thực tiễn rõ rệt đối với nhiều đối tượng nghiên cứu:

  • Sinh viên và học viên chuyên ngành Khoa học Máy tính, Trí tuệ Nhân tạo:
    • Khóa luận là tài liệu tham khảo chuẩn mực về phương pháp luận xây dựng bộ ngữ liệu cho các tác vụ Xử lý Ngôn ngữ Tự nhiên (NLP). Quy trình tổ chức gán nhãn, kiểm tra chéo (cross-check), phân tích tỷ lệ suy luận và phân phối câu hỏi tại Chương 3 là hình mẫu thực tế có thể áp dụng cho các đề tài tốt nghiệp liên quan đến tạo lập dữ liệu.
    • Các kỹ thuật giải quyết xung đột phân đoạn từ và thuật toán căn chỉnh chỉ mục chuỗi ở Chương 5 là giải pháp thực tế hữu ích cho người làm thực nghiệm khi phải kết hợp các công cụ tách từ tiếng Việt với các mô hình học sâu hiện đại.
  • Các nhóm nghiên cứu về Đọc hiểu máy và Khai phá dữ liệu văn bản:
    • Cung cấp bức tranh phân tích lỗi chi tiết (Error Analysis) tại Chương 5 giữa các họ mô hình Transformer và mạng nơ-ron truyền thống, giúp các nhà nghiên cứu định hình rõ các rào cản kỹ thuật của việc xử lý ngôn ngữ trên văn bản mạng xã hội và thương mại điện tử.
  • Kỹ sư phát triển hệ thống trợ lý ảo và Chatbot thương mại điện tử:
    • Cung cấp cơ sở khoa học để lựa chọn kiến trúc mô hình phù hợp (đặc biệt là việc sử dụng XLM-RoBERTa thay vì các mô hình RNN truyền thống) khi triển khai tính năng tự động trả lời câu hỏi của khách hàng dựa trên kho dữ liệu đánh giá sản phẩm có sẵn.

Câu hỏi thường gặp

1. Bài toán đọc hiểu tự động trong khóa luận thuộc dạng nào và được mô hình hóa toán học ra sao?

Nghiên cứu tập trung vào dạng đọc hiểu tự động trích xuất (Extractive MRC). Mô hình nhận đầu vào gồm đoạn bình luận $C = {c_1, c_2, ..., c_n}$ và câu hỏi $Q = {q_1, q_2, ..., q_m}$, sau đó tính toán để đưa ra câu trả lời $A = {c_i, c_{i+1}, ..., c_{i+k}}$ là một chuỗi con liên tiếp nằm trong đoạn bình luận $C$ ($1 \le i \le i+k \le n$). Nhiệm vụ của mô hình học sâu là ước lượng hai phân phối xác suất độc lập $s_i$ và $e_i$ tương ứng với vị trí bắt đầu và kết thúc của câu trả lời trên toàn bộ văn bản đầu vào.

2. Bộ dữ liệu được xây dựng từ những nguồn nào và có quy mô phân chia cụ thể ra sao?

Bộ dữ liệu gồm 6.429 cặp câu hỏi - đáp được xây dựng trên 2.027 bình luận khách hàng, kế thừa từ hai nguồn: bộ dữ liệu ViSD4SA (3.140 cặp thuộc chủ đề điện thoại thông minh) và bộ dữ liệu của Tran et al. thu thập từ trang Foody (3.289 cặp thuộc chủ đề nhà hàng, quán ăn). Toàn bộ dữ liệu được phân chia ngẫu nhiên thành ba tập theo tỷ lệ xấp xỉ 8:1:1, cụ thể: tập Huấn luyện gồm 1.621 bình luận (5.123 cặp hỏi - đáp), tập Phát triển gồm 202 bình luận (679 cặp hỏi - đáp), và tập Kiểm thử gồm 204 bình luận (627 cặp hỏi - đáp).

3. Tác giả đã xử lý hiện tượng lỗi tách từ của công cụ VnCoreNLP trên dữ liệu bình luận như thế nào?

Văn bản bình luận không trang trọng thường mắc lỗi viết liền ký tự ngay sau dấu câu mà không có khoảng trắng. Thư viện VnCoreNLP khi gặp cấu trúc này sẽ xem cả cụm là một từ đơn duy nhất (ví dụ nhận diện nhạy.Thích là một từ), khiến mô hình không thể trích xuất chính xác ranh giới câu trả lời. Để khắc phục, tác giả sử dụng thư viện Regex trong Python để quét toàn bộ mẫu ký tự có dạng <dấu câu><chữ cái> và tự động chèn khoảng trắng ở giữa để đưa về dạng chuẩn <dấu câu><khoảng trắng><chữ cái> trước khi thực hiện bước phân đoạn từ.

4. Kết quả thực nghiệm mô hình nào đạt hiệu năng cao nhất và có sự chênh lệch ra sao giữa các nhóm câu hỏi?

Mô hình XLM-RoBERTa-large đạt kết quả cao nhất trong tất cả các thử nghiệm, ghi nhận điểm F1 đạt 72,97% và Exact Match (EM) đạt trên 41% trên tập kiểm thử, vượt trội hoàn toàn so với các mô hình R-Net, QANet và mBERT. Đáng chú ý, trong khi các mô hình truyền thống như R-Net và QANet bị sụt giảm nghiêm trọng hiệu năng trên các nhóm câu hỏi có ít dữ liệu huấn luyện (như câu hỏi bao nhiêu và tại sao, mỗi loại chỉ chiếm 4,2% dữ liệu), các mô hình như PhoBERT và XLM-RoBERTa vẫn duy trì được độ chính xác F1 rất cao trên các loại câu hỏi này.

5. Phân tích lỗi trên các mô hình hàng đầu chỉ ra nguyên nhân sai sót chủ yếu do đâu?

Khảo sát 100 mẫu dự đoán sai (EM = 0) của hai mô hình tốt nhất (XLM-RoBERTa-large và PhoBERT-large) cho thấy khoảng 75% số lỗi tập trung vào ba dạng: Gần đúng, Thừa nội dung và Thiếu nội dung. Nguyên nhân xuất phát từ việc văn bản bình luận có văn phong tự do, nhiều từ viết tắt, sai chính tả làm mờ ranh giới phân tách các ý; đồng thời quy định dữ liệu chỉ có một nhãn câu trả lời duy nhất khiến mô hình bị đánh giá sai khi đưa ra các câu trả lời đồng nghĩa hoặc bao hàm ranh giới từ khác biệt đôi chút so với người gán nhãn.

Kết luận

Khóa luận tốt nghiệp của tác giả Vũ Quí San đã giải quyết thành công bài toán đọc hiểu máy tự động dạng trích xuất trên bình luận khách hàng tiếng Việt, một miền dữ liệu văn phong không trang trọng vốn chưa từng được công bố tài nguyên trước đó. Nghiên cứu đã đóng góp cho cộng đồng một bộ ngữ liệu chuẩn gồm 6.429 cặp hỏi - đáp được kiểm định chất lượng nghiêm ngặt, đi kèm các giải pháp kỹ thuật hiệu quả để xử lý đặc thù ngôn ngữ và phân đoạn từ tiếng Việt. Kết quả thực nghiệm trên 5 kiến trúc học sâu không chỉ chứng minh tính ưu việt vượt trội của mô hình XLM-RoBERTa-large với điểm F1 đạt 72,97%, mà còn cung cấp những phân tích lỗi định lượng sâu sắc làm nền tảng định hướng cho các nghiên cứu xử lý ngôn ngữ tự nhiên tiếp theo trên dữ liệu thương mại điện tử.