Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực Xử lý ngôn ngữ tự nhiên (NLP) – một nhánh của Trí tuệ nhân tạo (AI), máy tính xử lý văn bản dựa trên các biểu diễn số học thay vì ký tự thuần túy. Do đó, giai đoạn tiền xử lý văn bản (text preprocessing) đóng vai trò quyết định đến chất lượng của các mô hình học sâu. Trong các ngôn ngữ thuộc loại hình đơn lập (Isolate) như tiếng Việt, khoảng trắng chỉ đóng vai trò phân tách âm tiết (tiếng) chứ không phân tách ranh giới từ như các ngôn ngữ hòa kết (Flexional) điển hình là tiếng Anh. Một từ tiếng Việt có thể được cấu tạo từ một hoặc nhiều tiếng để tạo thành từ ghép hoặc từ láy, dẫn đến hiện tượng nhập nhằng ranh giới từ và đa nghĩa theo ngữ cảnh (ví dụ: cụm từ "hổ mang" có thể hiểu là danh từ chỉ loài rắn hoặc kết hợp giữa danh từ "hổ" và động từ "mang"). Nếu ranh giới từ không được xác định chuẩn xác, ngữ nghĩa của câu sẽ bị sai lệch khi chuyển đổi sang không gian số.

Các bài toán nhận dạng chuỗi (span detection) trong văn bản tiếng Việt hiện có tính ứng dụng thực tiễn cao, tiêu biểu là phân tích phản hồi người dùng và xây dựng hệ thống hỏi đáp tự động. Tuy nhiên, hiệu suất thực tế của các mô hình đối với các tác vụ này vẫn còn hạn chế (điển hình như bài toán nhận diện cảm xúc theo khía cạnh trên bộ dữ liệu UIT-ViSD4SA trước đây chỉ đạt độ chính xác 45,70%). Xuất phát từ thực tế đó, thay vì chỉ tập trung tinh chỉnh mô hình (fine-tuning) hoặc xây dựng các kiến trúc mới, đề tài khóa luận của nhóm tác giả Võ Hồng Thiên và Lê Tuyết Mai tập trung khảo sát tầm ảnh hưởng của kỹ thuật tách từ (word segmentation) trong giai đoạn tiền xử lý nhằm cải thiện hiệu suất nhận dạng chuỗi cho tiếng Việt.

Nhiệm vụ và mục tiêu nghiên cứu của khóa luận được xác định cụ thể gồm:

  1. Xây dựng thử nghiệm trên hai bài toán nhận dạng chuỗi: bài toán nhận diện cảm xúc theo khía cạnh (ABSA - đại diện cho bài toán nhận diện đa chuỗi / multi span detection) và bài toán đọc hiểu máy (MRC - đại diện cho bài toán nhận diện đơn chuỗi / single span detection).
  2. Xây dựng thử nghiệm hai bài toán trên với hai phương pháp tách từ: tách từ theo âm tiết (syllable-based) và tách từ theo từ (word-based).
  3. Phân tích, so sánh và đưa ra kết luận về sự tác động của hai phương pháp tách từ đối với cả hai bài toán nhận dạng chuỗi.
  4. Mở rộng so sánh chi tiết đối với bài toán nhận diện đoạn mang ý nghĩa cảm xúc và bài toán nhận diện đoạn mang ý nghĩa khía cạnh.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Bài toán nhận diện đơn thực thể (đọc hiểu máy - MRC) và bài toán nhận diện đa thực thể (phân tích cảm xúc theo khía cạnh - ABSA).
  • Phạm vi nghiên cứu: Dữ liệu thực nghiệm của bài toán ABSA giới hạn trong các bình luận mạng xã hội về lĩnh vực công nghệ; dữ liệu của bài toán MRC giới hạn trong các bài báo trích xuất từ bách khoa toàn thư mở Wikipedia tiếng Việt. Khóa luận được thực hiện vào năm 2022 tại Trường Đại học Công nghệ Thông tin, Đại học Quốc gia Thành phố Hồ Chí Minh.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khóa luận xây dựng hệ thống cơ sở lý thuyết dựa trên phân loại loại hình học ngôn ngữ (ngôn ngữ hòa kết, chắp dính và đơn lập) và phân tích ba thuật toán mã hóa phân đoạn từ vựng:

  • Thuật toán mã hóa dựa trên từ (Word-based tokenization): Chia văn bản dựa trên khoảng trắng hoặc nối các âm tiết tạo thành từ ghép tiếng Việt (thông qua dấu gạch nối _).
  • Thuật toán mã hóa dựa trên từ phụ (Subword-based tokenization): Giải pháp dung hòa kích thước từ vựng và xử lý từ ngoài từ điển (OOV), tiêu biểu là WordPiece (sử dụng trong BERT), Unigram (trong XLNet, ALBERT) và Byte-Pair Encoding (BPE, sử dụng trong RoBERTa, GPT-2).
  • Thuật toán mã hóa dựa trên ký tự (Character-based tokenization): Chia nhỏ văn bản thành các ký tự độc lập, triệt tiêu từ OOV nhưng làm tăng độ dài chuỗi và suy giảm thông tin ngữ nghĩa cấp độ từ.

Đối với định dạng gán nhãn chuỗi cho bài toán ABSA, tác giả áp dụng quy chuẩn IOB (Inside, Outside, Beginning) do Ramshaw và Marcus đề xuất năm 1995. Hệ thống các mô hình ngôn ngữ và kiến trúc học sâu được triển khai bao gồm:

  • BERT (Devlin et al., 2018): Kiến trúc Transformer Encoder hai chiều, huấn luyện dựa trên tác vụ Masked Language Model (MLM) và Next Sentence Prediction (NSP).
  • RoBERTa (Liu et al., 2019): Cải tiến của BERT, loại bỏ tác vụ NSP, huấn luyện với batch size lớn hơn, chuỗi dài hơn và cơ chế masking động.
  • PhoBERT (Nguyen & Nguyen, 2020): Mô hình SOTA được tiền huấn luyện đơn ngữ dành riêng cho tiếng Việt trên 20 GB dữ liệu văn bản (1 GB Wikipedia tiếng Việt và 19 GB báo chí), sử dụng công cụ RDRSegmenter của thư viện VnCoreNLP để tách từ trước khi qua bộ mã hóa BPE.
  • XLM-RoBERTa / XLM-R (Conneau et al., 2019): Mô hình đa ngôn ngữ tiền huấn luyện tự giám sát trên 2,5 TB dữ liệu CommonCrawl bao gồm 100 ngôn ngữ khác nhau.
  • BiLSTM-CRF kết hợp PhoW2V: Mô hình chuỗi kết hợp lớp nhúng từ tiếng Việt PhoW2V (phiên bản 100 chiều và 300 chiều), mạng nơ-ron hồi quy hai chiều BiLSTM trích xuất ngữ cảnh và lớp trường ngẫu nhiên điều kiện (CRF) kiểm soát ràng buộc hợp lệ của chuỗi nhãn.

Phương pháp nghiên cứu thực nghiệm được thiết kế theo quy trình đối chứng hai luồng dữ liệu song song: văn bản giữ nguyên dạng phân tách âm tiết và văn bản được xử lý tách từ bằng thư viện VnCoreNLP. Hệ thống mô hình được huấn luyện trên môi trường phần cứng GPU do Google Colab Pro cung cấp.

Về phương pháp đánh giá định lượng:

  • Bài toán MRC sử dụng hai độ đo: Exact Match (EM - tỷ lệ phần trăm câu trả lời dự đoán khớp chính xác 100% với nhãn gốc) và F1-score cấp độ từ (tính dựa trên Precision và Recall giữa tập token dự đoán và nhãn gốc).
  • Bài toán ABSA sử dụng độ đo Macro F1-score (trung bình cộng F1 của tất cả các lớp nhãn) nhằm tránh hiện tượng lệch độ đo do sự mất cân bằng phân bố giữa các nhãn khía cạnh và cảm xúc.

Nguồn dữ liệu sử dụng trong nghiên cứu:

Bộ dữ liệu Bài toán Quy mô dữ liệu Cấu trúc phân chia (Train : Dev : Test) Đặc điểm phân bố nhãn / văn bản
UIT-ViSD4SA (Thanh et al., 2021) Nhận diện cảm xúc theo khía cạnh (ABSA) 11.122 bình luận mạng xã hội; 35.396 chú thích gán nhãn Tỷ lệ 7 : 1 : 2 10 khía cạnh (Screen, Camera, Features, Battery, Performance, Storage, Design, Price, General, Ser&Acc); 3 phân cực (Positive, Negative, Neutral)
UIT-ViQuAD 1.0 (Nguyen et al., 2020) Đọc hiểu máy tự động (MRC) 174 bài viết Wikipedia; 5.109 đoạn văn; 23.074 cặp câu hỏi - đáp Train: 138 bài (4.101 đoạn, 18.074 câu hỏi); Dev: 18 bài (515 đoạn); Test: 18 bài (493 đoạn) Kích thước từ vựng: 36.568; độ dài trung bình đoạn văn: 153,4 từ; câu hỏi: 12,2 từ; câu trả lời: 8,2 từ

Nội dung chính theo từng chương

Chương 1: Tổng quan

Chương 1 thiết lập nền tảng ngôn ngữ học bằng cách phân định rõ đặc tính của tiếng Việt thuộc loại hình ngôn ngữ đơn lập, ranh giới từ không đồng nhất với khoảng trắng, từ đó dẫn đến tính đa nghĩa khi tách từ sai. Tác giả phân tích cơ chế hoạt động của ba kỹ thuật mã hóa từ vựng (Word-based, Subword-based và Character-based) và nêu bật vai trò của công cụ VnCoreNLP. Tiếp đó, chương giới thiệu chi tiết định nghĩa của bài toán nhận dạng chuỗi (span detection), phân loại thành nhận dạng chuỗi đơn (MRC) và nhận dạng chuỗi đa (ABSA). Bài toán ABSA được mô tả với dữ liệu đầu vào là bình luận công nghệ phi cấu trúc, đầu ra là bộ thẻ khía cạnh gắn kèm phân cực cảm xúc; bài toán MRC nhận đầu vào là đoạn văn và câu hỏi, trích xuất đoạn văn bản chứa câu trả lời. Chương khép lại với hệ thống mục tiêu, phạm vi nghiên cứu và sơ đồ cấu trúc tổng thể khóa luận.

Chương 2: Công trình nghiên cứu liên quan

Chương 2 tổng thuật toàn diện các công trình nghiên cứu trong nước và quốc tế. Về bài toán ABSA quốc tế, tác giả điểm lại các mốc từ nghiên cứu dựa trên luật của Hu et al. (2004), chuỗi hội thảo SemEval 2014 Task 4, SemEval 2015 Task 12 (định dạng Category#Attribute), SemEval 2016 Task 5 (thu hút 245 bài dự thi từ 29 đội trên 8 ngôn ngữ) đến bài toán trích xuất bộ ba của Mao et al. (2021). Về MRC quốc tế, chương hệ thống hóa sự phát triển từ Attentive Reader (DeepMind, 2015 - đạt 63,8% trên dữ liệu CNN), Chen et al. (2016 - đạt 72,4%), bước ngoặt của tập dữ liệu SQuAD (Rajpurkar et al., 2016 với 107.785 cặp hỏi đáp) truyền cảm hứng cho các mô hình vượt ngưỡng con người như BERT (Devlin et al., 2018 - F1 đạt 91,8%), cùng khảo sát của Baradaran et al. (2020) và nghiên cứu phân đoạn từ của Rust et al. (2021).

Ở phạm vi trong nước, tác giả phân tích các kết quả ABSA từ Đặng et al. (2021) trên VLSP 2018 (F1 đạt 80,40% miền nhà hàng, 69,25% miền khách sạn), Nguyễn et al. (2019), và bộ dữ liệu UIT-ViSD4SA của Thanh et al. (2021). Với MRC tiếng Việt, chương ghi nhận bộ dữ liệu UIT-ViWikiQA của Do et al. (EM 85,97%, F1 88,77% trên XLM-R Large) và UIT-ViQuAD 2.0 tại VLSP 2021 (hơn 35.000 cặp hỏi đáp). Từ đó, tác giả chỉ ra hạn chế nghiên cứu chuỗi trên tiếng Việt còn ít và hiệu suất ABSA còn thấp (45,70%), xác lập tính cấp thiết của đề tài.

Chương 3: Cơ sở lý thuyết, thử nghiệm

Chương 3 trình bày các thông số kỹ thuật của hai bộ dữ liệu thực nghiệm UIT-ViSD4SA và UIT-ViQuAD 1.0, bao gồm bảng phân bố tần suất nhãn khía cạnh - cảm xúc và phân bố độ dài câu hỏi, câu trả lời, đoạn văn. Phần lý thuyết mô hình làm rõ cấu trúc nhiều tầng của BERT (Token, Segment, Position Embedding, Masked LM, NSP), RoBERTa (tối ưu hóa batch size lớn, sequence dài, dynamic masking), PhoBERT (huấn luyện trên 20 GB dữ liệu tiếng Việt dựa trên RoBERTa và RDRSegmenter của VnCoreNLP), XLM-RoBERTa (huấn luyện đa ngữ tự giám sát trên 2,5 TB CommonCrawl 100 ngôn ngữ) và kiến trúc BiLSTM-CRF kết hợp véc-tơ PhoW2V (100 chiều và 300 chiều). Tác giả mô tả chi tiết quy trình thực nghiệm luồng kép, định dạng dữ liệu nhãn IOB và thiết lập công thức toán học cho các độ đo đánh giá Exact Match, Precision, Recall, F1-score và Macro F1-score trên hạ tầng Google Colab Pro.

Chương 4: Kết quả

Chương 4 công bố kết quả so sánh định lượng của các mô hình theo hai phương thức tiền xử lý: tách từ theo âm tiết và tách từ theo từ. Đối với bài toán ABSA, tác giả phân tích hiệu suất mô hình trên ba tác vụ: nhận diện cảm xúc theo khía cạnh tổng thể, nhận diện riêng khía cạnh và nhận diện riêng cảm xúc; đối chiếu kết quả giữa PhoBERT, XLM-R, BiLSTM-CRF với mốc cơ sở 45,70% do Kim và các cộng sự (2021) công bố. Đối với bài toán MRC, hiệu suất của PhoBERT và XLM-R được đánh giá qua độ đo EM và F1.

Chương 4 dành phần dung lượng quan trọng cho mục phân tích lỗi (Error Analysis) trên tác vụ MRC với các trường hợp trích xuất sai lệch do: (1) từ đồng nghĩa gây nhiễu ngữ cảnh, (2) câu hỏi yêu cầu năng lực suy luận logic phức tạp vượt khả năng trích xuất chuỗi trực tiếp, (3) đặc điểm cú pháp và ngữ nghĩa đặc thù của tiếng Việt, và (4) lỗi xác định sai lệch ranh giới chuỗi (tọa độ span bắt đầu và kết thúc) của câu trả lời.

Chương 5: Kết luận và hướng phát triển

Chương 5 đúc kết các phát hiện thực nghiệm về sự tác động của tách từ đối với mô hình đơn ngữ và đa ngữ tiếng Việt. Tác giả nêu rõ các đóng góp học thuật trong việc xác định phương pháp tiền xử lý tối ưu cho từng kiến trúc mạng, chỉ ra những rào cản kỹ thuật gặp phải trong quá trình huấn luyện và đề xuất các hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp nghiên cứu

Khóa luận đã hoàn thành các mục tiêu thử nghiệm thực nghiệm đối chứng trên hai bài toán nhận dạng chuỗi tiếng Việt với các kết quả cụ thể:

Bài toán nghiên cứu Dạng chuỗi đại diện Bộ ngữ liệu chuẩn Mô hình khảo sát Tiêu chí đánh giá thực nghiệm
Phân tích cảm xúc theo khía cạnh (ABSA) Nhận dạng đa chuỗi (Multi span detection) UIT-ViSD4SA (11.122 bình luận) PhoBERT, XLM-RoBERTa, BiLSTM-CRF (PhoW2V 100d, 300d) So sánh tách từ theo từ vs theo âm tiết; đối chiếu mốc tham chiếu 45,70% (Kim et al., 2021) qua Macro F1-score
Đọc hiểu máy tự động (MRC) Nhận dạng đơn chuỗi (Single span detection) UIT-ViQuAD 1.0 (23.074 cặp câu hỏi - đáp) PhoBERT, XLM-RoBERTa So sánh tách từ theo từ vs theo âm tiết qua độ đo Exact Match (EM) và F1-score cấp độ từ

Các giải pháp và kiến nghị kỹ thuật do nhóm tác giả đề xuất:

  • Đối với mô hình tiền huấn luyện đơn ngữ PhoBERT: Do mô hình vốn được huấn luyện sơ bộ bằng cách sử dụng bộ tách từ RDRSegmenter (VnCoreNLP), dữ liệu đầu vào cho các tác vụ xuôi dòng (downstream tasks) cần được tiền xử lý tách từ chuẩn xác theo từ để bảo toàn tính tương thích với biểu diễn từ vựng BPE sẵn có.
  • Đối với mô hình tiền huấn luyện đa ngữ XLM-RoBERTa: Do sử dụng cơ chế SentencePiece trực tiếp trên văn bản thô đa ngữ, tác động của bước tách từ tiếng Việt độc lập cần được cân nhắc tùy theo độ phức tạp của chuỗi thực thể và đặc điểm ngữ liệu.
  • Đối với mô hình truyền thống BiLSTM-CRF: Việc tích hợp véc-tơ nhúng từ PhoW2V tiền huấn luyện bắt buộc phải đi kèm bước tách từ ghép tiếng Việt để bảo đảm các token đầu vào khớp chính xác với không gian véc-tơ từ vựng đã xây dựng.

Đóng góp khoa học của đề tài: Khóa luận là công trình nghiên cứu thực nghiệm đầu tiên tại Việt Nam đánh giá có hệ thống sự tác động của kỹ thuật tách từ trên cả hai dạng bài toán nhận dạng chuỗi: đơn chuỗi (MRC) và đa chuỗi (ABSA). Kết quả nghiên cứu cung cấp cơ sở dữ liệu thực nghiệm rõ ràng, giúp các nhà nghiên cứu trong lĩnh vực NLP tiếng Việt tránh việc phải thử nghiệm lặp lại nhiều lần các bước tiền xử lý, tiết kiệm thời gian và tài nguyên tính toán khi lựa chọn giải pháp biểu diễn từ vựng phù hợp với kiến trúc mô hình.

Hạn chế và hướng nghiên cứu tiếp theo

Hạn chế của nghiên cứu:

  • Phạm vi dữ liệu thực nghiệm còn hẹp: Dữ liệu ABSA chỉ mới giới hạn trong các bình luận thuộc lĩnh vực sản phẩm công nghệ trên mạng xã hội, trong khi dữ liệu MRC chỉ bao quát các văn bản bách khoa toàn thư Wikipedia, chưa mở rộng sang các miền ngôn ngữ đặc thù khác như pháp luật, y tế hoặc hành chính.
  • Văn bản mạng xã hội chứa nhiều từ viết tắt, tiếng lóng và lỗi chính tả, gây cản trở và tạo ra các sai số ngoại ý cho các công cụ tách từ tự động (như VnCoreNLP), ảnh hưởng gián tiếp đến độ chính xác gán nhãn IOB.
  • Nghiên cứu chưa xử lý triệt để các dạng câu hỏi suy luận logic, các câu hỏi chứa từ đồng nghĩa và các lỗi sai lệch biên giới tọa độ đoạn văn bản trong bài toán MRC.

Hướng nghiên cứu tiếp theo:

  • Mở rộng thử nghiệm trên các bộ dữ liệu phức tạp hơn, tiêu biểu như bộ dữ liệu UIT-ViQuAD 2.0 (bổ sung các câu hỏi không thể trả lời để nâng cao độ tin cậy của hệ thống hỏi đáp).
  • Nghiên cứu cải tiến công cụ tiền xử lý tách từ chuyên biệt cho ngôn ngữ mạng xã hội nhằm khử nhiễu chính tả và tiếng lóng trước khi đưa vào mô hình học sâu.
  • Khảo sát các kiến trúc mạng nơ-ron hợp nhất nhằm giải quyết đồng thời bài toán trích xuất bộ ba (triplet extraction) trong phân tích cảm xúc theo khía cạnh cho tiếng Việt.

Giá trị tham khảo

Khóa luận có giá trị tham khảo chuyên môn đối với sinh viên, học viên cao học và các nhóm nghiên cứu thuộc chuyên ngành Công nghệ Thông tin, Khoa học Máy tính, Trí tuệ Nhân tạo và Xử lý Ngôn ngữ Tự nhiên.

Các nội dung có giá trị ứng dụng cao gồm:

  • Quy trình thiết kế thực nghiệm luồng kép nhằm kiểm chứng vai trò của các kỹ thuật tiền xử lý ngôn ngữ.
  • Phương pháp gán nhãn và biểu diễn dữ liệu chuỗi phức tạp theo định dạng IOB cho bài toán phân tích cảm xúc theo khía cạnh đa thực thể.
  • Tài liệu tổng hợp thống kê chi tiết về cấu trúc phân bố của hai bộ ngữ liệu chuẩn tiếng Việt là UIT-ViSD4SA và UIT-ViQuAD 1.0.
  • Phương pháp luận phân tích lỗi định tính (Error Analysis) trên tác vụ đọc hiểu máy, giúp định hướng giải quyết các thách thức ngôn ngữ đặc thù trong văn bản tiếng Việt.

Câu hỏi thường gặp

1. Tại sao tiếng Việt lại đặt ra thách thức lớn đối với kỹ thuật tách từ so với tiếng Anh?

Tiếng Anh thuộc loại hình ngôn ngữ hòa kết, ranh giới giữa các từ trong câu được phân định tự nhiên bằng khoảng trắng, do đó quá trình tách từ (word segmentation) tương đồng với quá trình mã hóa token (tokenization). Ngược lại, tiếng Việt thuộc loại hình ngôn ngữ đơn lập, khoảng trắng chỉ đóng vai trò phân tách các âm tiết (tiếng). Một từ trong tiếng Việt có thể gồm một hoặc nhiều tiếng tạo thành từ ghép hoặc từ láy. Nếu không có thuật toán xác định ranh giới từ chính xác, câu sẽ bị hiểu sai lệch hoàn toàn về mặt ngữ nghĩa (ví dụ: "hổ mang bò lên núi" hay "ăn cơm không được uống rượu").

2. Hai bài toán nhận dạng chuỗi được lựa chọn thử nghiệm trong khóa luận là gì?

Nhóm tác giả lựa chọn bài toán đọc hiểu máy tự động (Machine Reading Comprehension - MRC) làm đại diện cho bài toán nhận dạng đơn chuỗi (single span detection) và bài toán nhận diện cảm xúc theo khía cạnh (Aspect-Based Sentiment Analysis - ABSA) làm đại diện cho bài toán nhận dạng đa chuỗi (multi span detection).

3. Bộ dữ liệu UIT-ViSD4SA sử dụng cho bài toán ABSA có quy mô và cấu trúc nhãn như thế nào?

Bộ dữ liệu UIT-ViSD4SA bao gồm 11.122 bình luận về các sản phẩm công nghệ trên mạng xã hội với 35.396 chú thích gán nhãn, được chia theo tỷ lệ 7:1:2 cho các tập train, dev và test. Dữ liệu được gán nhãn dựa trên 10 nhóm khía cạnh (Screen, Camera, Features, Battery, Performance, Storage, Design, Price, General, Ser&Acc) kết hợp với 3 cực tính cảm xúc (Positive, Negative, Neutral).

4. Mô hình PhoBERT và XLM-RoBERTa khác nhau như thế nào về cơ chế tiền huấn luyện và tách từ?

PhoBERT là mô hình Transformer được tiền huấn luyện đơn ngữ dành riêng cho tiếng Việt trên 20 GB văn bản báo chí và Wikipedia, sử dụng công cụ RDRSegmenter của VnCoreNLP để tách từ trước khi qua bộ mã hóa BPE. Trong khi đó, XLM-RoBERTa là mô hình đa ngôn ngữ được huấn luyện tự giám sát trên 2,5 TB dữ liệu CommonCrawl gồm 100 ngôn ngữ, xử lý trực tiếp chuỗi văn bản thông qua cơ chế mã hóa từ phụ mà không phụ thuộc vào công cụ tách từ đơn ngữ độc lập.

5. Những nguyên nhân chính nào dẫn đến lỗi dự đoán trong bài toán đọc hiểu máy (MRC)?

Qua phân tích lỗi thực nghiệm tại Chương 4, nhóm tác giả chỉ ra bốn nguyên nhân chính: sự xuất hiện của các từ đồng nghĩa làm mô hình hiểu sai ngữ cảnh, câu hỏi đòi hỏi khả năng suy luận logic thay vì trích xuất thông tin trực diện, các đặc điểm cú pháp phức tạp của tiếng Việt, và lỗi định vị sai lệch tọa độ ranh giới chuỗi (span boundary error) của câu trả lời.

Kết luận

Khóa luận tốt nghiệp của Võ Hồng Thiên và Lê Tuyết Mai đã thực hiện nghiên cứu thực nghiệm có hệ thống về tầm ảnh hưởng của kỹ thuật tách từ đối với các bài toán nhận dạng chuỗi tiếng Việt. Thông qua việc phân tích đối chứng hai phương pháp tách từ (theo âm tiết và theo từ) trên hai bài toán đại diện là ABSA và MRC với các mô hình học sâu tiêu biểu (PhoBERT, XLM-R, BiLSTM-CRF), công trình đã chứng minh vai trò then chốt của bước tiền xử lý văn bản đối với hiệu suất nhận dạng thực thể. Kết quả và các phân tích lỗi chi tiết trong khóa luận cung cấp cơ sở thực nghiệm vững chắc, giúp định hướng lựa chọn giải pháp xử lý từ vựng tối ưu cho các hệ thống xử lý ngôn ngữ tự nhiên tiếng Việt tiếp theo.