Bối cảnh và vấn đề nghiên cứu

Trong công tác tuyển sinh đại học, nhu cầu tìm hiểu thông tin của học sinh và phụ huynh về phương thức xét tuyển, điểm chuẩn, chỉ tiêu, ngành đào tạo và môi trường học tập rất lớn. Tuy nhiên, đội ngũ chuyên viên tư vấn thường bị giới hạn về mặt thời gian và khó có thể giải đáp kịp thời, đồng thời hàng trăm yêu cầu cùng lúc. Việc ứng dụng hệ thống đối thoại tự động (chatbot) hoạt động 24/7 giúp giải quyết bài toán phản hồi nhanh chóng, giảm chi phí vận hành và hỗ trợ nhà trường thu thập thông tin về mối quan tâm của người học.

Khóa luận tốt nghiệp ngành Khoa học Máy tính của hai tác giả Hoàng Xuân Vũ và Nguyễn Văn Tài (Trường Đại học Công nghệ Thông tin, Đại học Quốc gia TP.HCM, thực hiện năm 2022) tập trung giải quyết bài toán xây dựng hệ thống chatbot hỗ trợ tư vấn tuyển sinh với các nhiệm vụ và mục tiêu cụ thể:

  1. Mục tiêu 1: Xây dựng bộ dữ liệu câu hỏi và câu trả lời phục vụ công tác tư vấn tuyển sinh tại Trường Đại học Công nghệ Thông tin (UIT).
  2. Mục tiêu 2: Nghiên cứu và thử nghiệm các mô hình học máy, học sâu và học chuyển tiếp cho bài toán phân loại ý định (Intent Classification).
  3. Mục tiêu 3: Nghiên cứu và thử nghiệm các phương pháp phục hồi dấu tiếng Việt (thêm dấu) để hỗ trợ tiền xử lý các truy vấn không dấu từ người dùng.
  4. Mục tiêu 4: Giải quyết các thách thức vận hành thực tế trong hội thoại: theo dõi ngữ cảnh trò chuyện (conversation tracking), phản hồi câu hỏi ngoài phạm vi (out-of-domain), gợi ý câu hỏi liên quan (recommendation), hỏi lại khi thiếu thông tin (asking again) và chuyển tiếp đoạn hội thoại cho chuyên viên tư vấn.
  5. Mục tiêu 5: Xây dựng hoàn chỉnh giao diện website và hệ thống giao diện lập trình ứng dụng (API) phục vụ tích hợp.
  • Đối tượng nghiên cứu: Tin nhắn yêu cầu tư vấn tuyển sinh của người dùng và cơ sở dữ liệu tuyển sinh của Trường Đại học Công nghệ Thông tin.
  • Phạm vi nghiên cứu: Các thông tin tuyển sinh được chuẩn hóa từ Đề án tuyển sinh năm 2021 của Trường Đại học Công nghệ Thông tin, tập trung vào hai bài toán kỹ thuật cốt lõi là phân loại ý định và thêm dấu tiếng Việt.

Cơ sở lý thuyết và phương pháp

Khóa luận kết hợp phương pháp nghiên cứu lý thuyết, kỹ thuật kỹ nghệ dữ liệu và thực nghiệm mô hình hóa trong lĩnh vực Xử lý Ngôn ngữ Tự nhiên (NLP).

1. Khung lý thuyết và các mô hình áp dụng

  • Mô hình học máy truyền thống:
    • Support Vector Machine (SVM): Tối ưu hóa siêu phẳng phân cách với khoảng cách (margin) cực đại giữa các lớp dữ liệu.
    • Naive Bayes (NB): Phân loại xác suất dựa trên định lý Bayes với giả định các chiều đặc trưng độc lập có điều kiện, sử dụng ước lượng hợp lý cực đại (MLE) hoặc hậu nghiệm cực đại (MAP).
    • Mạng Neural Network: Perceptron đa tầng kết hợp các hàm phi tuyến để phân lớp.
  • Mô hình học sâu (Deep Learning):
    • Convolutional Neural Network (CNN): Áp dụng bộ lọc tích chập 1D trên các cửa sổ từ (kernel size 2, 3 với 64 bộ lọc) kết hợp các lớp Max Pooling và Average Pooling để trích xuất đặc trưng ngữ đại diện.
    • Long Short-Term Memory (LSTM): Mạng nơ-ron hồi quy với cơ chế cổng (cổng quên, cổng vào, cổng ra) và trạng thái tế bào (cell state) nhằm ghi nhớ ngữ cảnh dài hạn.
    • Bidirectional LSTM (BiLSTM): Mở rộng LSTM theo hai chiều xuôi (forward) và ngược (backward) để tổng hợp ngữ cảnh hai phía của chuỗi ký tự/từ.
    • Kiến trúc Transformer: Hoạt động dựa trên cơ chế Multi-Head Self-Attention và mạng truyền thẳng (Feed-Forward Networks - FFN), loại bỏ tính phụ thuộc tuần tự của RNN.
  • Mô hình học chuyển tiếp (Transfer Learning / Pre-trained Language Models):
    • BERT (Bidirectional Encoder Representations from Transformers): Huấn luyện dựa trên mô hình ngôn ngữ mặt nạ (Masked Language Modeling - MLM) và dự đoán câu tiếp theo (Next Sentence Prediction - NSP).
    • RoBERTa: Biến thể cải tiến từ BERT loại bỏ nhiệm vụ NSP và áp dụng kỹ thuật tạo mặt nạ động (dynamic masking).
    • PhoBERT: Mô hình ngôn ngữ đơn ngữ được tiền huấn luyện trên 20GB văn bản tiếng Việt (1GB Wikipedia tiếng Việt và 19GB tin tức), kết hợp bộ tách từ RDRSegmenter của VnCoreNLP.
    • XLM-R (XLM-RoBERTa): Mô hình đa ngôn ngữ quy mô lớn huấn luyện trên dữ liệu 100 ngôn ngữ từ tập dữ liệu Common Crawl.

2. Phương pháp thực nghiệm và nguồn dữ liệu

  • Quy trình tiền xử lý văn bản (6 bước): Chuẩn hóa khoảng trắng và viết tắt; loại bỏ từ dừng (stop words) và biểu tượng cảm xúc; sửa lỗi chính tả theo quy chuẩn tiếng Việt; khử từ lặp thừa; loại bỏ ký tự đặc biệt; phân đoạn từ và gán nhãn từ loại (POS tagging) bằng thư viện Pyvi.
  • Trích xuất đặc trưng: Thử nghiệm kết hợp $N$-grams ($N=2, 3, 4$), nhãn từ loại (danh từ, động từ, tính từ) với mô hình túi từ (Bag of Words - BoW) và TF-IDF cho các thuật toán học máy; sử dụng Word2Vec (huấn luyện trước trên 20GB văn bản và huấn luyện trực tiếp trên tập dữ liệu tuyển sinh theo kiến trúc Skip-gram) làm lớp nhúng từ (Word Embedding) cho mô hình học sâu.
  • Phương pháp đánh giá: Áp dụng kỹ thuật kiểm định chéo 5 lớp ($k$-fold Cross-validation với $k=5$). Đánh giá mô hình phân loại bằng độ chính xác (Accuracy) và F1-score; đánh giá mô hình thêm dấu bằng tỷ lệ lỗi cấp độ từ (Word Error Rate - WER), tỷ lệ lỗi cấp độ ký tự (Character Error Rate - CER), độ chính xác toàn câu và thời gian thực thi (giây/câu).

Thiết kế và kiến trúc hệ thống

Hệ thống chatbot được thiết kế dưới dạng kiến trúc hướng dịch vụ với bốn khối chức năng chính:

Thành phần Chức năng kỹ thuật
Giao diện người dùng (Web/Client) Tiếp nhận câu hỏi dạng văn bản từ người dùng và hiển thị câu trả lời hoặc các đề xuất tương tác.
Trung tâm xử lý (AI Engine) Tiếp nhận truy vấn, thực hiện tiền xử lý, khôi phục dấu tiếng Việt, phân loại miền câu hỏi (in-domain / out-of-domain), phân loại ý định và điền khuyết (Slot Filling).
Kiến thức cơ sở (Knowledge Base) Lưu trữ tập luật, các mẫu câu hỏi - trả lời chuẩn, bộ dữ liệu ngoài miền và cây cấu trúc thực thể phục vụ điền khuyết.
Hệ thống lưu trữ (Database) Lưu trữ lịch sử hội thoại hỗ trợ theo dõi ngữ cảnh (Conversation Tracking) và làm dữ liệu phân tích sau này.

Luồng xử lý nghiệp vụ của hệ thống

  1. Chuẩn hóa và thêm dấu: Truy vấn đầu vào được kiểm tra ngôn ngữ; nếu là tiếng Việt không dấu, hệ thống đưa qua mô hình BiLSTM-4-grams để khôi phục dấu.
  2. Phân loại miền tư vấn: Xác định truy vấn thuộc phạm vi tuyển sinh hay ngoài phạm vi. Nếu ngoài phạm vi, hệ thống đo độ tương đồng với cơ sở dữ liệu tổng quát; nếu vượt ngưỡng cho phép thì phản hồi, nếu dưới ngưỡng sẽ thông báo ngoài phạm vi hiểu biết.
  3. Phân loại ý định & Điền khuyết: Câu hỏi trong miền được gán nhãn ý định bằng PhoBERT, sau đó chuyển qua cơ chế so khớp mẫu cây (Slot Filling) để trích xuất câu trả lời chuẩn.
  4. Xử lý tình huống đặc biệt:
    • Theo dõi cuộc hội thoại (Conversation Tracking): Ghép nối thông tin của lượt hỏi hiện tại với lượt hỏi trước đó nếu phát hiện thiếu đại từ/thực thể.
    • Hỏi lại (Asking Again): Kích hoạt khi câu hỏi không đủ thông tin tối thiểu để định danh câu trả lời.
    • Đề xuất (Recommendation): Đưa ra danh sách các câu hỏi liên quan để định hướng người dùng.
    • Chuyển tiếp chuyên viên: Tự động chuyển giao phiên tương tác cho nhân viên tư vấn khi hệ thống không thể xử lý.

Nội dung chính theo từng chương

Chương 1: Mở đầu

Chương này phân tích bối cảnh phát triển của trí tuệ nhân tạo và nhu cầu cấp thiết về công cụ tư vấn tự động 24/7 trong tuyển sinh đại học. Tác giả chỉ ra các thách thức lớn như: chi phí xây dựng tập dữ liệu, hiện tượng truy vấn không dấu, câu hỏi vượt phạm vi hiểu biết và việc mất liên kết ngữ cảnh giữa các câu hỏi liên tiếp. Chương 1 xác định 5 mục tiêu cốt lõi, đối tượng, phạm vi nghiên cứu và tóm tắt các kết quả đạt được.

Chương 2: Bối cảnh, các công trình liên quan và cơ sở lý thuyết

Chương 2 tổng quan lịch sử chatbot từ hệ thống đối sánh mẫu ELIZA (1964-1966), các phương pháp đo khoảng cách chuỗi Levenshtein, nền tảng Rasa, đến các mô hình học sâu (LSTM) ứng dụng trong chăm sóc khách hàng. Tác giả phân tích tính phức tạp của tiếng Việt (với 29 chữ cái, 11 nguyên âm, 18 phụ âm, 95% từ chứa dấu so với 15% của tiếng Pháp) và điểm qua các công cụ khôi phục dấu như VietPad (đạt độ chính xác 60% - 85%), VietEditor, ByT5, GRU, BERT. Đồng thời, chương này thiết lập nền tảng toán học cho các thuật toán: SVM, Naive Bayes, CNN, LSTM, BiLSTM, kiến trúc Transformer và các biến thể tiền huấn luyện (BERT, RoBERTa, PhoBERT, XLM-R).

Chương 3: Nội dung và phương pháp

Chương 3 trình bày chi tiết kiến trúc tổng thể 4 khối của chatbot và sơ đồ xử lý luồng dữ liệu. Tác giả mô tả phương pháp xây dựng bộ dữ liệu tuyển sinh từ Đề án năm 2021; quy trình xây dựng bộ dữ liệu thêm dấu dựa trên bảng quy tắc ánh xạ ký tự; cách thức thu thập dữ liệu ngoài miền và cấu trúc hóa tập câu trả lời dưới dạng cây (Tree Structure) cho kỹ thuật Slot Filling. Chương này cũng trình bày chi tiết quy trình tiền xử lý 6 bước và cấu hình siêu tham số của các mô hình thực nghiệm (như cấu hình CNN với filter 64, kernel 2 và 3; cấu hình LSTM với 256 cells; cấu hình tối ưu hóa Adam, learning rate 0.001, batch size 32).

[Đề án tuyển sinh UIT 2021]
[Trích xuất 229 cặp QA chuẩn]
[Xây dựng cây thực thể (Slot Filling)]

Chương 4: Tổng quan dữ liệu

Chương này cung cấp các phân tích thống kê chi tiết về các bộ dữ liệu được sử dụng trong nghiên cứu:

  • Bộ dữ liệu phân lớp ý định: Phân bố số lượng mẫu trên 10 nhãn ý định, thống kê độ dài câu theo cấp độ từ và cấp độ ký tự.
  • Phân bố dữ liệu phân loại miền tư vấn (trong miền và ngoài miền).
  • Bộ dữ liệu thêm dấu được tạo từ việc bóc tách câu hỏi và câu trả lời trong tập tuyển sinh và áp dụng quy tắc xóa dấu.

Chương 5: Thí nghiệm và kết quả

Chương 5 báo cáo toàn bộ các thông số thực nghiệm, ma trận nhầm lẫn (confusion matrix) và phân tích so sánh:

  • Đánh giá các nhóm mô hình phân lớp ý định: Mô hình học máy truyền thống (SVM, Naive Bayes, Neural Network kết hợp TF-IDF/BoW), mô hình học sâu (CNN, LSTM kết hợp Word2Vec) và mô hình học chuyển tiếp (PhoBERT, XLM-R).
  • Đánh giá các mô hình thêm dấu tiếng Việt: So sánh hiệu năng giữa LSTM, BiLSTM kết hợp $N$-grams và Transformer cơ bản dựa trên WER, CER, tỷ lệ chính xác câu và thời gian đáp ứng.

Chương 6: Kết luận và hướng phát triển

Tổng kết toàn bộ các kết quả đạt được về mặt lý thuyết, mô hình hóa và triển khai phần mềm thực tế. Chương này chỉ rõ các hạn chế còn tồn đọng trong quá trình xử lý ngôn ngữ và đề xuất định hướng nghiên cứu mở rộng trong tương lai.

Kết quả và đóng góp

1. Kết quả thực nghiệm các mô hình

a. Bài toán phân loại ý định (Intent Classification)

Khóa luận đã thử nghiệm phân loại trên 10 lớp ý định tuyển sinh. Kết quả thực nghiệm cho thấy mô hình học chuyển tiếp PhoBERT đạt hiệu năng cao nhất trên toàn bộ các chỉ số đánh giá:

Nhóm mô hình Mô hình cụ thể Đặc trưng / Kiến trúc Accuracy (%) F1-score (%)
Học chuyển tiếp PhoBERT Pre-trained Transformer (Tiếng Việt) 97.69 97.68
Học chuyển tiếp XLM-R Pre-trained Transformer (Đa ngôn ngữ) Thấp hơn PhoBERT Thấp hơn PhoBERT
Học sâu CNN Word2Vec (Domain Skip-gram), 64 filters Đạt mức tốt Đạt mức tốt
Học sâu LSTM Word2Vec (Domain Skip-gram), 256 cells Đạt mức khá Đạt mức khá
Học máy SVM, NB, NN TF-IDF / BoW + POS / $N$-grams Mức cơ sở Mức cơ sở

(Ghi chú: Việc sử dụng vector nhúng Word2Vec huấn luyện trực tiếp trên tập dữ liệu chuyên miền tuyển sinh cho hiệu năng vượt trội so với Word2Vec huấn luyện tổng quát trên 20GB dữ liệu chung).

b. Bài toán thêm dấu tiếng Việt (Vietnamese Diacritic Restoration)

So sánh giữa các mô hình học sâu chuỗi và kiến trúc Transformer cơ bản:

Mô hình WER (%) CER (%) Độ chính xác câu (%) Thời gian xử lý (giây/câu)
BiLSTM-4-grams 3.95 0.93 Hiệu suất ổn định 0.58
Transformer cơ bản Cao hơn BiLSTM Cao hơn BiLSTM 77.24 7.00
LSTM cơ bản Cao hơn BiLSTM Cao hơn BiLSTM Thấp hơn BiLSTM Tương đương BiLSTM

Nhận xét: Mô hình Transformer cơ bản đạt độ chính xác trên toàn bộ câu cao nhất (77.24%) nhưng thời gian xử lý lên tới 7 giây cho 1 câu, không đáp ứng yêu cầu phản hồi thời gian thực của chatbot. Do đó, mô hình BiLSTM-4-grams được lựa chọn tích hợp vào hệ thống nhờ đạt tỷ lệ lỗi từ thấp nhất (3.95%), tỷ lệ lỗi ký tự thấp nhất (0.93%) và tốc độ xử lý nhanh (khoảng 0.58 giây/câu).

2. Danh mục 10 ý định tư vấn tuyển sinh được xây dựng

Tập dữ liệu tuyển sinh gồm 229 câu hỏi - câu trả lời gốc, được mở rộng thông qua tăng cường dữ liệu và gán nhãn chéo đạt tổng cộng 4.511 mẫu, phân bổ vào 10 lớp ý định:

STT Tên ý định Nội dung định nghĩa Ví dụ câu hỏi
1 Hỏi đáp xét tuyển Phương thức, tiêu chí, đối tượng và điều kiện xét tuyển vào trường. Các phương thức xét tuyển ở UIT?
2 Hỏi đáp điểm chuẩn Điểm chuẩn trúng tuyển, điểm sàn ĐGNL và thi THPT qua các năm. Điểm xét tuyển dựa trên điểm thi tốt nghiệp THPT năm 2022?
3 Hỏi đáp ký túc xá Địa chỉ, chi phí phòng, điều kiện đăng ký KTX. Giá phòng ký túc xá 8 sinh viên là bao nhiêu?
4 Hỏi đáp ngành Chuyên ngành đào tạo, thời gian đào tạo, mã ngành. Mã ngành Khoa học máy tính liên kết BCU?
5 Hỏi đáp nghề nghiệp Vị trí việc làm, cơ hội nghề nghiệp sau khi tốt nghiệp. Vị trí và khả năng làm việc sau tốt nghiệp ngành KHMT?
6 Hỏi đáp tổ hợp Các khối thi, tổ hợp môn xét tuyển theo ngành. Tổ hợp xét tuyển Ngành Khoa học máy tính?
7 Hỏi đáp UIT Cơ sở vật chất, học phí, đội ngũ giảng viên, thông tin chung. Học phí của chương trình chính quy là bao nhiêu?
8 Thông tin chỉ tiêu Số lượng chỉ tiêu tuyển sinh theo từng ngành và chương trình. Chỉ tiêu xét tuyển chương trình liên kết BCU?
9 Hỏi đáp xe bus Thông tin các tuyến xe buýt đi qua KTX và khuôn viên trường UIT. Bắt xe bus số bao nhiêu để tới trường?
10 Thông tin học bổng Các chính sách học bổng tuyển sinh và điều kiện nhận học bổng. Ở trường UIT có các loại học bổng nào?

3. Đóng góp khoa học và ứng dụng thực tiễn

  • Bộ ngữ liệu chuyên ngành: Xây dựng và chuẩn hóa tập dữ liệu hỏi đáp tuyển sinh đại học tiếng Việt gồm 4.511 mẫu dữ liệu và cấu trúc cây phân cấp thực thể phục vụ Slot Filling.
  • Giải pháp tích hợp: Đề xuất quy trình kết hợp mô hình khôi phục dấu BiLSTM-4-grams và mô hình phân loại ý định PhoBERT nhằm xử lý hiệu quả câu hỏi tiếng Việt không dấu.
  • Triển khai ứng dụng: Xây dựng hoàn chỉnh giao diện tương tác trên nền tảng web và hệ thống API sẵn sàng tích hợp vào mạng xã hội và cổng thông tin tuyển sinh.
  • Công bố khoa học: Đề tài đã công bố 01 bài báo khoa học với tiêu đề "Nghiên cứu các phương pháp tiếp cận cho bài toán phân lớp ý định trong hệ thống Chatbot" trong kỷ yếu Hội nghị Khoa học Trẻ và Nghiên cứu sinh năm 2022 do Trường Đại học Công nghệ Thông tin tổ chức.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên các nội dung được tác giả trình bày trong văn bản:

  • Hạn chế:
    • Phạm vi dữ liệu tư vấn tuyển sinh hiện tập trung chủ yếu vào dữ liệu của Trường Đại học Công nghệ Thông tin (dựa trên Đề án tuyển sinh năm 2021).
    • Mô hình Transformer cho bài toán thêm dấu dù có độ chính xác câu cao nhưng độ trễ tính toán lớn (7 giây/câu), chưa tối ưu hóa được để đưa vào sử dụng thực tế.
    • Khả năng trả lời các câu hỏi ngoài phạm vi hiểu biết (out-of-domain) còn phụ thuộc vào ngưỡng tương đồng của tập dữ liệu thu thập mẫu, chưa bao phủ hết các tình huống giao tiếp đời sống phức tạp.
  • Hướng nghiên cứu tiếp:
    • Tối ưu hóa cấu trúc và kích thước của các mô hình dựa trên Transformer để áp dụng hiệu quả cho bài toán thêm dấu thời gian thực.
    • Mở rộng quy mô bộ dữ liệu tuyển sinh cho nhiều năm học tiếp theo và áp dụng cho các cơ sở giáo dục đại học khác.
    • Cải tiến thuật toán theo dõi ngữ cảnh trò chuyện (Conversation Tracking) và cơ chế tự động học từ phản hồi của người dùng trong quá trình vận hành thực tế.

Giá trị tham khảo

Tài liệu khóa luận có giá trị tham khảo cụ thể đối với:

  1. Sinh viên và học viên ngành Khoa học Máy tính, Công nghệ Thông tin, Hệ thống Thông tin: Tham khảo quy trình xây dựng hệ thống chatbot hoàn chỉnh từ khâu thu thập/xây dựng bộ dữ liệu, tiền xử lý ngôn ngữ tiếng Việt đến khâu triển khai API và Web UI.
  2. Nhóm nghiên cứu về Xử lý Ngôn ngữ Tự nhiên (NLP) cho tiếng Việt:
    • Chương 2 và Chương 3: Đáng tham khảo về phương pháp xây dựng bảng quy tắc bỏ dấu/thêm dấu, cấu trúc cây cho bài toán Slot Filling và cách thiết lập lớp nhúng Word2Vec trên dữ liệu chuyên miền.
    • Chương 5: Cung cấp số liệu đối sánh thực nghiệm chi tiết giữa các mô hình học máy truyền thống, học sâu (CNN, BiLSTM) và mô hình ngôn ngữ lớn (PhoBERT, XLM-R).
  3. Các đơn vị phát triển giải pháp EdTech và Quản trị đại học: Tham khảo khung kiến trúc 10 ý định tuyển sinh chuẩn và luồng nghiệp vụ giải quyết các tình huống tương tác thực tế (hỏi lại, gợi ý câu hỏi, chuyển tiếp chuyên viên).

Câu hỏi thường gặp

1. Khóa luận sử dụng nguồn dữ liệu nào để xây dựng bộ câu hỏi - đáp tuyển sinh?

Bộ dữ liệu được xây dựng dựa trên cấu trúc thông tin từ Đề án tuyển sinh năm 2021 của Trường Đại học Công nghệ Thông tin (UIT). Nhóm nghiên cứu đã trích xuất 229 câu hỏi - câu trả lời chuẩn, sau đó thực hiện tăng cường dữ liệu bằng cách đặt các câu hỏi đồng nghĩa thông qua nhiều người chú thích và kiểm tra chéo, thu được tập dữ liệu hoàn chỉnh gồm 4.511 mẫu.

2. Mô hình nào đạt hiệu năng phân lớp ý định tốt nhất và đạt kết quả bao nhiêu?

Mô hình ngôn ngữ tiền huấn luyện PhoBERT đạt kết quả cao nhất trong bài toán phân lớp ý định với F1-score đạt 97.68% và Accuracy đạt 97.69% theo phương pháp đánh giá kiểm định chéo 5 lớp ($k$-fold Cross-validation với $k=5$).

3. Vì sao nhóm tác giả không chọn mô hình Transformer cơ bản để triển khai bài toán thêm dấu dù mô hình này có độ chính xác câu cao nhất?

Mặc dù mô hình Transformer cơ bản đạt độ chính xác trên toàn bộ câu là 77.24%, thời gian thực thi của mô hình lên tới 7 giây cho 1 câu. Nhóm tác giả đã lựa chọn mô hình BiLSTM-4-grams vì mô hình này có tỷ lệ lỗi từ (WER 3.95%) và tỷ lệ lỗi ký tự (CER 0.93%) thấp nhất, đồng thời thời gian xử lý chỉ mất khoảng 0.58 giây/câu, đáp ứng được tính thời gian thực của hệ thống chatbot.

4. Hệ thống xử lý như thế nào khi người dùng đặt câu hỏi ngoài phạm vi tuyển sinh hoặc câu hỏi thiếu dữ kiện?

  • Với câu hỏi ngoài phạm vi: Hệ thống đối sánh độ tương đồng với kho dữ liệu kiến thức cơ sở ngoài miền; nếu độ tương đồng vượt ngưỡng quy định thì sẽ trả lời, nếu thấp hơn ngưỡng sẽ phát thông báo câu hỏi nằm ngoài phạm vi hiểu biết.
  • Với câu hỏi thiếu dữ kiện: Hệ thống áp dụng cơ chế theo dõi ngữ cảnh (Conversation Tracking) để liên kết với câu hỏi trước, hoặc kích hoạt cơ chế hỏi lại (Asking Again), gợi ý câu hỏi liên quan (Recommendation), hoặc chuyển tiếp phiên trò chuyện cho nhân viên tư vấn.

Kết luận

Khóa luận của sinh viên Hoàng Xuân Vũ và Nguyễn Văn Tài đã xây dựng thành công hệ thống chatbot hỗ trợ tư vấn tuyển sinh đại học hoàn chỉnh cho Trường Đại học Công nghệ Thông tin (ĐHQG-HCM). Nghiên cứu đã đóng góp bộ ngữ liệu tuyển sinh tiếng Việt gồm 4.511 mẫu trên 10 lớp ý định, chứng minh tính vượt trội của mô hình PhoBERT trong phân loại ý định (F1-score 97.68%) và mô hình BiLSTM-4-grams trong khôi phục dấu tiếng Việt (WER 3.95%, thời gian xử lý 0.58 giây/câu). Toàn bộ hệ thống đã được đóng gói thành dịch vụ API và giao diện web tương tác, đồng thời kết quả nghiên cứu đã được công bố tại Hội nghị Khoa học Trẻ và Nghiên cứu sinh năm 2022.