Tổng quan nghiên cứu

Trong bối cảnh chuyển đổi số giáo dục đại học đang diễn ra mạnh mẽ, nhu cầu tiếp cận thông tin tuyển sinh, chương trình đào tạo và thủ tục hành chính của người học ngày càng tăng cao. Hằng năm, hệ thống giáo dục đón nhận hơn 1.000.000 thí sinh tốt nghiệp trung học phổ thông cùng hàng trăm nghìn phụ huynh có nhu cầu tìm hiểu thông tin xét tuyển. Trường Đại học Công nghệ Đông Á (EAUT), được thành lập từ năm 2008 theo Quyết định số 1777/QĐ-TTg của Thủ tướng Chính phủ, với hơn 15 năm phát triển đa ngành từ bậc cao đẳng, đại học đến sau đại học, đối mặt với khối lượng yêu cầu tư vấn khổng lồ qua các kênh trực tuyến.

Phương thức hỗ trợ truyền thống qua nhân sự trực tổng đài, website hoặc mạng xã hội bộc lộ nhiều hạn chế lớn: thời gian phản hồi chậm, chi phí nhân sự cao và dễ xảy ra tình trạng quá tải vào các kỳ tuyển sinh cao điểm. Mục tiêu chính của luận văn là nghiên cứu, thiết kế và phát triển hệ thống Chatbot thông minh ứng dụng kiến trúc Transformers và mô hình ngôn ngữ lớn (LLM) phục vụ tra cứu thông tin tự động tại Trường Đại học Công nghệ Đông Á.

Phạm vi nghiên cứu tập trung vào nguồn cơ sở dữ liệu học thuật, quy chế, học phí, học bổng và đề án tuyển sinh tại cơ sở đào tạo trong giai đoạn năm 2023–2024. Nghiên cứu mang ý nghĩa thực tiễn to lớn khi giúp giảm thiểu hơn 80% thời gian chờ đợi phản hồi của thí sinh, hỗ trợ tự động hóa 24/7 và nâng cao chất lượng dịch vụ giáo dục điện tử cho nhà trường.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu được xây dựng trên nền tảng học sâu (Deep Learning) và xử lý ngôn ngữ tự nhiên (NLP) hiện đại. Tác giả phân tích tiến trình phát triển từ mạng nơ-ron truyền thẳng (Feedforward Neural Network), mạng nơ-ron hồi quy (RNN) đến kiến trúc bộ nhớ ngắn hạn dài (LSTM) nhằm làm rõ hạn chế về triệt tiêu gradient (vanishing gradient) và khả năng ghi nhớ ngữ cảnh xa trong các chuỗi văn bản dài.

Trọng tâm lý thuyết của đề tài là kiến trúc Transformers dựa trên cơ chế chú ý tự thân (Self-Attention) và chú ý chéo (Cross-Attention). Cơ chế Self-Attention sử dụng 3 véc-tơ truy vấn (Query - Q), khóa (Key - K) và giá trị (Value - V), kết hợp mã hóa vị trí (Positional Encoding) giúp mô hình nắm bắt mối liên kết ngữ nghĩa giữa các từ trong không gian đa chiều với độ phức tạp tối ưu.

Bên cạnh đó, đề tài khai thác các mô hình ngôn ngữ lớn tiêu biểu như BERT, GPT (từ 1,5 tỷ đến 175 tỷ tham số) và LLaMA (70 tỷ tham số). Nhằm giải quyết bài toán tài nguyên phần cứng, tác giả áp dụng hai giải pháp đột phá:

  1. Kỹ thuật lượng tử hóa (Quantization): Chuyển đổi trọng số từ dạng 32-bit (FP32) sang 16-bit (FP16) hoặc 8-bit/4-bit, giúp tiết kiệm từ 50% đến 75% dung lượng bộ nhớ RAM GPU.
  2. Thích ứng thứ hạng thấp (LoRA): Đóng băng trọng số gốc và đưa vào các cặp ma trận phân rã cấp thấp $A$ và $B$ với thứ hạng $r$, giúp giảm số lượng tham số cần tinh chỉnh xuống dưới 1% mà vẫn đảm bảo hiệu suất.
  3. Kỹ thuật tạo tăng cường truy xuất (Retrieval-Augmented Generation - RAG) kết hợp cơ sở dữ liệu véc-tơ (VectorDB) như ChromaDB, Milvus, Faiss và thuật toán lập chỉ mục HNSW/IVF để truy vấn ngữ cảnh chính xác, ngăn chặn hiện tượng ảo giác (hallucination) của LLM.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp phân tích hệ thống. Nguồn dữ liệu bao gồm 100% tài liệu văn bản chính thống từ cổng thông tin điện tử của Trường Đại học Công nghệ Đông Á (eaut.edu.vn), các đề án tuyển sinh, quy chế đào tạo tín chỉ, biểu phí và tài liệu hướng dẫn sinh viên năm 2023–2024. Cỡ mẫu dữ liệu sau khi thu thập và làm sạch bao gồm hơn 1.200 văn bản và 500 cặp câu hỏi - đáp (Q&A) chuẩn hóa.

Phương pháp chọn mẫu có chủ đích (purposive sampling) được áp dụng để đảm bảo bao phủ đầy đủ 5 nhóm chủ đề trọng tâm: thông tin tuyển sinh, chương trình đào tạo, chính sách học phí - học bổng, hoạt động đoàn thể và quy định xét tốt nghiệp.

Lý do lựa chọn phương pháp phân tích RAG kết hợp VectorDB và Prompt Engineering (Zero-shot, Few-shot, Chain-of-thought) thay vì huấn luyện toàn phần (pre-training) là nhằm tối ưu hóa chi phí tính toán. Nếu huấn luyện một mô hình 65 tỷ tham số trên 1,4 nghìn tỷ token cần tới 2.048 card đồ họa A100 GPU chạy trong 21 ngày với kinh phí hàng trăm nghìn USD, thì kiến trúc RAG cục bộ (Local ChatGPT) cho phép triển khai trực tiếp trên hạ tầng máy chủ nội bộ của nhà trường với chi phí thấp và bảo mật dữ liệu tuyệt đối.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình thử nghiệm và đánh giá hệ thống Chatbot Trường Đại học Công nghệ Đông Á mang lại các kết quả nổi bật:

Thứ nhất, hệ thống đạt độ chính xác truy xuất và phản hồi thông tin trung bình lên tới 92,4% trên tập dữ liệu kiểm thử 500 câu hỏi thực tế. Đối với các câu hỏi có cấu trúc rõ ràng về chỉ tiêu tuyển sinh và mức học phí từng ngành, tỷ lệ phản hồi chính xác tuyệt đối đạt 96,8%.

Thứ hai, việc áp dụng kỹ thuật lượng tử hóa 16-bit và 4-bit kết hợp với LoRA giúp giảm dung lượng bộ nhớ GPU cần thiết từ 32 GB xuống còn dưới 8 GB RAM, tương đương mức tiết kiệm hơn 70% tài nguyên tính toán. Thời gian phản hồi trung bình (latency) cho mỗi câu hỏi được duy trì ổn định ở mức 1,2 đến 1,8 giây.

Thứ ba, cơ chế RAG kết hợp cơ sở dữ liệu véc-tơ ChromaDB xử lý hiệu quả 100% các câu hỏi thuộc phạm vi văn bản nội bộ, triệt tiêu hoàn toàn lỗi suy diễn sai lệch (hallucination) thường gặp ở các LLM thương mại dùng chung.

Thứ tư, hệ thống giải quyết đồng thời trên 50 phiên truy cập cùng lúc mà không xảy ra hiện tượng nghẽn mạng hay suy giảm hiệu năng xử lý.

Thảo luận kết quả

Hiệu năng của Chatbot dựa trên Transformers vượt trội hoàn toàn so với các kiến trúc truyền thống như LSTM hay Chatbot dựa trên luật (Rule-based). Các mô hình quy tắc trước đây chỉ giải quyết được khoảng 45% các biến thể câu hỏi của người dùng do hạn chế về từ khóa, trong khi mô hình Transformers với cơ chế Self-Attention có khả năng hiểu sâu sắc ngữ cảnh và ý định của câu hỏi.

Dữ liệu kiểm thử thực nghiệm được biểu diễn chi tiết thông qua các bảng thống kê và đồ thị trực quan:

  • Bảng ma trận nhầm lẫn (Confusion Matrix) thể hiện tỷ lệ nhận diện đúng thực thể tên ngành học, khoa và năm tuyển sinh đạt F1-score trên 0,91.
  • Biểu đồ cột so sánh mức tiêu thụ tài nguyên GPU cho thấy việc triển khai LoRA 16-bit giúp tiết kiệm 60% bộ nhớ so với việc tinh chỉnh toàn phần (Full Fine-tuning) ở định dạng 32-bit.
  • Biểu đồ đường biểu diễn thời gian đáp ứng theo độ dài câu truy vấn (từ 10 đến 150 token) chứng minh độ ổn định cao của giải pháp RAG, không bị suy giảm tốc độ khi ngữ cảnh đầu vào mở rộng.

So với các nghiên cứu triển khai Chatbot tại các trường đại học trong khu vực, việc tự chủ mô hình ngôn ngữ nội bộ (Local AI) giúp nhà trường kiểm soát hoàn toàn dữ liệu, không phụ thuộc vào API của bên thứ ba và loại bỏ nguy cơ rò rỉ dữ liệu nhạy cảm.

Đề xuất và khuyến nghị

Dựa trên kết quả nghiên cứu, tác giả đưa ra 4 nhóm giải pháp mang tính khả thi cao nhằm ứng dụng và mở rộng hệ sinh thái Chatbot tại Trường Đại học Công nghệ Đông Á:

  1. Nâng cấp và mở rộng cơ sở tri thức VectorDB: Trung tâm Công nghệ Thông tin trường cần định kỳ cập nhật 100% dữ liệu tuyển sinh, quy chế đào tạo mới vào cơ sở dữ liệu véc-tơ hàng quý, đặt mục tiêu duy trì độ chính xác tra cứu trên 95% trong giai đoạn 2024–2025.
  2. Tích hợp đa kênh truyền thông (Omnichannel Integration): Phòng Truyền thông và Tuyển sinh phối hợp cùng nhóm kỹ thuật triển khai nhúng Chatbot vào giao diện website chính thức eaut.edu.vn, ứng dụng Fanpage Facebook Messenger và Zalo Official Account trước quý 4/2024, hướng tới phục vụ hơn 50.000 lượt tương tác mỗi năm.
  3. Tối ưu hóa kiến trúc mô hình với kỹ thuật QLoRA 4-bit: Nhóm nghiên cứu AI tiếp tục lượng tử hóa sâu mô hình nhằm giảm tiếp 40% chi phí vận hành phần cứng, cho phép hệ thống chạy mượt mà trên các máy chủ thương mại phổ thông từ quý 1/2025.
  4. Xây dựng quy trình đánh giá và phản hồi tự động (Feedback Loop): Phòng Đào tạo cùng ban quản trị thiết lập kênh đánh giá chất lượng câu trả lời theo thang điểm 5 sao, tự động gắn cờ 100% các câu hỏi chưa có câu trả lời thỏa đáng để đội ngũ chuyên viên cập nhật dữ liệu bổ sung trong vòng 24 giờ.

Đối tượng nên tham khảo luận văn

Luận văn là tài liệu học thuật và kỹ thuật giá trị dành cho 4 nhóm đối tượng chính:

  1. Học viên cao học và sinh viên chuyên ngành Công nghệ thông tin, Hệ thống thông tin, Khoa học dữ liệu: Tài liệu cung cấp góc nhìn thực chiến về việc xây dựng quy trình RAG, xử lý ngôn ngữ tự nhiên tiếng Việt, kỹ thuật LoRA và quản trị VectorDB.
  2. Giảng viên và nhà nghiên cứu công nghệ giáo dục (EdTech): Cung cấp khung phương pháp luận vững chắc để đánh giá và ứng dụng trí tuệ nhân tạo tạo sinh (Generative AI) vào công tác quản trị đại học thông minh.
  3. Kỹ sư phát triển phần mềm và chuyên gia AI tại doanh nghiệp: Tham khảo mô hình kiến trúc Local LLM an toàn, tiết kiệm tài nguyên để triển khai các trợ lý ảo nội bộ phục vụ hỗ trợ khách hàng và tra cứu tài liệu doanh nghiệp.
  4. Cán bộ quản lý tuyển sinh và truyền thông tại các cơ sở đào tạo: Nắm bắt giải pháp công nghệ giúp tối ưu hóa quy trình tư vấn tuyển sinh tự động, nâng cao chỉ số hài lòng của phụ huynh và thí sinh.

Câu hỏi thường gặp

Kiến trúc Transformers có ưu thế gì vượt trội so với mạng LSTM trong xử lý ngôn ngữ?

Kiến trúc Transformers loại bỏ tính tuần tự của LSTM nhờ cơ chế Self-Attention, cho phép xử lý song song toàn bộ chuỗi văn bản cùng lúc. Điều này giúp rút ngắn hơn 60% thời gian huấn luyện và ghi nhớ ngữ cảnh dài hiệu quả hơn hẳn, giải quyết triệt để bài toán suy giảm thông tin trên chuỗi dữ liệu lớn.

Kỹ thuật RAG đóng vai trò gì trong hệ thống Chatbot của luận văn?

Kỹ thuật RAG (Retrieval-Augmented Generation) hoạt động bằng cách truy xuất các đoạn văn bản liên quan nhất từ VectorDB dựa trên độ tương đồng ngữ nghĩa, sau đó đưa vào câu nhắc (prompt) cho LLM xử lý. Phương pháp này giúp câu trả lời luôn chính xác theo dữ liệu của trường và hạn chế tối đa lỗi bịa đặt thông tin.

Tại sao giải pháp Local ChatGPT lại quan trọng đối với các trường đại học?

Triển khai Local LLM giúp nhà trường bảo vệ 100% dữ liệu nội bộ trên máy chủ riêng, không phụ thuộc vào đường truyền hay chính sách giá của các nhà cung cấp bên ngoài. Ngoài ra, mô hình được tùy biến sâu theo đặc thù thuật ngữ và quy chế riêng của nhà trường mà các mô hình dùng chung không có.

Kỹ thuật LoRA giúp tối ưu hóa quá trình tinh chỉnh mô hình như thế nào?

LoRA (Low-Rank Adaptation) đóng băng trọng số mô hình gốc và chỉ cập nhật hai ma trận thứ hạng thấp xen kẽ vào các lớp Attention. Kỹ thuật này giảm số lượng tham số cần tính toán gradient xuống hơn 90%, giúp quá trình tinh chỉnh diễn ra nhanh hơn và có thể thực hiện trên GPU thông thường.

Chatbot có khả năng mở rộng sang các tác vụ quản lý đào tạo khác không?

Hệ thống hoàn toàn có khả năng mở rộng để kết nối với cơ sở dữ liệu đào tạo (Portal sinh viên) qua giao diện API. Điều này cho phép mở rộng tính năng tra cứu điểm thi cá nhân, nhắc nhở lịch học và đăng ký môn học tự động cho sinh viên trong các phiên bản tiếp theo.

Kết luận

  • Luận văn đã hệ thống hóa toàn diện cơ sở lý thuyết về mạng nơ-ron học sâu, kiến trúc Transformers, mô hình ngôn ngữ lớn (LLM) và kỹ thuật RAG.
  • Xây dựng thành công hệ thống Chatbot thông minh ứng dụng riêng cho Trường Đại học Công nghệ Đông Á với độ chính xác phản hồi đạt trên 92%.
  • Áp dụng thành công các giải pháp tối ưu phần cứng tiên tiến gồm lượng tử hóa và LoRA, giúp giảm hơn 70% yêu cầu bộ nhớ GPU máy chủ.
  • Thiết lập quy trình xử lý dữ liệu véc-tơ hóa tự động hóa hoàn toàn từ nguồn tài liệu đào tạo và tuyển sinh của nhà trường.
  • Đặt nền tảng vững chắc cho lộ trình nâng cấp hệ thống tư vấn thông minh đa kênh trong giai đoạn 2024–2025, góp phần thúc đẩy công cuộc chuyển đổi số giáo dục toàn diện.