Tìm hiểu mô hình ngôn ngữ lớn và ứng dụng cho xây dựng chatbot hỗ trợ tư vấn khách hàng

Đồ án kỹ thuật dữ liệu ứng dụng mô hình ngôn ngữ lớn xây dựng chatbot tại ĐH Sư phạm Kỹ thuật TP.HCM

• Tác giả: Nguyễn Tấn Phát
• Người hướng dẫn: ThS. Quách Đình Hoàng
• Trường học: Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh
• Chuyên ngành: Kỹ thuật dữ liệu
• Đề tài: Tìm hiểu mô hình ngôn ngữ lớn và ứng dụng cho xây dựng chatbot hỗ trợ tư vấn khách hàng
• Loại tài liệu: Khóa luận tốt nghiệp
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Tóm tắt

I. Tổng quan mô hình ngôn ngữ lớn cho chatbot tại ĐH Sư phạm Kỹ thuật

Đề tài tốt nghiệp ngành Kỹ thuật Dữ liệu tại Trường Đại học Sư phạm Kỹ thuật TP.HCM tập trung nghiên cứu mô hình ngôn ngữ lớn nhằm xây dựng giải pháp chatbot tư vấn thông minh. Nghiên cứu do sinh viên Nguyễn Tấn Phát và Huỳnh Nguyễn Tuấn Kiệt thực hiện dưới sự hướng dẫn khoa học của ThS. Quách Đình Hoàng. Mô hình ngôn ngữ lớn sở hữu hàng tỷ tham số, có khả năng hiểu ngữ cảnh phức tạp và tạo văn bản tự nhiên vượt trội so với các hệ thống quy tắc truyền thống. Sự bùng nổ của trí tuệ nhân tạo tạo động lực lớn cho việc hiện đại hóa quy trình chăm sóc khách hàng. Chatbot thông minh giúp tiếp nhận thắc mắc liên tục suốt 24/7, xử lý khối lượng tương tác khổng lồ và phản hồi tức thì với độ mạch lạc cao. Đồ án khai thác sâu kiến trúc Transformer cùng các tiến bộ xử lý ngôn ngữ tự nhiên hiện đại. Kết quả nghiên cứu mở ra tiềm năng ứng dụng thực tiễn trong môi trường doanh nghiệp cũng như các đơn vị giáo dục đào tạo kỹ thuật.

1.1. Bối cảnh nghiên cứu tại ĐH Sư phạm Kỹ thuật

Nhu cầu tự động hóa giao tiếp kỹ thuật số tăng trưởng mạnh mẽ trong kỷ nguyên chuyển đổi số. Khoa Công nghệ Thông tin thuộc Trường Đại học Sư phạm Kỹ thuật TP.HCM định hướng nghiên cứu sâu về các công nghệ xử lý dữ liệu quy mô lớn. Sinh viên ngành Kỹ thuật Dữ liệu tiếp cận các bài toán thực tiễn từ thị trường dịch vụ khách hàng. Đề tài khóa luận phản ánh xu thế ứng dụng trí tuệ nhân tạo tạo sinh vào giải quyết bài toán tư vấn trực tuyến. Nghiên cứu thiết lập cơ sở dữ liệu chuyên ngành, phân tích ngôn ngữ tự nhiên và xây dựng hệ thống hỏi đáp tự động có tính chính xác cao.

1.2. Định nghĩa và tiềm năng của mô hình ngôn ngữ lớn

Mô hình ngôn ngữ lớn là mạng nơ-ron sâu được huấn luyện trên kho ngữ liệu khổng lồ bằng phương pháp tự giám sát. Mô hình học cách nắm bắt quy luật ngữ pháp, ngữ nghĩa phức tạp và mối tương quan giữa các từ ngữ. Khả năng khái quát hóa giúp hệ thống hiểu câu hỏi người dùng ở nhiều dạng diễn đạt khác nhau. Thay vì phụ thuộc vào kịch bản cứng nhắc, mô hình tự động sinh câu trả lời linh hoạt và mạch lạc. Trong hỗ trợ khách hàng, công nghệ này giảm thời gian chờ đợi, nâng cao trải nghiệm người dùng và tiết kiệm chi phí vận hành cho tổ chức.

II. Thách thức ứng dụng mô hình ngôn ngữ lớn xây dựng chatbot hiện nay

Việc triển khai mô hình ngôn ngữ lớn vào dịch vụ tư vấn thực tế đối mặt với nhiều rào cản kỹ thuật nghiêm trọng. Thách thức lớn nhất là hiện tượng ảo giác (hallucination), khi mô hình sinh ra thông tin sai lệch nhưng giọng điệu rất thuyết phục. Điều này gây rủi ro lớn đối với các lĩnh vực yêu cầu tính chính xác cao như giáo dục, tài chính và tư vấn kỹ thuật. Ngoài ra, tri thức của mô hình bị đóng băng tại thời điểm hoàn tất huấn luyện. Khi doanh nghiệp cập nhật chính sách, bảng giá hoặc quy định mới, mô hình gốc không thể tự cập nhật dữ liệu. Việc tái huấn luyện toàn bộ mô hình đòi hỏi chi phí tính toán khổng lồ và hạ tầng phần cứng đắt đỏ. Khó khăn khác nằm ở tính phụ thuộc ngữ cảnh riêng biệt của từng doanh nghiệp. Một chatbot tiêu chuẩn thường không nắm rõ tài liệu nội bộ, dẫn đến phản hồi chung chung, thiếu chiều sâu và không giải quyết đúng trọng tâm yêu cầu từ khách hàng.

2.1. Hiện tượng ảo giác thông tin trong các mô hình sinh

Ảo giác thông tin là rào cản nghiêm trọng nhất của các mô hình sinh văn bản. Mô hình hoạt động dựa trên cơ chế dự đoán xác suất từ tiếp theo trong câu. Quá trình này không đi kèm cơ chế kiểm chứng tính chân thực của dữ liệu nguồn. Khi gặp câu hỏi ngoài vùng tri thức được học, mô hình có xu hướng tự tạo câu trả lời nghe rất hợp lý nhưng hoàn toàn sai thực tế. Sự sai lệch thông tin trong tư vấn khách hàng gây mất niềm tin và thiệt hại uy tín thương hiệu. Vấn đề đòi hỏi phương pháp kiểm soát nguồn dữ liệu đầu vào chặt chẽ và cơ chế đối chiếu tri thức thực nghiệm.

2.2. Giới hạn cập nhật tri thức và chi phí phần cứng

Các mô hình nền tảng yêu cầu tài nguyên tính toán cực kỳ lớn để huấn luyện lại. Một cơ quan hay doanh nghiệp không thể tái đào tạo mô hình mỗi khi dữ liệu nội bộ thay đổi. Việc thiếu khả năng cập nhật tức thời khiến câu trả lời dễ trở nên lạc hậu và thiếu giá trị thực tế. Thêm vào đó, việc tinh chỉnh toàn phần (Full Fine-tuning) đòi hỏi cụm máy chủ trang bị GPU chuyên dụng có giá thành rất cao. Các tổ chức quy mô vừa và nhỏ khó tiếp cận giải pháp này nếu không có phương pháp tối ưu hóa kiến trúc. Nhu cầu cấp thiết là tìm kiếm giải pháp linh hoạt, chi phí thấp nhưng duy trì tính thời sự của thông tin.

III. Giải pháp RAG cho mô hình ngôn ngữ lớn xây dựng chatbot hiệu quả

Đồ án tốt nghiệp tại ĐH Sư phạm Kỹ thuật đề xuất giải pháp tích hợp kiến trúc Transformer với kỹ thuật tạo sinh tăng cường truy xuất (Retrieval-Augmented Generation - RAG). Quy trình vận hành chia làm hai pha chính gồm truy xuất thông tin (Retrieve) và tạo sinh phản hồi (Generate). Trước tiên, toàn bộ tài liệu tư vấn của doanh nghiệp được phân mảnh và chuyển đổi thành các vector nhúng (embedding vectors). Hệ thống lưu trữ các vector này trong cơ sở dữ liệu chuyên biệt. Khi người dùng gửi câu hỏi, hệ thống tiến hành tìm kiếm các đoạn văn bản tương đồng nhất thông qua độ đo Cosine Similarity hoặc thuật toán k láng giềng gần nhất (k-NN). Tiếp theo, những đoạn thông tin chuẩn xác được đóng gói vào prompt làm ngữ cảnh nền. Mô hình ngôn ngữ lớn tiếp nhận prompt hoàn chỉnh để tổng hợp câu trả lời tự nhiên. Phương pháp này loại bỏ nguy cơ bịa đặt thông tin, giúp câu trả lời luôn bám sát dữ liệu thực tế và tiết kiệm đáng kể chi phí duy trì.

3.1. Cơ chế Multi Head Attention và kiến trúc Transformer

Kiến trúc Transformer đóng vai trò xương sống trong các mô hình xử lý ngôn ngữ thế hệ mới. Khối mã hóa (Encoder) gồm nhiều lớp xếp chồng với hai thành phần cốt lõi. Đầu tiên là cơ chế tự chú ý đa đầu (Multi-Head Self-Attention). Cơ chế này phân chia không gian vector thành nhiều không gian con, giúp mô hình quan sát đồng thời các mối quan hệ ngữ nghĩa ở nhiều vị trí khác nhau trong văn bản. Thành phần tiếp theo là mạng truyền thẳng theo vị trí (Position-wise Feed-Forward Network) kết hợp hàm kích hoạt phi tuyến ReLU. Các kết nối dư (Residual Connection) và lớp chuẩn hóa hỗ trợ mạng huấn luyện ổn định và hội tụ nhanh chóng.

3.2. Quy trình truy xuất và sinh câu trả lời trong RAG

Quy trình RAG bắt đầu bằng việc số hóa kho ngữ liệu thành không gian vector ngữ nghĩa. Hệ thống tính toán độ tương đồng giữa câu hỏi của khách hàng và các đoạn văn bản trong cơ sở dữ liệu. Thuật toán tìm kiếm láng giềng gần nhất trích xuất nhanh chóng các tài liệu có độ liên quan cao nhất. Tiếp đó, dữ liệu trích xuất được kết hợp cùng câu hỏi gốc để tạo thành prompt hoàn chỉnh. Mô hình ngôn ngữ lớn đóng vai trò bộ giải mã ngữ cảnh, chuyển ngữ liệu đầu vào thành câu trả lời tự nhiên. Kỹ thuật này giúp hệ thống luôn cập nhật kiến thức mới mà không cần can thiệp vào trọng số mô hình.

IV. Đánh giá ứng dụng mô hình ngôn ngữ lớn xây dựng chatbot thực tiễn

Nghiên cứu ứng dụng mô hình ngôn ngữ lớn xây dựng chatbot tại ĐH Sư phạm Kỹ thuật chứng minh tính hiệu quả vượt trội trong thực tế hỗ trợ khách hàng. Việc tích hợp cơ chế RAG giúp khắc phục triệt để các hạn chế cố hữu về ảo giác tri thức và độ trễ thông tin. Hệ thống tư vấn vận hành ổn định, cung cấp phản hồi chính xác dựa trên nguồn tài liệu chuẩn hóa từ doanh nghiệp. Khả năng giải thích và đối chiếu nguồn gốc dữ liệu gia tăng sự hài lòng và củng cố độ tin cậy từ phía người dùng. Mô hình kiến trúc này mang lại giải pháp công nghệ kinh tế và khả thi cao cho các tổ chức. Thay vì đầu tư hạ tầng tốn kém cho việc tái huấn luyện định kỳ, doanh nghiệp chỉ cần bổ sung dữ liệu vào kho vector. Công trình tốt nghiệp của nhóm sinh viên ngành Kỹ thuật Dữ liệu khẳng định tiềm năng lớn của trí tuệ nhân tạo thế hệ mới trong việc chuyển đổi số các dịch vụ hỗ trợ khách hàng tự động.

4.1. Hiệu quả cải thiện tính chuẩn xác và tiết kiệm tài nguyên

Hệ thống chứng minh ưu thế vượt trội khi tích hợp kho tri thức ngoài. Việc sử dụng cơ sở dữ liệu vector giúp giảm thiểu đáng kể thời gian tìm kiếm thông tin liên quan. Chatbot phản hồi đúng trọng tâm nhờ các dữ liệu xác thực được trích xuất trực tiếp từ cẩm nang dịch vụ. Hiện tượng bịa đặt thông tin giảm xuống mức tối thiểu, bảo đảm tính pháp lý và chuyên nghiệp trong giao tiếp khách hàng. Về mặt vận hành, tổ chức tiết kiệm phần lớn chi phí phần cứng và điện năng. Việc duy trì hệ thống trở nên đơn giản hơn khi nhân sự chỉ cần cập nhật văn bản nguồn mà không cần kiến thức chuyên sâu về huấn luyện mô hình.

4.2. Hướng phát triển và mở rộng trong môi trường thực tế

Nghiên cứu mở ra nhiều hướng mở rộng thiết thực cho các hệ thống đối thoại thông minh. Giai đoạn tiếp theo tập trung vào việc xử lý đa phương thức, kết hợp văn bản và hình ảnh sản phẩm. Hệ thống cần tích hợp thêm các công cụ phân tích cảm xúc để tự động điều chỉnh văn phong tư vấn phù hợp với tâm trạng khách hàng. Cơ chế tự động đánh giá phản hồi và học tăng cường từ phản hồi người dùng sẽ liên tục nâng cao độ chính xác. Bên cạnh đó, mô hình có thể triển khai trên các thiết bị biên nhằm giảm độ trễ mạng và bảo mật dữ liệu tuyệt đối cho các tổ chức doanh nghiệp lớn.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong lĩnh vực thương mại điện tử hiện đại, dịch vụ chăm sóc khách hàng và tư vấn trực tuyến đóng vai trò then chốt đối với hiệu quả kinh doanh. Tuy nhiên, các doanh nghiệp đang phải đối mặt với nhiều thách thức vận hành lớn:

• Chi phí duy trì đội ngũ tư vấn viên làm việc liên tục 24/7 có thể làm gia tăng thêm 30% chi phí vận hành hàng năm đối với các doanh nghiệp có quy mô vừa.
• Nguy cơ thất thoát khách hàng tiềm năng ở mức cao khi có tới 80% khách hàng sẵn sàng rời bỏ dịch vụ nếu phải chờ đợi phản hồi quá lâu, dẫn đến gia tăng tỷ lệ bỏ giỏ hàng.
• Hơn 90% các trang thương mại điện tử hiện nay chưa áp dụng cơ chế tự động hóa trong việc thu thập và phân loại dữ liệu khách hàng tiềm năng (leads).

Việc ứng dụng các giải pháp tự động hóa như chatbot có khả năng giảm đến 30% chi phí dịch vụ, hỗ trợ tăng trưởng doanh thu từ 7% đến 25%, và các trang thương mại điện tử tích hợp chatbot ghi nhận tỷ lệ chuyển đổi cao hơn khoảng 23%. Điển hình trong thực tế, nền tảng Klarna đã xử lý 2,3 triệu cuộc trò chuyện trong tháng đầu triển khai chatbot, mang lại hiệu quả tương đương 700 nhân sự toàn thời gian và tăng thêm 40 triệu USD lợi nhuận.

Sự phát triển của các mô hình ngôn ngữ lớn (Large Language Models - LLMs) như GPT-4 đã tạo ra bước tiến trong xử lý ngôn ngữ tự nhiên nhờ khả năng hiểu và đối thoại linh hoạt. Tuy nhiên, LLMs thuần túy vẫn tồn tại những hạn chế cố hữu: tri thức bị đóng băng tại thời điểm huấn luyện (knowledge cutoff), thiếu dữ liệu chuyên sâu về kho hàng hay chính sách nội bộ, và dễ gặp hiện tượng sinh thông tin sai lệch ("ảo giác" - hallucination). Để khắc phục các điểm yếu này, kỹ thuật Tạo sinh Tăng cường Truy xuất (Retrieval-Augmented Generation - RAG) được áp dụng nhằm kết hợp năng lực hiểu ngôn ngữ của LLMs với khả năng truy xuất dữ liệu động từ nguồn tri thức bên ngoài.

Khóa luận tốt nghiệp ngành Kỹ thuật Dữ liệu tại Trường Đại học Sư phạm Kỹ thuật Thành phố Hồ Chí Minh của nhóm tác giả Nguyễn Tấn Phát và Huỳnh Nguyễn Tuấn Kiệt (dưới sự hướng dẫn của ThS. Quách Đình Hoàng) tập trung vào việc nghiên cứu và ứng dụng các kỹ thuật trên. Mục tiêu chính của đề tài là xây dựng một trợ lý chatbot bán hàng có khả năng trả lời các câu hỏi về cửa hàng với độ chính xác và tính ngữ cảnh cao, dung hòa giữa thông tin trích xuất thực tế và khả năng sinh ngôn ngữ tự nhiên.

Để hoàn thành mục tiêu nghiên cứu, khóa luận xác định 7 nhiệm vụ cụ thể:

1. Tìm hiểu về các mô hình ngôn ngữ lớn (LLMs) và phương thức ứng dụng vào hệ thống chatbot.
2. Tìm hiểu về kỹ thuật truy xuất thông tin (Information Retrieval), tích hợp kỹ thuật Retrieval-Augmented Generation (RAG) để hỗ trợ trả lời các câu hỏi ngoài phạm vi dữ liệu huấn luyện sẵn có và giảm thiểu hiện tượng ảo giác.
3. Tìm hiểu về kỹ thuật tinh chỉnh mô hình ngôn ngữ (Fine-tuning / PEFT).
4. Xây dựng cơ sở dữ liệu PostgreSQL chạy trong container Docker với dữ liệu thu thập từ nền tảng bán lẻ FPTShop (fptshop.vn) và sử dụng công cụ Alembic để quản lý các phiên bản lược đồ cơ sở dữ liệu.
5. Thiết kế và xây dựng hệ thống chatbot tư vấn bán hàng dựa trên cơ sở dữ liệu bao gồm thông tin sản phẩm (điện thoại, máy tính xách tay, phụ kiện), câu hỏi thường gặp (FAQ), chính sách bán hàng, bảo hành, trả góp, đổi trả và gợi ý sản phẩm.
6. Triển khai hệ thống chatbot sử dụng giao diện lập trình ứng dụng OpenAI API (mô hình gpt-4o-mini và text-embedding-3-small) kết hợp với kỹ thuật RAG.
7. Thực nghiệm và đánh giá chất lượng phản hồi của hệ thống chatbot thông qua khung kiểm thử tự động DeepEval Framework.

• Đối tượng nghiên cứu: Các mô hình ngôn ngữ lớn, kiến trúc Transformer, cơ chế RAG, mô hình tác nhân LLM Agent, và dữ liệu sản phẩm, chính sách bán lẻ.
• Phạm vi không gian và dữ liệu: Dữ liệu thương mại điện tử chuyên biệt từ hệ thống FPTShop (fptshop.vn) tại thị trường Việt Nam.
• Phạm vi thời gian thực hiện: Đề tài được triển khai từ tháng 02/2025 đến tháng 06/2025.

---

Cơ sở lý thuyết và phương pháp

Khóa luận xây dựng hệ thống trên nền tảng lý thuyết xử lý ngôn ngữ tự nhiên hiện đại kết hợp với quy trình kỹ thuật dữ liệu chuyên biệt:

1. Khung lý thuyết và mô hình nền tảng

• Mô hình ngôn ngữ xác suất và mạng nơ-ron: Tác giả phân tích từ các mô hình n-gram cổ điển dựa trên giả định Markov đến các mạng nơ-ron hồi quy (RNN, LSTM) và chỉ ra các hạn chế cố hữu về việc mất mát ngữ cảnh xa cũng như việc không thể tính toán song song trên phần cứng GPU.
• Kiến trúc Transformer: Dựa trên công trình của Vaswani et al. (2017), khóa luận phân tích chi tiết cơ chế tự chú ý (Self-Attention), cơ chế chú ý chéo (Cross-Attention), cơ chế Scaled Dot-Product Attention và Multi-Head Attention. Kiến trúc bao gồm khối mã hóa (Encoder) và giải mã (Decoder) với sự kết hợp của mạng truyền thẳng kết nối theo vị trí (Position-wise FFN), mã hóa vị trí (Positional Encoding), kết nối dư (Residual Connection) và chuẩn hóa lớp (Layer Normalization).
• Phân loại mô hình ngôn ngữ lớn:
  • Encoder-only: Điển hình là BERT, RoBERTa, ALBERT; chuyên trách biểu diễn ngữ cảnh hai chiều phục vụ phân loại và trích xuất thực thể.
  • Decoder-only: Điển hình là dòng GPT (GPT-1, GPT-2, GPT-3, GPT-4) và Codex; sử dụng cơ chế Masked Self-Attention để sinh văn bản tự hồi quy (Autoregressive).
  • Encoder-Decoder: Điển hình là T5, BART; xử lý các bài toán chuyển đổi chuỗi sang chuỗi (sequence-to-sequence).
• Kiến trúc LLM Agent: Cấu trúc tác nhân bao gồm Bộ não điều khiển trung tâm (Agent/Brain), Module lập kế hoạch (Planning với các phương pháp Chain of Thought - CoT, Tree of Thoughts - ToT, ReAct, Reflexion), Module ghi nhớ (Memory ngắn hạn, dài hạn và bộ nhớ lai), và Module công cụ kết nối ngoại vi (Tools/APIs).
• Kỹ thuật RAG (Retrieval-Augmented Generation): Mô hình hóa quy trình xử lý thông tin gồm giai đoạn nạp dữ liệu (Ingestion: thu thập, tiền xử lý, phân đoạn/chunking, nhúng vector và đánh chỉ mục), giai đoạn truy xuất (Retrieval: tìm kiếm từ khóa, tìm kiếm vector dựa trên độ tương đồng cosine, tìm kiếm kết hợp Hybrid Search), và giai đoạn tổng hợp tạo phản hồi (Synthesis).
• Khái niệm kinh doanh MQL và SQL: Áp dụng mô hình chuyển đổi từ Marketing Qualified Lead (khách hàng tiềm năng thể hiện sự quan tâm qua marketing) sang Sales Qualified Lead (khách hàng có khả năng mua hàng cao và sẵn sàng giao dịch) trong hành trình mua sắm qua kênh chat.

2. Phương pháp nghiên cứu thực tế

• Phương pháp thu thập và tiền xử lý dữ liệu (ETL): Trích xuất thông tin sản phẩm và chính sách từ fptshop.vn, chuyển đổi định dạng và nạp vào cơ sở dữ liệu quan hệ có cấu trúc.
• Phương pháp biểu diễn ngữ nghĩa: Chuyển đổi dữ liệu câu hỏi thường gặp và thông tin mô tả sản phẩm sang không gian vector nhiều chiều bằng mô hình nhúng văn bản.
• Phương pháp kỹ nghệ gợi ý (Prompt Engineering): Thiết kế ngữ cảnh, phân vai (persona) tư vấn viên bán hàng và ràng buộc mô hình tuân thủ dữ liệu truy xuất được.
• Phương pháp mô phỏng và đánh giá định lượng: Xây dựng các kịch bản hội thoại nhân tạo giữa người dùng mô phỏng và chatbot, sau đó áp dụng khung đo lường tự động của DeepEval để lượng hóa các khía cạnh ngữ nghĩa và hành vi của hệ thống.

3. Nguồn dữ liệu sử dụng

• Tập dữ liệu câu hỏi thường gặp (FAQ): Tệp định dạng CSV bao gồm 95 câu hỏi và câu trả lời chi tiết về các chính sách bảo hành, chính sách giao hàng, lắp đặt, quy định đổi trả và trả góp.
• Tập dữ liệu sản phẩm: Tệp định dạng JSON Lines chứa 102 bản ghi thông tin chi tiết về 102 mẫu điện thoại thông minh, cùng với các tệp dữ liệu về máy tính xách tay và phụ kiện được đồng bộ vào hệ thống quản lý kho (Inventory).

---

Thiết kế và triển khai

Hệ thống được thiết kế theo kiến trúc phân tầng tích hợp giữa cơ sở dữ liệu, dịch vụ trung gian và mô hình trí tuệ nhân tạo:

Thành phần hệ thống	Công nghệ / Mô hình sử dụng	Vai trò và chức năng kỹ thuật
Cơ sở dữ liệu lưu trữ	PostgreSQL (chạy trong Docker Container)	Lưu trữ thông tin có cấu trúc về danh mục sản phẩm (điện thoại, máy tính xách tay, phụ kiện) và bảng FAQ.
Quản lý phiên bản CSDL	Alembic	Quản lý, theo dõi và thực hiện di chuyển cấu trúc lược đồ cơ sở dữ liệu (database migrations).
Hàng đợi & Bộ nhớ đệm	Redis & Redis Queue (RQ)	Quản lý trạng thái phiên hội thoại, lưu trữ ngữ cảnh ngắn hạn và điều phối các tác vụ bất đồng bộ.
Mô hình nhúng (Embedding)	OpenAI text-embedding-3-small	Chuyển đổi văn bản câu hỏi và tài liệu chính sách thành vector số học để lập chỉ mục tìm kiếm ngữ nghĩa.
Mô hình ngôn ngữ (LLM)	OpenAI gpt-4o-mini	Xử lý ngôn ngữ tự nhiên, phân tích ý định người dùng và sinh câu trả lời tư vấn bán hàng theo ngữ cảnh.
Giao diện người dùng	Chainlit Framework	Cung cấp giao diện tương tác hội thoại trực quan trên nền tảng web cho người dùng cuối.
Kênh giao tiếp mở rộng	Meta Messenger API	Tích hợp chatbot vào nền tảng mạng xã hội để tiếp cận khách hàng trực tiếp qua tin nhắn.
Hệ thống chuyển đổi Lead	Dịch vụ gửi Email tự động	Gửi thông tin liên lạc của khách hàng tiềm năng đến nhân viên chăm sóc khách hàng khi chuyển đổi MQL thành SQL.
Giám sát & Đánh giá	WandB (Weights & Biases) & DeepEval	Theo dõi hiệu năng thực thi, ghi nhật ký hoạt động và đo lường định lượng chất lượng đầu ra của RAG.
Hạ tầng máy chủ	DigitalOcean Cloud	Nền tảng điện toán đám mây phục vụ việc đóng gói và triển khai vận hành toàn bộ ứng dụng.

Luồng hoạt động tạo phản hồi (Response Generation Flow)

Quá trình xử lý truy vấn của khách hàng được phân tách thành 3 tầng (layer) rõ rệt:

• Tầng 1 (Layer 1 - Tiếp nhận và Phân loại ý định): Tiếp nhận tin nhắn từ người dùng qua Chainlit hoặc Messenger, lưu trữ trạng thái vào Redis, phân tích yêu cầu để định tuyến tác vụ (hỏi thông tin sản phẩm, hỏi chính sách FAQ, hay cung cấp thông tin liên hệ mua hàng).
• Tầng 2 (Layer 2 - Truy xuất thông tin RAG): Khi người dùng hỏi về chính sách hoặc sản phẩm, hệ thống chuyển câu hỏi thành vector qua mô hình text-embedding-3-small, thực hiện tìm kiếm tương đồng trên cơ sở dữ liệu vector/PostgreSQL để trích xuất các đoạn thông tin liên quan nhất (top chunks). Đối với các yêu cầu lọc thông số kỹ thuật, hệ thống truy vấn trực tiếp cấu trúc bảng sản phẩm.
• Tầng 3 (Layer 3 - Tạo sinh và Phản hồi): Tích hợp thông tin vừa truy xuất cùng lịch sử hội thoại vào prompt mẫu quy định vai trò nhân viên tư vấn. Mô hình gpt-4o-mini tổng hợp và sinh ra câu trả lời mạch lạc, chính xác. Nếu người dùng biểu lộ ý định mua sắm rõ ràng và để lại thông tin, hệ thống ghi nhận trạng thái SQL và tự động kích hoạt tiến trình gửi email thông báo về hộp thư của nhân viên bán hàng.

---

Nội dung chính theo từng chương

CHƯƠNG 1: MÔ HÌNH NGÔN NGỮ LỚN

Chương này cung cấp hệ thống lý thuyết toàn diện về mô hình ngôn ngữ và kiến trúc mạng nơ-ron nền tảng:

• Trình bày cơ sở toán học của mô hình ngôn ngữ dựa trên phân phối xác suất chuỗi từ và quy tắc chuỗi (chain rule), phân tích mô hình n-gram và sự phát triển lên mạng nơ-ron sâu.
• Phân tích chi tiết các thành phần của kiến trúc Transformer: Embedding layer, các tầng Feed-Forward Network, kết nối tắt Residual Connection nhằm khắc phục hiện tượng triệt tiêu đạo hàm (vanishing gradient), và kỹ thuật Layer Normalization để ổn định phân phối lan truyền.
• Trình bày công thức tính toán toán học của Scaled Dot-Product Attention: $$\text{Attention}(Q, K, V) = \text{softmax}\left(\frac{QK^T}{\sqrt{d_k}}\right)V$$ và cơ chế Multi-Head Attention mở rộng khả năng học biểu diễn trên nhiều không gian con song song.
• Khảo sát sự tiến hóa của LLM từ năm 2018 đến năm 2023, phân định rõ ba nhánh: Encoder-only (BERT), Decoder-only (GPT series), và Encoder-Decoder (T5, BART). Trong đó, nhánh Decoder-only chiếm ưu thế vượt trội trong sinh văn bản và tương tác hội thoại.
• Giới thiệu cấu trúc của LLM Agent bao gồm các thành phần cốt lõi: Agent/Brain, Planning (CoT, ToT, ReAct, Reflexion), Memory (ngắn hạn, dài hạn, bộ nhớ lai), và Tools; đồng thời điểm qua các ứng dụng thực tế cùng các thách thức lớn như ảo giác, chi phí tính toán và khả năng duy trì vai trò (role-playing).

CHƯƠNG 2: TẠO SINH TĂNG CƯỜNG TRUY XUẤT (Retrieval-Augmented Generation - RAG)

Chương này đi sâu vào nguyên lý và cơ chế hoạt động của kỹ thuật RAG nhằm khắc phục các giới hạn tri thức của LLM:

• Phân tích các hạn chế cố hữu của LLMs về giới hạn thời gian dữ liệu huấn luyện và xu hướng sinh thông tin giả mạo khi thiếu ngữ cảnh.
• Trình bày hai giai đoạn chính của RAG: Truy xuất thông tin (Retrieve) dựa trên tìm kiếm tương đồng vector không gian và Tạo sinh văn bản (Generate) bằng cách gắn ngữ cảnh vào câu lệnh điều khiển.
• Chi tiết hóa các bước trong quy trình RAG:
  1. Biến đổi dữ liệu (Ingestion): Thu thập, chuẩn hóa, phân đoạn văn bản (chunking), nhúng vector thông qua mô hình embedding, và lưu trữ vào chỉ mục vector.
  2. Truy xuất thông tin (Retrieval): So sánh các phương pháp truy vấn theo từ khóa (keyword search), tìm kiếm vector ngữ nghĩa (vector search), và tìm kiếm lai (hybrid search) kết hợp điểm số tương đồng cosine.
  3. Tổng hợp và tạo phản hồi (Synthesis/Response Generation): Kết hợp dữ liệu trích xuất vào LLM để tạo câu trả lời mạch lạc, bám sát thực tế.
• Đánh giá các ưu điểm nổi bật của RAG: giảm thiểu ảo giác, dễ dàng cập nhật dữ liệu mới mà không cần tái huấn luyện mô hình, và tiết kiệm đáng kể chi phí so với kỹ thuật fine-tuning toàn phần.

CHƯƠNG 3: QUÁ TRÌNH CHUYỂN ĐỔI TỪ MQL SANG SQL

Chương này thiết lập cơ sở nghiệp vụ tiếp thị và bán hàng cho ứng dụng chatbot:

• Định nghĩa rõ ràng hai khái niệm quan trọng trong phễu bán hàng: MQL (Marketing Qualified Lead - khách hàng tiềm năng bắt đầu quan tâm thông qua kênh truyền thông) và SQL (Sales Qualified Lead - khách hàng tiềm năng đã được sàng lọc, có nhu cầu cụ thể và có khả năng mua hàng cao).
• Phân tích hành trình khách hàng trong thương mại điện tử và chỉ ra các rào cản phổ biến qua kênh chat như: thời gian chờ đợi phản hồi lâu, nhân viên quá tải dẫn đến tư vấn thiếu nhất quán, và tỷ lệ bỏ rơi cuộc trò chuyện cao.
• Trình bày cơ chế ứng dụng chatbot để tự động hóa quá trình phân loại khách hàng: tiếp nhận thắc mắc ban đầu, giải đáp chi tiết về sản phẩm/chính sách, gợi ý sản phẩm phù hợp với nhu cầu tài chính, và thu thập thông tin cá nhân (tên, số điện thoại, địa chỉ) để hoàn tất việc chuyển đổi một lead từ MQL sang SQL trong hệ thống.

CHƯƠNG 4: XÂY DỰNG CHATBOT TƯ VẤN BÁN HÀNG

Chương này trình bày toàn bộ quá trình hiện thực hóa giải pháp phần mềm và đánh giá thực nghiệm:

• Lựa chọn và cấu hình công nghệ: triển khai cơ sở dữ liệu quan hệ PostgreSQL quản trị bằng Alembic; sử dụng Redis và Redis Queue điều phối hàng đợi tác vụ; tích hợp giao diện Chainlit.
• Cấu hình các mô hình trí tuệ nhân tạo: mô hình nhúng text-embedding-3-small của OpenAI và mô hình ngôn ngữ sinh văn bản gpt-4o-mini cân bằng giữa tốc độ, độ chính xác và chi phí vận hành.
• Hiện thực hóa quy trình ETL dữ liệu: nạp 95 câu hỏi chính sách bảo hành, đổi trả, giao hàng dạng CSV và 102 bản ghi cấu hình điện thoại dạng JSON Lines vào kho dữ liệu PostgreSQL.
• Xây dựng luồng xử lý 3 tầng tạo phản hồi, kết nối tương tác trực tiếp với nền tảng Messenger và thiết lập cơ chế gửi email thông báo lead cho nhân viên kinh doanh.
• Thực nghiệm triển khai trên hạ tầng máy chủ DigitalOcean.
• Đánh giá chất lượng hệ thống bằng DeepEval Framework thông qua các kịch bản hội thoại mô phỏng (synthetic data) trên hai bộ dữ liệu: tập dữ liệu chính sách và tập dữ liệu sản phẩm.

---

Kết quả và đóng góp

Khóa luận đã hoàn thành việc xây dựng một hệ thống chatbot bán hàng hoàn chỉnh và tiến hành đo lường chất lượng thông qua khung kiểm thử tự động DeepEval Framework với các bộ dữ liệu thực nghiệm:

1. Kết quả đánh giá định lượng bằng DeepEval Framework

Hệ thống được đánh giá thông qua 4 độ đo học thuật tiêu chuẩn trên các tập dữ liệu mô phỏng:

• Answer Relevancy: Đánh giá mức độ liên quan và phù hợp của câu trả lời do chatbot sinh ra so với câu hỏi của người dùng.
• Contextual Precision: Đánh giá độ chính xác của ngữ cảnh được trích xuất từ cơ sở dữ liệu RAG đối với truy vấn.
• Faithfulness: Đánh giá tính trung thực của phản hồi, đảm bảo thông tin do mô hình sinh ra hoàn toàn dựa trên dữ liệu ngữ cảnh trích xuất, không bịa đặt.
• Role Adherence: Đánh giá mức độ tuân thủ vai trò, phong cách xưng hô và chuẩn mực tư vấn viên được chỉ định trong prompt.

Theo danh mục bảng của đồ án, kết quả kiểm thử được tổng hợp qua hai bảng số liệu chính:

• Bảng 1: Kết quả đánh giá sử dụng DeepEval với tập dữ liệu về chính sách (FAQ): Hệ thống đạt độ chính xác cao về tính trung thực (Faithfulness) và độ phù hợp ngữ cảnh (Answer Relevancy) nhờ các thông tin chính sách bảo hành, đổi trả và giao hàng có cấu trúc văn bản rõ ràng.
• Bảng 2: Kết quả đánh giá sử dụng DeepEval với tập dữ liệu về điện thoại và máy tính xách tay: Hệ thống duy trì sự tuân thủ vai trò (Role Adherence) ổn định, phản hồi chính xác các thông số kỹ thuật và đưa ra gợi ý sản phẩm phù hợp với nhu cầu mô phỏng.

2. Các giải pháp và chức năng đã đạt được

• Xây dựng thành công quy trình ETL tự động hóa đưa dữ liệu sản phẩm và chính sách từ FPTShop vào kho dữ liệu PostgreSQL, quản lý lược đồ linh hoạt qua Alembic.
• Thiết lập hoàn chỉnh pipeline RAG kết hợp giữa mô hình nhúng text-embedding-3-small và mô hình sinh gpt-4o-mini, giúp câu trả lời có tính ngữ cảnh cao và hạn chế tối đa ảo giác.
• Triển khai thành công ứng dụng trên hạ tầng DigitalOcean, cung cấp giao diện trò chuyện qua Chainlit và tích hợp đa kênh lên nền tảng Facebook Messenger.
• Tự động hóa quy trình chuyển đổi MQL sang SQL: khi khách hàng cung cấp thông tin liên lạc trong phiên chat, hệ thống trích xuất dữ liệu và tự động kích hoạt gửi email thông báo chi tiết đến bộ phận chăm sóc khách hàng.

3. Đóng góp khoa học và ứng dụng thực tiễn

• Khóa luận đóng góp một mô hình mẫu (reference architecture) về việc ứng dụng kiến trúc RAG kết hợp LLM thế hệ mới (gpt-4o-mini) vào lĩnh vực bán lẻ thiết bị công nghệ tại Việt Nam.
• Thiết lập phương pháp luận kiểm thử định lượng hệ thống RAG bằng DeepEval Framework thay cho các phương thức đánh giá cảm tính, thủ công truyền thống.

---

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi nghiên cứu và các nhận định của nhóm tác giả trong văn bản:

• Hạn chế:
  • Quy mô tập dữ liệu thực nghiệm còn ở mức mẫu thử nghiệm (102 bản ghi điện thoại, 95 câu hỏi chính sách FAQ và một số mẫu máy tính xách tay), chưa bao phủ toàn bộ danh mục sản phẩm đồ sộ của nền tảng bán lẻ.
  • Phản hồi của hệ thống được tác giả tự đánh giá ở mức "khá ổn", vẫn còn những tình huống đối thoại phức tạp cần cải thiện độ mượt mà.
  • Ứng dụng phụ thuộc hoàn toàn vào API thương mại của OpenAI (gpt-4o-mini), có thể gặp rủi ro về chi phí biến đổi khi quy mô truy vấn tăng cao và phụ thuộc kết nối mạng bên ngoài.
• Hướng nghiên cứu tiếp:
  • Mở rộng cơ sở dữ liệu kho hàng với quy mô lớn hơn, bao quát toàn bộ danh mục sản phẩm, phụ kiện và cập nhật tồn kho theo thời gian thực.
  • Nghiên cứu áp dụng kỹ thuật tinh chỉnh mô hình mã nguồn mở (như LLaMA, Mistral thông qua kỹ thuật PEFT/LoRA) để tự chủ công nghệ và tối ưu chi phí vận hành.
  • Nâng cấp kỹ thuật truy xuất RAG sang các biến thể nâng cao (Advanced/Modular RAG) kết hợp reranking và hybrid search đa tầng để tối ưu độ chính xác truy xuất.

---

Giá trị tham khảo

Đồ án tốt nghiệp này mang lại giá trị thực tiễn và học thuật cho các nhóm đối tượng cụ thể:

• Sinh viên ngành Kỹ thuật Dữ liệu, Khoa học Máy tính và Công nghệ Thông tin: Tài liệu cung cấp cơ sở lý thuyết chi tiết về Transformer, cơ chế Attention, quy trình hoạt động của LLM Agent và pipeline RAG tiêu chuẩn.
• Kỹ sư AI và chuyên viên phát triển phần mềm ứng dụng: Tham khảo kiến trúc tích hợp hệ thống hoàn chỉnh giữa cơ sở dữ liệu quan hệ (PostgreSQL), hàng đợi xử lý nền (Redis/RQ), giao diện chat (Chainlit) và các mô hình OpenAI API hiện đại.
• Phần nội dung có giá trị tham khảo cao nhất: Quy trình xây dựng luồng phản hồi 3 tầng (Layer 1 - Layer 2 - Layer 3), kỹ thuật quản lý lược đồ dữ liệu bằng Alembic, và phương pháp sử dụng DeepEval để đánh giá định lượng hệ thống RAG bán hàng.

---

Câu hỏi thường gặp

1. Hệ thống sử dụng những mô hình trí tuệ nhân tạo cụ thể nào từ OpenAI và vai trò của chúng là gì?

Hệ thống sử dụng hai mô hình chính của OpenAI: mô hình text-embedding-3-small đảm nhiệm vai trò nhúng văn bản thành vector phục vụ việc lập chỉ mục và truy xuất ngữ nghĩa (Retrieval); mô hình gpt-4o-mini đóng vai trò là bộ não ngôn ngữ (LLM) để tiếp nhận ngữ cảnh, suy luận và tạo sinh câu trả lời tư vấn bán hàng tự nhiên (Generation).

2. Dữ liệu thử nghiệm của khóa luận được thu thập từ đâu và bao gồm những thông tin gì?

Dữ liệu thử nghiệm được lấy từ hệ thống bán lẻ FPTShop (fptshop.vn), bao gồm tệp CSV chứa 95 câu hỏi thường gặp (FAQ) về các chính sách bảo hành, đổi trả, lắp đặt, giao hàng, và tệp JSON Lines chứa 102 bản ghi dữ liệu chi tiết về thông số kỹ thuật của 102 mẫu điện thoại, bên cạnh dữ liệu máy tính xách tay và phụ kiện.

3. Khung kiểm thử DeepEval Framework sử dụng các tiêu chí nào để đo lường chất lượng chatbot?

Khung DeepEval trong khóa luận sử dụng 4 độ đo định lượng gồm: Answer Relevancy (độ liên quan của phản hồi so với câu hỏi), Contextual Precision (độ chính xác của ngữ cảnh trích xuất), Faithfulness (tính trung thực của câu trả lời, không bịa đặt ngoài ngữ cảnh), và Role Adherence (mức độ tuân thủ vai trò tư vấn viên bán hàng).

4. Chatbot hỗ trợ quy trình chuyển đổi khách hàng từ MQL sang SQL như thế nào?

Trong quá trình tư vấn sản phẩm và giải đáp chính sách, nếu khách hàng thể hiện nhu cầu mua sắm rõ ràng và cung cấp thông tin liên hệ cá nhân, chatbot sẽ ghi nhận trạng thái chuyển đổi từ MQL sang SQL, trích xuất dữ liệu và kích hoạt hệ thống tự động gửi email thông báo đến nhân viên chăm sóc khách hàng để kịp thời liên hệ chốt đơn.

5. Toàn bộ hệ thống phần mềm được triển khai trên nền tảng hạ tầng và công nghệ nào?

Hệ thống sử dụng cơ sở dữ liệu PostgreSQL chạy trong container Docker, quản lý lược đồ bằng Alembic, quản lý hàng đợi và trạng thái phiên bằng Redis và Redis Queue, giao diện người dùng xây dựng bằng Chainlit, tích hợp kênh Meta Messenger và toàn bộ được triển khai thực tế trên hạ tầng đám mây của DigitalOcean.

---

Kết luận

Khóa luận tốt nghiệp của sinh viên Nguyễn Tấn Phát và Huỳnh Nguyễn Tuấn Kiệt đã nghiên cứu và hiện thực hóa thành công giải pháp chatbot tư vấn bán hàng kết hợp mô hình ngôn ngữ lớn với kỹ thuật Tạo sinh Tăng cường Truy xuất (RAG). Đề tài giải quyết hiệu quả bài toán hạn chế tri thức và giảm thiểu ảo giác của mô hình ngôn ngữ thông qua kho dữ liệu bán lẻ FPTShop được chuẩn hóa trên PostgreSQL. Kết quả thử nghiệm định lượng với DeepEval Framework khẳng định tính đúng đắn của kiến trúc phân tầng đề xuất, mở ra hướng ứng dụng tự động hóa quy trình chăm sóc khách hàng và chuyển đổi khách hàng tiềm năng trong lĩnh vực thương mại điện tử.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: MÔ HÌNH NGÔN NGỮ LỚN Chương này sẽ giới thiệu tổng quan về mô hình ngôn ngữ lớn (Large Language Model - LLM), với trọng tâm là phân tích các đặc trưng lý thuyết cũng như cơ sở hạ tầng kiến trúc Transformer – nền tảng quan trọng cho các ứng dụng trí tuệ nhân tạo trong xử lý ngôn ngữ tự nhiên. Với khả năng hiểu và sinh ngôn ngữ càng ngày càng tiến bộ, mô hình ngôn ngữ lớn đã trở thành thành phần không thể thiếu cho nhiều phương thức tương tác tự động, trong đó có việc xây dựng chatbot tư vấn dựa trên Retrieval- Augmented Generation (RAG). TỔNG QUAN MÔ HÌNH NGÔN NGỮ LỚN 1. Giới thiệu Trước đây, mô hình ngôn ngữ (Language model) thực chất không hề hiểu ngôn ngữ mà chỉ dựa vào xác suất.

Mô hình ngôn ngữ truyền thống là một mô hình phân phối xác suất của 1 chuỗi các từ (sequence of words (token)). Về bản chất, mô hình ngôn ngữ ước tính xác suất để sinh ra token tiếp theo trong một chuỗi. Mục tiêu chính là tính xác suất của từ tiếp theo dựa trên 1 chuỗi các từ ngữ cảnh (context) cho trước. Công thức xác suất của một chuỗi từ P(𝑤1 , 𝑤2 ,.

, 𝑤𝑇 ) = P(𝑤1:𝑇 ) (1) Công thức trên có thể được biểu diễn bằng quy tắc chuỗi (chain rule) 𝑇 P(𝑤1:𝑇 ) = P(𝑤1 ) P(𝑤2 | 𝑤1 ) P(𝑤𝑇 | 𝑤1:𝑇−1 ) = ∏ 𝑃(𝑤𝑖 | 𝑤1:𝑖−1 ) (2) 𝑖=1 Các mô hình ngôn ngữ có thể có độ phức tạp khác nhau, từ các mô hình sơ khai là mô hình n-gram hoạt động bằng cách tính xác suất của từ tiếp theo mà không quan tâm đến thứ tự xa của các từ trước đó. Cách thực hiện là dự đoán xác suất của từ tiếp theo độc lập với các từ trước đó, dựa trên giả định Markov rằng xác suất của một từ chỉ phụ thuộc vào 𝑛 − 1 từ đứng ngay trước nó. 𝑃(𝑤𝑖 |𝑤1:𝑖−1 ) = 𝑃(𝑤𝑖 |𝑤𝑖−𝑛+1:𝑖−1 ) (3) Theo thời gian, các mô hình ngôn ngữ phát triển với các mạng neuron nhân tạo mô phỏng hệ thần kinh phức tạp của con người trong đó các neuron như neuron trong não 4 bộ kết nối với nhau bởi các cạnh như các khớp thần kinh. Những mô hình ngôn ngữ mạng thần kinh có thể phát hiện các quy luật phức tạp trong ngôn ngữ và tạo ra các văn bản y hệt con người.

[1] Mô hình ngôn ngữ lớn là các mô hình ngôn ngữ được đào tạo bằng cách sử dụng các kỹ thuật học sâu trên tập dữ liệu văn bản khổng lồ với lượng tham số lớn lên đến trăm tỷ với lượng tính toán lớn nhờ tính toán song song. Các mô hình ngôn ngữ lớn được thiết kế để xử lý ngôn ngữ tự nhiên tức khả năng hiểu, tạo văn bản tương tự như con người và thực hiện các tác vụ xử lý ngôn ngữ tự nhiên khác như dịch thuật, tóm tắt văn bản, trả lời câu hỏi một cách thông minh. Trước khi kiến trúc Transformer ra đời, các mô hình sinh văn bản sử dụng mạng thần kinh nhân tạo hoặc các mô hình chuỗi như mạng neuron hồi quy (Recurrent Neural Network - RNN) và Long Short-Term Memory (LSTM). Bên cạnh các hạn chế như mất mát thông tin dài hạn hay hạn chế về khả năng xử lý phụ thuộc xa, RNN không thể tận dụng tính toán song song của GPU, bị giới hạn số lượng tính toán và bộ nhớ để thực hiện các nhiệm vụ sinh.

Ngoài việc nhớ thông tin các từ, mô hình cần hiểu được ngữ nghĩa, bối cảnh (context) của cả văn bản, câu văn vì ngôn ngữ rất phức tạp.