Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại trong chatbot

Hệ thống xây dựng dữ liệu huấn luyện chatbot từ hội thoại là một giải pháp quan trọng trong việc phát triển chatbot hiệu quả. 84 trang · 2025.

• Trường học: Trường Đại Học
• Chuyên ngành: Công Nghệ Thông Tin
• Đề tài: Hệ Thống Xây Dựng Dữ Liệu Huấn Luyện Chatbot Từ Hội Thoại
• Loại tài liệu: Đồ Án Tốt Nghiệp
• Năm xuất bản: 2025
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM KẾT
• LỜI CẢM ƠN
• MỤC LỤC
• DANH MỤC HÌNH VẼ
• DANH MỤC BẢNG
• DANH MỤC CÁC TỪ VIẾT TẮT
• DANH MỤC THUẬT NGỮ
• 1. CHƯƠNG 1: GIỚI THIỆU ĐỀ TÀI
• 1.1. Đặt vấn đề
• 1.2. Mục tiêu và phạm vi đề tài
• 1.3. Định hướng giải pháp
• 1.4. Bố cục đồ án
• 2. CHƯƠNG 2: KHẢO SÁT VÀ PHÂN TÍCH YÊU CẦU
• 2.1. Kịch bản điển hình của chatbot
• 2.2. Khảo sát hiện trạng
• 2.3. Tổng quan chức năng
• 2.3.1. Biểu đồ use case tổng quan
• 2.3.2. Biểu đồ use case phân rã Quản lý đơn vị hội thoại
• 2.3.3. Biểu đồ use case phân rã Quản lý hội thoại
• 2.3.4. Biểu đồ use case phân rã Duyệt hội thoại
• 2.4. Đặc tả chức năng
• 2.4.1. Đặc tả use case Tạo hội thoại từ lịch sử chat
• 2.4.2. Đặc tả use case Tạo hội thoại qua chat tương tác
• 2.4.3. Đặc tả use case Chấp nhận hội thoại
• 2.4.4. Đặc tả use case Xuất báo cáo
• 2.5. Yêu cầu phi chức năng
• 2.5.1. Tính dễ dùng
• 2.5.2. Khả năng mở rộng
• 2.6. Kết chương
• 3. CHƯƠNG 3: CÔNG NGHỆ SỬ DỤNG
• 3.1. ReactJS và NextJS
• 3.2. NodeJS và ExpressJS
• 3.3. Kết chương
• 4. CHƯƠNG 4: PHÁT TRIỂN VÀ TRIỂN KHAI ỨNG DỤNG
• 4.1. Thiết kế kiến trúc
• 4.1.1. Kiến trúc tổng quan
• 4.1.2. Kiến trúc Frontend
• 4.1.3. Kiến trúc Backend
• 4.2. Thiết kế chi tiết Frontend
• 4.3. Thiết kế chi tiết Backend
• 4.3.1. Luồng hoạt động
• 4.3.2. Thiết kế API
• 4.4. Thiết kế cơ sở dữ liệu
• 4.4.1. Biểu đồ thực thể liên kết
• 4.4.2. Thiết kế tổng quan cơ sở dữ liệu
• 4.4.3. Thiết kế chi tiết collection
• 4.5. Xây dựng ứng dụng
• 4.5.1. Thư viện và công cụ sử dụng
• 4.5.2. Kết quả đạt được
• 4.5.3. Minh họa các chức năng chính
• 4.6. Kiểm thử và triển khai
• 4.7. Kết chương
• 5. CHƯƠNG 5: CÁC GIẢI PHÁP VÀ ĐÓNG GÓP NỔI BẬT
• 5.1. Thiết kế quy trình đảm bảo chất lượng dữ liệu huấn luyện
• 5.2. Quy trình xây dựng và phê duyệt dữ liệu huấn luyện
• 5.3. Xây dựng thành phần quản lý quyền linh hoạt
• 5.4. Giải pháp bóc tách và tạo dữ liệu huấn luyện từ lịch sử chat
• 5.5. Đề xuất hiển thị lịch sử chat theo đơn vị hội thoại
• 5.6. Quy trình xây dựng dữ liệu huấn luyện từ lịch sử chat thông qua các đơn vị hội thoại
• 5.7. Giải pháp tạo dữ liệu huấn luyện qua chat tương tác
• 5.8. Đánh giá tính hiệu quả của bot bằng dữ liệu huấn luyện từ hội thoại
• 5.9. Kết chương
• 6. CHƯƠNG 6: KẾT LUẬN VÀ HƯỚNG PHÁT TRIỂN
• 6.1. Kết luận
• 6.2. Hướng phát triển
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về hệ thống xây dựng dữ liệu huấn luyện chatbot từ hội thoại

Hệ thống xây dựng dữ liệu huấn luyện chatbot từ hội thoại là một giải pháp quan trọng trong việc phát triển chatbot hiệu quả. Chatbot ngày nay được sử dụng rộng rãi trong nhiều lĩnh vực như chăm sóc khách hàng, marketing và hỗ trợ kỹ thuật. Để chatbot hoạt động tốt, việc xây dựng dữ liệu huấn luyện từ hội thoại là rất cần thiết. Hệ thống này giúp thu thập và xử lý dữ liệu từ các cuộc hội thoại, từ đó cải thiện khả năng phản hồi của chatbot.

1.1. Khái niệm về dữ liệu huấn luyện chatbot

Dữ liệu huấn luyện chatbot là tập hợp các mẫu hội thoại được sử dụng để dạy cho chatbot cách hiểu và phản hồi các yêu cầu của người dùng. Việc xây dựng dữ liệu này cần phải đảm bảo tính chính xác và đa dạng để chatbot có thể hoạt động hiệu quả.

1.2. Tầm quan trọng của hệ thống xây dựng dữ liệu

Hệ thống xây dựng dữ liệu giúp tối ưu hóa quy trình tạo ra các mẫu hội thoại, từ đó nâng cao chất lượng phản hồi của chatbot. Điều này không chỉ giúp cải thiện trải nghiệm người dùng mà còn tăng cường hiệu quả hoạt động của doanh nghiệp.

II. Vấn đề và thách thức trong việc xây dựng dữ liệu huấn luyện chatbot

Mặc dù việc xây dựng dữ liệu huấn luyện từ hội thoại là cần thiết, nhưng vẫn tồn tại nhiều thách thức. Một trong những vấn đề lớn nhất là việc thu thập dữ liệu từ các nguồn khác nhau mà không làm giảm chất lượng. Ngoài ra, việc quản lý và phê duyệt dữ liệu cũng là một thách thức lớn trong quy trình này.

2.1. Khó khăn trong việc thu thập dữ liệu

Việc thu thập dữ liệu từ hội thoại có thể gặp khó khăn do thiếu nguồn dữ liệu phong phú hoặc không đồng nhất. Điều này có thể dẫn đến việc chatbot không hiểu đúng ý định của người dùng.

2.2. Quy trình phê duyệt dữ liệu chưa rõ ràng

Nhiều hệ thống hiện tại chưa có quy trình phê duyệt dữ liệu rõ ràng, dẫn đến việc dữ liệu không đạt chất lượng có thể được đưa vào huấn luyện, ảnh hưởng đến hiệu quả của chatbot.

III. Phương pháp xây dựng dữ liệu huấn luyện từ hội thoại hiệu quả

Để xây dựng dữ liệu huấn luyện hiệu quả, cần áp dụng các phương pháp khoa học và công nghệ hiện đại. Việc sử dụng các công cụ phân tích ngôn ngữ tự nhiên và học máy sẽ giúp tối ưu hóa quy trình này. Hệ thống cũng cần có khả năng tự động hóa trong việc thu thập và xử lý dữ liệu.

3.1. Sử dụng công nghệ xử lý ngôn ngữ tự nhiên

Công nghệ xử lý ngôn ngữ tự nhiên (NLP) giúp phân tích và hiểu các mẫu hội thoại, từ đó tạo ra dữ liệu huấn luyện chính xác hơn cho chatbot.

3.2. Tự động hóa quy trình thu thập dữ liệu

Việc tự động hóa quy trình thu thập dữ liệu từ các cuộc hội thoại sẽ giúp tiết kiệm thời gian và công sức, đồng thời đảm bảo tính chính xác của dữ liệu.

IV. Ứng dụng thực tiễn của hệ thống xây dựng dữ liệu huấn luyện chatbot

Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại đã được áp dụng thành công trong nhiều lĩnh vực như ngân hàng và tài chính. Các doanh nghiệp đã thấy được sự cải thiện rõ rệt trong khả năng phản hồi của chatbot, từ đó nâng cao trải nghiệm khách hàng.

4.1. Ứng dụng trong lĩnh vực ngân hàng

Trong lĩnh vực ngân hàng, hệ thống này giúp chatbot trả lời nhanh chóng và chính xác các câu hỏi của khách hàng về tài khoản và dịch vụ.

4.2. Ứng dụng trong lĩnh vực tài chính

Chatbot trong lĩnh vực tài chính sử dụng dữ liệu huấn luyện để cung cấp thông tin về sản phẩm và dịch vụ, giúp khách hàng đưa ra quyết định tốt hơn.

V. Kết luận và tương lai của hệ thống xây dựng dữ liệu huấn luyện chatbot

Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại là một bước tiến quan trọng trong việc phát triển chatbot. Tương lai của hệ thống này hứa hẹn sẽ mang lại nhiều cải tiến hơn nữa, với sự phát triển của công nghệ AI và NLP. Việc tối ưu hóa quy trình xây dựng dữ liệu sẽ giúp chatbot ngày càng thông minh và hiệu quả hơn.

5.1. Hướng phát triển trong tương lai

Trong tương lai, hệ thống sẽ tiếp tục được cải tiến với các công nghệ mới, giúp nâng cao khả năng tự động hóa và chính xác trong việc xây dựng dữ liệu.

5.2. Tác động đến ngành công nghiệp

Sự phát triển của hệ thống này sẽ có tác động lớn đến ngành công nghiệp, giúp các doanh nghiệp tối ưu hóa quy trình chăm sóc khách hàng và nâng cao trải nghiệm người dùng.

Nội dung chính

Bối cảnh và vấn đề nghiên cứu

Trong những năm gần đây, sự phát triển của trí tuệ nhân tạo cùng với sự bùng nổ của các ứng dụng nhắn tin đã thúc đẩy mạnh mẽ việc ứng dụng chatbot trong doanh nghiệp. Chatbot hoạt động dựa trên các giải thuật xử lý ngôn ngữ tự nhiên (NLP) nhằm phán đoán ý định người dùng và đưa ra phản hồi phù hợp, phục vụ các nghiệp vụ như chăm sóc khách hàng và tiếp thị trực tuyến. Hiệu quả hoạt động thực tế của chatbot phụ thuộc trực tiếp vào số lượng và chất lượng của dữ liệu huấn luyện.

Tuy nhiên, khảo sát các nền tảng xây dựng chatbot phổ biến cho thấy tồn tại ba hạn chế lớn: chưa tận dụng triệt để nguồn lịch sử hội thoại của người dùng để làm dữ liệu huấn luyện; thiếu quy trình xây dựng và phê duyệt dữ liệu nghiêm ngặt nhằm đảm bảo chất lượng; và thiếu các công cụ định lượng rõ ràng để đánh giá chất lượng hoạt động của chatbot trong thực tế. Tình trạng này dẫn đến việc dữ liệu huấn luyện bị hạn chế về số lượng, chất lượng không đồng đều, làm giảm khả năng phản hồi chính xác của chatbot. Từ thực tiễn đó, đồ án lựa chọn nghiên cứu và phát triển đề tài "Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại trong chatbot".

Mục tiêu nghiên cứu của đồ án được xác định cụ thể theo ba nhiệm vụ:

1. Xây dựng cơ chế tạo dữ liệu huấn luyện từ hội thoại thông qua hai phương thức: bóc tách từ lịch sử trò chuyện thực tế và tương tác trực tiếp với chatbot.
2. Thiết kế phương pháp và quy trình kiểm soát chất lượng dữ liệu huấn luyện thông qua phân cấp quản lý và kiểm duyệt trạng thái nghiêm ngặt.
3. Cung cấp công cụ trực quan hóa và báo cáo thống kê phục vụ việc đánh giá hiệu quả hoạt động của chatbot trong môi trường vận hành thực tế.

Đối tượng nghiên cứu của đồ án là cơ chế, quy trình và mô hình phần mềm quản lý, xây dựng dữ liệu huấn luyện từ hội thoại cho chatbot. Phạm vi nghiên cứu tập trung vào việc thiết kế và hiện thực hóa một hệ thống phần mềm nền tảng web, thực hiện thu thập, phân tách, chỉnh sửa và phê duyệt dữ liệu hội thoại, đồng thời kết xuất báo cáo thống kê nghiệp vụ. Phạm vi đồ án không bao gồm việc xây dựng khối giải thuật xử lý ngôn ngữ tự nhiên nội tại (AI Core) mà tích hợp với dịch vụ AI đóng gói sẵn từ bên ngoài. Hệ thống được triển khai thử nghiệm thực tế tại tên miền https://smartdialog.club và áp dụng trên tập dữ liệu thuộc hai lĩnh vực: ngân hàng (VietcomBank) và tài chính (FE Credit).

Cơ sở lý thuyết và phương pháp tiếp cận

Đồ án vận dụng các khái niệm và thành phần nền tảng trong kiến trúc chatbot xử lý ngôn ngữ tự nhiên (NLP):

• Ý định (Intent): Mục đích, mong muốn của người dùng trong một câu yêu cầu gắn liền với nghiệp vụ cụ thể (ví dụ: tra cứu thẻ, hỏi vị trí cây ATM).
• Thực thể (Entity): Các trường thông tin có ý nghĩa nghiệp vụ được trích xuất từ câu của người dùng (ví dụ: tên địa điểm, loại dịch vụ).
• Câu mẫu (User says): Tập hợp các câu mẫu tương ứng với từng ý định được dùng để huấn luyện cho mô hình NLP.
• Hành động (Action): Phản hồi của chatbot tương ứng với ý định nhận diện được, có thể là văn bản, hình ảnh, âm thanh hoặc lệnh tác động đến hệ thống thứ ba.
• Đơn vị hội thoại: Khái niệm do tác giả đề xuất để chuẩn hóa dữ liệu, biểu diễn một cặp tương tác hỏi - đáp hoàn chỉnh, bao gồm một câu yêu cầu đầu vào của người dùng (kèm ý định và các thực thể đã gán nhãn) cùng với các hành động phản hồi tương ứng của chatbot.

Về phương pháp nghiên cứu, tác giả sử dụng phương pháp khảo sát so sánh hiện trạng kết hợp với phương pháp phân tích, thiết kế hệ thống phần mềm hướng đối tượng theo chuẩn UML. Đồ án tiến hành khảo sát ba nền tảng xây dựng chatbot phổ biến gồm Chatfuel, Dialogflow và FPT.AI Conversation để xác định khoảng trống chức năng:

Tiêu chí khảo sát	Chatfuel	Dialogflow	FPT.AI Conversation
Tạo dữ liệu huấn luyện từ lịch sử chat	Không có	Đã có nhưng chưa cho sửa hành động	Đã có nhưng chưa cho sửa hành động
Cách thức hiển thị lịch sử chat	Không hỗ trợ	Hiển thị theo từng câu đầu vào đơn lẻ	Hiển thị theo từng câu đầu vào đơn lẻ
Tạo hội thoại qua chat tương tác	Không có	Không có	Không có
Quy trình xây dựng và duyệt dữ liệu	Không có	Không có	Không có
Phân quyền dữ liệu theo nhóm và cấp bậc	Không có	Không có	Không có

Từ kết quả khảo sát, tác giả tiến hành phân tích yêu cầu nghiệp vụ, xác định ba nhóm tác nhân tham gia hệ thống gồm Biên tập dữ liệu, Quản trị dữ liệu và Quản trị viên. Hệ thống được phân rã thành 30 use case chức năng (từ UC001 đến UC030) và các yêu cầu phi chức năng về tính dễ dùng (giao diện trực quan, có cảnh báo khi thao tác sai nghiệp vụ) cùng khả năng mở rộng (dễ dàng bổ sung vai trò và điều chỉnh quy trình mà không phá vỡ cấu trúc mã nguồn).

Thiết kế và triển khai hệ thống

Hệ thống được phát triển theo mô hình ứng dụng web Client-Server độc lập, phân tách rõ ràng giữa Frontend và Backend, giao tiếp với nhau qua giao thức HTTP theo kiến trúc REST API.

[ Frontend: NextJS / ReactJS / Redux ] <--- REST API (JSON) ---> [ Backend: ExpressJS / NodeJS ] <---> [ MongoDB ]
                                                                                |
                                                                        [ External AI Core ]

Về mặt công nghệ:

• Frontend: Xây dựng trên nền tảng thư viện ReactJS kết hợp framework NextJS nhằm tối ưu hóa cơ chế định tuyến qua thư mục pages, tự động chia nhỏ mã nguồn (code-splitting) theo từng trang và tăng tốc độ tải trang. Thư viện Redux được sử dụng để quản lý trạng thái tập trung cho hai nghiệp vụ dùng chung là phân quyền xác thực (authAction, authReducer) và quản lý nhóm hội thoại (groupAction, groupReducer). Giao diện người dùng sử dụng thư viện Material UI để đảm bảo tính đồng bộ và tái sử dụng thành phần.
• Backend: Xây dựng trên môi trường NodeJS và framework ExpressJS theo mô hình 4 lớp: Route, Controller, Service và Model. Cơ chế bất đồng bộ (non-blocking I/O) và kiến trúc hướng sự kiện của NodeJS giúp tối ưu hiệu năng xử lý các tác vụ truy vấn lịch sử tin nhắn lớn. Hệ thống tích hợp với dịch vụ AI Core bên ngoài qua API /api/v1/ai/predict/action để hỗ trợ dự đoán hành động phản hồi theo thời gian thực khi người làm dữ liệu chat tương tác.
• Cơ sở dữ liệu: Sử dụng hệ quản trị cơ sở dữ liệu phi quan hệ NoSQL MongoDB để lưu trữ dữ liệu dạng tài liệu BSON, đáp ứng tính linh hoạt và khả năng thay đổi cấu trúc của các bản ghi hội thoại.

Hệ thống thiết kế 30 endpoint REST API hoàn chỉnh phục vụ đầy đủ các luồng nghiệp vụ. Cơ sở dữ liệu bao gồm các collection chính được đặc tả chi tiết:

• Script: Lưu trữ các hội thoại huấn luyện, bao gồm mã định danh (_id), danh sách tin nhắn (mainMessages), tên kịch bản (name), tên hiển thị (displayName), nhóm (groupId), mã phiên (sessionId), trạng thái (status), dữ liệu sinh ra để huấn luyện (trainingScript), người tạo (createdBy), người duyệt (approvedBy), thời gian tạo và cập nhật.
• LogRequest: Lưu vết yêu cầu người dùng và phản hồi của bot trong lịch sử, gồm thông tin phân tích NLP (nlu), hành động (action), kết quả phản hồi (result), câu người dùng (userSay), mã phiên (sessionId), trạng thái (status) và thời gian ghi nhận.
• GroupScript: Quản lý các nhóm hội thoại (name, agentId, createdAt).
• Manage: Lưu trữ cấu trúc phân quyền, xác định quản trị dữ liệu phụ trách những biên tập viên và nhóm dữ liệu nào.
• History: Lưu trữ các phiên bản chỉnh sửa của hội thoại phục vụ việc đối soát và truy vết.

Công tác kiểm thử được thực hiện qua các bộ kịch bản kiểm thử chức năng (test cases) dành cho các luồng nghiệp vụ trọng tâm: tạo hội thoại từ lịch sử chat, tạo hội thoại qua chat tương tác và duyệt hội thoại. Ứng dụng đã hoàn thiện việc triển khai thực tế trên máy chủ với tên miền https://smartdialog.club, phục vụ kiểm nghiệm dữ liệu của VietcomBank và FE Credit.

Nội dung chính theo từng chương

Chương 1: Giới thiệu đề tài

Chương 1 trình bày tính cấp thiết của việc phát triển chatbot trong các nghiệp vụ chăm sóc khách hàng và tiếp thị trực tuyến. Tác giả phân tích vai trò cốt lõi của dữ liệu huấn luyện đối với chất lượng của mô hình NLP, chỉ ra các nút thắt trong công tác tạo lập và kiểm soát dữ liệu trên các nền tảng hiện nay. Từ đó, chương này xác định ba mục tiêu lớn của đồ án, đề xuất định hướng giải pháp kỹ thuật dựa trên hai cơ chế tạo dữ liệu (tương tác trực tiếp và bóc tách lịch sử) gắn liền với quy trình kiểm duyệt chất lượng 5 trạng thái và cấu trúc kiến trúc ứng dụng web.

Chương 2: Khảo sát và phân tích yêu cầu

Chương 2 mô tả kịch bản hoạt động điển hình của chatbot xử lý ngôn ngữ tự nhiên từ khâu nhận câu đầu vào, trích xuất ý định và thực thể, lưu trữ lịch sử, dự đoán hành động đến việc phản hồi cho người dùng. Tác giả trình bày kết quả khảo sát ba nền tảng Chatfuel, Dialogflow, FPT.AI Conversation, lập bảng so sánh chi tiết để chứng minh tính cần thiết của việc bổ sung chức năng chỉnh sửa hành động và quy trình phê duyệt. Chương này đặc tả biểu đồ use case tổng quan gồm 30 use case thuộc 3 tác nhân, đồng thời đi sâu vào đặc tả chi tiết 4 use case trung tâm: Tạo hội thoại từ lịch sử chat (UC001), Tạo hội thoại qua chat tương tác (UC002), Chấp nhận hội thoại (UC003) và Xuất báo cáo (UC004), kèm theo các bảng quy định cấu trúc dữ liệu đầu vào và các tiêu chí phi chức năng.

Chương 3: Công nghệ sử dụng

Chương 3 phân tích cơ sở lý thuyết và lý do lựa chọn các công nghệ cho hệ thống. Tác giả so sánh cơ chế Server-Side Rendering truyền thống và Client-Side Rendering hiện đại, làm rõ lợi thế của ReactJS trong việc sử dụng Virtual DOM và cấu trúc Component. Framework NextJS được chọn để giải quyết bài toán tải trang và chia nhỏ gói mã nguồn. Thư viện Redux được phân tích qua mô hình luồng dữ liệu một chiều giải quyết bài toán chia sẻ trạng thái phức tạp. Ở phía máy chủ, tác giả phân tích hiệu năng của môi trường thực thi NodeJS V8, tính linh hoạt của ExpressJS trong việc xây dựng REST API, và khả năng lưu trữ tài liệu BSON phi cấu trúc của MongoDB so với các cơ sở dữ liệu quan hệ SQL truyền thống.

Chương 4: Phát triển và triển khai ứng dụng

Chương 4 tập trung vào việc hiện thực hóa hệ thống. Tác giả trình bày biểu đồ kiến trúc tổng thể, kiến trúc Frontend (gồm 5 màn hình thành phần chính: Script, History, Manage, Report, Dashboard) và kiến trúc Backend 4 lớp. Chương này cung cấp biểu đồ tuần tự chi tiết mô tả luồng dữ liệu cho hai ca sử dụng tạo hội thoại, bảng danh mục 30 REST API, sơ đồ thực thể liên kết (ERD) và chi tiết lược đồ của các collection trong cơ sở dữ liệu MongoDB. Kết quả xây dựng ứng dụng được minh họa thông qua hệ thống các màn hình giao diện thực tế và các bộ kịch bản kiểm thử chấp nhận chức năng.

Chương 5: Các giải pháp và đóng góp nổi bật

Chương 5 hệ thống hóa các giải pháp kỹ thuật mang tính sáng tạo của đồ án:

• Thiết kế quy trình đảm bảo chất lượng dữ liệu: Xây dựng luồng phê duyệt 5 trạng thái (đang xây dựng, chờ phê duyệt, đang phê duyệt, trả lại, chấp nhận) phân cấp giữa biên tập dữ liệu và quản trị dữ liệu, đảm bảo chỉ có dữ liệu được chấp nhận mới đưa vào tập huấn luyện của bot.
• Thành phần quản lý quyền tập trung: Đóng gói toàn bộ logic phân quyền hiển thị tại một điểm xử lý duy nhất ở giao diện, giúp hệ thống dễ dàng mở rộng khi xuất hiện thêm vai trò mới.
• Cơ chế đơn vị hội thoại: Chuyển đổi cách hiển thị lịch sử chat từ dạng câu đơn lẻ sang dạng các khối hỏi - đáp hoàn chỉnh, cho phép người làm dữ liệu chỉnh sửa linh hoạt cả ý định, thực thể lẫn hành động của bot.
• Tạo dữ liệu qua chat tương tác: Cung cấp công cụ cho phép người làm dữ liệu vừa đóng vai người dùng trò chuyện trực tiếp với bot, vừa can thiệp điều chỉnh hành vi của bot ngay trong phiên chat.
• Đánh giá hiệu quả hoạt động của bot: Thiết lập hệ thống thống kê và xuất báo cáo (Excel, PDF, CSV) phân tích các chỉ số: tỷ lệ câu hỏi trả lời được, câu hỏi không trả lời được, câu hỏi bị hỏi lại, tỷ lệ câu hỏi phải chỉnh sửa ý định hoặc hành động, cùng mức độ chính xác của từng ý định.

Chương 6: Kết luận và hướng phát triển

Chương 6 tổng kết các hạng mục công việc đã hoàn thành so với mục tiêu đặt ra, đánh giá ưu điểm và hạn chế của hệ thống phần mềm đã xây dựng, đồng thời đề xuất các định hướng nâng cấp, hoàn thiện ứng dụng trong tương lai.

Kết quả và đóng góp

Về kết quả xây dựng hệ thống phần mềm, đồ án đã hoàn thành:

• Xây dựng hoàn chỉnh ứng dụng web quản lý dữ liệu huấn luyện chatbot với 30 ca sử dụng (use case) và 30 giao diện lập trình ứng dụng (REST API).
• Thiết kế và triển khai 5 phân hệ giao diện chính: quản lý kịch bản hội thoại (Script), quản lý và khai thác lịch sử chat (History), phân quyền quản trị (Manage), thống kê trực quan (Dashboard) và kết xuất báo cáo đa định dạng (Report).
• Triển khai vận hành thử nghiệm trên môi trường trực tuyến tại tên miền https://smartdialog.club, xử lý dữ liệu thực tế cho hai đơn vị: VietcomBank và FE Credit.

Các đóng góp chuyên môn do tác giả đề xuất bao gồm:

1. Quy trình kiểm soát chất lượng dữ liệu đa cấp: Thiết lập mô hình quản lý hai cấp (quản trị dữ liệu và biên tập viên) gắn liền với vòng đời dữ liệu 5 trạng thái nghiêm ngặt, khắc phục triệt để tình trạng dữ liệu huấn luyện đưa vào mô hình NLP có chất lượng không đồng đều trong các tổ chức có quy mô lớn.
2. Đề xuất và chuẩn hóa khái niệm "Đơn vị hội thoại": Thay thế cách hiển thị câu rời rạc của các nền tảng hiện nay bằng cấu trúc cặp hỏi - đáp hoàn chỉnh, hỗ trợ can thiệp toàn diện vào cả ba thành phần: ý định (intent), thực thể (entity) và hành động phản hồi (action).
3. Mô hình kết hợp hai phương thức tạo dữ liệu: Kết hợp hài hòa giữa nguồn dữ liệu khách quan (bóc tách từ lịch sử tương tác của người dùng thực tế) và nguồn dữ liệu chủ quan (chuyên viên trực tiếp chat tương tác và hiệu chỉnh hành vi bot theo thời gian thực).
4. Bộ chỉ số định lượng hiệu quả hoạt động của bot: Xây dựng công cụ phân tích và báo cáo dựa trên số liệu hội thoại thực tế, cho phép đo lường độ chính xác của việc dự đoán ý định và chất lượng phản hồi của bot thông qua tỷ lệ chỉnh sửa của biên tập viên.

Hạn chế và hướng nghiên cứu tiếp

Căn cứ theo nội dung đồ án, hệ thống còn một số điểm hạn chế:

• Phạm vi đồ án mới chỉ tập trung vào tầng ứng dụng quản lý và chuẩn hóa dữ liệu; thành phần lõi trí tuệ nhân tạo (AI Core) vẫn đang phụ thuộc vào dịch vụ bên ngoài, chưa tích hợp trực tiếp cơ chế tự động hóa việc đưa dữ liệu đã duyệt vào tái huấn luyện mô hình NLP ngay trên hệ thống.
• Việc triển khai và đánh giá thực nghiệm mới được tiến hành trong phạm vi hai đối tác thuộc nhóm ngành ngân hàng và tài chính (VietcomBank, FE Credit), chưa kiểm nghiệm trên đa dạng các ngành nghề khác.
• Hệ thống cần tiếp tục tối ưu hóa hiệu năng xử lý khi dung lượng dữ liệu lịch sử chat từ các kênh phân phối (Facebook, Zalo) tăng trưởng ở quy mô cực lớn.

Hướng phát triển tiếp theo được tác giả định hướng:

• Nghiên cứu hoàn thiện cơ chế kết nối tự động giữa hệ thống quản lý dữ liệu và khối huấn luyện của AI Core để tạo thành quy trình khép kín.
• Mở rộng khả năng tích hợp đa kênh và hỗ trợ thêm các kịch bản hội thoại phức tạp hơn.
• Tiếp tục hoàn thiện các thuật toán gợi ý dữ liệu tự động cho biên tập viên nhằm giảm tải thao tác thủ công trong quá trình bóc tách lịch sử chat.

Giá trị tham khảo

Đồ án là tài liệu tham khảo có giá trị ứng dụng thực tiễn cao cho:

• Sinh viên ngành Công nghệ thông tin và Kỹ thuật phần mềm: Cung cấp tài liệu tham khảo chi tiết về quy trình phân tích thiết kế hệ thống theo chuẩn công nghiệp, phương pháp xây dựng ứng dụng Fullstack JavaScript hiện đại (NextJS, ExpressJS, MongoDB, Redux) và cách tổ chức kiến trúc phần mềm phân tầng rõ ràng.
• Kỹ sư phát triển hệ thống chatbot và xử lý ngôn ngữ tự nhiên: Cung cấp giải pháp thực tế cho bài toán quản trị và đảm bảo chất lượng dữ liệu huấn luyện (Data Annotation / Data Curation) – một vấn đề then chốt quyết định sự thành bại của các dự án AI trong doanh nghiệp.
• Phần đáng tham khảo nhất: Tài liệu đặc tả 30 ca sử dụng nghiệp vụ, lược đồ thiết kế cơ sở dữ liệu NoSQL tối ưu cho dữ liệu hội thoại (Bảng 9 đến Bảng 12), và giải pháp thiết kế quy trình kiểm soát 5 trạng thái kết hợp phân quyền quản lý tập trung tại Chương 4 và Chương 5.

Câu hỏi thường gặp

1. Ba nền tảng chatbot phổ biến được khảo sát trong đồ án bộc lộ những hạn chế kỹ thuật cụ thể nào?

Khảo sát tại Bảng 1 cho thấy: Chatfuel hoàn toàn không hỗ trợ tạo dữ liệu huấn luyện từ lịch sử trò chuyện. Dialogflow và FPT.AI Conversation đã hỗ trợ tính năng này nhưng chỉ hiển thị dữ liệu theo từng câu đầu vào đơn lẻ và chỉ cho phép sửa ý định, thực thể chứ chưa hỗ trợ chỉnh sửa hành động phản hồi của bot. Ngoài ra, cả ba nền tảng đều không hỗ trợ tạo hội thoại qua chat tương tác trực tiếp, thiếu quy trình kiểm duyệt chất lượng dữ liệu và không hỗ trợ phân quyền theo nhóm hay cấp bậc quản trị.

2. Khái niệm "Đơn vị hội thoại" do tác giả đề xuất được cấu thành từ những thành phần nào?

Đơn vị hội thoại là một thành phần hỏi - đáp hoàn chỉnh, bao gồm một câu yêu cầu đầu vào của người dùng đi kèm với thông tin về ý định (intent) và các thực thể (entity) được trích xuất, nối tiếp là các hành động (action) phản hồi tương ứng của chatbot. Cấu trúc này giúp người làm dữ liệu nắm bắt trọn vẹn ngữ cảnh giao tiếp thay vì chỉ xử lý các câu văn riêng lẻ.

3. Quy trình đảm bảo chất lượng dữ liệu trong hệ thống được vận hành qua những trạng thái nào?

Dữ liệu huấn luyện phải trải qua quy trình kiểm soát gồm 5 trạng thái: đang xây dựng, chờ phê duyệt, đang phê duyệt, trả lại và chấp nhận. Dữ liệu được quản lý qua hai cấp bậc: biên tập dữ liệu (người tạo và chỉnh sửa) và quản trị dữ liệu (người duyệt). Khi quản trị viên đang duyệt, hội thoại chuyển sang trạng thái đang phê duyệt và khóa quyền sửa của biên tập viên; chỉ những dữ liệu đạt trạng thái chấp nhận mới được xuất ra để đưa vào tập huấn luyện của bot.

4. Hệ thống đã được triển khai thực tế trên hạ tầng nào và thử nghiệm với các đơn vị nào?

Hệ thống phần mềm đã được đóng gói và triển khai vận hành trực tuyến trên môi trường web tại địa chỉ tên miền https://smartdialog.club. Về mặt nghiệp vụ dữ liệu, hệ thống đã được đưa vào ứng dụng thử nghiệm thực tế trên các tập hội thoại thuộc lĩnh vực ngân hàng của VietcomBank và lĩnh vực tài chính của FE Credit.

5. Dữ liệu báo cáo của hệ thống hỗ trợ xuất ra những định dạng nào và theo dõi các chỉ số chính nào?

Hệ thống cho phép xuất báo cáo ra ba định dạng file gồm Excel, PDF và CSV theo các khoảng thời gian tùy chọn (Tuần, Tháng hoặc khoảng thời gian cố định). Các chỉ số theo dõi chính bao gồm: câu hỏi trả lời được, câu hỏi không trả lời được, câu hỏi bị hỏi lại, câu hỏi đã duyệt không cần sửa, câu hỏi chỉ sửa ý định, câu hỏi chỉ sửa hành động, câu hỏi sửa cả ý định và hành động, cùng danh sách ý định được yêu cầu nhiều nhất/ít nhất và dự đoán tốt nhất/tồi nhất.

Kết luận

Đồ án tốt nghiệp "Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại trong chatbot" đã giải quyết thành công bài toán nâng cao chất lượng và quy mô dữ liệu huấn luyện cho chatbot thông qua việc kết hợp giữa bóc tách lịch sử trò chuyện và chat tương tác trực tiếp. Tác giả đã hoàn thiện việc phân tích, thiết kế và phát triển một hệ thống ứng dụng web hoàn chỉnh sử dụng công nghệ NextJS, ExpressJS và cơ sở dữ liệu MongoDB, tích hợp quy trình kiểm duyệt dữ liệu 5 trạng thái phân cấp nghiêm ngặt. Ứng dụng đã được triển khai vận hành thực tế tại tên miền https://smartdialog.club và chứng minh tính hiệu quả qua việc thử nghiệm trên dữ liệu của VietcomBank và FE Credit, đóng góp một giải pháp kỹ thuật hữu ích cho công tác phát triển chatbot doanh nghiệp.

Trích đoạn nội dung tài liệu

Đặt vấn đề Những năm gần đây, những thành tựu của trí tuệ nhân tạo cùng với sự bùng nổ của các ứng dụng nhắn tin đã và đang thúc đẩy sự tăng trưởng và phát triển của chatbot. Hiểu một cách đơn giản, chatbot là một chương trình máy tính mô phỏng cuộc trò chuyện của con người. Từ yêu cầu đầu vào, chatbot phán đoán ý định, mong muốn của người dùng, phản hồi hành động tương ứng. Chatbot có thể hỗ trợ doanh nghiệp trong nhiều lĩnh vực khác nhau như chăm sóc khách hàng, marketing trực tuyến, v.v Hoạt động của chatbot dựa trên giải thuật xử lý ngôn ngữ tự nhiên (Natural Language Processing – NLP).

Qua đó, chatbot có thể tự động trả lời từ dữ liệu con người đã dạy. Chatbot có hoạt động tốt hay không, có “thông minh” hay không, dữ liệu huấn luyện đóng vai trò quan trọng. Việc xây dựng và huấn luyện chatbot, hiện nay trên thế giới và Việt Nam, đã có một số nền tảng phổ biến như Chatfuel [1], Dialogflow [2] và FPT.v Tuy nhiên các nền tảng trên có một số hạn chế về tạo dữ liệu từ hội thoại để huấn luyện. Đó là chưa tận dụng được hoặc chưa tận dụng triệt để lịch sử hội thoại của người dùng, chưa có quy trình phê duyệt đảm bảo chất lượng dữ liệu, việc đánh giá chất lượng chatbot triển khai trong thực tế còn chưa rõ ràng.

Các vấn đề kể trên khiến việc tạo dữ liệu để huấn luyện còn gặp nhiều khó khăn, số lượng dữ liệu có thể ít, chất lượng không đảm bảo, dẫn tới khả năng bot có thể phản hồi không tốt với người dùng. Do đó, em chọn đề tài “Hệ thống xây dựng dữ liệu huấn luyện từ hội thoại trong chatbot” để cải tiến chất lượng, số lượng dữ liệu hội thoại huấn luyện, đánh giá và nâng cao độ hiệu quả của chatbot trong thực tế.2 Mục tiêu và phạm vi đề tài Dựa vào những vấn đề thực tiễn và mục đích nêu trên, đồ án tập trung vào các mục tiêu bao gồm i) xây dựng cơ chế tạo dữ liệu huấn luyện từ hội thoại, ii) thiết kế phương pháp đảm 1 bảo chất lượng dữ liệu để đưa vào huấn luyện, iii) cung cấp công cụ trực quan hóa hiệu quả hoạt động của chatbot trong thực tế sử dụng. Với mục tiêu như vậy, em phân tích, thiết kế và xây dựng hệ thống với những chức năng chính bao gồm người làm dữ liệu có thể tạo dữ liệu huấn luyện từ hội thoại một cách trực quan sinh động và dễ sử dụng, dữ liệu được xây dựng phải tuân theo một quy trình để được đưa vào huấn luyện. Các dữ liệu đã xây dựng cần phải theo một quy trình khắt khe để được chấp nhận đưa vào huấn luyện Ngoài ra, để quan sát tính hiệu quả của bot trong thực tế, hệ thống cung cấp các bảng biểu và các dạng báo cáo thích hợp.

Qua đó, công việc tạo và huấn luyện chatbot trở nên dễ dàng hơn và đạt hiệu quả mong muốn.3 Định hướng giải pháp Để đạt được mục tiêu như trên, em đề xuất và thiết kế một số giải pháp. Đầu tiên, do hệ thống dựa trên hội thoại để xây dựng dữ liệu huấn luyện nên nguồn hội thoại là vô cùng quan trọng. Để có được nguồn hội thoại phong phú và dồi dào, em đưa ra hai hướng giải quyết. Thứ nhất là hỗ trợ bóc tách lịch sử chat của người dùng để đưa vào xây dựng dữ liệu huấn luyện.

Phương pháp này giúp người làm dữ liệu có nguồn hội thoại khách quan từ người dùng. Thứ hai là cung cấp công cụ chat cho chính người làm dữ liệu để tương tác, chỉnh sửa hành vi của bot trong quá trình chat trực tiếp.