Bối cảnh và vấn đề nghiên cứu

Trong xu thế phát triển của cuộc Cách mạng Công nghiệp 4.0, giao diện hội thoại tự động (Chatbot) và trợ lý ảo ngày càng khẳng định vai trò then chốt trong việc thay đổi phương thức tương tác giữa con người và các hệ thống phần mềm. Bối cảnh thực tiễn được tác giả luận văn dẫn chứng thông qua phát biểu của Satya Nadella (CEO Microsoft): "Chatbot will fundamentally revolutionize how computing is experienced by everybody", cùng hàng loạt số liệu thống kê quốc tế về tiềm năng thương mại và công nghệ của hệ thống hội thoại tự động:

Chỉ số / Tiêu chí phát triển Chatbot Số liệu thống kê trong văn bản
Số lượng chatbot hoạt động trên Facebook Messenger (11/2018) 100.000 chatbot
Tỷ lệ doanh nghiệp có định hướng ứng dụng chatbot vào năm 2020 80% doanh nghiệp
Tỷ lệ người dùng sẵn sàng kết nối doanh nghiệp qua tin nhắn chatbot 63% người dùng
Tỷ lệ người dùng từng tương tác với chatbot qua ứng dụng 59% người dùng
Tốc độ tăng trưởng số lượng chatbot giai đoạn 2017–2021 37,11%
Tỷ lệ chuyển đổi dịch vụ chăm sóc khách hàng tự động / robot AI 56% công ty truyền thông/công nghệ; 33% dùng AI robot trước 2019
Tỷ lệ tương tác thành công trong lĩnh vực y tế và ngân hàng Hiện tại đạt 75%, chỉ số kỳ vọng tương lai đạt 90%
Khả năng cắt giảm chi phí chăm sóc khách hàng nhờ chatbot Giảm 30% chi phí; tiết kiệm 8 tỷ USD vào 2022 (so với 20 triệu USD năm 2017)
Lượng tin nhắn di động toàn cầu năm 2017 và tỷ lệ mở đọc 28,2 tỷ tin nhắn (gấp đôi 2012); tỷ lệ đọc 98% (so với 22% của email)

Tại Việt Nam, các dịch vụ chăm sóc khách hàng trực tuyến qua tin nhắn đang phát triển mạnh mẽ nhưng chủ yếu vẫn vận hành theo phương thức thủ công. Điều này làm phát sinh chi phí nhân sự lớn và tiêu tốn nhiều thời gian xử lý những nhóm câu hỏi lặp lại, đơn giản. Do đó, việc xây dựng một hệ thống hội thoại tự động thông minh phục vụ lĩnh vực tài chính – ngân hàng là nhu cầu cấp thiết.

Mục tiêu và nhiệm vụ nghiên cứu của luận văn bao gồm:

  1. Nghiên cứu tổng quan về cấu trúc các thành phần cốt lõi của một hệ thống chatbot, bao gồm: Hiểu ngôn ngữ tự nhiên (NLU), Quản lý hội thoại (DM) và Sinh ngôn ngữ tự nhiên (NLG).
  2. Tìm hiểu và phân tích các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) và học máy/học sâu: biểu diễn từ (word embedding), phân loại ý định (intent classification), trích xuất thực thể/thông tin (entity extraction / slot filling), quản lý ngữ cảnh hội thoại.
  3. Tập trung giải quyết bài toán chatbot hướng mục tiêu trong miền đóng (closed-domain task-oriented chatbot) theo mô hình truy xuất thông tin (retrieval-based).
  4. Thiết kế, tùy chỉnh và xây dựng ứng dụng chatbot hỗ trợ người dùng thực tế trong lĩnh vực ngân hàng điện tử (e-banking) trên nền tảng mã nguồn mở Rasa cho tiếng Việt.

Đối tượng và phạm vi nghiên cứu:

  • Đối tượng nghiên cứu: Các mô hình, giải thuật xử lý ngôn ngữ tự nhiên, kỹ thuật học sâu trong hệ thống đối thoại người – máy và đối tượng người dùng tương tác là khách hàng cá nhân sử dụng dịch vụ ngân hàng điện tử.
  • Phạm vi nghiên cứu: Miền ứng dụng đóng (closed domain) trong nghiệp vụ ngân hàng điện tử (truy vấn số dư tài khoản, tra cứu lãi suất tiết kiệm, lãi suất vay vốn theo kỳ hạn); dữ liệu giao tiếp xử lý bằng văn bản tiếng Việt.

Cơ sở lý thuyết và phương pháp

Luận văn tiếp cận bài toán xây dựng chatbot dựa trên hệ thống cơ sở lý thuyết xử lý ngôn ngữ tự nhiên và học máy:

1. Khung lý thuyết và mô hình hệ thống

Hệ thống chatbot hướng tác vụ miền đóng được cấu thành từ ba khối chức năng chính:

  • Khối hiểu ngôn ngữ tự nhiên (NLU - Natural Language Understanding): Chịu trách nhiệm phân loại miền nghiệp vụ (Domain Classification), phân loại ý định người dùng (Intent Classification) và trích xuất thực thể thông tin (Entity Extraction / Slot Filling).
  • Khối quản lý hội thoại (DM - Dialogue Management): Tiếp nhận dữ liệu từ NLU để theo dõi trạng thái hội thoại (Dialogue State Tracking - DST) và áp dụng chính sách đối thoại (Dialogue Policy) nhằm xác định hành động (Action) tiếp theo hoặc kích hoạt các API tra cứu dữ liệu.
  • Khối sinh ngôn ngữ tự nhiên (NLG - Natural Language Generation): Chuyển đổi các quyết định hành động và dữ liệu từ khối quản lý hội thoại thành văn bản phản hồi hoàn chỉnh trả lời người dùng.

2. Các mô hình và kỹ thuật toán học

  • Biểu diễn ngôn ngữ và nhúng từ (Word Embedding): Chuyển đổi các từ ngữ thành vector số thực trong không gian liên tục nhiều chiều thông qua các mô hình CBOW (Continuous Bag of Words), Skip-Gram, Word2Vec, GloVe, FastText.
  • Phân loại ý định (Intent Classification): Sử dụng các mô hình học máy và mạng nơ-ron như Naive Bayes, Cây quyết định (Decision Tree / Random Forest), Máy vector hỗ trợ (SVM), Mạng nơ-ron tích chập (CNN), Mạng nơ-ron hồi quy (RNN) và Mạng bộ nhớ ngắn-dài (LSTM). Mạng ANN sử dụng hàm kích hoạt phi tuyến (Sigmoid, Tanh, ReLU), lan truyền xuôi (Forward Propagation), hàm mất mát Cross-Entropy (Negative Log Likelihood) và tối ưu hóa bằng giải thuật hạ đạo hàm ngẫu nhiên (SGD / Mini-batch Gradient Descent) kết hợp lan truyền ngược (Backpropagation).
  • Trích xuất thông tin (Entity Extraction): Mô hình hóa dưới dạng bài toán gán nhãn chuỗi (Sequence Labeling) theo cấu trúc tiền tố B-I-O (Beginning, Inside, Outside). Các giải thuật áp dụng gồm mô hình Markov ẩn (HMM), Trường ngẫu nhiên điều kiện (CRF - Conditional Random Fields thông qua CRF++, CRFSuite, Mallet) và mạng RNN.
  • Quản lý hội thoại và theo dõi trạng thái: Phân tích mô hình Máy trạng thái hữu hạn (FSA - Finite State Automata), mô hình hướng khung (Frame-based / Form-based Slot Filling), mô hình Word-based DST và GLAD (Global-Locally Self-Attentive Dialogue State Tracker).
  • Sinh ngôn ngữ: Phân loại theo 4 hướng tiếp cận: Dựa trên mẫu định sẵn (Template-based), Dựa trên lập kế hoạch (Plan-based), Dựa trên lớp dữ liệu huấn luyện (Class-based) và Dựa trên mạng hồi quy (RNN-based).

3. Phương pháp nghiên cứu và dữ liệu thực nghiệm

  • Phương pháp nghiên cứu: Phương pháp phân tích – tổng hợp lý thuyết kết hợp phương pháp thực nghiệm kỹ thuật phần mềm. Tác giả tiến hành chuẩn hóa quy trình xử lý ngôn ngữ tiếng Việt (tách từ ghép, làm sạch chính tả, gán nhãn từ loại), cấu hình đường ống xử lý (Pipeline), huấn luyện dữ liệu mẫu và đánh giá hệ thống thông qua ma trận nhầm lẫn (Confusion Matrix).
  • Nguồn dữ liệu: Bộ dữ liệu mẫu về các mẫu câu thoại, ý định (intent) và thực thể (entity) thuộc nghiệp vụ ngân hàng điện tử (tra cứu số dư, hỏi lãi suất vay, hỏi lãi suất gửi tiết kiệm theo các kỳ hạn 3 tháng, 12 tháng...) được tác giả tự biên soạn và gán nhãn cho việc huấn luyện framework Rasa.

Thiết kế và triển khai hệ thống

Luận văn tiến hành thiết kế và cài đặt hệ thống chatbot dựa trên nền tảng khung phần mềm mã nguồn mở Rasa Core và Rasa NLU, tối ưu hóa cho ngữ pháp và ngữ nghĩa tiếng Việt trong môi trường ngân hàng.

Thành phần thiết kế Công nghệ / Giải thuật cài đặt trong văn bản Chức năng chi tiết
Tiền xử lý văn bản Tokenizer, Word Segmentation, Normalization Làm sạch dữ liệu đầu vào, xử lý từ viết tắt, chuẩn hóa sai chính tả, nhận diện từ ghép tiếng Việt (ví dụ: "tài khoản").
Trích xuất đặc trưng & Ý định Vectorization, Embedding, Intent Classifier Vector hóa câu truy vấn, trích xuất đặc trưng từ và phân loại mẫu câu vào các nhóm ý định (như hỏi số dư, hỏi lãi suất).
Trích xuất thực thể Gán nhãn BIO, CRF / Neural Sequence Labeling Trích xuất các thực thể nghiệp vụ: Vị trí (Location), Thời gian (Datetime), Số (Number), Liên hệ (Contact), Khoảng thời gian (Duration/Term).
Bộ quản lý hội thoại (DM) Frame-based / Policy Model trong Rasa Core Lưu trữ trạng thái hội thoại, kiểm tra việc điền dữ liệu vào các khe thông tin (slot filling), kích hoạt hành động gọi API nghiệp vụ.
Bộ sinh phản hồi (NLG) Template-based NLG Khớp hành động và tham số để trả về các mẫu câu phản hồi đã được chuẩn bị sẵn, bao gồm cả kịch bản phản hồi mặc định khi không hiểu ý định.

Quy trình kiểm thử hệ thống được thực hiện bằng cách đưa các tập câu thoại thử nghiệm thực tế với người dùng, đo lường khả năng phân loại chính xác ý định (Intent Accuracy), mức độ nhầm lẫn giữa các ý định thông qua ma trận nhầm lẫn (Confusion Matrix) và độ chính xác của các hành động trả lời (Action Selection).

Nội dung chính theo từng chương

Phần Mở đầu

Trình bày tổng quan về cuộc bùng nổ tin nhắn số, các số liệu thống kê thương mại về thị trường chatbot quốc tế và sự chuyển dịch của các nền tảng công nghệ số. Nêu rõ động lực nghiên cứu xuất phát từ thực trạng chăm sóc khách hàng thủ công tốn kém tại các ngân hàng Việt Nam, từ đó xác lập mục tiêu, đối tượng, phạm vi nghiên cứu hệ thống chatbot hướng tác vụ miền đóng cho ngân hàng điện tử và cấu trúc 3 chương của luận văn.

Chương 1: Tổng quan hệ thống Chatbot

Chương 1 đi sâu vào phân tích kiến trúc lý thuyết và phân loại các hệ thống đối thoại người – máy:

  • Phân loại: Phân biệt hệ thống hướng mục tiêu (Task-oriented) và đối thoại phi cấu trúc (Chit-chat); hệ thống miền mở (Open domain - không giới hạn chủ đề) và miền đóng (Closed domain - tập trung sâu vào miền kiến trúc chuyên biệt).
  • Kiến trúc NLU: Chi tiết hóa đường ống NLU gồm phân loại miền, phân loại ý định và trích xuất thực thể. Phân tích bài toán tách từ tiếng Việt (Word Segmentation) đối với từ đơn, từ ghép và giới thiệu các giải thuật Longest Matching, Maximum Matching, HMM, CRF. Giới thiệu mô hình gán nhãn chuỗi thực thể theo định dạng B-I-O với các loại thực thể phổ biến (Location, Datetime, Number, Contact, Distance, Duration).
  • Kiến trúc DM và NLG: So sánh ưu nhược điểm của mô hình máy trạng thái hữu hạn (FSA) và mô hình hướng khung (Frame-based). Giới thiệu 4 phương pháp sinh phản hồi ngôn ngữ tự nhiên: Template-based, Plan-based, Class-based và RNN-based.

Chương 2: Một số kỹ thuật sử dụng trong Chatbot

Chương 2 trình bày chi tiết nền tảng toán học và giải thuật học máy/học sâu ứng dụng trong xử lý ngôn ngữ và quản lý đối thoại:

  • Mạng nơ-ron nhân tạo (ANN): Cấu trúc 3 tầng (Input, Hidden, Output), cơ chế kích hoạt qua hàm Sigmoid và Tanh, công thức tính toán lan truyền xuôi, hàm mất mát Cross-Entropy Loss, thuật toán tối ưu Gradient Descent (Batch GD và SGD), giải thuật lan truyền ngược (Backpropagation).
  • Mạng nơ-ron hồi quy (RNN): Cơ chế xử lý dữ liệu dạng chuỗi tuần tự với trạng thái ẩn $s_t = f(U x_t + W s_{t-1})$ đóng vai trò bộ nhớ và hàm dự đoán đầu ra $o_t = \text{softmax}(V s_t)$.
  • Mạng LSTM (Long Short-Term Memory): Phân tích hạn chế phụ thuộc xa của RNN chuẩn và cấu tạo tế bào trạng thái với các cổng (layer) lặp giúp lưu giữ thông tin lâu dài.
  • Biểu diễn từ & Quản lý trạng thái hội thoại: Trình bày mô hình CBOW, Skip-Gram; các mô hình theo dõi trạng thái đối thoại hiện đại như Word-based DST và GLAD (Global-Locally Self-Attentive DST).

Chương 3: Xây dựng Chatbot hỗ trợ người dùng lĩnh vực ngân hàng

Chương 3 trình bày toàn bộ quá trình hiện thực hóa và thử nghiệm giải pháp:

  • Cài đặt nền tảng Rasa: Ứng dụng framework mã nguồn mở Rasa để xây dựng các thành phần NLU và Dialogue Management.
  • Xây dựng dữ liệu huấn luyện: Thiết kế các tập dữ liệu huấn luyện cho ý định (Intent), gán nhãn thực thể (Entity) và xây dựng tập kịch bản câu trả lời (Template Action) cho các tình huống: hỏi số dư tài khoản, tra cứu lãi suất tiết kiệm, tra cứu lãi suất vay vốn, và câu phản hồi mặc định khi không nhận dạng được yêu cầu.
  • Thử nghiệm và đánh giá: Tiến hành thử nghiệm hội thoại thực tế với người dùng, phân tích ma trận ước lượng nhầm lẫn dữ liệu intent, ma trận ước lượng độ chính xác tập huấn luyện và ước lượng độ nhầm lẫn trong việc lựa chọn câu trả lời (action) của bot.

Phần Kết luận

Tổng kết lại các nội dung nghiên cứu lý thuyết và kết quả xây dựng ứng dụng thử nghiệm chatbot ngân hàng trên Rasa; chỉ ra các điểm còn tồn tại và đề xuất hướng mở rộng phát triển tiếp theo.

Kết quả và đóng góp

Luận văn đã đạt được các kết quả kỹ thuật và đóng góp học thuật cụ thể sau:

  1. Hệ thống hóa cơ sở lý thuyết chuyên sâu: Cung cấp bức tranh toàn diện và chi tiết về cấu trúc hệ thống đối thoại tự động (NLU, DM, NLG), phân tích tường minh các mô hình giải thuật từ học máy truyền thống (HMM, CRF, SVM, Decision Tree) đến học sâu (ANN, RNN, LSTM, DST, GLAD) áp dụng cho chatbot.
  2. Triển khai ứng dụng thực nghiệm hoàn chỉnh: Xây dựng thành công hệ sinh thái chatbot hỗ trợ khách hàng trong lĩnh vực ngân hàng điện tử (e-banking) sử dụng framework Rasa, có khả năng tiếp nhận và xử lý truy vấn văn bản tiếng Việt.
  3. Xây dựng bộ ngữ liệu nghiệp vụ ngân hàng: Biên soạn và chuẩn hóa bộ dữ liệu huấn luyện mẫu bao gồm các intent nghiệp vụ tài chính (tra cứu số dư tài khoản, lãi suất theo kỳ hạn), các thực thể số/thời gian và hệ thống mẫu phản hồi tương ứng.
  4. Đánh giá thực nghiệm khoa học: Thực hiện thử nghiệm tương tác đối thoại thực tế, sử dụng ma trận nhầm lẫn (Confusion Matrix) để định lượng độ chính xác của mô hình phân loại ý định và độ chuẩn xác của bộ quản lý hành động hội thoại.

Hạn chế và hướng nghiên cứu tiếp

Dựa trên phạm vi và kết quả thực nghiệm được trình bày trong văn bản, luận văn ghi nhận các hạn chế và hướng phát triển:

  • Hạn chế:

    • Phạm vi nghiệp vụ của chatbot còn giới hạn trong một số tác vụ e-banking đóng định sẵn (tra cứu số dư, lãi suất); chưa bao quát toàn bộ hệ thống dịch vụ đa dạng của ngân hàng thương mại.
    • Vấn đề nhận diện câu thoại chứa đồng thời nhiều ý định phức tạp (Multiple Intents trong cùng một câu nói) vẫn là thách thức lớn, dễ dẫn đến phân loại sai lệch hoặc thiếu sót.
    • Khối sinh ngôn ngữ tự nhiên chủ yếu vận hành theo mô hình mẫu định sẵn (Template-based), do đó độ linh hoạt và tự nhiên của câu phản hồi còn phụ thuộc vào dữ liệu gán nhãn thủ công.

  • Hướng nghiên cứu tiếp theo:

    • Mở rộng tập dữ liệu huấn luyện và kịch bản đối thoại cho nhiều nghiệp vụ ngân hàng phức tạp hơn (chuyển khoản, thanh toán hóa đơn, mở thẻ tín dụng).
    • Tích hợp thêm các mô-đun nâng cao như nhận dạng và tổng hợp giọng nói (Speech-to-Text và Text-to-Speech) nhằm hỗ trợ đa kênh tương tác.
    • Nghiên cứu áp dụng các kiến trúc mạng học sâu tiên tiến hơn (như Bi-LSTM, GLAD, Transformer) để nâng cao độ chính xác trong bài toán theo dõi trạng thái đối thoại đa bước (Dialogue State Tracking).

Giá trị tham khảo

Tài liệu luận văn mang lại giá trị tham khảo thiết thực cho các nhóm đối tượng:

  • Học viên, sinh viên ngành Công nghệ thông tin và Kỹ thuật phần mềm: Là tài liệu tham khảo có hệ thống về cấu trúc một hệ thống đối thoại hướng nhiệm vụ (Task-oriented Chatbot), quy trình tiền xử lý ngôn ngữ tiếng Việt và toán học mạng nơ-ron (ANN, RNN, LSTM).
  • Kỹ sư phát triển phần mềm và chuyên viên AI: Có thể tham khảo trực tiếp mô hình pipeline xử lý của Rasa NLU, cách thiết kế dữ liệu huấn luyện intent/entity/action và phương pháp đánh giá hệ thống bằng ma trận nhầm lẫn khi triển khai chatbot thực tế trong các lĩnh vực ngân hàng, tài chính, dịch vụ khách hàng.

Câu hỏi thường gặp

1. Khóa luận tập trung giải quyết bài toán chatbot thuộc loại nào và trong phạm vi miền ứng dụng nào?
Luận văn tập trung giải quyết bài toán chatbot hướng mục tiêu (Task-oriented) hoạt động trong miền ứng dụng đóng (Closed domain), phản hồi theo mô hình truy xuất thông tin (Retrieval-based) phục vụ khách hàng cá nhân sử dụng hệ thống ngân hàng điện tử (e-banking).

2. Khối Hiểu ngôn ngữ tự nhiên (NLU) trong luận văn gồm những bước xử lý chính nào?
Đường ống xử lý (Pipeline) của NLU gồm 3 bước chính: Phân loại tên miền (Domain Classification), Phân loại ý định (Intent Classification) và Trích xuất thực thể/thông tin (Entity Extraction / Slot Filling) kết hợp tiền xử lý tách từ tiếng Việt.

3. Phương pháp gán nhãn nào được tác giả sử dụng cho bài toán trích xuất thực thể?
Tác giả sử dụng mô hình gán nhãn chuỗi theo cấu trúc B-I-O (Beginning - Bắt đầu, Inside - Nằm trong, Outside - Nằm ngoài thực thể) để xác định vị trí và phạm vi các thực thể trong câu thoại (như vị trí, thời gian, số lượng).

4. Luận văn sử dụng nền tảng công nghệ mã nguồn mở nào để xây dựng chatbot ngân hàng?
Tác giả sử dụng framework mã nguồn mở Rasa (kết hợp Rasa NLU và Rasa Core) để huấn luyện dữ liệu ngôn ngữ, quản lý hội thoại và kết nối các hành động phản hồi cho chatbot e-banking tiếng Việt.

5. Những nghiệp vụ ngân hàng cụ thể nào được xây dựng dữ liệu huấn luyện trong chương thực nghiệm?
Các nghiệp vụ được xây dựng kịch bản và dữ liệu thử nghiệm bao gồm: tra cứu thông tin số dư tài khoản, hỏi lãi suất vay vốn, hỏi lãi suất gửi tiết kiệm (theo các kỳ hạn như 3 tháng, 12 tháng) và phản hồi mặc định khi không nhận diện được ý định.

Kết luận

Luận văn thạc sĩ của tác giả Nguyễn Tất Tiến đã hoàn thành nghiên cứu toàn diện về kiến trúc và các kỹ thuật xử lý ngôn ngữ tự nhiên, học máy, học sâu ứng dụng trong hệ thống chatbot hướng tác vụ miền đóng. Tác giả đã triển khai thành công mô hình chatbot thực nghiệm hỗ trợ nghiệp vụ ngân hàng điện tử tiếng Việt dựa trên nền tảng Rasa, thực hiện huấn luyện và kiểm thử độ chính xác bằng ma trận nhầm lẫn khoa học. Công trình là tài liệu tham khảo có giá trị chuyên môn cao đối với việc nghiên cứu và ứng dụng trí tuệ nhân tạo trong tự động hóa dịch vụ khách hàng ngành tài chính – ngân hàng.