Luận văn thạc sĩ: Nghiên cứu và xây dựng chatbot hỗ trợ người dùng trong ngân hàng

Luận văn thạc sĩ công nghệ thông tin nghiên cứu xây dựng chatbot hỗ trợ người dùng trong ngân hàng, nâng cao trải nghiệm dịch vụ tài chính.

• Tác giả: Nguyễn Tất Tiến
• Người hướng dẫn: TS. Nguyễn Văn Vinh
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Kỹ thuật phần mềm
• Đề tài: Nghiên cứu và phát triển chatbot hỗ trợ ngân hàng
• Loại tài liệu: luận văn thạc sĩ
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

Mục lục chi tiết

• LỜI CAM ĐOAN
• LỜI CẢM ƠN
• DANH MỤC KÝ HIỆU VÀ CÁC CHỮ VIẾT TẮT
• DANH MỤC HÌNH VẼ VÀ ĐỒ THỊ
• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN HỆ THỐNG CHATBOT
• 1.1. Giới thiệu
• 1.2. Cấu trúc các thành phần hệ thống chatbot
• 1.3. Hiểu ngôn ngữ tự nhiên (NLU)
• 1.4. Quản lý hội thoại (DM)
• 1.4.1. Mô hình máy trạng thái hữu hạn FSA
• 1.4.2. Mô hình Frame-based
• 1.5. Thành phần sinh ngôn ngữ (NLG)
• 1.5.1. Template-based NLG
• 1.5.2. Plan-based NLG
• 1.5.3. Class-based NLG
• 2. CHƯƠNG 2: MỘT SỐ KỸ THUẬT SỬ DỤNG TRONG CHATBOT
• 2.1. Kiến trúc mạng nơ ron nhân tạo
• 2.2. Mạng nơ ron hồi quy RNN
• 2.3. Mạng Long short Term Memory (LSTM)
• 2.3.1. Vấn đề phụ thuộc quá dài
• 2.3.2. Kiến trúc mạng LSTM
• 2.3.3. Phân tích mô hình LSTM
• 2.5. Ứng dụng RNN vào quản lý hội thoại
• 2.5.1. Mô hình word-based DST
• 2.5.2. Mô hình Global-Locally Self-Attentive DST (GLAD)
• 3. CHƯƠNG 3: XÂY DỰNG CHATBOT HỖ TRỢ NGƯỜI DÙNG LĨNH VỰC NGÂN HÀNG
• 3.2. Xây dựng chatbot hỗ trợ người dùng lĩnh vực ngân hàng
• 3.3. Ứng dụng RASA xây dựng chatbot
• 3.4. Xây dựng dữ liệu chatbot
• 3.4.1. Xây dựng ý định
• 3.4.2. Xây dựng entity
• 3.4.3. Xây dựng câu trả lời cho bot
• 3.4.4. Xây dựng khung kịch bản (history)
• KẾT LUẬN
• PHỤ LỤC
• TÀI LIỆU THAM KHẢO

Tóm tắt

I. Tổng quan về nghiên cứu chatbot hỗ trợ ngân hàng

Nghiên cứu và phát triển chatbot ngân hàng đang trở thành xu hướng quan trọng trong ngành tài chính. Chatbot không chỉ giúp cải thiện trải nghiệm khách hàng mà còn tối ưu hóa quy trình làm việc của ngân hàng. Với sự phát triển của công nghệ trí tuệ nhân tạo, chatbot có khả năng xử lý các yêu cầu của khách hàng một cách nhanh chóng và hiệu quả. Việc áp dụng công nghệ chatbot trong ngân hàng giúp giảm thiểu thời gian chờ đợi và nâng cao sự hài lòng của khách hàng.

1.1. Lợi ích của chatbot trong ngân hàng

Chatbot mang lại nhiều lợi ích cho ngân hàng như giảm chi phí nhân sự, tăng cường khả năng phục vụ khách hàng 24/7 và tự động hóa các dịch vụ như kiểm tra số dư tài khoản, chuyển tiền. Theo một nghiên cứu, việc áp dụng tự động hóa dịch vụ khách hàng có thể giảm chi phí lên đến 30%.

1.2. Công nghệ nền tảng cho chatbot ngân hàng

Các công nghệ như xử lý ngôn ngữ tự nhiên (NLP) và học máy (Machine Learning) là nền tảng cho sự phát triển của chatbot. Những công nghệ này cho phép chatbot hiểu và phản hồi các yêu cầu của khách hàng một cách tự nhiên và chính xác.

II. Thách thức trong việc phát triển chatbot ngân hàng

Mặc dù có nhiều lợi ích, việc phát triển chatbot ngân hàng cũng gặp phải nhiều thách thức. Một trong những vấn đề lớn nhất là khả năng hiểu ngôn ngữ tự nhiên của chatbot. Nhiều khách hàng có thể sử dụng ngôn ngữ không chính xác hoặc có nhiều cách diễn đạt khác nhau, điều này gây khó khăn cho chatbot trong việc nhận diện ý định của người dùng.

2.1. Khó khăn trong việc hiểu ngôn ngữ tự nhiên

Việc phân tích dữ liệu khách hàng để hiểu ý định và ngữ cảnh là một thách thức lớn. Chatbot cần phải được đào tạo với một lượng lớn dữ liệu để có thể xử lý các tình huống khác nhau một cách hiệu quả.

2.2. Bảo mật thông tin khách hàng

Bảo mật thông tin là một vấn đề quan trọng trong ngân hàng. Chatbot cần phải đảm bảo rằng thông tin của khách hàng được bảo vệ an toàn và không bị rò rỉ trong quá trình giao tiếp.

III. Phương pháp xây dựng chatbot ngân hàng hiệu quả

Để xây dựng một chatbot ngân hàng hiệu quả, cần áp dụng các phương pháp và công nghệ tiên tiến. Việc sử dụng framework Rasa là một trong những lựa chọn phổ biến hiện nay. Rasa cho phép phát triển chatbot với khả năng hiểu ngôn ngữ tự nhiên và quản lý hội thoại một cách linh hoạt.

3.1. Sử dụng Rasa để phát triển chatbot

Rasa cung cấp các công cụ mạnh mẽ để xây dựng chatbot, bao gồm khả năng huấn luyện mô hình và quản lý hội thoại. Việc sử dụng Rasa giúp giảm thiểu thời gian phát triển và nâng cao chất lượng chatbot.

3.2. Tích hợp AI vào chatbot

Việc tích hợp trí tuệ nhân tạo vào chatbot giúp nâng cao khả năng phản hồi và hiểu biết của chatbot. AI có thể giúp chatbot học hỏi từ các tương tác trước đó và cải thiện khả năng phục vụ khách hàng.

IV. Ứng dụng thực tiễn của chatbot trong ngân hàng

Chatbot đã được áp dụng rộng rãi trong nhiều ngân hàng để cải thiện dịch vụ khách hàng. Các ngân hàng lớn như Vietcombank và Techcombank đã triển khai chatbot để hỗ trợ khách hàng trong việc tra cứu thông tin và thực hiện giao dịch.

4.1. Ví dụ về chatbot trong ngân hàng

Nhiều ngân hàng đã sử dụng chatbot để cung cấp thông tin về lãi suất, hỗ trợ khách hàng trong việc mở tài khoản và thực hiện các giao dịch trực tuyến. Điều này không chỉ giúp tiết kiệm thời gian mà còn nâng cao trải nghiệm của khách hàng.

4.2. Kết quả nghiên cứu về hiệu quả của chatbot

Nghiên cứu cho thấy rằng việc sử dụng chatbot trong ngân hàng đã giúp tăng cường sự hài lòng của khách hàng lên đến 75%. Khách hàng cảm thấy thoải mái hơn khi có thể nhận được hỗ trợ ngay lập tức mà không cần phải chờ đợi.

V. Kết luận và tương lai của chatbot ngân hàng

Tương lai của chatbot ngân hàng rất hứa hẹn với sự phát triển không ngừng của công nghệ. Chatbot sẽ ngày càng trở nên thông minh hơn và có khả năng phục vụ khách hàng một cách hiệu quả hơn. Ngành ngân hàng cần tiếp tục đầu tư vào công nghệ này để đáp ứng nhu cầu ngày càng cao của khách hàng.

5.1. Xu hướng phát triển chatbot trong ngân hàng

Dự báo rằng trong những năm tới, số lượng ngân hàng áp dụng chatbot sẽ tăng lên đáng kể. Công nghệ sẽ tiếp tục phát triển, giúp chatbot có khả năng xử lý các yêu cầu phức tạp hơn.

5.2. Tầm quan trọng của chatbot trong ngành ngân hàng

Chatbot không chỉ là một công cụ hỗ trợ mà còn là một phần quan trọng trong chiến lược chuyển đổi số của ngân hàng. Việc áp dụng chatbot sẽ giúp ngân hàng nâng cao hiệu quả hoạt động và cải thiện trải nghiệm khách hàng.

Nội dung chính

Tổng quan nghiên cứu

Sự bùng nổ của các kênh giao tiếp kỹ thuật số đã tạo ra bước ngoặt lớn trong cách thức doanh nghiệp tiếp cận người dùng, với hơn 28,2 tỷ tin nhắn di động được gửi đi mỗi ngày và tỷ lệ đọc thực tế đạt tới 98%, vượt trội hoàn toàn so với mức 22% của thư điện tử truyền thống. Trong bối cảnh khoảng 80% tổ chức tài chính và doanh nghiệp đặt mục tiêu ứng dụng trí tuệ nhân tạo vào dịch vụ khách hàng nhằm cắt giảm ước tính 8 tỷ USD chi phí vận hành trên toàn cầu, việc tự động hóa các kênh hỗ trợ trực tuyến trở thành yêu cầu cấp thiết. Tại Việt Nam, công tác chăm sóc khách hàng trong lĩnh vực ngân hàng phần lớn vẫn phụ thuộc vào quy trình thủ công, khiến thời gian phản hồi bị kéo dài và tiêu tốn khoảng 30% ngân sách nhân sự cho việc xử lý các câu hỏi lặp lại mang tính quy chuẩn.

Vấn đề nghiên cứu trọng tâm của luận văn là giải quyết sự quá tải trong hệ thống hỗ trợ trực tuyến thông qua việc nghiên cứu, thiết kế và phát triển trợ lý ảo chuyên biệt cho dịch vụ ngân hàng điện tử. Mục tiêu cụ thể là làm chủ cấu trúc chatbot miền đóng theo mô hình truy xuất thông tin, kết hợp các thuật toán xử lý ngôn ngữ tự nhiên tiếng Việt hiện đại để nhận diện chính xác ý định và trích xuất dữ liệu của người dùng. Nghiên cứu được triển khai tại Đại học Công nghệ thuộc Đại học Quốc gia Hà Nội vào năm 2019, tập trung vào phạm vi hỗ trợ khách hàng cá nhân sử dụng hệ thống ngân hàng điện tử ebanking. Đề tài mang ý nghĩa thực tiễn sâu sắc khi cung cấp giải pháp công nghệ giúp nâng tỷ lệ tương tác thành công của hệ thống tự động lên mức 75% đến 90%, đồng thời rút ngắn thời gian xử lý các giao dịch truy vấn số dư, lãi suất và chuyển tiền từ vài phút xuống còn dưới 2 giây.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Luận văn xây dựng trên nền tảng kiến trúc ba khối chức năng kinh điển của một hệ thống chatbot hướng mục tiêu bao gồm khối hiểu ngôn ngữ tự nhiên (NLU), khối quản lý hội thoại (DM) và khối sinh ngôn ngữ tự nhiên (NLG). Trong khối hiểu ngôn ngữ tự nhiên, các mô hình học sâu và học máy được áp dụng để giải quyết hai bài toán then chốt là phân loại ý định người dùng và trích xuất thông tin thực thể.

Để giải quyết sự phụ thuộc xa giữa các từ trong câu văn, tác giả phân tích chuyên sâu mạng nơ-ron hồi quy RNN và cấu trúc mạng bộ nhớ ngắn hạn dài LSTM. Mạng LSTM gồm 4 tầng nơ-ron liên kết cùng hệ thống 3 cổng điều khiển bao gồm cổng quên, cổng vào và cổng ra, cho phép tế bào trạng thái duy trì mạch thông tin liên tục và triệt tiêu hiện tượng suy giảm đạo hàm. Về mặt biểu diễn từ, luận văn khai thác phương pháp nhúng từ không gian vector thông qua hai mô hình Word2Vec (gồm Continuous Bag of Words và Skip-gram) cùng mô hình GloVe dựa trên ma trận đồng xuất hiện từ với hàm trọng số tối ưu tham số mũ 0,75.

Đối với khối quản lý hội thoại, khung lý thuyết tích hợp giữa mô hình máy trạng thái hữu hạn FSA và mô hình biểu mẫu Frame-based, kết hợp giải thuật theo dõi trạng thái hội thoại DST nhằm lưu giữ ngữ cảnh xuyên suốt các lượt trò chuyện nhiều bước.

[Câu hỏi người dùng] 
        │
        ▼
┌────────────────────────────────────────────────────────┐
│ 1. Khối hiểu ngôn ngữ tự nhiên (NLU)                   │
│  - Tokenizer & Tách từ tiếng Việt                      │
│  - Trích xuất thực thể: Mô hình CRF (15 slots)         │
│  - Phân loại ý định: TensorFlow Embedding (30 intents) │
└───────────────────────┬────────────────────────────────┘
                        │ (Ý định & Thực thể)
                        ▼
┌────────────────────────────────────────────────────────┐
│ 2. Khối quản lý hội thoại (DM)                         │
│  - Theo dõi trạng thái hội thoại (Dialogue State Tracker)│
│  - Chính sách xử lý kịch bản (Story Policy)            │
│  - Gọi Custom Actions kết nối API Ebanking             │
└───────────────────────┬────────────────────────────────┘
                        │ (Hành động phản hồi)
                        ▼
┌────────────────────────────────────────────────────────┐
│ 3. Khối sinh ngôn ngữ (NLG) & Giao diện                │
│  - Tạo câu trả lời từ tập mẫu (Templates)              │
│  - Hiển thị trên ứng dụng đa nền tảng (Ionic)          │
└────────────────────────────────────────────────────────┘

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp thực nghiệm kết hợp xây dựng hệ thống phần mềm dựa trên nền tảng mã nguồn mở Rasa nhằm đảm bảo tính bảo mật và quyền kiểm soát tuyệt đối dữ liệu tài chính người dùng.

• Cỡ mẫu và nguồn dữ liệu: Tác giả tự xây dựng bộ ngữ liệu tiếng Việt chuyên biệt cho ngân hàng điện tử với quy mô 30 nhóm ý định nghiệp vụ và 15 lớp thực thể thông tin. Nguồn dữ liệu huấn luyện được thu thập và chuẩn hóa từ khảo sát thực tế người dùng, đồng thời tham khảo các kịch bản đối thoại từ những hệ thống ngân hàng số tiên phong tại Việt Nam như MB Bank và Timo VP Bank.
• Phương pháp chọn mẫu: Luận văn áp dụng phương pháp chọn mẫu có chủ đích, tập trung thu thập các biến thể câu hỏi phổ biến xoay quanh 10 nhóm nghiệp vụ ebanking cốt lõi như tra cứu số dư, kiểm tra lịch sử giao dịch, chuyển khoản, tính toán lãi suất vay, gửi tiết kiệm và thanh toán hóa đơn.
• Quy trình phân tích: Đường ống xử lý ngôn ngữ được thiết lập với bộ tách từ dựa trên khoảng trắng, bộ nhận dạng thực thể dựa trên mô hình trường ngẫu nhiên điều kiện CRF và bộ phân lớp ý định sử dụng kỹ thuật nhúng có giám sát của TensorFlow dựa trên kiến trúc StarSpace. Khối quản lý hội thoại được lập trình kết hợp các Custom Actions viết bằng ngôn ngữ Python để kết nối trực tiếp đến các giao thức API của hệ thống ngân hàng. Ứng dụng giao diện người dùng được triển khai trên nền tảng Ionic Framework hỗ trợ cả hai hệ điều hành Android và iOS trong giai đoạn nghiên cứu 2018 đến 2019.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

Quá trình huấn luyện và thử nghiệm hệ thống chatbot ngân hàng trên môi trường thực tế đã đem lại những kết quả định lượng rõ rệt:

• Độ chính xác phân loại ý định vượt trội: Việc áp dụng thuật toán nhúng có giám sát của TensorFlow đã giúp mô hình nhận diện chính xác 30 nhóm ý định người dùng với độ tin cậy trung bình đạt trên 88%, khắc phục hiệu quả sự thiếu hụt các bộ dữ liệu nhúng tiếng Việt tiền huấn luyện trên thị trường.
• Khả năng trích xuất thực thể nghiệp vụ ổn định: Mô hình trường ngẫu nhiên điều kiện CRF đã nhận diện thành công 15 lớp thực thể phức tạp bao gồm số tài khoản, số tiền giao dịch, kỳ hạn gửi tiền và tên người thụ hưởng với tỷ lệ nhầm lẫn thực thể duy trì ở mức dưới 12%.
• Kiểm soát hội thoại đa ngữ cảnh mượt mà: Khung kịch bản hội thoại kết hợp giữa biểu mẫu điền thông tin và các hành động tùy biến bằng mã nguồn Python đã cho phép chatbot thực hiện trọn vẹn quy trình chuyển tiền qua thẻ và tra cứu lãi suất bậc thang đạt tỷ lệ thành công 100% khi nhận đủ tham số đầu vào.
• Tối ưu hóa hiệu suất hỗ trợ: Tỷ lệ giải quyết tự động các phiên trao đổi với khách hàng đạt mốc xấp xỉ 75%, giúp giảm tải ngay lập tức khoảng 30% số lượng cuộc gọi và tin nhắn yêu cầu hỗ trợ đơn giản gửi về tổng đài viên ngân hàng.

Thành phần kiểm thử	Thuật toán / Kỹ thuật áp dụng	Số lượng danh mục	Hiệu suất ghi nhận
Phân loại ý định	TensorFlow Supervised Embedding	30 Intents	Độ chính xác đạt trên 88%
Trích xuất thông tin	Trường ngẫu nhiên điều kiện CRF	15 Slots/Entities	Tỷ lệ nhầm lẫn dưới 12%
Quản lý trạng thái	Rasa Core & Dialogue State Tracker	Đa kịch bản	Tỷ lệ hoàn thành tác vụ 100%
Tương tác tự động	Khung biểu mẫu & Python Custom Action	Hệ thống Ebanking	Giảm tải 30% chi phí vận hành

Thảo luận kết quả

Kết quả nghiên cứu khẳng định tính khả thi vượt trội của phương pháp nhúng có giám sát đối với các miền bài toán hẹp và đóng như tài chính ngân hàng. Khi đối chiếu với các nghiên cứu sử dụng tập nhúng tiền huấn luyện tiếng Anh từ Spacy hay MITIE, giải pháp tự xây dựng dữ liệu và huấn luyện từ đầu giúp loại bỏ hoàn toàn các vector nhiễu không thuộc chuyên ngành tài chính, giúp thời gian huấn luyện mô hình giảm đi 40% trong khi độ chính xác phân loại tăng thêm khoảng 15%.

Dữ liệu đánh giá từ ma trận nhầm lẫn cho thấy các lỗi phân loại chủ yếu xuất hiện ở những cặp ý định có sự tương đồng cao về từ vựng, ví dụ giữa câu hỏi lãi suất gửi tiết kiệm và lãi suất vay vốn khi khách hàng không nêu rõ kỳ hạn. Tình trạng này được xử lý triệt để nhờ cơ chế lưu vết trạng thái của bộ theo dõi hội thoại, cho phép hệ thống chủ động đưa ra câu hỏi phụ nhằm làm rõ ngữ cảnh thay vì phản hồi sai. So với các giải pháp phần mềm dạng dịch vụ của bên thứ ba, việc tự phát triển hệ thống trên nền tảng Rasa mang lại lợi thế quyết định về bảo mật thông tin tài khoản và khả năng can thiệp trực tiếp vào mã nguồn xử lý backend.

Đề xuất và khuyến nghị

Dựa trên kết quả thực nghiệm, luận văn đưa ra 4 nhóm giải pháp kỹ thuật nhằm hoàn thiện hệ thống trợ lý ảo ngân hàng trong tương lai:

• Tích hợp công cụ tách từ chuyên sâu cho tiếng Việt: Thay thế bộ tách từ khoảng trắng đơn giản bằng các thư viện xử lý ngôn ngữ tiếng Việt chuyên dụng như PyVi hoặc VnCoreNLP nhằm giải quyết bài toán từ ghép phức tạp, đặt mục tiêu nâng độ chính xác của bước tiền xử lý câu lên mức trên 95% trong thời gian 6 tháng tới. Đơn vị thực hiện: Đội ngũ kỹ sư phát triển dữ liệu và xử lý ngôn ngữ tự nhiên.
• Ứng dụng công cụ chuẩn hóa thực thể thời gian và tiền tệ: Triển khai tích hợp công cụ trích xuất Duckling đa ngôn ngữ để tự động nhận dạng chính xác các định dạng ngày tháng, tiền tệ và số điện thoại viết tắt trong tiếng Việt, hướng tới mục tiêu giảm tỷ lệ lỗi nhập liệu số học xuống dưới 2% trong vòng 1 quý. Đơn vị thực hiện: Nhóm kỹ thuật phần mềm backend.
• Nâng cấp cơ chế chú ý trong quản lý hội thoại: Nghiên cứu áp dụng mô hình theo dõi trạng thái tự chú ý toàn cục và cục bộ GLAD nhằm hỗ trợ xử lý mượt mà các câu thoại chứa đa ý định trong cùng một lượt nói, nâng tỷ lệ phản hồi chính xác của hội thoại phức tạp lên trên 90% trước năm 2021. Đơn vị thực hiện: Nhóm nghiên cứu trí tuệ nhân tạo và đổi mới sáng tạo.
• Thiết lập chuẩn bảo mật giao dịch đa tầng: Hoàn thiện module xác thực hai yếu tố OTP qua tin nhắn bảo mật hoặc sinh trắc học trực tiếp trên giao diện ứng dụng Ionic, đảm bảo 100% các yêu cầu giao dịch chuyển khoản phát sinh qua chatbot đều tuân thủ nghiêm ngặt quy định an toàn bảo mật ngân hàng số. Đơn vị thực hiện: Khối công nghệ thông tin phối hợp cùng phòng an ninh mạng ngân hàng.

Đối tượng nên tham khảo luận văn

Nội dung và mã nguồn thực nghiệm của luận văn mang lại giá trị thiết thực cho 4 nhóm đối tượng chính:

• Kỹ sư phần mềm và chuyên gia xử lý ngôn ngữ tự nhiên: Tiếp cận hướng dẫn toàn diện về cách thức cấu hình đường ống NLU, huấn luyện mô hình trích xuất thực thể CRF và lập trình các Custom Actions điều khiển luồng hội thoại nghiệp vụ trên nền tảng Rasa.
• Nhà quản trị công nghệ và lãnh đạo chuyển đổi số ngân hàng: Nắm bắt mô hình kiến trúc khả thi để xây dựng kênh giao tiếp số tự động, giúp tối ưu hóa từ 30% chi phí vận hành bộ phận chăm sóc khách hàng và nâng cao chỉ số gắn kết của người dùng ứng dụng ebanking.
• Giảng viên, học viên cao học và sinh viên ngành công nghệ thông tin: Sử dụng làm tài liệu tham khảo học thuật chuyên sâu về cấu tạo hệ thống chatbot hướng mục tiêu, nguyên lý hoạt động của mạng hồi quy LSTM và các giải thuật nhúng từ hiện đại.
• Doanh nghiệp trong lĩnh vực thương mại điện tử và dịch vụ công: Khai thác khung kịch bản đối thoại dạng biểu mẫu để áp dụng trực tiếp vào các bài toán tư vấn bán hàng, đặt chỗ và hỗ trợ kỹ thuật trực tuyến 24/7.

Câu hỏi thường gặp

Hệ thống chatbot trong luận văn được phát triển theo hướng tiếp cận nào?
Chatbot được xây dựng theo mô hình hướng mục tiêu trên miền đóng của nghiệp vụ ngân hàng điện tử, sử dụng phương pháp truy xuất thông tin kết hợp học máy có giám sát để phản hồi chính xác theo 30 kịch bản được định nghĩa trước.

Vì sao nghiên cứu sử dụng mã nguồn mở Rasa thay vì các nền tảng đám mây thương mại?
Nền tảng Rasa giúp ngân hàng làm chủ 100% dữ liệu giao dịch nhạy cảm của khách hàng, loại bỏ rủi ro rò rỉ dữ liệu qua máy chủ bên thứ ba và cho phép tùy biến sâu các thuật toán xử lý ngôn ngữ tiếng Việt.

Mạng nơ-ron LSTM giải quyết vấn đề gì trong bài toán chatbot?
Cấu trúc tế bào trạng thái và hệ thống 3 cổng của LSTM giúp mạng ghi nhớ được các thông tin ngữ cảnh từ nhiều lượt hội thoại trước đó, khắc phục triệt để hiện tượng mất dữ liệu của mạng RNN truyền thống.

Làm thế nào chatbot nhận dạng được các số tiền hoặc kỳ hạn gửi tiết kiệm?
Hệ thống sử dụng mô hình trường ngẫu nhiên điều kiện CRF đã qua huấn luyện trên tập ngữ liệu ngân hàng để trích xuất chính xác 15 nhóm thực thể thông tin được người dùng nhập vào câu nói.

Chatbot có khả năng thực hiện lệnh chuyển khoản trực tiếp trên tài khoản thật không?
Thông qua các Custom Action lập trình bằng Python, chatbot có thể gọi đến các cổng giao tiếp API của hệ thống ngân hàng điện tử để kiểm tra số dư, xác thực OTP và thực hiện trích xuất dữ liệu giao dịch an toàn.

Kết luận

Luận văn đã hoàn thành xuất sắc các mục tiêu nghiên cứu và thực nghiệm thông qua các đóng góp quan trọng:

• Hệ thống hóa toàn diện cơ sở lý thuyết về kiến trúc chatbot hướng mục tiêu, các mạng nơ-ron học sâu RNN, LSTM và phương pháp biểu diễn từ Word2Vec, GloVe.
• Đề xuất quy trình xây dựng đường ống xử lý ngôn ngữ tự nhiên tối ưu cho tiếng Việt miền ngân hàng dựa trên công nghệ nhúng có giám sát của TensorFlow.
• Thiết kế bộ ngữ liệu chuẩn gồm 30 nhóm ý định và 15 lớp thực thể phục vụ cho các nghiệp vụ ngân hàng điện tử cá nhân.
• Xây dựng thành công ứng dụng chatbot thử nghiệm hoàn chỉnh trên nền tảng Rasa và Ionic Framework với tỷ lệ phục vụ tự động đạt xấp xỉ 75%.
• Chứng minh hiệu quả thực tiễn của giải pháp mã nguồn mở trong việc tối ưu hóa chi phí vận hành và bảo mật dữ liệu tài chính ngân hàng.

Trong kế hoạch phát triển 12 tháng tiếp theo, hệ thống sẽ được mở rộng quy mô ngữ liệu lên trên 100 nhóm ý định và tích hợp công nghệ nhận dạng giọng nói tiếng Việt nhằm phục vụ khách hàng trên đa kênh giao tiếp số. Độc giả và các nhóm nghiên cứu quan tâm có thể khai thác khung kiến trúc này để triển khai các trợ lý ảo chuyên nghiệp cho hệ sinh thái chuyển đổi số của đơn vị mình.

Trích đoạn nội dung tài liệu

MỞ ĐẦU: Giới thiệu và đưa ra hướng nghiên cứu bài toán chatbot CHƢƠNG I: Tổng quan hệ thống chatbot: Giới thiệu tổng quan hệ thống chatbot. Cấu tạo và nhiệm vụ các thành phần hệ thống chatbot. CHƢƠNG II: Một số kỹ thuật sử dụng trong chatbot: Hiểu và nắm được một số kỹ thuật hay thuật toán cơ bản sử dụng trong chatbot để từ đó có thể điều chỉnh phù hợp với ngôn ngữ tiếng việt, giúp chatbot xử lý thông minh hơn. CHƢƠNG III: Xây dựng chatbot lĩnh vực ngân hàng : Xây dựng ứng dụng chatbot cho ngân hàng trên nền tảng mã nguồn mở Rasa.

Đưa ra những kết luận và đánh giá, cải tiến hệ thống. KẾT LUẬN : Đưa ra những kết luận, đánh giá và định hướng nghiên cứu tiếp theo PHỤ LỤC: Danh sách các đoạn hội thoại với bot được đính kèm ở phần thử nghiệm 4 CHƢƠNG 1 : TỔNG QUAN HỆ THỐNG CHATBOT Chương này sẽ giới thiệu tổng quan về hệ thống chatbot, cấu trúc các thành phần và những vấn đề khi xây dựng hệ thống chatbot.1 Giới thiệu Hệ thống đối thoại người máy hay còn gọi với thuật ngữ là chatbot ChatBot là một chương trình máy tính tiến hành cuộc trò chuyện thông qua nhắn tin nhanh, nó có thể tự động trả lời những câu hỏi hoặc xử lý tình huống. Phạm vi và sự phức tạp của ChatBot được xác định bởi thuật toán của người tạo nên chúng. ChatBot thường được ứng dụng trong nhiều lĩnh vực như thương mại điện tử, dịch vụ khách hàng, y tế, tài chính ngân hàng, các dịch vụ giải trí… Chatbot có thể được chia thành 2 loại: - Hệ thống hướng mục tiêu trên một miền ứng dụng (Task-Oriented) - Hệ thống không có định hướng mục tiêu (chit-chat) Miền mở (Open Domain): Mô hình trả lời tự động trên miền mở cho phép người dùng có thể tham gia trò chuyện với một chủ đề bất kỳ, không nhất thiết phải có một mục tiêu rõ ràng hay một ý định cụ thể nào.

Các cuộc trò chuyện trên mạng xã hội như Facebook, Twitter thường là miền mở, chúng có thể đi vào tất cả các chủ đề. Số lượng các chủ đề thảo luận được đề cập đến là không giới hạn, do đó, tri thức yêu cầu được tạo ra để trả lời các câu đối thoại thuộc miền mở trở nên khó hơn. Tuy nhiên, việc thu thập trích rút dữ liệu từ miền này khá phong phú và đơn giản. Miền đóng (Close Domain): Mô hình trả lời tự động thuộc miền đóng thường tập trung vào trả lời các câu hỏi đối thoại liên quan đến một miền cụ thể, ví dụ như: Y tế, Giáo dục, Du lịch, Mua sắm,.

Trong một miền đóng cụ thể, không gian các mẫu hỏi input và output là có giới hạn, bởi vì các hệ thống này đang cố gắng để đạt được một mục tiêu rất cụ thể. Hệ thống hỗ trợ kỹ thuật (Technical Customer Support) hay tư vấn và hỗ trợ mua hàng (Shopping Assistants) là các ứng dụng thuộc miền đóng. Các hệ thống này không thể đối thoại về “Chính trị” hay “Pháp luật”, chúng chỉ cần thực hiện các nhiệm vụ cụ thể một cách hiệu quả nhất có thể. Chắc chắn, người dùng vẫn có thể hỏi đáp bất cứ gì, nhưng hệ thống không yêu cầu phải xử lý những trường hợp ngoại lệ này.

5 Mỗi cách tiếp cận bài toán đều có hướng giải quyết khác nhau dẫn tới các kỹ thuật sử dụng khác nhau. Trong luận văn này, tôi sẽ tập trung vào giải quyết trƣờng hợp thứ nhất là bài toán hƣớng mục tiêu trên một miền ứng dụng đóng.2 Cấu trúc các thành phần hệ thống chatbot Hình 1.1: Cấu trúc các thành phần cơ bản hệ thống chatbot [12] Chatbot có 3 thành phần chính là hiểu ngôn ngữ tự nhiên (NLU), quản lý hội thoại (DM), thành phần sinh ngôn ngữ (NLG). Các thành phần nhận dạng giọng nói Speech Recognition (text to speech hay speech to text) là các thành phần tăng cường. Mỗi thành phần trong chatbot đều có vai trò riêng:  NLU: bao gồm việc xử lý ngôn ngữ tự nhiên (NLP) có nhiệm vụ xác định được ý định câu hỏi(intent classification) và trích chọn thông tin (slots filter)  DM: Quản lý hội thoại có nhiệm vụ xác định được hành động (action) tiếp theo dựa vào trạng thái hành động trước đó hay ngữ cảnh hội thoại.

Các ngữ cảnh này phải được đối chiếu trong các kịch bản dựng sẵn (history) đã đào tạo cho bot. Thành phần này cũng đảm nhiệm việc lấy dữ liệu từ hệ thống khác qua các API gọi trong action  NLG: là thành phần sinh ngôn ngữ dựa vào chính sách (policy) và hành động được xác định trong DM thông qua các tập hội thoại. NGL có thể được sinh ra 6 câu trả lời dựa vào tập mẫu câu trả lời (pre-defined template) đã đào tạo cho bot. Để rõ chi tiết luồng xử lý tin nhắn từ các thành phần chatbot ta xem mô hình 1.2: Mô hình các thành phần xử lý trong chatbot [1] 1.3 Hiểu ngôn ngữ tự nhiên (NLU) Đây có thể nói là thành phần quan trọng nhất của chatbot.

Chatbot có thông minh hay không thì đây là thành phần quyết định. Mục tiêu của thành phần này là trích xuất ra 3 thành phần thông tin từ câu nói của người dùng:  Đầu tiên là phân loại lĩnh vực (domain classification), nó có thể là lĩnh vực ngân hàng, y tế hay bảo hiểm. Nếu trong trường hợp chỉ có một lĩnh vực thì không cần thiết cho bước phân loại này.  Tiếp đến là phân loại ý định (intent classification), ví dụ như xác định được ý định tra cứu thông tin tài khoản hoặc ý định kiểm tra số dư.

 Cuối cùng là bước trích xuất thông tin (slot fillter hay entity extraction) trong câu hỏi người dùng. Ví dụ ta phải trích chọn được thông tin số tháng trong câu hỏi người dùng: “lãi xuất kỳ hạn 3 tháng là bao nhiêu”. Từ việc trích xuất được thông tin 3 tháng thì chatbot mới có cơ sở trả lời cho người dùng. 7 NLU xử lý tin nhắn người dùng bằng một đường ống (pipeline) nơi mà cấu hình các bước xử lý liên tiếp theo tuần tự : Phân loại tên Phân loại ý Trích chọn miền (Domain định (intent thông tin (Entity Classification) Classification) Extraction) Hình 1.3: Các bước xử lý chính trong pipeline của NLU [1] Trong đường ống này thì bạn có thể tùy chỉnh các thành phần từ bước tiền xử lý dữ liệu, mô hình hóa ngôn ngữ, các thuật toán dùng để tách từ và trích xuất thông tin thực thể… Để chi tiết các bước xử lý ta xem trong mô hình 1.4: Trong đó bước entity extraction chính là bước slot filling ở hình 1.3 Phân loại ý định trong pipelined “Lãi suất vay 12 tháng?” {intent:” interest”} Vector hóa ngôn ngữ Phân loại ý định (Vectorrization) (intent classification) Lãi suất vay Hiểu ngôn ngữ 12 tháng? tự nhiên (NLU) Trích xuất thông tin trong pipelined “Lãi suất vay 12 tháng?” {“loan”:”vay”,“term”:”12 tháng”} Thuật toán tách từ Trích xuất thông tin thực (Tokenizer) thể (entity extraction) Phân tích cú pháp Nhận dạng tên thực thể (chunker) (Name entity recognition) Gán nhãn từ loại (Part of Speech Tagger) Hình 1.4: Các bước xử lý trong NLU [2] 8 Để phân loại được ý định câu người dùng thì ta cần mô hình hóa ngôn ngữ tức là việc biểu diễn ngôn ngữ dưới dạng vector số học cho máy có thể hiểu được (vectorization).

Phương pháp phổ biến nhất hiện tại là word embedding (nhúng từ). Tập nhúng từ là tên chung cho một tập hợp các mô hình ngôn ngữ và các phương pháp học đặc trưng trong xử lý ngôn ngữ tự nhiên (NLP), nơi các từ hoặc cụm từ từ vựng được ánh xạ tới vectơ số thực. Về mặt khái niệm, nó liên quan đến việc nhúng toán học từ một không gian với một chiều cho mỗi từ vào một không gian vectơ liên tục với kích thước thấp hơn nhiều. Một số phương pháp biểu diễn phổ biến như Word2Vec, GloVe hay mới hơn là FastText sẽ được giới thiệu trong phần sau.

Sau khi mô hình hóa ngôn ngữ bao gồm dữ liệu đầu vào training cho bot thì việc xác định ý định người dùng từ câu hỏi người dùng dựa trên tập đã training là bước phân loại ý định (intent classification) hay phân loại văn bản. Ở bước này ta có thể dùng một số kỹ thuật như: Naive Bayes, Decision Tree (Random Forest), Vector Support Machine (SVM), Convolution Neural Network (CNN), Recurrent Neural Network (RNN), Long Short-Term Memory (LSTM, Bi-LSTM). Hầu hết các chatbot hiện tại đều ứng dụng mô hình deep learning như RNN và LSTM để phân loại ý định người dùng. Bài toán thách thức lớn nhất cho các chatbot ở bước này là xác định nhiều ý định(multiple intents) trong một câu nói người dùng.

Ví dụ nếu bạn nói “xin chào, kiểm tra cho tôi số dư tài khoản” thì bot phải xác định được 2 ý định “chào hỏi” và “kiểm tra số dư” trong câu nói người dùng. Nếu bot có thể hiểu và trả lời được câu hỏi loại này sẽ giúp việc tương tác với bot trở nên tư nhiên hơn. Tiếp đến là việc trích xuất thông tin trong câu hội thoại người dùng. Các thông tin cần trích xuất thường dưới dạng số, chuỗi hoặc thời gian và chúng phải được khai báo và huấn luyện trước.

Phân tách các từ (Tokenization hay word segmention): Tách từ là một quá trình xử lý nhằm mục đích xác định ranh giới của các từ trong câu văn, cũng có thể hiểu đơn giản rằng tách từ là quá trình xác định các từ đơn, từ ghép… có trong câu. Đối với xử lý ngôn ngữ, để có thể xác định cấu trúc ngữ pháp của câu, xác định từ loại của một từ trong câu, yêu cầu nhất thiết đặt ra là phải xác định được đâu là từ trong câu. Vấn đề này tưởng chừng đơn giản với con người nhưng đối với máy tính, đây là bài toán rất khó giải quyết. Thông thường thì các ngôn ngữ phân tách các từ bởi khoảng trắng nhưng đối với ngôn ngữ tiếng việt thì có rất nhiều từ ghép và cụm từ.

Ví dụ từ ghép “tài khoản” được tạo bởi 2 từ đơn “tài” và “khoản”. Có một số thuật toán hỗ trợ giải quyết bài toán này như mô hình so khớp từ dài nhất (longest matching), so khớp cực 9 đại (Maximum Matching), Markov ẩn (Hidden Markov Models- HMM) hay mô hình CRF (conditinal random field)… 1.1 Xác định ý định ngƣời dùng Hình 1.