Xây Dựng Hệ Khuyến Nghị Về Sản Phẩm Vay Cho Khách Hàng Sử Dụng Deep Reinforcement Learning

Tóm tắt đề án xây dựng hệ khuyến nghị sản phẩm vay cho khách hàng tài chính, ứng dụng Deep Reinforcement Learning. Giải pháp cá nhân hóa, tăng hiệu quả tiếp cận khách hàng.

• Tác giả: Nguyễn Thị Quỳnh Như
• Người hướng dẫn: Ts. Nguyễn Hồng Sơn
• Trường học: Học viện Công nghệ Bưu chính Viễn thông
• Chuyên ngành: Hệ thống thông tin
• Đề tài: Xây dựng hệ khuyến nghị về sản phẩm vay cho khách hàng ở công ty tài chính sử dụng Deep Reinforcement Learning
• Loại tài liệu: Đề án tốt nghiệp thạc sĩ
• Năm xuất bản: 2025
• Địa điểm: Thành phố Hồ Chí Minh

Mục lục chi tiết

• MỞ ĐẦU
• 1. CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ
• 1.1. Giới thiệu chung
• 1.2. Bài toán khuyến nghị
• 1.2.1. Phát biểu bài toán
• 1.3. Yêu cầu cơ bản
• 1.4. Các hướng tiến cận truyền thống
• 1.5. Các hướng tiếp cận mới
• 2. CHƯƠNG 2: TỔNG QUAN VỀ DEEP REINFORCEMENT LEARNING
• 2.1. Giới thiệu về Reinforcement Learning (RL)
• 2.1.1. Khái niệm
• 2.1.2. Cơ sở lý thuyết Markov Decision Processes - MDP
• 2.1.3. Các thành phần chính
• 2.1.4. Phân loại phương pháp RL
• 2.1.5. Thách thức của RL
• 2.2. Giới thiệu về Deep Reinforcement Learning (DRL)
• 2.2.1. Mô hình DRL
• 2.2.2. Kiến trúc mô hình
• 2.2.3. Cơ chế học của DRL
• 2.2.4. Quy trình huấn luyện
• 2.2.5. Thế mạnh của DRL
• 2.2.6. Ứng dụng phổ biến của DRL
• 3. CHƯƠNG 3: XÂY DỰNG HỆ KHUYẾN NGHỊ SẢN PHẨM VAY CHO KHÁCH HÀNG TẠI CÔNG TY TÀI CHÍNH SỬ DỤNG DRL
• 3.1. Mô hình hóa hệ thống khuyến nghị với DRL
• 3.1.1. Kiến trúc cơ bản của mô hình DRL
• 3.1.2. Các thành phần chính
• 3.1.3. Ưu và nhược điểm của DRL trong RS
• 3.1.4. Xây dựng dataset DRL
• 3.1.4.1. Dữ liệu sản phẩm (Products)
• 3.1.4.2. Dữ liệu khách hàng (Customers)
• 3.1.4.3. Dữ liệu lịch sử đánh giá (Rating History)
• 3.1.4.4. Quy trình xử lý để chuẩn bị cho mô hình DRL
• 3.1.4.4.1. Tạo không gian trạng thái môi trường hiện tại
• 3.1.4.4.2. Xác định không gian hành động
• 3.1.4.4.3. Định nghĩa phần thưởng
• 3.1.4.4.4. Tạo dữ liệu huấn luyện
• 3.1.4.5. Bộ dữ liệu sau thu được
• 3.1.5. Giới thiệu về RecSim
• 3.2. Xây dựng hệ thống khuyến nghị sản phẩm vay
• 3.2.1. Phát biểu bài toán

Tóm tắt

I. Hệ Thống Khuyến Nghị Cá Nhân Hóa Trải Nghiệm Vay Hiệu Quả

Hệ thống khuyến nghị (Recommender System - RS) đóng vai trò quan trọng trong việc cá nhân hóa trải nghiệm người dùng và đề xuất thông tin hiệu quả. Sự phát triển của trí tuệ nhân tạo và phân tích dữ liệu giúp RS hiểu sâu hơn về sở thích và hành vi của người dùng. Tuy nhiên, dữ liệu gia tăng nhanh chóng đặt ra thách thức về độ chính xác và hiệu quả, đòi hỏi các phương pháp tiên tiến để nâng cao khả năng dự đoán. Trong bối cảnh kinh tế khó khăn, sản phẩm vay trở nên quan trọng. Các tổ chức cần công cụ hiệu quả để đề xuất sản phẩm vay phù hợp và đáp ứng nhu cầu khách hàng. Theo nghiên cứu của Phạm Ngọc Nam, việc xây dựng RS trên cơ sở dữ liệu thực tế đã đạt được kết quả khả quan. Đề tài này tập trung vào ứng dụng Deep Reinforcement Learning để xây dựng hệ thống gợi ý sản phẩm vay hiệu quả.

1.1. Bài Toán Khuyến Nghị Xây Dựng Hệ Thống Gợi Ý

Bài toán khuyến nghị là xây dựng hệ thống gợi ý các items cho người dùng dựa trên dữ liệu người dùng, items và các tương tác giữa chúng. Các thành phần chính bao gồm: Items (các đối tượng được gợi ý), Người dùng (đặc điểm và sở thích), Tương tác (phản hồi hoặc hành vi). Mục tiêu là tối ưu hóa các đề xuất bằng cách sử dụng thông tin người dùng và items dựa trên các phương pháp truyền thống và tân tiến. Các nhà nghiên cứu quan tâm đến các yêu cầu đa dạng, quy mô lớn và hướng đến trải nghiệm người dùng. Yêu cầu cơ bản bao gồm: tùy chỉnh gợi ý, độ chính xác, đa dạng hóa, hiệu suất nhanh chóng, khả năng mở rộng, bảo mật và quyền riêng tư.

1.2. Các Hướng Tiếp Cận Truyền Thống và Hiện Đại trong RS

Các phương pháp gợi ý truyền thống thường được phân loại thành năm nhóm chính: lọc nội dung, lọc cộng tác, đề xuất dựa trên nhân khẩu học, đề xuất dựa trên kiến thức và đề xuất cộng đồng. Mỗi phương pháp mang lại những ưu điểm và hạn chế riêng, phục vụ cho các nhu cầu khác nhau của người dùng. Một số xu hướng mới đang nổi lên như học sâu (Deep Learning), hệ thống gợi ý lai (Hybrid Recommender Systems), và đặc biệt là học tăng cường (Reinforcement Learning), mở ra những hướng đi tiềm năng trong việc xây dựng các hệ thống gợi ý thông minh và hiệu quả.

II. Reinforcement Learning Deep Learning Giải Pháp Ưu Việt

Reinforcement Learning (RL) là phương pháp trong học máy giúp tác nhân học cách đưa ra quyết định thông qua trải nghiệm, tối đa hóa phần thưởng trong dài hạn. Các đặc điểm nổi bật của bài toán RL gồm: vòng lặp khép kín, không có người hướng dẫn, ảnh hưởng lâu dài. RL là phương pháp học mạnh mẽ, đặc biệt trong các bài toán yêu cầu học từ các tương tác và tối ưu hóa hành động trong dài hạn. Deep Reinforcement Learning (DRL) phát triển từ RL bằng cách kết hợp với mạng nơ-ron sâu (Deep Neural Networks - DNN) để giải quyết những bài toán có không gian trạng thái và hành động lớn. DRL sử dụng DNN để học các đặc trưng phức tạp từ dữ liệu. Theo Mehdi Afsar, RLRSs có thể được phân loại thành hai nhóm: RL và DRL.

2.1. Cơ Sở Lý Thuyết Markov Decision Processes MDP

Học tăng cường dựa trên một mô hình toán học gọi là quá trình quyết định Markov, đây nền tảng lý thuyết để mô hình hóa việc ra quyết định trong RL. Các thành phần chính trong RL dựa trên nền tảng lý thuyết MP bao gồm: Agent (tác nhân), Environment (môi trường), Action (hành động), State (trạng thái), Reward (phần thưởng). Các phương pháp RL chủ yếu được phân loại dựa trên đặc điểm môi trường và cách agent tương tác với môi trường.

2.2. Ưu Điểm Vượt Trội của Deep Reinforcement Learning DRL

Deep Reinforcement Learning (DRL) kết hợp học sâu (DL) và học tăng cường (RL), cho phép máy học hành vi phức tạp và ra quyết định thông qua tương tác với môi trường. Nhờ mạng nơ-ron, DRL xử lý tốt không gian đầu vào phức tạp, phù hợp với các nhiệm vụ khó. Điểm mạnh của DRL là khả năng giải quyết vấn đề có phần thưởng rải rác và trễ. Qua thử và sai, DRL học cách ra quyết định tối ưu, thích ứng với môi trường thay đổi, và tối đa hóa phần thưởng tích lũy theo thời gian.

2.3. Kiến Trúc Mô Hình Deep Q Network DQN Tiêu Biểu

Kiến trúc của một mô hình DRL có thể thay đổi tùy vào loại vấn đề cụ thể và thuật toán học tăng cường được sử dụng. Tuy nhiên, hầu hết các mô hình DRL đều dựa trên các thành phần cơ bản sau: Mạng Nơ-ron sâu (DNN), Chính sách (Policy). Mạng mục tiêu (Target Network) trong DQN là một bản sao của mạng chính và được sử dụng để tính toán giá trị Q mục tiêu trong hàm mất mát.

III. Xây Dựng Hệ Thống Mô Hình Hóa Các Thành Phần Chính

Mô hình hóa hệ thống khuyến nghị với DRL. Deep Q-Network (DQN) là mô hình học tăng cường nổi bật kết hợp giữa thuật toán Q-Learning và mạng nơ-ron sâu (DNN). Thay vì sử dụng bảng Q-Value như Q-Learning, DQN sử dụng mạng nơ-ron để ước tính các giá trị Q cho mỗi hành động có thể xảy ra ở mỗi trạng thái. Mục tiêu là xây dựng hệ thống gợi ý cho nhân viên tư vấn tại công ty tài chính, khi nhập thông tin khách hàng, hệ thống sẽ gợi ý sản phẩm tốt nhất.

3.1. Kiến Trúc Mô Hình Deep Q Network DQN trong Thực Tế

Kiến trúc của mô hình DQN áp dụng trong bài toán khuyến nghị sản phẩm vay gồm: Environment (môi trường), Agent (Chính sách, Online Network, Target Network, Q-Value, Replay Buffer, Mini-batch). Mỗi thành phần đóng vai trò quan trọng trong việc xây dựng hệ thống hoàn chỉnh và hiệu quả. Việc lựa chọn và cấu hình các thành phần này cần được thực hiện cẩn thận để đảm bảo hệ thống hoạt động tối ưu.

3.2. Ưu Điểm Hạn Chế Của DRL trong Hệ Thống Khuyến Nghị

Ưu điểm của DRL: Học từ kinh nghiệm, ổn định, xử lý không gian lớn, tối ưu hóa chính sách. Phù hợp với dữ liệu tuần tự như lịch sử vay và phản hồi khách hàng. Nhược điểm của DRL: Cần tài nguyên lớn và dữ liệu nhiều, dễ gặp overfitting. Khó hội tụ nếu hàm phần thưởng không hợp lý, nhạy cảm với siêu tham số. Cần có phương pháp xây dựng dataset DRL hiệu quả, trong đó việc lựa chọn các thuộc tính trạng thái người dùng và sản phẩm là rất quan trọng.

IV. Dữ Liệu Xử Lý Nền Tảng Của Hệ Thống Khuyến Nghị

Xây dựng dataset DRL là bước quan trọng để xây dựng hệ thống khuyến nghị hiệu quả. Dữ liệu sản phẩm (Products) chứa thông tin chi tiết về sản phẩm từ công ty tài chính. Dữ liệu khách hàng (Customers) là danh sách khách hàng của công ty tài chính. Dữ liệu lịch sử đánh giá (Rating History) lưu thông tin chi tiết về các giao dịch vay và đánh giá của khách hàng đối với sản phẩm. Việc xử lý dữ liệu cần đảm bảo tính chính xác và đầy đủ để mô hình có thể học được các mẫu và đưa ra các khuyến nghị phù hợp.

4.1. Quy Trình Chuẩn Bị Dữ Liệu Cho Mô Hình DRL Chi Tiết

Quy trình xử lý để chuẩn bị cho mô hình DRL gồm: Tạo không gian trạng thái môi trường hiện tại (Thông tin người dùng, thông tin sản phẩm). Xác định không gian hành động (tổng số lượng sản phẩm). Định nghĩa phần thưởng (dựa trên lịch sử vay và đánh giá sản phẩm). Tạo dữ liệu huấn luyện (từ lịch sử giao dịch). Mỗi bước đều có vai trò quan trọng trong việc đảm bảo chất lượng dữ liệu và hiệu quả của mô hình. Cần xác định rõ thuộc tính trạng thái người dùng và thuộc tính sản phẩm.

4.2. Sử Dụng RecSim Nền Tảng Mô Phỏng Cho Hệ Thống Khuyến Nghị

RecSim là một trình mô phỏng mạnh mẽ, cho phép thử nghiệm và đánh giá các hệ thống khuyến nghị trong một môi trường kiểm soát. RecSim cung cấp nhiều công cụ và tài nguyên để xây dựng, huấn luyện và đánh giá các mô hình DRL. Việc sử dụng RecSim giúp giảm thiểu rủi ro và chi phí trong quá trình phát triển và triển khai hệ thống khuyến nghị.

V. Ứng Dụng Triển Khai Hướng Đi Thực Tế Cho DRL Vay

Các công ty tài chính đang cung cấp nhiều sản phẩm vay để phục vụ nhu cầu đa dạng của khách hàng. Đặc điểm khách hàng trong môi trường này rất phong phú, mỗi khách hàng có một bối cảnh và nhu cầu vay riêng biệt. Mục tiêu cuối cùng là xây dựng được hệ thống gợi ý cho đối tượng sử dụng là nhân viên tư vấn tại công ty tài chính, mà khi đó đầu vào cần nhập vào thông tin về khách hàng, hệ thống sẽ gợi ý sản phẩm tốt nhất. Mô hình hóa bài toán dưới dạng mô hình học tăng cường (RL).

5.1. Mục Tiêu Xây Dựng Hệ Thống Gợi Ý Sản Phẩm Vay Tối Ưu

Việc xây dựng một hệ thống gợi ý sản phẩm vay tối ưu không chỉ giúp khách hàng dễ dàng tìm được sản phẩm phù hợp mà còn giúp công ty tài chính tăng doanh thu và cải thiện hiệu quả hoạt động. Để đạt được mục tiêu này, cần có một chiến lược rõ ràng và các công cụ hỗ trợ hiệu quả, trong đó DRL đóng vai trò then chốt.

5.2. Thách Thức Giải Pháp Khi Triển Khai DRL Trong Tài Chính

Việc triển khai DRL trong lĩnh vực tài chính đặt ra nhiều thách thức, bao gồm: Yêu cầu về dữ liệu lớn và chất lượng cao. Khả năng giải thích và minh bạch của mô hình. Vấn đề về đạo đức và công bằng trong khuyến nghị. Tuy nhiên, với các giải pháp phù hợp, DRL có thể mang lại những lợi ích to lớn cho ngành tài chính.

VI. Tổng Kết Tương Lai Hệ Thống Khuyến Nghị Thông Minh Hơn

Bài viết đã trình bày tổng quan về việc xây dựng hệ thống khuyến nghị sản phẩm vay sử dụng Deep Reinforcement Learning. Từ lý thuyết cơ bản đến các bước triển khai cụ thể, hy vọng rằng những thông tin này sẽ giúp ích cho các nhà nghiên cứu và các chuyên gia trong lĩnh vực tài chính. Trong tương lai, với sự phát triển của công nghệ, hệ thống khuyến nghị sẽ ngày càng trở nên thông minh và hiệu quả hơn.

6.1. Hướng Nghiên Cứu Tiếp Theo Phát Triển Hệ Thống RS

Các hướng nghiên cứu tiếp theo có thể tập trung vào việc cải thiện khả năng giải thích của mô hình, tăng cường tính cá nhân hóa, và tích hợp các nguồn dữ liệu mới. Ngoài ra, việc phát triển các phương pháp đánh giá hiệu quả hơn cũng là một yếu tố quan trọng để đảm bảo hệ thống khuyến nghị luôn hoạt động tốt.

6.2. DRL Tương Lai Ngành Tài Chính Cá Nhân Hóa Tối Ưu

Deep Reinforcement Learning hứa hẹn sẽ thay đổi cách các tổ chức tài chính tương tác với khách hàng. Với khả năng cá nhân hóa và tối ưu hóa cao, DRL có thể giúp các công ty tài chính cung cấp các sản phẩm và dịch vụ tốt hơn, đồng thời giảm thiểu rủi ro và tăng lợi nhuận.

Nội dung chính

Tổng quan nghiên cứu

Trong bối cảnh phát triển nhanh chóng của công nghệ trí tuệ nhân tạo và dữ liệu lớn, hệ thống khuyến nghị (Recommender System - RS) đã trở thành công cụ thiết yếu trong việc cá nhân hóa trải nghiệm người dùng. Theo báo cáo của ngành, việc áp dụng các phương pháp học máy tiên tiến giúp nâng cao độ chính xác và hiệu quả của các đề xuất sản phẩm, đặc biệt trong lĩnh vực tài chính. Nghiên cứu tập trung xây dựng hệ thống khuyến nghị sản phẩm vay tại một công ty tài chính sử dụng mô hình Deep Reinforcement Learning (DRL), nhằm giải quyết thách thức về đa dạng sản phẩm và nhu cầu khách hàng ngày càng phức tạp. Mục tiêu cụ thể là phát triển một hệ thống có khả năng đề xuất sản phẩm vay phù hợp cho từng khách hàng dựa trên dữ liệu lịch sử giao dịch và phản hồi, đồng thời nâng cao hiệu quả khuyến nghị thông qua các chỉ số như RMSE và độ chính xác. Phạm vi nghiên cứu tập trung vào dữ liệu khách hàng và sản phẩm vay của công ty tài chính cổ phần Tín Việt trong giai đoạn gần đây, với ứng dụng trên nền tảng RecSim. Ý nghĩa của nghiên cứu thể hiện qua việc cải thiện trải nghiệm khách hàng, tăng tỷ lệ chấp nhận vay và hỗ trợ nhân viên tư vấn trong việc lựa chọn sản phẩm phù hợp, góp phần thúc đẩy phát triển kinh tế cá nhân và doanh nghiệp.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên hai lý thuyết chính: Học tăng cường (Reinforcement Learning - RL) và Học tăng cường sâu (Deep Reinforcement Learning - DRL). RL là phương pháp học máy cho phép tác nhân (agent) học cách đưa ra quyết định tối ưu thông qua tương tác với môi trường, dựa trên mô hình quá trình quyết định Markov (Markov Decision Process - MDP). Các thành phần cơ bản gồm trạng thái, hành động, phần thưởng, chính sách và môi trường. DRL mở rộng RL bằng cách tích hợp mạng nơ-ron sâu (Deep Neural Networks - DNN) để xử lý không gian trạng thái và hành động lớn, phức tạp. Mô hình Deep Q-Network (DQN) được sử dụng để ước tính giá trị Q cho các hành động, kết hợp các kỹ thuật như replay buffer và target network nhằm ổn định quá trình học. Ngoài ra, hệ thống khuyến nghị (RS) được xây dựng dựa trên các khái niệm về items (sản phẩm vay), người dùng (khách hàng), và tương tác (phản hồi, đánh giá). Các yêu cầu cơ bản của RS bao gồm độ chính xác, đa dạng hóa gợi ý, khả năng mở rộng và bảo mật.

Phương pháp nghiên cứu

Nghiên cứu sử dụng phương pháp kết hợp giữa nghiên cứu lý thuyết và thực nghiệm. Dữ liệu thu thập gồm 551 sản phẩm vay thuộc 19 nhóm sản phẩm và hơn 632,000 mẫu trạng thái-hành động-phản hồi từ lịch sử giao dịch khách hàng tại công ty tài chính cổ phần Tín Việt. Phương pháp chọn mẫu là sử dụng toàn bộ dữ liệu có sẵn để đảm bảo tính đại diện và độ phong phú. Mô hình DRL được triển khai trên nền tảng RecSim, một môi trường mô phỏng tương tác giữa tác nhân và môi trường, hỗ trợ huấn luyện và đánh giá hệ thống khuyến nghị. Quá trình phân tích bao gồm xây dựng dataset, xử lý dữ liệu, thiết kế mô hình DQN, huấn luyện và đánh giá dựa trên các chỉ số RMSE, độ chính xác trung bình và độ bao phủ sản phẩm. Timeline nghiên cứu kéo dài trong khoảng thời gian gần đây, tập trung vào giai đoạn thu thập dữ liệu, phát triển mô hình và thử nghiệm thực tế.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả mô hình DRL trong khuyến nghị sản phẩm vay: Mô hình DRL đạt hệ số RMSE là 5.14 và độ chính xác trung bình 62%, cho thấy khả năng dự đoán và đề xuất sản phẩm phù hợp với khách hàng. Độ bao phủ sản phẩm đạt 33.3%, thể hiện khả năng đa dạng hóa gợi ý.

2. So sánh với phương pháp truyền thống: Mô hình DRL được so sánh với phương pháp lọc cộng tác (Collaborative Filtering - CF) trên cùng tập dữ liệu. CF đạt RMSE 5.41 và độ chính xác 69%, cao hơn DRL về độ chính xác nhưng DRL có tiềm năng phát triển chiến lược dài hạn và tối ưu hóa tương tác người dùng qua các giai đoạn học tập liên tục.

3. Ảnh hưởng của các tham số huấn luyện: Các yếu tố như learning rate, gamma, epsilon và kỹ thuật experience replay ảnh hưởng đáng kể đến hiệu quả mô hình, đòi hỏi tối ưu cẩn thận để đạt kết quả tốt nhất.

4. Khả năng áp dụng thực tế: Hệ thống khuyến nghị có thể đề xuất sản phẩm vay cho cả khách hàng mới và khách hàng cũ, kể cả khi chưa có dữ liệu lịch sử, nhờ vào việc xây dựng không gian trạng thái và phần thưởng hợp lý.

Thảo luận kết quả

Kết quả cho thấy DRL là phương pháp tiềm năng trong việc xây dựng hệ thống khuyến nghị sản phẩm vay, đặc biệt trong môi trường dữ liệu phức tạp và đa dạng như ngành tài chính. Mặc dù độ chính xác hiện tại chưa vượt trội so với phương pháp lọc cộng tác, DRL mang lại lợi thế trong việc học từ tương tác liên tục và tối ưu hóa chiến lược đề xuất theo thời gian. Các biểu đồ so sánh RMSE và độ chính xác giữa DRL và CF có thể minh họa rõ sự khác biệt về hiệu suất. Nguyên nhân hạn chế của DRL bao gồm yêu cầu tài nguyên tính toán lớn, độ nhạy với tham số và chất lượng dữ liệu đầu vào. So với các nghiên cứu trước, kết quả này phù hợp với xu hướng ứng dụng DRL trong các hệ thống khuyến nghị phức tạp, đồng thời mở ra hướng phát triển mới cho ngành tài chính tại Việt Nam.

Đề xuất và khuyến nghị

1. Tối ưu hóa tham số mô hình: Thực hiện điều chỉnh các siêu tham số như learning rate, gamma, epsilon theo quy trình thử nghiệm có kiểm soát nhằm giảm thiểu sai số RMSE và nâng cao độ chính xác khuyến nghị trong vòng 6 tháng, do nhóm phát triển mô hình thực hiện.

2. Cải thiện chất lượng dữ liệu: Xây dựng quy trình thu thập và xử lý dữ liệu khách hàng và sản phẩm vay chặt chẽ hơn, đảm bảo dữ liệu đầy đủ, chính xác và cập nhật liên tục, nhằm tăng độ tin cậy của hệ thống trong vòng 12 tháng, phối hợp giữa bộ phận IT và phòng kinh doanh.

3. Phát triển thuật toán DRL tối ưu: Nghiên cứu và áp dụng các thuật toán DRL mới có khả năng giảm chi phí tính toán và tăng tốc độ huấn luyện, giúp doanh nghiệp tiết kiệm tài nguyên, dự kiến hoàn thành trong 18 tháng, do nhóm nghiên cứu và phát triển công nghệ đảm nhiệm.

4. Mở rộng ứng dụng hệ thống: Tích hợp hệ thống khuyến nghị vào quy trình tư vấn khách hàng và kênh giao dịch trực tuyến, giúp nhân viên tư vấn và khách hàng cuối cùng tiếp cận sản phẩm vay phù hợp nhanh chóng, nâng cao trải nghiệm người dùng trong vòng 12 tháng, do phòng kinh doanh và IT phối hợp thực hiện.

Đối tượng nên tham khảo luận văn

1. Nhân viên và quản lý công ty tài chính: Giúp hiểu rõ cách ứng dụng DRL trong hệ thống khuyến nghị sản phẩm vay, từ đó nâng cao hiệu quả tư vấn và tăng tỷ lệ chấp nhận vay.

2. Nhà nghiên cứu và sinh viên ngành hệ thống thông tin, trí tuệ nhân tạo: Cung cấp kiến thức chuyên sâu về mô hình DRL và ứng dụng thực tiễn trong lĩnh vực tài chính, hỗ trợ phát triển các đề tài nghiên cứu tiếp theo.

3. Chuyên gia phát triển phần mềm và kỹ sư dữ liệu: Hướng dẫn chi tiết về xây dựng dataset, xử lý dữ liệu và triển khai mô hình DRL trên nền tảng RecSim, giúp tối ưu hóa quy trình phát triển hệ thống khuyến nghị.

4. Doanh nghiệp tài chính và fintech: Tham khảo để áp dụng công nghệ học máy tiên tiến vào sản phẩm và dịch vụ, nâng cao khả năng cạnh tranh trên thị trường thông qua cá nhân hóa trải nghiệm khách hàng.

Câu hỏi thường gặp

1. Deep Reinforcement Learning là gì và tại sao lại phù hợp với hệ thống khuyến nghị?
   DRL là sự kết hợp giữa học tăng cường và mạng nơ-ron sâu, giúp xử lý không gian trạng thái và hành động lớn, phức tạp. Nó phù hợp với hệ thống khuyến nghị vì có thể học từ tương tác liên tục và tối ưu hóa chiến lược đề xuất theo thời gian, nâng cao độ chính xác và cá nhân hóa.

2. Dữ liệu nào được sử dụng để huấn luyện mô hình trong nghiên cứu này?
   Nghiên cứu sử dụng dữ liệu gồm 551 sản phẩm vay thuộc 19 nhóm và hơn 632,000 mẫu trạng thái-hành động-phản hồi từ lịch sử giao dịch khách hàng tại công ty tài chính cổ phần Tín Việt, đảm bảo tính đại diện và đa dạng.

3. Mô hình DRL so sánh thế nào với phương pháp lọc cộng tác truyền thống?
   Mô hình DRL có RMSE thấp hơn và độ chính xác trung bình đạt 62%, trong khi lọc cộng tác có độ chính xác cao hơn (69%). Tuy nhiên, DRL có ưu thế trong việc học chiến lược dài hạn và tối ưu hóa tương tác người dùng qua các giai đoạn.

4. Những thách thức chính khi áp dụng DRL trong hệ thống khuyến nghị là gì?
   Các thách thức gồm yêu cầu tài nguyên tính toán lớn, độ nhạy với tham số, khó khăn trong việc điều chỉnh mô hình và chất lượng dữ liệu đầu vào ảnh hưởng đến hiệu quả học tập.

5. Làm thế nào để cải thiện hiệu quả của mô hình DRL trong tương lai?
   Cần tối ưu tham số mô hình, cải thiện chất lượng dữ liệu, phát triển thuật toán DRL tối ưu hơn và mở rộng ứng dụng hệ thống vào quy trình kinh doanh thực tế để nâng cao độ chính xác và hiệu quả khuyến nghị.

Kết luận

• Đã xây dựng thành công hệ thống khuyến nghị sản phẩm vay sử dụng Deep Reinforcement Learning, với dataset phong phú và mô hình DQN hiệu quả.
• Mô hình DRL đạt RMSE 5.14 và độ chính xác trung bình 62%, thể hiện tiềm năng ứng dụng trong ngành tài chính.
• So sánh với phương pháp lọc cộng tác truyền thống, DRL có ưu thế trong tối ưu hóa chiến lược dài hạn và tương tác người dùng.
• Nghiên cứu chỉ ra các yếu tố ảnh hưởng đến hiệu quả mô hình như tham số huấn luyện và chất lượng dữ liệu, đồng thời đề xuất các giải pháp cải tiến.
• Hướng phát triển tiếp theo tập trung vào tối ưu thuật toán, nâng cao chất lượng dữ liệu và mở rộng ứng dụng thực tế, góp phần nâng cao trải nghiệm khách hàng và hiệu quả kinh doanh.

Để tiếp tục phát triển, các nhà nghiên cứu và doanh nghiệp nên phối hợp triển khai các giải pháp đề xuất nhằm hoàn thiện hệ thống khuyến nghị, đồng thời mở rộng phạm vi ứng dụng trong lĩnh vực tài chính và các ngành liên quan.

Trích đoạn nội dung tài liệu

CHƯƠNG 1: TỔNG QUAN VỀ HỆ THỐNG KHUYẾN NGHỊ 1. Giới thiệu chung Hệ thống khuyến nghị (Recommender System - RS) là một hệ thống lọc thông tin được thiết kế để dự đoán và đánh giá sở thích, quan tâm và nhu cầu của người dùng. Mục tiêu chính của RS là cung cấp một hoặc nhiều mục, sản phẩm, hoặc dịch vụ mà người dùng có khả năng quan tâm nhiều giúp nâng cao trải nghiệm cá nhân hóa và tăng cường sự hài lòng của họ. Các nền tảng như Facebook, Amazon, Netflix là những ví dụ điển hình về ứng dụng thành công của RS.1: Ví dụ màn hình kết quả khuyến nghị của Netflix 7 1.

Bài toán khuyến nghị 1. Phát biểu bài toán Bài toán khuyến nghị là xây dựng hệ thống đề xuất các items cho người dùng dựa trên dữ liệu người dùng, items và các tương tác giữa chúng. Các thành phần chính bao gồm: • Items: Các đối tượng được gợi ý, có thể là sản phẩm đơn giản hoặc phức tạp. • Người dùng: Đặc điểm và sở thích của người dùng, giúp cá nhân hóa gợi ý.

• Tương tác: Phản hồi hoặc hành vi của người dùng đối với hệ thống, giúp cải thiện đề xuất. Mục tiêu là tối ưu hóa các đề xuất bằng cách sử dụng thông tin người dùng và items dựa trên các phương pháp truyền thống và tân tiến.2: Mô tả bài toán khuyến nghị cơ bản 8 Song vẫn tồn tại nhiều thách thức đã thu hút sự quan tâm của các nhà nghiên cứu nhằm đáp ứng yêu cầu đa dạng, quy mô lớn và hướng đến trải nghiệm người dùng. Yêu cầu cơ bản Ngoài việc xác định các items hữu ích cho người dùng, hệ thống khuyến nghị (RS) cần đáp ứng các yêu cầu sau để đảm bảo hiệu quả và khả năng sử dụng: tùy chỉnh gợi ý, độ chính xác, đa dạng hóa gợi ý, hiệu suất nhanh chóng, khả năng mở rộng, bảo mật và quyền riêng tư. Các hướng tiến cận truyền thống Các phương pháp gợi ý truyền thống thường được phân loại thành năm nhóm chính: lọc nội dung, lọc cộng tác, đề xuất dựa trên nhân khẩu học, đề xuất dựa trên kiến thức và đề xuất cộng đồng.

Mỗi phương pháp mang lại những ưu điểm và hạn chế riêng, phục vụ cho các nhu cầu khác nhau của người dùng. Các hướng tiếp cận mới Một số xu hướng mới đang nổi lên như: • Học sâu (Deep Learning) • Hệ thống gợi ý lai (Hybrid Recommender Systems) • Học tăng cường (Reinforcement Learning) 9 CHƯƠNG 2: TỔNG QUAN VỀ DEEP REINFORCEMENT LEARNING 2. Giới thiệu về Reinforcement Learning (RL) 2. Khái niệm Học tăng cường (Reinforcement Learning - RL) là một phương pháp trong học máy (Machine Learning - ML) và trí tuệ nhân tạo, giúp một tác nhân (agent) học cách đưa ra quyết định thông qua trải nghiệm, từ đó tối đa hóa phần thưởng trong dài hạn.

Các đặc điểm nổi bật của bài toán RL bao gồm: 1. Khép kín: Hành động của tác nhân ảnh hưởng đến các trạng thái tương lai của nó, tạo thành một vòng lặp khép kín. Không có người hướng dẫn: Tác nhân tự học cách hành động thông qua thử nghiệm và phản hồi từ môi trường, không có người hướng dẫn trực tiếp. Ảnh hưởng lâu dài: Hành động của tác nhân không chỉ ảnh hưởng đến kết quả ngắn hạn mà còn có tác động đến kết quả dài hạn.

10 RL là phương pháp học mạnh mẽ, đặc biệt trong các bài toán yêu cầu học từ các tương tác và tối ưu hóa hành động trong dài hạn. Cơ sở lý thuyết Markov Decision Processes - MDP Học tăng cường dựa trên một mô hình toán học gọi là quá trình quyết định Markov, đây nền tảng lý thuyết để mô hình hóa việc ra quyết định trong RL.1: Hoạt động của MDP 2. Các thành phần chính Các thành phần chính trong RL dựa trên nền tảng lý thuyết MP bao gồm: 11 Hình 2.2: Các thành phần chính trong RL • Agent (Tác nhân): đối tượng quan sát môi trường và sinh ra hành động tương ứng. Tác nhân có vai trò quyết định trong việc thực hiện hành động nhằm tối đa hóa phần thưởng.

o Policy (Chính sách): Là quy tắc xác định cách thức hoạt động của tác nhân tại một thời điểm nhất định. o RL Algorithm (Thuật toán học tăng cường): phương pháp mà tác nhân sử dụng để học chính sách tốt nhất thông qua các tương tác với môi trường. • Environment (Môi trường): không gian xung quanh tác nhân, nơi mà tác nhân tồn tại và tương tác. Môi 12 trường chứa tất cả các yếu tố có thể ảnh hưởng đến hành động của tác nhân.

• Action (Hành động): phương thức mà tác nhân sử dụng để tương tác với môi trường và thay đổi trạng thái của môi trường. • State (Trạng thái): trạng thái của môi trường mà tác nhân nhận được tại một thời điểm nhất định. Trạng thái cung cấp thông tin cần thiết để tác nhân đưa ra quyết định. • Reward (Phần thưởng): Sau mỗi hành động, môi trường sẽ gửi đến tác nhân một phần thưởng số, phản ánh độ tốt của hành động đó.

Phần thưởng giúp tác nhân đánh giá hành động đã thực hiện. Các phương pháp RL chủ yếu được phân loại dựa trên đặc điểm môi trường và cách agent tương tác với môi trường, thường được chia thành 2 nhóm: 13 Bảng 2.1: Phân loại phương pháp RL Nhóm Mô tả Phương pháp hoạt động RL Phù hợp khi môi Tác nhân tạo mô phỏng môi trường qua quan sát hành dựa trường rõ ràng, ổn động, trạng thái và phần thưởng. Dùng mô hình để thử trên định và khó thử nghiệm chiến lược và tìm hành động tối ưu dự đoán phần mô nghiệm trực tiếp. thưởng tích lũy.

hình RL Phù hợp với môi Không cần bản mô phỏng. Tác nhân sử dụng phương không trường phức tạp, pháp "thử và sai" để: dựa thay đổi hoặc khó - Quan sát phần thưởng của các hành động trong môi trên mô phỏng, tác nhân trường thực tế. mô học trong môi - Ghi lại kết quả của các cặp hành động-trạng thái. hình trường thực tế.

- Phát triển chiến lược tối ưu dần dần qua kinh nghiệm. Thách thức của RL 2. Giới thiệu về Deep Reinforcement Learning (DRL) Deep Reinforcement Learning (DRL) phát triển từ việc mở rộng ý tưởng của RL bằng cách kết hợp nó với mạng nơ-ron sâu (Deep Neural Networks - DNN) để giải quyết những bài toán có không gian trạng thái và hành động lớn. DRL xử lý vấn đề này bằng cách sử dụng các mạng nơ-ron sâu để học các đặc trưng phức tạp từ dữ liệu.3: Mô hình DRL 2.

Mô hình DRL 2. Kiến trúc mô hình Kiến trúc của một mô hình DRL có thể thay đổi tùy vào loại vấn đề cụ thể và thuật toán học tăng cường được sử 15 dụng. Tuy nhiên, hầu hết các mô hình DRL đều dựa trên các thành phần cơ bản sau: 1. Mạng Nơ-ron sâu Mạng nơ-ron sâu (DNN) hay mạng chính là một phần quan trọng trong các mô hình DRL.

Mạng nơ-ron sẽ nhận đầu vào là trạng thái từ môi trường và đầu ra là giá trị Q dự đoán cho tất cả các hành động có thể thực hiện trong trạng thái đó.Gồm: lớp đầu vào, các lớp ẩn (Hidden Layers) và lớp đầu ra 2. Chính sách Chính sách (policy) trong DRL quyết định hành động nào sẽ được chọn trong mỗi trạng thái. Mạng mục tiêu Mạng mục tiêu trong DQN là một bản sao của mạng chính và được sử dụng để tính toán giá trị Q mục tiêu trong hàm mất mát. Cơ chế học Hai cơ chế học chính là học dựa trên giá trị (Value-based learning) và học dựa trên chính sách (Policy-based learning): 16 Bảng 2.2: Cơ chế học của DRL Học dựa trên giá trị Học dựa trên chính sách Ước lượng giá trị Q cho mỗi hành động Học trực tiếp chính sách mà không cần tính tại mỗi trạng thái.

toán giá trị Q. Sử dụng các phương pháp như Deep Q- Sử dụng phương pháp như Policy Gradient Network (DQN) để cập nhật giá trị Q. Phù hợp với bài toán có không gian hành Phù hợp với bài toán có không gian hành động nhỏ hoặc vừa phải. động lớn hoặc liên tục.

Cần phải duy trì và cập nhật mạng để Cập nhật chính sách trực tiếp mà không cần ước lượng giá trị. ước lượng giá trị Q. Quy trình huấn luyện Quá trình huấn luyện trong DRL thường bao gồm các bước chính sau: Hình 2.4: Quy trình huấn luyện mô hình DRL Quá trình xây dựng và huấn luyện mô hình DRL bao gồm việc xây dựng kiến trúc mạng nơ-ron, triển khai các thuật toán học tăng cường, và tối ưu hóa các tham số huấn luyện. Thế mạnh của DRL Deep Reinforcement Learning (DRL) kết hợp học sâu (DL) và học tăng cường (RL), cho phép máy học hành vi phức tạp và ra quyết định thông qua tương tác với môi trường.

Nhờ mạng nơ-ron, DRL xử lý tốt không gian đầu vào phức tạp, phù hợp với các nhiệm vụ khó. Điểm mạnh của DRL là khả năng giải quyết vấn đề có phần thưởng rải rác và trễ. Qua thử và sai, DRL học cách ra quyết định tối ưu, thích ứng với môi trường thay đổi, và tối đa hóa phần thưởng tích lũy theo thời gian. Ứng dụng phổ biến của DRL Deep Reinforcement Learning (DRL) có nhiều ứng dụng đa dạng: trò chơi, người máy, giao thông, tiếp thị và tài chính, thị giác máy tính, chăm sóc sức khỏe.

19 CHƯƠNG 3: XÂY DỰNG HỆ KHUYẾN NGHỊ SẢN PHẨM VAY CHO KHÁCH HÀNG TẠI CÔNG TY TÀI CHÍNH SỬ DỤNG DRL 3. Mô hình hóa hệ thống khuyến nghị với DRL 3. Kiến trúc cơ bản của mô hình DRL Deep Q-Network (DQN) là mô hình học tăng cường nổi bật kết hợp giữa thuật toán Q-Learning và mạng nơ-ron sâu (DNN). Thay vì sử dụng bảng Q-Value như Q-Learning, DQN sử dụng mạng nơ-ron để ước tính các giá trị Q cho mỗi hành động có thể xảy ra ở mỗi trạng thái.1: Mô hình hoạt động DQN 20 Kiến trúc của mô hình DQN áp dụng trong bài toán khuyến nghị sản phẩm vay gồm: 1.

Environment (môi trường): Chứa thông tin trạng thái (khách hàng, danh sách sản phẩm ứng viên) và phản hồi khi Agent thực hiện hành động. Agent • Chính sách (Policy): Sử dụng epsilon-greedy để chọn hành động, cân bằng giữa khám phá và khai thác. • Online Network: Mạng nơ-ron chính ước tính giá trị Q của các hành động tại mỗi trạng thái. • Target Network: Bản sao của Online Network, đồng bộ định kỳ để giảm dao động trong quá trình huấn luyện.

• Q-Value: Được tính bằng phương trình Bellman, kết hợp phần thưởng tức thì 𝑅(𝑠,𝑎) và giá trị Q tối đa của trạng thái kế tiếp max ′ 𝑄 (𝑠 ′ , 𝑎′ ), với hệ số chiết khấu γ. • Replay Buffer: Lưu trữ các trải nghiệm (trạng thái, hành động, phần thưởng, trạng thái tiếp theo).