Khai Thác Dữ Liệu Hiệu Quả: Phương Pháp và Ứng Dụng

• Người hướng dẫn: TS. Trần Trọng Hiếu
• Trường học: Đại học Quốc gia Hà Nội
• Chuyên ngành: Kỹ thuật phần mềm
• Đề tài: Khai thác dữ liệu hiệu quả: Phương pháp và ứng dụng
• Loại tài liệu: luận văn
• Năm xuất bản: 2019
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• LỜI CÁM ƠN
• 1. CHƯƠNG 1: TỔNG QUAN VỀ KHAI THÁC PHÁ DỮ LIỆU
• 1.1. Khai phá dữ liệu là gì?
• 1.2. Lợi ích của Khai phá dữ liệu
• 1.3. Các bước trong khai phá dữ liệu
• 1.3.1. Bước 1: Tìm hiểu nghiệp vụ - Business Understanding
• 1.3.2. Bước 2: Tìm hiểu dữ liệu - Data Understanding
• 1.3.3. Bước 3: Chuẩn bị dữ liệu - Data Preparation
• 1.3.4. Bước 4: Xây dựng mô hình hóa - Model Building
• 1.3.5. Bước 5: Kiểm thử và đánh giá mô hình - Testing and Evaluation
• 1.3.6. Bước 6: Triển khai - Deployment
• 1.4. Kỹ thuật khai phá dữ liệu
• 1.4.1. Kỹ thuật phân lớp
• 1.4.2. Kỹ thuật phân cụm
• 1.4.3. Kỹ thuật phân tích luật kết hợp
• 1.4.4. Kỹ thuật hồi quy
• 1.4.5. Cây quyết định - Decision tree
• 1.4.6. Phân lớp Naive Bayes
• 1.4.7. Số đo Gradient Descent
• 1.4.8. Máy vector hỗ trợ - Support Vector Machine (SVM)
• 1.4.9. Láng giềng gần nhất - K-Nearest Neighbors
• 2. CHƯƠNG 2: BÀI TOÁN PHÂN LỚP DỰ BÁO RỦI RO TÍN DỤNG
• 2.1. Khái niệm rủi ro tín dụng
• 2.2. Nguyên nhân phát sinh rủi ro tín dụng
• 2.3. Mô hình lượng hóa rủi ro tín dụng cho khách hàng cá nhân
• 2.4. Quy trình phân lớp xây dựng mô hình
• 2.5. Mô hình phân lớp dự báo rủi ro
• 2.6. Lựa chọn nghiên cứu thuật toán
• 2.7. Hoạt động của thuật toán cây quyết định
• 2.8. Phương pháp lựa chọn thuộc tính
• 2.9. Phân lớp Naive Bayes
• 3. CHƯƠNG 3: THỰC NGHIỆM TRÊN DỮ LIỆU VIETINBANK
• 3.1. Khảo sát hoạt động tín dụng của hệ thống Vietinbank
• 3.2. Tổng quan hoạt động tín dụng của Vietinbank
• 3.3. Phương pháp quản trị nợ xấu đã áp dụng tại Vietinbank
• 3.4. Mô tả bài toán áp dụng KPDL hỗ trợ quản lý rủi ro tín dụng
• 3.5. Mô hình dữ liệu tại Core Vietinbank
• 3.6. Biến đổi dữ liệu, tính toán sinh ra bảng
• 3.7. Làm sạch dữ liệu
• 3.8. Lựa chọn dữ liệu
• 3.9. Tìm hiểu dữ liệu
• 3.10. Xây dựng mô hình phân lớp
• 3.11. Lựa chọn dữ liệu và thuộc tính
• 3.12. Tham số thuật toán J48 trên Weka
• 3.13. Tham số dữ liệu training
• 3.14. Thực nghiệm dữ liệu với J48 trên Weka
• 3.15. Đánh giá lần chạy thực nghiệm với thuật toán J48
• 3.16. Phân lớp Naive Bayes
• 3.17. Cấu hình tham số thuật toán Naive Bayes
• 3.18. Đánh giá lần chạy thực nghiệm thuật toán Naive Bayes
• 3.19. So sánh kết quả lần chạy giữa 2 thuật toán
• 3.20. Đánh giá lần chạy J48 đạt tỷ lệ phân lớp đúng cao nhất
• 3.21. Đánh giá lần chạy Naive Bayes đạt tỷ lệ dữ liệu tập huấn 55%
• 3.22. Triển khai tích hợp hệ thống Khai phá dữ liệu
• 3.23. Mục tiêu tương lai
• 4. CHƯƠNG 4: TÓM TẮT NHỮNG KẾT QUẢ ĐÃ ĐẠT VÀ HƯỚNG TIẾP TỤC TRONG TƯƠNG LAI
• TÀI LIỆU THAM KHẢO
• DANH MỤC TỪ VIẾT TẮT

I. Tổng Quan Về Khai Thác Dữ Liệu Định Nghĩa và Lợi Ích

Khai thác dữ liệu (Data Mining) là quá trình phân loại, sắp xếp các tập hợp dữ liệu lớn để xác định các mẫu và thiết lập các mối liên hệ nhằm giải quyết các vấn đề nhờ phân tích dữ liệu. Các công cụ khai thác dữ liệu cho phép các doanh nghiệp có thể dự đoán được xu hướng tương lai. Lợi ích chính của khai thác dữ liệu nằm ở khả năng phát hiện các mẫu và mối liên hệ tiềm ẩn trong cơ sở dữ liệu. Hay nói cách khác giúp ta làm chủ kho dữ liệu lớn, bằng mô hình tri thức được xây dựng dựa trên nguồn dữ liệu có sẵn, khai thác dữ liệu đem lại nhiều giá trị. Theo tài liệu gốc, khai thác dữ liệu giúp dự đoán xu hướng tương lai, phát hiện rủi ro và gian lận, cải thiện an toàn sản phẩm và quản lý chuỗi cung ứng.

1.1. Data Mining Là Gì Khái Niệm và Ứng Dụng

Khai thác dữ liệu (Data Mining) là quá trình khám phá tri thức từ dữ liệu, bao gồm việc sử dụng các kỹ thuật như học máy (Machine Learning), thống kê và hệ quản trị cơ sở dữ liệu để trích xuất thông tin hữu ích từ các tập dữ liệu lớn. Quá trình này bao gồm nhiều bước, từ làm sạch dữ liệu đến xây dựng mô hình và đánh giá kết quả. Mục tiêu chính là tìm ra các mẫu, xu hướng và quy luật ẩn chứa trong dữ liệu, giúp đưa ra các quyết định kinh doanh sáng suốt hơn. Ứng dụng của khai thác dữ liệu rất đa dạng, từ dự đoán hành vi khách hàng đến phát hiện gian lận và tối ưu hóa quy trình sản xuất.

1.2. Lợi Ích Của Khai Thác Dữ Liệu Tối Ưu Hóa Quyết Định

Khai thác dữ liệu mang lại nhiều lợi ích quan trọng cho các tổ chức. Nó giúp cải thiện quá trình ra quyết định bằng cách cung cấp thông tin chi tiết và dự đoán chính xác. Các doanh nghiệp có thể sử dụng phân tích dữ liệu để hiểu rõ hơn về khách hàng, tối ưu hóa chiến dịch tiếp thị, giảm thiểu rủi ro và tăng cường hiệu quả hoạt động. Ngoài ra, khai thác dữ liệu còn giúp phát hiện các cơ hội kinh doanh mới và tạo ra lợi thế cạnh tranh trên thị trường. Việc áp dụng các kỹ thuật data mining phù hợp có thể mang lại giá trị to lớn cho bất kỳ tổ chức nào.

II. Quy Trình Khai Thác Dữ Liệu Các Bước Thực Hiện Chi Tiết

Quy trình khai thác dữ liệu bao gồm nhiều bước, từ hiểu nghiệp vụ đến triển khai mô hình. Các bước chính bao gồm: tìm hiểu nghiệp vụ, tìm hiểu dữ liệu, chuẩn bị dữ liệu, xây dựng mô hình, kiểm thử và đánh giá mô hình, và triển khai. Việc chuẩn bị dữ liệu bao gồm các bước chuyển đổi, tập hợp, làm sạch và chọn lọc dữ liệu. Theo tài liệu gốc, quy trình này đảm bảo dữ liệu được xử lý và phân tích một cách hiệu quả, từ đó đưa ra các kết quả chính xác và hữu ích.

2.1. Chuẩn Bị Dữ Liệu Làm Sạch và Chuyển Đổi Dữ Liệu

Chuẩn bị dữ liệu là một bước quan trọng trong quy trình khai thác dữ liệu. Nó bao gồm việc làm sạch dữ liệu để loại bỏ các giá trị thiếu, sai lệch hoặc không nhất quán. Sau đó, dữ liệu được chuyển đổi sang định dạng phù hợp cho việc phân tích. Các kỹ thuật chuyển đổi có thể bao gồm chuẩn hóa, rời rạc hóa và tạo các biến mới. Mục tiêu của bước này là đảm bảo dữ liệu có chất lượng cao và phù hợp cho việc xây dựng mô hình phân tích dữ liệu.

2.2. Xây Dựng Mô Hình Lựa Chọn Thuật Toán Phù Hợp

Xây dựng mô hình là bước trung tâm của quy trình khai thác dữ liệu. Nó bao gồm việc lựa chọn thuật toán phù hợp với loại dữ liệu và mục tiêu phân tích. Các thuật toán phổ biến bao gồm cây quyết định (Decision Tree), mạng nơ-ron (Neural Networks), và phân cụm (Clustering). Sau khi chọn thuật toán, mô hình được huấn luyện trên dữ liệu đã chuẩn bị và điều chỉnh các tham số để đạt được hiệu suất tốt nhất. Quá trình này đòi hỏi sự hiểu biết sâu sắc về các thuật toán và khả năng đánh giá kết quả một cách khách quan.

2.3. Đánh Giá và Triển Khai Mô Hình Ứng Dụng Thực Tế

Sau khi xây dựng mô hình, bước tiếp theo là đánh giá hiệu suất của nó trên dữ liệu kiểm tra. Các chỉ số đánh giá có thể bao gồm độ chính xác, độRecall và F1-score. Nếu mô hình đạt được hiệu suất chấp nhận được, nó có thể được triển khai vào thực tế. Việc triển khai có thể bao gồm tích hợp mô hình vào hệ thống hiện có hoặc xây dựng một ứng dụng mới dựa trên mô hình. Quá trình này đòi hỏi sự phối hợp chặt chẽ giữa các nhà khoa học dữ liệu và các chuyên gia nghiệp vụ.

III. Các Phương Pháp Khai Thác Dữ Liệu Phổ Biến Hiện Nay

Có nhiều phương pháp khai thác dữ liệu phổ biến, bao gồm kỹ thuật phân lớp, kỹ thuật phân cụm, kỹ thuật phân tích luật kết hợp, kỹ thuật bài toán hồi quy, kỹ thuật dự đoán và kỹ thuật phân tích chuỗi. Kỹ thuật phân lớp là dữ liệu được tổ chức trong các lớp cho trước, hay còn được gọi là học có quan sát. Trong kỹ thuật phân loại người ta sử dụng các nhãn lớp cho trước để sắp xếp các đối tượng. Theo tài liệu gốc, các kỹ thuật này được sử dụng rộng rãi trong nhiều lĩnh vực khác nhau.

3.1. Phân Lớp Dữ Liệu Ứng Dụng Trong Quản Lý Rủi Ro

Phân lớp dữ liệu là một kỹ thuật quan trọng trong khai thác dữ liệu, được sử dụng để gán các đối tượng vào các lớp hoặc danh mục đã được xác định trước. Ứng dụng của phân lớp rất đa dạng, từ quản lý rủi ro tín dụng đến phân loại email spam. Các thuật toán phân lớp phổ biến bao gồm cây quyết định (Decision Tree), máy vector hỗ trợ (Support Vector Machine) và mạng nơ-ron (Neural Networks). Việc lựa chọn thuật toán phù hợp phụ thuộc vào đặc điểm của dữ liệu và mục tiêu phân tích.

3.2. Phân Cụm Dữ Liệu Tìm Kiếm Cấu Trúc Ẩn

Phân cụm dữ liệu là một kỹ thuật khai thác dữ liệu được sử dụng để nhóm các đối tượng tương tự lại với nhau thành các cụm. Khác với phân lớp, phân cụm không yêu cầu nhãn lớp đã được xác định trước. Các thuật toán phân cụm phổ biến bao gồm K-means, hierarchical clustering và DBSCAN. Ứng dụng của phân cụm rất đa dạng, từ phân khúc khách hàng đến phát hiện gian lận và phân tích mạng xã hội.

3.3. Phân Tích Luật Kết Hợp Khám Phá Mối Quan Hệ

Phân tích luật kết hợp là một kỹ thuật khai thác dữ liệu được sử dụng để tìm kiếm các mối quan hệ giữa các biến trong một tập dữ liệu. Ví dụ, trong phân tích giỏ hàng, luật kết hợp có thể được sử dụng để tìm ra các sản phẩm thường được mua cùng nhau. Các thuật toán phân tích luật kết hợp phổ biến bao gồm Apriori và FP-Growth. Ứng dụng của phân tích luật kết hợp rất đa dạng, từ tiếp thị đến quản lý chuỗi cung ứng và phân tích web.

IV. Ứng Dụng Khai Thác Dữ Liệu Trong Quản Lý Rủi Ro Tín Dụng

Khai thác dữ liệu đã và đang được ứng dụng rộng rãi trong rất nhiều lĩnh vực và hiện nay đã có rất nhiều công cụ thương mại và phi thương mại triển khai các nhiệm vụ của khai thác dữ liệu. Một trong số đó là ứng dụng trong chăm sóc sức khỏe, khai thác dữ liệu có tiềm năng lớn để cải thiện các hệ thống y tế. Nó sử dụng dữ liệu và phân tích để xác định các thực tiễn tốt nhất giúp cải thiện việc chăm sóc và giảm chi phí. Theo tài liệu gốc, các nhà nghiên cứu sử dụng các phương pháp khai thác dữ liệu như cơ sở dữ liệu đa chiều, học máy, điện toán mềm, trực quan hóa dữ liệu và thống kê.

4.1. Dự Đoán Rủi Ro Tín Dụng Mô Hình Phân Lớp

Trong lĩnh vực quản lý rủi ro tín dụng, khai thác dữ liệu được sử dụng để xây dựng các mô hình dự đoán khả năng vỡ nợ của khách hàng. Các mô hình này thường dựa trên các thuật toán phân lớp như cây quyết định (Decision Tree) và mạng nơ-ron (Neural Networks). Dữ liệu đầu vào có thể bao gồm thông tin về lịch sử tín dụng, thu nhập, nghề nghiệp và các yếu tố kinh tế vĩ mô. Mục tiêu là phân loại khách hàng thành các nhóm có rủi ro cao và thấp, từ đó đưa ra các quyết định cho vay phù hợp.

4.2. Phát Hiện Gian Lận Tín Dụng Kỹ Thuật Phân Tích

Khai thác dữ liệu cũng được sử dụng để phát hiện các giao dịch gian lận trong lĩnh vực tín dụng. Các kỹ thuật phân tích bất thường có thể được sử dụng để xác định các giao dịch có dấu hiệu đáng ngờ, chẳng hạn như các giao dịch có giá trị lớn, được thực hiện ở các địa điểm khác thường hoặc có tần suất cao. Các mô hình phát hiện gian lận có thể giúp các tổ chức tài chính giảm thiểu thiệt hại do gian lận và bảo vệ khách hàng của họ.

4.3. Tối Ưu Hóa Chiến Lược Thu Hồi Nợ Phân Tích Dữ Liệu

Khai thác dữ liệu có thể được sử dụng để tối ưu hóa các chiến lược thu hồi nợ. Bằng cách phân tích dữ liệu về lịch sử thanh toán, thông tin liên lạc và các yếu tố khác, các tổ chức tài chính có thể xác định các phương pháp thu hồi nợ hiệu quả nhất cho từng khách hàng. Ví dụ, một số khách hàng có thể phản ứng tốt với các cuộc gọi điện thoại, trong khi những người khác có thể phản ứng tốt hơn với các thư nhắc nợ. Việc áp dụng các chiến lược thu hồi nợ được cá nhân hóa có thể giúp tăng tỷ lệ thu hồi nợ và giảm chi phí.

V. Thực Nghiệm Khai Thác Dữ Liệu Trên Dữ Liệu VietinBank

Tác giả hiện đang công tác ở Ngân hàng TMCP VietinBank với vị trí công việc là cán bộ IT có trách nhiệm hỗ trợ các module nghiệp vụ trong đó có module Tín dụng. Từ những hạn chế của mô hình chấm điểm xếp hạng tín dụng hiện tại là phụ thuộc cơ bản vào yếu tố con người, và với mong muốn đề xuất 2 giải pháp cải tiến trong hoạt động quản lý rủi ro tín dụng. Vậy nên, tác giả xin đề xuất hướng nghiên cứu của luận văn là: Ứng dụng khai thác dữ liệu nhằm hỗ trợ đánh giá và dự đoán phân loại rủi ro tín dụng của các khoản vay mới. Với mục tiêu là xây dựng được mô hình phân lớp làm cơ sở tri thức để dự đoán phân loại nợ tốt/xấu với tập khách hàng mới, và phạm vi bài toán trong khuôn khổ luận văn sẽ tập trung vào mảng nghiệp vụ “cho vay tín dụng với khách hàng cá nhân”.

5.1. Khảo Sát Hoạt Động Tín Dụng Của VietinBank

Luận văn trình bày tổng quan về hoạt động tín dụng của VietinBank, bao gồm cơ cấu tín dụng theo kỳ hạn, so sánh các chỉ tiêu tín dụng, huy động, lợi nhuận và nợ xấu. Biểu đồ kiểm soát nợ xấu giai đoạn 2010 đến 2017 cũng được trình bày. Mô hình data warehouse của VietinBank và mô hình thu thập dữ liệu cũng được mô tả chi tiết.

5.2. Mô Tả Bài Toán Ứng Dụng KPDL Hỗ Trợ Quản Lý Rủi Ro

Luận văn mô tả bài toán ứng dụng KPDL để hỗ trợ quản lý rủi ro tín dụng, bao gồm mô hình dữ liệu tại core VietinBank, biến đổi dữ liệu, tính toán sinh ra các bảng, làm sạch dữ liệu, giảm bớt dữ liệu, lựa chọn dữ liệu và tìm hiểu dữ liệu. Xây dựng mô hình phân lớp, lựa chọn dữ liệu & thuộc tính, tham số thuật toán J48 trên Weka và tham số dữ liệu training cũng được trình bày.

5.3. Thực Nghiệm Dữ Liệu Với J48 Trên Weka

Luận văn trình bày kết quả thực nghiệm dữ liệu với J48 trên Weka, đánh giá các lần chạy thực nghiệm với thuật toán J48. Phân lớp Naive Bayes, cấu hình tham số thuật toán Naive Bayes và đánh giá các lần chạy thực nghiệm thuật toán Naive Bayes cũng được trình bày. So sánh kết quả các lần chạy giữa 2 thuật toán, đánh giá lần chạy J48 đạt tỷ lệ phân lớp đúng cao nhất và đánh giá lần chạy Navie đạt tỷ lệ dữ liệu tập huấn 55%.

VI. Kết Luận và Hướng Phát Triển Khai Thác Dữ Liệu

Luận văn tóm tắt những kết quả đã và chưa đạt được, từ đó đưa ra những mục tiêu và hướng tiếp cận trong tương lai. Triển khai tích hợp hệ thống Khai phá dữ liệu và hệ thống Khảo sát tín dụng 3600 của Ngân hàng VietinBank. Mục tiêu tương lai là tiếp tục nghiên cứu và phát triển các ứng dụng của khai thác dữ liệu trong lĩnh vực tài chính ngân hàng.

6.1. Tích Hợp Hệ Thống Khai Thác Dữ Liệu

Việc tích hợp hệ thống khai thác dữ liệu vào các hệ thống hiện có của ngân hàng là một bước quan trọng để tận dụng tối đa tiềm năng của công nghệ này. Hệ thống khai thác dữ liệu có thể được tích hợp với hệ thống quản lý khách hàng (CRM), hệ thống quản lý rủi ro (RM) và các hệ thống khác để cung cấp thông tin chi tiết và dự đoán chính xác cho các quyết định kinh doanh.

6.2. Hướng Phát Triển Trong Tương Lai

Trong tương lai, khai thác dữ liệu sẽ tiếp tục đóng vai trò quan trọng trong lĩnh vực tài chính ngân hàng. Các hướng phát triển tiềm năng bao gồm việc sử dụng các thuật toán học sâu (Deep Learning) để xây dựng các mô hình dự đoán phức tạp hơn, tích hợp dữ liệu từ nhiều nguồn khác nhau (ví dụ: mạng xã hội, dữ liệu giao dịch) và phát triển các ứng dụng trí tuệ nhân tạo (Artificial Intelligence) để tự động hóa các quy trình kinh doanh.