Nghiên cứu mô hình khai phá dữ liệuvà ứng dụng thuật toán phân lớpneural network để đưa ra quyết địnhđầu tư vào các công ty nước ngoài

Nghiên cứu mô hình khai phá dữ liệu và ứng dụng thuật toán phân lớp neural network trong quyết định đầu tư vào công ty nước ngoài.

• Tác giả: Lê Thời Chiến Thắng
• Người hướng dẫn: TS. Thái Kim Phụng
• Trường học: Đại Học Kinh Tế TP. Hồ Chí Minh
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Nghiên Cứu Ứng Dụng Thuật Toán Neural Network Trong Quyết Định Đầu Tư
• Loại tài liệu: tiểu luận
• Năm xuất bản: 2022
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• DANH MỤC BẢNG BIỂU VÀ HÌNH VẼ
• DANH MỤC CHỮ VIẾT TẮT
• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Lý do lựa chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.4.1. Phương pháp nghiên cứu lý luận
• 1.4.2. Phương pháp nghiên cứu thực tiễn
• 1.5. Cấu trúc nghiên cứu
• 2. CHƯƠNG 2: CƠ SỞ LÝ LUẬN
• 2.1. Khai phá dữ liệu
• 2.1.1. Quá trình phát hiện tri thức và khai phá dữ liệu
• 2.1.2. Khái niệm khai phá dữ liệu
• 2.1.3. Quá trình khai phá dữ liệu
• 2.1.4. Các kỹ thuật khai phá dữ liệu
• 2.1.4.1. Khai thác tập phổ biến và luật kết hợp
• 2.1.4.2. Phân lớp dữ liệu
• 2.1.4.3. Phân cụm dữ liệu
• 2.1.5. Các ứng dụng của khai phá dữ liệu
• 2.2. Phân lớp dữ liệu
• 2.2.1. Quá trình phân lớp dữ liệu
• 2.2.2. Phân loại bài toán phân lớp
• 2.2.3. Một số thuật toán phân lớp dữ liệu
• 2.2.3.1. Cây quyết định (Decision tree)
• 2.2.3.2. Support Vector Machine (SVM)
• 2.2.3.3. Hồi quy Logistic (Logistic Regression)
• 2.2.3.4. Mạng Nơ ron nhân tạo (Neural Network)
• 2.3. Mô hình khai phá dữ liệu sử dụng thuật toán phân lớp Neural network
• 2.4. Mô hình nghiên cứu đề xuất
• 2.4.1. Mô tả các biến sử dụng trong mô hình
• 2.4.1.1. Biến phụ thuộc
• 2.4.1.2. Biến độc lập
• 2.4.1.2.1. Tỷ lệ tăng trưởng kép hằng năm (CAGR)
• 2.4.1.2.2. Lợi nhuận thặng dư (ER)
• 2.4.1.2.3. Rủi ro hệ thống (SR)
• 2.4.1.2.4. Tổng rủi ro (TR)
• 2.4.2. Mô hình nghiên cứu đề xuất
• 3. CHƯƠNG 3: PHÂN TÍCH VÀ THẢO LUẬN
• 3.1. Tổng quan về nền kinh tế thị trường Mỹ từ 1990 - 2010
• 3.2. Mô tả bộ dữ liệu huấn luyện và dự báo
• 3.3. Kết quả huấn luyện
• 3.4. Kết quả dự báo
• 4. CHƯƠNG 4: KẾT LUẬN
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1: BỘ DỮ LIỆU HUẤN LUYỆN (MINH HỌA CỦA 30 CÔNG TY ĐẦU TIÊN Ở THỜI KỲ 1990-2000)
• PHỤ LỤC 2: BỘ DỮ LIỆU HUẤN LUYỆN (MINH HỌA CỦA 30 CÔNG TY ĐẦU TIÊN Ở THỜI KỲ 2000-2010)
• PHỤ LỤC 3: Kết quả dự báo (minh họa 30 công ty đầu tiên thuộc thời kỳ 2000- 2010)

Tóm tắt

I. Tổng Quan Ứng Dụng Neural Network Đầu Tư Tiềm Năng

Ứng dụng mạng nơ-ron nhân tạo trong quyết định đầu tư đang ngày càng thu hút sự chú ý. Sự phức tạp của thị trường tài chính, với vô số yếu tố ảnh hưởng, đòi hỏi những phương pháp phân tích và dự báo tiên tiến. Học máy (machine learning), đặc biệt là học sâu (deep learning), cung cấp công cụ mạnh mẽ để giải quyết bài toán này. Các mô hình Neural Network có khả năng học hỏi từ lượng lớn dữ liệu tài chính lịch sử, nhận diện các mẫu hình phức tạp mà các phương pháp truyền thống khó phát hiện. Điều này mở ra cơ hội cải thiện hiệu suất đầu tư và giảm thiểu rủi ro đầu tư. Tuy nhiên, việc triển khai thành công đòi hỏi hiểu biết sâu sắc về cả tài chính và khoa học dữ liệu. Theo tài liệu gốc, việc ứng dụng thuật toán Neural Network có thể giúp đưa ra quyết định đầu tư vào các công ty nước ngoài.

1.1. Giới Thiệu Về Mạng Nơ ron Nhân Tạo Trong Tài Chính

Mạng nơ-ron nhân tạo mô phỏng cấu trúc và chức năng của bộ não con người, cho phép máy tính học hỏi từ dữ liệu một cách tự động. Trong tài chính, mạng nơ-ron có thể được sử dụng để dự báo thị trường chứng khoán, phân tích rủi ro tín dụng và tối ưu hóa danh mục đầu tư. Các mô hình này có khả năng xử lý dữ liệu phi tuyến tính và tương tác phức tạp, vượt trội so với các phương pháp thống kê truyền thống.

1.2. Tại Sao Neural Network Hấp Dẫn Trong Quyết Định Đầu Tư

Sự hấp dẫn của Neural Network nằm ở khả năng thích ứng với môi trường thị trường thay đổi liên tục. Mô hình có thể tự điều chỉnh và cải thiện độ chính xác theo thời gian khi được cung cấp thêm dữ liệu mới. Học sâu (deep learning), một nhánh của mạng nơ-ron, cho phép xây dựng các mô hình phức tạp hơn với khả năng trích xuất đặc trưng tự động từ dữ liệu, giảm thiểu sự phụ thuộc vào chuyên gia phân tích.

1.3. Thách Thức Khi Ứng Dụng Neural Network Trong Đầu Tư

Mặc dù tiềm năng lớn, việc ứng dụng Neural Network cũng đối mặt với nhiều thách thức. Yêu cầu lượng lớn dữ liệu tài chính chất lượng cao để huấn luyện mô hình là một trở ngại lớn. Thêm vào đó, việc giải thích kết quả và đảm bảo tính minh bạch của mô hình là rất quan trọng để xây dựng niềm tin và tuân thủ các quy định pháp lý.

II. Cách Thu Thập Xử Lý Dữ Liệu Tài Chính Cho Neural Network

Để xây dựng một mô hình Neural Network hiệu quả, việc thu thập và xử lý dữ liệu tài chính đóng vai trò then chốt. Các nguồn dữ liệu có thể bao gồm giá chứng khoán lịch sử, các chỉ số tài chính của công ty, dữ liệu kinh tế vĩ mô và thậm chí cả phân tích sentiment thị trường từ tin tức và mạng xã hội. Tuy nhiên, dữ liệu thô thường chứa nhiều nhiễu và thiếu nhất quán, đòi hỏi các bước tiền xử lý kỹ lưỡng như làm sạch dữ liệu, chuẩn hóa và loại bỏ các giá trị ngoại lệ. Chất lượng dữ liệu tài chính đầu vào quyết định trực tiếp đến độ chính xác của mô hình.

2.1. Các Nguồn Dữ Liệu Tài Chính Phổ Biến Cho Mô Hình

Nguồn dữ liệu tài chính đa dạng. Dữ liệu giao dịch chứng khoán, báo cáo tài chính công ty, dữ liệu kinh tế vĩ mô từ các tổ chức chính phủ, và thông tin từ các nhà cung cấp dữ liệu chuyên nghiệp đều là những nguồn quan trọng. Dữ liệu thay thế (alternative data), như phân tích sentiment thị trường từ mạng xã hội, cũng ngày càng được sử dụng rộng rãi.

2.2. Kỹ Thuật Tiền Xử Lý Dữ Liệu Tài Chính Hiệu Quả

Tiền xử lý dữ liệu tài chính bao gồm làm sạch dữ liệu (xử lý giá trị thiếu, loại bỏ dữ liệu trùng lặp), chuẩn hóa dữ liệu (đảm bảo các biến số có cùng tỷ lệ), và trích xuất đặc trưng (tạo ra các biến số mới từ dữ liệu gốc). Các kỹ thuật này giúp cải thiện chất lượng dữ liệu và tăng hiệu suất của mô hình.

2.3. Chọn Lọc Đặc Trưng Feature Selection Trong Dữ Liệu

Chọn lọc đặc trưng là quá trình chọn ra các biến số quan trọng nhất để đưa vào mô hình. Các kỹ thuật chọn lọc đặc trưng có thể dựa trên phân tích thống kê, thuật toán học máy (machine learning) hoặc kinh nghiệm chuyên gia. Việc chọn lọc đặc trưng giúp giảm độ phức tạp của mô hình và cải thiện khả năng khái quát hóa.

III. Xây Dựng Mô Hình Neural Network Dự Báo Thị Trường Chứng Khoán

Việc xây dựng mô hình Neural Network cho dự báo thị trường chứng khoán đòi hỏi lựa chọn kiến trúc mạng phù hợp, thiết lập các tham số huấn luyện và đánh giá hiệu suất mô hình một cách khách quan. Các kiến trúc mạng phổ biến bao gồm mạng nơ-ron truyền thẳng (feedforward neural network), mạng nơ-ron hồi quy (recurrent neural network) và mạng tích chập (convolutional neural network). Quá trình huấn luyện cần sử dụng một tập dữ liệu lịch sử đủ lớn và áp dụng các kỹ thuật tối ưu hóa để tìm ra các tham số tốt nhất. Đánh giá hiệu suất thường dựa trên các chỉ số như độ chính xác, độ nhạy và độ đặc hiệu.

3.1. Các Kiến Trúc Neural Network Phổ Biến Cho Đầu Tư

Các kiến trúc Neural Network khác nhau phù hợp với các loại bài toán khác nhau. Mạng nơ-ron truyền thẳng thích hợp cho các bài toán phân loại và hồi quy đơn giản. Mạng nơ-ron hồi quy, đặc biệt là LSTM và GRU, rất hiệu quả trong việc xử lý phân tích chuỗi thời gian và dự báo thị trường chứng khoán. Mạng tích chập có thể được sử dụng để trích xuất đặc trưng từ hình ảnh và các loại dữ liệu phi cấu trúc khác.

3.2. Huấn Luyện và Tối Ưu Hóa Mô Hình Neural Network

Huấn luyện mô hình Neural Network bao gồm việc điều chỉnh các tham số của mạng để giảm thiểu sai số dự đoán trên tập dữ liệu huấn luyện. Các thuật toán tối ưu hóa phổ biến bao gồm gradient descent và các biến thể của nó. Kỹ thuật điều chuẩn (regularization) cũng được sử dụng để tránh tình trạng quá khớp (overfitting).

3.3. Đánh Giá Hiệu Suất Mô Hình và Backtesting Thuật Toán

Đánh giá hiệu suất mô hình là bước quan trọng để đảm bảo mô hình hoạt động tốt trong thực tế. Backtesting thuật toán là phương pháp kiểm tra hiệu suất của mô hình trên dữ liệu lịch sử để mô phỏng giao dịch thực tế. Các chỉ số đánh giá phổ biến bao gồm tỷ suất sinh lời, hệ số Sharpe và độ sụt giảm tối đa.

IV. Ứng Dụng Neural Network Trong Tối Ưu Hóa Danh Mục Đầu Tư

Tối ưu hóa danh mục đầu tư là một bài toán phức tạp, liên quan đến việc phân bổ vốn vào các tài sản khác nhau để đạt được mục tiêu lợi nhuận mong muốn với mức rủi ro chấp nhận được. Neural Network có thể được sử dụng để dự báo lợi nhuận và rủi ro của các tài sản, từ đó giúp nhà đầu tư đưa ra quyết định phân bổ vốn tối ưu. Mô hình có thể tích hợp nhiều yếu tố khác nhau, bao gồm các chỉ số tài chính cơ bản, phân tích kỹ thuật và dự báo kinh tế vĩ mô. Kết quả là, nhà đầu tư có thể xây dựng một danh mục đa dạng và phù hợp với khẩu vị rủi ro của mình.

4.1. Dự Báo Lợi Nhuận và Rủi Ro Tài Sản Bằng Neural Network

Neural Network có thể được huấn luyện để dự báo lợi nhuận và rủi ro của các tài sản khác nhau, dựa trên dữ liệu tài chính lịch sử và các yếu tố kinh tế khác. Mô hình có thể dự đoán biến động giá chứng khoán, biến động tỷ giá ngoại hối (forex) và biến động giá tiền điện tử (cryptocurrency).

4.2. Phân Bổ Vốn Tối Ưu Dựa Trên Dự Báo Neural Network

Sau khi dự báo lợi nhuận và rủi ro, mô hình Neural Network có thể được sử dụng để phân bổ vốn vào các tài sản khác nhau để tối ưu hóa danh mục đầu tư. Mục tiêu có thể là tối đa hóa lợi nhuận với mức rủi ro nhất định, hoặc giảm thiểu rủi ro với mức lợi nhuận mục tiêu.

4.3. Quản Lý Rủi Ro và Điều Chỉnh Danh Mục Đầu Tư Tự Động

Neural Network có thể được sử dụng để quản lý rủi ro đầu tư và điều chỉnh danh mục đầu tư tự động. Mô hình có thể theo dõi các biến động thị trường và tự động điều chỉnh tỷ lệ phân bổ vốn để duy trì mức rủi ro mong muốn.

V. Ứng Dụng Thực Tế Kết Quả Nghiên Cứu Neural Network Đầu Tư

Nhiều nghiên cứu đã chứng minh tính hiệu quả của việc ứng dụng Neural Network trong quyết định đầu tư. Các mô hình này đã được sử dụng thành công để dự báo thị trường chứng khoán, phân tích rủi ro tín dụng và tối ưu hóa danh mục đầu tư. Một số quỹ đầu tư và công ty tài chính đã triển khai các hệ thống giao dịch tự động dựa trên Neural Network để cải thiện hiệu suất đầu tư và giảm thiểu rủi ro. Tuy nhiên, kết quả thực tế có thể khác nhau tùy thuộc vào chất lượng dữ liệu, kiến trúc mô hình và điều kiện thị trường.

5.1. Nghiên Cứu Điển Hình Về Neural Network Trong Dự Báo Chứng Khoán

Các nghiên cứu đã chỉ ra rằng Neural Network có thể vượt trội so với các phương pháp thống kê truyền thống trong việc dự báo thị trường chứng khoán. Ví dụ, một nghiên cứu sử dụng mạng nơ-ron LSTM để dự đoán giá chứng khoán đã đạt được độ chính xác cao hơn so với mô hình ARIMA.

5.2. Trường Hợp Ứng Dụng Neural Network Trong Quản Lý Danh Mục

Một số quỹ đầu tư đã sử dụng Neural Network để quản lý danh mục đầu tư. Mô hình có thể tự động điều chỉnh tỷ lệ phân bổ vốn dựa trên dự báo thị trường và mức rủi ro mong muốn. Việc này giúp cải thiện hiệu suất đầu tư và giảm thiểu rủi ro.

5.3. Các Nền Tảng Giao Dịch Thuật Toán Sử Dụng Neural Network

Các nền tảng giao dịch thuật toán ngày càng tích hợp Neural Network để cung cấp các dịch vụ tự động hóa giao dịch và tư vấn đầu tư. Các nền tảng này cho phép nhà đầu tư xây dựng và triển khai các chiến lược giao dịch dựa trên mô hình dự đoán và quyết định đầu tư được tạo ra bởi Neural Network.

VI. Tương Lai Neural Network Trí Tuệ Nhân Tạo Trong Đầu Tư

Tương lai của Neural Network và trí tuệ nhân tạo (AI) trong lĩnh vực quyết định đầu tư hứa hẹn nhiều tiềm năng. Sự phát triển của các thuật toán mới, khả năng xử lý dữ liệu lớn ngày càng mạnh mẽ và sự gia tăng của dữ liệu tài chính thay thế sẽ mở ra những cơ hội mới. Chatbot tư vấn đầu tư, hệ thống khuyến nghị đầu tư cá nhân hóa và các công cụ phân tích sentiment thị trường tiên tiến sẽ giúp nhà đầu tư đưa ra quyết định thông minh hơn và hiệu quả hơn. Tuy nhiên, việc đảm bảo tính minh bạch, công bằng và trách nhiệm trong việc sử dụng AI trong tài chính là vô cùng quan trọng.

6.1. Xu Hướng Phát Triển Của AI Trong Lĩnh Vực Tài Chính

Các xu hướng phát triển chính bao gồm sự gia tăng của học sâu (deep learning), việc sử dụng xử lý ngôn ngữ tự nhiên (NLP) trong tài chính để phân tích tin tức và mạng xã hội, và sự tích hợp của AI vào các nền tảng giao dịch thuật toán.

6.2. Tác Động Của Chatbot Tư Vấn Đầu Tư và Hệ Thống Khuyến Nghị

Chatbot tư vấn đầu tư và hệ thống khuyến nghị đầu tư cá nhân hóa sẽ giúp nhà đầu tư đưa ra quyết định thông minh hơn và hiệu quả hơn. Các công cụ này có thể cung cấp tư vấn đầu tư dựa trên khẩu vị rủi ro, mục tiêu tài chính và thông tin cá nhân của từng nhà đầu tư.

6.3. Đạo Đức và Trách Nhiệm Khi Ứng Dụng AI Trong Quyết Định Đầu Tư

Việc đảm bảo tính minh bạch, công bằng và trách nhiệm trong việc sử dụng AI trong tài chính là vô cùng quan trọng. Cần có các quy định và tiêu chuẩn để đảm bảo rằng các mô hình AI không đưa ra các quyết định phân biệt đối xử hoặc gây hại cho nhà đầu tư.

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu  Chương 2: Cơ sở lý luận  Chương 3: Phân tích và thảo luận  Chương 4: Kết luận CHƯƠNG 2: CƠ SỞ LÝ LUẬN 5 2.1 Khai phá dữ liệu (KPDL).1 Quá trình phát hiện tri thức và khai phá dữ liệu. Biết chọn lọc và sử dụng thông tin hiệu quả có thể quyết định sự thành công của bạn trong phân tích dữ liệu. Điều đó có nghĩa là phải tìm ra những giá trị tiềm ẩn, các yếu tố tác động và những xu hướng phát triển của các dữ liệu sẵn có ấy. Quá trình đó được gọi là quá trình phát hiện tri thức (Knowledge Discovery in Database – KDD) mà trong đó KPDL là một kỹ thuật quan trọng cho phép ta thu được các tri thức mong muốn.

Quá trình KDD Nguồn: Phantuanduy (2013). Quy trình Khai phá dữ liệu (Process of Data mining).1, ta thấy quá trình phát hiện tri thức gồm nhiều giai đoạn. Đầu ra của giai đoạn này là đầu vào của giai đoạn sau. Trong tiến trình này, người ta đặc biệt quan tâm đến pha khai phá dữ liệu (Data mining), bởi việc tìm ra được những tri thức và thông tin có cấu trúc chặt chẽ tiềm ẩn trong kho dữ liệu khổng lồ.

Các kỹ thuật phát hiện tri thức được thực hiện qua nhiều giai đoạn và sử dụng nhiều phương pháp như: phân lớp, phân cụm, phân tích sự tương tự, tổng hợp, phát hiện luật kết hợp và mẫu tuần tự,. Quá trình phát hiện tri thức gồm 5 bước cơ bản: 6  Bước 1: Chọn lọc dữ liệu (Selection): Giai đoạn này cần gom các dữ liệu khai thác được vào một cơ sở dữ liệu (CSDL) riêng. Ở đây, chúng ta chỉ chọn lọc và giữ lại những dữ liệu nào mà giai đoạn sau yêu cầu. Tuy nhiên, công việc này thường khó khăn và tốn nhiều thời gian vì dữ liệu tồn tại ở nhiều dạng khác nhau và nằm rải rác khắp nơi.

 Bước 2: Tiền xử lý dữ liệu (Preprocessing): Khi tập hợp dữ liệu thường mắc phải một số lỗi như dữ liệu thiếu logic (bị trùng lặp, giá trị bị sai lệch,.), thiếu chặt chẽ, chưa đầy đủ, hiếm khi nào các dữ liệu thu thập được đều mang tính nhất quán. Do đó “tiền xử lý” là một bước quan trọng sau đó giúp hạn chế những kết quả sai lệch không mong muốn trước khi bước vào quá trình KPDL.  Bước 3: Chuyển đổi dữ liệu (Transformation): Trong giai đoạn này, dữ liệu sẽ được chuyển đổi về dạng thích hợp để dễ dàng tiến hành các thuật toan KPDL.  Bước 4: Khai phá dữ liệu (Data mining): Giai đoạn này sử dụng các kỹ thuật nhằm phát hiện ra các tri thức tiềm ẩn trong dữ liệu.

Một số kĩ thuật được sử dụng đó là: phân lớp, phâm cụm, luật kết hợp,…  Bước 5: Đánh giá kết quả mẫu (Interpretation evaluation): Đây cũng là bước cuối cùng trong quá trình KDD. Trong giai đoạn này, những tiêu chuẩn đánh giá thích hợp sẽ được chọn lọc và sử dụng sao cho các mẫu dữ liệu được trích xuất bởi các phần mềm KPDL có thể sử dụng được. Không phải bất cứ mẫu nào cũng đều có ích, thậm chí còn bị sai lệch. Chính vì vậy, cần phải xác định và lựa chọn những tiêu chuẩn đánh giá sao cho sẽ chiết xuất ra các tri thức cần thiết.2 Khái niệm khai phá dữ liệu.

Khai phá dữ liệu là một tiến trình khám phá ra các mẫu dữ liệu hay các mô hình mong muốn dưới nhiều góc độ khác nhau nhờ sử dụng các công cụ phân tích, từ đó tìm ra được các thông tin và tri thức từ các CSDL cũng như các mối quan hệ giữa các đối tượng bên trong CSDL. 7 Nếu xét về mặt ý tưởng và mục đích ứng dụng, KPDL thật sự là một nhu cầu tất yếu đặt ra trong thời đại 4.0, một sự đáp trả cho những tìm tòi, khám phá của thế giới về mặt kỹ thuật. Đây là một phát hiện vĩ đại, mang đến nhiều lợi ích trong cuộc sống, đồng thời cũng đặt ra nhiều khó khăn và thử thách đối với các nhà nghiên cứu.j KPDL được xây dựng dựa trên việc sử dụng các giải thuật mới, được định hướng theo nhu cầu kinh doanh để có thể giải quyết tự động các bài toán kinh doanh bằng các kỹ thuật dễ dùng và có thể hiểu được. Các kỹ thuật đang được nghiên cứu và sử dụng hiện nay bao gồm cây quyết định (CART, CHAID, AID), mạng Neuron, phương pháp láng giềng gần nhất, các luật suy diễn, v.3 Quá trình khai phá dữ liệu.

Các bước quan trọng trong quá trình KPDL bao gồm: Hình 2.2: Quá trình khai phá dữ liệu Nguồn: ThS. Trần Hùng Cường, ThS. Ngô Đức Vĩnh (2011). Tổng quan về phát hiện tri thức và khai phá dữ liệu.

Khoa Công nghệ thông tin Trường Đại học Công nghiệp Hà Nội, 1 – 6. Quá trình KPDL bắt đầu từ việc xác định vấn đề đang gặp phải một cách chính xác, rồi tìm hiểu các dữ liệu liên quan dùng để xây dựng giải pháp. Sau đó, các dữ liệu cần thiết được thu thập cẩn thận và tiền xử lý thành dạng mà giải thuật KPDL có thể hiểu được. Tuy chỉ gồm một vài bước nhưng đây không phải là một quá trình đơn giản, khi tiến hành có thể vướng phải một số khó khăn như: nếu mô hình cần chỉnh 8 sửa dữ liệu thì toàn bộ quá trình phải lặp đi lặp lại cho đến khi phù hợp gây mất thời gian, hay phải sao ra nhiều bản đối với các dữ liệu được chiết xuất vào các tệp,… Thực hiện KPDL là bước tiếp theo sau khi chọn được thuật toán thích hợp để tìm ra các mẫu (pattern) có ý nghĩa được biểu diễn dưới các dạng tương ứng (các luật xếp loại, cây quyết định, luật sản xuất, biểu thức hồi quy,…).

Mẫu có đặc điểm là phải mới (ít nhất là đối với hệ thống đó). Độ mới thường được đánh giá thông qua một hàm logic hoặc hàm đo độ mới và được đo tương ứng với độ thay đổi trong dữ liệu (bằng cách so sánh các giá trị tìm được với các giá trị mong muốn hoặc các giá trị trước đó), hoặc bằng tri thức (mối liên hệ giữa phương pháp tìm cũ và phương pháp mới). Bên cạnh đó, sau khi xử lý các mẫu và cho ra kết quả phải được đánh giá thông qua một hàm lợi ích để đo lường khả năng sử dụng tiềm tàng. Các mẫu này sau khi được xử lý và diễn giải phải dẫn đến những hành động có ích nào đó được đánh giá bằng một hàm lợi ích.

Mẫu khai thác được phải có giá trị đối với các dữ liệu mới với độ chính xác nào đó.4 Các kỹ thuật khai phá dữ liệu Có rất nhiều kỹ thuật được áp dụng trong khai phá dữ liệu, nhưng trong bài nghiên cứu này nhóm tác giả chỉ đề cập đến 3 kỹ thuật chính được biết đến và sử dụng rộng rãi: 2.1 Khai thác tập phổ biến và luật kết hợp Kỹ thuật này nhằm xác định mối quan hệ giữa các biến khác nhau trong CSDL và được sử dụng để “giải nén” các mẫu tiềm ẩn trong dữ liệu. Một luật kết hợp X → Y phản ánh sự xuất hiện đồng thời của tập Y khi tập X xuất hiện. Theo quan điểm thống kê, X được xem là biến độc lập (Independent variable) còn Y được xem là biến phụ thuộc (Dependent variable) Kỹ thuật này được sử dụng rất phổ biến ở các doanh nghiệp để phân tích hành vi mua sắm, dự đoán xu hướng từ giỏ hàng của khách hàng tiềm năng và dự đoán hành 9 vi người tiêu dùng trong ngành bán lẻ hay trong lĩnh vực Công nghệ Thông tin, cụ thể là các chương trình Machine Learning.2 Phân lớp dữ liệu Là quá trình phân một đối tượng dữ liệu vào một hay nhiều lớp (loại) đã cho trước nhờ một mô hình phân lớp. Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó (thuộc về lớp nào).

Quá trình gán nhãn (thuộc lớp nào) cho đối tượng dữ liệu chính là quá trình phân lớp dữ liệu. Kỹ thuật này dùng để rút trích các thông tin cần thiết từ kho dữ liệu có sẵn. Vì thế, đối với kỹ thuật này, chúng ta sẽ áp dụng các thuật toán khác nhau tùy thuộc vào mục tiêu sử dụng. Đây cũng là kỹ thuật có vai trò quan trọng trong việc dự báo các quy luật, xu hướng,… bằng cách mô tả các thuộc tính liên quan để đối tượng được phân loại vào một lớp cụ thể.3 Phân cụm dữ liệu Là quá trình gom cụm/nhóm các đối tượng/dữ liệu có đặc điểm tương đồng vào các cụm/nhóm tương ứng.

Trong đó: các đối tượng nào có những tính chất tương tự nhau sẽ được xếp vào cùng một cụm và ngược lại. Dữ liệu sử dụng trong kỹ thuật này là dữ liệu chưa được gán nhãn và thường thấy trong thực tế. Trong kinh doanh, kỹ thuật này thường được ứng dụng để quản lý hồ sơ khách hàng hoặc chia phân khúc khách hàng trong lĩnh vực Marketing 2.5 Các ứng dụng của khai phá dữ liệu Mặc dù KPDL còn mang nhiều mặt hạn chế cần được cải thiện, nhưng không thể phủ nhận tiềm năng hiện tại của nó. Tiềm năng ấy đã được khẳng định bằng sự ra đời của rất nhiều ứng dụng.

Các ứng dụng của KPDL trong khoa học cũng được phát triển. Các công ty phần mềm lớn trên thế giới cũng rất quan tâm và chú trọng tới việc nghiên cứu và phát triển kỹ thuật khai phá dữ liệu: Oracle tích hợp các công cụ khai 10 phá dữ liệu vào bộ Oracle9i, IBM đã đi tiên phong trong việc phát triển các ứng dụng khai phá dữ liệu với các ứng dụng như Intelligence Miner,… Đây là kỹ thuật thu hút sự quan tâm của đa số các nhà nghiên cứu bởi ứng dụng đa dạng trong nhiều lĩnh vực khác nhau như:  Lĩnh vực tài chính, ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng, các khoản vay nợ, hỗ trợ việc ra quyết định khi đầu tư chứng khoán, bất động sản. Đây cũng chính là hướng nghiên cứu chính của bài.  Thương mại điện tử: Công cụ tìm hiểu, định hướng, thúc đẩy, giao tiếp với khách hàng; phân tích khách hàng duyệt web; phân tích thái độ mua sắm của khách hàng và dựa vào từng loại khách hàng để có phương án tiếp thị phù hợp.

 Lĩnh vực y tế: Phát hiện các mối quan hệ giữa bệnh với phương pháp chữa trị để tìm ra các loại thuốc mới, dựa trên các yếu tố rủi ro để dự đoán loại bệnh mà bệnh nhân có thể mắc phải.