Mô Hình Khai Phá Dữ Liệu Sử Dụng Thuật Toán Neural Network Trong Ra Quyết Định Đầu Tư Hiệu Quả

Nghiên cứu mô hình khai phá dữ liệu với thuật toán neural network giúp ra quyết định đầu tư hiệu quả trên thị trường chứng khoán Việt Nam.

• Tác giả: Trương Thái Ngọc
• Người hướng dẫn: NCS TS. Thái Kim Phụng
• Trường học: Trường Đại Học Kinh Tế TP.HCM
• Chuyên ngành: Khoa Học Dữ Liệu
• Đề tài: Mô Hình Khai Phá Dữ Liệu Sử Dụng Neural Network Trong Đầu Tư Chứng Khoán Việt Nam
• Loại tài liệu: tiểu luận
• Năm xuất bản: 2021
• Địa điểm: TP. Hồ Chí Minh

Mục lục chi tiết

• 1. CHƯƠNG 1: GIỚI THIỆU
• 1.1. Lý do lựa chọn đề tài
• 1.2. Mục tiêu nghiên cứu
• 1.3. Đối tượng và phạm vi nghiên cứu
• 1.4. Phương pháp nghiên cứu
• 1.4.1. Phương pháp nghiên cứu lý luận
• 1.4.2. Phương pháp nghiên cứu thực tiễn
• 1.5. Cấu trúc nghiên cứu
• 2. CHƯƠNG 2: CƠ SỞ LÝ LUẬN
• 2.1. Khai phá dữ liệu
• 2.1.1. Quá trình phát hiện tri thức và khai phá dữ liệu
• 2.1.2. Khái niệm khai phá dữ liệu
• 2.1.3. Quá trình khai phá dữ liệu
• 2.1.4. Các kỹ thuật khai phá dữ liệu
• 2.1.4.1. Khai thác tập phổ biến và luật kết hợp
• 2.1.4.2. Phân lớp dữ liệu
• 2.1.4.3. Phân cụm dữ liệu
• 2.1.5. Các ứng dụng của khai phá dữ liệu
• 2.2. Phân lớp dữ liệu
• 2.2.1. Quá trình phân lớp dữ liệu
• 3. CHƯƠNG 3: PHÂN TÍCH VÀ THẢO LUẬN
• 3.1. Tổng quan thị trường chứng khoán Việt Nam hiện nay
• 3.2. Mô tả bộ dữ liệu huấn luyện và dự báo
• 3.3. Kết quả huấn luyện
• 3.4. Kết quả dự báo
• 4. CHƯƠNG 4: KẾT LUẬN
• 4.1. Hạn chế của đề tài và hướng nghiên cứu tiếp theo
• TÀI LIỆU THAM KHẢO
• PHỤ LỤC 1: BỘ DỮ LIỆU HUẤN LUYỆN (210 CÔNG TY)
• PHỤ LỤC 2: BỘ DỮ LIỆU DỰ BÁO (90 CÔNG TY)
• PHỤ LỤC 3: KẾT QUẢ DỰ BÁO (90 CÔNG TY)
• PHỤ LỤC 4: KẾT QUẢ DỰ BÁO DỰA VÀO CHỈ SỐ NEURAL NETWORK (90 CÔNG TY)

Tóm tắt

I. Giới thiệu về mô hình khai phá dữ liệu sử dụng Neural Network

Mô hình khai phá dữ liệu (KPDL) sử dụng Neural Network đang trở thành một công cụ quan trọng trong việc ra quyết định đầu tư trên thị trường chứng khoán Việt Nam. Sự phát triển của công nghệ thông tin đã tạo ra một lượng dữ liệu khổng lồ, và việc khai thác tri thức từ dữ liệu này là rất cần thiết. Khai phá dữ liệu không chỉ giúp các nhà đầu tư hiểu rõ hơn về thị trường mà còn tối ưu hóa quy trình ra quyết định của họ.

1.1. Tầm quan trọng của khai phá dữ liệu trong đầu tư chứng khoán

Khai phá dữ liệu giúp các nhà đầu tư phát hiện ra các mẫu và xu hướng trong dữ liệu tài chính. Điều này cho phép họ đưa ra quyết định đầu tư chính xác hơn, giảm thiểu rủi ro và tối ưu hóa lợi nhuận.

1.2. Tổng quan về Neural Network trong khai phá dữ liệu

Neural Network là một trong những thuật toán mạnh mẽ nhất trong Machine Learning. Nó có khả năng học từ dữ liệu và phát hiện các mối quan hệ phức tạp, giúp cải thiện độ chính xác trong dự đoán giá cổ phiếu.

II. Thách thức trong việc áp dụng mô hình Neural Network tại Việt Nam

Mặc dù Neural Network mang lại nhiều lợi ích, nhưng việc áp dụng nó trong đầu tư chứng khoán tại Việt Nam vẫn gặp nhiều thách thức. Các nhà đầu tư thường thiếu kiến thức về công nghệ và dữ liệu, dẫn đến việc không tận dụng được hết tiềm năng của mô hình này.

2.1. Thiếu hụt dữ liệu chất lượng

Một trong những thách thức lớn nhất là việc thiếu hụt dữ liệu chất lượng. Nhiều nhà đầu tư không có quyền truy cập vào các bộ dữ liệu đáng tin cậy, điều này ảnh hưởng đến khả năng xây dựng mô hình chính xác.

2.2. Khó khăn trong việc hiểu và áp dụng công nghệ

Nhiều nhà đầu tư không quen thuộc với các thuật toán Machine Learning và Khai phá dữ liệu. Điều này dẫn đến việc họ không thể áp dụng hiệu quả các mô hình như Neural Network trong quyết định đầu tư.

III. Phương pháp xây dựng mô hình Neural Network cho đầu tư chứng khoán

Để xây dựng một mô hình Neural Network hiệu quả cho đầu tư chứng khoán, cần thực hiện một số bước quan trọng. Các bước này bao gồm thu thập dữ liệu, tiền xử lý dữ liệu, và xây dựng mô hình. Mỗi bước đều có vai trò quan trọng trong việc đảm bảo độ chính xác của mô hình.

3.1. Thu thập và tiền xử lý dữ liệu

Việc thu thập dữ liệu từ các nguồn đáng tin cậy là rất quan trọng. Sau đó, dữ liệu cần được tiền xử lý để loại bỏ các giá trị thiếu và chuẩn hóa các biến số, giúp mô hình hoạt động hiệu quả hơn.

3.2. Xây dựng và huấn luyện mô hình Neural Network

Sau khi dữ liệu đã được chuẩn bị, mô hình Neural Network sẽ được xây dựng và huấn luyện. Quá trình này bao gồm việc lựa chọn kiến trúc mạng, xác định các tham số và tối ưu hóa mô hình để đạt được độ chính xác cao nhất.

IV. Ứng dụng thực tiễn của mô hình Neural Network trong đầu tư chứng khoán

Mô hình Neural Network đã được áp dụng thành công trong nhiều trường hợp thực tế tại thị trường chứng khoán Việt Nam. Các nhà đầu tư đã sử dụng mô hình này để dự đoán giá cổ phiếu và tối ưu hóa danh mục đầu tư của họ.

4.1. Dự đoán giá cổ phiếu

Mô hình Neural Network có khả năng dự đoán giá cổ phiếu dựa trên các yếu tố như lịch sử giá, khối lượng giao dịch và các chỉ số tài chính khác. Điều này giúp các nhà đầu tư đưa ra quyết định kịp thời.

4.2. Tối ưu hóa danh mục đầu tư

Bằng cách sử dụng mô hình Neural Network, các nhà đầu tư có thể tối ưu hóa danh mục đầu tư của mình, giảm thiểu rủi ro và tăng cường lợi nhuận. Mô hình giúp xác định các cổ phiếu tiềm năng và phân bổ tài sản hợp lý.

V. Kết luận và triển vọng tương lai của mô hình Neural Network

Mô hình Neural Network trong khai phá dữ liệu đang mở ra nhiều cơ hội cho các nhà đầu tư tại Việt Nam. Với sự phát triển không ngừng của công nghệ, việc áp dụng mô hình này sẽ ngày càng trở nên phổ biến và hiệu quả hơn.

5.1. Triển vọng phát triển mô hình Neural Network

Trong tương lai, mô hình Neural Network sẽ tiếp tục được cải tiến và phát triển, giúp các nhà đầu tư có thêm công cụ mạnh mẽ để ra quyết định đầu tư chính xác hơn.

5.2. Tăng cường giáo dục và đào tạo về khai phá dữ liệu

Để tận dụng tối đa tiềm năng của mô hình Neural Network, cần tăng cường giáo dục và đào tạo cho các nhà đầu tư về Khai phá dữ liệu và Machine Learning. Điều này sẽ giúp họ tự tin hơn trong việc áp dụng công nghệ vào đầu tư.

Nội dung chính

Dưới đây là bản phân tích tài liệu và bài viết SEO content học thuật chuyên sâu, được tối ưu hóa cấu trúc chuẩn và mật độ từ khóa tự nhiên.

---

BƯỚC 1: PHÂN TÍCH TÀI LIỆU

1. Vấn đề và câu hỏi chính tài liệu giải quyết

• Bài toán ra quyết định định lượng: Làm thế nào để ứng dụng kỹ thuật khai phá dữ liệu (Data Mining) và học máy nhằm tự động hóa, giảm thiểu rủi ro cảm tính trong việc lựa chọn cổ phiếu tiềm năng trên thị trường chứng khoán Việt Nam?
• Lựa chọn mô hình phân lớp tối ưu: Thuật toán nào (trong số Neural Network, Decision Tree, SVM, Logistic Regression) mang lại độ chính xác và hiệu quả phân lớp cao nhất trên bộ dữ liệu chỉ số tài chính doanh nghiệp?
• Tác động của các chỉ số tài chính: Bộ 5 chỉ số tài chính cơ bản (EPS, P/E, ROA, ROE, Beta) tương quan và chi phối như thế nào đến quyết định phân loại cổ phiếu "Nên" hoặc "Không nên" đầu tư?
• Quy trình triển khai trực quan: Làm thế nào để thực thi một quy trình KDD hoàn chỉnh trên công cụ Orange Data Mining từ khâu tiền xử lý, huấn luyện, kiểm thử (K-Fold) đến dự báo dữ liệu mới?

2. Danh mục 18 thuật ngữ chuyên ngành quan trọng

1. Khai phá dữ liệu (Data Mining)
2. Phát hiện tri thức trong cơ sở dữ liệu (KDD - Knowledge Discovery in Databases)
3. Mạng Nơ-ron nhân tạo (Neural Network / ANN)
4. Phân lớp dữ liệu (Data Classification)
5. Cây quyết định (Decision Tree)
6. Máy vector hỗ trợ (Support Vector Machine - SVM)
7. Hồi quy Logistic (Logistic Regression)
8. Ma trận nhầm lẫn (Confusion Matrix)
9. Kiểm định chéo K-fold (K-Fold Cross-Validation)
10. Phương pháp phân chia Hold-out (Holdout Validation)
11. Chỉ số F1-score (F1 Measurement)
12. Precision & Recall
13. Đường cong ROC và diện tích dưới đường cong AUC (Receiver Operating Characteristic & Area Under Curve)
14. Tỷ suất thu nhập trên mỗi cổ phần (EPS - Earnings Per Share)
15. Hệ số giá trên thu nhập (P/E - Price-to-Earnings Ratio)
16. Tỷ suất sinh lời trên tổng tài sản (ROA - Return on Assets)
17. Tỷ suất sinh lời trên vốn chủ sở hữu (ROE - Return on Equity)
18. Hệ số đo lường rủi ro hệ thống (Beta Coefficient)

3. Đóng góp và điểm mới của tài liệu

• Xây dựng khung phân loại dữ liệu tài chính thực tế: Áp dụng dữ liệu thực tế từ 300 doanh nghiệp niêm yết trên 3 sàn HOSE, HNX và UPCOM trong giai đoạn biến động mạnh (năm 2020).
• Kiểm chứng thực nghiệm đa thuật toán: Thực hiện so sánh đối chuẩn (benchmark) khách quan giữa 4 thuật toán phân lớp phổ biến, chứng minh tính vượt trội của mạng Neural Network với F1-score đạt mức xấp xỉ 90.9%.
• Quy trình hóa mô hình hóa dữ liệu dạng No-Code/Low-Code: Minh họa chi tiết các luồng xử lý trên nền tảng Orange Data Mining, giúp đơn giản hóa việc triển khai phân tích dữ liệu tài chính cho người mới bắt đầu.

---

BƯỚC 2: CONTENT SEO CHI TIẾT

Tổng quan nghiên cứu

Thị trường chứng khoán Việt Nam đang chứng kiến sự tăng trưởng vượt bậc về số lượng nhà đầu tư cá nhân. Tuy nhiên, sự biến động khó lường của thị trường luôn tiềm ẩn nhiều rủi ro đối với những quyết định mang tính cảm tính. Trong bối cảnh kỷ nguyên số bùng nổ, việc khai thác thông tin từ khối lượng lớn báo cáo tài chính trở thành bài toán sống còn.

Khai phá dữ liệu (Data Mining) và quy trình phát hiện tri thức trong cơ sở dữ liệu (KDD) nổi lên như một giải pháp đột phá. Phương pháp này giúp nhà đầu tư chuyển hóa khối dữ liệu tài chính thô thành các tín hiệu đầu tư có giá trị thực tiễn. Khoảng trống lớn hiện nay là nhiều nhà đầu tư thiếu một khung công cụ định lượng khoa học để sàng lọc cổ phiếu hiệu quả.

Nghiên cứu "Mô hình khai phá dữ liệu sử dụng thuật toán phân lớp Neural Network và ứng dụng trong việc ra quyết định đầu tư trên thị trường chứng khoán Việt Nam" được thực hiện nhằm giải quyết trực tiếp thách thức trên. Tác giả đã tiếp cận bài toán bằng cách trích xuất 5 chỉ số tài chính cốt lõi gồm EPS, P/E, ROA, ROE và Beta của 300 doanh nghiệp niêm yết. Thông qua công cụ Orange Data Mining, nghiên cứu tiến hành huấn luyện, kiểm thử và so sánh 4 mô hình máy học phổ biến để tìm ra thuật toán phân lớp tối ưu nhất cho việc dự báo.

---

Nội dung chi tiết

1. Cơ sở lý thuyết KDD và bài toán phân lớp trong đầu tư chứng khoán

Quá trình phát hiện tri thức trong cơ sở dữ liệu (KDD) là một chu trình khép kín gồm 5 giai đoạn chính: chọn lọc dữ liệu (Selection), tiền xử lý (Preprocessing), chuyển đổi dữ liệu (Transformation), khai phá dữ liệu (Data Mining) và đánh giá kết quả (Interpretation/Evaluation). Trong đó, khai phá dữ liệu giữ vai trò trọng tâm. Đây là bước trực tiếp ứng dụng các giải thuật thông minh nhằm tìm kiếm những quy luật ẩn sâu bên trong các cấu trúc dữ liệu phức tạp.

Đối với bài toán tài chính, phân lớp dữ liệu (Classification) là kỹ thuật học có giám sát được ứng dụng rộng rãi nhất. Mục tiêu của phân lớp là gán các đối tượng dữ liệu vào những nhóm nhãn định trước dựa trên các thuộc tính đặc trưng (features). Nghiên cứu đã tập trung khảo sát 4 thuật toán phân lớp tiêu biểu:

• Cây quyết định (Decision Tree): Mô hình phân nhánh trực quan, dễ diễn giải dựa trên các điều kiện logic.
• Hồi quy Logistic (Logistic Regression): Phương pháp thống kê ước lượng xác suất xảy ra biến cố nhị phân.
• Máy vector hỗ trợ (Support Vector Machine - SVM): Tối ưu hóa siêu phẳng phân cách (Hyperplane) với hàm lề cực đại trong không gian nhiều chiều.
• Mạng Nơ-ron nhân tạo (Neural Network): Mô phỏng cấu trúc tế bào thần kinh sinh học, có khả năng học các mối quan hệ phi tuyến phức tạp thông qua các tầng ẩn (Hidden Layers).

Về mặt dữ liệu đầu vào, nghiên cứu thiết lập bộ 5 biến độc lập tài chính mang tính quyết định: EPS (khả năng sinh lời trên mỗi cổ phần), P/E (định giá thời gian hoàn vốn), ROA (hiệu quả sử dụng tài sản), ROE (hiệu quả sử dụng vốn chủ sở hữu) và hệ số Beta (đo lường mức độ biến động rủi ro so với thị trường). Biến mục tiêu (Target) được nhị phân hóa thành hai nhãn rõ ràng: "Nên đầu tư" và "Không nên đầu tư" dựa trên hệ thống xếp hạng uy tín.

---

2. Phương pháp nghiên cứu và quy trình ứng dụng Neural Network trên Orange

Quy trình thực nghiệm được triển khai đồng bộ thông qua phần mềm Orange Data Mining – một môi trường phân tích dữ liệu trực quan mạnh mẽ. Bộ dữ liệu tổng thể gồm 300 mã chứng khoán thuộc các sàn HOSE, HNX và UPCOM trong năm 2020. Dữ liệu được phân chia khoa học thành hai tập độc lập:

• Tập huấn luyện (Training Set): Gồm 210 công ty đầu tiên, đầy đủ các biến đặc trưng (features) và biến phân lớp (target) đã được gán nhãn.
• Tập dự báo (Testing/Unseen Set): Gồm 90 công ty còn lại, dùng để kiểm chứng khả năng tổng quát hóa của mô hình sau huấn luyện.

Để đảm bảo tính khách quan và hạn chế hiện tượng quá khớp (Overfitting), tác giả áp dụng phương pháp kiểm định chéo K-Fold Cross-Validation với $k = 5$. Phương pháp này chia tập dữ liệu thành 5 phần bằng nhau, luân phiên sử dụng 4 phần để huấn luyện và 1 phần để kiểm tra. Quy trình này lặp lại 5 lần, giúp mô hình được đánh giá toàn diện trên toàn bộ không gian mẫu.

Hệ thống chỉ số đánh giá hiệu năng mô hình được xây dựng chặt chẽ qua Ma trận nhầm lẫn (Confusion Matrix), bao gồm: Độ chính xác tổng thể (Classification Accuracy - CA), Precision (độ chuẩn xác), Recall (độ phủ), F1-score (trung bình điều hòa giữa Precision và Recall) và diện tích dưới đường cong AUC-ROC. Mô hình Neural Network được thiết lập với kiến trúc Perceptron đa tầng (Multilayer Perceptron), tự động tối ưu hóa trọng số kết nối giữa các nơ-ron để tìm ra biên phân chia tối ưu.

---

3. Kết quả thực nghiệm và giá trị ứng dụng dự báo đầu tư

Kết quả kiểm nghiệm qua 5-Fold Cross-Validation trên tập 210 doanh nghiệp đã chứng minh sự vượt trội rõ rệt của mô hình Neural Network so với các thuật toán còn lại. Mạng nơ-ron đạt chỉ số F1-score ấn tượng ở mức xấp xỉ 90.9%, đồng thời chỉ số CA, Precision và Recall đều dẫn đầu bảng xếp hạng đánh giá. Mặc dù chỉ số AUC của Neural Network (93.2%) thấp hơn một lượng không đáng kể so với Logistic Regression (93.4%), độ chuẩn xác tổng thể của mạng nơ-ron vẫn vượt trội hoàn toàn.

Dựa trên Ma trận nhầm lẫn của Neural Network:

• Trong 104 doanh nghiệp thuộc nhóm "Không nên đầu tư", mô hình phân loại chính xác 97 trường hợp (chỉ nhận diện sai 7 mẫu).
• Trong 106 doanh nghiệp thuộc nhóm "Nên đầu tư", mô hình phân lớp đúng 94 trường hợp (nhận diện sai 12 mẫu).

Khi áp dụng mô hình Neural Network đã hoàn thiện để dự báo cho tập 90 công ty chưa gán nhãn:

• Mô hình xác định xác suất đầu ra cụ thể cho từng cổ phiếu. Cổ phiếu có xác suất thuộc lớp "Nên" $\ge 0.5$ được khuyến nghị đầu tư và ngược lại.
• Kết quả phân lớp chỉ ra có 40 công ty đạt tiêu chuẩn "Nên đầu tư hiệu quả" và 50 công ty rơi vào nhóm "Không nên đầu tư".

Kết quả thực nghiệm này mang lại giá trị ứng dụng thực tiễn to lớn. Phương pháp cung cấp cho nhà đầu tư một bộ lọc định lượng tự động, loại bỏ các cổ phiếu kém hiệu quả và tập trung nguồn lực vào danh mục tiềm năng tăng trưởng cao.

---

Ai nên đọc tài liệu này?

Tài liệu là tài nguyên học thuật và thực hành giá trị cao dành cho các nhóm đối tượng sau:

• Sinh viên chuyên ngành Công nghệ thông tin kinh doanh, Khoa học dữ liệu, Hệ thống thông tin quản lý: Cần tài liệu tham khảo chuẩn mực về cấu trúc tiểu luận môn học, cách xây dựng luồng dữ liệu (workflow) trên phần mềm Orange.
• Nhà đầu tư cá nhân trên thị trường chứng khoán: Muốn tìm kiếm cách tiếp cận đầu tư định lượng (Quantitative Investing), ứng dụng chỉ số tài chính và công nghệ máy học để nâng cao hiệu suất đầu tư.
• Chuyên viên phân tích dữ liệu tài chính (Data Analyst / Quant Analyst): Cần khung tham chiếu thực nghiệm so sánh hiệu năng giữa các giải thuật phân lớp (ANN, SVM, Decision Tree, Logistic Regression).

Kiến thức nền tảng cần có:

• Hiểu biết cơ bản về các chỉ số tài chính doanh nghiệp cơ bản (EPS, P/E, ROA, ROE, Beta).
• Nắm được khái niệm sơ cấp về học máy có giám sát và quy trình xử lý dữ liệu dạng bảng (Tabular Data).

---

Câu hỏi thường gặp

1. Kỹ thuật khai phá dữ liệu trong chứng khoán là gì?

Khai phá dữ liệu trong chứng khoán là quá trình ứng dụng các giải thuật toán học và máy học để tự động phân tích dữ liệu giao dịch, chỉ số tài chính lịch sử, từ đó phát hiện các quy luật tiềm ẩn hỗ trợ dự báo xu hướng giá và phân loại cơ hội đầu tư hiệu quả.

2. Quy trình phân lớp cổ phiếu bằng phần mềm Orange diễn ra như thế nào?

Quy trình gồm 4 bước: (1) Nhập và tiền xử lý dữ liệu qua widget File/Data Table; (2) Khai báo vai trò biến (features, target, meta); (3) Kết nối dữ liệu vào các mô hình học (Neural Network, SVM...) kết hợp kiểm thử Test & Score; (4) Sử dụng widget Predictions để gán nhãn cho dữ liệu mới.

3. Tại sao Neural Network lại vượt trội hơn Decision Tree hay SVM trong nghiên cứu này?

Neural Network sở hữu các tầng ẩn phi tuyến với khả năng học sâu các mối quan hệ tương tác phức tạp giữa các chỉ số tài chính đa chiều, điều mà Decision Tree hay các đường phân chia tuyến tính của SVM/Logistic Regression dễ bị hạn chế hoặc quá khớp.

4. Khi nào nhà đầu tư nên áp dụng mô hình phân lớp nơ-ron định lượng?

Nhà đầu tư nên áp dụng mô hình khi cần sàng lọc sơ bộ hàng trăm mã cổ phiếu trên sàn giao dịch vào đầu mỗi kỳ báo cáo tài chính quý/năm, giúp tiết kiệm thời gian phân tích thủ công và loại bỏ yếu tố thiên lệch cảm xúc.

5. Bộ chỉ số EPS, P/E, ROA, ROE và Beta có ý nghĩa gì trong việc phân loại?

EPS, ROA, ROE đại diện cho năng lực sinh lời nội tại của doanh nghiệp; P/E phản ánh mức định giá thị trường và kỳ vọng hoàn vốn; trong khi Beta đo lường rủi ro biến động giá. Sự kết hợp này mang lại góc nhìn toàn diện về cả hiệu quả hoạt động lẫn tính chất thị trường.

---

Kết luận

• Định lượng hóa đầu tư: Nghiên cứu đã chứng minh tính khả thi và hiệu quả của việc ứng dụng kỹ thuật khai phá dữ liệu vào thị trường chứng khoán Việt Nam.
• Khẳng định vai trò của Neural Network: Mô hình Mạng nơ-ron nhân tạo cho thấy ưu thế vượt trội với độ chính xác và chỉ số F1-score đạt trên 90.9%.
• Quy trình triển khai tinh gọn: Việc sử dụng công cụ Orange Data Mining mở ra hướng tiếp cận phân tích dữ liệu trực quan, dễ ứng dụng mà không đòi hỏi kỹ năng lập trình phức tạp.
• Hướng phát triển tương lai: Cần mở rộng quy mô tập dữ liệu đa năm, phân nhóm theo từng ngành nghề kinh doanh đặc thù và bổ sung các biến chỉ số phân tích kỹ thuật (Technical Indicators) để tối ưu hóa khả năng dự báo.

(Tài liệu tham khảo chi tiết và các phụ lục dữ liệu huấn luyện 300 công ty được đính kèm toàn văn trong báo cáo gốc).

Trích đoạn nội dung tài liệu

Chương 1: Giới thiệu  Chương 2: Cơ sở lý luận  Chương 3: Phân tích và thảo luận  Chương 4: Kết luận lOMoARcPSD|22244702 5 CHƯƠNG 2: CƠ SỞ LÝ LUẬN 2.1 Khai phá dữ liệu 2.1 Quá trình phát hiện tri thức và khai phá dữ liệu Biết chọn lọc và sử dụng thông tin hiệu quả có thể quyết định sự thành công của bạn trong phân tích dữ liệu. Điều đó có nghĩa là phải tìm ra những giá trị tiềm ẩn, các yếu tố tác động và những xu hướng phát triển của các dữ liệu sẵn có ấy. Quá trình đó được gọi là quá trình phát hiện tri thức (Knowledge Discovery in Database – KDD) mà trong đó KPDL là một kỹ thuật quan trọng cho phép ta thu được các tri thức mong muốn. Quá trình KDD Nguồn: Phantuanduy (2013).

Quy trình Khai phá dữ liệu (Process of Data mining). Quá trình phát hiện tri thức gồm 5 bước cơ bản:  Bước 1: Chọn lọc dữ liệu (selection): Giai đoạn này cần gom các dữ liệu khai thác được vào một cơ sở dữ liệu (CSDL) riêng. Ở đây, chúng ta chỉ chọn lọc và giữ lại những dữ liệu nào mà giai đoạn sau yêu cầu. Tuy nhiên, công việc này thường khó khăn và tốn nhiều thời gian vì dữ liệu tồn tại ở nhiều dạng khác nhau và nằm rải rác khắp nơi.

lOMoARcPSD|22244702 6  Bước 2: Tiền xử lý dữ liệu (preprocessing): Khi tập hợp dữ liệu thường mắc phải một số lỗi như dữ liệu thiếu logic, thiếu chặt chẽ, chưa đầy đủ, hiếm khi nào các dữ liệu thu thập được đều mang tính nhất quán. Do đó “tiền xử lý” là một bước quan trọng sau đó giúp hạn chế những kết quả sai lệch không mong muốn trước khi bước vào quá trình KPDL.  Bước 3: Chuyển đổi dữ liệu (transformation): Tại đây, dữ liệu sẽ được chuyển đổi về dạng thích hợp để dễ dàng tiến hành các bước sau.  Bước 4: Khai phá dữ liệu (Data mining): Giai đoạn này sử dụng các kỹ thuật nhằm phát hiện ra các tri thức tiềm ẩn trong dữ liệu.

 Bước 5: Đánh giá kết quả mẫu (interpretation evaluation): Đây cũng là bước cuối cùng trong quá trình KDD. Những tiêu chuẩn đánh giá thích hợp sẽ được chọn lọc và sử dụng sao cho các mẫu dữ liệu được trích xuất bởi các phần mềm KPDL có thể sử dụng được. Từ quá trình phát hiện tri thức, ta thấy các kỹ thuật phát hiện tri thức trải qua rất nhiều giai đoạn và sử dụng nhiều phương pháp để cho ra kết quả cuối cùng. Đây là một quá trình liên tục, đầu vào của giai đoạn sau xuất phát từ đầu ra của giai đoạn trước.

Trong đó, KPDL được coi trọng hơn cả bởi việc tìm ra được những tri thức và thông tin có cấu trúc chặt chẽ tiềm ẩn trong kho dữ liệu khổng lồ.2 Khái niệm khai phá dữ liệu Khai phá dữ liệu là một tiến trình khám phá ra các mẫu dữ liệu hay các mô hình mong muốn dưới nhiều góc độ khác nhau nhờ sử dụng các công cụ phân tích, từ đó tìm ra được các thông tin và tri thức từ các CSDL cũng như các mối quan hệ giữa các đối tượng bên trong CSDL. Nếu xét về mặt ý tưởng và mục đích ứng dụng, KPDL thật sự là một nhu cầu tất yếu đặt ra trong thời đại 4.0, một sự đáp trả cho những tìm tòi, khám phá của thế giới về mặt kỹ thuật. Đây là một phát hiện vĩ đại, lOMoARcPSD|22244702 7 mang đến nhiều lợi ích trong cuộc sống, đồng thời cũng đặt ra nhiều khó khăn và thử thách đối với các nhà nghiên cứu.3 Quá trình khai phá dữ liệu Các bước quan trọng trong quá trình KPDL bao gồm: Hình 2.2: Quá trình khai phá dữ liệu Nguồn: ThS. Trần Hùng Cường, ThS.

Ngô Đức Vĩnh (2011). Tổng quan về phát hiện tri thức và khai phá dữ liệu. Khoa Công nghệ thông tin Trường Đại học Công nghiệp Hà Nội, 1 – 6 Quá trình KPDL bắt đầu từ việc xác định vấn đề đang gặp phải một cách chính xác, rồi tìm hiểu các dữ liệu liên quan dùng để xây dựng giải pháp. Sau đó, các dữ liệu cần thiết được thu thập cẩn thận và tiền xử lý thành dạng mà giải thuật KPDL có thể hiểu được.

Tuy chỉ gồm một vài bước nhưng đây không phải là một quá trình đơn giản, khi tiến hành có thể vướng phải một số khó khăn như: nếu mô hình cần chỉnh sửa dữ liệu thì toàn bộ quá trình phải lặp đi lặp lại cho đến khi phù hợp gây mất thời gian, hay phải sao ra nhiều bản đối với các dữ liệu được chiết xuất vào các tệp,… Thực hiện KPDL là bước tiếp theo sau khi chọn được thuật toán thích hợp để tìm ra các mẫu có ý nghĩa được biểu diễn dưới các dạng tương ứng. Downloaded by vú hi ([e-mail]) lOMoARcPSD|22244702 8 Mẫu có đặc điểm là phải mới (ít nhất là đối với hệ thống đó). Độ mới thường được đánh giá thông qua một hàm logic hoặc hàm đo độ mới và được đo tương ứng với độ thay đổi trong dữ liệu (bằng cách so sánh các giá trị tìm được với các giá trị mong muốn hoặc các giá trị trước đó), hoặc bằng tri thức (mối liên hệ giữa phương pháp tìm cũ và phương pháp mới). Bên cạnh đó, sau khi xử lý các mẫu và cho ra kết quả phải được đánh giá thông qua một hàm lợi ích để đo lường khả năng sử dụng tiềm tàng.4 Các kỹ thuật khai phá dữ liệu Có rất nhiều kỹ thuật được áp dụng trong khai phá dữ liệu, nhưng trong bài nghiên cứu này tôi chỉ đề cập đến 3 kỹ thuật chính được biết đến và sử dụng rộng rãi: 2.1 Khai thác tập phổ biến và luật kết hợp Kỹ thuật này nhằm xác định mối quan hệ giữa các biến khác nhau trong CSDL và được sử dụng để “giải nén” các mẫu tiềm ẩn trong dữ liệu.

Một luật kết hợp X → Y phản ánh sự xuất hiện đồng thời của tập Y khi tập X xuất hiện. Kỹ thuật này được sử dụng rất phổ biến ở các doanh nghiệp để phân tích hành vi mua sắm, dự đoán xu hướng từ giỏ hàng của khách hàng tiềm năng và dự đoán hành vi người tiêu dùng trong ngành bán lẻ hay trong lĩnh vực Công nghệ Thông tin, cụ thể là các chương trình Machine Learning.2 Phân lớp dữ liệu Là quá trình phân một đối tượng dữ liệu vào một hay nhiều lớp (loại) đã cho trước nhờ một mô hình phân lớp. Mô hình này được xây dựng dựa trên một tập dữ liệu đã được gán nhãn trước đó (thuộc về lớp nào). Downloaded by vú hi ([e-mail]) lOMoARcPSD|22244702 9 Kỹ thuật này dùng để rút trích các thông tin cần thiết từ kho dữ liệu có sẵn.

Vì thế, đối với kỹ thuật này, chúng ta sẽ áp dụng các thuật toán khác nhau tùy thuộc vào mục tiêu sử dụng. Đây cũng là kỹ thuật có vai trò quan trọng trong việc dự báo các quy luật, xu hướng, … bằng cách mô tả các thuộc tính liên quan để đối tượng được phân loại vào một lớp cụ thể.3 Phân cụm dữ liệu Là quá trình gom cụm/nhóm các đối tượng/dữ liệu có đặc điểm tương đồng vào các cụm/nhóm tương ứng. Trong đó: đối tượng nào có những tính chất tương tự nhau sẽ được xếp vào cùng một cụm và ngược lại. Dữ liệu sử dụng trong kỹ thuật này là dữ liệu chưa được gán nhãn và thường thấy trong thực tế.

Trong kinh doanh, kỹ thuật này thường được ứng dụng để quản lý hồ sơ khách hàng hoặc chia phân khúc khách hàng trong lĩnh vực Marketing.5 Các ứng dụng của khai phá dữ liệu Mặc dù KPDL còn mang nhiều mặt hạn chế cần được cải thiện nhưng không thể phủ nhận tiềm năng hiện tại của nó. Đây là kỹ thuật thu hút sự quan tâm của đa số các nhà nghiên cứu bởi ứng dụng đa dạng trong nhiều lĩnh vực khác nhau như:  Lĩnh vực tài chính, ngân hàng: Xây dựng mô hình dự báo rủi ro tín dụng, các khoản vay nợ, hỗ trợ việc ra quyết định khi đầu tư chứng khoán. Đây cũng chính là hướng nghiên cứu chính của bài.  Thương mại điện tử: Phân tích thái độ mua sắm của khách hàng và dựa vào từng loại khách hàng để có phương án tiếp thị phù hợp.

 Lĩnh vực y tế: Phát hiện các mối quan hệ giữa bệnh với phương pháp chữa trị để tìm ra các loại thuốc mới, dựa trên các yếu tố rủi ro để dự đoán loại bệnh mà bệnh nhân có thể mắc phải Downloaded by vú hi ([e-mail]) lOMoARcPSD|22244702 10  Lĩnh vực sinh học: Hỗ trợ thu thập, lưu trữ và phân tích các dữ liệu về di truyền học, nghiên cứu các căn bệnh, các chất dinh dưỡng,. thông qua trực quan hóa bằng các bảng biểu và đồ thị.  Lĩnh vực giáo dục: Giúp phân tích dữ liệu trong môi trường giáo dục để xác định tình hình học tập của mỗi học sinh và dự báo kết quả học tập trong tương lai để tìm ra các phương pháp giảng dạy phù hợp.2 Phân lớp dữ liệu 2.1 Quá trình phân lớp dữ liệu Quá trình phân lớp dữ liệu gồm hai bước chính:  Bước 1: Xây dựng mô hình (hay giai đoạn “học” hoặc “huấn luyện”). Quá trình huấn luyện nhằm xây dựng một mô hình mô tả một tập dữ liệu sẵn có.

Đầu vào của quá trình này là một tập dữ liệu mẫu đã được gán nhãn và tiền xử lý, mỗi phần tử dữ liệu được giả định thuộc về một lớp phân trước, lớp ở đây là giá trị của một thuộc tính được chọn làm thuộc tính gán nhãn hay thuộc tính phân lớp. Mỗi bộ giá trị được gọi chung là một phần tử dữ liệu, có thể là các mẫu, ví dụ, đối tượng, hay trường hợp. Kết quả của bước này là mô hình phân lớp đã được huấn luyện. Quá trình này được mô tả ở hình 2.

Downloaded by vú hi ([e-mail]) lOMoARcPSD|22244702 11 Hình 2.3: Bước 1 của quá trình trình phân lớp: Xây dựng mô hình phân lớp Nguồn: Nguyễn Thị Tùy Linh (2005). Nghiên cứu các thuật toán phân lớp dữ liệu dựa trên cây quyết định. Công nghệ thông tin, 3 – 62  Bước 2: Sử dụng mô hình, được chia thành 2 bước nhỏ: + Bước 2.1: Đánh giá mô hình (kiểm tra tính đúng đắn của mô hình) Đầu vào là một tập dữ liệu mẫu được chọn ngẫu nhiên và độc lập với các mẫu trong tập dữ liệu huấn luyện, cũng đã được gán nhãn và tiền xử lý. Tuy nhiên thuộc tính đã được gán nhãn này bị “lờ” khi được đưa vào mô hình tiến hành phân lớp.

Bằng cách so sánh thuộc tính gán nhãn của dữ liệu đầu vào và kết quả phân lớp từ mô hình, ta dễ dàng xác định được tính đúng đắn của mô hình.