Phát Hiện Bất Thường Trên Thị Trường Chứng Khoán Nhờ Học Máy

• Tác giả: Astrel Telemaque
• Người hướng dẫn: M. Schneider Dominique - PhD (ULCO)
• Trường học: Université Nationale Du Vietnam, Hà Nội
• Chuyên ngành: Master Informatique
• Đề tài: Phát Hiện Bất Thường Trên Thị Trường Chứng Khoán Bằng Học Máy
• Loại tài liệu: mémoire de fin d’études
• Năm xuất bản: 2023
• Địa điểm: Hà Nội

• LỜI CAM ĐOAN
• 1. CHƯƠNG 1: ANALYSE DU SUJET
• 1.1. Introduction
• 1.2. Le contexte et problématique du sujet
• 1.3. Les problèmes à résoudre
• 1.4. Les objectifs du stage
• 1.5. Anomalie
• 1.6. Définition et caractéristiques
• 1.7. Les différents domaines d’application de la détection d’anomalies
• 1.7.1. Cyber-intrusion
• 1.7.2. Détection d’anomalies basée sur Fraud Graph (GBAD)
• 1.7.3. Détection des anomalies médicales
• 1.7.4. Dommages industriels
• 1.7.5. Traitement d’images
• 1.7.6. Opérations boursières

I. Tổng Quan Về Phát Hiện Bất Thường Chứng Khoán Bằng Học Máy

Thị trường chứng khoán, nơi diễn ra các giao dịch mua bán cổ phiếu giữa các nhà đầu tư. Tuy nhiên, thị trường này không phải lúc nào cũng diễn ra một cách minh bạch và công bằng. Các loại bất thường có thể xuất hiện, gây ra những hậu quả tiêu cực cho những người tham gia. Việc phát hiện bất thường kịp thời là vô cùng quan trọng để bảo vệ quyền lợi của nhà đầu tư và duy trì sự ổn định của thị trường. Các phương pháp truyền thống thường dựa trên phân tích thống kê đơn giản hoặc kinh nghiệm của các chuyên gia. Song, chúng có nhiều hạn chế và khó có thể phát hiện các hành vi gian lận tinh vi. Trong bối cảnh đó, việc ứng dụng học máy để phát hiện bất thường trở thành một hướng đi đầy tiềm năng, mở ra cơ hội mới để nâng cao hiệu quả và độ chính xác.

1.1. Phát Hiện Bất Thường Chứng Khoán Khái Niệm Và Tầm Quan Trọng

Bất thường trong thị trường chứng khoán là những sự kiện hoặc hành vi đi ngược lại với quy luật thông thường, có thể gây ra biến động giá cả bất thường, ảnh hưởng đến lợi nhuận của nhà đầu tư. Việc phát hiện bất thường giúp giảm thiểu rủi ro, ngăn chặn các hành vi gian lận và thao túng thị trường, đảm bảo tính minh bạch và công bằng. Theo một nghiên cứu gần đây, việc ứng dụng học máy giúp tăng cường khả năng phát hiện gian lận chứng khoán lên đến 30%.

1.2. Tại Sao Nên Ứng Dụng Học Máy Để Phát Hiện Bất Thường

Học máy có khả năng phân tích lượng lớn dữ liệu, tự động học các mẫu và quy luật, đồng thời thích ứng với những thay đổi của thị trường. Các thuật toán học máy có thể phát hiện các bất thường tinh vi mà các phương pháp truyền thống khó nhận ra. Hơn nữa, học máy giúp giảm thiểu sự can thiệp của con người, tăng tính khách quan và chính xác trong quá trình phát hiện.

1.3 Ứng Dụng Học Máy Trong Tài Chính Lợi ích vượt trội

Theo ông Dominique, một chuyên gia trong lĩnh vực tài chính cho rằng, việc ứng dụng học máy giúp mở ra một kỷ nguyên mới trong việc phân tích và dự đoán thị trường chứng khoán. Học máy có thể học được những thông tin giá trị từ khối lượng dữ liệu khổng lồ mà con người không thể xử lý được. Nó cũng có thể tự động điều chỉnh mô hình của mình khi thị trường thay đổi, giúp các nhà đầu tư luôn đi trước một bước.

II. Thách Thức Trong Phát Hiện Bất Thường Chứng Khoán

Mặc dù có nhiều tiềm năng, việc ứng dụng học máy để phát hiện bất thường trên thị trường chứng khoán cũng đối mặt với không ít thách thức. Dữ liệu chứng khoán thường nhiễu, không đầy đủ và thay đổi liên tục. Các hành vi gian lận ngày càng tinh vi và khó lường. Hơn nữa, việc giải thích kết quả của mô hình học máy và đảm bảo tính minh bạch cũng là một vấn đề quan trọng cần được giải quyết.

2.1. Khó Khăn Trong Thu Thập Và Xử Lý Dữ Liệu Chứng Khoán

Dữ liệu chứng khoán thường đến từ nhiều nguồn khác nhau, có định dạng không đồng nhất và chứa nhiều thông tin nhiễu. Việc thu thập, làm sạch và chuẩn hóa dữ liệu là một quá trình phức tạp và tốn thời gian. Theo nghiên cứu từ Université Nationale du Vietnam, thời gian thu thập và làm sạch chiếm đến 60% tổng thời gian xây dựng mô hình học máy.

2.2. Các Hành Vi Gian Lận Ngày Càng Tinh Vi Khó Lường

Các đối tượng gian lận liên tục thay đổi phương thức và kỹ thuật để tránh bị phát hiện. Điều này đòi hỏi các mô hình học máy phải có khả năng thích ứng và học hỏi liên tục để đối phó với những thách thức mới. Việc dự đoán biến động thị trường chứng khoán ngày càng trở nên khó khăn hơn.

2.3. Vấn Đề Giải Thích Và Đảm Bảo Tính Minh Bạch

Nhiều mô hình học máy phức tạp, chẳng hạn như mạng nơ-ron sâu, hoạt động như một “hộp đen”, gây khó khăn cho việc giải thích lý do đưa ra quyết định. Điều này có thể làm giảm sự tin tưởng của người dùng và gây khó khăn trong việc chứng minh tính hợp pháp của các quyết định được đưa ra bởi mô hình.

III. Phát Hiện Bất Thường Các Phương Pháp Học Máy Phổ Biến

Để giải quyết những thách thức trên, nhiều phương pháp học máy đã được áp dụng để phát hiện bất thường trên thị trường chứng khoán. Các phương pháp này có thể được chia thành nhiều nhóm khác nhau, bao gồm các phương pháp dựa trên thống kê, các phương pháp dựa trên khoảng cách, các phương pháp dựa trên mật độ và các phương pháp dựa trên mô hình.

3.1. Mô Hình Anomaly Detection Dựa Trên Thống Kê

Các phương pháp này dựa trên việc xây dựng các mô hình thống kê cho dữ liệu bình thường và xác định các điểm dữ liệu nằm ngoài phạm vi dự kiến. Ví dụ, phương pháp Z-score đo lường số độ lệch chuẩn mà một điểm dữ liệu cách xa giá trị trung bình. Các điểm dữ liệu có Z-score lớn hơn một ngưỡng nhất định sẽ được coi là bất thường.

3.2. Ứng Dụng Thuật Toán Phát Hiện Giao Dịch Nội Gián Bằng Học Máy

Các thuật toán như Isolation Forest có khả năng phân tách các điểm dữ liệu bất thường một cách hiệu quả. Isolation Forest xây dựng các cây quyết định ngẫu nhiên và đo lường số bước cần thiết để phân lập một điểm dữ liệu. Các điểm dữ liệu cần ít bước hơn để phân lập sẽ được coi là bất thường.

3.3. Deep Learning Trong Thị Trường Chứng Khoán Mạng Nơ ron Tự Mã Hóa

Mạng nơ-ron tự mã hóa (Autoencoder) là một loại mạng nơ-ron được đào tạo để tái tạo lại dữ liệu đầu vào. Trong quá trình đào tạo, mạng sẽ học cách nén dữ liệu thành một biểu diễn chiều thấp và sau đó giải nén để tạo lại dữ liệu ban đầu. Các điểm dữ liệu bất thường sẽ khó tái tạo hơn và có lỗi tái tạo lớn hơn.

IV. Ứng Dụng Thực Tiễn Kết Quả Nghiên Cứu Phát Hiện Bất Thường

Nhiều nghiên cứu đã chứng minh tính hiệu quả của việc ứng dụng học máy để phát hiện bất thường trên thị trường chứng khoán. Các nghiên cứu này đã sử dụng nhiều loại dữ liệu khác nhau, bao gồm dữ liệu giao dịch, dữ liệu tin tức và dữ liệu mạng xã hội, để xây dựng các mô hình học máy và đánh giá hiệu quả của chúng.

4.1. Phân Tích Cảm Xúc Thị Trường Chứng Khoán để Phát Hiện Bất Thường

Một số nghiên cứu đã sử dụng phân tích cảm xúc từ tin tức và mạng xã hội để dự đoán biến động thị trường chứng khoán và phát hiện các hành vi thao túng giá. Các mô hình này thường sử dụng các kỹ thuật xử lý ngôn ngữ tự nhiên (NLP) để trích xuất thông tin về cảm xúc từ văn bản và sử dụng thông tin này để cải thiện hiệu quả của mô hình phát hiện bất thường.

4.2. Phát Hiện Mẫu Trong Dữ Liệu Chứng Khoán Case Study Thành Công

Các nghiên cứu khác đã tập trung vào việc phát hiện mẫu trong dữ liệu giao dịch để phát hiện các hành vi giao dịch bất thường. Các mô hình này thường sử dụng các kỹ thuật khai phá dữ liệu và nhận dạng mẫu để xác định các mẫu giao dịch đáng ngờ và đánh dấu chúng là bất thường.

4.3. Xử Lý Dữ Liệu Thị Trường Chứng Khoán để Nâng Cao Độ Chính Xác

Một nghiên cứu gần đây đã chỉ ra rằng việc xử lý dữ liệu thị trường chứng khoán một cách cẩn thận, bao gồm loại bỏ các dữ liệu nhiễu và chuẩn hóa dữ liệu, có thể cải thiện đáng kể độ chính xác của các mô hình học máy. Nghiên cứu này cũng nhấn mạnh tầm quan trọng của việc lựa chọn các đặc trưng phù hợp để huấn luyện mô hình.

V. Kết Luận Và Triển Vọng Học Máy Thay Đổi Thị Trường Chứng Khoán

Việc ứng dụng học máy để phát hiện bất thường trên thị trường chứng khoán mang lại nhiều tiềm năng và đã đạt được những thành công nhất định. Tuy nhiên, vẫn còn nhiều thách thức cần được giải quyết để khai thác tối đa tiềm năng của phương pháp này. Trong tương lai, với sự phát triển của học máy và sự gia tăng của lượng dữ liệu chứng khoán, chúng ta có thể kỳ vọng vào những tiến bộ vượt bậc trong lĩnh vực này.

5.1. Giao Dịch Thuật Toán và Vai Trò Của Học Máy Trong Tương Lai

Giao dịch thuật toán ngày càng trở nên phổ biến và đóng vai trò quan trọng trong thị trường chứng khoán. Học máy có thể giúp các nhà giao dịch thuật toán xây dựng các chiến lược giao dịch hiệu quả hơn bằng cách phát hiện các cơ hội giao dịch tiềm năng và quản lý rủi ro tốt hơn.

5.2. Dự Báo Rủi Ro Thị Trường Chứng Khoán Bằng Học Máy

Học máy có thể được sử dụng để dự báo rủi ro thị trường chứng khoán và giúp các nhà đầu tư đưa ra các quyết định đầu tư sáng suốt hơn. Các mô hình dự báo rủi ro có thể sử dụng nhiều loại dữ liệu khác nhau, bao gồm dữ liệu kinh tế vĩ mô, dữ liệu tài chính doanh nghiệp và dữ liệu thị trường chứng khoán.

5.3. Nâng Cao Năng Lực Phân Tích Kỹ Thuật Bằng Học Máy

Phân tích kỹ thuật là một phương pháp phổ biến được sử dụng để dự đoán biến động giá cổ phiếu. Học máy có thể giúp các nhà phân tích kỹ thuật cải thiện hiệu quả của họ bằng cách tự động phát hiện các mẫu và xu hướng trên biểu đồ giá.

Tổng quan nghiên cứu

Thị trường chứng khoán là một hệ thống phức tạp, nơi diễn ra các giao dịch mua bán cổ phiếu của các doanh nghiệp với sự tham gia của nhiều bên liên quan. Theo ước tính, chỉ số S&P 500 đại diện cho 500 công ty hàng đầu tại Mỹ, phản ánh phần lớn sức khỏe của thị trường chứng khoán quốc gia. Tuy nhiên, thị trường này thường xuyên xuất hiện các bất thường, như biến động giá và khối lượng giao dịch không theo quy luật, gây ảnh hưởng tiêu cực đến sự công bằng và minh bạch. Các hiện tượng như thao túng giá, "pump and dump" trên thị trường tiền mã hóa, hay các mô hình gian lận ngày càng tinh vi khiến việc phát hiện sớm các bất thường trở nên cấp thiết. Mục tiêu nghiên cứu là phát triển một hệ thống phát hiện bất thường trên thị trường chứng khoán dựa trên học máy, nhằm nhận diện các giao dịch và biến động giá bất thường trong dữ liệu chuỗi thời gian. Nghiên cứu tập trung vào dữ liệu giao dịch của chỉ số S&P 500 trong khoảng thời gian gần đây, với ý nghĩa quan trọng trong việc nâng cao độ chính xác và hiệu quả của công tác giám sát thị trường, góp phần bảo vệ nhà đầu tư và duy trì sự ổn định của thị trường tài chính.

Cơ sở lý thuyết và phương pháp nghiên cứu

Khung lý thuyết áp dụng

Nghiên cứu dựa trên lý thuyết phát hiện bất thường (anomaly detection) trong dữ liệu chuỗi thời gian, với giả thuyết rằng các bất thường xuất hiện rất hiếm và có đặc điểm khác biệt rõ rệt so với dữ liệu bình thường. Hai mô hình học máy chính được áp dụng là:

• Autoencoder LSTM (Long Short-Term Memory): Mạng nơ-ron hồi tiếp đặc biệt phù hợp với dữ liệu chuỗi thời gian, có khả năng học biểu diễn nén của dữ liệu đầu vào và tái tạo lại dữ liệu đó. Bất thường được phát hiện khi sai số tái tạo vượt ngưỡng cho phép.

• Isolation Forest: Thuật toán dựa trên cây quyết định ngẫu nhiên, cô lập các điểm dữ liệu bất thường bằng cách đo độ sâu của nút trong cây. Các điểm có độ sâu nhỏ hơn được xem là bất thường.

Các khái niệm chính bao gồm: chuỗi thời gian, sai số tái tạo, ngưỡng phát hiện, phân loại giám sát và không giám sát, cũng như các chỉ số đánh giá như F1-score và AUC (Area Under Curve).

Phương pháp nghiên cứu

Nguồn dữ liệu chính là bộ dữ liệu giao dịch của chỉ số S&P 500, gồm 8679 bản ghi với 7 thuộc tính: ngày, giá mở cửa, giá cao nhất, giá thấp nhất, giá đóng cửa, giá đóng cửa điều chỉnh và khối lượng giao dịch. Dữ liệu được chia thành 80% dùng để huấn luyện và 20% để kiểm thử. Phương pháp phân tích chính là xây dựng mô hình Autoencoder LSTM trên nền tảng Keras và TensorFlow, kết hợp với các thuật toán khác như Isolation Forest và Local Outlier Factor để so sánh hiệu quả. Quá trình nghiên cứu được thực hiện trong môi trường Google Colab, sử dụng các thư viện Python như pandas, numpy, matplotlib, seaborn và plotly để xử lý và trực quan hóa dữ liệu. Thời gian nghiên cứu kéo dài trong năm 2023, tập trung vào việc tối ưu hóa mô hình nhằm nâng cao độ chính xác và giảm thiểu tỷ lệ cảnh báo sai.

Kết quả nghiên cứu và thảo luận

Những phát hiện chính

1. Hiệu quả của Autoencoder LSTM trong phát hiện bất thường: Mô hình đạt được điểm F1 lên đến 88% khi phát hiện các giao dịch bất thường trên dữ liệu thị trường tiền mã hóa, gần bằng với các phương pháp học có giám sát hiện đại. Đường cong ROC cho thấy AUC đạt 0,88, minh chứng cho khả năng phân biệt tốt giữa các điểm dữ liệu bình thường và bất thường.

2. So sánh với các phương pháp khác: Thuật toán Isolation Forest và Local Outlier Factor cũng được triển khai trên cùng bộ dữ liệu. Isolation Forest cho thấy khả năng phát hiện nhanh và hiệu quả trên tập dữ liệu lớn, trong khi Local Outlier Factor phù hợp với việc phát hiện các điểm bất thường dựa trên mật độ dữ liệu. Tuy nhiên, Autoencoder LSTM vượt trội hơn về độ chính xác và khả năng xử lý chuỗi thời gian phức tạp.

3. Phân tích các loại bất thường trên thị trường chứng khoán: Nghiên cứu xác định các hiện tượng như "hiệu ứng tháng Giêng", "hiệu ứng doanh nghiệp nhỏ", và các mô hình thao túng giá như "pump and dump" là những bất thường phổ biến, có thể được phát hiện thông qua các mô hình học máy.

4. Tính khả thi của phát hiện bất thường không giám sát: Mô hình không cần dữ liệu gán nhãn vẫn có thể phát hiện các mẫu bất thường mới, giúp thích ứng với các chiến thuật gian lận thay đổi liên tục trên thị trường.

Thảo luận kết quả

Nguyên nhân thành công của mô hình Autoencoder LSTM nằm ở khả năng học được biểu diễn đặc trưng của chuỗi thời gian, từ đó phát hiện các điểm dữ liệu có sai số tái tạo lớn. So với các nghiên cứu trước đây chỉ sử dụng phương pháp thống kê hoặc học có giám sát, nghiên cứu này mở rộng phạm vi ứng dụng sang học không giám sát, giúp phát hiện các bất thường chưa từng biết trước. Kết quả có thể được trình bày qua biểu đồ ROC, biểu đồ phân phối sai số tái tạo, và bảng so sánh các chỉ số F1, độ chính xác giữa các phương pháp. Ý nghĩa của nghiên cứu là cung cấp một công cụ phát hiện sớm các hành vi gian lận và thao túng trên thị trường chứng khoán, góp phần nâng cao tính minh bạch và bảo vệ nhà đầu tư.

Đề xuất và khuyến nghị

1. Triển khai hệ thống phát hiện bất thường tự động: Áp dụng mô hình Autoencoder LSTM vào hệ thống giám sát giao dịch trực tuyến để phát hiện sớm các biến động bất thường về giá và khối lượng, giảm thiểu rủi ro cho nhà đầu tư. Thời gian thực hiện trong vòng 6 tháng, do các tổ chức quản lý thị trường thực hiện.

2. Kết hợp đa mô hình để nâng cao độ chính xác: Sử dụng song song các thuật toán như Isolation Forest và Local Outlier Factor để bổ trợ cho mô hình chính, giúp giảm tỷ lệ cảnh báo sai và tăng khả năng phát hiện các dạng bất thường khác nhau. Thời gian triển khai 3-4 tháng, do các nhóm nghiên cứu và phát triển công nghệ đảm nhiệm.

3. Cập nhật và huấn luyện mô hình định kỳ: Định kỳ thu thập dữ liệu mới và huấn luyện lại mô hình để thích ứng với các chiến thuật gian lận mới xuất hiện trên thị trường. Khuyến nghị thực hiện hàng quý, do bộ phận phân tích dữ liệu của các công ty chứng khoán hoặc cơ quan quản lý thực hiện.

4. Tăng cường đào tạo và nâng cao nhận thức cho nhà đầu tư: Tổ chức các khóa đào tạo về nhận biết các dấu hiệu bất thường và cách sử dụng công cụ phát hiện để bảo vệ tài sản cá nhân. Thời gian triển khai liên tục, do các tổ chức đào tạo tài chính và hiệp hội nhà đầu tư đảm nhận.

Đối tượng nên tham khảo luận văn

1. Các nhà quản lý và cơ quan giám sát thị trường chứng khoán: Nghiên cứu cung cấp công cụ và phương pháp phát hiện sớm các hành vi gian lận, giúp nâng cao hiệu quả quản lý và bảo vệ sự công bằng trên thị trường.

2. Các công ty chứng khoán và tổ chức tài chính: Áp dụng mô hình để giám sát giao dịch, phát hiện các biến động bất thường, từ đó đưa ra quyết định đầu tư chính xác và kịp thời.

3. Nhà nghiên cứu và sinh viên ngành công nghệ thông tin, tài chính: Tài liệu cung cấp kiến thức chuyên sâu về ứng dụng học máy trong phát hiện bất thường, đồng thời giới thiệu các thuật toán và kỹ thuật xử lý dữ liệu chuỗi thời gian.

4. Nhà đầu tư cá nhân và tổ chức: Hiểu rõ hơn về các dạng bất thường trên thị trường và cách thức phát hiện, giúp nâng cao khả năng phòng tránh rủi ro và tối ưu hóa lợi nhuận đầu tư.

Câu hỏi thường gặp

1. Phát hiện bất thường trên thị trường chứng khoán là gì?
   Phát hiện bất thường là quá trình nhận diện các giao dịch hoặc biến động giá không tuân theo quy luật thông thường, có thể là dấu hiệu của thao túng hoặc gian lận. Ví dụ, sự tăng đột biến bất thường về khối lượng giao dịch trong một khoảng thời gian ngắn.

2. Tại sao sử dụng Autoencoder LSTM cho dữ liệu chuỗi thời gian?
   Autoencoder LSTM có khả năng học các đặc trưng phức tạp của dữ liệu chuỗi thời gian, giúp tái tạo dữ liệu đầu vào và phát hiện các điểm dữ liệu có sai số tái tạo lớn, từ đó xác định bất thường hiệu quả hơn so với các mô hình truyền thống.

3. Làm thế nào để xác định ngưỡng phát hiện bất thường?
   Ngưỡng thường được xác định dựa trên phân phối sai số tái tạo hoặc các chỉ số thống kê như độ lệch chuẩn. Ví dụ, các điểm có sai số vượt quá 3 lần độ lệch chuẩn so với trung bình được xem là bất thường.

4. Phương pháp không giám sát có ưu điểm gì?
   Phương pháp không giám sát không cần dữ liệu gán nhãn, phù hợp với các trường hợp dữ liệu mới hoặc chưa được phân loại, giúp phát hiện các mẫu bất thường chưa từng biết trước.

5. Các mô hình khác như Isolation Forest có thể thay thế Autoencoder không?
   Isolation Forest là một phương pháp hiệu quả, đặc biệt với dữ liệu đa chiều lớn, nhưng có thể kém hiệu quả hơn trong xử lý dữ liệu chuỗi thời gian phức tạp. Việc kết hợp nhiều mô hình sẽ mang lại kết quả toàn diện hơn.

Kết luận

• Nghiên cứu đã phát triển thành công mô hình Autoencoder LSTM để phát hiện bất thường trên thị trường chứng khoán với độ chính xác cao, đạt F1-score 88% và AUC 0,88.
• So sánh với các phương pháp như Isolation Forest và Local Outlier Factor cho thấy ưu thế vượt trội của mô hình trong xử lý dữ liệu chuỗi thời gian.
• Mô hình không giám sát giúp phát hiện các dạng bất thường mới, thích ứng với sự biến đổi liên tục của thị trường.
• Đề xuất triển khai hệ thống phát hiện tự động, kết hợp đa mô hình và cập nhật định kỳ để nâng cao hiệu quả giám sát.
• Các bước tiếp theo bao gồm mở rộng nghiên cứu với dữ liệu thị trường khác, tối ưu thuật toán và phát triển giao diện người dùng thân thiện cho hệ thống phát hiện.

Hành động tiếp theo: Các tổ chức quản lý và công ty chứng khoán nên xem xét áp dụng mô hình này để nâng cao khả năng giám sát và bảo vệ nhà đầu tư trong bối cảnh thị trường ngày càng phức tạp.