UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ Institut Francophone International DÉTECTION D’ANOMALIES SUR LES MARCHÉS BOURSIERS GRÂCE À L’APPRENTISSAGE AUTOMATIQUE PHÁT HIỆN BẤT THƯỜNG TRÊN THỊ TRƯỜNG CHỨNG KHOÁN VỚI HỌC MÁY Mémoire de fin d’études MASTER INFORMATIQUE Option : Systèmes Intelligents & Multimédia (SIM-P24) - Code : 8480201.02 Astrel TELEMAQUE HANOI, 2023 UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ Institut Francophone International DÉTECTION D’ANOMALIES SUR LES MARCHÉS BOURSIERS GRÂCE À L’APPRENTISSAGE AUTOMATIQUE PHÁT HIỆN BẤT THƯỜNG TRÊN THỊ TRƯỜNG CHỨNG KHOÁN VỚI HỌC MÁY Mémoire de fin d’études MASTER INFORMATIQUE Option : Systèmes Intelligents & Multimédia (SIM-P24) - Code : 8480201. TELEMAQUE Astrel Encadrant et Supervision : M. SCHNEIDER Dominique : - PhD (ULCO) ATTESTATION SUR L’HONNEUR J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée.
LỜI CAM ĐOAN Tôi cam đoan đây là công trình nghiên cứu của riêng tôi. Các số liệu, kết quả nêu trong Luận văn là trung thực và chưa từng được ai công bố trong bất kỳ công trình nào khác. Các thông tin trích dẫn trong Luận văn đã được chỉ rõ nguồn gốc. Signature de l’étudiant Astrel TELEMAQUE Dédicace “ Je dédie ce mémoire de master à ma mère, pour son soutien et son amour inconditionnel durant toutes ces années d’études.
Merci d’avoir toujours cru en moi, de m’avoir encouragé à donner le meilleur de moi-même, et de m’avoir transmis la persévérance nécessaire pour accomplir de longues études. Tu as fait preuve d’une patience infinie à mon égard. J’adresse également une pensée particulière à ma marraine adorée, qui a toujours été présente à mes côtés dans les bons comme les mauvais moments. Merci pour tes nombreux encouragements, tes petites attentions du quotidien et nos longues conversations qui m’ont permis de décompresser dans les périodes de stress intense.
Ton enthousiasme et ta joie de vivre sont pour moi des exemples à suivre. Enfin, un immense merci à ma famille et mes proches pour leur amour qui m’a porté tout au long de ces années universitaires. Vous avez toujours cru en mes capacités, même lorsque mon moral était au plus bas. Cette réussite est la nôtre.
” - Astrel I Remerciements Je tiens à adresser mes plus sincères remerciements à toutes les personnes qui m’ont aidé dans la réalisation de ce projet de fin d’études sur la détection d’anomalies boursières par l’intelligence artificielle. Tout d’abord, un grand merci à M. Dominique, mon maître de stage, pour m’avoir accueilli au sein de son équipe et avoir encadré mon stage avec bienveillance. Ses conseils avisés, son expertise dans le domaine de la finance et sa passion contagieuse pour les nouvelles technologies m’ont été indispensables.
J’ai beaucoup appris à ses côtés. Je remercie également l’Institut de Francophone International pour la qualité de son enseignement qui m’a permis d’acquérir les compétences nécessaires à la conduite de ce projet. Enfin, je tiens à exprimer ma gratitude envers M. Vinh, directeur académique, pour son soutien et ses encouragements tout au long de ma formation.
Son investissement pour transmettre sa passion de l’IA et de l’innovation à ses étudiants force le respect. C’est grâce à l’encadrement bienveillant de ces personnes que ce projet a pu être mené à bien. J’espère que ce mémoire sera à la hauteur de la confiance qu’ils m’ont accordée II Résumé La détection des anomalies est le processus d’identification des instances ou des événe- ments anormaux dans les ensembles de données qui s’écartent de la norme de manière si- gnificative. Dans cette étude, nous proposons un algorithme d’apprentissage automatique basé sur les signatures pour détecter les éléments rares ou inattendus dans un ensemble de données de type série temporelle.
Nous présentons des applications de la signature ou de la signature aléatoire en tant qu’extracteurs de caractéristiques pour les algorithmes de détection d’anomalies ; de plus, nous fournissons une justification facile, basée sur la théorie des représentations, pour la construction de signatures aléatoires. Notre première application est basée sur des données synthétiques et vise à distinguer les vraies et fausses trajectoires des prix des actions, qui sont indiscernables par inspection visuelle. Nous montrons également une application réelle en utilisant des données de transaction du marché des crypto-monnaies. Dans ce cas, nous sommes en mesure d’identifier les tentatives de pompage et de vidage organisées sur les réseaux sociaux avec des scores F1 allant jusqu’à 88 % au moyen de notre algorithme d’apprentissage non supervisé, obtenant ainsi des résultats proches de l’état de l’art dans le domaine basé sur l’apprentissage supervisé.
Mots clés : Détection des anomalies, Intelligence artificielle, Apprentissage profond, Crypto-monnaies, Apprentissage supervisé. III Abstract Anomaly detection is the process of identifying anomalous instances or events in da- tasets that deviate significantly from the norm. In this study, we propose a signature-based machine learning algorithm to detect rare or unexpected elements in a time series dataset. We present applications of signature or random signature as feature extractors for anomaly detection algorithms ; in addition, we provide an easy representation-theoretic rationale for the construction of random signa- tures.
Our first application is based on synthetic data and aims to distinguish between true and false stock price trajectories, which are indistinguishable by visual inspection. We also show a real-world application using transaction data from the crypto-currency market. In this case, we are able to identify organized pump-and-dump attempts on social networks with F1 scores of up to 88% using our unsupervised learning algorithm, achieving results close to the state-of-the-art in the field based on supervised learning. Keywords : Anomaly detection, Artificial intelligence, Deep learning, Crypto-currencies, Supervised learning.
IV Table des matières Dédicace. IV Introduction générale. 1 1 Analyse du Sujet .2 Le contexte et problématique du sujet .3 Les problèmes à résoudre .4 Les objectifs du stage .2 Définition et caractéristiques .3 Les différents domaines d’application de la détection d’anomalies .2 La détection d’anomalies basée sur Fraud .3 Détection des anomalies médicales .4 Qu’est-ce que la Bourse (Marché boursier) ? .1 Comprendre le marché boursier .2 Problématique de sûreté de fonctionnement dans les mar- chés boursiers .2 Détection d’anomalie par apprentissage-Définition .1 Différent types de données .2 Techniques basées sur les statistiques, les théories des probabilités et de l’information .3 Détection par apprentissage supervisé .4 Détection par apprentissage non-supervisé. 14 V Table des matières 2.5 Approches courantes d’apprentissage non supervisé .7 Applications de l’apprentissage non supervisé .3 anomalies boursière qu’on doit savoir .1 Les petites entreprises ont tendance à surperformer .1 Effet de janvier .2 Faible valeur comptable .5 Jours de la semaine .6 Chiens du Dow .1 Notre stratégie de fonctionnement : Solution Existantes .3 Acquisition des données .2 L’Auto-encodeur LSTM.
22 4 Résultats et expérimentations .1 Étapes de configuration de la solution .1 Importation des fichiers sur colab .2 Importation des bibliothèques nécessaires .3 Chargement des données .4 Prétraitement des données .5 Création des fractionnements d’entraînement et de test .6 Création d’un encodeur automatique LSTM .7 Entrainement de l’Autoencoder .8 Tracer les métriques et évaluer le modèle .3 Application d’autres approches anomalies .2 Approche statistique simple basé sur les écarts absolus par rapport à la médiane .1 Comment ça fonctionne .2 Avantages et inconvénients .3 Enoncé de résultat .3 Approche par isolation forest .1 Voici comment elle fonctionne .3 Avantages et inconvenients .4 Enoncé de resultat. 37 VI Table des matières 4.1 Voici comment elle fonctionne .2 Avantages et inconvenients .3 Enoncé de resultat .5 Comparaison des approches .2 Précision sur l’évaluation des méthodes .3 Rappel des approches implémentées. 42 Conclusion et perspectives. 45 VII Table des figures 1.1 Une illustration d’anomalie .2 Exemple de type d’anomalie .3 Schéma de fonctionnement d’un marché organisé .1 Exemple de détection d’anomalie .2 Détection par apprentissage supervisé .3 Détection par apprentissage non-supervisé (ML Algorithm) .1 Schéma fonctionnel de notre système .2 Jeu de données utilisée .3 Schéma fonctionnel de notre système .4 Exemple de LSTM autoencoder .1 Importation des fichiers sur colab .2 Importation des bibliothèques .3 Chargement de données .4 Prétraitement des données .5 Création des fractionnements d’entraînement et de test .6 Construction de l’auto-encodeur LSTM .9 Perte du diagramme de distribution .10 Détection anomalie en utilisant un seuil .14 Code implémentant la première approche .15 Affichage de résultat obtenu de l’approche statistique .16 Approche Isolation forest .17 Un arbre de décision complètement non élagué, dans lequel chaque feuille terminale identifie une seule personne dans le monde .18 Approche Isolation Forest .19 S&P 500 Close Price avec Anomalies Isolation Forest .20 Local Outlier Factor .21 Local Outlier Factor .22 S&P 500 Close Price avec Local Outlier Factor .23 S&P 500 Close Price avec Anomalies des 3 approches appliquées .24 S&P 500 Close Price - Affichage unique .25 Précision sur l’évaluation de toutes les méthodes.
41 VIII Table des figures 4.26 Historique des résultats. 42 IX Liste des tableaux 3.1 Acquisition des données. 20 X Liste des abréviations NBAD : Network Behavior Anomaly Detection ML : Machine Learning DL : Deep Learning CPU : Central Processing Unit IP : Internet Protocol LOF : Local Outlier Factor CNN : Convolutional Neural Network. LSTM : Long Short-Term Memory LOF : Local Outlier Factor ROC : Receiver Operating Characteristic XI Introduction générale Les systèmes de détection d’anomalies sont devenus de plus en plus intéressants avec le temps, mais la plupart des systèmes de détection d’anomalies, comme les systèmes antivirus, sont programmés pour détecter des signatures d’anomalies connues.
Les chercheurs se penchent sur de nouvelles techniques pour identifier les nouvelles attaques ainsi que les attaques connues, qui ne peuvent être détectées par les systèmes de détection programmés. Ce scénario a ouvert un nouveau champ de recherche pour découvrir des techniques optimisées de détection des anomalies qui évoluent. Un mar- ché boursier est le lieu où s’échangent les actions des entreprises entre les participants au marché à un prix convenu. C’est un lieu où se produisent divers types d’anomalies qui conduisent à des résultats inattendus : les nouveaux arrivants perdent leur argent, les puissants obtiennent plus de bénéfices, les indices boursiers ne reflètent pas l’image réelle du marché et des parties prenantes, et même les entreprises s’effondrent dans leur ensemble, etc.
Afin de maintenir le marché boursier comme un lieu équitable et sûr pour toutes les parties, les anomalies évolutives doivent être immédiatement identifiées et signalées. En ce qui concerne les méthodes de détection des anomalies, il existe des techniques de détection telles que les méthodes d’extraction des données, les méthodes de profilage des données, les méthodes de reconnaissance des formes et les méthodes statiques. De nouvelles recherches ont été menées pour analyser la possibilité d’appliquer des techniques et un modèle de système immunitaire artificiel pour résoudre les problèmes de détection des anomalies. Le système immunitaire naturel est le système de détection d’anomalies naturelles le plus connu.
Il se compose de diverses techniques visant à protéger l’organisme contre les envahisseurs étrangers tels que les virus et les bactéries, et possède des capacités telles que l’adaptabilité, l’autonomie, la précision, l’identification des attaques et l’action sur celles- ci. Les qualités ci- dessus ont conduit les chercheurs à appliquer ce modèle pour résoudre ce problème. Bien qu’il existe des systèmes de détection des anomalies boursières dans les travaux antérieurs, il manquait l’utilisation de techniques d’apprentissage automatique et de théories de système immunitaire artificiel. Cela était important pour identifier les transactions frauduleuses avancées qui ne peuvent être détectées à l’aide de simples méthodes statistiques.
Différents modèles ont été évalués à l’aide de données de transactions réelles et ont abouti à une meilleure solution dans cette recherche pour combler cette lacune. 1 Chapitre 1 Analyse du Sujet 1.1 Introduction Dans ce chapitre nous allons vous détailler plus claire notre sujet de stage qui est Stock Market Anomaly Detection with Machine Learning, de trouver des anomalies dans un flux de données.