UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT FRANCOPHONE INTERNATIONAL ABALO Kokou ETUDE ET MISE EN OEUVRE DE SEGMENTATION DOCUMENTAIRE PAR MACHINE LEARNING MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE HANOÏ - 2020 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com UNIVERSITÉ NATIONALE DU VIETNAM, HANOÏ INSTITUT DE LA FRANCOPHONIE POUR L’INNOVATION ABALO Kokou ETUDE ET MISE EN OEUVRE DE SEGMENTATION DOCUMENTAIRE PAR MACHINE LEARNING Spécialité : Systèmes Intelligents et Multimédia Code : Programme pilote MEMOIRE DE FIN D’ETUDES DU MASTER INFORMATIQUE Sous la direction de : Mr. Marc DENTY HANOÏ - 2020 LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Attestation d’honneur J’atteste sur l’honneur que ce mémoire a été réalisé par moi-même et que les données et les résultats qui y sont présentés sont exacts et n’ont jamais été publiés ailleurs. La source des informations citées dans ce mémoire a été bien précisée. Signature de l’étudiant ABALO Kokou LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des matières Remerciements vi Résumé vii Acronymes xi 1 Présentation du projet .2 Contexte du projet .4 Objectifs du stage .5 Périmètres du projet.
4 2 État de l’art .1 Généralités sur l’apprentissage automatique .2 Les réseaux de neurones .1 Le perceptron multi couches .2 Réseau de neurones à convolution (CNN) .3 Les réseaux de neurones récurrents .3 Quelques articles connexes pertinents .1 Article 1 : Document Flow Segmentation for Business Applications[3] 8 2.2 Article 2 : An Approach to the Segmentation of Multi-page Document Flow Using Binary Classification[1] .3 Article 3 : Page Stream Segmentation with Convolutional Neural Nets Combining Textual and Visual Features[6] .4 Bilan récapitulatif des articles les plus pertinents étudiés .1 Préparation des données .1 Collecte des données .2 Labélisation des données. 22 i LUAN VAN CHAT LUONG download : add luanvanchat@agmail.3 Vecteurs de caractéristiques de transition .4 Prédiction sans logique métier associée .5 Prédiction avec logique métier associée .6 Evaluation des modèles. 26 4 Expérimentation et analyse des résultats .1 Pré-traitement des données .2 Première phase de réalisation .2 Vecteurs de caractéristiques de transition .3 Tests suivant les différents modèles d’extraction de caractéristiques 31 4.3 Deuxième phase de réalisation .1 Test sur le corpus global .2 Prise en compte de la logique métier .4 Outils et environnement de travail .5 Difficultés du stage. 36 ii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Table des figures 1 Perceptron[5].
6 2 Classification multi classes. 8 5 Organigramme de segmentation des documents, basé sur une classification super- visée. 9 6 Illustration du cas d’usage de la solution proposée. 18 7 Illustration de l’architecture fonctionnelle de la solution proposée.
19 8 Jeu de données de test et d’expérimentation. 20 9 VGG16 - Caractéristiques d’entrée et de sortie. 21 10 VGG19 - Caractéristiques d’entrée et de sortie. 21 11 Xception - Caractéristiques d’entrée et de sortie.
22 12 InceptionV3 - Caractéristiques d’entrée et de sortie. 24 15 LSTM Bidirectionnel - Architecture. 25 16 Architecture prédiction de la classe métier. 25 17 Simulation de découpage de flux.
26 18 Aspect visuel général du corpus. 29 19 Aspect visuel général du corpus apuré. 31 21 Extraction de caractéristiques et Prédiction MLP. 32 22 Accuracy de Prédiction MLP.
32 23 Vgg19 avec Prédiction RNN. 32 24 Accuracy - Vgg19 avec Prédiction RNN. 32 25 Variation de la taille de fenêtre de lecture. 33 26 Performance du modèle vgg19 + LSTM Bidirectionnel.
33 27 Statistiques de découpage par rapport au modèle vgg19 + LSTM Bidirectionnel. 34 28 Jeu de données globales. 34 29 Performance du modèle vgg19 + LSTM Bidirectionnel - Jeu de données globales 34 30 Statistiques de découpage par rapport au modèle vgg19 + LSTM Bidirectionnel - Test sur le corpus global. 35 iii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com 31 Statistiques de découpage par rapport au modèle vgg19 + LSTM Bidirectionnel - Avec logique métier.
40 iv LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Liste des tableaux 1 Représentation des caractéristiques. 10 2 Evaluation de quelques approches de segmentation de flux de documents. 15 3 Tableau récapitulatif des articles les plus pertinents étudiés. 16 4 Labélisation classification binaire.
20 5 Labélisation classification métier. 20 6 MLP network hyperparameters. 31 v LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Remerciements Pour les efforts consentis dans la réalisation de ce mémoire, nous exprimons notre très vive reconnaissance à l’endroit de : − L’Université Nationale du Vietnam (VNU), pour nous avoir donné l’occasion de poursuivre nos études de Master à l’IFI à travers l’octroi d’une bourse d’étude ; − L’Institut Francophone International (IFI) en cotutelle avec l’Université de la Rochelle, et de tous les professeurs, pour leur enseignement et leurs rigueurs ; − Laboratoire Tessi Lab pour l’accueil et le suivi de ce stage ; − Mes encadrants pour les explications, les conseils, les différentes pistes de réflexion et l’appui technique dans mon encadrement. vi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Résumé Le présent mémoire s’inscrit dans le contexte de la gestion électronique de documents avec les différents concepts et technologies de l’Intelligence Artificielle.
Avec l’avènement des TICs, la nu- mérisation, le stockage et la gestion de documents papier devient un volet incontournable dans le maintien du système d’information de toutes organisations. La structuration du stockage de ces informations requiert en amont des méthodes et techniques, en particulier dans le cas de numérisation par lots de grande quantité de documents. Ainsi la séparation automatique du flux de pages numérisées en ensembles continus de pages correspondant aux documents physiques est une étape importante qui, toutefois, implique des problématiques. Le travail réalisé porte sur l’étude de différentes méthodes de segmentation de flux de documents numérisés par Machine Learning.
Pour ce faire, nous avons d’une part, fait usage de réseaux de neurones à convolution (CNN) combinés avec du réseau MLP (Multi-Layer Perceptron) et d’autre part, de réseaux de neurones à convolution combinés avec le réseau RNN (Recurrent Neural Network). L’objectif étant de tester ces deux approches en afin d’identifier laquelle est la mieux adaptée pour les données image à traiter. Le noeud du problème à résoudre était de déterminer la nature de la transition entre deux pages successives : “continuité du même document” (CD) ou “début d’un nouveau document” (ND). Nous avons dans un premier temps extrait les caractéristiques de chaque document image du flux par vectorisation à l’aide de différents réseaux CNN.
Ensuite, pour chaque cas d’extraction de vecteurs de caractéristiques, nous avons combiné sui- vant différents modes, et ce sur une fenêtre donnée, ces vecteurs de pages consécutives en un seul vecteur de caractéristiques de transition. Ce dernier alors est passé à un classificateur bi- naire MLP ou RNN selon l’approche choisi afin de déterminer le type de transition entre les pages consécutives. Des résultats obtenus, nous avons procédé au regroupement des pages cor- respondant à chaque document. Enfin nous avons effectué les tests de précision par rapport au découpage du flux en documents en vue d’évaluer la performance de chaque approche.
Nos évaluations ont en effet révélé que la méthode de segmentation du flux de documents utilisant la combinaison des modèles VGG19 et LSTM Bidirectionnel est la plus performante. Afin d’optimiser les résultats obtenus à partir de l’approche retenue, nous avons associé à cette dernière la logique métier. Pour cela nous avons couplé en parallèle au modèle de classification binaire obtenu un modèle permettant de déterminer la catégorie de chaque document. Ensuite, les résultats obtenus de part et d’autre sont alors confrontés entre eux en vue de corriger d’éven- tuelles erreurs relative à la classification binaire.
Pour mener à bien notre recherche, nous avons projeté l’approche d’apprentissage non supervisé pour résoudre le même problème de segmentation documentaire. vii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Mots clés : Apprentissage supervisé, Réseaux de neurones convolutifs, Réseaux de neurones récurrent, Deep learning, Machine learning, Extraction de caractéristiques, Segmentation do- cumentaire, classification de documents images, Classification binaire, Gestion électronique de documents. viii LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Abstract This Master thesis report is part of the electronic documents management field with Arti- ficial Intelligence philosophy and technologies. Through the advent of ICTs, digitization, storage and management of paper documents become a main component with all orga- nizations information systems’ maintaining.
Structuring the storage of this kind of data requires methods and techniques upstream, in particular in the case of batch scanning of large quantities of documents. Thus the automatic segmentation of the scanned pages flow into continuous sets of pages corresponding to physical documents is an important step which, however, involves difficulties. The work carried out through this report relates to the study of different methods of segmenting scanned documents flow by a Machine Learning based system. To do this, on one hand, we used convolutional neural networks (CNN) combined with the MLP (Multi-Layer Perceptron) network and, on the other hand, convolutional neural networks combined with the RNN network (Recurrent Neural Network).
The goal is to test these two approaches in order to identify which one is the best suited for the image data to be processed. The crux of the problem to be solved was to determine the type of nature of the transition between two consecutive pages : "continuity of the same document" (CD) or "beginning of a new document" (ND). We first extracted the characteristics of each document image from the workflow by vectorization using different CNN frameworks. Then for each case of extraction of feature vectors, we have combined through different way, and this over a given frame size, these vectors of consecutive pages into a single vector of transition feature vector.
The resulting feature vector is then passed through a binary MLP or RNN classifier depending on the approach chosen in order to determine the type of transition between consecutive pages. From the results obtained, we proceeded to group the pages corresponding to each document. Finally, we performed statistical tests related to the documents image stream segmentation into unique documents in order to assess the performance of each approach. Our evaluations revealed that the document flow seg- mentation method using the combination of the VGG19 and Bidirectional LSTM models is the most efficient.
In order to optimize the results obtained from the chosen approach, we have associated the business logic with the latter. For that reason, we have coupled, in parallel to the binary classification model obtained, a model allowing to determine the category of each document. Then the output results obtained from both parts are then compared in order to correct any errors at the binary classification level. To carry out our research, we have projected the use of unsupervised machine learning approach to solve the same issue of page stream segmentation.
Keywords : Supervised learning, Convolutional neural networks, Recurrent neural net- ix LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com works, Deep learning, Machine learning, Feature extraction, Documentary segmentation, documents images classification, Binary classification, Electronic document management. x LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com Acronymes Multi Layer Perceptron : MLP Deep Learning : DL Recurrent Neuronal Network : RNN Long short-term memory : LSTM Convolution Neuronal Network : CNN Nouveau document : ND Continuité document : CD Intelligence Artificielle : IA Technologies de l’Information et de la Communication : TIC Optical Character Recognition : OCR Page en cours : Pi Page précédente à la page en cours : Pi−1 Page deuxième précédente à la page en cours : Pi−2 Page suivante à la page en cours : Pi+1 Page deuxième page suivante à la page en cours : Pi+2 xi LUAN VAN CHAT LUONG download : add luanvanchat@agmail.com INTRODUCTION GENERALE La recherche scientifique ne cesse de progresser dans la mise en place de nouveaux concepts pour faciliter le quotidien de l’homme. Dans la mêlée, les sciences informatiques en géné- ral et l’Intelligence Artificielle en particulier regorgent d’innovations.