Laboratoire Lorrain de Recherche en Informatique Institut de la Francophonie et ses Applications pour l'Informatique MÉMOIRE DE FIN D'ÉTUDES Vers une approche personnalisée de la recherche d'informations (Étude des stratégies de combinaison des méthodes de filtrage basé sur le contenu et des méthodes de filtrage collaboratif) Étudiant DO Minh Chau Promotion 11, IFI Responsables Anne BOYER Jean-Charles LAMIREL Équipe MAIA, LORIA Équipe CORTEX, LORIA Nancy, France – 2007 TIEU LUAN MOI download : skknchat@gmail.com TIEU LUAN MOI download : skknchat@gmail.com Table des matières Remerciements.vii Liste des figures.viii Liste des tableaux. Environnement de stage. Revue de la bibliographie. Filtrage basé sur le contenu (FBC).
Filtrage collaboratif basé sur la mémoire. Filtrage collaboratif basé sur un modèle. Combinaison du FBC et du FC. FC – FBC séparé.
FC – FBC combiné. FBC ressources – FC. FBC utilisateurs – FC. Collection de données.
Outils de développement. Structures des tables dans la base de données. Métrique d'exactitude de classification.47 iii TIEU LUAN MOI download : skknchat@gmail.49 iv TIEU LUAN MOI download : skknchat@gmail.com Remerciements Mes remerciements s'adressent naturellement à l'ensemble des membres de l'équipe CORTEX et de l'équipe MAIA au LORIA. Je tiens à remercier sincèrement Anne BOYER et Sylvain CASTAGNOS de l'équipe MAIA pour leur disponibilité et pour m'avoir donné des connaissances de base au début ainsi que leur aide au cours de mon stage.
Leur avis a été très utile pour ma mission. Je tiens à remercier chaleureusement Jean-Charles LAMIREL et Randa KASSAB de l'équipe CORTEX qui m'ont beaucoup guidé dans mon travail chaque fois que le besoin s'en faisait sentir. Je remercie Jean-Charles LAMIREL d'avoir fait les formalités nécessaires au LORIA. Cela m'a permis d'effectuer cette mission dans les meilleures conditions.
Le 5 octobre 2007 DO Minh Chau Anne et moi Jean-Charles et moi Sylvain et moi Randa et moi v TIEU LUAN MOI download : skknchat@gmail.com Résumé Nous nous intéressons à la recherche d'informations sur Internet, dans un contexte « grand public », avec pour objectif de déterminer quelles ressources sont pertinentes pour un utilisateur. Nos travaux s'inscrivent dans le domaine des systèmes de recommandation avec l'objectif de prédire la pertinence d'une ressource web (film, document, page, site w3, blog, vidéo en ligne, …) pour un utilisateur particulier à partir de l'observation de son comportement et des éventuelles appréciations (votes numériques, annotations, traces, …) qu'il dépose lors de ses consultations. Parmi les techniques possibles, nous avons choisi dans l'équipe CORTEX d'utiliser le filtrage basé sur le contenu et dans l'équipe MAIA d'utiliser le filtrage collaboratif. Ces deux paradigmes ont été appliqués dans le contexte des systèmes de prédiction de préférence d'utilisateur et de recommandation.
Le filtrage basé sur le contenu crée des prédictions complètes et rapides grâce à la vitesse des ordinateurs. Le filtrage collaboratif combine les avis des utilisateurs pour créer des prédictions personnalisées et précises. Ces deux paradigmes de filtrage sont très différents l'un de l'autre et tous les deux ont encore quelques limites. Il apparaît que les deux approches sont complémentaires.
Il est donc intéressant d'essayer de les combiner ensemble afin de surmonter ces limites. Mots clés : filtrage collaboratif, filtrage basé sur le contenu, système de recommandation, prédiction de préférence d'utilisateur, personnalisé, combinaison, recherche d'informations, base de données vi TIEU LUAN MOI download : skknchat@gmail.com Abstract We are interested in information searching on the Internet, in a context "general public", in order to determine which resources are relevant for a user. The field of our work is the recommendation system whose objective is to predict the relevance of a resource Web (film, document, page, w3 site, blog, online video, .) for a particular user from the observation of his behaviour and from the possible appreciations (numerical ratings, annotations, traces, .) which he deposits at the time of his consultations. Among the possible techniques, we chose in the team CORTEX to use the content-based filtering and in the team MAIA to use the collaborative filtering.
These two paradigms have been applied in the context of user preference prediction and recommendation systems. Content-based filtering uses the speed of computers to make complete, fast predictions. Collaborative filtering combines the opinions of humans to make personalized, accurate predictions. These two filtering paradigms are very different from each other and both have yet some limits.
It appears that these two approaches are complementary. It is therefore interesting to try combining them together in order to overcome those limits. Key words: collaborative filtering, content-based filtering, recommendation system, user preference prediction, personalized, combination, information searching, database vii TIEU LUAN MOI download : skknchat@gmail.com Liste des figures Figure 1. Matrice des fréquences.
Matrice des votes. Valeurs possibles de la corrélation Pearson. Espace de représentation utilisateurs/ressources (K-Means). Organisation hiérarchique des utilisateurs.
Initialisation de l'algorithme 2-Means. Structure générale d'un système de filtrage de film. Modèle de la méthode de combinaison FC-FBC séparé. Modèle de la méthode de combinaison FC-FBC combiné.
Modèle de la méthode de combinaison FBC ressources – FC. Modèle de la méthode de combinaison FBC utilisateurs – FC. Modèle de la méthode de combinaison Fusion. Exemple des données de la table Actors.
Exemple des données de la table Countries. Exemple des données de la table Genres. Exemple des données de la table KeyWords. Exemple des données de la table Languages.
Exemple des données de la table Movie_Actor. Exemple des données de la table Movie_Country. Exemple des données de la table Movie_Genre. Exemple des données de la table Movie_KeyWord.
Exemple des données de la table Movie_Language. Exemple des données de la table Movie_Movie. Exemple des données de la table Movie_StemmerSummary. Exemple des données de la table Movie_StemmerTitle.
Exemple des données de la table Movies. Exemple des données de la table StemmerSummaries. Exemple des données de la table StemmerTitles. Exemple des données de la table StopWords.
Exemple des données de la table TrainingRatings. Exemple des données de la table User_Movie. Exemple des données de la table Users. Relations des tables dans la base de données.
Comparaison des trois méthodes de filtrage avec la MAE.44 viii TIEU LUAN MOI download : skknchat@gmail. Résultat d'évaluation selon le Rappel. Résultat d'évaluation selon la Précision.47 ix TIEU LUAN MOI download : skknchat@gmail.com Liste des tableaux Tableau 1. Exemple des mots non importants.
Exemple des mots en forme de Stemming. Table Movie_Actor. Table Movie_Country. Table Movie_Genre.
Table Movie_KeyWord. Table Movie_Language. Table Movie_StemmerSummary. Table Movie_StemmerTitle.
Table User_Movie.42 x TIEU LUAN MOI download : skknchat@gmail. Problématique Nous nous intéressons à la recherche d'informations sur Internet, dans un contexte « grand public », avec pour objectif de déterminer quelles ressources sont pertinentes pour un utilisateur, connaissant le contexte dans lequel il est immergé. Nos travaux s'inscrivent dans le domaine des systèmes de recommandation avec l'objectif de prédire la pertinence d'une ressource web (document, page, site w3, blog, vidéo en ligne, …) pour un utilisateur particulier à partir de l'observation de son comportement et des éventuelles appréciations (votes numériques, annotations, traces, …) qu'il dépose lors de ses consultations. Différentes approches sont envisageables, suivant que l'on considère le contenu des ressources ou au contraire une dimension plus subjective qui est l'intérêt qu'elle présente pour un utilisateur donné.
Ainsi une approche consiste à modéliser le comportement utilisateur en se fondant sur une analyse des usages. Parmi les techniques possibles, nous avons choisi dans l'équipe MAIA d'utiliser le filtrage collaboratif qui pallie le manque de données disponibles sur l'utilisateur en transformant le problème de l'apprentissage individuel en un apprentissage collaboratif. Pour cela, il exploite les comportements connus d'une population d'utilisateurs et construit la communauté virtuelle des internautes présentant un comportement similaire à celui de l'utilisateur courant. Le principe du filtrage collaboratif est d'implanter informatiquement le principe du bouche-à- oreille [J.
Herlocker et al. Il détermine pour l'utilisateur actif Ui quels sont les utilisateurs similaires, c'est-à-dire les utilisateurs dont l'intérêt pour des ressources données est similaire à celui de Ui. Les données disponibles sur ce sous ensemble des utilisateurs appelés communauté virtuelle d'intérêt sont ensuite exploitées pour prédire la pertinence dune ressource pour Ui. Dans l'équipe MAIA, nous avons développé plusieurs approches permettant de traiter notamment le problème du passage à l'échelle et du respect de la vie privée [S.
La technique de filtrage collaboratif a fait l'objet d'une implémentation dans le cadre du projet CASABLANCA, dont le rôle est la diffusion ciblée de site Web par satellite [S. Castagnos et al. Une limite de cette approche est qu'elle ne fonctionne que pour des ressources qui ont déjà été consultées, et qu'il y a un risque de « sclérose » pour une communauté virtuelle (consultation en vase clos des mêmes ressources). C'est pourquoi il peut s'avérer intéressant de combiner le filtrage collaboratif avec une autre approche.
Une part de l'activité de l'équipe CORTEX porte sur un autre mode de filtrage basé sur l'analyse du contenu des documents. Ce mode du filtrage conserve une représentation interne des besoins d'un utilisateur à travers un profil principalement construit à partir de la description des documents qu'il a sélectionnés. Par l'intermédiaire de ce profil, l'accès est donc limité aux informations susceptibles de répondre à ses besoins spécifiques [P. Dumais, 1 TIEU LUAN MOI download : skknchat@gmail.
Introduction Vers une approche personnalisée de la recherche d'informations 1992][Belkin et al. Nous avons testé plusieurs approches qui permettent de définir le profil individuel de chaque utilisateur, d'analyser son comportement et de réagir en fonction de celui-ci, ou encore de moduler l'effet de ses décisions passées, ainsi que de lui faire des propositions intelligentes concernant des documents entrants qu'il n'a jamais consultés. Certaines de ces méthodes ont également fait l'objet d'une première implémentation dans le cadre du projet CASABLANCA [S. Castagnos et al.
Castagnos et al. Le filtrage basé sur le contenu présente cependant des limites dues à son principe, qui est celui de ne prendre en compte que les décisions se rapportant à un seul utilisateur. Ces décisions doivent donc être suffisamment exhaustives pour couvrir l'ensemble des besoins de l'utilisateur, ce qui s'avère être rarement le cas dans la pratique. Il est de plus mieux adapté au traitement des décisions à cours terme qu'à celui des décisions à long terme.
Il apparaît que les deux approches sont complémentaires et c'est la raison pour laquelle les recherches actuelles s'orientent plutôt vers une combinaison des deux types de filtrage [J. Motivation Plusieurs raisons me motivent à choisir le sujet. Premièrement, j'aimerais étudier des algorithmes et des méthodes qui peuvent être appliqués rapidement et largement dans le réel, surtout dans le développement de logiciel. Mon but est d'acquérir des expériences de recherche en informatique ainsi que de nouvelles connaissances sur un domaine spécifique.
Deuxièmement, le sujet de stage concerne la combinaison des méthodes de filtrage d'informations. Cela a pour but d'essayer de trouver une nouvelle solution pour beaucoup de problèmes restés dans le réel. Je souhaite trouver quelque chose nouvelle pour contribuer à la recherche de ce problème. Troisièmement, en effectuant mon stage au LORIA, j'ai des occasions pour profiter un bon environnement de recherche scientifique et de rencontrer des enseignants, des chercheurs internationaux.
Quatrièmement, j'apprécie le contact avec d'autres cultures et me trouver en terre étrangère. Objectifs Définition du but de travail Le but de ce stage est à la fois celui de proposer tester différents types de combinaison mettant en jeu les deux modes de filtrage. La première étape consiste à faire un état de l'art des différentes techniques de filtrage par le contenu et de filtrage collaboratif, de manière à appréhender les deux approches. La deuxième étape consistera à proposer plusieurs approches mixant filtrage par contenu 2 TIEU LUAN MOI download : skknchat@gmail.
Introduction Vers une approche personnalisée de la recherche d'informations et filtrage collaboratif de manière à permettre un filtrage personnalisé de sites web. Une implantation ainsi qu'une méthode de test devront être mises en place de manière à valider ces propositions. Méthode pour la vérification et validation des objectifs Afin de vérifier et valider des objectifs, il faut avoir une méthode d'évaluation appropriée. Cette tâche n'est pas toujours facile car une méthode d'évaluation ne peut pas toujours donner des résultats fiables.
De plus, deux méthodes d'évaluation différentes peuvent donner des résultats différents.