Contexte scientifique et institutionnel
Cette thèse de Doctorat en Informatique s'inscrit à l'intersection de la Recherche d'Information (RI) et du Traitement Automatique des Langues (TAL). Elle porte sur la conception de systèmes de questions-réponses génératifs ciblant la recherche et la cartographie de compétences à partir de la fouille d'articles et de documents scientifiques.
Réalisée au sein du Laboratoire d'Informatique et des Systèmes (LIS, UMR 7020 — AMU, CNRS, UTLN, Centrale Méditerranée) sur le campus scientifique de Saint-Jérôme à Marseille, cette recherche s'intègre dans un projet stratégique financé par Aix-Marseille Université visant à valoriser dynamiquement les compétences et l'expertise des unités de recherche à travers leurs publications (HAL, bases internes) et leurs projets déposés.
Fouille sémantique de documents scientifiques (TAL) et Recherche d'Information générative (RAG).
3 ingénieurs de recherche et 1 ingénieur d'études recrutés en appui au déploiement et aux corpus.
Articles scientifiques (HAL, PubMed), rapports techniques, rapports d'activité et projets (PDF, Word, LaTeX).
Objectif de diffusion d'un référentiel d'évaluation sous forme de tâche collaborative internationale.
Direction et équipe doctorale
Objectif global du système
Concevoir une architecture logicielle et des modèles neuronaux capables :
- D'extraire et désambiguïser les entités nommées (chercheurs, laboratoires, institutions, objets d'étude, méthodes) dans des documents hétérogènes.
- De relier ces entités à des savoir-faire, compétences et domaines d'activités à partir des résultats et tâches décrits.
- De répondre en langage naturel à des requêtes complexes en identifiant les experts ou unités pertinentes et en générant une synthèse justifiée par les sources.
Sous-problème 1 : Fouille de documents et recherche exploratoire
Le premier volet vise à identifier automatiquement les entités présentes dans les textes scientifiques ou descriptifs de projets et à les associer à leurs activités de recherche, afin de permettre une recherche d'information exploratoire (comparable aux approches de plateformes telles que Gargantext).
1. Annotations TAL & Indexation structurée
- Reconnaissance d'entités nommées (NER) : identification et désambiguïsation des auteurs, unités de recherche, méthodes et domaines via annuaires et bases d'identifiants.
- Analyse discursive et sémantique : annotation en rôles sémantiques, résolution d'anaphores et de coréférences, extraction de relations entre chercheurs et tâches assignées.
- Interrogation NoSQL : schémas d'annotation et d'indexation gérés par des moteurs orientés documents (Apache Lucene, ElasticSearch).
2. Cartographie sémantique & Modélisation thématique
- Représentations vectorielles : plongements lexicaux et contextuels par modèles transformeurs et classification non supervisée (partitionnement / clustering).
- Modélisation de thèmes (Topic Modeling) : exploitation de LDA, BERTopic et Top2Vec pour structurer les domaines de compétences.
- Étiquetage génératif & Prompting : génération de noms de thèmes lisibles via des LLM (ex. Llama-2, Mistral) par prompts ad-hoc ou soft-prompting en contexte multilingue.
Sous-problème 2 : Questions-réponses génératifs et architectures RAG
À partir des annotations et cartographies issues de la fouille de documents, le second volet consiste à développer un modèle de recherche de type questions-réponses génératif capable de surmonter l'écart lexical (vocabulary mismatch) et de lever les ambiguïtés sémantiques tout en maîtrisant le risque d'hallucination des grands modèles de langue.
Hybridation BM25 & Dense Retrieval
Combinaison des modèles sacs de mots (BM25, ciblant les termes techniques discriminants) et des représentations denses continues (généralisation sémantique et synonymie) avec recherche approximative de plus proches voisins à grande échelle.
Crédibilité & Ancrage RAG
Mise en œuvre d'architectures RAG (Retrieval-Augmented Generation) pour étayer chaque réponse générée par des passages textuels précis extraits des publications et rapports, réduisant ainsi les mises en relation erronées et hallucinations.
Synthèse & Justification d'expertise
En lieu et place d'une simple liste de documents, l'encodeur-décodeur génère un texte fluide identifiant les chercheurs ou laboratoires compétents et justifiant explicitement ce choix par leurs travaux antérieurs.
Écosystème de modèles, ressources lexicales et protocoles d'évaluation
Un enjeu central de la thèse consiste à évaluer l'efficacité comparée de modèles pré-entraînés génériques, de modèles spécialisés par domaine scientifique et de stratégies d'adaptation (transfer learning, fine-tuning, soft-prompting) :
| Composante du système | Modèles, outils et ressources mobilisés | Objectif scientifique et expérimental |
|---|---|---|
| Modèles de langue génériques | BERT, CamemBERT (français), Llama-2 / Llama, Mistral AI | Représentation contextuelle multilingue, génération de réponses et nommage de thématiques. |
| Modèles scientifiques spécialisés | SciBERT, BioBERT | Adaptation fine à la terminologie scientifique et biomédicale par apprentissage par transfert. |
| Ressources termino-lexicales | BabelNet, annuaires institutionnels, identifiants auteurs | Enrichissement sémantique multilingue et désambiguïsation des entités chercheurs/laboratoires. |
| Indexation & Moteurs RI | Apache Lucene, ElasticSearch, BM25, Dense Passage Retrieval | Stockage NoSQL orienté documents, interrogation hybride rapide et passage à l'échelle. |
| Corpus de test & Campagnes | HAL, CoNLL++, BC5CDR (PubMed), campagne CLEF | Évaluation intrinsèque (NER, relations) et création d'un benchmark collaboratif de Q/R de compétences. |
Publications et productions scientifiques de la thèse
Travaux publiés et en cours dans le cadre de la thèse de Sarah Nouali au sein de l'équipe Recherche d'Information et Interactions du LIS :
-
Exploration du RAG pour la génération de réponses à des questions en contexte éducatif : étude sur les données SCIQ
In Actes de l'atelier Intelligence Artificielle générative et ÉDUcation : Enjeux, Défis et Perspectives de Recherche 2025 (IA-ÉDU) (pp. 29-41).
-
Constitution d'un référentiel de questions-réponses pour l'identification de compétences scientifiques
Jeu de données de référence et protocole d'évaluation destinés à être diffusés sous forme de tâche collaborative au sein du forum européen CLEF (Conference and Labs of the Evaluation Forum).
Espace réservé aux prochaines publications de la thèse (CORIA, TALN, ECIR, SIGIR, CLEF)
Les futurs articles, modèles open-source et jeux de données produits durant le doctorat seront référencés dans cette section.Consulter la bibliographie scientifique du sujet de thèse (19 références)
- Alyafeai, Z., AlShaibani, M. S., & Ahmad, I. (2020). A survey on transfer learning in natural language processing. arXiv preprint arXiv:2007.04239.
- Chandrasekaran, D., & Mago, V. (2021). Evolution of semantic similarity—a survey. ACM Computing Surveys (CSUR), 54(2), 1-37.
- Dosso, C., Tamine, L., Paubel, P. V., & Chevalier, A. (2023). Navigational and thematic exploration-exploitation trade-offs during web search: effects of prior domain knowledge, search contexts and strategies on search outcome. Behaviour & Information Technology, 1-27.
- Gao, L., Dai, Z., Fan, Z., & Callan, J. (2020). Complementing lexical retrieval with semantic residual embedding. arXiv preprint arXiv:2004.13969.
- Grootendorst, M. (2022). BERTopic: Neural topic modeling with a class-based TF-IDF procedure. arXiv preprint arXiv:2203.05794.
- Guenoune, H. (2022). Résolution des anaphores dans la communication électronique médiée : heuristiques et apport d'informations de sens commun. Thèse de doctorat, Université de Montpellier.
- Johnson, T. B., & Guestrin, C. (2018). Training deep models faster with robust, approximate importance sampling. In Advances in Neural Information Processing Systems (NeurIPS), pp. 7265-7275.
- Karpukhin, V., Oguz, B., Min, S., Wu, L., Edunov, S., Chen, D., & Yih, W.-t. (2020). Dense passage retrieval for open-domain question answering. arXiv preprint arXiv:2004.04906.
- Kobayashi, H., & Ng, V. (2020). Bridging resolution: A survey of the state of the art. In Proceedings of COLING 2020 (pp. 3708-3721).
- Lata, K., Singh, P., & Dutta, K. (2021). A comprehensive review on feature set used for anaphora resolution. Artificial Intelligence Review, 54, 2917-3006.
- Lewis, P., Perez, E., Piktus, A., Petroni, F., Karpukhin, V., Goyal, N., et al. (2020). Retrieval-augmented generation for knowledge-intensive NLP tasks. Advances in Neural Information Processing Systems (NeurIPS), 33, 9459-9474.
- Liu, R., Mao, R., Luu, A. T., & Cambria, E. (2023). A brief survey on recent advances in coreference resolution. Artificial Intelligence Review, 1-43.
- Lopez, C., Mekaoui, M., Aubry, K., Tisserant, G., Guenoune, H., et al. (2022). Recursive Named Entity Recognition. In Advances in Knowledge Discovery and Management, Vol. 9 (pp. 25-45). Springer.
- Lu, Z., & Li, H. (2013). A deep architecture for matching short texts. In Proceedings of NIPS'13.
- Min, B., Ross, H., Sulem, E., Veyseh, A. P. B., Nguyen, T. H., Sainz, O., et al. (2023). Recent advances in natural language processing via large pre-trained language models: A survey. ACM Computing Surveys, 56(2), 1-40.
- Nasar, Z., Jaffry, S. W., & Malik, M. K. (2021). Named entity recognition and relation extraction: State-of-the-art. ACM Computing Surveys (CSUR), 54(1), 1-39.
- Navigli, R., & Ponzetto, S. P. (2012). BabelNet: The automatic construction, evaluation and application of a wide-coverage multilingual semantic network. Artificial Intelligence, 193.
- Navigli, R., Bevilacqua, M., Conia, S., Montagnini, D., & Cecconi, F. (2021). Ten Years of BabelNet: A Survey. In Proceedings of IJCAI 2021 (pp. 4559-4567).
- Shang, L., Lu, Z., & Li, H. (2015). Neural responding machine for short-text conversation. In Proceedings of ACL'15.
- Zhao, M., & Schütze, H. (2021). Discrete and soft prompting for multilingual models. arXiv preprint arXiv:2109.03630.