TFE26-415

Intégration des Coalitions Apprenantes et des Modèles Vision-Language pour l’Analyse Cytologique du Cancer de la Thyroïde

Max student :

2

Promoters:

Benoît Macq 

Other people :

Manon Dausort, Arthur Pisvin et Tim Bary du Pixels and Interactions Lab de l’UCLouvain

Description:

1. Introduction

1.1 Contexte et Problématique

Le diagnostic cytologique du cancer de la thyroïde repose principalement sur l’examen des cellules obtenues par biopsie à l’aiguille fine (BAF). L’interprétation de ces images est complexe en raison de la diversité morphologique des cellules et de la subjectivité des analyses. De plus, les faux positifs et faux négatifs restent un enjeu majeur, entraînant des incertitudes diagnostiques et des procédures invasives inutiles.

L’utilisation de l’intelligence artificielle (IA) et des modèles Vision-Language (VLMs) combinée à des systèmes Retrieval-Augmented Generation (RAG) pourrait permettre d’améliorer la détection et l’interprétation des images cytologiques, en associant l’analyse automatique des images à des connaissances médicales validées.

Cette thèse de maîtrise se concentre sur le développement et l’évaluation d’un cadre méthodologique intégrant des coalitions apprenantes et des modèles VLMs pour l’analyse des images cytologiques du cancer de la thyroïde.

1.2 Objectifs

L’objectif principal de cette thèse est de concevoir un système hybride combinant segmentation et classification d’images cytologiques via des modèles Vision-Language, et enrichissement de l’interprétation via un système RAG interconnecté à une base de connaissances médicales. Ce travail vise à :

1. Améliorer la détection automatique des cellules cancéreuses sur des images cytologiques en exploitant des VLMs.
2. Créer une coalition apprenante fédérée permettant de mutualiser des modèles entraînés sur plusieurs centres médicaux tout en garantissant la confidentialité des données.
3. Développer un système RAG pour augmenter l’explicabilité et l’interprétation des résultats diagnostiques.
4. Évaluer les performances cliniques de la solution en la comparant aux méthodes de diagnostic traditionnelles.

2. État de l’Art

2.1 Intelligence Artificielle en Cytologie

Les techniques de deep learning appliquées à la cytologie permettent d’automatiser la détection et la classification des cellules cancéreuses. Les modèles Vision-Language, tels que CLIP et BLIP-2, offrent l’opportunité d’associer une analyse d’image à des descripteurs textuels, rendant ainsi les décisions plus compréhensibles pour les experts médicaux.

2.2 Systèmes RAG et Apprentissage Augmenté

Les modèles RAG permettent d’améliorer la robustesse des diagnostics en couplant un modèle génératif à une base de connaissances externe. Ce couplage réduit les erreurs d’interprétation et permet une adaptation dynamique aux nouvelles connaissances médicales.

2.3 Coalitions Apprenantes et Confidentialité des Données

L’adoption d’un apprentissage fédéré entre plusieurs centres médicaux permet d’entraîner des modèles sur des bases de données hétérogènes tout en respectant les contraintes de confidentialité (ex. differential privacy, homomorphic encryption). Ce paradigme est particulièrement pertinent dans le cadre de l’analyse cytologique où l’accès aux données est souvent restreint.

3. Méthodologie

3.1 Développement du Pipeline d’Analyse Vision-Language

1. Collecte et annotation des images cytologiques provenant de différents laboratoires.
2. Entraînement d’un modèle Vision-Language (ex. CLIP, MedVLM) sur les images cytologiques.
3. Intégration d’un module d’explicabilité permettant d’associer une description textuelle aux images classifiées.

3.2 Conception et Intégration d’un Système RAG

1. Connexion du modèle VLM à une base de connaissances cytologiques pour contextualiser les diagnostics.
2. Mise en place d’un moteur de récupération d’informations pour améliorer l’explicabilité des résultats.
3. Évaluation de l’impact de l’intégration RAG sur la fiabilité des diagnostics.

3.3 Structuration et Validation d’une Coalition Apprenante

1. Déploiement d’un apprentissage fédéré entre plusieurs centres médicaux.
2. Mise en œuvre de techniques de protection des données (differential privacy, homomorphic encryption).
3. Évaluation de la robustesse du modèle sur des jeux de données provenant de plusieurs sources indépendantes.

3.4 Évaluation Clinique et Validation

• Comparaison des résultats avec les méthodes d’analyse cytologique conventionnelles.
• Études d’acceptabilité et d’interprétabilité auprès des experts en cytologie.
• Analyse de l’impact de la solution sur la réduction des erreurs diagnostiques.