En biomédecine, la segmentation consiste à annoter les pixels d'une structure importante dans une image médicale, comme un organe ou une cellule. Les modèles d’intelligence artificielle peuvent aider les cliniciens en mettant en évidence les pixels susceptibles de montrer des signes d’une certaine maladie ou anomalie.
Cependant, ces modèles n’apportent généralement qu’une seule réponse, alors que le problème de la segmentation des images médicales est souvent loin d’être noir et blanc. Cinq annotateurs humains experts pourraient fournir cinq segmentations différentes, peut-être en désaccord sur l'existence ou l'étendue des limites d'un nodule dans une image tomodensitométrique pulmonaire.
« Avoir des options peut aider à la prise de décision. Le simple fait de constater qu'il existe une incertitude dans une image médicale peut influencer les décisions d'une personne. Il est donc important de prendre en compte cette incertitude », explique Marianne Rakic, doctorante en informatique au MIT.
Rakic est l'auteur principal d'un papier avec d'autres au MIT, au Broad Institute du MIT et de Harvard, et au Massachusetts General Hospital, qui introduit un nouvel outil d'IA capable de capturer l'incertitude d'une image médicale.
Connu comme Tyché (du nom de la divinité grecque du hasard), le système propose plusieurs segmentations plausibles qui mettent chacune en évidence des zones légèrement différentes d'une image médicale. Un utilisateur peut spécifier le nombre d'options que Tyche génère et sélectionner celle la plus appropriée à son objectif.
Il est important de noter que Tyche peut s’attaquer à de nouvelles tâches de segmentation sans avoir besoin d’être recyclé. La formation est un processus gourmand en données qui implique de montrer à un modèle de nombreux exemples et nécessite une vaste expérience en apprentissage automatique.
Parce qu’elle ne nécessite pas de recyclage, Tyche pourrait être plus facile à utiliser que d’autres méthodes pour les cliniciens et les chercheurs biomédicaux. Il pourrait être appliqué « prêt à l’emploi » pour diverses tâches, depuis l’identification de lésions sur une radiographie pulmonaire jusqu’à la localisation d’anomalies sur une IRM cérébrale.
À terme, ce système pourrait améliorer les diagnostics ou faciliter la recherche biomédicale en attirant l’attention sur des informations potentiellement cruciales que d’autres outils d’IA pourraient manquer.
« L’ambiguïté a été peu étudiée. Si votre modèle manque complètement un nodule dont trois experts disent qu'il est là et deux experts disent qu'il ne l'est pas, c'est probablement quelque chose auquel vous devriez prêter attention », ajoute l'auteur principal Adrian Dalca, professeur adjoint à la Harvard Medical School et au MGH, et une étude. scientifique au Laboratoire d’informatique et d’intelligence artificielle du MIT (CSAIL).
Leurs co-auteurs incluent Hallee Wong, étudiante diplômée en génie électrique et en informatique ; José Javier Gonzalez Ortiz PhD '23 ; Beth Cimini, directrice associée pour l'analyse des bioimages au Broad Institute ; et John Guttag, professeur Dugald C. Jackson d'informatique et de génie électrique. Rakic présentera Tyche à la conférence IEEE sur la vision par ordinateur et la reconnaissance de formes, où Tyche a été sélectionné comme point culminant.
Répondre à l’ambiguïté
Les systèmes d’IA pour la segmentation d’images médicales utilisent généralement les réseaux de neurones. Largement inspirés du cerveau humain, les réseaux de neurones sont des modèles d’apprentissage automatique comprenant de nombreuses couches de nœuds interconnectées, ou neurones, qui traitent les données.
Après avoir discuté avec des collaborateurs du Broad Institute et du MGH qui utilisent ces systèmes, les chercheurs ont réalisé que deux problèmes majeurs limitent leur efficacité. Les modèles ne peuvent pas capturer l'incertitude et doivent être recyclés pour une tâche de segmentation, même légèrement différente.
Certaines méthodes tentent de surmonter un écueil, mais s'attaquer aux deux problèmes avec une seule solution s'est révélé particulièrement délicat, explique Rakic.
« Si l’on veut tenir compte de l’ambiguïté, il faut souvent utiliser un modèle extrêmement compliqué. Avec la méthode que nous proposons, notre objectif est de la rendre facile à utiliser avec un modèle relativement petit afin qu’il puisse faire des prédictions rapidement », explique-t-elle.
Les chercheurs ont construit Tyche en modifiant une architecture de réseau neuronal simple.
Un utilisateur donne d'abord à Tyche quelques exemples illustrant la tâche de segmentation. Par exemple, des exemples pourraient inclure plusieurs images de lésions dans une IRM cardiaque qui ont été segmentées par différents experts humains afin que le modèle puisse apprendre la tâche et voir qu'il existe une ambiguïté.
Les chercheurs ont découvert que seulement 16 exemples d’images, appelés « ensemble de contexte », suffisent au modèle pour faire de bonnes prédictions, mais qu’il n’y a pas de limite au nombre d’exemples que l’on peut utiliser. L'ensemble de contexte permet à Tyche de résoudre de nouvelles tâches sans recyclage.
Pour que Tyche capture l'incertitude, les chercheurs ont modifié le réseau neuronal afin qu'il génère plusieurs prédictions basées sur une entrée d'image médicale et l'ensemble du contexte. Ils ont ajusté les couches du réseau afin que, à mesure que les données passent d'une couche à l'autre, les segmentations candidates produites à chaque étape puissent « communiquer » entre elles et avec les exemples du contexte défini.
De cette façon, le modèle peut garantir que les segmentations candidates sont toutes un peu différentes, tout en résolvant la tâche.
« C’est comme lancer des dés. Si votre modèle peut obtenir un deux, un trois ou un quatre, mais ne sait pas que vous avez déjà un deux et un quatre, alors l'un ou l'autre pourrait réapparaître », dit-elle.
Ils ont également modifié le processus de formation afin qu'il soit récompensé en maximisant la qualité de sa meilleure prédiction.
Si l'utilisateur demande cinq prédictions, il peut à la fin voir les cinq segmentations d'images médicales produites par Tyche, même si l'une peut être meilleure que les autres.
Les chercheurs ont également développé une version de Tyche qui peut être utilisée avec un modèle pré-entraîné existant pour la segmentation d’images médicales. Dans ce cas, Tyche permet au modèle de générer plusieurs candidats en apportant de légères transformations aux images.
Des prédictions meilleures et plus rapides
Lorsque les chercheurs ont testé Tyche avec des ensembles de données d’images médicales annotées, ils ont constaté que ses prédictions capturaient la diversité des annotateurs humains et que ses meilleures prédictions étaient meilleures que celles des modèles de base. Tyche a également fonctionné plus rapidement que la plupart des modèles.
« Présenter plusieurs candidats et s'assurer qu'ils sont différents les uns des autres vous donne vraiment un avantage », explique Rakic.
Les chercheurs ont également constaté que Tyche pouvait surpasser les modèles plus complexes formés à l’aide d’un vaste ensemble de données spécialisées.
Pour les travaux futurs, ils prévoient d’essayer d’utiliser un ensemble de contextes plus flexibles, incluant peut-être du texte ou plusieurs types d’images. En outre, ils souhaitent explorer des méthodes susceptibles d'améliorer les pires prédictions de Tyche et d'améliorer le système afin qu'il puisse recommander les meilleurs candidats à la segmentation.
Cette recherche est financée, en partie, par les National Institutes of Health, le Centre Eric et Wendy Schmidt du Broad Institute du MIT et de Harvard, et Quanta Computer.