Une nouvelle recherche propose un système pour déterminer l'exactitude relative de l'IA prédictive dans un contexte médical hypothétique, et quand le système devrait s'en remettre à un clinicien humain.
L’intelligence artificielle (IA) a un grand potentiel pour améliorer la façon dont les gens travaillent dans de nombreux secteurs. Mais pour intégrer les outils d’IA sur le lieu de travail de manière sûre et responsable, nous devons développer des méthodes plus robustes pour comprendre quand ils peuvent être les plus utiles.
Alors, quand l’IA est-elle plus précise, et quand l’humain ? Cette question est particulièrement importante dans le domaine de la santé, où l’IA prédictive est de plus en plus utilisée dans des tâches à enjeux élevés pour assister les cliniciens.
Aujourd'hui dans Médecine naturellenous avons publié notre article conjoint avec Google Research, qui propose CoDoC (Complementarity-driven Deferral-to-Clinical Workflow), un système d'IA qui apprend quand s'appuyer sur des outils d'IA prédictifs ou s'en remettre à un clinicien pour l'interprétation la plus précise de images médicales.
CoDoC explore comment nous pourrions exploiter la collaboration homme-IA dans des contextes médicaux hypothétiques pour obtenir les meilleurs résultats. Dans un exemple de scénario, CoDoC a réduit le nombre de faux positifs de 25 % pour un vaste ensemble de données de mammographie britannique anonymisées, par rapport aux flux de travail cliniques couramment utilisés, sans manquer aucun vrai positif.
Ce travail est le fruit d'une collaboration avec plusieurs organisations de soins de santé, notamment le partenariat Stop TB du Bureau des Nations Unies pour les services de projets. Pour aider les chercheurs à tirer parti de nos travaux visant à améliorer la transparence et la sécurité des modèles d'IA pour le monde réel, nous avons également publié des versions open source. Le code de CoDoC sur GitHub.
CoDoC : outil complémentaire pour la collaboration homme-IA
Construire des modèles d’IA plus fiables nécessite souvent de repenser le fonctionnement interne complexe des modèles d’IA prédictifs. Cependant, pour de nombreux prestataires de soins de santé, il n’est tout simplement pas possible de repenser un modèle d’IA prédictif. CoDoC peut potentiellement contribuer à améliorer les outils d’IA prédictive pour ses utilisateurs sans les obliger à modifier lui-même l’outil d’IA sous-jacent.
Lors du développement de CoDoC, nous avions trois critères :
- Les experts non spécialisés en apprentissage automatique, comme les prestataires de soins de santé, devraient être capables de déployer le système et de l'exécuter sur un seul ordinateur.
- La formation nécessiterait une quantité relativement faible de données – généralement quelques centaines d’exemples seulement.
- Le système pourrait être compatible avec n’importe quel modèle d’IA propriétaire et n’aurait pas besoin d’accéder au fonctionnement interne du modèle ou aux données sur lesquelles il a été formé.
Déterminer quand l’IA prédictive ou un clinicien est plus précis
Avec CoDoC, nous proposons un système d'IA simple et utilisable pour améliorer la fiabilité en aidant les systèmes d'IA prédictive à « savoir quand ils ne savent pas ». Nous avons examiné des scénarios dans lesquels un clinicien pourrait avoir accès à un outil d'IA conçu pour aider à interpréter une image, par exemple en examinant une radiographie pulmonaire pour savoir si un test de tuberculose est nécessaire.
Pour tout contexte clinique théorique, le système CoDoC ne nécessite que trois entrées pour chaque cas dans l'ensemble de données de formation.
- L'IA prédictive génère un score de confiance compris entre 0 (certain qu'aucune maladie n'est présente) et 1 (certain qu'une maladie est présente).
- L'interprétation du clinicien de l'image médicale.
- La vérité fondamentale quant à la présence ou non d'une maladie, établie par exemple par une biopsie ou un autre suivi clinique.
Remarque : CoDoC ne nécessite aucun accès à des images médicales.
CoDoC apprend à établir l'exactitude relative du modèle d'IA prédictive par rapport à l'interprétation des cliniciens, et comment cette relation fluctue avec les scores de confiance de l'IA prédictive.
Une fois formé, CoDoC pourrait être inséré dans un futur flux de travail clinique hypothétique impliquant à la fois une IA et un clinicien. Lorsqu'une nouvelle image de patient est évaluée par le modèle d'IA prédictif, son score de confiance associé est introduit dans le système. Ensuite, CoDoC évalue si l’acceptation de la décision de l’IA ou s’en remettre à un clinicien aboutira finalement à l’interprétation la plus précise.
Précision et efficacité accrues
Nos tests complets de CoDoC avec plusieurs ensembles de données du monde réel – y compris uniquement des données historiques et anonymisées – ont montré que la combinaison du meilleur de l’expertise humaine et de l’IA prédictive permet d’obtenir une plus grande précision qu’avec l’une ou l’autre seule.
En plus d'avoir réduit de 25 % les faux positifs pour un ensemble de données de mammographie, dans des simulations hypothétiques où une IA était autorisée à agir de manière autonome à certaines occasions, CoDoC a pu réduire de deux le nombre de cas devant être lus par un clinicien. tiers. Nous avons également montré comment CoDoC pourrait hypothétiquement améliorer le tri des radiographies pulmonaires pour les tests ultérieurs de tuberculose.
Développer de manière responsable l’IA pour les soins de santé
Bien que ces travaux soient théoriques, ils montrent le potentiel d'adaptation de notre système d'IA : CoDoC a pu améliorer les performances d'interprétation de l'imagerie médicale auprès de populations démographiques variées, de contextes cliniques, d'équipements d'imagerie médicale utilisés et de types de maladies.
CoDoC est un exemple prometteur de la manière dont nous pouvons exploiter les avantages de l’IA en combinaison avec les forces et l’expertise humaines. Nous travaillons avec des partenaires externes pour évaluer rigoureusement nos recherches et les avantages potentiels du système. Pour amener en toute sécurité une technologie telle que CoDoC dans des contextes médicaux réels, les prestataires de soins de santé et les fabricants devront également comprendre comment les cliniciens interagissent différemment avec l’IA et valider les systèmes avec des outils et paramètres d’IA médicale spécifiques.
En savoir plus sur CoDoC :