Quelle est la probabilité de mourir dans un accident d’avion ? Selon un rapport de 2022 publié par l'Association du transport aérien international, le risque de décès dans l'industrie est de 0,11. En d’autres termes, en moyenne, une personne devrait prendre l’avion chaque jour pendant 25 214 ans pour avoir 100 % de chances d’être victime d’un accident mortel. Longtemps présentée comme l’un des modes de transport les plus sûrs, l’industrie aéronautique hautement réglementée fait penser aux scientifiques du MIT qu’elle pourrait détenir la clé de la régulation de l’intelligence artificielle dans les soins de santé.
Marzyeh Ghassemi, professeure adjointe au Département de génie électrique et d'informatique (EECS) et à l'Institut des sciences de l'ingénierie médicale du MIT, et Julie Shah, professeure HN Slater d'aéronautique et d'astronautique au MIT, partagent un intérêt pour les défis de la transparence dans Modèles d'IA. Après avoir discuté début 2023, ils ont réalisé que l’aviation pouvait servir de modèle pour garantir que les patients marginalisés ne soient pas lésés par des modèles d’IA biaisés.
Ghassemi, qui est également chercheur principal à la clinique MIT Abdul Latif Jameel pour l'apprentissage automatique en santé (Jameel Clinic) et au laboratoire d'informatique et d'intelligence artificielle (CSAIL), et Shah ont ensuite recruté une équipe interdisciplinaire de chercheurs, d'avocats, et des analystes politiques du MIT, de l'Université de Stanford, de la Fédération des scientifiques américains, de l'Université Emory, de l'Université d'Adélaïde, de Microsoft et de l'Université de Californie à San Francisco pour lancer un projet de recherche, dont les résultats ont récemment été acceptés à la conférence sur l'équité et l'accès aux algorithmes, mécanismes et optimisation.
« Je pense que je peux parler au nom de Marzyeh et de moi-même lorsque je dis que nous sommes vraiment ravis de voir un certain enthousiasme autour de l'IA commencer à se manifester dans la société », déclare la première auteure Elizabeth Bondi-Kelly, aujourd'hui professeure adjointe à l'EECS à de l'Université du Michigan, qui était postdoctorant dans le laboratoire de Ghassemi au début du projet. « Mais nous sommes également un peu prudents et voulons essayer de nous assurer qu'il est possible de mettre en place des cadres pour gérer les risques potentiels à mesure que ces déploiements commencent à se produire. Nous cherchions donc de l'inspiration pour trouver des moyens de faciliter cela. .»
L'IA dans la santé ressemble aujourd'hui à ce qu'était l'industrie aéronautique il y a un siècle, explique la co-auteure Lindsay Sanneman, doctorante au Département d'aéronautique et d'astronautique du MIT. Même si les années 1920 étaient connues comme « l’âge d’or de l’aviation », les accidents mortels étaient « d’un nombre inquiétant » selon le Mackinac Center for Public Policy.
Jeff Marcus, l'actuel chef de la division des recommandations de sécurité du National Transportation Safety Board (NTSB), a récemment publié un article de blog du Mois national de l'aviation notant que même si un certain nombre d'accidents mortels se sont produits dans les années 1920, 1929 reste la « pire année jamais enregistrée » pour les accidents d'aviation les plus mortels de l'histoire, avec 51 accidents signalés. Selon les normes actuelles, cela représenterait 7 000 accidents par an, soit 20 par jour. En réponse au nombre élevé d'accidents mortels dans les années 1920, le président Calvin Coolidge a adopté en 1926 une loi historique connue sous le nom d'Air Commerce Act, qui réglementerait le transport aérien via le ministère du Commerce.
Mais les parallèles ne s’arrêtent pas là : le cheminement ultérieur de l’aviation vers l’automatisation est similaire à celui de l’IA. L'explicabilité de l'IA est un sujet controversé étant donné le problème notoire de la « boîte noire » de l'IA, qui amène les chercheurs en IA à débattre de la mesure dans laquelle un modèle d'IA doit « expliquer » son résultat à l'utilisateur avant de potentiellement l'inciter à suivre aveuglément les conseils du modèle.
« Dans les années 1970, il y avait de plus en plus d'automatisation… des systèmes de pilotage automatique qui se chargent d'avertir les pilotes des risques », ajoute Sanneman. « Il y a eu des difficultés croissantes à mesure que l'automatisation est entrée dans l'espace aéronautique en termes d'interaction humaine avec le système autonome – une confusion potentielle qui survient lorsque le pilote n'a pas une conscience approfondie de ce que fait l'automatisation. »
Aujourd’hui, devenir commandant de bord d’une compagnie aérienne commerciale nécessite 1 500 heures de vol enregistrées ainsi que des formations aux instruments. Selon les chercheurs papier, cette démarche rigoureuse et globale dure environ 15 ans, incluant un baccalauréat et un copilotage. Les chercheurs pensent que le succès d’une formation pilote approfondie pourrait constituer un modèle potentiel pour former les médecins à l’utilisation des outils d’IA en milieu clinique.
Le document propose également des rapports encourageants faisant état d’outils d’IA dangereux pour la santé, comme le fait l’Agence fédérale de l’aviation (FAA) pour les pilotes – via une « immunité limitée », qui permet aux pilotes de conserver leur licence après avoir fait quelque chose de dangereux, tant que cela n’était pas intentionnel.
Selon un Rapport 2023 Selon les données publiées par l'Organisation mondiale de la santé, en moyenne, un patient sur 10 subit un préjudice suite à un événement indésirable (c'est-à-dire des « erreurs médicales ») alors qu'il reçoit des soins hospitaliers dans les pays à revenu élevé.
Pourtant, dans la pratique actuelle des soins de santé, les cliniciens et les travailleurs de la santé craignent souvent de signaler les erreurs médicales, non seulement en raison de préoccupations liées à la culpabilité et à l'autocritique, mais également en raison des conséquences négatives qui mettent l'accent sur la punition des individus, comme la révocation d'une licence médicale. , plutôt que de réformer le système qui rendait les erreurs médicales plus susceptibles de se produire.
« Dans le domaine de la santé, quand le marteau manque, les patients souffrent », écrivait Ghassemi dans un récent commentaire publié dans Comportement humain. « Cette réalité présente un risque éthique inacceptable pour les communautés d’IA médicale qui sont déjà aux prises avec des problèmes de soins complexes, une pénurie de personnel et des systèmes surchargés. »
Grace Wickerson, co-auteur et responsable des politiques d'équité en santé à la Federation of American Scientists, considère ce nouveau document comme un ajout essentiel à un cadre de gouvernance plus large qui n'est pas encore en place. « Je pense que nous pouvons faire beaucoup de choses avec l'autorité gouvernementale existante », disent-ils. « Medicare et Medicaid peuvent financer l'IA en matière de santé de différentes manières, en garantissant que l'équité est prise en compte dans leurs technologies d'achat ou de remboursement. Le NIH (National Institute of Health) peut financer davantage de recherches pour rendre les algorithmes plus équitables et élaborer des normes pour ces algorithmes. cela pourrait ensuite être utilisé par la FDA (Food and Drug Administration) alors qu'elle essaie de comprendre ce que signifie l'équité en santé et comment elle est réglementée par ses autorités actuelles.
Entre autres, le document énumère six principales agences gouvernementales existantes qui pourraient aider à réglementer l'IA en santé, notamment : la FDA, la Federal Trade Commission (FTC), l'Advanced Research Projects Agency for Health récemment créée, l'Agence pour la recherche et la qualité des soins de santé, la Centres pour Medicare et Medicaid, le ministère de la Santé et des Services sociaux et le Bureau des droits civils (OCR).
Mais Wickerson affirme qu’il faut faire davantage. Selon Wickerson, la partie la plus difficile de la rédaction de cet article a été « d’imaginer ce que nous n’avons pas encore ».
Plutôt que de s’appuyer uniquement sur les organismes de réglementation existants, le document propose également de créer une autorité d’audit indépendante, similaire au NTSB, qui permettrait un audit de sécurité en cas de dysfonctionnement des systèmes d’IA de santé.
« Je pense que c'est la question actuelle en matière de gouvernance technologique : nous n'avons pas vraiment eu d'entité évaluant l'impact de la technologie depuis les années 90 », ajoute Wickerson. « Il existait autrefois un Bureau d'évaluation technologique… avant même le début de l'ère numérique, ce bureau existait, puis le gouvernement fédéral a permis qu'il disparaisse. »
Zach Harned, co-auteur et récent diplômé de la faculté de droit de Stanford, estime que l'un des principaux défis des technologies émergentes est de faire en sorte que le développement technologique dépasse la réglementation. « Cependant, l'importance de la technologie de l'IA et les avantages et risques potentiels qu'elle présente, en particulier dans le domaine des soins de santé, ont conduit à une vague d'efforts réglementaires », explique Harned. « La FDA est clairement l'acteur principal ici, et elle a constamment publié des directives et des livres blancs tentant d'illustrer l'évolution de sa position sur l'IA ; cependant, la confidentialité sera un autre domaine important à surveiller, avec l'application de l'OCR du côté de la HIPAA (Health Insurance Portability and Accountability Act) et la FTC appliquant les violations de la vie privée pour les entités non couvertes par la HIPAA.
Harned note que la région évolue rapidement, notamment avec des développements tels que la récente décision de la Maison Blanche. Décret exécutif 14110 sur le développement sûr et fiable de l’IA, ainsi que sur l’activité réglementaire dans l’Union européenne (UE), y compris la loi de synthèse sur l’IA de l’UE qui est en voie d’être finalisée. « C'est certainement une période passionnante pour voir cette technologie importante être développée et réglementée pour garantir la sécurité sans pour autant étouffer l'innovation », dit-il.
En plus des activités réglementaires, le document suggère d'autres opportunités pour créer des incitations pour des outils d'IA de santé plus sûrs, comme un programme de rémunération à la performance, dans lequel les compagnies d'assurance récompensent les hôpitaux pour leurs bonnes performances (bien que les chercheurs reconnaissent que cette approche nécessiterait une surveillance supplémentaire pour être équitable).
Alors, combien de temps les chercheurs pensent-ils qu’il faudrait pour créer un système de réglementation fonctionnel pour l’IA en santé ? Selon le journal, « les systèmes NTSB et FAA, dans lesquels les enquêtes et l’application des lois sont confiées à deux organismes différents, ont été créés par le Congrès au fil des décennies ».
Bondi-Kelly espère que ce document constitue une pièce du puzzle de la réglementation de l’IA. Dans son esprit, « le scénario de rêve serait que nous lisions tous le journal, que nous soyons très inspirés et capables d’appliquer certaines des leçons utiles de l’aviation pour aider l’IA à prévenir certains des dommages potentiels qui pourraient survenir. »
Outre Ghassemi, Shah, Bondi-Kelly et Sanneman, les co-auteurs du travail du MIT comprennent le chercheur principal Leo Anthony Celi et les anciens postdoctorants Thomas Hartvigsen et Swami Sankaranarayanan. Le financement des travaux provient en partie d’une bourse MIT CSAIL METEOR, de Quanta Computing, de la Fondation Volkswagen, des National Institutes of Health, de la chaire de développement de carrière Herman LF von Helmholtz et d’un prix CIFAR Azrieli Global Scholar.
