L'adage classique de l'informatique « garbage in, garbage out » manque de nuance lorsqu'il s'agit de comprendre des données médicales biaisées, affirment des professeurs d'informatique et de bioéthique du MIT, de l'Université Johns Hopkins et de l'Institut Alan Turing dans une étude. nouvel article d'opinion publié dans une édition récente du Journal de médecine de la Nouvelle-Angleterre (NEJM). La popularité croissante de l'intelligence artificielle a amené une attention accrue à la question des modèles d'IA biaisés entraînant une discrimination algorithmique, que le Bureau de la science et de la technologie de la Maison Blanche a identifié comme un problème clé dans son récent rapport. Plan pour une déclaration des droits de l’IA.
Lorsque l’on rencontre des données biaisées, en particulier pour les modèles d’IA utilisés en milieu médical, la réponse typique consiste soit à collecter davantage de données auprès de groupes sous-représentés, soit à générer des données synthétiques compensant les parties manquantes afin de garantir que le modèle fonctionne aussi bien sur un large éventail de populations de patients. Mais les auteurs soutiennent que cette approche technique devrait être complétée par une perspective sociotechnique qui prend en compte à la fois les facteurs sociaux historiques et actuels. Ce faisant, les chercheurs peuvent être plus efficaces dans la lutte contre les préjugés en matière de santé publique.
« Nous avons discuté tous les trois de la manière dont nous traitons souvent les problèmes de données du point de vue de l'apprentissage automatique comme des irritations qui doivent être gérées avec une solution technique », se souvient le co-auteur Marzyeh Ghassemi, professeur adjoint en génie électrique et informatique et affilié à la clinique Abdul Latif Jameel pour l'apprentissage automatique en santé (Clinique Jameel), le Laboratoire d'Informatique et d'Intelligence Artificielle (CSAIL), et l'Institut de génie médical et des sciences (IMES). « Nous avions utilisé les analogies des données comme un artefact donnant une vue partielle des pratiques passées, ou comme un miroir fissuré renfermant un reflet. Dans les deux cas, les informations ne sont peut-être pas entièrement exactes ou favorables : peut-être pensons-nous que nous nous comportons d’une certaine manière en tant que société – mais lorsque vous regardez réellement les données, elles racontent une histoire différente. Nous n’aimons peut-être pas cette histoire, mais une fois que vous avez découvert une compréhension du passé, vous pouvez aller de l’avant et prendre des mesures pour remédier aux mauvaises pratiques.
Les données comme artefact
Dans le journal intitulé «Considérer les données biaisées comme des artefacts informatifs dans les soins de santé assistés par l'IA», Ghassemi, Kadija Ferryman et Maxine Mackintosh plaident pour considérer les données cliniques biaisées comme des « artefacts » de la même manière que les anthropologues ou les archéologues considéreraient les objets physiques : des éléments de pratiques, de systèmes de croyance et de valeurs culturelles révélateurs de civilisation – dans le C’est le cas du document, en particulier ceux qui ont conduit aux inégalités existantes dans le système de santé.
Par exemple, une étude de 2019 ont montré qu'un algorithme largement considéré comme une norme industrielle utilisait les dépenses de santé comme indicateur des besoins, conduisant à la conclusion erronée que les patients noirs les plus malades nécessitent le même niveau de soins que les patients blancs en meilleure santé. Ce que les chercheurs ont découvert, c’est une discrimination algorithmique qui ne tient pas compte de l’inégalité d’accès aux soins.
Dans ce cas, plutôt que de considérer les ensembles de données biaisés ou le manque de données comme des problèmes qui nécessitent seulement d’être éliminés ou corrigés, Ghassemi et ses collègues recommandent l’approche des « artefacts » comme moyen de sensibiliser aux éléments sociaux et historiques qui influencent la manière dont les données sont collectées et aux solutions alternatives. approches du développement de l’IA clinique.
« Si l'objectif de votre modèle est le déploiement dans un environnement clinique, vous devriez engager un bioéthicien ou un clinicien ayant une formation appropriée assez tôt dans la formulation du problème », explique Ghassemi. « En tant qu'informaticiens, nous n'avons souvent pas une vision complète des différents facteurs sociaux et historiques qui ont contribué à la création des données que nous utiliserons. Nous avons besoin d’expertise pour discerner quand les modèles généralisés à partir de données existantes peuvent ne pas fonctionner correctement pour des sous-groupes spécifiques.
Quand davantage de données peuvent réellement nuire aux performances
Les auteurs reconnaissent que l'un des aspects les plus difficiles de la mise en œuvre d'une approche basée sur les artefacts est de pouvoir évaluer si les données ont été corrigées sur le plan racial : c'est-à-dire utiliser les corps masculins blancs comme norme conventionnelle par rapport à laquelle les autres corps sont mesurés. L'article d'opinion cite un exemple de la Chronic Kidney Disease Collaboration en 2021, qui a développé une nouvelle équation pour mesurer la fonction rénale parce que l’ancienne équation avait auparavant été « corrigée » sous l’hypothèse générale selon laquelle les Noirs ont une masse musculaire plus élevée. Ghassemi dit que les chercheurs devraient être prêts à enquêter sur la correction fondée sur la race dans le cadre du processus de recherche.
En autre article récent acceptés à la Conférence internationale sur l'apprentissage automatique de cette année, co-écrite par Vinith Suriyakumar, doctorant de Ghassemi, et Berk Ustun, professeur adjoint de l'Université de Californie à San Diego, les chercheurs ont découvert qu'en supposant l'inclusion d'attributs personnalisés tels que la race autodéclarée, les performances du ML étaient améliorées. les modèles peuvent en fait conduire à de pires scores de risque, modèles et mesures pour les populations minoritaires et minoritaires.
« Il n'existe pas de solution unique pour inclure ou non la race autodéclarée dans un score de risque clinique. La race autodéclarée est une construction sociale qui est à la fois un substitut à d’autres informations et qui est profondément reflétée dans d’autres données médicales. La solution doit correspondre aux preuves », explique Ghassemi.
Comment avancer
Cela ne veut pas dire que les ensembles de données biaisés doivent être consacrés, ou que les algorithmes biaisés n'ont pas besoin d'être corrigés : des données de formation de qualité sont toujours essentielles au développement de modèles d'IA clinique sûrs et performants, et le NEJM Cet article met en évidence le rôle des National Institutes of Health (NIH) dans la conduite des pratiques éthiques.
« La génération d'ensembles de données de haute qualité et provenant de sources éthiques est cruciale pour permettre l'utilisation de technologies d'IA de nouvelle génération qui transforment notre façon de faire de la recherche », a déclaré le directeur par intérim du NIH, Lawrence Tabak, dans un communiqué. communiqué de presse lorsque le NIH a annoncé son programme Bridge2AI de 130 millions de dollars l'année dernière. Ghassemi est d'accord, soulignant que le NIH a « donné la priorité à la collecte de données de manière éthique qui couvre des informations dont nous n'avions pas auparavant souligné la valeur pour la santé humaine – telles que les facteurs environnementaux et les déterminants sociaux. Je suis très enthousiasmé par leur priorité et leurs investissements importants dans l'obtention de résultats significatifs en matière de santé.
Elaine Nsoesie, professeure agrégée à l'Université de santé publique de Boston, estime qu'il y a de nombreux avantages potentiels à traiter les ensembles de données biaisés comme des artefacts plutôt que comme des déchets, à commencer par l'accent mis sur le contexte. « Les biais présents dans un ensemble de données collectées sur des patients atteints d'un cancer du poumon dans un hôpital en Ouganda pourraient être différents d'un ensemble de données collectées aux États-Unis pour la même population de patients », explique-t-elle. « En tenant compte du contexte local, nous pouvons former des algorithmes pour mieux servir des populations spécifiques. » Nsoesie affirme que la compréhension des facteurs historiques et contemporains qui façonnent un ensemble de données peut faciliter l’identification des pratiques discriminatoires qui pourraient être codées dans des algorithmes ou des systèmes d’une manière qui n’est pas immédiatement évidente. Elle note également qu’une approche basée sur les artefacts pourrait conduire au développement de nouvelles politiques et structures garantissant l’élimination des causes profondes des biais dans un ensemble de données particulier.
« Les gens me disent souvent qu’ils ont très peur de l’IA, notamment en matière de santé. Ils diront : « J'ai vraiment peur qu'une IA me diagnostique mal » ou « J'ai peur qu'elle me traite mal » », explique Ghassemi. « Je leur dis : vous ne devriez pas avoir peur d'une hypothétique IA dans le domaine de la santé demain, vous devriez avoir peur de ce qu'est la santé aujourd'hui. Si nous adoptons une vision technique étroite des données que nous extrayons des systèmes, nous pourrions naïvement reproduire de mauvaises pratiques. Ce n'est pas la seule option : réaliser qu'il y a un problème est notre premier pas vers une opportunité plus grande.
