Construire une approche responsable de la collecte de données avec le Partenariat sur l’IA
Chez DeepMind, notre objectif est de nous assurer que tout ce que nous faisons répond aux normes de sécurité et d'éthique les plus élevées, conformément à nos Principes de fonctionnement. L’un des points les plus importants par lesquels cela commence est la manière dont nous collectons nos données. Au cours des 12 derniers mois, nous avons collaboré avec Partenariat sur l'IA (PAI) pour examiner attentivement ces défis et avoir co-développé les meilleures pratiques et processus standardisés pour une collecte responsable de données humaines.
Collecte de données humaines
Il y a plus de trois ans, nous avons créé notre Comité d'éthique de la recherche sur le comportement humain (HuBREC), un groupe de gouvernance calqué sur les comités d'examen institutionnels (IRB), tels que ceux que l'on trouve dans les hôpitaux et les universités, dans le but de protéger la dignité, les droits et bien-être des participants humains impliqués dans nos études. Ce comité supervise la recherche comportementale impliquant des expériences avec des humains comme sujet d'étude, comme l'étude de la façon dont les humains interagissent avec les systèmes d'intelligence artificielle (IA) dans un processus de prise de décision.
Parallèlement aux projets impliquant la recherche comportementale, la communauté de l'IA s'engage de plus en plus dans des efforts impliquant « l'enrichissement des données » – des tâches effectuées par des humains pour former et valider des modèles d'apprentissage automatique, comme l'étiquetage des données et l'évaluation des modèles. Alors que la recherche comportementale repose souvent sur des participants volontaires qui font l'objet de l'étude, l'enrichissement des données implique que des personnes soient payées pour accomplir des tâches qui améliorent les modèles d'IA.
Ces types de tâches sont généralement effectuées sur des plateformes de crowdsourcing, soulevant souvent des considérations éthiques liées à la rémunération, au bien-être et à l'équité des travailleurs, qui peuvent manquer des orientations ou des systèmes de gouvernance nécessaires pour garantir le respect de normes suffisantes. À mesure que les laboratoires de recherche accélèrent le développement de modèles de plus en plus sophistiqués, le recours aux pratiques d’enrichissement des données va probablement croître et, parallèlement, le besoin d’orientations plus strictes.
Dans le cadre de nos principes opérationnels, nous nous engageons à respecter et à contribuer aux meilleures pratiques dans les domaines de la sécurité et de l'éthique de l'IA, y compris l'équité et la confidentialité, afin d'éviter des résultats inattendus qui créent des risques de préjudice.
Les bonnes pratiques
Suite aux PAI livre blanc récent sur l'approvisionnement responsable des services d'enrichissement des données, nous avons collaboré pour développer nos pratiques et processus d'enrichissement des données. Cela comprenait la création de cinq étapes que les praticiens de l'IA peuvent suivre pour améliorer les conditions de travail des personnes impliquées dans des tâches d'enrichissement des données (pour plus de détails, veuillez visiter Directives d'approvisionnement pour l'enrichissement des données de PAI) :
- Sélectionnez un modèle de paiement approprié et assurez-vous que tous les travailleurs sont payés au-dessus du salaire vital local.
- Concevoir et exécuter un pilote avant de lancer un projet d’enrichissement des données.
- Identifiez les travailleurs appropriés pour la tâche souhaitée.
- Fournir des instructions vérifiées et/ou du matériel de formation que les travailleurs doivent suivre.
- Établir des mécanismes de communication clairs et réguliers avec les travailleurs.
Ensemble, nous avons créé les politiques et les ressources nécessaires, en rassemblant plusieurs séries de commentaires de nos équipes internes juridiques, de données, de sécurité, d'éthique et de recherche, avant de les tester sur un petit nombre de projets de collecte de données et de les déployer plus tard. l’organisation au sens large.
Ces documents fournissent plus de clarté sur la meilleure façon de configurer les tâches d'enrichissement des données chez DeepMind, améliorant ainsi la confiance de nos chercheurs dans la conception et l'exécution des études. Cela a non seulement augmenté l'efficacité de nos processus d'approbation et de lancement, mais a surtout amélioré l'expérience des personnes impliquées dans les tâches d'enrichissement des données.
De plus amples informations sur les pratiques responsables d'enrichissement des données et sur la manière dont nous les avons intégrées dans nos processus existants sont expliquées dans la récente étude de cas de PAI, Mettre en œuvre des pratiques responsables d'enrichissement des données chez un développeur d'IA : l'exemple de DeepMind. PAI fournit également ressources utiles et documents d’appui pour les praticiens de l’IA et les organisations cherchant à développer des processus similaires.
Avoir hâte de
Bien que ces meilleures pratiques soutiennent notre travail, nous ne devrions pas nous fier uniquement à elles pour garantir que nos projets répondent aux normes les plus élevées en matière de bien-être et de sécurité des participants ou des travailleurs en recherche. Chaque projet chez DeepMind est différent, c'est pourquoi nous disposons d'un processus dédié d'examen des données humaines qui nous permet de collaborer en permanence avec les équipes de recherche pour identifier et atténuer les risques au cas par cas.
Ce travail vise à servir de ressource à d'autres organisations intéressées à améliorer leurs pratiques d'approvisionnement pour l'enrichissement des données, et nous espérons que cela mènera à des conversations intersectorielles qui pourraient développer davantage ces lignes directrices et ressources pour les équipes et les partenaires. Grâce à cette collaboration, nous espérons également susciter un débat plus large sur la manière dont la communauté de l’IA peut continuer à développer des normes de collecte de données responsable et construire collectivement de meilleures normes industrielles.
En savoir plus sur notre Principes de fonctionnement.
