Entreprise
Réflexions et leçons sur le partage de l'une de nos plus grandes avancées avec le monde
Mettre en pratique notre mission consistant à résoudre l’intelligence pour faire progresser la science et bénéficier à l’humanité implique des responsabilités cruciales. Pour contribuer à créer un impact positif sur la société, nous devons évaluer de manière proactive les implications éthiques de notre recherche et de ses applications, de manière rigoureuse et prudente. Nous savons également que toute nouvelle technologie peut être dangereuse, et nous prenons au sérieux les risques à long et à court terme. Dès le départ, nous avons bâti nos fondations sur une approche pionnière et responsable, en nous concentrant particulièrement sur la gouvernance, la recherche et l'impact responsables.
Cela commence par établir des principes clairs qui aident à tirer parti des avantages de l’intelligence artificielle (IA), tout en atténuant ses risques et ses conséquences négatives potentielles. Être pionnier de manière responsable est un effort collectif, c'est pourquoi nous avons contribué à de nombreuses normes de la communauté de l'IA, telles que celles développées par Googlele Partenariat sur l'IAet le OCDE (Organisation de coopération et de développement économiques).
Notre Principes de fonctionnement sont venus définir à la fois notre engagement à donner la priorité aux bénéfices généralisés, ainsi que les domaines de recherche et d’applications que nous refusons de poursuivre. Ces principes sont au cœur de notre prise de décision depuis la création de DeepMind et continuent d'être affinés à mesure que le paysage de l'IA évolue et se développe. Ils sont conçus pour notre rôle d'entreprise scientifique axée sur la recherche et conformes aux principes d'IA de Google.
Des principes à la pratique
Les principes écrits ne sont qu'une partie du puzzle : la manière dont ils sont mis en pratique est essentielle. Pour les recherches complexes menées aux frontières de l’IA, cela pose des défis importants : comment les chercheurs peuvent-ils prédire les avantages et les inconvénients potentiels qui pourraient survenir dans un avenir lointain ? Comment pouvons-nous développer une meilleure prospective éthique à partir d’un large éventail de perspectives ? Et que faut-il pour explorer en temps réel des questions difficiles parallèlement au progrès scientifique afin d’éviter des conséquences négatives ?
Nous avons passé de nombreuses années à développer nos propres compétences et processus pour une gouvernance, une recherche et un impact responsables au sein de DeepMind, depuis la création de boîtes à outils internes et la publication d'articles sur des questions sociotechniques jusqu'au soutien aux efforts visant à accroître la délibération et la prospective dans le domaine de l'IA. Pour aider les équipes DeepMind à être pionnières de manière responsable et à se protéger contre tout préjudice, notre comité interdisciplinaire d'examen institutionnel (IRC) se réunit toutes les deux semaines pour évaluer soigneusement les projets, articles et collaborations DeepMind.
Être pionnier de manière responsable est un muscle collectif, et chaque projet est une opportunité de renforcer nos compétences et notre compréhension communes. Nous avons soigneusement conçu notre processus d'examen pour inclure des experts en rotation issus d'un large éventail de disciplines, avec des chercheurs en apprentissage automatique, des éthiciens et des experts en sécurité aux côtés d'ingénieurs, d'experts en sécurité, de professionnels des politiques, etc. Ces diverses voix identifient régulièrement des moyens d'étendre les avantages de nos technologies, suggèrent des domaines de recherche et des applications à modifier ou à ralentir, et mettent en avant des projets pour lesquels une consultation externe plus approfondie est nécessaire.
Même si nous avons fait beaucoup de progrès, de nombreux aspects se situent en territoire inexploré. Nous n’y parviendrons pas à chaque fois et nous nous engageons à poursuivre un apprentissage et une itération continus. Nous espérons que partager notre processus actuel sera utile à d'autres personnes travaillant sur une IA responsable et encouragera les commentaires à mesure que nous continuons à apprendre. C'est pourquoi nous avons détaillé les réflexions et les leçons de l'un de nos projets les plus complexes et les plus enrichissants : AlphaFold. Notre système AlphaFold AI a résolu le défi vieux de 50 ans de la prédiction de la structure des protéines – et nous sommes ravis de voir des scientifiques l'utiliser pour accélérer les progrès dans des domaines tels que la durabilité, la sécurité alimentaire, la découverte de médicaments et la biologie humaine fondamentale depuis sa sortie. à la communauté au sens large l’année dernière.
Se concentrer sur la prédiction de la structure des protéines
Notre équipe de chercheurs, de biologistes et d’ingénieurs en apprentissage automatique considérait depuis longtemps le problème du repliement des protéines comme une opportunité remarquable et unique pour les systèmes d’apprentissage de l’IA de créer un impact significatif. Dans ce domaine, il existe des mesures standard de réussite ou d’échec, ainsi qu’une limite claire à ce que le système d’IA doit faire pour aider les scientifiques dans leur travail : prédire la structure tridimensionnelle d’une protéine. Et, comme pour de nombreux systèmes biologiques, le repliement des protéines est beaucoup trop complexe pour que quiconque puisse écrire les règles de son fonctionnement. Mais un système d’IA pourrait être capable d’apprendre ces règles par lui-même.
Un autre facteur important était l'évaluation biennale, connue sous le nom de CASP (l'évaluation critique de la prédiction de la structure des protéines), qui a été fondée par le professeur John Moult et le professeur Krzysztof Fidelis. À chaque rassemblement, le CASP fournit une évaluation exceptionnellement solide des progrès, obligeant les participants à prédire des structures qui n'ont été découvertes que récemment grâce à des expériences. Les résultats sont un formidable catalyseur pour une recherche ambitieuse et l’excellence scientifique.
Comprendre les opportunités et les risques pratiques
Alors que nous préparions l’évaluation CASP en 2020, nous avons réalisé qu’AlphaFold montrait un grand potentiel pour résoudre le défi à relever. Nous avons consacré beaucoup de temps et d’efforts à analyser les implications pratiques, en nous interrogeant : comment AlphaFold pourrait-il accélérer la recherche et les applications biologiques ? Quelles pourraient être les conséquences inattendues ? Et comment pourrions-nous partager nos progrès de manière responsable ?
Cela présentait un large éventail d'opportunités et de risques à prendre en compte, dont beaucoup concernaient des domaines dans lesquels nous ne disposions pas nécessairement d'une solide expertise. Nous avons donc sollicité l'apport externe de plus de 30 leaders de domaine dans les domaines de la recherche en biologie, de la biosécurité, de la bioéthique, des droits de l'homme, etc., en mettant l'accent sur la diversité des expertises et des antécédents.
De nombreux thèmes récurrents sont ressortis tout au long de ces discussions :
- Équilibrer les avantages généralisés avec le risque de préjudice. Nous avons commencé avec un état d'esprit prudent quant au risque de dommage accidentel ou délibéré, y compris la manière dont AlphaFold pourrait interagir à la fois avec les avancées futures et les technologies existantes. Grâce à nos discussions avec des experts externes, il est devenu plus clair qu’AlphaFold ne faciliterait pas de manière significative la nuisance des protéines, étant donné les nombreux obstacles pratiques à cela – mais que les progrès futurs devraient être évalués avec soin. De nombreux experts ont soutenu avec force qu’AlphaFold, en tant qu’avancée pertinente pour de nombreux domaines de la recherche scientifique, bénéficierait le plus d’un accès gratuit et généralisé.
- Des mesures de confiance précises sont essentielles pour une utilisation responsable. Les biologistes expérimentaux ont expliqué à quel point il serait important de comprendre et de partager des mesures de confiance bien calibrées et utilisables pour chaque partie des prédictions d'AlphaFold. En signalant lesquelles des prédictions d'AlphaFold sont susceptibles d'être exactes, les utilisateurs peuvent estimer quand ils peuvent faire confiance à une prédiction et l'utiliser dans leur travail – et quand ils doivent utiliser des approches alternatives dans leurs recherches. Nous avions initialement envisagé d'omettre les prédictions pour lesquelles AlphaFold avait un faible niveau de confiance ou une incertitude prédictive élevée, mais les experts externes que nous avons consultés ont prouvé pourquoi il était particulièrement important de conserver ces prédictions dans notre version et nous ont conseillé sur les moyens les plus utiles et les plus transparents de les présenter. information.
- Un bénéfice équitable pourrait signifier un soutien supplémentaire pour les domaines sous-financés. Nous avons eu de nombreuses discussions sur la manière d’éviter d’accroître par inadvertance les disparités au sein de la communauté scientifique. Par exemple, ce qu'on appelle maladies tropicales négligées, qui touchent de manière disproportionnée les régions les plus pauvres du monde, reçoivent souvent moins de financements de recherche qu’ils ne le devraient. Nous avons été fortement encouragés à donner la priorité au soutien pratique et à rechercher de manière proactive des partenariats avec des groupes travaillant dans ces domaines.
Établir notre approche de publication
Sur la base des commentaires ci-dessus, l'IRC a approuvé un ensemble de versions d'AlphaFold pour répondre à de multiples besoins, notamment :
- Publications évaluées par des pairs et code open source, y compris deux papiers dans la nature, accompagné de code source ouvert, pour permettre aux chercheurs de mettre en œuvre et d’améliorer plus facilement AlphaFold. Peu de temps après, nous avons ajouté un Google Colab permettant à quiconque de saisir une séquence protéique et de recevoir une structure prédite, au lieu d'exécuter lui-même le code open source.
- Une publication majeure de prédictions sur la structure des protéines en partenariat avec EMBL-EBI (Institut européen de bioinformatique de l'EMBL), le leader communautaire établi. En tant qu'institution publique, l'EMBL-EBI permet à quiconque de rechercher des prédictions sur la structure des protéines aussi facilement qu'une recherche Google. La version initiale comprenait des formes prédites pour chaque protéine du corps humain, et notre mise à jour la plus récente incluaient des structures prédites pour presque toutes les protéines cataloguées connues de la science. Cela représente plus de 200 millions de structures, toutes disponibles gratuitement sur le site Internet de l'EMBL-EBI avec des licences en libre accès, accompagnées de ressources de support, telles que webinaires sur l'interprétation de ces structures.
- Construire des visualisations 3D dans la base de données, avec un étiquetage bien visible pour les zones de confiance élevée et faible de la prédiction et, en général, visant à être aussi clair que possible sur les forces et les limites d'AlphaFold dans notre documentation. Nous avons également conçu la base de données pour qu'elle soit aussi accessible que possible, par exemple en tenant compte des besoins des personnes ayant une déficience visuelle des couleurs.
- Former des partenariats plus approfondis avec des groupes de recherche travaillant sur des domaines sous-financés, tels que les maladies négligées et les sujets essentiels à la santé mondiale. Ceci comprend DNDi (Initiative Drugs for Neglected Disease), qui fait progresser la recherche sur la maladie de Chagas et la leishmaniose, et le Centre d'innovation enzymatique qui développe des enzymes mangeuses de plastique pour contribuer à réduire les déchets plastiques dans l’environnement. Nos équipes croissantes d’engagement du public continuent de travailler sur ces partenariats pour soutenir davantage de collaborations à l’avenir.
Comment nous bâtissons sur ce travail
Depuis notre sortie initiale, des centaines de milliers de personnes de plus de 190 pays ont visité le Base de données sur la structure des protéines AlphaFold et utilisé le Code open source AlphaFold depuis le lancement. Nous avons été honorés d'apprendre comment les prédictions d'AlphaFold ont accéléré d'importants efforts scientifiques et nous nous efforçons de raconter certaines de ces histoires avec notre Déplié projet. Jusqu'à présent, nous n'avons connaissance d'aucune utilisation abusive ou dommage lié à AlphaFold, même si nous continuons d'y prêter une attention particulière.
Bien qu'AlphaFold soit plus complexe que la plupart des projets de recherche DeepMind, nous utilisons des éléments de ce que nous avons appris et les incorporons dans d'autres versions.
Nous nous appuyons sur ce travail en :
- Augmenter l’éventail des contributions d’experts externes à chaque étape du processus et explorer les mécanismes d’éthique participative à plus grande échelle.
- Élargir notre compréhension de l’IA pour la biologie de manière générale, au-delà de tout projet ou avancée individuelle, pour développer une vision plus solide des opportunités et des risques au fil du temps.
- Trouver des moyens d'élargir nos partenariats avec des groupes dans des domaines mal desservis par les structures actuelles.
Tout comme notre recherche, il s’agit d’un processus d’apprentissage continu. Le développement de l’IA pour un bénéfice généralisé est un effort communautaire qui s’étend bien au-delà de DeepMind.
Nous nous efforçons d'être conscients de la quantité de travail acharné qu'il reste encore à accomplir en partenariat avec d'autres – et de la manière dont nous sommes pionniers de manière responsable à l'avenir.