Modélisation du langage à grande échelle : Gopher, considérations éthiques et récupération

Le langage, et son rôle dans la démonstration et la facilitation de la compréhension – ou de l’intelligence – est un élément fondamental de l’être humain. Cela donne aux gens la capacité de communiquer des pensées et des concepts, d’exprimer des idées, de créer des souvenirs et de développer une compréhension mutuelle. Ce sont des éléments fondamentaux de l’intelligence sociale. C'est pourquoi nos équipes de DeepMind étudient les aspects du traitement du langage et de la communication, tant chez les agents artificiels que chez les humains.

Dans le cadre d'un portefeuille plus large de recherche sur l'IA, nous pensons que le développement et l'étude de modèles linguistiques plus puissants – des systèmes qui prédisent et génèrent du texte – ont un énorme potentiel pour construire des systèmes d'IA avancés qui peuvent être utilisés de manière sûre et efficace pour résumer des informations, fournir des informations expertes. conseils et suivre les instructions via le langage naturel. Le développement de modèles linguistiques bénéfiques nécessite des recherches sur leurs impacts potentiels, y compris les risques qu'ils posent. Cela inclut la collaboration entre des experts d’horizons variés pour anticiper et relever de manière réfléchie les défis que peuvent créer les algorithmes de formation sur des ensembles de données existants.

Aujourd'hui, nous publions trois articles sur les modèles de langage qui reflètent cette approche interdisciplinaire. Ils comprennent une étude détaillée de un modèle de langage de transformateur de 280 milliards de paramètres appelé Gopher, une étude des risques éthiques et sociaux associés aux grands modèles de langageet un article étudiant une nouvelle architecture avec une meilleure efficacité de formation.

Gopher – Un modèle de langage de 280 milliards de paramètres

Dans le but d'explorer des modèles de langage et d'en développer de nouveaux, nous avons formé une série de modèles de langage de transformateur de différentes tailles, allant de 44 millions de paramètres à 280 milliards de paramètres (le plus grand modèle que nous avons nommé Gopher).

Nos recherches ont étudié les forces et les faiblesses de ces modèles de différentes tailles, mettant en évidence les domaines dans lesquels l'augmentation de l'échelle d'un modèle continue d'améliorer les performances – par exemple, dans des domaines tels que la compréhension en lecture, la vérification des faits et l'identification du langage toxique. Nous présentons également des résultats pour lesquels l'échelle du modèle n'améliore pas de manière significative les résultats, par exemple dans le raisonnement logique et les tâches de bon sens.

Dans nos recherches, nous avons découvert les capacités de Gopher dépasser les modèles linguistiques existants pour un certain nombre de tâches clés. Cela inclut le benchmark Massive Multitask Language Understanding (MMLU), où Gopher démontre un progrès significatif vers la performance d’un expert humain par rapport aux travaux antérieurs.

Outre l'évaluation quantitative de Gopher, nous avons également exploré le modèle par interaction directe. L'une de nos principales conclusions était que, lorsque Gopher est poussé vers une interaction dialogique (comme dans un chat), le modèle peut parfois apporter une cohérence surprenante.

Ici Gopher peut discuter de biologie cellulaire et fournir une citation correcte malgré aucun réglage spécifique du dialogue. Cependant, nos recherches ont également détaillé plusieurs modes de défaillance qui persistent quelle que soit la taille du modèle, parmi lesquels une tendance à la répétition, le reflet de préjugés stéréotypés et la propagation sûre d'informations incorrectes.

Ce type d'analyse est important, car comprendre et documenter les modes de défaillance nous donne un aperçu de la manière dont de grands modèles de langage pourraient entraîner des dommages en aval, et nous montre où les efforts d'atténuation dans la recherche devraient se concentrer pour résoudre ces problèmes.

Risques éthiques et sociaux liés aux grands modèles linguistiques

Dans notre deuxième article, nous anticipons les risques éthiques et sociaux possibles liés aux modèles de langage et créons une classification complète de ces risques et modes d'échec, en nous appuyant sur des recherches antérieures dans ce domaine (Bommasani et al 2021, Bender et al. 2021, Patterson et al. 2021). Cet aperçu systématique constitue une étape essentielle vers la compréhension de ces risques et l’atténuation des dommages potentiels. Nous présentons une taxonomie des risques liés aux modèles de langage, classés en six domaines thématiques, et développons en profondeur 21 risques.

Il est essentiel d’avoir une vision globale des différents domaines de risque : comme nous le montrons dans le document, une focalisation trop étroite sur un seul risque isolément peut aggraver d’autres problèmes. La taxonomie que nous présentons sert de base aux experts et au discours public plus large pour construire un aperçu commun des considérations éthiques et sociales sur les modèles de langage, prendre des décisions responsables et échanger des approches pour faire face aux risques identifiés.

Notre recherche révèle que deux domaines en particulier nécessitent des travaux supplémentaires. Premièrement, les outils d’analyse comparative actuels sont insuffisants pour évaluer certains risques importants, par exemple lorsque les modèles linguistiques génèrent des informations erronées et que les gens croient que ces informations sont vraies. L’évaluation de tels risques nécessite un examen plus approfondi de l’interaction homme-machine avec les modèles de langage. Dans notre article, nous énumérons plusieurs risques qui nécessitent également des outils d’analyse nouveaux ou plus interdisciplinaires. Deuxièmement, des efforts supplémentaires sont nécessaires pour atténuer les risques. Par exemple, on sait que les modèles linguistiques reproduisent des stéréotypes sociaux néfastes, mais la recherche sur ce problème en est encore à ses débuts. article récent de DeepMind montré.

Formation efficace avec récupération à l'échelle Internet

Notre article final s’appuie sur les fondements de Gopher et notre taxonomie des risques éthiques et sociaux en proposant une architecture de modèle de langage améliorée qui réduit le coût énergétique de la formation et facilite le traçage des résultats du modèle jusqu'aux sources du corpus de formation.

Le Retrieval-Enhanced Transformer (RETRO) est pré-entraîné avec un mécanisme de récupération à l'échelle Internet. Inspiré par la façon dont le cerveau s'appuie sur des mécanismes de mémoire dédiés lors de l'apprentissage, RETRO interroge efficacement des passages de texte pour améliorer ses prédictions. En comparant les textes générés aux passages sur lesquels RETRO s'est appuyé pour la génération, nous pouvons interpréter pourquoi le modèle fait certaines prédictions et d'où elles viennent. Nous voyons également comment le modèle obtient des performances comparables à celles d'un Transformer classique avec un ordre de grandeur en moins de paramètres, et obtient des performances de pointe sur plusieurs benchmarks de modélisation de langage.

Aller de l'avant

Ces articles offrent une base pour la recherche future sur les langues de DeepMind, en particulier dans les domaines qui auront une incidence sur la manière dont ces modèles sont évalués et déployés. Aborder ces domaines sera essentiel pour garantir des interactions sûres avec les agents d’IA – depuis les personnes disant aux agents ce qu’ils veulent jusqu’aux agents expliquant leurs actions aux gens. La recherche dans la communauté au sens large sur l'utilisation de la communication pour la sécurité comprend explications en langage naturel, utiliser la communication pour réduire l’incertitudeet utiliser le langage pour décomposer des décisions complexes en éléments tels que amplification, débatet modélisation récursive des récompenses — toutes les zones critiques d'exploration.

Alors que nous poursuivons nos recherches sur les modèles de langage, DeepMind restera prudent et réfléchi. Cela nécessite de prendre du recul pour évaluer la situation dans laquelle nous nous trouvons, cartographier les risques potentiels et rechercher des mesures d’atténuation. Nous nous efforcerons d’être transparents et ouverts quant aux limites de nos modèles et nous nous efforcerons d’atténuer les risques identifiés. À chaque étape, nous nous appuyons sur l’étendue de l’expertise de nos équipes multidisciplinaires, notamment de nos équipes Langues, Deep Learning, Éthique et Sécurité. Cette approche est essentielle à la création de grands modèles linguistiques au service de la société, renforçant ainsi notre mission consistant à résoudre l’intelligence pour faire progresser la science et bénéficier à l’humanité.