Recherche sur des modèles d'IA capables de généraliser, de faire évoluer et d'accélérer la science
La semaine prochaine marque le début du 11 Conférence internationale sur les représentations de l'apprentissage (ICLR), qui aura lieu du 1er au 5 mai à Kigali, au Rwanda. Il s’agira de la première grande conférence sur l’intelligence artificielle (IA) organisée en Afrique et du premier événement en personne depuis le début de la pandémie.
Des chercheurs du monde entier se réuniront pour partager leurs travaux de pointe en matière d'apprentissage profond couvrant les domaines de l'IA, des statistiques et de la science des données, ainsi que des applications telles que la vision industrielle, les jeux et la robotique. Nous sommes fiers de soutenir la conférence en tant que sponsor Diamant et champion DEI.
Les équipes de DeepMind présentent 23 articles cette année. Voici quelques faits saillants :
Questions ouvertes sur le chemin vers l’AGI
Des progrès récents ont montré les incroyables performances de l’IA en matière de texte et d’image, mais des recherches supplémentaires sont nécessaires pour que les systèmes puissent se généraliser à tous les domaines et à toutes les échelles. Il s’agira d’une étape cruciale sur la voie du développement de l’intelligence artificielle générale (IAG) en tant qu’outil de transformation dans notre vie quotidienne.
Nous présentons une nouvelle approche où les modèles apprendre en résolvant deux problèmes en un. En entraînant les modèles à examiner un problème sous deux angles en même temps, ils apprennent à raisonner sur des tâches qui nécessitent de résoudre des problèmes similaires, ce qui est bénéfique pour la généralisation. Nous avons également exploré le capacité des réseaux de neurones à généraliser en les comparant à la hiérarchie des langues Chomsky. En testant rigoureusement 2 200 modèles sur 16 tâches différentes, nous avons découvert que certains modèles avaient du mal à se généraliser et avons constaté qu'il était crucial de les augmenter avec de la mémoire externe pour améliorer les performances.
Un autre défi que nous relevons est de savoir comment progresser sur des tâches à plus long terme à un niveau expert, où les récompenses sont rares. Nous avons développé une nouvelle approche et un ensemble de données de formation open source pour aider les modèles à apprendre à explorer de manière humaine sur de longues périodes.
Des approches innovantes
À mesure que nous développons des capacités d’IA plus avancées, nous devons garantir que les méthodes actuelles fonctionnent comme prévu et efficacement dans le monde réel. Par exemple, même si les modèles linguistiques peuvent produire des réponses impressionnantes, beaucoup ne peuvent pas expliquer leurs réponses. Nous introduisons un méthode d'utilisation de modèles de langage pour résoudre des problèmes de raisonnement en plusieurs étapes en exploitant leur structure logique sous-jacente, en fournissant des explications qui peuvent être comprises et vérifiées par les humains. D’un autre côté, les attaques contradictoires sont un moyen de sonder les limites des modèles d’IA en les poussant à créer des résultats erronés ou nuisibles. La formation sur des exemples contradictoires rend les modèles plus robustes aux attaques, mais peut se faire au détriment des performances sur les entrées « régulières ». Nous montrons qu'en ajoutant des adaptateurs, nous pouvons créer des modèles qui nous permettent de contrôler ce compromis à la volée.
L'apprentissage par renforcement (RL) s'est avéré efficace pour une gamme de défis du monde réel, mais les algorithmes RL sont généralement conçus pour bien accomplir une tâche et ont du mal à se généraliser à de nouvelles. Nous proposons distillation d'algorithme, une méthode qui permet à un modèle unique de se généraliser efficacement à de nouvelles tâches en entraînant un transformateur à imiter les historiques d'apprentissage des algorithmes RL sur diverses tâches. Les modèles RL apprennent également par essais et erreurs, ce qui peut nécessiter beaucoup de données et prendre beaucoup de temps. Il a fallu près de 80 milliards de trames de données pour notre modèle Agent 57 pour atteindre des performances de niveau humain dans 57 jeux Atari. Nous partageons une nouvelle façon de s'entraîner à ce niveau en utilisant 200 fois moins d'expérienceréduisant considérablement les coûts informatiques et énergétiques.
L'IA pour la science
L’IA est un outil puissant permettant aux chercheurs d’analyser de grandes quantités de données complexes et de comprendre le monde qui nous entoure. Plusieurs articles montrent comment l’IA accélère le progrès scientifique – et comment la science fait progresser l’IA.
Prédire les propriétés d'une molécule à partir de sa structure 3D est essentiel à la découverte de médicaments. Nous présentons une méthode de débruitage qui atteint un nouvel état de l'art en matière de prédiction des propriétés moléculaires, permet un pré-entraînement à grande échelle et se généralise à différents ensembles de données biologiques. Nous introduisons également un nouveau transformateur qui peut effectuer des calculs de chimie quantique plus précis en utilisant uniquement des données sur les positions atomiques.
Enfin, avec FIGnet, nous nous inspirons de la physique pour modéliser les collisions entre des formes complexes, comme une théière ou un beignet. Ce simulateur pourrait avoir des applications dans les domaines de la robotique, du graphisme et de la conception mécanique.
Voir la liste complète des Documents DeepMind et calendrier des événements à l'ICLR 2023.
