Nous avons récemment rencontré Petar Veličković, chercheur scientifique chez DeepMind. Avec ses co-auteurs, Petar présente son article The CLRS Algorithmic Reasoning Benchmark au CIML 2022 à Baltimore, Maryland, États-Unis.
Mon voyage vers DeepMind…
Tout au long de mes études de premier cycle à l’Université de Cambridge, l’incapacité de jouer habilement au jeu de Go était considérée comme une preuve évidente des lacunes des systèmes d’apprentissage profond modernes. Je me suis toujours demandé comment la maîtrise de tels jeux pouvait échapper au domaine du possible.
Cependant, début 2016, alors que je commençais mon doctorat en apprentissage automatique, tout a changé. DeepMind a affronté l'un des meilleurs joueurs de Go au monde pour un match de défi, que j'ai passé plusieurs nuits blanches à regarder. DeepMind a gagné, produisant ainsi un gameplay révolutionnaire (par exemple « Move 37 »).
À partir de ce moment-là, j’ai considéré DeepMind comme une entreprise capable de réaliser des choses apparemment impossibles. J’ai donc concentré mes efforts sur l’idée de rejoindre un jour l’entreprise. Peu de temps après avoir soumis mon doctorat début 2019, j'ai commencé mon parcours en tant que chercheur scientifique chez DeepMind !
Mon rôle…
Mon rôle est un cycle vertueux d’apprentissage, de recherche, de communication et de conseil. J'essaie toujours activement d'apprendre de nouvelles choses (plus récemment Théorie des catégoriesune manière fascinante d'étudier le calcul structure), lisez la littérature pertinente et regardez des conférences et des séminaires.
Ensuite, en utilisant ces apprentissages, je réfléchis avec mes coéquipiers à la manière dont nous pouvons élargir cet ensemble de connaissances pour avoir un impact positif sur le monde. De ces séances, des idées naissent et nous exploitons une combinaison d’analyse théorique et de programmation pour définir et valider nos hypothèses. Si nos méthodes portent leurs fruits, nous rédigeons généralement un article partageant nos idées avec la communauté au sens large.
La recherche d’un résultat n’est pas aussi utile sans le communiquer de manière appropriée et sans donner aux autres les moyens de l’utiliser efficacement. Pour cette raison, je passe beaucoup de temps à présenter nos travaux lors de conférences comme ICML, à donner des conférences et à co-conseiller les étudiants. Cela conduit souvent à établir de nouvelles connexions et à découvrir de nouveaux résultats scientifiques à explorer, remettant ainsi en marche le cycle vertueux !
À l'ICML…
Nous faisons une présentation phare de notre article, Le benchmark du raisonnement algorithmique CLRSqui, nous l'espérons, soutiendra et enrichira les efforts dans le domaine en pleine émergence de la raisonnement algorithmique neuronal. Dans cette recherche, nous chargeons les réseaux de neurones graphiques d'exécuter trente algorithmes différents du Introduction aux algorithmes cahier de texte.
De nombreux efforts de recherche récents visent à construire des réseaux de neurones capables d’exécuter des calculs algorithmiques, principalement pour les doter de capacités de raisonnement – qui manquent généralement aux réseaux de neurones. Il est important de noter que chacun de ces articles génère son propre ensemble de données, ce qui rend difficile le suivi des progrès et élève la barrière à l’entrée dans le domaine.
Le benchmark CLRS, avec ses générateurs d'ensembles de données facilement exposés, et code accessible au public, cherche à améliorer ces défis. Nous avons déjà constaté un grand niveau d'enthousiasme de la part de la communauté et nous espérons le canaliser encore davantage au cours de l'ICML.
L'avenir du raisonnement algorithmique…
Le principal rêve de nos recherches sur le raisonnement algorithmique est de capturer le calcul des algorithmes classiques au sein d’exécuteurs neuronaux de grande dimension. Cela nous permettrait alors de déployer ces exécuteurs directement sur des représentations de données brutes ou bruitées, et donc « d'appliquer l'algorithme classique » sur des entrées sur lesquelles il n'a jamais été conçu pour être exécuté.
Ce qui est passionnant, c'est que cette méthode a le potentiel de permettre un apprentissage par renforcement efficace en matière de données. L'apprentissage par renforcement regorge d'exemples d'algorithmes classiques puissants, mais la plupart d'entre eux ne peuvent pas être appliqués dans des environnements standards (comme Atari), étant donné qu'ils nécessitent l'accès à une richesse d'informations privilégiées. Notre plan rendrait ce type d'application possible en capturant le calcul de ces algorithmes dans des exécuteurs neuronaux, après quoi ils pourraient être directement déployés sur les représentations internes d'un agent. Nous avons même un prototype fonctionnel qui a été publié sur NeuroIPS 2021. J'ai hâte de voir la suite !
J'ai hâte de…
J'attends avec impatience le Atelier ICML sur la collaboration et l'équipe homme-machine, un sujet qui me tient à cœur. Fondamentalement, je crois que les plus grandes applications de l’IA proviendront de la synergie avec les experts du domaine humain. Cette approche est également tout à fait conforme à nos récents travaux sur renforcer l'intuition des mathématiciens purs grâce à l'IAqui a fait la couverture de Nature à la fin de l'année dernière.
Les organisateurs de l'atelier m'ont invité à une table ronde pour discuter des implications plus larges de ces efforts. Je parlerai aux côtés d'un groupe fascinant de co-panélistes, dont Monsieur Tim Gowers, que j'admirais pendant mes études de premier cycle au Trinity College de Cambridge. Inutile de dire que je suis vraiment enthousiasmé par ce panel !
Regarder vers l'avant…
Pour moi, les grandes conférences comme l’ICML représentent un moment de pause et de réflexion sur la diversité et l’inclusion dans notre domaine. Même si les formats de conférences hybrides et virtuelles rendent les événements accessibles à un plus grand nombre de personnes que jamais, nous devons faire beaucoup plus pour faire de l'IA un domaine diversifié, équitable et inclusif. Les interventions liées à l’IA auront un impact sur nous tous, et nous devons nous assurer que les communautés sous-représentées restent une partie importante de la conversation.
C'est exactement pourquoi j'enseigne un cours sur Apprentissage profond géométrique au Master Africain en Intelligence Machine (AMMI) – un sujet de mon récent co-écrit proto-livre. L'AMMI propose des cours d'apprentissage automatique de haut niveau aux chercheurs émergents les plus brillants d'Afrique, créant ainsi un écosystème sain de praticiens de l'IA dans la région. Je suis très heureux d'avoir récemment rencontré plusieurs étudiants de l'AMMI qui ont ensuite rejoint DeepMind pour des postes de stage.
Je suis également incroyablement passionné par les opportunités de sensibilisation dans la région de l'Europe de l'Est, d'où je suis originaire, ce qui m'a donné les bases scientifiques et la curiosité nécessaires pour maîtriser les concepts de l'intelligence artificielle. Le Apprentissage automatique en Europe de l’Est (EEML) est particulièrement impressionnante : grâce à ses activités, les futurs étudiants et praticiens de la région sont mis en contact avec des chercheurs de classe mondiale et reçoivent de précieux conseils de carrière. Cette année, j'ai aidé à amener l'EEML dans ma ville natale de Belgrade, en tant que l'un des principaux organisateurs de l'EEML. Atelier d'apprentissage automatique serbe. J'espère que ce n'est que le premier d'une série d'événements visant à renforcer la communauté locale de l'IA et à responsabiliser les futurs leaders de l'IA dans la région EE.