Dans le domaine de l'intelligence artificielle, les chercheurs rivalisent d'ingéniosité pour améliorer les performances des modèles de langage (LLM). Récemment, Google DeepMind a fait une avancée prometteuse en développant un nouveau cadre de raisonnement par auto-découverte pour ces modèles. Les résultats sont très encourageants.
Une approche inspirante de la cognition humaine
Cette avancée est le fruit d'une collaboration entre Google DeepMind et l'Université de Californie du Sud. baptisée « auto-découverte »cette nouvelle approche auto-découverte permet aux grands modèles de langage (LLM) d'apprendre par eux-mêmes des stratégies de raisonnement initiaux à une tâche donnée. En d'autres termes, les LLM peuvent déterminer tout seuls les étapes nécessaires à la résolution d'un problème. Une fois cette structure définie, ils l'utilisent ensuite lors de la phase de décodage final pour produire des solutions.
C'est exactement le processus que la méthode d'auto-découverte appliquée aux LLM. Les chercheurs l'ont doté de capacités d'auto-apprentissage les rendant capables de déterminer de manière autonome des stratégies de raisonnement flexibles et efficaces pour venir à bout de tâches complexes.
Cette méthode de DeepoMind s'inspire du fonctionnement cognitif humain. Par exemple, lorsqu'une personne est confrontée à un problème, elle commence par réfléchir aux étapes à suivre pour le résoudre. Ensuite, elle le résoudre en sous-problèmes plus simples puis choisissez la meilleure façon de résoudre chacun d'eux. Enfin, pour obtenir la réponse finale, elle combiner les solutions.
Différences majeures avec les méthodes existantes
Cette approche d'auto-découverte se distingue des techniques existantes sur plusieurs aspects. Habituellement, les grands modèles de langage reçoivent une structure de raisonnement prédéfinie pour traiter une tâche. Avec l'auto-découverte, ils créent eux-mêmes la structure adaptée à chaque nouveau problème.
Par ailleurs, la nouvelle méthode de raisonnement de DeepMind est et flexible. Elle permet aux modèles de s'ajuster en fonction du défi auquel ils sont confrontés. Ils peuvent choisir la meilleure façon de résoudre chaque problème.
Gains de performance et d'efficacité des LLM
Afin d'évaluer les performances de ce nouveau cadre, les chercheurs l'ont testé avec les grands modèles de langage GPT-4 d'OpenAI et PaLM-2 de Meta sur 25 tâches de raisonnement. Les résultats ont été à la hauteur des attentes, les surpassants même. Dans 21 des 25 tâches, cette nouvelle approche à surpassé d'autres techniques de raisonnement comme la Chaîne de Pensée (CoT). Concrètement, les LLM ont gagné jusqu'à 32 % des représentations sur des tâches de raisonnement difficiles.
Cette méthode s'avère bien plus efficace que les approches existantes. Elle nécessite entre 10 à 40 fois moins de ressources de calcul d'inférence. Cette double capacité rend cette nouvelle approche particulièrement attrayante pour les entreprises. Les résultats de cette évaluation sont publiés sur les plateformes Hugging Face et arXiV.
Quelles perspectives pour ce nouveau cadre révolutionnaire ?
Cette nouvelle méthode d'auto-découverte pourrait beaucoup changer l'avenir de l'intelligence artificielle. En effet, grâce à la nature adaptative et à la flexibilité De cette approche, les LLM pourront s'adapter à une variété de nouvelles situations en élaborant eux-mêmes leur propre stratégie.
Et sa capacité à augmenter les performances des LLM ainsi que son efficacité pourrait révolutionner de nombreux domaines cruciauxqu'il s'agisse du secteur médical, financier ou d'autres industries.
Notre blog est alimenté par les lecteurs. Lorsque vous achetez via des liens sur notre site, nous pouvons percevoir une commission d'affiliation.
