Une nouvelle puce d'intelligence artificielle lancée par Groq agite actuellement la communauté d'IA. Dotée de performances exceptionnelles, cette innovation pourrait révolutionner le secteur jusqu'à présent dominé par Nvidia.
Un accélérateur d'IA avec une nouvelle architecture
Les puces sont les éléments clés qui permettent aux systèmes d'intelligence artificielle générative de fonctionner. Ce marché est actuellement dominé par Nvidiaqui fournit la majorité des GPU (Graphics Processing Unit) utilisés par les entreprises du secteur.
Toutefois, l'arrivée de Groq pourrait bien changer la femme. Précisions dès le départ que cette technologie n'a aucun lien avec l'IA Grok d'Elon Musk oula peluche spatiale Grok de Grimes. C'est une société de semi-conducteurs dirigée par Jonathan Ross. Elle est fondée par d'anciens développeurs de Google en 2016.
La start-up a dévoilé le 20 février dernier une puce IA révolutionnaire : un LPU ou Unité de Traitement de Langue. Cette puce adopte une architecture inédite qui permet d'accélérer considérablement l'inférence et la réponse des modèles de langage de grande taille (LLM).
13 fois plus rapide que le GPU de Nvidia
Groq n'est pas un LLM comme Gémeaux ou GPT-4. Il n'est pas non plus un chatbot comme ChatGPT d'OpenAI. Ce LPU agit plutôt comme un « moteur d'inférence » qui booste les performances de ces plateformes dopées par l'IA lors du traitement des requêtes.
Afin de connaître ses capacités, des tests de référence ont été réalisés et les résultats sont tout simplement impressionnant. En effet, la puce de Groq a surpassé le GPU de Nvidia utilisé par Microsoft Azure Cloud. Si ce dernier génère 18 jetons (jetons) par secondes, sur Groq, cela passe à 247 jetons.
Avec un tel saut de capacités, des plateformes d'IA comme ChatGPT ou encore Midjourney pourraient fonctionner 13 fois plus rapide. Jonathan Ross souligne l'importance de cette avancée « La vitesse d'inférence des LLM permet aux développeurs de transformer leurs idées en entreprises, ce qui est essentiel pour l'écosystème commercial de l'IA ».
Fin décembre 2023, la vidéo de présentation de Gemini par Google avait été utilisée pour ses capacités de traitement en temps réel jugées falsifiées. Vu ses performances, le LPU de Groq pourrait bien rendre cela enfin réalité.
Groq : trop beau pour être vrai ?
Les capacités impressionnantes de la puce de Groq pourraient susciter de la méfiance. Pourtant, c’est une réalité. Pour s'en assurer, Groq invite d'ailleurs les développeurs à tester eux-mêmes cette technologie sur son site grog.com. Ils pourront y dialoguer avec différents modèles d'intelligence artificielle comme Mistral, Llama 2 ou Falcon. Ces plateformes exploitent bien entendu la puissance de calcul de Groq.
Contrairement aux réponses générées progressivement par ChatGPT et autres IA, celles de Groq s'affiche d'un seul coup. Cette innovation annonce-t-elle le déclin de Nvidia ? Sur Twitter, la plupart des tweets associent Groq à Nvidia, et voient un concurrent redoutable pour le géant du GPU. Mais Groq n'est encore qu'au début de son histoire. L'avenir dira s'il saura détrôner le leader historique du marché des puces d'IA.
Notre blog est alimenté par les lecteurs. Lorsque vous achetez via des liens sur notre site, nous pouvons percevoir une commission d'affiliation.
