Le coût de nouveaux progrès dans intelligence artificielle devient aussi surprenant qu'une hallucination par ChatGPT. La demande pour les puces graphiques appelées GPU, nécessaires à la formation à l'IA à grande échelle, a fait grimper les prix des composants cruciaux. à travers le toit. OpenAI a déclaré que la formation de l'algorithme qui alimente désormais ChatGPT coûte à l'entreprise plus de 100 millions de dollars. La course à la concurrence dans le domaine de l'IA signifie également que les centres de données consomment désormais des ressources inquiétantes. quantités d'énergie.
La ruée vers l’or de l’IA a amené quelques startups à élaborer des plans audacieux pour créer de nouvelles pelles informatiques à vendre. Les GPU de Nvidia sont de loin le matériel le plus populaire pour le développement de l'IA, mais ces nouveaux venus affirment qu'il est temps de repenser radicalement la façon dont les puces informatiques sont conçues.
Informatique normaleune startup fondée par des vétérans de Google Brain et du Moonshot Lab X d'Alphabet, a développé un prototype simple c’est une première étape vers le redémarrage de l’informatique à partir des premiers principes.
Une puce de silicium conventionnelle exécute des calculs en gérant des bits binaires, c'est-à-dire des 0 et des 1, qui représentent des informations. L'unité de traitement stochastique de Normal Computing, ou SPU, exploite les propriétés thermodynamiques des oscillateurs électriques pour effectuer des calculs en utilisant les fluctuations aléatoires qui se produisent à l'intérieur des circuits. Cela peut générer des échantillons aléatoires utiles pour les calculs ou pour résoudre des calculs d’algèbre linéaire, omniprésents dans les sciences, l’ingénierie et l’apprentissage automatique.
Faris Sbahi, PDG de Normal Computing, explique que le matériel est à la fois très efficace et bien adapté à la gestion des calculs statistiques. Cela pourrait un jour le rendre utile pour créer des algorithmes d’IA capables de gérer l’incertitude, peut-être en s’attaquant à la tendance des grands modèles de langage à « halluciner » les résultats lorsqu’ils ne sont pas sûrs.
Sbahi affirme que le récent succès de l'IA générative est impressionnant, mais qu'il est loin d'être la forme finale de la technologie. « Il est clair qu'il existe quelque chose de mieux en termes d'architectures logicielles et matérielles », déclare Sbahi. Lui et ses cofondateurs ont déjà travaillé sur l'informatique quantique et l'IA chez Alphabet. L’absence de progrès dans l’exploitation des ordinateurs quantiques pour l’apprentissage automatique les a incités à réfléchir à d’autres moyens d’exploiter la physique pour alimenter les calculs nécessaires à l’IA.
Une autre équipe de anciens chercheurs quantiques chez Alphabet reste à fonder Extropique, une entreprise toujours furtive qui semble avoir un plan encore plus ambitieux pour utiliser le calcul thermodynamique pour l'IA. «Nous essayons de faire en sorte que l'ensemble du calcul neuronal soit étroitement intégré dans une puce thermodynamique analogique», explique Guillaume Verdon, fondateur et PDG d'Extropic. « Nous exploitons nos enseignements tirés des logiciels et du matériel informatique quantique et les appliquons au paradigme thermodynamique full-stack. » (Verdon a récemment été révélé comme la personne derrière le compte mème populaire sur X Beff Jezosassocié à ce qu'on appelle mouvement d'accélérationnisme efficace qui promeut l’idée d’un progrès vers une « singularité technocapitaliste ».)
L'idée selon laquelle une refonte plus large de l'informatique est nécessaire pourrait prendre de l'ampleur à mesure que l'industrie se heurte à la difficulté de maintenir la loi de Moore, la prédiction de longue date selon laquelle la densité des composants sur les puces continue de diminuer. « Même si la loi de Moore ne ralentissait pas, vous resteriez confronté à un énorme problème, car les tailles de modèles publiées par OpenAI et d'autres augmentent bien plus rapidement que la capacité des puces », déclare Peter McMahon, professeur à l'Université Cornell qui travaille sur de nouvelles méthodes informatiques. En d’autres termes, nous devrons peut-être exploiter de nouvelles méthodes informatiques pour maintenir le train à la mode de l’IA.
