Réaliser le monde demande croissante de chatbots IA et de générateurs d’images dépend autant de composants banals que de GPU fastueux. Les armoires de serveurs, boîtiers métalliques robustes pour stocker les systèmes GPU, ont parfois constitué un goulot d'étranglement crucial.
Alors qu'elle s'efforçait de développer ses installations, CoreWeave a commandé un jour 1 400 armoires de mauvaise qualité. Ce fut une erreur coûteuse, car les sauvegardes de la chaîne d’approvisionnement ont retardé de plusieurs mois les nouvelles expéditions. « Vous avancez si vite, et quelque part le long de la ligne, un processus échoue – et vous ne vous en rendez compte que lorsque vous avez 17 semi-remorques avec des armoires devant la porte et que vous devez tous les refuser », explique Venturo.
Mais, exemple de l'astuce qui a été la clé d'une expansion rapide, l'équipe de Venturo a rapidement mis de côté sa frustration et a décidé d'acheter des armoires d'occasion sur ce qu'il a appelé le marché gris. Cette décision a évité un retard important. « Ce n’est qu’un exemple des défis que nous avons affrontés et surmontés pour nous assurer de répondre aux attentes de nos partenaires », dit-il.
Pour faire avancer les choses, CoreWeave s’est tourné vers le « marché gris » pour bien plus que de simples armoires. L'entreprise a acheté des commutateurs et des routeurs réseau sur eBay pour éviter d'attendre jusqu'à deux ans pour obtenir de nouveaux équipements, explique un ancien employé. La sécurité et la fiabilité des pièces usagées peuvent être discutables, mais face à l’urgence du boom de l’IA, certaines pratiques conventionnelles ont dû être écartées, explique la personne.
À Plano, CoreWeave a équipé l'année dernière quatre salles de centres de données d'un mégawatt en moins de trois jours chacune, un exploit qui prend normalement des semaines. «Nous pouvons y aller sans gants et construire très rapidement», déclare Venturo.
CoreWeave a été contraint d’adopter une autre solution créative lorsqu’un fournisseur d’accès Internet a mis du temps à installer une connexion haut débit sur un nouveau site – un problème familier à de nombreux utilisateurs Internet à domicile. Trois cadres supérieurs se sont rencontrés par téléphone un matin pour décider comment éviter de retarder le projet. Tous se sont avérés offrir la même solution : achetez Internet par satellite via un site pratique mais pas bon marché. Service StarLink de SpaceX d'Elon Musk jusqu'à ce que le fournisseur de fibre optique apparaisse. Cela a éliminé des semaines de retard potentiel. «Nous devons être incroyablement flexibles», déclare Venturo.
Helter Skelter
Les leçons des premiers projets éclairent aujourd'hui les procédures standard de CoreWeave. CoreWeave a choisi de payer un supplément pour la fabrication sur mesure de dizaines de milliers de câbles à fibres optiques, car sa conception spéciale signifie que l'installation ne prend qu'une heure, au lieu de 10. Après que les autorités douanières américaines ont retardé une expédition vitale d'équipements importants, CoreWeave a immédiatement commencé transmettre les commandes via plusieurs ports alternatifs. Pour éviter les pénuries, l'entreprise commande désormais bien plus de pièces que ce dont elle a besoin, pariant que les restes pourront être expédiés vers le prochain projet qui se présentera.
La précipitation a parfois eu des conséquences indésirables. Le centre de données de CoreWeave à Las Vegas sent toujours le plastique brûlé, selon une source, car il a fait exploser certains composants électriques lorsqu'il a allumé trop de GPU à la fois lors de la création du site il y a plusieurs années.
Les techniciens de centres de données sont au cœur des opérations de CoreWeave. Les plus qualifiés d’entre eux fonctionnent comme une unité d’opérations spéciales, volant de site en site pour faire fonctionner de nouveaux centres de données au lieu de travailler à temps plein sur un seul campus. Venturo refuse de dire combien de kilomètres son équipe de techniciens d'élite a parcourus, mais il dit qu'ils ont installé environ 6 000 milles de câbles à fibre optique l'année dernière. « C'est probablement avec cette équipe que j'ai le plus d'interactions, plus qu'avec toute autre équipe de l'entreprise, simplement parce qu'elle est extrêmement importante », dit-il.