Delange a déclaré que les modèles de langage open source s'améliorent rapidement et peuvent être meilleurs que le GPT-4 d'OpenAI, leader du marché, pour certaines tâches spécialisées. Mais il a noté que bon nombre des meilleurs modèles open source provenaient de l'extérieur des États-Unis, affirmant que 01.AI pourrait être positionné pour bénéficier des innovations qui surgissent autour de son modèle. « Les entreprises américaines sont devenues un peu moins ouvertes et transparentes », a-t-il déclaré lors du point de presse. « Mais il existe cette dynamique intéressante avec l'IA où plus une entreprise publie de l'open source, plus l'écosystème se développe, et donc plus elle devient forte dans la construction de l'IA. »
Les méta Lama 2 est un exemple rare d'un modèle open source de pointe d'une entreprise américaine et constitue le défi du géant des médias sociaux face à OpenAI, Microsoft, Google et d'autres grands rivaux technologiques qui investissent massivement dans l'IA générative. Meta a choisi de publier son modèle de langage d'IA sous une licence qui permet une réutilisation commerciale, avec quelques mises en garde.
Yi-34B et Llama 2 semblent avoir plus en commun que le simple fait d'être des modèles d'IA open source de premier plan. Peu de temps après la sortie du modèle chinois, certains développeurs remarqué que le code de 01.AI incluait auparavant des mentions du modèle de Meta qui ont ensuite été supprimées. Richard Lin, responsable de l'open source chez 01.AI, plus tard dit que la société annulerait les modifications, et la société a crédité Llama 2 pour une partie de l'architecture du Yi-34B. Comme tous les principaux modèles linguistiques, celui de 01.AI est basé sur l'architecture « transformateur » développée pour la première fois par les chercheurs de Google en 2017, et la société chinoise a dérivé ce composant de Llama 2. Anita Huang, porte-parole de 01.AI, a déclaré un expert juridique. consulté par la société a indiqué que le Yi-34B n'est pas soumis à la licence de Llama 2. Meta n'a pas répondu à une demande de commentaire.
Quelle que soit la mesure dans laquelle Yi-34B emprunte à Llama 2, le modèle chinois fonctionne très différemment en raison des données qui lui ont été fournies. « Yi partage l'architecture de Llama, mais sa formation est complètement différente et nettement meilleure », explique Eric Hartford, chercheur en IA chez Abacus.AI qui suit des projets d'IA open source. « Ils sont complètement différents. »
La connexion avec Llama 2 de Meta est un exemple de la façon dont, malgré la confiance de Lee dans l'expertise chinoise en IA, il suit actuellement l'exemple américain en matière d'IA générative. Jeffrey Dingprofesseur adjoint à l'Université George Washington qui étudie la scène chinoise de l'IA, affirme que même si les chercheurs chinois ont publié des dizaines de grands modèles de langage, l'industrie dans son ensemble est toujours à la traîne des États-Unis.
« Les entreprises occidentales ont acquis un avantage significatif dans le développement de modèles de langage à grande échelle, car elles pouvaient tirer parti des versions publiques pour tester les problèmes, obtenir les commentaires des utilisateurs et susciter l'intérêt autour de nouveaux modèles », explique-t-il. Ding et autres avoir argumenté que les entreprises chinoises d’IA sont confrontées à des difficultés réglementaires et économiques plus fortes que leurs homologues américaines.
S’exprimant lors du Forum économique mondial de Davos la semaine dernière, Lee a affirmé – espérant peut-être que le message reviendrait dans son pays – qu’une approche ouverte serait cruciale pour que tout pays puisse tirer pleinement parti de l’IA.
« L'un des problèmes lorsqu'une ou quelques entreprises ont le plus de pouvoir et dominent les modèles est que cela crée d'énormes inégalités, et pas seulement entre les personnes les moins riches et les pays les moins riches, mais aussi entre les professeurs, les chercheurs, les étudiants, les entrepreneurs, amateurs », a déclaré Lee. « S’il n’y avait pas d’open source, que feraient-ils pour apprendre ? car ils pourraient être les prochains créateurs, inventeurs ou développeurs d’applications.
S'il a raison, la technologie de 01.AI – et les applications qui en découlent – placeront la technologie chinoise au cœur de la prochaine phase de l'industrie technologique.