ChatGPT et d’autres modèles génératifs profonds se révèlent être d’étranges imitations. Ces mannequins IA peuvent produire des poèmes, terminer des symphonies et créer de nouvelles vidéos et images en apprenant automatiquement à partir de millions d’exemples d’œuvres antérieures. Ces outils extrêmement puissants et polyvalents excellent dans la génération de nouveaux contenus qui ressemblent à tout ce qu'ils ont vu auparavant.
Mais comme le disent les ingénieurs du MIT dans une nouvelle étude, la similarité ne suffit pas si l’on veut véritablement innover dans les tâches d’ingénierie.
« Les modèles génératifs profonds (DGM) sont très prometteurs, mais aussi intrinsèquement défectueux », déclare l'auteur de l'étude Lyle Regenwetter, étudiant diplômé en génie mécanique au MIT. « L’objectif de ces modèles est d’imiter un ensemble de données. Mais en tant qu'ingénieurs et concepteurs, nous ne souhaitons souvent pas créer un design qui existe déjà.
Lui et ses collègues font valoir que si les ingénieurs en mécanique veulent l’aide de l’IA pour générer de nouvelles idées et conceptions, ils devront d’abord recentrer ces modèles au-delà de la « similarité statistique ».
« Les performances d'un grand nombre de ces modèles sont explicitement liées à la similitude statistique d'un échantillon généré avec ce que le modèle a déjà vu », explique le co-auteur Faez Ahmed, professeur adjoint de génie mécanique au MIT. « Mais en matière de design, être différent peut être important si l'on veut innover. »
Dans leur étude, Ahmed et Regenwetter révèlent les pièges des modèles génératifs profonds lorsqu’ils sont chargés de résoudre des problèmes de conception technique. Dans une étude de cas sur la conception de cadres de bicyclettes, l'équipe montre que ces modèles finissent par générer de nouveaux cadres qui imitent les conceptions précédentes mais échouent en termes de performances et d'exigences techniques.
Lorsque les chercheurs ont présenté aux DGM le même problème de cadre de vélo qu’ils avaient spécifiquement conçu avec des objectifs axés sur l’ingénierie, plutôt que sur une simple similarité statistique, ces modèles ont produit des cadres plus innovants et plus performants.
Les résultats de l’équipe montrent que les modèles d’IA axés sur la similarité ne se traduisent pas vraiment lorsqu’ils sont appliqués à des problèmes d’ingénierie. Mais, comme les chercheurs le soulignent également dans leur étude, avec une planification minutieuse des mesures adaptées à la tâche, les modèles d’IA pourraient constituer un « copilote » de conception efficace.
«Il s'agit de savoir comment l'IA peut aider les ingénieurs à créer des produits innovants de manière plus efficace et plus rapide», explique Ahmed. « Pour ce faire, nous devons d’abord comprendre les exigences. C’est un pas dans cette direction.
L'équipe est nouvelle étude paru récemment en ligne et figurera dans l'édition imprimée de décembre de la revue Conception assistée par ordinateur. La recherche est une collaboration entre des informaticiens du MIT-IBM Watson AI Lab et des ingénieurs en mécanique du DeCoDe Lab du MIT. Les co-auteurs de l'étude incluent Akash Srivastava et Dan Gutreund du MIT-IBM Watson AI Lab.
Définir un problème
Comme l’écrivent Ahmed et Regenwetter, les DGM sont « de puissants apprenants, dotés d’une capacité inégalée » à traiter d’énormes quantités de données. DGM est un terme général désignant tout modèle d'apprentissage automatique formé pour apprendre la distribution des données, puis l'utiliser pour générer un nouveau contenu statistiquement similaire. Le très populaire ChatGPT est un type de modèle génératif profond connu sous le nom de grand modèle de langage, ou LLM, qui intègre des capacités de traitement du langage naturel dans le modèle pour permettre à l'application de générer des images et des paroles réalistes en réponse à des requêtes conversationnelles. D'autres modèles populaires pour la génération d'images incluent DALL-E et Stable Diffusion.
En raison de leur capacité à apprendre des données et à générer des échantillons réalistes, les DGM sont de plus en plus appliqués dans plusieurs domaines d'ingénierie. Les concepteurs ont utilisé des modèles génératifs approfondis pour concevoir de nouveaux cadres d'avions, des conceptions de métamatériaux et des géométries optimales pour les ponts et les voitures. Mais pour la plupart, les modèles ont imité des conceptions existantes, sans améliorer les performances des conceptions existantes.
« Les concepteurs qui travaillent avec des DGM manquent en quelque sorte cette cerise sur le gâteau : ajuster l'objectif de formation du modèle pour se concentrer sur les exigences de conception », explique Regenwetter. « Ainsi, les gens finissent par générer des conceptions très similaires à l'ensemble de données. »
Dans la nouvelle étude, il décrit les principaux pièges liés à l'application des DGM aux tâches d'ingénierie et montre que l'objectif fondamental des DGM standards ne prend pas en compte les exigences de conception spécifiques. Pour illustrer cela, l'équipe évoque un cas simple de conception de cadre de vélo et démontre que des problèmes peuvent surgir dès la phase d'apprentissage initiale. À mesure qu'un modèle apprend de milliers de cadres de vélo existants de différentes tailles et formes, il peut considérer que deux cadres de dimensions similaires ont des performances similaires, alors qu'en fait une petite déconnexion dans un cadre est trop petite pour être enregistrée comme une différence significative de similarité statistique. métriques – rend le cadre beaucoup plus faible que l'autre cadre visuellement similaire.
Au-delà de la « vanille »
Crédit : Avec l’aimable autorisation des chercheurs
Les chercheurs ont poursuivi l’exemple du vélo pour voir quelles conceptions un DGM générerait réellement après avoir tiré les leçons des conceptions existantes. Ils ont d’abord testé un réseau contradictoire génératif conventionnel « vanille », ou GAN – un modèle qui a été largement utilisé dans la synthèse d’images et de textes et qui est simplement réglé pour générer un contenu statistiquement similaire. Ils ont formé le modèle sur un ensemble de données de milliers de cadres de vélo, y compris des modèles fabriqués dans le commerce et des cadres uniques moins conventionnels conçus par des amateurs.
Une fois que le modèle a appris des données, les chercheurs lui ont demandé de générer des centaines de nouveaux cadres de vélo. Le modèle a produit des conceptions réalistes qui ressemblaient à des cadres existants. Mais aucun des modèles n’a montré d’amélioration significative des performances, et certains étaient même un peu inférieurs, avec des cadres plus lourds et moins structurellement solides.
L’équipe a ensuite effectué le même test avec deux autres DGM spécialement conçus pour les tâches d’ingénierie. Le premier modèle est celui qu’Ahmed a précédemment développé pour générer des conceptions de profils aérodynamiques hautes performances. Il a construit ce modèle pour donner la priorité à la similarité statistique ainsi qu'aux performances fonctionnelles. Lorsqu'il a été appliqué au cadre de vélo, ce modèle a généré des conceptions réalistes qui étaient également plus légères et plus solides que les conceptions existantes. Mais cela a également produit des cadres physiquement « invalides », avec des composants qui ne s'ajustaient pas tout à fait ou se chevauchaient de manière physiquement impossible.
« Nous avons constaté des conceptions nettement meilleures que l'ensemble de données, mais également des conceptions géométriquement incompatibles car le modèle n'était pas axé sur le respect des contraintes de conception », explique Regenwetter.
Le dernier modèle testé par l’équipe était celui que Regenwetter avait construit pour générer de nouvelles structures géométriques. Ce modèle a été conçu avec les mêmes priorités que les modèles précédents, avec en plus des contraintes de conception et en donnant la priorité aux cadres physiquement viables, par exemple, sans déconnexions ni barres qui se chevauchent. Ce dernier modèle a produit les conceptions les plus performantes, qui étaient également physiquement réalisables.
« Nous avons constaté que lorsqu'un modèle va au-delà de la similarité statistique, il peut proposer des conceptions meilleures que celles qui existent déjà », explique Ahmed. « C'est une preuve de ce que l'IA peut faire, si elle est explicitement formée à une tâche de conception. »
Par exemple, si les DGM peuvent être construits avec d’autres priorités, telles que les performances, les contraintes de conception et la nouveauté, Ahmed prévoit que « de nombreux domaines de l’ingénierie, tels que la conception moléculaire et les infrastructures civiles, en bénéficieraient grandement. En mettant en lumière les pièges potentiels liés à la seule similarité statistique, nous espérons inspirer de nouvelles voies et stratégies dans les applications d’IA générative en dehors du multimédia.
