Alors que les imprimantes 3D sont devenues moins chères et plus largement accessibles, une communauté croissante de créateurs débutants fabrique leurs propres objets. Pour ce faire, beaucoup de ces artisans amateurs accèdent à des référentiels gratuits et open source de modèles 3D générés par les utilisateurs, qu'ils téléchargent et fabriquent sur leur imprimante 3D.
Mais l’ajout d’éléments de conception personnalisés à ces modèles représente un défi de taille pour de nombreux fabricants, car cela nécessite l’utilisation de logiciels de conception assistée par ordinateur (CAO) complexes et coûteux, et est particulièrement difficile si la représentation originale du modèle n’est pas disponible en ligne. De plus, même si un utilisateur est capable d'ajouter des éléments personnalisés à un objet, s'assurer que ces personnalisations ne nuisent pas à la fonctionnalité de l'objet nécessite un niveau supplémentaire d'expertise dans le domaine qui manque à de nombreux créateurs débutants.
Pour aider les créateurs à surmonter ces défis, les chercheurs du MIT ont développé un outil basé sur l'IA générative qui permet à l'utilisateur d'ajouter des éléments de conception personnalisés aux modèles 3D sans compromettre la fonctionnalité des objets fabriqués. Un concepteur pourrait utiliser cet outil, appelé Style2Fab, pour personnaliser des modèles 3D d'objets en utilisant uniquement des invites en langage naturel pour décrire la conception souhaitée. L'utilisateur pourrait ensuite fabriquer les objets avec une imprimante 3D.
« Pour quelqu'un avec moins d'expérience, le problème essentiel auquel il est confronté est le suivant : maintenant qu'il a téléchargé un modèle, dès qu'il souhaite y apporter des modifications, il est perdu et ne sait pas quoi faire. Style2Fab permettrait de styliser et d'imprimer très facilement un modèle 3D, mais aussi d'expérimenter et d'apprendre en le faisant », explique Faraz Faruqi, étudiant diplômé en informatique et auteur principal d'un ouvrage sur papier Présentation de Style2Fab.
Style2Fab est piloté par des algorithmes d'apprentissage en profondeur qui divisent automatiquement le modèle en segments esthétiques et fonctionnels, rationalisant ainsi le processus de conception.
En plus de responsabiliser les concepteurs débutants et de rendre l’impression 3D plus accessible, Style2Fab pourrait également être utilisé dans le domaine émergent de la fabrication médicale. La recherche a montré que la prise en compte des caractéristiques esthétiques et fonctionnelles d’un appareil d’assistance augmente la probabilité qu’un patient l’utilise, mais les cliniciens et les patients n’ont peut-être pas l’expertise nécessaire pour personnaliser les modèles imprimables en 3D.
Avec Style2Fab, un utilisateur peut personnaliser l'apparence d'une attelle de pouce afin qu'elle se fonde dans ses vêtements sans altérer la fonctionnalité du dispositif médical, par exemple. Fournir un outil convivial pour le domaine en pleine croissance des technologies d'assistance au bricolage a été une motivation majeure pour ce travail, ajoute Faruqi.
Il a rédigé l'article avec sa conseillère, la co-auteure principale Stefanie Mueller, professeure agrégée aux départements de génie électrique, d'informatique et de génie mécanique du MIT, et membre du Laboratoire d'informatique et d'intelligence artificielle (CSAIL) qui dirige le HCI. Groupe d'ingénierie ; co-auteur principal Megan Hofmann, professeur adjoint au Khoury College of Computer Sciences de la Northeastern University ; ainsi que d'autres membres et anciens membres du groupe. La recherche sera présentée au symposium ACM sur les logiciels et technologies d’interface utilisateur.
Se concentrer sur la fonctionnalité
Dépôts en ligne, tels que Thingiverspermettent aux individus de télécharger des fichiers de conception numérique open source créés par l'utilisateur d'objets que d'autres peuvent télécharger et fabriquer avec une imprimante 3D.
Faruqi et ses collaborateurs ont commencé ce projet en étudiant les objets disponibles dans ces immenses référentiels pour mieux comprendre les fonctionnalités qui existent au sein de différents modèles 3D. Cela leur donnerait une meilleure idée de la manière d’utiliser l’IA pour segmenter les modèles en composants fonctionnels et esthétiques, dit-il.
« Nous avons rapidement compris que l'utilité d'un modèle 3D dépend beaucoup du contexte, comme un vase qui pourrait être posé à plat sur une table ou suspendu au plafond avec une ficelle. Il ne peut donc pas s’agir uniquement d’une IA qui décide quelle partie de l’objet est fonctionnelle. Nous avons besoin d’un humain au courant », dit-il.
S'appuyant sur cette évaluation, ils ont défini deux fonctionnalités : la fonctionnalité externe, qui implique des parties du modèle qui interagissent avec le monde extérieur, et la fonctionnalité interne, qui implique des parties du modèle qui doivent s'articuler après la fabrication.
Un outil de stylisation devrait préserver la géométrie des segments fonctionnels externes et internes tout en permettant la personnalisation des segments esthétiques non fonctionnels.
Mais pour ce faire, Style2Fab doit déterminer quelles parties d'un modèle 3D sont fonctionnelles. Grâce à l'apprentissage automatique, le système analyse la topologie du modèle pour suivre la fréquence des changements de géométrie, tels que les courbes ou les angles de connexion de deux plans. Sur cette base, il divise le modèle en un certain nombre de segments.
Ensuite, Style2Fab compare ces segments à un ensemble de données créé par les chercheurs qui contient 294 modèles d'objets 3D, les segments de chaque modèle étant annotés avec des étiquettes fonctionnelles ou esthétiques. Si un segment correspond étroitement à l’une de ces pièces, il est marqué fonctionnel.
« Mais c'est un problème très difficile de classer les segments uniquement en fonction de la géométrie, en raison des énormes variations dans les modèles partagés. Ces segments constituent donc un premier ensemble de recommandations qui sont présentées à l'utilisateur, qui peut très facilement modifier la classification de n'importe quel segment en esthétique ou fonctionnel », explique-t-il.
L'humain dans la boucle
Une fois que l'utilisateur accepte la segmentation, il saisit une invite en langage naturel décrivant les éléments de conception souhaités, tels que « une jardinière chinoise brute et multicolore » ou une coque de téléphone « dans le style de l'art marocain ». Un système d'IA, connu sous le nom de Text2Mesh, essaie ensuite de déterminer à quoi ressemblerait un modèle 3D répondant aux critères de l'utilisateur.
Il manipule les segments esthétiques du modèle dans Style2Fab, en ajoutant de la texture et de la couleur ou en ajustant la forme, pour le rendre aussi similaire que possible. Mais les segments fonctionnels sont interdits.
Les chercheurs ont intégré tous ces éléments dans le back-end d’une interface utilisateur qui segmente puis stylise automatiquement un modèle en fonction de quelques clics et entrées de l’utilisateur.
Ils ont mené une étude auprès de créateurs possédant une grande variété de niveaux d'expérience en matière de modélisation 3D et ont découvert que Style2Fab était utile de différentes manières en fonction de l'expertise du créateur. Les utilisateurs novices ont pu comprendre et utiliser l'interface pour styliser les conceptions, mais elle a également fourni un terrain fertile pour l'expérimentation avec une faible barrière à l'entrée.
Pour les utilisateurs expérimentés, Style2Fab a contribué à accélérer leurs flux de travail. De plus, l’utilisation de certaines de ses options avancées leur a donné un contrôle plus précis sur les stylisations.
À l'avenir, Faruqi et ses collaborateurs souhaitent étendre Style2Fab afin que le système offre un contrôle précis sur les propriétés physiques ainsi que sur la géométrie. Par exemple, modifier la forme d’un objet peut modifier la force qu’il peut supporter, ce qui pourrait entraîner sa défaillance lors de sa fabrication. De plus, ils souhaitent améliorer Style2Fab afin qu'un utilisateur puisse générer ses propres modèles 3D personnalisés à partir de zéro au sein du système. Les chercheurs collaborent également avec Google sur un projet de suivi.
Cette recherche a été soutenue par le programme MIT-Google pour l'innovation informatique et a utilisé les installations fournies par le MIT Center for Bits and Atoms.
