Benjamin Warf, neurochirurgien renommé du Boston Children's Hospital, se trouve dans le MIT.nano Immersion Lab. À plus de 3 000 milles de là, son avatar virtuel se tient à côté de Matheus Vasconcelos au Brésil alors que le résident pratique une intervention chirurgicale délicate sur un modèle de poupée du cerveau d'un bébé.
Avec une paire de lunettes de réalité virtuelle, Vasconcelos peut regarder l'avatar de Warf démontrer une procédure de chirurgie cérébrale avant de reproduire la technique lui-même et tout en posant des questions au jumeau numérique de Warf.
« C'est une expérience presque hors du corps », dit Warf en regardant son avatar interagir avec les résidents. « C'est peut-être ce que ça fait d'avoir un vrai jumeau ? »
Et c'est là l'objectif : le jumeau numérique de Warf a comblé la distance, lui permettant d'être fonctionnellement à deux endroits à la fois. «C'était ma première formation utilisant ce modèle, et ses performances étaient excellentes», déclare Vasconcelos, résident en neurochirurgie à l'École des sciences médicales Santa Casa de São Paulo, à São Paulo, au Brésil. « En tant que résident, je me sens désormais plus en confiance et à l’aise pour appliquer la technique à un vrai patient sous la direction d’un professeur. »
L'avatar de Warf est arrivé via un nouveau projet lancé par une société de simulation médicale et de réalité augmentée (AR) ÉDUCSIM. L'entreprise fait partie de la cohorte 2023 de START.nanol'accélérateur de technologie profonde du MIT.nano qui offre aux startups en démarrage un accès à prix réduit aux laboratoires du MIT.nano.
En mars 2023, Giselle Coelho, directrice scientifique d'EDUCSIM et neurochirurgienne pédiatrique à l'hôpital pour enfants Santa Casa de São Paulo et Sabará, a commencé à travailler avec le personnel technique du laboratoire d'immersion MIT.nano pour créer l'avatar de Warf. En novembre, l'avatar formait de futurs chirurgiens comme Vasconcelos.
« J'ai eu l'idée de créer l'avatar du Dr Warf comme preuve de concept et j'ai demandé : « Quel serait l'endroit dans le monde où ils travaillent sur des technologies comme celle-là ? » », explique Coelho. « Puis j'ai trouvé MIT.nano. »
Capturer un chirurgien
En tant que résidente en neurochirurgie, Coelho était tellement frustrée par le manque d’options de formation pratique pour les chirurgies complexes qu’elle a construit son propre modèle de cerveau de bébé. Le modèle physique contient toutes les structures du cerveau et peut même saigner, « simulant toutes les étapes d’une intervention chirurgicale, de l’incision à la fermeture cutanée », explique-t-elle.
Elle a vite découvert que les simulateurs et les démonstrations de réalité virtuelle (VR) réduisaient la courbe d’apprentissage de ses propres résidents. Coelho a lancé EDUCSIM en 2017 pour élargir la variété et la portée de la formation destinée aux résidents et aux experts souhaitant apprendre de nouvelles techniques.
Ces techniques incluent une procédure pour traiter l'hydrocéphalie infantile qui a été mise au point par Warf, directeur de la neurochirurgie néonatale et congénitale à l'hôpital pour enfants de Boston. Coelho avait appris la technique directement de Warf et pensait que son avatar pourrait être le moyen pour les chirurgiens qui ne pouvaient pas se rendre à Boston de bénéficier de son expertise.
Pour créer l'avatar, Coelho a travaillé avec Talis Reks, le technologue informatique AR/VR/gaming/big data du Immersion Lab.
«L'accès à de nombreuses technologies et matériels peut être très coûteux pour les startups lorsqu'elles démarrent leur parcours professionnel», explique Reks. « START.nano est un moyen de leur permettre d'utiliser et de s'offrir les outils et les technologies dont nous disposons au laboratoire d'immersion du MIT.nano. »
Coelho et ses collègues avaient besoin d'une technologie de capture de mouvement haute fidélité et haute résolution, d'une capture vidéo volumétrique et d'une gamme d'autres technologies VR/AR pour capturer les mouvements adroits des doigts et les expressions faciales de Warf. Warf a visité MIT.nano à plusieurs reprises pour être « capturé » numériquement, notamment en effectuant une opération sur le modèle physique du bébé tout en portant des gants spéciaux et des vêtements équipés de capteurs.
« Ces technologies ont principalement été utilisées à des fins de divertissement ou de VFX (effets visuels) ou CGI (images générées par ordinateur) », explique Reks. « Mais il s'agit d'un projet unique, car nous l'appliquons maintenant à une véritable pratique médicale et à un véritable apprentissage. .»
L’un des plus grands défis, dit Reks, a été de contribuer au développement de ce que Coelho appelle « l’holoportation » : transmettre la capture vidéo 3D et volumétrique de Warf en temps réel sur Internet afin que son avatar puisse apparaître dans une formation médicale transcontinentale.
L'avatar Warf a des modes synchrones et asynchrones. La formation reçue par Vasconcelos s'est déroulée en mode asynchrone, où les résidents peuvent observer les démonstrations de l'avatar et lui poser des questions. Les réponses, fournies dans une variété de langues, proviennent d’algorithmes d’IA qui s’appuient sur des recherches antérieures et sur une vaste banque de questions et réponses fournies par Warf.
En mode synchrone, Warf contrôle son avatar à distance et en temps réel, explique Coelho. « Il pouvait se promener dans la pièce, il pouvait me parler, il pouvait m'orienter. C'est incroyable. »
Coelho, Warf, Reks et d'autres membres de l'équipe ont démontré une combinaison des modes lors d'une deuxième session fin décembre. Cette démo consistait en une capture vidéo volumétrique en direct entre l'Immersion Lab et le Brésil, spatialisée et visible en temps réel via des casques AR. Il a considérablement développé la démo précédente, qui diffusait uniquement des données volumétriques dans une seule direction via un affichage bidimensionnel.
Des impacts puissants
Warf a une longue histoire de formation de neurochirurgiens pédiatriques dont on a désespérément besoin dans le monde entier, plus récemment par le biais de son organisation à but non lucratif. Neurokids. La formation à distance et par simulation représente une part de plus en plus importante de la formation depuis la pandémie, dit-il, même s'il ne pense pas qu'elle remplacera un jour complètement l'enseignement pratique personnel et la collaboration.
« Mais si un jour nous pouvions avoir des avatars, comme celui de Giselle, dans des endroits reculés montrant aux gens comment faire les choses et répondant à leurs questions, sans le coût du voyage, sans le coût du temps, etc., je pense que ce serait pourrait être vraiment puissant », dit Warf.
Le projet avatar est particulièrement important pour les chirurgiens travaillant dans des zones reculées et mal desservies comme la région amazonienne du Brésil, explique Coelho. « C'est une façon de leur donner le même niveau d'éducation que celui qu'ils obtiendraient ailleurs et la même opportunité d'être en contact avec le Dr Warf. »
Un bébé traité pour hydrocéphalie dans une récente clinique amazonienne avait voyagé en bateau pendant 30 heures pour l'opération, selon Coelho.
Former des chirurgiens avec l’avatar, dit-elle, « peut changer la réalité de ce bébé et changer l’avenir ».
