Approche technique du suivi infrarouge pour la navigation des tissus mous avec un écran holographique monté sur la tête et la validation préclinique

Le champ de cette étude au Centre d’oncologie pédiatrique Princess Maxima est de développer et de valider un système de réalité augmentée. Ce système doit aligner avec précision les hologrammes des organes en mouvement. L’un des défis expérimentaux actuels consiste à valider que l’hologramme reste aligné avec précision avec la position en temps réel d’un organe en mouvement.

Actuellement, les techniques de validation en réalité augmentée n’ont été décrites que pour des structures anatomiques rigides comme les os. Cependant, notre protocole offre l’avantage de pouvoir être utilisé pour valider la réalité augmentée pour les organes en mouvement également. Pour commencer, ouvrez le logiciel de conception assistée par ordinateur 3D et créez un nouveau fichier.

Sélectionnez l’onglet Solide, puis cliquez sur Créer une esquisse pour commencer une nouvelle conception pour un marqueur infrarouge. Ajoutez trois ou quatre petits cercles d’un diamètre de trois millimètres en appuyant sur Cercle de diamètre central. À l’aide de l’outil Ligne, reliez les sommets du triangle aux milieux des côtés opposés et tracez des lignes reliant les cercles pour calculer le point central.

Au point central, dessinez un cercle à l’aide de l’outil Diamètre central (Cercle central), puis dessinez des rectangles reliant ce cercle central à chacun des petits cercles à l’aide de l’outil Rectangle à deux points (Rectangle à deux points). Extrudez la base circulaire centrale et les rectangles de connexion sur une épaisseur de deux millimètres. Extrudez les petits cercles sur une épaisseur de cinq millimètres.

Appuyez sur Créer, puis sélectionnez Filetage et ajoutez des fils aux trois cônes à l’aide d’un profil métrique ISO pour s’adapter aux sphères réfléchissantes infrarouges de 6,4 millimètres. À l’aide de la fonction d’impression 3D ou d’exportation, exportez le modèle final sous forme de fichier objet. Dans le logiciel de conception assistée par ordinateur 3D, sélectionnez Mesurer pour mesurer les coordonnées x, y et z des sphères réfléchissantes infrarouges par rapport au point central.

Mesurez l’emplacement des points centraux de chaque petit cercle en corrélation avec le centre de la forme entière. Lancez le logiciel de développement de jeux. Importez le fichier de projet IRTrackingOrgans_HoloLens et ouvrez-le.

À l’aide d’un éditeur de texte, ouvrez le fichier JavaScript Object Notation enregistré dans le dossier Assets ou StreamingAssets. Adaptez le fichier pour définir le marqueur infrarouge personnalisé en utilisant les coordonnées précédemment enregistrées et en suivant le format par défaut. Dans l’onglet DINO Unity, sélectionnez le ToolManager, cliquez sur ResearchModeController, puis sur Fichier JSON et Transformation parent, puis cliquez sur Créer des objets Appliquer le paramètre JSON.

Importez le modèle de marqueur infrarouge 3D créé. Sélectionnez le modèle 3D spécifique au patient et modifiez ses coordonnées de transformation dans la fenêtre de l’inspecteur pour qu’elles correspondent à la position des marqueurs apparus dans la scène. Faites ensuite glisser le modèle 3D spécifique au patient dans la scène pour l’insérer.

Transformez le modèle 3D du patient pour aligner le marqueur infrarouge sur sa surface. Positionnez le marqueur infrarouge près du centre du modèle pour réduire l’erreur de position due à l’effet de levier. Maintenant, connectez la scène du patient à un bouton dans l’écran de menu pour permettre plusieurs sélections de cas.

Accédez à Ressources, Scènes et Scène de menu. Dans la fenêtre Hiérarchie, allez dans NearMenu4x2, puis dans ButtonCollection, et sélectionnez le bouton approprié. Dans la fenêtre de l’inspecteur, accédez aux événements de base et à MenuScript.

LoadScene, saisissez le nom de la scène du patient. Créez ou obtenez un modèle 3D d’un fantôme rénal avec des structures anatomiques réalistes. Importez le modèle 3D dans un logiciel de modélisation CAO 3D.

Utilisez ensuite les fonctions Solide, Créer et Perçage pour intégrer cinq points de pivot de repérage sur le côté du modèle. Réglez le type de trou sur Simple, le type de taraud sur Simple, le point de perçage sur Angle, la hauteur sur 0,5 millimètre et le diamètre sur 4,0 millimètres. Pour fixer le capteur électromagnétique de référence, créez un cylindre avec un trou et intégrez-le dans le modèle rénal.

Commencez une nouvelle esquisse et utilisez l’option Cercle du diamètre central pour dessiner un cercle et un cercle intérieur d’un diamètre de 2,8 millimètres. Extrudez le cercle extérieur de 16,5 millimètres. Allez ensuite dans Modifier, puis dans Combiner.

Sélectionnez à la fois le modèle de rein 3D et le cylindre, choisissez Joindre, puis confirmez en cliquant sur OK. Utilisez ensuite la fonction Exporter ou Imprimer en 3D pour exporter le modèle intégré final. Ensuite, utilisez un filament flexible ou semi-flexible, tel que du polyuréthane thermoplastique, pour imprimer le fantôme rénal en suivant la procédure décrite précédemment. Placez le générateur de champ du système de suivi électromagnétique directement sous le fantôme rénal imprimé.

Retirez tous les objets ferromagnétiques de l’environnement environnant pour éviter les inhomogénéités du champ électromagnétique. Connectez ensuite le capteur électromagnétique et le pointeur électromagnétique au système de suivi. Fixez le capteur de référence électromagnétique au modèle 3D en le fixant solidement à l’intérieur du cylindre à l’aide de colle.

Dans 3D Slicer, importez le modèle de rein 3D contenant les points de pivot. Utilisez l’assistant d’enregistrement de repère. Sélectionnez Placer un point de contrôle et attribuer numériquement les points de repère d’enregistrement.

Pour effectuer l’enregistrement d’un point de repère dans 3D Slicer, utilisez le pointeur électromagnétique pour localiser les points de repère physiques. Appuyez sur Placez un point de contrôle à chaque emplacement physique pour les enregistrer dans le logiciel. Calculez ensuite la transformation d’alignement linéaire rigide en appuyant sur Mettre à jour.

Maintenant, appliquez la transformation de recalage calculée au modèle 3D pour le relier au capteur de référence électromagnétique. Déplacez le modèle physique et vérifiez que la version numérique dans 3D Slicer suit son mouvement. Lancez le périphérique d’affichage holographique et ouvrez l’application holographique configurée précédemment.

Naviguez ensuite jusqu’au modèle 3D spécifique au patient qui est actuellement visualisé dans 3D Slicer. Maintenant, fixez le marqueur infrarouge à l’endroit spécifié à l’aide de colle, en vous assurant que les sphères réfléchissantes infrarouges de 6,4 millimètres ajustées sont en place, comme le guide la planification préopératoire. Utilisez le pointeur électromagnétique pour identifier numériquement les points cibles tels qu’ils sont vus à travers la visualisation holographique.

Enregistrez l’ensemble résultant des coordonnées du capteur EM. Calculez l’erreur en comparant les coordonnées de la cible enregistrées aux points de repère réels placés pour valider la précision de la visualisation holographique. Chez tous les participants, l’erreur de localisation ponctuelle, ou PLE, a montré une valeur médiane de 8,74 millimètres, avec des mesures individuelles allant de 2,78 à 13,20 millimètres.

Surgeon 2 a systématiquement obtenu les mesures PLE les plus basses, y compris les deux localisations les plus précises à 2,78 et 3,48 millimètres. La plus grande erreur de localisation a été observée lors de la troisième mesure par le chirurgien 3 avec une PLE de 13,20 millimètres. Ce protocole aidera d’autres personnes à déployer des projets holographiques et à valider avec précision leur système de réalité augmentée dans un cadre préclinique.

Notre groupe de recherche chirurgicale commencera bientôt avec le suivi holographique automatisé de plusieurs cas chirurgicaux pédiatriques. Les organes mobiles sont suivis sur la base d’algorithmes d’apprentissage automatique et de flux de caméra RVB.