Approche technique du suivi infrarouge pour la navigation des tissus mous avec un écran holographique monté sur la tête et la validation préclinique

Summary

Ce protocole offre un guide pour mettre en œuvre le suivi de marqueurs infrarouges pour les fantômes en mouvement libre (par exemple, les organes) et la visualisation holographique à l’aide de la réalité augmentée. De plus, il décrit une configuration pour la validation préclinique des systèmes de navigation holographiques utilisant le suivi électromagnétique sur des fantômes se déplaçant librement.

Abstract

La réalité augmentée (RA) a le potentiel d’améliorer le guidage chirurgical en superposant des informations anatomiques tridimensionnelles (3D) directement sur le patient pendant les procédures chirurgicales. Cependant, la mise en œuvre pratique de la RA rencontre des défis importants, en particulier pour suivre avec précision les organes qui se déplacent librement lors de manipulations chirurgicales. Par conséquent, des méthodes fiables de suivi des organes sont nécessaires pour maintenir des superpositions holographiques précises en peropératoire. La validation préclinique de la précision des visualisations holographiques pose des défis supplémentaires, nécessitant des protocoles expérimentaux pour l’évaluation quantitative. Ce protocole répond à ces deux défis : il décrit une approche complète pour développer des applications de visualisation AR à l’aide de marqueurs infrarouges personnalisés pour le suivi d’organes en temps réel à l’aide d’un casque d’affichage (HMD), et il fournit un cadre de validation exploitant le suivi électromagnétique (EM) pour valider la précision holographique dans les expériences fantômes. Ce travail décrit des conseils étape par étape pour la création de modèles 3D spécifiques au patient à partir de l’imagerie médicale, la conception et la fabrication de marqueurs infrarouges personnalisés, l’intégration de ces marqueurs dans une application de réalité augmentée pour un HMD et leur déploiement pour la navigation chirurgicale. De plus, il détaille une procédure de validation en utilisant le suivi EM pour mesurer quantitativement la précision des visualisations holographiques dans des fantômes rénaux semi-déformables. Par conséquent, ce protocole facilite à la fois le suivi des organes en temps réel et établit une méthodologie de validation préclinique. La mise en œuvre du suivi des organes en temps réel pourrait améliorer le guidage chirurgical des organes en mouvement libre en superposant avec précision les hologrammes, ce qui pourrait conduire à une meilleure précision chirurgicale et à de meilleurs résultats pour les patients.

Introduction

En oncologie chirurgicale, l’identification précise de l’emplacement de la tumeur et de sa relation avec les tissus sains adjacents est cruciale pour réaliser une résection tumorale complète tout en préservant les tissus sains¹. Les résections incomplètes peuvent entraîner une récidive locale et une diminution du taux de survie ^2,3, tandis qu’une ablation excessive de tissu peut nuire à la fonction et à la qualité de vie⁴. Les systèmes de navigation chirurgicale sont prometteurs pour améliorer les résections radicales tout en préservant les tissus sains, en fournissant aux chirurgiens un guidage peropératoire qui peut potentiellement conduire à de meilleurs résultats cliniques⁵. Cependant, les systèmes de navigation chirurgicale conventionnels présentent généralement des informations anatomiques bidimensionnelles (2D) sur des écrans positionnés en dehors du champ opératoire. Cette approche oblige les chirurgiens à corréler mentalement les informations 2D affichées avec l’anatomie tridimensionnelle (3D) réelle du patient, augmentant ainsi la charge cognitive⁶. Bien que les progrès récents de la modélisation 3D permettent aux chirurgiens de mieux comprendre la relation de la tumeur avec les structures anatomiques environnantes⁷, cette information est toujours visualisée en dehors de la zone opératoire, maintenant le problème de commutation de foyer ^6,8. Ces limites des systèmes de navigation chirurgicale peuvent contribuer à des erreurs potentielles dans l’utilisation de la navigation chirurgicale et potentiellement conduire à des résultats chirurgicaux sous-optimaux⁹.

Pour pallier les limitations mentionnées ci-dessus, la réalité augmentée (RA) est apparue comme une solution prometteuse en visualisant les structures anatomiques et les frontières de résection en 3D sur le patient^10,11. En superposant des modèles 3D préopératoires, qui sont segmentés en fonction de données d’imagerie par résonance magnétique (IRM) ou de tomodensitométrie (TDM), l’anatomie peut être visualisée. Dans les revues systématiques, les avantages potentiels de la RA pour la chirurgie ouverte chez les patients adolescents ont été mis en évidence¹², et des travaux préliminaires dans ce domaine démontrent la faisabilité de guides 3D spécifiques au patient équipés de marqueurs visuels pour l’enregistrement automatique¹³. Van Doormaal et al. ont développé un système de navigation avec un dispositif de RA en utilisant un enregistrement basé sur des points et un pointeur avec une cible d’image pour la neurochirurgie¹⁴. Ils ont évalué l’application AR développée dans la salle d’opération sur des patients avant l’opération et dans une expérience fantôme, qui a montré une erreur d’enregistrement repères de 7,2 mm et 4,4 mm, respectivement.

Malgré les progrès prometteurs, ces systèmes d’enregistrement sont souvent rigides, dépourvus de suivi en temps réel des organes cibles, et il reste donc nécessaire de suivre en temps réel les mouvements des organes^15,16. Cela est particulièrement vrai pour les organes en mouvement, qui sont manipulés pendant la chirurgie, tels que les reins et le foie, ce qui peut entraîner des conseils inexacts, la nécessité d’un réenregistrement, ce qui prend beaucoup de temps, et des dommages potentiels aux tissus sains ou des résections incorrectes¹⁷. Pour résoudre davantage ces problèmes, un nouveau système AR basé sur une application présentée par Iqbal et al. pour incorporer des marqueurs infrarouges pour le suivi continu des organes a été développé¹⁸. Ce développement permet à la superposition AR de s’adapter dynamiquement aux changements en temps réel de la position des organes, ce qui permet de maintenir la précision spatiale et d’améliorer potentiellement la précision chirurgicale. En combinant un enregistrement rigide avec un suivi dynamique basé sur des marqueurs infrarouges, ce système offre une avancée significative vers l’obtention d’un guidage holographique précis et en temps réel en chirurgie.

Ce protocole présente un système de navigation AR basé sur un marqueur infrarouge et un système de validation préclinique pour un casque d’affichage (HMD). Notre objectif est de développer et de valider un système de navigation en réalité augmentée en temps réel pour maintenir des superpositions holographiques précises d’organes en mouvement dans un cadre préclinique. Tout d’abord, le protocole fournit une description de la façon dont une application holographique est préparée qui utilise des marqueurs infrarouges d’une dimension de 32 mm (largeur) x 15 mm (longueur) x 6 mm (hauteur) pour suivre les organes fantômes en temps réel, en maintenant la superposition d’hologrammes 3D indépendamment du mouvement. Nous utilisons un fantôme de rein, imprimé avec un filament de polyuréthane thermoplastique (TPU), comme exemple de modèle pour un organe en mouvement. Deuxièmement, il donne un aperçu de la façon de concevoir et d’imprimer des marqueurs infrarouges personnalisés et de la façon d’intégrer ces marqueurs dans l’application de visualisation holographique. Cela permet à d’autres chercheurs et cliniciens d’adapter l’application à d’autres scénarios fantômes précliniques qui impliquent la simulation d’une chirurgie ouverte et d’organes en mouvement. Enfin, une méthode de validation basée sur le suivi électromagnétique offre des mesures quantitatives pour calculer la précision, offrant une validation préclinique du guidage holographique dans les expériences fantômes. L’une des limites de cette méthodologie est l’absence d’une procédure d’enregistrement automatisée, ce qui limite la précision de ce système. Cependant, cette approche aide les utilisateurs à déterminer la pertinence de leur technique de RA développée pour leur application clinique.

Protocol

Cette étude a suivi les directives de notre institution et n’a pas été soumise à la loi sur la recherche médicale impliquant des sujets humains (WMO). Par conséquent, il n’était pas tenu d’obtenir le consentement éclairé des participants.

1. Préparation des progiciels matériels et logiciels pour la modélisation 3D et le déploiement d’applications AR

1. Téléchargez et installez les logiciels suivants sur un ordinateur personnel (PC) exécutant Microsoft Windows 10.
   1. Téléchargez Unity Hub v3.11.1 et Unity v. 2019.4.22f1 à partir de https://unity.com/download. Incluez Visual Studio 2019 lors de l’installation de Unity 2019.4.22f1. Lien vers le mode d’emploi : https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
   2. Téléchargez MeshMixer v. 3.5.0 sur https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, le lien vers le manuel est https://help.autodesk.com/view/MSHMXR/2019/ENU/
   3. Téléchargez 3DSlicer v. 5.6.2 sur https://download.slicer.org/, le lien vers le manuel est https://slicer.readthedocs.io/en/latest/
   4. Téléchargez Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, le lien vers le mode d’emploi est https://help.autodesk.com/view/fusion360/ENU/
   5. Téléchargez Bambu Studio v. 01.09.07.52 sur https://bambulab.com/en/download/studio, le lien vers le manuel est https://wiki.bambulab.com/en/studio-handy

2. Conception et impression de marqueurs infrarouges personnalisés

1. Concevez des marqueurs infrarouges dans un logiciel de conception 3D comme décrit ci-dessous.
   1. Ouvrez le logiciel de conception assistée par ordinateur (CAO) 3D (voir la table des matériaux) et créez un nouveau fichier.
   2. Sélectionnez l’onglet SOLIDE et cliquez sur Créer une esquisse pour commencer à esquisser une nouvelle conception pour un marqueur infrarouge.
   3. Ajoutez trois ou quatre petits cercles d’un diamètre de 3 mm en appuyant sur Cercle de diamètre central. Ces cercles servent de points d’attache pour les vis.
   4. Calculez le point central du marqueur infrarouge en reliant les sommets du triangle aux milieux des côtés opposés. Appuyez sur Ligne et connectez tous les cercles en traçant des lignes d’un côté à la pointe d’un cercle.
   5. Créez un cercle comme base du marqueur infrarouge sur le point central à l’aide de l’option Cercle de diamètre central. Utilisez un rectangle à 3 points pour dessiner des rectangles qui relient le cercle central à chacun des trois ou quatre petits cercles.
   6. Extrudez la base circulaire et les rectangles sur une épaisseur de 2 mm, et les petits cercles sur 5 mm.
   7. Ajoutez un fil à chacun des trois cônes à l’aide d’un profil métrique ISO (par exemple, M3 × 0,5, 6 g, main droite) pour accueillir des sphères réfléchissantes infrarouges de 6,4 mm en appuyant sur Créer , puis sur Fil.
   8. Exportez le modèle en tant que fichier objet (OBJ) à l’aide de la fonction d’impression 3D ou d’exportation.
   9. Dans le logiciel de CAO 3D, mesurez les coordonnées XYZ des sphères réfléchissantes infrarouges en corrélation avec le point central en sélectionnant Mesurer. Mesurez l’emplacement des points centraux des cercles en corrélation avec le point central de la forme. Utilisez ces coordonnées à l’étape 4.1.2.
2. Imprimez des marqueurs 3D comme décrit ci-dessous.
   1. Importez la stéréolithographie exportée (. STL) du marqueur infrarouge dans un logiciel adapté à l’imprimante 3D en le faisant glisser dans la scène (voir Tableau des matériaux).
   2. Configurez les paramètres de tranchage, y compris la hauteur de couche (0,08 mm est la plus petite hauteur de couche possible pour éviter une impression imprécise du fil pour la sphère réfléchissante infrarouge) en appuyant sur Qualité > Hauteur de couche. Ajoutez la prise en charge à la conception en appuyant sur Prise en charge > Activer la structure.
   3. Exportez le fichier de découpage vers l’imprimante 3D en cliquant sur Slice All, exportez le fichier en cliquant sur Exporter tout Slice File et imprimez le modèle 3D à l’aide d’une imprimante 3D (voir la Table des matériaux) avec un filament d’acide polylactique (par exemple, PLA ; voir la Table des matériaux).

3. Préparation du modèle 3D du rein spécifique au patient

1. Segmentation du modèle
   1. Ouvrez le logiciel de segmentation 3D (voir Table des matériaux) et importez les données IRM/TDM du patient à l’aide des fichiers DICOM d’importation.
   2. Accédez à l’éditeur de segments, choisissez le volume source approprié et créez une nouvelle segmentation en cliquant sur Ajouter.
   3. Sélectionnez la segmentation manuelle ou semi-automatique en fonction de la modalité d’imagerie.
   4. Pour la segmentation manuelle, utilisez l’outil Peindre et effacer pour segmenter la tumeur et les structures pertinentes environnantes dans chaque tranche.
   5. Pour la segmentation semi-automatique, envisagez d’utiliser des options telles que Seuil avec la plage de seuil appropriée pour la structure spécifique et Ciseaux pour segmenter les structures non pertinentes.
   6. Dans l’écran Données, sélectionnez la segmentation créée , puis cliquez avec le bouton droit de la souris pour accéder au bouton Exporter les segments visibles vers les modèles . Assurez-vous que l’option Œil est sélectionnée sur le côté droit de l’écran.
   7. Exportez les fichiers STL des modèles en cliquant sur Enregistrer et enregistrez les fichiers au format . STL.
2. Post-traitement du modèle spécifique au patient
   1. Importez le fichier STL dans un éditeur de maillage (voir Table des matériaux) et réduisez le nombre de triangles en sélectionnant Modèle 3D > Modifier , puis réduisez d’un pourcentage qui réduit les triangles sans déformer l’aspect visuel du modèle 3D, puis appuyez sur Accepter.
   2. Assurez-vous que les points cibles sont représentés visuellement dans le modèle 3D de l’application holographique pour une validation ultérieure. Appuyez sur Ajouter des sphères et placez-les sur le modèle 3D.
   3. Exportez les modèles 3D au format de fichier OBJ en appuyant sur Fichier > Exporter. Assurez-vous que le modèle 3D comporte environ 100 000 polygones en sélectionnant le modèle et réduisez les polygones en appuyant sur Modifier > Réduire. Un nombre plus élevé de polygones nécessite davantage d’opérations de la part de l’unité de traitement graphique, de sorte que la réduction du nombre de polygones dans la scène peut réduire considérablement le temps de rendu.

4. Préparation de l’application holographique

1. Configurez le projet IRTrackingOrgans_HoloLens comme décrit ci-dessous.
   1. Lancez le logiciel de développement de jeux (voir la table des matériaux), importez le projet IRTrackingOrgans_HoloLens et ouvrez-le.
   2. Adaptez le fichier JSON (JavaScript Object Notation) à l’aide d’un éditeur de texte, en suivant le format par défaut, pour implémenter un marqueur infrarouge personnalisé basé sur les coordonnées mesurées à l’étape 2.1.10. Le fichier JSON est enregistré dans Assets/StreamingAssets.
   3. Allez dans l’onglet DINO Unity, sélectionnez le ToolManager > le ResearchModeController > le fichier JSON et la transformation parente , puis cliquez sur Créer des objets et appliquer le paramètre JSON.
   4. Importez le modèle 3D de marqueur infrarouge virtuel en tant que ressource créée à l’étape 1.1.
   5. Transformez le modèle 3D de marqueur infrarouge virtuel à la position des marqueurs générés dans la scène en sélectionnant le modèle et en modifiant les coordonnées de transformation dans la fenêtre de l’inspecteur.
   6. Insérez un modèle 3D spécifique au patient dans la scène en le sélectionnant et en le faisant glisser dans la scène.
   7. Transformez le modèle 3D du patient au bon endroit, de sorte que le marqueur infrarouge touche la surface du modèle 3D. Positionnez le marqueur infrarouge près du centre de l’objet 3D pour minimiser les imprécisions dues à l’effet de levier.
2. Connectez la scène avec un menu de sélection de patients
   1. Pour une utilisation pratique et la sélection de plusieurs cas, connectez la scène du patient à un bouton dans l’écran du menu. Accédez à Ressources > Scènes > Scène de menu.
   2. Dans la fenêtre Hiérarchie, allez dans NearMenu4x2 et ButtonCollection, puis le bouton approprié.
   3. Dans la fenêtre de l’inspecteur, accédez à Événements de base et sous MenuScript.LoadScene, tapez le nom de la scène du patient.
3. Préparer le HMD pour le premier déploiement
   REMARQUE : Cette section n’est nécessaire que si l’application est déployée pour la première fois.
   1. Connectez-vous à l’appareil HMD (voir Table des matériaux) et réglez l’appareil en mode Recherche. Accédez à Paramètres > Mise à jour et sécurité > Pour les développeurs > Activer les fonctionnalités pour les développeurs et la découverte des appareils.
   2. Associez le HMD à un PC (Wi-Fi ou USB-C). Si c’est la première fois que vous vous connectez, procédez comme suit : Recherchez l’adresse IP du HMD dans l’onglet développeur, remplissez l’adresse IP dans un navigateur Web pour vous connecter au portail de l’appareil et associez l’appareil en générant un code PIN et en remplissant le code PIN.
4. Créez et déployez l’application sur un HMD
   1. Ajoutez les scènes à la build en accédant à Fichier > Paramètres de build, en ajoutant la scène dans l’ordre suivant : Menu > Suivi de la scène en appuyant sur Ajouter des scènes ouvertes.
   2. Générez le projet à l’aide de la plateforme Windows universelle, de l’appareil cible HoloLens et de l’architecture x64. Cliquez sur Générer et sélectionnez une carte de génération.
   3. Ouvrez le fichier de build (.sln) avec Visual Studio 2019 et remplacez la plateforme par ARM64. Ouvrez ensuite les propriétés en cliquant avec le bouton droit sur le fichier .sln dans l’Explorateur de solutions et, dans Débogage, tapez l’adresse IP du HMD sous Nom de l’ordinateur.
   4. Déployez l’application sur le HMD en sélectionnant Déboguer > Démarrer sans débogage.
   5. Lancez le HMD et ouvrez l’application holographique. Par la suite, accédez à l’écran du menu du patient et sélectionnez le cas approprié pour lancer la visualisation holographique et l’orientation.

5. Validation de la visualisation holographique d’organes en mouvement

1. Impression fantôme semi-déformable
   1. Créez ou obtenez un modèle 3D d’un fantôme rénal avec des structures anatomiques réalistes.
   2. Importez le modèle 3D dans un logiciel de modélisation CAO 3D et intégrez cinq points de pivot de repérage sur le côté du modèle à l’aide de Solid > Créez > > de trou avec les paramètres Type de trou : Simple, Type de taraud : Simple, Point de perçage : Angle, Hauteur : 0,5 mm et Diamètre : 4,0 mm.
   3. Intégrez un cylindre avec un trou dans le modèle 3D pour fixer le capteur de référence EM pour des étapes de validation ultérieures.
      1. Créez une esquisse avec un cercle et un cercle intérieur d’un diamètre de 2,8 mm à l’aide de l’option Cercle de diamètre central. Extrudez le cercle extérieur de 16,5 mm.
      2. Combinez le cylindre avec le modèle 3D en modifiant > en combinant > en sélectionnant le modèle 3D et le cylindre > > d’assembler OK.
   4. Exportez le modèle 3D à l’aide de la fonction Exporter ou imprimer 3D.
   5. Utilisez un filament flexible ou semi-flexible, tel que le TPU, (voir le tableau des matériaux) pour imprimer le fantôme rénal selon la procédure décrite à l’étape 2.2.
2. Configuration du slicer 3D à l’aide du système de suivi EM
   1. Consultez le tutoriel complet 3D Slicer et SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) pour configurer un système EM avec 3D-Slicer.
      REMARQUE : Cette section du protocole suppose que la configuration de 3DSlicer, la configuration du suivi EM et la connexion sont bien comprises et correctement configurées.
   2. Placez le générateur de champ du système de suivi EM (voir Tableau des matériaux) directement sous le fantôme. Retirez tous les matériaux ferromagnétiques de l’environnement pour éviter les inhomogénéités du champ électromagnétique.
   3. Connectez le capteur EM (voir Tableau des matériaux) et le pointeur EM (voir Tableau des matériaux) au système de suivi EM. Assurez-vous que les transformations de ces outils sont visualisées avec précision dans 3DSlicer.
   4. Fixez le capteur de référence EM (par exemple, l’outil de câble NDI Aurora 6DOF) au modèle 3D en le fixant dans le cylindre avec de la colle.
   5. Dans 3D Slicer, importez le modèle 3D avec les points pivots et attribuez les points de repère numériquement à l’aide de l’assistant d’enregistrement des repères > placez un point de contrôle.
   6. Effectuez l’enregistrement des points de repère en localisant les points de repère dans la vie réelle avec le pointeur EM, appuyez sur Placer un point de contrôle et enregistrez-les dans 3DSlicer. Calculez la transformation de recalage linéaire rigide en appuyant sur Mettre à jour.
   7. Après l’enregistrement, appliquez la transformation d’alignement au modèle 3D pour établir un lien entre celui-ci et le capteur de référence EM. Par la suite, si le modèle 3D est déplacé physiquement, son homologue numérique dans 3DSlicer doit se déplacer ; En conséquence, confirmez-le visuellement en observant les mouvements.
3. Validation holographique
   1. Lancez l’appareil et ouvrez l’application holographique de l’étape 4.4.5. Par la suite, naviguez jusqu’au bon modèle 3D du patient, qui est également visualisé dans 3DSlicer.
   2. Fixez le marqueur infrarouge au bon endroit à l’aide de colle, avec les marqueurs infrarouges de 6,4 mm installés (voir tableau des matériaux), comme visualisé par la planification préopératoire.
   3. Utilisez le pointeur EM pour localiser numériquement les points cibles en fonction de la visualisation holographique. Enregistrez l’ensemble des coordonnées du capteur EM.
   4. Calculez l’erreur de localisation des points de repère cibles par rapport aux points de repère placés pour valider quantitativement la visualisation holographique.

Results

Un fantôme rénal a été utilisé pour démontrer les performances du système de suivi infrarouge pour le suivi des organes et pour valider la configuration de validation holographique dans les organes en mouvement. L’ensemble du flux de travail est décrit à la figure 1.

Tout d’abord, le rein a été segmenté de manière semi-automatique en fonction des données d’IRM à l’aide de l’outil de seuillage de 3DSlicer. Le modèle 3D résultant a été exporté et importé dans un logiciel de CAO 3D afin de réduire le nombre de polygones. Un deuxième modèle a été enregistré, et cinq points cibles ont été intégrés dans ce modèle à l’aide de l’outil sphère (Figure 2). Ce modèle a été utilisé pour la validation technique de l’affichage holographique. La première version du modèle, sans points cibles, a été importée dans Autodesk Fusion. Cinq points de pivot ont été intégrés dans ce modèle, et le cylindre a été intégré pour faciliter le capteur EM. À l’aide d’un logiciel de découpage 3D, le modèle 3D a été préparé pour l’impression 3D. Le TPU avec une densité d’impression de 8 % a été utilisé pour créer une surface rénale peu flexible.

Un marqueur infrarouge standardisé a été conçu, imprimé en 3D et équipé de sphères réfléchissantes infrarouges (6,4 mm de diamètre). À partir de ce marqueur infrarouge, les coordonnées du marqueur infrarouge ont été mesurées en corrélation avec le point central. Dans l’application logicielle de développement de jeux, le fichier JSON contenant les coordonnées du marqueur infrarouge a été importé. Deuxièmement, le modèle 3D du rein a été importé, avec des points cibles à des fins de validation. De plus, à des fins de visualisation, le modèle de marqueur infrarouge a été importé et traduit à la position des points implémentés par le fichier JSON. Le modèle 3D a été transformé au centre du marqueur infrarouge (Figure 3) et des shaders supplémentaires ont été appliqués. Après l’intégration de la scène du menu patient, l’application a été déployée sur le HMD.

Sur la base du placement des marqueurs IR, le modèle holographique 3D est visualisé sur le rein à l’intérieur d’un fantôme abdominal pédiatrique à l’aide du HMD (Figure 4). Il avait une fréquence de poursuite de 11,6 Hz. Cependant, pour des distances supérieures à 60 cm, le HMD perd la capacité de suivre les marqueurs infrarouges. Deuxièmement, le suivi continu et le bruit dans le suivi du marquage infrarouge provoquent le scintillement de la superposition holographique, ce qui entraîne une visualisation imprécise.

À des fins de validation, le système de suivi EM a été connecté à 3D Slicer via le serveur Plus. Un capteur EM a été placé sur le rein fantôme pour le suivi (figure 2). Après l’enregistrement basé sur les points, le modèle 3D a été enregistré avec une précision médiane de 0,59 mm, ce qui s’est avéré être une méthode précise pour valider la précision holographique (Figure 5). L’erreur médiane de localisation ponctuelle était de 8,74 mm (écart interquartile : 6,38 - 10,85), d’après les commentaires de trois chirurgiens (tableau 1).

La mise en œuvre de ce système de suivi et de visualisation AR implique un protocole qui s’étend sur environ 45 à 60 min. Un médecin technique expérimenté avec 2 ans d’expérience a exécuté l’ensemble du protocole une fois pour déterminer la durée des différentes étapes du protocole. Notamment, certaines étapes ne doivent être exécutées qu’une seule fois. Les étapes essentielles pour chaque patient comprennent la segmentation, l’intégration du modèle dans le logiciel de développement du jeu et la configuration de la scène. La segmentation des structures anatomiques dans les cas spécifiques aux patients nécessite relativement plus de temps en raison des multiples structures anatomiques impliquées, mais la segmentation du parenchyme rénal et de la tumeur peut être terminée en 30 minutes. L’intégration des modèles 3D segmentés dans l’application et leur alignement avec le marqueur infrarouge nécessitent environ 5 minutes de réglages manuels. La connexion de la bonne scène ne nécessite pas plus de 5 minutes. Le temps de construction du projet de développement de jeu varie en fonction des spécifications matérielles, mais prend généralement environ 3 minutes, suivi d’environ 10 minutes pour le déploiement sur l’HoloLens 2. Dans l’ensemble, à l’exclusion de la configuration de validation, ce protocole démontre une méthode de suivi d’organes mobiles dans des contextes précliniques.

Figure 1 : Vue d’ensemble schématique du flux de travail. Le flux de travail montre les étapes requises par patient dans un environnement fantôme, notamment la phase préopératoire, les phases holographiques et peropératoires. La phase préopératoire consiste à segmenter (voir étape 3) l’imagerie médicale préopératoire. La préparation de l’application holographique consiste à planifier virtuellement le placement du marqueur infrarouge sur le modèle 3D (voir étape 4). Dans la phase peropératoire, les chirurgiens peuvent sélectionner le bon patient et fixer le marqueur infrarouge pour la visualisation holographique et le suivi continu. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Vue d’ensemble des fantômes rénaux utilisés dans la méthodologie de validation. À gauche : un hologramme 3D du rein avec les points cibles et le placement virtuel du marqueur infrarouge. Au milieu : fantôme 3D avec capteur EM intégré et points de pivot pour l’enregistrement. À droite : fantôme imprimé en 3D, avec le marqueur infrarouge et le cylindre pour le capteur EM, utilisé pour la procédure de validation. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Préparation de l’application holographique dans le logiciel de développement de jeux. Le modèle rénal se transforme en marqueur infrarouge. Deuxièmement, les shaders sont appliqués sur le rein et sur les points cibles. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Visualisation holographique de l’expérience fantôme. À gauche : Placement du marqueur infrarouge sur le rein. À droite : Visualisation holographique des points cibles dans le bon ordre (1 à 5). Le déplacement de la visualisation holographique est causé par la gigue dans le suivi du marqueur infrarouge. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : Configuration à partir du protocole de validation du suivi EM pour la visualisation holographique d’organes en mouvement. Le vert, le rouge et le bleu visualisent la transformation des outils EM nécessaires à la validation. Le jaune et le vert visualisent la transformation de l’afficheur monté sur la tête (HMD). Veuillez cliquer ici pour voir une version agrandie de cette figure.

Participant	Mesure	GT-X (mm)	GT-Y (mm)	GT-Z (mm)	Point-X (mm)	Point Y (mm)	Point Z (mm)	PLE (mm)
Chirurgien 1	1	-67.02	7.88	297.50	-76.72	8.97	295.49	9.97
	2	-46.77	4.78	249.67	-55.71	-0.26	243.61	11.91
	3	-3.21	-12.36	244.46	-9.99	-3.03	244.83	11.54
	4	-15.06	1.16	273.72	-20.00	2.71	272.70	5.27
	5	-39.00	5.40	281.25	-46.82	6.91	277.75	8.70
Chirurgien 2	1	-67.02	7.88	297.50	-63.60	8.02	292.12	6.38
	2	-46.77	4.78	249.67	-45.94	2.73	246.98	3.48
	3	-3.21	-12.36	244.46	-5.43	-10.70	244.27	2.78
	4	-15.06	1.16	273.72	-11.87	0.80	267.51	7.00
	5	-39.00	5.40	281.25	-35.54	5.82	273.28	8.70
Chirurgien 3	1	-67.02	7.88	297.50	-62.97	7.87	287.43	10.85
	2	-46.77	4.78	249.67	-44.59	-0.42	242.70	8.96
	3	-3.21	-12.36	244.46	2.23	-20.32	253.48	13.20
	4	-15.06	1.16	273.72	-10.73	1.33	266.14	8.74
	5	-39.00	5.40	281.25	-34.95	5.93	271.74	10.35

Tableau 1 : Pour chaque mesure, les coordonnées de vérité terrain (GT) des points de repère cibles, leurs coordonnées de localisation de point correspondantes et le PLE mesuré pour tous les chirurgiens sont fournis.

Discussion

Le protocole présenté décrit une approche du suivi des organes en temps réel et de la visualisation holographique, y compris la validation des tumeurs et des organes en mouvement dans un environnement fantôme. En tirant parti du suivi basé sur des marqueurs infrarouges avec un HMD, cette méthode a le potentiel de mieux maintenir des superpositions holographiques anatomiques correctes lors de la manipulation d’organes en mouvement. Malgré son application pour le suivi du rein, cette méthode pourrait également être explorée dans d’autres domaines cliniques, tels que la chirurgie ouverte du foie ou des poumons, avec des ajustements minimes dans le protocole de segmentation. Deuxièmement, les marqueurs infrarouges pourraient potentiellement être utilisés avec diverses techniques chirurgicales, telles que la chirurgie laparoscopique. Dans de tels cas, des autocollants réfléchissants infrarouges pourraient être détectés sur des images laparoscopique pour suivre des organes, des outils ou des repères anatomiques. Cependant, l’application de cette technique à d’autres domaines cliniques ou techniques chirurgicales peut introduire des erreurs dues à des variations de déformabilité de l’organe cible ou à des limitations techniques, telles qu’un champ de vision limité, qui nécessitent une validation dans des expériences précliniques.

L’étape 1 du protocole est principalement axée sur la mise en place des outils matériels et logiciels nécessaires. Cette configuration nécessite de nombreuses applications et étapes, il est donc crucial que tous les progiciels soient correctement installés, y compris les extensions nécessaires, pour éviter les problèmes de déploiement en aval. Il n’est pas prévu que les différentes versions du logiciel causent des problèmes, même si la combinaison du logiciel de développement de jeux et de l’environnement de développement intégré est cruciale.

À l’étape 2, le processus de création de marqueurs infrarouges personnalisés est décrit. Cette étape devient particulièrement importante si le suivi est utilisé pour d’autres applications. La flexibilité de modifier la forme du marqueur infrarouge garantit son aptitude potentielle à diverses applications précliniques. De plus, les utilisateurs peuvent explorer diverses options de conception pour améliorer l’adhérence du marqueur infrarouge à la surface d’un organe et améliorer la précision du suivi du marqueur infrarouge. De plus, le test de plusieurs diamètres de marqueurs infrarouges peut améliorer la détection sur des distances supérieures à 60 cm.

À l’étape 3, la modélisation 3D spécifique au patient basée sur l’imagerie médicale est décrite. Une segmentation précise du rein et de la tumeur est cruciale, car elle influence directement la précision du guidage chirurgical. Une mauvaise segmentation peut entraîner des visualisations trompeuses qui compromettent la précision chirurgicale¹⁹. Deuxièmement, cette étape est la plus chronophage. L’intégration de méthodes de segmentation entièrement automatiques peut accélérer le protocole, réduisant ainsi la nécessité d’ajustements manuels et semi-automatiques tout en assurant une segmentation anatomique précise²⁰. L’optimisation du nombre de polygones est cruciale pour obtenir des performances de rendu AR optimales. Si cette optimisation n’est pas effectuée, les performances du HMD sont considérablement compromises.

À l’étape 4, la configuration de l’application holographique est décrite, suite à la mise en œuvre de DINO-DLL. Un aspect essentiel est l’alignement correct entre les positions des marqueurs infrarouges et les modèles anatomiques holographiques, car cela affecte la précision du repérage manuel. En particulier, l’effet de levier doit être minimisé pour éviter l’imprécision à des distances plus éloignées du centre du marqueur infrarouge. D’autres améliorations pourraient inclure la mise en œuvre de méthodes d’enregistrement supplémentaires. De plus, le système actuel présente un taux de suivi acceptable pour la visualisation continue, ce qui correspond à la littérature²¹. Troisièmement, d’autres améliorations devraient impliquer la mise en œuvre d’un filtre de Kalman pour réduire le bruit dans les données de suivi des marqueurs infrarouges, éliminant ainsi la gigue de la visualisation holographique.

À l’étape 5, le cadre fournit une méthode de validation holographique utilisant le suivi EM. Ce protocole est utile pour valider la précision des hologrammes dans un environnement fantôme, car il fournit une évaluation quantitative de la précision holographique des organes en mouvement. Une étape cruciale ici est l’intégration précise de capteurs de suivi EM dans des fantômes semi-déformables imprimés en 3D. Les utilisateurs doivent assurer un étalonnage précis des capteurs EM et l’enregistrement des points de repère dans 3D Slicer. En cas d’erreurs de validation, le réenregistrement ou la suppression de tout objet métallique pourrait améliorer la précision de la validation. Pour valider davantage la faisabilité clinique, des organes ex vivo pourraient être utilisés pour simuler plus précisément le tissu chirurgical²².

Ce protocole sert de guide complet pour les chercheurs visant à mettre en œuvre des solutions AR pour le suivi des organes et à valider ces systèmes dans des expériences fantômes. De plus, il fournit une configuration de validation largement applicable qui peut être facilement utilisée dans différents scénarios cliniques, en particulier pour valider les méthodes de RA pour le déplacement des organes. Compte tenu de la complexité du déploiement d’applications holographiques, ce cadre facilite la transition des solutions conceptuelles basées sur la RA à la validation préclinique.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Découpeur 3D (v5.6.2)	Trancheuse	N/A	Logiciel de segmentation d’images médicales et nécessaire pour la validation du suivi électromagnétique
6,4 mm (1/4") M3 Marqueurs Infrarec	OptiTrack	N/A	Sphères réfléchissantes infrarouges qui doivent être fixées au marqueur pour le suivi  ;
Autodesk Fusion 360 (v2.0.21508)	Autocar	N/A	Logiciel de CAO pour la conception de marqueurs et de fantômes infrarouges
Bambu Studio (v01.09.07.52)	Laboratoire Bambu	N/A	Logiciel de tranchage d’impression 3D pour imprimantes 3D Bambu
Bambu X1 Carbone	Laboratoire Bambu	N/A	Imprimante 3D utilisée pour les marqueurs infrarouges et les modèles fantômes
HoloLens 2	Microsoft	N/A	Casque de réalité augmentée pour la visualisation AR
IRTrackingOrgans_HoloLens	Libre	N/A	Application basée sur Unity prenant en charge le suivi des marqueurs IR
MeshMixer (v3.5.0)	Autocar	N/A	Utilisé pour l’édition de maillage et la réduction de polygones
NDI Aurore	Northern Digital Inc.	N/A	Système de suivi électromagnétique pour la validation
Outil de câble NDI Aurora 6DOF	Northern Digital Inc.	N/A	Capteur pour l’enregistrement du mouvement des organes fantômes
Sonde NDI Aurora 6DOF	Northern Digital Inc.	N/A	Utilisé pour identifier les emplacements des points de repère sur le fantôme
Filament d’acide polylactique	Tout fabricant	N/A	Filament pour l’impression de pièces rigides comme les marqueurs infrarouges
Filament de polyuréthane thermoplastique	Tout fabricant	N/A	Filament semi-flexible pour l’impression d’un fantôme rénal déformable
Hub Unity (v3.11.1) et Unity (v2019.4.22f1)	Unity Technologies	N/A	Logiciel de développement de jeux pour le développement et le déploiement d’applications AR
Visual Studio 2019	Microsoft	N/A	IDE requis pour l’intégration et le déploiement de Unity