$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Toutes les procédures impliquant le prélèvement d'échantillons ont été effectuées conformément aux directives de l'IRB de l'institut.
REMARQUE : La figure 1 présente un schéma détaillant le flux de travail du protocole.
1. 3D Balayage
- Obtenez un scan 3D d’un échantillon de résection oncologique selon le protocole de balayage 3D décrit précédemment7.
- Installez le scanner 3D de bureau disponible dans le commerce à proximité du laboratoire de pathologie où les échantillons sont généralement prélevés.
- Rincez doucement et séchez l’échantillon réséqué en tapotant. Ensuite, prenez des photos 2D de ses surfaces antérieure et postérieure.
- Placez l’échantillon sur le plateau tournant du scanner, en vous assurant que le plateau tournant est protégé de tout fluide corporel à l’aide d’une fine feuille de plastique.
- À l'aide d'un logiciel de scanner 3D et d'un ordinateur portable, obtenez un scan 3D des surfaces antérieure et postérieure de l'échantillon.
- À l’aide du logiciel de numérisation 3D, utilisez l’enregistrement croisé des données en trois points pour aligner les deux ensembles de données de numérisation.
- Une fois que le balayage ressemble à la structure 3D de l’échantillon ex vivo, passez à l’étape 1.2.
- Cliquez sur Enregistrer votre numérisation et enregistrez la numérisation terminée à partir du logiciel de numérisation 3D sous forme de fichier .obj et de fichier .jpeg.
2. Configuration de l’environnement de réalité augmentée
- Ouvrez le logiciel de RA de bureau. Ouvrez le package VISE en réalité augmentée.
- Téléchargez le modèle 3D produit à l’étape 1.2 sous forme de fichier .obj et les données de texture sous forme de fichier .jpeg dans le logiciel en faisant glisser et en déposant les fichiers du bureau dans la zone Ressources du projet.
- Mettez l’afficheur monté sur la tête (HMD).
- Ouvrez le menu dans l’environnement HMD en levant le poignet non dominant. Lorsqu’une icône carrée apparaît, appuyez dessus en pointant le doigt sur l’icône et recherchez un menu qui apparaît.
- Sélectionnez Fichier | Afficher toutes les applications | ouvrez l’application Holographic Remoting sur le HMD.
- Connectez le HMD au logiciel en sélectionnant Réalité mixte | Communication à distance | Télécommande holographique pour le mode de lecture dans la barre d’outils supérieure.
- Entrez l’adresse IP du HMD, qui s’affiche lorsque l’application Holographic Remoting est ouverte.
REMARQUE : Si elle n'est pas affichée dans l'application, l'adresse IP peut également être trouvée dans les paramètres ou via la commande vocale « Quelle est mon adresse IP ».
- Assurez-vous que le casque et l’appareil exécutant le logiciel sont tous deux connectés au même réseau Wi-Fi. Appuyez sur le bouton Lecture du triangle en haut au centre. Le casque HMD affichera désormais le rendu.
- Faites glisser le modèle objet 3D dans la barre hiérarchique de gauche. Ouvrez le menu déroulant de l’objet. Faites glisser la valeur par défaut dans la fenêtre contextuelle Ajuster le pivot sous Remplacer l’objet. Cliquez sur Appliquer les objets sélectionnés.
- Ouvrez la liste déroulante Medical_Object dans le menu Hiérarchie et sélectionnez l'ancre avant de sélectionner Déplacer le pivot de Medical_Object ici dans la fenêtre contextuelle Ajuster le pivot.
- Faites glisser le fichier de texture dans la zone (Texture 2D) de la fenêtre contextuelle Ajuster le pivot. Sélectionnez Appliquer le fichier de texture sélectionné.
- Appuyez à nouveau sur le bouton Lecture en haut au centre de l’écran.
3. Entrer dans la réalité virtuelle
- Utilisez la commande vocale Open pour initialiser l’hologramme.
- Si l’objet n’est pas vu ou s’il est perdu de vue, utilisez la commande vocale Repositionner pour ramener l’objet au centre de la vue.
- L’objet sera rendu en taille anatomique. Utilisez la commande vocale Verrouiller la taille pour conserver la taille actuelle de l’objet, Déverrouiller la taille pour modifier la taille de l’objet et revenir à l’échelle pour restaurer la taille anatomique de l’objet.
- Pincez avec l’index et le pouce pour redimensionner, déplacer et faire pivoter l’objet de la même manière qu’un objet physique est manipulé.
4. Utilisation des commandes vocales
- Manipulez l’objet en mains libres à l’aide des commandes vocales suivantes :
- Droite : faites pivoter l’objet vers la droite.
- Gauche : faites pivoter l’objet vers la gauche.
- Plus grand : agrandissez l’objet.
- Plus petit : Réduisez la taille de l’objet.
- Augmenter la transparence : augmentez la transparence de l'objet.
- Réduire la transparence : diminue la transparence de l'objet.
5. Réalignement de l’éprouvette guidé par AR
REMARQUE : Le réalignement 3D de l’hologramme peut être vu sur la figure 2.
- Manipulez l’hologramme de l’échantillon 3D vu à travers le HMD à l’aide du pouce et de l’index.
- Saisissez l’objet en mettant le pouce et l’index ensemble dans l’environnement réel où l’hologramme est vu dans l’environnement virtuel.
- Relâchez l’objet en ouvrant le pouce et l’index dans l’environnement réel une fois que l’hologramme 3D est placé où vous le souhaitez dans l’environnement virtuel.
- Utilisez la commande vocale Verrouiller pour fixer l’hologramme en place et Déverrouiller pour manipuler l’objet une fois de plus.
- En fonction de l’orientation anatomique de l’hologramme, réalignez l’échantillon virtuel dans le lit de résection en suivant les étapes 5.1 et 5.2. Lorsque l’hologramme est réaligné autant que possible avec le lit de résection tel qu’il est vu par le HMD, utilisez la commande vocale Lock pour verrouiller l’échantillon en place.
