Visualisation en réalité augmentée d’un échantillon de tumeur réséqué

Placez un échantillon de tumeur réséqué sur une table de numérisation 3D connectée à un ordinateur. Numérisez les surfaces antérieure et postérieure pour créer une image 3D.

Une fois que cette image 3D correspond à l’échantillon physique, ouvrez-la dans un logiciel de réalité augmentée ou de réalité augmentée.

Portez un casque de réalité virtuelle ou un casque de réalité virtuelle et connectez-le sans fil au logiciel de réalité augmentée.

Cela permet de visualiser l’image 3D à travers le dispositif HMD sous la forme d’un hologramme virtuel de l’échantillon.

Alignez et ancrez l’hologramme pour garantir une précision spatiale dans l’environnement de réalité augmentée, puis appliquez des textures pour améliorer le réalisme.

À l’aide d’une commande vocale, ouvrez l’hologramme dans un environnement virtuel et, d’un geste de la main, repositionnez, faites pivoter et ajustez la taille.

Vous pouvez également utiliser des commandes vocales pour des réglages mains libres.

Cette visualisation basée sur la réalité augmentée génère un hologramme tumoral qui aide à l’identification précise des marges sur le site de l’opération.

Pour commencer, séchez doucement un échantillon oncologique rincé et réséqué. Prenez des photos 2D des surfaces antérieure et postérieure de l’échantillon.

Placez l’échantillon sur le plateau tournant recouvert de plastique d’un scanner 3D. Numérisez les surfaces antérieure et postérieure de l’échantillon pour obtenir une image 3D.

Utilisez l’alignement croisé des données à trois points pour aligner les deux ensembles de données de numérisation. Lorsque les résultats de la numérisation ressemblent à l’échantillon 3D ex vivo, cliquez sur Enregistrer votre numérisation pour enregistrer la numérisation en tant que fichier .obj et .jpeg.

Ensuite, lancez le logiciel de réalité augmentée et ouvrez le package VISE de réalité augmentée. Faites glisser et déposez les fichiers .obj et .jpeg du bureau dans la zone Ressources du projet.

Allumez l’afficheur monté sur la tête ou HMD et levez le poignet non dominant pour ouvrir le menu dans l’environnement HMD. Lorsqu’une icône carrée apparaît, pointez le doigt sur l’icône et appuyez dessus.

Lorsque le menu apparaît, cliquez sur Fichier puis sur Afficher toutes les applications et ouvrez l’application Holographic Remoting. Dans la barre d’outils supérieure, sélectionnez Réalité mixte, puis appuyez sur Accès à distance et Accès à distance holographique pour le mode Lecture.

Entrez l’adresse IP du casque de visualisation, puis appuyez sur Lecture après vous être assuré que le casque et l’appareil sont connectés au même réseau WiFi. Le casque devrait maintenant afficher Receiving....

Faites glisser le modèle d’objet 3D dans la barre hiérarchique de gauche, ouvrez le menu déroulant et faites glisser le modèle par défaut dans la fenêtre contextuelle Ajuster le pivot sous Remplacer l’objet.

Cliquez maintenant sur Appliquer les objets sélectionnés, puis ouvrez la liste déroulante Medical_Object dans le menu Hiérarchie et choisissez l’ancre. Choisissez Déplacer le pivot de Medical_Object ici dans la fenêtre contextuelle Ajuster le pivot.

Faites glisser le fichier de texture dans la zone (Texture 2D) de la fenêtre contextuelle Ajuster le pivot, sélectionnez Appliquer le fichier de texture sélectionné et appuyez sur le bouton Lecture.

Utilisez maintenant les commandes vocales Ouvrir pour initialiser l’hologramme, Repositionner pour placer l’objet au centre de la vue s’il n’est pas visible, Verrouiller la taille pour garder l’objet dans la taille actuelle, Déverrouiller la taille pour modifier la taille de l’objet et Retour à l’échelle pour restaurer l’objet à la taille anatomique.

Pincez avec l’index et le pouce pour redimensionner, déplacer et faire pivoter l’objet. Contrôlez l’objet en mode mains libres à l’aide des commandes vocales Droite ou Gauche pour pivoter, Plus grand ou Plus petit pour redimensionner et Augmenter ou diminuer la transparence pour ajuster sa transparence.

Pour réaligner l’hologramme, placez le pouce et l’index ensemble pour saisir l’objet, puis réalignez-le contre le lit de résection et relâchez l’objet à l’endroit virtuel souhaité. Enfin, utilisez les commandes vocales Verrouiller ou Déverrouiller pour fixer l’hologramme à sa place.