Combiner la réalité augmentée et l'impression 3D pour afficher les modèles de patients sur un smartphone

Ce protocole donne aux utilisateurs inexpérimentés les outils nécessaires pour apporter des solutions de réalité augmentée dans le domaine médical grâce à la construction de leur propre application smartphone. Cette méthode combine la réalité augmentée et l’impression 3D permettant une visualisation rapide et facile des modèles 3D créés à partir de données de base sur le dessus d’un marqueur de référence imprimé 3D. Cette technique peut être appliquée à n’importe quel scénario médical dans lequel une référence imprimée en 3D peut être fixée de façon rigide au patient.

La visualisation de modèles visuels 3D créés à partir de la localisation des données de base qui est ciblée et peut également améliorer le patient Ce protocole a été spécifiquement conçu pour les utilisateurs sans connaissance préalable de l’imagerie médicale ou le développement de logiciels pour aider à l’utilisation de la réalité augmentée dans le domaine médical. Pour créer des modèles 3D de l’anatomie d’un patient, suivez d’abord le fichier d’image médicale dans la fenêtre logicielle 3D Slicer et cliquez sur OK. Pour segmenter l’anatomie du patient, rendez-vous au module d’éditeur de segment en trancheur 3D. Un élément de segmentation sera créé automatiquement lors de l’entrée du module.

Sélectionnez le volume désiré dans la section volume maître et cliquez à droite en dessous de l’image pour sélectionner ajouter pour créer un segment. Dans le panneau d’effets, sélectionnez l’outil le plus pratique pour la cible et segmentez l’image médicale du patient. Pour exporter la segmentation dans un format de fichier modèle 3D, ouvrez le module segmentations.

Dans les modèles d’exportation/importation et les cartes d’étiquettes, sélectionnez l’exportation et les modèles et cliquez sur l’exportation pour créer le modèle 3D à partir de la zone segmentée. Cliquez sur enregistrer et sélectionner les éléments à enregistrer. Ensuite, modifiez le format de fichier du modèle 3D en OBJ.

La segmentation peut être répétée pour créer des modèles 3D supplémentaires de différentes régions anatomiques. Pour le positionnement d’un modèle patient 3D à n’importe quelle position par rapport au marqueur de réalité augmentée, ouvrez le module de position du modèle AR Health et sélectionnez le mode de visualisation. Cliquez sur le modèle de marqueur de charge pour charger le marqueur de cette option, le bouton ellipsis pour sélectionner le chemin du modèle 3D enregistré, et le modèle de charge pour charger le modèle en trancheur 3D.

Cliquez sur la finition et le centre pour centrer tous les modèles dans le marqueur. Utilisez les barres de diapositives pour ajuster la position, l’orientation et l’échelle des modèles 3D par rapport au marqueur souhaité. Sélectionnez ensuite le chemin pour stocker les fichiers et cliquez sur enregistrer les modèles pour enregistrer les modèles à cette position.

Pour combiner le marqueur de réalité augmentée avec un biomodel 3D à n’importe quelle position désirée, ouvrez le module de position du modèle AR Health et dans la section initialisation sélectionnez le mode d’enregistrement. Cliquez sur le modèle marqueur de charge pour charger le marqueur de cette option et déplacer les modèles 3D jusqu’à ce qu’ils se croisent avec la structure de soutien du marqueur cube, en modifiant la hauteur de la base de marqueur si nécessaire. Pour enregistrer le modèle à cette position, sélectionnez le chemin pour stocker les fichiers et cliquez sur enregistrer les modèles.

Si le modèle d’anatomie est trop grand, chargez le biomodel et la structure de soutien du modèle de marqueur cube dans le logiciel de mélangeur de maille. Sélectionnez les deux modèles dans la fenêtre du navigateur objet pour combiner les modèles et utilisez l’outil de coupe ordinaire du menu de modification pour supprimer toutes les sections indésirables du modèle qui ne seront pas imprimées en 3D. Pour enregistrer le modèle à imprimer en 3D, sélectionnez le fichier et exportez et sélectionnez le format désiré.

Pour imprimer en 3D les modèles physiques nécessaires à l’application finale de réalité augmentée, dans le logiciel d’impression 3D, sélectionnez un matériau de couleur blanche pour TwoColorCuebMarker_white. fichier obj et un matériau de couleur noire pour le TwoColorCubeMarker_white. fichier obj.

Utilisez ensuite une imprimante 3D à double extrème pour imprimer en 3D le marqueur cubique en noir et blanc en mode haute qualité avec une petite hauteur de couche. Pour concevoir une application smartphone dans Unity Engine qui inclut les modèles 3D, ouvrez Vuforia Developer et créez un compte. Sélectionnez obtenir la clé de développement pour obtenir une clé de licence de développement gratuit et dans le menu gestionnaire de licence sélectionnez et copiez la clé.

Pour configurer le smartphone, dans l’application Unity version 2019, sous les paramètres de construction dans le menu de fichiers sélectionnez la plate-forme appropriée pour l’appareil. Pour activer Vuforia dans le projet, sélectionnez modifier, définir le projet, les paramètres des joueurs et les paramètres XR et coché la case vuforia augmente la prise en charge de la réalité. Pour créer une caméra de réalité augmentée, sélectionnez la barre de menu, l’objet de jeu, le moteur Vuforia et la caméra AR et importez les composants Vuforia lorsqu’ils sont invités.

Pour ajouter la clé de licence Vuforia dans les paramètres de configuration Vuforia, sélectionnez le dossier ressources, cliquez sur la configuration Vuforia et collez la clé de licence dans la section clé de licence de l’application. Importez le fichier cible Vuforia contenant les fichiers dont Vuforia a besoin pour détecter les marqueurs dans Unity et sélectionnez la barre de menu, l’objet de jeu, le moteur Vuforia et l’image multi pour créer une cible multi Vuforia. Cliquez sur la cible multi pour sélectionner le type de marqueur qui sera utilisé pour la détection et dans l’option de base de données sous un comportement multi-cibles, sélectionnez ARHealth_3dPrintedCube_30x30x30.

Dans l’option multi-cibles sous un comportement multi-cibles, sélectionnez TwoColorCubeMarker ou StickerCubeMarker selon le marqueur. Faites glisser les modèles 3D dans le dossier des modèles et faites glisser le dossier sous l’élément cible multi. Les modèles doivent devenir visibles dans la scène de vue Unity 3D.

Pour changer les couleurs des modèles 3D, créez de nouveaux matériaux et assignez les nouveaux matériaux aux modèles. Si une webcam est disponible, cliquez sur lire pour tester l’application sur l’ordinateur. Si le marqueur est visible à la webcam, il doit être détecté et les modèles 3D doivent apparaître dans la scène.

Si un smartphone Android sera utilisé pour le développement de l’application, sélectionnez les paramètres de build dans Unity et sélectionnez le téléphone branché de la liste. Ensuite, enregistrez le fichier avec une extension apk et laissez le processus se terminer. Si l’application sera déployée sur un appareil iOS, sélectionnez le fichier dans les paramètres de build et enregistrez le fichier.

Pour visualiser l’application, ouvrez l’application sur le smartphone et utilisez l’appareil photo du smartphone pour regarder le marqueur de l’intérieur de l’application à une distance minimale de 40 centimètres. Une fois que l’application détecte le marqueur, les modèles 3D précédemment créés doivent apparaître sur l’écran du smartphone à l’emplacement exact défini pendant la procédure. Utilisant la méthode comme démontré, cette partie du tibia et du péroné affectés d’un patient souffrant du sarcome et de la tumeur distal de jambe ont été segmentées du patient' balayage de CT de s.

Utilisant les outils de segmentation, un biomodel a été créé pour l’os et un biomodel a été créé pour la tumeur. Pour le mode visualisation, les modèles étaient centrés dans la phase supérieure du marqueur. Pour le mode d’enregistrement, l’adaptateur marqueur a été placé dans le tibia et une petite section du tibia a été sélectionnée pour être imprimée en 3D avec un adaptateur marqueur 3D.

L’acide polylactique peut être utilisé pour créer les marqueurs imprimés 3D, les bases des porte-marqueurs et les sections osseuses comme démontré. Ici, un marqueur est attaché à une base imprimée en mode visualisation 3D et ici la pièce jointe est affichée avec le mode d’enregistrement biomodel imprimé 3D. Cette représentation montre comment l’application fonctionne en mode visualisation avec l’hologramme situé avec précision dans la partie supérieure du cube telle qu’elle a été définie précédemment.

En mode enregistrement, le modèle osseux complet peut être placé au-dessus de la section imprimée en 3D avec une visualisation claire et réaliste du marqueur sur le site osseux. Pour utiliser la réalité augmentée pour visualiser des informations importantes sur les patients, vous aurez besoin de plusieurs outils logiciels qui sont librement disponibles ainsi que l’accès à une imprimante 3D et smartphone. Cette procédure peut être appliquée à n’importe quel modèle obtenu à partir de l’imagerie médicale.

Son utilisation peut être étendue à d’autres interventions telles que le positionnement par radiothérapie de l’insertion d’aiguilles. Nous étendons maintenant les applications de ce développement dans de nouveaux domaines cliniques, y compris la chirurgie myofasciale ou orthopédique. Nos recherches initiales sont prometteuses et les commentaires des chirurgiens sont très positifs.