Chirurgie automatique dans le remplacement transcathéter de la valve aortique à l’aide de la réalité augmentée

Summary

Cet article présente la conception et la mise en œuvre d’un module de chirurgie automatique basé sur la reconstruction 3D basée sur la réalité augmentée (RA). Le système permet la chirurgie à distance en permettant aux chirurgiens d’inspecter les caractéristiques reconstruites et de reproduire les mouvements chirurgicaux de la main comme s’ils effectuaient la chirurgie à proximité.

Abstract

La réalité augmentée (RA) est très demandée dans les applications médicales. L’objectif de l’article est de fournir une chirurgie automatique utilisant l’AR pour le remplacement transcathéter de la valve aortique (TAVI). Le TAVI est la procédure médicale alternative pour la chirurgie à cœur ouvert. Le TAVI remplace la valve blessée par la nouvelle à l’aide d’un cathéter. Dans le modèle existant, le guidage à distance est donné, tandis que la chirurgie n’est pas automatisée sur la base de la RA. Dans cet article, nous avons déployé une caméra alignée spatialement qui est reliée à un moteur pour l’automatisation de la capture d’images dans l’environnement chirurgical. La caméra suit l’image 2D haute résolution du cœur du patient ainsi que le banc d’essai du cathéter. Ces images capturées sont téléchargées à l’aide de l’application mobile vers un chirurgien à distance qui est un expert en cardiologie. Cette image est utilisée pour la reconstruction 3D à partir du suivi d’images 2D. Ceci est affiché dans un HoloLens comme un émulateur dans un ordinateur portable. Le chirurgien peut inspecter à distance les images reconstruites en 3D avec des fonctions de transformation supplémentaires telles que la rotation et la mise à l’échelle. Ces fonctionnalités de transformation sont activées par des gestes de la main. Les conseils du chirurgien sont transmis à l’environnement chirurgical pour automatiser le processus en temps réel. Le banc d’essai du cathéter dans le domaine chirurgical est contrôlé par le guidage gestuel de la main du chirurgien à distance. Le modèle prototype développé démontre l’efficacité du guidage chirurgical à distance par AR.

Introduction

La RA peut superposer le modèle 3D dans un environnement réel. Le développement technologique vers la RA a opéré un changement de paradigme dans de nombreux domaines, à savoir l’éducation¹, la médecine², la fabrication³ et le divertissement⁴. La technologie AR, associée à une communication ultra-fiable à faible latence, prouve son rôle incontournable dans le domaine médical. De l’étape d’apprentissage de l’anatomie humaine au guidage chirurgical, les étapes de l’apprentissage peuvent être visualisées à l’aide^{de logiciels et} de matériel alimentés par la RA. La RA fournit une solution cruciale et fiable au médecin dans un environnement chirurgical ^7,8.

La sténose de la valve aortique est la maladie des valves cardiaques, qui est la plus fréquente chez l’humanité⁹. La cause profonde de la maladie est de mauvaises habitudes alimentaires et des routines irrégulières de la vie quotidienne. Le symptôme et le résultat de la maladie est le rétrécissement de la valve cardiaque, suivi d’une réduction du flux sanguin. Ce problème doit être résolu avant que tout dommage ne soit causé au cœur humain. Ainsi, le cœur est surchargé pour traiter le flux sanguin. Ainsi, avant que tout dommage ne se produise, une intervention chirurgicale doit être effectuée, ce qui, en raison des développements technologiques de ces derniers jours, peut également être effectué à l’aide de la procédure TAVI. La procédure peut être adoptée en fonction de l’état du cœur et d’autres parties du corps des patients. Dans ce TAVI^10,11, le cathéter est inséré pour remplacer la valve endommagée dans le cœur. Cependant, placer le cathéter en position¹² pour remplacer la valve est fastidieux pour le praticien. Cette idée nous a motivés à concevoir un modèle de chirurgie automatisé basé sur l’AR^13,14, qui aide le chirurgien à positionner précisément la valve pendant le processus de remplacement. De plus, l’opération peut être réalisée par un algorithme de cartographie du mouvement, qui cartographie le mouvement du chirurgien capturé à distance jusqu’au bras robotique.

Dans le travail existant 15,16,17, la visualisation de la procédure TAVI ¹⁸ est surveillée par fluoroscopie. Par conséquent, il est difficile d’analyser la valve cardiaque et fastidieux de trouver l’emplacement de remplacement. Cela crée un obstacle au positionnement du cathéter dans le cœur humain. De plus, le mouvement à distance est mappé au champ opératoire pour automatiser le processus. Cependant, pour combler le manque de recherche, nous proposons une chirurgie robotisée automatisée pour le remplacement des valves à l’aide de la technologie assistée par AR.

Le protocole est un modèle générique qui peut être appliqué à tous les environnements chirurgicaux. Au début du travail, des images 2D sont capturées tout autour de l’environnement chirurgical avec la résolution spatiale la plus complète et le plus grand degré de liberté. Cela signifie qu’un nombre suffisant d’images sont capturées pour la reconstruction 3D¹⁹ objectif, suivie d’une cartographie de mouvement par le suivi des gestes de la main²⁰.

Protocol

1. Environnement chirurgical

1. Concevez un environnement chirurgical comme illustré à la figure 1. Assurez-vous que l’environnement dispose d’un plateau de transport d’objets, d’un bras robotique et de deux bras suspendus sur le côté, l’un pour tenir un espace réservé à la caméra et l’autre pour avoir un fond blanc cohérent avec le module de pesée pour l’équilibre.
2. Développer deux pilotes, l’un pour l’instantané de l’environnement chirurgical en direct, comme mentionné aux étapes 2.1 à 2.10, et l’autre pour contrôler le mécanisme rotatif qui prend en charge la surveillance à 360°, comme mentionné aux étapes 3.1 à 3.4.
3. Avant d’implémenter les deux modules ci-dessus, activez Bluetooth de l’appareil mobile et de l’ordinateur portable, qui servent d’émulateur HoloLens du chirurgien.
4. Associez les appareils pour une transmission d’image ininterrompue.

2. Configuration du conducteur pour contrôler les deux bras de suspension

1. Assurez-vous que les bras suspendus sont contrôlés par un moteur pas à pas avec la disposition indiquée sur la figure 2 pour une révolution sans faille de 360°.
2. Connectez le moteur à la carte du microcontrôleur à l’aide du pilote TB 6600. Pour faire fonctionner le moteur, installez l’IDE du microcontrôleur à partir du navigateur.
3. Cliquez sur le bouton Télécharger pour télécharger le logiciel. Ensuite, dans l’IDE du microcontrôleur, allez dans Fichier > Ouvrir un nouveau croquis pour écrire le code.
4. Assurez-vous de connecter la carte du microcontrôleur pour s’interfacer avec le nouveau croquis via un port de connexion dédié, par exemple COM 4. Vérifiez le port Com et assurez-vous qu’il affiche la carte du microcontrôleur.
5. Vérifiez les paramètres du commutateur matériel du pilote de moteur pas à pas TB 6600. Assurez-vous que les réglages sont tels que le flux de courant soit de 2 A, ce qui peut être atteint en réglant SW4 ON et SW5 et SW6 OFF.
6. Assurez-vous que les positions des commutateurs SW1, SW2 et SW3 sont réglées de manière à ce que le micro-pas soit de 1/8 pas pour atteindre les pas de révolution conformément aux exigences. Assurez-vous que les paramètres sont SW1 OFF, SW2 ON et SW3 OFF dans le TB6600.
7. Connectez le RTC 3231 au microcontrôleur pour avoir une véritable synchronisation temporelle globale. Assurez-vous que la taille du pas de tour est de 12° et que l’incrément du pas du moteur n’est déclenché que lorsque l’unité temps réel, c’est-à-dire les secondes lues à partir du module RTC, est en nombre impair.
8. Connectez la broche 5 V de la carte du microcontrôleur au VCC RTC et le GND du microcontrôleur au GND du RTC.
9. Connectez la broche SCL du RTC à la broche A0 et le SDA à la broche A1 du microcontrôleur. Ce module peut assurer une taille de pas de 12°, soit 30 pas en un tour. Assurez-vous que l’incrément d’étape se produit toutes les secondes impaires. Laissez ce module logiciel piloter le moteur pas à pas²¹.
10. Vérifiez que le programme d’installation fonctionne correctement en exécutant le code, qui est disponible sur la page GitHub : https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
11. Téléchargez Android Studio pour développer l’application appareil photo automatique. Assurez-vous que la configuration système requise est respectée, puis téléchargez le logiciel à partir du site Web.

3. Développement d’un pilote pour la surveillance de scène et la transmission d’images sur mobile en tant que module client

1. Développez une application d’appareil photo dans le système d’exploitation Android qui peut prendre des instantanés toutes les 2 s, en particulier lorsque les secondes sont des nombres impairs.
2. Connectez le téléphone portable au système. Dans Android Studio, cliquez sur Nouveau > Nouveau projet , puis choisissez Activité des vues vides. Cliquez sur Suivant pour développer un code Android, qui est disponible à l’adresse https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
3. Assurez-vous que l’application capture automatiquement les images et les envoie de manière cohérente à un appareil distant.
4. Envoyez des instantanés de l’application mobile immédiatement après avoir pris l’instantané à l’appareil couplé, c’est-à-dire au système du chirurgien à distance, via Bluetooth.
   REMARQUE : Assurez-vous que les modules mentionnés dans les sections 2 et 3 fonctionnent en synchronisation temporelle, l’un pour chaque nombre pair de secondes et l’autre pour chaque nombre impair de secondes.

4. Développement d’un module client pour la réception et le traitement des images de surveillance

1. Ouvrez le module serveur, qui est une interface utilisateur graphique.
2. Entrez le numéro de port VVID dans le champ de texte VVID, dont la valeur par défaut est 94f39d29 7d6d 437d 973b fba39e49d4ee.
3. Cliquez sur Créer une châsse pour créer et lier la châsse. Cliquez sur Connecter pour établir une connexion avec l’application mobile.
4. Cliquez sur Capturer pour capturer et enregistrer les images de surveillance de la scène dans le dossier local
5. Entrez le nom du dossier local dans le champ Nom du dossier s’il doit être différent de celui par défaut mentionné.

5. Fonctionnement du bras robotique

1. Le module client comprend également un bras robotique. Concevez le bras de manière à ce qu’il ait un mouvement de rotation dans sa base, son épaule, son coude, son poignet et ses doigts.
2. Assurez-vous que les servos MG 996R sont utilisés pour réguler le mouvement de rotation à la base, à l’épaule et au coude. Assurez-vous que le servomoteur SG 90 est utilisé pour contrôler le mouvement de rotation au niveau du coude et des doigts.
3. Compilez le code donné en https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR dans l’IDE du microcontrôleur pour piloter le bras robotique en fonction des commandes reçues du chirurgien à distance.

6. 3D reconstruction pour la réalité augmentée

1. Lisez deux images à la fois dans une séquence, une par une, à partir du dossier local pour obtenir le chevauchement possible (comme les images sont collectées à proximité, il y aura un chevauchement entre les images consécutives) entre elles.
2. Concevez un filtre tertiaire conformément aux exigences de la description directionnelle intensifiée des caractéristiques à l’aide de l’algorithme Tertiary Filtering²² (DITF) pour obtenir le gradient et l’orientation.
3. Extrayez les caractéristiques à l’aide de la méthode DITF²², comme illustré à la figure 3.
4. Reconstruisez des images 3D à partir des caractéristiques collectées à l’aide de SFM²³.

7. Reconnaissance des gestes de la main à l’emplacement du chirurgien

1. Facilitez l’inspection par le chirurgien des caractéristiques de l’image reconstruite en 3D en lui permettant de visualiser l’environnement sous tous les angles en fournissant une rotation basée sur les gestes de la main et un zoom avant/arrière des caractéristiques reconstruites.
2. Normalisez et cartographiez la distance entre l’extrémité du pouce du chirurgien et l’index de la main droite dans un angle de rotation correspondant. Soit la normalisation de telle sorte que la distance minimale minimale corresponde à 0° et la distance maximale à 180°.
3. Transmettez le contrôle gestuel de la main, via Bluetooth, à l’environnement de chirurgie à distance ainsi que pour la rotation du plateau d’objets, ce qui le fait tourner sur son axe comme les éléments reconstruits en 3D tournent à l’extrémité du chirurgien.
4. Trouvez la distance entre la pointe et le pouce de la main gauche du chirurgien pour contrôler le mouvement des doigts du bras du robot.
5. Mesurer l’angle d’élévation à partir de la distance spatiale entre l’extrémité du pouce et l’index de la main gauche du chirurgien par rapport à un plan de sol x-y imaginaire pour déterminer l’angle d’élévation. Cartographiez cet angle en un angle d’élévation que le bras du robot peut faire avec le plan x-y.
6. Trouvez l’angle d’azimut que la main du chirurgien fait avec celle du plan virtuel y-z. Identifiez ces angles grâce à la reconnaissance basée sur les gestes de la main.
7. Cartographiez la distance, l’élévation et les angles d’azimut pour contrôler le mouvement des doigts et la rotation du bras du robot, qui correspondent tous deux aux angles d’élévation et d’azimut.
8. Laissez le chirurgien inspecter les caractéristiques reconstruites en zoomant et en tournant. Laissez le chirurgien transmettre des commandes au bras robotique pour effectuer une intervention chirurgicale à distance.
9. Assurez-vous que les commandes de chirurgie sont transmises sous la forme d’une chaîne de contrôle de séquence commençant par une corde de concurrence suivie des valeurs de contrôle de la rotation du plateau et du contrôleur du bras robotique. Soit [θ_b, θ_s, θ_e, θ_w, θ_f] l’angle du vecteur constitué de valeurs, chacune correspondant au signal de commande correspondant à la base, à l’épaule, au coude, au poignet et au doigt du bras du robot.
   REMARQUE : Le lien GitHub fournit le code permettant d’activer le contrôle gestuel de la main dans le domaine chirurgical. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

Le protocole a été testé avec le modèle du fantôme cardiaque. La figure 2 montre la configuration attendue pour la surveillance en direct du champ opératoire à l’aide de caméras distribuées dans l’espace. Les caméras distribuées, comme le montre la figure 2, aident à augmenter la résolution spatiale du champ pour une reconstruction 3D efficace. Cependant, la réalisation de l’emplacement physique de ces caméras dans divers endroits spatiaux implique de la complexité. Nous avons donc optimisé la conception de la configuration et proposé la solution d’une disposition de caméra auto-orientée dans l’espace, tournée par un moteur NEMA entraîné par un pilote TB6600. Cette structure est réalisable et est implémentée dans le modèle, comme le montre la figure 1.

Dans la figure 1, les instantanés automatiques de l’appareil photo suivis de leur transmission via le protocole Bluetooth sont régis par un code Android. Le module est organisé de telle sorte que la capture a lieu une fois toutes les secondes impaires, et leur transmission se fait une fois toutes les secondes paires, comme mentionné dans la section 3. Le module de microcontrôleur qui interface le moteur NEMA se charge de faire pivoter la structure une fois toutes les secondes afin de garantir suffisamment de temps pour une capture de photos non floue. Ainsi, au total, 30 photos sont prises sur 360° de rotation, et elles sont transmises via Bluetooth.

De plus, la figure 1 montre la vue reconstruite en 3D des descripteurs DITF de l’environnement chirurgical. Il est à noter que ces reconstructions basées sur des descripteurs peuvent être inspectées par les chirurgiens en zoomant et en tournant grâce à la cartographie des mouvements de la main. De plus, ces mouvements sont envoyés à l’environnement chirurgical pour imiter la chirurgie afin que le cathéter puisse être inséré dans le champ réel. La cartographie du mouvement est effectuée de telle manière qu’ils sont cartographiés dans six angles différents pour contrôler les parties du robot, à savoir la base, l’épaule, le coude, le poignet, la pince et le doigt. Ces angles sont notés sous forme vectorielle par [θ_b, θ_s, θ_e, θ_w, θ_f]. Dans le vecteur donné, la valeur θ_pcorrespond à la cartographie du mouvement pour faire pivoter le plateau de l’objet humain. Le même θ_pest utilisé pour orienter le descripteur affiché dans l’émulateur HoloLens du côté du chirurgien également.

La figure 3 montre les caractéristiques DITF du modèle fantôme, qui est l’étape essentielle pour la reconstruction 3D. Sur la base des caractéristiques extraites, les correspondances sont identifiées dans la correspondance d’images. La correspondance entre les images de référence et les différents résultats de rotation de 45° est illustrée à la figure 4. La correspondance avec des couleurs différentes indique clairement l’efficacité de l’identification et de la correspondance de caractéristiques similaires, même lorsque les images sont dans des orientations de vue différentes. Dans la figure 5, la précision de la cartographie du mouvement est incluse, ce qui indique que lorsque la distance entre les deux doigts est faible, la précision est élevée. Cependant, lorsque la distance entre les doigts augmente, la précision commence à diminuer.

D’autre part, le temps nécessaire au modèle pour traiter les données est essentiel en AR. Par conséquent, ce paramètre est inclus pour la validation du modèle proposé, le délai de traitement de l’image est mesuré et les résultats sont vérifiés avec des algorithmes existants tels que Oriented FAST et rotated BRIEF (ORB)²⁴ et Boosted Efficient Binary Local Image Descriptor (BEBLID)²⁵. Les résultats montrent que le DITF surpasse les modèles existants, tels que ORB et BEBLID, en termes de latence, comme le montre la figure 6. En plus de cela, le modèle de reconstruction 3D est validé avec l’erreur de reconstruction, et la figure illustrée à la figure 7 indique que l’histogramme est étroit, ce qui implique que l’erreur de reconstruction est minime ; Il montre que la reconstruction de l’algorithme proposé est vérifiée et validée. La figure 8 montre le résultat de la reconstruction 3D du modèle proposé. Il reflète la clarté de la visualisation, et les résultats quantitatifs de l’image sont également vérifiés à l’aide des graphiques. Ces résultats prouvent que le modèle proposé a extrait toutes les caractéristiques nécessaires avec la transformation de rotation pour reconstruire le modèle 3D. Par conséquent, l’expert à distance peut avoir une visualisation et un contrôle précis du champ chirurgical.

Figure 1 : Mise en œuvre de la configuration matérielle pour la chirurgie automatisée de remplacement de la valve aortique transcathéter à l’aide de la réalité augmentée. (A) Champ chirurgical avec un système de surveillance en direct. (b) Visualisation basée sur la réalité augmentée. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 2 : Modèle attendu de l’environnement chirurgical. Le modèle présenté est équipé d’une surveillance en direct de l’environnement chirurgical à l’aide de capteurs de caméra répartis dans l’espace. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 3 : Modèle d’un cœur humain placé dans un banc d’essai chirurgical et ses caractéristiques extraites à l’aide d’un algorithme de descripteur de caractéristiques. (A) Modèle de fantôme de cœur d’entrée. (B) Description directionnelle intensifiée des caractéristiques à l’aide de l’extraction de caractéristiques de filtrage tertiaire du modèle de fantôme cardiaque. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 4 : Correspondance de caractéristiques entre deux caractéristiques d’image. (A) Description directionnelle intensifiée de la caractéristique à l’aide de l’extraction de caractéristiques de filtrage tertiaire pour le modèle de fantôme cardiaque. (B) Description directionnelle intensifiée des caractéristiques à l’aide de l’extraction de caractéristiques de filtrage tertiaire d’un modèle de fantôme de cœur tourné à 45°. Les lignes indiquent la correspondance entre les caractéristiques d’images similaires dans deux orientations différentes. La couleur de la ligne indique les différentes caractéristiques choisies. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 5 : Précision du suivi des gestes de la main. La figure montre la précision en pourcentage. Le nombre d’échantillon (N) est choisi pour être 500. Le motion mapping est effectué 500 fois, à partir desquelles le nombre de cartes correctes est trouvé. Ensuite, la précision est calculée comme le rapport entre la cartographie correcte et le nombre total d’échantillons. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 6 : Latence de la description directionnelle intensifiée de la caractéristique à l’aide d’un filtrage tertiaire avec FAST orienté et BRIEF pivoté et algorithme de descripteur d’image locale binaire efficace boosté. La latence, c’est-à-dire le temps nécessaire pour extraire les caractéristiques d’une image, est tracée. Nous avons choisi N comme 500, ce qui signifie que le calcul du retard est effectué plus de 500 fois, puis fait l’objet d’une moyenne. La procédure est effectuée pour trois algorithmes et tracée. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 7 : Distribution des erreurs de reconstruction du modèle proposé. L’erreur de reconstruction est l’erreur entre l’image 3D reconstruite à partir de sa caractéristique et l’image d’origine. Le graphique d’erreurs est un histogramme qui indique le nombre d’occurrences d’un événement particulier. Le nombre est maximal lorsque l’erreur est égale à zéro et qu’il diminue de chaque côté. C’est le résultat souhaité. La figure indique que la variance de l’histogramme (densité normale) est moindre, de sorte que l’erreur de la moyenne (0) n’est pas très répartie dans les deux sens. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Figure 8 : Reconstruction 3D d’un modèle cardiaque. Chaque point coloré indique le point reconstruit en 3D à partir de l’entité correspondante. À partir de maintenant, l’algorithme de reconstruction des caractéristiques normalise la couleur, et avec cela, les autres caractéristiques sont colorées. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Discussion

Dans un travail existant¹⁵, des radiographies et des tomodensitogrammes sont examinés pour localiser le cathéter dans le cœur. Cependant, le remplacement de l’AR TAVI ouvre de nouvelles possibilités dans la procédure chirurgicale TAVR¹⁸ par la mise en œuvre d’un modèle automatisé utilisant la reconstruction 3D. Comme mentionné dans la section protocole, la conception de ce travail comporte cinq étapes. La première étape de DITF²², mentionnée à la section 6, que nous avons proposée dans nos travaux précédents²², est améliorée de manière à intégrer le modèle dans des applications médicales. La deuxième étape de la reconstruction 3D est la tâche difficile de construire le modèle 3D à partir de points 2D. Nous avons testé le modèle avec différentes images d’entrée pour valider le modèle. SFM²³ est adopté pour reconstruire les images. La correspondance de l’image est mesurée à l’aide de DITF²², ainsi que d’une matrice d’étalonnage. L’étape suivante est le suivi des gestes de la main ; l’interface du contrôle gestuel de la main dans la reconstruction 3D est une autre tâche difficile en temps réel. Le contrôle de la mise à l’échelle et la variation de la rotation sont intégrés avec des gestes de la main pour un accès facile aux modèles 3D par l’expert à distance. La quatrième étape est la création d’une application mobile, qui est indiquée dans la section 3 pour la capture automatique d’images. Cette application charge les données pour l’expert à distance sous forme de modèle 3D. La dernière étape est la configuration matérielle, qui est démontrée à l’aide du modèle de fantôme cardiaque avec un bras robotisé, qui est automatisé pour insérer le cathéter afin de remplacer la valve blessée du cœur, comme le montre la figure 1.

La méthode développée consiste à effectuer la chirurgie à distance à partir de la surveillance de la scène de l’environnement chirurgical à l’aide de la réalité augmentée et de l’extraction de caractéristiques. Les contributions significatives proposées dans cet article ne sont pas visibles dans la littérature, à notre connaissance. La méthode développée a une faible latence pour reconstruire l’image 3D à partir des caractéristiques. De plus, la méthode présente une très faible erreur entre les caractéristiques reconstruites et l’image originale. Cette latence et l’erreur sont illustrées respectivement à la figure 6 et à la figure 7. Les figures montrent également que les autres algorithmes, à savoir ORB²⁴ et BEBLID²⁵ , sont inférieurs aux normes de la méthode proposée.

Le défi auquel nous avons été confrontés lors du développement de la méthode est la transmission basée sur le protocole Bluetooth entre l’application mobile et le serveur distant. Comme la capture et la transmission de la scène doivent être effectuées toutes les 2 secondes, il fallait une communication à très haut débit. Il se retrouvait souvent dans un socket cassé et nécessitait beaucoup de gestion des exceptions et de routine parallèle pour un traitement fluide. En plus de cela, nous avons rencontré quelques problèmes lors du développement et de la mise en œuvre de la méthode.

Cependant, il existe quelques techniques de dépannage pour les résoudre. La communication Bluetooth consiste à choisir le bon canal ou le bon numéro de port VVID. De plus, il faut s’assurer de commuter l’appareil Bluetooth à l’une ou l’autre extrémité avant de continuer. En ce qui concerne la routine basée sur un microprocesseur pour piloter le bras du robot et le bras de rotation suspendu, les numéros de port pour la communication série doivent être assurés. La connexion du pilote de moteur, compte tenu de la NEMA et du servomoteur, doit être assurée correctement. S’il n’est pas fait correctement, le moteur NEMA tourne de manière indésirable, même si seule la connexion au pilote est mal faite. Les fils de deux bobines du moteur NEMA doivent être correctement identifiés ; Sinon, la connexion avec le pilote peut finir par tourner de manière indésirable ou même endommager le moteur. La conception d’un coupleur pour supporter la suspension d’un bras rotatif, qui pèse environ 1 kg, a été un défi. Pour résoudre le problème, nous avons percé un trou de 1 mm de diamètre dans l’arbre du moteur. L’équilibre de chaque côté du bras, y compris le poids d’un appareil mobile, est également un défi. Sinon, la structure peut traîner sur la surface du sol, ce qui entraînera la démolition ou la descente de la structure de l’arbre du moteur. Un bon vissage de la base, de l’épaule, du coude, du poignet et des doigts du bras du robot doit être assuré ; Sinon, les pièces peuvent tomber lorsqu’il tourne et soulève le poids. L’exécution parallèle de deux modules doit être prise en charge par la définition d’un environnement Python approprié, avec différents threads fonctionnant en parallèle pour un fonctionnement fluide.

Les résultats concluent que le modèle TAVI^{automatique 18} proposé est une méthode efficace pour le guidage chirurgical en RA. Ce modèle proposé est flexible pour appliquer ce prototype à n’importe quelle chirurgie dans le domaine médical, selon les conseils des experts médicaux. Les modèles basés sur l’apprentissage peuvent améliorer la reconstruction 3D. Pour reconstruire le modèle 3D, plusieurs vues avec de bonnes images d’éclairage doivent être fournies en entrée ; Cependant, cela peut être résolu à l’avenir. De plus, à l’avenir, nous aimerions développer une transmission basée sur la communication 5G afin d’assurer une faible latence et une communication ultra-fiable pour un fonctionnement sans faille et fluide. De plus, nous aimerions développer notre propre appareil AR au lieu d’un émulateur actuellement utilisé. Cela peut améliorer la visualisation du modèle 3D dans un environnement chirurgical en direct.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Le logiciel Android IDE		https://developer.android.com/studio	logiciel peut être téléchargé à partir de ce lien
Carte Arduino	Ardunio Uno	Ardunio Uno	Microcontrôleur pour le traitement du
logiciel arduino		https://www.arduino.cc/en/software.	Le logiciel peut être téléchargé à partir de ce lien
Modèle de fantôme de cœur humain	Fabricant et exportateur d’équipement de laboratoire de biologie	B071YBLX2V (8B-ZB2Q-H3MS-1)	modèle léger avec 3 parties à l’analyse profonde du cœur.
support mobile	Humble support de monopoad universel	B07S9KNGVS	Pour transporter le mobile dans le domaine chirurgical
le logiciel pycharm IDE		https://www.jetbrains.com/pycharm/	le logiciel peut être téléchargé à partir de ce lien
Bras	Printed-bots	B08R2JLKYM(P0-E2UT-JSOU)	bras peut être contrôlé par contrôle signal.it dispose d’une liberté d’accès de 5 degrés.
servomoteur	Kollmorgen Co-Engineers Motors	MG-966R	servomoteur à couple élevé, impulsions servo allant de 500 à 2500 microsecondes (µ ; s), avec une fréquence de 50 Hz à 333 Hz.
servomoteur	Kollmorgen Co-Engineers  ; Les moteurs	SG-90R	d’une charge de 1,8 kg-cm à 2,5 kg-cm peuvent être appliqués au servo SG-90R.
Moteur pas à pas	28BYJ-48	28BYJ-48	Moteur Steper, 5V DC, fréquence 100 Hz, couple 1200 Gf.cm
Moteur pas à pas	Nema 23	Moteur Nema	Steper, 9V - 42 V DC, fréquence 100 Hz