Chirurgia automatica nella sostituzione transcatetere della valvola aortica utilizzando la realtà aumentata

Summary

Questo articolo presenta la progettazione e l'implementazione di un modulo di chirurgia automatica basato sulla ricostruzione 3D basata sulla realtà aumentata (AR). Il sistema consente la chirurgia remota consentendo ai chirurghi di ispezionare le caratteristiche ricostruite e replicare i movimenti chirurgici della mano come se stessero eseguendo l'intervento chirurgico nelle immediate vicinanze.

Abstract

La realtà aumentata (AR) è molto richiesta nelle applicazioni mediche. L'obiettivo del documento è quello di fornire la chirurgia automatica utilizzando l'AR per la sostituzione transcatetere della valvola aortica (TAVR). La TAVR è la procedura medica alternativa per la chirurgia a cuore aperto. La TAVR sostituisce la valvola danneggiata con quella nuova utilizzando un catetere. Nel modello esistente, viene fornita la guida remota, mentre l'intervento chirurgico non è automatizzato in base all'AR. In questo articolo, abbiamo implementato una telecamera spazialmente allineata collegata a un motore per l'automazione dell'acquisizione delle immagini nell'ambiente chirurgico. La telecamera traccia l'immagine 2D ad alta risoluzione del cuore del paziente insieme al banco di prova del catetere. Queste immagini acquisite vengono caricate utilizzando l'app mobile su un chirurgo remoto esperto di cardiologia. Questa immagine viene utilizzata per la ricostruzione 3D dal tracciamento delle immagini 2D. Questo viene visualizzato in un HoloLens come un emulatore in un laptop. Il chirurgo può ispezionare in remoto le immagini ricostruite in 3D con funzioni di trasformazione aggiuntive come la rotazione e il ridimensionamento. Queste funzioni di trasformazione vengono abilitate tramite i gesti delle mani. La guida del chirurgo viene trasmessa all'ambiente chirurgico per automatizzare il processo in scenari in tempo reale. Il banco di prova del catetere in campo chirurgico è controllato dalla guida gestuale della mano del chirurgo remoto. Il prototipo sviluppato dimostra l'efficacia della guida chirurgica remota attraverso l'AR.

Introduction

L'AR può sovrapporre il modello 3D in un ambiente reale. Lo sviluppo tecnologico verso l'AR ha fatto un cambiamento di paradigma in molti campi, vale a dire l'istruzione¹, la medicina², la produzione³ e l'intrattenimento⁴. La tecnologia AR, insieme alla comunicazione ultra-affidabile a bassa latenza, dimostra il suo ruolo inevitabile in campo medico. Dalla fase di apprendimento dell'anatomia umana alla guida chirurgica, le fasi di apprendimento possono essere visualizzate con software e hardware basati su AR ^5,6. L'AR fornisce una soluzione cruciale e affidabile per il medico in un ambiente chirurgico ^7,8.

La stenosi della valvola aortica è la malattia delle valvole cardiache, che è più comune tra l'umanità⁹. La causa principale della malattia sono le cattive abitudini alimentari e le routine irregolari della vita quotidiana. Il sintomo e il risultato della malattia è il restringimento della valvola cardiaca, seguito da una riduzione del flusso sanguigno. Questo problema deve essere affrontato prima che si verifichi un danno al cuore umano. Pertanto, il cuore è sovraccaricato per elaborare il flusso sanguigno. Quindi, prima che si verifichino danni, è necessario eseguire un intervento chirurgico che, a causa degli sviluppi tecnologici degli ultimi giorni, può essere eseguito anche con la procedura TAVR. La procedura può essere adottata in base alle condizioni del cuore e di altre parti del corpo dei pazienti. In questa TAVR^10,11, il catetere viene inserito per sostituire la valvola danneggiata nel cuore. Tuttavia, posizionare la posizione¹² del catetere per sostituire la valvola è noioso per il professionista. Questa idea ci ha motivato a progettare un modello di chirurgia automatizzata basato su AR^13,14, che aiuta il chirurgo a posizionare con precisione la valvola durante il processo di sostituzione. Inoltre, l'intervento chirurgico può essere eseguito da un algoritmo di mappatura del movimento, che mappa il movimento del chirurgo catturato da una posizione remota al braccio robotico.

Nel lavoro esistente 15,16,17, la visualizzazione della procedura TAVR¹⁸ è monitorata attraverso la fluoroscopia. Pertanto, è difficile analizzare la valvola cardiaca e noioso trovare la posizione di sostituzione. Questo crea una barriera al posizionamento del catetere nel cuore umano. Inoltre, il movimento remoto è mappato sul campo chirurgico per automatizzare il processo. Tuttavia, per superare il divario di ricerca, proponiamo una chirurgia robotica automatizzata per la sostituzione delle valvole utilizzando la tecnologia assistita da AR.

Il protocollo è un modello generico che può essere applicato a tutti gli ambienti chirurgici. Nella fase iniziale del lavoro, le immagini 2D vengono catturate in tutto l'ambiente chirurgico con la massima risoluzione spaziale del massimo grado di libertà. Ciò significa che viene catturato un numero sufficiente di immagini per la ricostruzione 3D¹⁹ , seguita dalla mappatura del movimento attraverso il tracciamento dei gesti delle mani²⁰.

Protocol

1. Ambiente chirurgico

1. Progettare un ambiente chirurgico come mostrato nella Figura 1. Assicurati che l'ambiente abbia un piatto portaoggetti, un braccio robotico e due bracci sospesi lateralmente, uno per contenere un segnaposto della fotocamera e l'altro per avere uno sfondo bianco uniforme insieme al modulo di pesatura per la bilancia.
2. Sviluppare due driver, uno per l'istantanea dell'ambiente chirurgico in tempo reale, come indicato nei passaggi da 2.1 a 2.10, e l'altro per controllare il meccanismo di rotazione che supporta la sorveglianza a 360°, come indicato nei passaggi da 3.1 a 3.4.
3. Prima di implementare i due moduli precedenti, abilitare il Bluetooth del dispositivo mobile e del laptop, che fungono da emulatore HoloLens del chirurgo.
4. Associa i dispositivi per una trasmissione ininterrotta delle immagini.

2. Impostazione del driver per controllare i due bracci sospesi

1. Assicurarsi che i bracci di sospensione siano controllati da un motore passo-passo con la disposizione come mostrato in Figura 2 per una rotazione impeccabile di 360°.
2. Collegare il motore alla scheda del microcontrollore utilizzando il driver TB 6600. Per far funzionare il motore, installare l'IDE del microcontrollore dal browser.
3. Fare clic sul pulsante Download per scaricare il software. Quindi, nell'IDE del microcontrollore, vai su File > Apri un nuovo schizzo per scrivere il codice.
4. Assicurati di collegare la scheda del microcontrollore per interfacciarti con il nuovo schizzo tramite una porta di connessione dedicata, ad esempio COM 4. Controllare la porta Com e verificare che mostri la scheda del microcontrollore.
5. Controllare le impostazioni dell'interruttore hardware del driver del motore passo-passo TB 6600. Assicurarsi che le impostazioni siano tali che il flusso di corrente sia di 2 A, che può essere ottenuto impostando SW4 ON e SW5 e SW6 OFF.
6. Assicurarsi che le posizioni degli interruttori di SW1, SW2 e SW3 siano impostate in modo che il micro-passo sia di 1/8 di passo per raggiungere i passi di rivoluzione secondo il requisito. Assicurarsi che le impostazioni siano SW1 OFF, SW2 ON e SW3 OFF in TB6600.
7. Collega RTC 3231 con il microcontrollore per avere una sincronizzazione dell'ora globale reale. Assicurarsi che la dimensione del passo di giro sia di 12° e che l'incremento del passo del motore venga attivato solo quando l'unità di misura in tempo reale, cioè i secondi letti dal modulo RTC, è in numero dispari.
8. Collegare il pin da 5 V della scheda del microcontrollore al VCC dell'RTC e la GND del microcontrollore alla GND dell'RTC.
9. Collegare il pin SCL di RTC al pin A0 e l'SDA al pin A1 del microcontrollore. Questo modulo può garantire una dimensione del passo di 12°, effettuando 30 passi in un giro. Assicurati che l'incremento del passaggio avvenga ogni secondo dispari. Lascia che questo modulo software guidi il motore passo-passo²¹.
10. Verificare che l'installazione funzioni correttamente eseguendo il codice, disponibile nella pagina GitHub: https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
11. Scarica Android Studio per sviluppare l'app della fotocamera automatica. Assicurati che i requisiti di sistema siano soddisfatti, quindi scarica il software dal sito web.

3. Sviluppo di un driver per la sorveglianza delle scene basata su dispositivi mobili e la trasmissione di immagini come modulo client

1. Sviluppa un'applicazione fotocamera nel sistema operativo Android in grado di scattare istantanee ogni 2 s, soprattutto quando i secondi sono numeri dispari.
2. Collegare il telefono cellulare al sistema. In Android Studio, fai clic su Nuovo > Nuovo progetto e scegli Attività visualizzazioni vuote. Fare clic su Avanti per sviluppare un codice Android, disponibile all'indirizzo https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.
3. Assicurati che l'app acquisisca automaticamente le immagini e le invii in modo coerente a un dispositivo remoto.
4. Trasmetti le istantanee dall'app mobile subito dopo aver scattato l'istantanea al dispositivo associato, ovvero al sistema del chirurgo remoto, tramite Bluetooth.
   NOTA: Assicurarsi che i moduli menzionati nelle sezioni 2 e 3 vengano eseguiti in sincronizzazione dell'ora, uno per ogni numero pari di secondi e l'altro per ogni numero dispari di secondi.

4. Sviluppo di un modulo client per la ricezione e la gestione delle immagini di sorveglianza

1. Aprire il modulo server, che è un'interfaccia utente grafica.
2. Immettere il numero di porta VVID nel campo di testo VVID, il cui valore predefinito è 94f39d29 7d6d 437d 973b fba39e49d4ee.
3. Fare clic su Crea socket per creare e associare il socket. Fare clic su Connetti per stabilire una connessione con l'app mobile.
4. Fare clic su Acquisisci per acquisire e salvare le immagini di sorveglianza della scena nella cartella locale
5. Immettere il nome della cartella locale nel campo nome della cartella se deve essere diverso da quello predefinito menzionato.

5. Azionamento del braccio robotico

1. Lascia che il modulo client includa anche un braccio robotico. Progetta il braccio in modo che abbia un movimento rotatorio alla base, alla spalla, al gomito, al polso e alle dita.
2. Assicurarsi che i servi MG 996R vengano utilizzati per regolare il movimento rotatorio alla base, alla spalla e al gomito. Assicurarsi che il servomotore SG 90 venga utilizzato per controllare il movimento rotatorio sul gomito e sulle dita.
3. Compilare il codice fornito in https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR nell'IDE del microcontrollore per pilotare il braccio robotico in base ai comandi ricevuti dal chirurgo remoto.

Ricostruzione 6. 3D per la realtà aumentata

1. Leggere due immagini alla volta in sequenza, una per una, dalla cartella locale per ottenere l'eventuale sovrapposizione (poiché le immagini vengono raccolte in stretta prossimità, ci sarà una sovrapposizione tra le immagini consecutive) tra di esse.
2. Progettare un filtro terziario secondo i requisiti della descrizione delle funzioni intensificate direzionali utilizzando l'algoritmo DITF (Tertiary Filtering²² ) per ottenere il gradiente e l'orientamento.
3. Estrarre le feature utilizzando il metodo DITF²², come mostrato nella Figura 3.
4. Ricostruisci le immagini 3D dalle caratteristiche raccolte utilizzando SFM²³.

7. Riconoscimento dei gesti delle mani presso la sede del chirurgo

1. Facilita il chirurgo nell'ispezione delle caratteristiche dell'immagine ricostruita in 3D consentendogli di visualizzare l'ambiente da tutte le prospettive fornendo una rotazione basata sui gesti della mano e lo zoom avanti/indietro delle caratteristiche ricostruite.
2. Normalizza e mappa la distanza tra la punta del pollice del chirurgo e l'indice della mano destra in un angolo di rotazione corrispondente. Sia la normalizzazione tale che la distanza minima nuda corrisponda a 0° e la massima a 180°.
3. Trasmetti il controllo gestuale della mano, tramite Bluetooth, all'ambiente chirurgico remoto e alla rotazione del piatto dell'oggetto, che lo fa ruotare sul proprio asse mentre le caratteristiche ricostruite in 3D ruotano all'estremità del chirurgo.
4. Trova la distanza tra la punta e il pollice della mano sinistra del chirurgo per controllare il movimento delle dita del braccio robotico.
5. Misurare l'angolo di elevazione dalla distanza spaziale tra la punta del pollice e l'indice della mano sinistra del chirurgo rispetto a un piano di base x-y immaginario per determinare l'angolo di elevazione. Mappa questo angolo in un angolo di elevazione che il braccio del robot può fare con il piano x-y.
6. Trova l'angolo di azimut che la mano del chirurgo fa con quella del piano y-z virtuale. Identifica questi angoli attraverso il riconoscimento basato sui gesti delle mani.
7. Mappare la distanza, l'elevazione e gli angoli di azimut per controllare il movimento delle dita del robot e la rotazione del braccio, che corrispondono entrambi agli angoli di elevazione e azimut.
8. Lascia che il chirurgo ispezioni le caratteristiche ricostruite ingrandendo e ruotando. Lascia che il chirurgo trasmetta i comandi al braccio robotico per eseguire l'intervento chirurgico da una postazione remota.
9. Assicurarsi che i comandi chirurgici vengano trasmessi come una stringa di controllo della sequenza che inizia con una concomitanza di stringa seguita dai valori per controllare la rotazione del piatto e il controller del braccio robotico. Sia [θ_b, θ_s, θ_e, θ_w, θ_f] l'angolo del vettore costituito da valori, ciascuno corrispondente al segnale di controllo corrispondente alla base, alla spalla, al gomito, al polso e al dito del braccio del robot.
   NOTA: Il link GitHub fornisce il codice per abilitare il controllo dei gesti delle mani in campo chirurgico. https://github.com/Johnchristopherclement/Automatic_Surgery_model_using_AR.

Results

Il protocollo è stato testato con il modello del fantasma del cuore. La Figura 2 mostra la configurazione prevista per la sorveglianza in tempo reale del campo chirurgico con l'aiuto di telecamere distribuite spazialmente. Le telecamere distribuite, come mostrato nella Figura 2, aiutano ad aumentare la risoluzione spaziale del campo per un'efficace ricostruzione 3D. Tuttavia, la realizzazione del posizionamento fisico di tali telecamere in varie posizioni spaziali comporta complessità. Quindi, abbiamo ottimizzato il design della configurazione e abbiamo trovato la soluzione di una disposizione della telecamera orientata spazialmente autonoma ruotata da un motore NEMA azionato da un driver TB6600. Questa struttura è fattibile ed è implementata nel modello e lo stesso è mostrato nella Figura 1.

Nella Figura 1, le istantanee automatiche della fotocamera seguite dalla loro trasmissione tramite protocollo Bluetooth sono governate da un codice Android. Il modulo è organizzato in modo tale che la cattura avvenga una volta ogni secondo dispari e la loro trasmissione avvenga una volta ogni secondo pari, come menzionato nella sezione 3. Il modulo microcontrollore che interfaccia il motore NEMA si occupa di ruotare la struttura una volta ogni secondo pari, in modo da garantire un tempo sufficiente per l'acquisizione di foto senza sfocature. Quindi, in totale, vengono scattate 30 foto con una rotazione di 360° e vengono trasmesse tramite Bluetooth.

Inoltre, nella Figura 1, è mostrata la vista ricostruita in 3D dei descrittori DITF dell'ambiente chirurgico. Va notato che queste ricostruzioni basate su descrittori possono essere ispezionate dai chirurghi mediante zoom e rotazione attraverso la mappatura del movimento della mano. Inoltre, questi movimenti vengono inviati all'ambiente chirurgico per imitare l'intervento chirurgico in modo che il catetere possa essere inserito nel campo reale. La mappatura del movimento viene eseguita in modo tale da essere mappata in sei diverse angolazioni per controllare le parti del robot, vale a dire base, spalla, gomito, polso, pinza e dito. Questi angoli sono indicati in forma vettoriale come [θ_b, θ_s, θ_e, θ_w, θ_f]. Nel vettore dato, il valore θ_pcorrisponde alla mappatura del movimento per ruotare il piatto dell'oggetto umano. Lo stesso θ_pviene utilizzato per orientare il descrittore visualizzato nell'emulatore HoloLens anche al lato del chirurgo.

La Figura 3 mostra le caratteristiche DITF del modello fantasma, che è il passaggio essenziale per la ricostruzione 3D. In base alle caratteristiche estratte, le corrispondenze vengono identificate nella corrispondenza delle immagini. La corrispondenza tra le immagini di riferimento e i vari risultati della rotazione di 45° è mostrata nella Figura 4. La corrispondenza con colori diversi indica chiaramente l'efficacia dell'identificazione e della corrispondenza di caratteristiche simili anche quando le immagini sono in diversi orientamenti di visualizzazione. Nella Figura 5 è inclusa la precisione della mappatura del movimento, che indica che quando la distanza tra le due dita è bassa, la precisione è elevata. Tuttavia, quando la distanza tra le dita aumenta, la precisione inizia a diminuire.

D'altra parte, il tempo impiegato dal modello per elaborare i dati è essenziale in AR. Pertanto, questo parametro è incluso per la convalida del modello proposto, viene misurato il ritardo per l'elaborazione dell'immagine e i risultati vengono verificati con algoritmi esistenti come Oriented FAST e rotated BRIEF (ORB)²⁴ e Boosted Efficient Binary Local Image Descriptor (BEBLID)²⁵. I risultati mostrano che il DITF supera i modelli esistenti, come ORB e BEBLID, in termini di latenza, come mostrato nella Figura 6. Inoltre, il modello di ricostruzione 3D viene convalidato con l'errore di ricostruzione e la cifra mostrata nella Figura 7 indica che l'istogramma è stretto, il che implica che l'errore di ricostruzione è minimo; Mostra che la ricostruzione dell'algoritmo proposto è verificata e convalidata. La Figura 8 mostra l'output della ricostruzione 3D per il modello proposto. Riflette la chiarezza nella visualizzazione e anche i risultati quantitativi dell'immagine vengono verificati utilizzando i grafici. Questi risultati dimostrano che il modello proposto ha estratto tutte le caratteristiche necessarie con la trasformazione di rotazione per ricostruire il modello 3D. Pertanto, l'esperto remoto può avere una visualizzazione e un controllo precisi del campo chirurgico.

Figura 1: Implementazione della configurazione hardware per la chirurgia automatizzata di sostituzione transcatetere della valvola aortica utilizzando la realtà aumentata. (A) Campo chirurgico con un sistema di monitoraggio in tempo reale. (b) Visualizzazione basata sulla realtà aumentata. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Modello atteso dell'ambiente chirurgico. Il modello mostrato è dotato di sorveglianza in tempo reale dell'ambiente chirurgico tramite sensori a telecamera spazialmente distribuiti. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Modello di un cuore umano posto in un banco di prova chirurgico e le sue caratteristiche estratte utilizzando l'algoritmo del descrittore di funzionalità. (A) Modello fantasma a cuore in ingresso. (B) Descrizione della funzione intensificata direzionale utilizzando l'estrazione della funzione di filtraggio terziario del modello fantasma del cuore. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Corrispondenza delle caratteristiche tra due caratteristiche dell'immagine. (A) Descrizione della funzione intensificata direzionale utilizzando l'estrazione della funzione di filtraggio terziario per il modello di fantasma del cuore. (B) Descrizione della funzione di intensificazione direzionale utilizzando l'estrazione della funzione di filtraggio terziario del modello di fantoccio del cuore ruotato di 45°. Le linee indicano la corrispondenza tra le caratteristiche di immagini simili a due diversi orientamenti. Il colore della linea indica le diverse caratteristiche scelte. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Precisione del tracciamento dei gesti delle mani. La figura mostra la precisione percentuale. Il numero di campione (N) viene scelto come 500. La mappatura del movimento viene eseguita 500 volte, di cui viene trovato il numero di mappe corrette. Quindi, l'accuratezza viene calcolata come il rapporto tra la mappatura corretta e il numero totale di campioni. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Latenza della descrizione della funzione direzionale intensificata utilizzando il filtraggio terziario con l'algoritmo FAST orientato e BRIEF ruotato e l'algoritmo di descrittore di immagini locali binarie efficienti potenziate. Viene tracciata la latenza, ovvero il tempo impiegato per estrarre le caratteristiche da un'immagine. Abbiamo scelto N come 500, il che significa che il calcolo del ritardo viene eseguito oltre 500 volte e quindi ne viene calcolata la media. La procedura viene eseguita per tre algoritmi e tracciata. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 7: Distribuzione dell'errore di ricostruzione del modello proposto. L'errore di ricostruzione è l'errore tra l'immagine 3D ricostruita dalla sua caratteristica e l'immagine originale. Il grafico degli errori è un istogramma che indica il conteggio delle occorrenze di un particolare evento. Il conteggio è massimo quando l'errore è zero e decade su entrambi i lati. Questo è il risultato desiderato. La figura indica che la varianza dell'istogramma (densità normale) è inferiore, quindi l'errore dalla media (0) non è molto diffuso in entrambe le direzioni. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 8: Ricostruzione 3D del modello cardiaco. Ogni punto colorato indica il punto ricostruito in 3D dalla funzione corrispondente. A partire da ora, l'algoritmo di ricostruzione delle caratteristiche normalizza il colore e, con ciò, altre caratteristiche vengono colorate. Clicca qui per visualizzare una versione più grande di questa figura.

Discussion

In un lavoro esistente¹⁵, vengono esaminate le scansioni a raggi X e TC per localizzare il catetere nel cuore. Tuttavia, la sostituzione della TAVR AR stabilisce una nuova possibilità nella procedura chirurgica TAVR¹⁸ mediante l'implementazione di un modello automatizzato che utilizza la ricostruzione 3D. Come accennato nella sezione del protocollo, questo lavoro prevede cinque fasi di progettazione. La prima fase del DITF²², menzionata nella sezione 6, che abbiamo proposto nel nostro precedente lavoro²², è migliorata in modo da incorporare il modello nelle applicazioni mediche. La seconda fase della ricostruzione 3D consiste nell'impegnativo compito di costruire il modello 3D da punti 2D. Abbiamo testato il modello con varie immagini di input per convalidare il modello. Per la ricostruzione delle immagini viene adottato l'SFM²³ . La corrispondenza dell'immagine viene misurata con l'aiuto di DITF²², insieme a una matrice di calibrazione. La fase successiva è il tracciamento dei gesti delle mani; l'interfaccia del controllo gestuale della mano nella ricostruzione 3D è un altro compito impegnativo in tempo reale. Il controllo del ridimensionamento e la variazione della rotazione sono integrati con i gesti delle mani per un facile accesso ai modelli 3D da parte dell'esperto remoto. La quarta fase è la creazione di app mobili, che è indicata nella sezione 3 per l'acquisizione automatica delle immagini. Questa app carica i dati all'esperto remoto come modello 3D. La fase finale è la configurazione hardware, che viene dimostrata utilizzando il modello del fantasma del cuore con un braccio robotico, che è automatizzato per inserire il catetere per sostituire la valvola danneggiata del cuore, come mostrato nella Figura 1.

Il metodo sviluppato è quello di eseguire la chirurgia remota dalla sorveglianza della scena dell'ambiente chirurgico utilizzando la realtà aumentata e l'estrazione di funzionalità. I contributi significativi proposti in questo articolo non sono visti in letteratura secondo le nostre migliori conoscenze. Il metodo sviluppato ha una bassa latenza per ricostruire l'immagine 3D dalle caratteristiche. Inoltre, il metodo ha un errore molto basso tra le caratteristiche ricostruite e l'immagine originale. Questa latenza e l'errore sono mostrati rispettivamente nella Figura 6 e nella Figura 7. Le cifre mostrano anche che gli altri algoritmi, vale a dire ORB²⁴ e BEBLID²⁵ , sono inferiori agli standard del metodo proposto.

Le sfide che abbiamo affrontato nello sviluppo del metodo sono la trasmissione basata sul protocollo Bluetooth tra l'app mobile e il server remoto. Poiché l'acquisizione e la trasmissione della scena devono essere completate ogni 2 secondi, è necessaria una comunicazione ad altissima velocità. Spesso finiva in un socket rotto e richiedeva molta gestione delle eccezioni e della routine parallela per un'elaborazione fluida. Oltre a ciò, abbiamo affrontato alcuni problemi durante lo sviluppo e l'implementazione del metodo.

Tuttavia, esistono alcune tecniche di risoluzione dei problemi per risolverli. La comunicazione Bluetooth comporta la scelta del canale corretto o del numero di porta VVID. Inoltre, è necessario assicurarsi di cambiare il dispositivo Bluetooth su entrambe le estremità prima di procedere ulteriormente. Per quanto riguarda la routine basata su microprocessore per azionare il braccio robotico e il braccio di rotazione sospeso, devono essere garantiti i numeri di porta per la comunicazione seriale. Il collegamento del driver del motore, considerando il NEMA e il servomotore, deve essere garantito correttamente. Se non viene eseguito correttamente, il motore NEMA ruota in modo indesiderato, anche se solo il collegamento al driver è errato. I conduttori di due bobine del motore NEMA devono essere identificati correttamente; In caso contrario, il collegamento con il driver potrebbe finire per ruotare in modo indesiderato o addirittura danneggiare il motore. La progettazione di un accoppiatore per sostenere l'impiccagione di un braccio rotante, che pesa circa 1 kg, è stata una sfida. Per risolvere il problema, abbiamo praticato un foro di 1 mm di diametro nell'albero del motore. Anche il bilanciamento di entrambi i lati del braccio, compreso il peso di un dispositivo mobile, è una sfida; In caso contrario, la struttura potrebbe trascinarsi sulla superficie del terreno, il che porterà allo smontaggio o al distacco della struttura dall'albero motore. È necessario garantire un corretto avvitamento della base, della spalla, del gomito, del polso e delle dita del braccio robotico; In caso contrario, le parti potrebbero cadere quando ruota e solleva il peso. L'esecuzione parallela di due moduli dovrebbe essere gestita impostando un ambiente Python appropriato, con thread diversi che eseguono in parallelo per un funzionamento regolare.

I risultati concludono che il modello TAVR¹⁸ automatico proposto è un metodo efficace per la guida chirurgica in AR. Questo modello proposto è flessibile per applicare questo prototipo a qualsiasi intervento chirurgico in campo medico secondo la guida dell'esperto medico. I modelli basati sull'apprendimento possono migliorare la ricostruzione 3D. Per ricostruire il modello 3D, è necessario fornire come input più viste con buone immagini di illuminazione; Tuttavia, questo problema può essere affrontato in futuro. Inoltre, in futuro, vorremmo sviluppare una trasmissione basata sulla comunicazione 5G per garantire una bassa latenza e una comunicazione ultra-affidabile per un funzionamento impeccabile e regolare. Inoltre, vorremmo sviluppare il nostro dispositivo AR invece di un emulatore attualmente in uso. Ciò può migliorare la visualizzazione del modello 3D in un ambiente chirurgico dal vivo.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Il software	Android IDE	https://developer.android.com/studio	software può essere scaricato da questo link
Scheda Arduino	Ardunio Uno	Ardunio Uno	Microcontrollore per l'elaborazione
software arduino		software https://www.arduino.cc/en/software.	Il software può essere scaricato da questo link
Modello fantasma del cuore umano	Produttore ed esportatore di apparecchiature da laboratorio di biologia	B071YBLX2V (8B-ZB2Q-H3MS-1)	modello leggero con 3 parti per l'analisi profonda del cuore.
supporto per cellulare	Humble universale monopoad holder	B07S9KNGVS	Per trasportare il cellulare in campo chirurgico
il software IDE pycharm		https://www.jetbrains.com/pycharm/	software può essere scaricato da questo link
Braccio robotico	Il braccio B08R2JLKYM	P0-E2UT-JSOU)	essere controllato tramite signal.it di controllo ha 5 gradi di libertà di accesso.
servomotore	Kollmorgen Co-Engineers Motors	MG-966R	servomotore ad alta coppia, impulsi servo che vanno da 500 a 2500 microsecondi (µ s), con una frequenza da 50Hz a 333Hz.
	servomotore Kollmorgen Co-Ingegneri  I motori	SG-90R	con carico da 1,8 kg-cm a 2,5 kg-cm possono essere applicati al servo SG-90R.
Motore passo-passo	28BYJ-48	28BYJ-48	Motore passo-passo, 5V DC, frequenza 100 Hz, coppia 1200 Gf.cm
Motore passo-passo	Nema 23	Nema	, 9V - 42 V DC, frequenza 100 Hz