Approccio tecnico per il tracciamento a infrarossi per la navigazione dei tessuti molli con un display olografico montato sulla testa e convalida preclinica

Lo scopo di questo studio presso il Princess Maxima Center for Pediatric Oncology è quello di sviluppare e convalidare un sistema di realtà aumentata. Questo sistema dovrebbe allineare accuratamente gli ologrammi degli organi in movimento. Una sfida sperimentale attuale è la convalida che l'ologramma rimanga accuratamente allineato con la posizione in tempo reale di un organo in movimento.

Attualmente, le tecniche di convalida della realtà aumentata sono state descritte solo per strutture anatomiche rigide come le ossa. Tuttavia, il nostro protocollo offre il vantaggio di poter essere utilizzato per convalidare la realtà aumentata anche per gli organi in movimento. Per iniziare, apri il software di progettazione assistita da computer 3D e crea un nuovo file.

Selezionare la scheda Solido e fare clic su Crea schizzo per iniziare un nuovo progetto per un marcatore a infrarossi. Aggiungi tre o quattro piccoli cerchi con un diametro di tre millimetri premendo Center Diameter Circle. Utilizzando lo strumento Linea, collegare i vertici del triangolo ai punti medi dei lati opposti e tracciare le linee che collegano i cerchi per calcolare il punto centrale.

Nel punto centrale, disegna un cerchio utilizzando "Cerchio diametro centrale", quindi disegna rettangoli che collegano questo cerchio centrale con ciascuno dei cerchi più piccoli utilizzando lo strumento Rettangolo a due punti. Estrudere la base circolare centrale e collegare i rettangoli ad uno spessore di due millimetri. Estrudere i cerchi più piccoli fino a uno spessore di cinque millimetri.

Premere Crea, quindi selezionare Filettatura e aggiungere filettature ai tre coni utilizzando un profilo metrico ISO per adattarsi a sfere riflettenti a infrarossi da 6,4 millimetri. Utilizzando la funzione Stampa 3D o Esporta, esporta il modello finale come file oggetto. All'interno del software di progettazione assistita da computer 3D, selezionare Misura per misurare le coordinate x, y e z delle sfere riflettenti a infrarossi rispetto al punto centrale.

Misura le posizioni dei punti centrali di ogni piccolo cerchio in correlazione con il centro dell'intera forma. Avvia il software di sviluppo del gioco. Importare il file di progetto IRTrackingOrgans_HoloLens e aprire il progetto.

Utilizzando un editor di testo, apri il file JavaScript Object Notation salvato nella cartella Assets o StreamingAssets. Adatta il file per definire il marcatore a infrarossi personalizzato utilizzando le coordinate registrate in precedenza e seguendo il formato predefinito. Nella scheda DINO Unity selezionare ToolManager, fare clic su ResearchModeController, seguito da File JSON e Trasformazione padre, quindi fare clic su Crea oggetti Applica impostazione JSON.

Importa il modello di marcatore a infrarossi 3D creato. Seleziona il modello 3D specifico del paziente e modifica le sue coordinate di trasformazione nella finestra dell'Ispettore in modo che corrispondano alla posizione dei marcatori generati nella scena. Quindi trascinare il modello 3D specifico del paziente nella scena per inserirlo.

Trasforma il modello 3D del paziente per allineare il marcatore a infrarossi alla sua superficie. Posizionare l'indicatore a infrarossi vicino al centro del modello per ridurre l'errore di posizione dovuto all'effetto leva. A questo punto, è possibile collegare la scena del paziente a un pulsante nella schermata del menu per consentire la selezione di più casi.

Passa a Vai a Risorse, Scene e Scena menu. Nella finestra Gerarchia passare a NearMenu4x2, quindi a ButtonCollection e selezionare il pulsante pertinente. Nella finestra di Ispettore, andare su Eventi di base e in MenuScript.

LoadScene, digitare il nome della scena del paziente. Crea o ottieni un modello 3D di un fantoccio renale con strutture anatomiche realistiche. Importa il modello 3D in un software di modellazione CAD 3D.

Quindi utilizzare le funzioni Solido, Crea e Foro per integrare cinque punti di rotazione di registrazione sul lato del modello. Impostate il Tipo di foro su Semplice, Tipo di maschio su Semplice, Punta di foratura su Angolo, Altezza su 0,5 millimetri e Diametro su 4,0 millimetri. Per fissare il sensore di riferimento elettromagnetico, creare un cilindro con un foro e integrarlo nel modello del rene.

Iniziate un nuovo schizzo e utilizzate Cerchio diametro centrale (Center Diameter Circle) per disegnare un cerchio e un cerchio interno con un diametro di 2,8 millimetri. Estrudere il cerchio esterno di 16,5 millimetri. Quindi vai su Modifica, seguito da Coalizza.

Selezionate sia il modello 3D del rene che il cilindro, scegliete Unisci (Join) e confermate facendo clic su OK. Quindi utilizzare la funzione Esporta o Stampa 3D per esportare il modello integrato finale. Successivamente, utilizzare un filamento flessibile o semiflessibile, come il poliuretano termoplastico, per stampare il fantoccio del rene seguendo la procedura descritta in precedenza. Posizionare il generatore di campo del sistema di tracciamento elettromagnetico direttamente sotto il fantoccio del rene stampato.

Rimuovere tutti gli oggetti ferromagnetici dall'ambiente circostante per evitare disomogeneità di campo elettromagnetico. Quindi collegare il sensore elettromagnetico e il puntatore elettromagnetico al sistema di tracciamento. Fissare il sensore di riferimento elettromagnetico al modello 3D fissandolo saldamente all'interno del cilindro con la colla.

In 3D Slicer, importare il modello 3D del rene contenente i punti di rotazione. Utilizzare la procedura guidata di registrazione fiduciale. Selezionare Posiziona un punto di controllo e assegnare digitalmente i punti di riferimento di registrazione.

Per eseguire la registrazione dei punti di riferimento in 3D Slicer, utilizzare il puntatore elettromagnetico per individuare i punti di riferimento fisici. Premere Posiziona un punto di controllo in ogni posizione fisica per registrarli nel software. Calcolare quindi la trasformazione di registrazione lineare rigida premendo Aggiorna.

A questo punto, applicare la trasformazione di registrazione calcolata al modello 3D per collegarlo al sensore di riferimento elettromagnetico. Sposta il modello fisico e verifica che la versione digitale in 3D Slicer ne segua il movimento. Avviare il dispositivo di visualizzazione olografica e aprire l'applicazione olografica configurata in precedenza.

Quindi passa al modello 3D corretto specifico per il paziente attualmente visualizzato in 3D Slicer. Ora, attacca il pennarello a infrarossi nella posizione specificata usando la colla, assicurandoti che le sfere riflettenti a infrarossi da 6,4 millimetri montate siano in posizione come guidato dalla pianificazione preoperatoria. Utilizzare il puntatore elettromagnetico per identificare digitalmente i punti target visti attraverso la visualizzazione olografica.

Salva il set risultante di coordinate del sensore EM. Calcola l'errore confrontando le coordinate di destinazione salvate con i punti di riferimento effettivamente posizionati per convalidare l'accuratezza della visualizzazione olografica. In tutti i partecipanti, l'errore di localizzazione del punto, o PLE, ha mostrato un valore mediano di 8,74 millimetri, con misurazioni individuali che vanno da 2,78 a 13,20 millimetri.

Surgeon 2 ha costantemente ottenuto le misurazioni PLE più basse, comprese le due localizzazioni più accurate a 2,78 e 3,48 millimetri. L'errore di localizzazione maggiore è stato osservato durante la terza misurazione da parte del chirurgo 3 con un PLE di 13,20 millimetri. Questo protocollo aiuterà gli altri a implementare progetti olografici e a convalidare accuratamente il loro sistema di realtà aumentata in un ambiente preclinico.

Il nostro gruppo di ricerca chirurgica inizierà presto con il tracciamento olografico automatizzato per più casi di chirurgia pediatrica. Gli organi mobili vengono tracciati in base ad algoritmi di apprendimento automatico e feed di telecamere RGB.