Method Article

Approccio tecnico per il tracciamento a infrarossi per la navigazione dei tessuti molli con un display olografico montato sulla testa e convalida preclinica

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo protocollo offre una guida per implementare il tracciamento dei marcatori a infrarossi per fantocci in movimento libero (ad esempio, organi) e la visualizzazione olografica utilizzando la realtà aumentata. Inoltre, delinea una configurazione per la convalida preclinica di sistemi di navigazione olografica che utilizzano il tracciamento elettromagnetico su fantocci in movimento libero.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

La realtà aumentata (AR) ha il potenziale per migliorare la guida chirurgica sovrapponendo informazioni anatomiche tridimensionali (3D) direttamente sul paziente durante le procedure chirurgiche. Tuttavia, l'implementazione pratica dell'AR incontra sfide significative, in particolare nel tracciare con precisione gli organi che si muovono liberamente durante la manipolazione chirurgica. Di conseguenza, sono necessari metodi affidabili di tracciamento degli organi per mantenere precise sovrapposizioni olografiche intraoperatorie. La convalida preclinica delle visualizzazioni olografiche per quanto riguarda l'accuratezza pone ulteriori sfide e richiede protocolli sperimentali per la valutazione quantitativa. Questo protocollo affronta queste due sfide: descrive un approccio completo per lo sviluppo di applicazioni di visualizzazione AR utilizzando marcatori a infrarossi personalizzati per il tracciamento degli organi in tempo reale utilizzando un display montato sulla testa (HMD) e fornisce un framework di convalida che sfrutta il tracciamento elettromagnetico (EM) per convalidare l'accuratezza olografica negli esperimenti fantasma. Questo lavoro delinea una guida passo passo per la creazione di modelli 3D specifici per il paziente dall'imaging medico, la progettazione e la produzione di marcatori a infrarossi personalizzati, l'integrazione di questi marcatori in un'applicazione AR per un HMD e la loro distribuzione per la navigazione chirurgica. Inoltre, descrive in dettaglio una procedura di convalida utilizzando l'EM-tracking per misurare quantitativamente la precisione delle visualizzazioni olografiche in fantocci renali semi-deformabili. Pertanto, questo protocollo facilita il tracciamento degli organi in tempo reale e stabilisce una metodologia di convalida preclinica. L'implementazione del tracciamento degli organi in tempo reale potrebbe migliorare la guida chirurgica per gli organi in movimento libero sovrapponendo accuratamente gli ologrammi, portando potenzialmente a una migliore accuratezza chirurgica e a migliori risultati per i pazienti.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In oncologia chirurgica, identificare con precisione la posizione del tumore e la relazione con i tessuti sani adiacenti è fondamentale per ottenere una resezione completa del tumore preservando il tessuto sano1. Le resezioni incomplete possono portare a recidiva locale e a una riduzione del tasso di sopravvivenza 2,3, mentre un'eccessiva rimozione di tessuto può compromettere la funzione e la qualità della vita4. I sistemi di navigazione chirurgica sono promettenti nel migliorare le resezioni radicali preservando i tessuti sani, fornendo ai chirurghi una guida intraoperatoria che può potenzialmente portare a migliori risultati clinici5. Tuttavia, i sistemi di navigazione chirurgica convenzionali presentano in genere informazioni anatomiche bidimensionali (2D) su schermi posizionati all'esterno del campo chirurgico. Questo approccio costringe i chirurghi a correlare mentalmente le informazioni 2D visualizzate con l'anatomia tridimensionale (3D) del paziente, aumentando il carico cognitivo6. Sebbene i recenti progressi nella modellazione 3D forniscano ai chirurghi una migliore comprensione della relazione del tumore con le strutture anatomiche circostanti7, queste informazioni sono ancora visualizzate al di fuori dell'area operatoria, mantenendo il problema della messa a fuoco variabile 6,8. Queste limitazioni dei sistemi di navigazione chirurgica possono contribuire a potenziali errori nell'uso della navigazione chirurgica e potenzialmente portare a risultati chirurgici non ottimali9.

Per superare i limiti sopra menzionati, la realtà aumentata (AR) è emersa come una soluzione promettente visualizzando le strutture anatomiche e i bordi di resezione in 3D sul paziente10,11. Sovrapponendo i modelli 3D preoperatori, segmentati in base ai dati della risonanza magnetica (MRI) o della tomografia computerizzata (TC), è possibile visualizzare l'anatomia. Nelle revisioni sistematiche, sono stati evidenziati i potenziali benefici dell'AR per la chirurgia a cielo aperto nei pazienti adolescenti12 e il lavoro preliminare in questo campo dimostra la fattibilità di guide 3D specifiche per il paziente dotate di marcatori visivi per la registrazione automatica13. Van Doormaal et al. hanno sviluppato un sistema di navigazione con un dispositivo AR utilizzando una registrazione basata su punti e un puntatore con un bersaglio di immagine per la neurochirurgia14. Hanno valutato l'applicazione AR sviluppata in sala operatoria su pazienti prima dell'intervento chirurgico e in un esperimento fantasma, che ha mostrato un errore di registrazione fiduciale rispettivamente di 7,2 mm e 4,4 mm.

Nonostante i progressi promettenti, questi sistemi di registrazione sono spesso rigidi, privi di tracciamento in tempo reale degli organi bersaglio e, pertanto, rimane la necessità di un monitoraggio in tempo reale del movimento degli organi15,16. Ciò vale in particolare per gli organi in movimento, che vengono manipolati durante l'intervento chirurgico, come i reni e il fegato, che possono comportare una guida imprecisa, la necessità di una nuova registrazione, che richiede molto tempo, e potenziali danni ai tessuti sani o resezioni errate17. Per affrontare ulteriormente questi problemi, è stato sviluppato un nuovo sistema AR basato su un'applicazione presentata da Iqbal et al. per incorporare marcatori a infrarossi per il tracciamento continuo degli organi18. Questo sviluppo consente alla sovrapposizione AR di adattarsi dinamicamente ai cambiamenti in tempo reale nella posizione dell'organo, mantenendo così l'accuratezza spaziale e migliorando potenzialmente la precisione chirurgica. Combinando la registrazione rigida con il tracciamento dinamico basato su marcatori a infrarossi, questo sistema offre un progresso significativo verso l'ottenimento di una guida olografica accurata e in tempo reale in chirurgia.

Questo protocollo presenta una navigazione AR basata su marcatori a infrarossi e un sistema di convalida preclinica per un display montato sulla testa (HMD). Il nostro obiettivo è sviluppare e convalidare un sistema di navigazione in realtà aumentata in tempo reale per mantenere accurate sovrapposizioni olografiche di organi in movimento in un ambiente preclinico. Innanzitutto, il protocollo fornisce una descrizione di come viene preparata un'applicazione olografica che utilizza marcatori a infrarossi con una dimensione di 32 mm (larghezza) x 15 mm (lunghezza) x 6 mm (altezza) per tracciare organi fantasma in tempo reale, mantenendo la sovrapposizione di ologrammi 3D indipendente dal movimento. Utilizziamo un fantoccio renale, stampato con filamento di poliuretano termoplastico (TPU), come modello di esempio per un organo in movimento. In secondo luogo, fornisce una panoramica su come progettare e stampare marcatori a infrarossi personalizzati e su come integrare questi marcatori nell'applicazione di visualizzazione olografica. Ciò consente ad altri ricercatori e medici di adattare l'applicazione ad altri scenari preclinici di fantocci che prevedono la simulazione di chirurgia a cielo aperto e organi in movimento. Infine, un metodo di convalida basato sul tracciamento elettromagnetico offre misurazioni quantitative per calcolare l'accuratezza, offrendo una convalida preclinica della guida olografica negli esperimenti fantasma. Un limite di questa metodologia è l'assenza di una procedura di registrazione automatizzata, che limita l'accuratezza di questo sistema. Tuttavia, questo approccio aiuta gli utenti a determinare l'adeguatezza della tecnica AR sviluppata per la loro applicazione clinica.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Questo studio ha seguito le linee guida della nostra istituzione e non è stato sottoposto al Medical Research Involving Human Subjects Act (WMO). Pertanto, non era necessario ottenere il consenso informato dei partecipanti.

1. Preparazione di pacchetti hardware e software per la modellazione 3D e l'implementazione di applicazioni AR

  1. Scaricare e installare i seguenti programmi software su un personal computer (PC) con Microsoft Windows 10.
    1. Scarica Unity Hub v3.11.1 e Unity v. 2019.4.22f1 da https://unity.com/download. Includere Visual Studio 2019 durante l'installazione di Unity 2019.4.22f1. Link al manuale: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Scarica MeshMixer v. 3.5.0 da https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64, il link al manuale è https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Scarica 3DSlicer v. 5.6.2 da https://download.slicer.org/, il link al manuale è https://slicer.readthedocs.io/en/latest/
    4. Scarica Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal, il link al manuale è https://help.autodesk.com/view/fusion360/ENU/
    5. Scarica Bambu Studio v. 01.09.07.52 da https://bambulab.com/en/download/studio, il link al manuale è https://wiki.bambulab.com/en/studio-handy

2. Progettazione e stampa di marcatori a infrarossi personalizzati

  1. Progetta marcatori a infrarossi in un software di progettazione 3D come descritto di seguito.
    1. Aprire il software CAD (Computer-Aided Design) 3D (vedere la tabella dei materiali) e creare un nuovo file.
    2. Selezionate la scheda SOLIDO (SOLID ) e fate clic su Crea schizzo (Create Sketch ) per iniziare a disegnare un nuovo disegno per un marcatore a infrarossi.
    3. Aggiungere tre o quattro piccoli cerchi con un diametro di 3 mm premendo Center Diameter Circle. Questi cerchi fungono da punti di attacco per le viti.
    4. Calcola il punto centrale del marcatore a infrarossi collegando i vertici del triangolo ai punti medi dei lati opposti. Premi Linea e collega tutti i cerchi tracciando linee da un lato al punto di un cerchio.
    5. Create un cerchio come base del marcatore a infrarossi sul punto centrale utilizzando Cerchio diametro centrale. Usa un rettangolo a 3 punti per disegnare rettangoli che collegano il cerchio centrale con ciascuno dei tre o quattro cerchi più piccoli.
    6. Estrudere la base circolare e i rettangoli a uno spessore di 2 mm e i cerchi piccoli a 5 mm.
    7. Aggiungi una filettatura a ciascuno dei tre coni utilizzando un profilo metrico ISO (ad esempio, M3 × 0,5, 6 g, mano destra) per ospitare sfere riflettenti a infrarossi da 6,4 mm premendo Crea e poi Filetta.
    8. Esporta il modello come file oggetto (OBJ) utilizzando la funzione Stampa 3D o Esporta.
    9. All'interno del software CAD 3D, misurare le coordinate XYZ delle sfere riflettenti all'infrarosso in correlazione con il punto centrale selezionando Misura. Misurare le posizioni dei punti centrali dei cerchi in correlazione con il punto centrale della forma. Utilizzare queste coordinate nel passaggio 4.1.2.
  2. Stampa i pennarelli 3D come descritto di seguito.
    1. Importare la stereolitografia esportata (. STL) del marcatore a infrarossi in un software adatto alla stampante 3D trascinandolo nella scena (vedi Tabella dei materiali).
    2. Configura i parametri di affettatura, inclusa l'altezza dello strato (0,08 mm è l'altezza dello strato più piccola possibile per evitare una stampa imprecisa del filo per la sfera riflettente a infrarossi) premendo Qualità > Altezza strato. Aggiungere supporto al progetto premendo Supporto > Abilita struttura.
    3. Esporta il file di slicing sulla stampante 3D facendo clic su Taglia tutto, esporta il file facendo clic su Esporta tutto il file di sezione e stampa il modello 3D utilizzando una stampante 3D (vedi Tabella dei materiali) con filamento di acido polilattico (ad esempio, PLA; vedi Tabella dei materiali).

3. Preparazione del modello 3D specifico per il paziente del rene

  1. Segmentazione del modello
    1. Aprire il software di segmentazione 3D (vedere Tabella dei materiali) e importare i dati MRI/TC del paziente utilizzando l'opzione Importa file DICOM.
    2. Vai all'Editor segmenti, scegli il volume di origine appropriato e crea una nuova segmentazione facendo clic su Aggiungi.
    3. Seleziona la segmentazione manuale o semiautomatica in base alla modalità di imaging.
    4. Per la segmentazione manuale, utilizzare lo strumento Dipingi e cancella per segmentare il tumore e le strutture circostanti pertinenti in ciascuna sezione.
    5. Per la segmentazione semiautomatica, prendi in considerazione l'utilizzo di opzioni come Soglia con l'intervallo di soglia appropriato per la struttura specifica e Forbici per segmentare le strutture irrilevanti.
    6. Nella schermata Dati, selezionare la Segmentazione creata e quindi fare clic con il pulsante destro del mouse per andare al pulsante Esporta segmenti visibili nei modelli . Assicurati che l'opzione Occhio sia selezionata sul lato destro dello schermo.
    7. Esportare i file STL dei modelli facendo clic su Salva e salvare i file come file . STL.
  2. Post-elaborazione del modello specifico del paziente
    1. Importare il file STL in un editor di mesh (vedere Tabella dei materiali) e ridurre il numero di triangoli selezionando Modello 3D > Modifica , quindi ridurre di una percentuale che riduce i triangoli senza deformare l'aspetto visivo del modello 3D, quindi premere Accetta.
    2. Assicurarsi che i punti di destinazione siano rappresentati visivamente all'interno del modello 3D dell'applicazione olografica per un'ulteriore convalida. Premere Aggiungi sfere e posizionarle sul modello 3D.
    3. Esporta i modelli 3D in un formato di file OBJ premendo File > Esporta. Assicurati che il modello 3D abbia circa 100.000 poligoni selezionando il modello e riduci i poligoni premendo Modifica > Riduci. Un numero maggiore di poligoni richiede più operazioni da parte dell'unità di elaborazione grafica, quindi ridurre il numero di poligoni nella scena può ridurre sostanzialmente il tempo di rendering.

4. Preparazione dell'applicazione olografica

  1. Configurare il progetto IRTrackingOrgans_HoloLens come descritto di seguito.
    1. Avvia il software di sviluppo del gioco (vedi Tabella dei materiali) e importa il progetto IRTrackingOrgans_HoloLens e aprilo.
    2. Adattare il file JavaScript Object Notation (JSON) utilizzando un editor di testo, seguendo il formato predefinito, per implementare un marcatore a infrarossi personalizzato basato sulle coordinate misurate nel passaggio 2.1.10. Il file JSON viene salvato in Assets/StreamingAssets.
    3. Passare alla scheda DINO Unity, selezionare il file JSON ToolManager > ResearchModeController > e la trasformazione padre , quindi fare clic su Crea oggetti e applica impostazione JSON.
    4. Importa il modello 3D del marcatore a infrarossi virtuale come risorsa creata nel passaggio 1.1.
    5. Trasforma il modello 3D del marcatore a infrarossi virtuale nella posizione dei marcatori generati nella scena selezionando il modello e modificando le coordinate di trasformazione nella finestra dell'ispettore.
    6. Inserire un modello 3D specifico del paziente nella scena selezionandolo e trascinandolo nella scena.
    7. Trasforma il modello 3D del paziente nella posizione corretta, in modo che il marcatore a infrarossi tocchi la superficie del modello 3D. Posiziona il marcatore a infrarossi vicino al centro dell'oggetto 3D per ridurre al minimo le imprecisioni dovute all'effetto leva.
  2. Collega la scena con un menu di selezione del paziente
    1. Per un uso pratico e la selezione di più casi, collegare la scena del paziente a un pulsante nella schermata del menu. Vai a Risorse > Scene > Scena menu.
    2. Nella finestra Gerarchia passare a NearMenu4x2 e ButtonCollection e quindi al pulsante pertinente.
    3. Nella finestra Ispettore, passare a Eventi di base e in MenuScript.LoadScene digitare il nome della scena del paziente.
  3. Preparare l'HMD per la prima distribuzione
    NOTA: questa sezione è necessaria solo se l'applicazione viene distribuita per la prima volta.
    1. Accedere al dispositivo HMD (vedere Tabella dei materiali) e impostare il dispositivo in modalità di ricerca. Vai su Impostazioni > > Aggiornamento e sicurezza per sviluppatori > attiva Funzionalità per sviluppatori e Rilevamento dispositivi.
    2. Associa l'HMD a un PC (Wi-Fi o USB-C). Se è la prima volta che ci si connette, attenersi alla seguente procedura: Trova l'indirizzo IP dell'HMD nella scheda sviluppatore, inserisci l'indirizzo IP in un browser Web per connetterti al portale dei dispositivi e associa il dispositivo generando un PIN e inserendo il PIN.
  4. Creare e distribuire l'applicazione in un HMD
    1. Aggiungi le scene alla build andando su File > Impostazioni build, aggiungendo la scena nel seguente ordine: Menu > Tracking Scene premendo Add Open Scenes.
    2. Compila il progetto usando la piattaforma UWP (Universal Windows Platform), il dispositivo di destinazione HoloLens e l'architettura x64. Fare clic su Crea e selezionare una mappa di compilazione.
    3. Aprire il file di compilazione (.sln) con Visual Studio 2019 e modificare la piattaforma in ARM64. Quindi apri Proprietà facendo clic con il pulsante destro del mouse sul file .sln in Esplora soluzioni e all'interno di Debug, digita l'indirizzo IP dell'HMD in Nome computer.
    4. Distribuire l'applicazione nell'HMD selezionando Debug > Avvia senza debug.
    5. Avvia l'HMD e apri l'applicazione olografica. Successivamente, accedere alla schermata del menu del paziente e selezionare il caso appropriato per avviare la visualizzazione olografica e la guida.

5. Validazione della visualizzazione olografica di organi in movimento

  1. Stampa fantasma semi-deformabile
    1. Crea o ottieni un modello 3D di un fantoccio renale con strutture anatomiche realistiche.
    2. Importa il modello 3D in un software di modellazione CAD 3D e integra cinque punti di rotazione di registrazione sul lato del modello utilizzando Solid > Crea > foro > con le impostazioni Tipo di foro: Semplice, Tipo di maschio: Semplice, Punta di foratura: Angolo, Altezza: 0,5 mm e Diametro: 4,0 mm.
    3. Integra un cilindro con un foro nel modello 3D per fissare il sensore di riferimento EM per ulteriori fasi di convalida.
      1. Create uno schizzo con un cerchio e un cerchio interno con un diametro di 2,8 mm utilizzando il cerchio del diametro centrale. Estrudere il cerchio esterno di 16,5 mm.
      2. Combina il cilindro con il modello 3D modificando > combina > Seleziona modello 3D e cilindro > Unisci > OK.
    4. Esporta il modello 3D utilizzando la funzione Esporta o Stampa 3D.
    5. Utilizzare un filamento flessibile o semi-flessibile, come il TPU, (vedi Tabella dei materiali) per stampare il fantoccio del rene secondo la procedura descritta al punto 2.2.
  2. Configurazione dell'affettatrice 3D utilizzando il sistema di tracciamento EM
    1. Consulta l'ampio tutorial 3D Slicer e SlicerIGT (https://www.slicerigt.org/wp/user-tutorial/) per configurare un sistema EM con 3D-Slicer.
      NOTA: Questa sezione del protocollo presume che l'impostazione di 3DSlicer, la configurazione EM-tracking e la connessione siano ben comprese e impostate correttamente.
    2. Posizionare il generatore di campo del sistema di inseguimento EM (vedi Tabella dei materiali) direttamente sotto il fantasma. Rimuovere tutti i materiali ferromagnetici dall'ambiente per evitare disomogeneità di campo elettromagnetico.
    3. Collegare il sensore EM (vedere la tabella dei materiali) e il puntatore EM (vedere la tabella dei materiali) al sistema di tracciamento EM. Assicurati che le trasformazioni di questi strumenti siano visualizzate accuratamente in 3DSlicer.
    4. Collegare il sensore di riferimento EM (ad es. NDI Aurora 6DOF Cable Tool) al modello 3D fissandolo nel cilindro con la colla.
    5. In 3D Slicer, importare il modello 3D con i punti pivot e allocare digitalmente i punti di riferimento utilizzando la procedura guidata di registrazione fiduciale > posizionare un punto di controllo.
    6. Esegui la registrazione dei punti di riferimento individuando i punti di riferimento nella vita reale con il puntatore EM, premi Posiziona un punto di controllo e registrali in 3DSlicer. Calcolare la trasformazione di registrazione lineare rigida premendo Aggiorna.
    7. Dopo la registrazione, applicare la trasformazione di registrazione al modello 3D per stabilire un collegamento tra esso e il sensore di riferimento EM. Successivamente, se il modello 3D viene spostato fisicamente, la sua controparte digitale in 3DSlicer dovrebbe spostarsi; Di conseguenza, confermarlo visivamente osservando i movimenti.
  3. Convalida olografica
    1. Avvia il dispositivo e apri l'applicazione olografica del passaggio 4.4.5. Successivamente, passare al modello 3D del paziente corretto, che viene visualizzato anche in 3DSlicer.
    2. Fissare il marcatore a infrarossi nel punto corretto utilizzando la colla, con i marcatori a infrarossi da 6,4 mm montati (vedi Tabella dei materiali), come visualizzato dalla pianificazione preoperatoria.
    3. Usa il puntatore EM per individuare digitalmente i punti di destinazione in base alla visualizzazione olografica. Salva il set di coordinate del sensore EM.
    4. Calcola l'errore nell'individuazione dei punti di riferimento di destinazione rispetto ai punti di riferimento posizionati per convalidare quantitativamente la visualizzazione olografica.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Un fantoccio renale è stato utilizzato per dimostrare le prestazioni del sistema di tracciamento a infrarossi per il tracciamento degli organi e per convalidare la configurazione di convalida olografica negli organi in movimento. Il flusso di lavoro completo è descritto nella Figura 1.

In primo luogo, il rene è stato segmentato in modo semi-automatico in base ai dati della risonanza magnetica utilizzando lo strumento di soglia in 3DSlicer. Il modello 3D risultante è stato esportato e importato in un software CAD 3D per ridurre il numero di poligoni. È stato salvato un secondo modello e cinque punti target sono stati integrati in questo modello utilizzando lo strumento sfera (Figura 2). Questo modello è stato utilizzato per la validazione tecnica del display olografico. La prima versione del modello, senza punti di destinazione, è stata importata in Autodesk Fusion. In questo modello sono stati integrati cinque punti di articolazione e il cilindro è stato integrato per facilitare il sensore EM. Utilizzando il software di slicing 3D, il modello 3D è stato preparato per la stampa 3D. Il TPU con una densità di stampa dell'8% è stato utilizzato per creare una superficie renale minimamente flessibile.

È stato progettato un marcatore a infrarossi standardizzato, stampato in 3D e dotato di sfere riflettenti a infrarossi (diametro 6,4 mm). Da questo marcatore a infrarossi, le coordinate del marcatore a infrarossi sono state misurate in correlazione con il punto centrale. All'interno dell'applicazione software di sviluppo del gioco, è stato importato il file JSON contenente le coordinate del marcatore a infrarossi. In secondo luogo, è stato importato il modello 3D del rene, con punti target per la convalida. Inoltre, a scopo di visualizzazione, il modello del marcatore a infrarossi è stato importato e tradotto nella posizione dei punti implementata dal file JSON. Il modello 3D è stato trasformato al centro del marcatore a infrarossi (Figura 3) e sono stati applicati shader aggiuntivi. Dopo aver integrato la scena del menu del paziente, l'applicazione è stata implementata sull'HMD.

Sulla base del posizionamento dei marcatori IR, il modello olografico 3D viene visualizzato sul rene all'interno di un fantoccio addominale pediatrico utilizzando l'HMD (Figura 4). Aveva una velocità di tracciamento di 11,6 Hz. Tuttavia, per distanze superiori a 60 cm, l'HMD perde la capacità di tracciare i marcatori a infrarossi. In secondo luogo, il tracciamento continuo e il rumore nel tracciamento della marcatura a infrarossi causano lo sfarfallio della sovrapposizione olografica, con conseguente visualizzazione imprecisa.

Ai fini della convalida, il sistema di tracciamento EM è stato collegato a 3D Slicer tramite il server Plus. Un sensore EM è stato posizionato sul rene fantasma per il tracciamento (Figura 2). Dopo la registrazione basata su punti, il modello 3D è stato registrato con una precisione mediana di 0,59 mm, che si è rivelata un metodo accurato per convalidare l'accuratezza olografica (Figura 5). L'errore mediano di localizzazione del punto è stato di 8,74 mm (intervallo interquartile: 6,38 - 10,85), sulla base del contributo di tre chirurghi (Tabella 1).

L'implementazione di questo sistema di tracciamento e visualizzazione AR prevede un protocollo che dura circa 45-60 minuti. Un medico tecnico esperto con 2 anni di esperienza ha eseguito l'intero protocollo una volta per determinare la durata delle singole fasi del protocollo. In particolare, alcuni passaggi devono essere eseguiti una sola volta. I passaggi essenziali per ogni paziente includono la segmentazione, l'integrazione del modello nel software di sviluppo del gioco e la configurazione della scena. La segmentazione delle strutture anatomiche nei casi specifici del paziente richiede relativamente più tempo a causa delle molteplici strutture anatomiche coinvolte, ma la segmentazione del parenchima renale e del tumore può essere completata entro 30 minuti. L'integrazione dei modelli 3D segmentati nell'applicazione e il loro allineamento con il marcatore a infrarossi richiede circa 5 minuti di regolazioni manuali. Il collegamento della scena corretta non richiede più di 5 minuti. Il tempo di compilazione del progetto di sviluppo del gioco varia a seconda delle specifiche hardware, ma in genere richiede circa 3 minuti, seguiti da circa 10 minuti per la distribuzione su HoloLens 2. Nel complesso, escludendo la configurazione di convalida, questo protocollo dimostra un metodo per il tracciamento degli organi in movimento in contesti preclinici.

figure-results-1
Figura 1: Panoramica schematica del flusso di lavoro. Il flusso di lavoro mostra i passaggi necessari per ogni paziente in un ambiente fantasma, tra cui la fase preoperatoria, le fasi olografiche e intraoperatorie. La fase preoperatoria consiste nella segmentazione (vedi passaggio 3) dell'imaging medico preoperatorio. La preparazione dell'applicazione olografica consiste nel pianificare virtualmente il posizionamento del marcatore a infrarossi sul modello 3D (vedi passaggio 4). Nella fase intraoperatoria, i chirurghi possono selezionare il paziente corretto e fissare il marcatore a infrarossi per la visualizzazione olografica e il tracciamento continuo. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-2
Figura 2: Panoramica dei fantocci renali utilizzati nella metodologia di convalida. A sinistra: un ologramma 3D del rene con i punti target e il posizionamento virtuale del marcatore a infrarossi. Al centro: phantom 3D con sensore EM integrato e punti di articolazione per la registrazione. A destra: phantom stampato in 3D, con il marcatore a infrarossi e il cilindro per il sensore EM, utilizzato per la procedura di convalida. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-3
Figura 3: Preparazione dell'applicazione olografica nel software di sviluppo del gioco. Il modello di rene viene trasformato in un marcatore a infrarossi. In secondo luogo, gli shader vengono applicati al rene e ai punti target. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-4
Figura 4: Visualizzazione olografica dell'esperimento fantasma. A sinistra: Posizionamento del marcatore a infrarossi sul rene. A destra: visualizzazione olografica dei punti di destinazione nell'ordine corretto (da 1 a 5). Lo spostamento della visualizzazione olografica è causato dal jitter nel tracciamento del marcatore a infrarossi. Clicca qui per visualizzare una versione più grande di questa figura.

figure-results-5
Figura 5: Configurazione dal protocollo di convalida EM-tracking per la visualizzazione olografica di organi in movimento. Verde, Rosso e Blu visualizzano la trasformazione degli strumenti EM necessari per la convalida. Giallo e Verde visualizzano la trasformazione relativa al display montato sulla testa (HMD). Clicca qui per visualizzare una versione più grande di questa figura.

PartecipanteMisurazioneGT-X (mm)GT-Y (millimetro)GT-Z (millimetro)Punto-X (millimetro)Punto-Y (millimetro)Punto-Z (mm)PLE (mm)
Chirurgo 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Chirurgo 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Chirurgo 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabella 1: Per ogni misurazione, vengono fornite le coordinate di verità sul campo (GT) dei punti di riferimento target, le coordinate di posizione del punto corrispondenti e il PLE misurato per tutti i chirurghi.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Il protocollo presentato delinea un approccio al tracciamento degli organi in tempo reale e alla visualizzazione olografica, compresa la convalida per il movimento di tumori e organi in un ambiente fantasma. Sfruttando il tracciamento basato su marcatori a infrarossi con un HMD, questo metodo ha il potenziale per mantenere meglio le corrette sovrapposizioni olografiche anatomiche durante la manipolazione di organi in movimento. Nonostante la sua applicazione per il monitoraggio del rene, questo metodo potrebbe essere esplorato anche in altri campi clinici, come la chirurgia a cielo aperto per il fegato o i polmoni, con aggiustamenti minimi nel protocollo di segmentazione. In secondo luogo, i marcatori a infrarossi potrebbero essere potenzialmente utilizzati con varie tecniche chirurgiche, come la chirurgia laparoscopica. In questi casi, gli adesivi riflettenti a infrarossi potrebbero essere rilevati sulle immagini laparoscopiche per tracciare organi, strumenti o punti di riferimento anatomici. Tuttavia, l'applicazione di questa tecnica ad altri campi clinici o tecniche chirurgiche può introdurre errori dovuti a variazioni di deformabilità dell'organo bersaglio o limitazioni tecniche, come un campo visivo limitato, che richiedono la convalida in esperimenti preclinici.

La fase 1 del protocollo si concentra principalmente sulla configurazione degli strumenti hardware e software necessari. Questa configurazione richiede numerose applicazioni e passaggi, quindi è fondamentale che tutti i pacchetti software siano installati correttamente, comprese le estensioni necessarie, per evitare problemi di distribuzione a valle. Non si prevede che diverse versioni del software causino problemi, anche se la combinazione del software di sviluppo del gioco e dell'ambiente di sviluppo integrato è fondamentale.

Nel passaggio 2, viene descritto il processo di creazione di marcatori a infrarossi personalizzati. Questo passaggio diventa particolarmente importante se il tracciamento verrà utilizzato per altre applicazioni. La flessibilità di modificare la forma del marcatore a infrarossi ne garantisce la potenziale idoneità per diverse applicazioni precliniche. Inoltre, gli utenti possono esplorare varie opzioni di progettazione per migliorare l'aderenza del marcatore a infrarossi alla superficie di un organo e migliorare la precisione del tracciamento del marcatore a infrarossi. Inoltre, il test di più diametri di marcatore a infrarossi può portare a un migliore rilevamento su distanze superiori a 60 cm.

Nella fase 3 viene descritta la modellazione 3D specifica per il paziente basata sull'imaging medico. Una segmentazione accurata del rene e del tumore è fondamentale, in quanto influenza direttamente l'accuratezza della guida chirurgica. Una segmentazione inadeguata può portare a visualizzazioni fuorvianti che compromettono la precisione chirurgica19. In secondo luogo, questo passaggio è il più dispendioso in termini di tempo. L'integrazione di metodi di segmentazione completamente automatici può accelerare il protocollo, riducendo la necessità di regolazioni manuali e semiautomatiche e garantendo al contempo una segmentazione anatomica precisa20. L'ottimizzazione del numero di poligoni è fondamentale per ottenere prestazioni di rendering AR ottimali. Se questa ottimizzazione non viene eseguita, le prestazioni dell'HMD sono notevolmente compromesse.

Nel passaggio 4 viene delineata la configurazione dell'applicazione olografica, in seguito all'implementazione di DINO-DLL. Un aspetto critico è il corretto allineamento tra le posizioni dei marcatori a infrarossi e i modelli anatomici olografici, in quanto ciò influisce sull'accuratezza della registrazione manuale. In particolare, l'effetto leva dovrebbe essere ridotto al minimo per evitare imprecisioni a distanze maggiori dal centro del marcatore a infrarossi. Ulteriori miglioramenti potrebbero includere l'implementazione di ulteriori metodi di registrazione. Inoltre, il sistema attuale mostra un tasso di tracciamento accettabile per la visualizzazione continua, che si allinea con la letteratura21. In terzo luogo, ulteriori miglioramenti dovrebbero comportare l'implementazione di un filtro di Kalman per ridurre il rumore nei dati di tracciamento del marcatore a infrarossi, eliminando così il jitter della visualizzazione olografica.

Nella fase 5, il framework fornisce un metodo di convalida olografica che utilizza il tracciamento EM. Questo protocollo è utile per convalidare l'accuratezza degli ologrammi in un ambiente fantasma, in quanto fornisce una valutazione quantitativa dell'accuratezza olografica per gli organi in movimento. Un passo cruciale in questo caso è l'integrazione precisa dei sensori di tracciamento EM all'interno di fantocci semi-deformabili stampati in 3D. Gli utenti devono garantire una calibrazione accurata dei sensori EM e la registrazione dei punti di riferimento in 3D Slicer. Se si verificano errori di convalida, la nuova registrazione o la rimozione di oggetti metallici potrebbe migliorare l'accuratezza della convalida. Per convalidare ulteriormente la fattibilità clinica, gli organi ex vivo potrebbero essere impiegati per simulare in modo più accurato il tessuto chirurgico22.

Questo protocollo funge da guida completa per i ricercatori che mirano a implementare soluzioni AR per il tracciamento degli organi e convalidare questi sistemi in esperimenti fantasma. Inoltre, fornisce una configurazione di convalida ampiamente applicabile che può essere facilmente utilizzata in diversi scenari clinici, in particolare per la convalida dei metodi AR per lo spostamento degli organi. Data la complessità della distribuzione di applicazioni olografiche, questo framework facilita la transizione da soluzioni concettuali basate su AR alla convalida preclinica.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gli autori non hanno nulla da rivelare.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ringraziamo Hisham Iqbal per la sua esperienza e il suo supporto nella creazione del tracciamento dei marcatori a infrarossi utilizzando HoloLens 2, basato sul repository aperto DINO-DLL.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Affettatrice 3D (v5.6.2)AffettatriceN/ASoftware di segmentazione delle immagini mediche e necessario per la convalida del tracciamento elettromagnetico
Marcatori M3 da 6,4 mm (1/4") Marcatori InfrarecOptiTrackN/ASfere riflettenti a infrarossi che dovrebbero essere attaccate al marcatore per il tracciamento 
Autodesk Fusion 360 (v2.0.21508)Autodesk.N/ASoftware CAD per la progettazione di marcatori e fantocci a infrarossi
Bambu Studio (v01.09.07.52)Laboratorio BambuN/ASoftware di slicing per stampa 3D per stampanti 3D Bambu
Bambu X1 CarbonioLaboratorio BambuN/AStampante 3D utilizzata per marcatori a infrarossi e modelli fantasma
HoloLens 2ValentinaN/ADisplay montato sulla testa in realtà aumentata per la visualizzazione AR
IRTrackingOrgans_HoloLens Sorgente apertoN/AApplicazione basata su Unity che supporta il tracciamento dei marcatori IR
MeshMixer (v3.5.0)Autodesk.N/AUtilizzato per la modifica delle mesh e la riduzione dei poligoni
NDI AuroraNorthern Digital Inc.N/ASistema di tracciamento elettromagnetico per la validazione
Strumento per cavi NDI Aurora 6DOFNorthern Digital Inc.N/ASensore per la registrazione del movimento degli organi fantasma
Sonda NDI Aurora 6DOFNorthern Digital Inc.N/AUtilizzato per identificare le posizioni dei punti di riferimento sul fantasma
Filamento di acido polilatticoQualsiasi produttoreN/AFilamento per la stampa di parti rigide come i marcatori a infrarossi
Filamento poliuretanico termoplasticoQualsiasi produttoreN/AFilamento semi-flessibile per la stampa di fantocci renali deformabili
Unity Hub (v3.11.1) e Unity (v2019.4.22f1)Tecnologie UnityN/ASoftware di sviluppo di giochi per lo sviluppo e l'implementazione di applicazioni AR
Visual Studio 2019ValentinaN/AIDE necessario per l'integrazione e la distribuzione di Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles