Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone

Questo protocollo offre agli utenti inesperti gli strumenti per portare soluzioni di realtà aumentata in campo medico attraverso la costruzione della propria app per smartphone. Questo metodo combina realtà aumentata e stampa 3D consentendo una visualizzazione rapida e semplice dei modelli 3D creati basando i dati su un marcatore di riferimento stampato in 3D. Questa tecnica può essere applicata a qualsiasi scenario medico in cui un riferimento stampato in 3D può essere rigidamente attaccato al paziente.

La visualizzazione di modelli 3D visivi creati dalla localizzazione dei dati di base che è mirata e può anche migliorare il paziente Questo protocollo è stato specificamente progettato per gli utenti senza alcuna conoscenza preliminare dell'imaging medico o dello sviluppo software per aiutare nell'uso della realtà aumentata in campo medico. Per creare modelli 3D dell'anatomia di un paziente, tenere traccia del file di immagine medico nella finestra del software 3D Slicer e fare clic su OK. Per segmentare l'anatomia del paziente, vai al modulo editor di segmenti in 3D Slicer. Un elemento di segmentazione verrà creato automaticamente all'ingresso del modulo.

Selezionare il volume desiderato nella sezione volume principale e fare clic con il pulsante destro del mouse sotto l'immagine per selezionare Aggiungi per creare un segmento. Nel pannello effetti, selezionare lo strumento più conveniente per il bersaglio e segmentare l'immagine medica del paziente. Per esportare la segmentazione in un formato di file modello 3D, aprite il modulo segmentazioni.

Nei modelli di esportazione/importazione e nelle mappe etichette selezionare esporta e modelli e fare clic su Esporta per creare il modello 3D dall'area segmentata. Fare clic su Salva e selezionare gli elementi da salvare. Quindi modificate il formato di file del modello 3D in OBJ.

La segmentazione può essere ripetuta per creare ulteriori modelli 3D di diverse regioni anatomiche. Per il posizionamento di un modello di paziente 3D in qualsiasi posizione rispetto al marcatore di realtà aumentata, aprire il modulo di posizione del modello AR Health e selezionare la modalità di visualizzazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione, sul pulsante con i puntini di sospensione per selezionare il percorso del modello 3D salvato e caricare il modello per caricare il modello in 3D Slicer.

Fate clic su Fine (Finish) e centra (Center) per centrare tutti i modelli all'interno del marcatore. Utilizzate le barre di scorrimento per regolare la posizione, l'orientamento e il ridimensionamento dei modelli 3D rispetto al marcatore desiderato. Quindi selezionare il percorso in cui archiviare i file e fare clic su Salva modelli per salvare i modelli in questa posizione.

Per combinare il marcatore di realtà aumentata con un biomodello 3D in qualsiasi posizione desiderata, aprire il modulo di posizione del modello AR Health e nella sezione di inizializzazione selezionare la modalità di registrazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione e spostate i modelli 3D fino a quando non si intersecano con la struttura di supporto del marcatore cubo, modificando l'altezza della base marcatore in base alle esigenze. Per salvare il modello in questa posizione, selezionate il percorso in cui archiviare i file e fate clic su Salva modelli (Save models).

Se il modello anatomico è troppo grande, caricare il biomodello e la struttura di supporto del modello di marcatore cubo nel software del miscelatore mesh. Selezionate entrambi i modelli nella finestra del browser oggetti per combinare i modelli e utilizzate lo strumento taglio semplice dal menu di modifica per rimuovere eventuali sezioni indesiderate del modello che non verranno stampate in 3D. Per salvare il modello da stampare in 3D, selezionate file ed esportate e selezionate il formato desiderato.

Per stampare in 3D i modelli fisici necessari per l'applicazione finale di realtà aumentata, nel software di stampa 3D, selezionare un materiale di colore bianco per il TwoColorCuebMarker_white. obj e un materiale di colore nero per la TwoColorCubeMarker_white. obj.

Quindi utilizzare una stampante 3D a doppio estrusore per stampare in 3D il marcatore cubico in bianco e nero in modalità di alta qualità con una piccola altezza del livello. Per progettare un'app per smartphone in Unity Engine che includa i modelli 3D, apri Vuforia Developer e crea un account. Selezionare Ottieni chiave di sviluppo per ottenere una chiave di licenza di sviluppo gratuita e nel menu gestione licenze selezionare e copiare la chiave.

Per configurare lo smartphone, nell'applicazione Unity versione 2019, in Impostazioni di compilazione nel menu file selezionare la piattaforma appropriata per il dispositivo. Per abilitare Vuforia nel progetto, selezionare modifica, impostazione del progetto, impostazioni del lettore e impostazioni XR e selezionare la casella con l'etichetta Supporto per la realtà aumentata Vuforia. Per creare una fotocamera in realtà aumentata, selezionare la barra dei menu, l'oggetto gioco, vuforia engine e la fotocamera AR e importare i componenti Vuforia quando richiesto.

Per aggiungere il codice di licenza Vuforia alle impostazioni di configurazione vuforia, selezionare la cartella delle risorse, fare clic su Configurazione Vuforia e incollare il codice di licenza nella sezione del codice di licenza dell'app. Importa il file di destinazione Vuforia contenente i file necessari a Vuforia per rilevare i marcatori in Unity e selezionare la barra dei menu, l'oggetto gioco, Vuforia Engine e l'immagine multi per creare un multi-destinazione Vuforia. Fare clic sulla destinazione multi per selezionare il tipo di marcatore che verrà utilizzato per il rilevamento e nell'opzione database in Comportamento multi-destinazione selezionare ARHealth_3dPrintedCube_30x30x30.

Nell'opzione multisobiere di destinazione in comportamento multi destinazione, selezionare TwoColorCubeMarker o StickerCubeMarker a seconda dell'indicatore. Trascinate i modelli 3D nella cartella models e trascinate la cartella sotto l'elemento di destinazione multi. I modelli dovrebbero diventare visibili nella scena della vista 3D Unity.

Per modificare i colori dei modelli 3D, create nuovi materiali e assegnate i nuovi materiali ai modelli. Se è disponibile una webcam, fare clic su Riproduci per testare l'applicazione sul computer. Se il marcatore è visibile alla webcam, dovrebbe essere rilevato e i modelli 3D dovrebbero apparire nella scena.

Se uno smartphone Android verrà utilizzato per lo sviluppo dell'app, seleziona le impostazioni di compilazione in Unity e seleziona il telefono collegato dall'elenco. Quindi salvare il file con un'estensione apk e consentire al processo di finire. Se l'app verrà distribuita in un dispositivo iOS, seleziona il file nelle impostazioni di compilazione e salva il file.

Per visualizzare l'app, apri l'app sullo smartphone e usa la fotocamera dello smartphone per guardare il marcatore dall'interno dell'app a una distanza minima di 40 centimetri. Una volta che l'app rileva il marcatore, i modelli 3D creati in precedenza dovrebbero apparire sullo schermo dello smartphone nella posizione esatta definita durante la procedura. Utilizzando il metodo come dimostrato, questa porzione della tibia e della perbula colpite da un paziente affetto da sarcoma della gamba distale e tumore è stata segmentata dalla TAC del paziente.

Utilizzando gli strumenti di segmentazione, è stato creato un biomodello per l'osso ed è stato creato un biomodello per il tumore. Per la modalità di visualizzazione, i modelli sono stati centi nella fase superiore del marcatore. Per la modalità di registrazione, l'adattatore marcatore è stato posizionato nella tibia ed è stata selezionata una piccola sezione della tibia per essere stampata in 3D con un adattatore marcatore 3D.

L'acido polilattico può essere utilizzato per creare marcatori stampati in 3D, basi porta marcatori e sezioni ossee come dimostrato. Qui un marcatore è collegato a una base stampata in 3D in modalità di visualizzazione e qui l'allegato viene mostrato con il biomodello stampato in 3D in modalità di registrazione. Questa rappresentazione mostra come funziona l'app in modalità di visualizzazione con l'ologramma accuratamente posizionato nella parte superiore del cubo come definito in precedenza.

In modalità registrazione, il modello osseo completo può essere posizionato sopra la sezione stampata in 3D con una visualizzazione chiara e realistica del marcatore nel sito osseo. Per utilizzare la realtà aumentata per visualizzare importanti informazioni sui pazienti, avrai bisogno di diversi strumenti software liberamente disponibili, nonché dell'accesso a una stampante 3D e a uno smartphone. Questa procedura può essere applicata a qualsiasi modello ottenuto dall'imaging medico.

Il suo utilizzo può essere esteso ad altri interventi come il posizionamento radioterapicio dell'inserimento dell'ago. Ora stiamo estendendo le applicazioni di questo sviluppo a nuove aree cliniche, tra cui la chirurgia miofasciale o ortopedica. La nostra ricerca iniziale è promettente e il feedback del chirurgo è molto positivo.