Combinazione di realtà aumentata e stampa 3D per visualizzare i modelli di paziente su uno smartphone
2 gennaio 2020
Presentato qui è un metodo per progettare un'applicazione per smartphone in realtà aumentata per la visualizzazione di modelli tridimensionali anatomici di pazienti utilizzando un marcatore di riferimento stampato in 3D.
Questo protocollo offre agli utenti inesperti gli strumenti per portare soluzioni di realtà aumentata in campo medico attraverso la costruzione della propria app per smartphone. Questo metodo combina realtà aumentata e stampa 3D consentendo una visualizzazione rapida e semplice dei modelli 3D creati basando i dati su un marcatore di riferimento stampato in 3D. Questa tecnica può essere applicata a qualsiasi scenario medico in cui un riferimento stampato in 3D può essere rigidamente attaccato al paziente.
La visualizzazione di modelli 3D visivi creati dalla localizzazione dei dati di base che è mirata e può anche migliorare il paziente Questo protocollo è stato specificamente progettato per gli utenti senza alcuna conoscenza preliminare dell'imaging medico o dello sviluppo software per aiutare nell'uso della realtà aumentata in campo medico. Per creare modelli 3D dell'anatomia di un paziente, tenere traccia del file di immagine medico nella finestra del software 3D Slicer e fare clic su OK. Per segmentare l'anatomia del paziente, vai al modulo editor di segmenti in 3D Slicer. Un elemento di segmentazione verrà creato automaticamente all'ingresso del modulo.
Selezionare il volume desiderato nella sezione volume principale e fare clic con il pulsante destro del mouse sotto l'immagine per selezionare Aggiungi per creare un segmento. Nel pannello effetti, selezionare lo strumento più conveniente per il bersaglio e segmentare l'immagine medica del paziente. Per esportare la segmentazione in un formato di file modello 3D, aprite il modulo segmentazioni.
Nei modelli di esportazione/importazione e nelle mappe etichette selezionare esporta e modelli e fare clic su Esporta per creare il modello 3D dall'area segmentata. Fare clic su Salva e selezionare gli elementi da salvare. Quindi modificate il formato di file del modello 3D in OBJ.
La segmentazione può essere ripetuta per creare ulteriori modelli 3D di diverse regioni anatomiche. Per il posizionamento di un modello di paziente 3D in qualsiasi posizione rispetto al marcatore di realtà aumentata, aprire il modulo di posizione del modello AR Health e selezionare la modalità di visualizzazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione, sul pulsante con i puntini di sospensione per selezionare il percorso del modello 3D salvato e caricare il modello per caricare il modello in 3D Slicer.
Fate clic su Fine (Finish) e centra (Center) per centrare tutti i modelli all'interno del marcatore. Utilizzate le barre di scorrimento per regolare la posizione, l'orientamento e il ridimensionamento dei modelli 3D rispetto al marcatore desiderato. Quindi selezionare il percorso in cui archiviare i file e fare clic su Salva modelli per salvare i modelli in questa posizione.
Per combinare il marcatore di realtà aumentata con un biomodello 3D in qualsiasi posizione desiderata, aprire il modulo di posizione del modello AR Health e nella sezione di inizializzazione selezionare la modalità di registrazione. Fate clic sul modello marcatore di carico per caricare il marcatore per questa opzione e spostate i modelli 3D fino a quando non si intersecano con la struttura di supporto del marcatore cubo, modificando l'altezza della base marcatore in base alle esigenze. Per salvare il modello in questa posizione, selezionate il percorso in cui archiviare i file e fate clic su Salva modelli (Save models).
Se il modello anatomico è troppo grande, caricare il biomodello e la struttura di supporto del modello di marcatore cubo nel software del miscelatore mesh. Selezionate entrambi i modelli nella finestra del browser oggetti per combinare i modelli e utilizzate lo strumento taglio semplice dal menu di modifica per rimuovere eventuali sezioni indesiderate del modello che non verranno stampate in 3D. Per salvare il modello da stampare in 3D, selezionate file ed esportate e selezionate il formato desiderato.
Per stampare in 3D i modelli fisici necessari per l'applicazione finale di realtà aumentata, nel software di stampa 3D, selezionare un materiale di colore bianco per il TwoColorCuebMarker_white. obj e un materiale di colore nero per la TwoColorCubeMarker_white. obj.
Quindi utilizzare una stampante 3D a doppio estrusore per stampare in 3D il marcatore cubico in bianco e nero in modalità di alta qualità con una piccola altezza del livello. Per progettare un'app per smartphone in Unity Engine che includa i modelli 3D, apri Vuforia Developer e crea un account. Selezionare Ottieni chiave di sviluppo per ottenere una chiave di licenza di sviluppo gratuita e nel menu gestione licenze selezionare e copiare la chiave.
Per configurare lo smartphone, nell'applicazione Unity versione 2019, in Impostazioni di compilazione nel menu file selezionare la piattaforma appropriata per il dispositivo. Per abilitare Vuforia nel progetto, selezionare modifica, impostazione del progetto, impostazioni del lettore e impostazioni XR e selezionare la casella con l'etichetta Supporto per la realtà aumentata Vuforia. Per creare una fotocamera in realtà aumentata, selezionare la barra dei menu, l'oggetto gioco, vuforia engine e la fotocamera AR e importare i componenti Vuforia quando richiesto.
Per aggiungere il codice di licenza Vuforia alle impostazioni di configurazione vuforia, selezionare la cartella delle risorse, fare clic su Configurazione Vuforia e incollare il codice di licenza nella sezione del codice di licenza dell'app. Importa il file di destinazione Vuforia contenente i file necessari a Vuforia per rilevare i marcatori in Unity e selezionare la barra dei menu, l'oggetto gioco, Vuforia Engine e l'immagine multi per creare un multi-destinazione Vuforia. Fare clic sulla destinazione multi per selezionare il tipo di marcatore che verrà utilizzato per il rilevamento e nell'opzione database in Comportamento multi-destinazione selezionare ARHealth_3dPrintedCube_30x30x30.
Nell'opzione multisobiere di destinazione in comportamento multi destinazione, selezionare TwoColorCubeMarker o StickerCubeMarker a seconda dell'indicatore. Trascinate i modelli 3D nella cartella models e trascinate la cartella sotto l'elemento di destinazione multi. I modelli dovrebbero diventare visibili nella scena della vista 3D Unity.
Per modificare i colori dei modelli 3D, create nuovi materiali e assegnate i nuovi materiali ai modelli. Se è disponibile una webcam, fare clic su Riproduci per testare l'applicazione sul computer. Se il marcatore è visibile alla webcam, dovrebbe essere rilevato e i modelli 3D dovrebbero apparire nella scena.
Se uno smartphone Android verrà utilizzato per lo sviluppo dell'app, seleziona le impostazioni di compilazione in Unity e seleziona il telefono collegato dall'elenco. Quindi salvare il file con un'estensione apk e consentire al processo di finire. Se l'app verrà distribuita in un dispositivo iOS, seleziona il file nelle impostazioni di compilazione e salva il file.
Per visualizzare l'app, apri l'app sullo smartphone e usa la fotocamera dello smartphone per guardare il marcatore dall'interno dell'app a una distanza minima di 40 centimetri. Una volta che l'app rileva il marcatore, i modelli 3D creati in precedenza dovrebbero apparire sullo schermo dello smartphone nella posizione esatta definita durante la procedura. Utilizzando il metodo come dimostrato, questa porzione della tibia e della perbula colpite da un paziente affetto da sarcoma della gamba distale e tumore è stata segmentata dalla TAC del paziente.
Utilizzando gli strumenti di segmentazione, è stato creato un biomodello per l'osso ed è stato creato un biomodello per il tumore. Per la modalità di visualizzazione, i modelli sono stati centi nella fase superiore del marcatore. Per la modalità di registrazione, l'adattatore marcatore è stato posizionato nella tibia ed è stata selezionata una piccola sezione della tibia per essere stampata in 3D con un adattatore marcatore 3D.
L'acido polilattico può essere utilizzato per creare marcatori stampati in 3D, basi porta marcatori e sezioni ossee come dimostrato. Qui un marcatore è collegato a una base stampata in 3D in modalità di visualizzazione e qui l'allegato viene mostrato con il biomodello stampato in 3D in modalità di registrazione. Questa rappresentazione mostra come funziona l'app in modalità di visualizzazione con l'ologramma accuratamente posizionato nella parte superiore del cubo come definito in precedenza.
In modalità registrazione, il modello osseo completo può essere posizionato sopra la sezione stampata in 3D con una visualizzazione chiara e realistica del marcatore nel sito osseo. Per utilizzare la realtà aumentata per visualizzare importanti informazioni sui pazienti, avrai bisogno di diversi strumenti software liberamente disponibili, nonché dell'accesso a una stampante 3D e a uno smartphone. Questa procedura può essere applicata a qualsiasi modello ottenuto dall'imaging medico.
Il suo utilizzo può essere esteso ad altri interventi come il posizionamento radioterapicio dell'inserimento dell'ago. Ora stiamo estendendo le applicazioni di questo sviluppo a nuove aree cliniche, tra cui la chirurgia miofasciale o ortopedica. La nostra ricerca iniziale è promettente e il feedback del chirurgo è molto positivo.
Panoramica
Questo articolo presenta un metodo per sviluppare un'applicazione per smartphone in realtà aumentata che visualizza modelli anatomici tridimensionali utilizzando un marcatore di riferimento stampato in 3D. Il protocollo è stato progettato per utenti senza esperienza pregressa in imaging medico o sviluppo di software.
Componenti Chiave dello Studio
Area della Scienza
- Realtà Aumentata
- Stampa 3D
- Immagini mediche
Sfondo
- La realtà aumentata può migliorare la visualizzazione in scenari medici.
- La stampa 3D fornisce un riferimento tangibile per modelli anatomici.
- Questo metodo è accessibile anche per utenti inesperti.
- La combinazione di queste tecnologie può migliorare la comprensione del paziente.
Scopo dello studio
- Permettere agli utenti di creare le proprie applicazioni di realtà aumentata.
- Facilitare la visualizzazione dell'anatomia del paziente.
- Semplificare l'integrazione di modelli 3D nella pratica medica.
Metodi Utilizzati
- Utilizzo del software 3D Slicer per la segmentazione delle immagini mediche.
- Esportazione dell'anatomia segmentata in formati di modelli 3D.
- Progettazione di un'app per smartphone utilizzando Unity Engine e Vuforia.
- Stampa 3D di marcatori di riferimento per la realtà aumentata.
Risultati principali
- Creazione con successo di modelli 3D da immagini mediche.
- Integrazione della realtà aumentata con marcatori stampati in 3D.
- Sviluppo di un'applicazione facile da usare per la visualizzazione dell'anatomia.
- Dimostrato potenziale di applicazione in diversi scenari medici.
Conclusioni
- Il metodo consente una visualizzazione efficace delle strutture anatomiche.
- La realtà aumentata può migliorare l'educazione e il coinvolgimento del paziente.
- Questo approccio è scalabile e adattabile a diversi contesti medici.
Domande frequenti
Rilevanza Industriale del Progetto
Questo protocollo consente ai team di ricerca e sviluppo biotecnologico di prototipare rapidamente modelli anatomici specifici per il paziente, utili per la validazione del bersaglio e per studi meccanicistici, impiegando strumenti accessibili di realtà aumentata (AR) e stampa 3D. Abbassando le barriere tecniche, il metodo supporta test di ipotesi nelle fasi iniziali e riduce la dipendenza da risorse ingegneristiche specializzate. L'approccio aumenta la fiducia predittiva nei modelli preclinici fornendo sistemi tangibili e visualizzabili per la chiarificazione dei percorsi biologici e la validazione funzionale.
Applicazioni Strategiche nella Ricerca e Sviluppo in Biopharma
Scoperta Precoce e Validazione del Target
- Valore scientifico: Supporta l'interrogazione di ipotesi terapeutiche mediante modelli 3D derivati da pazienti che chiariscono il contesto anatomico dei bersagli della malattia.
- Valore operativo: Permette un'iterazione rapida delle progettazioni dei modelli utilizzando software gratuiti e stampanti 3D standard, accelerando i cicli di validazione dei bersagli.
- Valore predittivo: Migliora la riduzione del rischio meccanicistica consentendo la visualizzazione dell'interazione con il bersaglio in sistemi spazialmente accurati e pertinenti ai pazienti.
Sviluppo di screening e saggi
- Valore scientifico: Fornisce marcatori di riferimento standardizzati e riproducibili, stampati in 3D, per un posizionamento coerente dei modelli basati sulla realtà aumentata (AR) nei flussi di lavoro di screening.
- Valore operativo: Favorisce la prontezza del saggio generando output visivi quantificabili che possono essere correlati agli effetti dei composti.
- Scalabilità: Consente il riutilizzo della piattaforma su multipli target e modelli di malattia grazie a disegni di marcatori e modelli adattabili.
Ricerca Translazionale e Preclinica
- Continuità Translazionale: Collega la fase di scoperta a quella preclinica mantenendo la fedeltà anatomica dall’imaging del paziente fino alla validazione del modello.
- Avanzamento Basato sul Rischio: Supporta le decisioni di proseguimento o interruzione consentendo la valutazione visiva della modulazione del bersaglio in sistemi rilevanti per la malattia.
- Allineamento dei Biomarcatori: Permette di correlare le alterazioni del modello visualizzate tramite AR con potenziali biomarcatori traslazionali durante la valutazione preclinica.
Integrazione di Pipeline e Flusso di Lavoro
Il metodo si integra nei flussi di lavoro della fase iniziale di scoperta consentendo la rapida generazione di modelli specifici per il paziente per la validazione dell'obiettivo, proseguendo poi nello sviluppo del saggio e nelle fasi di validazione preclinica mantenendo l'affidabilità del modello.
- Biologia della scoperta: Consente la verifica delle ipotesi e la chiarificazione dei percorsi mediante la visualizzazione diretta di modelli anatomici derivati da pazienti in realtà aumentata (AR).
- Screening: Supporta la standardizzazione dei saggi attraverso marcatori stampati in 3D riproducibili che garantiscono un posizionamento costante del modello per lo screening di composti.
- Analisi: Genera letture spaziali e visive quantificabili dalla visualizzazione in AR, utili per confrontare diverse condizioni sperimentali.
- Ricerca traslazionale: Collega la scoperta al lavoro preclinico preservando l'anatomia specifica del paziente attraverso tutte le iterazioni del modello.
- Riutilizzo aziendale: Stabilisce una capacità riproducibile di generare modelli visualizzabili in AR in diversi progetti e aree terapeutiche.
Impatto Operativo ed Aziendale
- Valore scientifico: Aumenta la fiducia predittiva nella validazione dell'obiettivo riducendo l'ambiguità nel contesto anatomico e nella localizzazione dell'obiettivo.
- Valore operativo: Migliora la riproducibilità e la scalabilità attraverso flussi di lavoro software standardizzati e la stampa 3D accessibile.
- Valore strategico: Migliora l'efficienza del capitale permettendo la generazione interna di modelli e riducendo la dipendenza da risorse esterne di visualizzazione.
- Impatto sul portafoglio: Supporta la priorizzazione aggiustata per il rischio fornendo dati visivi più chiari per la validazione degli obiettivi e gli studi meccanicistici.
Considerazioni sull'implementazione
- Richiede familiarità con 3D Slicer per la segmentazione e con Unity/Vuforia per lo sviluppo dell'app.
- Necessita dell'accesso a una stampante 3D a doppio estrusore per la fabbricazione di marker di alta qualità.
- Richiede una standardizzazione congiunta tra i team per i formati dei file e le convenzioni di denominazione dei modelli.
- Comporta considerazioni di adattamento quando applicato a diverse regioni anatomiche o modelli di malattia.
- È limitato dalle dimensioni e dalla complessità dei modelli che possono essere efficacemente visualizzati tramite realtà aumentata sullo smartphone.
Domande frequenti sulla biofarmaceutica
Chapters in this video
0:04
Title
1:01
Biomodel Creation
2:08
Biomodel Positioning: Visualization Mode
2:53
Biomodel Positioning: Registration Mode
4:00
3D Printing and Augmented Reality (AR) App Deployment and Visualization
7:25
Results: Representative AR Visualization of 3D-Printed Markers
8:38
Conclusion
