Visualizzazione basata sulla realtà aumentata di un campione tumorale resecato

Posizionare un campione di tumore resecato su un tavolo di scansione 3D collegato a un computer. Scansiona le superfici anteriori e posteriori per creare un'immagine 3D.

Una volta che questa immagine 3D corrisponde al campione fisico, aprila in realtà aumentata o software AR.

Indossa un display montato sulla testa o un HMD e collegalo in modalità wireless al software AR.

Ciò consente la visualizzazione dell'immagine 3D attraverso il dispositivo HMD come ologramma virtuale del campione.

Allinea e ancorare l'ologramma per garantire l'accuratezza spaziale all'interno dell'ambiente AR, quindi applica le texture per migliorare il realismo.

Usa un comando vocale per aprire l'ologramma in un ambiente virtuale e, con i gesti delle mani, riposizionare, ruotare e regolare le dimensioni.

In alternativa, utilizzare i comandi vocali per le regolazioni a mani libere.

Questa visualizzazione basata sulla realtà aumentata genera un ologramma del tumore che aiuta a identificare con precisione i margini nel sito dell'intervento.

Per iniziare, asciugare delicatamente un campione oncologico risciacquato e resecato. Scattare fotografie 2D delle superfici anteriori e posteriori del campione.

Posizionare il campione sulla piattaforma girevole rivestita in plastica di uno scanner 3D. Scansiona le superfici anteriori e posteriori del campione per ottenere un'immagine 3D.

Utilizzare la registrazione incrociata dei dati a tre punti per allineare i due set di dati di scansione. Quando i risultati della scansione assomigliano al campione 3D ex vivo, fare clic su Salva la scansione per salvare la scansione come file .obj e .jpeg.

Successivamente, avvia il software di Realtà Aumentata e apri il pacchetto VISE di Realtà Aumentata. Trascina e rilascia i file .obj e .jpeg dal desktop nella casella Risorse progetto.

Indossa l'Head Mounted Display o l'HMD e solleva il polso non dominante per aprire il menu nell'ambiente HMD. Quando viene visualizzata un'icona quadrata, punta il dito sull'icona e tocca.

Quando viene visualizzato il menu, fare clic su File seguito da Mostra tutte le app e aprire l'applicazione Holographic Remoting. Nella barra degli strumenti superiore selezionare Realtà mista, quindi premere Comunicazione remota e Comunicazione remota olografica per la modalità di riproduzione.

Inserisci l'indirizzo IP dell'HMD, quindi premi Riproduci dopo esserti assicurato che l'HMD e il dispositivo siano connessi alla stessa rete WiFi. L'auricolare dovrebbe ora visualizzare Ricezione....

Trascinare il modello di oggetti 3D nella barra della gerarchia a sinistra, aprire il menu a discesa e trascinare l'impostazione predefinita nella finestra popup Regola pivot in Sostituisci oggetto.

Ora fai clic su Applica oggetti selezionati, quindi apri il menu a discesa Medical_Object nel menu Gerarchia e scegli l'ancoraggio. Scegli Sposta Medical_Object pivot qui nel popup Regola pivot.

Trascina il file di texture nella casella (Texture 2D) del popup Regola pivot, seleziona Applica file di texture selezionato e premi il pulsante Riproduci.

Ora usa i comandi vocali Apri per inizializzare l'ologramma, Riposiziona per portare l'oggetto al centro della vista se non è visibile, Blocca dimensioni per mantenere l'oggetto nelle dimensioni correnti, Sblocca dimensioni per modificare le dimensioni dell'oggetto e Torna in scala per ripristinare le dimensioni anatomiche dell'oggetto.

Pizzica con l'indice e il pollice per ridimensionare, spostare e ruotare l'oggetto. Controlla l'oggetto a mani libere utilizzando i comandi vocali Destra o Sinistra per ruotare, Più grande o Più piccolo per ridimensionare e Aumenta o Diminuisci la trasparenza per regolarne la trasparenza.

Per riallineare l'ologramma, posizionare il pollice e l'indice insieme per afferrare l'oggetto, quindi riallinearlo contro il letto di resezione e rilasciare l'oggetto nel punto virtuale desiderato. Infine, usa i comandi vocali Blocca o Sblocca per fissare l'ologramma al suo posto.