$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Tutte le procedure che prevedono la raccolta dei campioni sono state eseguite in conformità con le linee guida IRB dell'istituto.
NOTA: Uno schema che descrive in dettaglio il flusso di lavoro del protocollo può essere visto nella Figura 1.
1. 3D Scansione
- Ottenere una scansione 3D di un campione di resezione oncologica secondo il protocollo di scansione 3D precedentemente descritto7.
- Configura lo scanner 3D desktop disponibile in commercio in prossimità del laboratorio di patologia in cui vengono generalmente prelevati i campioni.
- Sciacquare delicatamente e asciugare il campione resecato. Quindi, scatta fotografie 2D delle sue superfici anteriori e posteriori.
- Posizionare il campione sul giradischi dello scanner, assicurandosi che il giradischi sia protetto da eventuali fluidi corporei con un sottile foglio di plastica.
- Utilizzando il software di scansione 3D e un computer portatile, è possibile ottenere una scansione 3D delle superfici anteriori e posteriori del campione.
- Utilizzando il software dello scanner 3D, utilizzare la registrazione incrociata dei dati a tre punti per allineare i due set di dati di scansione.
- Una volta che la scansione assomiglia alla struttura 3D del campione ex vivo, procedere al passaggio 1.2.
- Fare clic su Salva la scansione e salvare la scansione completata dal software di scansione 3D come file .obj e file .jpeg.
2. Configurazione dell'ambiente di realtà aumentata
- Apri il software AR desktop. Apri il pacchetto VISE di Realtà Aumentata.
- Carica il modello 3D prodotto nel passaggio 1.2 come file .obj e i dati della texture come file .jpeg nel software trascinando e rilasciando i file dal desktop nella casella Risorse progetto.
- Indossare il display montato sulla testa (HMD).
- Aprire il menu nell'ambiente HMD sollevando il polso non dominante. Quando viene visualizzata un'icona quadrata, toccala puntando il dito sull'icona e cerca un menu da visualizzare.
- Seleziona File | Mostra tutte le applicazioni | aprire l'applicazione Holographic Remoting sull'HMD.
- Connettere l'HMD al software selezionando Realtà mista | Comunicazione remota | Comunicazione remota olografica per la modalità di riproduzione nella barra degli strumenti superiore.
- Immettere l'indirizzo IP dell'HMD, che viene visualizzato quando l'applicazione Holographic Remoting è aperta.
NOTA: Se non viene visualizzato all'interno dell'app, l'indirizzo IP può essere trovato anche nelle impostazioni o tramite il comando vocale "Qual è il mio indirizzo IP".
- Assicurarsi che l'HMD e il dispositivo su cui è in esecuzione il software siano entrambi connessi alla stessa rete Wi-Fi. Premi il pulsante triangolare Riproduci in alto al centro. Il visore HMD ora visualizzerà il rendering.
- Trascinare il modello a oggetti 3D nella barra della gerarchia a sinistra. Apri il menu a discesa per l'oggetto. Trascinare l'impostazione predefinita nella finestra popup Regola pivot in Sostituisci oggetto. Fare clic su Applica oggetti selezionati.
- Apri il menu a discesa Medical_Object nel menu Gerarchia e seleziona l'ancoraggio prima di selezionare Sposta il perno di Medical_Object qui nel popup Regola pivot.
- Trascinare il file di texture nella casella (Texture 2D) del popup Regola Pivot. Selezionare Applica file texture selezionato.
- Premi ancora una volta il pulsante Riproduci in alto al centro dello schermo.
3. Entrare nella realtà virtuale
- Utilizzare il comando vocale Apri per inizializzare l'ologramma.
- Se l'oggetto non viene visualizzato o se viene perso dalla vista, utilizzare il comando vocale Riposiziona per riportare l'oggetto al centro della vista.
- L'oggetto verrà renderizzato in dimensioni anatomiche. Utilizzare il comando vocale Blocca dimensioni per mantenere l'oggetto nelle dimensioni correnti, Sblocca dimensioni per modificare le dimensioni dell'oggetto e Torna in scala per ripristinare le dimensioni anatomiche dell'oggetto.
- Pizzica con l'indice e il pollice per ridimensionare, spostare e ruotare l'oggetto nello stesso modo in cui viene manipolato un oggetto fisico.
4. Utilizzo dei comandi vocali
- Manipolare l'oggetto a mani libere utilizzando i seguenti comandi vocali:
- Destra: ruota l'oggetto verso destra.
- Sinistra: ruota l'oggetto verso sinistra.
- Più grande: ingrandisci l'oggetto.
- Più piccolo: rende l'oggetto più piccolo.
- Aumenta la trasparenza: aumenta la trasparenza dell'oggetto.
- Riduci trasparenza: Riduce la trasparenza dell'oggetto.
5. Riallineamento guidato AR del campione
NOTA: Il riallineamento 3D dell'ologramma può essere visto nella Figura 2.
- Manipola l'ologramma del campione 3D visto attraverso l'HMD usando il pollice e l'indice.
- Afferra l'oggetto unendo il pollice e l'indice nell'ambiente reale in cui l'ologramma viene visualizzato nell'ambiente virtuale.
- Lasciare andare l'oggetto aprendo il pollice e l'indice nell'ambiente reale una volta che l'ologramma 3D è posizionato dove desiderato nell'ambiente virtuale.
- Utilizza il comando vocale Blocca per fissare l'ologramma in posizione e Sblocca per manipolare nuovamente l'oggetto.
- In base all'orientamento anatomico dell'ologramma, riallineare il campione virtuale nel letto di resezione seguendo i passaggi 5.1-5.2. Quando l'ologramma viene riallineato il più possibile con il letto di resezione visto attraverso l'HMD, utilizzare il comando vocale Blocca per bloccare il campione in posizione.
