$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Alle Verfahren, die die Probenentnahme beinhalten, wurden in Übereinstimmung mit den IRB-Richtlinien des Instituts durchgeführt.
HINWEIS: Ein Schema, das den Protokoll-Workflow detailliert beschreibt, ist in Abbildung 1 zu sehen.
1. 3D Scannen
- Erhalten Sie einen 3D-Scan einer onkologischen Resektionsprobe gemäß dem zuvor beschriebenen 3D-Scanprotokoll7.
- Richten Sie den kommerziell erhältlichen Desktop-3D-Scanner in der Nähe des Pathologielabors ein, in dem normalerweise Proben entnommen werden.
- Spülen Sie die resezierte Probe vorsichtig ab und tupfen Sie sie trocken. Machen Sie dann 2D-Fotos von der Vorder- und Hinterfläche.
- Legen Sie die Probe auf den Scanner-Drehteller und stellen Sie sicher, dass der Drehteller mit einer dünnen Plastikfolie vor Körperflüssigkeiten geschützt ist.
- Erstellen Sie mit einer 3D-Scanner-Software und einem Laptop einen 3D-Scan der Front- und Seitenzahnflächen der Probe.
- Verwenden Sie mit der 3D-Scanner-Software die Drei-Punkt-Datenkreuzregistrierung, um die beiden Datensätze der Scandaten auszurichten.
- Sobald der Scan der 3D-Struktur der Ex-vivo-Probe ähnelt, fahren Sie mit Schritt 1.2 fort.
- Klicken Sie auf Scan speichern und speichern Sie den abgeschlossenen Scan aus der 3D-Scansoftware als .obj Datei und als .jpeg Datei.
>2. Einrichtung der Augmented-Reality-Umgebung
- Öffnen Sie die Desktop-AR-Software. Öffnen Sie das Augmented Reality VISE-Paket.
- Laden Sie das in Schritt 1.2 erstellte 3D-Modell als .obj Datei und die Texturdaten als .jpeg Datei in die Software hoch, indem Sie die Dateien vom Desktop in das Feld Projektelemente ziehen und dort ablegen.
- Setzen Sie das Head Mounted Display (HMD) auf.
- Öffnen Sie das Menü in der HMD-Umgebung, indem Sie das nicht-dominante Handgelenk anheben. Wenn ein quadratisches Symbol angezeigt wird, tippen Sie darauf, indem Sie mit dem Finger auf das Symbol zeigen, und suchen Sie nach einem Menü, das angezeigt werden soll.
- Wählen Sie Datei | Alle Apps anzeigen | Öffnen Sie die Holographic Remoting-Anwendung auf dem HMD.
- Verbinden Sie das HMD mit der Software, indem Sie Mixed Reality | Remoting | Holografisches Remoting für den Wiedergabemodus in der oberen Symbolleiste.
- Geben Sie die IP-Adresse des HMD ein, die angezeigt wird, wenn die Holographic Remoting-Anwendung geöffnet ist.
HINWEIS: Wenn die IP-Adresse nicht in der App angezeigt wird, kann sie auch in den Einstellungen oder über den Sprachbefehl "Was ist meine IP-Adresse" gefunden werden.
- Stellen Sie sicher, dass sowohl das HMD als auch das Gerät, auf dem die Software ausgeführt wird, mit demselben Wi-Fi-Netzwerk verbunden sind. Klicken Sie auf die dreieckige Play-Schaltfläche oben in der Mitte. Das HMD-Headset zeigt jetzt Rendering an.
- Ziehen Sie das 3D-Objektmodell in die linke Hierarchieleiste. Öffnen Sie das Dropdown-Menü für das Objekt. Ziehen Sie die Standardeinstellung in das Popup-Fenster "Drehpunkt anpassen" unter "Objekt ersetzen". Klicken Sie auf Ausgewählte Objekte anwenden.
- Öffnen Sie das Dropdown-Menü Medical_Object im Menü Hierarchie und wählen Sie Anker aus, bevor Sie im Popup Pivot anpassen die Option Pivot Medical_Object hier verschieben auswählen.
- Ziehen Sie die Texturdatei in das Feld (Textur 2D) des Popup-Fensters Drehpunkt anpassen. Wählen Sie Ausgewählte Texturdatei anwenden aus.
- Klicken Sie erneut auf die Play-Schaltfläche oben in der Mitte des Bildschirms.
>3. Betreten der virtuellen Realität
- Verwenden Sie den Sprachbefehl Öffnen, um das Hologramm zu initialisieren.
- Wenn das Objekt nicht zu sehen ist oder jemals aus dem Blickfeld verschwindet, verwenden Sie den Sprachbefehl Neu positionieren, um das Objekt wieder in die Mitte des Blickfelds zu bringen.
- Das Objekt wird in anatomischer Größe gerendert. Verwenden Sie den Sprachbefehl Größe sperren, um das Objekt in der aktuellen Größe zu halten, Größe entsperren, um die Objektgröße zu ändern, und Zurück zum Maßstab, um das Objekt auf anatomische Größe zurückzusetzen.
- Ziehen Sie mit dem Zeigefinger und dem Daumen zusammen, um die Größe des Objekts zu ändern, es zu verschieben und zu drehen, wie es bei einem physischen Objekt der Fall ist.
>4. Sprachbefehle verwenden
- Manipulieren Sie das Objekt freihändig mit den folgenden Sprachbefehlen:
- Rechts: Drehen Sie das Objekt nach rechts.
- Links: Drehen Sie das Objekt nach links.
- Größer: Vergrößern Sie das Objekt.
- Kleiner: Verkleinern Sie das Objekt.
- Transparenz erhöhen: Erhöhen Sie die Transparenz des Objekts.
- Transparenz verringern: Verringern Sie die Transparenz des Objekts.
>5. AR-geführte Neuausrichtung der Probe
HINWEIS: Die 3D-Neuausrichtung des Hologramms ist in Abbildung 2 zu sehen.
- Bearbeiten Sie das 3D-Probenhologramm, das durch das HMD gesehen wird, mit Daumen und Zeigefinger.
- Fassen Sie das Objekt, indem Sie Daumen und Zeigefinger in der realen Umgebung, in der das Hologramm in der virtuellen Umgebung zu sehen ist, zusammenlegen.
- Lassen Sie das Objekt los, indem Sie den Daumen und den Zeigefinger in der realen Umgebung öffnen, sobald das 3D-Hologramm an der gewünschten Stelle in der virtuellen Umgebung platziert ist.
- Verwenden Sie den Sprachbefehl Lock, um das Hologramm an Ort und Stelle zu sichern, und Unlock (Entsperren), um das Objekt erneut zu bearbeiten.
- Basierend auf der anatomischen Ausrichtung des Hologramms richten Sie die virtuelle Probe im Resektionsbett neu aus, indem Sie die Schritte 5.1-5.2 befolgen. Wenn das Hologramm so weit wie möglich mit dem Resektionsbett aus Sicht des HMD ausgerichtet ist, verwenden Sie den Sprachbefehl Sperren, um die Probe an Ort und Stelle zu fixieren.
