Augmented Reality-basierte Visualisierung einer resezierten Tumorprobe

Platzieren Sie eine resezierte Tumorprobe auf einem 3D-Scantisch, der mit einem Computer verbunden ist. Scannen Sie die vordere und hintere Fläche, um ein 3D-Bild zu erstellen.

Sobald dieses 3D-Bild mit der physischen Probe übereinstimmt, öffnen Sie es in Augmented Reality oder AR-Software.

Tragen Sie ein Head-Mounted-Display oder HMD und verbinden Sie es drahtlos mit der AR-Software.

Dies ermöglicht die Visualisierung des 3D-Bildes durch das HMD-Gerät als virtuelles Hologramm der Probe.

Richten Sie das Hologramm aus und verankern Sie es, um die räumliche Genauigkeit in der AR-Umgebung zu gewährleisten, und wenden Sie dann Texturen an, um den Realismus zu verbessern.

Verwenden Sie einen Sprachbefehl, um das Hologramm in einer virtuellen Umgebung zu öffnen und mit Handgesten die Größe neu zu positionieren, zu drehen und anzupassen.

Alternativ können Sie Sprachbefehle für freihändige Einstellungen verwenden.

Diese Augmented-Reality-basierte Visualisierung erzeugt ein Tumorhologramm, das eine präzise Randidentifikation an der Operationsstelle ermöglicht.

Tupfen Sie zunächst eine gespülte, resezierte onkologische Probe vorsichtig trocken. Machen Sie 2D-Fotos von der Front- und Seitenzahnoberfläche der Probe.

Legen Sie die Probe auf den mit Kunststoff überzogenen Drehteller eines 3D-Scanners. Scannen Sie die Front- und Seitenzahnflächen der Probe, um ein 3D-Bild zu erhalten.

Verwenden Sie die Dreipunkt-Datenkreuzregistrierung, um die beiden Sätze von Scandaten auszurichten. Wenn die Scanergebnisse der 3D-Ex-vivo-Probe ähneln, klicken Sie auf Scan speichern, um den Scan als .obj und als .jpeg Datei zu speichern.

Starten Sie als Nächstes die Augmented Reality-Software und öffnen Sie das Augmented Reality VISE-Paket. Ziehen Sie die .obj und .jpeg Dateien vom Desktop in das Feld Projektelemente, und legen Sie sie dort ab.

Setzen Sie das Head Mounted Display (HMD) auf und heben Sie das nicht dominante Handgelenk an, um das Menü in der HMD-Umgebung zu öffnen. Wenn ein quadratisches Symbol angezeigt wird, zeigen Sie mit dem Finger auf das Symbol und tippen Sie auf.

Wenn das Menü angezeigt wird, klicken Sie auf Datei und dann auf Alle Apps anzeigen, und öffnen Sie die Holographic Remoting-Anwendung. Wählen Sie in der oberen Symbolleiste Mixed Reality aus, und drücken Sie dann Remoting und holografisches Remoting für den Wiedergabemodus.

Geben Sie die IP-Adresse des HMD ein und drücken Sie dann auf Play, nachdem Sie sichergestellt haben, dass das HMD und das Gerät mit demselben WLAN-Netzwerk verbunden sind. Das Headset sollte jetzt Empfangen.... anzeigen.

Ziehen Sie das 3D-Objektmodell in die linke Hierarchieleiste, öffnen Sie das Dropdown-Menü und ziehen Sie die Standardeinstellung in das Popup-Fenster Drehpunkt anpassen unter Objekt ersetzen.

Klicken Sie nun auf Ausgewählte Objekte anwenden, öffnen Sie dann das Dropdown-Menü Medical_Object im Menü Hierarchie und wählen Sie Anker. Wählen Sie Move Medical_Object's pivot here im Adjust Pivot (Drehpunkt anpassen) aus.

Ziehen Sie die Texturdatei in das Feld (Textur 2D) des Popups "Drehpunkt anpassen", wählen Sie "Ausgewählte Texturdatei anwenden" und klicken Sie auf die Schaltfläche "Wiedergabe".

Verwenden Sie nun die Sprachbefehle Öffnen, um das Hologramm zu initialisieren, Neu positionieren, um das Objekt in die Mitte der Ansicht zu bringen, wenn es nicht sichtbar ist, Größe sperren, um das Objekt in der aktuellen Größe zu halten, Größe entsperren, um die Objektgröße zu ändern, und Zurück zum Maßstab, um das Objekt auf anatomische Größe wiederherzustellen.

Ziehen Sie mit dem Zeigefinger und dem Daumen zusammen, um die Größe des Objekts zu ändern, es zu verschieben und zu drehen. Steuern Sie das Objekt freihändig mit den Sprachbefehlen Rechts oder Links zum Drehen, Größer oder Kleiner zum Ändern der Größe und Erhöhen oder Verringern der Transparenz, um die Transparenz anzupassen.

Um das Hologramm neu auszurichten, platzieren Sie Daumen und Zeigefinger zusammen, um das Objekt zu greifen, richten Sie es dann wieder am Resektionsbett aus, und lassen Sie das Objekt an der gewünschten virtuellen Stelle los. Verwenden Sie abschließend die Sprachbefehle Sperren oder Entsperren, um das Hologramm an seiner Stelle zu sichern.