Method Article

Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung

DOI:

10.3791/68607

⸱

September 2nd, 2025

 ,  ,  ,  ,  ,  ,  ,  , 
1Department for Pediatric Surgery, Princess Máxima Center for Pediatric Oncology, 2Robotics and Mechatronics, University of Twente

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll bietet einen Leitfaden zur Implementierung von Infrarot-Marker-Tracking für frei bewegliche Phantome (z. B. Organe) und holographische Visualisierung mittels Augmented Reality. Darüber hinaus wird ein Aufbau für die präklinische Validierung von holographischen Navigationssystemen mit elektromagnetischer Verfolgung an frei beweglichen Phantomen skizziert.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Augmented Reality (AR) hat das Potenzial, die chirurgische Führung zu verbessern, indem dreidimensionale (3D) anatomische Informationen während chirurgischer Eingriffe direkt auf den Patienten eingeblendet werden. Die praktische Umsetzung von AR stößt jedoch auf erhebliche Herausforderungen, insbesondere bei der genauen Verfolgung von Organen, die sich bei chirurgischen Manipulationen frei bewegen. Folglich sind zuverlässige Organ-Tracking-Methoden notwendig, um präzise holographische Overlays intraoperativ zu erhalten. Die präklinische Validierung holographischer Visualisierungen hinsichtlich der Genauigkeit stellt zusätzliche Herausforderungen dar und erfordert experimentelle Protokolle zur quantitativen Bewertung. Dieses Protokoll adressiert diese beiden Herausforderungen: Es beschreibt einen umfassenden Ansatz für die Entwicklung von AR-Visualisierungsanwendungen unter Verwendung maßgeschneiderter Infrarotmarker für die Echtzeit-Organverfolgung mit einem Head-Mounted Display (HMD) und bietet einen Validierungsrahmen, der elektromagnetisches (EM) Tracking nutzt, um die holografische Genauigkeit in Phantomexperimenten zu validieren. In dieser Arbeit wird eine Schritt-für-Schritt-Anleitung für die Erstellung patientenspezifischer 3D-Modelle aus der medizinischen Bildgebung, das Entwerfen und Herstellen von benutzerdefinierten Infrarotmarkern, die Integration dieser Marker in eine AR-Anwendung für ein HMD und deren Einsatz für die chirurgische Navigation beschrieben. Darüber hinaus wird ein Validierungsverfahren unter Verwendung von EM-Tracking beschrieben, um die Präzision holographischer Visualisierungen in semi-deformierbaren Nierenphantomen quantitativ zu messen. Daher erleichtert dieses Protokoll sowohl die Echtzeit-Organverfolgung als auch die Etablierung einer präklinischen Validierungsmethodik. Die Implementierung von Echtzeit-Organverfolgung könnte die chirurgische Führung für frei bewegliche Organe verbessern, indem Hologramme genau überlagert werden, was möglicherweise zu einer verbesserten chirurgischen Genauigkeit und besseren Patientenergebnissen führt.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In der chirurgischen Onkologie ist die genaue Identifizierung der Tumorlokalisation und der Beziehung zu angrenzenden gesunden Geweben entscheidend, um eine vollständige Tumorresektion zu erreichen und gleichzeitig gesundes Gewebe zu erhalten1. Unvollständige Resektionen können zu einem Lokalrezidiv und einer verminderten Überlebensrate führen 2,3, während eine übermäßige Gewebeentnahme die Funktion und Lebensqualität beeinträchtigen kann4. Chirurgische Navigationssysteme sind vielversprechend, wenn es darum geht, radikale Resektionen zu verbessern und gleichzeitig gesundes Gewebe zu erhalten, indem sie dem Chirurgen eine intraoperative Anleitung bieten, die möglicherweise zu verbesserten klinischen Ergebnissen führen kann5. Herkömmliche chirurgische Navigationssysteme präsentieren jedoch in der Regel zweidimensionale (2D) anatomische Informationen auf Bildschirmen, die außerhalb des Operationsfeldes positioniert sind. Dieser Ansatz zwingt den Chirurgen, die angezeigten 2D-Informationen mental mit der tatsächlichen dreidimensionalen (3D) Anatomie des Patienten zu korrelieren, was die kognitive Belastung erhöht6. Obwohl die jüngsten Fortschritte in der 3D-Modellierung dem Chirurgen ein besseres Verständnis der Beziehung des Tumors zu den umgebenden anatomischen Strukturen ermöglichen7, werden diese Informationen immer noch außerhalb des Operationsbereichs visualisiert, wodurch das Problem des Schaltfokusbeibehalten wird 6,8. Diese Einschränkungen chirurgischer Navigationssysteme können zu potenziellen Fehlern bei der Verwendung der chirurgischen Navigation beitragen und möglicherweise zu suboptimalen chirurgischen Ergebnissen führen9.

Um die oben genannten Einschränkungen zu überwinden, hat sich Augmented Reality (AR) als vielversprechende Lösung erwiesen, indem anatomische Strukturen und Resektionsgrenzen in 3D an Patienten 10,11 visualisiert werden. Durch die Überlagerung von präoperativen 3D-Modellen, die auf der Grundlage von Daten der Magnetresonanztomographie (MRT) oder der Computertomographie (CT) segmentiert sind, kann die Anatomie visualisiert werden. In systematischen Übersichtsarbeiten wurde der potenzielle Nutzen von AR für die offene Chirurgie bei jugendlichen Patienten hervorgehoben12, und erste Arbeiten in diesem Bereich zeigen die Machbarkeit von patientenspezifischen 3D-Schablonen, die mit visuellen Markern für die automatische Registrierung ausgestattet sind13. Van Doormaal et al. entwickelten ein Navigationssystem mit einem AR-Gerät, indem sie eine punktbasierte Registrierung und einen Zeiger mit einem Bildziel für die Neurochirurgie verwendeten14. Sie untersuchten die entwickelte AR-Anwendung im Operationssaal an Patienten vor der Operation und in einem Phantomexperiment, das einen Passermarkenfehler von 7,2 mm bzw. 4,4 mm zeigte.

Trotz der vielversprechenden Fortschritte sind diese Registrierungssysteme oft starr und es fehlt an Echtzeit-Tracking der Zielorgane, so dass nach wie vor ein Bedarf an Echtzeit-Tracking der Organbewegungen besteht15,16. Dies gilt insbesondere für bewegliche Organe, die während der Operation manipuliert werden, wie z. B. Niere und Leber, was zu einer ungenauen Führung, der Notwendigkeit einer Neuregistrierung, die viel Zeit in Anspruch nimmt, und einer möglichen Schädigung des gesunden Gewebes oder falschen Resektionen führen kann17. Um diese Probleme weiter zu lösen, wurde ein neuartiges AR-System entwickelt, das auf einer von Iqbal et al. vorgestellten Anwendung basiert, um Infrarotmarker für die kontinuierliche Organverfolgung zu integrieren18. Diese Entwicklung ermöglicht es dem AR-Overlay, sich dynamisch an Echtzeitänderungen der Organposition anzupassen, wodurch die räumliche Genauigkeit erhalten bleibt und möglicherweise die chirurgische Präzision verbessert wird. Durch die Kombination von starrer Registrierung mit dynamischem Infrarot-Marker-basiertem Tracking bietet dieses System einen erheblichen Fortschritt auf dem Weg zu einer genauen holografischen Echtzeitführung in der Chirurgie.

Dieses Protokoll stellt ein auf Infrarot-Markern basierendes AR-Navigations- und präklinisches Validierungssystem für ein Head-Mounted Display (HMD) dar. Unser Ziel ist es, ein Echtzeit-Augmented-Reality-Navigationssystem zu entwickeln und zu validieren, um genaue holographische Überlagerungen von sich bewegenden Organen in einer präklinischen Umgebung zu erhalten. Zunächst bietet das Protokoll eine Beschreibung, wie eine holographische Anwendung vorbereitet wird, die Infrarotmarker mit einer Abmessung von 32 mm (Breite) x 15 mm (Länge) x 6 mm (Höhe) verwendet, um Phantomorgane in Echtzeit zu verfolgen, wobei die Überlagerung von 3D-Hologrammen unabhängig von der Bewegung erhalten bleibt. Als Beispielmodell für ein bewegliches Organ verwenden wir ein Nierenphantom, gedruckt mit thermoplastischem Polyurethan-Filament (TPU). Zweitens gibt es einen Überblick darüber, wie benutzerdefinierte Infrarotmarker entworfen und gedruckt werden können und wie diese Marker in die holografische Visualisierungsanwendung integriert werden können. Dies ermöglicht es anderen Forschern und Klinikern, die Anwendung an andere präklinische Phantomszenarien anzupassen, bei denen offene Operationen und bewegliche Organe simuliert werden. Schließlich bietet eine Validierungsmethode, die auf elektromagnetischem Tracking basiert, quantitative Messungen zur Berechnung der Genauigkeit und bietet eine präklinische Validierung der holographischen Führung in Phantomexperimenten. Eine Einschränkung dieser Methodik ist das Fehlen eines automatisierten Registrierungsverfahrens, das die Genauigkeit dieses Systems einschränkt. Dieser Ansatz hilft den Nutzern jedoch dabei, die Eignung ihrer entwickelten AR-Technik für ihre klinische Anwendung zu bestimmen.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Studie folgte den Richtlinien unserer Institution und unterlag nicht dem Medical Research Involving Human Subjects Act (WMO). Daher war es nicht erforderlich, die Einverständniserklärung der Teilnehmer einzuholen.

1. Vorbereitung von Hard- und Softwarepaketen für die 3D-Modellierung und den Einsatz von AR-Anwendungen

  1. Laden Sie die folgenden Softwareprogramme herunter und installieren Sie sie auf einem PC (PC) mit Microsoft Windows 10.
    1. Laden Sie Unity Hub v3.11.1 und Unity v. 2019.4.22f1 von https://unity.com/download herunter. Schließen Sie Visual Studio 2019 während der Installation von Unity 2019.4.22f1 ein. Link zum Handbuch: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
    2. Laden Sie MeshMixer v. 3.5.0 von https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 herunter, der Link zum Handbuch ist https://help.autodesk.com/view/MSHMXR/2019/ENU/
    3. Laden Sie 3DSlicer v. 5.6.2 von https://download.slicer.org/ herunter, der Link zum Handbuch ist https://slicer.readthedocs.io/en/latest/
    4. Laden Sie Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal herunter, der Link zum Handbuch ist https://help.autodesk.com/view/fusion360/ENU/
    5. Laden Sie Bambu Studio v. 01.09.07.52 von https://bambulab.com/en/download/studio herunter, der Link zum Handbuch ist https://wiki.bambulab.com/en/studio-handy

2. Entwerfen und Drucken von benutzerdefinierten Infrarotmarkern

  1. Entwerfen Sie Infrarot-Marker in einer 3D-Design-Software, wie unten beschrieben.
    1. Öffnen Sie die 3D-CAD-Software (Computer Aided Design) (siehe Materialtabelle) und erstellen Sie eine neue Datei.
    2. Wählen Sie die Registerkarte SOLID und klicken Sie auf Skizze erstellen , um mit dem Skizzieren eines neuen Designs für einen Infrarot-Marker zu beginnen.
    3. Fügen Sie drei oder vier kleine Kreise mit einem Durchmesser von 3 mm hinzu, indem Sie auf Kreis mit mittlerem Durchmesser drücken. Diese Kreise dienen als Befestigungspunkte für Schrauben.
    4. Berechnen Sie den Mittelpunkt der Infrarotmarkierung, indem Sie die Eckpunkte des Dreiecks mit den Mittelpunkten der gegenüberliegenden Seiten verbinden. Drücken Sie Linie und verbinden Sie alle Kreise, indem Sie Linien von einer Seite bis zum Punkt eines Kreises zeichnen.
    5. Erstellen Sie einen Kreis als Basis der Infrarotmarkierung auf dem Mittelpunkt mit Kreis mit Mitteldurchmesser. Verwenden Sie ein 3-Punkt-Rechteck, um Rechtecke zu zeichnen, die den Mittelkreis mit jedem der drei oder vier kleineren Kreise verbinden.
    6. Extrudieren Sie die kreisförmige Basis und die Rechtecke auf eine Dicke von 2 mm und die kleinen Kreise auf 5 mm.
    7. Fügen Sie jedem der drei Kegel ein Gewinde hinzu, indem Sie ein metrisches ISO-Profil verwenden (z. B. M3 × 0,5, 6 g, rechte Hand), um 6,4 mm infrarotreflektierende Kugeln aufzunehmen, indem Sie auf Erstellen und dann auf Gewinde drücken.
    8. Exportieren Sie das Modell als Objektdatei (OBJ) mit der Funktion 3D-Druck oder Export.
    9. Messen Sie in der 3D-CAD-Software die XYZ-Koordinaten der infrarotreflektierenden Kugeln in Korrelation zum Mittelpunkt, indem Sie Messen auswählen. Messen Sie die Positionen der Mittelpunkte der Kreise in Korrelation zum Mittelpunkt der Form. Verwenden Sie diese Koordinaten in Schritt 4.1.2.
  2. Drucken Sie 3D-Marker wie unten beschrieben.
    1. Importieren Sie die exportierte Stereolithografie (. STL)-Datei des Infrarot-Markers in eine für den 3D-Drucker geeignete Software übertragen, indem Sie sie in die Szene ziehen (siehe Materialtabelle).
    2. Konfigurieren Sie die Slicing-Parameter, einschließlich der Schichthöhe (0,08 mm ist die kleinstmögliche Schichthöhe, um einen ungenauen Druck des Fadens für die infrarotreflektierende Kugel zu vermeiden), indem Sie auf Qualität > Schichthöhe drücken. Fügen Sie dem Entwurf Unterstützung hinzu, indem Sie auf Unterstützung > Struktur aktivieren drücken.
    3. Exportieren Sie die Slicing-Datei auf den 3D-Drucker, indem Sie auf "Alle slicen" klicken, exportieren Sie die Datei, indem Sie auf "Alle Slic-Datei exportieren" klicken, und drucken Sie das 3D-Modell mit einem 3D-Drucker (siehe Materialtabelle) mit Polymilchsäurefilament (z. B. PLA; siehe Materialtabelle).

3. Erstellung des patientenspezifischen 3D-Modells der Niere

  1. Modell-Segmentierung
    1. Öffnen Sie die 3D-Segmentierungssoftware (siehe Materialtabelle) und importieren Sie die MRT/CT-Daten des Patienten mit Hilfe von DICOM-Dateien importieren.
    2. Wechseln Sie zum Segment-Editor, wählen Sie das entsprechende Quellvolume aus und erstellen Sie eine neue Segmentierung, indem Sie auf Hinzufügen klicken.
    3. Wählen Sie eine manuelle oder halbautomatische Segmentierung basierend auf der Bildgebungsmodalität.
    4. Verwenden Sie für die manuelle Segmentierung das Mal- und Radierwerkzeug, um den Tumor und die umgebenden relevanten Strukturen in jedem Slice zu segmentieren.
    5. Für eine halbautomatische Segmentierung sollten Sie Optionen wie Schwellenwert mit dem entsprechenden Schwellenwertbereich für die jeweilige Struktur und Schere verwenden, um die irrelevanten Strukturen zu segmentieren.
    6. Wählen Sie im Bildschirm Daten die Option Erstellte Segmentierung aus, und klicken Sie dann mit der rechten Maustaste, um zur Schaltfläche Sichtbare Segmente in Modelle exportieren zu wechseln. Stellen Sie sicher, dass die Option Auge auf der rechten Seite des Bildschirms ausgewählt ist.
    7. Exportieren Sie die STL-Dateien der Modelle, indem Sie auf Speichern klicken und die Dateien als speichern. STL-Datei.
  2. Nachbearbeitung des patientenspezifischen Modells
    1. Importieren Sie die STL-Datei in einen Netzeditor (siehe Materialtabelle) und reduzieren Sie die Anzahl der Dreiecke, indem Sie 3D-Modell auswählen > Bearbeiten und dann um einen Prozentsatz reduzieren, der die Dreiecke reduziert, ohne den visuellen Aspekt des 3D-Modells zu verformen, und drücken Sie Akzeptieren.
    2. Stellen Sie sicher, dass die Zielpunkte im 3D-Modell der holografischen Anwendung zur weiteren Validierung visuell dargestellt werden. Klicken Sie auf Kugeln hinzufügen, und platzieren Sie sie auf dem 3D-Modell.
    3. Exportieren Sie die 3D-Modelle in ein OBJ-Dateiformat, indem Sie auf Datei > Exportieren drücken. Stellen Sie sicher, dass das 3D-Modell ca. 100.000 Polygone enthält, indem Sie das Modell auswählen, und verkleinern Sie die Polygone, indem Sie auf Bearbeiten > Verkleinern klicken. Eine höhere Polygonanzahl erfordert mehr Vorgänge von der Grafikverarbeitungseinheit, sodass die Renderzeit erheblich verkürzt werden kann, wenn die Anzahl der Polygone in der Szene reduziert wird.

4. Vorbereiten der holografischen Anwendung

  1. Konfigurieren Sie das IRTrackingOrgans_HoloLens Projekt wie unten beschrieben.
    1. Starten Sie die Spieleentwicklungssoftware (siehe Materialtabelle), importieren Sie das IRTrackingOrgans_HoloLens Projekt und öffnen Sie es.
    2. Passen Sie die JSON-Datei (JavaScript Object Notation) mit einem Texteditor an, der dem Standardformat folgt, um einen benutzerdefinierten Infrarot-Marker basierend auf den in Schritt 2.1.10 gemessenen Koordinaten zu implementieren. Die JSON-Datei wird in Assets/StreamingAssets gespeichert.
    3. Gehen Sie zur Registerkarte DINO Unity, wählen Sie den ToolManager > ResearchModeController > JSON-Datei und die übergeordnete Transformation aus und klicken Sie auf Objekte erstellen und JSON-Einstellung anwenden.
    4. Importieren Sie das 3D-Modell des virtuellen Infrarot-Markers als Objekt, das in Schritt 1.1 erstellt wurde.
    5. Transformieren Sie das 3D-Modell der virtuellen Infrarotmarkierung in die Position der erzeugten Markierungen in der Szene, indem Sie das Modell auswählen und die Transformationskoordinaten im Inspektorfenster ändern.
    6. Fügen Sie ein patientenspezifisches 3D-Modell in die Szene ein, indem Sie es auswählen und in die Szene ziehen.
    7. Transformieren Sie das 3D-Modell des Patienten an die richtige Stelle, sodass der Infrarot-Marker die Oberfläche des 3D-Modells berührt. Positionieren Sie den Infrarot-Marker nahe der Mitte des 3D-Objekts, um Ungenauigkeiten aufgrund des Hebeleffekts zu minimieren.
  2. Verbinden Sie die Szene mit einem Patientenauswahlmenü
    1. Für den praktischen Einsatz und die Auswahl mehrerer Fälle verbinden Sie die Patientenszene mit einer Schaltfläche im Menübildschirm. Wechseln Sie zu Assets > Szenen > Menüszene.
    2. Wechseln Sie im Fenster Hierarchie zu NearMenu4x2 und ButtonCollection und dann zur entsprechenden Schaltfläche.
    3. Wechseln Sie im Inspektorfenster zu Grundlegende Ereignisse und geben Sie unter MenuScript.LoadScene den Namen der Patientenszene ein.
  3. Vorbereiten des HMD für die erstmalige Bereitstellung
    HINWEIS: Dieser Abschnitt ist nur erforderlich, wenn die Anwendung zum ersten Mal bereitgestellt wird.
    1. Melden Sie sich am HMD-Gerät (siehe Materialtabelle) an und versetzen Sie das Gerät in den Forschungsmodus. Wechseln Sie zu Einstellungen > > Update & Sicherheit für Entwickler > aktivieren Sie Entwicklerfunktionen und Geräteerkennung.
    2. Koppeln Sie das HMD mit einem PC (Wi-Fi oder USB-C). Wenn Sie zum ersten Mal eine Verbindung herstellen, gehen Sie folgendermaßen vor: Suchen Sie die IP-Adresse des HMD auf der Registerkarte "Entwickler", geben Sie die IP-Adresse in einem Webbrowser ein, um eine Verbindung zum Geräteportal herzustellen, und koppeln Sie das Gerät, indem Sie eine PIN generieren und die PIN eingeben.
  4. Erstellen und Bereitstellen der Anwendung auf einem HMD
    1. Fügen Sie dem Build die Szenen hinzu, indem Sie zu Datei > Buildeinstellungen wechseln und die Szene in der folgenden Reihenfolge hinzufügen: Menü > Nachverfolgen von Szenen , indem Sie auf Offene Szenen hinzufügen klicken.
    2. Erstellen Sie das Projekt mit der universellen Windows-Plattform, der Zielgeräte-HoloLens und der Architektur x64. Klicken Sie auf Erstellen , und wählen Sie eine Buildmap aus.
    3. Öffnen Sie die Builddatei (.sln) mit Visual Studio 2019, und ändern Sie die Plattform in ARM64. Öffnen Sie dann Eigenschaften, indem Sie im Projektmappen-Explorer mit der rechten Maustaste auf die .sln Datei klicken, und geben Sie unter Debuggen die IP-Adresse des HMD unter Computername ein.
    4. Stellen Sie die Anwendung auf dem HMD bereit, indem Sie Debuggen > Ohne Debuggen starten auswählen.
    5. Starten Sie das HMD, und öffnen Sie die holografische Anwendung. Navigieren Sie anschließend zum Bildschirm Patientenmenü, und wählen Sie den entsprechenden Fall aus, um die holografische Visualisierung und Anleitung zu initiieren.

5. Validierung der holographischen Visualisierung von beweglichen Organen

  1. Semi-verformbarer Phantomdruck
    1. Erstellen oder erhalten Sie ein 3D-Modell eines Nierenphantoms mit realistischen anatomischen Strukturen.
    2. Importieren Sie das 3D-Modell in eine 3D-CAD-Modellierungssoftware und integrieren Sie fünf Registrierungsdrehpunkte an der Seite des Modells, indem Sie Solid > Create > Hole > mit den Einstellungen Bohrungstyp: Einfach, Bohrungsgewindebohrertyp: Einfach, Bohrpunkt: Winkel, Höhe: 0,5 mm und Durchmesser: 4,0 mm verwenden.
    3. Integrieren Sie einen Zylinder mit einem Loch in das 3D-Modell, um den EM-Referenzsensor für weitere Validierungsschritte zu fixieren.
      1. Erstellen Sie eine Skizze mit einem Kreis und einem inneren Kreis mit einem Durchmesser von 2,8 mm mit Kreis mit Mitteldurchmesser. Extrudieren Sie den äußeren Kreis um 16,5 mm.
      2. Kombinieren Sie den Zylinder mit dem 3D-Modell, indem Sie Ändern > Kombinieren > 3D-Modell und Zylinder auswählen > Verbinden > OK auswählen.
    4. Exportieren Sie das 3D-Modell mit der Funktion Exportieren oder 3D-Druck.
    5. Verwenden Sie ein flexibles oder halbflexibles Filament, wie z. B. TPU, (siehe Materialtabelle), um das Nierenphantom gemäß dem in Schritt 2.2 beschriebenen Verfahren zu drucken.
  2. Einrichtung des 3D-Slicers mit EM-Tracking-System
    1. Sehen Sie sich das umfangreiche 3D Slicer und SlicerIGT Tutorial (https://www.slicerigt.org/wp/user-tutorial/) zum Einrichten eines EM-Systems mit 3D-Slicer an.
      HINWEIS: In diesem Abschnitt des Protokolls wird davon ausgegangen, dass die Einrichtung von 3DSlicer, die EM-Tracking-Konfiguration und die Verbindung gut verstanden und korrekt eingerichtet sind.
    2. Platzieren Sie den Feldgenerator des EM-Tracking-Systems (siehe Materialtabelle) direkt unter dem Phantom. Entfernen Sie alle ferromagnetischen Materialien aus der Umgebung, um Inhomogenitäten elektromagnetischer Felder zu vermeiden.
    3. Verbinden Sie den EM-Sensor (siehe Materialtabelle) und den EM-Zeiger (siehe Materialtabelle) mit dem EM-Tracking-System. Stellen Sie sicher, dass die Transformationen dieser Werkzeuge in 3DSlicer genau visualisiert werden.
    4. Befestigen Sie den EM-Referenzsensor (z. B. NDI Aurora 6DOF Cable Tool) am 3D-Modell, indem Sie ihn mit Klebstoff im Zylinder befestigen.
    5. Importieren Sie in 3D Slicer das 3D-Modell mit Drehpunkten und weisen Sie die Orientierungspunkte digital zu, indem Sie den Passermarken-Assistenten verwenden > einen Kontrollpunkt platzieren.
    6. Führen Sie die Registrierung von Orientierungspunkten durch, indem Sie die Orientierungspunkte in der Realität mit dem EM-Zeiger lokalisieren, drücken Sie auf Kontrollpunkt platzieren und registrieren Sie sie im 3DSlicer. Berechnen Sie die starre lineare Registertransformation, indem Sie auf Aktualisieren klicken.
    7. Wenden Sie nach der Registrierung die Registrierungstransformation auf das 3D-Modell an, um eine Verbindung zwischen ihm und dem EM-Referenzsensor herzustellen. Wenn das 3D-Modell physisch bewegt wird, sollte sich sein digitales Gegenstück im 3DSlicer bewegen. Bestätigen Sie dies dementsprechend visuell, indem Sie die Bewegungen beobachten.
  3. Holografische Validierung
    1. Starten Sie das Gerät, und öffnen Sie die holografische Anwendung aus Schritt 4.4.5. Navigieren Sie anschließend zum richtigen 3D-Patientenmodell, das ebenfalls im 3DSlicer visualisiert wird.
    2. Fixieren Sie den Infrarot-Marker mit Kleber an der richtigen Stelle mit den angebrachten 6,4 mm Infrarot-Markern (siehe Materialtabelle), wie in der präoperativen Planung visualisiert.
    3. Verwenden Sie den EM-Zeiger, um die Zielpunkte basierend auf der holografischen Visualisierung digital zu lokalisieren. Speichern Sie den Satz der EM-Sensorkoordinaten.
    4. Berechnen Sie den Fehler bei der Lokalisierung der Ziel-Landmarken im Vergleich zu den platzierten Landmarken, um die holografische Visualisierung quantitativ zu validieren.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ein Nierenphantom wurde verwendet, um die Leistungsfähigkeit des Infrarot-Tracking-Systems für die Organverfolgung zu demonstrieren und den holographischen Validierungsaufbau in bewegten Organen zu validieren. Der vollständige Workflow ist in Abbildung 1 dargestellt.

Zunächst wurde die Niere auf der Grundlage von MRT-Daten mit dem Schwellenwert-Tool in 3DSlicer halbautomatisch segmentiert. Das resultierende 3D-Modell wurde exportiert und in eine 3D-CAD-Software importiert, um die Anzahl der Polygone zu reduzieren. Ein zweites Modell wurde gespeichert, und fünf Zielpunkte wurden mit dem Kugelwerkzeug in dieses Modell integriert (Abbildung 2). Dieses Modell wurde für die technische Validierung des holografischen Displays verwendet. Die erste Version des Modells ohne Zielpunkte wurde in Autodesk Fusion importiert. In dieses Modell wurden fünf Drehpunkte integriert, und der Zylinder wurde integriert, um den EM-Sensor zu erleichtern. Mittels 3D-Slicing-Software wurde das 3D-Modell für den 3D-Druck vorbereitet. TPU mit einer Druckdichte von 8% wurde verwendet, um eine minimal flexible Nierenoberfläche zu erzeugen.

Es wurde ein standardisierter Infrarot-Marker entworfen, 3D-gedruckt und mit infrarotreflektierenden Kugeln (6,4 mm Durchmesser) bestückt. Von diesem Infrarotmarker aus wurden die Koordinaten des Infrarotmarkers in Korrelation zum Mittelpunkt gemessen. In der Softwareanwendung für die Spieleentwicklung wurde die JSON-Datei mit den Koordinaten des Infrarot-Markers importiert. Zweitens wurde das 3D-Modell der Niere importiert, mit Zielpunkten zu Validierungszwecken. Zu Visualisierungszwecken wurde außerdem das Infrarot-Marker-Modell importiert und in die Position der Punkte übersetzt, die in der JSON-Datei implementiert sind. Das 3D-Modell wurde in die Mitte des Infrarot-Markers transformiert (Abbildung 3), und es wurden zusätzliche Shader angewendet. Nach der Integration der Patientenmenüszene wurde die Anwendung auf dem HMD bereitgestellt.

Basierend auf der Platzierung der IR-Marker wird das holographische 3D-Modell mit dem HMD an der Niere in einem pädiatrischen abdominalen Phantom visualisiert (Abbildung 4). Er hatte eine Nachführrate von 11,6 Hz. Bei Entfernungen von mehr als 60 cm verliert das HMD jedoch die Fähigkeit, die Infrarotmarkierungen zu verfolgen. Zweitens führt die kontinuierliche Verfolgung und das Rauschen bei der Infrarotmarkierungsverfolgung dazu, dass die holografische Überlagerung flackert, was zu einer ungenauen Visualisierung führt.

Zu Validierungszwecken wurde das EM-Tracking-System über den Plus Server mit dem 3D Slicer verbunden. Zur Verfolgung wurde ein EM-Sensor auf der Phantomniere platziert (Abbildung 2). Nach der punktbasierten Registrierung wurde das 3D-Modell mit einer Mediangenauigkeit von 0,59 mm registriert, was sich als genaue Methode zur Validierung der holographischen Genauigkeit erwies (Abbildung 5). Der mediane Punktlokalisationsfehler betrug 8,74 mm (Interquartilsabstand: 6,38 - 10,85), basierend auf den Eingaben von drei Chirurgen (Tabelle 1).

Die Implementierung dieses AR-Tracking- und Visualisierungssystems umfasst ein Protokoll, das sich über ca. 45-60 Minuten erstreckt. Ein erfahrener Facharzt mit 2 Jahren Erfahrung führte das gesamte Protokoll einmal aus, um die Dauer der einzelnen Schritte des Protokolls zu bestimmen. Bemerkenswert ist, dass bestimmte Schritte nur einmal ausgeführt werden müssen. Zu den wesentlichen Schritten für jeden Patienten gehören die Segmentierung, die Modellintegration in die Spieleentwicklungssoftware und die Szenenkonfiguration. Die Segmentierung anatomischer Strukturen in patientenspezifischen Fällen erfordert aufgrund der multiplen anatomischen Strukturen relativ viel Zeit, aber die Segmentierung des Nierenparenchyms und des Tumors kann innerhalb von 30 Minuten abgeschlossen werden. Die Integration der segmentierten 3D-Modelle in die Anwendung und deren Ausrichtung auf den Infrarot-Marker erfordert ca. 5 Minuten manuelle Anpassungen. Das Verbinden der richtigen Szene dauert nicht länger als 5 Minuten. Die Buildzeit für das Spielentwicklungsprojekt variiert je nach Hardwarespezifikationen, dauert jedoch in der Regel etwa 3 Minuten, gefolgt von etwa 10 Minuten für die Bereitstellung auf der HoloLens 2. Insgesamt demonstriert dieses Protokoll, abgesehen vom Validierungsaufbau, eine Methode zur Verlagerung der Organverfolgung in präklinischen Umgebungen.

figure-results-1
Abbildung 1: Schematische Übersicht des Workflows. Der Workflow zeigt Schritte, die pro Patient in einer Phantomeinstellung erforderlich sind, einschließlich der präoperativen Phase, der holografischen und der intraoperativen Phase. Die präoperative Phase besteht aus der Segmentierung (siehe Schritt 3) der präoperativen medizinischen Bildgebung. Die Vorbereitung der holographischen Anwendung besteht darin, die Platzierung des Infrarot-Markers auf dem 3D-Modell virtuell zu planen (siehe Schritt 4). In der intraoperativen Phase können die Chirurgen den richtigen Patienten auswählen und den Infrarotmarker für die holografische Visualisierung und das kontinuierliche Tracking fixieren. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-2
Abbildung 2: Überblick über die Nierenphantome, die in der Validierungsmethodik verwendet werden. Links: ein 3D-Hologramm der Niere mit den Zielpunkten und der virtuellen Platzierung des Infrarotmarkers. Mitte: 3D-Phantom mit integriertem EM-Sensor und Drehpunkten zur Registrierung. Rechts: 3D-gedrucktes Phantom mit dem Infrarot-Marker und dem Zylinder für den EM-Sensor, der für das Validierungsverfahren verwendet wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-3
Abbildung 3: Vorbereitung der holografischen Anwendung in der Spieleentwicklungssoftware. Das Nierenmodell wird in einen Infrarot-Marker umgewandelt. Zweitens werden Shader auf die Niere und auf die Zielpunkte aufgebracht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-4
Abbildung 4: Holographische Visualisierung des Phantomexperiments. Links: Platzierung des Infrarotmarkers auf der Niere. Rechts: Holografische Visualisierung von Zielpunkten in der richtigen Reihenfolge (1 bis 5). Die Verschiebung der holografischen Visualisierung wird durch den Jitter in der Infrarot-Markerverfolgung verursacht. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

figure-results-5
Abbildung 5: Aufbau des EM-Tracking-Validierungsprotokolls für die holographische Visualisierung von bewegten Organen. Grün, Rot und Blau visualisieren die Transformation der notwendigen EM-Tools für die Validierung. Gelb und Grün visualisieren die Transformation bezüglich des Head-Mounted Displays (HMD). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.

TeilnehmerMessungGT-X (mm)GT-Y (mm)GT-Z (mm)Punkt-X (mm)Punkt-Y (mm)Punkt-Z (mm)PLE (mm)
Chirurg 11-67.027.88297.50-76.728.97295.499.97
2-46.774.78249.67-55.71-0.26243.6111.91
3-3.21-12.36244.46-9.99-3.03244.8311.54
4-15.061.16273.72-20.002.71272.705.27
5-39.005.40281.25-46.826.91277.758.70
Chirurg 21-67.027.88297.50-63.608.02292.126.38
2-46.774.78249.67-45.942.73246.983.48
3-3.21-12.36244.46-5.43-10.70244.272.78
4-15.061.16273.72-11.870.80267.517.00
5-39.005.40281.25-35.545.82273.288.70
Chirurg 31-67.027.88297.50-62.977.87287.4310.85
2-46.774.78249.67-44.59-0.42242.708.96
3-3.21-12.36244.462.23-20.32253.4813.20
4-15.061.16273.72-10.731.33266.148.74
5-39.005.40281.25-34.955.93271.7410.35

Tabelle 1: Für jede Messung werden die Ground-Truth-Koordinaten (GT) der Ziel-Landmarken, die entsprechenden Punktpositionskoordinaten und die für alle Chirurgen gemessene PLE bereitgestellt.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das vorgestellte Protokoll skizziert einen Ansatz für die Echtzeit-Organverfolgung und holographische Visualisierung, einschließlich der Validierung für die Bewegung von Tumoren und Organen in einer Phantomumgebung. Durch die Nutzung von Infrarot-Marker-basiertem Tracking mit einem HMD hat diese Methode das Potenzial, korrekte anatomische holografische Überlagerungen während der Manipulation von beweglichen Organen besser aufrechtzuerhalten. Trotz ihrer Anwendung für die Verfolgung der Niere könnte diese Methode auch in anderen klinischen Bereichen erforscht werden, wie z. B. in der offenen Chirurgie der Leber oder der Lunge, mit minimalen Anpassungen im Segmentierungsprotokoll. Zweitens könnten Infrarotmarker möglicherweise mit verschiedenen chirurgischen Techniken, wie z.B. der laparoskopischen Chirurgie, verwendet werden. In solchen Fällen könnten infrarotreflektierende Aufkleber auf laparoskopischen Bildern erkannt werden, um Organe, Werkzeuge oder anatomische Orientierungspunkte zu verfolgen. Die Anwendung dieser Technik auf andere klinische Bereiche oder chirurgische Techniken kann jedoch zu Fehlern führen, die auf Schwankungen in der Verformbarkeit des Zielorgans oder auf technische Einschränkungen, wie z. B. ein begrenztes Sichtfeld, zurückzuführen sind, die eine Validierung in präklinischen Experimenten erfordern.

Schritt 1 des Protokolls konzentriert sich in erster Linie auf die Einrichtung der notwendigen Hard- und Softwaretools. Dieses Setup erfordert zahlreiche Anwendungen und Schritte, daher ist es wichtig, dass alle Softwarepakete korrekt installiert werden, einschließlich aller erforderlichen Erweiterungen, um Probleme bei der nachgelagerten Bereitstellung zu vermeiden. Es ist nicht zu erwarten, dass verschiedene Softwareversionen Probleme verursachen werden, auch wenn die Kombination aus der Spieleentwicklungssoftware und der integrierten Entwicklungsumgebung entscheidend ist.

In Schritt 2 wird der Prozess der Erstellung von benutzerdefinierten Infrarot-Markern beschrieben. Dieser Schritt ist besonders wichtig, wenn das Tracking für andere Anwendungen verwendet werden soll. Die Flexibilität, die Form des Infrarot-Markers zu modifizieren, gewährleistet seine potenzielle Eignung für verschiedene präklinische Anwendungen. Darüber hinaus können Benutzer verschiedene Designoptionen erkunden, um die Haftung des Infrarotmarkers auf der Oberfläche eines Organs zu verbessern und die Genauigkeit der Verfolgung des Infrarotmarkers zu erhöhen. Darüber hinaus kann das Testen mehrerer Infrarot-Markerdurchmesser zu einer verbesserten Detektion über Entfernungen von mehr als 60 cm führen.

In Schritt 3 wird die patientenspezifische 3D-Modellierung auf Basis medizinischer Bildgebung beschrieben. Die genaue Segmentierung von Niere und Tumor ist von entscheidender Bedeutung, da sie die Genauigkeit der chirurgischen Führung direkt beeinflusst. Eine schlechte Segmentierung kann zu irreführenden Visualisierungen führen, die die chirurgische Präzision beeinträchtigen19. Zweitens ist dieser Schritt der zeitaufwändigste. Die Integration vollautomatischer Segmentierungsmethoden kann das Protokoll beschleunigen, den Bedarf an manuellen und halbautomatischen Anpassungen reduzieren und gleichzeitig eine präzise anatomische Segmentierung gewährleisten20. Die Optimierung der Polygonanzahl ist entscheidend, um eine optimale AR-Rendering-Leistung zu erzielen. Wenn diese Optimierung nicht durchgeführt wird, wird die Leistung des HMD erheblich beeinträchtigt.

In Schritt 4 wird die Konfiguration der holografischen Anwendung im Anschluss an die Implementierung von DINO-DLL skizziert. Ein kritischer Aspekt ist die korrekte Ausrichtung zwischen den Positionen der Infrarot-Marker und den holographischen anatomischen Modellen, da dies die Genauigkeit der manuellen Registrierung beeinträchtigt. Insbesondere sollte die Hebelwirkung minimiert werden, um Ungenauigkeiten in weiteren Abständen von der Mitte des Infrarotmarkierers zu vermeiden. Zu den weiteren Verbesserungen könnte die Implementierung zusätzlicher Registrierungsmethoden gehören. Darüber hinaus weist das aktuelle System eine akzeptable Tracking-Rate für die kontinuierliche Visualisierung auf, die mit der Literaturübereinstimmt 21. Drittens sollten weitere Verbesserungen die Implementierung eines Kalman-Filters beinhalten, um das Rauschen in den Infrarot-Marker-Tracking-Daten zu reduzieren und dadurch den Jitter der holografischen Visualisierung zu eliminieren.

In Schritt 5 stellt das Framework eine holografische Validierungsmethode unter Verwendung von EM-Tracking bereit. Dieses Protokoll ist nützlich, um die Genauigkeit von Hologrammen in einer Phantomumgebung zu validieren, da es eine quantitative Bewertung der holografischen Genauigkeit für bewegliche Organe ermöglicht. Ein entscheidender Schritt ist dabei die präzise Integration von EM-Tracking-Sensoren in semi-verformbare 3D-gedruckte Phantome. Benutzer müssen eine genaue Kalibrierung der EM-Sensoren und die Registrierung von Orientierungspunkten im 3D Slicer sicherstellen. Wenn Validierungsfehler auftreten, kann die Validierungsgenauigkeit durch eine erneute Registrierung oder das Entfernen von metallischen Objekten verbessert werden. Um die klinische Machbarkeit weiter zu validieren, könnten ex vivo-Organe eingesetzt werden, um das chirurgische Gewebe genauer zu simulieren22.

Dieses Protokoll dient als umfassender Leitfaden für Forscher, die AR-Lösungen für die Organverfolgung implementieren und diese Systeme in Phantomexperimenten validieren wollen. Darüber hinaus bietet es einen breit anwendbaren Validierungsaufbau, der problemlos in verschiedenen klinischen Szenarien eingesetzt werden kann, insbesondere für die Validierung von AR-Methoden für bewegliche Organe. Angesichts der Komplexität der Bereitstellung holografischer Anwendungen erleichtert dieses Framework den Übergang von konzeptionellen AR-basierten Lösungen zur präklinischen Validierung.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben nichts offenzulegen.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Wir danken Hisham Iqbal für seine Expertise und Unterstützung bei der Etablierung des Infrarot-Marker-Trackings mit der HoloLens 2, basierend auf dem offenen DINO-DLL-Repository.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D-Datenschnitt (v5.6.2)SchneidemaschineN/ASoftware zur Segmentierung medizinischer Bilder und notwendig für die Validierung des elektromagnetischen Trackings
6,4 mm (1/4") M3 Marker Infrarec MarkerOptiTrackN/AInfrarot-reflektierende Kugeln, die zur Verfolgung am Marker befestigt werden sollten 
Autodesk Fusion 360 (v2.0.21508)AutodeskN/ACAD-Software für die Konstruktion von Infrarot-Markierern und Phantomen
Bambu Studio (v01.09.07.52)Bambu LaborN/A3D-Druck-Slicing-Software für Bambu 3D-Drucker
Bambu X1 KarbonBambu LaborN/A3D-Drucker für Infrarot-Marker und Phantommodelle
HoloLens 2MicrosoftN/AAugmented Reality Head-Mounted Display für AR-Visualisierung
IRTrackingOrgans_HoloLens QuelloffenN/AUnity-basierte Anwendung zur Unterstützung der Verfolgung von IR-Markern
MeshMixer (v3.5.0)AutodeskN/AWird für die Netzbearbeitung und die Polygonreduzierung verwendet
NDI AuroraNorthern Digital Inc.N/AElektromagnetisches Tracking-System zur Validierung
NDI Aurora 6DOF-KabelwerkzeugNorthern Digital Inc.N/ASensor zur Registrierung der Bewegung von Phantomorganen
NDI Aurora 6DOF-SondeNorthern Digital Inc.N/AWird verwendet, um Orientierungspunkte auf dem Phantom zu identifizieren
Polymilchsäure-FilamentBeliebiger HerstellerN/AFilament zum Drucken von starren Teilen wie Infrarot-Markern
Thermoplastisches Polyurethan-FilamentBeliebiger HerstellerN/AHalbflexibles Filament zum Drucken von verformbaren Nierenphantomen
Unity Hub (v3.11.1) und Unity (v2019.4.22f1)Unity TechnologienN/ASpieleentwicklungssoftware für die Entwicklung und Bereitstellung von AR-Anwendungen
Visual Studio 2019MicrosoftN/AErforderliche IDE für die Integration und Bereitstellung von Unity

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).">Bortot, B., et al. Image-guided cancer surgery: a narrative review on imaging modalities and emerging nanotechnology strategies. J Nanobiotechnol. 21 (1), 155(2023).
  2. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).">Liu, Q., Luo, D., Cai, S., Li, Q., Li, X. Circumferential resection margin as a prognostic factor after rectal cancer surgery: A large population-based retrospective study. Cancer Med. 7 (8), 3673-3681 (2018).
  3. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).">Cost, N. G., et al. Pathological review of Wilms tumor nephrectomy specimens and potential implications for nephron sparing surgery in Wilms tumor. J Urol. 188 (4 Suppl), 1506-1510 (2012).
  4. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).">Taghavi, K., Sarnacki, S., Blanc, T., Boyer, O., Heloury, Y. The rationale for nephron-sparing surgery in unilateral non-syndromic Wilms tumour. Pediatr Nephrol. 39 (4), 1023-1032 (2024).
  5. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).">Mezger, U., Jendrewski, C., Bartels, M. Navigation in surgery. Langenbecks Arch Surg. 398 (4), 501-514 (2013).
  6. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).">Herrlich, M., et al. Instrument-mounted displays for reducing cognitive load during surgical navigation. Int J Comput Assist Radiol Surg. 12 (9), 1599-1605 (2017).
  7. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).">Portnoy, Y., et al. Three-dimensional technologies in presurgical planning of bone surgeries: current evidence and future perspectives. Int J Surg. 109 (1), 3-10 (2023).
  8. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).">Meulstee, J. W., et al. Toward Holographic-Guided Surgery. Surg Innov. 26 (1), 86-94 (2019).
  9. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).">Glas, H. H., et al. Augmented Reality Visualization for Image-Guided Surgery: A Validation Study Using a Three-Dimensional Printed Phantom. J Oral Maxillofacial Surg. 79 (9), 1943.e1-1943.e10 (2021).
  10. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).">Fitski, M., et al. MRI-Based 3-Dimensional Visualization Workflow for the Preoperative Planning of Nephron-Sparing Surgery in Wilms' Tumor Surgery: A Pilot Study. J Healthcare Eng. 2020 (1), 8899049(2020).
  11. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).">van der Zee, J. M., et al. Virtual Resection: A New Tool for Preparing for Nephron-Sparing Surgery in Wilms Tumor Patients. Curr Oncol. 29 (2), 777-784 (2022).
  12. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).">Fida, B., Cutolo, F., di Franco, G., Ferrari, M., Ferrari, V. Augmented reality in open surgery. Updates Surg. 70 (3), 389-400 (2018).
  13. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).">Moreta-Martinez, R., et al. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthc Technol Lett. 5 (5), 162-166 (2018).
  14. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).">van Doormaal, T. P. C., van Doormaal, J. A. M., Mensink, T. Clinical Accuracy of Holographic Navigation Using Point-Based Registration on Augmented-Reality Glasses. Oper Neurosurg (Hagerstown). 17 (6), 588-593 (2019).
  15. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).">Zhao, Z., et al. Augmented reality technology in image-guided therapy: State-of-the-art review. Proc Inst Mech Eng H. 235 (12), 1386-1398 (2021).
  16. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).">Doughty, M., Ghugre, N. R., Wright, G. A. Augmenting Performance: A Systematic Review of Optical See-Through Head-Mounted Displays in Surgery. J Imaging. 8 (7), 203(2022).
  17. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).">Vávra, P., et al. Recent Development of Augmented Reality in Surgery: A Review. J Healthcare Eng. 2017, 4574172(2017).
  18. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).">Iqbal, H., Baena, F. R. Semi-Automatic Infrared Calibration for Augmented Reality Systems in Surgery. 2022 IEEE/RSJ Int Conf Intelligent Robots Syst (IROS). , 4957-4964 (2022).
  19. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).">Zhao, W., Jiang, D., Queralta, J. P., Westerlund, T. Multi-Scale Supervised 3D U-Net for Kidneys and Kidney Tumor Segmentation. arXiv. , (2020).
  20. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).">Elloumi, N., et al. CT Images Segmentation Using a Deep Learning-Based Approach for Preoperative Projection of Human Organ Model Using Augmented Reality Technology. Int J Comp Intel Appl. 22 (02), 2350006(2023).
  21. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).">von Haxthausen, F., Moreta-Martinez, R., Pose Díez de la Lastra, A., Pascau, J., Ernst, F. UltrARsound: in situ visualization of live ultrasound images using HoloLens 2. Int J Comput Assist Radiol Surg. 17 (11), 2081-2091 (2022).
  22. Towards an accurate tracking of liver tumors for augmented reality in robotic assisted surgery. Haouchine, N., et al. 2014 IEEE Int Conf Robotics Automat, , 4121-4126 (2014).

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Infrared TrackingSoft Tissue NavigationHolographic Head Mounted DisplayAugmented Reality SurgeryOrgan TrackingElectromagnetic Tracking3D Kidney PhantomPatient Specific 3D ModelsInfrared MarkersPreclinical Validation

Related Articles