Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung

Ziel dieser Studie am Princess Maxima Center for Pediatric Oncology ist die Entwicklung und Validierung eines Augmented-Reality-Systems. Dieses System sollte Hologramme von beweglichen Organen genau ausrichten. Eine aktuelle experimentelle Herausforderung besteht darin, zu validieren, dass das Hologramm genau mit der Echtzeitposition eines sich bewegenden Organs ausgerichtet bleibt.

Bisher wurden Augmented-Reality-Validierungstechniken nur für starre anatomische Strukturen wie Knochen beschrieben. Unser Protokoll bietet jedoch den Vorteil, dass es auch zur Validierung von Augmented Reality für bewegte Organe verwendet werden kann. Öffnen Sie zunächst die computergestützte 3D-Designsoftware und erstellen Sie eine neue Datei.

Wählen Sie die Registerkarte Volumenkörper aus, und klicken Sie auf Skizze erstellen, um einen neuen Entwurf für einen Infrarot-Marker zu erstellen. Fügen Sie drei oder vier kleine Kreise mit einem Durchmesser von drei Millimetern hinzu, indem Sie auf Kreis mit mittlerem Durchmesser drücken. Verbinden Sie mit dem Linienwerkzeug die Eckpunkte des Dreiecks mit den Mittelpunkten der gegenüberliegenden Seiten und zeichnen Sie Linien, die die Kreise verbinden, um den Mittelpunkt zu berechnen.

Zeichnen Sie am Mittelpunkt einen Kreis mit dem Kreis mit Mitteldurchmesser und zeichnen Sie dann mit dem Zwei-Punkt-Rechteck-Werkzeug Rechtecke, die diesen Mittelkreis mit den kleineren Kreisen verbinden. Extrudieren Sie die mittlere kreisförmige Basis und die Verbindungsrechtecke auf eine Dicke von zwei Millimetern. Extrudieren Sie die kleineren Kreise auf eine Dicke von fünf Millimetern.

Drücken Sie auf Erstellen, wählen Sie dann Gewinde aus und fügen Sie den drei Kegeln Gewinde hinzu, indem Sie ein metrisches ISO-Profil verwenden, um reflektierende Kugeln mit einer Größe von 6,4 Millimetern im Infrarotbereich aufzunehmen. Exportieren Sie das endgültige Modell mit der Funktion 3D-Druck oder Exportieren als Objektdatei. Wählen Sie in der computergestützten 3D-Konstruktionssoftware die Option Messen, um die X-, Y- und Z-Koordinaten der reflektierenden Infrarotkugeln relativ zum Mittelpunkt zu messen.

Messen Sie die Positionen der Mittelpunkte jedes kleinen Kreises in Korrelation zum Mittelpunkt der gesamten Form. Starten Sie die Spieleentwicklungssoftware. Importieren Sie die IRTrackingOrgans_HoloLens Projektdatei, und öffnen Sie das Projekt.

Öffnen Sie mit einem Texteditor die JavaScript-Objektnotationsdatei, die im Ordner "Assets" oder "StreamingAssets" gespeichert ist. Passen Sie die Datei an, um den benutzerdefinierten Infrarot-Marker unter Verwendung der zuvor aufgezeichneten Koordinaten und nach dem Standardformat zu definieren. Wählen Sie auf der Registerkarte DINO Unity den ToolManager aus, klicken Sie auf ResearchModeController, gefolgt von JSON-Datei und übergeordneter Transformation, und klicken Sie dann auf Objekte erstellen JSON-Einstellung anwenden.

Importieren Sie das erstellte 3D-Infrarot-Markermodell. Wählen Sie das patientenspezifische 3D-Modell aus und ändern Sie die Transformationskoordinaten im Inspektorfenster, um sie an die Position der erzeugten Marker in der Szene anzupassen. Ziehen Sie dann das patientenspezifische 3D-Modell in die Szene, um es einzufügen.

Transformieren Sie das 3D-Modell des Patienten, um den Infrarotmarker an seiner Oberfläche auszurichten. Positionieren Sie den Infrarot-Marker nahe der Mitte des Modells, um Positionsfehler durch den Hebeleffekt zu reduzieren. Verbinden Sie nun die Patientenszene mit einer Schaltfläche im Menübildschirm, um eine Mehrfachauswahl des Falls zu ermöglichen.

Navigieren Sie zu Gehe zu Assets, Szenen und Menüszene. Wechseln Sie im Fenster Hierarchie zu NearMenu4x2, dann zu ButtonCollection, und wählen Sie die entsprechende Schaltfläche aus. Wechseln Sie im Inspektorfenster zu Grundlegende Ereignisse und unter MenuScript.

LoadScene den Namen der Patientenszene ein. Erstellen oder erhalten Sie ein 3D-Modell eines Nierenphantoms mit realistischen anatomischen Strukturen. Importieren Sie das 3D-Modell in eine 3D-CAD-Modellierungssoftware.

Verwenden Sie dann die Funktionen Volumenkörper, Erstellen und Bohrung, um fünf Registrierungsdrehpunkte an der Seite des Modells zu integrieren. Legen Sie den Bohrungstyp auf Einfach, den Bohrungsgewindebohrertyp auf Einfach, die Bohrspitze auf Winkel, die Höhe auf 0,5 Millimeter und den Durchmesser auf 4,0 Millimeter fest. Um den elektromagnetischen Referenzsensor zu fixieren, erstellen Sie einen Zylinder mit einem Loch und integrieren Sie ihn in das Nierenmodell.

Beginnen Sie eine neue Skizze und zeichnen Sie mit Kreis mit Mitteldurchmesser einen Kreis und einen inneren Kreis mit einem Durchmesser von 2,8 Millimetern. Extrudieren Sie den äußeren Kreis um 16,5 Millimeter. Gehen Sie dann zu Ändern, gefolgt von Kombinieren.

Wählen Sie sowohl das 3D-Nierenmodell als auch den Zylinder aus, wählen Sie Verbinden und bestätigen Sie mit OK. Verwenden Sie dann die Funktion Exportieren oder 3D-Druck, um das endgültige integrierte Modell zu exportieren. Verwenden Sie als Nächstes ein flexibles oder halbflexibles Filament, wie z. B. thermoplastisches Polyurethan, um das Nierenphantom nach dem zuvor beschriebenen Verfahren zu drucken. Platzieren Sie den Feldgenerator des elektromagnetischen Tracking-Systems direkt unter dem gedruckten Nierenphantom.

Entfernen Sie alle ferromagnetischen Gegenstände aus der Umgebung, um Inhomogenitäten des elektromagnetischen Feldes zu vermeiden. Verbinden Sie dann den elektromagnetischen Sensor und den elektromagnetischen Zeiger mit dem Tracking-System. Befestigen Sie den elektromagnetischen Referenzsensor am 3D-Modell, indem Sie ihn mit Klebstoff sicher im Zylinder befestigen.

Importieren Sie in 3D Slicer das 3D-Nierenmodell, das die Drehpunkte enthält. Verwenden Sie den Passermarkenregistrierungs-Assistenten. Wählen Sie Kontrollpunkt platzieren aus, und weisen Sie die Registrierungs-Landmarken digital zu.

Um die Registrierung von Orientierungspunkten in 3D Slicer durchzuführen, verwenden Sie den elektromagnetischen Zeiger, um die physischen Orientierungspunkte zu lokalisieren. Drücken Sie auf Kontrollpunkt an jedem physischen Ort platzieren, um sie in der Software zu registrieren. Berechnen Sie dann die starre lineare Registertransformation, indem Sie auf Aktualisieren klicken.

Wenden Sie nun die berechnete Registrierungstransformation auf das 3D-Modell an, um es mit dem elektromagnetischen Referenzsensor zu verknüpfen. Verschieben Sie das physische Modell, und vergewissern Sie sich, dass die digitale Version im 3D-Slicer seiner Bewegung folgt. Starten Sie das holografische Anzeigegerät, und öffnen Sie die zuvor konfigurierte holografische Anwendung.

Navigieren Sie dann zum richtigen patientenspezifischen 3D-Modell, das derzeit in 3D Slicer visualisiert wird. Befestigen Sie nun den Infrarot-Marker mit Klebstoff an der angegebenen Stelle und stellen Sie sicher, dass die montierten 6,4-Millimeter-Infrarot-Reflexkugeln gemäß den Anweisungen der präoperativen Planung an Ort und Stelle sind. Verwenden Sie den elektromagnetischen Zeiger, um die Zielpunkte digital zu identifizieren, wie sie durch die holografische Visualisierung gesehen werden.

Speichern Sie den resultierenden Satz von EM-Sensorkoordinaten. Berechnen Sie den Fehler, indem Sie die gespeicherten Zielkoordinaten mit den tatsächlich platzierten Orientierungspunkten vergleichen, um die Genauigkeit der holografischen Visualisierung zu überprüfen. Über alle Teilnehmer hinweg zeigte der Point Localization Error (PLE) einen Medianwert von 8,74 Millimetern, wobei die Einzelmessungen zwischen 2,78 und 13,20 Millimeter lagen.

Chirurg 2 erreichte durchweg die niedrigsten PLE-Messungen, einschließlich der beiden genauesten Lokalisationen bei 2,78 und 3,48 Millimetern. Der größte Lokalisationsfehler wurde bei der dritten Messung durch Chirurg 3 mit einem PLE von 13,20 Millimetern beobachtet. Dieses Protokoll wird anderen dabei helfen, holografische Projekte einzusetzen und ihr Augmented-Reality-System in einer präklinischen Umgebung genau zu validieren.

Unsere chirurgische Forschungsgruppe wird demnächst mit dem automatisierten holographischen Tracking für mehrere kinderchirurgische Fälle beginnen. Die Verfolgung der beweglichen Organe erfolgt auf Basis von Algorithmen des maschinellen Lernens und RGB-Kamera-Feeds.