Kombinieren von Augmented Reality und 3D-Druck zum Anzeigen von Patientenmodellen auf einem Smartphone

Dieses Protokoll gibt unerfahrenen Anwendern die Werkzeuge, um Augmented Reality-Lösungen durch den Aufbau einer eigenen Smartphone-App in den medizinischen Bereich zu bringen. Diese Methode kombiniert Augmented Reality und 3D-Druck und ermöglicht eine schnelle und einfache Visualisierung von 3D-Modellen, die aus der Basierend auf Daten auf einem 3D-gedruckten Referenzmarker erstellt wurden. Diese Technik kann auf jedes medizinische Szenario angewendet werden, in dem eine 3D-gedruckte Referenz starr am Patienten befestigt werden kann.

Die Visualisierung visueller 3D-Modelle, die aus der gezielten Datenlokalisierung erstellt wurden und auch den Patienten verbessern können. Dieses Protokoll wurde speziell für Benutzer ohne Vorkenntnisse in der medizinischen Bildgebung oder Softwareentwicklung entwickelt, um den Einsatz von Augmented Reality im medizinischen Bereich zu unterstützen. Um 3D-Modelle der Anatomie eines Patienten zu erstellen, verfolgen Sie zuerst die medizinische Bilddatei im Softwarefenster 3D Slicer, und klicken Sie auf OK. Um die Anatomie des Patienten zu segmentieren, gehen Sie zum Segmenteditormodul in 3D Slicer. Beim Betreten des Moduls wird automatisch ein Segmentierungselement erstellt.

Wählen Sie das gewünschte Volume im Master-Volume-Abschnitt aus, und klicken Sie mit der rechten Maustaste unter das Bild, um Hinzufügen zum Erstellen eines Segments auszuwählen. Wählen Sie im Effektbedienfeld das bequemste Werkzeug für das Ziel aus und segmentieren Sie das medizinische Bild des Patienten. Um die Segmentierung in ein 3D-Modelldateiformat zu exportieren, öffnen Sie das Segmentierungsmodul.

Wählen Sie in Export-/Importmodellen und Labelmaps Export und Modelle aus, und klicken Sie auf Exportieren, um das 3D-Modell aus dem segmentierten Bereich zu erstellen. Klicken Sie auf Speichern, und wählen Sie die zu speichernden Elemente aus. Ändern Sie dann das Dateiformat des 3D-Modells in OBJ.

Die Segmentierung kann wiederholt werden, um zusätzliche 3D-Modelle verschiedener anatomischer Regionen zu erstellen. Um ein 3D-Patientenmodell an jeder beliebigen Position in Bezug auf den Augmented Reality Marker zu positionieren, öffnen Sie das Positionsmodul des AR-Gesundheitsmodells und wählen Sie den Visualisierungsmodus aus. Klicken Sie auf Ladepunktmodell, um die Markierung für diese Option zu laden, auf die Auslassungsschaltfläche, um den Pfad des gespeicherten 3D-Modells auszuwählen, und auf das Lademodell, um das Modell in 3D-Slicer zu laden.

Klicken Sie auf Fertigund Mitte, um alle Modelle innerhalb des Markers zu zentrieren. Verwenden Sie die Schiebeleisten, um die Position, Ausrichtung und Skalierung der 3D-Modelle in Bezug auf die Markierung wie gewünscht anzupassen. Wählen Sie dann den Pfad zum Speichern der Dateien aus, und klicken Sie auf Modelle speichern, um die Modelle an dieser Position zu speichern.

Um den Augmented-Reality-Marker mit einem 3D-Biomodell an jeder gewünschten Position zu kombinieren, öffnen Sie das Positionsmodul des AR-Gesundheitsmodells und wählen Sie im Initialisierungsabschnitt den Registrierungsmodus aus. Klicken Sie auf Dasplangesmodell, um die Markierung für diese Option zu laden und die 3D-Modelle so lange zu verschieben, bis sie sich mit der unterstützenden Struktur der Cubemarkierung schneiden, wodurch die Höhe der Markerbasis bei Bedarf geändert wird. Um das Modell an dieser Position zu speichern, wählen Sie den Pfad zum Speichern der Dateien aus, und klicken Sie auf Modelle speichern.

Wenn das Anatomiemodell zu groß ist, laden Sie das Biomodell und die unterstützende Struktur des Würfelmarkermodells in die Mesh-Mixer-Software. Wählen Sie beide Modelle im Objektbrowserfenster aus, um die Modelle zu kombinieren, und verwenden Sie das einfache Schnittwerkzeug aus dem Bearbeitungsmenü, um unerwünschte Abschnitte des Modells zu entfernen, die nicht 3D gedruckt werden. Um das Modell zu speichern, um 3D gedruckt zu werden, wählen Sie Datei aus und exportieren Sie das gewünschte Format.

Um die für die endgültige Augmented-Reality-Anwendung erforderlichen physikalischen Modelle in 3D zu drucken, wählen Sie in der 3D-Drucksoftware ein weiß gefärbtes Material für die TwoColorCuebMarker_white aus. obj-Datei und ein schwarz gefärbtes Material für die TwoColorCubeMarker_white. obj-Datei.

Verwenden Sie dann einen Dual-Extruder-3D-Drucker, um den kubischen Marker in Schwarzweiß in einem hochwertigen Modus mit einer kleinen Schichthöhe in 3D zu drucken. Um eine Smartphone-App in Unity Engine zu entwerfen, die die 3D-Modelle enthält, öffnen Sie Vuforia Developer und erstellen Sie ein Konto. Wählen Sie Entwicklungsschlüssel abrufen aus, um einen kostenlosen Entwicklungslizenzschlüssel zu erhalten, und wählen Sie im Menü Lizenzmanager den Schlüssel aus und kopieren Sie ihn.

Um das Smartphone einzurichten, wählen Sie in der Unity-Version 2019-Anwendung unter Buildeinstellungen im Dateimenü die entsprechende Plattform für das Gerät aus. Um Vuforia in das Projekt zu aktivieren, wählen Sie Bearbeiten, Projekteinstellungen, Playereinstellungen und XR-Einstellungen aus, und aktivieren Sie das Kontrollkästchen Vuforia Augmented Reality Support. Um eine Augmented-Reality-Kamera zu erstellen, wählen Sie Menüleiste, Spielobjekt, Vuforia Engine und AR-Kamera aus, und importieren Sie die Vuforia-Komponenten, wenn Sie dazu aufgefordert werden.

Um den Vuforia-Lizenzschlüssel zu den Vuforia-Konfigurationseinstellungen hinzuzufügen, wählen Sie den Ressourcenordner aus, klicken Sie auf Vuforia-Konfiguration, und fügen Sie den Lizenzschlüssel in den Abschnitt App-Lizenzschlüssel ein. Importieren Sie die Vuforia-Zieldatei mit den Dateien, die Vuforia benötigt, um die Marker in Unity zu erkennen, und wählen Sie Menüleiste, Spielobjekt, Vuforia Engine und Multi-Image aus, um ein Vuforia-Multiziel zu erstellen. Klicken Sie auf das Mehrfachziel, um den Markertyp auszuwählen, der für die Erkennung verwendet wird, und wählen Sie in der Datenbankoption unter Multi-Ziel-Verhalten ARHealth_3dPrintedCube_30x30x30 aus.

Wählen Sie in der Multi-Target-Option unter Multi-Ziel-Verhalten je nach Marker entweder TwoColorCubeMarker oder StickerCubeMarker aus. Ziehen Sie die 3D-Modelle in den Modellordner, und ziehen Sie den Ordner unter das Mehrfachzielelement. Die Modelle sollten in der Unity 3D-Ansichtsszene sichtbar werden.

Um die Farben der 3D-Modelle zu ändern, erstellen Sie neue Materialien und weisen Sie die neuen Materialien den Modellen zu. Wenn eine Webcam verfügbar ist, klicken Sie auf Wiedergabe, um die Anwendung auf dem Computer zu testen. Wenn der Marker für die Webcam sichtbar ist, sollte er erkannt werden und die 3D-Modelle sollten in der Szene angezeigt werden.

Wenn ein Android-Smartphone für die App-Entwicklung verwendet wird, wählen Sie Buildeinstellungen in Unity aus, und wählen Sie das angeschlossene Telefon aus der Liste aus. Speichern Sie dann die Datei mit einer apk-Erweiterung und lassen Sie den Prozess beenden. Wenn die App auf einem iOS-Gerät bereitgestellt wird, wählen Sie datei in den Buildeinstellungen aus, und speichern Sie die Datei.

Um die App zu visualisieren, öffnen Sie die App auf dem Smartphone und verwenden Sie die Smartphone-Kamera, um den Marker innerhalb der App in einem Mindestabstand von 40 Zentimetern zu betrachten. Sobald die App den Marker erkennt, sollten die zuvor erstellten 3D-Modelle auf dem Smartphone-Bildschirm an der genauen Stelle angezeigt werden, die während des Verfahrens definiert wurde. Mit der gezeigten Methode wurde dieser Teil der betroffenen Tibia und Fibel eines Patienten, der an distalen Beinsarkom enden und Tumor enden, vom CT-Scan des Patienten segmentiert.

Mit den Segmentierungswerkzeugen wurde ein Biomodell für den Knochen und ein Biomodell für den Tumor erstellt. Für den Visualisierungsmodus wurden die Modelle in der oberen Phase des Markers zentriert. Für den Registrierungsmodus wurde der Markeradapter in der Tibia positioniert und ein kleiner Teil der Tibia wurde ausgewählt, um mit einem 3D-Markeradapter 3D-gedruckt zu werden.

Polymilchsäure kann verwendet werden, um die 3D-gedruckten Marker, Markerhalterbasen und Knochenabschnitte zu erstellen, wie gezeigt. Hier wird ein Marker an eine Visualisierungsmodus-3D-gedruckte Basis angehängt und hier wird der Anhang mit dem Registrierungsmodus 3D gedrucktes Biomodell angezeigt. Diese Darstellung zeigt, wie die App im Visualisierungsmodus funktioniert, wobei sich das Hologramm genau im oberen Teil des Würfels befindet, wie zuvor definiert.

Im Registrierungsmodus kann das komplette Knochenmodell über dem 3D-gedruckten Bereich mit einer klaren und realistischen Visualisierung des Markers an der Knochenstelle positioniert werden. Um Augmented Reality zur Visualisierung wichtiger Patienteninformationen zu nutzen, benötigen Sie mehrere Software-Tools, die frei verfügbar sind, sowie Zugriff auf einen 3D-Drucker und ein Smartphone. Dieses Verfahren kann auf jedes Modell angewendet werden, das aus der medizinischen Bildgebung gewonnen wird.

Seine Verwendung kann auf andere Interventionen wie strahlentherapie Positionierung der Nadeleinfügung erweitert werden. Wir erweitern die Anwendungen dieser Entwicklung nun auf neue klinische Bereiche wie die myofasziale oder orthopädische Chirurgie. Unsere erste Forschung ist vielversprechend und das Feedback des Chirurgen ist sehr positiv.