Summary
Präsentiert wird hier eine Methode zur Entwicklung einer Augmented-Reality-Smartphone-Anwendung zur Visualisierung anatomischer dreidimensionaler Patientenmodelle mit einem 3D-gedruckten Referenzmarker.
Abstract
Augmented Reality (AR) hat großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit dem dreidimensionalen (3D) Druck (3DP) eröffnet neue Möglichkeiten in klinischen Anwendungen. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher ist der Zweck dieses Protokolls, eine Schritt-für-Schritt-Methodik zu beschreiben, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP zur Visualisierung anatomischer 3D-Modelle von Patienten mit einem 3D-gedruckten Referenzmarker kombiniert. Das Protokoll beschreibt, wie virtuelle 3D-Modelle der Anatomie eines Patienten erstellt werden, die aus medizinischen 3D-Bildern abgeleitet sind. Anschließend wird erläutert, wie die Positionierung der 3D-Modelle in Bezug auf Markerreferenzen durchgeführt wird. Außerdem finden Sie Anweisungen zum 3D-Drucken der benötigten Werkzeuge und Modelle. Schließlich werden Schritte zum Bereitstellen der App bereitgestellt. Das Protokoll basiert auf kostenloser und plattformübergreifender Software und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Ein alternativer Ansatz wird beschrieben, um eine automatische Registrierung zwischen einem 3D-gedruckten Modell, das aus der Anatomie eines Patienten erstellt wurde, und den projizierten Hologrammen bereitzustellen. Als Beispiel wird ein klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Es wird erwartet, dass dieses Protokoll die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal beschleunigen wird.
Introduction
AR und 3DP sind Technologien, die immer mehr Anwendungen im medizinischen Bereich ermöglichen. Im Falle von AR, seine Interaktion mit virtuellen 3D-Modellen und die reale Umgebung profitiert Ärzte in Bezug auf Bildung und Ausbildung1,2,3, Kommunikation und Interaktionen mit anderen Ärzten 4,und Beratung während der klinischen Interventionen5,6,7,8,9,10. Ebenso ist 3DP eine leistungsstarke Lösung für Ärzte bei der Entwicklung patientenspezifischer anpassbarer Werkzeuge11,12,13 oder die Erstellung von 3D-Modellen der Anatomie eines Patienten geworden, die dazu beitragen können, die präoperative Planung und klinische Interventionen14,15zu verbessern.
Sowohl AR- als auch 3DP-Technologien tragen zur Verbesserung der Orientierung, Der Orientierung und der räumlichen Fähigkeiten in medizinischen Verfahren bei; daher ist ihre Kombination der nächste logische Schritt. Frühere Arbeiten haben gezeigt, dass ihre gemeinsame Verwendung den Wert in der Patientenerziehung erhöhen kann16, Erleichterung der Erklärung von Erkrankungen und vorgeschlagene Behandlung, Optimierung des chirurgischen Arbeitsablaufs17,18 und Verbesserung der Patienten-zu-Modell-Registrierung19. Obwohl diese Technologien in den letzten Jahren exponentiell gewachsen sind, ist ihre Akzeptanz durch Ärzte immer noch begrenzt, da sie umfangreiche Kenntnisse in der Entwicklung von Ingenieuren und Software erfordern. Daher besteht der Zweck dieser Arbeit darin, eine Schritt-für-Schritt-Methodik zu beschreiben, die den Einsatz von AR und 3DP durch unerfahrene Benutzer ermöglicht, ohne dass umfassende technische Kenntnisse erforderlich sind.
Dieses Protokoll beschreibt, wie eine AR-Smartphone-App entwickelt wird, die es ermöglicht, jedes patientenbasierte 3D-Modell mithilfe eines von der Smartphone-Kamera verfolgten 3D-gedruckten Markers auf eine reale Umgebung zu überlagern. Darüber hinaus wird ein alternativer Ansatz beschrieben, um die automatische Registrierung zwischen einem 3D-gedruckten Biomodell (d. h. einem aus der Anatomie eines Patienten erstellten 3D-Modell) und den projizierten Hologrammen bereitzustellen. Das beschriebene Protokoll basiert vollständig auf freier und plattformübergreifender Software.
In früheren Arbeiten wurde die AR-Patienten-Bild-Registrierung manuell5 mit Oberflächenerkennungsalgorithmen10 berechnet oder war nicht verfügbar2. Diese Methoden wurden als etwas eingeschränkt angesehen, wenn eine genaue Registrierung erforderlich ist19. Um diese Einschränkungen zu überwinden, bietet diese Arbeit Tools zur präzisen und einfachen Patienten-zu-Bild-Registrierung in AR-Verfahren durch die Kombination von AR-Technologie und 3DP.
Das Protokoll ist generisch und kann auf jede medizinische Bildgebungsmethode oder jeden Patienten angewendet werden. Als Beispiel wird ein echter klinischer Fall eines Patienten mit distalen Beinsarkomen zur Veranschaulichung der Methodik bereitgestellt. Im ersten Schritt wird beschrieben, wie die betroffene Anatomie aus medizinischen Bildern der Computertomographie (CT) einfach segmentiert werden kann, um virtuelle 3D-Modelle zu generieren. Danach erfolgt die Positionierung der 3D-Modelle, dann werden die erforderlichen Werkzeuge und Modelle 3D-gedruckt. Schließlich wird die gewünschte AR-App bereitgestellt. Diese App ermöglicht die Visualisierung von Patienten-3D-Modellen, die auf einer Smartphone-Kamera in Echtzeit überlagert werden.
Protocol
Diese Studie wurde in Übereinstimmung mit den Grundsätzen der Erklärung von Helsinki von 1964 in der 2013 überarbeiteten Fassung durchgeführt. Die in diesem Papier enthaltenen anonymisierten Patientendaten und Bilder werden nach schriftlicher Einwilligung des Teilnehmers und/oder seines gesetzlichen Vertreters verwendet, in dem er die Verwendung dieser Daten für Verbreitungsaktivitäten einschließlich wissenschaftlicher Veröffentlichungen genehmigt hat.
1. Workstation-Einrichtung für Segmentierung, 3D-Modelle Extraktion, Positionierung und AR-App-Bereitstellung
HINWEIS: Dieses Protokoll wurde mit der für jedes Tool angegebenen Softwareversion getestet. Es ist wahrscheinlich, mit neueren Versionen zu arbeiten, obwohl es nicht garantiert ist.
- Verwenden Sie einen Computer mit Microsoft Windows 10 oder Mac OS als Betriebssysteme.
- Installieren Sie die folgenden Tools von den entsprechenden Websites gemäß den offiziellen Anweisungen:
3D-Slicer (v. 4.10.2): https://download.slicer.org/.
Meshmixer (v. 3.5): http://www.meshmixer.com/download.html.
Unity (v. 2019): https://unity3d.com/get-unity/download.
(nur für iOS-Bereitstellung) Xcode (letzte Version): https://developer.apple.com/xcode/.
HINWEIS: Alle Software-Tools, die für die Fertigstellung des Protokolls erforderlich sind, können für persönliche Zwecke kostenlos heruntergeladen werden. Software, die in jedem Schritt verwendet werden soll, wird speziell angegeben. - Laden Sie Daten aus dem folgenden GitHub-Repository herunter, das sie unter https://github.com/BIIG-UC3M/OpenARHealthfinden.
HINWEIS: Das Repository enthält die folgenden Ordner:
"/3DSlicerModule/": 3D-Slicer-Modul zur Positionierung von 3D-Modellen in Bezug auf den 3D-gedruckten Marker. Wird in Abschnitt 3 verwendet. Fügen Sie das Modul in den 3D-Slicer ein, indem Sie den Anweisungen unter https://github.com/BIIG-UC3M/OpenARHealthfolgen.
"/Data/PatientData/Patient000_CT.nrrd": CT eines Patienten, der an distalen Beinensarkom leidet. Das Protokoll wird anhand dieses Bildes als Beispiel beschrieben.
"/Data/Biomodels/": 3D-Modelle des Patienten (Knochen und Tumor).
"/Data/Markers/": Marker, die 3D-gedruckt werden, die von der AR-Anwendung erkannt werden, um die virtuellen 3D-Modelle zu positionieren. Es stehen zwei Marker zur Verfügung.
2. Biomodell-Erstellung
ANMERKUNG: Das Ziel dieses Abschnitts ist es, 3D-Modelle der Anatomie des Patienten zu erstellen. Sie werden durch Anwendung von Segmentierungsmethoden auf ein medizinisches Bild (hier mit Hilfe eines CT-Bildes) erhalten. Der Prozess besteht aus drei verschiedenen Schritten: 1) Laden der Patientendaten in 3D-Slicer-Software, 2), Segmentierung von Zielanatomie-Volumen und 3) Export der Segmentierung als 3D-Modelle im OBJ-Format. Die resultierenden 3D-Modelle werden in der endgültigen AR-Anwendung visualisiert.
- Laden Sie Patientendaten ("/Data/PatientData/Patient000_CT.nrrd"), indem Sie die medizinische Bilddatei in das Softwarefenster für 3D-Slicer ziehen. Klicken Sie auf OK. Die CT-Ansichten (axial, sagittal, koronal) werden auf den entsprechenden Fenstern angezeigt.
HINWEIS: Die hier verwendeten Daten finden sich im "fast rohen Raster-Daten"-Format (NRRD), aber 3D Slicer ermöglicht das Laden von DICOM-Dateien (Medical Image Format). Weitere Anweisungen finden Sie unter https://www.slicer.org/wiki/Documentation/4.10/Training. - Um die Anatomie des Patienten zu segmentieren, gehen Sie zum Segmenteditor-Modul in 3D-Slicer.
- Beim Betreten des Moduls wird automatisch ein "Segmentierungselement" erstellt. Wählen Sie das gewünschte Volumen (ein medizinisches Bild des Patienten) im Abschnitt Hauptvolumen aus. Klicken Sie dann mit der rechten Maustaste unten auf die Schaltfläche Hinzufügen, um ein Segment zu erstellen. Es wird ein neues Segment mit dem Namen "Segment_1" erstellt.
- Es gibt ein Panel namens Effekte, das eine Vielzahl von Werkzeugen enthält, um den Zielbereich des medizinischen Bildes richtig zu segmentieren. Wählen Sie das bequemste Werkzeug für das Ziel und Segment auf den Bildfensterbereich.
- Um den Knochen (in diesem Fall Tibia und Fibel) zu segmentieren, verwenden Sie das Werkzeug Schwellenwert, um minimale und maximale HU-Werte aus dem CT-Bild einzurichten, das dem Knochengewebe entspricht. Mit diesem Tool werden andere Elemente mit HU außerhalb dieser Schwellenwerte entfernt, z. B. Weichgewebe.
- Verwenden Sie das Werkzeug Schere, um unerwünschte Bereiche, wie das Bett oder andere anatomische Strukturen, aus der segmentierten Maske zu entfernen. Segmentieren Sie das Sarkom manuell mit den Werkzeugen Zeichnen und Löschen, da der Tumor mit automatischen Werkzeugen schwer zu konturieren ist.
ANMERKUNG: Weitere Informationen zum Segmentierungsverfahren finden Sie unter https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Klicken Sie auf die Schaltfläche 3D anzeigen, um eine 3D-Darstellung der Segmentierung anzuzeigen.
- Exportieren Sie die Segmentierung in einem 3D-Modelldateiformat, indem Sie zum Segmentierungsmodul in 3D Slicer gehen.
- Wechseln Sie zu Export/Import-Modelle und Labelmaps. Wählen Sie Export im Vorgangsabschnitt und Modelle im Ausgabetypabschnitt aus. Klicken Sie auf Exportieren, um das 3D-Modell aus dem segmentierten Bereich zu erstellen.
- Wählen Sie SAVE (oben links), um das Modell zu speichern. Wählen Sie die zu speichernden Elemente aus. Ändern Sie dann das Dateiformat des 3D-Modells in "OBJ" in der Spalte Dateiformat. Wählen Sie den Pfad aus, in dem Dateien gespeichert werden sollen, und klicken Sie auf Speichern.
- Wiederholen Sie die Schritte 2.2 und 2.3, um zusätzliche 3D-Modelle verschiedener anatomischer Regionen zu erstellen.
ANMERKUNG: Vorsegmentierte Modelle des bereitgestellten Beispiels finden Sie in den Daten, die zuvor in Schritt 1.3 heruntergeladen wurden ("/Daten/Biomodelle/").
3. Biomodell Positionierung
HINWEIS: In diesem Abschnitt werden die in Abschnitt 2 erstellten 3D-Modelle in Bezug auf den Marker für die Augmented Reality-Visualisierung positioniert. Für diese Aufgabe wird das ARHealth: Model Position Modul von 3D Slicer verwendet. Befolgen Sie die Anweisungen in Schritt 1.3, um das Modul zu 3D Slicer hinzuzufügen. Es gibt zwei verschiedene Alternativen, um die 3D-Modelle zu positionieren: "Visualisierung" Modus und "Registrierung" Modus.
- Visualisierungsmodus
HINWEIS: Der Visualisierungsmodus ermöglicht die Positionierung der 3D-Patientenmodelle an jeder Position in Bezug auf den AR-Marker. Mit dieser Option kann der Benutzer die AR-App verwenden, um Biomodelle mit dem 3D-gedruckten AR-Marker als Referenz zu visualisieren. Dieser Modus kann verwendet werden, wenn keine Genauigkeit erforderlich ist, und die Visualisierung des virtuellen Modells kann an beliebiger Stelle innerhalb des Sichtfelds der Smartphone-Kamera und des Markers angezeigt werden.- Wechseln Sie zum Modul ARHealth: Model Position, und wählen Sie (im Initialisierungsabschnitt) den Visualisierungsmodus aus. Klicken Sie auf Markermodell laden, um den Marker für diese Option zu laden.
- Laden Sie die in Abschnitt 2 erstellten 3D-Modelle, indem Sie auf die Schaltfläche ... klicken, um den Pfad der gespeicherten Modelle aus Abschnitt 2 auszuwählen. Klicken Sie dann auf die Schaltfläche Modell laden, um es in 3D Slicer zu laden. Modelle müssen nacheinander geladen werden. Um zuvor geladene Modelle zu löschen, klicken Sie auf dieses Modell, gefolgt von der Schaltfläche Modell entfernen, oder klicken Sie auf Alle entfernen, um alle gleichzeitig geladenen Modelle zu löschen.
- Klicken Sie auf die Schaltfläche Fertig stellen und zentrieren, um alle Modelle innerhalb der Markierung zu zentrieren.
- Die Position, Ausrichtung und Skalierung der 3D-Modelle können in Bezug auf den Marker mit unterschiedlichen Schiebereglern (d. h. Übersetzung, Drehung, Skalierung) geändert werden.
HINWEIS: Es gibt eine zusätzliche "Position zurücksetzen", um die ursprüngliche Position der Modelle zurückzusetzen, bevor Änderungen an der Position vorgenommen werden. - Speichern Sie die Modelle an dieser Position, indem Sie den Pfad zum Speichern der Dateien auswählen und auf die Schaltfläche Modelle speichern klicken. Die 3D-Modelle werden mit dem Erweiterungsnamen "_registered.obj" gespeichert.
- Registrierungsmodus
HINWEIS: Der Registrierungsmodus ermöglicht die Kombination des AR-Markers mit einem 3D-Biomodell an jeder gewünschten Position. Anschließend kann jeder Abschnitt der kombinierten 3D-Modelle (einschließlich der AR-Markierung) extrahiert und 3D-gedruckt werden. Alle Biomodelle werden in der AR-App mit diesem kombinierten 3D-gedruckten Biomodell als Referenz angezeigt. Dieser Modus ermöglicht es dem Benutzer, den Patienten (hier einen Abschnitt des Knochens des Patienten) und virtuelle Modelle mit einem Referenzmarker einfach zu registrieren.- Wechseln Sie zum Modul ARHealth: Model Position, und wählen Sie (im Initialisierungsabschnitt) den Registrierungsmodus aus. Klicken Sie auf Markermodell laden, um den Marker für diese Option zu laden.
- Laden Sie die Modelle wie in Schritt 3.1.2.
- Verschieben Sie die 3D-Modelle und stellen Sie deren Schnittpunkt mit der tragenden Struktur der Würfelmarkierung sicher, da diese Modelle später kombiniert und 3D-gedruckt werden. Die Höhe der Markerbasis kann geändert werden. Die Position, Ausrichtung und Skalierung der 3D-Modelle können in Bezug auf den Marker mit unterschiedlichen Schiebereglern (d. h. Übersetzung, Drehung, Skalierung) geändert werden.
- Speichern Sie die Modelle an dieser Position, indem Sie den Pfad zum Speichern der Dateien auswählen und auf die Schaltfläche Modelle speichern klicken. Die 3D-Modelle werden mit dem Erweiterungsnamen "_registered.obj" gespeichert.
- Das Anatomiemodell ist möglicherweise zu groß. Wenn ja, schneiden Sie das 3D-Modell um den Markeradapter und 3D-Druck nur einen Abschnitt der Kombination beider Modelle mit Meshmixer Software.
- Öffnen Sie Meshmixer und laden Sie das Biomodell und die unterstützende Struktur des Cube-Markermodells, das in Schritt 3.2.4 gespeichert ist. Kombinieren Sie diese Modelle, indem Sie beide Modelle im Fenster Objektbrowser auswählen. Klicken Sie im Werkzeugfenster, das gerade in der oberen linken Ecke angezeigt wurde, auf die Option Kombinieren.
- Verwenden Sie in Meshmixer das Werkzeug "Ebenenschnitt" im Menü Bearbeiten, um unerwünschte Abschnitte des Modells zu entfernen, die nicht 3D-gedruckt werden.
- Um das Modell zu speichern, um 3D-gedruckt zu werden, gehen Sie zu Datei > Exportieren und wählen Sie das gewünschte Format aus.
4. 3D-Druck
ANMERKUNG: Ziel dieses Schritts ist es, die für die endgültige AR-Anwendung erforderlichen physikalischen Modelle in 3D zu drucken. Die von der Anwendung zu erkennende Markierung und die verschiedenen benötigten Objekte hängen vom in Abschnitt 3 ausgewählten Modus ab. Jedes Material kann für den 3D-Druck für die Zwecke dieser Arbeit verwendet werden, wenn die Farbmaterialanforderungen bei jedem Schritt angefordert werden. Polymilchsäure (PLA) oder Acrylnitril Butadien-Styrol (ABS) sind beide ausreichend Enko.
- Verwenden Sie einen 3D-Drucker, um die kubische Markierung zu drucken. Wenn kein 3D-Drucker mit zwei Extrudern verfügbar ist, fahren Sie mit Schritt 4.2 fort. Verwenden Sie einen Dual-Extruder-3D-Drucker, der speziell zum Drucken des in "Daten/Marker/Marker1_TwoColorCubeMarker/" bereitgestellten zweifarbigen Markers verwendet wird. Wählen Sie in der 3D-Drucksoftware ein weißes Farbmaterial für die Datei "TwoColorCubeMarker_WHITE.obj" und ein schwarzes Farbmaterial für "TwoColorCubeMarker_BLACK.obj" aus.
HINWEIS: Für eine bessere Markererkennung drucken Sie im hochwertigen Modus mit einer kleinen Schichthöhe. - Wenn kein 3D-Drucker mit zwei Extrudern verfügbar ist und Schritt 4.1 nicht ausgeführt wurde, führen Sie diesen Schritt aus, um einen 3D-gedruckten Marker mit Aufklebern als Alternative zu drucken, indem Sie Folgendes tun:
- Verwenden Sie einen 3D-Drucker, um die Datei "Data/Markers/ Marker2_StickerCubeMarker/ StickerCubeMarker_WHITE.obj" mit weißem Farbmaterial zu drucken.
- Verwenden Sie einen herkömmlichen Drucker, um die Datei "Daten/Marker/Marker2_StickerCubeMarker/Aufkleber.pdf" auf Aufkleberpapier zu drucken. Verwenden Sie dann ein beliebiges Schneidwerkzeug, um die Bilder durch den schwarzen Rahmen präzise zu schneiden, indem Sie die schwarzen Linien entfernen.
HINWEIS: Es wird empfohlen, Aufkleberpapier zu verwenden, um einen höherwertigen Marker zu erhalten. Die Bilder können jedoch auf normales Papier gedruckt werden, und ein gemeinsamer Klebestift kann verwendet werden, um die Bilder auf den Würfel zu kleben. - Legen Sie Aufkleber in den in Schritt 4.2.1 erhaltenen 3D-gedruckten Würfel in der entsprechenden Reihenfolge nach den Anweisungen aus dem Dokument "Daten/Marker/ Marker2_StickerCubeMarker/Aufkleber.pdf".
HINWEIS: Aufkleber sind kleiner als die Fläche des Würfels. Lassen Sie einen 1,5 mm Rahmen zwischen dem Aufkleber und der Kante des Gesichts. "Data/Markers/Marker2_StickerCubeMarker/StickerPlacer.stl" kann 3D-gedruckt werden, um die Aufkleberpositionierung zu leiten und genau mit der Mitte der Würfelfläche übereinstimmen.
- 3D-Druck der Adapter, je nach dem in Abschnitt 3 gewählten Modus.
- Wenn der Visualisierungsmodus (Abschnitt 3.1) ausgewählt wurde, wird 3D-print "Data/3DPrinting/Option1/ MarkerBaseTable.obj" gedruckt, ein Basisadapter, der verwendet wird, um den Marker in vertikaler Position auf einer horizontalen Fläche zu platzieren.
- Wenn der Registrierungsmodus (Abschnitt 3.2) ausgewählt wurde, drucken Sie das in Schritt 3.2.8 erstellte Modell mit dem angebrachten Markeradapter in 3D..
HINWEIS: 3D-gedruckte Objekte aus Schritt 4.3 können in jedem Farbmaterial gedruckt werden.
5. AR-App-Bereitstellung
HINWEIS: Das Ziel dieses Abschnitts ist es, eine Smartphone-App in Unity-Engine zu entwerfen, die die in den vorherigen Abschnitten erstellten 3D-Modelle enthält, und diese App auf einem Smartphone bereitzustellen. Für diesen Schritt ist ein Vuforia Development License Key (kostenlos für den persönlichen Gebrauch) erforderlich. Die App kann auf Android- oder iOS-Geräten bereitgestellt werden.
- Erstellen Sie ein Vuforia Developer-Konto, um einen Lizenzschlüssel für die Verwendung ihrer Bibliotheken in Unity zu erhalten. Rufen Sie den Link unter https://developer.vuforia.com/vui/auth/register auf, und erstellen Sie ein Konto.
- Rufen Sie den Link unter https://developer.vuforia.com/vui/develop/Licenses auf, und wählen Sie Entwicklungsschlüssel abrufenaus. Folgen Sie dann den Anweisungen, um dem Konto des Benutzers einen kostenlosen Entwicklungslizenzschlüssel hinzuzufügen.
- Wählen Sie im Menü Lizenz-Manager den im vorherigen Schritt erstellten Schlüssel aus, und kopieren Sie den bereitgestellten Schlüssel, der in Schritt 5.3.3 verwendet wird.
- Richten Sie das Smartphone ein.
- Um mit Unity- und Android-Geräten zu beginnen, gehen Sie zu dem Link unter https://docs.unity3d.com/Manual/android-GettingStarted.html.
- Um mit Unity- und iOS-Geräten zu beginnen, gehen Sie zu dem Link unter https://docs.unity3d.com/Manual/iphone-GettingStarted.html.
- Richten Sie ein Unity-Projekt für die AR-App ein, indem Sie Unity v.2019 zuerst öffnen und ein neues 3D-Projekt erstellen. Dann, unterBuildeinstellungenin derDateiMenü, wechseln Sie die Plattform auf ein Android- oder iOS-Gerät.
- Aktivieren Sie Vuforia in das Projekt, indem Sie Bearbeiten > Projekteinstellungen > Playereinstellungen > XR-Einstellungen auswählen und das Kontrollkästchen Vuforia Augmented Reality Supportaktivieren.
- Erstellen Sie eine "ARCamera" unter Menüleiste > GameObject > Vuforia Engine > ARCamera und importieren Sie Vuforia-Komponenten, wenn Sie dazu aufgefordert werden.
- Fügen Sie den Vuforia-Lizenzschlüssel zu den Vuforia-Konfigurationseinstellungen hinzu, indem Sie den Ordner Ressourcen auswählen und auf Vuforia-Konfigurationklicken. Fügen Sie dann im Abschnitt App-Lizenzschlüssel den in Abschnitt 5.1.2 kopierten Schlüssel ein.
- Importieren Sie die In-Vuforia-Zieldatei unter "/Data/Vuforia/ AR_Cube_3x3x3.unitypackage" in Unity, die die Dateien enthält, die Vuforia benötigt, um die in Abschnitt 4 beschriebenen Marker zu erkennen.
- Erstellen Sie ein Vuforia MultiTarget unter Menüleiste > GameObject > Vuforia Engine > Multi Image.
- Wählen Sie den Markertyp aus, der für die Erkennung verwendet wird, indem Sie auf das im vorherigen Schritt erstellte MultiTarget klicken. Wählen Sie unter Datenbankoption unter Multi-Zielverhalten ARHealth_3DPrintedCube_30x30x30aus. Wählen Sie unter Der Option Multi Target unter Multi Target Behaviourentweder TwoColorCubeMarker oder StickerCubeMarkeraus, abhängig von der in Abschnitt 4 erstellten Markierung.
- Laden Sie die in Abschnitt 3 erstellten 3D-Modelle unter MultiTarget in Unity Scene, indem Sie unter dem Ordner "Ressourcen" einen neuen Ordner mit dem Namen "Models" erstellen. Ziehen Sie die 3D-Modelle in diesen Ordner. Ziehen Sie sie nach dem Laden in Unity unter das in Schritt 5.3.5 erstellte Element "MultiTarget". Dadurch werden sie vom Marker abhängig.
HINWEIS:Modelle sollten in der Unity 3D-Ansichtsszene sichtbar sein. - Ändern Sie die Farben der 3D-Modelle, indem Sie ein neues Material erstellen und die neuen Materialien den Modellen zuweisen.
- Erstellen Sie einen neuen Ordner mit dem Namen "Materialien" unter dem Ordner "Ressourcen", indem Sie zu Menüleiste > Assets > Erstellen > Materialgehen. Wählen Sie das Material aus, und ändern Sie die Farbe im Konfigurationsabschnitt. Ziehen Sie dann die Datei unter die 3D-Modellhierarchie.
- Optional: Wenn eine Webcam verfügbar ist, klicken Sie auf die Play-Schaltfläche im oberen mittleren Teil, um ihre Anwendung auf dem Computer zu testen. Wenn der Marker für die Webcam sichtbar ist, sollte er erkannt werden, und die 3D-Modelle sollten in der Szene angezeigt werden.
- Wenn ein Android-Smartphone für die App-Bereitstellung verwendet wird, gehen Sie zu Datei > Einstellungen in Unity erstellen, und wählen Sie das angeschlossene Telefon aus der Liste aus. Wählen Sie Bereitstellen und Ausführenaus. Speichern Sie die Datei mit der Erweiterung .apk auf dem Computer und lassen Sie den Prozess beenden. Sobald die Bereitstellung abgeschlossen ist, sollte die App auf dem Telefon sein und bereit zum Ausführen sein.
HINWEIS: Dieses Protokoll wurde auf Android v.8.0 Oreo oder höher getestet. Die korrekte Funktionalität ist bei älteren Versionen nicht garantiert. - Wenn die App auf einem iOS-Gerät bereitgestellt wird, wechseln Sie zu Datei > Einstellungen in Unity erstellen, und wählen Sie Ausführenaus. Wählen Sie den Pfad zum Speichern der App-Dateien aus. Lassen Sie den Prozess abgeschlossen werden. Wechseln Sie zum gespeicherten Ordner und öffnen Sie die Datei mit der Erweiterung ".projectxcode".
- Befolgen Sie in Xcode die Anweisungen aus Schritt 5.2.2, um die Bereitstellung abzuschließen.
HINWEIS: Weitere Informationen zu Vuforia in Unity finden Sie unter https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html.
- Befolgen Sie in Xcode die Anweisungen aus Schritt 5.2.2, um die Bereitstellung abzuschließen.
6. App-Visualisierung
- Öffnen Sie die installierte App, die die Kamera des Smartphones verwendet. Wenn Sie die App ausführen, schauen Sie sich den Marker mit der Kamera aus kurzer Entfernung (mindestens 40 cm) an. Sobald die App den Marker erkennt, sollten die in den vorherigen Schritten erstellten 3D-Modelle genau an der Stelle angezeigt werden, die während des Verfahrens auf dem Smartphone-Bildschirm definiert wurde.
HINWEIS: Die Beleuchtung kann die Genauigkeit der Markererkennung ändern. Es wird empfohlen, die App in Umgebungen mit guten Lichtverhältnissen zu verwenden.
Representative Results
Das Protokoll wurde auf Daten eines Patienten angewendet, der an distalen Beinsarkoms leidet, um die betroffene anatomische Region aus einer 3D-Perspektive zu visualisieren. Mit der in Abschnitt 2 beschriebenen Methode wurden der Teil des betroffenen Knochens (hier Tibia und Fibel) und Tumor vom CT-Scan des Patienten segmentiert. Dann wurden mit den Segmentierungswerkzeugen von 3D Slicer zwei Biomodelle erstellt: der Knochen (Abschnitt der Tibia und Fibel) (Abbildung 1A) und Tumor (Abbildung 1B).
Als nächstes wurden die beiden 3D-Modelle virtuell in Bezug auf den Marker für eine optimale Visualisierung positioniert. Beide in Abschnitt 3 beschriebenen Modi wurden für dieses Beispiel befolgt. Für den Visualisierungsmodus wurden die Modelle in der oberen Fläche des Markers zentriert (Abbildung 2). Für den Registrierungsmodus wurde der Markeradapter im Knochen positioniert (insbesondere die Tibia [Abbildung 3]). Dann wurde ein kleiner Teil der Tibia ausgewählt, um mit einem 3D-Markeradapter 3D-gedruckt zu werden (Abbildung 4). Ein erweiterter 3D-Drucker von Ultimaker 3 mit PLA-Material wurde verwendet, um die 3D-gedruckten Marker (Abbildung 5A, B), Markerhalterbasis ( Abbildung5C) für den Modus "Visualisierung" und Abschnitt der Tibia für den "Registrierungsmodus" zu erstellen (Abbildung 5D). Abbildung 5E zeigt, wie der Marker an die 3D-gedruckte Basis im "Visualisierungsmodus" angehängt wurde. Abbildung 5F zeigt die Anlage mit dem 3D-gedruckten Biomodell "Registrierung". Schließlich wurde Unity verwendet, um die App zu erstellen und auf dem Smartphone bereitzustellen.
Abbildung 6 zeigt, wie die App im Modus "Visualisierung" funktioniert hat. Das Hologramm befand sich genau im oberen Teil des Würfels, wie zuvor definiert. Abbildung 7 zeigt die Anwendung für den Modus "Registrierung", in dem die App das komplette Bone-Modell über dem 3D-gedruckten Abschnitt positioniert hat. Die endgültige Visualisierung der Hologramme war klar und realistisch, hielt die realen Größen der Biomodelle bei und positionierte sich genau. Bei Verwendung der Smartphone-Anwendung muss der AR-Marker von der Kamera sichtbar sein, damit die App die Hologramme korrekt anzeigt. Darüber hinaus müssen die Lichtverhältnisse in der Szene von guter Qualität und konstant für die richtige Markererkennung sein. Schlechte Lichtverhältnisse oder Reflexionen auf der Markeroberfläche behindern die Verfolgung des AR-Markers und führen zu Fehlfunktionen der App.
Die zum Erstellen der App benötigte Zeit hängt von mehreren Faktoren ab. Die Dauer von Abschnitt 1 ist durch die Download-Geschwindigkeit begrenzt. In Bezug auf die Anatomiesegmentierung (Abschnitt 2) sind Faktoren, die die Segmentierungszeit beeinflussen, die Komplexität der Region und die modalität der medizinischen Bildgebung (d. h. CT ist leicht segmentiert, während die MRT schwieriger ist). Für das repräsentative Beispiel der Tibia waren ca. 10 min erforderlich, um beide 3D-Modelle aus dem CT-Scan zu generieren. Die Positionierung des Biomodells (Abschnitt 3) ist einfach und unkompliziert. Hier dauerte es ca. 5 min, um die Biomodellposition in Bezug auf den AR-Marker zu definieren. Für den 3D-Druckschritt ist die Dauer stark vom ausgewählten Modus abhängig. Der "Dual Color Marker" wurde in einem Zeitraum von 5 h und 20 min in hoher Qualität hergestellt. Der "Aufkleber-Marker" wurde in einem Zeitraum von 1 h und 30 min hergestellt, zuzüglich der Zeit, die zum Einkleben der Aufkleber benötigt wird. Der letzte Schritt für die App-Entwicklung kann für personen ohne vorherige Erfahrung in Unity zeitaufwändig sein, kann jedoch nach den Protokollschritten problemlos abgeschlossen werden. Sobald die AR-Marker 3D-gedruckt wurden, kann die Entwicklung einer völlig neuen AR-App in weniger als 1 H durchgeführt werden. Diese Dauer kann mit zusätzlicher Erfahrung weiter reduziert werden.
Abbildung 1: Darstellung von 3D-Modellen, die aus einem CT-Bild eines Patienten mit distalen Beinsarkoms erstellt wurden. (A) Knochengewebe in Weiß (Tibia und Fibel) dargestellt. (B) Tumor rot dargestellt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 2: Ergebnisse, die zeigen, wie der Modus "Visualisierung" im 3D-Slicer die virtuellen 3D-Modelle von Knochen und Tumor in Bezug auf die 3D-gedruckte Markerreferenz positioniert. Die Patienten-3D-Modelle (A) befinden sich oberhalb der Oberseite des Markerwürfels (B). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 3: Ergebnisse, die zeigen, wie der Modus "Registrierung" in 3D Slicer die virtuellen 3D-Modelle von Knochen und Tumor (A) in Bezug auf die 3D-gedruckte Markerreferenz (B) positioniert. Der Markeradapter wird am Knochengewebemodell befestigt. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 4: Kleiner Abschnitt des Knochengewebes und 3D-Markeradapter. Die beiden Komponenten werden dann 3D-gedruckt kombiniert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 5: 3D-gedruckte Werkzeuge, die für die endgültige Anwendung erforderlich sind. (A) "Zwei Farbwürfelmarker" 3D-gedruckt mit zwei Farben von Materialien. (B) "Aufkleber Würfel Marker" 3D-gedruckt, mit Aufklebern geklebt. (C) Marker Basiswürfeladapter. (D) Abschnitt des 3D-Modells des Knochengewebes und des Markerwürfeladapters des Patienten. (E) "Sticker Cube Marker" im Marker-Basiswürfeladapter platziert. (F) "Zwei Farbwürfelmarker" im Markeradapter platziert, der an der Anatomie des Patienten befestigt ist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 6: App-Anzeige bei Verwendung des Modus "Visualisierung". Die betroffenen Anatomie-3D-Modelle des Patienten befinden sich über der Oberseite des 3D-gedruckten Würfels. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Abbildung 7: AR-Visualisierung bei Verwendung des Modus "Registrierung". Der 3D-gedruckte Marker ermöglicht die Registrierung des 3D-gedruckten Biomodells bei den virtuellen 3D-Modellen. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.
Discussion
AR birgt großes Potenzial in der Aus- und Weiterbildung und chirurgischen Beratung im medizinischen Bereich. Die Kombination mit 3D-Druck eröffnet neue Möglichkeiten in klinischen Anwendungen. Dieses Protokoll beschreibt eine Methode, die es unerfahrenen Benutzern ermöglicht, eine Smartphone-App zu erstellen, die AR und 3DP kombiniert, um anatomische 3D-Modelle von Patienten mit 3D-gedruckten Referenzmarkern zu visualisierungen.
Im Allgemeinen ist eine der interessantesten klinischen Anwendungen von AR und 3DP, die Kommunikation zwischen Patienten und Ärzten zu verbessern, indem dem Patienten eine andere Perspektive des Falles gegeben wird, indem die Erklärungen zu bestimmten medizinischen Bedingungen oder Behandlungen verbessert werden. Eine weitere mögliche Anwendung beinhaltet chirurgische Leitfäden für die Ziellokalisierung, bei der 3D-gedruckte patientenspezifische Werkzeuge (mit einem Referenz-AR-Marker) auf starren Strukturen (d.h. Knochen) platziert und als Referenz für die Navigation verwendet werden können. Diese Anwendung ist besonders nützlich für orthopädische und kiefer-gesichtschirurgische Eingriffe, bei denen die Knochengewebeoberfläche während der Operation leicht zugänglich ist.
Das Protokoll beginnt mit Abschnitt 1 und beschreibt die Einrichtung von Arbeitsstationen und die erforderlichen Softwaretools. In Abschnitt 2 wird beschrieben, wie Sie die 3D-Slicer-Software verwenden, um Zielanatomien des Patienten einfach von jeder medizinischen Bildgebungsmethode zu segmentieren, um 3D-Modelle zu erhalten. Dieser Schritt ist von entscheidender Bedeutung, da die virtuellen 3D-Modelle, die erstellt wurden, diejenigen sind, die in der endgültigen AR-Anwendung angezeigt werden.
In Abschnitt 3 wird 3D Slicer verwendet, um die im vorherigen Abschnitt erstellten 3D-Modelle mit einer AR-Markierung zu registrieren. Bei diesem Registrierungsverfahren werden Patienten-3D-Modelle effizient und einfach in Bezug auf den AR-Marker positioniert. Die in diesem Abschnitt definierte Position bestimmt die relative Hologrammposition in der endgültigen App. Es wird angenommen, dass diese Lösung die Komplexität reduziert und die möglichen Anwendungen multipliziert. In Abschnitt 3 werden zwei verschiedene Optionen beschrieben, um die räumlichen Beziehungen zwischen den Modellen und AR-Markern zu definieren: "Visualisierung" und "Registrierung"-Modus. Die erste Option, der "Visualisierungsmodus", ermöglicht es, die 3D-Modelle an einer beliebigen Stelle in Bezug auf den Marker zu positionieren und als gesamtes Biomodell anzuzeigen. Dieser Modus bietet eine realistische 3D-Perspektive der Anatomie des Patienten und ermöglicht das Bewegen und Drehen der Biomodelle durch Bewegen des verfolgten AR-Markers. Die zweite Option, der "Registrierungsmodus", ermöglicht das Anbringen und Kombinieren eines Markeradapters an jedem Teil des Biomodells und bietet einen automatischen Registrierungsprozess. Mit dieser Option kann ein kleiner Teil des 3D-Modells, einschließlich des Markeradapters, 3D-gedruckt werden, und die App kann den Rest des Modells als Hologramm anzeigen.
Abschnitt 4 enthält Richtlinien für den 3D-Druckprozess. Zunächst kann der Benutzer zwischen zwei verschiedenen Markern wählen: dem "Dual Color Marker" und dem "Sticker Marker". Der gesamte "Dual-Color-Marker" kann 3D-gedruckt werden, erfordert aber einen Dual-Extruder-3D-Drucker. Falls dieser Drucker nicht verfügbar ist, wird der "Aufklebermarker" vorgeschlagen. Dies ist eine einfachere Markierung, die durch 3D-Druck der kubischen Struktur erhalten werden kann, dann die Bilder des Würfels mit Aufkleber Papier oder Aufkleber Kleber einfügen. Darüber hinaus wurden beide Marker mit erweiterbaren Profilen entworfen, um perfekt in einen bestimmten Adapter zu passen. Somit kann der Marker in mehreren Fällen wiederverwendet werden.
Abschnitt 5 beschreibt den Prozess zum Erstellen eines Unity-Projekts für AR mithilfe des Vuforia-Softwareentwicklungskits. Dieser Schritt mag für Benutzer ohne Programmiererfahrung der schwierigste Teil sein, aber mit diesen Richtlinien sollte es einfacher sein, die endgültige Anwendung zu erhalten, die in Abschnitt 6 vorgestellt wird. Die App zeigt die virtuellen Modelle des Patienten über den Smartphone-Bildschirm an, wenn die Kamera den 3D-gedruckten Marker erkennt. Damit die App den 3D-Marker erkennen kann, sind ein Mindestabstand von ca. 40 cm oder weniger vom Telefon zum Marker sowie gute Lichtverhältnisse erforderlich.
Die endgültige Anwendung dieses Protokolls ermöglicht es dem Benutzer, die spezifischen Biomodelle zu visualisieren und in welchen Positionen zu visualisieren. Addierend kann die App die automatische Patienten-Hologramm-Registrierung mit einem 3D-gedruckten Marker und Adapter durchführen, der am Biomodell befestigt ist. Dies löst die Herausforderung, virtuelle Modelle direkt und bequem bei der Umgebung zu registrieren. Darüber hinaus erfordert diese Methodik keine umfassenden Kenntnisse der medizinischen Bildgebung oder Softwareentwicklung, hängt nicht von komplexer Hardware und teurer Software ab und kann über einen kurzen Zeitraum implementiert werden. Es wird erwartet, dass diese Methode dazu beitragen wird, die Einführung von AR- und 3DP-Technologien durch medizinisches Fachpersonal zu beschleunigen.
Disclosures
Die Autoren haben nichts zu verraten.
Acknowledgments
Dieser Bericht wurde durch die Projekte PI18/01625 und PI15/02121 (Ministerio de Ciencia, Innovacién y Universidades, Instituto de Salud Carlos III und Europäischer Fonds für regionale Entwicklung "Una manera de hacer Europa") und IND2018/TIC-9753 (Comunidad de Madrid) unterstützt.
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
