Summary
Hier gepresenteerd is een methode om een Augmented Reality smartphone applicatie te ontwerpen voor de visualisatie van anatomische driedimensionale modellen van patiënten die een 3D-gedrukte referentie marker gebruiken.
Abstract
Augmented Reality (AR) heeft een groot potentieel in onderwijs, training en chirurgische begeleiding op medisch gebied. De combinatie met driedimensionaal (3D) printen (3DP) opent nieuwe mogelijkheden in klinische toepassingen. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit protocol om een stapsgewijze methodologie te beschrijven waarmee onervaren gebruikers een smartphone-app kunnen maken, die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met een 3D-gedrukte referentie marker. In het protocol wordt beschreven hoe u 3D-virtuele modellen maakt van de anatomie van een patiënt die is afgeleid van 3D-medische beelden. Vervolgens wordt uitgelegd hoe u de positionering van de 3D-modellen met betrekking tot marker referenties uit te voeren. Ook zijn er instructies voor het afdrukken van de vereiste gereedschappen en modellen in 3D. Ten slotte worden de stappen voor het implementeren van de app geleverd. Het protocol is gebaseerd op gratis en multi-platform software en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Een alternatieve aanpak wordt beschreven om automatische registratie te bieden tussen een 3D-geprint model gemaakt van de anatomie van een patiënt en de geprojecteerde hologrammen. Als voorbeeld is een klinisch geval van een patiënt die lijdt aan distale been Sarcoom de methodologie te illustreren. Naar verwachting zal dit protocol de invoering van AR-en 3DP-technologieën door medische professionals versnellen.
Introduction
AR en 3DP zijn technologieën die een toenemend aantal toepassingen op medisch gebied bieden. In het geval van AR, de interactie met virtuele 3D-modellen en de echte omgeving voordelen artsen met betrekking tot onderwijs en opleiding1,2,3, communicatie en interacties met andere artsen4, en begeleiding tijdens klinische interventies5,6,7,8,9,10. Evenzo is 3DP uitgegroeid tot een krachtige oplossing voor artsen bij het ontwikkelen van patiënt-specifieke aanpasbare hulpmiddelen11,12,13 of het creëren van 3D-modellen van de anatomie van een patiënt, die kunnen helpen bij het verbeteren van preoperatieve planning en klinische interventies14,15.
Zowel AR-als 3DP-technologieën helpen bij het verbeteren van oriëntatie, begeleiding en ruimtelijke vaardigheden in medische procedures; de combinatie is dus de volgende logische stap. Vorig werk heeft aangetoond dat hun gezamenlijk gebruik de waarde kan verhogen in patiëntenonderwijs16, het vergemakkelijken van verklaringen van medische aandoeningen en voorgestelde behandeling, het optimaliseren van chirurgische workflow17,18 en het verbeteren van de patiënt-naar-modelregistratie19. Hoewel deze technologieën de afgelopen jaren exponentieel zijn gegroeid, is hun adoptie door artsen nog steeds beperkt, omdat ze uitgebreide kennis van engineering en software ontwikkeling vereisen. Daarom is het doel van dit werk om een stapsgewijze methodologie te beschrijven die het gebruik van AR en 3DP door onervaren gebruikers mogelijk maakt zonder de noodzaak van brede technische kennis.
Dit protocol beschrijft hoe u een AR-smartphone-app ontwikkelen die het mogelijk maakt om elk op de patiënt gebaseerd 3D-model op een echte omgeving te zetten met behulp van een 3D-geprinte marker die wordt bijgehouden door de smartphone camera. Daarnaast wordt een alternatieve aanpak beschreven om automatische registratie te bieden tussen een 3D-geprinte biomodel (d.w.z. een 3D-model gemaakt op basis van de anatomie van een patiënt) en de geprojecteerde hologrammen. Het beschreven protocol is volledig gebaseerd op gratis en multi-platform software.
In het vorige werk is de AR-patiënt-naar-beeldregistratie handmatig berekend5 met oppervlak herkenning algoritmen10 of is niet beschikbaar2. Deze methoden zijn enigszins beperkt als een nauwkeurige registratie vereist is19. Om deze beperkingen te overwinnen, biedt dit werktools om nauwkeurige en eenvoudige registratie van patiënt tot beeld in AR-procedures uit te voeren door AR-technologie en 3DP te combineren.
Het protocol is generiek en kan worden toegepast op elke medische beeldvormende modaliteit of patiënt. Als voorbeeld, een echte klinische geval van een patiënt die lijdt aan distale been Sarcoom is ter illustratie van de methodologie. De eerste stap beschrijft hoe u eenvoudig de aangetaste anatomie segmenteer van computertomografie (CT) medische beelden om virtuele 3D-modellen te genereren. Daarna wordt de positionering van de 3D-modellen uitgevoerd, dan zijn de vereiste gereedschappen en modellen 3D-geprint. Ten slotte wordt de gewenste AR-app geïmplementeerd. Deze app maakt het mogelijk om de visualisatie van de patiënt 3D-modellen op een smartphone camera in real-time te overlegden.
Protocol
Deze studie werd uitgevoerd in overeenstemming met de principes van de 1964 verklaring van Helsinki zoals herzien in 2013. De geanonimiseerde patiëntengegevens en foto's die in dit document zijn opgenomen, worden gebruikt nadat schriftelijke geïnformeerde toestemming is verkregen van de deelnemer en/of diens wettelijke vertegenwoordiger, waarin hij het gebruik van deze gegevens heeft goedgekeurd voor verspreidingsactiviteiten, waaronder wetenschappelijke publicaties.
1. workstation instellen voor segmentatie, 3D-modellen extractie, positionering en AR-app-implementatie
Opmerking: dit protocol is getest met de specifieke softwareversie die voor elk hulpprogramma is aangegeven. Het is waarschijnlijk werken met nieuwere versies, hoewel het is niet gegarandeerd.
- Gebruik een computer met Microsoft Windows 10 of Mac OS als besturingssysteem.
- Installeer de volgende tools van de corresponderende websites volgens de officiële instructies:
3D-slicer (v. 4.10.2): https://download.Slicer.org/.
Meshmixer (v. 3,5): http://www.meshmixer.com/download.html.
Eenheid (v. 2019): https://unity3d.com/Get-Unity/Download.
(Alleen voor iOS-implementatie) Xcode (laatste versie): https://Developer.Apple.com/Xcode/.
Opmerking: alle software tools die nodig zijn voor het voltooien van het protocol kunnen vrij worden gedownload voor persoonlijke doeleinden. Software die in elke stap moet worden gebruikt, wordt specifiek aangegeven. - Download gegevens uit de volgende GitHub-opslagplaats, te vinden op https://github.com/BIIG-UC3M/OpenARHealth.
Opmerking: de repository bevat de volgende mappen:
"/3DSlicerModule/": 3D slicer module voor het positioneren van 3D-modellen met betrekking tot de 3D-gedrukte marker. Gebruikt in rubriek 3. Voeg de module toe aan de 3D-slicer volgens de instructies die beschikbaar zijn op https://github.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT. nrrd": CT van een patiënt die lijdt aan distale been Sarcoom. Het protocol wordt beschreven met behulp van deze afbeelding als voorbeeld.
"/Data/Biomodels/": 3D-modellen van de patiënt (bot en tumor).
"/Data/Markers/": markeringen die 3D-afgedrukt zullen worden, die door de AR-toepassing worden gedetecteerd om de virtuele 3D-modellen te positioneren. Er zijn twee markeringen beschikbaar.
2. biomodel creatie
Opmerking: het doel van deze sectie is het maken van 3D-modellen van de anatomie van de patiënt. Ze zullen worden verkregen door het toepassen van segmentatie methoden op een medische afbeelding (hier, met behulp van een CT-afbeelding). Het proces bestaat uit drie verschillende stappen: 1) het laden van de patiëntgegevens in 3D slicer software, 2), segmentatie van doel anatomie volumes, en 3) uitvoer van segmentatie als 3D-modellen in OBJ-formaat. De resulterende 3D-modellen zullen worden gevisualiseerd in de uiteindelijke AR-toepassing.
- Laad patiëntgegevens ("/Data/PatientData/Patient000_CT. nrrd") door het bestand met medische afbeeldingen naar het venster 3D-slicer-software te slepen. Klik op OK. De CT-weergaven (axiaal, Sagittaal, coronal) verschijnen op de corresponderende Vensters.
Opmerking: de gegevens die hier worden gebruikt, vindt u in de indeling bijna RAW raster data (nrrd), maar met 3D slicer u DICOM-bestanden (Medical Image Format) laden. Ga naar de volgende link voor verdere instructies, te vinden op https://www.Slicer.org/wiki/documentation/4.10/training. - Als u de anatomie van de patiënt wilt segmenteren, gaat u naar de segment editor module in 3D Slicer.
- Een "segmentatie" item wordt automatisch gemaakt bij het invoeren van de module. Selecteer het gewenste volume (een medisch beeld van de patiënt) in het Hoofdvolume gedeelte. Klik vervolgens met de rechtermuisknop op de knop toevoegen om een segment te maken. Er wordt een nieuw segment gemaakt met de naam "Segment_1".
- Er is een panel genaamd effecten die een verscheidenheid aan hulpmiddelen bevat om het doelgebied van de medische afbeelding goed te segmenteren. Selecteer de meest geschikte tool voor het doel en segment op de afbeelding Windows gebied.
- Om het bot (Tibia en kuitbeen in dit geval) te segmenteren, gebruikt u het gereedschap drempel om minimum-en maximum-hu-waarden in te stellen van de CT-afbeelding, die overeenkomt met botweefsel. Door dit hulpprogramma te gebruiken, worden andere elementen met HU buiten deze drempelwaarden verwijderd, zoals weke delen.
- Gebruik het gereedschap schaar om ongewenste gebieden, zoals het bed of andere anatomische structuren, uit het gesegmenteerde masker te verwijderen. Segmenteer het Sarcoom handmatig met behulp van de Draw en Erase tools, omdat de tumor moeilijk te contour is met automatische gereedschappen.
Opmerking: voor meer informatie over de segmentatie procedure, ga naar de link gevonden op https://www.Slicer.org/wiki/documentation/4.10/training#Segmentation.
- Klik op de knop 3D tonen om een 3D-weergave van de segmentatie te bekijken.
- Exporteer de segmentatie in een 3D-model bestandsindeling door naar de Segmentations -module in 3D-slicer te gaan.
- Ga naar export/import modellen en labelmaps. Selecteer exporteren in de bewerking sectie en modellen in de uitvoertype sectie. Klik op exporteren om te voltooien en maak het 3D-model vanuit het gesegmenteerde gebied.
- Selecteer Opslaan (linksboven) om het model op te slaan. Kies de elementen die u wilt opslaan. Wijzig vervolgens de bestandsindeling van het 3D-model in "OBJ" in de kolom bestandsindeling . Selecteer het pad waar de bestanden zullen worden opgeslagen en klik op Save.
- Herhaal de stappen 2,2 en 2,3 om extra 3D-modellen van verschillende anatomische gebieden te maken.
Opmerking: vooraf gesegmenteerde modellen van het opgegeven voorbeeld kunnen worden gevonden in de gegevens die eerder zijn gedownload in stap 1,3 ("/Data/Biomodels/").
3. biomodel positionering
Opmerking: in dit gedeelte worden de 3D-modellen die in sectie 2 zijn gemaakt, gepositioneerd met betrekking tot de markering voor Augmented Reality-visualisatie. De Arhealth: model position module van 3D slicer wordt gebruikt voor deze taak. Volg de instructies in stap 1,3 om de module toe te voegen aan 3D-Slicer. Er zijn twee verschillende alternatieven om de 3D-modellen te positioneren: "Visualisatie"-modus en "registratie"-modus.
- Visualisatie modus
Opmerking: de visualisatie modus maakt positionering van de 3D-patiënt modellen op elke positie mogelijk met betrekking tot de AR-marker. Met deze optie kan de gebruiker de AR-app gebruiken om biomodels te visualiseren met behulp van de 3D-gedrukte AR-marker als referentie. Deze modus kan worden gebruikt wanneer precisie niet vereist is, en visualisatie van het virtuele model kan overal worden weergegeven in het gezichtsveld van de smartphone camera en marker.- Ga naar de Arhealth: model positie module, en (in de initialisatie sectie) Selecteer visualisatie modus. Klik op Load marker model om de marker voor deze optie te laden.
- Laad de 3D-modellen die zijn gemaakt in sectie 2 door te klikken op de knop ... om het pad van de opgeslagen modellen uit sectie 2 te selecteren. Klik vervolgens op de knop Model laden om deze in 3D-slicer te laden. Modellen moeten een voor een worden geladen. Als u eerder geladen modellen wilt verwijderen, klikt u op dat model gevolgd door de knop model verwijderen of klikt u op Alles verwijderen om alle modellen in één keer te verwijderen.
- Klik op de knop Voltooien en centreren om alle modellen in de marker te centreren.
- De positie, oriëntatie en schaal van de 3D-modellen kunnen worden gewijzigd met betrekking tot de marker met verschillende schuifbalken (d.w.z. vertaling, rotatie, schaal).
Opmerking: er is een extra knop "Reset position" om de oorspronkelijke positie van de modellen te resetten voordat u wijzigingen aanbrengt in de positie. - Sla de modellen op deze positie op door het pad te kiezen om de bestanden op te slaan en op de knop modellen opslaan te klikken. De 3D-modellen worden opgeslagen met de Extensienaam "_registered. obj".
- Registratie modus
Opmerking: de registratie modus maakt het combineren van de AR marker met één 3D biomodel mogelijk op elke gewenste positie. Vervolgens kan elke sectie van de gecombineerde 3D-modellen (die de AR-markering bevat) worden geëxtraheerd en 3D-afgedrukt. Alle biomodels zullen in de AR-app worden weergegeven met behulp van deze gecombineerde 3D-gedrukte biomodel als referentie. In deze modus kan de gebruiker eenvoudig de patiënt (hier, een gedeelte van het bot van de patiënt) en virtuele modellen registreren met behulp van een referentie marker.- Ga naar de Arhealth: model positie module, en (in de initialisatie sectie) Selecteer registratie modus. Klik op Load marker model om de marker voor deze optie te laden.
- Laad de modellen zoals gedaan in stap 3.1.2.
- Verplaats de 3D-modellen en zorg voor een kruising met de ondersteunende structuur van de kubus markering, aangezien deze modellen later worden gecombineerd en 3D-geprint. De hoogte van de marker basis kan worden aangepast. De positie, oriëntatie en schaal van de 3D-modellen kunnen worden gewijzigd met betrekking tot de marker met verschillende schuifbalken (d.w.z. vertaling, rotatie, schaal).
- Sla de modellen op deze positie op door het pad te kiezen om de bestanden op te slaan en op de knop modellen opslaan te klikken. De 3D-modellen worden opgeslagen met de Extensienaam "_registered. obj".
- Het anatomie model kan te groot zijn. Zo ja, knip het 3D-model rond de marker adapter en 3D-print alleen een gedeelte van de combinatie van beide modellen met behulp van Meshmixer software.
- Open Meshmixer en laad de biomodel en ondersteunende structuur van de kubus marker model opgeslagen in stap 3.2.4. Combineer deze modellen door beide modellen te selecteren in het object browser venster. Klik op de optie combineren in het gereedschaps venster dat zojuist in de linkerbovenhoek is verschenen.
- Gebruik in Meshmixer het gereedschap vlak knippen onder het menu bewerken om ongewenste gedeelten van het model te verwijderen die niet in 3D worden afgedrukt.
- Als u het model wilt opslaan als 3D-afgedrukt, gaat u naar bestand > exporteren en selecteert u de gewenste indeling.
4.3D printen
Opmerking: het doel van deze stap is om 3D-print de fysieke modellen die nodig zijn voor de uiteindelijke AR-toepassing. De markering die door de toepassing moet worden gedetecteerd en de verschillende objecten die nodig zijn, is afhankelijk van de modus die is geselecteerd in sectie 3. Elk materiaal kan worden gebruikt voor 3D-printen voor het doel van dit werk, bij het volgen van de kleur materiaalvereisten die bij elke stap worden gevraagd. Polymelkzuur (PLA) of acrylonitril butadieen styreen (ABS) zijn beide voldoende keuzes.
- Gebruik een 3D-printer om de kubieke marker af te drukken. Als een 3D-printer met dubbele extruder niet beschikbaar is, gaat u verder met stap 4,2. Gebruik een dubbele extruder 3D-printer specifiek om de tweekleurige markering in "data/markers/Marker1_TwoColorCubeMarker/" af te drukken. Selecteer in de 3D-afdruksoftware een wit kleur materiaal voor het bestand "TwoColorCubeMarker_WHITE. obj" en het zwarte kleur materiaal voor "TwoColorCubeMarker_BLACK. obj".
Opmerking: voor een betere marker detectie, afdrukken op hoge kwaliteit modus met een kleine laag hoogte. - Als een Dual extruder 3D-printer niet beschikbaar is en stap 4,1 niet is uitgevoerd, volgt u deze stap om een 3D-gedrukte marker met stickers als alternatief af te drukken:
- Gebruik een 3D-printer om het bestand "data/markers/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE. obj" af te drukken met wit kleur materiaal.
- Gebruik een conventionele printer om het bestand "data/markers/Marker2_StickerCubeMarker/stickers.PDF" op sticker papier af te drukken. Gebruik vervolgens een snijgereedschap om de afbeeldingen nauwkeurig te knippen door het zwarte frame door de zwarte lijnen te verwijderen.
Opmerking: het wordt aanbevolen om sticker papier te gebruiken om een hogere kwaliteits markering te verkrijgen. De afbeeldingen kunnen echter op normaal papier worden afgedrukt en er kan een gemeenschappelijke lijm stok worden gebruikt om de afbeeldingen op de kubus te plakken. - Plaats de stickers in de 3D-gedrukte kubus die in stap 4.2.1 is verkregen in de overeenkomstige volgorde van het document "data/markers/Marker2_StickerCubeMarker/stickers.PDF".
Opmerking: stickers zijn kleiner dan het gezicht van de kubus. Laat een 1,5 mm frame tussen de sticker en de rand van het gezicht. "Data/markers/Marker2_StickerCubeMarker/StickerPlacer.stl" kan 3D-geprint zijn om de positie van de sticker te begeleiden en exact overeen te laten gaan met het midden van het kubus gezicht.
- 3D-Druk de adapters af, afhankelijk van de modus die is geselecteerd in punt 3.
- Als visualisatie modus (paragraaf 3,1) is geselecteerd, 3D-print "data/3Dprinting/Optie1/MarkerBaseTable. obj", een basisadapter die wordt gebruikt om de marker in verticale positie op een horizontaal oppervlak te plaatsen.
- Als de registratie modus (paragraaf 3,2) werd geselecteerd, 3D-print het model gemaakt in stap 3.2.8 met de marker adapter aangesloten.
Opmerking: 3D-gedrukte objecten uit stap 4,3 kunnen in elk kleur materiaal worden afgedrukt.
5. AR app-implementatie
Opmerking: het doel van deze sectie is om een smartphone-app te ontwerpen in Unity engine met de 3D-modellen die in de vorige secties zijn gemaakt en deze app op een smartphone te implementeren. Een Vuforia ontwikkeling licentiesleutel (gratis voor persoonlijk gebruik) is vereist voor deze stap. De app kan worden geïmplementeerd op Android-of iOS-apparaten.
- Maak een Vuforia Developer-account voor het verkrijgen van een licentiesleutel voor het gebruik van hun bibliotheken in Unity. Ga naar de link gevonden op https://Developer.vuforia.com/VUI/auth/register en maak een account aan.
- Ga naar de link gevonden op https://Developer.vuforia.com/VUI/develop/licenses en selecteer ontwikkel sleutel ophalen. Volg vervolgens de instructies om een licentiesleutel voor gratis ontwikkeling toe te voegen aan het gebruikersaccount.
- Selecteer in het menu Licentiebeheer de sleutel die u in de vorige stap hebt gemaakt en kopieer de opgegeven sleutel, die wordt gebruikt in stap 5.3.3.
- Stel de smartphone in.
- Om te beginnen met Unity en Android-apparaten, gaat u naar de link gevonden op https://docs.unity3d.com/manual/Android-GettingStarted.html.
- Om te beginnen met Unity en iOS-apparaten, gaat u naar de link gevonden op https://docs.unity3d.com/manual/iPhone-GettingStarted.html.
- Stel een Unity-project in voor de AR-app door Unity v. 2019 voor het eerst te openen en een nieuw 3D-project te maken. Vervolgens, onderBuild-instellingenIn hetBestandhet platform om een Android-of iOS-apparaat te kiezen.
- Schakel Vuforia in in het project door bewerken ≫ Projectinstelling te selecteren > spelerinstellingen > XR-instellingen en het vakje aan te vinken met de ondersteuning van vuforia Augmented Reality.
- Maak een "ARCamera" onder menubalk ≫ Game object ≫ Vuforia motor ≫ arcamera en importeer vuforia componenten wanneer hierom wordt gevraagd.
- Voeg de Vuforia licentiesleutel in Vuforia configuratie-instellingen door het selecteren van de bronnen map en te klikken op vuforia configuratie. Plak vervolgens in het gedeelte app-licentiesleutel de gekopieerde sleutel in sectie 5.1.2.
- Importeer het Vuforia-doelbestand in "/Data/Vuforia/AR_Cube_3x3x3. unitypackage" in Unity, dat de bestanden bevat die Vuforia nodig heeft om de markeringen te detecteren die worden beschreven in sectie 4.
- Maak een Vuforia multi target onder menubalk ≫ Game object ≫ Vuforia motor > multi image.
- Selecteer het markerings type dat wordt gebruikt voor detectie door te klikken op de multi target die in de vorige stap is gemaakt. Selecteer in de optie database onder multi Target-gedrag ARHealth_3DPrintedCube_30x30x30. In de multi target optie onder multi target gedrag, selecteer een twocolorcubemarker of stickercubemarker, afhankelijk van de marker gemaakt in sectie 4.
- Laad de 3D-modellen die zijn gemaakt in sectie 3 in Unity scene onder multi target door een nieuwe map te maken met de naam "models" in de map "resources". Sleep de 3D-modellen naar deze map. Eenmaal geladen in Unity, sleep ze onder de "multi target" item gemaakt in stap 5.3.5. Dit maakt ze afhankelijk van de marker.
Opmerking: modellen moeten zichtbaar zijn in de Unity 3D-weergave scène. - Wijzig de kleuren van de 3D-modellen door een nieuw materiaal te maken en de nieuwe materialen aan de modellen toe te wijzen.
- Maak een nieuwe map met de naam "Materials" in de map "resources" door naar menubalk te gaan > assets ≫ > materiaalte maken . Selecteer het materiaal en wijzig de kleur in de configuratie sectie. Sleep het bestand vervolgens onder de 3D-model hiërarchie.
- Optioneel: als er een webcam beschikbaar is, klikt u op de knop afspelen in het middelste gedeelte om de toepassing ervan op de computer te testen. Als de markering zichtbaar is voor de webcam, moet deze worden gedetecteerd en moeten de 3D-modellen in de scène worden weergegeven.
- Als een Android-smartphone wordt gebruikt voor app-implementatie, gaat u naar bestand > Build-instellingen in Unity en selecteert u de aangesloten telefoon in de lijst. Selecteer implementeren en uitvoeren. Sla het bestand met de extensie. APK op de computer en laat het proces te voltooien. Zodra de implementatie is voltooid, moet de app op de telefoon zijn en klaar om te worden uitgevoerd.
Opmerking: dit protocol is getest op Android v. 8.0 Oreo of hoger. De juiste functionaliteit is niet gegarandeerd voor oudere versies. - Als de app wordt geïmplementeerd in een iOS-apparaat, gaat u naar bestand > Build-instellingen in Unity en selecteer uitvoeren. Selecteer het pad om de app-bestanden op te slaan. Laat het proces voltooien. Ga naar de opgeslagen map en open het bestand met de extensie ". projectxcode".
- Volg in Xcode de instructies van stap 5.2.2 om de implementatie te voltooien.
Opmerking: voor meer informatie over Vuforia in Unity, ga naar de link gevonden op https://Library.vuforia.com/articles/training/Getting-Started-with-vuforia-in-Unity.html.
- Volg in Xcode de instructies van stap 5.2.2 om de implementatie te voltooien.
6. app-visualisatie
- Open de geïnstalleerde app, die de camera van de smartphone zal gebruiken. Bij het uitvoeren van de app, kijk naar de marker met de camera van een korte afstand (40 cm minimum). Zodra de app de marker detecteert, moeten de 3D-modellen die in de vorige stappen zijn gemaakt exact worden weergegeven op de locatie die is gedefinieerd tijdens de procedure op het scherm van de smartphone.
Opmerking: de belichting kan de nauwkeurigheid van de marker detectie wijzigen. Het wordt aanbevolen om de app te gebruiken in omgevingen met goede lichtomstandigheden.
Representative Results
Het protocol werd toegepast op gegevens van een patiënt die lijdt aan distale been Sarcoom om het aangetaste anatomische gebied vanuit een 3D-perspectief te visualiseren. Met behulp van de in punt 2 beschreven methode werden het deel van het aangetaste bot (hier, het scheenbeen en het kuitbeen) en de tumor gesegmenteerd van de CT-scan van de patiënt. Vervolgens, met behulp van de segmentatie tools van 3D slicer, werden twee biomodels gemaakt: het bot (deel van hetscheenbeen en kuitbeen) (Figuur 1A) en tumor (Figuur 1B).
Vervolgens werden de twee 3D-modellen vrijwel gepositioneerd met betrekking tot de marker voor optimale visualisatie. Voor dit voorbeeld zijn beide modi beschreven in sectie 3 gevolgd. Voor de visualisatie modus werden de modellen gecentreerd in het bovenvlak van de marker (Figuur 2). Voor de registratiemodus werd de marker adapter in het bot geplaatst (met name de Tibia [Figuur 3]). Vervolgens werd een klein deel van de Tibia geselecteerd om te worden 3D-bedrukt met een 3D marker adapter (Figuur 4). Een ultimaker 3 Extended 3D-printer met Pla-materiaal werd gebruikt voor het maken van de 3D-gedrukte markeringen (Figuur 5A, B), marker houder basis (Figuur 5C) voor de "Visualisatie"-modus, en sectie van de Tibia voor "registratie"-modus (Figuur 5D). Afbeelding 5E toont hoe de marker is bevestigd aan de "Visualisatie" modus 3D-gedrukte basis. Figuur 5F toont de bijlage met de "registratie" modus 3D-gedrukte biomodel. Ten slotte werd Unity gebruikt om de app te maken en deze op de smartphone te implementeren.
Afbeelding 6 toont hoe de app werkte voor de modus "Visualisatie". Het hologram is nauwkeurig in het bovenste gedeelte van de kubus gelegen, zoals eerder gedefinieerd. Afbeelding 7 toont de toepassing voor de "registratie"-modus, waarin de app het volledige botmodel boven op het 3D-geprinte gedeelte plaatste. De uiteindelijke visualisatie van de hologrammen was helder en realistisch, handhaafde de echte maten van de biomodels, en gepositioneerd nauwkeurig. Bij het gebruik van de smartphone applicatie moet de AR marker zichtbaar zijn door de camera voor de app om de hologrammen correct weer te geven. Bovendien moeten de lichtomstandigheden in de scène van goede kwaliteit zijn en constant zijn voor een goede marker detectie. Slechte lichtomstandigheden of reflecties op het markerings oppervlak belemmeren het volgen van de AR-marker en veroorzaken een storing van de app.
De tijd die nodig is om de app te maken, is afhankelijk van verschillende factoren. De duur van sectie 1 wordt beperkt door de download snelheid. Met betrekking tot de anatomie segmentatie (sectie 2), factoren beïnvloeden segmentatie tijd omvatten complexiteit van de regio en medische beeldvorming modaliteit (dat wil zeggen, CT is gemakkelijk gesegmenteerd, terwijl MRI moeilijker is). Voor het representatieve voorbeeld van de Tibia was ongeveer 10 minuten nodig om beide 3D-modellen van de CT-scan te genereren. Biomodel positionering (paragraaf 3) is eenvoudig en ongecompliceerd. Hier duurde het ongeveer 5 minuten om de biomodel positie te definiëren ten opzichte van de AR marker. Voor de 3D-afdruk stap is de duur sterk afhankelijk van de geselecteerde modus. De "Dual Color marker" werd geproduceerd in een hoge kwaliteit in een periode van 5 h en 20 min. De "sticker marker" werd vervaardigd in een periode van 1 h en 30 min, plus de tijd die nodig is om de stickers te plakken. De laatste stap voor app-ontwikkeling kan tijdrovend zijn voor mensen met geen eerdere ervaring in Unity, maar het kan eenvoudig worden voltooid na de stappen van het protocol. Zodra de AR-markers 3D-geprint zijn, kan de ontwikkeling van een geheel nieuwe AR-app in minder dan 1 uur worden uitgevoerd. Deze duur kan verder worden verminderd met extra ervaring.
Figuur 1: weergave van 3D-modellen gemaakt op basis van een CT-beeld van een patiënt die lijdt aan distale been Sarcoom. A) botweefsel, vertegenwoordigd in wit (Tibia en kuitbeen). B) de in het rood vertegenwoordigde tumor. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 2: resultaten die laten zien hoe de modus "Visualisatie" in 3D-slicer de virtuele 3D-modellen van het bot en de tumor positioneert met betrekking tot de referentie voor 3D-gedrukte markeringen. De 3D-modellen van de patiënt (a) staan boven het bovenvlak van de markerings kubus (B). Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 3: resultaten die laten zien hoe de "registratie"-modus in 3D-slicer de virtuele 3D-modellen van het bot en de tumor (A) positioneert met betrekking tot 3D-gedrukte marker Referentie (B). De marker adapter is bevestigd aan het botweefsel model. Klik hier om een grotere versie van dit cijfer te bekijken.
Figuur 4: klein deel van het botweefsel en de 3D-markerings adapter. De twee componenten worden gecombineerd dan 3D-geprint. Klik hier om een grotere versie van dit cijfer te bekijken.
Afbeelding 5:3D-gedrukte gereedschappen die nodig zijn voor de uiteindelijke toepassing. (A) "Two Color Cube marker" 3D-bedrukt met twee kleuren van materialen. (B) "sticker kubus marker" 3D-geprint, met stickers geplakt. C) adapter voor marker-basiskubus. D) gedeelte van het botweefsel 3D-model en de marker Cube adapter van de patiënt. (E) "sticker Cube marker" in de marker base Cube adapter. F) "tweekleurige kubus markering" geplaatst in de marker adapter die is bevestigd aan de anatomie van de patiënt. Klik hier om een grotere versie van dit cijfer te bekijken.
Afbeelding 6: app-weergave bij gebruik van de modus "Visualisatie". De aangetaste anatomie 3D-modellen van de patiënt bevinden zich boven het bovenvlak van de 3D-gedrukte kubus. Klik hier om een grotere versie van dit cijfer te bekijken.
Afbeelding 7: AR-visualisatie bij gebruik van de "registratie"-modus. De 3D-gedrukte marker maakt registratie van de 3D-gedrukte biomodel mogelijk met de virtuele 3D-modellen. Klik hier om een grotere versie van dit cijfer te bekijken.
Discussion
AR heeft een groot potentieel in onderwijs, opleiding en chirurgische begeleiding op medisch gebied. De combinatie met 3D Printing opent kan nieuwe mogelijkheden in klinische toepassingen te openen. Dit protocol beschrijft een methodologie die onervaren gebruikers in staat stelt om een smartphone-app te maken die AR en 3DP combineert voor de visualisatie van anatomische 3D-modellen van patiënten met 3D-gedrukte referentie markeringen.
Over het algemeen is een van de meest interessante klinische toepassingen van AR en 3DP het verbeteren van patiënt-naar-arts communicatie door de patiënt een ander perspectief van de zaak te geven, waardoor de uitleg van specifieke medische aandoeningen of behandelingen wordt verbeterd. Een andere mogelijke toepassing omvat chirurgische richtlijnen voor doel lokalisatie, waarin 3D-gedrukte patiënt-specifieke hulpmiddelen (met een referentie AR-marker bevestigd) kunnen worden geplaatst op stijve structuren (d.w.z. botten) en worden gebruikt als referentie voor navigatie. Deze toepassing is vooral nuttig voor orthopedische en maxillofaciale chirurgische ingrepen, waarbij botweefsel oppervlak gemakkelijk toegankelijk is tijdens chirurgie.
Het protocol begint met sectie 1, met een beschrijving van de werkstations en software tools die nodig zijn. In sectie 2 wordt beschreven hoe u 3D-Slicersoftware gebruiken om eenvoudig doel anatomieën van de patiënt te segmenteren van elke medische beeldvormings modaliteit om 3D-modellen te verkrijgen. Deze stap is cruciaal, omdat de virtuele 3D-modellen die zijn gemaakt in de uiteindelijke AR-toepassing worden weergegeven.
In sectie 3 wordt 3D slicer gebruikt om de 3D-modellen te registreren die in de vorige sectie zijn gemaakt met een AR-markering. Tijdens deze registratieprocedure zijn de 3D-modellen van de patiënt efficiënt en eenvoudig gepositioneerd ten opzichte van de AR-marker. De positie die in deze sectie is gedefinieerd, bepaalt de relatieve positie van het hologram in de uiteindelijke app. Er wordt aangenomen dat deze oplossing vermindert de complexiteit en vermenigvuldigt de mogelijke toepassingen. Sectie 3 beschrijft twee verschillende opties voor het definiëren van de ruimtelijke relaties tussen de modellen en AR-Markeringen: "Visualisatie" en "registratie"-modus. Met de eerste optie, de modus "Visualisatie", kunnen de 3D-modellen overal worden gepositioneerd met betrekking tot de marker en worden weergegeven als de hele biomodel. Deze modus biedt een realistisch, 3D-perspectief van de anatomie van de patiënt en maakt verplaatsen en roteren van de biomodels mogelijk door de bijgehouden AR-marker te verplaatsen. De tweede optie, "registratie" modus, maakt het mogelijk om een marker adapter aan te maken en te combineren met elk onderdeel van de biomodel, en biedt een automatisch registratieproces. Met deze optie kan een klein gedeelte van het 3D-model, inclusief de marker-adapter, 3D-geprint zijn en de app kan de rest van het model als hologram weergeven.
Sectie 4 bevat richtlijnen voor het 3D-afdrukproces. Ten eerste kan de gebruiker kiezen tussen twee verschillende markers: de "Dual Color marker" en "sticker marker". De hele "Dual Color marker" kan 3D-geprint zijn, maar vereist een dubbele extruder 3D-printer. In het geval dat deze printer niet beschikbaar is, wordt de "sticker marker" voorgesteld. Dit is een eenvoudigere marker die kan worden verkregen door het 3D-printen van de kubieke structuur, dan het plakken van de afbeeldingen van de kubus met sticker papier of sticker lijm. Bovendien zijn beide markers ontworpen met uitbreidbare secties om perfect in een specifieke adapter te passen. Zo kan de marker in verschillende gevallen opnieuw worden gebruikt.
In sectie 5 wordt het proces beschreven voor het maken van een Unity-project voor AR met de Vuforia Software Development Kit. Deze stap kan het moeilijkste deel zijn voor gebruikers zonder programmeerervaring, maar met deze richtlijnen moet het gemakkelijker zijn om de definitieve toepassing te verkrijgen die wordt weergegeven in sectie 6. De app geeft de virtuele modellen van de patiënt weer via het scherm van de smartphone wanneer de camera de 3D-gedrukte marker herkent. Om de app de 3D-marker te kunnen detecteren, is een minimale afstand van ongeveer 40 cm of minder van de telefoon naar de marker en goede lichtomstandigheden vereist.
De uiteindelijke toepassing van dit protocol stelt de gebruiker in staat om de specifieke biomodels te kiezen om te visualiseren en in welke posities. De app kan automatisch een patiënt-hologram registratie uitvoeren met behulp van een 3D-gedrukte marker en adapter die is bevestigd aan de biomodel. Dit lost de uitdaging van het registreren van virtuele modellen met de omgeving op een directe en gemakkelijke manier. Bovendien, deze methodologie vereist geen brede kennis van medische beeldvorming of software ontwikkeling, is niet afhankelijk van complexe hardware en dure software, en kan worden geïmplementeerd in een korte periode. Verwacht wordt dat deze methode zal helpen versnellen de aanneming van AR en 3DP technologieën door medische professionals.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit verslag werd gesteund door projecten PI18/01625 en PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III en Europees Fonds voor regionale ontwikkeling "una manera de hacer Europa") en IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
