Summary
Præsenteret her er en metode til at designe en Augmented Reality smartphone ansøgning til visualisering af anatomiske tredimensionelle modeller af patienter ved hjælp af en 3D-trykt reference markør.
Abstract
Augmented Reality (AR) har et stort potentiale inden for uddannelse, træning og kirurgisk vejledning på det medicinske område. Kombinationen med tredimensionel (3D) udskrivning (3DP) åbner nye muligheder i kliniske applikationer. Selv om disse teknologier er vokset eksponentielt i de seneste år, er deres vedtagelse af læger stadig begrænset, da de kræver omfattende viden om ingeniør-og softwareudvikling. Derfor er formålet med denne protokol at beskrive en trinvis metode, der gør det muligt for uerfarne brugere at oprette en smartphone-app, som kombinerer AR og 3DP til visualisering af anatomiske 3D-modeller af patienter med en 3D-printet reference markør. Protokollen beskriver, hvordan du opretter virtuelle 3D-modeller af en patients anatomi, der er afledt af 3D-medicinske billeder. Derefter forklares det, hvordan du udfører positionering af 3D-modellerne med hensyn til markør referencer. Der er også vejledning i, hvordan du 3D udskriver de nødvendige værktøjer og modeller. Endelig er der angivet trin til installation af appen. Protokollen er baseret på gratis og multi-platform software og kan anvendes på enhver medicinsk billedbehandling modalitet eller patient. En alternativ tilgang er beskrevet for at give automatisk registrering mellem en 3D-printet model skabt fra en patients anatomi og de projekterede hologrammer. Som et eksempel, et klinisk tilfælde af en patient, der lider af distale ben sarkom er tilvejebragt for at illustrere metoden. Det forventes, at denne protokol vil fremskynde vedtagelsen af AR og 3DP teknologier af medicinske fagfolk.
Introduction
AR og 3DP er teknologier, der giver et stigende antal applikationer på det medicinske område. I tilfælde af ar, dens interaktion med virtuelle 3D-modeller og det virkelige miljø gavner læger med hensyn til uddannelse og træning1,2,3, kommunikation og interaktioner med andre læger4, og vejledning under kliniske indgreb5,6,7,8,9,10. Ligeledes, 3DP er blevet en kraftfuld løsning for læger, når de udvikler patient-specifikke tilpasselig værktøj11,12,13 eller skabe 3D-modeller af en patients anatomi, som kan bidrage til at forbedre præoperative planlægning og kliniske indgreb14,15.
Både AR-og 3DP-teknologierne bidrager til at forbedre orienteringen, vejledningen og rumlige færdigheder i medicinske procedurer; således er deres kombination det næste logiske skridt. Tidligere arbejde har vist, at deres fælles brug kan øge værdien i patientuddannelse16, at lette forklaringer af medicinske tilstande og foreslået behandling, optimering af kirurgisk workflow17,18 og forbedring af patient-to-model registrering19. Selv om disse teknologier er vokset eksponentielt i de seneste år, er deres vedtagelse af læger stadig begrænset, da de kræver omfattende viden om ingeniør-og softwareudvikling. Formålet med dette arbejde er derfor at beskrive en trinvis metode, der gør det muligt for uerfarne brugere at anvende AR og 3DP uden behov for bred teknisk viden.
Denne protokol beskriver, hvordan du udvikler en AR-smartphone-app, der gør det muligt at oversætte enhver patient baseret 3D-model til et miljø i den virkelige verden ved hjælp af en 3D-printet markørsporet af smartphone-kameraet. Derudover beskrives en alternativ metode til automatisk registrering mellem en 3D-printet biomodel (dvs. en 3D-model, der er skabt ud fra patientens anatomi) og de projekterede hologrammer. Den beskrevne protokol er udelukkende baseret på gratis og multi-platform software.
I tidligere arbejde, AR patient-til-billede registrering er blevet beregnet manuelt5 med Surface Recognition algoritmer10 eller har været utilgængelig2. Disse metoder er blevet betragtet som noget begrænset, når en nøjagtig registrering er påkrævet19. For at overvinde disse begrænsninger, dette arbejde giver værktøjer til at udføre nøjagtig og enkel patient-til-billede registrering i AR-procedurer ved at kombinere AR-teknologi og 3DP.
Protokollen er generisk og kan anvendes på enhver medicinsk billedbehandling modalitet eller patient. Som et eksempel, et reelt klinisk tilfælde af en patient, der lider af distale ben sarkom er tilvejebragt for at illustrere metoden. Det første skridt beskriver, hvordan man nemt segmentere den berørte anatomi fra computertomografi (CT) medicinske billeder til at generere 3D virtuelle modeller. Bagefter, positionering af 3D-modeller udføres, så de nødvendige værktøjer og modeller er 3D-trykt. Endelig er den ønskede AR-app implementeret. Denne app giver mulighed for visualisering af patientens 3D-modeller overlagt på en smartphone kamera i realtid.
Protocol
Denne undersøgelse blev udført i overensstemmelse med principperne i 1964-erklæringen fra Helsingfors som revideret i 2013. De anonymiserede patientdata og billeder, der er medtaget i dette dokument, anvendes efter skriftlig informeret samtykke fra deltageren og/eller deres juridiske repræsentant, hvori han/hun godkendte brugen af disse data til formidlingsaktiviteter, herunder videnskabelige publikationer.
1. arbejdsstation set-up til segmentering, 3D-modeller udvinding, positionering, og AR app udrulning
Bemærk: denne protokol er testet med den specifikke softwareversion, som er angivet for hvert værktøj. Det er sandsynligt, at arbejde med nyere versioner, selv om det ikke er garanteret.
- Brug en computer med Microsoft Windows 10 eller Mac OS som operativsystemer.
- Installer følgende værktøjer fra de tilsvarende websteder pr. den officielle vejledning:
3D slicer (v. 4.10.2): https://download.Slicer.org/.
Meshmixer (v. 3,5): http://www.meshmixer.com/download.html.
Enhed (v. 2019): https://Unity3D.com/get-Unity/download.
(Kun til iOS-installation) Xcode (sidste version): https://Developer.Apple.com/Xcode/.
Bemærk: alle softwareværktøjer, der kræves for at fuldføre protokollen, kan downloades frit til personlige formål. Software, der skal bruges i hvert trin, vil være specifikt angivet. - Download data fra følgende GitHub repository, fundet på https://github.com/BIIG-UC3M/OpenARHealth.
Bemærk: lageret indeholder følgende mapper:
"/3dslicermodule/": 3D udsnitsværktøj Module til positionering af 3D-modeller med hensyn til det 3D-printede mærke. Anvendes i afsnit 3. Føj modulet til 3D-sliceren ved at følge instruktionerne på https://github.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT. nrrd": CT af en patient, der lider af distale bensarkom. Protokollen er beskrevet ved hjælp af dette billede som et eksempel.
"/Data/Biomodels/": 3D-modeller af patienten (knogle og tumor).
"/Data/Markers/": markører, der vil blive 3D-printet, som vil blive detekteret af AR-applikationen til at placere de virtuelle 3D-modeller. Der er to markører til rådighed.
2. biomodel skabelse
Bemærk: målet med dette afsnit er at skabe 3D-modeller af patientens anatomi. De vil blive opnået ved at anvende segmenterings metoder til et medicinsk billede (her ved hjælp af et CT-billede). Processen består af tre forskellige trin: 1) indlæsning af patientens data i 3D udsnitsværktøj software, 2), segmentering af mål anatomi mængder, og 3) eksport af segmentering som 3D-modeller i OBJ format. De resulterende 3D-modeller vil blive visualiseret i den endelige AR-applikation.
- Indlæs patientdata ("/data/patientdata/Patient000_CT. nrrd") ved at trække den medicinske billedfil ind i vinduet 3D udsnitsværktøj software. Klik på OK. CT-visningerne (aksial, sagittal, koronal) vises på de tilsvarende vinduer.
Bemærk: de data, der bruges her, findes i "næsten RAW raster data" (nrrd) format, men 3D slicer giver mulighed for lastning af medicinsk billedformat (DICOM) filer. Gå til følgende link for yderligere instruktioner, fundet på https://www.Slicer.org/wiki/Documentation/4.10/Training. - Hvis du vil segmentere patientens anatomi, skal du gå til modulet segment Editor i 3D Slicer.
- En "segmentering" element oprettes automatisk, når du indtaster modulet. Vælg den ønskede lydstyrke (et medicinsk billede af patienten) i afsnittet Master Volume . Højreklik derefter på knappen Tilføj for at oprette et segment. Et nyt segment vil blive oprettet med navnet "Segment_1".
- Der er et panel kaldet effekter , der indeholder en række værktøjer til korrekt segmentere målområdet for det medicinske billede. Vælg det mest bekvemme værktøj til destinationen og segmentet på billedet Windows-området.
- For at segmentere knoglen (skinneben og fibula i dette tilfælde) skal du bruge tærskel værktøjet til at oprette mindste og maksimale Hu-værdier fra CT-billedet, hvilket svarer til knoglevæv. Ved at bruge dette værktøj, fjernes andre elementer med HU uden for disse tærskelværdier, såsom blødt væv.
- Brug sakse værktøjet til at fjerne uønskede områder, såsom sengen eller andre anatomiske strukturer, fra den segmenterede maske. Segment sarkom manuelt ved hjælp af Draw og slette værktøjer, da tumoren er vanskeligt at kontur med automatiske værktøjer.
Bemærk: Hvis du vil vide mere om segmenterings proceduren, skal du gå til linket findes på https://www.Slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Klik på Vis 3D -knappen for at se en 3D-repræsentation af segmentering.
- Eksporter segmentering i et 3D-model filformat ved at gå til segmenterings modulet i 3D Slicer.
- Gå til Eksportér/Importer modeller og labelmaps. Vælg Eksporter i afsnittet operation og modeller i sektionen outputtype. Klik på Eksporter for at afslutte og oprette 3D-modellen fra det segmenterede område.
- Vælg Gem (øverst til venstre) for at gemme modellen. Vælg de elementer, der skal gemmes. Skift derefter 3D-model Lens filformat til "OBJ" i kolonnen filformat . Vælg den sti, hvor filer vil blive gemt, og klik på Gem.
- Gentag trin 2,2 og 2,3 for at oprette flere 3D-modeller med forskellige anatomiske områder.
Bemærk: præ-segmenterede modeller af det medfølgende eksempel kan findes i de data, der tidligere blev hentet i trin 1,3 ("/Data/Biomodels/").
3. biomodel positionering
Bemærk: i dette afsnit vil de 3D-modeller, der er oprettet i afsnit 2, blive placeret med hensyn til markøren for forstørret virkeligheds visualisering. Modulet Arhealth: model position fra 3D slicer vil blive brugt til denne opgave. Følg instruktionerne i trin 1,3 for at føje modulet til 3D Slicer. Der er to forskellige alternativer til placering af 3D-modellerne: "visualisering"-tilstand og "registrering"-tilstand.
- Visualiserings tilstand
Bemærk: visualiserings tilstand tillader positionering af 3D-patient modellerne på alle positioner med hensyn til ar-markøren. Med denne mulighed kan brugeren bruge AR-appen til at visualisere biomodels ved hjælp af den 3D-printede AR-markør som reference. Denne tilstand kan bruges, når præcision ikke er påkrævet, og visualisering af den virtuelle model kan vises hvor som helst inden for synsfeltet af smartphonens kamera og markør.- Gå til modulet Arhealth: model position , og vælg visualiserings tilstand (i afsnittet initialisering). Klik på Load markør model for at indlæse markøren for denne indstilling.
- Indlæs de 3D-modeller, som er oprettet i afsnit 2, ved at klikke på knappen ... for at vælge stien til de gemte modeller fra afsnit 2. Klik derefter på knappen Indlæs model for at indlæse den i 3D Slicer. Modellerne skal indlæses én ad gangen. Hvis du vil slette tidligere indlæste modeller, skal du klikke på denne model efterfulgt af knappen Fjern model eller klikke på Fjern alle for at slette alle de modeller, der er indlæst på én gang.
- Klik på knappen Udfør og centrer for at centrere alle modeller inden for mærket.
- Placering, orientering og skalering af 3D-modellerne kan ændres med hensyn til markøren med forskellige skyder stænger (dvs. oversættelse, rotation, skala).
Bemærk: der er en ekstra "reset position" knappen for at nulstille den oprindelige position af modellerne, før du foretager nogen ændringer i positionen. - Gem modellerne på denne position ved at vælge stien til at gemme filerne og klikke på knappen Gem modeller . 3D-modellerne vil blive gemt med Udvidelsesnavnet "_registered. OBJ".
- Registrerings tilstand
Bemærk: registrerings tilstand gør det muligt at kombinere ar-mærket med en 3D-biomodel på enhver ønsket position. Derefter, enhver sektion af de kombinerede 3D-modeller (der omfatter AR markør) kan udvindes og 3D-trykt. Alle biomodels vil blive vist i AR-appen ved hjælp af denne kombinerede 3D-printede biomodel som reference. Denne tilstand giver brugeren mulighed for nemt at registrere patienten (her, en del af patientens knogle) og virtuelle modeller ved hjælp af en reference markør.- Gå til modulet Arhealth: model position , og vælg registrerings tilstand (i afsnittet initialisering). Klik på Load markør model for at indlæse markøren for denne indstilling.
- Indlæs modellerne som udført i trin 3.1.2.
- Flyt 3D-modellerne og sikre deres skæringspunkt med den bærende struktur af Cube markør, da disse modeller vil blive kombineret og 3D-trykt senere. Højden på markør foden kan ændres. Placering, orientering og skalering af 3D-modellerne kan ændres med hensyn til markøren med forskellige skyder stænger (dvs. oversættelse, rotation, skala).
- Gem modellerne på denne position ved at vælge stien til at gemme filerne og klikke på knappen Gem modeller . 3D-modellerne vil blive gemt med Udvidelsesnavnet "_registered. OBJ".
- Anatomi model kan være for stor. Hvis det er tilfældet, skæres 3D-modellen omkring markerings adapteren og 3D-print kun en del af kombinationen af begge modeller ved hjælp af Meshmixer software.
- Åbn Meshmixer og Indlæs biomodel og støttende struktur af kube markør modellen gemt i trin 3.2.4. Kombiner disse modeller ved at vælge begge modeller i objekt browser vinduet. Klik på Kombiner mulighed i vinduet værktøj, der netop er dukket op i øverste venstre hjørne.
- I Meshmixer skal du bruge værktøjet plan skæring undermenuen Rediger til at fjerne uønskede sektioner af modellen, der ikke bliver 3D-printet.
- Hvis du vil gemme modellen, så den er 3D-udskrevet, skal du gå til fil > Eksporter og vælge det ønskede format.
4.3D-udskrivning
Bemærk: Formålet med dette trin er at 3D-udskrive de fysiske modeller, der kræves til den endelige ar-applikation. Den markør, der skal detekteres af applikationen, og de forskellige objekter, der er behov for, afhænger af den valgte modus i afsnit 3. Ethvert materiale kan bruges til 3D-udskrivning med henblik på dette arbejde, når du følger de farve Materialekrav, der anmodes om på hvert trin. Polylaktisk syre (PLA) eller acrylonitrilbutadien styren (ABS) er begge tilstrækkelige valg.
- Brug en 3D-printer til at udskrive den kubiske markør. Hvis en dual ekstruder 3D-printer ikke er tilgængelig, skal du springe til trin 4,2. Brug en dual ekstruder 3D printer specifikt til at udskrive den tofarves markør, der findes i "data/markører/Marker1_TwoColorCubeMarker/". I 3D-Udskrivningssoftwaren skal du vælge et hvidt farve materiale til filen "TwoColorCubeMarker_WHITE. OBJ" og sort farve materiale til "TwoColorCubeMarker_BLACK. OBJ".
Bemærk: for bedre registrering af markører, print på høj kvalitet tilstand med en lille lag højde. - Hvis en dual ekstruder 3D-printer ikke er tilgængelig, og trin 4,1 ikke blev udført, skal du følge dette trin for at udskrive en 3D-printet markør med klistermærker som et alternativ ved at gøre følgende:
- Brug en 3D-printer til at udskrive filen "data/markører/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE. OBJ" med hvidt farve materiale.
- Brug en konventionel printer til at udskrive filen "data/markører/Marker2_StickerCubeMarker/Stickers.pdf" på klistermærke papir. Derefter skal du bruge et skæreværktøj til præcist at klippe billederne selv om den sorte ramme ved at fjerne de sorte linjer.
Bemærk: det anbefales at bruge klistermærke papir for at opnå en højere kvalitet markør. Dog kan billederne udskrives på almindeligt papir, og en fælles lim pind kan bruges til at indsætte billederne på kuben. - Placer klistermærker i den 3D-printede kube opnået i trin 4.2.1 i den tilsvarende rækkefølge efter instruktionerne fra dokumentet "data/markører/Marker2_StickerCubeMarker/Stickers.pdf".
Bemærk: klistermærker er mindre end den flade af kuben. Efterlad en 1,5 mm ramme mellem mærkaten og kanten af ansigtet. "Data/markører/Marker2_StickerCubeMarker/StickerPlacer.stl" kan være 3D-printet til at styre mærkaten positionering og nøjagtigt matche midten af kuben ansigt.
- 3D-Udskriv adaptorerne, afhængigt af den valgte tilstand i afsnit 3.
- Hvis visualiserings tilstand (afsnit 3,1) blev valgt, 3D-print "data/3Dprinting/Option1/MarkerBaseTable. OBJ", som er en basis adapter, der bruges til at placere markøren i lodret position på en vandret overflade.
- Hvis registrerings tilstand (afsnit 3,2) blev valgt, 3D-Udskriv den model, der blev oprettet i trin 3.2.8 med markerings adapteren påsat.
Bemærk: 3D-udskrevne objekter fra trin 4,3 kan udskrives i ethvert farve materiale.
5. installation af AR-app
Bemærk: Formålet med dette afsnit er at designe en smartphone app i Unity Engine, der omfatter 3D-modellerne skabt i de foregående sektioner og implementere denne app på en smartphone. Der kræves en Vuforia-udviklingslicens nøgle (gratis til personlig brug) til dette trin. App'en kan implementeres på Android-eller iOS-enheder.
- Opret en Vuforia developer-konto for at få en licens nøgle til at bruge deres biblioteker i Unity. Gå til linket, som findes på https://Developer.Vuforia.com/VUI/auth/register , og Opret en konto.
- Gå til linket, som findes på https://Developer.Vuforia.com/VUI/Develop/licenses , og vælg Hent udviklings nøgle. Følg derefter instruktionerne for at føje en gratis udviklingslicens nøgle til brugerens konto.
- I menuen Licensstyring skal du vælge den nøgle, der blev oprettet i det forrige trin, og kopiere den medfølgende nøgle, som vil blive brugt i trin 5.3.3.
- Indstil smartphonen.
- For at komme i gang med Unity-og Android-enheder skal du gå til linket, som findes på https://docs.Unity3D.com/manual/Android-gettingstarted.html.
- For at komme i gang med Unity-og iOS-enheder skal du gå til linket, som findes på https://docs.Unity3D.com/manual/iPhone-gettingstarted.html.
- Opret et Unity-projekt til AR-appen ved først at åbne Unity v. 2019 og oprette et nyt 3D-projekt. Derefter underByg indstillingeri denFilmenuen, skal du skifte platformen til enten en Android-eller iOS-enhed.
- Aktivér Vuforia i projektet ved at vælge rediger ≫ projektindstilling > Player-indstillinger > XR-indstillinger og kontrol af boksen med navnet Vuforia Augmented Reality-understøttelse.
- Opret en "ARCamera" under menulinje ≫ Gameobject ≫ Vuforia motor > arcamera og importere Vuforia komponenter, når du bliver bedt om det.
- Føj Vuforia-licens nøglen til Vuforia konfigurationsindstillinger ved at vælge mappen Resources og klikke på Vuforia konfiguration. Indsæt derefter den kopierede nøgle i afsnit 5.1.2 i afsnittet Applicensnøgle .
- Importer den Vuforia Destintionsfil, der findes i "/Data/Vuforia/AR_Cube_3x3x3. unitypackage", til enhed, som indeholder de filer, Vuforia kræver for at registrere de markører, der er beskrevet i afsnit 4.
- Opret en Vuforia MultiTarget under Menubar ≫ Gameobject ≫ Vuforia motor > multi image.
- Vælg den markørtype, der skal bruges til registrering, ved at klikke på det MultiTarget, som blev oprettet i det foregående trin. Vælg ARHealth_3DPrintedCube_30x30x30i indstillingen database under multi Target-adfærd. Vælg enten Twocolorcubemarker eller stickercubemarker, afhængigt af den markør, som er oprettet i afsnit 4, i indstillingen multi Target under multi Target-adfærd.
- Indlæs de 3D-modeller, der er oprettet i afsnit 3, i Unity-scene under Multitarget ved at oprette en ny mappe med navnet "models" under mappen "Resources". Træk 3D-modellerne til denne mappe. Når den er indlæst i enhed, skal du trække dem under "MultiTarget"-elementet, som er oprettet i trin 5.3.5. Dette vil gøre dem afhængige af markøren.
Bemærk: modellerne skal være synlige i Unity 3D-visnings scenen. - Skift farverne på 3D-modellerne ved at oprette et nyt materiale og tildele de nye materialer til modellerne.
- Opret en ny mappe med navnet "Materials" under mappen "Resources" ved at gå til Menubar > aktiver > oprette > materiale. Vælg materialet, og Skift farve i afsnittet konfiguration. Træk derefter filen under 3D-model hierarkiet.
- Valgfrit: Hvis der er et webkamera tilgængeligt, skal du klikke på afspilningsknappen placeret i den øverste midterste del for at teste dens applikation på computeren. Hvis markøren er synlig for webcam'et, skal den registreres, og 3D-modellerne skal vises i scenen.
- Hvis en Android-smartphone bruges til installation af apps, skal du gå til fil ≫ opbygge indstillinger i Unity og vælge den tilsluttede telefon fra listen. Vælg Udrul og Kør. Opspare den fil hos forlængelse. apk oven på den computer og indrømme den oparbejde hen til. Når installationen er færdig, skal appen være på telefonen og klar til at køre.
Bemærk: denne protokol er testet på Android v. 8.0 Oreo eller nyere. Den korrekte funktionalitet er ikke garanteret for ældre versioner. - Hvis appen skal installeres på en iOS-enhed, skal du gå til fil > Build-indstillinger i Unity og vælge Kør. Vælg stien for at gemme app-filerne. Tillad, at processen afsluttes. Gå til den gemte mappe, og Åbn filen med filtypenavnet ". projectxcode".
- I Xcode skal du følge instruktionerne fra trin 5.2.2 for at fuldføre installationen.
Bemærk: for mere information om Vuforia i Unity, gå til linket findes på https://Library.Vuforia.com/articles/Training/Getting-Started-with-Vuforia-in-Unity.html.
- I Xcode skal du følge instruktionerne fra trin 5.2.2 for at fuldføre installationen.
6. appvisualisering
- Åbn den installerede app, som vil bruge smartphonens kamera. Når du kører app, se på markøren med kameraet fra en kort afstand væk (40 cm minimum). Når appen registrerer markøren, skal de 3D-modeller, der er oprettet i tidligere trin, vises nøjagtigt på den placering, der er defineret under proceduren på smartphone-skærmen.
Bemærk: belysningen kan ændre præcisionen af markør detektering. Det anbefales at bruge appen i miljøer med gode lysforhold.
Representative Results
Protokollen blev anvendt på data fra en patient, der lider af distale ben sarkom for at visualisere den berørte anatomiske region fra et 3D-perspektiv. Ved hjælp af den metode, der er beskrevet i afsnit 2, blev den del af den påvirkede knogle (her, skinneben og fibula) og tumor segmenteret fra patientens CT-scanning. Derefter, ved hjælp af segmentering værktøjer fra 3D slicer, to biomodels blev oprettet: knoglen (del af skinneben og fibula) (figur 1A) og tumor (figur 1B).
Dernæst blev de to 3D-modeller placeret stort set med hensyn til markøren for optimal visualisering. Begge tilstande beskrevet i afsnit 3 blev fulgt i dette eksempel. For visualiserings tilstand var modellerne centreret i markens øvre overflade (figur 2). For registreringstilstand blev markerings adapteren anbragt i knoglen (specifikt skinneben [figur 3]). Derefter blev en lille del af skinneben valgt til 3D-printet med en 3D-markerings adapter (figur 4). En ultimaker 3 udvidet 3D-printer med PLA materiale blev brugt til at oprette 3D-printede markører (figur 5A, B), markør holder base (figur 5C) for "visualisering" tilstand, og afsnittet af skinneben for "registrering" tilstand (figur 5D). Figur 5E viser, hvordan markøren var fastgjort til "visualisering" mode 3D-trykt base. Figur 5F viser den vedhæftede fil med "registrering"-tilstanden 3D-printet biomodel. Endelig blev Unity brugt til at oprette appen og implementere den på smartphonen.
Figur 6 viser, hvordan appen fungerede for tilstanden "visualisering". Hologrammet var nøjagtigt placeret i den øverste del af kuben som tidligere defineret. Figur 7 viser applikationen for "registrering"-tilstand, hvor appen placerede den komplette knogle model oven på den 3D-udskrevne sektion. Den endelige visualisering af hologrammer var klar og realistisk, vedligeholdt de reelle størrelser af biomodels, og positioneret præcist. Når du bruger smartphone applikationen, skal AR-markøren være synlig af kameraet, for at appen kan vise hologrammerne korrekt. Desuden skal lysforholdene i scenen være af god kvalitet og konstant for korrekt markør detektering. Dårlige lysforhold eller refleksioner på markør overfladen hindrer sporing af AR-mærket og forårsager funktionsfejl i appen.
Den tid, det kræver at oprette appen, afhænger af flere faktorer. Varigheden af afsnit 1 er begrænset af downloadhastigheden. Med hensyn til anatomi segmentering (afsnit 2), faktorer, der påvirker segmentering tid omfatter kompleksiteten af regionen og medicinsk billeddannelse modalitet (dvs., CT er let segmenteret, mens Mr er vanskeligere). For det repræsentative eksempel på skinneben, ca 10 min var forpligtet til at generere både 3D-modeller fra CT-scanning. Placering af biomodel (afsnit 3) er enkel og ligetil. Her tog det ca. 5 minutter at definere biomodel positionen med hensyn til AR-mærket. For 3D-udskrivnings trinnet er varigheden meget afhængig af den valgte tilstand. Den "dobbelte farve markør" blev fremstillet i høj kvalitet i en periode på 5 h og 20 min. Den "sticker markør" blev fremstillet i en periode på 1 h og 30 min, plus den tid, der kræves for at indsætte klistermærker. Det sidste trin for appudvikling kan være tidskrævende for dem, der ikke har nogen tidligere erfaring i Unity, men det kan nemt fuldføres efter protokol trinnene. Når AR-mærkerne har været 3D-printet, kan udviklingen af en helt ny AR-app udføres på mindre end 1 time. Denne varighed kan reduceres yderligere med yderligere erfaring.
Figur 1: repræsentation af 3D-modeller skabt af et CT billede af en patient, der lider af distale ben sarkom. A) knoglevæv,derer repræsenteret i hvidt (skinneben og fibula). (B) tumor repræsenteret i rødt. Venligst klik her for at se en større version af dette tal.
Figur 2: resultater, der viser, hvordan "visualisering" mode i 3D slicer positioner de virtuelle 3D-modeller af knogle og tumor med hensyn til 3D-trykte markør reference. Patientens 3D-modeller (A) er placeret over den øverste flade af markør terningen (B). Venligst klik her for at se en større version af dette tal.
Figur 3: resultater, der viser, hvordan "registrering" mode i 3D slicer placerer de virtuelle 3D-modeller af knogle og tumor (A) med hensyn til 3D-trykt markør reference (B). Markør adapteren er fastgjort til knoglevæv modellen. Venligst klik her for at se en større version af dette tal.
Figur 4: lille del af knoglevæv og 3D-markerings adapter. De to komponenter kombineres derefter 3D-printet. Venligst klik her for at se en større version af dette tal.
Figur 5:3D-trykte værktøjer, der kræves til den endelige applikation. (A) "to Color Cube Marker" 3D-trykt med to farver af materialer. (B) "sticker Cube markør" 3D-trykt, med klistermærker indsat. (C) markør base Cube adapter. (D) del af patientens knoglevæv 3D model og markør terning adapter. (E) "mærkat kube markør", som er anbragt i markør-base-kube adapteren. (F) "to farve kube markør" anbragt i markerings adapteren, der er fastgjort til patientens anatomi. Venligst klik her for at se en større version af dette tal.
Figur 6: App vises, når du bruger tilstanden "visualisering". Patientens påvirkede anatomi 3D-modeller er placeret over den øvre overflade af 3D-printet terning. Venligst klik her for at se en større version af dette tal.
Figur 7: ar-visualisering, når du bruger tilstanden "registrering". Det 3D-printede mærke gør det muligt at registrere den 3D-printede biomodel med de virtuelle 3D-modeller. Venligst klik her for at se en større version af dette tal.
Discussion
AR rummer et stort potentiale inden for uddannelse, træning og kirurgisk vejledning på det medicinske område. Kombinationen med 3D-udskrivning åbner kan åbne nye muligheder i kliniske applikationer. Denne protokol beskriver en metode, der gør det muligt for uerfarne brugere at oprette en smartphone app kombinerer AR og 3DP til visualisering af anatomiske 3D-modeller af patienter med 3D-trykte reference markører.
Generelt, en af de mest interessante kliniske anvendelser af AR og 3DP er at forbedre patient-til-læge kommunikation ved at give patienten et andet perspektiv af sagen, forbedre forklaringer af specifikke medicinske tilstande eller behandlinger. En anden mulig applikation omfatter kirurgisk vejledning til mållokalisering, hvor 3D-trykte patientspecifikke værktøjer (med en reference AR-markør vedhæftet) kan placeres på stive strukturer (dvs. knogle) og anvendes som reference for navigation. Denne applikation er især nyttig til ortopædiske og maxillofacial Surgery kirurgiske procedurer, hvor knoglevævet overflade er let tilgængelige under kirurgi.
Protokollen starter med afsnit 1, der beskriver den nødvendige arbejdsstations opsætning og softwareværktøjer. Afsnit 2 beskriver, hvordan du bruger 3D slicer software til nemt at segmentere mål anatomier af patienten fra enhver medicinsk Imaging modalitet for at opnå 3D-modeller. Dette trin er afgørende, da de virtuelle 3D-modeller, der er oprettet, er dem, der vises i den endelige AR-applikation.
I afsnit 3 bruges 3D slicer til at registrere de 3D-modeller, der er oprettet i det foregående afsnit med en AR-markør. Under denne registreringsprocedure er patientens 3D-modeller effektivt og enkelt placeret i forhold til AR-mærket. Positionen, der er defineret i dette afsnit, bestemmer hologram relativ position i den endelige app. Det menes, at denne løsning reducerer kompleksiteten og Multiplicerer de mulige applikationer. Afsnit 3 beskriver to forskellige muligheder for at definere de rumlige relationer mellem modellerne og AR markører: "visualisering" og "registrering" tilstand. Den første mulighed, "visualisering" tilstand, gør det muligt for 3D-modeller, der skal placeres overalt med hensyn til markør og vises som hele biomodel. Denne tilstand giver et realistisk, 3D-perspektiv af patientens anatomi og tillader flytning og rotation af biomodels ved at flytte den sporede AR markør. Den anden mulighed, "registrering" tilstand, tillader fastgørelse og kombination af en markør adapter til en del af biomodel, der tilbyder en automatisk registrering proces. Med denne indstilling kan en lille del af 3D-modellen, herunder markerings adapteren, være 3D-printet, og appen kan vise resten af modellen som et hologram.
Afsnit 4 indeholder retningslinjer for 3D-udskrivningsprocessen. For det første kan brugeren vælge mellem to forskellige markører: den "dobbelte farve markør" og "mærkat markør". Hele "Dual Color markør" kan være 3D-printet, men kræver en dual ekstruder 3D printer. Hvis denne printer ikke er tilgængelig, foreslås "mærkat markør". Dette er en enklere markør, der kan opnås ved 3D-udskrivning af den kubiske struktur, og derefter indsætte billederne af kuben med klistermærke papir eller klistermærke lim. Desuden er begge markører designet med udvidelig sektioner, så de passer perfekt til en bestemt adapter. Således kan markøren genbruges i flere tilfælde.
Afsnit 5 beskriver processen med at oprette et enhedsprojekt for AR ved hjælp af Vuforia Software Development Kit. Dette trin kan være den sværeste del for brugere uden erfaring med programmering, men med disse retningslinjer, bør det være lettere at få den endelige ansøgning, der er præsenteret i afsnit 6. App'en viser patientens virtuelle modeller over smartphonens skærm, når kameraet genkender det 3D-printede mærke. For at appen skal kunne registrere 3D-mærket, kræves der en minimumsafstand på ca. 40 cm eller mindre fra telefonen til markøren samt gode lysforhold.
Den endelige anvendelse af denne protokol giver brugeren mulighed for at vælge de specifikke biomodels at visualisere og i hvilke positioner. I det følgende kan appen udføre automatisk registrering af patient hologram ved hjælp af en 3D-printet markør og adapter, der er knyttet til biomodel. Dette løser udfordringen med at registrere virtuelle modeller med miljøet på en direkte og bekvem måde. Desuden, denne metode kræver ikke bred viden om medicinsk billeddannelse eller softwareudvikling, ikke afhænger af komplekse hardware og dyre software, og kan gennemføres over en kort periode. Det forventes, at denne metode vil bidrage til at fremskynde vedtagelsen af AR og 3DP teknologier af medicinske fagfolk.
Disclosures
Forfatterne har intet at afsløre.
Acknowledgments
Denne rapport blev støttet af projekter PI18/01625 og PI15/02121 (Ministerio de Ciencia, Innovación y Universidades, Instituto de Salud Carlos III og den europæiske fond for regional udvikling "UNA Manera de hacer Europa") og IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
