Summary
Presentert her er en metode for å designe en utvidet virkelighet Smartphone program for visualisering av anatomiske tredimensjonale modeller av pasienter ved hjelp av en 3D-trykt referanse markør.
Abstract
Augmented Reality (AR) har stort potensial i utdanning, opplæring og kirurgisk veiledning i det medisinske feltet. Kombinasjonen med tredimensjonal (3D) utskrift (3DP) åpner nye muligheter i kliniske applikasjoner. Selv om disse teknologiene har vokst eksponentielt de siste årene, er deres adopsjon av leger fortsatt begrenset, siden de krever omfattende kunnskap om prosjektering og programvareutvikling. Hensikten med denne protokollen er derfor å beskrive en trinnvis metodikk som gjør det mulig for uerfarne brukere å lage en smarttelefon-app, som kombinerer AR og 3DP for visualisering av anatomiske 3D-modeller av pasienter med en 3D-trykt referanse markør. Protokollen beskriver hvordan du oppretter 3D virtuelle modeller av pasientens anatomi avledet fra 3D medisinske bilder. Det forklarer deretter hvordan du utfører posisjonering av 3D-modeller med hensyn til markør referanser. Også gitt er instruksjoner for hvordan du 3D skrive ut de nødvendige verktøy og modeller. Til slutt, fremgangsmåten for å distribuere programmet er gitt. Protokollen er basert på gratis og multi-plattform programvare og kan brukes til alle medisinske Imaging modalitet eller pasient. En alternativ tilnærming er beskrevet for å gi automatisk registrering mellom en 3D-trykt modell opprettet fra pasientens anatomi og den projiserte hologrammer. Som et eksempel, er et klinisk tilfelle av en pasient som lider av sarkom Ben er gitt for å illustrere metodikken. Det er forventet at denne protokollen vil akselerere innføringen av AR og 3DP teknologier av medisinske fagfolk.
Introduction
AR og 3DP er teknologier som gir økende antall søknader i det medisinske feltet. I tilfelle av AR, sitt samspill med virtuelle 3D-modeller og det virkelige miljøet fordeler leger i forhold til utdanning og opplæring1,2,3, kommunikasjon og interaksjoner med andre leger4, og veiledning i kliniske intervensjoner5,6,7,8,9,10. Likeledes har 3DP blitt en kraftig løsning for leger når utvikle pasient-spesifikke passelig verktøy11,12,13 eller lage 3D-modeller av en pasients anatomi, som kan bidra til å forbedre preoperativ planlegging og kliniskeintervensjoner 14,15.
Både AR-og 3DP-teknologier bidrar til å forbedre orientering, veiledning og romlige ferdigheter i medisinske prosedyrer; Dermed er deres kombinasjon det neste logiske skritt. Tidligere arbeid har vist at deres felles bruk kan øke verdien i pasientens utdanning16, tilrettelegge forklaringer av medisinske tilstander og foreslått behandling, optimalisere kirurgisk arbeidsflyt17,18 og forbedre pasient-til-modell registrering19. Selv om disse teknologiene har vokst eksponentielt de siste årene, er deres adopsjon av leger fortsatt begrenset, siden de krever omfattende kunnskap om prosjektering og programvareutvikling. Hensikten med dette arbeidet er derfor å beskrive en trinnvis metode som gjør det mulig å bruke AR og 3DP av uerfarne brukere uten behov for bred teknisk kunnskap.
Denne protokollen beskriver hvordan du utvikler en AR Smartphone app som gjør at superimposing av enhver pasient-basert 3D-modell på et reelt miljø ved hjelp av en 3D-trykt markør spores av smarttelefonen kameraet. I tillegg er en alternativ tilnærming beskrevet for å gi automatisk registrering mellom en 3D-trykt biomodel (dvs. en 3D-modell opprettet fra pasientens anatomi) og den projiserte hologrammer. Protokollen beskrevet er helt og holdent basert på ledig og mange--plattform programvare.
I tidligere arbeid har AR pasient-til-bilde-registrering blitt beregnet manuelt5 med algoritmer for overflate gjenkjenning10 eller har vært utilgjengelig2. Disse metodene har blitt betraktet som noe begrenset når en nøyaktig registrering kreves19. For å overkomme disse begrensningene gir dette arbeidet verktøy for å utføre nøyaktig og enkel registrering av pasient til bilde i AR-prosedyrer ved å kombinere AR-teknologi og 3DP.
Protokollen er generisk og kan brukes på alle medisinske Imaging modalitet eller pasient. Som et eksempel, en ekte klinisk tilfelle av en pasient som lider av sarkom Ben er gitt for å illustrere metodikken. Det første trinnet beskriver hvordan du enkelt kan segmentere den berørte anatomien fra beregnede tomografi (CT) medisinske bilder til å generere virtuelle 3D-modeller. Etterpå, posisjonering av 3D-modeller er utført, så de nødvendige verktøy og modeller er 3D-trykt. Til slutt distribueres den ønskede AR-appen. Dette programmet gjør det mulig for visualisering av pasienten 3D-modeller kledde på en smarttelefonkamera i sanntid.
Protocol
Denne studien ble utført i samsvar med prinsippene i 1964-erklæringen som revidert i 2013. De anonyme pasientdataene og bildene som er inkludert i dette dokumentet, blir brukt etter skriftlig informert samtykke ble innhentet fra deltakeren og/eller deres juridiske representant, der han/hun godkjente bruken av disse dataene for formidlings aktiviteter, inkludert vitenskapelige publikasjoner.
1. Workstation satt opp for segmentering, 3D-modeller utvinning, posisjonering, og AR app distribusjon
Merk: denne protokollen er testet med den spesifikke programvareversjonen som er angitt for hvert verktøy. Det er en sikkert å operere med nyere versjoner, til tross for det er ikke garantert.
- Bruk en datamaskin med Microsoft Windows 10 eller Mac OS som operativsystemer.
- Installer følgende verktøy fra tilsvarende nettsteder i henhold til de offisielle instruksjonene:
3D slicer (v. 4.10.2): https://download.slicer.org/.
Meshmixer (v. 3,5): http://www.meshmixer.com/download.html.
Unity (v. 2019): https://Unity3D.com/get-Unity/Download.
(Bare for iOS-distribusjon) Xcode (siste versjon): https://Developer.Apple.com/Xcode/.
Merk: all programvareverktøy som kreves for å fullføre protokollen kan fritt lastes ned til personlige formål. Programvare som skal brukes i hvert trinn, vil bli spesifikt indikert. - Last ned data fra følgende GitHub depotet, funnet på https://GitHub.com/BIIG-UC3M/OpenARHealth.
Merk: repositoriet inneholder følgende mapper:
"/3DSlicerModule/": 3D slicer-modul for posisjonering 3D-modeller med hensyn til 3D-trykt markør. Brukes i avsnitt 3. Legg til modulen i 3D-sliceren ved å følge instruksjonene som er tilgjengelige på https://GitHub.com/BIIG-UC3M/OpenARHealth.
"/Data/PatientData/Patient000_CT. nrrd": CT av en pasient som lider av det sarkom benet. Protokollen er beskrevet ved hjelp av dette bildet som et eksempel.
"/Data/Biomodels/": 3D-modeller av pasienten (bein og tumor).
"/Data/Markers/": markører som vil bli 3D-trykt, som vil bli oppdaget av AR-programmet til å plassere de virtuelle 3D-modellene. Det er to markører tilgjengelig.
2. opprettelse av Biomodel
Merk: Målet med denne delen er å lage 3D-modeller av pasientens anatomi. De vil bli innhentet ved å bruke segmentering metoder til et medisinsk bilde (her, ved hjelp av en CT-bilde). Prosessen består av tre forskjellige trinn: 1) lasting av pasientdata i 3D slicer programvare, 2), segmentering av målet anatomi volumer, og 3) eksport av segmentering som 3D-modeller i OBJ-format. De resulterende 3D-modellene vil bli tatt i bruk i det endelige AR-programmet.
- Last pasientdata ("/Data/PatientData/Patient000_CT. nrrd") ved å dra den medisinske bildefilen inn i 3D-slicer programvare vinduet. Klikk på OK. CT-visningene (aksial, sagittal, koronale) vises på de tilsvarende vinduene.
Merk: dataene som brukes her er funnet i "nesten rå rasterdata" (NRRD) format, men 3D slicer gir mulighet for lasting av medisinsk bildeformat (DICOM) filer. Gå til følgende link for ytterligere instruksjoner, finnes på https://www.slicer.org/wiki/Documentation/4.10/Training. - Du kan segmentere pasientens anatomi ved å gå til Segment redigerings modulen i 3D-slicer.
- En "segmentering" elementet opprettes automatisk når du går inn i modulen. Velg ønsket volum (et medisinsk bilde av pasienten) i Master Volume delen. Deretter høyreklikker du nedenfor på Legg til-knappen for å opprette et segment. Et nytt segment vil bli opprettet med navnet "Segment_1".
- Det er et panel kalt effekter som inneholder en rekke verktøy for å riktig segmentet målet området av det medisinske bildet. Velg den mest praktiske verktøy for målet og segmentet på bildet vinduer området.
- For å segmentere benet (Tibia og fibula i dette tilfellet), bruk terskel verktøyet til å sette opp minimum og maksimum Hu-verdier fra CT-bildet, som tilsvarer bein vevet. Når du bruker dette verktøyet, fjernes andre elementer med HU utenfor disse terskelverdiene, for eksempel bløtvev.
- Bruk saks verktøyet til å fjerne uønskede områder, for eksempel sengen eller andre anatomiske strukturer, fra segmentert masken. Segmentere sarkom manuelt ved hjelp av tegne -og slette verktøyene, siden svulsten er vanskelig å profilere med automatiske verktøy.
Merk: for å lære mer detaljer om segmentering prosedyren, gå til linken funnet på https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- Klikk på Vis 3D- knappen for å vise en 3D-representasjon av segmentering.
- Eksporter segmentering i et 3D-modell filformat ved å gå til Segmentations -modulen i 3D-slicer.
- Gå til eksportere/importere modeller og labelmaps. Velg Eksporter i operasjonsdelen og modeller i utdata-type-delen. Klikk Eksporter for å fullføre og opprette 3D-modellen fra segmentert området.
- Velg Lagre (øverst til venstre) for å lagre modellen. Velg elementene som skal lagres. Deretter endrer du filformatet for 3D-modellen til "OBJ" i kolonnen for filformat . Velge forbindelsesveien der hvor fil-størrelse ville være lagret og falle i staver opp på bevare.
- Gjenta trinn 2,2 og 2,3 for å opprette flere 3D-modeller av ulike anatomiske områder.
Merk: pre-segmentert modeller av det oppgitte eksempelet kan bli funnet i dataene tidligere lastet ned i trinn 1,3 ("/data/Biomodels/").
3. Biomodel posisjonering
Merk: i denne delen vil 3D-modellene som er opprettet i del 2, plasseres i forhold til markøren for visualisering av utvidet virkelighet. ARHealth: modell plasserings modulen fra 3D-slicer vil bli brukt for denne oppgaven. Følg instruksjonene i trinn 1,3 for å legge til modulen i 3D-slicer. Det er to forskjellige alternativer å plassere 3D-modeller: "visualisering" modus og "registrering" modus.
- Visualiserings modus
Merk: visualiserings modus gjør det mulig å plassere 3D-pasientens modeller i en hvilken som helst posisjon i forhold til AR-markøren. Med dette alternativet kan brukeren bruke AR-appen til å visualisere biomodels ved hjelp av den 3D-trykte AR-markøren som en referanse. Denne modusen kan brukes når presisjon ikke er nødvendig, og visualisering av den virtuelle modellen kan vises hvor som helst innenfor feltet-av-visning av smarttelefonen kamera og markør.- Gå til ARHealth: modell posisjons modulen, og (i initialisering-delen) velger du visualiserings modus. Klikk på Last markør modell for å laste markøren for dette alternativet.
- Last 3D-modeller opprettet i del 2 ved å klikke på ... -knappen for å velge banen til de lagrede modellene fra del 2. Så, falle i staver på belaste modell knapp å belaste den inne 3D slicer. Modeller må være lastet en om gangen. Hvis du vil slette alle modeller som er lastet inn tidligere, klikker du modellen etterfulgt av knappen Fjern modell , eller klikker Fjern alle for å slette alle modeller som er lastet inn samtidig.
- Klikk finish-og Midtstill knappen for å midtstille alle modellene i markøren.
- Posisjon, orientering og skalering av 3D-modeller kan endres med hensyn til markøren med forskjellige glidebryteren (dvs. oversettelse, rotasjon, skala).
Merk: det er en ekstra "Tilbakestill posisjon" knappen for å tilbakestille den opprinnelige plasseringen av modellene før du gjør noen endringer i posisjon. - Lagre modellene i denne posisjonen ved å velge banen for å lagre filene og klikke Lagre modeller -knappen. 3D-modellene blir lagret med Utvidelses navnet "_registered. OBJ".
- Registrerings modus
Merk: registrerings modus gjør det mulig å kombinere AR-markøren med en 3D-biomodel i ønsket posisjon. Deretter kan en hvilken som helst del av de kombinerte 3D-modellene (som inkluderer AR-markøren) trekkes ut og 3D skrives ut. Alle biomodels vises i AR-appen ved hjelp av denne kombinerte 3D-trykte biomodel som referanse. Denne modusen gjør det mulig for brukeren å enkelt registrere pasienten (her, en del av pasientens bein) og virtuelle modeller ved hjelp av en referanse markør.- Gå til ARHealth: modell posisjons modulen, og (i initialisering-delen) velger du registrerings modus. Klikk på Last markør modell for å laste markøren for dette alternativet.
- Last modellene som er gjort i trinn 3.1.2.
- Flytt 3D-modeller og sikre deres skjæringspunkt med bærende struktur av kuben markøren, siden disse modellene vil bli kombinert og 3D-trykt senere. Høyden på markør basen kan endres. Posisjon, orientering og skalering av 3D-modeller kan endres med hensyn til markøren med forskjellige glidebryteren (dvs. oversettelse, rotasjon, skala).
- Lagre modellene i denne posisjonen ved å velge banen for å lagre filene og klikke Lagre modeller -knappen. 3D-modellene blir lagret med Utvidelses navnet "_registered. OBJ".
- Anatomi modellen kan være for stor. Hvis det er tilfelle, klipper du ut 3D-modellen rundt markør adapteren og 3D-print bare en del av kombinasjonen av begge modellene ved hjelp av Meshmixer programvare.
- Åpne Meshmixer og Last inn biomodel og støttestrukturen til kube markør modellen som er lagret i trinn 3.2.4. Kombiner disse modellene ved å velge begge modellene i Objektsøking -vinduet. Falle i staver på forbinde valgmuligheten inne det verktøyet vindu det har rettferdig opptrådte inne det øvre igjen avkrok.
- I Meshmixer, bruk Plane cut Tool under Rediger -menyen for å fjerne uønskede deler av modellen som ikke vil bli 3D-trykt.
- Hvis du vil lagre modellen som 3D-trykt, går du til fil > Export og velger ønsket format.
4.3D-utskrift
Merk: Målet med dette trinnet er å 3D-skrive ut de fysiske modellene som kreves for det endelige AR-programmet. Markøren som skal oppdages av programmet og de ulike objektene som trengs, avhenger av modusen som er valgt i avsnitt 3. Ethvert materiale kan brukes til 3D-utskrift i forbindelse med dette arbeidet, når du følger farge Material kravene forespurt på hvert trinn. Polymelkesyren acid (PLA) eller akrylnitril butadien styren (ABS) er begge tilstrekkelige valg.
- Bruk en 3D-skriver til å skrive ut kubikk markøren. Hvis en dobbel Ekstruder 3D-skriver ikke er tilgjengelig, går du til trinn 4,2. Bruk en dual Ekstruder 3D-skriver spesielt for å skrive ut to-fargers markør gitt i "data/markører/Marker1_TwoColorCubeMarker/". I programvaren for 3D-utskrift velger du et hvitt farge materiale for filen "TwoColorCubeMarker_WHITE. OBJ" og svart farge materiale for "TwoColorCubeMarker_BLACK. OBJ".
Merk: for bedre markør deteksjon, Skriv ut på høykvalitets modus med en liten lag høyde. - Hvis en dobbel Ekstruder 3D-skriver ikke er tilgjengelig og trinn 4,1 ikke ble utført, følger du dette trinnet for å skrive ut en 3D-trykt markør med klistremerker som et alternativ ved å gjøre følgende:
- Bruk en 3D-skriver til å skrive ut filen "data/markører/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE. OBJ" med hvitt farge materiale.
- Bruk en konvensjonell skriver til å skrive ut filen "data/markører/Marker2_StickerCubeMarker/stickers.pdf" på klistremerke papir. Deretter bruker du et skjæreverktøy til å klippe bildene nøyaktig om den svarte rammen ved å fjerne de svarte linjene.
Merk: det anbefales å bruke klistremerke papir for å få en høyere kvalitet markør. Imidlertid kan bildene skrives ut på vanlig papir, og en vanlig lim pinne kan brukes til å lime inn bildene på kuben. - Plasser klistremerker i den 3D-trykte kuben innhentet i trinn 4.2.1 i den tilsvarende rekkefølgen følgende instruksjoner fra dokumentet "data/markører/Marker2_StickerCubeMarker/stickers.pdf".
Merk: klistremerker er mindre enn forsiden av kuben. La det være en 1,5 mm ramme mellom klistremerket og kanten på ansiktet. "Data/markører/Marker2_StickerCubeMarker/StickerPlacer.stl" kan være 3D-trykt for å veilede klistremerket posisjonering og nøyaktig matche midten av kuben ansiktet.
- 3D-utskrift av adaptere, avhengig av hvilken modus som er valgt i avsnitt 3.
- Hvis visualisering modus (seksjon 3,1), ble valgt, 3D-print "data/3DPrinting/Alternativ1/MarkerBaseTable. OBJ", som er en base adapter som brukes til å plassere markøren i vertikal posisjon på en horisontal overflate.
- Hvis registrerings modus (del 3,2) ble valgt, 3D-print modellen som ble opprettet i trinn 3.2.8 med markør adapteren vedlagt.
Merk: 3D-utskrevne objekter fra trinn 4,3 kan skrives ut i et hvilket som helst farge materiale.
5. distribusjon av AR-apper
Merk: Målet med denne delen er å designe en Smartphone-app i Unity-motoren som inkluderer 3D-modeller opprettet i forrige avsnitt og distribuere dette programmet på en smarttelefon. En Vuforia utvikling lisens nøkkel (gratis for personlig bruk) er nødvendig for dette trinnet. Appen kan distribueres på Android-eller iOS-enheter.
- Opprett en Vuforia Developer-konto for å få en lisens nøkkel til å bruke bibliotekene i Unity. Gå til linken funnet på https://Developer.vuforia.com/VUI/Auth/register og opprette en konto.
- Gå til leddet grunnlegge for https://Developer.vuforia.com/VUI/Develop/licenses og velge bli utviklingen nøkkel. Deretter følger du instruksjonene for å legge til en gratis utvikling lisens nøkkel i brukerens konto.
- Inne lisensen Bestyrer meny, velge nøkkelen skapt inne gårsdagen steg og avskrift det forsynt nøkkel, hvilke ville bli brukt i takt 5.3.3.
- Sett opp smarttelefonen.
- For å komme i gang med Unity og Android-enheter, gå til linken funnet på https://docs.Unity3D.com/Manual/Android-gettingstarted.html.
- For å komme i gang med enhet og iOS-enheter, gå til linken funnet på https://docs.Unity3D.com/Manual/iPhone-gettingstarted.html.
- Sett opp et Unity-prosjekt for AR-appen ved først å åpne Unity v. 2019 og opprette et nytt 3D-prosjekt. Deretter, underBygg innstillingeri boksenFilen-menyen, kan du bytte plattformen til enten en Android-eller iOS-enhet.
- Aktiver Vuforia i prosjektet ved å velge rediger ≫ prosjekt innstilling ≫ spiller innstillinger > XR innstillinger og merke av i boksen merket Vuforia utvidet virkelighet støtte.
- Opprett en "ARCamera" under menylinja > GameObject ≫ Vuforia Engine > ARCamera og importere Vuforia komponenter når du blir bedt om.
- Sammenlegge Vuforia med lisens nøkkel i Vuforia konfigurasjonen innfatningene ved å velge ressursene brosjyre og klikker opp på Vuforia konfigurasjonen. Deretter limer du inn nøkkelen som ble kopiert i del 5.1.2, i delen app License Key .
- Importer Vuforia Target-filen i "/Data/Vuforia/AR_Cube_3x3x3. unitypackage" til Unity, som inneholder filene som Vuforia trenger for å finne markørene som er beskrevet i avsnitt 4.
- Opprett en Vuforia MultiTarget under menylinja > GameObject ≫ Vuforia Engine > multi image.
- Velg markør typen som skal brukes til gjenkjenning ved å klikke på MultiTarget som ble opprettet i forrige trinn. Velg ARHealth_3DPrintedCube_30x30x30i database -alternativet under fler mål atferd. Velg enten TwoColorCubeMarker eller StickerCubeMarkeri multi Target -alternativet under fler mål atferd, avhengig av markøren som er opprettet i avsnitt 4.
- Last 3D-modeller opprettet i del 3 i Unity scene under MultiTarget ved å opprette en ny mappe med navnet "Models" under "ressurser"-mappen. Dra 3D-modellene til denne mappen. Når lastet i Unity, dra dem under "MultiTarget" element opprettet i trinn 5.3.5. Dette vil gjøre dem avhengig av markøren.
Merk: modeller skal være synlige i Unity 3D-visning scenen. - Endre fargene på 3D-modellene ved å opprette et nytt materiale og tilordne det nye materialet til modellene.
- Opprett en ny mappe som heter "materialer" under "Resources"-mappen ved å gå til menylinjen > aktiva > opprette > materiale. Velg materialet og endre fargen i konfigurasjonen delen. Deretter drar du filen under 3D modell hierarkiet.
- Valgfritt: Hvis det er et webkamera tilgjengelig, klikker du på avspillingsknappen plassert i den øvre midtre delen for å teste programmet på datamaskinen. Hvis markøren er synlig for webkameraet, bør den oppdages, og 3D-modellene skal vises i motivet.
- Hvis en Android-smarttelefon brukes til app-distribusjon, går du til fil ≫ Build- Innstillinger i enhet og velger den tilkoblede telefonen fra listen. Velg Distribuer og Kjør. Bevare filen med forlengelsen. apk på computer og tillate prosessen å slutten. Når distribusjonen er utført, skal appen være på telefonen og klar til å kjøres.
Merk: denne protokollen er testet på Android v. 8.0 Oreo eller nyere. Riktig funksjonalitet er ikke garantert for eldre versjoner. - Hvis appen skal distribueres i en iOS-enhet, går du til fil ≫ bygge innstillinger i enhet og velger Kjør. Velg banen for å lagre app-filene. Tillat at prosessen fullføres. Gå til den lagrede mappen og åpne filen med filtypen ". projectxcode".
- I Xcode følger du instruksjonene fra trinn 5.2.2 for å fullføre distribusjonen.
Merk: for mer informasjon om Vuforia i Unity, gå til linken funnet på https://Library.vuforia.com/articles/Training/Getting-started-with-vuforia-in-Unity.html.
- I Xcode følger du instruksjonene fra trinn 5.2.2 for å fullføre distribusjonen.
6. app visualisering
- Åpne den installerte appen, som vil bruke smarttelefonens kamera. Når du kjører programmet, se på markøren med kameraet fra et lite stykke unna (40 cm minimum). Når appen registrerer markøren, skal 3D-modellene som ble opprettet i tidligere trinn, vises nøyaktig på plasseringen som er definert under prosedyren på smarttelefonskjermen.
Merk: belysningen kan endre nøyaktigheten til markør gjenkjenningen. Det anbefales å bruke appen i omgivelser med gode lysforhold.
Representative Results
Protokollen ble brukt på data fra en pasient som lider av sarkom Ben, for å visualisere den berørte anatomiske regionen fra et 3D-perspektiv. Ved hjelp av metoden beskrevet i del 2, den delen av de berørte bein (her, Tibia og fibula) og tumor var segmentert fra pasientens CT scan. Deretter bruker segmentering verktøy fra 3D slicer, to biomodels ble opprettet: benet (del av Tibia og fibula) (figur 1A) og tumor (figur 1B).
Deretter ble de to 3D-modellene plassert praktisk talt med hensyn til markør for optimal visualisering. Begge moduser beskrevet i avsnitt 3 ble fulgt for dette eksempelet. For visualiserings modus var modellene sentrert i den øvre delen av markøren (figur 2). For registreringsmodus ble markør adapteren plassert i benet (spesielt Tibia [Figur 3]). Deretter ble en liten del av Tibia valgt til å bli 3D-trykt med en 3D markør adapter (Figur 4). En Ultimaker 3 utvidet 3D-skriver med PLA materiale ble brukt til å lage 3D-trykte markører(figur 5A, B), markør holderen Base (figur 5C) for "visualisering"-modus, og del av Tibia for "registrering" modus (figur 5D). Figur 5E viser hvordan markøren ble festet til "visualisering" modus 3D-trykt base. Figur 5F viser vedlegget med "Registration"-modus 3D-trykt biomodel. Til slutt ble Unity brukt til å opprette appen og distribuere den på smarttelefonen.
Figur 6 viser hvordan appen jobbet for "visualisering" modus. Hologram var nøyaktig plassert i den øvre delen av kuben som tidligere definert. Figur 7 viser programmet for "registrering" modus, der app plassert hele bein modellen på toppen av 3D-trykt delen. Den endelige visualiseringen av hologrammer var klar og realistisk, opprettholdt den virkelige størrelsen på biomodels, og posisjonert nøyaktig. Når du bruker smarttelefon programmet, må AR-markøren være synlig av kameraet for at appen skal kunne vise hologrammer på riktig måte. I tillegg må lysforholdene i scenen være av god kvalitet og konstant for riktig markør deteksjon. Dårlige lysforhold eller refleksjoner på markøren overflaten hindrer sporing av AR markør og forårsake feil i programmet.
Tiden det tar å opprette appen, avhenger av flere faktorer. Varigheten av del 1 er begrenset av nedlastingshastigheten. Når det gjelder anatomi segmentering (del 2), faktorer som påvirker segmentering tid inkluderer kompleksiteten i regionen og medisinsk imaging modalitet (dvs. CT er lett segmentert, mens MRI er vanskeligere). For representative eksempel på Tibia, ca 10 min var nødvendig for å generere både 3D-modeller fra CT scan. Biomodel posisjonering (avsnitt 3) er enkel og grei. Her tok det ca 5 min å definere biomodel posisjon med hensyn til AR markør. For trinnet 3D-utskrift er varigheten svært avhengig av den valgte modusen. Den "dual Color markør" ble produsert ved høy kvalitet i en periode på 5 h og 20 min. Den "klistremerke markør" ble produsert i en periode på 1 t og 30 min, pluss den tiden som kreves for å lime inn klistremerkene. Det siste trinnet for utvikling av apper kan være tidkrevende for de som ikke har noen tidligere erfaring i Unity, men det kan enkelt gjennomføres etter protokoll trinnene. Når AR-markørene har blitt trykt i 3D, kan utviklingen av en helt ny AR-app utføres på mindre enn 1 time. Denne varigheten kan reduseres ytterligere med ekstra erfaring.
Figur 1: representasjon av 3D-modeller som er opprettet fra et CT-bilde av en pasient som lider av den sarkom ben. (A) benvev representert i hvitt (Tibia og fibula). (B) tumor representert i rødt. Vennligst klikk her for å se en større versjon av dette tallet.
Figur 2: resultater som viser hvordan "visualisering" modus i 3D slicer posisjoner den virtuelle 3D-modeller av bein og tumor med hensyn til 3D-trykt markør referanse. Pasientens 3D-modeller (A) er plassert over den øvre delen av merke kuben (B). Vennligst klikk her for å se en større versjon av dette tallet.
Figur 3: resultater som viser hvordan "registrering"-modus i 3D-slicer plasserer de virtuelle 3D-modellene av benet og svulsten (A) med hensyn til 3D-trykt markør referanse (B). Markør adapteren er festet til Ben vevs modellen. Vennligst klikk her for å se en større versjon av dette tallet.
Figur 4: liten del av benvevet og 3D markør adapter. De to komponentene kombineres deretter 3D-trykt. Vennligst klikk her for å se en større versjon av dette tallet.
Figur 5:3D-trykte verktøy som kreves for det endelige programmet. (A) "to farge kube markør" 3D-trykt med to farger av materialer. (B) "klistremerke Cube markør" 3D-trykt, med klistremerker limt inn. (C) markør base Cube adapter. (D) delen av pasientens benvev 3D modell og markør Cube adapter. (E) "klistremerke Cube markør" plassert i markøren basen kuben adapter. (F) "to farge kube markør" plassert i markør adapter festet til pasientens anatomi. Vennligst klikk her for å se en større versjon av dette tallet.
Figur 6: App skjerm når du bruker "visualisering" modus. Pasientens berørte anatomi 3D-modeller er plassert over den øvre forsiden av den 3D-utskrevne kuben. Vennligst klikk her for å se en større versjon av dette tallet.
Figur 7: AR visualisering når du bruker "registrering" modus. Med 3D-trykt markør kan du registrere 3D-trykte biomodel med de virtuelle 3D-modellene. Vennligst klikk her for å se en større versjon av dette tallet.
Discussion
AR har et stort potensiale for utdanning, opplæring og kirurgisk veiledning i det medisinske feltet. Kombinasjonen med 3D-utskrift åpner kan åpne nye muligheter i kliniske applikasjoner. Denne protokollen beskriver en metodikk som gjør det mulig for uerfarne brukere å lage en smarttelefon app som kombinerer AR og 3DP for visualisering av anatomiske 3D-modeller av pasienter med 3D-trykt referanse markører.
Generelt, en av de mest interessante kliniske anvendelser av AR og 3DP er å forbedre pasient-til-lege kommunikasjon ved å gi pasienten et annet perspektiv på saken, bedre forklaringer av spesifikke medisinske tilstander eller behandlinger. Et annet mulig program inkluderer kirurgisk veiledning for lokalisering av mål, der 3D-trykte pasientspesifikke verktøy (med en referanse AR-markør vedlagt) kan plasseres på stive konstruksjoner (dvs. bein) og brukes som referanse for navigering. Dette programmet er spesielt nyttig for ortopediske og Maxillofacial kirurgiske prosedyrer, der bein vev overflaten er lett tilgjengelig under operasjonen.
Protokollen starter med del 1, som beskriver arbeidsstasjons oppsettet og programvare verktøyene som er nødvendige. § 2 beskriver hvordan du bruker 3D slicer programvare for enkelt å segmentere målet anatomi av pasienten fra enhver medisinsk imaging modalitet å få 3D-modeller. Dette trinnet er avgjørende, som den virtuelle 3D-modeller som er opprettet er de som vises i den endelige AR programmet.
I del 3 brukes 3D-slicer til å registrere 3D-modellene som ble opprettet i forrige avsnitt med et AR-merke. I løpet av denne registreringsprosedyren er pasientens 3D-modeller effektivt og bare plassert med hensyn til AR-markøren. Plasseringen som er definert i denne delen, bestemmer den relative plasseringen av hologram i den endelige appen. Det antas at denne løsningen reduserer kompleksiteten og multipliserer de mulige programmene. Del 3 beskriver to ulike alternativer for å definere romlige relasjoner mellom modellene og AR markører: "visualisering" og "registrering" modus. Det første alternativet, "visualisering" modus, gjør at 3D-modeller for å bli plassert hvor som helst med hensyn til markøren og vises som hele biomodel. Denne modusen gir et realistisk 3D-perspektiv på pasientens anatomi og tillater flytting og rotering av biomodels ved å flytte det sporede AR-merket. Det andre alternativet, "registrering"-modus, gjør det mulig å feste og kombinere en markør adapter til en hvilken som helst del av biomodel, som tilbyr en automatisk registreringsprosess. Med dette alternativet kan en liten del av 3D-modellen, inkludert markør adapteren, være 3D-trykt, og appen kan vise resten av modellen som et hologram.
Del 4 inneholder retningslinjer for prosessen for 3D-utskrift. Først, kan brukeren velge mellom to forskjellige markører: den "dual Color markør" og "klistremerke markør". Hele "dual Color markør" kan være 3D-trykt, men krever en dual Ekstruder 3D-skriver. Hvis denne skriveren ikke er tilgjengelig, foreslås "klistremerke". Dette er en enklere markør som kan fås ved 3D-utskrift av kubisk struktur, og deretter lime inn bilder av kuben med klistremerke papir eller klistremerke lim. Videre ble begge markører utformet med utvidbare seksjoner for å passe perfekt i en bestemt adapter. Dermed kan markøren gjenbrukes i flere tilfeller.
Del 5 beskriver prosessen med å opprette et Unity-prosjekt for AR ved hjelp av Vuforia programvareutviklingssett. Dette trinnet kan være den vanskeligste delen for brukere uten erfaring med programmering, men med disse retningslinjene, bør det være lettere å få det endelige programmet som er presentert i § 6. Appen viser pasientens virtuelle modeller over smarttelefonskjermen når kameraet gjenkjenner den 3D-trykte markøren. For at appen skal kunne gjenkjenne 3D-markøren, er det nødvendig med en minimumsavstand på ca. 40 cm eller mindre fra telefonen til markøren samt gode lysforhold.
Den endelige anvendelsen av denne protokollen gjør det mulig for brukeren å velge den spesifikke biomodels å visualisere og i hvilke posisjoner. Vedkommende kan appen utføre automatisk registrering av pasient hologram ved å bruke en 3D-trykt markør og adapter festet til biomodel. Dette løser utfordringen med å registrere virtuelle modeller med miljøet på en direkte og praktisk måte. Videre er denne metodikken ikke krever bred kunnskap om medisinsk bildebehandling eller programvareutvikling, er ikke avhengig av komplekse maskinvare og kostbar programvare, og kan implementeres over en kort tidsperiode. Det er forventet at denne metoden vil bidra til å akselerere innføringen av AR og 3DP teknologier av medisinske fagfolk.
Disclosures
Forfatterne har ingenting å avsløre.
Acknowledgments
Denne rapporten ble støttet av prosjekter PI18/01625 og PI15/02121 (Ministerio de Ciencia, Differensialaksen y universidades, Instituto de salud Carlos III og European Regional Development Fund "UNA manera de hacer Europa") og IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
