Summary
Presenteras här är en metod för att utforma en förstärkt verklighet smartphone ansökan om visualisering av anatomiska tredimensionella modeller av patienter som använder en 3D-tryckt referens markör.
Abstract
Augmented Reality (AR) har stor potential inom utbildning, yrkesutbildning och kirurgisk vägledning inom det medicinska området. Dess kombination med tredimensionell (3D) utskrift (3DP) öppnar nya möjligheter i kliniska tillämpningar. Även om dessa teknologier har vuxit exponentiellt under de senaste åren, är deras antagande av läkare fortfarande begränsad, eftersom de kräver omfattande kunskap om ingenjörs-och programvaruutveckling. Syftet med detta protokoll är därför att beskriva en steg-för-steg-metod som gör det möjligt för oerfarna användare att skapa en smartphone-app, som kombinerar AR och 3DP för visualisering av anatomiska 3D-modeller av patienter med en 3D-tryckt referens markör. Protokollet beskriver hur man skapar 3D virtuella modeller av patientens anatomi härrör från 3D medicinska bilder. Det förklarar sedan hur man utför positionering av 3D-modeller med avseende på markör referenser. Dessutom finns instruktioner för hur man 3D skriva ut nödvändiga verktyg och modeller. Slutligen finns åtgärder för att distribuera appen. Protokollet är baserat på fri och flera plattformar programvara och kan tillämpas på någon medicinsk avbildning modalitet eller patient. En alternativ metod beskrivs för att ge automatisk registrering mellan en 3D-tryckt modell som skapats från patientens anatomi och de projicerade hologrammen. Som ett exempel, en klinisk fall av en patient som lider av distala benet sarkom ges för att illustrera metoden. Det förväntas att detta protokoll kommer att påskynda införandet av AR-och 3DP-tekniker av sjukvårdspersonal.
Introduction
AR och 3DP är teknologier som ger ökande numrerar av applikationer i det medicinska området. När det gäller ar, dess interaktion med virtuella 3D-modeller och den verkliga miljön gynnar läkare i fråga om utbildning1,2,3, kommunikation och interaktioner med andra läkare4, och vägledning under kliniska interventioner5,6,7,8,9,10. Likaså har 3DP blivit en kraftfull lösning för läkare när de utvecklar patientspecifika anpassningsbara verktyg11,12,13 eller skapa 3D-modeller av patientens anatomi, vilket kan bidra till att förbättra preoperativ planering och kliniska interventioner14,15.
Både AR-och 3DP-tekniker bidrar till att förbättra orientering, vägledning och rumsliga färdigheter i medicinska ingrepp. Således är deras kombination nästa logiska steg. Tidigare arbete har visat att deras gemensamma användning kan öka värdet i patientutbildning16, underlätta förklaringar av medicinska tillstånd och föreslagen behandling, optimera kirurgiska arbetsflöde17,18 och förbättra patient-till-modell registrering19. Även om dessa teknologier har vuxit exponentiellt under de senaste åren, är deras antagande av läkare fortfarande begränsad, eftersom de kräver omfattande kunskap om ingenjörs-och programvaruutveckling. Därför är syftet med detta arbete att beskriva en stegvis metod som möjliggör användning av AR och 3DP av oerfarna användare utan behov av breda tekniska kunskaper.
Detta protokoll beskriver hur man utvecklar en AR smartphone app som gör det möjligt att överlägga en patient-baserad 3D-modell på en verklig miljö med hjälp av en 3D-tryckt markör spåras av smartphone kameran. Dessutom beskrivs ett alternativt tillvägagångssätt för att ge automatisk registrering mellan en 3D-tryckt biomodel (dvs. en 3D-modell som skapats från patientens anatomi) och de projicerade hologrammen. Protokollet som beskrivs är helt baserat på gratis och flera plattformar programvara.
I tidigare arbete har AR-registrering av patient till bild beräknats manuellt5 med Surface Recognition algoritmer10 eller har varit otillgänglig2. Dessa metoder har ansetts vara något begränsade när en korrekt registrering krävs19. För att övervinna dessa begränsningar, detta arbete ger verktyg för att utföra korrekt och enkel patient-till-bild registrering i AR förfaranden genom att kombinera AR-teknik och 3DP.
Protokollet är generiskt och kan tillämpas på alla medicinska avbildning modalitet eller patient. Som ett exempel, en verklig klinisk fall av en patient som lider av distala benet sarkom ges för att illustrera metoden. Det första steget beskriver hur du enkelt segmenterar den påverkade anatomin från datortomografi (CT) medicinska bilder för att generera 3D virtuella modeller. Efteråt, positionering av 3D-modeller utförs, då de nödvändiga verktygen och modellerna är 3D-tryckta. Slutligen distribueras den önskade AR-appen. Denna app möjliggör visualisering av patientens 3D-modeller överlagt på en smartphone-kamera i realtid.
Protocol
Denna studie utfördes i enlighet med principerna i Helsingforsdeklarationen 1964, reviderad i 2013. De anonymiserade patientdata och bilder som ingår i detta dokument används efter skriftligt informerat samtycke erhölls från deltagaren och/eller deras juridiska ombud, där han/hon godkände användningen av dessa uppgifter för spridningsaktiviteter inklusive vetenskapliga publikationer.
1. Workstation set-up för segmentering, 3D-modeller utvinning, positionering, och AR app distribution
Anmärkning: detta protokoll har testats med den specifika programvaruversion som anges för varje verktyg. Det är sannolikt att arbeta med nyare versioner, även om det inte är garanterad.
- Använd en dator med Microsoft Windows 10 eller Mac OS som operativsystem.
- Installera följande verktyg från motsvarande webbplatser enligt de officiella instruktionerna:
3D-slicer (v. 4.10.2): https://Download.slicer.org/.
Meshmixer (v. 3,5): http://www.meshmixer.com/download.html.
Enhet (v. 2019): https://Unity3D.com/get-Unity/Download.
(Endast för iOS-distribution) Xcode (senaste versionen): https://Developer.Apple.com/Xcode/.
Obs: alla mjukvaruverktyg som krävs för att slutföra protokollet kan fritt laddas ner för personliga ändamål. Programvara som ska användas i varje steg kommer att anges särskilt. - Hämta data från följande GitHub-lagringsplats, finns på https://github.com/BIIG-uc3m/OpenARHealth.
Obs: databasen innehåller följande mappar:
"/3DSlicerModule/": 3D-slicer modul för positionering av 3D-modeller med avseende på den 3D-tryckta markören. Som används i avsnitt 3. Lägg till modulen i 3D slicer enligt instruktionerna på https://github.com/BIIG-uc3m/OpenARHealth.
"/Data/PatientData/Patient000_CT. nrrd": CT av en patient som lider av distala benet sarkom. Protokollet beskrivs med den här bilden som ett exempel.
"/Data/Biomodels/": 3D-modeller av patienten (ben och tumör).
"/Data/Markers/": markörer som kommer att vara 3D-tryckta, som kommer att upptäckas av AR ansökan att placera den virtuella 3D-modeller. Det finns två markörer.
2. skapande av biomodel
Obs: målet med detta avsnitt är att skapa 3D-modeller av patientens anatomi. De kommer att erhållas genom att tillämpa segmenteringsmetoder till en medicinsk bild (här, med hjälp av en CT-bild). Processen består av tre olika steg: 1) lastning patientdata i 3D slicer programvara, 2), segmentering av mål anatomi volymer, och 3) export av segmentering som 3D-modeller i OBJ-format. Den resulterande 3D-modeller kommer att visualiseras i den slutliga AR ansökan.
- Läs in patientdata ("/Data/PatientData/Patient000_CT. nrrd") genom att dra den medicinska bildfilen till fönstret 3D-utsnitts program. Klicka på OK. CT-vyer (axiella, sagittal, koronala) kommer att visas på motsvarande fönster.
Obs: de data som används här finns i "nästan rå rasterdata" (nrrd) format, men 3D slicer möjliggör lastning av medicinsk bildformat (DICOM) filer. Gå till följande länk för ytterligare instruktioner, finns på https://www.slicer.org/wiki/documentation/4.10/Training. - Om du vill segmentera patientens anatomi går du till modulen segment redigerare i 3D slicer.
- En "segmentering" objekt skapas automatiskt när du anger modulen. Välj önskad volym (en medicinsk bild av patienten) i Master Volume -sektionen. Sedan högerklickar du nedan på knappen Lägg till för att skapa ett segment. Ett nytt segment kommer att skapas med namnet "Segment_1".
- Det finns en panel som heter effekter som innehåller en mängd olika verktyg för att korrekt segmentera målområdet för den medicinska bilden. Välj det mest praktiska verktyget för målet och segmentet på bild Windows-området.
- För att segmentera benet (Tibia och fibula i detta fall), Använd tröskel verktyget för att ställa in lägsta och högsta hu-värden från CT-bilden, vilket motsvarar benvävnad. Genom att använda det här verktyget tas andra element med HU utanför dessa tröskelvärden bort, till exempel mjuk vävnad.
- Använd saxverktyget för att ta bort oönskade områden, till exempel sängen eller andra anatomiska strukturer, från den segmenterade masken. Segmentera sarkom manuellt med hjälp av Rita och Radera verktyg, eftersom tumören är svår att kontur med automatiska verktyg.
Om du villveta mer om segmenteringsproceduren går du till länken som finns på https://www.slicer.org/wiki/documentation/4.10/Training#Segmentation.
- Klicka på Visa 3D -knappen för att visa en 3D-representation av segmenteringen.
- Exportera segmenteringen i ett 3D-modellfilformat genom att gå till Segmentations -modulen i 3D slicer.
- Gå till export/import modeller och labelmaps. Välj Exportera i avsnittet operation och modeller i avsnittet Utdatatyp. Klicka på Exportera för att slutföra och skapa 3D-modellen från det segmenterade området.
- Välj Spara (uppe till vänster) för att spara modellen. Välj de element som ska sparas. Ändra sedan filformatet för 3D-modellen till "OBJ" i kolumnen filformat . Välj den sökväg där filerna ska lagras och klicka på Spara.
- Upprepa steg 2,2 och 2,3 för att skapa ytterligare 3D-modeller av olika anatomiska regioner.
Obs: pre-segmenterade modeller av det medföljande exemplet finns i de data som tidigare hämtats i steg 1,3 ("/Data/Biomodels/").
3. placering av biomodel
Anmärkningar: i det här avsnittet kommer de 3D-modeller som skapas i avsnitt 2 att placeras med avseende på markören för förstärkt verklighet visualisering. Modulen Arhealth: Model position från 3D-slicer används för den här aktiviteten. Följ instruktionerna i steg 1,3 för att lägga till modulen i 3D-slicer. Det finns två olika alternativ för att placera 3D-modeller: "visualisering"-läge och "registrering"-läge.
- Visualiserings läge
Obs: visualiserings läge tillåter positionering av 3D-patientmodellerna vid vilken position som helst med avseende på ar-markören. Med det här alternativet kan användaren använda AR-appen för att visualisera Biomodels med den 3D-tryckta AR-markören som referens. Detta läge kan användas när precision inte krävs, och visualisering av den virtuella modellen kan visas var som helst inom synfält av smartphone kamera och markör.- Gå till modulen Arhealth: Model position , och (i avsnittet initiering) väljer du visualiserings läge. Klicka på Last markör modell för att ladda markören för det här alternativet.
- Ladda 3D-modeller som skapats i avsnitt 2 genom att klicka på knappen ... för att välja sökvägen till de sparade modellerna från avsnitt 2. Klicka sedan på knappen Ladda modell för att ladda den i 3D slicer. Modellerna måste läsas in en i taget. Om du vill ta bort alla tidigare laddade modeller klickar du på den modellen följt av knappen ta bort modell eller klickar på ta bort alla om du vill ta bort alla modeller som lästs in samtidigt.
- Klicka på knappen Slutför och centrera för att centrera alla modeller inom markören.
- Placeringen, orienteringen och skalningen av 3D-modellerna kan ändras med avseende på markören med olika skjutreglage (dvs. översättning, rotation, skala).
Obs: det finns en extra "Reset position"-knappen för att återställa den ursprungliga positionen av modellerna innan du gör några ändringar i positionen. - Spara modellerna på den här positionen genom att välja sökvägen för att lagra filerna och klicka på knappen Spara modeller . 3D-modellerna kommer att sparas med tilläggsnamnet "_registered. obj".
- Registrerings läge
Obs: registrerings läge tillåter kombination av ar markör med en 3D biomodel på önskad position. Därefter kan alla delar av de kombinerade 3D-modellerna (som inkluderar AR-markören) extraheras och 3D-skrivas ut. Alla Biomodels kommer att visas i AR-appen med denna kombinerade 3D-tryckta biomodel som referens. Detta läge gör det möjligt för användaren att enkelt registrera patienten (här, en del av patientens ben) och virtuella modeller med hjälp av en referens markör.- Gå till modulen Arhealth: Model position , och (i avsnittet initiering) väljer du registrerings läge. Klicka på Last markör modell för att ladda markören för det här alternativet.
- Ladda modellerna som gjort i steg 3.1.2.
- Flytta 3D-modellerna och se till att de korsar den stödjande strukturen för kubmarkören, eftersom dessa modeller kommer att kombineras och 3D-skrivas ut senare. Höjden på markör basen kan ändras. Placeringen, orienteringen och skalningen av 3D-modellerna kan ändras med avseende på markören med olika skjutreglage (dvs. översättning, rotation, skala).
- Spara modellerna på den här positionen genom att välja sökvägen för att lagra filerna och klicka på knappen Spara modeller . 3D-modellerna kommer att sparas med tilläggsnamnet "_registered. obj".
- Anatomin modellen kan vara för stor. Om så är det, klippa 3D-modellen runt markören adaptern och 3D-skriva ut endast en del av kombinationen av båda modellerna med hjälp av Meshmixer programvara.
- Öppna Meshmixer och ladda biomodel och stödjande struktur av kuben markör modell sparas i steg 3.2.4. Kombinera dessa modeller genom att välja båda modellerna i objekt läsar fönstret. Klicka på kombinations alternativet i verktygsfönstret som just har dykt upp i det övre vänstra hörnet.
- I Meshmixer, Använd verktyget plan cut under Redigera -menyn för att ta bort oönskade delar av modellen som inte kommer att vara 3D-tryckt.
- Om du vill spara modellen så att den är 3D-tryckt går du till arkiv > Exportera och väljer önskat format.
4.3D-utskrifter
Obs: Syftet med detta steg är att 3D-skriva ut de fysiska modeller som krävs för den slutliga ar ansökan. Den markör som ska upptäckas av programmet och de olika objekten som behövs beror på vilket läge som valts i avsnitt 3. Allt material kan användas för 3D-utskrifter i syfte att detta arbete, när du följer de krav på färg material som begärs vid varje steg. Polymjölksyra (PLA) eller akrylnitril butadienstyren (ABS) är båda tillräckliga val.
- Använd en 3D-skrivare för att skriva ut kubisk markören. Om det inte finns en dubbel extruder 3D-skrivare går du vidare till steg 4,2. Använd en dubbel extruder 3D-skrivare speciellt för att skriva ut två färger markör som finns i "data/markörer/Marker1_TwoColorCubeMarker/". I 3D-utskriftprogramvaran väljer du ett vitt färg material för filen "TwoColorCubeMarker_WHITE. obj" och svart färg material för "TwoColorCubeMarker_BLACK. obj".
Obs: för bättre markör detektering, Skriv ut på Högkvalitetsläge med en liten Lagerhöjd. - Om en dubbel extruder 3D-skrivare inte är tillgänglig och steg 4,1 inte utfördes, Följ detta steg för att skriva ut en 3D-tryckt markör med klistermärken som ett alternativ genom att göra följande:
- Använd en 3D-skrivare för att skriva ut filen "data/markörer/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE. obj" med vitt färg material.
- Använd en konventionell skrivare för att skriva ut filen "data/markörer/Marker2_StickerCubeMarker/Stickers.pdf" på klistermärke papper. Använd sedan alla skärande verktyg för att exakt klippa bilderna även om den svarta ramen genom att ta bort de svarta linjerna.
Obs: det rekommenderas att använda klistermärke papper för att få en högre kvalitet markör. Bilderna kan dock tryckas på vanligt papper, och en gemensam limpinne kan användas för att klistra in bilderna på kuben. - Placera klistermärken i den 3D-tryckta kuben som erhållits i steg 4.2.1 i motsvarande ordning enligt anvisningarna i dokumentet "data/markörer/Marker2_StickerCubeMarker/Stickers.pdf".
Märk: klistermärken är mindre än kubens yta. Lämna en 1,5 mm ram mellan klistermärket och kanten av ansiktet. "Data/markörer/Marker2_StickerCubeMarker/Stickerplacer.stl" kan 3D-tryckta för att vägleda klistermärke positionering och exakt matchar mitten av kuben ansikte.
- 3D-Skriv ut adaptorerna, beroende på vilket läge som valts i avsnitt 3.
- Om visualiserings läget (avsnitt 3,1) valdes, 3D-Print "data/3Dprinting/Alternativ1/MarkerBaseTable. obj", som är en basadapter som används för att placera markören i vertikalt läge på en horisontell yta.
- Om registrerings läget (avsnitt 3,2) valdes, 3D-Skriv ut modellen som skapades i steg 3.2.8 med märkadaptern ansluten.
3D-utskrivna objekt från steg 4,3 kan skrivas ut i valfritt färg material.
5. AR-app-distribution
Obs: målet med detta avsnitt är att designa en smartphone app i Unity Engine som inkluderar 3D-modeller som skapats i föregående avsnitt och distribuera denna app på en smartphone. En Vuforia utveckling licens nyckel (gratis för personligt bruk) krävs för detta steg. Appen kan distribueras på Android-eller iOS-enheter.
- Skapa ett Vuforia Developer-konto för att få en licens nyckel för att använda sina bibliotek i Unity. Gå till länken som finns på https://Developer.vuforia.com/VUI/auth/register och skapa ett konto.
- Gå till länken som finns på https://Developer.vuforia.com/VUI/develop/licenses och välj Hämta utvecklings nyckel. Följ sedan instruktionerna för att lägga till en licens nyckel för fri utveckling i användarens konto.
- I License Manager -menyn väljer du den nyckel som skapades i föregående steg och kopierar den medföljande nyckeln, som kommer att användas i steg 5.3.3.
- Konfigurera din smartphone.
- För att komma igång med Unity och Android-enheter, gå till länken som finns på https://docs.unity3d.com/manual/Android-GettingStarted.html.
- För att komma igång med Unity och iOS-enheter, gå till länken som finns på https://docs.unity3d.com/manual/iPhone-GettingStarted.html.
- Ställ in ett Unity-projekt för AR-appen genom att först öppna Unity v. 2019 och skapa ett nytt 3D-projekt. Sedan, underBygg inställningari fönstretFilen-menyn byter du plattform till en Android-eller iOS-enhet.
- Aktivera Vuforia i projektet genom att välja redigera ≫ Projektinställning ≫ spelarinställningar > XR inställningar och kontrollera rutan märkt vuforia förstärkt Reality support.
- Skapa en "ARCamera" under Menyrad ≫ gameobject ≫ Vuforia motor ≫ arcamera och importera vuforia komponenter när du uppmanas.
- Tillägga den Vuforia licens nyckel in i Vuforia konfigurationen infattningarna vid väljande den resurserna broschyren och klickande på vuforia konfigurationen. I avsnittet app License Key klistrar du sedan in nyckeln som kopierats i avsnitt 5.1.2.
- Importera Vuforia målfilen som finns i "/data/Vuforia/AR_Cube_3x3x3. unitypackage" i enighet, som innehåller de filer som Vuforia kräver att upptäcka de markörer som beskrivs i avsnitt 4.
- Skapa en Vuforia MultiTarget under Menyrad ≫ gameobject ≫ Vuforia motor > Multi Image.
- Välj den markörtyp som ska användas för identifiering genom att klicka på MultiTarget som skapades i föregående steg. I alternativet databas under multi Target beteendeväljer du ARHealth_3DPrintedCube_30x30x30. Välj antingen Twocolorcubemarker eller stickercubemarkeri alternativet flera mål under multi Target-beteende, beroende på vilken markör som har skapats i avsnitt 4.
- Ladda 3D-modeller som skapats i avsnitt 3 i Unity Scene under flera mål genom att skapa en ny mapp med namnet "modeller" under "Resources" mappen. Dra 3D-modellerna till den här mappen. När den är laddad i Unity drar du dem under "MultiTarget"-objektet som skapats i steg 5.3.5. Detta kommer att göra dem beroende av markören.
Observera: modellerna ska vara synliga i Unity 3D-vyn. - Ändra färgerna på 3D-modellerna genom att skapa ett nytt material och tilldela de nya materialen till modellerna.
- Skapa en ny mapp med namnet "material" i mappen "Resources" genom att gå till Menubar ≫ tillgångar > skapa > material. Markera materialet och ändra färgen i avsnittet konfiguration. Dra sedan filen under 3D-modellhierarkin.
- Valfritt: om det finns en webbkamera tillgänglig, klicka på play-knappen som finns i den övre mitten delen för att testa dess tillämpning på datorn. Om markören är synlig för webbkameran ska den upptäckas och 3D-modellerna ska visas i scenen.
- Om en Android-smartphone används för appdistribution går du till arkiv ≫ Bygg inställningar i Unity och väljer den anslutna telefonen i listan. Välj distribuera och kör. Spara filen med Extension. apk på datorn och låt processen avslutas. När distributionen är klar bör appen vara på telefonen och redo att köras.
Obs: detta protokoll har testats på Android v. 8.0 Oreo eller högre. Korrekta funktioner garanteras inte för äldre versioner. - Om appen kommer att distribueras på en iOS-enhet går du till arkiv ≫ Bygg inställningar i Unity och väljer Kör. Välj sökvägen för att spara appfilerna. Låt processen slutföras. Gå till den sparade mappen och öppna filen med tillägget ". projectxcode".
- I Xcode, följ instruktionerna från steg 5.2.2 för att slutföra distributionen.
Obs: för mer information om Vuforia i Unity, gå till länken finns på https://Library.vuforia.com/articles/Training/Getting-Started-with-vuforia-in-Unity.html.
- I Xcode, följ instruktionerna från steg 5.2.2 för att slutföra distributionen.
6. visualisering av appar
- Öppna den installerade appen, som kommer att använda smartphones kamera. När du kör appen, titta på markören med kameran från en kort bit bort (40 cm minimum). När appen upptäcker markören ska de 3D-modeller som skapats i föregående steg visas exakt på den plats som definierats under proceduren på smartphone-skärmen.
Obs: belysningen kan förändra precisionen för markör detektering. Det rekommenderas att använda appen i miljöer med bra ljusförhållanden.
Representative Results
Protokollet tillämpades på data från en patient som lider av distala bensarkom för att visualisera den påverkade anatomiska regionen från ett 3D-perspektiv. Med hjälp av den metod som beskrivs i avsnitt 2, var den del av det drabbade benet (här, skenbenet och vadben) och tumören segmenterade från patientens datortomografi. Sedan, med hjälp av segmenteringsverktyg från 3D slicer, två Biomodels skapades: benet (avsnitt av skenbenet och vadben) (figur 1A) och tumör (figur 1B).
Därefter var de två 3D-modellerna placerade praktiskt taget med avseende på markören för optimal visualisering. Båda lägena som beskrivs i avsnitt 3 följdes för det här exemplet. För visualiserings läge var modellerna centrerade i markörens övre yta (figur 2). För registreringsläget placerades markörens adapter i benet (särskilt skenbenet [figur 3]). Därefter valdes en liten del av skenbenet till att vara 3D-tryckt med en 3D-markör adapter (figur 4). En Ultimaker 3 utökad 3D-skrivare med PLA material användes för att skapa 3D-tryckta markörer (figur 5A, B), markör hållare bas (figur 5C) för "visualisering"-läge, och avsnitt av skenbenet för "registrering"-läge (figur 5D). Figur 5E visar hur markören var kopplad till "visualiserings läget" 3D-tryckt bas. Figur 5F visar tillbehöret med "Registration"-läget 3D-tryckt biomodel. Slutligen användes Unity för att skapa appen och distribuera den på din smartphone.
Figur 6 visar hur appen fungerade för "visualiserings läge". Hologrammet var korrekt placerat i den övre delen av kuben som tidigare definierats. Figur 7 visar programmet för "Registration"-Läget, där appen placerade den kompletta ben modellen ovanpå den 3D-tryckta sektionen. Den slutliga visualiseringen av hologrammen var klar och realistisk, behöll de verkliga storlekarna av Biomodels, och positionerade exakt. När du använder smartphoneapplikationen måste AR-markören synas av kameran för att appen ska kunna visa hologrammen på rätt sätt. Dessutom måste ljusförhållandena i scenen vara av god kvalitet och konstant för korrekt markör detektering. Dåliga ljusförhållanden eller reflektioner på markör ytan hindrar spårningen av AR-markören och orsakar felaktig funktion i appen.
Den tid som krävs för att skapa appen beror på flera faktorer. Varaktigheten för avsnitt 1 begränsas av nedladdningshastigheten. När det gäller anatomi segmentering (avsnitt 2), faktorer som påverkar segmenteringstid inkluderar komplexiteten i regionen och medicinsk avbildning modalitet (dvs., CT är lätt segmenterad, medan MRI är svårare). För det representativa exemplet på skenbenet krävdes ca 10 min för att generera både 3D-modeller från datortomografi. Biomodel positionering (avsnitt 3) är enkelt och okomplicerat. Här tog det ca 5 min att definiera biomodel position med avseende på AR markör. För steget 3D-utskrift är varaktigheten mycket beroende av det valda läget. "Dual Color marker" tillverkades med hög kvalitet under en period av 5 h och 20 min. Den "klistermärke markör" tillverkades i en period av 1 h och 30 min, plus den tid som krävs för att klistra in klistermärken. Det sista steget för apputveckling kan vara tidskrävande för dem som saknar tidigare erfarenhet av enhet, men det kan enkelt slutföras efter protokoll stegen. När AR-markörerna har blivit 3D-tryckta kan utvecklingen av en helt ny AR-app utföras på mindre än 1 h. Denna varaktighet kan minskas ytterligare med ytterligare erfarenhet.
Figur 1: representation av 3D-modeller som skapats från en CT-bild av en patient som lider av distala bensarkom. (A) benvävnad som representeras i vitt (skenben och vadben). B) tumör som representeras i rött. Vänligen klicka här för att se en större version av denna siffra.
Figur 2: resultat som visar hur "visualisering" läge i 3D slicer positioner virtuella 3D-modeller av ben och tumör med avseende på 3D-tryckt markör referens. Patientens 3D-modeller (a) är placerade ovanför markör kubens övre yta (B). Vänligen klicka här för att se en större version av denna siffra.
Figur 3: resultat som visar hur "registrering"-läget i 3D-slicer placerar de virtuella 3D-modellerna av benet och tumören (a) med avseende på 3D-tryckt markör referens (B). Märkadaptern är kopplad till benvävnads modellen. Vänligen klicka här för att se en större version av denna siffra.
Figur 4: liten del av benvävnaden och 3D-märkningsadaptern. De två komponenterna kombineras sedan 3D-tryckt. Vänligen klicka här för att se en större version av denna siffra.
Figur 5:3D-tryckta verktyg som krävs för den slutliga applikationen. (A) "två Color Cube marker" 3D-tryckt med två färger av material. (B) "klistermärke kub markör" 3D-tryckt, med klistermärken klistras. C) kubadapter för markörbas. (D) avsnitt av patientens benvävnad 3D-modell och markör kub adapter. (E) "klistermärke kub markör" placerad i kuben bas kub adapter. (F) "två Color Cube-markörer" placerade i marköradaptern fäst vid patientens anatomi. Vänligen klicka här för att se en större version av denna siffra.
Bild 6: app display när du använder "visualisering"-läge. Patientens påverkade anatomi 3D-modeller är placerade ovanför den övre sidan av den 3D-tryckta kuben. Vänligen klicka här för att se en större version av denna siffra.
Figur 7: ar visualisering när du använder "Registration"-läget. Den 3D-tryckta markören möjliggör registrering av den 3D-tryckta biomodel med virtuella 3D-modeller. Vänligen klicka här för att se en större version av denna siffra.
Discussion
AR har stor potential inom utbildning, yrkesutbildning och kirurgisk vägledning inom det medicinska området. Dess kombination med 3D-utskrifter öppnar kan öppna nya möjligheter i kliniska tillämpningar. Detta protokoll beskriver en metod som gör det möjligt för oerfarna användare att skapa en smartphone app som kombinerar AR och 3DP för visualisering av anatomiska 3D-modeller av patienter med 3D-tryckta referens markörer.
I allmänhet, en av de mest intressanta kliniska tillämpningar av AR och 3DP är att förbättra patient-till-läkare kommunikation genom att ge patienten ett annat perspektiv av ärendet, förbättra förklaringar av specifika sjukdomstillstånd eller behandlingar. En annan möjlig tillämpning inkluderar kirurgisk vägledning för mål lokalisering, där 3D-tryckta patientspecifika verktyg (med en referens AR-markör bifogas) kan placeras på stela strukturer (dvs. ben) och användas som referens för navigering. Denna ansökan är särskilt användbart för ortopediska och käkkirurgiska ingrepp, där benvävnad ytan är lätt att komma åt under operationen.
Protokollet inleds med avsnitt 1, som beskriver arbetsstations uppsättningen och de programvaruverktyg som behövs. Avsnitt 2 beskriver hur du använder 3D slicer programvara för att enkelt segmentera mål anatomies av patienten från någon medicinsk avbildning modalitet för att få 3D-modeller. Detta steg är avgörande, eftersom de virtuella 3D-modeller som skapats är de som visas i den slutliga AR ansökan.
I avsnitt 3 används 3D-slicer för att registrera de 3D-modeller som skapats i föregående avsnitt med en AR-markör. Under detta registreringsförfarande är patientens 3D-modeller effektivt och enkelt positionerade med avseende på AR-markören. Den position som definieras i det här avsnittet avgör hologram relativa position i den slutliga appen. Man tror att denna lösning minskar komplexiteten och multiplicerar de möjliga applikationerna. I avsnitt 3 beskrivs två olika alternativ för att definiera de rumsliga relationerna mellan modellerna och AR-markörerna: "visualisering" och "registrerings"-läge. Det första alternativet, "visualisering" läge, gör att 3D-modeller som ska placeras var som helst med avseende på markören och visas som hela biomodel. Detta läge ger ett realistiskt 3D-perspektiv av patientens anatomi och gör det möjligt att flytta och rotera Biomodels genom att flytta den spårade AR-markören. Det andra alternativet, "Registration"-Läget, gör det möjligt att fästa och kombinera en marköradapter till någon del av biomodel, som erbjuder en automatisk registreringsprocess. Med det här alternativet kan en liten del av 3D-modellen, inklusive marköradaptern, vara 3D-tryckt, och appen kan visa resten av modellen som ett hologram.
Avsnitt 4 innehåller riktlinjer för 3D-utskriftprocessen. Först kan användaren välja mellan två olika markörer: "Dual Color marker" och "klistermärke markör". Hela "Dual Color marker" kan 3D-tryckta men kräver en dubbel extruder 3D-skrivare. Om den här skrivaren inte är tillgänglig föreslås "klistermärkes markören". Detta är en enklare markör som kan erhållas genom 3D-utskrift kubiska strukturen, sedan klistra in bilder av kuben med klistermärke papper eller klistermärke lim. Dessutom var båda markörerna konstruerade med utökningsbara sektioner för att passa perfekt i en specifik adapter. Därför kan markören återanvändas i flera fall.
Avsnitt 5 beskriver processen för att skapa ett Unity-projekt för AR med hjälp av Vuforia Software Development Kit. Detta steg kan vara den svåraste delen för användare utan programmeringserfarenhet, men med dessa riktlinjer bör det vara lättare att få den slutliga ansökan som presenteras i avsnitt 6. Appen visar patientens virtuella modeller över smartphone-skärmen när kameran känner igen den 3D-utskrivna markören. För att appen ska kunna detektera 3D-markören krävs ett minsta avstånd på ca 40 cm eller mindre från telefonen till markören samt goda ljusförhållanden.
Den slutliga tillämpningen av detta protokoll tillåter användaren att välja de specifika Biomodels att visualisera och i vilka positioner. Appen kan dessutom utföra automatisk registrering av patient hologram med en 3D-tryckt markör och adapter som fästs på biomodel. Detta löser utmaningen att registrera virtuella modeller med miljön på ett direkt och bekvämt sätt. Dessutom, denna metod kräver inte breda kunskaper om medicinsk avbildning eller utveckling av programvara, inte är beroende av komplicerad hårdvara och dyr programvara, och kan genomföras under en kort tidsperiod. Det förväntas att denna metod kommer att bidra till att påskynda antagandet av AR och 3DP teknik av sjukvårdspersonal.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Denna rapport stöddes av projekten PI18/01625 och PI15/02121 (Ministerio de Ciencia, innovación y Universidades, Instituto de Salud Carlos III och Europeiska regionala utvecklingsfonden "Una Manera de hacer Europa") och IND2018/TIC-9753 (Comunidad de Madrid).
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
