Medisinsk-grade Steriliserbar Target for Fluid-midt fetoscope optisk forvrengning Calibration

Introduction

Kameraet kalibrering er et velkjent problem i datamaskinen synsfeltet som har blitt intensivt studert i løpet av årene ^{1, 2, 3.} Et viktig trinn i kamerakalibreringsprosedyrer er å estimere parameterne for en forvrengning modell, så vel som de iboende kameraparametere, ved ekstrahering av et gitter av punkter med kjent geometri fra kamerabilder med underpikselnøyaktighet. Kalibrerings mål med et rutemønster med sorte og hvite firkanter blir ofte brukt for dette formål. Rundskriv blobs tilby et alternativ mønster ^{4, 5, 6.}

I de senere årene har det vært en økende interesse for utvikling av kirurgisk navigasjonsteknologi for fosterets kirurgi prosedyrer, for eksempel behandling av tvilling-til-tvilling transfusjonssyndrom (TTTS) på fostre> ^{7, 8, 9, 10.} Som det synsfeltet til den fetoscope (dvs. et endoskop som brukes i føtale kirurgiske inngrep) er svært begrenset, metoder for å kartlegge placental blodkar uten bruk av eksterne sporer er blitt foreslått for å hjelpe til TTTS kirurgi ^{11, 12, 13.} Optiske forvrengninger innenfor fetoscopic bildene har negative effekter på disse beregnings mosaicing metoder som er avhengige av visuell informasjon utvinning ^11. Dermed er det et udekket behov for en kostnadseffektiv og rask verktøy for perioperativt kalibrering fetoscopes slik at optisk forvrengning kompensasjon kan gjøres i sanntid i løpet av intervensjonen.

På grunn av det faktum at den fetoscope er nedsenket i fostervann under intervensjon, brytningsindeksforskjellen mellom enir og fostervann gjengir klassiske kamerakalibreringsmetoder i luften uegnet for fosterets kirurgi prosedyrer. Estimering av fluidfylte kameraparametere fra i-luft kameraparametere er en vanskelig oppgave, og krever i det minste ett bilde av den fluid nedsenket kalibreringsmålet ^14. Videre peri-operative, er væske nedsenket fetoscopic kamerakalibrering for tiden upraktisk på grunn av sterilisering krav og restriksjoner på materialene tillatt i operasjonssalen. På grunn av disse grunner, kalibrering endoskop for optiske skjevheter er vanligvis ikke en del av dagens kliniske arbeidsflyten. Arbeidet i dette manuskriptet er et forsøk på å lukke denne kalibreringen gapet kameraet ved å designe og produsere en steriliseres og praktisk optisk forvrengning kalibreringsmålet med et mønster av asymmetriske sirkler. Tidligere Wengert et al. fabrikkert en tilpasset kalibrering enhet med en oksidert aluminiumsplate som kalibreringsmålet. deres method fungerer imidlertid bare i forbindelse med den tilpassede kalibreringsalgoritme de utviklet ^15.

Protocol

1. Target Fabrication

1. sandblåsing
   1. Forbered en 316 rustfritt stål med en 1,2 mm tykkelse. Ved hjelp av en blyant eller en spiker, tegne en 40 mm x 40 mm firkant på arket ved hjelp av en linjal.
   2. Kutt trukket plassen ved hjelp av en manuell metall cutter. FORSIKTIGHET! Se fingrene.
   3. Bruk en fil for å runde hjørnene og sidene av prøven. FORSIKTIGHET! De er veldig skarp; vær forsiktig.
   4. Fremstille en rett tre- eller metallblokk litt større i størrelse enn de rustfrie stålplater. Plasser kutt ark på det; gjøre dette for å unngå å bøye prøven under sandblåsing.
   5. Plasser montering i indre eksplosjonen kammeret. Husk å bruke en støvsamler og tett forsegle den interne blast kammeret; ellers vil sanden spredt over under prosessen. Bruk vernebriller for å beskytte øynene.
   6. Plasser en blåsepistol vinkelrett på og i det minste 4-5 cm borte fra metalloverflaten. Påfør foten kontrol for sandblåsing. Sett prøven på trestykket (1-2 cm tykk) ved hjelp av en skrustikke, som høytrykks sand flyt kan deformere prøven. Under sandblåsing, holde prøven tett ved kanten av trestykket eller ved å bruke en annen vice.
   7. Gjenta sandblåsing på den andre siden, hvis det er ønskelig å ha en kalibrerings mønster trykt på begge sider.
2. laser mønster
   1. Utforme et mønster av asymmetriske sirkler, som vist i figur 1.
   2. Forbered en tegning utvekslingsformat (DXF-fil) av design bruker CAD programvare eller annet egnet programmeringsspråk.
      MERK: For enkelhets skyld, er en Python program som kan generere DXF filer for design som er nevnt i denne artikkelen gitt som en del av den kompakte GUI-program ^16.
   3. Importer DXF-filer inn i laserskjæring programvare.
   4. Sett opp følgende parametere for bakgrunns etsing. Laser Strøm: 40%, Scan Speed:80 cm / s, Frekvens: 4000 Hz, antall omganger: 1.
   5. Sett opp følgende parametere for etsning mønsteret. Laser Strøm: 40%, Skannehastighet: 2,1 cm / s, Frekvens: 4000 Hz, Antall Passes: 1.
   6. Sett prøven på arbeidsplattformen og justere klippemønster ved hjelp av programvaren.
   7. Etter at laseren utfører kuttet, rydde prøven ved å dyppe den i alkohol. Ikke bruk kluter fordi de vanligvis la uønsket rester.
3. sterilisering
   1. Pakk sterilisert prøven i en sterilisering pakke og sett det i steriliseringsenhet (autoklav).
   2. Tilsett vann (ikke destillert vann) til autoklaven og følg bruksanvisningen / produsentens anbefalinger for å sterilisere målet.

2. Peri-operative Calibration

1. kalibreringsprogramvare
   1. Installer "endocal" endoskop kalibreringsprogramvare pakken levert på GitHub ¹⁶(Følg instruksjonene i README-filen der).
      MERK: Denne programvaren brytes OpenCV kamerakalibreringsmodulen ¹⁷ i en lett-å-bruke praktisk program. Den medfølgende programmet kjøres i to moduser: online og offline. Online-modus kjøper videostrøm direkte fra kompatible frame-grabber maskinvare. Frakoblet modus gir mulighet for lasting endoskop bilder enten fra en videofil eller en mappe med en rekke videobilder lagret som bildefiler. Se README for støttet maskinvare og detaljerte instruksjoner om hvordan du bruker disse to modusene.
2. Endoskopisk video oppkjøp
   MERK: Følgende instruksjoner gjelder for online kalibrering (som beskrevet ovenfor), men de er også gjeldende for offline kalibrering.
   1. Plassere kalibreringsmålet i en steril væskebeholder, slik som en Gallipot.
   2. Fylle beholderen med target-fluid eller et lignende steril substans.
      MERK: For eksempel, i fetoscopic procesedyrer, er målet fluidet fostervann. Siden de optiske egenskaper av fostervann er lik saltholdig vann ^{18, 19,} kan sterilt saltvann vann benyttes til å kalibrere fetoscope.
   3. Juster zoom og skarpheten på endoskopet som ønsket.
   4. Dyppe endoskopet i fluidet og holde den i en avstand fra kalibreringsmålet lik avstanden fra anatomi at endoskopet senere vil bli brukt ved.
   5. Start kalibrering programmet og starte kameraet oppkjøpet.
   6. Flytt tuppen av endoskopet litt for ulike syn samtidig som hele kalibreringsmønster i lys av kameraet. For optimal ytelse, holde elliptiske legenden rundt kalibrering mønster i den sirkulære visning av endoskop.
      MERK: Video rammer som er brukbare for kalibrering er angitt med en virtuell mønster overlegg, som vist i Figur 3.
   7. Acquire minst minimum antall endoskopiske kameravinkler som kreves for kalibrering (som angitt i endocal vindu).
      MERK: Den gjeldende versjonen av endocal krever minst 10 endoskopiske kameravinkler for kalibrering, en heuristisk valgt antall visninger der kalibreringsfeil synes å være minimal og følger et stabilt mønster ^20.
   8. Trykk på kalibrerings tasten, som angitt på endocal vinduet, for å starte kalibreringsprosessen ved hjelp av bildene ervervet så langt.
3. Lagre og bruke kalibreringsparametrene
   1. Trykk målt kalibrerings tasten for å lagre de resulterende kalibreringsparametrene i en YAML ( "YAML Er ikke Markup Language") fil ^21.
   2. Gruppe kalibreringsparametrene i kameraet matrise og forvrengning koeffisienter, som forklart i OpenCV kamerakalibrering modul ^17.
      MERK: Etter å ha utført kalibrering, kalibreringProgrammet viser automatisk den korrigerte bildet til høyre for den opprinnelige endoskop bildet.
   3. Bruk korrigerte video fôr under et fetoscopic prosedyre for ren visualisering eller for sanntids placenta mosaicing ^11.

Representative Results

Vi har opprettet en steriliserbar kalibreringsmålet ved å etse et mønster av asymmetrisk sirkel på en sandblåst rustfritt stål, metallplate, hvis utforming er vist i figur 1. Et eksemplar oppsett som viser denne kalibreringsmålet i aksjon, sammen med en fetoscope er vist i figur 2. For å mate dette design i laser etsing programvare, ble et egendefinert program implementert i programmeringsspråket Python ^16. Opprette design mønster innebærer gjentatte etsning parallelle linjer på en metallplate. For mønsteret for å ha en jevn farge til slutt, bør avstanden mellom disse linjene er mindre enn bredden av laserstrålen (se innfelt i figur 1) -dette verdi er 45 mikrometer for Violino (LASERVALL) laserskjærer.

rong> Figur 1: Utforming av gravert mønster med en 3-by-11 rutenett av asymmetriske sirkler. Innfelt: zoomet inn visning av rutenett av asymmetriske sirkler. Avstanden mellom linjene er 45 pm (tilsvarende laserstrålebredde), og hver sirkel har en diameter på 1 mm. Andre størrelser kan brukes for gitteret også, men dette ble funnet å være optimal med hensyn til fetoscope synsfelt. Klikk her for å se en større versjon av dette tallet.

Figur 2: Forbilde oppsett med kalibreringsmålet i bruk. Tuppen av for nedsenkning i vann fetoscope er rettet mot kalibreringsmålet på høyre side. Til venstre er en britisk krone å gi skala informasjon."Target =" _ blank "> Klikk her for å se en større versjon av dette tallet.

Den fremstilte kalibreringsmålet muliggjør påvisning av det sirkulære mønster i endoskopisk videostrømmen med OpenCV ^17, hvis steder blir deretter sortert i den forhåndsdefinerte asymmetrisk sirkulær rist (se figur 3). Ved hjelp av denne informasjonen i forbindelse med den allerede kjente gittergeometri, kan interne kameraparametere estimeres. Disse inkluderer kameraet matrise og forvrengnings koeffisienter. Kameraet matrise består av brennvidder og de optiske sentre langs x- og y-aksen av 2D bildeplanet. De forvrengning koeffisientene er basert på Brown-Conrady modell ^3. Merk at for dette arbeidet, bare de radiale forvrengning parametere ble estimert. For en kort diskusjon av teori, praktiske eksempler, se nettsiden til OpenCV kamerakalibrering modul <sup class = "xref"> 17 og kalibreringsverktøykassen MATLAB kamera ^22. Flere detaljer om kamerakalibreringsprosedyren er tilgjengelig i Zhang arbeid ^20. Den endocal programvare depotet har et utvalg datasett på 10 endoskopiske utsikt over fabrikkert kalibreringsmålet ^16. Ved hjelp av dette datasettet, en kalibrering med en midlere re-projeksjonsfeil på 0,28 piksler (min: 0,16, maks: 0,45) ble erholdt. Dette er sammenlignbart med 0,25 bildeelementer som er rapportert av Wengert et al. ved hjelp av deres egne kalibreringsalgoritme ^15. Den samme forskergruppen har imidlertid rapportert om en re-projeksjonsfeil på 0,6 piksler i en nyere papir når du bruker metoden i ¹⁵ for å kalibrere en endoskopisk kamera som brukes for morkake mosaicing ^18.

16 med det oppdaget kalibrering mønster kledde på live video stream hjelp av virtual reality visualisering fra OpenCV ^17. Merk at hver søyle detektert i kalibrerings mønster understrekes av en annen farge. De detekterte sirkler, i forbindelse med den kjente geometri, blir brukt for å beregne kameraparametere. Klikk her for å se en større versjon av dette tallet.

De estimerte kameraparameterne brukes for optisk forvrengning korreksjon. Figur 4 viser et rektangulært mønster sjakkbrett, som sett ved hjelp av en fetoscope, hvor optiske forvrengninger gjøre linjene vist som kurver. Merk at linjene vises normalt i distortipå korrigert bilde.

Figur 4: Optisk forvrengning korreksjon. En skjermdump fra kalibrerings program ¹⁶ med den levende videobildet fra et fetoscope opptak fra rutemønster (til venstre) med korrigerte bilde (høyre). Tre eksempelvise linjer trekkes i begge bilder, hver fra en sone til en annen, hvor banen er lineær. På grunn av de optiske forvrengninger, disse ledninger vist som kurver i de opprinnelige bildene fetoscope. Klikk her for å se en større versjon av dette tallet.

Discussion

Sandblåsing er et viktig skritt i fabrikasjonsprosessen fordi den rå metalloverflaten tydelig reflekterer endoskop lys, noe som gjør det umulig for sirklene for å bli oppdaget. Det er vanskelig å skille de kretser selv med det blotte øye (se figur 5). Legg merke til at overflaten av målet vist allerede etset med en laser. Men dette betyr ikke minske lysrefleksjon.

Figur 5: Kalibrering mål uten sandblåsing brukt. Sett fra endoskopet visningen til venstre, gjenskinn fra endoskopet lys på materialet overflaten gjør det vanskelig selv for det blotte øye å skille sirklene (det er en sirkel like sørøst for den store refleksjon). Legg merke til at overflaten av dette målet (dvs. den "bakgrunn") ble allerede etset, men dette er ikke nyttig i fravær av sandblåsing. Klikk her for å se en større versjon av dette tallet.

Før mønster etsing, er det også viktig å etse overflaten av hele prøven. Dette er nødvendig fordi den sandblåst overflate har mange speilende refleksjoner (se figur 6), som forstyrre klumpen deteksjon.

Figur 6: sandblåst overflate med ingen etsing. Selv om ikke så fremtredende som den rå metalloverflaten, de relativt små speil refleksjoner (hvorav noen er uthevet med gule piler) er fortsatt tilstrekkelig til å hindre blob deteksjon fra å lykkes, så ingen kalibrering kan utføres med dette målet.Arget = "_ blank"> Klikk her for å se en større versjon av dette tallet.

Bruk av laser ved ulike hastigheter gir forskjellige bakgrunnsfarger. Bakgrunnsfargen spiller en betydelig rolle i kontrasten mellom sirkler og bakgrunnen. Derfor er det viktig å bestemme den optimale bakgrunnsfarge. For dette formålet, en plate med sirkler etset mot et sett av ulike bakgrunner ble opprettet (se figur 7). Den bakgrunn ble testet ved hjelp av funksjonen deteksjonsmodulen av OpenCV ^23, som brukes i den OpenCV kamerakalibreringsmodulen ^17. I dette arbeidet ble målet laget av rustfritt stål, som er det mest vanlige og pålitelig materiale som brukes i klinikker for medisinsk utstyr. Dette materialet er fritt tilgjengelig, ikke dyrt, robust og lett å sterilisere. Andre materialer kan potensielt bli anvendt for kalibreringsmålet, slik som aluminium eller joderte metaller, men dette er Scope av det videre arbeidet.

Figur 7: Rustfritt stål med en palett av forskjellige bakgrunnsfarger etset med laser. Praktiske eksperimenter ble utført i forbindelse med OpenCV funksjonen deteksjonsmodulen til å bestemme hvilke bakgrunnsfarge gir det optimale resultat i form av kvikksølvdråpe-til-bakgrunn kontrast ^23. Endoskopet utsikt til venstre viser platen. De moderate bakgrunnsfarger (dvs. de andre at de mørkeste og lyseste seg) i denne paletten gi bedre blob gjenkjenning. Klikk her for å se en større versjon av dette tallet.

En av fordelene ved dette arbeidet er det å utføre en kalibrering ved hjelp av den fremstilte målet tar 2-3 minutter. Mesteparten av innsatsen gåes til å stabilisere endoskopet manuelt for å få anstendig utsikt over kalibreringsmønster. Ved hjelp av en spesialbygde endoskop holderen kunne eliminere behovet for manuell stabilisering, som igjen kunne gi en betydelig forkorte kalibreringstiden.

Video 1: Video som viser hvordan optisk forvrengning kalibrering kan utføres ved hjelp av utviklet kalibreringsmålet sammen med endocal programvare. Klikk her for å se denne videoen. (Høyreklikk for å laste ned.)

En fordel med vårt arbeid i forhold til arbeidet med Wengert et al. ¹⁵ er at den OpenCV kameraet kalibreringsmodulen ¹⁷ kan anvendes som er for kalibrering, uten at det kreves noen modifikasjon eller tilpasset Parameterization. Fordi OpenCV er et veletablert og godt vedlikeholdt programvarepakke, og er veldig populært i datamaskinen visjon samfunnet, bruker den eliminerer behovet for å skrive og vedlikeholde tilpasset programvare. For leserens bekvemmelighet, er en kompakt GUI-programmet som følger ^16, som leseren enkelt kan installere og bruke til å teste nye kalibrerings mål. En ulempe ved vår metode sammenlignet med Wengert et al. ¹⁵ er at deres metode er mer robust overfor okklusjoner av mønsteret, da det ikke krever gjenkjenning av alle klumper.

I første omgang ble en kalibreringsmålet med et rutemønster fabrikkert for dette arbeidet. Men denne type av kalibreringsmålet viste seg å være uegnet i eksperimenter på grunn av vanskeligheten med å detektere hjørnene av sjakkbrett kvadrater. Corner deteksjon er avhengig av histogram-baserte bilde binarization (se OpenCV kildekode ^24). dette impligger behovet for en klar farge kontrast mellom mørke og lyse firkanter, som ikke kan garanteres med våre rutemønster, delvis på grunn av speil refleksjoner, som de som er vist i figur 6. Slike speil refleksjoner er til stede selv etter bakgrunn etsning; men synes påvisning av sirklene for å være mindre følsom for denne brist.

I dagens oppsett, bare loddrette utsikt over kalibreringsmålet tillate vellykket blob deteksjon. Dette er på grunn av de speilende refleksjoner fra skiveoverflaten hindrer klumpen deteksjon ved skrå vinkler. Vi jobber med å ytterligere forbedre målet, slik som å tillate oppkjøpet av synspunkter på et bredere spekter av vinkler, noe som potensielt kan forbedre kvaliteten på utførte kalibreringer ^20.

I sanntids-placenta mosaicing rør som tidligere var foreslått ^11, beregningen av transformasjon som kartbildeparene er avhengig av vellykket påvisning og gruppering av funksjoner. Optiske forvrengninger, på den annen side føre til en gruppe av funksjoner med en stiv geometri skal vises forskjellig på tvers av bilder. Som en konsekvens, fører denne forskjellen til unøyaktigheter i de beregnede transformasjoner, som forårsaker fonner i de resulterende bilde mosaikk. Fordi de mest fremtredende optiske forvrengninger er til stede mot kantene, er endoskopiske bildene som beskjæres til sine innerste regioner. En god korreksjon for optiske forvrengninger ville gjøre det mulig for inkorporering av en større del av hvert bilde i mosaicing prosessen. Fordelen med denne metoden er todelt. For det første ville det øke antall påviste egenskaper i hvert bilde, noe som øker beregningen av bildetransformasjoner. For det andre, vil det gi rom for hele målet anatomiske overflaten som skal rekonstrueres i en kortere tid.

Materials

Name	Company	Catalog Number	Comments
1.2 mm Metal sheet 316 Grade, 40 mm by 40 mm
Water container at least 50 mm by 50 mm by 30 mm
A sterilization package
Saline water
Manual metal cutter
A file to round up the corners
A wooden or metal block 50 mm by 50 mm at least 10 mm thick
A vice (desirable but not required)
Sand Blasting machine
GUI application to create .dxf file with the pattern			https://github.com/gift-surg/endocal
PC
Laser Cutter
Autoclave
An endoscope calibration software			from GitHub: https://github.com/gift-surg/endocal
Endoscope
OpenCV camera calibration module			http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html
Safety goggles
A lab coat
A ruler and a marker
Alcohol (preferably ethanol) for dust removal and cleaning