Dit artikel beschrijft het ontwerp en de ontwikkeling van een sterieel aangepaste camera optische vervormingskalibratie doelwit voor de peri-operatieve, vloeistof-ondergedompeld kalibratie van endoscopen tijdens endoscopische ingrepen.
Methodenartikel
* These authors contributed equally
Dit artikel beschrijft het ontwerp en de ontwikkeling van een sterieel aangepaste camera optische vervormingskalibratie doelwit voor de peri-operatieve, vloeistof-ondergedompeld kalibratie van endoscopen tijdens endoscopische ingrepen.
We hebben een kalibratiedoelwit ontwikkeld voor gebruik met in vloeistof ondergedompeld endoscoop in de context van het GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) project. Een van de doelen van dit project is om nieuwe, real-time beeldverwerkingsmethoden te ontwikkelen voor intra-operatief gebruik bij de behandeling van aangeboren geboorteafwijkingen, zoals spina bifida en het twin-to-twin transfusie syndroom. Het ontwikkelde doelwit maakt de steriliteit-behoudende optische vervormingskalibratie van endoscopen mogelijk binnen enkele minuten. Goede optische vervormingskalibratie en compensatie zijn belangrijk voor het verminderen van ongewenste effecten zoals radiale vervormingen, die niet alleen nauwkeurige beeldvorming met bestaande endoscopische technologie tijdens foetale chirurgie belemmeren, maar ook de verkregen beelden minder geschikt maken voor potentieel zeer nuttige beeldcomputingtoepassingen, zoals real-time mozaïekwerk. In dit artikel wordt een nieuwe fabricagemethode voorgesteld om een betaalbare, steriele kalibratietarget te maken die geschikt is voor gebruik in een klinische setup. Deze methode omvat het etchende van een kalibratiepatroon door lasercutten van een gezandstraalde roestvrijstalen plaat. Dit doelwit werd gevalideerd met behulp van de camera kalibratie module die wordt geleverd door OpenCV, een state-of-the-art softwarebibliotheek die populair is in de computer vision community.
Camerakalibratie is een bekend probleem in de computer vision veld intensief bestudeerd in de jaren 1, 2, 3. Een belangrijke stap van camerakalibratie procedures om de parameters van een distortion model, alsmede de intrinsieke cameraparameters schatten, door het extraheren van een raster van punten met een bekende geometrie van camerabeelden nauwkeurig sub-pixel. Kalibratiedoelen met een schaakbordpatroon met zwart-witte vierkanten worden vaak gebruikt voor dit doel. Circulaire blobs bieden een alternatief patroon 4, 5, 6.
De laatste jaren is er een groeiende belangstelling voor de ontwikkeling van chirurgische navigatietechnologie voor foetale chirurgie procedures, zoals de behandeling van tweelingtransfusiesyndroom (TTS) met foetussen geweest> 7, 8, 9, 10. Aangezien het gezichtsveld van de fetoscope (dwz een endoscoop in foetale chirurgische procedures) is zeer beperkt, methoden voor het afbeelden van de placenta vasculatuur zonder het gebruik van externe trackers voorgesteld om TTS operatie 11, 12, 13 helpen. Optische vervormingen binnen fetoscopic beelden nadelige gevolgen hebben voor deze computationele mozaïeken methoden die afhankelijk zijn van visuele informatie-extractie 11. Er is dus een onvervulde behoefte aan een rendabele en snelle tool voor peri-operatief kalibreren fetoscopes zodat compensatie optische vervorming in real-time kan tijdens de ingreep.
Vanwege het feit dat de fetoscope in vruchtwater wordt ondergedompeld tijdens de ingreep, de brekingsindex verschil tussen eenir en vruchtwater maakt klassieke in-air camera kalibratie methoden ongeschikt voor foetale chirurgie procedures. Het schatten van vloeistof ondergedompeld camera parameters in de lucht camera parameters is een moeilijke taak en ten minste één beeld van de vloeistof ondergedompeld kalibratiedoel 14 vereist. Bovendien, peri-operatieve, vloeistof ondergedompeld fetoscopic camera kalibratie momenteel onpraktisch als gevolg van sterilisatie eisen en beperkingen van het toegestaan in de operatiekamer materialen. Vanwege deze redenen, kalibreren endoscopen voor optische vervormingen typisch niet meer in de huidige klinische workflow. Het werk in dit handschrift is een poging om deze camera calibratie kloof te dichten door het ontwerpen en produceren van een steriliseerbaar en praktische optische vervorming kalibratierichtwaarde die een patroon van asymmetrische kringen. Voorheen Wengert et al. gefabriceerd van een aangepaste kalibratie-apparaat met een geoxideerd aluminiumplaat als kalibratiedoel. hun method werkt echter alleen in combinatie met de aangepaste kalibratiealgoritme ze ontwikkeld 15.
1. Target Fabrication
2. Peri-operatieve Calibration
We hebben een steriliseerbaar kalibratierichtwaarde door etsen van een patroon van asymmetrische cirkel op een gezandstraalde roestvrijstalen metalen plaat, waarvan het ontwerp is weergegeven in figuur 1. Een voorbeeld setup waarop deze kalibratiewaarde in actie met een fetoscope wordt getoond in figuur 2. Om dit ontwerp worden meegenomen in de laser etsen software, werd een aangepaste toepassing in de programmeertaal Python 16 geïmplementeerd. Het creëren van het ontwerp patroon gaat iteratief etsen parallelle lijnen op een metalen plaat. Voor het patroon een consistente kleur daarna kennen, moet de afstand tussen deze lijnen dan de breedte van de laserbundel (zie de inzet van figuur 1) -dit waarde 45 urn voor Violino (LASERVALL) lasersnijmachine.

rong> Figuur 1: Ontwikkeling van de gegraveerde patroon die een 3-by-11 raster van asymmetrische kringen. Inzet: ingezoomde weergave van het rooster van asymmetrische cirkels. De afstand tussen de lijnen 45 pm (gelijk aan de laserstraal breedte) en elke cirkel een diameter van 1 mm. Andere afmetingen kunnen worden gebruikt voor het raster ook, maar dit bleek optimaal ten opzichte van het gebied fetoscope gezien worden. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Exemplar setup met het kalibratiedoel in gebruik is. De tip van de in water ondergedompeld fetoscope is gericht op het kalibratiedoel aan de rechterkant. Aan de linkerkant is een Britse stuiver op schaal informatie te verstrekken."Target =" _ blank "> Klik hier om een grotere versie van deze figuur te bekijken.
De gefabriceerde kalibratiemodel maakt de detectie van het cirkelvormige patroon in de endoscopische videostroom met OpenCV 17, waarvan de locaties worden vervolgens gesorteerd in de vooraf bepaalde asymmetrische cirkelnet (zie figuur 3). Deze informatie gebruikt in combinatie met de reeds bekende raster geometrie, kan de interne camera parameters worden geschat. Deze omvatten de cameramatrix en verstoring coëfficiënten. De camera matrix bestaat brandpuntafstanden en de optische centra langs de x- en y-as van de 2D beeldvlak. De vervorming coëfficiënten zijn gebaseerd op de Brown-Conrady model 3. Merk op dat voor dit werk alleen de radiale vervorming parameters werden geschat. Voor een korte bespreking van de theorie, met praktische voorbeelden, zie de website van de OpenCV camerakalibratie module 17 en de MATLAB camerakalibratie toolbox 22. Meer details over de camera kalibratie procedure zijn verkrijgbaar in het werk van Zhang's 20. De endocal software repository is voorzien van een steekproef dataset van 10 endoscopische uitzicht op de gefabriceerde kalibratiedoel 16. Gebruik van deze dataset, een kalibratie met een gemiddelde re-projectie onjuiste 0,28 pixels (min: 0,16, max: 0,45) werd verkregen. Dit is vergelijkbaar met de pixels van 0,25 Wengert et al. met behulp van hun aangepaste kalibratie-algoritme 15. Dezelfde onderzoeksgroep meldde echter een nieuwe projectie onjuiste 0,6 pixels in een recent artikel bij gebruik van de werkwijze 15 voor het kalibreren van een endoscopische camera voor placenta mozaïeken 18.

Figuur 3: Real-time detectie van de kalibratie patroon. Een screenshot van de kalibratie applicatie 16 met het gedetecteerde kalibratie patroon overlay op de live video-stream met behulp van de virtual reality visualisatie van OpenCV 17. Merk op dat elke gedetecteerde kolom van de kalibratiepatroon wordt benadrukt door een andere kleur. De gedetecteerde cirkels, samen met de bekende geometrie, worden gebruikt voor het berekenen van de camera parameters. Klik hier om een grotere versie van deze figuur te bekijken.
De geschatte cameraparameters worden gebruikt voor optische vervorming correctie. Figuur 4 toont een rechthoekig schaakbordpatroon, zoals gezien met een fetoscope, waarbij optische vervormingen maken het lijnen als curven. Merk op dat de lijnen verschijnen normaal in de Distortion-gecorrigeerde foto.

Figuur 4: Optische vervorming correctie. Een screenshot van de kalibratie verzoek 16 het live-videobeeld van een fetoscope opname van het schaakbordpatroon (links) met de vervorming gecorrigeerde beeld (rechts) met. Drie exemplarische lijnen getrokken in beide beelden, elk van de ene hoek naar de andere, waarbij het traject lineair. Door de optische vervormingen deze lijnen als curven in de oorspronkelijke fetoscope beelden. Klik hier om een grotere versie van deze figuur te bekijken.
Zandstralen is een belangrijke stap in het fabricageproces omdat het ruwe metaaloppervlak prominent reflecteert de endoscoop licht, waardoor het onmogelijk wordt de cirkels te detecteren. Het is moeilijk om de kringen te onderscheiden, zelfs met het blote oog (zie figuur 5). Merk op dat het oppervlak van het doel reeds aangegeven werd geëtst met een laser. Dit betekent echter niet lichtreflectie verminderen.

Figuur 5: Calibration doel zonder zandstralen toegepast. Zoals blijkt uit de endoscoop zicht aan de linkerkant, de schittering van de endoscoop licht op het oppervlak van het materiaal maakt het moeilijk, zelfs voor het blote oog naar de kringen te onderscheiden (er is een cirkel net ten zuidoosten van de grote reflectie). Merk op dat het oppervlak van het doel (dat wil zeggen, de "achtergrond") al geëtst, maar dit is niet behulpzaam bij afwezigheid van zandstralen. Klik hier om een grotere versie van deze figuur te bekijken.
Vóór patroon etsen, is het ook belangrijk om het oppervlak van het gehele monster etsen. Dit is nodig omdat het gezandstraalde oppervlak veel spiegelende reflecties (zie figuur 6), die interfereren met blob detectie.

Figuur 6: Gezandstraald oppervlak zonder etsen. Hoewel niet zo duidelijk is als het ruwe metaaloppervlak, de relatief kleine spiegelende reflecties (waarvan sommige zijn gemarkeerd met gele pijlen) nog steeds voldoende om te voorkomen blob detectie van slagen, zodat geen kalibratie kan worden uitgevoerd met dit doel.arget = "_ blank"> Klik hier om een grotere versie van deze figuur te bekijken.
Het toepassen van de laser op verschillende snelheden geeft verschillende achtergrondkleuren. De achtergrondkleur speelt een belangrijke rol bij het contrast tussen de cirkels en de achtergrond. Daarom is het essentieel om de optimale achtergrondkleur bepalen. Voor dit doel, een bord met cirkels geëtst tegen een set van verschillende achtergronden is gemaakt (zie figuur 7). De achtergronden werden getest met de functie detectiemodule van OpenCV 23, die wordt gebruikt in de OpenCV Camerakalibratie module 17. In dit werk, is het doel van roestvrij staal, omdat het de meest voorkomende en betrouwbare materialen in klinieken voor medische hulpmiddelen. Dit materiaal is vrij beschikbaar, niet duur, robuust en gemakkelijk te steriliseren. Andere materialen zou kunnen worden gebruikt voor de kalibratie doel, zoals aluminium of gejodeerd metalen, maar dit is het scope van de toekomstige werkzaamheden.

Figuur 7: Roestvrij staal met een palet van verschillende achtergrondkleuren geëtst met de laser. Praktische experimenten werden uitgevoerd in samenwerking met de functie OpenCV detectiemodule te bepalen welke achtergrondkleur optimaal resultaat qua blob naar achtergrondcontrast 23 geeft. De endoscoop zicht op de linkerkant toont het bord. De gematigde achtergrondkleuren (dat wil zeggen, die andere die de donkerste en lichtste ones) in dit palet opleveren beter blob detectie. Klik hier om een grotere versie van deze figuur te bekijken.
Een van de voordelen van dit werk is dat het uitvoeren van een kalibratie met het doel gefabriceerde duurt 2-3 minuten. Het grootste deel van de inspanning te gaanes aan de endoscoop handmatig stabiliseren om fatsoenlijk uitzicht op de kalibratie patroon te verkrijgen. Met behulp van een op maat gemaakte houder endoscoop kan handmatig hoeft te stabiliseren, hetgeen zou kunnen aanzienlijk kalibratie verkorten elimineren.

Video 1: De video toont hoe de optische vervorming kalibratie kan worden uitgevoerd met behulp van de ontwikkelde kalibratiedoel samen met de endocal software. Klik hier om deze video te bekijken. (Klik met de rechtermuisknop om te downloaden.)
Een voordeel van ons werk in vergelijking met het werk van Wengert et al. 15 is dat de OpenCV camerakalibratie module 17 kan worden gebruikt voor kalibratie, zonder enige wijziging of aangepaste parameterization. Omdat OpenCV is een gevestigde en goed onderhouden softwarepakket en is zeer populair in de computer vision gemeenschap, met behulp van het elimineert de noodzaak voor het schrijven en onderhouden van software op maat. Voor het gemak van de lezer, is een compacte GUI applicatie ontvangen # 16, die de lezer gemakkelijk kan installeren en gebruiken om nieuwe kalibratiedoelen testen. Een nadeel van onze methode vergeleken Wengert et al. 15 is dat de werkwijze robuuster in occlusies van de patroon, aangezien het niet de detectie van vlekken vereisen.
Aanvankelijk kalibratiedoel met een dambordpatroon werd vervaardigd voor dit werk. Dit type van kalibratiewaarde bleek ongeschikt voor experimenten te wijten aan de moeilijkheid van het detecteren van de hoeken van de vierkanten dambord. Hoek-detectie is gebaseerd op een histogram gebaseerde image binarisering (zie de OpenCV source code 24). dit impligt de noodzaak van een duidelijk kleurcontrast tussen de donkere en lichte vierkanten, die niet kon worden gegarandeerd met onze dambordpatroon, mede door spiegelende reflecties, zoals de in figuur 6 die. Dergelijke spiegelende reflecties zijn aanwezig, zelfs nadat achtergrond etsen; De detectie van de cirkels schijnt minder gevoelig dit bezwaar te zijn.
In de huidige setup, alleen loodrecht uitzicht op het kalibratiedoel zorgen voor een succesvolle blob detectie. Dit komt door de spiegelende reflecties van het doeloppervlak belemmering blob detectie bij schuine hoeken. We zijn bezig om de doelgroep verder te verbeteren, zodat het mogelijk te maken voor de aankoop van uitzicht op een breder scala van hoeken, die mogelijk de kwaliteit van de uitgevoerde kalibraties 20 zou kunnen verbeteren.
In real time placenta mozaïeken pijpleiding die eerder voorgestelde 11, de berekening van de transformatie die afbeelding paren in kaart is gebaseerd op de succesvolle opsporing en de groepering van de functies. Optische vervormingen, anderzijds, veroorzaken een groep elementen met een stijve geometrie in verschillende beelden. Bijgevolg Dit verschil leidt tot onnauwkeurigheden in de berekende omzettingen, die veranderingen in het resulterende beeldmozaïeken veroorzaken. Omdat de meest prominente optische vervormingen aanwezig zijn naar de randen, worden endoscopische plaatjes bijgesneden om hun diepste gebieden. Een goede correctie voor optische vervormingen zouden potentieel oog op het opnemen van een groter gedeelte van elke afbeelding in het mozaïeken proces. Het voordeel hiervan is tweeledig. In de eerste plaats zou het aantal gedetecteerde functies in elk beeld te verhogen, mogelijk verbeteren van de berekening van het beeld transformaties. Ten tweede zou het mogelijk maken voor de hele doelgroep anatomische oppervlak dat moet worden gereconstrueerd in een kortere tijd.
De auteurs hebben niets te onthullen.
Dit werk werd ondersteund door een Innovative Engineering for Health award van de Wellcome Trust [WT101957], de Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1], en een National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative. Jan Deprest wordt gefinancierd door het Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD als klinisch onderzoeker 1.8.012.07). Danail Stoyanov ontvangt financiering van de EPSRC (EP/N013220/1, EP/N022750/1), het EU-FP7 project CASCADE (FP7-ICT-2913-601021), en het EU-Horizon2020 project EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin ontvangt financiering van de EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) en de MRC (MR/J01107X/1). Marcel Tella wordt ondersteund door het EPSRC-gefinancierde UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1).
| Naam | Bedrijf | Catalogusnummer | Opmerkingen |
|---|---|---|---|
| 1.2 mm Metalplaat 316 Grade, 40 mm bij 40 mm | |||
| Watercontainer minimaal 50 mm bij 50 mm bij 30 mm | |||
| Een sterilisatiepakket | |||
| Zoutwater | |||
| Handmatige metalen snijder | |||
| Een vijl om de hoeken af te ronden | |||
| Een houten of metalen blok 50 mm bij 50 mm minimaal 10 mm dik | |||
| Een vice (wenselijk maar niet vereist) | |||
| Zandstraling machine | |||
| GUI-applicatie om.dxf-bestand met het patroon te maken | https://github.com/gift-surg/endocal | ||
| PC | |||
| Lasersnijder | |||
| Autoclaaf | |||
| Een endoscoop kalibratie software | van GitHub: https://github.com/gift-surg/endocal | ||
| Endoscoop | |||
| OpenCV camera kalibratie module | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Veiligheidsbril | |||
| Een labjas | |||
| Een liniaal en een marker | |||
| Alcohol (bij voorkeur ethanol) voor stofverwijdering en reiniging |