Dieser Artikel beschreibt das Design und die Entwicklung eines sterilisierbaren benutzerdefinierten Kamera-Kalibrierungsziels für die perioperative, in Flüssigkeit getauchte Kalibrierung von Endoskopen bei endoskopischen Eingriffen.
Methodenartikel
* These authors contributed equally
Dieser Artikel beschreibt das Design und die Entwicklung eines sterilisierbaren benutzerdefinierten Kamera-Kalibrierungsziels für die perioperative, in Flüssigkeit getauchte Kalibrierung von Endoskopen bei endoskopischen Eingriffen.
Wir haben ein Kalibrierungsziel für die Verwendung mit flüssigkeitsgetauchten Endoskopen im Rahmen des Projekts GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery) entwickelt. Eines der Ziele dieses Projekts ist es, neuartige Echtzeit-Bildverarbeitungsmethoden für den intraoperativen Einsatz bei der Behandlung von angeborenen Geburtsfehlern wie Spina bifida und dem Twin-to-Twin-Transfusionssyndrom zu entwickeln. Das entwickelte Target ermöglicht die sterilitätserhaltende Kalibrierung der optischen Verzerrung von Endoskopen innerhalb weniger Minuten. Eine gute Kalibrierung und Kompensation optischer Verzerrungen ist wichtig, um unerwünschte Effekte wie radiale Verzerrungen zu mildern, die nicht nur eine genaue Bildgebung mit bestehender endoskopischer Technologie während der fetalen Chirurgie behindern, sondern auch die aufgenommenen Bilder weniger geeignet für potenziell sehr nützliche Bildverarbeitungsanwendungen wie Echtzeit-Mosaikierung machen. In diesem Artikel wird eine neuartige Herstellungsmethode vorgeschlagen, um ein erschwingliches, sterilisierbares Kalibriertarget zu schaffen, das für den Einsatz in einem klinischen Aufbau geeignet ist. Bei diesem Verfahren wird ein Kalibriermuster durch Laserschneiden eines sandgestrahlten Edelstahlblechs geätzt. Dieses Ziel wurde mit dem Kamerakalibrierungsmodul von OpenCV validiert, einer hochmodernen Softwarebibliothek, die in der Computer-Vision-Community beliebt ist.
Kamerakalibrierung ist ein gut bekanntes Problem in der Computervision - Feld , das 1 intensiv untersucht in den letzten Jahren wurde, 2, 3. Ein Schlüsselschritt der Kamerakalibrierungsverfahren ist es, die Parameter eines Verzerrungsmodells abzuschätzen, sowie die intrinsischen Kameraparameter, die durch ein Gitter von Punkten mit einer bekannten Geometrie von Kamerabildern mit Sub-Pixel-Genauigkeit zu extrahieren. Kalibrierungs-Targets mit einem Schachbrettmuster mit schwarzen und weißen Quadraten werden für diesen Zweck verwendet. Rund Blobs bieten eine alternative Muster 4, 5, 6.
In den letzten Jahren gab es ein wachsendes Interesse an der Entwicklung von chirurgischen Navigationstechnik für die fetale Chirurgie Verfahren, wie zum Beispiel die Behandlung von Twin-to-twin Transfusionssyndrom (FFTS) auf Föten hat> 7, 8, 9, 10. Da das Sichtfeld des fetoscope (dh ein Endoskop in fetal chirurgischen Verfahren verwendet wird ) ist sehr begrenzt, Verfahren zum Abbilden der Vaskulatur der Plazenta ohne die Verwendung von externen Tracker vorgeschlagen 11 TTTS Operation zu unterstützen, 12, 13. Optische Verzerrungen innerhalb fetoscopic Bilder haben negative Auswirkungen auf diesen Rechen Mosaiking Methoden , die 11 auf der visuellen Informationsextraktion verlassen. Somit besteht ein unerfüllter Bedarf für eine kosteneffiziente und schnelle Werkzeug zur peri-operativ Kalibrieren fetoscopes so dass optische Verzerrungskompensation in Echtzeit während des Eingriffs durchgeführt werden kann.
Aufgrund der Tatsache, dass die fetoscope in Fruchtwasser während des Eingriffes eingetaucht ist, die Brechungsindexdifferenz zwischen air und Fruchtwasser macht für die fetale Chirurgie Verfahren in Luftkamerakalibrierungsverfahren ungeeignet klassisch. Fluidgefüllte Kamera Abschätzen Parameter von in-Luft - Kameraparameter ist eine schwierige Aufgabe und erfordert mindestens ein Bild des fluid getaucht Kalibrierungsziel 14. Darüber hinaus perioperativen, Flüssigkeit getauchten fetoscopic Kamerakalibrierung ist derzeit nicht praktikabel aufgrund Sterilisation Anforderungen und Einschränkungen für die Materialien im Operationssaal erlaubt. typischerweise nicht Teil des aktuellen klinischen Workflow Aus diesen Gründen ist Endoskope für optische Verzerrungen zu kalibrieren. Die Arbeit in diesem Manuskript ist ein Versuch, diese Kamerakalibrierung Lücke zu schließen, durch die Gestaltung und sterilisierbar und praktische optische Verzerrung Kalibrierungsziel Herstellung eines Musters der asymmetrischen Kreise kennzeichnet. Zuvor Wengert et al. eine eigene Kalibrierungseinrichtung eine oxidierte Aluminiumplatte als Kalibrierungsziel hergestellt kennzeichnet. ihre Method funktioniert jedoch nur in Verbindung mit dem benutzerdefinierten Kalibrierungsalgorithmus sie 15 entwickelt.
1. Ziel Fabrication
2. Perioperative Kalibrierung
Wir haben eine sterilisierbare Kalibrierungsziel durch Ätzen eines Musters von asymmetrischen Kreis auf einem sandgestrahlten Edelstahlblech, dessen Aufbau in Figur 1 gezeigt. Ein Exemplar dieses Setup - Kalibrierungs - Target in Aktion zusammen mit einem fetoscope zeigt , ist in Abbildung 2 dargestellt. Um diesen Entwurf in das Laserätzen Software füttern, um eine benutzerdefinierte Anwendung wurde in der Programmiersprache Python 16 implementiert. die Designmuster Erstellen beinhaltet iterativ parallele Linien auf einem Blech geätzt wird. Für das Muster eine konsistente Farben am Ende zu haben, sollte der Abstand zwischen diesen Linien ist als die Breite des Laserstrahls geringer sein (siehe Einschub in Abbildung 1) -Dieser Wert 45 & mgr; m für die Violino (Laservall) Laserschneider ist.

rong> Bild 1: Aufbau des gravierten Musters ein 3-by-11 Raster von asymmetrischen Kreise kennzeichnet. Kleines Bild: Zoom-In Ansicht des Gitters asymmetrischer Kreisen. Der Abstand zwischen den Linien beträgt 45 & mgr; m (gleich der Laserstrahlbreite), und jeder Kreis einen Durchmesser von 1 mm. Andere Abmessungen können für das Gitter ebenfalls verwendet werden, aber dies gefunden wurde in Bezug auf die fetoscope Sichtfeld optimal zu sein. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.

Abbildung 2: Exemplar Setup mit dem Kalibrierungsziel im Einsatz. Die Spitze des wasser getaucht fetoscope an der Kalibrierungsziel auf der rechten Seite gerichtet. Auf der linken Seite ist eine britische Penny Skala Informationen zur Verfügung zu stellen."Target =" _ blank "> Bitte hier klicken, um eine größere Version dieser Figur zu sehen.
Die hergestellte Kalibrierungsziel ermöglicht die Erfassung der kreisförmigen Muster in dem endoskopischen Videostrom mit OpenCV 17, deren Positionen werden dann in den vordefinierten asymmetrischen Kreis grid sortiert (siehe Abbildung 3). Unter Verwendung dieser Information in Verbindung mit dem bereits bekannten Gittergeometrie kann internen Kameraparameter geschätzt werden. Dazu gehören die Kameramatrix und die Verzerrungskoeffizienten. Die Kameramatrix besteht aus den Brennweiten und den optischen Zentren entlang der x- und y-Achse des 2D-Bildebene. Die Verzerrungskoeffizienten werden auf der Grundlage des Brown-Conrady Modell 3. Beachten Sie, dass für diese Arbeit wurden nur die Radialverzerrungsparameter geschätzt. Für eine kurze Diskussion über die Theorie mit praktischen Beispielen finden Sie auf der Homepage des Kalibrierungsmodul OpenCV Kamera 17 und die MATLAB Kamerakalibrierung Toolbox 22. Mehr Informationen über das Kamerakalibrierungsverfahren sind in Zhang Arbeit 20 zur Verfügung. Die endocal Software - Repository verfügt über ein Beispieldatensatz von 10 endoskopische Ansichten des hergestellten Kalibrierungsziel 16. Unter Verwendung dieses Datensatzes eine Kalibrierung mit einer durchschnittlichen Wiederprojektionsfehler von 0,28 Pixel (min: 0,16, max: 0,45) erhalten. Dies ist vergleichbar mit den Pixeln , die durch 0,25 Wengert et al. mit ihren eigenen Kalibrierungsalgorithmus 15. Die gleiche Arbeitsgruppe berichtete jedoch eine Rückprojektion Fehler von 0,6 Pixeln in einer neueren Arbeit , wenn das Verfahren in 15 zum Kalibrieren eines endoskopischen Kamera verwendet unter Verwendung von 18 Plazenta Mosaikierung.

Abbildung 3: Echtzeit-Erfassung des Kalibrierungsmusters. Ein Screenshot von der Kalibrierungsanwendung 16 den erfassten Kalibrierungsmuster mit überlagert auf dem Live - Videostream 17 die virtuelle Realität Visualisierung von OpenCV verwenden. Man beachte, dass jede detektierte Spalte des Kalibrierungsmusters durch eine unterschiedliche Farbe hervorgehoben wird. Die detektierten Kreise in Verbindung mit der bekannten Geometrie werden zur Berechnung der Kameraparameter verwendet. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Die geschätzten Kameraparameter sind für die optische Verzerrungskorrektur verwendet. Figur 4 zeigt ein rechteckiges Schachbrettmuster, wie eine fetoscope Darstellung unter Verwendung, wobei optische Verzerrungen machen die Linien als Kurven erscheinen. Beachten Sie, dass die Linien normal erscheinen in der distortion-korrigiertes Bild.

Abbildung 4: Optische Verzerrungskorrektur. Ein Screenshot von der Kalibrierungsanwendung 16 , um die Live - Videobild von einem fetoscope Aufnahme aus dem Schachbrettmuster (links) mit dem entzerrten Bild mit (rechts). Drei Ausführungs Linien werden in beiden Bildern, die jeweils von einer Ecke zur anderen gezogen, wobei der Flugbahn linear ist. Aufgrund der optischen Verzerrungen erscheinen diese Linien als Kurven in den ursprünglichen fetoscope Bilder. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Sandblasting ist ein wichtiger Schritt im Herstellungsprozess, da die rohen Metalloberfläche prominent das Endoskop Licht reflektiert, so dass es unmöglich für die Kreise erkannt werden. Es ist schwierig , die Kreise sogar mit bloßem Auge zu unterscheiden (siehe Abbildung 5). Man beachte, daß die Oberfläche des Targets gezeigt bereits mit einem Laser geätzt wurde. Allerdings schmälert dies nicht die Lichtreflexion.

Abbildung 5: Kalibrierung Ziel ohne Sandstrahlen angewendet. Wie aus dem Endoskop Ansicht auf der linken Seite zu sehen ist, für das bloße Auge die Blendung durch das Endoskop Licht auf der Materialoberfläche selbst macht es schwierig, die Kreise zu unterscheiden (es ist ein Kreis, nur im Südosten der großen Reflexion). Man beachte , dass die Oberfläche dieses Ziel (dh die "Hintergrund" bezeichnet ) wurde bereits geätzt, aber dies ist nicht in Abwesenheit von Sandstrahlen nützlich. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Vor dem Muster Ätzen ist es auch wichtig, die Oberfläche der gesamten Probe zu ätzen. Dies ist notwendig , da die sandgestrahlte Oberfläche viele spiegelnde Reflexionen (siehe Abbildung 6), die mit Blob Erkennung stören.

Abbildung 6: sandgestrahlte Oberfläche ohne Ätzen. Obwohl es nicht so prominent wie die rohe Metalloberfläche, die relativ kleinen Spiegelreflexionen (von denen einige mit gelben Pfeilen markiert) sind noch ausreichend blob Erkennung von Erfolg zu hindern, so kann keine Kalibrierung mit diesem Ziel durchgeführt werden.arget = "_ blank"> Bitte klicken Sie hier, um eine größere Version dieser Figur zu sehen.
Anwendung des Lasers bei unterschiedlichen Geschwindigkeiten gibt unterschiedliche Hintergrundfarben. Die Hintergrundfarbe spielt eine bedeutende Rolle in der Kontrast zwischen den Kreisen und den Hintergrund. Daher ist es wichtig, die optimale Hintergrundfarbe zu bestimmen. Zu diesem Zweck wird geätzt , um eine Platte mit Kreisen gegen eine Reihe von verschiedenen Hintergründen erstellt wurde (siehe Abbildung 7). Die Hintergründe wurden unter Verwendung des Merkmalsdetektionsmodul von OpenCV 23, getestet , die 17 in der OpenCV Kamerakalibrierungsmodul verwendet wird. In dieser Arbeit wurde das Target aus rostfreiem Stahl gefertigt, da es die häufigste und zuverlässiges Material in Kliniken für medizinische Vorrichtungen verwendet wird. Dieses Material ist frei erhältlich, nicht teuer, robust und einfach zu sterilisieren. Andere Materialien könnten möglicherweise für das Kalibrierungsziel verwendet werden, wie beispielsweise Aluminium oder jodiertes Metalle, aber dies ist die scope der künftigen Arbeit.

Abbildung 7: Edelstahlplatte , die eine Palette von verschiedenen Hintergrundfarben geätzt mit dem Laser kennzeichnet. Praktische Versuche wurden in Verbindung mit dem OpenCV Merkmal - Erkennungsmodul zu bestimmen , welche Hintergrundfarbe gibt das optimale Ergebnis in Bezug auf die Blob-Hintergrund - Kontrast 23 durchgeführt. Das Endoskop Ansicht auf der linken Seite zeigt die Platte. Die gemäßigten Hintergrundfarben (dh jene anderen , dass die dunkelsten und hellsten sind) in dieser Palette ergeben bessere Blob - Erkennung. Bitte klicken Sie hier , um eine größere Version dieser Figur zu sehen.
Einer der Vorteile dieser Arbeit besteht darin, dass eine Kalibrierung durchgeführt, die fabrizierten Ziel dauert 2-3 min verwendet wird. Der größte Teil der Bemühungen gehenes zu einer Stabilisierung manuell das Endoskop anständige Blick auf das Kalibrierungsmuster zu erhalten. eine maßgeschneiderte Endoskophalterung benutzen, kann die manuelle Stabilisierung, die wiederum erheblich verkürzen könnte die Kalibrierungszeit zu beseitigen.

Video 1: Video zeigt , wie eine optische Verzerrung Kalibrierung des entwickelten Kalibrierungsziel unter Verwendung zusammen mit der endocal Software ausgeführt werden können. Bitte klicken Sie hier , um dieses Video anzusehen. (Rechtsklick zum Download bereit .)
Ein Vorteil unserer Arbeit im Vergleich zu der Arbeit von Wengert et al. 15 ist , dass die OpenCV Kamerakalibrierungsmodul 17 kann verwendet werden , wie für die Kalibrierung ist, ohne jede Änderung oder benutzerdefinierte Para- erforderntrierung. Da OpenCV ist eine gut etablierte und gut gepflegt Softwarepaket und ist sehr beliebt in der Computer-Vision-Community, indem sie die Notwendigkeit für das Schreiben und Wartung von kundenspezifischer Software eliminiert. Für die Bequemlichkeit des Lesers, eine kompakte GUI - Anwendung 16 vorgesehen, die der Leser leicht zu installieren und verwenden , um neue Kalibrierungsziele zu testen. Ein Nachteil der Methode im Vergleich zu Wengert et al. 15 ist , dass ihre Verfahren robuster zu Okklusionen des Musters ist, da es nicht die Erkennung aller Blobs erfordert.
Zunächst wurde ein Kalibrierungsziel mit einem Schachbrettmuster für diese Arbeit hergestellt. Allerdings erwies sich diese Art von Kalibrierungsziel ungeeignet Experimente zu sein aufgrund der Schwierigkeit, die Ecken der Schachbrettquadrate zu erkennen. Corner Erkennung beruht auf Histogramm-basierte Bilddigitalisierungs (siehe OpenCV Quellcode 24). Dieser impliegt die Notwendigkeit einer klaren farblichen Kontrast zwischen den dunklen und hellen Quadraten, die nicht mit unserem Schachbrettmuster gewährleistet werden konnte, teilweise aufgrund von Spiegelreflexionen, wie die in 6 gezeigt diejenigen. Eine solche spiegelnde Reflexionen vorhanden sind, auch nach dem Hintergrund Ätzen; jedoch scheint die Detektion der Kreise als weniger empfindlich auf diesen Mangel.
In der aktuellen Setup, nur senkrecht Ansichten des Kalibrierungsziels ermöglichen für eine erfolgreiche Blob-Erkennung. Dies ist auf den spiegelnden Reflexionen von der Zieloberfläche behindern blob Detektion bei schrägen Winkeln. Wir arbeiten daran , das Ziel weiter zu verbessern , um für den Erwerb von Ansichten in einem größeren Bereich von Winkeln zu ermöglichen, die potentiell die Qualität der durchgeführten Kalibrierungen 20 verbessern könnte.
In der Echtzeit Mosaikierung plazentalen Pipeline , die zuvor 11 vorgeschlagen wurde, die Berechnung des transBildung, die Paare Bild beruht auf der erfolgreichen Erkennung und Gruppierung von Funktionen zuordnet. Optische Verzerrungen, andererseits verursachen eine Gruppe von Merkmalen mit einer starren Geometrie unterschiedlich über Bilder erscheinen. Als Folge führt diese Differenz zu Ungenauigkeiten in den berechneten Transformationen, die Driften in den resultierenden Bildmosaiken verursachen. Da die prominentesten optischen Verzerrungen vorhanden zu den Rändern sind, werden derzeit endoskopische Bilder auf ihre innersten Regionen abgeschnitten. Eine gute Korrektur für optische Verzerrungen würden potentiell für die Aufnahme eines größeren Teils jedes Bild in den Mosaikbildungsprozesses ermöglichen. Der Vorteil dieser Methode ist zweifach. Erstens würde es die Anzahl der detektierten Merkmale in jedem Bild zu erhöhen, was möglicherweise die Berechnung der Bildtransformationen zu verbessern. Zweitens wäre es für das gesamte anatomischen Zieloberfläche ermöglichen, in einer kürzeren Zeit zu rekonstruieren.
Die Autoren haben nichts offenzulegen.
Diese Arbeit wurde durch einen Innovative Engineering for Health Award vom Wellcome Trust [WT101957], dem Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1] und einem National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative unterstützt. Jan Deprest wird gefördert durch den Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD als klinischer Forscher 1.8.012.07). Danail Stoyanov erhält Fördermittel aus dem EPSRC (EP/N013220/1, EP/N022750/1), dem EU-FP7-Projekt CASCADE (FP7-ICT-2913-601021) und dem EU-Horizon2020-Projekt EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin wird vom EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) und dem MRC (MR/J01107X/1) gefördert. Marcel Tella wird vom EPSRC finanzierten UCL Centre for Doctoral Training in Medical Imaging (EP/L016478/1) unterstützt.
| Name | Unternehmen | Katalognummer | Kommentare |
|---|---|---|---|
| 1,2 mm Blech 316 Güte, 40 mm x 40 mm | |||
| Wasserbehälter mindestens 50 mm x 50 mm x 30 mm | |||
| Ein Sterilisationspaket | |||
| Salzwasser Manueller | |||
| Metallschneider | |||
| Eine Feile zum Abrunden der Ecken | |||
| Ein Holz- oder Metallblock von 50 mm x 50 mm, mindestens 10 mm dick | |||
| Ein Schraubstock (wünschenswert, aber nicht erforderlich) | |||
| Sandstrahlmaschine | |||
| GUI-Anwendung zum Erstellen einer .dxf-Datei mit dem Muster | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoklav | |||
| Eine Endoskop-Kalibrierungssoftware | von GitHub: https://github.com/gift-surg/endocal | ||
| Endoskop | |||
| OpenCV Kamerakalibrierungsmodul | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Schutzbrille | |||
| Einen Laborkittel, | |||
| ein Lineal und einen Marker: | |||
| Alkohol (vorzugsweise Ethanol) zur Staubentfernung und Reinigung |