Ten artykuł opisuje projektowanie i rozwój sterylizowalnego celu kalibracji zniekształceń optycznych kamery do okołooperacyjnej, zanurzonej w płynie kalibracji endoskopów podczas interwencji endoskopowych.
Artykuł metodologiczny
* These authors contributed equally
Ten artykuł opisuje projektowanie i rozwój sterylizowalnego celu kalibracji zniekształceń optycznych kamery do okołooperacyjnej, zanurzonej w płynie kalibracji endoskopów podczas interwencji endoskopowych.
Opracowaliśmy cel kalibracji do użytku z endoskopami zanurzonymi w płynie w kontekście projektu GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Jednym z celów tego projektu jest opracowanie nowatorskich metod przetwarzania obrazów w czasie rzeczywistym do śródoperacyjnego zastosowania w leczeniu wrodzonych wad wrodzonych, takich jak rozszczep kręgosłupa i zespół transfuzji między bliźniętami. Opracowany wzorzec pozwala na kalibrację endoskopów z zachowaniem sterylności zniekształceń optycznych w ciągu kilku minut. Dobra kalibracja i kompensacja zniekształceń optycznych są ważne dla łagodzenia niepożądanych efektów, takich jak zniekształcenia promieniowe, które nie tylko utrudniają dokładne obrazowanie przy użyciu istniejącej technologii endoskopowej podczas operacji płodu, ale także sprawiają, że uzyskane obrazy są mniej odpowiednie do potencjalnie bardzo przydatnych zastosowań przetwarzania obrazu, takich jak mozaika w czasie rzeczywistym. W tym artykule zaproponowano nowatorską metodę wytwarzania w celu stworzenia niedrogiego, sterylizowalnego celu kalibracji, nadającego się do użycia w konfiguracji klinicznej. Metoda ta polega na wytrawieniu wzoru kalibracyjnego poprzez cięcie laserowe piaskowanej blachy ze stali nierdzewnej. Cel ten został zweryfikowany przy użyciu modułu kalibracji kamery dostarczonego przez OpenCV, najnowocześniejszą bibliotekę oprogramowania popularną w społeczności komputerowych systemów wizyjnych.
Kalibracja kamery jest dobrze znanym problemem w dziedzinie widzenia komputerowego, który był intensywnie badany przez lata1,2,3. Kluczowym krokiem procedur kalibracji kamery jest oszacowanie parametrów modelu zniekształceń, a także wewnętrznych parametrów kamery, poprzez wyodrębnienie siatki punktów o znanej geometrii z obrazów z kamery z dokładnością subpikselową. Do tego celu powszechnie stosuje się tarcze kalibracyjne z wzorem szachownicy z czarnymi i białymi kwadratami. Okrągłe bloby oferują alternatywny wzorzec4,5,6.
W ostatnich latach obserwuje się rosnące zainteresowanie rozwojem technologii nawigacji chirurgicznej dla procedur chirurgicznych płodu, takich jak leczenie zespołu transfuzji między bliźniętami (TTTS) u płodów7,8,9,10. Ponieważ pole widzenia fetoskopu (tj. endoskopu używanego w zabiegach chirurgicznych płodu) jest bardzo ograniczone, zaproponowano metody mapowania unaczynienia łożyska bez użycia zewnętrznych trackerów, aby wspomóc chirurgię TTTS11,12,13. Zniekształcenia optyczne w obrazach fetoskopowych mają niekorzystny wpływ na te metody mozaiki obliczeniowej, które opierają się na ekstrakcji informacji wizualnych11. W związku z tym istnieje niezaspokojone zapotrzebowanie na ekonomiczne i szybkie narzędzie do okołooperacyjnej kalibracji fetoskopów, tak aby kompensacja zniekształceń optycznych mogła być wykonywana w czasie rzeczywistym podczas interwencji.
Ze względu na fakt, że fetoskop jest zanurzony w płynie owodniowym podczas interwencji, różnica we współczynniku załamania światła między powietrzem a płynem owodniowym sprawia, że klasyczne metody kalibracji w kamerze powietrznej nie nadają się do zabiegów chirurgii płodu. Oszacowanie parametrów kamery zanurzonej w płynie na podstawie parametrów kamery w powietrzu jest trudnym zadaniem i wymaga co najmniej jednego obrazu celu kalibracji zanurzonej w płynie14. Co więcej, okołooperacyjna, zanurzona w płynie kalibracja kamery fetoskopowej jest obecnie niepraktyczna ze względu na wymagania dotyczące sterylizacji i ograniczenia dotyczące materiałów dozwolonych na sali operacyjnej. Z tych powodów kalibracja endoskopów pod kątem zniekształceń optycznych zazwyczaj nie jest częścią obecnego przepływu pracy klinicznej. Praca zawarta w tym manuskrypcie jest próbą wypełnienia tej luki w kalibracji kamer poprzez zaprojektowanie i wyprodukowanie sterylizowalnego i praktycznego celu kalibracji zniekształceń optycznych z wzorem asymetrycznych okręgów. Wcześniej Wengert i in. wyprodukowali niestandardowe urządzenie kalibracyjne z utlenioną aluminiową płytką jako celem kalibracji. Ich metoda działa jednak tylko w połączeniu z opracowanym przez nich niestandardowym algorytmem kalibracji15.
1. Produkcja docelowa
2. Kalibracja okołooperacyjna
Stworzyliśmy sterylizowalny wzorzec kalibracyjny poprzez wytrawienie wzoru asymetrycznych okręgów na piaskowanym arkuszu stali nierdzewnej, którego projekt przedstawiono na Rysunku 1. Przykładowy układ prezentujący ten wzorzec kalibracyjny w użyciu wraz z fetoskopem pokazano na Rysunku 2. Aby wprowadzić ten projekt do oprogramowania do grawerowania laserowego, zaimplementowano dedykowaną aplikację w języku programowania Python16. Tworzenie wzoru polega na iteracyjnym wytrawianiu równoległych linii na arkuszu metalu. Aby wzór miał na końcu jednolity kolor, odległość między tymi liniami powinna być mniejsza niż szerokość wiązki lasera (patrz: wstawka na Rysunku 1) — w przypadku wycinarki laserowej Violino (Laservall) wartość ta wynosi 45 µm.

Rysunek 1: Projekt grawerowanego wzoru zawierający siatkę asymetrycznych kół o wymiarach 3 na 11. Wstawka: powiększony widok siatki asymetrycznych kół. Odległość między liniami wynosi 45 µm (równa szerokości wiązki lasera), a każde koło ma średnicę 1 mm. Do stworzenia siatki można było użyć innych rozmiarów, jednak ten uznano za optymalny z punktu widzenia pola widzenia fetoskopu. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 2: Przykładowy układ z wykorzystaniem celu kalibracyjnego. Końcówka zanurzonego w wodzie fetoskopu jest skierowana na cel kalibracyjny po prawej stronie. Po lewej stronie znajduje się brytyjski pens, który służy jako punkt odniesienia dla skali. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Wytworzony wzorzec kalibracyjny umożliwia detekcję okrągłego wzoru w strumieniu wideo z endoskopu za pomocą biblioteki OpenCV17, których położenia są następnie przyporządkowywane do zdefiniowanej wcześniej asymetrycznej siatki kolistej (patrz Rysunek 3). Wykorzystując te informacje wraz z już znaną geometrią siatki, można oszacować wewnętrzne parametry kamery. Obejmują one macierz kamery oraz współczynniki dystorsji. Macierz kamery składa się z ogniskowych oraz środków optycznych wzdłuż osi x i y dwuwymiarowej płaszczyzny obrazu. Współczynniki dystorsji opierają się na modelu Brown-Conrady.3Należy zauważyć, że w niniejszej pracy oszacowano jedynie parametry dystorsji radialnej. Krótką dyskusję na temat teorii wraz z przykładami praktycznymi można znaleźć na stronie internetowej modułu kalibracji kamery OpenCV.17 or narzędzie MATLAB camera calibration toolbox22Więcej szczegółów na temat procedury kalibracji kamery znajduje się w pracy Zhanga20Repozytorium oprogramowania endocal zawiera przykładowy zestaw danych obejmujący 10 widoków endoskopowych wykonanego celu kalibracyjnego16Wykorzystując ten zbiór danych, uzyskano kalibrację ze średnim błędem reprojekcji wynoszącym 0,28 piksela (min: 0,16, max: 0,45). Wynik ten jest porównywalny z wartością 0,25 piksela raportowaną przez Wengerta. i wsp. przy użyciu ich autorskiego algorytmu kalibracji15Ta sama grupa badawcza w nowszej publikacji zgłosiła jednak błąd reprojekcji wynoszący 0,6 piksela przy zastosowaniu tej metody w15 do kalibracji kamery endoskopowej wykorzystywanej do badania mozaicyzmu łożyska18.

Rycina 3: Detekcja wzorca kalibracyjnego w czasie rzeczywistym. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający wykryty wzorzec kalibracyjny nałożony na strumień wideo na żywo przy użyciu wizualizacji rzeczywistości wirtualnej z biblioteki OpenCV17. Należy zauważyć, że każda wykryta kolumna wzorca kalibracyjnego jest wyróżniona innym kolorem. Wykryte okręgi, w połączeniu ze znaną geometrią, są wykorzystywane do obliczenia parametrów kamery. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Oszacowane parametry kamery są wykorzystywane do korekcji dystorsji optycznej. Rycina 4 przedstawia prostokątny wzór szachownicy widziany przez fetoskop, gdzie dystorsje optyczne sprawiają, że linie wydają się zakrzywione. Należy zauważyć, że na obrazie po korekcji dystorsji linie wyglądają prawidłowo.

Rysunek 4: Korekcja dystorsji optycznej. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający obraz wideo na żywo z nagrania fetoskopowego wzoru szachownicy (lewo) oraz obraz z poprawioną dystorsją (prawo). Na obu obrazach narysowano trzy przykładowe linie, każda z jednego narożnika do drugiego, gdzie trajektoria jest liniowa. Ze względu na dystorsje optyczne linie te w oryginalnych obrazach z fetoskopu widoczne są jako krzywe. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.
Piaskowanie jest istotnym etapem procesu wytwarzania, ponieważ surowa powierzchnia metalu silnie odbija światło endoskopu, co uniemożliwia wykrycie okręgów. Rozróżnienie okręgów jest trudne nawet gołym okiem (patrz Rysunek 5). Należy zauważyć, że powierzchnia przedstawionego celu została już wytrawiona laserem. Nie zmniejsza to jednak odbicia światła.

Rysunek 5: Wzorzec kalibracyjny bez zastosowania piaskowania. Jak widać w obrazie z endoskopu po lewej stronie, odblask światła endoskopu na powierzchni materiału sprawia, że nawet dla gołego oka trudno jest rozróżnić okręgi (okrąg znajduje się bezpośrednio na południowy wschód od dużego odblasku). Należy zauważyć, że powierzchnia tego wzorca (t.j. „tło”) została już trawiona, jednak nie przynosi to korzyści w przypadku braku piaskowania. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.
Przed trawieniem wzoru istotne jest również wytrawienie powierzchni całej próbki. Jest to konieczne, ponieważ powierzchnia poddana piaskowaniu wykazuje wiele odbić zwierciadlanych (patrz Rysunek 6), co utrudnia detekcję plam (blob detection).

Rycina 6: Powierzchnia piaskowana bez trawienia. Mimo że nie są one tak wyraźne jak na surowej powierzchni metalu, stosunkowo niewielkie odbicia zwierciadlane (niektóre z nich zaznaczono żółtymi strzałkami) są wciąż wystarczające, aby uniemożliwić skuteczną detekcję plam, w związku z czym z wykorzystaniem tego celu nie można przeprowadzić kalibracji. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Stosowanie lasera z różnymi prędkościami pozwala uzyskać różne kolory tła. Kolor tła odgrywa istotną rolę w kontraście między okręgami a tłem. Dlatego kluczowe jest określenie optymalnego koloru tła. W tym celu stworzono płytkę z okręgami wytrawionymi na zestawach różnych teł (patrz Rysunek 7). Tła zostały przetestowane przy użyciu modułu detekcji cech biblioteki OpenCV23, który jest wykorzystywany w module kalibracji kamery OpenCV17. W niniejszej pracy tarcza została wykonana ze stali nierdzewnej, ponieważ jest to najpowszechniejszy i najniezawodniejszy materiał stosowany w klinikach do produkcji urządzeń medycznych. Materiał ten jest powszechnie dostępny, niedrogi, wytrzymały i łatwy do sterylizacji. Do wykonania tarczy kalibracyjnej można by potencjalnie wykorzystać inne materiały, takie jak aluminium lub metale jodowane, jednak wykracza to poza zakres obecnych prac.

Rysunek 7: Stalowa płytka z paletą różnych kolorów tła wytrawionych laserem. Przeprowadzono eksperymenty praktyczne z wykorzystaniem modułu detekcji cech biblioteki OpenCV, aby określić, który kolor tła zapewnia optymalny wynik pod względem kontrastu między obiektem (blobem) a tłem.23Widok z endoskopu po lewej stronie przedstawia płytkę. Umiarkowane kolory tła (t. j. te pozostałe (inne niż najciemniejsze i najjaśniejsze) w tej palecie zapewniają lepszą detekcję plam. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jedną z zalet tej pracy jest fakt, że przeprowadzenie kalibracji przy użyciu wykonanego wzorca zajmuje 2-3 min. Większość wysiłku wiąże się z ręczną stabilizacją endoskopu w celu uzyskania odpowiednich obrazów wzorca kalibracyjnego. Zastosowanie specjalnie zaprojektowanego uchwytu do endoskopu mogłoby wyeliminować konieczność ręcznej stabilizacji, co z kolei mogłoby znacząco skrócić czas kalibracji.

Wideo 1: Materiał wideo pokazujący, w jaki sposób można przeprowadzić kalibrację zniekształceń optycznych przy użyciu opracowanego celu kalibracyjnego wraz z oprogramowaniem endocal. Aby obejrzeć ten film, kliknij tutaj. (Kliknij prawym przyciskiem myszy, aby pobrać.)
Zaletą naszej pracy w porównaniu z pracą Wengerta et al.15 jest to, że moduł kalibracji kamery OpenCV17 może być wykorzystany do kalibracji w formie oryginalnej, bez konieczności wprowadzania jakichkolwiek modyfikacji lub niestandardowej parametryzacji. Ponieważ OpenCV jest uznanym i dobrze utrzymywanym pakietem oprogramowania, który cieszy się dużą popularnością w środowisku wizji komputerowej, jego zastosowanie eliminuje potrzebę pisania i utrzymywania autorskiego oprogramowania. Dla wygody czytelnika udostępniono kompaktową aplikację GUI16, którą można łatwo zainstalować i wykorzystać do testowania nowych wzorców kalibracyjnych. Jedną z wad naszej metody w porównaniu z metodą Wengerta et al.15 jest fakt, że ich rozwiązanie jest bardziej odporne na przesłonięcia wzorca, ponieważ nie wymaga detekcji wszystkich blobów.
Na początku do niniejszej pracy wykonano wzorzec kalibracyjny w układzie szachownicy. Ten rodzaj wzorca kalibracyjnego okazał się jednak nieodpowiedni w eksperymentach ze względu na trudności w detekcji narożników kwadratów szachownicy. Detekcja narożników opiera się na binaryzacji obrazu w oparciu o histogram (patrz kod źródłowy OpenCV24). Wiąże się to z koniecznością zapewnienia wyraźnego kontrastu kolorystycznego między ciemnymi a jasnymi kwadratami, czego nie można było zagwarantować w przypadku naszego wzorca szachownicy, częściowo z powodu odbić zwierciadlanych, takich jak te przedstawione na ryc. 6. Takie odbicia zwierciadlane występują nawet po trawieniu tła; jednak detekcja kół wydaje się być mniej podatna na ten mankament.
W obecnej konfiguracji tylko widoki prostopadłe do celu kalibracyjnego pozwalają na pomyślną detekcję plam (blob detection). Wynika to z odbić zwierciadlanych od powierzchni celu, które utrudniają detekcję plam pod kątami skośnymi. Pracujemy nad dalszą udoskonaleniem celu, aby umożliwić pozyskiwanie widoków w szerszym zakresie kątów, co potencjalnie mogłoby poprawić jakość przeprowadzanych kalibracji20.
W wcześniej zaproponowanym potoku przetwarzania dla mozaikowania łożyska w czasie rzeczywistym11, obliczanie transformacji mapującej pary obrazów opiera się na pomyślnym wykrywaniu i grupowaniu cech. Z kolei zniekształcenia optyczne powodują, że grupa cech o sztywnej geometrii wygląda inaczej na różnych obrazach. W konsekwencji różnica ta prowadzi do nieścisłości w obliczonych transformacjach, co powoduje przesunięcia w powstałych mozaikach obrazów. Ponieważ najbardziej wyraźne zniekształcenia optyczne występują przy krawędziach, obrazy endoskopowe są obecnie przycinane do ich najbardziej wewnętrznych obszarów. Skuteczna korekcja zniekształceń optycznych mogłaby potencjalnie umożliwić włączenie większej części każdego obrazu do procesu mozaikowania. Zaleta tej metody jest dwukrotna. Po pierwsze, zwiększyłoby to liczbę wykrytych cech na każdym obrazie, co potencjalnie poprawiłoby obliczanie transformacji obrazów. Po drugie, pozwoliłoby to na zrekonstruowanie całej docelowej powierzchni anatomicznej w krótszym czasie.
Autorzy nie mają nic do ujawnienia.
Ta praca została wsparta nagrodą Innovative Engineering for Health przyznaną przez Wellcome Trust [WT101957], Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1] oraz National Institute for Health Research Centre UCLH/UCL High Impact Initiative. Jan Deprest jest finansowany przez Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD jako badacz kliniczny 1.8.012.07). Danail Stoyanov otrzymuje dofinansowanie z EPSRC (EP/N013220/1, EP/N022750/1), projektu CASCADE (7PR-ICT-2913-601021) oraz projektu EndoVESPA realizowanego w ramach programu "Horyzont 2020" (H2020-ICT-2015-688592). Sebastien Ourselin otrzymuje dofinansowanie z EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) i MRC (MR/J01107X/1). Marcel Tella jest wspierany przez finansowane przez EPSRC Centrum Kształcenia Doktorantów UCL w zakresie obrazowania medycznego (EP/L016478/1).
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| 1,2 mm Blacha 316 Gatunek, 40 mm na 40 mm | |||
| Pojemnik na wodę co najmniej 50 mm na 50 mm na 30 mm | |||
| Pakiet | |||
| Woda z solą Ręczny | |||
| nóż | |||
| Pilnik do zaokrąglania rogów | |||
| Drewniany lub metalowy klocek o wymiarach 50 mm na 50 mm o grubości | |||
| Imadło (pożądane, ale nie wymagane) | |||
| Aplikacja GUI do piaskowania | |||
| PC | |||
| Wycinarka | |||
| Autoklaw | |||
| kalibracji endoskopu | z GitHub: moduł | ||
| kalibracji | |||
| Endoscope | |||
| gogle | |||
| Fartuch | |||
| Linijka i marker | |||
| Alkohol (najlepiej etanol) do usuwania kurzu i czyszczenia |