Artykuł metodologiczny

Sterylizowalny cel klasy medycznej do kalibracji zniekształceń optycznych fetoskopu zanurzonego w płynie

7.6K wyświetleń

DOI:

10.3791/55298

23 lutego 2017

* These authors contributed equally

W tym artykule

Podsumowanie

Ten artykuł opisuje projektowanie i rozwój sterylizowalnego celu kalibracji zniekształceń optycznych kamery do okołooperacyjnej, zanurzonej w płynie kalibracji endoskopów podczas interwencji endoskopowych.

Streszczenie

Opracowaliśmy cel kalibracji do użytku z endoskopami zanurzonymi w płynie w kontekście projektu GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Jednym z celów tego projektu jest opracowanie nowatorskich metod przetwarzania obrazów w czasie rzeczywistym do śródoperacyjnego zastosowania w leczeniu wrodzonych wad wrodzonych, takich jak rozszczep kręgosłupa i zespół transfuzji między bliźniętami. Opracowany wzorzec pozwala na kalibrację endoskopów z zachowaniem sterylności zniekształceń optycznych w ciągu kilku minut. Dobra kalibracja i kompensacja zniekształceń optycznych są ważne dla łagodzenia niepożądanych efektów, takich jak zniekształcenia promieniowe, które nie tylko utrudniają dokładne obrazowanie przy użyciu istniejącej technologii endoskopowej podczas operacji płodu, ale także sprawiają, że uzyskane obrazy są mniej odpowiednie do potencjalnie bardzo przydatnych zastosowań przetwarzania obrazu, takich jak mozaika w czasie rzeczywistym. W tym artykule zaproponowano nowatorską metodę wytwarzania w celu stworzenia niedrogiego, sterylizowalnego celu kalibracji, nadającego się do użycia w konfiguracji klinicznej. Metoda ta polega na wytrawieniu wzoru kalibracyjnego poprzez cięcie laserowe piaskowanej blachy ze stali nierdzewnej. Cel ten został zweryfikowany przy użyciu modułu kalibracji kamery dostarczonego przez OpenCV, najnowocześniejszą bibliotekę oprogramowania popularną w społeczności komputerowych systemów wizyjnych.

Wprowadzenie

Kalibracja kamery jest dobrze znanym problemem w dziedzinie widzenia komputerowego, który był intensywnie badany przez lata1,2,3. Kluczowym krokiem procedur kalibracji kamery jest oszacowanie parametrów modelu zniekształceń, a także wewnętrznych parametrów kamery, poprzez wyodrębnienie siatki punktów o znanej geometrii z obrazów z kamery z dokładnością subpikselową. Do tego celu powszechnie stosuje się tarcze kalibracyjne z wzorem szachownicy z czarnymi i białymi kwadratami. Okrągłe bloby oferują alternatywny wzorzec4,5,6.

W ostatnich latach obserwuje się rosnące zainteresowanie rozwojem technologii nawigacji chirurgicznej dla procedur chirurgicznych płodu, takich jak leczenie zespołu transfuzji między bliźniętami (TTTS) u płodów7,8,9,10. Ponieważ pole widzenia fetoskopu (tj. endoskopu używanego w zabiegach chirurgicznych płodu) jest bardzo ograniczone, zaproponowano metody mapowania unaczynienia łożyska bez użycia zewnętrznych trackerów, aby wspomóc chirurgię TTTS11,12,13. Zniekształcenia optyczne w obrazach fetoskopowych mają niekorzystny wpływ na te metody mozaiki obliczeniowej, które opierają się na ekstrakcji informacji wizualnych11. W związku z tym istnieje niezaspokojone zapotrzebowanie na ekonomiczne i szybkie narzędzie do okołooperacyjnej kalibracji fetoskopów, tak aby kompensacja zniekształceń optycznych mogła być wykonywana w czasie rzeczywistym podczas interwencji.

Ze względu na fakt, że fetoskop jest zanurzony w płynie owodniowym podczas interwencji, różnica we współczynniku załamania światła między powietrzem a płynem owodniowym sprawia, że klasyczne metody kalibracji w kamerze powietrznej nie nadają się do zabiegów chirurgii płodu. Oszacowanie parametrów kamery zanurzonej w płynie na podstawie parametrów kamery w powietrzu jest trudnym zadaniem i wymaga co najmniej jednego obrazu celu kalibracji zanurzonej w płynie14. Co więcej, okołooperacyjna, zanurzona w płynie kalibracja kamery fetoskopowej jest obecnie niepraktyczna ze względu na wymagania dotyczące sterylizacji i ograniczenia dotyczące materiałów dozwolonych na sali operacyjnej. Z tych powodów kalibracja endoskopów pod kątem zniekształceń optycznych zazwyczaj nie jest częścią obecnego przepływu pracy klinicznej. Praca zawarta w tym manuskrypcie jest próbą wypełnienia tej luki w kalibracji kamer poprzez zaprojektowanie i wyprodukowanie sterylizowalnego i praktycznego celu kalibracji zniekształceń optycznych z wzorem asymetrycznych okręgów. Wcześniej Wengert i in. wyprodukowali niestandardowe urządzenie kalibracyjne z utlenioną aluminiową płytką jako celem kalibracji. Ich metoda działa jednak tylko w połączeniu z opracowanym przez nich niestandardowym algorytmem kalibracji15.

Protokół

1. Produkcja docelowa

  1. Piaskowanie
    1. Przygotuj blachę ze stali nierdzewnej 316 o grubości 1,2 mm. Za pomocą ołówka lub gwoździa narysuj na arkuszu kwadrat o wymiarach 40 mm x 40 mm za pomocą linijki.
    2. Wytnij narysowany kwadrat za pomocą ręcznego noża do metalu. OSTROŻNOŚĆ! Uważaj na palce.
    3. Użyj pilnika, aby zaokrąglić rogi i boki próbki. OSTROŻNOŚĆ! Są bardzo ostre; Ostrożnie.
    4. Przygotuj prosty drewniany lub metalowy klocek o nieco większym rozmiarze niż blacha ze stali nierdzewnej. Umieść na nim wycięty arkusz; Należy to zrobić, aby uniknąć zginania próbki podczas piaskowania.
    5. Umieść zespół w wewnętrznej komorze śrutowania. Należy pamiętać o użyciu odpylacza i szczelnym uszczelnieniu wewnętrznej komory śrutowania; W przeciwnym razie piasek rozprzestrzeni się po całej powierzchni podczas procesu. Nosić okulary ochronne, aby chronić oczy.
    6. Pistolet do śrutowania należy ustawić prostopadle do metalowej powierzchni i w odległości co najmniej 4-5 cm od niej. Zastosuj rozrusznik nożny do piaskowania. Umieść próbkę na kawałku drewna (o grubości 1-2 cm) za pomocą imadła, ponieważ przepływ piasku pod wysokim ciśnieniem może zdeformować próbkę. Podczas piaskowania należy mocno trzymać próbkę za krawędź kawałka drewna lub za pomocą innego imadła.
    7. Powtórz piaskowanie po drugiej stronie, jeśli pożądane jest wygrawerowanie wzoru kalibracyjnego po obu stronach.
  2. Modelowanie laserowe
    1. Zaprojektuj wzór asymetrycznych okręgów, jak pokazano na rysunku 1.
    2. Przygotuj plik w formacie wymiany rysunków (DXF) projektu za pomocą oprogramowania CAD lub innego odpowiedniego języka programowania.
      UWAGA: Dla wygody, aplikacja w języku Python, która może generować pliki DXF dla projektu wspomnianego w tym artykule, jest dostarczana jako część kompaktowej aplikacji GUI16.
    3. Zaimportuj pliki DXF do oprogramowania do cięcia laserowego.
    4. Ustaw następujące parametry trawienia tła. Moc lasera: 40%, prędkość skanowania: 80 cm/s, częstotliwość: 4 000 Hz, liczba przejść: 1.
    5. Ustaw następujące parametry wytrawiania wzoru. Moc lasera: 40%, prędkość skanowania: 2,1 cm/s, częstotliwość: 4 000 Hz, liczba przejść: 1.
    6. Umieść próbkę na platformie roboczej i wyrównaj wzór cięcia za pomocą oprogramowania.
    7. Po wykonaniu cięcia przez laser należy oczyścić próbkę, zanurzając ją w alkoholu. Nie używaj żadnych chusteczek, ponieważ zwykle pozostawiają one niepożądane pozostałości.
  3. sterylizacja
    1. Zawiń wysterylizowaną próbkę w opakowanie do sterylizacji i włóż ją do jednostki sterylizującej (autoklawu).
    2. Dodaj wodę (nie wodę destylowaną) do autoklawu i postępuj zgodnie z instrukcją obsługi/zaleceniami producenta, aby wysterylizować cel.

2. Kalibracja okołooperacyjna

  1. Oprogramowanie do kalibracji
    1. Zainstaluj pakiet oprogramowania do kalibracji endoskopu "endocal" dostarczony na GitHub16 (postępuj zgodnie z instrukcjami w pliku README).
      UWAGA: To oprogramowanie opakowuje moduł kalibracji kamery OpenCV 17 w łatwą w użyciu, wygodną aplikację. Dostarczona aplikacja działa w dwóch trybach: online i offline. Tryb online pobiera strumień wideo bezpośrednio z kompatybilnego sprzętu do przechwytywania klatek. Tryb offline umożliwia wczytywanie obrazów endoskopowych z pliku wideo lub folderu z pewną liczbą klatek wideo zapisanych jako pliki obrazów. Zapoznaj się z plikiem README, aby zapoznać się z obsługiwanym sprzętem i szczegółowymi instrukcjami dotyczącymi korzystania z tych dwóch trybów.
  2. Endoskopowa akwizycja wideo
    UWAGA: Poniższe instrukcje dotyczą kalibracji online (jak opisano powyżej), ale mają również zastosowanie do kalibracji offline.
    1. Umieść wzorzec kalibracji w sterylnym pojemniku na płyn, takim jak gallipot.
    2. Napełnij pojemnik płynem docelowym lub podobną sterylną substancją.
      UWAGA: Na przykład w zabiegach fetoskopowych płynem docelowym jest płyn owodniowy. Ponieważ właściwości optyczne płynu owodniowego są podobne do wody solankowej18,19, do kalibracji fetoskopu można użyć sterylnej wody solnej.
    3. Dostosuj powiększenie i ostrość endoskopu zgodnie z potrzebami.
    4. Zanurz endoskop w płynie i trzymaj go w odległości zbliżonej do odległości od anatomii, w której endoskop będzie później używany.
    5. Uruchom aplikację kalibracyjną i rozpocznij akwizycję kamery.
    6. Przesuń nieznacznie końcówkę endoskopu, aby uzyskać różne widoki, zachowując cały wzorzec kalibracji w polu widzenia kamery. Aby uzyskać optymalną wydajność, należy umieścić eliptyczną legendę wokół wzorca kalibracji w okrągłym widoku endoskopu.
      UWAGA: Klatki wideo, które można wykorzystać do kalibracji, są oznaczone wirtualną nakładką wzoru, jak pokazano na rysunku 3.
    7. Uzyskać co najmniej minimalną liczbę widoków z kamery endoskopowej wymaganą do kalibracji (jak wskazano w oknie endocalnym).
      UWAGA: Obecna wersja endocal wymaga co najmniej 10 widoków z kamery endoskopowej do kalibracji, heurystycznie wybranej liczby widoków, w których błąd kalibracji wydaje się być minimalny i podąża za stabilnym wzorcem20.
    8. Naciśnij kalibracji, jak wskazano w okienku endocalnym, aby rozpocząć proces kalibracji przy użyciu dotychczas uzyskanych obrazów.
  3. Zapisywanie i korzystanie z parametrów kalibracji
    1. Naciśnij wskazany kalibracji, aby zapisać wynikowe parametry kalibracji w pliku YAML ("YAML Ain't Markup Language") file21.
    2. Pogrupuj parametry kalibracji w matrycę kamery i współczynniki zniekształceń, jak wyjaśniono w module kalibracji kamery OpenCV17.
      UWAGA: Po wykonaniu kalibracji aplikacja kalibracyjna automatycznie wyświetla obraz z korekcją zniekształceń po prawej stronie oryginalnego obrazu endoskopu.
    3. Użyj kanału wideo z korekcją zniekształceń podczas procedury fetoskopowej, aby uzyskać czystą wizualizację lub mozaikowanie łożyska w czasie rzeczywistym11.

Wyniki

Stworzyliśmy sterylizowalny wzorzec kalibracyjny poprzez wytrawienie wzoru asymetrycznych okręgów na piaskowanym arkuszu stali nierdzewnej, którego projekt przedstawiono na Rysunku 1. Przykładowy układ prezentujący ten wzorzec kalibracyjny w użyciu wraz z fetoskopem pokazano na Rysunku 2. Aby wprowadzić ten projekt do oprogramowania do grawerowania laserowego, zaimplementowano dedykowaną aplikację w języku programowania Python16. Tworzenie wzoru polega na iteracyjnym wytrawianiu równoległych linii na arkuszu metalu. Aby wzór miał na końcu jednolity kolor, odległość między tymi liniami powinna być mniejsza niż szerokość wiązki lasera (patrz: wstawka na Rysunku 1) — w przypadku wycinarki laserowej Violino (Laservall) wartość ta wynosi 45 µm.

Schemat ziarna pyłku, wstawka z detalami powierzchni, skala 1 mm, analiza mikroskopowa, badanie biologii roślin.
Rysunek 1: Projekt grawerowanego wzoru zawierający siatkę asymetrycznych kół o wymiarach 3 na 11. Wstawka: powiększony widok siatki asymetrycznych kół. Odległość między liniami wynosi 45 µm (równa szerokości wiązki lasera), a każde koło ma średnicę 1 mm. Do stworzenia siatki można było użyć innych rozmiarów, jednak ten uznano za optymalny z punktu widzenia pola widzenia fetoskopu. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Układ eksperymentu galwanicznego, proces osadzania jonów, moneta i podłoże metalowe w kuwecie z roztworem.
Rycina 2: Przykładowy układ z wykorzystaniem celu kalibracyjnego. Końcówka zanurzonego w wodzie fetoskopu jest skierowana na cel kalibracyjny po prawej stronie. Po lewej stronie znajduje się brytyjski pens, który służy jako punkt odniesienia dla skali. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Wytworzony wzorzec kalibracyjny umożliwia detekcję okrągłego wzoru w strumieniu wideo z endoskopu za pomocą biblioteki OpenCV17, których położenia są następnie przyporządkowywane do zdefiniowanej wcześniej asymetrycznej siatki kolistej (patrz Rysunek 3). Wykorzystując te informacje wraz z już znaną geometrią siatki, można oszacować wewnętrzne parametry kamery. Obejmują one macierz kamery oraz współczynniki dystorsji. Macierz kamery składa się z ogniskowych oraz środków optycznych wzdłuż osi x i y dwuwymiarowej płaszczyzny obrazu. Współczynniki dystorsji opierają się na modelu Brown-Conrady.3Należy zauważyć, że w niniejszej pracy oszacowano jedynie parametry dystorsji radialnej. Krótką dyskusję na temat teorii wraz z przykładami praktycznymi można znaleźć na stronie internetowej modułu kalibracji kamery OpenCV.17 or narzędzie MATLAB camera calibration toolbox22Więcej szczegółów na temat procedury kalibracji kamery znajduje się w pracy Zhanga20Repozytorium oprogramowania endocal zawiera przykładowy zestaw danych obejmujący 10 widoków endoskopowych wykonanego celu kalibracyjnego16Wykorzystując ten zbiór danych, uzyskano kalibrację ze średnim błędem reprojekcji wynoszącym 0,28 piksela (min: 0,16, max: 0,45). Wynik ten jest porównywalny z wartością 0,25 piksela raportowaną przez Wengerta. i wsp. przy użyciu ich autorskiego algorytmu kalibracji15Ta sama grupa badawcza w nowszej publikacji zgłosiła jednak błąd reprojekcji wynoszący 0,6 piksela przy zastosowaniu tej metody w15 do kalibracji kamery endoskopowej wykorzystywanej do badania mozaicyzmu łożyska18.

Kalibracja zniekształceń optycznych; schemat z kolorowym wzorem kropek do analizy akwizycji obrazu.
Rycina 3: Detekcja wzorca kalibracyjnego w czasie rzeczywistym. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający wykryty wzorzec kalibracyjny nałożony na strumień wideo na żywo przy użyciu wizualizacji rzeczywistości wirtualnej z biblioteki OpenCV17. Należy zauważyć, że każda wykryta kolumna wzorca kalibracyjnego jest wyróżniona innym kolorem. Wykryte okręgi, w połączeniu ze znaną geometrią, są wykorzystywane do obliczenia parametrów kamery. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Oszacowane parametry kamery są wykorzystywane do korekcji dystorsji optycznej. Rycina 4 przedstawia prostokątny wzór szachownicy widziany przez fetoskop, gdzie dystorsje optyczne sprawiają, że linie wydają się zakrzywione. Należy zauważyć, że na obrazie po korekcji dystorsji linie wyglądają prawidłowo.

Schemat kalibracji dystorsji optycznej; wzór w kratkę z żółtymi liniami; badanie dystorsji soczewki.
Rysunek 4: Korekcja dystorsji optycznej. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający obraz wideo na żywo z nagrania fetoskopowego wzoru szachownicy (lewo) oraz obraz z poprawioną dystorsją (prawo). Na obu obrazach narysowano trzy przykładowe linie, każda z jednego narożnika do drugiego, gdzie trajektoria jest liniowa. Ze względu na dystorsje optyczne linie te w oryginalnych obrazach z fetoskopu widoczne są jako krzywe. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Dyskusja

Piaskowanie jest istotnym etapem procesu wytwarzania, ponieważ surowa powierzchnia metalu silnie odbija światło endoskopu, co uniemożliwia wykrycie okręgów. Rozróżnienie okręgów jest trudne nawet gołym okiem (patrz Rysunek 5). Należy zauważyć, że powierzchnia przedstawionego celu została już wytrawiona laserem. Nie zmniejsza to jednak odbicia światła.

Układ kalibracji zniekształceń optycznych; korygowanie zniekształceń soczewek; procedura przetwarzania obrazu.
Rysunek 5: Wzorzec kalibracyjny bez zastosowania piaskowania. Jak widać w obrazie z endoskopu po lewej stronie, odblask światła endoskopu na powierzchni materiału sprawia, że nawet dla gołego oka trudno jest rozróżnić okręgi (okrąg znajduje się bezpośrednio na południowy wschód od dużego odblasku). Należy zauważyć, że powierzchnia tego wzorca (t.j. „tło”) została już trawiona, jednak nie przynosi to korzyści w przypadku braku piaskowania. Kliknij tutaj, aby wyświetlić większą wersję tego rysunku.

Przed trawieniem wzoru istotne jest również wytrawienie powierzchni całej próbki. Jest to konieczne, ponieważ powierzchnia poddana piaskowaniu wykazuje wiele odbić zwierciadlanych (patrz Rysunek 6), co utrudnia detekcję plam (blob detection).

Kalibracja zniekształceń optycznych, schemat; proces korekcji wizualnej z zaznaczonymi punktami do regulacji.
Rycina 6: Powierzchnia piaskowana bez trawienia. Mimo że nie są one tak wyraźne jak na surowej powierzchni metalu, stosunkowo niewielkie odbicia zwierciadlane (niektóre z nich zaznaczono żółtymi strzałkami) są wciąż wystarczające, aby uniemożliwić skuteczną detekcję plam, w związku z czym z wykorzystaniem tego celu nie można przeprowadzić kalibracji. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Stosowanie lasera z różnymi prędkościami pozwala uzyskać różne kolory tła. Kolor tła odgrywa istotną rolę w kontraście między okręgami a tłem. Dlatego kluczowe jest określenie optymalnego koloru tła. W tym celu stworzono płytkę z okręgami wytrawionymi na zestawach różnych teł (patrz Rysunek 7). Tła zostały przetestowane przy użyciu modułu detekcji cech biblioteki OpenCV23, który jest wykorzystywany w module kalibracji kamery OpenCV17. W niniejszej pracy tarcza została wykonana ze stali nierdzewnej, ponieważ jest to najpowszechniejszy i najniezawodniejszy materiał stosowany w klinikach do produkcji urządzeń medycznych. Materiał ten jest powszechnie dostępny, niedrogi, wytrzymały i łatwy do sterylizacji. Do wykonania tarczy kalibracyjnej można by potencjalnie wykorzystać inne materiały, takie jak aluminium lub metale jodowane, jednak wykracza to poza zakres obecnych prac.

Schemat kalibracji dystorsji optycznej, korygujący zniekształcenia obrazu za pomocą analizy wzorca siatki.
Rysunek 7: Stalowa płytka z paletą różnych kolorów tła wytrawionych laserem. Przeprowadzono eksperymenty praktyczne z wykorzystaniem modułu detekcji cech biblioteki OpenCV, aby określić, który kolor tła zapewnia optymalny wynik pod względem kontrastu między obiektem (blobem) a tłem.23Widok z endoskopu po lewej stronie przedstawia płytkę. Umiarkowane kolory tła (t. j. te pozostałe (inne niż najciemniejsze i najjaśniejsze) w tej palecie zapewniają lepszą detekcję plam. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Jedną z zalet tej pracy jest fakt, że przeprowadzenie kalibracji przy użyciu wykonanego wzorca zajmuje 2-3 min. Większość wysiłku wiąże się z ręczną stabilizacją endoskopu w celu uzyskania odpowiednich obrazów wzorca kalibracyjnego. Zastosowanie specjalnie zaprojektowanego uchwytu do endoskopu mogłoby wyeliminować konieczność ręcznej stabilizacji, co z kolei mogłoby znacząco skrócić czas kalibracji.

Równowaga statyczna, ustawienie eksperymentu napięcia powierzchniowego, analiza oddziaływań filmu cieczowego.
Wideo 1: Materiał wideo pokazujący, w jaki sposób można przeprowadzić kalibrację zniekształceń optycznych przy użyciu opracowanego celu kalibracyjnego wraz z oprogramowaniem endocal. Aby obejrzeć ten film, kliknij tutaj. (Kliknij prawym przyciskiem myszy, aby pobrać.)

Zaletą naszej pracy w porównaniu z pracą Wengerta et al.15 jest to, że moduł kalibracji kamery OpenCV17 może być wykorzystany do kalibracji w formie oryginalnej, bez konieczności wprowadzania jakichkolwiek modyfikacji lub niestandardowej parametryzacji. Ponieważ OpenCV jest uznanym i dobrze utrzymywanym pakietem oprogramowania, który cieszy się dużą popularnością w środowisku wizji komputerowej, jego zastosowanie eliminuje potrzebę pisania i utrzymywania autorskiego oprogramowania. Dla wygody czytelnika udostępniono kompaktową aplikację GUI16, którą można łatwo zainstalować i wykorzystać do testowania nowych wzorców kalibracyjnych. Jedną z wad naszej metody w porównaniu z metodą Wengerta et al.15 jest fakt, że ich rozwiązanie jest bardziej odporne na przesłonięcia wzorca, ponieważ nie wymaga detekcji wszystkich blobów.

Na początku do niniejszej pracy wykonano wzorzec kalibracyjny w układzie szachownicy. Ten rodzaj wzorca kalibracyjnego okazał się jednak nieodpowiedni w eksperymentach ze względu na trudności w detekcji narożników kwadratów szachownicy. Detekcja narożników opiera się na binaryzacji obrazu w oparciu o histogram (patrz kod źródłowy OpenCV24). Wiąże się to z koniecznością zapewnienia wyraźnego kontrastu kolorystycznego między ciemnymi a jasnymi kwadratami, czego nie można było zagwarantować w przypadku naszego wzorca szachownicy, częściowo z powodu odbić zwierciadlanych, takich jak te przedstawione na ryc. 6. Takie odbicia zwierciadlane występują nawet po trawieniu tła; jednak detekcja kół wydaje się być mniej podatna na ten mankament.

W obecnej konfiguracji tylko widoki prostopadłe do celu kalibracyjnego pozwalają na pomyślną detekcję plam (blob detection). Wynika to z odbić zwierciadlanych od powierzchni celu, które utrudniają detekcję plam pod kątami skośnymi. Pracujemy nad dalszą udoskonaleniem celu, aby umożliwić pozyskiwanie widoków w szerszym zakresie kątów, co potencjalnie mogłoby poprawić jakość przeprowadzanych kalibracji20.

W wcześniej zaproponowanym potoku przetwarzania dla mozaikowania łożyska w czasie rzeczywistym11, obliczanie transformacji mapującej pary obrazów opiera się na pomyślnym wykrywaniu i grupowaniu cech. Z kolei zniekształcenia optyczne powodują, że grupa cech o sztywnej geometrii wygląda inaczej na różnych obrazach. W konsekwencji różnica ta prowadzi do nieścisłości w obliczonych transformacjach, co powoduje przesunięcia w powstałych mozaikach obrazów. Ponieważ najbardziej wyraźne zniekształcenia optyczne występują przy krawędziach, obrazy endoskopowe są obecnie przycinane do ich najbardziej wewnętrznych obszarów. Skuteczna korekcja zniekształceń optycznych mogłaby potencjalnie umożliwić włączenie większej części każdego obrazu do procesu mozaikowania. Zaleta tej metody jest dwukrotna. Po pierwsze, zwiększyłoby to liczbę wykrytych cech na każdym obrazie, co potencjalnie poprawiłoby obliczanie transformacji obrazów. Po drugie, pozwoliłoby to na zrekonstruowanie całej docelowej powierzchni anatomicznej w krótszym czasie.

Oświadczenia

Autorzy nie mają nic do ujawnienia.

Podziękowania

Ta praca została wsparta nagrodą Innovative Engineering for Health przyznaną przez Wellcome Trust [WT101957], Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1] oraz National Institute for Health Research Centre UCLH/UCL High Impact Initiative. Jan Deprest jest finansowany przez Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD jako badacz kliniczny 1.8.012.07). Danail Stoyanov otrzymuje dofinansowanie z EPSRC (EP/N013220/1, EP/N022750/1), projektu CASCADE (7PR-ICT-2913-601021) oraz projektu EndoVESPA realizowanego w ramach programu "Horyzont 2020" (H2020-ICT-2015-688592). Sebastien Ourselin otrzymuje dofinansowanie z EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) i MRC (MR/J01107X/1). Marcel Tella jest wspierany przez finansowane przez EPSRC Centrum Kształcenia Doktorantów UCL w zakresie obrazowania medycznego (EP/L016478/1).

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
1,2 mm Blacha 316 Gatunek, 40 mm na 40 mm
Pojemnik na wodę co najmniej 50 mm na 50 mm na 30 mm
Pakiet
Woda z solą Ręczny
nóż
Pilnik do zaokrąglania rogów
Drewniany lub metalowy klocek o wymiarach 50 mm na 50 mm o grubości
Imadło (pożądane, ale nie wymagane)
Aplikacja GUI do piaskowania
PC
Wycinarka
Autoklaw
kalibracji endoskopuz GitHub: moduł
kalibracji
Endoscope
gogle
Fartuch
Linijka i marker
Alkohol (najlepiej etanol) do usuwania kurzu i czyszczenia
sterylizacyjnydo metaluco najmniej 10 mmdo tworzenia pliku .dxf ze wzorem https://github.com/gift-surg/endocal laserowaOprogramowanie do kamery https://github.com/gift-surg/endocal OpenCV http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html ochronnelaboratoryjny

Bibliografia

  1. Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).
  2. Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).
  3. Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
  4. Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
  5. Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
  6. Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
  7. Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), Elsevier. 58-67 (2009).
  8. Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
  9. Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
  10. Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
  11. Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).
  12. Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
  13. Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
  14. Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).
  15. Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).
  16. Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from: https://github.com/gift-surg/endocal (2016).
  17. Camera calibration With OpenCV. , Available from: http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html (2016).
  18. Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. Mosaicing of endoscopic placenta images. , Citeseer. (2011).
  19. Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
  20. Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
  21. Evans, C. C. The Official YAML Web Site. , Available from: http://yaml.org (2016).
  22. Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from: http://www.vision.caltech.edu/bouguetj/calib_doc/ (2015).
  23. Common Interfaces of Feature Detectors. , Available from: http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html (2016).
  24. Open Source Computer Vision Library. , Available from: https://github.com/opencv/opencv (2016).

Przedruki i uprawnienia

Tagi

Kalibracja endoskopusterylizowalny wzorzec kalibracyjnychirurgia p odowakalibracja kamerywzorowanie laserowewzorzec ze stali nierdzewnejzanurzenie w cieczykalibracja OpenCVobrazowanie medyczne