Ten artykuł opisuje projektowanie i rozwój sterylizowalnego celu kalibracji zniekształceń optycznych kamery do okołooperacyjnej, zanurzonej w płynie kalibracji endoskopów podczas interwencji endoskopowych.
Artykuł metodologiczny
Sterylizowalny cel klasy medycznej do kalibracji zniekształceń optycznych fetoskopu zanurzonego w płynie
* These authors contributed equally
W tym artykule
Podsumowanie
Streszczenie
Opracowaliśmy cel kalibracji do użytku z endoskopami zanurzonymi w płynie w kontekście projektu GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Jednym z celów tego projektu jest opracowanie nowatorskich metod przetwarzania obrazów w czasie rzeczywistym do śródoperacyjnego zastosowania w leczeniu wrodzonych wad wrodzonych, takich jak rozszczep kręgosłupa i zespół transfuzji między bliźniętami. Opracowany wzorzec pozwala na kalibrację endoskopów z zachowaniem sterylności zniekształceń optycznych w ciągu kilku minut. Dobra kalibracja i kompensacja zniekształceń optycznych są ważne dla łagodzenia niepożądanych efektów, takich jak zniekształcenia promieniowe, które nie tylko utrudniają dokładne obrazowanie przy użyciu istniejącej technologii endoskopowej podczas operacji płodu, ale także sprawiają, że uzyskane obrazy są mniej odpowiednie do potencjalnie bardzo przydatnych zastosowań przetwarzania obrazu, takich jak mozaika w czasie rzeczywistym. W tym artykule zaproponowano nowatorską metodę wytwarzania w celu stworzenia niedrogiego, sterylizowalnego celu kalibracji, nadającego się do użycia w konfiguracji klinicznej. Metoda ta polega na wytrawieniu wzoru kalibracyjnego poprzez cięcie laserowe piaskowanej blachy ze stali nierdzewnej. Cel ten został zweryfikowany przy użyciu modułu kalibracji kamery dostarczonego przez OpenCV, najnowocześniejszą bibliotekę oprogramowania popularną w społeczności komputerowych systemów wizyjnych.
Wprowadzenie
Kalibracja kamery jest dobrze znanym problemem w dziedzinie widzenia komputerowego, który był intensywnie badany przez lata1,2,3. Kluczowym krokiem procedur kalibracji kamery jest oszacowanie parametrów modelu zniekształceń, a także wewnętrznych parametrów kamery, poprzez wyodrębnienie siatki punktów o znanej geometrii z obrazów z kamery z dokładnością subpikselową. Do tego celu powszechnie stosuje się tarcze kalibracyjne z wzorem szachownicy z czarnymi i białymi kwadratami. Okrągłe bloby oferują alternatywny wzorzec4,5,6.
W ostatnich latach obserwuje się rosnące zainteresowanie rozwojem technologii nawigacji chirurgicznej dla procedur chirurgicznych płodu, takich jak leczenie zespołu transfuzji między bliźniętami (TTTS) u płodów7,8,9,10. Ponieważ pole widzenia fetoskopu (tj. endoskopu używanego w zabiegach chirurgicznych płodu) jest bardzo ograniczone, zaproponowano metody mapowania unaczynienia łożyska bez użycia zewnętrznych trackerów, aby wspomóc chirurgię TTTS11,12,13. Zniekształcenia optyczne w obrazach fetoskopowych mają niekorzystny wpływ na te metody mozaiki obliczeniowej, które opierają się na ekstrakcji informacji wizualnych11. W związku z tym istnieje niezaspokojone zapotrzebowanie na ekonomiczne i szybkie narzędzie do okołooperacyjnej kalibracji fetoskopów, tak aby kompensacja zniekształceń optycznych mogła być wykonywana w czasie rzeczywistym podczas interwencji.
Ze względu na fakt, że fetoskop jest zanurzony w płynie owodniowym podczas interwencji, różnica we współczynniku załamania światła między powietrzem a płynem owodniowym sprawia, że klasyczne metody kalibracji w kamerze powietrznej nie nadają się do zabiegów chirurgii płodu. Oszacowanie parametrów kamery zanurzonej w płynie na podstawie parametrów kamery w powietrzu jest trudnym zadaniem i wymaga co najmniej jednego obrazu celu kalibracji zanurzonej w płynie14. Co więcej, okołooperacyjna, zanurzona w płynie kalibracja kamery fetoskopowej jest obecnie niepraktyczna ze względu na wymagania dotyczące sterylizacji i ograniczenia dotyczące materiałów dozwolonych na sali operacyjnej. Z tych powodów kalibracja endoskopów pod kątem zniekształceń optycznych zazwyczaj nie jest częścią obecnego przepływu pracy klinicznej. Praca zawarta w tym manuskrypcie jest próbą wypełnienia tej luki w kalibracji kamer poprzez zaprojektowanie i wyprodukowanie sterylizowalnego i praktycznego celu kalibracji zniekształceń optycznych z wzorem asymetrycznych okręgów. Wcześniej Wengert i in. wyprodukowali niestandardowe urządzenie kalibracyjne z utlenioną aluminiową płytką jako celem kalibracji. Ich metoda działa jednak tylko w połączeniu z opracowanym przez nich niestandardowym algorytmem kalibracji15.
Protokół
1. Produkcja docelowa
- Piaskowanie
- Przygotuj blachę ze stali nierdzewnej 316 o grubości 1,2 mm. Za pomocą ołówka lub gwoździa narysuj na arkuszu kwadrat o wymiarach 40 mm x 40 mm za pomocą linijki.
- Wytnij narysowany kwadrat za pomocą ręcznego noża do metalu. OSTROŻNOŚĆ! Uważaj na palce.
- Użyj pilnika, aby zaokrąglić rogi i boki próbki. OSTROŻNOŚĆ! Są bardzo ostre; Ostrożnie.
- Przygotuj prosty drewniany lub metalowy klocek o nieco większym rozmiarze niż blacha ze stali nierdzewnej. Umieść na nim wycięty arkusz; Należy to zrobić, aby uniknąć zginania próbki podczas piaskowania.
- Umieść zespół w wewnętrznej komorze śrutowania. Należy pamiętać o użyciu odpylacza i szczelnym uszczelnieniu wewnętrznej komory śrutowania; W przeciwnym razie piasek rozprzestrzeni się po całej powierzchni podczas procesu. Nosić okulary ochronne, aby chronić oczy.
- Pistolet do śrutowania należy ustawić prostopadle do metalowej powierzchni i w odległości co najmniej 4-5 cm od niej. Zastosuj rozrusznik nożny do piaskowania. Umieść próbkę na kawałku drewna (o grubości 1-2 cm) za pomocą imadła, ponieważ przepływ piasku pod wysokim ciśnieniem może zdeformować próbkę. Podczas piaskowania należy mocno trzymać próbkę za krawędź kawałka drewna lub za pomocą innego imadła.
- Powtórz piaskowanie po drugiej stronie, jeśli pożądane jest wygrawerowanie wzoru kalibracyjnego po obu stronach.
- Modelowanie laserowe
- Zaprojektuj wzór asymetrycznych okręgów, jak pokazano na rysunku 1.
- Przygotuj plik w formacie wymiany rysunków (DXF) projektu za pomocą oprogramowania CAD lub innego odpowiedniego języka programowania.
UWAGA: Dla wygody, aplikacja w języku Python, która może generować pliki DXF dla projektu wspomnianego w tym artykule, jest dostarczana jako część kompaktowej aplikacji GUI16. - Zaimportuj pliki DXF do oprogramowania do cięcia laserowego.
- Ustaw następujące parametry trawienia tła. Moc lasera: 40%, prędkość skanowania: 80 cm/s, częstotliwość: 4 000 Hz, liczba przejść: 1.
- Ustaw następujące parametry wytrawiania wzoru. Moc lasera: 40%, prędkość skanowania: 2,1 cm/s, częstotliwość: 4 000 Hz, liczba przejść: 1.
- Umieść próbkę na platformie roboczej i wyrównaj wzór cięcia za pomocą oprogramowania.
- Po wykonaniu cięcia przez laser należy oczyścić próbkę, zanurzając ją w alkoholu. Nie używaj żadnych chusteczek, ponieważ zwykle pozostawiają one niepożądane pozostałości.
- sterylizacja
- Zawiń wysterylizowaną próbkę w opakowanie do sterylizacji i włóż ją do jednostki sterylizującej (autoklawu).
- Dodaj wodę (nie wodę destylowaną) do autoklawu i postępuj zgodnie z instrukcją obsługi/zaleceniami producenta, aby wysterylizować cel.
2. Kalibracja okołooperacyjna
- Oprogramowanie do kalibracji
- Zainstaluj pakiet oprogramowania do kalibracji endoskopu "endocal" dostarczony na GitHub16 (postępuj zgodnie z instrukcjami w pliku README).
UWAGA: To oprogramowanie opakowuje moduł kalibracji kamery OpenCV 17 w łatwą w użyciu, wygodną aplikację. Dostarczona aplikacja działa w dwóch trybach: online i offline. Tryb online pobiera strumień wideo bezpośrednio z kompatybilnego sprzętu do przechwytywania klatek. Tryb offline umożliwia wczytywanie obrazów endoskopowych z pliku wideo lub folderu z pewną liczbą klatek wideo zapisanych jako pliki obrazów. Zapoznaj się z plikiem README, aby zapoznać się z obsługiwanym sprzętem i szczegółowymi instrukcjami dotyczącymi korzystania z tych dwóch trybów.
- Zainstaluj pakiet oprogramowania do kalibracji endoskopu "endocal" dostarczony na GitHub16 (postępuj zgodnie z instrukcjami w pliku README).
- Endoskopowa akwizycja wideo
UWAGA: Poniższe instrukcje dotyczą kalibracji online (jak opisano powyżej), ale mają również zastosowanie do kalibracji offline.- Umieść wzorzec kalibracji w sterylnym pojemniku na płyn, takim jak gallipot.
- Napełnij pojemnik płynem docelowym lub podobną sterylną substancją.
UWAGA: Na przykład w zabiegach fetoskopowych płynem docelowym jest płyn owodniowy. Ponieważ właściwości optyczne płynu owodniowego są podobne do wody solankowej18,19, do kalibracji fetoskopu można użyć sterylnej wody solnej. - Dostosuj powiększenie i ostrość endoskopu zgodnie z potrzebami.
- Zanurz endoskop w płynie i trzymaj go w odległości zbliżonej do odległości od anatomii, w której endoskop będzie później używany.
- Uruchom aplikację kalibracyjną i rozpocznij akwizycję kamery.
- Przesuń nieznacznie końcówkę endoskopu, aby uzyskać różne widoki, zachowując cały wzorzec kalibracji w polu widzenia kamery. Aby uzyskać optymalną wydajność, należy umieścić eliptyczną legendę wokół wzorca kalibracji w okrągłym widoku endoskopu.
UWAGA: Klatki wideo, które można wykorzystać do kalibracji, są oznaczone wirtualną nakładką wzoru, jak pokazano na rysunku 3. - Uzyskać co najmniej minimalną liczbę widoków z kamery endoskopowej wymaganą do kalibracji (jak wskazano w oknie endocalnym).
UWAGA: Obecna wersja endocal wymaga co najmniej 10 widoków z kamery endoskopowej do kalibracji, heurystycznie wybranej liczby widoków, w których błąd kalibracji wydaje się być minimalny i podąża za stabilnym wzorcem20. - Naciśnij kalibracji, jak wskazano w okienku endocalnym, aby rozpocząć proces kalibracji przy użyciu dotychczas uzyskanych obrazów.
- Zapisywanie i korzystanie z parametrów kalibracji
- Naciśnij wskazany kalibracji, aby zapisać wynikowe parametry kalibracji w pliku YAML ("YAML Ain't Markup Language") file21.
- Pogrupuj parametry kalibracji w matrycę kamery i współczynniki zniekształceń, jak wyjaśniono w module kalibracji kamery OpenCV17.
UWAGA: Po wykonaniu kalibracji aplikacja kalibracyjna automatycznie wyświetla obraz z korekcją zniekształceń po prawej stronie oryginalnego obrazu endoskopu. - Użyj kanału wideo z korekcją zniekształceń podczas procedury fetoskopowej, aby uzyskać czystą wizualizację lub mozaikowanie łożyska w czasie rzeczywistym11.
Wyniki
Utworzyliśmy sterylizowalny wzorzec kalibracyjny poprzez wytrawienie wzoru asymetrycznych kół na piaskowanej blaszce ze stali nierdzewnej, którego projekt przedstawiono na Rysunku 1. Przykładowa konfiguracja pokazująca ten wzorzec kalibracyjny w działaniu wraz z fetoskopem przedstawiona jest na Rysunku 2. Aby wprowadzić ten projekt do oprogramowania do grawerowania laserowego, zaimplementowano dedykowaną aplikację w języku programowania Python16. Tworzenie wzoru projektowego polega na iteracyjnym wytrawianiu równoległych linii na blaszce metalowej. Aby wzór miał na koniec jednolity kolor, odległość między tymi liniami powinna być mniejsza niż szerokość wiązki lasera (patrz wstawka na Rysunku 1) — w przypadku wycinarki laserowej Violino (Laservall) wartość ta wynosi 45 µm.
Rycina 1: Projekt grawerowanego wzoru zawierającego siatkę asymetrycznych kół o wymiarach 3 na 11. Wstawka: powiększony widok siatki asymetrycznych kół. Odległość między liniami wynosi 45 µm (równa szerokości wiązki lasera), a każde koło ma średnicę 1 mm. Do konstrukcji siatki można było zastosować inne wymiary, jednak te uznano za optymalne z punktu widzenia pola widzenia fetoskopu. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Rycina 2: Przykładowy układ z wykorzystaniem wzorca kalibracyjnego. Końcówka zanurzonego w wodzie fetoskopu jest skierowana na wzorzec kalibracyjny po prawej stronie. Po lewej stronie znajduje się brytyjski pens, służący jako punkt odniesienia dla skali. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Wytworzony wzorzec kalibracyjny umożliwia wykrywanie okrągłego wzoru w strumieniu wideo endoskopowego za pomocą OpenCV17, którego położenia są następnie przyporządkowywane do zdefiniowanej asymetrycznej siatki okręgów (patrz Rysunek 3). Wykorzystując te informacje wraz ze znaną geometrią siatki, można oszacować wewnętrzne parametry kamery. Obejmują one macierz kamery oraz współczynniki dystorsji. Macierz kamery składa się z ogniskowych oraz centrów optycznych wzdłuż osi x i y dwuwymiarowej płaszczyzny obrazu. Współczynniki dystorsji opierają się na modelu Brown-Conrady3. Należy zauważyć, że w niniejszej pracy oszacowano jedynie parametry dystorsji radialnej. Krótki opis teorii wraz z przykładami praktycznymi znajduje się na stronie modułu kalibracji kamery OpenCV17 oraz w skrzynce narzędziowej (toolbox) do kalibracji kamery MATLAB22. Więcej szczegółów na temat procedury kalibracji kamery dostępnych jest w pracy Zhanga20. Repozytorium oprogramowania endocal zawiera przykładowy zestaw danych obejmujący 10 widoków endoskopowych wytworzonego wzorca kalibracyjnego16. Przy użyciu tego zestawu danych uzyskano kalibrację ze średnim błędem reprojekcji wynoszącym 0,28 piksela (min: 0,16, max: 0,45). Jest to wynik porównywalny z wartością 0,25 piksela raportowaną przez Wengerta et al. przy użyciu ich własnego algorytmu kalibracji15. Ta sama grupa badawcza w nowszej publikacji zgłosiła jednak błąd reprojekcji na poziomie 0,6 piksela, stosując metodę z15 do kalibracji kamery endoskopowej używanej do badania mozaikowatości łożyska18.
Rysunek 3: Detekcja wzoru kalibracyjnego w czasie rzeczywistym. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający wykryty wzór kalibracyjny nałożony na strumień wideo na żywo przy użyciu wizualizacji w rzeczywistości wirtualnej z biblioteki OpenCV17. Należy zauważyć, że każda wykryta kolumna wzoru kalibracyjnego jest wyróżniona innym kolorem. Wykryte okręgi, w połączeniu ze znaną geometrią, są wykorzystywane do obliczenia parametrów kamery. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.
Szacowane parametry kamery są wykorzystywane do korekcji dystorsji optycznej. Rysunek 4 przedstawia prostokątny wzór szachownicy widziany przez fetoskop, gdzie dystorsje optyczne sprawiają, że linie wydają się zakrzywione. Należy zauważyć, że na obrazie z korekcją dystorsji linie wyglądają prawidłowo.
Rysunek 4: Korekcja dystorsji optycznej. Zrzut ekranu z aplikacji kalibracyjnej16 przedstawiający na żywo obraz wideo z nagrania fetoskopowego z wzoru szachownicy (po lewej) oraz obraz z poprawioną dystorsją (po prawej). Na obu obrazach narysowano trzy przykładowe linie, każda z jednego rogu do drugiego, gdzie trajektoria jest liniowa. Ze względu na dystorsje optyczne linie te w oryginalnych obrazach z fetoskopu wydają się być krzywymi. Kliknij tutaj, aby zobaczyć powiększoną wersję tego rysunku.
Dyskusja
Piaskowanie jest ważnym etapem procesu wykonania, ponieważ surowa powierzchnia metalu silnie odbija światło endoskopu, co uniemożliwia wykrycie okręgów. Trudno jest rozróżnić okręgi nawet gołym okiem (patrz Rysunek 5). Należy zauważyć, że powierzchnia pokazanego celu została już trawiona laserem. Nie zmniejsza to jednak odbicia światła.
Rycina 5: Wzorzec kalibracyjny bez zastosowania piaskowania. Jak widać w widoku z endoskopu po lewej stronie, odblask światła endoskopu na powierzchni materiału sprawia, że nawet dla gołego oka trudne jest rozróżnienie okręgów (okrąg znajduje się tuż na południowy wschód od dużego odblasku). Należy zauważyć, że powierzchnia tego wzorca (t.j. „tło”) została już trawiona, ale nie jest to pomocne w przypadku braku piaskowania. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Przed trawieniem wzoru ważne jest również wytrawienie powierzchni całej próbki. Jest to konieczne, ponieważ powierzchnia poddana piaskowaniu wykazuje wiele odbić zwierciadlanych (patrz Rysunek 6), które zakłócają detekcję plam.
Rycina 6: Powierzchnia piaskowana bez trawienia. Mimo że nie są one tak wyraźne jak na surowej powierzchni metalu, stosunkowo niewielkie odbicia zwierciadlane (niektóre z nich zaznaczono żółtymi strzałkami) są wciąż wystarczające, aby uniemożliwić poprawną detekcję plam (blob detection), w związku z czym nie można przeprowadzić kalibracji z użyciem tego celu. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.
Zastosowanie lasera przy różnych prędkościach pozwala na uzyskanie różnych kolorów tła. Kolor tła odgrywa istotną rolę w kontraście między okręgami a tłem. Dlatego kluczowe jest określenie optymalnego koloru tła. W tym celu przygotowano płytkę z okręgami wytrawionymi na zestawach różnych teł (patrz Rycina 7). Tła zostały przetestowane przy użyciu modułu detekcji cech biblioteki OpenCV23, który jest wykorzystywany w module kalibracji kamery OpenCV17. W niniejszej pracy cel wykonano ze stali nierdzewnej, ponieważ jest to najpowszechniejszy i najniezawodniejszy materiał stosowany w klinikach do produkcji wyrobów medycznych. Materiał ten jest powszechnie dostępny, niedrogi, wytrzymały i łatwy do sterylizacji. Do wykonania celu kalibracyjnego można by potencjalnie wykorzystać inne materiały, takie jak aluminium lub metale jodowane, jednak wykracza to poza zakres obecnych badań.
Rysunek 7: Płyta ze stali nierdzewnej z paletą różnych kolorów tła wytrawionych laserem. Przeprowadzono eksperymenty praktyczne z wykorzystaniem modułu detekcji cech biblioteki OpenCV, aby określić, który kolor tła zapewnia optymalny wynik pod kątem kontrastu między blobem a tłem.23Widok z endoskopu po lewej stronie przedstawia płytkę. Umiarkowane kolory tła (t. j. te pozostałe (inne niż najciemniejsze i najjaśniejsze) w tej palecie zapewniają lepszą detekcję plam. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.
Jedną z zalet niniejszej pracy jest fakt, że przeprowadzenie kalibracji z wykorzystaniem wykonanego wzorca trwa 2-3 min. Większość wysiłku wiąże się z ręczną stabilizacją endoskopu w celu uzyskania odpowiedniego obrazu wzorca kalibracyjnego. Zastosowanie specjalnie zbudowanego uchwytu do endoskopu mogłoby wyeliminować konieczność ręcznej stabilizacji, co z kolei mogłoby znacząco skrócić czas kalibracji.
Wideo 1: Film pokazujący, w jaki sposób można przeprowadzić kalibrację zniekształceń optycznych przy użyciu opracowanego celu kalibracyjnego wraz z oprogramowaniem endocal. Kliknij tutaj, aby obejrzeć ten film. (Kliknij prawym przyciskiem myszy, aby pobrać.)
Zaletą naszej pracy w porównaniu z pracą Wengerta et al.15 jest fakt, że moduł kalibracji kamery OpenCV17 może być użyty do kalibracji w formie niezmienionej, bez konieczności wprowadzania jakichkolwiek modyfikacji lub niestandardowej parametryzacji. Ponieważ OpenCV jest uznanym i dobrze utrzymywanym pakietem oprogramowania, bardzo popularnym w społeczności komputerowego rozpoznawania obrazu, jego zastosowanie eliminuje potrzebę pisania i utrzymywania dedykowanego oprogramowania. Dla wygody czytelnika udostępniono kompaktową aplikację GUI16, którą można łatwo zainstalować i wykorzystać do testowania nowych wzorców kalibracyjnych. Jedną z wad naszej metody w porównaniu z metodą Wengerta et al.15 jest to, że ich podejście jest bardziej odporne na przesłonięcia wzorca, ponieważ nie wymaga detekcji wszystkich plam (blobs).
Na początku do niniejszej pracy wykonano wzorzec kalibracyjny w formie szachownicy. Jednak ten typ wzorca kalibracyjnego okazał się nieodpowiedni w eksperymentach ze względu na trudności w wykrywaniu narożników kwadratów szachownicy. Wykrywanie narożników opiera się na binaryzacji obrazu z wykorzystaniem histogramu (patrz kod źródłowy OpenCV24). Wiąże się to z koniecznością zapewnienia wyraźnego kontrastu kolorystycznego między ciemnymi a jasnymi kwadratami, czego nie można było zagwarantować w przypadku naszego wzorca szachownicy, częściowo ze względu na odbicia zwierciadlane, takie jak te przedstawione na Ryc. 6. Takie odbicia zwierciadlane występują nawet po trawieniu tła; jednak wykrywanie okręgów wydaje się być mniej podatne na tę niedoskonałość.
W obecnej konfiguracji tylko widoki prostopadłe do celu kalibracyjnego umożliwiają pomyślną detekcję plam. Wynika to z odbić zwierciadlanych od powierzchni celu, które utrudniają detekcję plam pod kątami ukośnymi. Pracujemy nad dalszą modyfikacją celu, aby umożliwić pozyskiwanie widoków w szerszym zakresie kątów, co potencjalnie mogłoby poprawić jakość przeprowadzanych kalibracji20.
W wcześniej zaproponowanym procesie tworzenia mozaiki łożyska w czasie rzeczywistym11, obliczanie transformacji mapującej pary obrazów opiera się na pomyślnej detekcji i grupowaniu cech. Z kolei zniekształcenia optyczne sprawiają, że grupa cech o sztywnej geometrii wygląda inaczej na różnych obrazach. W konsekwencji różnica ta prowadzi do niedokładności w obliczonych transformacjach, co powoduje przesunięcia w powstałych mozaikach obrazów. Ponieważ najbardziej wyraźne zniekształcenia optyczne występują przy krawędziach, obrazy endoskopowe są obecnie przycinane do ich wewnętrznych obszarów. Skuteczna korekcja zniekształceń optycznych mogłaby potencjalnie pozwolić na włączenie większej części każdego obrazu do procesu tworzenia mozaiki. Zaleta tej metody jest dwukrotna. Po pierwsze, zwiększyłoby to liczbę wykrytych cech na każdym obrazie, co potencjalnie poprawiłoby obliczanie transformacji obrazu. Po drugie, pozwoliłoby to na zrekonstruowanie całej docelowej powierzchni anatomicznej w krótszym czasie.
Oświadczenia
Autorzy nie mają nic do ujawnienia.
Podziękowania
Ta praca została wsparta nagrodą Innovative Engineering for Health przyznaną przez Wellcome Trust [WT101957], Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1] oraz National Institute for Health Research Centre UCLH/UCL High Impact Initiative. Jan Deprest jest finansowany przez Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD jako badacz kliniczny 1.8.012.07). Danail Stoyanov otrzymuje dofinansowanie z EPSRC (EP/N013220/1, EP/N022750/1), projektu CASCADE (7PR-ICT-2913-601021) oraz projektu EndoVESPA realizowanego w ramach programu "Horyzont 2020" (H2020-ICT-2015-688592). Sebastien Ourselin otrzymuje dofinansowanie z EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) i MRC (MR/J01107X/1). Marcel Tella jest wspierany przez finansowane przez EPSRC Centrum Kształcenia Doktorantów UCL w zakresie obrazowania medycznego (EP/L016478/1).
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| 1,2 mm Blacha 316 Gatunek, 40 mm na 40 mm | |||
| Pojemnik na wodę co najmniej 50 mm na 50 mm na 30 mm | |||
| Pakiet | |||
| Woda z solą Ręczny | |||
| nóż | |||
| Pilnik do zaokrąglania rogów | |||
| Drewniany lub metalowy klocek o wymiarach 50 mm na 50 mm o grubości | |||
| Imadło (pożądane, ale nie wymagane) | |||
| Aplikacja GUI do piaskowania | |||
| PC | |||
| Wycinarka | |||
| Autoklaw | |||
| kalibracji endoskopu | z GitHub: moduł | ||
| kalibracji | |||
| Endoscope | |||
| gogle | |||
| Fartuch | |||
| Linijka i marker | |||
| Alkohol (najlepiej etanol) do usuwania kurzu i czyszczenia |
Bibliografia
- Zhang, Z., Matsushita, Y., Ma, Y. Camera calibration with lens distortion from low-rank textures. CVPR 2011 IEEE Conference on Computer Vision and Pattern Recognition, Washington, D.C., USA, , IEEE Computer Society. 2321-2328 (2011).
- Devernay, F., Faugeras, O. D. Automatic calibration and removal of distortion from scenes of structured environments. SPIE's 1995 International Symposium on Optical Science, Engineering, and Instrumentation. 62-72 International Society for Optics and Photonics, , International Society for Optics and Photonics. 62-72 (1995).
- Duane, C. B. Close-range camera calibration. Photogramm. Eng. 37 (8), 855-866 (1971).
- Mallon, J., Whelan, P. F. Which pattern? biasing aspects of planar calibration patterns and detection methods. Pattern recognition letters. 28 (8), 921-930 (2007).
- Balletti, C., Guerra, F., Tsioukas, V., Vernier, P. Calibration of Action Cameras for Photogrammetric Purposes. Sensors. 14 (9), 17471-17490 (2014).
- Heikkila, J. Geometric camera calibration using circular control points. IEEE Transactions on pattern analysis and machine intelligence. 22 (10), 1066-1077 (2000).
- Deprest, J. A., et al. Fetal surgery is a clinical reality. Seminars in fetal and neonatal medicine. 15 (1), Elsevier. 58-67 (2009).
- Watanabe, M., Flake, A. W. Fetal surgery: Progress and perspectives. Advances in pediatrics. 57 (1), 353-372 (2010).
- Lewi, L., Deprest, J., Hecher, K. The vascular anastomoses in monochorionic twin pregnancies and their clinical consequences. American journal of obstetrics and gynecology. 208 (1), 19-30 (2013).
- Yamashita, H., et al. Miniature bending manipulator for fetoscopic intrauterine laser therapy to treat twin-to-twin transfusion syndrome. Surgical Endoscopy. 22 (2), 430-435 (2008).
- Daga, P., et al. Real-time mosaicing of fetoscopic videos using SIFT. Proc. SPIE 9786, Medical Imaging 2016: Image-Guided Procedures, Robotic Interventions, and Modeling. 97861R. , International Society for Optics and Photonics. (2016).
- Yang, L., et al. Image mapping of untracked free-hand endoscopic views to an ultrasound image-constructed 3D placenta model. The International Journal of Medical Robotics and Computer Assisted Surgery. 11 (2), 223-234 (2015).
- Liao, H., et al. Fast image mapping of endoscopic image mosaics with three-dimensional ultrasound image for intrauterine fetal surgery. Minimally invasive therapy & allied technologies. 18 (6), 332-340 (2009).
- Chadebecq, F., et al. Practical Dry Calibration With Medium Adaptation For Fluid-Immersed Endoscopy. Hamlyn Symposium on Medical Robotics, , (2015).
- Wengert, C., Reeff, M., Cattin, P. C., Székely, G., et al. Bildverarbeitung für die Medizin 2006: Algorithmen Systeme Anwendungen. Proceedings des Workshops vom 19. - 21. März 2006 in Hamburg. Handels, H., et al. , Springer. Berlin Heidelberg. 419-423 (2006).
- Shakir, D. I. Compact GUI application for optical distortion calibration of endoscopes. , Available from: https://github.com/gift-surg/endocal (2016).
- Camera calibration With OpenCV. , Available from: http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html (2016).
- Reeff, M., Gerhard, F., Cattin, P. C., Székely, G. Mosaicing of endoscopic placenta images. , Citeseer. (2011).
- Steigman, S. A., Kunisaki, S. M., Wilkins-Haug, L., Takoudes, T. C., Fauza, D. O. Optical properties of human amniotic fluid: implications for videofetoscopic surgery. Fetal diagnosis and therapy. 27 (2), 87-90 (2009).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- Evans, C. C. The Official YAML Web Site. , Available from: http://yaml.org (2016).
- Bouguet, J. -Y. Camera Calibration Toolbox for Matlab. , Available from: http://www.vision.caltech.edu/bouguetj/calib_doc/ (2015).
- Common Interfaces of Feature Detectors. , Available from: http://docs.opencv.org/2.4/modules/features2d/doc/common_interfaces_of_feature_detectors.html (2016).
- Open Source Computer Vision Library. , Available from: https://github.com/opencv/opencv (2016).
Przedruki i uprawnienia
