Artykuł metodologiczny

Zrobotyzowane testowanie pozycji kamer w celu określenia idealnej konfiguracji do stereoskopowej wizualizacji 3D operacji na otwartym sercu

DOI:

10.3791/62786

⸱

12 sierpnia 2021

 ,  ,  ,  ,  , 
1Cardiac Surgery Unit, Children’s Heart Centre, Skåne University Hospital, 2Department of Clinical Sciences, Lund University, 3Student at Lund University

W tym artykule

Podsumowanie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ludzka percepcja głębi w stereoskopowych filmach 3D zależy od odległości kamery, punktu zbieżności, odległości i znajomości obiektu. W artykule przedstawiono zrobotyzowaną metodę szybkiego i wiarygodnego zbierania danych testowych podczas operacji na otwartym sercu na żywo w celu określenia idealnej konfiguracji kamery.

Streszczenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Stereofoniczne filmy 3D z zabiegów chirurgicznych mogą być bardzo cenne dla edukacji medycznej i poprawić komunikację kliniczną. Ale dostęp do sali operacyjnej i pola operacyjnego jest ograniczony. Jest to sterylne środowisko, a przestrzeń fizyczna jest zatłoczona personelem chirurgicznym i sprzętem technicznym. W tym otoczeniu niezakłócone uchwycenie i realistyczne odwzorowanie procedur chirurgicznych jest trudne. W artykule przedstawiono metodę szybkiego i wiarygodnego zbierania danych ze stereoskopowych filmów 3D w różnych odległościach bazowych kamer i odległościach zbieżności. Aby zbierać dane testowe przy minimalnych zakłóceniach podczas operacji, z wysoką precyzją i powtarzalnością, kamery zostały przymocowane do każdej ręki robota dwuramiennego. Robot został zamontowany na suficie na sali operacyjnej. Został zaprogramowany do wykonywania czasowej sekwencji zsynchronizowanych ruchów kamery, przechodząc przez szereg pozycji testowych z odległością bazową w zakresie 50-240 mm w krokach przyrostowych 10 mm i przy dwóch odległościach zbieżności 1100 mm i 1400 mm. Operacja została wstrzymana, aby umożliwić 40 kolejnych 5-sekundowych próbek wideo. Łącznie zarejestrowano 10 scenariuszy chirurgicznych.

Wprowadzenie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

W chirurgii wizualizacja 3D może być używana do edukacji, diagnoz, planowania przedoperacyjnego i oceny pooperacyjnej1,2. Realistyczna percepcja głębi może poprawić zrozumienie3,4,5,6 normalnych i nieprawidłowych anatomii. Proste nagrania wideo 2D z zabiegów chirurgicznych to dobry początek. Jednak brak percepcji głębi może utrudnić kolegom niechirurgicznym pełne zrozumienie relacji przednio-tylnych między różnymi strukturami anatomicznymi, a tym samym wprowadzić ryzyko błędnej interpretacji anatomii7,8,9,10.

Na wrażenia z oglądania 3D wpływa pięć czynników: (1) Konfiguracja kamery może być równoległa lub zbieżna, jak pokazano w Rysunek 1, (2) Odległość bazowa (odległość między kamerami). (3) Odległość od obiektu zainteresowania i inne cechy sceny, takie jak tło. (4) Cechy urządzeń wyświetlających, takie jak rozmiar ekranu i pozycja wyświetlania1,11,12,13. (5) Indywidualne preferencje oglądających14,15.

Projektowanie konfiguracji kamery 3D rozpoczyna się od przechwycenia filmów testowych nagranych w różnych odległościach i konfiguracjach bazowych kamery, które mają być wykorzystane do subiektywnej lub automatycznej oceny16,17,18,19,20. Odległość kamery musi być stała od pola operacyjnego, aby uchwycić ostre obrazy. Preferowana jest stała ostrość, ponieważ autofokus dostosuje się, aby ustawić ostrość na dłoniach, instrumentach lub głowach, które mogą znaleźć się w polu widzenia. Nie jest to jednak łatwe do osiągnięcia, gdy miejscem zainteresowania jest pole operacyjne. Sale operacyjne są obszarami o ograniczonym dostępie, ponieważ obiekty te muszą być utrzymywane w czystości i sterylności. Sprzęt techniczny, chirurdzy i pielęgniarki wykonujące szorowanie są często skupione blisko pacjenta, aby zapewnić dobry przegląd wizualny i wydajny przebieg pracy. Aby porównać i ocenić wpływ pozycji kamery na wrażenia z oglądania 3D, jeden pełny zakres testowy pozycji kamery powinien rejestrować tę samą scenę, ponieważ cechy obiektu, takie jak kształt, rozmiar i kolor, mogą wpływać na wrażenia z oglądania 3D21.

Z tego samego powodu, pełne zakresy testowe pozycji kamery powinny być powtarzane na różnych zabiegach chirurgicznych. Cała sekwencja pozycji musi być powtarzana z dużą dokładnością. W warunkach chirurgicznych istniejące metody, które wymagają ręcznej regulacji odległości linii bazowej22 lub różnych par kamer ze stałymi odległościami linii bazowej23 nie są wykonalne ze względu na ograniczenia zarówno przestrzenne, jak i czasowe. Aby sprostać temu wyzwaniu, zaprojektowano to zrobotyzowane rozwiązanie.

Dane zostały zebrane za pomocą dwuramiennego robota przemysłowego zamontowanego w suficie na sali operacyjnej. Kamery zostały przymocowane do nadgarstków robota i poruszały się po trajektorii w kształcie łuku wraz ze wzrostem odległości linii bazowej, jak pokazano na Rysunek 2.

Aby zademonstrować podejście, zarejestrowano 10 serii testów od 4 różnych pacjentów z 4 różnymi wrodzonymi wadami serca. Sceny zostały wybrane w momencie, gdy możliwa była przerwa w operacji: z bijącymi sercami tuż przed i po operacji chirurgicznej. Seriale powstawały również wtedy, gdy aresztowano serca. Operacje zostały wstrzymane na 3 minuty i 20 sekund, aby zebrać czterdzieści 5-sekwencyjnych sekwencji z różnymi odległościami zbieżności kamery i odległościami linii bazowej, aby uchwycić scenę. Filmy zostały następnie poddane obróbce końcowej i wyświetlone w 3D dla zespołu klinicznego, który ocenił, jak realistyczne było wideo 3D w skali od 0 do 5.

Punktem zbieżności dla kamer stereo z bieżnikiem jest miejsce, w którym spotykają się punkty środkowe obu obrazów. Punkt zbieżności może być z zasady umieszczony przed, wewnątrz lub za obiektem, patrz Rysunek 1A-C. Gdy punkt zbieżności znajduje się przed obiektem, obiekt zostanie przechwycony i wyświetlony na lewo od linii środkowej dla obrazu z lewej kamery i po prawej stronie linii środkowej dla obrazu z prawej kamery (Rysunek 1A). Odwrotna sytuacja ma miejsce, gdy punkt zbieżności znajduje się za obiektem (Rysunek 1B). Gdy punkt zbieżności znajduje się na obiekcie, obiekt pojawi się również w linii środkowej obrazów z kamery (Rysunek 1C), co prawdopodobnie powinno zapewnić najbardziej komfortowe oglądanie, ponieważ do scalenia obrazów nie jest wymagane mrużenie oczu. Aby uzyskać komfortowy stereoskopowy obraz 3D, punkt zbieżności musi znajdować się na lub nieco za obiektem zainteresowania, w przeciwnym razie widz musi dobrowolnie zmrużyć oczy na zewnątrz (egzotropia).

Dane zostały zebrane za pomocą dwuramiennego robota przemysłowego do ustawiania kamer (Rysunek 2A-B). Robot waży 38 kg bez wyposażenia. Robot jest iskrobezpieczny; Gdy wykryje nieoczekiwane uderzenie, przestaje się poruszać. Robot został zaprogramowany tak, aby ustawiać kamery o rozdzielczości 5 megapikseli z obiektywami z mocowaniem C wzdłuż trajektorii w kształcie łuku, zatrzymując się w określonych odległościach bazowych (Rysunek 2C). Kamery zostały przymocowane do rąk robota za pomocą płytek adaptera, jak pokazano na Rysunek 3. Każda kamera nagrywała z prędkością 25 klatek na sekundę. Obiektywy ustawiono na przysłonę 1/8 z ostrością utkwioną na obiekcie zainteresowania (przybliżony geometryczny środek serca). Każda klatka obrazu miała znacznik czasu, który był używany do synchronizacji dwóch strumieni wideo.

Przesunięcia między nadgarstkiem robota a kamerą zostały skalibrowane. Można to osiągnąć, wyrównując krzyżyk obrazu z kamery, jak pokazano na Rysunek 4. W tej konfiguracji całkowite przesunięcie translacyjne od punktu mocowania na nadgarstku robota i środka czujnika obrazu kamery wynosiło 55,3 mm w kierunku X i 21,2 mm w kierunku Z, co jest wyświetlane w Rysunek 5. Przesunięcia obrotowe zostały skalibrowane przy odległości zbieżności 1100 mm i odległości linii bazowej 50 mm i regulowane ręcznie za pomocą joysticka na panelu sterowania robota. Robot w tym badaniu miał określoną dokładność 0,02 mm w przestrzeni kartezjańskiej i rozdzielczość obrotu 0,01 stopnia24. Przy promieniu 1100 m różnica kątów wynosząca 0,01 stopnia przesuwa punkt środkowy o 0,2 mm. Podczas pełnego ruchu robota w odległości od 50 do 240 mm krzyż celowniczy dla każdej kamery znajdował się w odległości 2 mm od idealnego środka zbieżności.

Odległość linii bazowej została zwiększona stopniowo poprzez symetryczne rozdzielenie kamer wokół środka pola widzenia w krokach co 10 mm w zakresie od 50 do 240 mm (Rysunek 2). Kamery były utrzymywane w bezruchu przez 5 s w każdej pozycji i przemieszczały się między pozycjami z prędkością 50 mm/s. Punkt zbieżności można regulować w kierunkach X i Z za pomocą graficznego interfejsu użytkownika (Rysunek 6). Robot podążał zgodnie ze swoim zakresem roboczym.

Dokładność punktu zbieżności została oszacowana przy użyciu jednolitych trójkątów i nazw zmiennych w Rysunek 7A i B. Wysokość "z" obliczono na podstawie odległości zbieżności "R" przy użyciu twierdzenia Pitagorasa jako

figure-introduction-1

Gdy rzeczywisty punkt zbieżności znajdował się bliżej niż pożądany punkt, jak pokazano w Rysunek 7A, odległość błędu 'f1' została obliczona jako

figure-introduction-2

Podobnie, gdy punkt zbieżności znajdował się dystalnie do pożądanego punktu, odległość błędu 'f2' została obliczona jako

figure-introduction-3

Tutaj 'e' oznaczało maksymalną odległość między krzyżykami, co najwyżej 2 mm przy maksymalnej separacji linii bazowej podczas kalibracji (D = 240 mm). Dla R = 1100 mm (z = 1093 mm) błąd wynosił mniej niż ± 9,2 mm. Dla R = 1400 mm (z = 1395 mm) błąd wynosił ± 11,7 mm. Oznacza to, że błąd umiejscowienia punktu zbieżności mieścił się w granicach 1% pożądanego. Dzięki temu dwie odległości testowe wynoszące 1100 mm i 1400 mm były dobrze oddalone.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Protokół

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Eksperymenty zostały zatwierdzone przez lokalną Komisję Etyki w Lund, Szwecja. Udział w badaniu był dobrowolny, a opiekunowie prawni pacjentów wyrazili świadomą pisemną zgodę.

1. Instalacja i konfiguracja robota

UWAGA: W tym eksperymencie użyto dwuramiennego współpracującego robota przemysłowego i standardowego panelu sterowania z dotykowym wyświetlaczem. Robot jest sterowany za pomocą oprogramowania sterującego RobotWare 6.10.01 i zintegrowanego środowiska programistycznego (IDE) robota RobotStudio 2019.525. Oprogramowanie opracowane przez autorów, w tym aplikacja robota, aplikacja do nagrywania i skrypty postprocessingu, jest dostępne w repozytorium GitHub26.

UWAGA: Używaj okularów ochronnych i zmniejsz prędkość podczas konfiguracji i testowania programu robota.

  1. Zamontuj robota na suficie lub stole za pomocą o wadze 100 kg, zgodnie z opisem na stronie 25 w specyfikacji produktu24, zgodnie ze specyfikacjami producenta. Upewnij się, że ramiona mogą się swobodnie poruszać, a linia wzroku do pola widzenia jest niezasłonięta.
    UWAGA: Podczas montażu robota w wysokiej pozycji należy używać podnośnika lub lin zabezpieczających.
  2. Uruchom robota, przekręcając przełącznik startowy znajdujący się u podstawy robota. Skalibruj robota, postępując zgodnie z procedurą opisaną w instrukcji obsługi na stronach 47-5625.
  3. Uruchom środowisko IDE robota na komputerze z systemem Windows.
  4. Podłącz do fizycznego systemu robota (instrukcja obsługi strona 14027).
  5. Załaduj kod programu robota i biblioteki aplikacji dla interfejsu użytkownika do robota:
    1. Kod robota montowanego na suficie znajduje się w folderze Robot/InvertedCode, a dla robota montowanego na stole w Robot/TableMountedCode. Dla każdego z plików left/Data.mod, left/MainModule.mod, right/Data.mod i right/MainModule.mod:
    2. Utwórz nowy moduł programu (patrz instrukcja obsługi strona 31827) o tej samej nazwie co plik (Data lub MainModule) i skopiuj zawartość pliku do nowego modułu.
    3. Naciśnij Zastosuj w IDE robota, aby zapisać pliki w robocie.
  6. Użyj narzędzia File Transfer (instrukcja obsługi strona 34627), aby przesłać do robota pliki aplikacji robota TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll i TpsViewStereo2.pdb znajdujące się w folderze FPApp. Po tym kroku IDE robota nie będzie dalej używane.
  7. Naciśnij przycisk Reset z tyłu wyświetlacza dotykowego robota (FlexPendant), aby ponownie załadować interfejs graficzny. Aplikacja robota Stereo2 będzie teraz widoczna w menu wyświetlacza dotykowego.
  8. Zainstaluj aplikację do nagrywania (Liveview) i aplikację do przetwarzania końcowego na komputerze z systemem Ubuntu 20.04, uruchamiając skrypt install_all_linux.sh, znajdujący się w folderze głównym w repozytorium Github.
  9. Zamontuj każdą kamerę na robocie. Komponenty potrzebne do montażu są wyświetlane w Rysunek 3A.
    1. Zamontuj obiektyw w aparacie.
    2. Zamontuj kamerę na płycie adaptera aparatu za pomocą trzech M2.
    3. Zamontuj okrągłą płytę montażową do płyty adaptera kamery za pomocą czterech M6 po przeciwnej stronie kamery.
  10. Powtórz kroki 1.9.1-1.9.3 dla drugiej kamery. Powstałe w ten sposób zestawy są odbite lustrzanie, jak pokazano na Rysunek 3B; i Rysunek 3C.
  11. Zamontuj płytkę adaptera na nadgarstku robota za pomocą czterech M2.5, jak pokazano na Rysunek 3D.
    1. W przypadku robota montowanego na suficie: przymocuj lewą kamerę w Rysunek 3C do lewego ramienia robota, jak pokazano na Rysunek 2A.
    2. W przypadku robota montowanego na stole: przymocuj lewą kamerę w Rysunek 3C do prawego ramienia robota.
  12. Podłącz USB do kamer, jak pokazano na Rysunek 3E, i do komputera Ubuntu.

2. Sprawdź kalibrację kamery

  1. Na wyświetlaczu dotykowym robota naciśnij przycisk Menu i wybierz Stereo2, aby uruchomić aplikację robota. Spowoduje to otwarcie ekranu głównego, jak pokazano na Rysunek 6A.
    1. Na ekranie głównym naciśnij Go aby uruchomić na 1100 mm w aplikacji robota i poczekaj, aż robot przesunie się do pozycji startowej.
    2. Zdejmij ochronne osłony obiektywów z aparatów i podłącz USB do komputera Ubuntu.
    3. Umieść wydrukowaną siatkę kalibracyjną (CalibrationGrid.png w repozytorium) w odległości 1100 mm od czujników aparatu. Aby ułatwić prawidłową identyfikację odpowiednich kwadratów, umieść małą nakrętkę śrubową lub znak gdzieś na środku siatki.
  2. Uruchom aplikację do nagrywania na komputerze Ubuntu (uruchom skrypt start.sh znajdujący się w folderze liveview w repozytorium Github). Spowoduje to uruchomienie interfejsu, jak pokazano na Rysunek 4.
    1. Dostosuj przysłonę i ustaw ostrość na obiektywie za pomocą pierścieni przysłony i ostrości.
    2. W aplikacji do nagrywania zaznacz opcję Celownik, aby wyświetlić obraz celownika.
  3. W aplikacji do nagrywania upewnij się, że krzyż nitkowy jest wyrównany z siatką kalibracji w tej samej pozycji na obu obrazach z kamery, jak pokazano na Rysunek 4. Najprawdopodobniej wymagana będzie pewna korekta w następujący sposób:
    1. Jeśli krzyżyki nie zachodzą na siebie, naciśnij ikonę koła zębatego (w lewym dolnym rogu Rysunek 6A) w aplikacji robota na wyświetlaczu dotykowym robota, aby otworzyć ekran ustawień, jak pokazano na Rysunek 6B.
    2. Naciśnij 1. Przejdź do pozycji startowej, jak pokazano na Rysunek 6B.
    3. Przesuń robota za pomocą joysticka, aby wyregulować pozycję kamery (instrukcja obsługi strona 3123).
    4. Zaktualizuj pozycję narzędzia dla każdego ramienia robota. Naciśnij 3. Zaktualizuj lewe narzędzie i 4. Zaktualizuj prawe narzędzie, aby zapisać kalibrację odpowiednio dla lewego i prawego ramienia.
    5. Naciśnij ikonę strzałki wstecz (w prawym górnym rogu, Rysunek 6B), aby powrócić do ekranu głównego.
  4. Naciśnij Uruchom eksperyment (Rysunek 6A) w aplikacji robota i sprawdź, czy krzyżyk jest wyrównany. W przeciwnym razie powtórz kroki 2.3-2.3.5.
  5. Dodaj i przetestuj wszelkie zmiany odległości i/lub czasu w tym momencie. Wymaga to zmian w kodzie programu robota i zaawansowanych umiejętności programowania robotów. Zmień następujące zmienne w module Dane w lewym zadaniu (ramię): żądane odległości separacji w zmiennej tablicowej liczb całkowitych Odległości, odległości zbieżności w tablicy liczb całkowitych ConvergencePos i edytuj czas w każdym kroku, edytując zmienną Nwaittime (wartość w sekundach).
    UWAGA: Nigdy nie uruchamiaj nieprzetestowanego programu robota podczas operacji na żywo.
  6. Po zakończeniu kalibracji naciśnij Podnieś, aby podnieść ramiona robota do pozycji gotowości.
  7. Opcjonalnie wyłącz robota.
    UWAGA: Procedurę można wstrzymać między dowolnymi krokami powyżej.

3. Przygotowanie na początku operacji

  1. Odkurz robota.
    1. Jeśli robot był wyłączony, uruchom go, włączając przełącznik Start znajdujący się u podstawy robota.
  2. Uruchom aplikację robota na wyświetlaczu dotykowym i aplikacji do nagrywania opisanej w krokach 2.1 i 2.2.
  3. W aplikacji do nagrywania utwórz, a następnie wybierz folder, w którym chcesz zapisać wideo (naciśnij Zmień folder).
  4. W aplikacji robota: naciśnij ikonę koła zębatego, ustaw kamery w stosunku do pacjenta. Zmień kierunek X i Z, naciskając odpowiednio +/-, aby uzyskać odpowiednią odległość ręki od robota i wysokość, aby obraz obejmował pole operacyjne. Wykonaj pozycjonowanie w kierunku Y, ręcznie przesuwając robota lub pacjenta.
    UWAGA: Przygotowania można przerwać między etapami przygotowania 3.1-3.4.

4. Eksperyment

UWAGA: Wszyscy pracownicy powinni być wcześniej poinformowani o eksperymencie.

  1. Wstrzymaj operację.
    1. Poinformuj personel sali operacyjnej, że eksperyment został rozpoczęty.
  2. Naciśnij przycisk Nagraj w aplikacji do nagrywania.
  3. Naciśnij przycisk Uruchom eksperyment w aplikacji robota.
  4. Poczekaj, aż program zostanie uruchomiony; po zakończeniu robot wyświetli komunikat "Gotowe" w aplikacji robota na wyświetlaczu dotykowym.
  5. Zatrzymaj nagrywanie w aplikacji do nagrywania, naciskając przycisk Zakończ.
    1. Poinformuj personel sali operacyjnej, że eksperyment został zakończony.
  6. Wznów operację.
    UWAGA: Eksperymentu nie można wstrzymać w krokach 4.1-4.6.

5. Powtórz

  1. Powtórz kroki 4.1-4.6, aby uchwycić inną sekwencję, a kroki 3.1-3.4 i kroki 4.1-4.6, aby uchwycić sekwencje z różnych operacji. Uchwyć około dziesięciu pełnych sekwencji.

6. Przetwarzanie końcowe

UWAGA: Następujące kroki można wykonać za pomocą większości programów do edycji wideo lub skryptów dostarczonych w folderze postprocessingu.

  1. W takim przypadku usuń efekt Bayera z filmu tak, jak jest on zapisany w formacie RAW:
    1. Uruchom skrypt postprocessing/debayer/run.sh, aby otworzyć aplikację debayer pokazaną w Rysunek 8A.
    2. Naciśnij Przeglądaj katalog wejściowy i wybierz folder z wideo RAW.
    3. Naciśnij przycisk Przeglądaj katalog wyjściowy i wybierz folder dla wynikowych plików wideo z korekcją Bayera i dostosowaniem kolorów.
    4. Naciśnij Debayera! i poczekaj, aż proces się zakończy - oba paski postępu są pełne, jak pokazano na Rysunek 8B.
  2. Scal zsynchronizowane filmy z prawej i lewej strony do formatu stereo 3D28:
    1. Uruchom skrypt postprocessing/merge_tb/run.sh, aby uruchomić aplikację scalającą; otwiera ona graficzny interfejs użytkownika pokazany w Rysunek 8C.
    2. Naciśnij Przeglądaj katalog wejściowy i wybierz folder z usuniętymi plikami wideo.
    3. Naciśnij przycisk Przeglądaj katalog wyjściowy i wybierz folder dla wynikowego scalonego pliku stereo 3D.
    4. Naciśnij przycisk Merge! i poczekaj, aż pojawi się ekran zakończenia w Rysunek 8D.
  3. Użyj gotowego oprogramowania do edycji wideo, takiego jak Premiere Pro, aby dodać etykiety tekstowe do każdej odległości kamery w filmie.
    UWAGA: Na filmie widoczne są drgania za każdym razem, gdy robot się porusza, a odległość kamery zwiększa się. W tym eksperymencie użyto etykiet A-T dla odległości kamery.

7. Ocena

  1. Wyświetlaj wideo w formacie 3D od góry do dołu za pomocą aktywnego projektora 3D.
  2. Wrażenia podczas oglądania zależą od kąta patrzenia i odległości od ekranu; oceń film pod kątem docelowych odbiorców i konfiguracji.

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Wyniki

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Akceptowalny film oceniający z prawym obrazem umieszczonym na górze w stereoskopowym 3D u góry i u dołu jest pokazany w Video1. Udana sekwencja powinna być ostra, skoncentrowana i bez niezsynchronizowanych klatek obrazu. Niezsynchronizowane strumienie wideo spowodują rozmycie, jak pokazano w pliku Wideo 2. Punkt zbieżności powinien być wyśrodkowany poziomo, niezależnie od separacji kamery, jak widać na Rysunek 9A,B. Gdy robot przechodzi międ...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Dyskusja

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Podczas operacji na żywo całkowity czas eksperymentu wykorzystany do zbierania danych wideo 3D był ograniczony, aby był bezpieczny dla pacjenta. Jeśli obiekt jest nieostry lub prześwietlony, nie można użyć danych. Krytyczne kroki to kalibracja i konfiguracja narzędzia kamery (krok 2). Przysłony i ostrości aparatu nie można zmienić po rozpoczęciu operacji; Te same warunki oświetleniowe i odległość powinny być używane podczas ustawiania i zabiegu. Kalibrację kamery w krokach 2.1-2.4 należy przeprowadzić ostrożnie, aby upew...

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Oświadczenia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Autorzy nie mają nic do ujawnienia.

Podziękowania

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Badania zostały przeprowadzone dzięki finansowaniu z Vinnova (2017-03728, 2018-05302 i 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) oraz Anna-Lisa and Sven Eric Lundgren Foundation (2017 i 2018).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Materiały

Lista materiałów użytych w tym artykule
NazwaFirmaNumer katalogowyKomentarze
2 obiektywy z mocowaniem C (35 mm F2.1, 5 mln pikseli)TamronM112FM35przystosowany do
okularów 3D 5 Mpixel (aktywna migawka DLP-link)CelexonG1000Można używać dowolnych kompatybilnych okularów 3D
Projektor 3DViewsonicX10-4KWyświetlacze 3D w 1080, możliwość wymiany na inne projektory 3D
6M2 x 8Aby przymocować kamery cXimea do płyt adaptera kamery
8Aby przymocować okrągłe płyty montażowe do nadgarstka robota
8Do montażu robota
8 M6 x 10 z płaskimiDo mocowania okrągłej płyty montażowej i płytek adaptera kamery
Płytka kontrolna kalibracji (25 na 25 mm)Można użyć dowolnej standardowej szachownicy, w tym zadrukowanej, o ile siatka jest dobrze widoczna w aparatach
Płyty adaptera do aparatu, x2Zaprojektowane przez autorów w robot_camera_adaptor_plates.dwg, frezowane w aluminium.
Okrągłe płyty montażowe, x2Dystrybuowane za zgodą projektanta Juliusa Kleina i wydrukowane z tworzywa ABS na drukarce 3D FDM. Licencja Tecnalia Research & Innowacja 2017. Dołączony jako Mountingplate_ROBOT_SIDE_
NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)XimeaMC050CG-SY-UBZ czujnikiem Sony IMX250LQR
FlexpendantABB3HAC028357-001wyświetlacz dotykowy robota Aplikacja do
nagrywaniażywo
RobotStudio  zintegrowane środowisko programistyczne robota (IDE)
Aktywne USB3 (10,0 m), x2Złącze z blokadą śrubową, wodoodporne.
Dwuramienny robot YuMiABBIRB14000
M2.5 x 8 M5 x 40 na

Bibliografia

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
  2. van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
  3. Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
  4. Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).
  5. Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
  6. Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
  7. Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
  8. Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
  9. Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
  10. Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
  11. Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
  12. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  13. Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
  14. McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
  15. Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
  16. Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
  17. Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
  18. Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
  19. Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
  20. López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).
  21. Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
  22. Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
  23. Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
  24. Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
  25. Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  26. Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
  27. Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  28. Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
  29. Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
  30. Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
  31. Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).

Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.

Przedruki i uprawnienia

Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE

Poproś o pozwolenie

Tagi

Stereo 3D VisualizationRobotized Camera TestingOpen Heart SurgeryCamera ConfigurationStereoscopic 3D VideoSurgical Field CaptureCamera Baseline DistanceDepth Perception StudyMedical Education VideoDual Arm Robot

Powiązane artykuły