Ludzka percepcja głębi w stereoskopowych filmach 3D zależy od odległości kamery, punktu zbieżności, odległości i znajomości obiektu. W artykule przedstawiono zrobotyzowaną metodę szybkiego i wiarygodnego zbierania danych testowych podczas operacji na otwartym sercu na żywo w celu określenia idealnej konfiguracji kamery.
Subskrypcja JoVE jest wymagana do oglądania tego materiału. Zaloguj się lub rozpocznij bezpłatny okres próbny.
Artykuł metodologiczny
Zrobotyzowane testowanie pozycji kamer w celu określenia idealnej konfiguracji do stereoskopowej wizualizacji 3D operacji na otwartym sercu
W tym artykule
Podsumowanie
Streszczenie
Stereofoniczne filmy 3D z zabiegów chirurgicznych mogą być bardzo cenne dla edukacji medycznej i poprawić komunikację kliniczną. Ale dostęp do sali operacyjnej i pola operacyjnego jest ograniczony. Jest to sterylne środowisko, a przestrzeń fizyczna jest zatłoczona personelem chirurgicznym i sprzętem technicznym. W tym otoczeniu niezakłócone uchwycenie i realistyczne odwzorowanie procedur chirurgicznych jest trudne. W artykule przedstawiono metodę szybkiego i wiarygodnego zbierania danych ze stereoskopowych filmów 3D w różnych odległościach bazowych kamer i odległościach zbieżności. Aby zbierać dane testowe przy minimalnych zakłóceniach podczas operacji, z wysoką precyzją i powtarzalnością, kamery zostały przymocowane do każdej ręki robota dwuramiennego. Robot został zamontowany na suficie na sali operacyjnej. Został zaprogramowany do wykonywania czasowej sekwencji zsynchronizowanych ruchów kamery, przechodząc przez szereg pozycji testowych z odległością bazową w zakresie 50-240 mm w krokach przyrostowych 10 mm i przy dwóch odległościach zbieżności 1100 mm i 1400 mm. Operacja została wstrzymana, aby umożliwić 40 kolejnych 5-sekundowych próbek wideo. Łącznie zarejestrowano 10 scenariuszy chirurgicznych.
Wprowadzenie
W chirurgii wizualizacja 3D może być wykorzystywana w edukacji, diagnostyce, planowaniu przedoperacyjnym oraz ocenie pooperacyjnej1,2. Realistyczne postrzeganie głębi może usprawnić zrozumienie3,4,5,6 anatomii prawidłowej i patologicznej. Proste nagrania wideo 2D z procedur chirurgicznych stanowią dobry punkt wyjścia. Jednak brak postrzegania głębi może utrudnić osobom niebędącym chirurgami pełne zrozumienie relacji przednio-tylnych między różnymi strukturami anatomicznymi, co może również prowadzić do ryzyka błędnej interpretacji anatomii7,8,9,10.
Na doświadczenie widzenia 3D wpływa pięć czynników: (1) konfiguracja kamer, która może być równoległa lub zbieżna, jak pokazano na Rysunku 1, (2) odległość bazowa (odstęp między kamerami), (3) odległość do badanego obiektu oraz inne cechy sceny, takie jak tło, (4) charakterystyka urządzeń do wyświetlania, np. rozmiar ekranu i pozycja widza1,11,12,13, (5) indywidualne preferencje widzów14,15.
Projektowanie konfiguracji kamery 3D rozpoczyna się od przechwytywania filmów testowych, nagranych przy różnych odległościach między osiami kamer oraz w różnych konfiguracjach, które posłużą do oceny subiektywnej lub automatycznej16,17,18,19,20. Odległość kamery od pola operacyjnego musi pozostać stała, aby uzyskać ostre obrazy. Preferowane jest stałe ustawienie ostrości, ponieważ autofokus może dostosować się do dłoni, instrumentów lub głów, które mogą pojawić się w polu widzenia. Jest to jednak trudne do osiągnięcia, gdy obszarem zainteresowania jest pole operacyjne. Sale operacyjne są obszarami o ograniczonym dostępie, ponieważ placówki te muszą być utrzymywane w czystości i sterylności. Sprzęt techniczny, chirurdzy i pielęgniarki operacyjne często gromadzą się blisko pacjenta, aby zapewnić dobry przegląd wizualny i efektywny przebieg pracy. Aby porównać i ocenić wpływ pozycji kamer na wrażenia z oglądania 3D, pełen zakres testowy pozycji kamer powinien rejestrować tę samą scenę, ponieważ charakterystyka obiektu, taka jak kształt, rozmiar i kolor, może wpływać na odbiór obrazu 3D21.
Z tego samego powodu pełne zakresy testowe pozycji kamery powinny zostać powtórzone w różnych procedurach chirurgicznych. Cała sekwencja pozycji musi zostać powtórzona z wysoką dokładnością. W warunkach chirurgicznych istniejące metody, które wymagają albo ręcznej regulacji odległości bazowej22, albo zastosowania różnych par kamer o stałych odległościach bazowych23, są niewykonalne ze względu na ograniczenia przestrzenne i czasowe. Aby rozwiązać ten problem, zaprojektowano niniejsze rozwiązanie zrobotyzowane.
Dane zostały zebrane przy użyciu dwuręcznego kolaboracyjnego robota przemysłowego zamontowanego w suficie sali operacyjnej. Kamery przymocowano do nadgarstków robota, które poruszały się wzdłuż trajektorii w kształcie łuku z rosnącą odległością bazową, jak pokazano na Rysunku 2.
Aby zademonstrować przyjęte podejście, zarejestrowano 10 serii testowych u 4 różnych pacjentów z 4 różnymi wrodzonymi wadami serca. Sceny wybierano w momentach, gdy możliwa była przerwa w operacji: przy bijącym sercu bezpośrednio przed i po korekcji chirurgicznej. Serie wykonano również w stanie zatrzymania akcji serca. Operacje wstrzymano na 3 min 20 s, aby zebrać czterdzieści 5-sekundowych sekwencji z różnymi odległościami konwergencji kamer i odległościami bazy w celu uchwycenia sceny. Nagrania wideo zostały następnie poddane postprocesowaniu i wyświetlone w 3D zespołowi klinicznemu, który ocenił realizm wideo 3D w skali od 0 do 5.
Punkt zbieżności dla skierowanych do wewnątrz kamer stereo to miejsce, w którym spotykają się punkty centralne obu obrazów. Punkt zbieżności może, w zależności od zasady, znajdować się przed, w obrębie lub za obiektem, patrz Rysunek 1A-C. Gdy punkt zbieżności znajduje się przed obiektem, obiekt zostanie zarejestrowany i wyświetlony po lewej stronie linii środkowej w obrazie z lewej kamery oraz po prawej stronie linii środkowej w obrazie z prawej kamery (Rysunek 1A). Odwrotna sytuacja ma miejsce, gdy punkt zbieżności znajduje się za obiektem (Rysunek 1B). Gdy punkt zbieżności znajduje się na obiekcie, obiekt pojawi się również w linii środkowej obrazów z kamer (Rysunek 1C), co prawdopodobnie zapewni najbardziej komfortowy odbiór, ponieważ nie jest wymagane mrużenie oczu w celu scalenia obrazów. Aby uzyskać komfortowe wideo stereo 3D, punkt zbieżności musi znajdować się na obiekcie zainteresowania lub nieco za nim, w przeciwnym razie widz musi świadomie mrużyć oczy na zewnątrz (egzotropia).
Dane zostały zebrane przy użyciu dwuramiennego kolaboracyjnego robota przemysłowego do pozycjonowania kamer (Rysunek 2A-B). Robot waży 38 kg bez wyposażenia. Robot jest bezpieczny z natury; w przypadku wykrycia nieoczekiwanego uderzenia zatrzymuje on swój ruch. Robot został zaprogramowany tak, aby pozycjonować kamery 5 Megapiksel z obiektywami z mocowaniem C wzdłuż trajektorii w kształcie łuku, zatrzymując się w określonych odległościach bazowych (Rysunek 2C). Kamery zostały przymocowane do chwytaków robota za pomocą płyt adaptacyjnych, jak pokazano na Rysunku 3. Każda kamera rejestrowała obraz z częstotliwością 25 klatek na sekundę. Obiektywy ustawiono na przysłonę f/8 z ostrością ustawioną na interesujący obiekt (przybliżony geometryczny środek serca). Każda klatka obrazu posiadała znacznik czasu, który służył do synchronizacji dwóch strumieni wideo.
Przeprowadzono kalibrację przesunięć pomiędzy nadgarstkiem robota a kamerą. Można to osiągnąć poprzez wyrównanie krzyżyków na obrazach z kamer, jak pokazano na Rysunku 4. W tej konfiguracji całkowite przesunięcie translacyjne od punktu montażowego na nadgarstku robota do centrum czujnika obrazu kamery wynosiło 55,3 mm w kierunku X oraz 21,2 mm w kierunku Z, co przedstawiono na Rysunku 5. Przesunięcia rotacyjne skalibrowano przy odległości zbieżności 1100 mm i odległości bazowej 50 mm, a następnie dostosowano ręcznie za pomocą joysticka na panelu sterowania robotem. Robot wykorzystany w tej badaniu charakteryzował się określoną dokładnością 0,02 mm w przestrzeni kartezjańskiej oraz rozdzielczością rotacyjną 0,01 stopnia24. Przy promieniu 1100 m różnica kąta o 0,01 stopnia przesuwa punkt centralny o 0,2 mm. Podczas pełnego ruchu robota przy separacji od 50 do 240 mm krzyżyk każdej kamery znajdował się w odległości nieprzekraczającej 2 mm od idealnego centrum zbieżności.
Odległość bazową zwiększano stopniowo poprzez symetryczne rozsuwanie kamer wokół centrum pola widzenia w przyrostach 10 mm, w zakresie od 50-240 mm (Rysunek 2). Kamery pozostawały w bezruchu przez 5 s w każdej pozycji i były przemieszczane między pozycjami z prędkością 50 mm/s. Punkt konwergencji można było regulować w kierunkach X i Z za pomocą graficznego interfejsu użytkownika (Rysunek 6). Robot poruszał się odpowiednio w ramach swojego zakresu roboczego.
Dokładność punktu zbieżności oszacowano przy użyciu jednakowych trójkątów i nazw zmiennych przedstawionych na Ryc. 7A i B. Wysokość 'z' obliczono z odległości zbieżności 'R' przy użyciu twierdzenia Pitagorasa jako
Gdy rzeczywisty punkt zbieżności znajdował się bliżej niż punkt pożądany, jak pokazano na Rysunku 7A, odległość błędu 'f1' obliczano według wzoru
Analogicznie, gdy punkt zbieżności znajdował się dystalnie względem punktu docelowego, odległość błędu 'f2' obliczano jako
W tym przypadku 'e' oznaczało maksymalny rozstaw linii celownika, wynoszący maksymalnie 2 mm przy maksymalnym rozstawie bazy podczas kalibracji (D = 240 mm). Dla R = 1100 mm (z = 1093 mm) błąd wynosił mniej niż ± 9,2 mm. Dla R = 1400 mm (z = 1395 mm) błąd wynosił ± 11,7 mm. Oznacza to, że błąd wyznaczenia punktu konwergencji mieścił się w granicach 1% wartości pożądanej. Dwie testowe odległości 1100 mm i 1400 mm były zatem wyraźnie od siebie oddzielone.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Protokół
Eksperymenty zostały zatwierdzone przez lokalną Komisję Etyki w Lund, Szwecja. Udział w badaniu był dobrowolny, a opiekunowie prawni pacjentów wyrazili świadomą pisemną zgodę.
1. Instalacja i konfiguracja robota
UWAGA: W tym eksperymencie użyto dwuramiennego współpracującego robota przemysłowego i standardowego panelu sterowania z dotykowym wyświetlaczem. Robot jest sterowany za pomocą oprogramowania sterującego RobotWare 6.10.01 i zintegrowanego środowiska programistycznego (IDE) robota RobotStudio 2019.525. Oprogramowanie opracowane przez autorów, w tym aplikacja robota, aplikacja do nagrywania i skrypty postprocessingu, jest dostępne w repozytorium GitHub26.
UWAGA: Używaj okularów ochronnych i zmniejsz prędkość podczas konfiguracji i testowania programu robota.
- Zamontuj robota na suficie lub stole za pomocą o wadze 100 kg, zgodnie z opisem na stronie 25 w specyfikacji produktu24, zgodnie ze specyfikacjami producenta. Upewnij się, że ramiona mogą się swobodnie poruszać, a linia wzroku do pola widzenia jest niezasłonięta.
UWAGA: Podczas montażu robota w wysokiej pozycji należy używać podnośnika lub lin zabezpieczających. - Uruchom robota, przekręcając przełącznik startowy znajdujący się u podstawy robota. Skalibruj robota, postępując zgodnie z procedurą opisaną w instrukcji obsługi na stronach 47-5625.
- Uruchom środowisko IDE robota na komputerze z systemem Windows.
- Podłącz do fizycznego systemu robota (instrukcja obsługi strona 14027).
- Załaduj kod programu robota i biblioteki aplikacji dla interfejsu użytkownika do robota:
- Kod robota montowanego na suficie znajduje się w folderze Robot/InvertedCode, a dla robota montowanego na stole w Robot/TableMountedCode. Dla każdego z plików left/Data.mod, left/MainModule.mod, right/Data.mod i right/MainModule.mod:
- Utwórz nowy moduł programu (patrz instrukcja obsługi strona 31827) o tej samej nazwie co plik (Data lub MainModule) i skopiuj zawartość pliku do nowego modułu.
- Naciśnij Zastosuj w IDE robota, aby zapisać pliki w robocie.
- Użyj narzędzia File Transfer (instrukcja obsługi strona 34627), aby przesłać do robota pliki aplikacji robota TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll i TpsViewStereo2.pdb znajdujące się w folderze FPApp. Po tym kroku IDE robota nie będzie dalej używane.
- Naciśnij przycisk Reset z tyłu wyświetlacza dotykowego robota (FlexPendant), aby ponownie załadować interfejs graficzny. Aplikacja robota Stereo2 będzie teraz widoczna w menu wyświetlacza dotykowego.
- Zainstaluj aplikację do nagrywania (Liveview) i aplikację do przetwarzania końcowego na komputerze z systemem Ubuntu 20.04, uruchamiając skrypt install_all_linux.sh, znajdujący się w folderze głównym w repozytorium Github.
- Zamontuj każdą kamerę na robocie. Komponenty potrzebne do montażu są wyświetlane w Rysunek 3A.
- Zamontuj obiektyw w aparacie.
- Zamontuj kamerę na płycie adaptera aparatu za pomocą trzech M2.
- Zamontuj okrągłą płytę montażową do płyty adaptera kamery za pomocą czterech M6 po przeciwnej stronie kamery.
- Powtórz kroki 1.9.1-1.9.3 dla drugiej kamery. Powstałe w ten sposób zestawy są odbite lustrzanie, jak pokazano na Rysunek 3B; i Rysunek 3C.
- Zamontuj płytkę adaptera na nadgarstku robota za pomocą czterech M2.5, jak pokazano na Rysunek 3D.
- W przypadku robota montowanego na suficie: przymocuj lewą kamerę w Rysunek 3C do lewego ramienia robota, jak pokazano na Rysunek 2A.
- W przypadku robota montowanego na stole: przymocuj lewą kamerę w Rysunek 3C do prawego ramienia robota.
- Podłącz USB do kamer, jak pokazano na Rysunek 3E, i do komputera Ubuntu.
2. Sprawdź kalibrację kamery
- Na wyświetlaczu dotykowym robota naciśnij przycisk Menu i wybierz Stereo2, aby uruchomić aplikację robota. Spowoduje to otwarcie ekranu głównego, jak pokazano na Rysunek 6A.
- Na ekranie głównym naciśnij Go aby uruchomić na 1100 mm w aplikacji robota i poczekaj, aż robot przesunie się do pozycji startowej.
- Zdejmij ochronne osłony obiektywów z aparatów i podłącz USB do komputera Ubuntu.
- Umieść wydrukowaną siatkę kalibracyjną (CalibrationGrid.png w repozytorium) w odległości 1100 mm od czujników aparatu. Aby ułatwić prawidłową identyfikację odpowiednich kwadratów, umieść małą nakrętkę śrubową lub znak gdzieś na środku siatki.
- Uruchom aplikację do nagrywania na komputerze Ubuntu (uruchom skrypt start.sh znajdujący się w folderze liveview w repozytorium Github). Spowoduje to uruchomienie interfejsu, jak pokazano na Rysunek 4.
- Dostosuj przysłonę i ustaw ostrość na obiektywie za pomocą pierścieni przysłony i ostrości.
- W aplikacji do nagrywania zaznacz opcję Celownik, aby wyświetlić obraz celownika.
- W aplikacji do nagrywania upewnij się, że krzyż nitkowy jest wyrównany z siatką kalibracji w tej samej pozycji na obu obrazach z kamery, jak pokazano na Rysunek 4. Najprawdopodobniej wymagana będzie pewna korekta w następujący sposób:
- Jeśli krzyżyki nie zachodzą na siebie, naciśnij ikonę koła zębatego (w lewym dolnym rogu Rysunek 6A) w aplikacji robota na wyświetlaczu dotykowym robota, aby otworzyć ekran ustawień, jak pokazano na Rysunek 6B.
- Naciśnij 1. Przejdź do pozycji startowej, jak pokazano na Rysunek 6B.
- Przesuń robota za pomocą joysticka, aby wyregulować pozycję kamery (instrukcja obsługi strona 3123).
- Zaktualizuj pozycję narzędzia dla każdego ramienia robota. Naciśnij 3. Zaktualizuj lewe narzędzie i 4. Zaktualizuj prawe narzędzie, aby zapisać kalibrację odpowiednio dla lewego i prawego ramienia.
- Naciśnij ikonę strzałki wstecz (w prawym górnym rogu, Rysunek 6B), aby powrócić do ekranu głównego.
- Naciśnij Uruchom eksperyment (Rysunek 6A) w aplikacji robota i sprawdź, czy krzyżyk jest wyrównany. W przeciwnym razie powtórz kroki 2.3-2.3.5.
- Dodaj i przetestuj wszelkie zmiany odległości i/lub czasu w tym momencie. Wymaga to zmian w kodzie programu robota i zaawansowanych umiejętności programowania robotów. Zmień następujące zmienne w module Dane w lewym zadaniu (ramię): żądane odległości separacji w zmiennej tablicowej liczb całkowitych Odległości, odległości zbieżności w tablicy liczb całkowitych ConvergencePos i edytuj czas w każdym kroku, edytując zmienną Nwaittime (wartość w sekundach).
UWAGA: Nigdy nie uruchamiaj nieprzetestowanego programu robota podczas operacji na żywo. - Po zakończeniu kalibracji naciśnij Podnieś, aby podnieść ramiona robota do pozycji gotowości.
- Opcjonalnie wyłącz robota.
UWAGA: Procedurę można wstrzymać między dowolnymi krokami powyżej.
3. Przygotowanie na początku operacji
- Odkurz robota.
- Jeśli robot był wyłączony, uruchom go, włączając przełącznik Start znajdujący się u podstawy robota.
- Uruchom aplikację robota na wyświetlaczu dotykowym i aplikacji do nagrywania opisanej w krokach 2.1 i 2.2.
- W aplikacji do nagrywania utwórz, a następnie wybierz folder, w którym chcesz zapisać wideo (naciśnij Zmień folder).
- W aplikacji robota: naciśnij ikonę koła zębatego, ustaw kamery w stosunku do pacjenta. Zmień kierunek X i Z, naciskając odpowiednio +/-, aby uzyskać odpowiednią odległość ręki od robota i wysokość, aby obraz obejmował pole operacyjne. Wykonaj pozycjonowanie w kierunku Y, ręcznie przesuwając robota lub pacjenta.
UWAGA: Przygotowania można przerwać między etapami przygotowania 3.1-3.4.
4. Eksperyment
UWAGA: Wszyscy pracownicy powinni być wcześniej poinformowani o eksperymencie.
- Wstrzymaj operację.
- Poinformuj personel sali operacyjnej, że eksperyment został rozpoczęty.
- Naciśnij przycisk Nagraj w aplikacji do nagrywania.
- Naciśnij przycisk Uruchom eksperyment w aplikacji robota.
- Poczekaj, aż program zostanie uruchomiony; po zakończeniu robot wyświetli komunikat "Gotowe" w aplikacji robota na wyświetlaczu dotykowym.
- Zatrzymaj nagrywanie w aplikacji do nagrywania, naciskając przycisk Zakończ.
- Poinformuj personel sali operacyjnej, że eksperyment został zakończony.
- Wznów operację.
UWAGA: Eksperymentu nie można wstrzymać w krokach 4.1-4.6.
5. Powtórz
- Powtórz kroki 4.1-4.6, aby uchwycić inną sekwencję, a kroki 3.1-3.4 i kroki 4.1-4.6, aby uchwycić sekwencje z różnych operacji. Uchwyć około dziesięciu pełnych sekwencji.
6. Przetwarzanie końcowe
UWAGA: Następujące kroki można wykonać za pomocą większości programów do edycji wideo lub skryptów dostarczonych w folderze postprocessingu.
- W takim przypadku usuń efekt Bayera z filmu tak, jak jest on zapisany w formacie RAW:
- Uruchom skrypt postprocessing/debayer/run.sh, aby otworzyć aplikację debayer pokazaną w Rysunek 8A.
- Naciśnij Przeglądaj katalog wejściowy i wybierz folder z wideo RAW.
- Naciśnij przycisk Przeglądaj katalog wyjściowy i wybierz folder dla wynikowych plików wideo z korekcją Bayera i dostosowaniem kolorów.
- Naciśnij Debayera! i poczekaj, aż proces się zakończy - oba paski postępu są pełne, jak pokazano na Rysunek 8B.
- Scal zsynchronizowane filmy z prawej i lewej strony do formatu stereo 3D28:
- Uruchom skrypt postprocessing/merge_tb/run.sh, aby uruchomić aplikację scalającą; otwiera ona graficzny interfejs użytkownika pokazany w Rysunek 8C.
- Naciśnij Przeglądaj katalog wejściowy i wybierz folder z usuniętymi plikami wideo.
- Naciśnij przycisk Przeglądaj katalog wyjściowy i wybierz folder dla wynikowego scalonego pliku stereo 3D.
- Naciśnij przycisk Merge! i poczekaj, aż pojawi się ekran zakończenia w Rysunek 8D.
- Użyj gotowego oprogramowania do edycji wideo, takiego jak Premiere Pro, aby dodać etykiety tekstowe do każdej odległości kamery w filmie.
UWAGA: Na filmie widoczne są drgania za każdym razem, gdy robot się porusza, a odległość kamery zwiększa się. W tym eksperymencie użyto etykiet A-T dla odległości kamery.
7. Ocena
- Wyświetlaj wideo w formacie 3D od góry do dołu za pomocą aktywnego projektora 3D.
- Wrażenia podczas oglądania zależą od kąta patrzenia i odległości od ekranu; oceń film pod kątem docelowych odbiorców i konfiguracji.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Wyniki
Właściwy film ewaluacyjny z obrazem prawym umieszczonym na górze w stereoskopowym 3D typu góra-dół przedstawiono w Video1. Prawidłowa sekwencja powinna być ostra, wyraźna i pozbawiona niesynchronizowanych klatek obrazu. Niesynchronizowane strumienie wideo spowodują rozmycie, co pokazano w pliku Video 2. Punkt konwergencji powinien być wycentrowany poziomo, niezależnie od rozstawu kamer, jak pokazano na Rysunku 9A,B. Podczas przejść robota mi...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dyskusja
Podczas operacji na żywo całkowity czas eksperymentu wykorzystany do zbierania danych wideo 3D był ograniczony, aby był bezpieczny dla pacjenta. Jeśli obiekt jest nieostry lub prześwietlony, nie można użyć danych. Krytyczne kroki to kalibracja i konfiguracja narzędzia kamery (krok 2). Przysłony i ostrości aparatu nie można zmienić po rozpoczęciu operacji; Te same warunki oświetleniowe i odległość powinny być używane podczas ustawiania i zabiegu. Kalibrację kamery w krokach 2.1-2.4 należy przeprowadzić ostrożnie, aby upew...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Oświadczenia
Autorzy nie mają nic do ujawnienia.
Podziękowania
Badania zostały przeprowadzone dzięki finansowaniu z Vinnova (2017-03728, 2018-05302 i 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) oraz Anna-Lisa and Sven Eric Lundgren Foundation (2017 i 2018).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Materiały
| Nazwa | Firma | Numer katalogowy | Komentarze |
|---|---|---|---|
| 2 obiektywy z mocowaniem C (35 mm F2.1, 5 mln pikseli) | Tamron | M112FM35 | przystosowany do |
| okularów 3D 5 Mpixel (aktywna migawka DLP-link) | Celexon | G1000 | Można używać dowolnych kompatybilnych okularów 3D |
| Projektor 3D | Viewsonic | X10-4K | Wyświetlacze 3D w 1080, możliwość wymiany na inne projektory 3D |
| 6 | M2 x 8Aby przymocować kamery cXimea do płyt adaptera kamery | ||
| 8 | Aby przymocować okrągłe płyty montażowe do nadgarstka robota | ||
| 8 | Do montażu robota | ||
| 8 M6 x 10 z płaskimi | Do mocowania okrągłej płyty montażowej i płytek adaptera kamery | ||
| Płytka kontrolna kalibracji (25 na 25 mm) | Można użyć dowolnej standardowej szachownicy, w tym zadrukowanej, o ile siatka jest dobrze widoczna w aparatach | ||
| Płyty adaptera do aparatu, x2 | Zaprojektowane przez autorów w robot_camera_adaptor_plates.dwg, frezowane w aluminium. | ||
| Okrągłe płyty montażowe, x2 | Dystrybuowane za zgodą projektanta Juliusa Kleina i wydrukowane z tworzywa ABS na drukarce 3D FDM. Licencja Tecnalia Research & Innowacja 2017. Dołączony jako Mountingplate_ROBOT_SIDE_ NewDesign_4.stl | ||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | Z czujnikiem Sony IMX250LQR |
| Flexpendant | ABB | 3HAC028357-001 | wyświetlacz dotykowy robota Aplikacja do |
| nagrywania | żywo | ||
| RobotStudio | zintegrowane środowisko programistyczne robota (IDE) | ||
| Aktywne USB3 (10,0 m), x2 | Złącze z blokadą śrubową, wodoodporne. | ||
| Dwuramienny robot YuMi | ABB | IRB14000 |
Bibliografia
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przedruki i uprawnienia
