Zrobotyzowane testowanie pozycji kamer w celu określenia idealnej konfiguracji do stereoskopowej wizualizacji 3D operacji na otwartym sercu
12 sierpnia 2021
Ludzka percepcja głębi w stereoskopowych filmach 3D zależy od odległości kamery, punktu zbieżności, odległości i znajomości obiektu. W artykule przedstawiono zrobotyzowaną metodę szybkiego i wiarygodnego zbierania danych testowych podczas operacji na otwartym sercu na żywo w celu określenia idealnej konfiguracji kamery.
Umożliwia nagrywanie wysokiej jakości filmów 3D na potrzeby szkoleń i edukacji. Może być stosowany w większości sal operacyjnych z otwartą chirurgią. Dzięki zrobotyzowanemu podejściu możemy szybko i dokładnie zbierać dane do oceny pozycji kamer.
Ta metoda służy do szybkiego testowania konfiguracji kamery pod kątem aplikacji wizyjnych 3D. Może być również używany do badania, w jaki sposób różne osoby postrzegają głębię. Aby rozpocząć montaż kamery do robota, najpierw zamontuj obiektyw do kamery, a następnie kamerę do płyty adaptera za pomocą trzech M2.
Następnie zamontuj okrągłą płytę montażową do płyty adaptera aparatu za pomocą czterech M4 po przeciwnej stronie kamery. Po zamontowaniu wszystkich kamer na robocie obserwuj odbicie lustrzane powstałych zespołów. Zamontuj płytkę adaptera na nadgarstku robota za pomocą czterech M2.5.
W przypadku robota montowanego na stole przymocuj lewą kamerę do prawego ramienia robota. Podłącz USB do kamer i komputera Ubuntu. Na wyświetlaczu dotykowym robota naciśnij przycisk Menu i wybierz Stereo 2, aby uruchomić aplikację robota.
Na ekranie głównym naciśnij Go, aby rozpocząć przez 1, 100 milimetrów w aplikacji robota i poczekaj, aż robot przesunie się do pozycji początkowej. Zdejmij osłonę ochronną obiektywu z aparatu. Umieść wydrukowaną siatkę kalibracyjną w odległości 1 100 milimetrów od czujników aparatu.
Aby poprawnie zidentyfikować odpowiednie kwadraty, umieść małą nakrętkę śrubową lub znak gdzieś w wejściu siatki. Uruchom aplikację do nagrywania na komputerze Ubuntu, aby uruchomić interfejs. A następnie wyreguluj przysłonę i ustaw ostrość na obiektywie za pomocą pierścieni przysłony i ostrości.
W aplikacji do nagrywania zaznacz opcję Celownik, aby wyświetlić obraz celownika. W aplikacji do nagrywania upewnij się, że krzyż nitkowy jest wyrównany z siatką kalibracji w tym samym miejscu na obu obrazach z kamery. Po naciśnięciu ikony koła zębatego w aplikacji robota, ustaw kamery względem pacjenta.
Zmień kierunek X, naciskając plus lub minus w przypadku odległości ręki od robota, a kierunek Z, naciskając plus lub minus w polu Wysokość, aby uchwycić pole operacyjne na obrazach. Zmień kierunek Y, ręcznie przesuwając robota lub pacjenta. Po wstrzymaniu operacji i poinformowaniu personelu sali operacyjnej o rozpoczęciu eksperymentu, naciśnij przycisk Nagraj w aplikacji do nagrywania, a następnie naciśnij przycisk Uruchom eksperyment w aplikacji robota.
Po chwili, gdy eksperyment zostanie zakończony, na wyświetlaczu dotykowym pojawi się Gotowe. Następnie naciśnij Zatrzymaj nagrywanie w aplikacji do nagrywania, aby zatrzymać nagrywanie. Poinformuj personel sali operacyjnej, że eksperyment został zakończony i wznów operację.
W celu oceny wyświetl wideo w formacie 3D od góry do dołu za pomocą aktywnego projektora 3D. Wyświetlany jest prawidłowy film oceniający z prawym obrazem umieszczonym u góry i u dołu w stereoskopowym 3D u góry. Udana sekwencja powinna być ostra, skoncentrowana i bez niezsynchronizowanych klatek obrazu.
Niezsynchronizowane strumienie wideo powodują rozmycie. Punkt zbieżności powinien być wyśrodkowany poziomo, niezależnie od separacji kamery. Przy bardzo dużej separacji między prawym i lewym obrazem, mózg nie może połączyć obrazów w jeden obraz 3D.
Kilka przyczyn może powodować niepowodzenie w centralnym ustawieniu serca, takich jak odległość od punktu zbieżności do serca. Aby uzyskać poprawną konfigurację układu współrzędnych narzędzia kamery, upewnij się, że krzyż nitkowy w aplikacji rejestrującej jest skierowany na ten sam obiekt, obiekt kalibracji znajduje się w pozycji środkowej, a format kolorów jest prawidłowy. Filmy 3D ze zmieniającymi się odległościami linii bazowej pozwalają nam zbadać, w jaki sposób informacje o głębokości wpływają na zrozumienie anatomii przez personel medyczny.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
To badanie przedstawia zrobotyzowaną metodę zbierania danych testowych podczas operacji otwartego serca na żywo, koncentrując się na idealnej konfiguracji kamery dla stereoskopowych filmów 3D. Metoda ma na celu poprawę oceny percepcji głębi w środowisku chirurgicznym.
Kluczowe elementy badania
Dziedzina nauki
- Neuronauki
- Inżynieria biomedyczna
- Techniki chirurgiczne
Tło
- Percepcja głębi w filmach 3D jest wpłynięta przez różne czynniki.
- Konfiguracja kamery odgrywa krytyczną rolę w jasności wizualnej.
- Rozumienie percepcji głębi może poprawić szkolenie chirurgiczne.
- Zrobotyzowane podejścia mogą usprawnić zbieranie danych w salach operacyjnych.
Cel badania
- Ocenić idealne pozycje kamer dla zastosowań widzenia 3D.
- Zbadać, jak różne subiekty odbiera głębię w kontekstach chirurgicznych.
- Poprawić jakość szkolenia i edukacji poprzez wysokiej jakości rejestrację wideo 3D.
Zastosowane metody
- Zrobotyzowane mocowanie kamery dla szybkiego zbierania danych.
- Ocena oddalenia kamer i punktu zbieżności.
- Testy w różnych warunkach sali operacyjnej.
- Zbieranie danych podczas operacji otwartego serca na żywo.
Główne wyniki
- Wysokiej jakości filmy 3D mogą być skutecznie zarejestrowane.
- Konfiguracje kamer znacząco wpływają na percepcję głębi.
- Szybkie metody testowania dają wiarygodne dane do analizy.
- Znajomość obiektów wpływa na wyniki percepcji głębi.
Wnioski
- Zrobotyzowana metoda jest skuteczna w testowaniu konfiguracji kamer.
- Rozumienie percepcji głębi może poprawić szkolenie chirurgiczne.
- Przyszłe zastosowania mogą obejmować różne zabiegi chirurgiczne.
Często zadawane pytania
Executive Industry Relevance
This method enables rapid, repeatable evaluation of camera configurations for 3D surgical visualization, supporting improved depth perception in medical training. By minimizing OR interference and standardizing data collection, it enhances the reliability of stereoscopic video for surgical education and device evaluation. The approach addresses a key challenge in translating 3D imaging benefits into consistent, scalable training tools.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables objective assessment of visual fidelity in 3D surgical models, supporting hypothesis testing around spatial anatomy comprehension.
- Operational Value: Provides standardized, robotized data capture to reduce variability in visual model evaluation across studies.
Screening & Assay Development
- Scientific Value: Generates quantitative video datasets at defined baseline and convergence distances for comparative analysis of 3D rendering quality.
- Operational Value: Supports assay-like screening of camera setups using repeatable positional steps and controlled convergence points.
Translational & Preclinical Research
- Scientific Value: Facilitates evaluation of 3D video realism in open-heart surgery models, aiding translational assessment of training tool effectiveness.
- Operational Value: Enables cross-functional teams to benchmark visual systems using standardized video outputs from controlled camera configurations.
Pipeline & Workflow Integration
This method fits within early discovery workflows where visual model fidelity impacts biological interpretation, particularly in procedure-based training and device-tissue interaction studies.
- Discovery Biology: Supports hypothesis testing regarding depth perception and spatial understanding in surgical training models.
- Screening: Enables rapid, reproducible evaluation of camera parameters to identify optimal configurations for 3D video capture.
- Analytics: Produces time-synchronized video samples at incremental baseline distances for quantitative comparison of stereoscopic quality.
- Translational Research: Connects camera configuration testing to the realism of surgical video used in preclinical training and device evaluation.
- Enterprise Reuse: Establishes a reusable robotic platform for standardized visual system validation across multiple surgical models and training scenarios.
Operational & Enterprise Impact
- Scientific Value: Improves predictive confidence in 3D training tools by enabling objective, repeatable assessment of visual fidelity.
- Operational Value: Standardizes camera positioning and data capture, reducing setup time and inter-operator variability in OR environments.
- Strategic Value: Supports faster go/no-go decisions on 3D visualization investments by de-risking visual performance early in development.
- Portfolio Impact: Enables risk-adjusted prioritization of training technologies based on validated 3D video quality and depth perception outcomes.
Implementation Considerations
- Requires expertise in robotic systems, camera calibration, and 3D video synchronization.
- Needs dual-arm robotic arm, stereo cameras, calibration grid, and synchronized recording software.
- Demands coordination with OR staff for timed pauses during surgery to capture video samples.
- Must account for variations in surgical field anatomy and lighting across different procedures.
- Limited to open-surgery settings where robot mounting and line-of-sight are feasible.
