Роботизированное тестирование положения камеры для определения идеальной конфигурации для стерео 3D-визуализации операции на открытом сердце
12 августа 2021 г.
Восприятие человеком глубины 3D-стерео видео зависит от разделения камеры, точки сходимости, расстояния до объекта и знакомства с ним. В этой статье представлен роботизированный метод быстрого и надежного сбора тестовых данных во время операции на открытом сердце в реальном времени для определения идеальной конфигурации камеры.
Это позволяет захватывать высококачественные 3D-видео для обучения и образования. Он может быть применен к большинству операционных с открытой хирургией. С помощью роботизированного подхода мы можем быстро и точно собирать данные для оценки положения камеры.
Этот метод используется для быстрого тестирования конфигурации камеры для приложений 3D-зрения. Он также может быть использован для исследования того, как различные субъекты воспринимают глубину. Чтобы начать крепление камеры к роботу, сначала прикрепите объектив к камере, а затем камеру к переходной пластине с тремя винтами M2.
Затем установите круглую монтажную пластину на пластину адаптера камеры четырьмя винтами M4 на противоположной стороне камеры. После того, как все камеры будут установлены на роботе, наблюдайте за зеркальным отображением полученных сборок. Установите переходную пластину на запястье робота с помощью четырех винтов M2.5.
Для настольного робота прикрепите левую камеру к правой руке робота. Подключите USB-кабели к камерам и компьютеру Ubuntu. На сенсорном дисплее робота нажмите кнопку Меню и выберите Stereo 2, чтобы запустить приложение робота.
На главном экране нажмите Go, чтобы запустить 1, 100 миллиметров в приложении робота, и подождите, пока робот перейдет в исходное положение. Снимите защитный колпачок объектива с камер. Поместите печатную калибровочную сетку на расстоянии 1 100 миллиметров от датчиков камеры.
Чтобы правильно определить соответствующие квадраты, поместите небольшую винтовую гайку или отметьте где-нибудь в сетке. Запустите приложение записи на компьютере Ubuntu, чтобы запустить интерфейс. А затем отрегулируйте диафрагму и сфокусируйтесь на объективе с помощью колец диафрагмы и фокусировки.
В приложении записи проверьте Перекрестие, чтобы визуализировать перекрестие. В записывающем приложении убедитесь, что перекрестие совпадает с калибровочной сеткой в одном и том же положении на обоих изображениях камеры. После нажатия на значок шестеренки в приложении робота расположите камеры относительно пациента.
Измените направление X, нажав плюс или минус для расстояния руки от робота, и направление Z, нажав плюс или минус для высоты, чтобы захватить хирургическое поле на изображениях. Измените направление Y, вручную переместив робота или пациента. После приостановки операции и информирования персонала операционной о начале эксперимента нажмите Кнопка записи в записывающем приложении, а затем нажмите Кнопка "Выполнить эксперимент" в приложении робота.
Через некоторое время, когда эксперимент будет завершен, на сенсорном дисплее появится Готово. Затем нажмите Остановить запись в приложении записи, чтобы остановить запись. Сообщите персоналу операционной, что эксперимент завершен и возобновите операцию.
Для оценки отобразите видео в 3D-формате сверху вниз с активным 3D-проектором. Показано правильное оценочное видео с правильным изображением, размещенным вверху в стереоскопическом 3D сверху внизу. Успешная последовательность должна быть четкой, сфокусированной и без несинхронизированных кадров изображения.
Несинхронизированные видеопотоки создают размытие. Точка сходимости должна быть центрирована горизонтально, независимо от разделения камеры. При очень большом разделении между правым и левым изображениями мозг не может объединить изображения в одно 3D-изображение.
Несколько причин могут вызвать сбой в центральном расположении сердца, например, расстояние от точки конвергенции до сердца. Для правильной настройки системы координат инструмента камеры убедитесь, что перекрестие в записывающем приложении указывает на один и тот же объект, объект калибровки находится в центральном положении, и правильный формат обесценивания цветов. 3D-видео с изменяющимися базовыми расстояниями позволяют изучить, как глубинная информация влияет на анатомическое понимание среди медицинского персонала.
Просмотрите полный транскрипт и получите доступ к тысячам научных видео
Обзор
В данном исследовании представлен роботизированный метод сбора тестовых данных во время открытой операции на сердце, ориентированный на идеальную конфигурацию камеры для 3D стерео видео. Метод направлен на улучшение оценки глубинного восприятия в хирургии.
Ключевые компоненты исследования
Область науки
- Нейробиология
- Биомедицинская инженерия
- Хирургические методы
Предпосылки
- Глубинное восприятие в 3D видео зависит от различных факторов.
- Конфигурация камеры играет ключевую роль в визуальной ясности.
- Понимание глубинного восприятия может улучшить хирургические тренировки.
- Роботизированные подходы могут упростить сбор данных в операционных зала.
Цель исследования
- Оценить идеальные позиции камеры для приложений 3D видения.
- Исследовать, как разные субъекты воспринимают глубину в хирургии.
- Улучшить качество тренировки и образования через высококачественную 3D видеозапись.
Использованные методы
- Роботизированное крепление камеры для быстрого сбора данных.
- Оценка расстояния между камерами и точки схождения.
- Тестирование в различных операционных зала.
- Сбор данных во время открытой операции на сердце.
Основные результаты
- Высококачественные 3D видео могут быть эффективно записаны.
- Конфигурация камер значительно влияет на восприятие глубины.
- Быстрые методы тестирования дают надежные данные для анализа.
- Знакомство с объектами влияет на результаты восприятия глубины.
Выводы
- Роботизированный метод эффективен для тестирования конфигурации камер.
- Понимание глубинного восприятия может улучшить хирургические тренировки.
- Будущие применения могут распространиться на различные хирургические процедуры.
Часто задаваемые вопросы
Executive Industry Relevance
This method enables rapid, repeatable evaluation of camera configurations for 3D surgical visualization, supporting improved depth perception in medical training. By minimizing OR interference and standardizing data collection, it enhances the reliability of stereoscopic video for surgical education and device evaluation. The approach addresses a key challenge in translating 3D imaging benefits into consistent, scalable training tools.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables objective assessment of visual fidelity in 3D surgical models, supporting hypothesis testing around spatial anatomy comprehension.
- Operational Value: Provides standardized, robotized data capture to reduce variability in visual model evaluation across studies.
Screening & Assay Development
- Scientific Value: Generates quantitative video datasets at defined baseline and convergence distances for comparative analysis of 3D rendering quality.
- Operational Value: Supports assay-like screening of camera setups using repeatable positional steps and controlled convergence points.
Translational & Preclinical Research
- Scientific Value: Facilitates evaluation of 3D video realism in open-heart surgery models, aiding translational assessment of training tool effectiveness.
- Operational Value: Enables cross-functional teams to benchmark visual systems using standardized video outputs from controlled camera configurations.
Pipeline & Workflow Integration
This method fits within early discovery workflows where visual model fidelity impacts biological interpretation, particularly in procedure-based training and device-tissue interaction studies.
- Discovery Biology: Supports hypothesis testing regarding depth perception and spatial understanding in surgical training models.
- Screening: Enables rapid, reproducible evaluation of camera parameters to identify optimal configurations for 3D video capture.
- Analytics: Produces time-synchronized video samples at incremental baseline distances for quantitative comparison of stereoscopic quality.
- Translational Research: Connects camera configuration testing to the realism of surgical video used in preclinical training and device evaluation.
- Enterprise Reuse: Establishes a reusable robotic platform for standardized visual system validation across multiple surgical models and training scenarios.
Operational & Enterprise Impact
- Scientific Value: Improves predictive confidence in 3D training tools by enabling objective, repeatable assessment of visual fidelity.
- Operational Value: Standardizes camera positioning and data capture, reducing setup time and inter-operator variability in OR environments.
- Strategic Value: Supports faster go/no-go decisions on 3D visualization investments by de-risking visual performance early in development.
- Portfolio Impact: Enables risk-adjusted prioritization of training technologies based on validated 3D video quality and depth perception outcomes.
Implementation Considerations
- Requires expertise in robotic systems, camera calibration, and 3D video synchronization.
- Needs dual-arm robotic arm, stereo cameras, calibration grid, and synchronized recording software.
- Demands coordination with OR staff for timed pauses during surgery to capture video samples.
- Must account for variations in surgical field anatomy and lighting across different procedures.
- Limited to open-surgery settings where robot mounting and line-of-sight are feasible.
