Роботизированное тестирование положения камеры для определения идеальной конфигурации для стерео 3D-визуализации операции на открытом сердце

Summary

Восприятие человеком глубины 3D-стерео видео зависит от разделения камеры, точки сходимости, расстояния до объекта и знакомства с ним. В этой статье представлен роботизированный метод быстрого и надежного сбора тестовых данных во время операции на открытом сердце в реальном времени для определения идеальной конфигурации камеры.

Abstract

Стерео 3D-видео с хирургических процедур может быть очень ценным для медицинского образования и улучшения клинической коммуникации. Но доступ в операционную и хирургическое поле ограничен. Это стерильная среда, а физическое пространство переполнено хирургическим персоналом и техническим оборудованием. В этой обстановке незатененный захват и реалистичное воспроизведение хирургических процедур затруднены. В данной работе представлен метод быстрого и надежного сбора данных стереоскопических 3D-видео на различных базовых расстояниях камеры и расстояниях конвергенции. Для сбора тестовых данных с минимальным вмешательством во время операции, с высокой точностью и повторяемостью, камеры были прикреплены к каждой руке двухрукого робота. Робот был установлен на потолке в операционной. Он был запрограммирован на выполнение синхронизированной последовательности синхронизированных движений камеры, проходящих через диапазон испытательных позиций с базовым расстоянием между 50-240 мм при шаге 10 мм и на двух расстояниях сходимости 1100 мм и 1400 мм. Операция была приостановлена, чтобы позволить 40 последовательных 5-х сэмплов видео. Всего было зафиксировано 10 хирургических сценариев.

Introduction

В хирургии 3D-визуализация может использоваться для обучения, диагностики, предоперационного планирования и послеоперационной ^{оценки1,2}. Реалистичное восприятие глубины может улучшить понимание3,4,5,6 нормальных и аномальных анатомий. Простые 2D-видеозаписи хирургических процедур являются хорошим началом. Тем не менее, отсутствие восприятия глубины может затруднить для нехирургических коллег полное понимание передне-задних отношений между различными анатомическими структурами и, след....

Protocol

Эксперименты были одобрены местным Комитетом по этике в Лунде, Швеция. Участие было добровольным, и законные опекуны пациентов предоставили информированное письменное согласие.

1. Настройка и настройка робота

ПРИМЕЧАНИЕ: В этом эксперименте использовался двухрукий коллаборативный промышленный робот и стандартная панель управления с сенсорным дисплеем. Робот управляется с помощью программного обеспечения контроллера RobotWare 6.10.01 и интегрированной среды разработки робота (IDE) RobotStudio 2019.525. Программное обеспечение, разработанное авторами, включая приложение для роботов, приложение....

Results

Приемлемое оценочное видео с правильным изображением, размещенным вверху в стереоскопическом 3D сверху вниз, показано в Video1. Успешная последовательность должна быть четкой, сфокусированной и без несинхронизированных кадров изображения. Несинхронизированные видеопотоки вызывают размытие, как показано в файле Video 2. Точка сходимости должна быть центрирована горизонтально, независимо от разделения камеры, как показано на рисунке 9A,B. Когд.......

Discussion

Во время живой хирургии общее время эксперимента, используемого для сбора 3D-видеоданных, было ограничено, чтобы быть безопасным для пациента. Если объект не сфокусирован или переэкспонирован, данные не могут быть использованы. Критические шаги выполняются во время калибровки и настройки инструмента камеры (шаг 2). Диафрагма и фокус камеры не могут быть изменены после начала операции; во время установки и операции следует использовать одинаковые условия освещения и расстояние. Калибровка камеры на этапах 2.1-2.4 должна б.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
2 объектива с креплением C (35 мм F2.1, 5 М пикселей)	Tamron	M112FM35	рассчитан на 5 Мп
3D очки (DLP-link активный затвор)	Celexon	G1000	Любые совместимые 3D очки можно использовать
3D проектор	Viewsonic	X10-4K	Displays 3D in 1080, можно обменять на другие 3D проекторы
6 M2 x 8 винтов			Для крепления камер cXimea к переходным пластинам камеры
8 винтов			Для крепления круглых монтажных пластин к запястью робота
8 винтов			Для крепления робота
8 винтов M6 x 10 с плоскими головками			Для крепления круглой монтажной пластины и адаптерных пластин камеры
Пластина для калибровочной шахматной доски (25 x 25 мм)			Можно использовать любую стандартную шахматную доску, в том числе и печатную, при условии, что сетка хорошо видна в камерах
Пластины адаптера камеры, х2			Разработаны авторами в robot_camera_adaptor_plates.dwg, фрезерованы в алюминии.
Круглые монтажные пластины, х2			Распространяются с разрешения дизайнера Julius Klein и печатаются из ABS пластика на FDM 3D-принтере. Лицензия Tecnalia Research & Инновация 2017. Прилагается как Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb камеры, x2 (5 Мпиксель)	Ximea	MC050CG-SY-UB	С сенсором Sony IMX250LQR
Flexpendant	ABB	3HAC028357-001	роботизированный сенсорный дисплей
Liveview			приложение для записи
RobotStudio			роботизированная интегрированная среда разработки (IDE)
USB3 активные кабели (10,0 м), x2			разъем для блокировки винтов с накатанной головкой, водонепроницаемый.
Двухрукий робот YuMi	ABB	IRB14000