В этой статье описывается проектирование и разработка стерилизуемой калибровочной камеры для калибровки оптических искажений для периоперационной, погруженной в жидкость калибровки эндоскопов во время эндоскопических вмешательств.
Методическая статья
* These authors contributed equally
В этой статье описывается проектирование и разработка стерилизуемой калибровочной камеры для калибровки оптических искажений для периоперационной, погруженной в жидкость калибровки эндоскопов во время эндоскопических вмешательств.
Мы разработали калибровочную мишень для использования с эндоскопами, погруженными в жидкость, в рамках проекта GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Одной из целей этого проекта является разработка новых методов обработки изображений в режиме реального времени для использования во время операции при лечении врожденных дефектов, таких как расщелина позвоночника и синдром переливания крови близнецов. Разработанная мишень позволяет проводить калибровку эндоскопов с сохранением стерильности оптических искажений в течение нескольких минут. Хорошая калибровка и компенсация оптических искажений важны для смягчения нежелательных эффектов, таких как радиальные искажения, которые не только препятствуют точной визуализации с использованием существующих эндоскопических технологий во время фетальной хирургии, но и делают полученные изображения менее пригодными для потенциально очень полезных приложений обработки изображений, таких как мозаика в реальном времени. В данной статье предлагается новый метод изготовления для создания доступной, стерилизуемой калибровочной мишени, пригодной для использования в клинических условиях. Этот метод включает в себя травление калибровочного шаблона путем лазерной резки листа нержавеющей стали, подвергнутого пескоструйной обработке. Эта цель была проверена с помощью модуля калибровки камеры, предоставленного OpenCV, современной библиотекой программного обеспечения, популярной в сообществе компьютерного зрения.
Калибровка камеры является хорошо известной проблемой в области зрения компьютера , который интенсивно изучался на протяжении многих лет 1, 2, 3. Ключевым шагом процедуры калибровки камеры заключается в оценке параметров модели искажений, а также внутренние параметры камеры, путем извлечения сетки из точек с известной геометрией из изображений с камеры с субпиксельной точностью. Проверочных с шахматным рисунком с изображением черно-белые квадраты обычно используются для этой цели. Круглые сгустки предлагают альтернативный образец 4, 5, 6.
В последние годы наблюдается растущий интерес в развитии хирургической технологии навигации для плода процедур хирургии, таких как обработка близнецов к двойной синдром трансфузии (TTTS) на плоде> 7, 8, 9, 10. Поскольку поле зрения фиброфетоскоп (т.е. эндоскоп используется в эмбриональных хирургических процедур) очень ограничено, были предложены способы картирования плацентарный сосудистую сеть без использования внешних трекеров для помощи TTTS хирургии 11, 12, 13. Оптические искажения в пределах fetoscopic изображений оказывают неблагоприятное воздействие на этих вычислительных методов мозаик , которые полагаются на извлечение визуальной информации 11. Таким образом, существует неудовлетворенная потребность в экономически эффективным и быстрым инструментом для пригородных оперативно калибровки fetoscopes таким образом, чтобы оптическая компенсация искажения может быть сделано в режиме реального времени во время вмешательства.
В связи с тем, что фиброфетоскоп погружена в амниотической жидкости во время вмешательства, разность показателя преломления между ал и амниотической жидкости оказывает классические методы калибровки камеры в воздухе непригодными для плода процедур хирургии. Оценка параметров камеры жидкостью погружена от параметров камеры в воздухе является трудной задачей и требует , по меньшей мере , одно изображение цели калибровочной жидкости погруженных 14. Кроме того, периоперационная, fetoscopic калибровка камеры жидкость погруженных в настоящее время нецелесообразно из-за требований по стерилизации и ограничений на распространение материалов разрешено в операционном зале. По этим причинам, калибровка эндоскопов для оптических искажений, как правило, не является частью текущего клинического процесса. Работа в этой рукописи является попыткой закрыть этот разрыв калибровки камеры путем разработки и получения стерилизуемая и практическую цель калибровки оптических искажений показывая образец асимметричных кругов. Ранее Wengert и др. изготовил устройство пользовательских калибровки с участием окисленной алюминиевой пластины в качестве цели калибровки. Их метО.Д., однако, работает только в сочетании с алгоритмом пользовательской калибровки они разработали 15.
1. Целевой показатель Fabrication
2. периоперационную калибровка
Мы создали стерилизуемая мирой травлением рисунок асимметричного окружности на пескоструйной из нержавеющей стали , металлического листа, конструкция которого показана на рисунке 1. Установка , показывающая образец этой цели калибровки в действии вместе с фиброфетоскоп показано на рисунке 2. Для того, чтобы кормить эту конструкцию в программное обеспечение лазерного травления, пользовательское приложение было реализовано на языке программирования Python 16. Создание шаблона проектирования включает в себя итеративно травления параллельные линии на металлическом листе. Для шаблон , чтобы иметь последовательный цвет в конце концов, расстояние между этими линиями должно быть меньше , чем ширина луча лазера (вставка рисунка 1) -это значение 45 мкм для лазерный резак Violino (Laservall).

Ронг> Рисунок 1: Конструкция гравированным узором с изображением 3-х по-11 сетки из асимметричных кругов. Вставки: Увеличиваемую ввиду сетки асимметричных кругов. Расстояние между линиями составляет 45 мкм (равна ширине луча лазера), и каждый круг имеет диаметр 1 мм. Другие размеры могут быть использованы для сетки, а также, но это было установлено, что оптимальным по отношению к фиброфетоскоп поля зрения. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.

Рисунок 2: Воплощением установки с целью калибровки при использовании. Кончик погруженных в воду фиброфетоскоп направлен на мишень калибровки справа. Слева находится британский пенни, чтобы предоставить информацию о масштабе."Целевых =" _blank "> Пожалуйста, нажмите здесь, чтобы посмотреть увеличенную версию этой фигуры.
Сфабрикованный мишень калибровки позволяет для обнаружения кругового массива в эндоскопической видеопотока с OpenCV 17, положение которых затем сортируются в предопределенной несимметричной круговой сетке (смотри рисунок 3). Используя эту информацию в сочетании с уже известной геометрии сетки, внутренние параметры камеры могут быть оценены. К ним относятся матрицу камеры и коэффициенты искажения. Матрица камеры состоит из фокусных расстояний и оптических центров вдоль х- и у-оси плоскости изображения 2D. Коэффициенты искажения основаны на модели Брауна-Конради 3. Обратите внимание, что для этой работы, лишь радиальные параметры искажения были оценены. Для краткого обсуждения теории, с практическими примерами см веб-страницу модуля калибровки камеры OpenCV <вир класс = "Xref"> 17 и калибровка инструментов 22 MATLAB камеры. Более подробно о процедуре калибровки камеры доступны в работе Чжана 20. Endocal репозиторий программного обеспечения имеет образец набора данных 10 эндоскопических видом сфабрикованному мирой 16. С помощью этого набора данных, калибровку со средней ошибкой повторной проекции 0,28 пикселей (мин: 0,16, макс: 0,45) был получен. Это сопоставимо с 0,25 пикселей , представленных Wengert и соавт. используя свой собственный алгоритм калибровки 15. Та же группа исследователей, однако, сообщил об ошибке повторно проекции 0,6 пикселов в более поздней работе при использовании метода в 15 для калибровки эндоскопической камеры , используемой для плацентарного мозаик 18.

Рисунок 3: обнаружение в реальном времени шаблона калибровки. Скриншот из приложения калибровки 16 с изображением обнаруженного калибровочный шаблон накладными на видеопотоке в реальном времени с помощью визуализации виртуальной реальности от OpenCV 17. Обратите внимание, что каждый найденный столбец диаграммы калибровки подчеркивается другим цветом. Обнаруженные круги, в сочетании с известной геометрии, используются для вычисления параметров камеры. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Расчетные параметры камеры используются для коррекции оптических искажений. На рисунке 4 показана прямоугольная шахматном порядке , как видно с помощью фиброфетоскоп, где оптические искажения делают эти строки появляются в виде кривых. Обратите внимание, что линии кажутся нормальными в distortiна скорректированное изображение.

Рисунок 4: Оптическая коррекция искажений. Скриншот из приложения калибровки 16 с изображением живого видеоизображения от записи фиброфетоскоп из шахматном порядке (слева) с искажением коррекцией изображения (справа). Три образцовых линии рисуются на обоих изображениях, каждый из одного угла в другой, где траектория является линейной. Из-за оптических искажений, эти линии появляются в виде кривых в исходных фиброфетоскоп изображений. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Пескоструйная является важным шагом в процессе изготовления, потому что сырой поверхности металла заметно отражает эндоскопа свет, что делает невозможным для окружности, чтобы быть обнаружены. Трудно различить круги даже невооруженным глазом (см рисунок 5). Обратите внимание, что поверхность мишени, показанной уже выгравированы лазером. Тем не менее, это не уменьшает отражение света.

Рисунок 5: мишень калибровки без каких - либо пескоструйной применяется. Как видно из вида эндоскопического на левой стороне, блики от эндоскопа света на поверхности материала делает его трудно даже невооруженным глазом различить круги (есть круг только на юго-восток от большого отражения). Обратите внимание , что поверхность этой цели (то есть, "фон") был уже выгравированы, но это не полезно при отсутствии пескоструйной обработки. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Перед травлением рисунка, также важно, чтобы протравить поверхность всей выборки. Это необходимо потому , что поверхность имеет пескодувкой много зеркальных отражений (смотрите рисунок 6), которые взаимодействуют с обнаружением больших двоичных объектов.

Рисунок 6: пескоструйная поверхность без травления. Хотя не столь заметным, как сырой поверхности металла, относительно небольшие зеркальные отражения (некоторые из которых отображаются желтые стрелки) по-прежнему достаточно, чтобы предотвратить обнаружение блоб с последующим, так что калибровка не может быть выполнена с этой целью.Arget = "_blank"> Пожалуйста, нажмите здесь, чтобы посмотреть увеличенную версию этой фигуры.
Применение лазера с разной скоростью дает разные цвета фона. Цвет фона играет существенную роль в контраст между кругами и фоном. Следовательно, жизненно важно, чтобы определить оптимальный цвет фона. Для этой цели пластина с кругами травлению против набора был создан разного происхождения (см рисунок 7). Фоны были протестированы с использованием модуля обнаружения особенностью OpenCV 23, который используется в модуле 17 калибровки OpenCV камеры. В этой работе, мишень была изготовлена из нержавеющей стали, так как она является наиболее распространенным и надежным материалом, используемым в клиниках для медицинских устройств. Этот материал находится в свободном доступе, не дорого, надежные и легко стерилизовать. Другие материалы, потенциально могут быть использованы для мирой, такого как алюминий или йодированных металлов, но это СКОПе будущей работы.

Рисунок 7: Нержавеющая сталь пластины показывая палитру различные цвета фона выгравированы с помощью лазера. Практические эксперименты проводились совместно с модулем обнаружения функции OpenCV , чтобы определить , какой цвет фона дает оптимальный результат с точки зрения блоб к фону контрастности 23. Вид эндоскопа слева показывает пластину. Умеренные цвета фона (т.е. те , другой , что темные и самые светлые из них) в этой палитре дают лучшее обнаружение BLOB. Пожалуйста , нажмите здесь , чтобы посмотреть увеличенную версию этой фигуры.
Одним из преимуществ этой работы является то, что выполнение калибровки с помощью сфабрикованного цель занимает 2-3 мин. Большинство усилий идутэс вручную стабилизации эндоскоп, чтобы получить достойные вид шаблона калибровки. Использование пользовательского встроенный держатель эндоскопа может устранить необходимость ручной стабилизации, которая, в свою очередь, может значительно сократить время калибровки.

Видео 1: Видео показывает , как оптическое искажение калибровка может быть выполнена с использованием разработанной цели калибровки вместе с endocal программным обеспечением. Пожалуйста , нажмите сюда , чтобы просмотреть это видео. (Щелкните правой кнопкой мыши для загрузки.)
Преимущество нашей работы по сравнению с работой Wengert и др. 15 является то , что модуль 17 калибровки OpenCV камера может быть использована как для калибровки, не требуя каких - либо изменений или пользовательского парамеризации. Потому что OpenCV является хорошо установлены и хорошо поддерживается пакет программного обеспечения и является очень популярным в компьютерного зрения сообщества, используя это устраняет необходимость в написании и поддержании специального программного обеспечения. Для удобства читателя, компактное приложение с графическим интерфейсом обеспечивается 16, который читатель может легко установить и использовать для тестирования новых целей калибровки. Одним из недостатков нашего метода по сравнению с Wengert и соавт. 15 является то , что их метод является более устойчивым к окклюзий узора, поскольку он не требует обнаружения всех сгустков.
Первоначально мишень калибровки с шахматным рисунком был изготовлен для этой работы. Тем не менее, этот тип мирой оказались непригодными в экспериментах из-за трудности обнаружения углы шахматной доски квадратов. Обнаружение Угол опирается на гистограмме на основе бинаризации изображения (см OpenCV исходный код 24). Это имплежит необходимость четкого цветового контраста между темными и светлыми квадратами, которые не могли быть гарантированы с нашим шахматным рисунком, частично из - за отражений зеркального отражения, как и те , которые показаны на рисунке 6. Такие зеркальные отражения присутствуют даже после травления фона; Тем не менее, обнаружение окружностей, как представляется, менее чувствительны к этим недостатком.
В текущей установке, только перпендикулярные виды цели калибровки позволяют для успешного обнаружения больших двоичных объектов. Это связано с зеркальными отражений от поверхности мишени, посягающих обнаружение блоб при косых углах. Мы работаем для дальнейшего улучшения цели таким образом , чтобы обеспечить приобретение взглядов на более широком диапазоне углов, которые потенциально могли бы улучшить качество выполняемых калибровок 20.
В режиме реального времени плацентарного мозаик трубопровода , который был ранее предложенный 11, вычисление трансформирование, переводящий пары изображений зависит от успешного обнаружения и группировки признаков. Оптические искажения, с другой стороны, вызывает группа функций с жесткой геометрией, чтобы отличаться по изображениям. Как следствие, это различие приводит к неточностям в вычисленных преобразований, которые вызывают дрейфы в получаемом смонтированные аэрофотоснимки. Поскольку наиболее известные оптические искажения присутствуют по краям, эндоскопические изображения в настоящее время обрезается до их внутренних областях. Хорошая коррекция для оптических искажений бы потенциально обеспечить включение большей части каждого изображения в процесс мозаик. Преимущество этого метода состоит в два раза. Во-первых, это приведет к увеличению числа обнаруженных особенностей в каждом изображении, что может повысить скорость вычисления преобразования изображения. Во-вторых, это позволило бы для всей целевой анатомической поверхности, чтобы быть реконструированы в более короткие сроки.
Авторам нечего раскрывать.
Эта работа была поддержана премией «Инновационная инженерия для здоровья» от Wellcome Trust [WT101957], Исследовательского совета по инженерным и физическим наукам (EPSRC) [NS/A000027/1] и Национального института исследований в области здравоохранения Биомедицинского исследовательского центра UCLH/UCL High Impact Initiative. Jan Deprest финансируется Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD в качестве клинического исследователя 1.8.012.07). Данаил Стоянов получает финансирование от EPSRC (EP/N013220/1, EP/N022750/1), проекта ЕС-FP7 CASCADE (FP7-ICT-2913-601021) и проекта EU-Horizon 2020 EndoVESPA (H2020-ICT-2015-688592). Себастьен Урселин получает финансирование от EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) и MRC (MR/J01107X/1). Марсель Телла работает при поддержке Центра докторской подготовки в области медицинской визуализации, финансируемого EPSRC UCL (EP/L016478/1).
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| 1,2 мм Металлический лист 316 Марка, 40 мм на 40 мм | |||
| Емкость для воды не менее 50 мм на 50 мм на 30 мм | |||
| Стерилизационный пакет | |||
| Солевой раствор | |||
| Ручной резак | |||
| Напильник для закругления углов | |||
| Деревянный или металлический брусок 50 мм на 50 мм толщиной | |||
| Тиски (желательно, но не обязательно) | |||
| Графическое приложение для пескоструйной обработки машины | |||
| для создания файла .dxf с рисунком | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoclave | |||
| Программное обеспечение | от GitHub: модуль | ||
| калибровки | |||
| защитные | |||
| Лабораторный халат | |||
| Линейка и маркер | |||
| Спирт (желательно этанол) для удаления пыли и очистки |