Este artículo describe el diseño y desarrollo de un objetivo de calibración de distorsión óptica de cámara personalizado esterilizable para la calibración perioperatoria de endoscopios sumergidos en fluido durante intervenciones endoscópicas.
Artículo de método
* These authors contributed equally
Este artículo describe el diseño y desarrollo de un objetivo de calibración de distorsión óptica de cámara personalizado esterilizable para la calibración perioperatoria de endoscopios sumergidos en fluido durante intervenciones endoscópicas.
Hemos desarrollado un objetivo de calibración para su uso con endoscopios sumergidos en líquido en el contexto del proyecto GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Uno de los objetivos de este proyecto es diseñar nuevos métodos de procesamiento de imágenes en tiempo real para su uso intraoperatorio en el tratamiento de defectos congénitos de nacimiento, como la espina bífida y el síndrome de transfusión de gemelo a gemelo. El objetivo desarrollado permite la calibración de la distorsión óptica de los endoscopios que preserva la esterilidad en pocos minutos. Una buena calibración y compensación de la distorsión óptica es importante para mitigar los efectos indeseables, como las distorsiones radiales, que no solo dificultan la obtención de imágenes precisas mediante la tecnología endoscópica existente durante la cirugía fetal, sino que también hacen que las imágenes adquiridas sean menos adecuadas para aplicaciones informáticas de imágenes potencialmente muy útiles, como el mosaico en tiempo real. En este artículo se propone un nuevo método de fabricación para crear un objetivo de calibración asequible y esterilizable adecuado para su uso en un entorno clínico. Este método consiste en grabar un patrón de calibración mediante el corte con láser de una lámina de acero inoxidable arenada. Este objetivo se validó utilizando el módulo de calibración de cámara proporcionado por OpenCV, una biblioteca de software de última generación popular en la comunidad de visión artificial.
Calibración de la cámara es un problema bien conocido en el campo de la visión por ordenador que se ha estudiado intensamente durante los años 1, 2, 3. Un paso clave de los procedimientos de calibración de la cámara es estimar los parámetros de un modelo de distorsión, así como los parámetros intrínsecos de la cámara, mediante la extracción de una rejilla de puntos con una geometría conocida de imágenes de la cámara con una precisión inferior al pixel. Los blancos de calibración con un patrón de tablero de ajedrez con cuadrados blancos y negros son comúnmente utilizados para este propósito. Manchas circulares ofrecen un patrón alternativo 4, 5, 6.
En los últimos años, ha habido un creciente interés en el desarrollo de la tecnología de navegación quirúrgico para procedimientos de cirugía fetal, tales como el tratamiento de gemelo a gemelo síndrome de transfusión (TTTS) en fetos> 7, 8, 9, 10. A medida que el campo de visión de la fetoscopio (es decir, un endoscopio utilizado en procedimientos quirúrgicos fetales) es muy limitado, se han propuesto métodos para el mapeo de la vasculatura de la placenta sin el uso de rastreadores externos para ayudar a la cirugía TTTS 11, 12, 13. Distorsiones ópticas dentro de fetoscopía imágenes se vean afectados por estos métodos mosaicing computacionales que se basan en la extracción de la información visual 11. Por lo tanto, existe una necesidad no satisfecha de una herramienta rentable y rápido para peri-operativamente calibrar fetoscopes de modo que la compensación de distorsión óptica se puede hacer en tiempo real durante la intervención.
Debido al hecho de que el fetoscopio se sumerge en el líquido amniótico durante la intervención, la diferencia de índice de refracción entre unaIR fluido amniótico y rinde clásicos métodos de calibración de la cámara de aire no adecuados para procedimientos de cirugía fetal. La estimación de parámetros de la cámara de líquido sumergido de parámetros de la cámara en el aire es una tarea difícil y requiere al menos una imagen del objetivo de calibración fluido en baño de 14. Por otra parte, perioperatoria, calibración de la cámara de fluido fetoscópica-sumergido actualmente es poco práctico debido a los requisitos de esterilización y restricciones a los materiales permitidos en la sala de operaciones. Debido a estas razones, la calibración de los endoscopios de distorsiones ópticas no suele ser parte del flujo de trabajo clínico actual. El trabajo en este manuscrito es un intento de cerrar esta brecha de calibración de la cámara mediante el diseño y la producción de un objetivo de calibración distorsión óptica esterilizable y práctica que ofrece un modelo de círculos asimétricos. Anteriormente, Wengert et al. fabricado un dispositivo de calibración personalizada con una placa de aluminio oxidado como el patrón de calibración. su metOD, sin embargo, sólo funciona en conjunción con el algoritmo de calibración personalizada desarrollaron 15.
1. La fabricación de destino
2. Calibración perioperatoria
Hemos creado un destino de calibración esterilizable mediante grabado un patrón de círculo asimétrica en una hoja de metal con chorro de arena de acero inoxidable, cuyo diseño se muestra en la Figura 1. Una configuración ejemplar que muestra este patrón de calibración en la acción junto con un fetoscopio se muestra en la Figura 2. Para alimentar este diseño en el software de grabado láser, una aplicación personalizada fue implementado en el lenguaje de programación Python 16. Crear el patrón de diseño implica iterativa grabado líneas paralelas sobre una hoja de metal. Para el patrón de tener un color uniforme en el extremo, la distancia entre estas líneas debe ser menor que la anchura del haz de láser (véase la inserción de la figura 1): este valor es 45 micras para el cortador láser Violino (Laservall).

rong> Figura 1: Diseño del patrón de grabado con una cuadrícula de 3-por-11 de los círculos asimétricos. Recuadro: vista ampliada de la cuadrícula de círculos asimétricos. La distancia entre las líneas es de 45 micras (igual a la anchura del haz de láser), y cada círculo tiene un diámetro de 1 mm. Otros tamaños podrían utilizarse para la red, así, pero esto se encontró que era óptima con respecto al campo fetoscopio de vista. Haga clic aquí para ver una versión más grande de esta figura.

Figura 2: configuración ejemplar que presenta el patrón de calibración en uso. La punta de la fetoscopio sumergido en agua se dirige a la plantilla de calibración a la derecha. A la izquierda es un penique británico para proporcionar información de escala."Target =" _ blank "> Haga clic aquí para ver una versión más grande de esta figura.
El objetivo de calibración fabricado permite la detección del patrón circular en el flujo de vídeo endoscópica con OpenCV 17, cuyas ubicaciones a continuación, se clasifican en la rejilla circular asimétrica predefinida (ver Figura 3). Usando esta información, en relación con la geometría de la rejilla ya conocida, los parámetros internos de la cámara se pueden estimar. Estos incluyen la matriz de cámara y los coeficientes de distorsión. La matriz de la cámara se compone de las longitudes focales y los centros ópticos a lo largo de los ejes X y el eje Y del plano de imagen 2D. Los coeficientes de distorsión se basan en el modelo de Brown-Conrady 3. Tenga en cuenta que para este trabajo, se estimó que sólo los parámetros de distorsión radial. Para una breve discusión de la teoría, con ejemplos prácticos, consulte la página web del módulo de calibración de la cámara OpenCV 17 y la caja de herramientas de calibración de la cámara 22 de MATLAB. Más detalles sobre el procedimiento de calibración de la cámara están disponibles en la obra de Zhang 20. El repositorio de software Endocal cuenta con un conjunto de datos de muestra de 10 vistas endoscópicas de la plantilla de calibración 16 fabricada. El uso de este conjunto de datos, una calibración con un error medio de re-proyección de 0,28 píxeles (min: 0,16, máximo: 0,45) se obtuvo. Esto es comparable a los 0,25 pixeles reportados por Wengert et al. usando su algoritmo de calibración personalizada 15. El mismo grupo de investigación, sin embargo, informó de un error re-proyección de 0,6 píxeles en un trabajo más reciente cuando se utiliza el método en 15 para calibrar una cámara endoscópica utilizado para placentaria mosaicado 18.

Figura 3: Detección en tiempo real del patrón de calibración. Una captura de pantalla de la aplicación de calibración 16 con el patrón de calibración detectado superpone a la secuencia de vídeo en directo utilizando la visualización de realidad virtual de OpenCV 17. Tenga en cuenta que cada columna detectada del patrón de calibración se destaca por un color diferente. Los círculos detectados, en conjunto con la geometría conocida, se utilizan para el cálculo de los parámetros de la cámara. Haga clic aquí para ver una versión más grande de esta figura.
Los parámetros estimados de la cámara se utilizan para la corrección de la distorsión óptica. La Figura 4 muestra un patrón de tablero de ajedrez rectangular, como se ve el uso de un fetoscopio, donde distorsiones ópticas hacen las líneas aparecen como curvas. Tenga en cuenta que las líneas parecen normales en el distortiimagen corregida en.

Figura 4: corrección de la distorsión óptica. Una captura de pantalla de la aplicación de calibración 16 con el video en vivo la imagen de una grabación fetoscopio del patrón de tablero de ajedrez (izquierda) con la distorsión de la imagen corregida (derecha). Tres líneas se dibujan a modo de ejemplo en las dos imágenes, cada una de una esquina a otra, donde la trayectoria es lineal. Debido a las distorsiones ópticas, estas líneas aparecen como curvas en las imágenes fetoscopio originales. Haga clic aquí para ver una versión más grande de esta figura.
Chorro de arena es un paso importante en el proceso de fabricación debido a que la superficie de metal en bruto refleja la luz prominente endoscopio, haciendo imposible que los círculos para ser detectados. Es difícil distinguir los círculos incluso a simple vista (véase la Figura 5). Tenga en cuenta que la superficie del objetivo mostrado ya estaba grabado con un láser. Sin embargo, esto no disminuye el reflejo de luz.

Figura 5: patrón de calibración sin arenado aplica. Como se ve desde el punto de vista endoscopio de la izquierda, el resplandor de la luz del endoscopio en la superficie del material hace que sea difícil incluso para el ojo humano distinguir los círculos (hay un círculo justo al sureste de la reflexión grande). Tenga en cuenta que la superficie de este objetivo (es decir, el "fondo") fue ya grabado, pero esto no es útil en ausencia de chorro de arena. Haga clic aquí para ver una versión más grande de esta figura.
Antes de patrón de grabado, también es importante para atacar la superficie de toda la muestra. Esto es necesario porque la superficie con chorro de arena tiene muchas reflexiones especulares (véase la Figura 6), que interfieren con la detección blob.

Figura 6: superficie con chorro de arena sin grabado. Aunque no es tan prominente como la superficie del metal en bruto, las relativamente pequeñas reflexiones especulares (algunas de las cuales se destacan con flechas amarillas) son todavía suficientes para prevenir reconocimiento de regiones de tener éxito, por lo que la calibración no se pueden realizar con este objetivo.arget = "_ blank"> Haga clic aquí para ver una versión más grande de esta figura.
La aplicación del láser a diferentes velocidades da diferentes colores de fondo. El color de fondo juega un papel importante en el contraste entre los círculos y el fondo. Por lo tanto, es vital para determinar el color de fondo óptimo. Para este propósito, una placa grabada con círculos contra un conjunto de diferentes orígenes fue creado (ver Figura 7). Los fondos se ensayaron usando el módulo de detección de características de OpenCV 23, que se utiliza en el módulo de calibración de la cámara OpenCV 17. En este trabajo, el objetivo estaba hecho de acero inoxidable, ya que es el material más común y fiable utilizado en clínicas para dispositivos médicos. Este material está disponible libremente, no es caro, robusto y fácil de esterilizar. Otros materiales potencialmente podrían ser utilizados para el objetivo de calibración, tales como metales de aluminio o yodados, pero este es el scope de los futuros trabajos.

Figura 7: placa de acero inoxidable con una paleta de diferentes colores de fondo grabados con láser. Experimentos prácticos se llevaron a cabo en conjunción con el módulo de detección de características OpenCV para determinar qué color de fondo da el resultado óptimo en términos de contraste-burbuja-23 de fondo. La vista endoscopio de la izquierda muestra la placa. Los colores de fondo moderadas (es decir, aquellos otros que las oscuras y más claras) en esta gama de colores dan un mejor reconocimiento de regiones. Haga clic aquí para ver una versión más grande de esta figura.
Una de las ventajas de este trabajo es que realizar una calibración utilizando el objetivo fabricada toma 2-3 min. La mayor parte del esfuerzo de irES para estabilizar manualmente el endoscopio para obtener vistas decentes del patrón de calibración. El uso de un soporte de endoscopio a la medida podría eliminar la necesidad de estabilización manual, que a su vez podría acortar significativamente el tiempo de calibración.

Video 1: Video que muestra cómo la calibración distorsión óptica se pueden realizar con el objetivo de calibración desarrollado en conjunto con el software Endocal. Por favor, haga clic aquí para ver el vídeo. (Haga clic aquí para descargar.)
Una de las ventajas de nuestro trabajo en comparación con el trabajo de Wengert et al. 15 es que el módulo de calibración de la cámara OpenCV 17 se puede utilizar como es para la calibración, sin requerir ninguna modificación o de encargo parámerización. Debido a OpenCV es un paquete de software bien establecida y bien mantenido y es muy popular en la comunidad de visión por ordenador, utilizando elimina la necesidad de escribir y mantener software personalizado. Para mayor comodidad del lector, se proporciona una aplicación GUI compacta 16, que el lector puede instalar y utilizar para probar nuevos patrones de calibración con facilidad. Una desventaja de este método en comparación con Wengert et al. 15 es que su método es más robusto a las oclusiones de la pauta, ya que no requiere la detección de todas las gotas.
Inicialmente, un destino de calibración con un patrón de tablero de ajedrez fue fabricado para este trabajo. Sin embargo, este tipo de patrón de calibración demostró ser inadecuado en los experimentos debido a la dificultad de la detección de las esquinas de los cuadrados de tablero de ajedrez. La detección se basa en la esquina de binarización de imágenes basado en histograma (ver el código fuente de OpenCV 24). este impse encuentra la necesidad de un contraste de color claro entre los cuadrados oscuros y claros, que no se podía garantizar con nuestro tablero de ajedrez, en parte debido a las reflexiones especulares, como las que se muestran en la Figura 6. Tales reflexiones especulares están presentes incluso después de fondo de grabado; sin embargo, la detección de los círculos parece ser menos sensible a esta deficiencia.
En la configuración actual, sólo vistas perpendiculares de la plantilla de calibración permiten el reconocimiento de regiones con éxito. Esto es debido a las reflexiones especulares de la superficie objetivo que dificulta la detección blob en ángulos oblicuos. Estamos trabajando para mejorar aún más el blanco de manera que permita la adquisición de vistas a una mayor variedad de ángulos, lo que podría mejorar la calidad de las calibraciones realizadas 20.
En el tiempo real de la placenta mosaicado tubería que se propuso previamente 11, el cálculo de la transformación que asigna pares de imágenes se basa en la detección y la agrupación de características de éxito. distorsiones ópticas, por el contrario, causan un grupo de características con una geometría rígida que aparezca diferentes a través de imágenes. Como consecuencia, esta diferencia conduce a inexactitudes en las transformaciones calculadas, que causan derivas en los mosaicos de imágenes resultantes. Debido a las distorsiones ópticas más importantes están presentes hacia los bordes, las imágenes endoscópicas están actualmente recortadas para sus regiones más internas. Una buena corrección para las distorsiones ópticas sería potencialmente permitir la incorporación de una mayor parte de cada imagen en el proceso de mosaicos. La ventaja de este método es doble. En primer lugar, se incrementaría el número de características detectadas en cada imagen, mejorando potencialmente el cálculo de las transformaciones de imagen. En segundo lugar, que permitiría para toda la superficie anatómica objetivo a ser reconstruido en un tiempo más corto.
Los autores no tienen nada que revelar.
Este trabajo fue apoyado a través de un premio de Ingeniería Innovadora para la Salud por el Wellcome Trust [WT101957], el Consejo de Investigación de Ingeniería y Ciencias Físicas (EPSRC) [NS/A000027/1], y una Iniciativa de Alto Impacto del Centro de Investigación Biomédica UCLH/UCL del Instituto Nacional de Investigación en Salud. Jan Deprest está financiado por el Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD como investigador clínico 1.8.012.07). Danail Stoyanov recibe financiación del EPSRC (EP/N013220/1, EP/N022750/1), del proyecto CASCADE (FP7-ICT-2913-601021) y del proyecto EndoVESPA (H2020-ICT- 2015-688592) de la UE-Horizonte 2020. Sebastien Ourselin recibe financiación del EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) y del MRC (MR/J01107X/1). Marcel Tella cuenta con el apoyo del Centro de Formación Doctoral en Imagen Médica de la UCL (EP/L016478/1), financiado por el EPSRC.
| Nombre | Empresa | Número de catálogo | Comentarios |
|---|---|---|---|
| Chapa de 1,2 mm Grado 316, 40 mm por 40 mm | |||
| Recipiente de agua de al menos 50 mm por 50 mm por 30 mm | |||
| Un paquete | |||
| Agua | |||
| Cortador | |||
| Una lima para redondear las esquinas | |||
| Un bloque de madera o metal de 50 mm por 50 mm de al menos 10 mm de espesor | |||
| Un tornillo de banco (deseable pero no obligatorio) | |||
| chorro de arena | |||
| para crear un archivo .dxf con el patrón | https://github.com/gift-surg/endocal | ||
| Cortadora | |||
| para PC | |||
| Autoclave | |||
| calibración de endoscopio | de GitHub: https://github.com/gift-surg/endocal | ||
| calibración de cámara Endoscope | |||
| Gafas de | |||
| Una bata | |||
| Una regla y un rotulador | |||
| Alcohol (preferiblemente etanol) para la eliminación del polvo y la limpieza |