Este artigo descreve o projeto e o desenvolvimento de um alvo de calibração de distorção óptica de câmera personalizada esterilizável para a calibração perioperatória imersa em fluido de endoscópios durante intervenções endoscópicas.
Artigo de método
* These authors contributed equally
Este artigo descreve o projeto e o desenvolvimento de um alvo de calibração de distorção óptica de câmera personalizada esterilizável para a calibração perioperatória imersa em fluido de endoscópios durante intervenções endoscópicas.
Desenvolvemos um alvo de calibração para uso com endoscópios imersos em fluido no contexto do projeto GIFT-Surg (Instrumentação Guiada para Terapia e Cirurgia Fetal). Um dos objetivos deste projeto é projetar novos métodos de processamento de imagem em tempo real para uso intraoperatório no tratamento de defeitos congênitos congênitos, como espinha bífida e síndrome de transfusão de gêmeo para gêmeo. O alvo desenvolvido permite a calibração de distorção óptica com preservação de esterilidade de endoscópios em poucos minutos. Uma boa calibração e compensação de distorção óptica são importantes para mitigar efeitos indesejáveis, como distorções radiais, que não apenas dificultam a aquisição de imagens precisas usando a tecnologia endoscópica existente durante a cirurgia fetal, mas também tornam as imagens adquiridas menos adequadas para aplicações de computação de imagem potencialmente muito úteis, como mosaico em tempo real. Neste artigo, propõe um novo método de fabricação para criar um alvo de calibração esterilizável e acessível, adequado para uso em uma configuração clínica. Este método envolve a gravação de um padrão de calibração cortando a laser uma chapa de aço inoxidável jateada. Esse alvo foi validado usando o módulo de calibração de câmera fornecido pelo OpenCV, uma biblioteca de software de última geração popular na comunidade de visão computacional.
Calibração da câmera é um problema bem conhecido no campo da visão de computador que tem sido intensamente estudada ao longo dos anos 1, 2, 3. Um passo fundamental dos procedimentos de calibração da câmera é estimar os parâmetros de um modelo de distorção, bem como os parâmetros da câmera intrínsecas, extraindo uma grade de pontos com uma geometria conhecida a partir de imagens da câmara com precisão sub-pixel. alvos de calibração com um padrão xadrez com quadrados pretos e brancos são comumente usados para esta finalidade. Blobs circulares oferecem um padrão alternativo 4, 5, 6.
Nos últimos anos, tem havido um interesse crescente no desenvolvimento de tecnologia de navegação cirúrgico para procedimentos de cirurgia fetal, tais como o tratamento de twin-to-duplo síndrome de transfusão (STT) em fetos> 7, 8, 9, 10. Como o campo de visão do fetoscópio (isto é, um endoscópio utilizado em procedimentos cirúrgicos fetais) é muito limitada, os métodos para o mapeamento da vasculatura placentária sem o uso de rastreadores externos têm sido propostos para auxiliar a cirurgia STT 11, 12, 13. Distorções óticas dentro de imagens fetoscopic ter efeitos adversos sobre esses métodos de mosaicos computacionais que dependem de extração de informação visual 11. Assim, existe uma necessidade não satisfeita de uma ferramenta de custo eficiente e rápido para a peri-operatório fetoscopes calibrar de modo que a compensação distorção óptica pode ser feita em tempo real durante a intervenção.
Devido ao facto de o fetoscópio está imerso no líquido amniótico durante a intervenção, a diferença de índice de refracção entre umfluido ir e amniótico torna métodos clássicos em-ar de calibração câmera impróprios para procedimentos de cirurgia fetal. Estimar os parâmetros da câmara imersos em fluidos de parâmetros da câmara em-ar é uma tarefa difícil e requer pelo menos uma imagem do alvo de calibração imersos em fluido 14. Além disso, peri-operatória, fetoscopic calibração da câmara, imersos em fluido é atualmente impraticável devido a requisitos de esterilização e restrições sobre os materiais permitidos na sala de operações. Devido a estas razões, calibrando endoscópios para distorções ópticas não é normalmente parte do fluxo de trabalho clínico atual. O trabalho neste manuscrito é uma tentativa de colmatar esta lacuna calibração da câmara, através da concepção e produção de um destino de calibragem distorção óptica esterilizável e prático com um padrão de círculos assimétricas. Anteriormente, Wengert et ai. fabricou um dispositivo de calibragem personalizado que apresenta uma placa de alumínio oxidado como o alvo de calibração. sua methOD, no entanto, só funciona em conjunto com o algoritmo de calibragem personalizado eles desenvolveram 15.
1. Fabricação alvo
Calibração 2. Peri-operatório
Nós criamos um destino de calibragem esterilizável gravando um padrão de círculo assimétrica em uma folha de metal fosco de aço inoxidável, cujo desenho é mostrado na Figura 1. Uma configuração exemplar mostrando este indicador de calibração na acção em conjunto com um fetoscópio é mostrado na Figura 2. Para alimentar este projeto para o software de gravação a laser, um aplicativo personalizado foi implementado na linguagem de programação Python 16. Criando o padrão de projeto envolve iteratively gravando linhas paralelas em uma folha de metal. Para o padrão para ter uma cor consistente, no final, a distância entre estas linhas devem ser menor do que a largura do feixe de laser (ver inserção da Figura 1): este valor é de 45 uM para o cortador a laser Violino (Laservall).

rong> Figura 1: Desenho do padrão gravado com uma grade 3-por-11 de círculos assimétricas. Inserção: ampliada em vista da grelha de círculos assimétricos. A distância entre as linhas é de 45 uM (equivalente a largura do feixe de laser), e cada círculo tem um diâmetro de 1 mm. Outros tamanhos poderia ser usado para a grelha, bem como, mas isso verificou-se ser óptimo no que diz respeito ao campo de vista fetoscópio. Por favor clique aqui para ver uma versão maior desta figura.

Figura 2: setup Exemplar com o alvo de calibração em uso. A ponta do fetoscópio imerso em água é dirigida para o alvo de calibração à direita. À esquerda, há um centavo britânica para fornecer informações escala."Target =" _ blank "> Clique aqui para ver uma versão maior desta figura.
O alvo de calibração fabricado permite a detecção do padrão circular no fluxo de vídeo endoscópica com OpenCV 17, cujas localizações são então classificados para a grade circular assimétrica pré-definido (ver Figura 3). Usando esta informação em conjunto com a geometria da rede já conhecido, os parâmetros da câmara interna pode ser estimada. Estes incluem a matriz de câmera e os coeficientes de distorção. A matriz câmara consiste nos comprimentos focais e os centros ópticos ao longo dos eixos X e do eixo y do plano da imagem 2D. Os coeficientes de distorção são baseados no modelo de Brown-Conrady 3. Note-se que para este trabalho, apenas os parâmetros de distorção radiais foram estimados. Para uma breve discussão da teoria, com exemplos práticos, consulte a página da web do módulo de calibração da câmara OpenCV 17 ea câmara MATLAB toolbox calibração 22. Mais detalhes sobre o procedimento de calibração de câmera estão disponíveis na obra de Zhang 20. O repositório de software Endocal apresenta um conjunto de dados de amostra de 10 visualizações endoscópicos do alvo de calibração fabricado 16. Usando este conjunto de dados, uma calibração com um erro médio de re-projeção de 0,28 pixels (min: 0,16, máx: 0,45) foi obtido. Isto é comparável com os pixels 0,25 relatados por Wengert et ai. usando seu algoritmo de calibragem personalizada 15. O mesmo grupo de pesquisa, no entanto, relatou um erro de re-projeção de 0,6 pixels em um artigo mais recente ao usar o método em 15 para calibrar uma câmera endoscópica usado para placentária de mosaicos 18.

Figura 3: Detecção em tempo real do padrão de calibração. Uma captura de tela do aplicativo de calibração 16 com o padrão de calibração detectado colocado sobre o fluxo de vídeo ao vivo usando a visualização de realidade virtual de OpenCV 17. Note-se que cada coluna de detectado o padrão de calibração é realçada por uma cor diferente. Os círculos detectados, em conjunto com a geometria conhecida, são usados para calcular os parâmetros da câmara. Por favor clique aqui para ver uma versão maior desta figura.
Os parâmetros da câmara estimados são utilizados para correção de distorção óptica. A Figura 4 mostra um padrão de tabuleiro de xadrez rectangular, como visualizado usando um fetoscópio, onde distorções óticas fazer as linhas aparecem como curvas. Note que as linhas aparecem normal no distortina imagem corrigida.

Figura 4: correção de distorção óptica. Uma captura de tela do aplicativo de calibração 16 que caracteriza a imagem de vídeo ao vivo a partir de uma gravação fetoscópio do padrão quadriculado (à esquerda) com a imagem com correção de distorção (direita). Três linhas exemplares são desenhadas em ambas as imagens, cada uma a partir de um canto ao outro, em que a trajectória é linear. Devido às distorções óticas, estas linhas aparecem como curvas nas imagens originais fetoscópio. Por favor clique aqui para ver uma versão maior desta figura.
Jacto de areia é um passo importante no processo de fabricação porque a superfície do metal em bruto reflecte bem visível, a luz endoscópio, tornando-se impossível para os círculos a ser detectado. É difícil distinguir os círculos mesmo a olho nu (ver Figura 5). Note-se que a superfície do alvo mostrado já foi gravada com um laser. No entanto, isto não diminui a reflexão da luz.

Figura 5: alvo de calibração sem jateamento aplicada. Como pode ser visto a partir da vista endoscópio à esquerda, o brilho da luz endoscópio na superfície do material torna difícil até mesmo para o olho nu para distinguir os círculos (há um círculo apenas para o sudeste da grande reflexão). Note-se que a superfície do alvo presente (ou seja, o "fundo") foi já gravadas, mas isto não é útil na ausência de jacto de areia. Por favor clique aqui para ver uma versão maior desta figura.
Antes do padrão de condicionamento, é também importante para gravar a superfície de toda a amostra. Isto é necessário porque a superfície de jacto de areia tem muitas reflexões especulares (ver Figura 6), o que interfere com a detecção de blob.

Figura 6: Superfície Sandblasted sem condicionamento. Embora não seja tão proeminente como a superfície de metal bruto, os relativamente pequenos reflexões especulares (alguns dos quais são destacados com setas amarelas) são ainda suficientes para evitar a detecção blob de ter sucesso, então nenhuma calibração pode ser realizada com este objectivo.arget = "_ blank"> Clique aqui para ver uma versão maior desta figura.
Aplicando o laser a velocidades diferentes dá diferentes cores de fundo. A cor do fundo desempenha um papel significativo no contraste entre os círculos e o fundo. Por isso, é essencial para determinar a cor de fundo óptima. Para este efeito, uma placa com círculos gravado contra um conjunto de diferentes origens foi criado (ver Figura 7). Os fundos foram testados usando o módulo de detecção de recurso de OpenCV 23, o qual é utilizado no módulo de calibragem OpenCV câmara 17. Neste trabalho, o alvo era feito de aço inoxidável, uma vez que é o material mais comum utilizado e fiável em clínicas para os dispositivos médicos. Este material está livremente disponível, não é caro, robusta, e fácil de esterilizar. Outros materiais poderiam potencialmente ser usadas para o alvo de calibração, tais como os metais de alumínio ou iodado, mas este é o SCOPe de trabalho futuro.

Figura 7: a placa de aço inoxidável com uma paleta de cores diferentes do fundo gravados com o laser. Experiências práticas foram conduzidas em conjunto com o módulo de detecção de recurso OpenCV para determinar qual a cor do fundo dá o melhor resultado em termos de contraste 23 gota-a-fundo. A vista endoscópio à esquerda mostra a placa. As cores de fundo moderados (ou seja, outros que as mais escuras e mais leves) nesta paleta de produzir uma melhor detecção blob. Por favor clique aqui para ver uma versão maior desta figura.
Uma das vantagens deste trabalho é que de efetuar uma calibração usando o alvo fabricada leva 2-3 min. A maior parte do esforço ires para estabilizar manualmente o endoscópio para obter acervo considerável vista do padrão de calibração. Utilizando um suporte de endoscópio com especificação poderia eliminar a necessidade de estabilização manual, que por sua vez pode encurtar significativamente o tempo de calibração.

Vídeo 1: Vídeo mostrando como óptico calibração distorção pode ser realizada utilizando o alvo de calibração desenvolvida em conjunto com o software Endocal. Por favor clique aqui para ver este vídeo. (Botão direito do mouse para baixar).
Uma vantagem do nosso trabalho em relação ao trabalho de Wengert et al. 15 é que o módulo de calibragem OpenCV câmara 17 pode ser utilizado tal e qual para a calibração, sem necessidade de qualquer modificação ou personalizado parâmezação. Porque OpenCV é um pacote de software bem estabelecida e bem conservados e é muito popular na comunidade de visão por computador, usando-o elimina a necessidade de escrever e manutenção de software personalizado. Para a conveniência do leitor, uma aplicação gráfica compacto é fornecido 16, que o leitor pode facilmente instalar e usar para testar novos alvos de calibração. Uma desvantagem do nosso método em comparação com Wengert et ai. 15 é que o método é mais robusto a oclusões do padrão, uma vez que não requer a detecção de todas as manchas.
Inicialmente, um destino de calibragem com um padrão quadriculado foi fabricado para este trabalho. No entanto, este tipo de calibração alvo provou ser inadequada em experiências, devido à dificuldade de detectar os cantos dos quadrados do tabuleiro de damas. Detecção de canto depende de binarização de imagem baseado em histograma (ver o código fonte OpenCV 24). este impencontra-se a necessidade de um contraste de cor clara entre as escuras e claras praças, que não poderia ser garantidas com nosso padrão de xadrez, parcialmente devido às reflexões especulares, como os mostrados na Figura 6. Tais reflexões especulares estão presentes mesmo após o condicionamento de fundo; No entanto, a detecção dos círculos parece ser menos sensível a este inconveniente.
Na configuração atual, apenas vistas perpendiculares do alvo de calibração permitem a detecção de blob bem sucedido. Isto é devido às reflexões especulares a partir da superfície do alvo dificulta a detecção de gota em ângulos oblíquos. Estamos a trabalhar para melhorar ainda mais o alvo de modo a permitir a aquisição de vistas em uma ampla gama de ângulos, o que poderia potencialmente melhorar a qualidade de calibrações executadas 20.
Na placenta em tempo real de mosaicos oleoduto que foi anteriormente proposto, 11, o cálculo da transformação que mapeia pares de imagem baseia-se na detecção com sucesso e agrupamento de características. distorções óticas, por outro lado, fazer com que um grupo de características com uma geometria rígida apareça diferente entre as imagens. Como consequência, essa diferença leva a imprecisões nas transformações computadorizada, que causam desvios nos mosaicos de imagens resultantes. Porque as distorções ópticas mais proeminentes estão presentes para as bordas, imagens endoscópicas estão actualmente cortada para suas regiões mais íntimos. Uma boa correção de distorções ópticas poderia potencialmente permitir a incorporação de uma parte maior de cada imagem no processo de construção do mosaico. A vantagem deste método é dupla. Em primeiro lugar, seria aumentar o número de características detectadas em cada imagem, melhorar potencialmente a computação das transformações da imagem. Em segundo lugar, permitiria a toda a superfície anatómica alvo a ser reconstruído em um tempo mais curto.
Os autores não têm nada a divulgar.
Este trabalho foi apoiado por um prêmio de Engenharia Inovadora para a Saúde pelo Wellcome Trust [WT101957], pelo Conselho de Pesquisa em Engenharia e Ciências Físicas (EPSRC) [NS/A000027/1] e pela Iniciativa de Alto Impacto do Centro de Pesquisa Biomédica do Instituto Nacional de Pesquisa em Saúde UCLH/UCL. Jan Deprest está sendo financiado pelo Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; JD como pesquisador clínico 1.8.012.07). Danail Stoyanov recebe financiamento do EPSRC (EP/N013220/1, EP/N022750/1), do projeto EU-FP7 CASCADE (FP7-ICT-2913-601021) e do projeto EU-Horizon2020 EndoVESPA (H2020-ICT- 2015-688592). Sebastien Ourselin recebe financiamento do EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) e do MRC (MR/J01107X/1). Marcel Tella é apoiado pelo Centro de Treinamento de Doutorado em Imagens Médicas da UCL financiado pelo EPSRC (EP / L016478 / 1).
| Nome | Empresa | Número de catálogo | Comentários |
|---|---|---|---|
| 1,2 mm Folha de metal 316 Grau, 40 mm por 40 mm | |||
| Recipiente de água pelo menos 50 mm por 50 mm por 30 mm | |||
| Um pacote | |||
| Água | |||
| Cortador | |||
| Uma lima para arredondar os cantos | |||
| Um bloco de madeira ou metal de 50 mm por 50 mm com pelo menos 10 mm de espessura | |||
| Um torno (desejável, mas não obrigatório) | |||
| da máquina | |||
| para criar um arquivo .dxf com o padrão | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoclave | |||
| Um software | do GitHub: https://github.com/gift-surg/endocal | ||
| calibração de câmera Endoscope | |||
| Óculos de segurança | |||
| Um jaleco | |||
| Uma régua e um marcador | |||
| Álcool (de preferência etanol) para remoção de poeira e limpeza |