Cet article décrit la conception et le développement d’une cible d’étalonnage de distorsion optique de caméra personnalisée stérilisable pour l’étalonnage périopératoire et immergé dans un fluide d’endoscopes pendant des interventions endoscopiques.
Article de méthode
* These authors contributed equally
Cet article décrit la conception et le développement d’une cible d’étalonnage de distorsion optique de caméra personnalisée stérilisable pour l’étalonnage périopératoire et immergé dans un fluide d’endoscopes pendant des interventions endoscopiques.
Nous avons développé une cible d’étalonnage pour une utilisation avec des endoscopes immergés dans un fluide dans le cadre du projet GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). L’un des objectifs de ce projet est de concevoir de nouvelles méthodes de traitement d’images en temps réel pour une utilisation peropératoire dans le traitement des malformations congénitales congénitales, telles que le spina bifida et le syndrome de transfusion de jumeau à jumeau. La cible développée permet d’étalonner la distorsion optique des endoscopes en quelques minutes en préservant la stérilité. Un bon étalonnage et une bonne compensation de la distorsion optique sont importants pour atténuer les effets indésirables tels que les distorsions radiales, qui non seulement entravent l’imagerie précise à l’aide de la technologie endoscopique existante pendant la chirurgie fœtale, mais rendent également les images acquises moins adaptées à des applications de calcul d’images potentiellement très utiles, comme le mosaïquage en temps réel. Dans cet article, il propose une nouvelle méthode de fabrication pour créer une cible d’étalonnage abordable et stérilisable adaptée à une utilisation dans une configuration clinique. Cette méthode consiste à graver un motif de calibrage en découpant au laser une tôle d’acier inoxydable sablée. Cette cible a été validée à l’aide du module d’étalonnage de caméra fourni par OpenCV, une bibliothèque logicielle de pointe populaire dans la communauté de la vision par ordinateur.
Calibration de l' appareil photo est un problème bien connu dans le domaine de la vision par ordinateur qui a été intensivement étudiée au cours des années 1, 2, 3. Une étape clé de procédures d'étalonnage de l'appareil consiste à estimer les paramètres d'un modèle de distorsion, ainsi que les paramètres intrinsèques de la caméra, par extraction d'une grille de points avec une géométrie connue à partir des images de la caméra avec une précision de sous-pixel. Les cibles d'étalonnage avec un motif en damier, avec des carrés noirs et blancs sont couramment utilisés à cette fin. Blobs circulaires offrent une alternative modèle 4, 5, 6.
Au cours des dernières années, il y a eu un intérêt croissant pour le développement de la technologie de navigation chirurgicale pour les interventions de chirurgie fœtale, tels que le traitement du jumeau à jumeau syndrome de transfusion (TTTS) sur les fœtus> 7, 8, 9, 10. Comme le champ de vision du fœtoscope ( à savoir un endoscope utilisé dans des procédures chirurgicales fœtales) est très limité, des procédés pour la cartographie du système vasculaire du placenta sans l'utilisation de suiveurs externes ont été proposés pour faciliter la chirurgie du STT 11, 12, 13. Distorsions optiques dans les images fetoscopic ont des effets négatifs sur ces méthodes de mosaïquage de calcul qui reposent sur des informations visuelles extraction 11. Ainsi, il y a un besoin non satisfait pour un outil rentable et rapide pour péri-opératoire de calibrage fetoscopes de sorte que la compensation de distorsion optique peut se faire en temps réel lors de l'intervention.
En raison du fait que le fœtoscope est immergé dans le liquide amniotique au cours de l'intervention, la différence d'indice de réfraction entre unefluide ir et amniotique rend les méthodes classiques de l'air en étalonnage de l'appareil inadapté aux procédures de chirurgie fœtale. L' estimation des paramètres de caméra fluides immergés à partir des paramètres de l' air en caméra est une tâche difficile et nécessite au moins une image du fluide immergé calibration cible 14. En outre, péri-opératoire, le calibrage de la caméra fetoscopic fluide immergée est actuellement impossible en raison des exigences de stérilisation et les restrictions sur les matériaux autorisés dans la salle d'opération. Pour ces raisons, l'étalonnage endoscopes des distorsions optiques est généralement pas partie du flux de travail clinique en cours. Le travail dans ce manuscrit est une tentative pour combler cet écart d'étalonnage de la caméra en concevant et en produisant une cible de calibrage distorsion optique stérilisable et pratique comportant un motif de cercles asymétriques. Auparavant, Wengert et al. fabriqué un dispositif d'étalonnage personnalisé avec une plaque d'aluminium oxydé comme cible d'étalonnage. Leur method, cependant, ne fonctionne que conjointement avec l'algorithme de calibrage personnalisé , ils ont développé 15.
1. Fabrication cible
Calibration 2. périopératoire
Nous avons créé une cible d'étalonnage stérilisable par gravure d' un motif de cercle asymétrique sur une feuille métallique sablée en acier inoxydable, dont la conception est représentée sur la figure 1. Une configuration exemplaire montrant cette cible d'étalonnage en action ainsi qu'un fœtoscope est représenté sur la figure 2. Pour nourrir cette conception dans le logiciel de gravure au laser, une application personnalisée a été mise en œuvre dans le langage de programmation Python 16. Création du modèle de conception implique la gravure itérative lignes parallèles sur une feuille de métal. Pour le motif d'avoir une couleur uniforme à la fin, la distance entre ces lignes doit être inférieure à la largeur du faisceau laser (voir l'encart de la figure 1) -Ce valeur est de 45 um pour la Violino (Laservall) coupe au laser.

rong> Figure 1: Conception du motif gravé avec une grille de 3 par 11 des cercles asymétriques. Encart: zoom-in vue de la grille de cercles asymétriques. La distance entre les lignes est de 45 um (ce qui correspond à la largeur du faisceau laser), et chaque cercle a un diamètre de 1 mm. D'autres tailles peuvent être utilisés pour la grille ainsi, mais cela a été jugée optimale en ce qui concerne le champ de vision de fœtoscope. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.

Figure 2: configuration Exemplar avec la cible d'étalonnage en cours d' utilisation. La pointe de la fœtoscope immergé dans l'eau est dirigée vers la cible de calibrage sur la droite. Sur la gauche est un penny britannique pour fournir des informations à l'échelle."Target =" _ blank "> S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
La cible de calibrage fabriqué permet la détection du motif circulaire dans le flux vidéo endoscopique avec OpenCV 17, dont les emplacements sont ensuite triés dans la grille circulaire asymétrique pré-défini (voir Figure 3). En utilisant cette information en association avec la géométrie de la grille déjà connue, des paramètres internes de la caméra peuvent être estimés. Ceux-ci comprennent la matrice de la caméra et les coefficients de distorsion. La matrice de la caméra est constituée des distances focales et les centres optiques le long de l'axe X et l'axe des y de l'image plane en 2D. Les coefficients de distorsion sont basés sur le modèle de Brown-3 Conrady. Notez que pour ce travail, seuls les paramètres de distorsion radiale ont été estimées. Pour une brève discussion de la théorie, avec des exemples pratiques, consultez la page Web du module d'étalonnage de la caméra OpenCV 17 et la caméra MATLAB calibration boîte à outils 22. Plus de détails sur la procédure d'étalonnage de l' appareil sont disponibles dans le travail de Zhang 20. Le référentiel de logiciels Endocal dispose d' un échantillon de données de 10 vues endoscopiques de la cible d'étalonnage fabriqué 16. En utilisant cet ensemble de données, un étalonnage avec une erreur moyenne de 0,28 pixels re-projection (min: 0,16, max: 0,45) a été obtenu. Ceci est comparable à 0,25 pixels signalés par Wengert et al. en utilisant leur algorithme de calibrage personnalisé 15. Le même groupe de recherche a cependant signalé une erreur de reprojection de 0,6 pixels dans un article plus récent en utilisant le procédé 15 d'étalonnage d' une caméra endoscopique utilisé pour placentaire mosaicing 18.

Figure 3: Détection en temps réel du motif d'étalonnage. Couvrit Une capture d' écran de l'application de calibrage 16 avec le motif d'étalonnage détecté sur le flux vidéo en direct en utilisant la visualisation de réalité virtuelle à partir de OpenCV 17. A noter que chaque colonne détectée du modèle d'étalonnage est soulignée par une couleur différente. Les cercles détectés, en relation avec la géométrie connue, sont utilisées pour calculer les paramètres de la caméra. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Les paramètres de la caméra estimés sont utilisés pour la correction de distorsion optique. La figure 4 montre un motif en damier rectangulaire, comme on le voit à l' aide d' un fœtoscope, où les distorsions optiques rendent les lignes apparaissent sous forme de courbes. Notez que les lignes semblent normales dans le Distortiimage corrigée.

Figure 4: correction de distorsion optique. Une capture d' écran de l'application de calibrage 16 avec l'image vidéo en direct à partir d' un enregistrement fœtoscope du motif en damier ( à gauche) avec l'image de distorsion corrigée ( à droite). Trois lignes exemplaires sont tirés dans les deux images, chacune d'un coin à l'autre, où la trajectoire est linéaire. En raison des distorsions optiques, ces lignes apparaissent sous forme de courbes dans les images originales fœtoscope. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Sablage est une étape importante dans le processus de fabrication, car la surface métallique brute reflète en évidence la lumière de l'endoscope, ce qui rend impossible pour les cercles à détecter. Il est difficile de distinguer les cercles , même à l'œil nu (voir figure 5). A noter que la surface de la cible a déjà été montré gravé au laser. Toutefois, cela ne diminue pas la réflexion lumineuse.

Figure 5: cible d'étalonnage sans sablage appliqué. Comme on le voit à partir de la vue de l'endoscope sur la gauche, l'éclat de la lumière de l'endoscope sur la surface du matériau, il est difficile, même pour l'œil nu de distinguer les cercles (il y a un cercle juste au sud-est de la grande réflexion). A noter que la surface de cette cible ( par exemple, le "blanc") a déjà été gravé, mais cela ne utile en l'absence de jet de sable. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Avant le motif de gravure, il est également important pour graver la surface de l'échantillon. Cela est nécessaire parce que la surface sablée a beaucoup de réflexions spéculaires (voir figure 6), ce qui interfère avec la détection de blob.

Figure 6: surface sablée sans gravure. Bien que pas aussi important que la surface du métal brut, relativement petites réflexions spéculaires (dont certains sont mis en évidence avec des flèches jaunes) sont toujours suffisantes pour empêcher la détection de blob de réussir, donc pas de calibration peuvent être effectuées avec cet objectif.Arget = "_ blank"> S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
L'application du laser à des vitesses différentes donne différentes couleurs de fond. La couleur de fond joue un rôle important dans le contraste entre les cercles et l'arrière-plan. Par conséquent, il est essentiel de déterminer la couleur de fond optimal. A cet effet, une plaque avec des cercles gravés sur un ensemble de différentes origines a été créé (voir Figure 7). Les milieux ont été testés à l' aide du module de détection de caractéristique de OpenCV 23, qui est utilisé dans la caméra OpenCV module d'étalonnage 17. Dans ce travail, la cible est en acier inoxydable, comme il est le matériau le plus commun et fiable utilisé dans les cliniques pour les dispositifs médicaux. Ce matériau est librement disponible, peu coûteux, robuste et facile à stériliser. D'autres matériaux pourraient être utilisés pour la cible de calibrage, tels que les métaux d'aluminium ou iodés, mais ceci est le scope des travaux futurs.

Figure 7: Plaque en acier inoxydable avec une palette de différentes couleurs de fond gravé au laser. Des expériences pratiques ont été menées conjointement avec le module OpenCV de détection de caractéristiques pour déterminer quelle couleur de fond donne le résultat optimal en termes de blob à contraste de fond 23. La vue de l'endoscope sur la gauche montre la plaque. Les couleurs de fond modérés (ceux d' autres que ceux les plus sombres et les plus légers) dans cette palette donnent une meilleure détection de blob. S'il vous plaît cliquer ici pour voir une version plus grande de cette figure.
Un des avantages de ce travail est que d'effectuer un étalonnage en utilisant la cible fabriquée prend 2-3 min. La plupart des efforts vontes à stabiliser manuellement l'endoscope pour obtenir des vues décent du motif d'étalonnage. L'utilisation d'un porte-endoscope sur mesure pourrait éliminer la nécessité d'une stabilisation manuelle, ce qui pourrait à son tour de réduire considérablement le temps d'étalonnage.

Vidéo 1: Vidéo montrant comment optique calibration distorsion peut être effectuée en utilisant la cible de calibrage développé conjointement avec le logiciel Endocal. S'il vous plaît cliquer ici pour voir cette vidéo. (Faites un clic droit pour télécharger.)
Un avantage de notre travail par rapport aux travaux de Wengert et al. La figure 15 est que la caméra OpenCV module d'étalonnage 17 peut être utilisé tel quel pour l' étalonnage, sans nécessiter de modification ou de coutume paramèrisation. Parce que OpenCV est un logiciel bien établi et bien entretenu et est très populaire dans la communauté de vision par ordinateur, en utilisant elle élimine le besoin pour l'écriture et la maintenance des logiciels personnalisés. Pour la commodité du lecteur, une application graphique compact est fourni 16, que le lecteur peut facilement installer et utiliser pour tester de nouvelles cibles d'étalonnage. Un inconvénient de notre méthode par rapport à Wengert et al. 15 est que leur méthode est plus robuste aux occlusions de la configuration, car il ne nécessite pas la détection de toutes les taches.
Initialement, une cible de calibrage avec un motif en damier a été fabriqué pour ce travail. Cependant, ce type de cible d'étalonnage avéré ne pas convenir dans des expériences en raison de la difficulté de détecter les angles des carrés du damier. La détection d'angle repose sur la base histogramme image binarisation (voir le code source de OpenCV 24). Cette impse trouve la nécessité d'un contraste de couleur claire entre les carrés sombres et claires, qui ne pouvait pas être garantie avec notre motif en damier, en partie due à des réflexions spéculaires, comme ceux montrés sur la figure 6. Ces réflexions spéculaires sont présents même après fond gravure; Cependant, la détection des cercles semble être moins sensible à cette lacune.
Dans la configuration actuelle, seules vues perpendiculaires de la cible d'étalonnage permettent la détection de blob réussie. Ceci est dû aux réflexions spéculaires de la surface cible entraver la détection blob à des angles obliques. Nous travaillons à améliorer encore la cible de manière à permettre l'acquisition de points de vue à une plus large gamme d'angles, ce qui pourrait améliorer la qualité des étalonnages effectués 20.
Dans le temps réel du placenta mosaicing canalisation qui a déjà été proposée 11, le calcul de la transla formation qui mappe des paires d'images repose sur la détection réussie et le regroupement des fonctions. distorsions optiques, d'autre part, provoquent un groupe de fonctionnalités avec une géométrie rigide apparaisse différente à travers des images. En conséquence, cette différence conduit à des inexactitudes dans les transformations calculées, qui causent des dérives dans les mosaïques d'images résultantes. Parce que les distorsions optiques les plus importants sont présents vers les bords, les images endoscopiques sont actuellement coupées à leurs régions les plus intimes. Une bonne correction des distorsions optiques serait potentiellement permettre l'incorporation d'une plus grande partie de chaque image dans le processus de mosaïquage. L'avantage de ce procédé est double. Tout d'abord, cela augmenterait le nombre de caractéristiques détectées dans chaque image, ce qui pourrait améliorer le calcul des transformations d'image. En second lieu, il permettrait la totalité de la surface anatomique cible à reconstituer dans un temps plus court.
Les auteurs n’ont rien à divulguer.
Ce travail a été soutenu par un prix Innovative Engineering for Health du Wellcome Trust [WT101957], du Conseil de recherches en ingénierie et en sciences physiques (EPSRC) [NS/A000027/1] et d’une initiative à fort impact du Centre de recherche biomédicale de l’Institut national de recherche en santé UCLH/UCL. Jan Deprest est financé par le Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO ; JD en tant que chercheur clinicien 1.8.012.07). Danail Stoyanov reçoit des financements de l’EPSRC (EP/N013220/1, EP/N022750/1), du projet CASCADE (FP7-ICT-2913-601021) et du projet EndoVESPA (H2020-ICT- 2015-688592) de l’UE-Horizon2020. Sébastien Ourselin reçoit des financements de l’EPSRC (EP/H046410/1, EP/J020990/1, EP/K005278) et de la MRC (MR/J01107X/1). Marcel Tella est soutenu par le Centre de formation doctorale en imagerie médicale de l’UCL (EP/L016478/1), financé par l’EPSRC.
| Nom | Entreprise | Numéro de catalogue | Commentaires |
|---|---|---|---|
| Tôle de 1,2 mm Grade 316, 40 mm sur 40 mm | |||
| Réservoir d’eau d’au moins 50 mm sur 50 mm sur 30 mm | |||
| Un emballage | |||
| Eau | |||
| Coupe-métal | |||
| Une lime pour arrondir les coins | |||
| Un bloc de bois ou de métal de 50 mm par 50 mm d’au moins 10 mm d’épaisseur | |||
| Un étau (souhaitable mais pas obligatoire) | |||
| sablage | |||
| pour créer un fichier .dxf avec le motif | https://github.com/gift-surg/endocal | ||
| PC | |||
| Laser Cutter | |||
| Autoclave | |||
| calibrage d’endoscope | de GitHub : https://github.com/gift-surg/endocal | ||
| Endoscope | |||
| OpenCV, module | de caméra http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| Lunettes | |||
| Une blouse | |||
| Une règle et un marqueur | |||
| De l’alcool (de préférence de l’éthanol) pour le dépoussiérage et le nettoyage |