Medico-grade di destinazione sterilizzabile per fetoscope ottico Distortion calibrazione Fluid-immersi

Sommario

Questo articolo descrive la progettazione e lo sviluppo di un target di calibrazione della distorsione ottica della telecamera personalizzato sterilizzabile per la calibrazione perioperatoria e immersa in fluido di endoscopi durante gli interventi endoscopici.

Abstract

Abbiamo sviluppato un target di calibrazione per l'uso con endoscopi immersi in fluido nel contesto del progetto GIFT-Surg (Guided Instrumentation for Fetal Therapy and Surgery). Uno degli obiettivi di questo progetto è quello di ingegnerizzare nuovi metodi di elaborazione delle immagini in tempo reale per l'uso intraoperatorio nel trattamento di difetti congeniti alla nascita, come la spina bifida e la sindrome trasfusionale da gemello a gemello. Il target sviluppato consente la calibrazione della distorsione ottica degli endoscopi con preservazione della sterilità in pochi minuti. Una buona calibrazione e compensazione della distorsione ottica è importante per mitigare effetti indesiderati come le distorsioni radiali, che non solo ostacolano l'accuratezza dell'imaging utilizzando la tecnologia endoscopica esistente durante la chirurgia fetale, ma rendono anche le immagini acquisite meno adatte per applicazioni di elaborazione delle immagini potenzialmente molto utili, come la mosaicatura in tempo reale. In questo articolo viene proposto un nuovo metodo di fabbricazione per creare un target di calibrazione economico e sterilizzabile, adatto all'uso in una configurazione clinica. Questo metodo prevede l'incisione di un modello di calibrazione mediante taglio laser di una lamiera di acciaio inossidabile sabbiata. Questo obiettivo è stato convalidato utilizzando il modulo di calibrazione della fotocamera fornito da OpenCV, una libreria software all'avanguardia popolare nella comunità della visione artificiale.

Introduzione

Calibrazione obiettivo è un problema ben noto nel campo visivo computer che è stato studiato intensamente negli anni ^{1, 2, 3.} Un passaggio chiave di procedure di calibrazione della telecamera è di stimare i parametri di un modello di distorsione, nonché i parametri della telecamera intrinseci, estraendo una griglia di punti con una geometria nota dalle immagini della telecamera con precisione sub-pixel. bersagli di calibrazione con uno schema a scacchiera con quadrati bianchi e neri sono comunemente usati per questo scopo. Chiazze circolari offrono un modello alternativo ^{4, 5, 6.}

Negli ultimi anni, c'è stato un crescente interesse nello sviluppo della tecnologia di navigazione chirurgica per procedure di chirurgia fetale, come il trattamento di sindrome da trasfusione feto-fetale (TTTS) su feti> ^{7, 8, 9, 10.} Poiché il campo di vista del fetoscope (cioè, un endoscopio utilizzato in procedure chirurgiche fetali) è molto limitata, sono stati proposti metodi per la mappatura della vascolarizzazione placentare senza l'utilizzo di inseguitori esterni per aiutare la chirurgia TTTS ^{11, 12, 13.} Distorsioni ottiche all'interno di immagini fetoscopic avere effetti negativi sulle questi metodi di mosaicatura di calcolo che si basano su estrazione di informazioni visive ^11. Pertanto, vi è una necessità non soddisfatta di uno strumento economicamente efficiente e veloce per peri-operatorio calibrazione fetoscopes modo che compensazione della distorsione ottica può essere effettuata in tempo reale durante l'intervento.

A causa del fatto che il fetoscope è immerso nel liquido amniotico durante l'intervento, la differenza di indice di rifrazione tra undel liquido amniotico e ir rende classici metodi di calibrazione della fotocamera in aria non idonei per le procedure di chirurgia fetale. Stima parametri della telecamera di liquido immerso da parametri della telecamera in-aria è un compito difficile e richiede almeno un'immagine del fluido immersi target di calibrazione ^14. Inoltre, peri-operatorio, la calibrazione fotocamera fetoscopic fluido immerso è attualmente impraticabile a causa dei requisiti di sterilizzazione e le restrizioni sui materiali ammessi in sala operatoria. Per questi motivi, calibrando endoscopi per distorsioni ottiche non è tipicamente parte della corrente workflow clinico. Il lavoro in questo manoscritto è un tentativo di colmare questa lacuna calibrazione fotocamera progettando e producendo un profilo di calibrazione distorsione ottica sterilizzabile e pratico con un modello di cerchi asimmetrici. In precedenza, Wengert et al. fabbricato un dispositivo di calibrazione personalizzata con una piastra di alluminio ossidato come la calibrazione. Il loro method, però, funziona solo in combinazione con l'algoritmo di calibrazione personalizzata si sono sviluppati ^15.

Protocollo

1. Realizzazione di destinazione

1. Sabbiatura
   1. Preparare una lamiera di acciaio inossidabile 316 con uno spessore di 1,2 mm. Usando una matita o un chiodo, disegnare un quadrato mm 40 mm x 40 sul foglio con l'aiuto di un righello.
   2. Tagliare il quadrato disegnato con un cutter in metallo manuale. ATTENZIONE! Guardare le dita.
   3. Utilizzare un file per arrotondare gli angoli ei lati del campione. ATTENZIONE! Sono molto taglienti; stai attento.
   4. Preparare una scala blocco di legno o di metallo di dimensioni leggermente maggiori rispetto alla lamiera di acciaio inox. Posizionare il foglio singolo su di esso; fare questo al fine di evitare la flessione del campione durante la sabbiatura.
   5. Posizionare il gruppo nella camera di scoppio interna. Ricordatevi di usare un collettore di polveri e per sigillare ermeticamente la camera di scoppio interno; altrimenti, la sabbia si diffonderà in tutto durante il processo. Indossare occhiali di sicurezza per proteggere gli occhi.
   6. Posizionare una pistola a getto perpendicolare e almeno 4-5 cm dalla superficie metallica. Applicare il contr piedeolo per sabbiatura. Mettere il campione sul pezzo di legno (1-2 cm di spessore) con una morsa, come il flusso di sabbia ad alta pressione può deformare il campione. Durante sabbiatura, tenere saldamente il campione dal bordo del pezzo di legno o utilizzando un altro vizio.
   7. Ripetere la sabbiatura sul lato opposto se è desiderabile avere un modello di calibrazione inciso su entrambi i lati.
2. patterning laser
   1. Progettare un modello di cerchi asimmetrici, come mostrato in Figura 1.
   2. Preparare un file di formato di scambio di disegno (DXF) del disegno o utilizzando il software CAD o in un altro linguaggio di programmazione adatto.
      NOTA: Per comodità, un'applicazione Python in grado di generare file DXF per la progettazione di cui al presente documento viene fornito come parte della domanda GUI compatta ^16.
   3. Importare i file DXF nel software di taglio laser.
   4. Impostare i seguenti parametri per sfondo incisione. Potenza del laser: 40%, velocità di scansione:80 cm / s, Frequenza: 4.000 Hz, numero di passaggi: 1.
   5. Impostare i seguenti parametri per l'incisione del modello. Laser di potenza: 40%, Velocità di scansione: 2,1 cm / s, Frequenza: 4.000 Hz, numero di passaggi: 1.
   6. Mettere il campione sulla piattaforma di lavoro e allineare il modello di taglio utilizzando il software.
   7. Dopo il laser esegue il taglio, pulire il campione mediante immersione in alcool. Non utilizzare salviette, come fanno di solito lasciano residui indesiderabili.
3. Sterilizzazione
   1. Avvolgere il campione sterilizzato in un pacchetto sterilizzazione e inserirla nell'unità di sterilizzazione (autoclave).
   2. Aggiungere acqua (l'acqua non distillata) per l'autoclave e seguire la guida utente / raccomandazioni del costruttore per sterilizzare il bersaglio.

Calibrazione 2. peri-operatorio

1. software di calibrazione
   1. Installare il "endocal" pacchetto software di calibrazione endoscopio fornito su GitHub ¹⁶(Seguire le istruzioni del file README in esso).
      NOTA: Questo software avvolge il modulo di calibrazione fotocamera OpenCV ¹⁷ in un'applicazione convenienza facile da usare. La domanda prevista funziona in due modalità: online e offline. La modalità online acquisisce il flusso video direttamente dall'hardware frame-grabber compatibili. La modalità offline consente di ottenere immagini di carico endoscopio sia da un file video o una cartella con un numero di fotogrammi video salvati come file immagine. Vedere README per l'hardware supportato e le istruzioni dettagliate su come utilizzare questi due modi.
2. acquisizione di video endoscopica
   NOTA: Le seguenti istruzioni sono per la calibrazione on-line (come descritto sopra), ma sono applicabili anche alla calibrazione in linea.
   1. Posizionare il foglio di calibrazione in un contenitore fluido sterile, come un barattolo.
   2. Riempire il contenitore con il liquido bersaglio o una sostanza simile sterili.
      NOTA: per esempio, nel proce fetoscopicdure, il fluido obiettivo è liquido amniotico. Poiché le proprietà ottiche di liquido amniotico sono simili all'acqua salina ^{18, 19,} acqua salina sterile può essere utilizzato per la calibrazione del fetoscope.
   3. Regolare lo zoom e la nitidezza dell'endoscopio, se lo desideri.
   4. Immergere l'endoscopio nel fluido e tenerlo ad una distanza dalla calibrazione simile alla distanza dal anatomica che l'endoscopio sarà successivamente utilizzato a.
   5. Avviare l'applicazione di calibrazione e avviare l'acquisizione della fotocamera.
   6. Spostare la punta dell'endoscopio leggermente per diverse visualizzazioni mantenendo l'intero modello di calibrazione in vista della telecamera. Per ottenere prestazioni ottimali, tenere la leggenda ellittica intorno al motivo di calibrazione all'interno della vista circolare dell'endoscopio.
      NOTA: Il video frame che sono utilizzabili per la calibrazione sono indicate da un modello di sovrapposizione virtuale, come si vede in figura 3.
   7. acquire almeno il numero minimo di visualizzazioni endoscopiche fotocamera necessarie per la calibrazione (come indicato nella finestra endocal).
      NOTA: La versione corrente di endocal richiede almeno 10 visualizzazioni delle telecamere endoscopiche per la calibrazione, un certo numero di punti di vista euristico selezionato dove l'errore di calibrazione sembra essere minima e seguire uno schema stabile ^20.
   8. Premere il tasto di calibrazione, come indicato sulla finestra endocal, per avviare il processo di calibrazione utilizzando le immagini acquisite finora.
3. Salvataggio e utilizzando i parametri di calibrazione
   1. Premere il tasto di taratura indicata per salvare i parametri di calibrazione con un conseguente YAML ( "YAML Non è Markup Language") file ^21.
   2. Gruppo i parametri di calibrazione in i coefficienti di matrice fotocamera e distorsione, come spiegato nel modulo di calibrazione della fotocamera OpenCV ^17.
      NOTA: Dopo aver eseguito la calibrazione, la calibrazioneapplicazione visualizza automaticamente l'immagine di distorsione corretta alla destra dell'immagine dell'endoscopio originale.
   3. Utilizzare il feed video distorsione corretta nel corso di una procedura di fetoscopic per la visualizzazione puro o in tempo reale placentare mosaicatura ^11.

Risultati

Abbiamo creato un profilo di calibrazione sterilizzabile mediante attacco un modello di cerchio asimmetrica su un foglio di metallo sabbiato acciaio, il cui disegno è mostrato in Figura 1. Un'installazione esemplare che mostra la calibrazione in azione insieme ad un fetoscope è mostrato in figura 2. Per alimentare questo disegno nel software incisione laser, un'applicazione personalizzata è stato implementato nel linguaggio di programmazione Python ^16. Creare il modello di progettazione comporta in modo iterativo incisione linee parallele su un foglio di metallo. Per il modello di avere un colore uniforme, alla fine, la distanza tra queste linee dovrebbe essere inferiore alla larghezza del fascio laser (vedere il riquadro di figura 1): questo valore è 45 micron per il cutter laser Violino (Laservall).

rong> Figura 1: Progettazione del modello inciso con una griglia 3-by-11 di cerchi asimmetrici. Inserto: vista ingrandita della griglia di cerchi asimmetrici. La distanza tra le linee è 45 micron (pari alla larghezza del fascio laser), e ogni cerchio ha un diametro di 1 mm. Altre misure potrebbero essere utilizzati per la griglia pure, ma questo è risultato essere ottimale rispetto al campo fetoscope di vista. Clicca qui per vedere una versione più grande di questa figura.

Figura 2: configurazione Exemplar con il target di calibrazione in uso. La punta del fetoscope immersi acqua è diretta alla calibrazione sulla destra. Sulla sinistra è un soldo britannico per fornire informazioni di scala."Target =" _ blank "> Clicca qui per vedere una versione più grande di questa figura.

Il target di calibrazione fabbricato consente la rilevazione della sagoma circolare nel flusso video endoscopica con OpenCV ^17, le cui posizioni vengono poi ordinati in griglia circolare asimmetrica predefinito (vedi figura 3). Usando questa informazione, in cooperazione con il già noto geometry griglia, parametri della telecamera interni possono essere stimati. Questi includono la matrice telecamera ed i coefficienti di distorsione. La matrice fotocamera consiste delle lunghezze focali e centri ottici lungo gli assi X e Y del piano dell'immagine 2D. I coefficienti di distorsione sono basati sul modello Brown-Conrady ^3. Si noti che per questo lavoro, solo i parametri di distorsione radiale sono stati stimati. Per una breve discussione della teoria, con esempi pratici, consultare la pagina web del modulo di calibrazione fotocamera OpenCV ^{17 e la casella degli strumenti di calibrazione fotocamera MATLAB 22. Maggiori dettagli sulla procedura di calibrazione della fotocamera sono disponibili nel lavoro di Zhang 20. Il repository software endocal dispone di un set di dati campione di 10 viste endoscopiche del profilo di calibrazione fabbricato 16. Utilizzando questo insieme di dati, una calibrazione con un errore medio ri-proiezione di 0,28 pixel (min: 0,16, max: 0,45) è stato ottenuto. Questo è paragonabile ai 0,25 pixel riportati da Wengert et al. usando il loro algoritmo di calibrazione personalizzata 15. Lo stesso gruppo di ricerca, tuttavia, ha segnalato un errore di ri-proiezione di 0,6 pixel in un più recente carta quando si utilizza il metodo a 15 per la calibrazione di una telecamera endoscopica utilizzata per placentare mosaicatura 18.}

Figura 3: il rilevamento in tempo reale del motivo di calibrazione. Uno screenshot dall'applicazione calibrazione ¹⁶ con il motivo di calibrazione rilevato sovrapposto il flusso video in diretta utilizzando la visualizzazione di realtà virtuale da OpenCV ^17. Si noti che ogni colonna rilevata del motivo di calibrazione è sottolineata da un colore diverso. I cerchi rilevati, in combinazione con la geometria nota, vengono utilizzati per calcolare i parametri della telecamera. Clicca qui per vedere una versione più grande di questa figura.

I parametri della telecamera stimati sono utilizzati per la correzione di distorsione ottica. La figura 4 mostra uno schema a scacchiera rettangolare, come visto con un fetoscope, dove distorsioni ottiche rendono le linee appaiono come curve. Si noti che le linee appaiono normali in distortiimmagine sullo corretta.

Figura 4: correzione della distorsione ottica. Uno screenshot dall'applicazione calibrazione ¹⁶ con l'immagine video in diretta da una registrazione fetoscope dalla scacchiera (a sinistra) con l'immagine di distorsione corretta (a destra). Tre linee esemplari sono disegnate in entrambe le immagini, ciascuna da un angolo all'altro, dove la traiettoria è lineare. A causa delle distorsioni ottiche, queste linee appaiono come curve nelle immagini fetoscope originali. Clicca qui per vedere una versione più grande di questa figura.

Discussione

La sabbiatura è un passo importante nel processo di fabbricazione in quanto la superficie del metallo grezzo riflette la luce visibile dell'endoscopio, rendendo impossibile per i cerchi da rilevare. È difficile distinguere i cerchi anche ad occhio nudo (vedi Figura 5). Si noti che la superficie del bersaglio mostrata era già incisa con un laser. Tuttavia, ciò non diminuisce la riflessione della luce.

Figura 5: calibrazione senza sabbiatura applicata. Come si vede dalla vista dell'endoscopio sulla sinistra, il riflesso dalla luce dell'endoscopio sulla superficie del materiale rende difficile anche per occhio nudo per distinguere i cerchi (c'è un cerchio appena a est del grande riflessione). Si noti che la superficie di tale obiettivo (cioè, il "bianco") è stato già attaccato, ma questo non è utile in assenza di sabbiatura. Clicca qui per vedere una versione più grande di questa figura.

Prima del profilo di mordenzatura, è anche importante per incidere la superficie dell'intero campione. Ciò è necessario perché la superficie sabbiata ha molte riflessioni speculari (vedere Figura 6), che interferiscono con riconoscimento di regioni.

Figura 6: superficie sabbiata senza incisione. Anche se non è di primo piano come la superficie del metallo grezzo, le relativamente piccole riflessioni speculari (alcuni dei quali sono evidenziati con frecce gialle) sono ancora sufficienti per impedire il rilevamento blob da riuscire, in modo che nessuno di taratura possono essere eseguite con questo obiettivo.Arget = "_ blank"> Clicca qui per vedere una versione più grande di questa figura.

Applicando il laser a diverse velocità dà diversi colori di sfondo. Il colore di sfondo gioca un ruolo significativo nel contrasto tra i cerchi e lo sfondo. Quindi, è importante per determinare il colore di sfondo ottimale. A tal fine, un piatto con cerchi inciso contro un insieme di diverse provenienze stato creato (vedi Figura 7). Gli sfondi sono stati testati utilizzando il modulo di rilevamento caratteristica di OpenCV ^23, che viene utilizzato nel modulo di calibrazione fotocamera OpenCV ^17. In questo lavoro, l'obiettivo è stato fatto di acciaio inossidabile, in quanto è il materiale più comune e affidabile utilizzato in cliniche per dispositivi medici. Questo materiale è liberamente disponibile, non costoso, robusto e facile da sterilizzare. Altri materiali possono potenzialmente essere utilizzati per la calibrazione, come ad esempio alluminio o iodato metalli, ma questo è il scope del lavoro futuro.

Figura 7: Piastra in acciaio inox con una tavolozza di diversi colori di sfondo incise con il laser. Esperimenti pratici sono stati condotti in combinazione con il modulo di rilevamento funzione OpenCV per determinare quale colore di sfondo fornisce il risultato ottimale in termini di blob-to-contrasto di fondo ^23. La vista endoscopio a sinistra mostra la piastra. I colori di sfondo moderati (cioè, quelle altre che le scuri e più chiari quelli) in questa palette resa migliore riconoscimento di regioni. Clicca qui per vedere una versione più grande di questa figura.

Uno dei vantaggi di questo lavoro è che l'esecuzione di una calibrazione usando la porta fabbricato prende 2-3 min. La maggior parte dello sforzo goES a stabilizzare manualmente l'endoscopio per ottenere una vista decente del motivo di calibrazione. Usando un supporto endoscopio fuoriserie potrebbe eliminare la necessità di stabilizzazione manuale, che a sua volta potrebbe ridurre significativamente i tempi di calibrazione.

Video 1: Video che mostra come ottica di calibrazione distorsione può essere eseguita utilizzando il target di calibrazione sviluppato in collaborazione con la software endocal. Clicca qui per visualizzare questo video. (Tasto destro del mouse per scaricare).

Un vantaggio del nostro lavoro rispetto al lavoro di Wengert et al. ¹⁵ è che il modulo di calibrazione fotocamera OpenCV ¹⁷ può essere utilizzato come è per la calibrazione, senza richiedere alcuna modifica o personalizzata paramezazione. Perché OpenCV è un pacchetto software ben consolidata e ben curato ed è molto popolare nella comunità visione artificiale, utilizzando elimina la necessità per la scrittura e il mantenimento di software personalizzato. Per comodità del lettore, un'applicazione GUI compatta è previsto ^16, che il lettore può facilmente installare e utilizzare per testare nuovi target di calibrazione. Uno svantaggio del nostro metodo rispetto a Wengert et al. ¹⁵ è che il loro metodo è più robusto per occlusioni del modello, in quanto non richiede il rilevamento di tutti i blob.

Inizialmente, un target di calibrazione con un motivo a scacchi è stato fabbricato per questo lavoro. Tuttavia, questo tipo di calibrazione è rivelata inadatta in esperimenti a causa della difficoltà di rilevare gli angoli dei quadrati scacchiera. Rilevamento d'angolo si basa su binarizzazione immagine istogramma-based (vedere il codice sorgente OpenCV ^24). Questo impsi trova la necessità di un chiaro contrasto cromatico tra i chiari e scuri piazze, che non poteva essere garantita con il nostro schema a scacchiera, in parte a causa dei riflessi speculari, come quelli illustrati nella Figura 6. Tali riflessioni speculari sono presenti anche dopo sfondo incisione; tuttavia, la rilevazione dei cerchi sembra essere meno sensibili a questo inconveniente.

Nella configurazione attuale, solo una vista perpendicolari del profilo di calibrazione consentono il rilevamento blob di successo. Ciò è dovuto alle riflessioni speculari dalla superficie del bersaglio ostacolando riconoscimento di regioni ad angoli obliqui. Siamo lavorando per migliorare ulteriormente il bersaglio in modo da consentire l'acquisizione di vista ad una più ampia gamma di angoli, che potrebbero migliorare la qualità di calibrature effettuate ^20.

In tempo reale placentare mosaicing conduttura precedentemente proposto ^11, il calcolo del transformazione che mappa coppie di immagini si basa sul rilevamento e il raggruppamento delle caratteristiche di successo. distorsioni ottiche, invece, provocano un gruppo di caratteristiche con una geometria rigida appaia diversa attraverso immagini. Di conseguenza, questa differenza comporta imprecisioni nelle trasformazioni calcolati, che provocano derive dei mosaici immagine risultanti. Perché le distorsioni ottiche più importanti sono presenti verso i bordi, immagini endoscopiche sono attualmente tagliate per le loro regioni più interne. Una buona correzione per le distorsioni ottiche potrebbe potenzialmente consentire l'incorporazione di una parte più grande di ogni immagine nel processo di mosaicatura. Il vantaggio di questo metodo è duplice. Innanzitutto, aumenterebbe il numero di caratteristiche rilevate in ogni immagine, migliorando potenzialmente il calcolo delle trasformazioni di immagine. In secondo luogo, permetterebbe l'intera superficie anatomica bersaglio essere ricostruito in un tempo più breve.

Materiali

Elenco dei materiali utilizzati in questo articolo

Nome	Azienda	Numero di catalogo	Commenti
Lamiera da 1,2 mm Grado 316, 40 mm per 40 mm
Contenitore dell'acqua almeno 50 mm per 50 mm per 30 mm
Un pacchetto
Acqua
Taglierina
Una lima per arrotondare gli angoli
Un blocco di legno o metallo di 50 mm per 50 mm di almeno 10 mm di spessore
Una morsa (desiderabile ma non necessaria)
	Applicazione GUI della
PC
Laser Cutter
Autoclave
Un software			di calibrazione dell'endoscopio da GitHub: https://github.com/gift-surg/endocal
			calibrazione della telecamera OpenCV
per endoscopio
Occhiali di
Un camice da
Un righello e un pennarello
Alcool (preferibilmente etanolo) per la rimozione della polvere e la pulizia

di sterilizzazionesalinamanuale in metallo sabbiatrice per creare un file .dxf con il modello https://github.com/gift-surg/endocalModulo di http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html sicurezzalaboratorio