이 기사는 내시경 중재술 중 내시경의 수술 전후 유체 침지 보정을 위한 멸균 가능한 맞춤형 카메라 광학 왜곡 보정 대상의 설계 및 개발에 대해 설명합니다.
방법 논문
* These authors contributed equally
이 기사는 내시경 중재술 중 내시경의 수술 전후 유체 침지 보정을 위한 멸균 가능한 맞춤형 카메라 광학 왜곡 보정 대상의 설계 및 개발에 대해 설명합니다.
우리는 GIFT-Surg(Guided Instrumentation for Fetal Therapy and Surgery) 프로젝트의 맥락에서 유체 침지 내시경과 함께 사용하기 위한 보정 대상을 개발했습니다. 이 프로젝트의 목표 중 하나는 이분척추증(spina bifida) 및 쌍둥이 수혈 증후군(twin-to-twin transfusion syndrome)과 같은 선천적 선천적 결함 치료에 수술 중 사용할 수 있는 새로운 실시간 이미지 처리 방법을 설계하는 것입니다. 개발된 표적은 몇 분 내에 내시경의 멸균 보존 광학 왜곡 보정을 가능하게 합니다. 우수한 광학 왜곡 보정 및 보정은 방사형 왜곡과 같은 바람직하지 않은 효과를 완화하는 데 중요하며, 이는 태아 수술 중 기존 내시경 기술을 사용한 정확한 이미징을 방해할 뿐만 아니라 실시간 모자이킹과 같은 잠재적으로 매우 유용한 이미지 컴퓨팅 응용 프로그램에 획득된 이미지를 덜 적합하게 만듭니다. 이 백서에서는 임상 환경에서 사용하기에 적합한 저렴하고 멸균 가능한 보정 대상을 만들기 위한 새로운 제조 방법을 제안합니다. 이 방법은 샌드블라스팅된 스테인리스 강판을 레이저로 절단하여 보정 패턴을 에칭하는 것입니다. 이 대상은 컴퓨터 비전 커뮤니티에서 인기 있는 최첨단 소프트웨어 라이브러리인 OpenCV에서 제공하는 카메라 보정 모듈을 사용하여 검증되었습니다.
카메라 보정 집중적 년 1, 2, 3을 통해 연구되어왔다 컴퓨터 비전 분야에서 잘 알려진 문제이다. 카메라 교정 방법의 주요 단계는 서브 픽셀 정밀도로 카메라 영상에서 알려진 형상과 점의 격자를 추출하여, 왜곡 모델의 파라미터뿐만 아니라 고유 카메라 파라미터를 추정하는 것이다. 검은 색과 흰색 사각형을 특징으로 바둑판 패턴으로 교정 대상은 일반적으로이 목적을 위해 사용됩니다. 원형 모양은 다른 패턴 4, 5, 6 제안한다.
최근 태아 그러한 쌍태아 간 수혈 증후군 (TTTS)의 치료와 같은 태아 수술 절차, 수술 용 항법 기술의 개발에 대한 관심이 증가되고있다> 7, 8, 9, 10. fetoscope의 시야로서 (즉, 태아의 수술에 사용되는 내시경은) 매우 외부 추적기를 사용하지 않고 태반 혈관계를 매핑하는 방법이 TTTS 수술 11, 12, 13를 돕기 위해 제시되었다 한정된다. fetoscopic 이미지 내의 광학 왜곡 시각 정보 추출 (11)에 의존하는 이러한 계산 mosaicing 방법에 부정적 영향을 미칠. 따라서, 광학 왜곡 보상 개입 동안에 실시간으로 수행 할 수 있도록 동작 가능 주위염이-fetoscopes 교정을위한 비용 효율적이고 빠른 도구에 대한 충족되지 않은 필요성이 존재한다.
인해 fetoscope가 개입 동안에 양수에서의 굴절률 차이를 침지된다는 사실IR 및 양수는 태아 수술 절차에 적합 고전에서 공기 카메라 교정 방법을 렌더링합니다. 공기 중 카메라 파라미터로부터 유체 침지 카메라 파라미터를 추정하는 것은 매우 어려운 일이며, 유체 침지 보정 대상 (14)의 적어도 하나의 이미지를 필요로한다. 또한, 요정 수술은, 유체 침지 fetoscopic 카메라 보정은 운영 극장에서 허용되는 물질에 살균 요구 사항 및 제한 사항으로 인해 현재 불가능하다. 때문에 이러한 이유로, 광학 왜곡 내시경을 교정하는 것은 일반적으로 현재 임상 워크 플로우의 일부가 아닙니다. 이 원고의 작업은 설계 및 비대칭 원의 패턴을 특징으로 멸균하고 실용적인 광학 왜곡 보정 대상을 생산하여 카메라 교정 격차를하기위한 시도이다. 이전 벵거 르트 등. 캘리브레이션 타겟으로서 산화 알루미늄 판을 갖춘 맞춤 교정 장치를 제작. 그들의 메트OD, 단, 그들은 15 개발 된 맞춤형 교정 알고리즘과 연계하여 작동한다.
1. 대상 제작
2. 요정 수술 교정
우리는 그 디자인을도 1에 도시 된 샌드 블라스트 스테인리스 금속판에 비대칭 원형의 패턴을 에칭에 의해 멸균 보정 대상을 만들었다. fetoscope와 함께 행동이 교정 대상을 보여주는 모범 설정은 그림 2에 표시됩니다. 레이저 에칭 소프트웨어에이 디자인을 공급하기 위해, 사용자 지정 응용 프로그램은 파이썬 프로그래밍 언어 (16)로 구현되었다. 디자인 패턴을 만들기 반복적으로 금속 시트에 평행선을 에칭 포함한다. 패턴은 결국 일정한 색을 갖고, 이들 라인들 사이의 거리가 상기 레이저 빔의 폭보다 작아야한다 (도 1의 인셋 참조) 값 Violino (Laservall) 레이저 커터 45 μm의 인격적.

룽> 그림 1 : 비대칭 원의 3 별 11 그리드를 특징으로 새겨진 패턴의 디자인. 삽입은 : 확대 된 비대칭 원의 격자보기. 라인 사이의 거리 (레이저 빔의 폭과 동일) 45 ㎛의이며, 각각의 원이 1mm의 직경을 갖는다. 다른 크기도 격자에 사용될 수 있지만, 이는 도면의 fetoscope 필드에 대해 최적 인 것으로 밝혀졌다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2 : 사용중인 보정 대상으로 모범 설정. 물 침지 fetoscope의 선단 오른쪽 보정 대상에 관한 것이다. 왼쪽의 스케일 정보를 제공하는 영국 페니이다."대상 ="_ 빈은 ">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
제작 된 보정 대상이 위치 다음 미리 정의 된 비대칭 원형 격자로 정렬 OpenCV의 (17)와 내시경 비디오 스트림에 원형 패턴의 검출을 가능하게 (도 3 참조). 이미 공지 된 격자 형상과 함께이 정보를 이용하여 카메라의 내부 파라미터를 추정 할 수있다. 이러한 카메라 행렬 왜곡 계수들을 포함한다. 카메라 행렬은 초점 거리와 2 차원 화상면의 X 및 Y 축 방향의 광학 중심 구성된다. 왜곡 계수는 브라운 - Conrady 모델 3을 기반으로합니다. 이 일을 위해, 단지 반경 왜곡 매개 변수를 추정되었다합니다. 실제 사례와 이론에 대한 간단한 설명을 보려면, (17)과 MATLAB 카메라 보정 도구 상자 22. 카메라 보정 절차에 대한 자세한 내용은 장의 작품 20에서 사용할 수 있습니다. endocal 소프트웨어 저장소는 제작 된 보정 대상 16 10 내시경 전망의 샘플 데이터 세트를 제공합니다. (0.16, 최대 : 0.45 분)이 데이터 집합, 0.28 화소의 평균 재 투영 오차 보정을 사용하여 얻었다. 이것은 벵거 르트 등에 의해보고 0.25 픽셀과 비교된다. 자신의 사용자 정의 교정 알고리즘 (15)를 사용. 태반 18 mosaicing에 이용하는 내시경 카메라 교정 15의 방법을 이용하면 동일한 연구 그룹은, 그러나, 최근의 논문에서 0.6 화소 재 투영 오차를보고했다.

도 3 : 계측 패턴의 실시간 검출. 검출 된 교정 패턴을 특징으로 보정 응용 프로그램 (16)에서 스크린 샷은 OpenCV의 17에서 가상 현실 시각화를 사용하여 라이브 비디오 스트림을 입혔다. 교정 패턴의 각각의 검출 된 열이 다른 색으로 강조합니다. 검출 원은, 공지 된 구조와 함께, 카메라 파라미터를 계산하기 위해 사용된다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
추정 된 카메라 파라미터 광학 왜곡 보정을 위해 사용된다. 광학 왜곡 선이 곡선으로 표시 할 fetoscope를 사용하여 볼 때 그림 4는 직사각형 체스 판 패턴을 보여줍니다. 라인이 distorti 정상 표시합니다이미지에 보정.

그림 4 : 광학 왜곡 보정. 왜곡 보정 이미지 (오른쪽)와 체크 무늬 패턴 (왼쪽)에서 fetoscope 녹화에서 라이브 영상을 특징으로 보정 응용 프로그램 (16)에서 스크린 샷. 세 가지 예시적인 선은 궤도 선형 또 다른 한 구석에서 각각 두 이미지에 그려집니다. 때문에 광학 왜곡에,이 라인은 원래 fetoscope 이미지에 곡선으로 나타납니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
원료 금속 표면이 보이 불가능 원이 검출 될 때까지 만들어 내시경 광을 반사하기 때문에 샌드 블라스팅은 제조 프로세스에서 중요한 단계이다. 이는 심지어 육안으로 서클을 구별하기 어렵다 (도 5 참조). 도시 된 타겟 표면이 이미 레이저 에칭 있습니다. 그러나,이 빛의 반사를 감소하지 않습니다.

그림 5 : 교정 대상없는 샌드와 함께 적용했다. 왼쪽에있는 내시경보기에서 알 수있는 바와 같이, 재료 표면에 내시경 빛의 섬광이 육안으로는 원을 구별하기조차 것이 어렵게 (그냥 대형 반사의 남동쪽에 원이있다). 이 타겟의 표면 (즉, 상기 "배경") 이미 에칭 있는데, 이는 아니다 샌드 블라스트의 부재 도움. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
이전에 패턴을 에칭, 전체 시료의 표면을 에칭하는 것도 중요하다. 이것은 샌드 블라스트 표면 많은 거울 반사 때문에 얼룩 검출을 방해 (도 6 참조)이 필요하다.

그림 6 : 없음 에칭 표면을 모래 분사. 원료 금속 표면 저명한되지 않았지만, (일부 노란 화살표로 강조된다) 비교적 작은 정반사 여전히 성공할 얼룩 검출을 방지하기에 충분하므로 캘리브레이션이 대상으로 수행 할 수 없다.arget = "_ 빈">이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
다른 속도로 레이저를 적용하는 것은 다른 배경 색상을 제공합니다. 배경색은 원과 배경 사이의 명암에 중요한 역할을한다. 따라서, 최적의 배경색을 결정하기 위해 필수적이다. 이를 위해, 동그라미와 플레이트는 생성 된 다른 배경 (그림 7 참조)의 집합에 대해 에칭. 배경에는는 OpenCV의 카메라 교정 모듈 (17)에서 사용된다 OpenCV의 23의 특징 검출 모듈을 사용하여 시험 하였다. 그것은 의료 기기 병원에서 가장 일반적으로 안정적인 재료이기 때문에,이 작업에서, 타겟은 스테인레스 강으로 만들어졌다. 이 자료는 자유롭게, 비싸지 않은, 사용 가능한 강력한 및 소독이 용이하다. 다른 재료는 잠재적으로 알루미늄 또는 요오드화 금속으로, 보정 대상에 사용될 수 있지만, 이것은 SCOP 인향후 작업의 전자.

그림 7 : 레이저 에칭 다른 배경 색상의 팔레트를 갖춘 스테인레스 강판. 실제 실험 블롭 대 배경 콘트라스트 (23)의 측면에서 최적의 결과를 제공하는 배경 색상을 결정하는 기능을 OpenCV 검출 모듈과 연계하여 수행 하였다. 왼쪽의 내시경보기는 판을 보여줍니다. 적당한 배경 색상 (즉, 다른 그 가장 어두운 부분과 밝은 사람 있음)이 팔레트에 더 얼룩 검출을 얻었다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
이 작업의 장점 중 하나는 제조 된 표적을 사용하여 교정을 수행하는 2-3 분 소요된다. 노력의 대부분은 이동ES 수동 교정 패턴의보기 흉 수득 내시경을 안정화한다. 맞춤식 내시경 홀더를 사용하면 결과적으로 크게 보정 시간을 단축 할 수있는 수동 안정화에 대한 필요성을 제거 할 수있다.

비디오 1 : 비디오는 endocal 소프트웨어와 함께 개발 보정 대상을 사용하여 수행 될 수있는 방법을 보여주는 광학 왜곡 보정. 이 동영상을 보려면 여기를 클릭하십시오. (다운로드 마우스 오른쪽 버튼으로 클릭합니다.)
벵거 르트 등의 등의 작업에 비해 우리의 작업의 장점. 15 OpenCV의 카메라 교정 모듈 (17)은 임의의 수정 또는 사용자 parame 없이도 교정 그대로 사용할 수 있다는terization. OpenCV의 잘 확립하고 잘 관리 소프트웨어 패키지이며 쓰고 커스텀 소프트웨어를 유지하기위한 필요성을 제거하여, 컴퓨터 비전 사회에서 매우 인기가 있기 때문이다. 독자의 편의를 위해, 소형의 GUI 애플리케이션은 독자가 쉽게 설치하고 새로운 캘리브레이션 타겟을 테스트하는 데 사용할 수있는, (16)이 제공된다. 벵거 르트 등에 비교하여 제안 된 방법의 단점. 도 15은 모든 얼룩의 검출을 필요로하지 않기 때문에 그 방법은, 패턴의 폐색에 더 견고하다는 것이다.
처음에, 바둑판 패턴으로 보정 대상이 일을 위해 제작 하였다. 그러나, 보정 대상이 유형 의한 바둑판 사각형의 모서리를 검출하는 어려움 실험 부적합한 것으로 판명되었다. 코너 검출은 히스토그램 기반의 이미지 이진화합니다 (OpenCV의 소스 코드 24 참조)에 의존한다. 이 꼬마 도깨비도 6에 도시 된 것과 같은, 부분적으로 거울 반사에, 우리의 바둑판 패턴을 보장 할 수없는 어둠과 빛 사각형 사이의 명확한 색상 대비의 필요성이있다. 이러한 거울 반사 심지어 배경 에칭 후 존재; 그러나, 원형의 검출은 이러한 단점에 덜 민감한 것으로 보인다.
현재의 설정으로, 보정 대상의 수직보기 성공 얼룩 검출 허용한다. 이 경사 각도 얼룩 검출 방해 대상 표면에서 정반사에 기인한다. 우리는 잠재적으로 교정을 수행 (20)의 품질을 개선 할 수있는 각도의 넓은 범위에서 뷰의 획득이 가능하도록 상기 대상을 개선하기 위해 노력하고있다.
실시간 태반 이전 11 제안한 파이프 라인 트랜스의 계산 mosaicing이미지 쌍을 매핑 형성은 성공적으로 탐지 및 기능의 그룹에 의존합니다. 광학 왜곡, 다른 한편으로는, 강성 구조와 기능의 그룹은 이미지에 걸쳐 상이한 나타나게. 결과적으로, 이러한 차이는 생성 된 화상의 모자이크 드리프트 원인 계산 된 변형에 부정확성을 이끈다. 가장 눈에 띄는 광학 왜곡 가장자리쪽으로 존재하기 때문에, 내시경 이미지는 현재 자신의 가장 깊은 지역에 잘립니다. 광학 왜곡에 대한 좋은 보정은 잠재적으로 mosaicing 프로세스에 각 이미지의 더 큰 부분의 결합을 허용합니다. 이 방법의 장점은 두 가지이다. 첫째, 잠재적으로 화상 변환의 계산을 개선 각 이미지에서 검출 기능의 수를 증가시킬 것이다. 둘째, 짧은 시간에 재구성 될 전체 목표 해부학 표면을 허용한다.
저자는 공개할 것이 없습니다.
이 작업은 Wellcome Trust [WT101957], Engineering and Physical Sciences Research Council (EPSRC) [NS/A000027/1] 및 National Institute for Health Research Biomedical Research Centre UCLH/UCL High Impact Initiative의 Innovative Engineering for Health 상을 통해 지원되었습니다. Jan Deprest는 Fonds voor Wetenschappelijk Onderzoek Vlaanderen (FWO; 임상 연구원으로서의 JD 1.8.012.07). 다네일 스토야노프는 EPSRC(EP/N013220/1, EP/N022750/1), EU-FP7 프로젝트 CASCADE(FP7-ICT-2913-601021) 및 EU-Horizon2020 프로젝트 EndoVESPA(H2020-ICT- 2015-688592)로부터 자금을 지원받습니다. Sebastien Ourselin은 EPSRC(EP/H046410/1, EP/J020990/1, EP/K005278) 및 MRC(MR/J01107X/1)로부터 자금을 지원받습니다. Marcel Tella는 EPSRC의 자금 지원을 받는 UCL Center for Doctoral Training in Medical Imaging(EP/L016478/1)의 지원을 받고 있습니다.
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| 1.2mm 금속 시트 316 등급, 40mm x 40mm | |||
| 물통 최소 50mm x 50mm x 30mm | |||
| 살균 패키지 | |||
| 식염수 | |||
| 수동 금속 절단기 | |||
| 모서리 | |||
| 를 둥글게 만드는 파일50mm x 50mm, 최소 10mm 두께 | |||
| 바이스(바람직하지만 필수는 아님) | |||
| 으로 .dxf 파일을 생성하는 | |||
| 샌드 블라스팅 기계 | |||
| PC | |||
| 레이저 커터 | |||
| 오토클레이브 | |||
| 내시경 보정 소프트웨어 | : https://github.com/gift-surg/endocal | ||
| 내시경 | |||
| OpenCV 카메라 보정 모듈 | http://docs.opencv.org/2.4/doc/tutorials/calib3d/camera_calibration/camera_calibration.html | ||
| 안전 고글 | |||
| 실험실 가운 | |||
| 눈금자와 마커 | |||
| 먼지 제거 및 청소 |