Summary
궤도 컴퓨터 단층 촬영(CT) 이미지를 위한 객체 분할 프로토콜이 도입되었습니다. 초고해상도를 사용하여 궤도 구조의 실측 라벨링, CT 이미지에서 관심 볼륨 추출, 궤도 CT 이미지에 대한 2D 순차 U-Net을 사용하여 다중 라벨 분할을 모델링하는 방법을 지도 학습을 위해 설명합니다.
Abstract
최근에는 딥러닝 기반 세분화 모델이 안과 분야에 널리 적용되고 있습니다. 이 연구는 U-Net을 기반으로 궤도 컴퓨터 단층 촬영 (CT) 분할 모델을 구성하는 전체 프로세스를 제시합니다. 지도 학습을 위해서는 노동 집약적이고 시간이 많이 소요되는 프로세스가 필요합니다. 궤도 CT 이미지에서 실측 자료를 효율적으로 마스킹하기 위해 초고해상도로 라벨링하는 방법이 소개되었습니다. 또한 관심 볼륨은 데이터 집합 전처리의 일부로 잘립니다. 그런 다음 궤도 구조의 관심 볼륨을 추출한 후 궤도 CT의 주요 구조를 분할하기 위한 모델을 U-Net을 사용하여 구성하고, 입력으로 사용되는 순차 2D 슬라이스와 슬라이스 간 상관 관계를 보존하기 위한 두 개의 양방향 컨볼루션 장기 단기 메모리를 사용합니다. 이 연구는 주로 안구, 시신경 및 외안근의 분할에 중점을 둡니다. 분할의 평가는 딥 러닝 방법을 사용하여 궤도 CT 이미지에 분할을 적용 할 가능성을 보여줍니다.
Introduction
궤도는 시력 및 안구 운동1을 위한 안구, 신경, 외안근, 지지 조직 및 혈관과 같은 중요한 구조를 포함하는 약 30.1cm3의 작고 복잡한 공간입니다. 안와 종양은 안와에서 비정상적인 조직 성장이며, 그 중 일부는 환자의 시력이나 안구 움직임을 위협하여 치명적인 기능 장애를 유발할 수 있습니다. 환자의 시각 기능을 보존하기 위해 임상의는 종양 특성에 따라 치료 방식을 결정해야 하며 일반적으로 외과적 생검은 불가피합니다. 이 작고 붐비는 지역은 종종 임상의가 정상적인 구조를 손상시키지 않고 생검을 수행하는 것을 어렵게 만듭니다. 궤도의 상태를 결정하기 위한 병리학의 딥러닝 기반 이미지 분석은 생검 2 동안 안와 조직에 불필요하거나 피할 수 있는 손상을 방지하는 데 도움이 될 수있습니다. 안와 종양에 대한 이미지 분석의 한 가지 방법은 종양 검출 및 분할입니다. 그러나, 안와 종양을 포함하는 CT 영상에 대한 많은 양의 데이터 수집은 이들의 낮은발생률로 인해 제한적이다3. 전산 종양 진단4을 위한 다른 효율적인 방법은 종양을 궤도의 정상 구조와 비교하는 것을 포함한다. 정상 구조에서 궤도 CT 이미지의 수는 종양의 CT 이미지보다 상대적으로 많습니다. 따라서 정상 궤도 구조의 분할은이 목표를 달성하기위한 첫 번째 단계입니다.
이 연구는 데이터 수집, 전처리 및 후속 모델링을 포함한 딥러닝 기반 궤도 구조 분할의 전체 프로세스를 제시합니다. 이 연구는 현재 방법을 사용하여 마스킹된 데이터 세트를 효율적으로 생성하는 데 관심이 있는 임상의와 궤도 CT 이미지의 전처리 및 모델링에 대한 정보가 필요한 안과 의사를 위한 리소스입니다. 이 기사에서는 의료 영상 분할을 위한 U-Net의 대표적인 딥러닝 솔루션을 기반으로 하는 순차 2D 분할 모델인 궤도 구조 분할 및 순차 U-Net을 위한 새로운 방법을 제시합니다. 프로토콜은 (1) 궤도 구조 분할의 실측 자료를 위해 마스킹 도구를 사용하는 방법, (2) 궤도 이미지의 전처리에 필요한 단계, (3) 분할 모델을 훈련하고 분할 성능을 평가하는 방법을 포함하여 궤도 분할의 세부 절차를 설명합니다.
지도 학습을 위해 5 년 이상 보드 인증을받은 4 명의 숙련 된 안과 의사가 안구, 시신경 및 외안근의 마스크에 수동으로 주석을 달았습니다. 모든 안과 의사는 CT 스캔에서 효율적인 마스킹을 위해 초고해상도를 사용하는 마스킹 소프트웨어 프로그램(MediLabel, 재료 표 참조)을 사용했습니다. 마스킹 소프트웨어에는 다음과 같은 반자동 기능이 있습니다 : (1) 이미지 강도5의 유사한 값을 갖는 슈퍼 픽셀 맵 클러스터를 생성하는 SmartPencil; (2) SmartFill은 진행중인 전경 및 배경 6,7의 에너지 함수를 계산하여 분할 마스크를 생성합니다. (3) 자동 수정은 분할 마스크의 테두리를 깨끗하고 원본 이미지와 일치시킵니다. 반자동 기능의 예제 이미지는 그림 1에 나와 있습니다. 수동 마스킹의 자세한 단계는 프로토콜 섹션(1단계)에 나와 있습니다.
다음 단계는 궤도 CT 스캔의 전처리입니다. 관심 궤도 부피 (VOI)를 얻기 위해 안구, 근육 및 신경이 정상 상태에있는 궤도 영역을 식별하고 이러한 영역을 자릅니다. 데이터 세트는 평면 내 복셀 해상도와 슬라이스 두께가 <1mm인 고해상도를 가지므로 보간 프로세스를 건너뜁니다. 대신 창 클리핑은 48 HU 클리핑 수준과 400 HU 창에서 수행됩니다. 크롭핑 및 윈도우 클리핑 후에, 궤도 VOI의 3개의 직렬 슬라이스가 분할 모델 입력(8)에 대해 생성된다. 프로토콜 섹션(2단계)에서는 전처리 단계에 대한 세부 정보를 제공합니다.
U-Net9는 의료 영상에 널리 사용되는 분할 모델입니다. U-Net 아키텍처는 의료 영상의 특징을 추출하는 인코더와 차별적 특징을 의미적으로 제시하는 디코더로 구성됩니다. CT 스캔에 U-Net을 사용할 때 컨볼 루션 레이어는 3D 필터(10,11)로 구성됩니다. 이는 3D 필터의 계산에 큰 메모리 용량이 필요하기 때문에 어려운 일입니다. 3D U-Net에 대한 메모리 요구 사항을 줄이기 위해, 순차적 2D 슬라이스 세트가 U-Net에서 사용되는 SEQ-UNET8이 제안되었다. 3D CT 스캔의 2D 이미지 슬라이스 간의 시공간 상관 관계의 손실을 방지하기 위해 두 개의 양방향 컨볼루션 장기 단기 기억(C-LSTM)12이 기본 U-Net에 사용됩니다. 첫 번째 양방향 C-LSTM은 인코더 끝에서 슬라이스 간 상관 관계를 추출합니다. 두 번째 양방향 C-LSTM은 디코더의 출력 후 슬라이스 시퀀스 차원의 의미 론적 분할 정보를 단일 이미지 분할로 변환합니다. SEQ-UNET의 아키텍처는 그림 2에 나와 있습니다. 구현 코드는 github.com/SleepyChild1005/OrbitSeg 에서 사용할 수 있으며 코드 사용법은 프로토콜 섹션(3단계)에 자세히 설명되어 있습니다.
Protocol
현재 작업은 가톨릭 의료 센터의 기관 검토위원회 (IRB)의 승인을 받아 수행되었으며 건강 정보의 개인 정보, 기밀 유지 및 보안이 보호되었습니다. 궤도 CT 데이터는 가톨릭대학교 의과대학 부속 병원(CMC; 서울성모병원, 여의도성모병원, 대전성모병원, 성빈센트병원). 궤도 CT 스캔은 2016년 1월부터 2020년 12월까지 획득되었습니다. 데이터 세트에는 20세에서 60세 사이의 한국 남성과 여성의 궤도 CT 스캔 46개가 포함되어 있습니다. 런타임 환경(RTE)은 보충 표 1에 요약되어 있습니다.
1. 안와 CT 스캔에서 안구, 시신경 및 외안근 마스킹
- 마스킹 소프트웨어 프로그램을 실행합니다.
참고: 마스킹 소프트웨어 프로그램(MediLabel, 재료 표 참조)은 세분화를 위한 의료 이미지 라벨링 소프트웨어 프로그램으로 몇 번의 클릭이 필요하고 속도가 빠릅니다. - 파일 열기 아이콘을 클릭하고 대상 CT 파일을 선택하여 궤도 CT를 로드합니다. 그런 다음 CT 스캔이 화면에 표시됩니다.
- 슈퍼 픽셀을 사용하여 안구, 시신경 및 외안근을 마스킹합니다.
- 메디라벨에서 스마트펜슬 마법사를 클릭하여 스마트펜슬 을 실행합니다(동영상 1).
- 필요한 경우 슈퍼 픽셀 맵의 해상도를 제어합니다(예를 들어, 100, 500, 1,000 및 2,000 슈퍼 픽셀).
- 유사한 이미지 강도 값의 픽셀이 클러스터링되는 슈퍼 픽셀 맵에서 안구, 시신경 및 외안근의 슈퍼 픽셀 클러스터를 클릭합니다.
- 메디라벨의 자동 보정 기능으로 마스크를 다듬습니다.
- 슬라이스의 일부 슈퍼 픽셀을 마스킹한 후 SmartFill 마법사를 클릭합니다(비디오 2).
- 자동 수정 아이콘을 클릭하고 수정된 마스크 레이블이 계산되었는지 확인합니다(비디오 3).
- 마스킹 미세 조정이 완료될 때까지 1.3단계와 1.4단계를 반복합니다.
- 마스크된 이미지를 저장합니다.
2. 전처리: VOI 창 자르기 및 자르기
- preprocessing_multilabel.py 사용하여 VOI를 추출합니다(파일은 GitHub에서 다운로드할 수 있음).
- preprocessing_multilabel.py 실행합니다.
- 잘려서 VOI 폴더에 저장된 스캔 및 마스크를 확인합니다.
- VOI를 SEQ-UNET에 대한 입력을 위해 3개의 순차 CT 슬라이스 세트로 변환builder_multilabel.py(파일은 GitHub에서 다운로드 가능).
- sequence_builder_multilabel.py 실행합니다.
- 변환하는 동안 슬라이스와 마스크의 크기가 64픽셀 x 64픽셀로 조정되는지 확인합니다.
- 변환하는 동안 48 HU 클리핑 레벨과 400 HU 윈도우를 사용하여 클리핑을 수행합니다.
- 저장된 변환 CT 스캔(nii 파일)과 마스크(nii 파일)를 스캔 폴더와 전처리된 폴더 아래의 마스크 폴더에서 각각 확인합니다.
3. 궤도 분할 모델의 네 가지 교차 검증
- 아래 단계에 따라 모델을 빌드합니다.
- main.py 실행합니다.
- main.py 실행할 때 4개의 교차 검증의 접기 수를 "-fold num x"로 지정합니다(여기서 x는 0, 1, 2 또는 3임).
- main.py 실행할 때 훈련 반복 횟수인 epoch를 옵션으로 사용합니다(예: "-epoch x"(여기서 x는 epoch 번호임). 기본 숫자는 500입니다.
- main.py 실행할 때 배치 크기(단일 훈련 세션의 훈련 샘플 수)를 설정합니다. 기본 숫자는 32입니다.
- main.py CT 스캔과 마스크를 로드하고 LIDC-IDRI 데이터 세트(암 영상 아카이브에서 다운로드 가능)를 사용하여 사전 훈련된 매개변수로 SEQ-UNET을 초기화합니다.
- main.py 에서는 학습 후 모델 테스트를 수행합니다. 평가 메트릭, 주사위 점수 및 볼륨 유사성을 계산하고 메트릭 폴더에 저장합니다.
- 분할된 폴더에서 결과를 확인합니다.
Representative Results
정량적 평가를 위해 CT 이미지 분할 작업에 사용 된 두 가지 평가 메트릭이 채택되었습니다. 이들은 주사위 점수(DICE)와 볼륨 유사성(VS)13을 포함한 두 가지 유사성 메트릭이었습니다.
주사위 (%) = 2 × TP / (2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
여기서 TP, FP 및 FN은 분할 결과와 분할 마스크가 주어질 때 각각 참 양성, 거짓 양성 및 거짓 음성 값을 나타냅니다.
궤도 구조 분할을 위한 SEQ-UNET의 성능은 4번의 교차 검증에 의해 평가되었습니다. 그 결과를 표 1에 나타내었다. SEQ-UNET을 사용한 안구 분할은 주사위 점수 0.86과 VS 0.83을 달성했습니다. 외안근과 시신경의 분할은 낮은 주사위 점수 (각각 0.54 및 0.34)를 달성했습니다. 안구 분할의 주사위 점수는 VOI의 많은 부분과 CT 스캔 간의 이질성이 거의 없었기 때문에 80% 이상이었습니다. 외안근과 시신경의 주사위 점수는 CT 볼륨에서 드물게 나타나고 상대적으로 적은 수의 CT 조각에서 발견되었기 때문에 상대적으로 낮았습니다. 그러나 외안근과 시신경의 시각적 유사성 점수(각각 0.65 및 0.80)는 주사위 점수보다 높았습니다. 이 결과는 세분화의 특이성이 낮았음을 나타냅니다. 전반적으로, 모든 궤도 하부 구조의 분할에 대한 주사위 점수 및 SEQ-UNET의 시각적 유사성은 각각 0.79 및 0.82였다. 궤도 구조 분할의 시각적 결과의 예는 그림 3에 나와 있습니다. 그림 3A-C에서 파란색은 예측된 분할 결과이고 빨간색은 실측 마스크입니다. 그림 3D에서 빨간색, 녹색 및 주황색은 각각 안구, 시신경 및 신경 분할입니다.
그림 1: 반자동 마스킹 기능 (A) SmartPencil, (B) SmartFill 및 (C) 자동 수정을 사용하여 궤도 CT 스캔에서 안구, 외안근 및 시신경을 마스킹합니다. 안구의 마스크는 슬라이스의 슈퍼 픽셀을 계산하는 SmartPencil로 레이블이 지정되며 마스크는 슈퍼 픽셀을 클릭하여 만들어집니다. 안구 슈퍼 픽셀 중 일부를 클릭하면 SmartFill로 전체 안구 마스크를 계산할 수 있습니다. 시신경을 마스킹하는 경우 마스킹 미세 조정은 자동 수정에 의해 이루어집니다. 파란색으로 표시된 안구는 (A)와 (B)에 표시되어 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: SEQ U-Net 아키텍처. 입력 및 출력으로서의 순차적 2D 슬라이스; 두 개의 양방향 C-LSTM이 U-Net 아키텍처를 기반으로 인코딩 및 디코딩 블록의 끝에 적용됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 3: 궤도 구조의 분할 결과. (A) 안구 (라벨 1), (B) 시신경 (라벨 2), (C) 시신경 (라벨 3) 및 (D) 다중 라벨 (라벨 1, 2 및 3). 왼쪽 이미지는 궤도의 VOI, 중앙 이미지는 예측 된 분할, 오른쪽 이미지는 지상 실측입니다. (A), (B) 및 (C)에서 파란색은 예측된 분할 결과이고 빨간색은 실측 마스크입니다. (D)에서 빨간색, 녹색 및 주황색은 각각 안구, 외안근 및 시신경 분할입니다. 예측된 분할은 안구의 경우 높은 성능(DICE: 0.86 대 0.82)을 보였지만 외안근(DICE: 0.54 대 0.65) 및 시신경(DICE: 0.34 대 0.8)의 경우 낮은 성능을 보였습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
| 멀티 라벨 | 라벨 1(안구) | 라벨 2 (외안근) | 라벨 3(시신경) | |||||
| 주사위 | 대 | 주사위 | 대 | 주사위 | 대 | 주사위 | 대 | |
| 증권 시세 표시기 | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
표 1: 주사위 점수 및 시각적 유사성에 대한 분할 결과. 슬라이스 수가 상대적으로 많은 안구는 DICE가 0.8로 잘 분할되었으나, 슬라이스 수와 선 모양이 적은 외안근과 시신경은 각각 0.54와 0.34의 DICE 값으로 부분적으로 분할되었다.
비디오 1: 마스킹 소프트웨어 프로그램의 스마트펜슬 마법사. 안구 마스킹을 위해 여러 픽셀에 주석을 추가하는 데모입니다. 마스킹 작업은 클러스터링된 슈퍼 픽셀을 한 번 클릭하면 활성화됩니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.
비디오 2: 마스킹 소프트웨어 프로그램의 SmartFill 마법사. 안구 마스킹을 위해 여러 픽셀에 주석을 추가하는 데모입니다. 주석 영역에서 일부 픽셀을 선택한 후 이 기능은 선택한 픽셀과 비슷한 강도의 전체 분할 마스크를 생성합니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.
동영상 3: 마스킹 소프트웨어 프로그램의 자동 수정. 미리 훈련된 컨벌루션 신경망 알고리즘을 사용하여 마스킹된 픽셀의 자동 수정을 시연합니다. 이 비디오를 다운로드하려면 여기를 클릭하십시오.
보충 표 1: 마스킹, 전처리 및 분할 모델링의 런타임 환경(RTE). 이 표를 다운로드하려면 여기를 클릭하십시오.
Discussion
딥러닝 기반 의료 영상 분석은 질병 검출에 널리 사용됩니다. 안과 영역에서 검출 및 분할 모델은 당뇨병 성 망막증, 녹내장, 연령 관련 황반 변성 및 미숙아 망막 병증에 사용됩니다. 그러나 안과 이외의 다른 희귀 질환은 딥 러닝 분석을 위한 대규모 공개 데이터 세트에 대한 액세스가 제한되어 있기 때문에 연구되지 않았습니다. 공용 데이터 세트를 사용할 수 없는 상황에서 이 방법을 적용할 때 노동 집약적이고 시간이 많이 소요되는 작업인 마스킹 단계는 불가피합니다. 그러나 제안 된 마스킹 단계 (프로토콜 섹션, 단계 1)는 짧은 시간 내에 높은 정확도로 마스킹을 생성하는 데 도움이됩니다. 저수준 이미지 속성에서 유사한 픽셀을 클러스터링하는 슈퍼 픽셀과 신경망 기반 채우기를 사용하여 임상의는 특정 픽셀을 가리키는 대신 픽셀 그룹을 클릭하여 마스크에 레이블을 지정할 수 있습니다. 또한 자동 보정 기능은 마스크 프로세스를 개선하는 데 도움이 됩니다. 이 방법의 효율성과 효과는 의학 연구에서 더 많은 마스킹 이미지를 생성하는 데 도움이 됩니다.
전처리의 많은 가능성 중에서 VOI 추출 및 창 클리핑이 효과적인 방법입니다. 여기에서는 프로토콜의 2단계에서 VOI 추출 및 창 클리핑을 소개합니다. 임상의가 데이터 세트를 준비할 때 대부분의 세분화 사례가 전체 의료 이미지의 작고 특정 영역에 초점을 맞추기 때문에 주어진 데이터 세트에서 VOI를 추출하는 것이 프로세스에서 가장 중요한 단계입니다. VOI와 관련하여, 안구, 시신경 및 외안근의 영역은 위치에 기초하여 잘려지지만, VOI를 추출하기 위한 보다 효과적인 방법은 분할 성능을 향상시킬 수 있는 잠재력을 갖는다(14).
세분화를 위해 SEQ-UNET이 연구에 사용됩니다. 3D 의료 영상은 부피가 크므로 심층 신경망 모델에는 큰 메모리 용량이 필요합니다. SEQ-UNET에서 분할 모델은 3D 정보의 특징을 잃지 않고 필요한 메모리 크기를 줄이기 위해 적은 수의 슬라이스로 구현됩니다.
모델은 46개의 VOI로 훈련되었으며, 이는 모델 훈련에 많은 수가 아닙니다. 훈련 데이터 세트의 수가 적기 때문에 시신경 및 외안근 분할의 성능이 제한됩니다. 전이 학습(15 ) 및 도메인 적응(8)은 분할 성능을 향상시키기 위한 솔루션을제공할 수 있다 .
여기에 소개 된 전체 분할 프로세스는 궤도 CT 분할에만 국한되지 않습니다. 효율적인 라벨링 방법은 애플리케이션 도메인이 연구 영역에 고유한 경우에 대한 새로운 의료 영상 데이터 세트를 생성하는 데 도움이 됩니다. 전처리 및 세분화 모델링과 관련된 GitHub의 Python 코드는 자르기 영역, 창 클리핑 수준 및 모델 하이퍼 매개 변수(예: 순차 슬라이스 수, U-Net 아키텍처 등)를 수정하여 다른 도메인에 적용할 수 있습니다.
Disclosures
저자는 이해 상충이 없음을 선언합니다.
Acknowledgments
이 연구는 한국과학기술정보통신부(MSIT)가 지원하는 한국연구재단(NRF)의 지원으로 이루어졌다(번호: 2020R1C1C1C1010079). CMC-ORBIT 데이터 세트의 경우 가톨릭 의료 센터의 중앙 기관 검토위원회 (IRB)가 승인 (XC19REGI0076)을 제공했습니다. 이 연구는 2022 홍익대학교 연구기금의 지원을 받았습니다.
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
