이하선의 정밀 진단을 위한 몇 가지 다중 모달 딥러닝 프레임워크

요약

본 글은 자기공명영상 시퀀스를 이용해 이하선샘 종양을 정확하게 분류하기 위한 몇 번의 샷 다중 모드 딥러닝 프레임워크를 제시합니다.

초록

양성 이하선염과 악성 이하선염을 정확히 구분하는 것은 환자 예후에 매우 중요합니다. 그러나 이하선 종양의 이질성과 영상 데이터의 제한으로 인해 수술 전 진단은 여전히 큰 도전 과제로 남아 있습니다. 이 문제를 해결하기 위해 본 연구는 소표본 학습을 기반으로 한 다중 모달 딥러닝 프레임워크를 제안합니다. 이 프레임워크는 다중 시퀀스 MRI 정보를 통합하고, 샘플이 제한된 상황에서 특징 추출과 분류 성능을 향상시키기 위해 다중 스케일 공간 주의 메커니즘을 통합합니다. 이 모델은 조직병리학적으로 확진된 원발성 이하선선 종양 환자 198명(양성 107명, 악성 91명)을 대상으로 후향적으로 수집된 코호트를 사용하여 우리 기관에서 T1 가중, T2 가중, 확산 가중 영상 촬영을 포함한 완전한 수술 전 MRI를 받고, 이하선 병변에 대한 사전 치료 없이 체계적으로 평가하였습니다. 코호트는 환자 수준에서 훈련(70%), 검증(15%), 검사(15%) 세트로 나뉘어 층화된 무작위 표본 추출을 통해 양성 대 악성 비율을 보존하여 상호 배타적인 하위 집합을 확보하고 데이터 유출을 방지하였습니다. 이 모델은 곡선 아래 면적(AUC)을 0.9822로 달성했습니다. 이 발견은 시스템이 양성 종양과 악성 종양을 구별할 수 있는 능력을 강조합니다. 더불어, 이 모델은 경험 많은 방사선과 의사와 비교했을 때 진단 정확도 면에서 상당한 이점을 보였으며, 이는 수술 전 양악성 분화 및 이하선 종양의 임상 의사결정 지원에 적용될 잠재력을 강조했습니다.

서론

역학 자료에 따르면 이하선염 종양의 발생률이 증가하고 있습니다. 인^체에서 가장 큰 침샘인 이하선은 두경부 종양의 발생률이 높은 부위 중 하나입니다. 이하선형 종양은 두경부 종양의 약 5%를 차지하는 비교적 드문 편이지만, 양성 병변이 악성 병변보다 훨씬 많아 전체 이하선선 종양의 약 80%를 차지합니다 ^2,3. 양성 및 악성 이하선 종양은 생물학적 행동, 치료 전략, 예후에 유의미한 차이를 보입니다. 양성 종양은 일반적으로 천천히 성장하며, 확장성 성장을 보이고 전이가 드물게 발생합니다. 완전한 외과적 절제 후 긍정적인 결과가 나타납니다. 반면, 악성 종양은 뚜렷한 침습적 성장 패턴을 보이며 얼굴 신경, 피부, 뼈 등 주변 조직을 자주 침범합니다. 또한 원거리 전이가 가능하여 예후가 더 좋지 않습니다 ^4,5.

그럼에도 불구하고, 양성 이하선염과 악성 이하선염 간의 수술 전 구분은 여전히 임상적 진단의 과제로 남아 있습니다. 특정한 임상 증상이 없기 때문에, 대부분의 이하선 종양(악성 종양과 상관없이)의 초기 증상은 무통증 덩어리이며, 이는 징후나 증상만으로 구분을 복잡하게 만듭니다 ^6,7. 통증이나 안면 마비와 같은 증상은 종종 악성 종양의 잠재적 징후로 간주되지만, 초기 악성 병변에서는 드물게 나타납니다. 반대로, 염증 반응을 보이는 일부 양성 종양은 유사한 증상을 보일 수 있습니다. 이하선 종양의 수술 전 평가는 주로 영상 검사를 통해 이루어지며, 이는 이러한 평가를 위한 주요 비침습적 방법입니다. 하지만 각 영상 기법마다 한계가 있다는 점을 유념해야 합니다. 자기공명영상(MRI)은 뛰어난 연조직 해상도를 지니고 있어 이하선 종양 평가에 최적의 기법으로 여겨지며, 양성과 악성 병변을 구분하는 데 최대 93%의 정확도를 기록했습니다⁸. 그러나 기존 서열은^{신호 특성에서} 상당한 중첩을 보입니다. 9. CT는 주로 골 침범을 평가하는 데 사용됩니다; 그러나 양성 종양과 악성 종양을 구분하는 데 있어 MRI보다 민감도가 낮다^10,11. 초음파는 표면 병변의 예비 평가에 적합한 방법이며; 그러나 그 효능은 운영자의 전문성에 달려 있습니다¹². PET-CT는 대사 민감도가 높다는 특징이 있습니다; 높은 비용과 위양성률로 인해 초기 진단 시 사용이 제한되어 악성 종양의 병기 및 추적 관찰에 더 적합하다. 따라서 단일 영상 기법으로는 정확한 진단을 달성하기 어렵고, 양성 병변과 악성 병변의 수술 전 구분은 일반적으로 다중 모달 정보를 포괄적으로 분석하는 데 의존합니다.

최근 몇 년간 인공지능(AI) 분야, 특히 합성곱신경망(CNN)으로 대표되는 딥러닝(DL) 기술의 하위 분야가 종양 영상 진단 발전에 중요한 기여를 하고 있습니다. 이는 이러한 기술들이 제공하는 강력한 이미지 특징 추출 및 패턴 인식 능력 덕분입니다. 딥러닝 모델은 다층 신경망을 통해 복잡한 다중 규모 특징을 자동으로 추출하여 수동 기능 설계에 대한 의존도를 크게 줄이면서 진단 성능을 향상시킵니다. 상당한 연구가 멀티모달 의료 영상 분야에서 이들의 잠재력을 입증했습니다. Gu Jionghui 등은 유방 초음파와 MRI를 통합한 다중 모달 딥러닝 ^{시스템을 개발하여} 신보조 화학요법에 대한 반응을 효과적으로 예측하여 기존 방법을 능가했습니다. Lu G 등은 초음파, 유방촬영술, MRI 영상을 전이 학습 전략과 통합하여 양성 유방종양과 악성 유방 종양을 정밀하게 구^분하여 AUC 0.947을 달성했습니다. Horasan A 등은 ResNet 및 Inception 아키텍처를 적용한 3D CNN을 사용하여 전립선 다중파수 MRI(mpMRI)의 융합 ^{분석을 수행하여} 약 91.3%의 정확도를 달성했습니다. 이하선 영상 분야에서 Zhang G 등은 양성-악성 분별을 위한 초음파와 임상 데이터를 통합한 딥러닝 ^{모델을 구축했으며} ; Hu X와 Wang ^H.17 은 CT 이미지 기반 aResNet50 모델을 사용해 92.3%의 분류 정확도(AUC=0.96)를 달성했습니다. 이 연구들의 집단 증거는 유두골 및 기타 고형 종양 이미지 분석에 딥러닝 모델을 사용하는 것이 상당한 이점을 가진다는 것을 시사합니다.

하지만 전통적인 딥러닝 방법은 최적의 성능을 달성하기 위해 방대한 데이터셋에 자주 의존합니다. 이하선암은 발생률이 낮은 종양으로서 비교적 제한된 정보를 가지고 있습니다¹⁸. 또한, 이하선 종양은 신호 강도, 형태학적 구조, 주변 분비선 조직과의 관계에서 복잡한 변이가 나타나는 영상 이질성을 보입니다. 이러한 특징들은 전 세계 종양 형태와 경계 정의뿐만 아니라 내부 신호 이질성 및 침윤 패턴과 같은 국소적 특성 등 다양한 공간적 규모를 아우르며, 단일 규모나 단순 특징 추출 방법으로 양성과 악성 병변 간의 핵심 구분을 완전히 포착하기 어렵습니다. 더불어, 이전 연구들은 종종 단일 MRI 시퀀스(예: 구조적 또는 기능적 영상 단독)에 의존해 종양 특성의 포괄적인 표현을 얻는 데 제한을 두었으며, 이는 이전 연구^{들 19,20}에서 보고된 바와 같습니다.

이러한 도전을 해결하기 위해, 우리는 다중 시퀀스 MRI와 다중 규모 공간 주의 메커니즘을 통합한 소표본 다중 모달 딥러닝 프레임워크가 제한된 데이터 조건 하에서 양성 및 악성 이하선암을 효과적으로 구별하고, 기존 접근법과 방사선과 의사의 평가보다 우수한 성능을 낼 수 있다고 제안합니다. 구체적으로, 이 프레임워크는 소수의 대표적인 양성 및 악성 사례에서 구별적 특징을 학습하기 위해 몇 번 발사된 학습²¹ 전략을 사용합니다. 이 모델은 공간적 주의 메커니즘을 활용하여 주요 병변 부위에 집중하여, 양성과 악성 이하미두 종양을 구분하는 정확도를 향상시킵니다. 이 모델은 우리 기관에서 병리학적으로 확진된 이하선선 종양을 가진 198명의 환자를 후향적으로 수집한 코호트를 사용하여 평가되었습니다. 이 연구는 구조적(T1WI, T2WI) 및 기능적(DWI) MRI 시퀀스를 통합하여 형태학적 및 기능적 정보를 지원합니다. 제안된 프레임워크는 양성 이하선 종양과 악성 이하선 종양 간의 수술 전 구분을 촉진하도록 설계되었습니다.

프로토콜

본 연구에 사용된 모든 환자 데이터는 우시 인민병원에서 독점적으로 수집되었으며, 병리학적으로 확인된 198건의 뇌하엽 종양 사례로 구성되었습니다. 이 연구는 무시 인민병원 기관심사위원회(IRB No. KY24068) 그리고 기관 지침과 국제 윤리 기준에 완전히 따라 운영됩니다. 모든 데이터는 분석 전에 완전히 익명화되었습니다.

MRI 영상 획득

모든 MRI 시퀀스(T1 가중 영상, T2 가중 영상, 확산 가중 영상)는 16채널 두경 코일을 사용해 3.0 테슬라 MRI 스캐너(Siemens MAGNETOM Verio 또는 Prisma)에서 획득했습니다. 획득 매개변수는 다음과 같았습니다: T1 가중 이미지는 TR/TE = 500/15 ms, 슬라이스 두께 = 3 mm, 행렬 = 256 × 256, 시야각 = 240 mm로 얻었으며; T2 가중치 이미지는 TR/TE = 4000/90 ms, 슬라이스 두께 = 3 mm, 행렬 = 320 × 320, 시야각 = 240 mm로 획득되었으며; 확산 가중 이미지는 TR/TE = 5000/80 ms, b-값 = 0 및 1000 s/mm², 슬라이스 두께 = 3 mm, 행렬 = 128 × 128, 시야각 = 240 mm 상태에서 얻었으며, 겉보기 확산 계수 맵은 자동으로 생성되었습니다. 모든 서열은 간극 없이 축 평면에서 획득되었습니다.

연구 설계

이 후향적 연구는 조직병리학적으로 확인된 원발성 이하선선 종양 환자 198명(양성 107명, 악성 91명)의 수술 전 MRI 데이터를 분석하였습니다. 모든 환자는 우리 기관에서 T1 가중 영상, T2 중치 영상, 확산 가중 영상 시퀀스 등 기이하선 MRI 검사를 사전 치료 없이 받았습니다. 수술 절제 표본이나 코어 생검을 기준으로 삼으세요. 포함 기준은 조직병리학적으로 확인된 원발성 이하선선 종양, 우리 기관에서 제공되는 모든 필수 시퀀스가 포함된 수술 전 MRI, 그리고 이 이하선 병변에 대한 이전 수술, 방사선 치료, 화학요법 또는 소작 경험이 없음이었습니다. 제외 기준에는 이하선으로의 전이성 종양, 심각한 운동 아티팩트 또는 불완전한 시퀀스로 인해 진단이 불가능하며, 이전 치료 후 재발한 종양이 포함되었습니다. 전체 코호트는 남성 118명(59.6%)과 여성 80명(40.4%)으로 구성되었으며, 연령은 26세에서 89세 사이입니다(평균 ± SD 53.0 ± 12.8세), 종양 유형별 인구통계학적 특징은 다음과 같습니다: 양성 그룹(n=107)으로 남성 59명(55.1%), 여성 48명(44.9%), 연령 범위 28–87세(평균 ± SD 54.2 ± 12.1세), 악성군(n=91)은 남성 59명(64.8%)과 여성 32명(35.2%)으로 구성되었으며, 연령 범위는 26세에서 89세(평균 ± 표준일당 51.6± 13.4세); 층화된 무작위 표본 추출 방식을 사용하여 198명의 환자를 훈련(70%, n=138), 검증(15%, n=30), 검사(15%, n=30) 세트로 나누었으며, 양성 대 악성 비율을 모든 하위 집합(검증 및 검사 세트 각각 16건의 양성 및 14명의 악성 사례를 포함함)에서 분리하여 분할을 수행했습니다. 모든 훈련, 검증, 테스트 세트가 상호 배타적이어야 환자 중복이 없도록 하여 데이터 유출을 방지하고 모델 일반화 가능성을 편향 없이 평가할 수 있도록 했습니다.

데이터 전처리

연구는 모든 MRI 영상에 대해 네 가지 주요 단계를 통해 표준화된 전처리를 구현했습니다: 이미지 등록 및 재샘플링, 잡음 제거, 데이터 증강, 그리고 정규화. MRI 프로토콜과 환자 위치 조정의 차이를 해결하기 위해, 모든 T1WI, T2WI, DWI 볼륨을 먼저 T1WI 서열에 엄격히 등록하여 참조 공간으로 등록하고, 삼선형 보간을 사용해 등방성 1 mm³ 해상도로 재샘플링했습니다. 그 후 모든 등록된 볼륨에 대해 비국소 평균(NLM) 알고리즘²²를 사용하여 제거되었으며, 평탄화 매개변수는 추정 잡음 표준편차의 0.8배로 자동 설정되었고, 탐색 창은 21×21×21 복셀, 유사도 창은 7×7×7 복셀로 설정되었습니다. 이 방법은 중요한 구조적 세부사항을 유지하면서 무작위 잡음을 효과적으로 줄여줍니다. 이후 유효 학습 표본 크기를 확장하고 모델 일반화를 개선하며 제한된 데이터셋에서 과적합을 완화하기 위해, 무작위 회전(±15°)과 무작위 스케일링(0.9–1.1)^23,24 등 다양한 데이터 증강 전략이 각 학습 에포크에서 학습 세트 이미지에만 실시간으로 적용되었으며, 모든 변환은 완전한 재현성을 위해 고정된 무작위 시드인 42를 사용해 생성되었습니다; 검증 및 테스트 세트는 객관적인 모델 평가를 보장하기 위해 보강되지 않은 상태로 유지되었습니다. 마지막으로, 서로 다른 스캔 장치와 세션 간 신호 세기의 체계적 변동을 제거하기 위해, 각 볼륨에 대해 Z-점수 정규화를 적용하여 평균을 뺀 후 표준편차로 나눈 후 정규화된 픽셀 값을 선형적으로 스케일링하여 PyTorch 딥러닝 프레임워크²⁵의 입력 요구사항을 충족하도록 했습니다.

모델 아키텍처

본 연구는 여러 MRI 시퀀스(T1 가중 영상, T2 가중 영상, 확산 가중 영상)에서 상호 정보를 통합하고, 제한된 표본 조건에서 특징 표현과 분류 성능을 향상시키기 위해 다중 규모 공간 주의 메커니즘을 통합하는 소샷 학습 기반 다중 모달 딥러닝 프레임워크를 제안합니다. 모든 MRI 부피는 동일한 스캐너에서 축면에서 수집되었으며; 입력 전에, 시퀀스 간 공간적 정렬을 보장하기 위해 엄격한 등록을 거쳤고, 선임 방사선과 의사가 정렬 품질을 수동으로 검증했으며, 이하선 병변을 중심으로 한 전체 3D 부피를 표준화된 관심 영역으로 잘라내고, 등방성 해상도로 재샘플링한 뒤 일정한 크기로 크기를 조정했습니다. 소수 샷 학습 패러다임, 다중 스케일 공간 주의 모듈, 채널별 연결 방식을 통한 교차 모달 특징 융합을 결합함으로써, 이 프레임워크는 데이터 부족 환경에서 모델 일반화에 따른 도전 과제를 해결하고, 그림 1에 나타난 완전한 아키텍처와 함께 소수의 주석 표본에서 판별적 특징의 견고한 학습을 가능하게 합니다. 데이터셋에는 198명의 환자가 포함되어 있지만, 이하선 종양이 영상 이질성이 높고 주석이 달린 체적 다중 모달 데이터가 과제 복잡성에 비해 상대적으로 제한적이어서 라벨이 붙은 사례가 드물어 실제 임상 시나리오를 더 잘 시뮬레이션할 수 있기 때문에 소수 발사 방식을 채택했습니다; 기존 감독 훈련 방식도 비교를 위해 평가되었으며, 소수 발사 구성의 장점은 결과 섹션의 소작 연구에서 입증되었습니다. 백본 네트워크는 R3D-18²⁶ (완전한 시공간 합성곱을 가진 3D ResNet-18 변형)을 각 MRI 시퀀스의 공유 가중치 특징 추출기로 사용합니다; 적응 과정에는 프로토타입 네트워크 헤드가 소수 샷 분류를 위해 사용되며, 각 모달리티별 분기의 합성곱 단계 뒤에 다중 규모 공간 주의 모듈이 삽입되고, 그 뒤에 교차 모달 융합과 공유 분류기가 이어집니다. 제안된 다중 스케일 공간 주의 메커니즘의 새로움은 커널 크기가 1×1, 3×3, 5×5인 병렬 합성곱 경로를 사용하는 데 있습니다. 이 경로는 각각 독립적으로 서로 다른 수용 영역에서 공간 주의 지도를 생성하고, 이를 소프트맥스를 사용해 정규화한 후 가중 합을 통해 입력 특징과 적응적으로 융합합니다; 이 설계는 내부 신호 이질성과 같은 세밀한 국소 세부사항부터 종양 경계 및 주변 조직과의 경계와 같은 더 넓은 맥락 구조에 이르기까지 여러 공간적 규모에서 병변 특성을 명시적으로 포착하며, 기존 주의 모듈보다 우수한 성능을 제공합니다. 미세 조정 전략은 두 단계로 진행됩니다: 처음에는 사전 학습된 R3D-18 백본 층을 일반 시공간 표현을 유지하기 위해 동결하고, 주의 모듈, 융합 층, 프로토타입 헤드만 훈련됩니다; 이후 각 골격의 마지막 두 잔류 블록(레이어3과 레이어4)을 해동하여 MRI 특이적 체적 특징에 종단 간 적응을 가능하게 합니다. 학습은 Adam 최적화 장치를 사용하여 초기 학습률 0.0001로 수행되었으며, 20 에포크마다 단계별 감소 스케줄링을 통해 0.1배씩 감소했습니다; 모델은 8개의 에피소드 단위(각 에피소드 지원 및 쿼리 세트 포함)를 통해 표준 몇 샷 프로토콜을 2방향 K-샷 구성(기본 메타 훈련 및 평가 시 K=5)으로 100에이포크의 에피소드 훈련을 거쳤습니다; 모든 실험은 24GB 메모리를 가진 고성능 GPU에서 수행되었으며, 데이터 분할, 가중치 초기화, 증강 전반에 걸쳐 고정된 무작위 시드인 42가 적용되어 완전한 재현성을 보장했습니다.

이하선선 종양 분류를 위한 프루프 학습 과제 패러다임

이하선샘 종양에 대한 고품질 주석 데이터가 제한적이고 병변의 영상 이질성이 높다는 점을 고려하여, 전체 데이터셋이 198명임에도 불구하고 이 연구는 지표 기반 소수 발사 학습 패러다임을 채택합니다. 지원 집합-쿼리 집합 작업 구조는 임상 실무에서 진단 추론 과정을 시뮬레이션하는 데 사용되며, 희귀하거나 이질적인 종양 아형에 대해서는 대표적인 예가 소수에 불과합니다. 각 훈련 과제는 N-way K-샷 형식(N=2, 양성/악성 분류에 해당)으로 정의되어, 모델이 소수의 샘플로부터 구별적 특징 표현을 학습할 수 있게 합니다. 구체적으로, 각 작업에 대해 지원 세트는 클래스당 클래스당 K개의 멀티모달 샘플(T1 가중 이미징, T2 가중 이미징, 확산 가중 이미징)을 포함하여 클래스 프로토타입을 구성하고, 쿼리 세트에는 분류할 샘플이 포함됩니다. 이 모델은 임베딩 공간에서 쿼리 샘플 특징과 클래스 프로토타입 간의 유사성을 계산하여 거리 지표를 기반으로 분류 결정을 수행합니다. 이 학습 메커니즘은 대규모 주석 데이터에 의존하지 않도록 모델을 해방시켜 데이터 부족 임상 환경에서 실용적으로 적용할 수 있게 하는 점에서 주목할 만합니다. 직접 비교를 위해, 에피소디션 소샷 샘플링 없이 전체 훈련 세트를 사용하는 전통적인 감독 훈련 접근법도 평가되었으며, 소수 샷 구성이 표본 한정 조건에서 일반화와 안정성 측면에서 장점을 연구 결과 섹션에서 정량적으로 입증했습니다.

분류 단계에서는 분류기로서 프로토타입 네트워크를 사용합니다. 지지 집합의 각 범주 c에 대해, 프로토타입 벡터 p_c는 임베디드 지지 샘플의 평균으로 계산됩니다:

(1)

여기서 f(·)는 임베딩 함수(특징 추출기)를 나타내고, 는 범주 c의 i번째 지지 샘플, K는 클래스당 발사 횟수이다.

주어진 쿼리 샘플 x에 대해, 범주 c에 속할 확률은 음의 유클리드 거리 위의 소프트맥스 함수를 사용하여 계산합니다:

(2)

여기서 d(·, ·)는 유클리드 거리 함수를 나타낸다.

다중 모달 특징 융합에 기반한 아키텍처

다중 서열 MRI 데이터의 상호 보완적 가치를 최대한 활용하기 위해, 본 연구는 T1 가중 영상(T1WI), T2 가중 영상(T2WI), 확산 가중 영상(DWI) 서열을 별도로 처리하는 세 가지 분기로 구성된 특징 융합 네트워크를 설계했습니다. 각 시퀀스는 먼저 Kinetics-400 데이터셋에서 사전 학습된 공유 가중치 R3D-18 모델을 사용하여 특징 추출을 거칩니다. 이 모델은 공식 PyTorch TorchVision 구현에서 얻은 가중치를 얻었습니다; 적응 과정에서는 사전 학습된 백본의 모든 계층을 고정하여 일반적인 시공간적 표현을 보존하고, 다중 스케일 공간 주의 모듈, 교차 모달 융합 계층, 프로토타입 네트워크 헤드만 훈련시키는 2단계 미세 조정 전략이 적용되었습니다. 이후 각 백본의 마지막 두 잔류 블록(레이어 3과 레이어4)을 해동하여 MRI 특이적 체적 특징에 종단 간 적응을 진행했습니다. 초기 레이어(레이어 1과 레이어 2)는 훈련 내내 얼어붙은 상태로 남아 있습니다. 이 네트워크는 공간 및 시간 차원을 넘나드는 3D 합성곱 커널을 활용하여 종양 체적 형태와 공간적 맥락 정보를 효과적으로 포착합니다. 특징 융합 과정에서는 세 모달리티의 주의력 강화 특징 표현을 채널 차원을 따라 연결하여 포괄적인 다중 모달 특징 벡터를 형성하는 연결 기반 교차 모달 전략이 사용됩니다. 이 융합 접근법은 각 모달리티(T1WI의 해부학적 명확성, T2WI의 조직 구성 민감도, DWI의 세포 밀도 기능)의 고유한 정보를 보존하면서도 진단 정보의 효과적인 상보성을 달성하여 특징 발현의 풍부도와 구별력을 크게 향상시킵니다.

다중 스케일 공간 주의 메커니즘

본 연구는 다양한 공간 규모에서 병변 특성을 포착하기 위해 다중 규모 공간 주의 모듈을 통합합니다. 그림 2에서 보듯, 모듈은 커널 크기가 1×1, 3×3, 5×5인 병렬 합성곱 경로를 사용합니다. 각 경로는 독립적으로 공간적 주의 지도를 생성하며, 이는 softmax를 사용해 정규화된 후 가중 합을 통해 입력 특징과 적응적으로 융합됩니다. 이 설계는 모델이 양성과 악성 병변을 구분하는 데 더 중요한 영역에 집중하면서 무관한 배경 영역의 영향을 줄일 수 있게 합니다. 결과적으로 생성된 주의 지도는 이미지 내 관심 영역을 강조하는 데 도움이 될 수 있습니다.

데이터 가용성:

연구 코호트에서 나온 완전 익명화된 다중 모달 MRI 시퀀스(T1WI, T2WI, DWI)의 대표적인 하위 집합은 Zenodo 저장소에서 공개되어 있습니다: https://doi.org/10.5281/zenodo.17744149 (버전 v1). 이 데이터는 크리에이티브 커먼즈 저작자 표시 4.0 국제(CC-BY 4.0) 라이선스 하에 접근 제한 없이 공유됩니다. 완전한 익명 데이터셋은 아직 공개되지 않았으며, 이 원고가 공식 출판된 후 기관 및 윤리적 승인을 조건으로 저장소의 후속 버전에서 공개될 예정입니다.

결과

모델 성능 개요

모델의 진단 성능을 평가하기 위해 정확성, 정밀도, 회상력, F1 점수 등 표준 지표 세트가 사용되었습니다. 2방향 5발 구성하에서, R3D-18 기반의 다중 모드 소수 발사 학습 모델은 이하선염 분류 테스트 세트에서 정확도 96.88%, 정확도 97.50%, 기억율 96.88%, F1 점수 96.83%를 달성했습니다. 그림 3A에 표시된 혼동 행렬은 모델이 테스트 세트에서 양성 사례의 93.75%와 악성 사례의 100%를 올바르게 분류했음을 나타냅니다. 이는 양성 사례에서 위양성률이 6.25%, 악성 사례에서 위음성 0%에 해당합니다. 정확도 97.50%는 양성 예측 중 거짓 양성 비율이 낮음을 반영하는 반면, 기억 96.88%는 실제 양성 사례에서 진양성 비율이 높음을 나타냅니다. F1 점수 96.83%는 정밀도와 회...

토론

본 연구에서는 다중 시퀀스 MRI(T1 가중, T2 가중, 확산 가중 영상)와 다중 규모 공간 주의 메커니즘을 통합한 다중 모드 소샷 딥러닝 프레임워크가 제한된 주석 데이터 조건에서 양성 및 악성 이하선체 종양을 정확히 구분하고 기존 딥러닝 접근법과 숙련된 방사선 전문의보다 우수한 성능을 낼 수 있다고 가설을 세웠습니다.

실험 결과는 이 가설을 강력히 뒷받침합니다. 독립 테스트 세트에서 제안된 프레임워크는 2방향 5발 구성에서 AUC 0.9822, 정확도 96.88%, 정밀도 97.50%, 호출율 96.88%, F1 점수 96.83%를 달성했습니다. 이 지표들은 기존 3D 백본 네트워크와 최첨단 소수 샷 기법을 훨씬 뛰어넘어, 다중 모달 융합과 다중 스케일 주의 설계의 우수성을 직접적으로 보여줍니다. 1발에서 5발로 점진적으로 성능 향상이 이루어진 것은 제한된 샘플을 활용하는 데 있어 소수 발사형 학습 패러다임의 효과성...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
대학원-CAM			https://github.com/jacobgil/pytorch-grad-cam
넘버피 1.25	넘피 개발자들		https://numpy.org/
판다스 2.1	판다스 개발자들		https://pandas.pydata.org/
파이참	제트브레인즈		https://www.jetbrains.com/zh-cn/pycharm/
파이썬 3.10	파이썬 소프트웨어 재단		https://www.python.org/
파이토치 2.1	메타 플랫폼즈, Inc.		https://pytorch.org/
Scikit-Learn 1.3	Scikit-learn 개발자들		https://scikit-learn.org/
샍			https://github.com/slundberg/shap
지멘스 MAGNETOM 프리즈마 3.0T 자기공명영상 시스템	지멘스 헬시니어		https://www.siemens-healthineers.cn/magnetic-resonance-imaging/3t-mri-scanner/magnetom-prisma