허혈성 뇌졸중 후 기능적 결과 예측을 위한 하이브리드 CNN-ViT 모델링: 후향적 연구

요약

하이브리드 CNN-ViT 모델은 다중 매개변수 MRI 특징을 추출하고, 스택 로지스틱 회귀 영상과 임상 예측을 융합하여 급성 허혈성 뇌졸중 후 90일 기능 결과를 추정했습니다. 융합 모델은 AUC 0.885, 정확도 0.840으로 가장 높은 내부 테스트 성능을 달성했으며, 외부 검증 성능에서도 고무적인 성과를 보였습니다.

초록

급성 허혈성 뇌졸중(AIS)은 사망과 장기 장애의 주요 원인이며, 기능 회복의 조기 예측은 임상 의사결정과 재활 계획을 안내하는 데 중요합니다. 90일 시점의 기능적 결과는 일반적으로 수정된 랭킨 척도(mRS)를 사용하여 평가하지만, 초기 임상 및 영상 정보를 바탕으로 장기 결과를 예측하는 것은 여전히 어렵습니다. 우리는 하이브리드 합성곱 신경망(CNN)-비전 트랜스포머(ViT) 아키텍처를 사용하여 다중 매개변수 자기공명영상(MRI)을 구조화된 임상 변수와 통합하면, 단일 모달리티 모델에 비해 90일 기능 결과 예측이 향상될 것이라고 가설을 세웠습니다. 다중파라미터 MRI를 받은 300명의 AIS 환자를 대상으로 한 후향적 코호트를 분석하여 훈련-검증 코호트(n = 250명)와 내부 독립 검사 코호트(n = 50명)로 나누었습니다. 모델 일반화 가능성을 평가하기 위해 추가로 37명의 AIS 외부 검사 코호트를 포함하였습니다. 다중 매개변수 MRI 특징을 추출하기 위해 하이브리드 CNN-ViT 모델이 개발되었고, 영상 및 임상 예측은 스택드 로지스틱 회귀분석을 통해 통합되었습니다. 모델 성능은 수신기 작동 특성 곡선(AUC) 아래 면적, 민감도, 특이도, 정확도를 사용하여 평가되었습니다. 평가된 임상 모델 중에서 지지 벡터 기계는 가장 높은 내부 검사 AUC(0.878)를 기록했습니다. 영상 모델은 AUC가 0.782를 달성했습니다. 다중 모달 융합 모델은 AUC 0.885, 민감도 0.920, 특이도 0.760, 정확도 0.840으로 전체 성능 향상을 보였습니다. 외부 검사 코호트에서도 유사한 성과 추세가 관찰되었습니다. 이 결과는 다중 모수 MRI와 임상 예측의 스택 융합이 AIS 후 90일 기능 결과 예측을 향상시킬 수 있음을 시사합니다. 그러나 임상 도입 전에는 더 큰 다기관 검증 연구가 필요합니다.

서론

급성 허혈성 뇌졸중(AIS)은 여전히 사망과 장기 장애의 주요 원인으로 남아 있으며, 임상의는 치료 및 퇴원 결정이 가장 시급할 때 조기 회복을 추정해야 합니다^. 따라서 기능 회복의 정확한 조기 예측은 치료 전략, 재활 계획 및 퇴원 의사결정을 안내하는 데 임상적으로 중요합니다. 90일 기능 결과는 뇌졸중 연구 및 치료에서 표준 평가 지표이며, 가장 흔히 수정된 랭킨 척도(mRS)를 사용하여 측정됩니다. 이 척도는 임상시험과^{관찰 연구에서} 타당성과 신뢰도가 입증된 ^2,3. 일상적으로 사용되고 있음에도 불구하고, 입원 데이터로부터 90일 mRS를 예측하는 것은 여전히 어렵습니다. 장애는 비가역적 조직 손상과 전병 및 동반 부담을 모두 반영하여 급성 영상 소견이 유사해도 회복에 영향을 미치기 때문입니다 ^2,4.

다중 매개변수 MRI는 단일 영상 조영제로는 완전히 포착되지 않는 초기 허혈성 손상과 조직 상태에 대한 임상적으로 실행 가능한 바이오마커를 제공합니다. 확산 가중 영상(DWI)은 초기 허혈 변화에 매우 민감합니다. 겉보기 확산 계수(ADC) 영상은 확산 제한을 정량화하며, 급성 뇌졸중 코^호트에서 예후 효용성을 입증했습니다. T2 체액 감쇠 역전 회복(T2-FLAIR)은 확산 영상을 보완하여 병변 전이의 시각화를 향상시키며, 발병 시기가 불확실할 때 병변 연령과 치료 적격성을 추정하는 데 사용되는 DWI-FLAIR 불일치 접근법의 핵심입니다 ^6,7. 대규모 다기관 연구와 무작위 대조 시험은 DWI-FLAIR 불일치가 4.5시간 치료 기간 내에 환자를 식별하고, 미확인 발병 뇌졸중에서 MRI 유도 혈전용해를 지지함으로써, 진단 이후에도 DWI와 FLAIR의 예후적 관련성을 강조합니다^. 이 관찰들은 DWI, ADC, T2-FLAIR를 통합하여 초기 허혈성 핵심 특성과 기능 회복에 영향을 미칠 수 있는 시간적 정보를 모두 포착하는 모델링 전략을 지원합니다.

동시에, 확립된 임상 변수들은 강력한 예후 신호를 제공하며, 입원^시 정기적으로 제공됩니다. 국립보건원(NIHSS) 뇌졸중 척도는 신경학적 결손 심각도를 널리 측정하는 지표로, 임상 결과를 강하게 예측합니다. 급성 뇌졸중 치료 분류 내 조직 10172 시험(TOAST) 분류를 포함한 뇌졸중 병인 하위 유형은 일부 분석에서 NIHSS 이상의 추가 예후 정보를 제공할 수 있습니다 ^8,9. 이전 연구들은 또한 허혈성 뇌졸중 코호트와 예후 연구에서 혈관 위험 인자와 동반 질환이 부작용 예측 인자 중 반복적으로 확인됨을 입증했습니다 ^4,10. 심방세동, 보상 상실부전, 당뇨병과 같은 특정 동반 질환은 뇌졸중 ^1,11,12 이후 기능 결과 저하와 일관되게 연관되어 있습니다. 흡연은 90일 기능 결과가 더 나쁜 것과 연관되어 있는 반면, 알코올 사용은 약하거나 용량 의존적 연관성을 보이며, 지질 장애는 뇌졸중 후 장애와 더 복잡한 관계를 보인다 13,14,15,16,17. 이 결과들은 뇌졸중 중증도, 병인, 동반 질환 부담을 포착하는 구조화된 임상 예측 인자와 다중 모수 MRI를 결합하는 것을 지지하며, 어느 한 기법에만 의존하지 않습니다.

최근 머신러닝 연구들은 계산 모델이 이질적인 바이오마커를 통합하여 뇌졸중 결과 예측을 개선할 수 있음을 시사하지만, 성능은 데이터 모달리티, 코호트 구성, 모델 설계, 클래스 불균형 처리 전략에 크게 의존한다 18,19,20. 구배 부스트팅과 앙상블 방법은 영상, 인구통계학, 임상 변수를 사용하여 90일 mRS 예측의 타당성을 입증했으며, 특히 불리한 결과의 이진 분류에 활용되었습니다(mRS > 2)¹⁸. 최근 다기관 연구에서는 DWI, ADC, FLAIR의 3차원 합성곱 신경망(CNN) 유도 MRI 특징과 구조화된 임상 변수를 결합한 결과, 다중 모달 모델이 단일 모달리티 접근법을 넘어 상호 보완적인 예후 정보를 포착한다는 것을 보여주었다²¹. 유사한 소견이 확산 가중 영상이나 임상 변수와 융합된 비조영 컴퓨터 단층촬영과 같은 단일 영상 기법을 사용해 보고되었습니다^18,22. 뇌졸중 결과 예측을 위한 다중 모달 인공지능 모델을 사용한 대표적인 연구들은 표 1에 요약되어 있습니다.

연구	영상 모달리티	AI 기법 (모델)	목표	요약
Liu 외 18	MRI(음주운전) + 임상	딥러닝 예측 모델 (DLPD, CNN 기반 영상 네트워크 + 임상 특징 네트워크)	융합 영상 및 임상 정보를 사용하여 90일 mRS 보통 예측.	융합 모델은 영상 단독 및 임상적 모델보다 현저히 우수했으며, 불리한 결과 예측에 있어 높은 정확도를 달성했습니다.
융 외 21	MRI (음주운전, ADC, 플레어) + 임상	3D-CNN 이미징 네트워크와 다층 지각론(MLP) 임상 모델을 결합한 앙상블 딥러닝 모델	AIS에서 기능적 결과 예측을 위한 다중 모달 앙상블 DL 모델을 개발합니다.	대규모 다기관 코호트에서 단일 모달리티 모델에 비해 다중 모달 통합이 3개월 결과 예측을 개선했습니다.
Wei 외 27	MRI (DWI, ADC) + 임상	라디오믹스 + 머신러닝 (LASSO 특징 선택 + 로지스틱 회귀 / 랜덤 포레스트 분류기)	MRI 방사선 검사와 임상 변수를 사용하여 장기 기능 결과를 예측합니다.	방사선 학-임상 모델은 영상 단독 또는 임상 단독 모델보다 더 나은 예후 성능을 보였습니다.
류 외 22	비조영제 CT + 임상	딥러닝 융합 모델 (CNN 영상 인코더 + 임상 MLP 네트워크)	급성기 CT 및 임상 데이터를 바탕으로 90일 기능 결과를 예측합니다.	멀티모달 퓨전은 단일 모달리티 모델에 비해 예측 정확도를 크게 향상시켰습니다.
류 외 19	MRI(음주운전) + 임상	딥러닝 예측 모델 (DLPD, CNN 기반 융합 모델)	딥러닝 결과 예측 모델을 의사의 예측과 비교해 평가합니다.	AI 모델은 90일 mRS 결과 예측에서 뇌졸중 전문의와 유사한 성능을 보였습니다.
Rehman 외 20	임상	하이브리드 딥러닝 (CNN+GRU, ADASYN)	불균형한 임상 데이터를 통해 뇌졸중 위험을 예측합니다	ADASYN과 함께한 하이브리드 딥러닝은 뇌졸중 위험 예측 성능을 향상시켰으며, 고급 데이터 밸런싱과 다중 모델 학습의 가치를 입증했습니다.
Ali 외 29쪽	MRI/fMRI/rs-fMRI	머신러닝, DL, 하이브리드 모델의 체계적 메타 리뷰	신경영상 기반 진단을 위한 계산 지능 기법 평가	하이브리드 모델은 일반적으로 독립형 ML 및 DL 접근법보다 우수한 성능을 보이며, 신경영상 기반 예측에 하이브리드 아키텍처의 가치를 뒷받침합니다.

표 1: 급성 허혈성 뇌졸중 후 인공지능 기반 기능 결과 예측에 관한 이전 연구 요약. 영상, 임상 변수, 또는 다중 모달 접근법을 이용한 뇌졸중 후 기능 결과 예측을 위한 대표적인 연구들을 요약하며, 영상 모달리티, 인공지능 기법, 연구 목적, 주요 발견 등이 포함됩니다. 이 표를 다운로드하려면 여기를 클릭해 주세요.

그러나 많은 기존 연구들은 단일 영상 시퀀스나 주로 국소 공간 특징을 포착하는 전통적인 딥러닝 모델에 의존하며, 뇌 영상 데이터 내 장거리 맥락적 관계를 완전히 모델링하지 못할 수 있습니다. 따라서 DWI, ADC, T2-FLAIR를 구조화된 임상 변수와 함께 결합하고 국소 병변 특징 추출과 전역 맥락 모델링을 결합하는 다중 모달 접근법을 개발하고 외부에서 평가하는 데 구체적인 공백이 남아 있습니다. CNN은 병변 수준의 특징 추출에 잘 확립되어 있지만, Vision Transformers(ViT)와 같은 트랜스포머 기반 아키텍처는 주의 메커니즘을 통해 장거리 맥락 관계를 모델링할 수 있게 하여 상호 보완적인 전역 표현을 제공합니다^23,24. 따라서 하이브리드 CNN-ViT 모델은 국소적 형태학적 세부사항과 전역 뇌 맥락을 공동으로 인코딩하는 합리적인 틀을 제공합니다. 머신러닝 알고리즘도 이질적인 구조화된^{임상 데이터 내에서} 복잡한 비선형 관계를 모델링하는 데 매우 적합합니다. 상호 보완적^{교차 모달} 통합을 강조하는 최근 다중 모달 학습 원칙에 따라 본 연구는 CNN-ViT 영상 백본 내에서 다중 모형 MRI를 결합하고, 90일 결과 예측을 위한 머신러닝 임상 모델과 결합하였습니다. 이 연구의 새로움은 상호 보완적인 MRI 시퀀스, 국소-글로벌 CNN-ViT 영상 표현, 구조화된 임상 예측 변수를 통합한 90일 결과 예측 모델 내에서 쌓인 다중 모달 융합 프레임워크의 개발 및 외부 평가에 있습니다.

연구의 가설은 하이브리드 CNN-ViT 아키텍처를 사용하여 다중 매개변수 MRI를 구조화된 임상 변수와 통합하면, 단일 모달리티 모델에 비해 AIS 후 90일 기능 결과 예측이 향상될 것이라는 것이었습니다. 따라서 목표는 DWI, ADC, T2-FLAIR MRI 시퀀스와 구조화된 임상 예측 변수를 통합하여 AIS 환자의 90일 mRS 결과를 추정하는 다중 모달 딥러닝 프레임워크를 개발하고 평가하는 것이었습니다.

프로토콜

이 연구는 선전대학교 종합병원 기관심사위원회(IRB 승인 번호)의 승인을 받았습니다. KYLL-2026-077-1). 서면 사전 동의 요건은 연구의 사후적 설계 때문에 면제되었습니다.

1. 연구 코호트

다중 매개변수 MRI를 받은 급성 허혈성 뇌졸중(AIS) 환자들은 기관 임상 데이터베이스에서 사후 확인되었습니다. 데이터셋 분할, 영상 모델 개발, 임상 모델 구축, 다중 모달 융합을 포함한 전체 연구 워크플로우는 그림 1에 나와 있습니다.

그림 1: 다중 모달 결과 예측 프레임워크의 워크플로우. (A) 데이터 수집. 사전 정의된 포함 기준을 충족하는 급성 허혈성 뇌졸중(AIS) 환자를 사후적으로 확인하였습니다. 데이터셋은 훈련-검증 코호트(n = 250), 내부 독립 테스트 코호트(n = 50), 외부 테스트 코호트(n = 37)로 나뉘었습니다. 훈련-검증 코호트 내에서 5단계 교차 검증을 수행하였습니다. (B) 영상 모델 개발. 확산 가중 영상(DWI), 겉보기 확산 계수(ADC), T2 유체 감쇠 역전 회복(T2-FLAIR)을 포함한 다중 매개변수 MRI 시퀀스는 하이브리드 3차원 합성 신경망-비전 트랜스포머(CNN-ViT) 아키텍처를 사용하여 결과 예측을 수행했습니다. (C) 임상 모델 개발. 구조화된 임상 변수를 사용하여 90일 기능 결과 예측을 위한 머신러닝 모델을 훈련시켰습니다. (D) 다중 모드 핵융합 전략. 영상 및 임상 모델에서 생성된 예측은 스택드 로지스틱 회귀 메타 학습기를 사용하여 통합되어 최종 결과 예측을 도출했습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

MRI 검사는 임상 MRI 시스템을 사용하여 수행되었습니다. 이미지 획득에는 전용 위상 배열 헤드 코일이 사용되었습니다. 모든 서열은 모달리티 간 일관된 슬라이스 위치를 사용하여 축 평면에서 획득되었습니다. 확산 가중 영상(DWI)은 반복 시간(TR)이 3,000–5,000 ms, 에코 시간(TE)이 80–90 ms인 단일 샷 스핀-에코 에코-평면 영상 시퀀스를 사용하여 획득되었습니다. 확산 감작은 최소 3방향 방향에서 0과 800–1,000 s/mm² 의 b-값을 사용하여 적용되었다. 시야각은 220–240mm 범위였으며, 매트릭스 크기는 128× 128이었다. 슬라이스 두께는 5–6mm였고, 간극은 1–1.5mm였습니다. 2에서 4개의 신호 평균이 획득되었습니다.

겉보기 확산 계수(ADC) 맵은 획득된 b-값을 기반으로 한 단일지수 피팅을 사용해 스캐너 워크스테이션의 DWI 데이터로부터 자동으로 생성되었습니다. ADC 값은 복셀 단위로 계산되어 정량적 분석을 위해 내보내졌습니다. T2 유체 감쇠 역전 회복(T2-FLAIR) 이미지는 TR 8,000–10,000 ms, TE 80–140 ms, 역전 시간 2,200–2,600 ms의 역전 복원 시퀀스를 사용하여 획득되었습니다. 시야각은 220–240mm 범위였으며, 매트릭스 크기는 192 × 192에서 256× 256이었습니다. 슬라이스 두께는 4–5 mm였고, 슬라이스 간 간격은 1–1.5 mm였습니다.

2. 데이터 전처리

임상 데이터는 케이스 식별자, mRS 결과 점수, 데이터셋 분할 라벨, 인구통계학적 및 임상 변수를 포함한 구조화된 스프레드시트에서 가져왔습니다. 케이스 식별자는 이미지 파일 이름과의 일관성을 보장하기 위해 표준화되었습니다. 임상 변수로는 인구통계학적 특성, 국립보건원뇌졸중 척도(NIHSS)로 측정된 뇌졸중 중증도, 혈관 위험 인자, 입원 시 기록된 동반 질환 등이 포함되었습니다.

주요 결과는 수정 랭킨 척도(mRS)를 사용하여 측정한 뇌졸중 발병 후 90일 시점의 기능 상태였습니다. 유리한 결과는 mRS ≤ 2, 불리한 결과는 mRS > 2로 정의되었습니다. 데이터셋은 결과 균형을 유지하기 위해 mRS 분포를 기반으로 한 층화 표본추출을 사용하여 훈련-검증과 내부 독립 테스트 코호트로 무작위로 나누었습니다. 외부 테스트 코호트는 별도로 처리되었으며 모델 개발 과정에는 사용되지 않았습니다. 훈련-검증 코호트 내에서는 층화된 k-중개 교차 검증을 적용하여 폴드 간 결과 분포를 일관되게 유지하였습니다.

모든 DWI, ADC, T2-FLAIR 볼륨은 모델 학습 전에 전처리되어 양측 간 공간적·수치적 일관성을 보장했습니다. 동일한 전처리 파이프라인이 훈련-검증, 내부 테스트, 외부 테스트 코호트에도 수정 없이 적용되었습니다. 이미지는 정준 RAS 방향으로 재정렬되고 부동소수점 배열로 변환되었습니다. 평면 내 공간 해상도는 선형 보간을 사용해 256× 256으로 재샘플링되었습니다. 관통면 차원은 중심 기반 전략을 사용하여 20개의 단면으로 표준화되었는데, 20개 이상의 단면이 포함된 부피는 중심 자르기를, 20개 미만의 단면이 포함된 부피는 대칭적으로 제로 패딩이 적용되었습니다. 최종 부피 크기는 256× 256× 20이었습니다.

강도 정규화는 각 부피별로 z-점수 정규화를 사용하여 독립적으로 수행되었습니다:

여기서 x는 복셀 강도, μ는 부피의 평균 강도, σ는 표준편차입니다. σ = 0일 경우, 수치 불안정을 방지하기 위해 정규화가 적용되지 않았습니다. 처리된 볼륨은 NIfTI 형식으로 저장되었으며, 하위 딥러닝 분석을 위한 표준화된 아핀 행렬이 사용되었습니다.

3. 임상 모델 개발

구조화된 임상 변수를 사용하여 결과 예측을 위한 머신러닝 모델을 개발하였습니다. 후보 예측 인력에는 인구통계학적 특성, 혈관 위험 요인, 뇌졸중 원인, 기초 임상 중증도 측정이 포함되었습니다. 연속 변수는 중앙값을 사용하여 추정하고 표준화되었습니다. 범주 변수는 가장 빈번한 범주를 사용하여 인상하고 원핫 인코딩으로 인코딩했습니다.

로지스틱 회귀, 랜덤 포레스트, 그라디언트 부스팅, 서포트 벡터 머신(SVM), 극한 그라디언트 부스팅, 라이트 그래디언트 부스팅 머신 모델 등 다양한 머신러닝 알고리즘이 평가되었습니다. 모델 개발은 훈련-검증 코호트 내에서 일반화 성과를 추정하기 위해 5단계 교차 검증 프레임워크를 따랐습니다. 내부 및 외부 테스트 코호트에 대한 최종 예측은 각 교차 검증 접힘에서 훈련된 모델의 예측을 평균하여 생성되었습니다. 교차 검증 또는 모델 선택 시 외부 시험 샘플은 사용하지 않았습니다.

4. 딥러닝 모델 아키텍처

다중 모달 MRI 부피에서 결과 예측을 위해 3차원 CNN-ViT 하이브리드 아키텍처가 구현되었습니다. 네트워크는 국부 공간 특징 추출과 전역 맥락 모델링을 통합된 프레임워크 내에서 결합하도록 설계되었습니다. 입력 볼륨은 다채널 3차원 이미지로 끝까지 처리되었습니다.

특징 추출은 처음에 4단계로 구성된 계층적 3차원 컨볼루션 백본을 사용하여 수행되었습니다. 각 단계는 커널 크기가 3 × 3 × 3이고 복셀 1의 패딩을 가진 2개의 합성곱 층을 포함했으며, 이후 배치 정규화와 정류 선형 단위 활성화가 이루어졌습니다. 공간 해상도는 3차원 최대 풀링 계층을 적용하여 점차 감소했으며, 각 레벨에서 특징 채널 깊이를 증가시켜 더 높은 수준의 의미론적 표현을 포착했습니다. 최종 합성곱 단계 이후에는 과적합을 줄이기 위해 드롭아웃 정규화(드롭아웃 비율 = 0.1)가 적용되었다. 합성곱 백본은 크기 C × D × H × W 입력 부피를 공간 차원이 축소된 간결한 고수준 특징 표현으로 변환시켰습니다.

결과 특징 지도는 공간 차원을 평탄화하여 토큰 수에 대응하도록 토큰 연속으로 재구성되었습니다:

N = D' x H' x W'

토큰 간의 글로벌 맥락적 관계는 다중 헤드 자기 주의 및 피드포워드 네트워크로 구성된 트랜스포머 인코더 계층을 사용하여 모델링되었습니다. 자기 주의는 다음과 같이 계산되었습니다:

여기서 Q, K, V는 각각 쿼리, 키, 값 행렬을 나타내고, d는 임베딩 차원을 나타냅니다. 각 인코더 계층 내에서 학습 안정성을 높이기 위해 레이어 정규화와 드롭아웃이 적용되었습니다. 트랜스포머 모듈은 8개의 주의 헤드와 256의 임베딩 차원을 가진 3개의 인코더 레이어로 구성되어 있었습니다.

트랜스포머 인코딩 후에는 분류 토큰에 해당하는 표현을 추출하고 정규화했습니다. 완전 연결된 선형 계층은 이진 분류를 위한 단일 로그잇 출력을 생성했습니다.

제안된 하이브리드 CNN-ViT 아키텍처는 표현 용량과 과적합 위험을 균형 있게 하기 위해 경량적이고 매개변수 효율적인 모델로 의도적으로 설계되었습니다. 이 모델은 379만 개의 훈련 가능한 매개변수(fp32 정밀도 기준 약 14.4MB)로 구성되었으며, 이 중 138만 개는 컨볼루션 백본, 237만 개는 트랜스포머 인코더에 포함되어 있습니다.

5. 영상 모델 학습

영상 모델 훈련은 결과 분포를 폴드 간 보존하면서 성능 추정의 견고성을 높이기 위해 계층화된 5중 교차 검증 프레임워크를 사용하여 수행되었습니다. 데이터셋은 결과 분포를 기반으로 한 층별 표본추출을 사용하여 훈련-검증 코호트와 내부 독립 테스트 코호트로 나뉘었습니다. 훈련-검증 코호트 내에서는 층별로 5단계 교차 검증이 적용되었습니다. 각 폴드마다 영상 모델은 훈련 부분집합을 사용해 훈련되고 해당 검증 하위 집합으로 평가되었으며, 보류된 테스트 코호트는 최종 성능 평가에만 할당되었습니다.

모델 최적화는 GPU가 탑재된 워크스테이션에서 딥러닝 프레임워크와 AdamW 옵티마이저를 사용하여 수행되었으며, 학습률은 3 × 10⁻⁵, 가중치 감쇠는 3 × 10⁻⁴였습니다. 훈련은 8명의 배치 규모로 최대 200 에포크에 걸쳐 진행되었습니다. 손실 함수로 로짓을 이용한 이진 교차엔트로피가 사용되었습니다.

클래스 불균형을 해결하기 위해 음수와 양의 표본 비율을 바탕으로 각 접힘마다 양의 클래스 가중치 계수를 계산하고 손실 함수에 반영하였습니다. 최적화 중 수치 안정성을 높이기 위해 최대 노름 0.5의 그라디언트 노름 클리핑이 적용되었습니다. 자동 혼합정밀도 훈련이 가능해져 계산 효율을 향상시켰습니다.

조기 중단은 30년 연속 에포크에서 검증 성능이 최소 1× 10⁻⁴ 이상 개선되지 않을 때 도입되었습니다. 각 접힘에서 가장 성능이 좋은 모델 체크포인트를 유지했습니다. 모든 폴드가 완료된 후, 각 폴드별 모델을 사용해 내부 및 외부 테스트 코호트에 대한 예측을 생성하고, 5개 모델 간 예측을 평균하여 앙상블 출력을 생성하여 최종 확률을 얻었습니다.

6. 다중 모드 융합 모델

영상 기반 예측과 구조화된 임상 정보를 통합하기 위해 스택드 융합 전략이 도입되었습니다. 딥러닝 영상 모델과 임상 예측 모델이 기본 학습자 역할을 했으며, 이들의 예측 확률은 로지스틱 회귀 메타 학습기의 입력 특징으로 사용되었습니다. 예측 확률의 곱과 절대 차이 등 추가 상호작용 특징도 포함되어 영상 및 임상 예측 간의 보완 정보를 포착하였습니다.

정보 유출을 방지하기 위해, 메타 학습자는 학습-검증 코호트에서 생성된 예측 확률을 아웃 오브 폴드 방식으로 훈련시켰습니다. 영상 및 임상 모델에서 교차 검증된 오프 폴드 확률을 환자 식별자로 통합하여 메타 학습자 훈련 데이터셋을 구성했습니다. 내부 및 외부 테스트 코호트에 대해, 영상 및 임상 모델에서 얻은 해당 테스트 세트 확률을 훈련된 메타 학습자에게 입력하여 융합 확률을 생성하였습니다. 훈련된 메타 학습자는 재조정 없이 두 시험 코호트에 적용되었다.

7. 소작 연구

개별 MRI 시퀀스와 Vision Transformer 구성 요소의 기여도를 평가하기 위해 주요 모델과 동일한 훈련 및 평가 환경을 사용하여 절제술 실험이 수행되었습니다. 서열 소작에는 단일 서열 모델, 1개 서열 생리형 모델, 그리고 전체 다중 매개변수 모델이 포함되었습니다. Vision Transformer 모듈의 기여도를 평가하기 위해, 제안된 하이브리드 아키텍처는 동일한 컨볼루션 백본을 유지하면서 트랜스포머 인코더를 제거한 CNN 전용 기준선과 추가로 비교되었습니다.

8. 통계 분석

모델 성능은 내부 독립 시험 코호트와 외부 시험 코호트에서 수신자 운용 특성 곡선(AUC) 아래 면적을 주요 식별 지표로 별도로 평가하였습니다. 수신자 작동 특성(ROC) 곡선은 각 모델에서 생성된 예측 확률을 사용하여 구성되었습니다. 분류 성능을 특성화하기 위해 민감도, 특이도, 전반적인 정확도도 추가로 계산되었습니다.

이진 결과는 유덴 지수에 따라 결정된 임계값을 사용하여 생성되었습니다. 이후 민감도, 특이도, 정확도가 최적 임계값에서 계산되었습니다. 모든 통계 분석, 머신러닝 모델 개발, 딥러닝 모델 훈련은 표준 과학 컴퓨팅 및 머신러닝 소프트웨어 패키지를 사용하여 구현되었습니다.

결과

연구 코호트

사전 정의된 포함 및 제외 기준을 적용한 후 급성 허혈성 뇌졸중(AIS) 환자 총 300명을 포함하였습니다. 데이터셋은 기능 결과 분포를 기반으로 한 층화 표본추출을 사용하여 훈련-검증 코호트(n = 250)와 내부 독립 테스트 코호트(n = 50)로 나누었습니다. 또한, 독립적인 데이터셋에서 37명의 AIS 환자로 구성된 외부 검사 코호트를 포함하여 예비 외부 검증을 제공하였습니다. 모델 개발 및 성능 추정을 위해 훈련-검증 코호트 내에서 단층화된 5중 교차 검증이 수행되었습니다.

연구 집단의 기초 인구통계학적 및 임상 특성은 표 2에 요약되어 있습니다. 유리한 기능적 결과(mRS ≤ 2)와 비우정적 기능적 결과(mRS > 2)는 층별 표본 추출 전략 덕분에 훈련-검증 및 내부 시험 코호트에 비례적으로 분포되었습니다. 외부 검사 코호트에는 긍정적인 결...

토론

이 연구는 급성 허혈성 뇌졸중(AIS) 후 90일 기능 결과 예측을 위해 다중 모측 MRI와 구조화된 임상 변수를 통합한 다중 모달 인공지능 프레임워크를 개발하고 평가하였습니다. 제안된 융합 모델은 영상 모델이나 임상 모델보다 더 높은 예측 성능을 보였습니다. 구체적으로, 지지 벡터 기계(SVM) 기반 임상 모델과 영상 모델에서 예측을 통합한 스택 멀티모달 모델은 내부 독립 검사 코호트에서 0.885의 AUC를 달성했으며, 임상 모델의 0.878과 영상 모델의 0.782를 비교하였습니다. SVM 임상 모델에 비해 AUC 증가는 완만했으나, 융합 모델은 민감도를 0.760에서 0.920으로, 정확도를 0.820에서 0.840으로 개선하여 AUC 단독을 넘어서는 점진적 예측 가치를 시사했습니다. 독립적인 코호트에서의 외부 검증에서는 일관되지만 다소 소규모 성능을 보였으며, 융합 모델은 AUC 0.797, 정확도 0.838을 달성했습니다. 외부 검사 코호트에서 융합 모델은 ...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
자기 공명 영상 시스템 ((Discovery MR750 3.0T)	GE Healthcare	https://www.gehealthcare.in/products/magnetic-resonance-imaging/3-0t/discovery-mr750	DWI, ADC 및 T2-FLAIR 이미지 획득에 사용되는 임상 MRI 스캐너
위상 배열 헤드 코일	GE Healthcare	https://services.gehealthcare.com/gehcstorefront/p/5450630	MRI 신호 수신에 사용되는 헤드 코일
그래픽 처리 장치 (RTX 4090)	NVIDIA	https://www.nvidia.com/en-us/geforce/graphics-cards/40-series/rtx-4090/	딥 러닝 모델 학습에 사용되는 GPU
딥 러닝 프레임워크 (PyTorch v2.1)	PyTorch Foundation	https://pytorch.org/	CNN-Transformer 모델을 구현하는 데 사용되는 프레임워크
프로그래밍 언어 (Python v3.10)	Python Software Foundation	https://www.python.org/downloads/release/python-3100/	모델 개발 및 데이터 처리에 사용되는 환경
기계 학습 라이브러리 (scikit-learn)	scikit-learn Developers	https://scikit-learn.org/stable/	임상 기계 학습 모델 및 통계 분석에 사용
그래디언트 부스팅 라이브러리 (XGBoost)	DMLC	https://xgboost.readthedocs.io/en/release_3.2.0/	그래디언트 부스팅 모델 구현에 사용
그래디언트 부스팅 라이브러리 (LightGBM)	Microsoft	https://lightgbm.readthedocs.io/en/stable/	LightGBM 임상 모델에 사용