MRI를 사용한 4종류 뇌종양 분류를 위한 주의 유도 전이 학습 프레임워크

Summary

이 연구는 MobileNetV2, EfficientNetV1, 및 Inception-ResNet-V2를 사용한 전이 학습과 함께 MRI 이미지에서 4개 류 뇌종양 분류를 위한 경량 주의 기반 심층 학습 프레임워크를 제시합니다. 이 모델은 낮은 계산 복잡도로 높은 분류 정확도를 달성하여 리소스 제한된 임상 의사 결정 지원 애플리케이션을 지원합니다.

Abstract

```html

이 연구의 목적은 자기공명영상(MRI) 데이터를 사용하여 뇌종양을 뇌종양, 뇌막종, 뇌하수체 종양 및 건강한 뇌 조직의 네 범주로 분류하는 가볍지만 정확한 딥러닝 프레임워크를 개발하는 것입니다. 제안된 방법론은 전이 학습과 세 가지 미리 훈련된 컨볼루션 신경망 모델—MobileNetV2, EfficientNetV1, 그리고 Inception-ResNet-V2—를 조합하여 인간 시각 시스템의 임상적으로 관련된 이미지 영역에 집중하는 능력을 모방하는 주의 메커니즘과 통합합니다. 이 주의 지향 접근법은 불필요한 배경 정보를 억제하면서 종양 위치를 향상시킵니다. 이 프레임워크는 네 클래스에 걸쳐 수천 개의 라벨이 붙은 이미지를 포함하는 대규모의 공개된 뇌 MRI 데이터셋에서 평가됩니다. 표준 전처리, 데이터 증강 및 훈련 프로토콜이 제안된 방법의 간단한 복제를 가능하게 하기 위해 적용됩니다. 실험 결과는 EfficientNetV1이 모든 모델 중 가장 높은 분류 성능을 달성하여 MobileNetV2와 Inception-ResNet-V2보다 우수한 정확도에 도달하는 것을 보여줍니다. 이 연구는 제안된 가볍고 주의 기반의 프레임워크가 정확도와 계산 복잡성을 효과적으로 균형을 이루며 특히 자원이 제한된 환경에서 실시간 및 모바일 헬스케어 애플리케이션에 매우 적합하다는 결론을 내립니다. ```

Introduction

```html

자기공명영상(MRI)을 사용한 뇌종양의 정확한 분류는 임상 진단, 치료 계획 및 예후 추정에 중요한 역할을 합니다<sup>1</sup>. 뇌종양에는 신경교종, 수막종 및 뇌하수체 종양이 포함되며, 이들은 뚜렷한 병리학적 특성과 치료 반응을 나타내므로, 조기 신뢰할 수 있는 식별이 치료 결과를 개선하고 질병 진행을 감소시키는 데 필수적입니다. MRI는 우수한 연조직 대조, 비침습적 성질, 그리고 여러 해부학적 평면에서 종양 형태를 시각화할 수 있는 능력으로 인해 뇌종양 평가에 널리 선호됩니다. 그러나 MRI 스캔의 수동 해석은 종종 시간이 많이 소요되며, 특히 종양 경계가 불규칙할 때나 종양 등급 사이에 시각적 유사성이 있을 때 방사선 전문가의 전문성에 크게 의존합니다. 따라서 자동화된 컴퓨터 보조 진단 시스템은 정확하고 효율적인 종양 분류를 보조하기 위해 점점 더 중요해지고 있습니다.

딥러닝(DL) 기반 이미지 분석 기술은 바이오메디컬 및 컴퓨터 비전 애플리케이션 전반에 걸쳐 자동화된 질병 분류에 크게 발전을 가져왔습니다<sup>2,3</sup>. 신경종양학에서는 기계 학습 및 전이 학습 기술이 종양 탐지, 분할 및 분류 작업에 대한 유망한 성능을 보여주었습니다<sup>4</sup>. 특히, 컨볼루션 신경망(CNN)은 MRI 스캔에서 수작업으로 추출된 특징에 의존하지 않고 계층적 이미지 특징을 자동으로 추출하는 우수한 능력을 보여주었습니다. CNN 아키텍처는 영상 데이터로부터 종양 관련 특징을 학습함으로써 기존 기계 학습 접근법에 비해 분류 성능을 향상시킬 수 있습니다. 최근 DL 발전으로 인해 대규모 이미지 데이터셋을 더 정밀하게 처리하고 인간 개입을 줄일 수 있는 고성능 이미지 분류 시스템의 개발이 가능해졌습니다.

이러한 발전에도 불구하고, 기존의 깊은 CNN 아키텍처는 높은 메모리 소비, 증가된 매개변수 복잡성 및 광범위한 학습 시간을 포함하여 상당한 계산 자원을 필요로 합니다<sup>5</sup>. 이러한 계산 요구 사항은 자원이 제한된 임상 환경 및 모바일 헬스케어 시스템에서의 구현을 제한합니다. 또한, 가벼운 컨볼루션 신경망 아키텍처는 감소된 계산 복잡성과 저자원 애플리케이션에 대한 적합성으로 인해 증가하는 관심을 받고 있습니다<sup>5</sup>. 최근 연구들은 분류 효율성을 향상시키기 위해 최적화된 CNN 전략, 효율적인 특징 추출 메커니즘 및 가벼운 배포 프레임워크를 탐구했습니다<sup>6,7,8</sup>. 그러나 계산 효율성과 강력한 다중 클래스 종양 분류 성능을 균형 있게 유지하는 것은 MRI 기반 뇌종양 분석에서 여전히 주요 과제입니다<sup>9</sup>.

주의 기반 딥러닝 프레임워크는 의료 이미지 분석에서 특징 표현 향상을 위한 효과적인 솔루션으로 등장했습니다<sup>10</sup>. 주의 메커니즘은 신경망이 진단적으로 관련된 이미지 영역을 선택적으로 강조하고 불필요한 배경 정보를 억제할 수 있게 합니다. 인간 시각 시스템에서 영감을 받은 주의 유도 아키텍처는 계산 초점을 종양 특이적 공간 영역 및 맥락적 특성으로 지시함으로써 특징 학습을 개선합니다. 이러한 메커니즘은 특히 종양 조직이 종종 불균일한 강도 패턴, 불규칙한 형태 및 종양 카테고리 간의 중복되는 시각적 특성을 나타내는 뇌종양 MRI 분석에 유용합니다. 따라서, CNN 기반

Protocol

이 연구는 공개적으로 사용 가능한 익명 데이터 세트를 사용했습니다. 따라서 정보 제공을 위한 동의서는 필요하지 않았습니다. 제안된 접근 방식은 전처리, 컨볼루션 모듈, 주의 모듈, 컨볼루션 및 주의 모듈의 통합, 그리고 완전 연결(FC) 레이어의 여섯 가지 구성 요소로 구성됩니다. 그림 1은 우리의 방법의 전체 워크플로를 보여줍니다.

데이터셋 획득
라벨이 지정된 두뇌 MRI 이미지는 공개적으로 사용 가능한 Kaggle 데이터셋에서 얻었으며, 여기에는 네 가지 종류의 종양과 정상 조직이 포함되어 있습니다.

데이터 전처리
이미지는 균일한 해상도로 크기를 조정하고 강도 정규화합니다. 일반화를 향상시키기 위해 선택적 증강(회전, 플립, 확대/축소)을 적용합니다. 데이터셋은 훈련(70%)과 테스트(30%) 세트로 분할됩니다.

모델 아키텍처
ImageNet으로 미리 훈련된 세 개의 백본 CNN(MobileNetV2, EfficientNetV1, 그리고 Inception-ResNet-V2)을 사용하여 MRI 이미지로 뇌 종양을 네 가지 범주로 분류했습니다. MobileNetV2와 EfficientNetV1은 224 x 224 픽셀의 입력 차원으로 구성되었으며, Inception-ResNet-V2는 299 x 299 픽셀의 입력 크기가 필요했습니다. 전이 학습 과정에서 초기 컨볼루션 레이어는 일반화된 이미지 특징을 유지하기 위해 시작 시 고정되었고, 상위 레이어는 뇌 종양 분류를 위해 모델을 조정하기 위해 세밀하게 조정되었습니다. 각 백본은 글로벌 평균 풀링, 밀집 층, 정규화를 위한 드롭아웃, 그리고 네 클래스를 예측하기 위한 Softmax 활성화 함수를 포함하는 가벼운 분류 헤드와 짝지어졌습니다. 드롭아웃은 과적합을 완화하고 일반화를 강화하기 위해 구현되었습니다. 설계된 아키텍처는 효율적인 특징 추출과 낮은 계산 요구 사항을 효과적으로 합쳐, 정밀한 분류를 가능하게 하면서 동시에 자원 제한 및 개념 증명 시나리오에서의 배포에 적합합니다.

주의 기반 특징 추출
입력 이미지는 초기 컨볼루션 레이어를 통해 처리되고, 이어서 사용자 정의 주의 모듈을 거칩니다. 평행한 최대 풀링과 평균 풀링은 돋보이는 특징과 문맥 특징을 캡처하고, 이는 결합되고 컨볼루션을 통해 세련되어 종양 관련 영역을 강조합니다.

컨볼루션 백본과 융합
주의 가중 특징은 미리 훈련된 백본(MobileNetV2, EfficientNetV1, 또는 Inception-ResNet-V2)로 전달됩니다. 고급 컨볼루션 레이어는 메모리 접근을 줄이고 계산 효율성을 향상시키기 위해 논리적으로 융합됩니다.

분류
평탄화된 특징은 ReLU6 활성화 및 드롭아웃을 통한 완전 연결 레이어를 통과하여 최종 네 클래스 softmax 분류를 위한 컴팩트한 표현을 생성합니다.

평가
모델 성능은 정확도, 정밀도, 재현율, F1-점수, 그리고 혼동 행렬을 사용하여 테스트 세트에서 평가됩니다.

프레임워크 개발
제안된 솔루션은 Python으로 구현되며, 실행을 위해 Keras를 사용합니다. 표 1은 하이퍼파라미터를 보여줍니다. 데이터셋은 70:30 비율로 훈련 세트와 테스트 세트로 분할됩니다. 각 데이터셋의 균형 잡힌 최종 성능을 표시하기 위해 5가지 다른 임의의 훈련/테스트 분할이 사용됩니다.

전처리

Results

세 가지 사전 학습된 딥러닝 모델, 즉 MobileNetV2, EfficientNetV1 및 Inception-ResNet-V2가 MRI 이미지를 사용하여 네 종류의 뇌종양 분류에 대해 평가되었습니다.

사용된 데이터셋
제안된 프레임워크는 Kaggle 플랫폼에서 얻은 공개 뇌종양 MRI 데이터셋을 사용하여 평가되었습니다. 데이터셋은 835개의 정상 뇌 MRI 이미지, 826개의 교종 이미지, 822개의 수막종 이미지, 827개의 뇌하수체 종양 이미지로 구성되었습니다. 데이터셋의 대표적인 MRI 샘플은 그림 2에 표시되어 있습니다.

MobileNetV2
MobileNetV2 모델은 2,263,108개의 총 파라미터를 포함하여 2,228,996개의 학습 가능한 파라미터와 34,112개의 학습 불가능한 파라미터가 포함되었습니다. 분류 성능 지표는 표 2에 나타나 있습니다. 이 모델은 97%의 전체 분류 정확도를 달성하였으며, 비슷한 매크로 및 가중 평균 F1 점수를 보였습니다. 표 3에 나타난 혼동 행렬은 모든 네 종류의 종양 범주에 걸쳐 강력한 분류 성능을 보여주며, 교종과 수막종 사이의 오분류가 비교적 적습니다.

그림 3은 MobileNetV2에 대한 학습 및 검증 정확도/손실 곡선을 나타냅니다. 이 모델은 여러 학습 에폭 후 안정적인 수렴을 보였으며, 검증 성능이 점진적으로 개선되었습니다.

Inception-ResNet-V2
Inception-ResNet-V2 모델은 54,342,884개의 총 파라미터를 포함하여 54,282,340개의 학습 가능한 파라미터와 60,544개의 학습 불가능한 파라미터가 포함되었습니다. 분류 지표는 표 4에 요약되어 있습니다. 이 모델은 98%의 전체 분류 정확도를 달성하여 MobileNetV2에 비해 향상된 성능을 보였습니다.

표 5의 혼동 행렬은 모든 종양 범주에 걸쳐 높은 분류 정확도를 보여주며 오분류율이 감소했습니다. MobileNetV2 모델에 비해 종양 등급 간의 더 나은 구분이 관찰되었습니다. 그림 4는 Inception-ResNet-V2에 대한 학습 및 검증 성능 곡선을 보여줍니다. 이 모델은 학습 에폭 전반에 걸쳐 안정적인 학습 동작과 일관된 수렴을 보였습니다.

EfficientNetV1
EfficientNetV1 모델은 6,580,363개의 총 파라미터를 포함하여 6,518,308개의 학습 가능한 파라미터와 62,055개의 학습 불가능한 파라미터가 포함되었습니다. 표 6에 요약된 분류 지표는 평가된 모델 중 최고의 성능을 보여주며, 정확도, 정밀도, 재현율 및 F1 점수가 약 99%에 달합니다.

표 7의 혼동 행렬은 모든 네 종류의 종양 클래스에 걸쳐 강력한 분류 성능을 보여주며, 오분류가 최소화되었습니다. 이 모델은 대부분의 교종, 수막종, 무종양 및 뇌하수체 종양 이미지를 정확하게 분류했습니다.

그림 5는 EfficientNetV1에 대한 학습 및 검증 정확도/손실 곡선을 보여줍니다. 이 모델은 다른 평가된 아키텍처에 비해 낮은 검증 변동을 보이며 안정적인 수렴을 달성했습니다.

전반적인 비교
평가된 모델 중 EfficientNetV1은 분류 성능이 가장 높은 반면 계산 복잡성이 낮았습니다. MobileNetV2는 파라미터 요구 사항이 줄어든 효율적인 경량 성능을 보여주었고, Inception-ResNet-V2는 상당히 높은 모델 복잡성의 대가로 분류 정확도를 향상시켰습니다. 이러한 결과는 EfficientNetV1이 네 종류의 뇌종양 MRI 분류를 위한

Discussion

```html

정확도, 재현율, F1 점수, 정밀도를 기반으로 한 성능 평가 결과에 따르면, MobileNetV2와 Inception-ResNet-V2는 뇌종양 분류에서 비슷한 결과를 얻으며, 모두 총체 및 가중 평균 정확도가 97-98%를 달성합니다. 반면에 EfficientNet은 향상된 일반화 및 복합 스케일링 전략 덕분에 매크로 및 가중 평균 지표에서 99% 정확도를 달성하며 다른 모델을 앞서갑니다. 이러한 결과는 다중 클래스 MRI 종양 분류 및 계산적으로 효율적인 특징 학습에 대한 EfficientNet 아키텍처의 효과를 보여주는 이전 연구와 일치합니다<sup>22</sup>. 마찬가지로, 전이 학습 기반 MobileNetV2 프레임워크는 가벼운 뇌종양 분류 작업에서 이전에 강력한 성능을 보여주면서도 낮은 계산 복잡도를 유지했습니다<sup>21</sup>.

EfficientNetV1의 성능 향상은 네트워크 깊이, 너비 및 입력 해상도의 균형 잡힌 스케일링으로 인한 것일 수 있으며, 이는 차별화된 종양 관련 특징의 효율적인 추출을 가능하게 합니다. 복합 스케일링 전략의 장점에 대한 비슷한 관찰이 이전 CNN 최적화 연구에서 보고되었습니다<sup>7,8</sup>. 또한, 주의 유도 특징 추출 모듈의 통합은 무관한 배경 정보를 억제함으로써 종양 관련 영역의 개선된 위치 파악에 기여했을 것으로 보이며, 이는 주의 기반 의료 이미지 분류 연구의 결과와 일치합니다<sup>10,15</sup>.

이러한 결과에도 불구하고, 뇌종양 분류에는 불규칙한 종양의 정밀한 차별화, 종양 코어 이외의 하위 영역의 분할, 다양한 뇌 조직 유형 전반에 걸친 정확한 분류 등 여러 도전 과제가 여전히 남아 있습니다. 이전 연구에서도 MRI 기반 종양 분류 시스템의 데이터 다양성, 일반화 능력 및 계산 복잡도와 관련된 한계를 강조했습니다<sup>9,11,12</sup>. 더욱이, 다중 모달 MRI 프레임워크는 특징 표현 및 종양 시각화를 개선했지만, 이러한 방법은 종종 광범위한 사전 처리 및 높은 계산 자원이 필요합니다<sup>13,17,18,20</sup>.

표 8는 5-fold 검증으로 MobileNetV2, Inception-ResNet-V2, 및 EfficientNetV1의 교차 검증 분석을 통합하여 제시합니다. 테이블은 정확도, 정밀도, 재현율 및 F1 점수의 평균 및 표준 편차와 함께 검증 폴드별 정확도를 제시합니다. MobileNetV2는 안정적이지만 비교적 낮은 성능을 보이는 반면, Inception-ResNet-V2는 정확도와 일관성을 모두 향상시킵니다. EfficientNetV1은 평균 정확도(0.989 ± 0.003)에서 가장 높은 수치를 보이며 가장 낮은 분산을 보여, 우수한 일반화 능력을 나타냅니다. 일관된 높은 폴드별 정확도(0.986-0.992)는 여러 데이터 분할에서 견고하고 안정적인 성능을 보여주며, 이 연구에서 4 클래스 뇌종양 MRI 분류에 가장 효과적인 모델임을 확립합니다.

연구의 한계
현재 프레임워크의 평가는 온라인 데이터 증강에만 의존하고 있어, 실제 상황에서의 더 넓은 데이터 변동성을 처리하는 데 있어 그 견고성에 제한이 있을 수 있습니다. 또한, 연구는 최종 컨볼루션 층에서의 특징 추출에 주로 초점을 맞추고 있으며, 다중 레이어 특징 융합을 통합하는 잠재적 이점을 평가하지 않았습니다. 이 연구는 정적 MRI 데이터셋에만 국한되어 있으며, 실제 임상 환경에서 검증되지 않았기 때문에, 통합에 대한

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
뇌 MRI 데이터셋	IEEE	https://dx.doi.org/10.21227/q2vt-tf46	데이터셋은 기관 액세스를 통해 다운로드됩니다. MRI 데이터셋에는 뇌종양, 수막종, 뇌하수체 종양, 정상 뇌의 네 가지 클래스가 포함되어 있습니다.
CNN 액셀러레이터(레이어 융합)	제안된 작업	—	메모리 액세스를 줄이고 계산 효율성을 개선하기 위한 최상위 컨볼루션 레이어의 논리적 융합
커스텀 어텐션 모듈	제안된 작업	—	최대 풀링과 평균 풀링을 통합하여 종양과 관련된 영역을 강조하는 어텐션 메커니즘
EfficientNetV1	Google	사전 훈련(ImageNet)	최적의 정확도-효율성 거래를 제공하는 확장 가능한 CNN 아키텍처
Google Colaboratory	Google	https://colab.research.google.com/	GPU 지원으로 모델 훈련, 평가 및 실험에 사용되는 클라우드 기반 환경
Inception-ResNet-V2	Google	사전 훈련(ImageNet)	Inception 모듈과 잔차 연결을 결합한 깊은 하이브리드 CNN 아키텍처
Keras	Google	v2.6.0	신속한 모델 프로토타이핑을 위해 TensorFlow 위에 구축된 고급 신경망 API
Matplotlib	Matplotlib 개발자	v3.4.3	학습 곡선, 혼동 행렬 및 성능 지표 표시에 사용되는 시각화 라이브러리
MobileNetV2	Google	사전 훈련(ImageNet)	모바일 및 엣지 배포를 위해 최적화된 가벼운 CNN 백본
NumPy	NumPy 개발자	v1.21.4	수치 연산에 사용되는 핵심 과학 계산 라이브러리
Pandas	Pandas 개발 팀	v1.3.4	데이터셋 구성 및 메타데이터 처리에 사용되는 데이터 처리 및 조작 라이브러리
Python	Python 소프트웨어 재단	v3.8.10	데이터 전처리, 모델 개발 및 평가에 사용되는 주요 프로그래밍 언어
Scikit-learn	Scikit-learn 개발자	최신 안정	정밀도, 재현율, F1-점수 및 혼동 행렬과 같은 성능 평가 지표에 사용
Seaborn	Seaborn 개발자	최신 안정	강화된 그래픽 분석에 사용되는 고급 통계 시각화 라이브러리
TensorFlow	Google	v2.6.0	CNN 백본 및 어텐션 모듈을 구현하는 데 사용되는 종합 딥 러닝 프레임워크