수정된 XceptionNet 아키텍처를 사용한 무릎 골관절염 등급을 위한 전이 학습 기반 딥 러닝 접근 방식

Summary

X-레이에서 무릎 골관절염 식별을 향상시키기 위해 본 연구는 전이 학습과 함께 수정된 XceptionNet을 사용하는 딥 러닝 모델인 OsteoXceptionNet을 제안합니다. 이 모델은 기능 추출을 개선하고, 수동 해석 오류를 줄이며, 보다 정확하고 자동화된 분류를 가능하게 합니다.

Abstract

무릎 골관절염(KOA)은 전 세계적으로 수백만 명의 개인에게 영향을 미치고 있으며 알려진 치료 방법이 없어 심각한 글로벌 건강 문제가 되고 있습니다. 발달 관리는 조기 발견에 달려 있으며 X선 영상은 기본적인 진단 기술입니다. 그러나 방사선 전문의의 경험 수준의 차이로 인해 수동 X선 해석은 변동성과 부정확성 가능성을 증가시킵니다. 최근 기계 학습 및 딥 러닝 기술의 발전으로 무릎 골관절염의 방사선학적 식별을 위한 자동화 시스템이 탄생했습니다. 그러나 초기 단계 탐지의 경우 더 높은 예측 정확도를 얻는 것이 여전히 중요합니다. 더 큰 데이터 세트에서 수집된 통찰력을 활용함으로써 더 작은 도메인별 데이터 세트에서 훈련된 모델은 전이 학습을 사용하여 더 나은 성능을 발휘합니다. 깊이와 효율성으로 인해 XceptionNet은 의료 이미지 해석과 관련된 작업에 특히 적합합니다. 이전 연구와 달리 이 방법은 클래스 밸런싱 접근 방식을 사용하고, 맞춤형 전처리 파이프라인을 통합하고, XceptionNet에 맞춤형 아키텍처 개선 사항을 추가하여 초기 단계의 KOA 식별을 개선함으로써 데이터 세트 불균형을 효율적으로 해결합니다. 이러한 최첨단 방법을 사용하여 제안된 접근 방식은 무릎의 방사선 사진에서 골관절염을 정확하게 식별하여 97%의 예측 정확도, 97.8% 정밀도, 97.6% 회상 및 97.6% F1 측정을 달성할 수 있는 잠재력을 보여줍니다. 또한 생성된 모델은 95.94%의 Cohen's kappa 값을 보여 양호한 일치를 나타냅니다. 이 연구는 환자 결과를 개선하고 보다 효율적인 의료 서비스 제공을 촉진하는 신뢰할 수 있는 자동화된 질병 감지 기술을 개발하기 위한 추가 노력을 지원합니다.

Introduction

무릎 골관절염(KOA)은 많은 사람들에게 영향을 미치고 환자와 의료 기관 모두에게 상당한 부담을 주는 전 세계적으로 중요한 공중 보건 문제입니다. 이 장애에서는 무릎 관절의 관절 연골이 점차 악화됩니다. 나이, 비만, 관절 외상, 생체역학적 변수 및 유전적 감수성이 혼합된 복잡하고 다차원적인 병인을 가지고 있습니다¹.

구조적 무결성이 상실되면 연골이 얇아지고 균열이 생기고 결국 침식되어 밑에 있는 뼈가 노출됩니다. KOA의 증상은 시간이 지남에 따라 광범위하고 자주 악화될 수 있으며, 약간의 불편함부터 참을 수 없는 통증^{및 기능 상}실에 이르기까지 2. 무릎 통증의 주요 징후는 일반적으로 체중 부하 운동과 장기간의 활동으로 인해 악화됩니다. 일반적인 관찰에는 특히 휴식 시간 동안의 경직, 부종, 염발음 및 운동 범위 감소가 포함됩니다³. 이러한 증상은 일상적인 기능을 심각하게 방해하여 기능을 제한하고 이를 경험하는 사람들의 삶의 질을 저하시킵니다.

여기서 테스트된 가설은 자동화된 딥 러닝 기반 모델이 전문 방사선 전문의와 동등한 진단 성능을 발휘할 수 있으며 Kellgren-Lawrence 등급 시스템을 사용하여 이미징 데이터에서 KOA의 중증도 수준을 정확하게 진단할 수 있다는 것입니다.

이 연구의 목적은 무릎 골관절염을 진단하고 등급을 매기는 전통적인 방법과 관련된 고유한 한계에서 비롯됩니다. 전통적으로 방사선 영상, 특히 무릎 X선 분석을 통해 관절 손상 정도를 평가합니다. 그럼에도 불구하고 이러한 이미지의 신체 검사는 가변성에 취약하고 시간이 많이 걸릴 수 있습니다⁴. 딥 러닝 및 머신 러닝(ML) 분야의 발전은 KOA 탐지 및 등급의 정확성을 자동화하고 향상시켜 보다 표준화되고 효율적인 접근 방식을 제공할 수 있는 유망한 경로를 제공합니다. 이는 개입이 상태가 진행됨에 따라 환자의 생활 수준 변화에 실질적인 영향을 미칠 수 있는 상태의 초기 단계에서 특히 중요합니다.

기계 학습 접근 방식: KOA 식별을 자동화하려는 첫 번째 시도는 고전적인 기계 학습 방법을 기반으로 했습니다. K-Nearest Neighbors, Support Vector Machine 및 Decision Tree와 같은 전략은 무릎 X선 이미지에서 가져온 수작업의 기능에 의존했습니다. 일부 자동화를 제공했지만 수동으로 파생된 특성의 품질과 관련성이 얼마나 효과적인지에 대한 주요 요소였습니다. 이로 인해 일반화 가능성과 성능이 저하되는 경우가 많았습니다⁵.

딥 러닝(DL) 접근 방식: 컨볼루션 신경망 또는 딥 러닝의 출현은 이 분야에서 중요한 이정표였습니다. 자동화된 특징 추출로 명성이 높은 CNN(Convolutional Neural Networks)은 KOA 이미지 분석에서 점점 더 대중화되고 있습니다. 기존의 ML 기술과 비교하여 이러한 알고리즘은 정확도와 이미지에서 직접 복잡한 패턴을 인식하는 능력 측면에서 눈에 띄는 개선을 보여주었습니다 ^6,7.

전이 학습(TL): 이를 통해 대규모 일반 데이터 세트에 대해 사전 훈련된 후 의료 영상이 필요한 작업에 맞게 모델을 맞춤화할 수 있으며, 최근 연구에서 인기를 얻고 있습니다⁸. 이 접근 방식은 작고 전문적인 데이터 세트가 일반적인 의료 분야에서 특히 효과적입니다.

KOA 심각도 분류의 개선된 결과는 더 큰 작업에서 학습한 일반적인 기능을 사용하고 이를 의료 영상 분석의 특정 미묘함에 맞게 조정하는 TL에 의해 강조됩니다 ^9,10.

방사선 촬영 이미지를 사용한 KOA 식별 및 등급 지정을 위해 최근 몇 년 동안 여러 자동화 기술, 특히 딥 러닝 모델이 조사되었습니다^11,12. 그럼에도 불구하고 현재 많은 모델은 데이터 세트의 불균형 및 해석 가능성과 관련된 문제를 적절하게 처리하지 못하거나 초기 단계에서 문제를 충분히 정확하게 감지하지 못합니다. 여기에서 제안된 방법은 향상된 기능 추출을 위한 XceptionNet 모델의 설계 변경, 모델 신뢰성을 높이기 위한 클래스 밸런싱 기술, 무릎 관절 기능을 개선하도록 설계된 맞춤형 전처리 파이프라인이라는 세 가지 중요한 개선 사항을 추가하여 이 프레임워크를 확장합니다. 보다 정확하고 신뢰할 수 있는 KOA 분류를 지원하는 것과 함께 이러한 개선 사항은 기존 전이 학습 기술에 비해 상당한 개선을 제공합니다.

DL과 ML이 KOA 분석에서 상당한 진전을 보였음에도 불구하고 주로 정확한 분류 달성, 해석 가능성 향상 및 데이터 불균형 관리 측면에서 극복해야 할 과제가 여전히 남아 있습니다. 제안된 연구는 보다 철저하고 투명하며 공평한 평가를 제공함으로써 이전 연구 13,14,15,16,17,18,19,20,21,22를 확장하여 자동화된 KOA 진단 및 등급에서 현재 가능한 것의 경계를 넓힙니다. 표 1은 골관절염 감지에서 수행된 현재 연구 분석을 간략하게 설명합니다.

공부	목표		요약
Hu 외13	MR 이미지를 사용하여 무릎 골관절염 진행을 예측하기 위해 DeepKOA를 개발합니다.		DeepKOA는 유망한 무릎 골관절염 예측 기능을 보여주며 임상 환경에서 딥러닝의 잠재력을 강조합니다. 추가 검증이 필요합니다.
Guida 외 14	X-레이, MRI 및 임상 데이터를 통합하여 OA 중증도 분류를 강화합니다.		융합 모델은 OA 분류 정확도를 크게 향상시켜 다중 모드 접근 방식의 이점을 강조합니다. 향후 연구에서는 일반화 가능성을 다루어야 합니다.
벤살마 외15	다중 모드 분석을 사용하여 무릎 골관절염 환자의 다양한 요인 간의 연관성을 확인합니다.		이 연구는 무릎 골관절염의 여러 요인 간의 상호 관계를 밝혀 표적 개입 및 추가 조사를 위한 방법을 제시합니다.
Koppold 외 16	장기간의 수정 단식이 골관절염 증상에 미치는 영향을 조사합니다.		수정된 단식은 골관절염 환자에서 눈에 띄는 증상 개선을 보여 치료 전략으로서의 잠재력을 나타냅니다. 더 많은 연구, 특히 무작위 대조 시험이 필요합니다.
Jain et al.17	X-레이에서 무릎 OA 중증도 평가를 위한 OsteoHRNet을 제시합니다.		OsteoHRNet은 X-레이를 통해 무릎 OA 중증도 분류의 정확도를 향상시켜 임상 적용 가능성을 나타냅니다. 추가 데이터 세트 유효성 검사가 권장됩니다.
아프로즈 외18	다양한 영상 기법에 걸쳐 골관절염(OA) 감지를 위한 기계 학습 기반 방법을 평가합니다.		이 검토에서는 기계 학습 기반 OA 탐지의 중요한 격차를 식별하고 표준화된 접근 방식과 경험적 모델의 필요성을 강조합니다.
테오 외 19	방사선 촬영에서 상세한 OA 진단을 위한 멀티태스킹 모델을 개발합니다.		멀티태스킹 모델은 개별 OA 특징과 통증 강도를 예측하여 OA 진단의 정확성을 향상시켜 정확한 개입의 가능성을 제시합니다. 이러한 결과를 확장하기 위해 추가 연구가 권장됩니다.
Zhang et al.20	MRI에서 다단계 무릎 연골 손상 분류를 위한 모델을 만듭니다.		이 모델은 MRI를 이용한 무릎 연골 손상 분류에 높은 정확도를 제공하여 비침습적 진단 도구로서의 가능성을 보여줍니다. 추가 모집단 간 검증이 권장됩니다.
리 외 21	멀티뷰 이미지 및 사전 정보의 영향과 X-레이를 사용하여 무릎 골관절염을 식별하고 분류하는 딥러닝 모델의 능력을 조사합니다.		KOA의 KL 등급은 DL 모델을 사용하여 올바르게 식별되고 분류되었습니다. 또한 사전 지식과 멀티뷰 X선 이미지는 분류 효과를 향상시켰습니다.
라트나 외 22	무릎 골관절염 연구에서 기계 학습이 어떻게 사용되는지 살펴보고 상태의 진행과 조기 진단을 더 잘 이해합니다.		이 연구는 기계 학습이 특히 조기 진단 및 이해 개발 측면에서 OA 연구에 어떤 영향을 미쳤는지 강조하고 임상 통합을 개선하기 위해 더 많은 연구를 권장합니다.

표 1: 무릎 골관절염 감지에 대한 최근 작업 개요.

이 작업의 주요 기여에는 무릎 골관절염 등급을 위한 수정된 XceptionNet 아키텍처인 OsteoXceptionNet과 진단의 정확성을 높이기 위해 특별히 제작된 전처리 파이프라인의 사용이 포함됩니다. OAI(Osteoarthritis Initiative) 데이터 세트는 훈련에 사용되며 많은 기본 설계가 평가에 사용됩니다. 데이터 세트 및 준비 기술은 관련 문헌을 검토한 후 연구의 후속 부분에서 설명합니다. 실험 결과에 대한 개요와 임상적 중요성에 대한 논의에 이어 주요 결과를 요약하고 향후 방향을 제시하기 전에 제안된 모델 아키텍처를 더 자세히 조사합니다.

데이터 세트 및 실험 구성
다양한 임상 위치에서 시간이 지남에 따라 수집된 수천 개의 주석이 달린 무릎 X선 이미지로 구성된 OAI 데이터 세트는 이 연구에 사용할 수 있도록 공개적으로 제공됩니다. 이 연구에 사용된 9786개의 무릎 X선 이미지로 5가지 Kellgren-Lawrence(KL) 등급의 무릎 골관절염이 나타났습니다: 건강(3857개 이미지), 의심스러움(1770개), 최소(2578개), 중등도(1286개) 및 중증(295개). 전처리 중에 모든 이미지는 쌍선형 보간을 사용하여 224 x 224 픽셀로 균일하게 조정되었습니다. 제안된 OsteoXceptionNet 프레임워크는 실험 환경에서 무릎 관절 구조를 자동으로 분할한 다음 KOA 심각도 등급으로 분류하는 데 사용되었습니다.

가능한 한 많은 클래스 균형을 보장하기 위해 데이터 세트는 훈련(80%), 검증(10%) 및 테스트(10%)를 위한 하위 그룹으로 나뉘었습니다. 데이터 세트에는 클래스 불균형과 같은 유용성에도 불구하고 다른 것보다 심각한 그룹에 속하는 샘플이 적은 몇 가지 단점이 있습니다. 또한 데이터 세트에는 방사선 영상만 포함됩니다. 자기공명영상(MRI)이나 임상 정보와 같은 다중 모드 입력이 부족하여 일반화 가능성이 제한될 수 있습니다. 주로 북미 인구를 대표하기 때문에 다른 인종 그룹에 대한 데이터의 관련성을 제한하는 인구통계학적 왜곡은 또 다른 주목할만한 단점입니다. 가능한 경우 이러한 제한을 완화하기 위해 클래스 가중 손실 함수와 데이터 증강이 사용되었지만 이는 모델 성능을 분석할 때 여전히 중요한 고려 사항입니다.

방사선학적 결과를 기반으로 Kellgren-Lawrence(KL) 등급 시스템과 같은 등급 방법은 KOA의 중증도를 0등급(건강), 1등급(의심), 2등급(최소), 3등급(중등도) 및 4등급(중증)의 5가지 범주로 분류합니다.²³. KL 등급의 다양한 이미지가 그림 1에 나와 있습니다.

그림 1: 무릎 이미지의 KL 등급. 방사선학적 결과에 따라 KOA의 중증도는 0등급(건강), 1등급(의심), 2등급(최소), 3등급(중등도), 4등급(중증)의 5가지 범주로 분류되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

Protocol

이 섹션에서는 수정된 XceptionNet 모델을 사용하여 무릎 골관절염 진단 및 등급을 향상시키기 위해 고안된 포괄적인 접근 방식을 제시합니다. 제시된 방법론은 신중한 데이터 전처리, 철저한 모델 아키텍처 사용자 정의 및 강력한 평가 기술을 기반으로 하며, 이 모든 것은 무릎 OA 이미징과 관련된 복잡한 문제를 해결하기 위한 것입니다. 그림 2에는 모델의 흐름이 설명되어 있습니다.

그림 2: 모델의 워크플로우. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

데이터 세트 설명
이 연구에 사용된 데이터 세트는 KL 등급 기술을 기반으로 OA 등급이 할당된 OAI 데이터 세트의 무릎 X선 이미지 9,786개로 구성됩니다. KOA의 다양한 단계를 포괄하는 광범위한 인스턴스를 제공하는 이 데이터 세트는 제안된 모델²⁴를 훈련하고 평가하는 데 필수적입니다. 쌍선형 보간을 사용하여 모든 이미지의 크기를 조정했습니다. 이 기술은 무릎의 골관절염 분류에 중요한 해부학적 특징을 유지하는 데 필수적인 계산 효율성과 이미지 품질 유지 사이의 절충안을 이루기 때문에 선택되었습니다. 데이터 세트에서 등급은 0-4이며 0등급은 건강한 무릎을 나타내고 4등급은 심각한 골관절염을 나타냅니다. 이 등급은 복잡한 범위의 질병 진화를 제공하며, 이는 모델이 단계 전반에 걸친 미세한 변화를 이해하는 데 필수적입니다.

또한 데이터 세트는 테스트, 검증 및 훈련 세트로 구성되었습니다. 모델의 성능을 평가하고 훈련 세트를 과적합하지 않고 효과적으로 일반화하는 방법을 학습하는지 확인하려면 이 분할이 필수적이었습니다. 테스트 세트는 모델의 가중치를 수정하는 데에도 사용되었으므로 최종 모델의 효능에 대한 객관적인 평가를 제공합니다. 또한 검증 세트는 훈련 단계 전반에 걸쳐 하이퍼매개변수를 미세 조정하고 모델을 평가하는 데 도움이 됩니다. 데이터 분포에 대한 간략한 요약은 표 2에 나와 있으며 그림 3 은 이를 시각적으로 보여줍니다.

수업	자동 테스트	테스트	기차	발
0	604	639	2286	328
1	275	296	1046	153
2	403	447	1516	212
3	200	223	757	106
4	44	51	173	27

표 2: 데이터 세트에 대한 간략한 설명.

그림 3: 데이터 세트 분포. 데이터 세트는 테스트, 검증 및 훈련 세트로 구성되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

데이터 전처리
이 단계는 매우 중요하며 입력 데이터의 품질을 향상시켜 모델 성능을 향상시키는 것을 목표로 합니다. 전처리와 관련된 단계는 다음과 같습니다.

이미지 크기 조정: 전체 이미지 세트에 걸쳐 일관성을 제공하기 위해 모든 X선 이미지에 표준 치수가 적용됩니다. 이 단계는 모델이 이미지를 일관되고 효과적으로 처리하는 데 필수적입니다. 이 프로세스에서는 방정식 1이 사용됩니다.

새 이미지 크기 = 크기 조정(원본 이미지, 표준 치수)(1)

정규화: 이미지의 픽셀 값은 평균이 0이고 표준 편차가 1을 얻도록 표준화되었습니다. 이러한 종류의 정규화는 입력 값이 유사한 범위에 속하도록 보장하여 훈련 중 모델의 수렴 속도를 높입니다. 방정식 2는 이 정규화 단계를 수행하는 데 사용됩니다.

(2)

데이터 증강: 데이터 부족으로 인한 문제를 해결하고 모델의 일반화 능력을 향상시키기 위해 데이터 증강 전략이 사용되었습니다. 이러한 방법에는 대칭 이동, 확대/축소, 회전 및 이동이 포함됩니다. 그들은 훈련 데이터 세트에 의도적으로 추가된 새로운 이미지를 소개합니다. 방정식 3은 이 증강 절차의 구현에 사용됩니다.

증강 이미지 = 변형 적용(원본 이미지) (3)

모델의 견고성을 개선하고 과적합을 최소화하기 위해 훈련 세트에 가변성을 제공하기 위해 다양한 증강 기술이 사용되었습니다. 전단 범위 0.2, 확대/축소 범위 0.8에서 1.2(확대/축소 계수 0.2에 해당) 및 -30°에서 +30°의 무작위 회전 범위가 모두 훈련 데이터 증강에 포함되었습니다. 모델 일반화를 향상시키기 위해 수평 및 수직 대칭 전개는 모두 0.5의 확률로 허용되었습니다. 수직 및 수평 전단 모두에 대해 0.1 또는 10% 왜곡 ±의 전단 계수도 사용되었습니다.

클래스 밸런싱: 클래스 가중치 알고리즘은 데이터 세트의 클래스 불균형 가능성 때문에 사용되었습니다(일부 OA 클래스의 이미지가 다른 클래스보다 더 많음). 모델이 더 일반적인 클래스에 유리한 편향을 보여주는 것을 방지하기 위해 이 방법은 과소 대표된 클래스에 더 큰 가중치를 부여합니다. 이 과정에서는 방정식 4가 활용됩니다. 가중치를 결정하기 위해 다음 값이 사용되었습니다: 정상: 3857, 의심: 1770, 최소: 2578, 보통: 1286 및 심각: 295는 총 9786개의 표본과 5개의 클래스의 클래스별 분포입니다.

(4)

훈련 검증 분할: 데이터 세트는 전통적인 80:20 비율을 사용하여 검증 및 훈련 세트로 구성되었습니다. 데이터를 나누면 모델이 훈련 데이터에서 학습하고 검증 세트를 사용하여 정기적으로 성능을 평가할 수 있습니다. 이를 통해 과적합을 식별하고 모델의 일반화 능력을 평가할 수 있습니다.

데이터 파이프라인 최적화: 모델 훈련 중 효과적인 데이터 처리를 보장하기 위해 향상된 데이터 파이프라인이 설정되었습니다. 입력/출력 병목 현상을 줄이고 컴퓨팅 성능을 높이기 위해 이 파이프라인은 일괄 처리, 프리페치 및 병렬 데이터 추출 기술을 사용합니다. 훈련 효율성과 처리량을 개선하기 위해 입력 데이터 파이프라인이 개발되었습니다. 균형 잡힌 메모리 사용률과 계산 부하를 보장하기 위해 배치 크기 32가 사용되었습니다. 데이터 입력 효율성을 높이기 위해 map 함수에 num_parallel_calls=4를 사용하여 데이터 로딩 및 전처리를 병렬화했습니다. 또한 I/O 대기 시간을 최소화하기 위해 TensorFlow의 프리페치(buffer_size=tf.data.AUTOTUNE)를 사용하여 프리페치 버퍼 크기를 자동으로 조정할 수 있습니다. 이는 데이터 전처리 및 모델 실행을 효과적으로 겹쳤습니다

그림 4에서는 기본 전처리 후 다양한 종류의 이미지 몇 가지 인스턴스가 표시되어 있습니다.

그림 4: 데이터 세트의 인스턴스. 이 그림은 기본 전처리 후 다양한 클래스의 이미지 몇 가지 인스턴스를 보여줍니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

이러한 세심한 전처리 단계를 통해 데이터 세트는 수정된 XceptionNet 모델을 훈련하기 위한 강력한 기반으로 변환되어 정확하고 신뢰할 수 있는 KOA 감지 및 등급을 위한 기반을 마련합니다.

모델 아키텍처
기본 모델: 계산 효율성과 모델 복잡성 사이의 최상의 균형을 달성하기 위해 깊이별 분리 가능한 컨볼루션을 사용하는 독특한 설계를 통해 François Chollet이 만든 XceptionNet 모델은²⁵. 방정식 5는 깊이별 분리 가능한 컨볼루션을 구현하는 데 사용되었습니다.

깊이 분리 가능한 컨볼루션(x) = 점(깊이(x)) (5)

이는 여러 가지 이유로 특히 이 연구와 관련이 있습니다. 첫째, 그 아키텍처는 이미지에서 상세하고 계층적인 특징을 추출하는 것으로 알려져 있으며, 이는 미묘한 특징이 상태의 다양한 단계를 나타낼 수 있는 의료 이미지 분석에 매우 중요합니다. 둘째, 제안된 모델은 무릎 골관절염을 감지하고 등급을 매기는 것을 목표로 하는 여러 이미지 분류 작업에서 뛰어난 효율성을 입증한 XceptionNet 아키텍처를 기반으로 합니다²⁶.

제시된 OsteoXceptionNet은 X선 이미지에서 무릎의 골관절염을 자동으로 분류하기 위해 특별히 만들어진 XceptionNet 아키텍처의 맞춤형 버전입니다. 중요한 변경 사항에는 무릎 관절 구조에 특정한 특징 추출을 개선하기 위해 3개의 컨볼루션 블록(필터: 512, 256 및 128)이 추가되었으며, 필터 크기가 3 x 3이고 입구, 중간 및 출구 흐름에 걸쳐 32에서 1024 범위의 가변 필터 수를 갖는 컨볼루션 레이어가 추가되었습니다. 배치 정규화 및 ReLU 활성화는 각 컨볼루션 레이어 뒤에 발생하며 과적합을 최소화하기 위해 드롭아웃 레이어가 추가됩니다. 224 x 224 픽셀 표준은 모델 입력에 사용됩니다.

미세 조정 및 수정
수정: XceptionNet 모델은 KOA 등급 및 감지에 적합하도록 몇 가지 방법으로 전략적으로 수정되었습니다.

미세 조정: 사전 훈련된 XceptionNet 모델의 최상위 레이어가 고정되지 않아 모델이 무릎의 X선 이미지와 관련된 높은 수준의 특징을 학습할 수 있습니다. 모델 미세 조정은 방정식 6에 따라 수행되었습니다.

(6)

여기서 θ_{미세 조정은} 미세 조정 후의 매개변수입니다. θ_{사전 훈련은} 사전 훈련된 매개변수입니다. λ는 학습률입니다. ∇_{θ사전 훈련된}손실은 사전 훈련된 매개변수와 관련된 손실 함수의 기울기입니다.

추가 컨볼루션 레이어: 모델의 마지막 단계에서 추가 컨볼루션 레이어가 도입되었습니다. 이러한 계층은 다양한 OA 등급과 관련된 더 세밀한 세부 정보를 추출하는 데 집중하기 위해 커널 크기가 더 작습니다. 방정식 7을 사용하여 사용되었습니다.

컨볼루션 출력 = 컨볼루션(입력,커널) (7)

배치 정규화: 추가된 각 컨볼루션 레이어에 이어 학습을 안정화하고 수렴 속도를 향상시키기 위해 배치 정규화가 적용됩니다. 방정식 8을 사용하여 사용됩니다.

(8)

여기서 는 정규화된 출력이고, x는 배치 정규화 계층 입력이고, μ는 입력 배치의 평균이며, σ2는 입력 배치의 분산이며, ε는 수치 안정성을 위한 최소 상수입니다.

활성화 함수: ReLU 활성화 함수는 보조 계층에서 활용되어 비선형성을 도입함으로써 모델이 데이터에서 더 복잡한 구조를 획득할 수 있도록 합니다. ReLU는 방정식 9를 사용하여 계산됩니다.

ReLU(x) = 최대(0,x) (9)

여기서 x는 ReLU 활성화 함수 입력입니다.

드롭아웃: 과적합을 방지하기 위해 특히 새로 추가된 레이어 이후에 드롭아웃 레이어가 통합되어 보이지 않는 데이터에서도 모델의 일반화를 보장합니다. 방정식 10을 사용하여 수행되었습니다.

출력 = 입력 × 마스크(10)

출력 계층 구성
출력 계층: 원래 XceptionNet 모델은 출력 계층에서 Softmax 활성화 함수를 사용하여 다중 클래스 분류를 위해 구성되어 있습니다. 이 적응된 모델에서 출력 계층은 0등급에서 4등급까지, 즉 건강한 수준에서 중증 수준에 이르는 무릎 골관절염의 5가지 등급을 나타내도록 사용자 정의됩니다. 정확하게는 이 층은 각각 OA 등급 중 하나에 해당하는 5개의 뉴런으로 구성됩니다. Softmax 활성화 함수는 이 계층에서 5개 클래스에 걸쳐 확률 분포를 생성하여 제안된 모델이 주어진 무릎 X선 이미지에 대한 적절한 OA 등급을 예측할 수 있도록 했습니다. 이 접근 방식은 모델의 출력을 임상 등급 척도와 직접 일치시켜 의료 전문가를 위한 모델 예측의 직관적이고 실용적인 해석을 용이하게 합니다.

XceptionNet 아키텍처는 무릎 골관절염의 중증도를 분류하려는 제시된 연구의 목적을 위해 ImageNet 데이터 세트에서 처음 사전 훈련된 것에 맞게 특별히 맞춤화되었습니다. 이 모델은 ImageNet의 사전 훈련된 가중치를 사용하여 크고 다양한 데이터 세트에서 학습된 기능을 활용하여 강력한 기반을 제공했습니다. 제안된 연구를 위한 기본 XceptionNet 모델을 사용자 정의하기 위해 많은 새로운 계층이 추가되었습니다.

먼저, 2D 컨볼루션 레이어는 서로 다른 수의 필터 및 커널 크기와 결합되었으며, 각 필터는 ReLU 및 배치 정규화에 의해 활성화되어 비선형성을 추가했습니다. 이러한 추가 레이어는 무릎 골관절염의 중증도와 관련된 특징을 포착하고 증폭시키기 위한 것입니다. 그런 다음 모델은 중요한 데이터를 유지하면서 기능 맵을 축소하는 GAP(Global Average Pooling 2D) 레이어를 추가하여 마지막 분류 단계를 준비했습니다. 특히, GAP 연산은 깊이를 유지하면서 각 기능 맵의 공간 차원을 단일 값으로 줄임으로써 데이터 손실을 최소화하면서 차원 감소를 달성하며, 깊이는 7 x 7 x 1024에서 1 x 1 x 1024까지 다양할 수 있습니다. GAP 계층의 출력은 로짓을 확률로 변환하여 다중 클래스 분류를 가능하게 하는 Softmax 활성화 함수에 공급되었습니다. 방정식 11, 12, 13, 14, 15, 16 및 17은 각각 GAP, Softmax 활성화, 기능 맵 계산, 학습률 감소, 모델 컴파일, 클래스 가중치 조정 및 다중 클래스 분류 손실에 사용됩니다.

(11)

여기서 x_i,j는 기능 맵의 i번째 행과 j번째 열의 활성화입니다. H는 기능 맵 높이입니다. W는 기능 맵 너비입니다.

(12)

여기서 x_i 는 클래스 i에 대한 Softmax 함수에 대한 입력입니다. n은 클래스 수입니다.

기능 맵 = σ(컨볼루션(입력,커널) + 바이어스) (13)

여기서 Convolution은 컨볼루션 연산입니다. i 는 활성화 함수입니다. 입력은 레이어에 대한 입력 텐서입니다. 커널은 컨볼루션 커널입니다. 편향은 편향 용어입니다.

새로운 학습률 = 학습률 × 요인 (14)

모델 = 컴파일(아키텍처, 손실, 최적화 프로그램, 메트릭) (15)

(16)

여기서 Weight_class 는 클래스에 할당된 가중치입니다. Total Samples는 데이터 세트의 total_number_of_samples입니다. Number_of_Classes는 데이터 세트 내부의 고유한 클래스 수입니다. Sample in Class는 특정 클래스의 샘플 수입니다.

(17)

여기서 y_i는 클래스 i에 대한 실제 확률 분포입니다. p_i는 클래스 I 확률 분포 예측입니다. N은 클래스 수입니다.

마지막으로, 이제 사용자 정의 계층과 함께 수정된 XceptionNet 아키텍처로 구성된 모델이 각 클래스에 대한 확률을 예측하도록 컴파일되었습니다. 이러한 수정을 통해 목표는 다양한 등급의 무릎 골관절염 중증도와 관련된 미묘한 특징을 식별하는 모델의 능력을 강화하여 특정 작업에 대한 분류 성능을 향상시키는 것이었습니다.

안정적이고 효과적인 수렴을 위해 Adam 옵티마이저를 사용하여 학습 속도 0.0001로 모델을 훈련했으며, 과적합을 최소화하기 위해 탈락률로 0.5를 사용했습니다. 모델 복잡성을 제한하고 일반화를 개선하기 위해 L1 및 L2 정규화 전략이 모두 사용되었습니다. 정수 레이블이 있는 다중 클래스 분류 문제의 경우 희소 범주형 교차엔트로피가 적합한 손실 함수였습니다. 훈련은 50 에포크 동안 수행되었습니다. 최종 활성화 함수인 Softmax는 클래스 확률 분포를 생성하는 데 사용되었습니다. 또한 훈련에는 64단계 크기가 사용되었습니다.

훈련: 훈련 과정은 매우 중요한 단계였습니다. 이 단계에서 수정된 XceptionNet 모델은 방사선 이미지에서 KOA의 정확한 감지 및 등급을 학습합니다. Keras 버전 2.6.0 및 TensorFlow 백엔드 버전 2.6.0은 XceptionNet 모델을 구현하는 데 사용되었습니다. 다음은 손실 함수, 최적화 프로그램, 콜백, 배치 크기 및 에포크를 포함하여 훈련 단계의 주요 구성 요소에 대한 세부 정보입니다.

Loss_Function: 다중 클래스 분류 작업의 경우 범주형 cross_entropy가 사용되었습니다. 이 손실 함수는 각 인스턴스가 범주²⁷의 집합 중 하나만의 레이블에 할당될 것으로 예상되는 문제에 특히 적합하다. 0과 1 이내의 확률 점수를 생성하여 모델의 성능을 평가합니다. 이 손실은 예측된 확률이 실제 레이블과 다를 때 증가하기 때문에 KOA 심각도를 정확하게 예측하기 위해 이 모델을 효과적으로 훈련하기 위한 게이지로 사용되었습니다.

옵티마이저: 효율성과 동적 학습률 특성으로 잘 알려진 Adam 옵티마이저가 사용되었습니다. Adam은 AdaGrad 및 RMSProp 알고리즘의 유리한 특성을 통합하여 노이즈가 많은 문제 설정에서 희소 기울기를 관리하는 데 능숙한 최적화 알고리즘을 제공합니다²⁸.

Adam 옵티마이저의 주요 매개변수
학습률: 0.0001의 학습률이 사용되어 옵티마이저가 초기에 가중치를 크게 조정하여 학습 프로세스를 최적화할 수 있었습니다.

베타1 및 베타2: 이 매개변수는 이전 기울기의 제곱 기울기와 이동 평균이 각각 감소하는 속도를 조절합니다. beta1의 경우 기본값인 0.9, beta2의 경우 0.999가 사용됩니다.

Epsilon: 이 매개변수는 구현에서 0으로 나누는 것을 방지하며 0에 가까운 작은 숫자로 설정합니다.

콜백: 콜백은 훈련 중에 모델의 성능을 모니터링하고 조정하는 데 사용됩니다. 다음 콜백이 사용되었습니다.

Early_Stopping: 모델의 검증 손실을 모니터링하고 미리 정의된 에포크 수(인내라고 함) 동안 손실이 감소하지 않는 경우 훈련 프로세스를 중지하는 데 사용됩니다. 검증 데이터가 더 이상 모델 성능의 개선을 보여주지 않으면 훈련 프로세스가 중지되어 과적합을 방지하는 데 도움이 됩니다.

LROn Plateau 감소: 이 콜백은 검증 손실이 개선되지 않을 때 학습률을 감소시켜 가중치를 더 세밀하게 조정할 수 있게 하여 잠재적으로 전체 모델 성능을 향상시킬 수 있습니다²⁹.

모델 체크포인트: 이 콜백은 특정 간격으로 모델을 저장하므로 학습 프로세스가 완료되면 최상의 모델 버전을 검색할 수 있습니다. 일반적으로 검증 정확도 또는 손실을 모니터링하고 개선 사항이 감지될 때마다 모델 가중치를 저장합니다.

배치 크기 및 에포크:
배치 크기: 32는 모델 수렴 안정성과 컴퓨팅 효율성에 대한 요구 사항의 균형을 맞추기 위해 사용된 일반적인 배치 크기입니다. 배치 크기 32는 계산 최적화를 활용할 수 있을 만큼 충분히 크면서도 기울기를 안정적으로 추정할 수 있을 만큼 작다는 균형을 이룹니다.

에포크: 모델은 최대 50개의 에포크에 대해 훈련하도록 설정되어 있지만 EarlyStopping 콜백이 트리거되면 훈련이 일찍 중지될 수 있습니다. 50개의 에포크는 가중치를 조정하고 모델이 수렴할 수 있는 충분한 반복을 제공하는 반면, EarlyStopping은 학습이 불필요하게 계속되지 않도록 합니다.

이러한 매개변수를 꼼꼼하게 설정하고 콜백을 활용함으로써 모델이 효과적으로 학습하고 보이지 않는 데이터에 잘 일반화되도록 훈련 프로세스가 최적화되었습니다. 모든 클래스가 모델 예측에서 공정하고 정확하게 표현되도록 보장하기 위해 데이터 불균형 문제를 해결하기 위해 여러 가지 접근 방식이 사용되었습니다. 첫째, 일부 클래스의 과소 대표성을 보완하기 위해 교육 단계 전반에 걸쳐 클래스 가중치가 사용되었습니다. 표본이 적은 클래스에는 더 큰 가중치가 부여되었습니다. 훈련 중 클래스 불균형의 영향을 더욱 줄이기 위해 Keras의 ImageDataGenerator를 사용하여 모델이 각 배치⁽³⁰)에서 다양한 클래스에 노출되도록 했습니다.

평가 메트릭
개발된 모델의 효능을 평가할 때 아래에 설명된 수많은 매개변수가 활용되었습니다.

정확도(ACC): 모든 관측치에 대한 정확하게 예측된 관측치의 비율은 이 통계량으로 정량화됩니다. 대상 클래스가 균등하게 분산되면 유익합니다. 계산은 방정식 18을 기반으로 합니다.

(18)

정밀도(PR): 모델의 정밀도는 예상되는 모든 양성 사례와 양성 사례를 얼마나 잘 구별할 수 있는지를 측정합니다. 오탐률이 상당한 상황에서는 매우 중요합니다. 계산은 방정식 19를 기반으로 합니다.

 (19)

재현율(R): 민감도라고도 하는 재현율은 올바르게 감지된 진양성의 비율을 정량화합니다. 좋은 예를 무시하면 심각한 영향을 미칠 수 있는 상황에서 특히 중요합니다. 계산에는 방정식 20이 포함됩니다.

 (20)

F1_Score: 정밀도(PR)와 재현율(R)의 조화 평균으로, 특히 클래스 분포가 고르지 않은 경우 공정한 평가를 제공합니다. 계산에는 방정식 21이 포함됩니다.

(21)

ROC AUC: 수신기 작동 특성에 대한 곡선 아래 면적(ROC AUC)은 클래스를 구별하는 모델의 능력을 정량화합니다. 높은 AUC 값은 우수한 모델 성능을 의미합니다. 계산은 방정식 22를 기반으로 합니다.

(22)

Cohen's Kappa(CK): 이 지표는 N개 항목을 C 상호 배타적인 클래스로 분류하는 두 평가자 간의 일치성을 평가합니다. 특히 불균형한 클래스를 처리할 때 정확도에 비해 더 큰 견고성을 제공합니다. 계산에는 방정식 23이 포함됩니다.

(23)

메트릭 평균 절대 오차(MAE), 평균 제곱근 오차(RMSE) 및 평균 제곱 오차(MSE): 회귀 작업에 일반적으로 사용되지만 이러한 매개변수는 분류 시나리오, 특히 서수 분류에서 유용한 계시를 제공할 수 있습니다. 그들은 실제 값과 예측 값의 차이를 계산합니다. 이러한 메트릭은 각각 방정식 24, 25 및 26을 사용하여 계산되었습니다.

(24)

(25)

(26)

F2 점수: F2 점수는 정밀도보다 재현율을 우선시하며, 이는 긍정적인 예측을 간과하면 거짓 양성을 생성하는 것보다 더 큰 비용이 발생하는 시나리오에서 유용합니다. 계산에는 방정식 27이 포함됩니다.

(27)

정밀도 및 재현율 곡선: 이 그래프는 다양한 수준에서 재현율과 정확도의 균형이 어떻게 유지되는지 보여줍니다. 곡선 아래 면적이 클수록 재현율과 정밀도 수준이 모두 높아집니다.

위의 매개변수는 특히 데이터 세트의 불균형과 다양한 등급의 무릎 골관절염을 정확하게 식별하는 것의 중요성의 맥락에서 모든 차원에서 모델의 성능에 대한 철저한 평가를 제공하기 위해 선택되었습니다.

Results

모델의 검증 단계 전반에 걸쳐 아직 관찰되지 않은 데이터로 일반화되도록 보장하기 위해 몇 가지 중요한 조치가 취해졌습니다. 처음에 데이터 세트는 훈련 세트와 검증 세트로 나뉩니다. 이는 훈련에 사용되지 않은 데이터 세트에서 모델의 성능을 평가하는 데 사용되는 일반적인 절차입니다. 훈련 및 검증을 위한 별도의 데이터 세트를 제공함으로써 이러한 분리는 과적합을 방지하고 모델 효율성을 철저히 평가할 수 있게 했습니다.

데이터 증강 접근 방식을 사용하여 훈련을 더욱 개선하고 과적합을 막았습니다. 이러한 방법은 훈련 데이터를 향상시켜 이미지에 회전, 변환 및 대칭 이동을 추가했습니다. 이 모델은 훈련 데이터의 다양성을 확장하여 보이지 않는 입력 데이터의 분산을 일반화하는 능력이 더 뛰어났습니다. 모델 체크포인트는 훈련 프로세스 중에 일정한 간격으로 모델 가중치를 저장하는 데 사용되었습니다. 이 방법을 사용하면 검증 정확도를 기반으로 최고 성능의 모델을 찾을 수 있어 최종 모델이 계속해서 ...

Discussion

이 연구는 X선 이미지를 사용한 KOA 등급을 위한 자동화된 딥 러닝 기반 기술을 제시했습니다. XceptionNet 아키텍처를 사용한 이 모델은 다양한 평가 측정에서 주목할만한 견고성과 정확성을 보여 임상 환경에서 사용될 수 있음을 시사합니다.

현재 방법론 외에도 외부 데이터 세트 검증을 사용하여 가설을 추가로 확인하고 다양한 이미징 조건 및 인구통계학적 데이터에 걸쳐 모델의 일반화 가능성을 평가할 수 있습니다. 실시간 임상 운영에서 모델의 효과는 또한 전향적 연구를 통해 평가될 수 있으며, 이는 적용 가능성에 대한 유용한 정보를 제공할 것입니다^40,41. 또한, 전처리 및 모델 파이프라인의 각 부분의 구체적인 기여는 절제 연구를 통해 확인할 수 있습니다. 예측 정확도가 향상될 수 있으며 임상 또는 인구통계학적 데...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Jupyter 노트북/Colab	프로젝트 Jupyter / Google	해당 사항 없음	대화식으로 모델을 개발하고 실험합니다.
Matplotlib (버전 : 3.4.3) & Seaborn (버전 : 0.11.2)	커뮤니티	해당 사항 없음	데이터 시각화 및 결과 플롯용.
Mendeley/Kaggle 데이터	엘스비어; 커뮤니티	해당 사항 없음	데이터 세트 소스: 무릎 골관절염 중증도 등급 데이터 세트
OpenCV (버전 : 4.5.5)	인텔	해당 사항 없음	X선 이미지 전처리(크기 조정, CLAHE, 가우스 필터링)용.
파이썬(버전: 3.8)	파이썬 소프트웨어 재단	해당 사항 없음	모델 개발에 사용되는 프로그래밍 언어입니다.
scikit-learn(버전: 1.0.2)	커뮤니티	해당 사항 없음	데이터 분할, 성능 지표 및 기본 ML 유틸리티에 사용됩니다.
TensorFlow/케라스	구글/커뮤니티	해당 사항 없음	XceptionNet 기반 딥 러닝 모델을 구현하고 학습하는 데 사용됩니다. Tensorflow 버전: 2.6.0, RRID:SCR_018932. Keras 버전: 2.6.0, RRID:SCR_018961
우분투 OS	교회법에 의거한	해당 사항 없음	모든 소프트웨어 도구와의 호환성을 위해 사용되는 운영 체제입니다. 버전 20.04를 권장합니다.