자동 관절 공간 탐지, 골 분할 정확도 향상

Summary

자동화된 관절 공간 탐지 워크플로우 개발로 야생 동물에서 >98%의 정확도로 뚜렷한 쥐 뒷발뼈의 고처리량 분할이 가능해졌습니다. 염증성 침식성 관절염이 있는 앞발과 발에 유연한 적용이 가능했으나, 성능 저하로 인해 공개된 데이터를 활용한 향후 연구에서 추가 최적화가 필요하다.

Abstract

복잡한 해부학적 구조의 정량적 기술은 수작업 분할, 노동, 관측자 간 변동성에 필요한 전문성 때문에 여전히 도전적입니다. 이를 극복하기 위해 딥러닝(DL) 모델을 포함한 디지털 이미지 분석 기법을 통해 특정 랜드마크의 자동 탐지를 수행할 수 있습니다. 이를 위해 우리는 쥐의 뒷발과 앞발의 마이크로 컴퓨터 단층촬영(micro-CT) 데이터셋에 대한 감독 하에 자동 분석을 수행했습니다. 이전에 발표된 반자동화(SA) 마커 기반 분수령 알고리즘을 넘어, 구조 강화, 텐서 투표, 출력 지연을 추가하여 관절 공간을 식별하였습니다. 분할은 야생형(WT) 힌드포 레이블을 실제 진실로 사용하여 DL 공동 공간 예측 모델(3D U-Net 아키텍처, ResNet-18 백본)을 활용하여 강화되었습니다. 예측은 연령에 걸쳐 염증성 침식성 관절염을 가진 WT 및 종양 괴사 인자 형질전환(TNF-Tg) 마우스의 뒷발과 앞발로 확장되었습니다. 분할 정확도는 DL 방법론을 사용하여 크게 향상되었습니다. TNF-Tg 마우스에서 질병 중증도와 연령이 증가할수록 정확도가 감소했습니다. 앞발 검사 결과, 관절염 심각도가 증가함에 따라 정확도가 점차 감소하는 것이 나타났습니다. 전반적으로 이 감독 자동화 모델은 건강한 관절에서 최근 SA 접근법보다 뛰어난 성능을 보여 복잡한 뼈 해부학 연구를 향상시킵니다. 새로운 데이터셋과 질병 변형 데이터셋에 유연한 적용이 성능 저하를 보여주지만, 활용은 구조별 세분화 모델 개발을 촉진할 수 있습니다.

Introduction

고품질 영상 분석은 연구 활동을 향상시킬 뿐만 아니라, 임상 방사선과 의사들이 병리학적 변화를 감지하고 정량화하려는 데 도움을 줄 잠재력을 지니고 있습니다. 이는 환자 치료에 필수적인 과제입니다. 이미지 분석은 특징 추출, 일반적인 이미지를 의미 있는 라벨로 변환하는 과정, 정량^{적 지표 도}출 등 상세한 절차의 연속입니다. 이 과정의 상당 부분은 밀도나 색상에 기반한 임계값 구조와 같은 사전 지식에 의해 구동되며, 이후 이미지 처리 알고리즘(예: 확장, 침식, 부활화, 분리)을 적용하여 원하는 분할을 달성합니다. 최적화가 완료되면 분할된 이미지는 복잡한 특징을 신경망을 이용해 인코딩 및 해독하는 딥러닝(^DL)을 포함한 지도 기반 머신러닝²에 입력을 제공하여 이미지 분할 정확도와 처리량이 향상됩니다.

실제로 다양한 3D 합성곱 신경망(CNN)의 구현은 골격 이미지 분석을 위한 자동 골절 분할 알고리즘에 중요한 발전을 가져왔으며, 일부 모델은 인간의 분할보다 더 뛰어난 성능을 보였습니다^. 3D 세그멘테이션 CNN은 서로 다른 아키텍처(예: AlexNet, ResNet, UNet)를 통해 작동하지만, 출력은 근본적으로 동일하며, 배경에서 뼈 양의 부피를 나타내는 이미지 마스크입니다. 근골격계 이미지 분석에서의 이러한 딥러닝 모델은 빠르게 개발되어 왔으며, 이 분야는 단순한 2D 골절 검출 문제⁵ 에서 데이터셋 내 인공물 잡음이나 이상 특징을 다룰 수 있는 복잡한 다중 관절 문제⁶ 로 빠르게 발전했습니다. 예를 들어, Woo 등은 MRI에서 나타나는 구조적 이상(예: 골수 병변, 골낭종)이 무릎 관절 연골에 대한 분절 예측을 저하시킨다는 점을 발견했습니다. 따라서 그들은 먼저 관련 없는 이상 구조를 식별하기 위해 이상 인식 분할 모델을 개발했으며, 이는 뼈와 연골의 분할을 획기적으로 개선했습니다⁷. 그는 손 주요 관절의 ROI를 기준으로 14개의 별도 모델을 훈련시켜 골격 연령을 추정하고,^{손 엑스}레이 결과를 통합하여 전체 손 구조를 사용하지 않고 예측을 개선했습니다. 마찬가지로, 지역 세분화 특징이나 전역 해부학적 관계와 같은 맥락을 모델에 포함시키는 것도 예측을 개선하는 것으로 나타났습니다. 다영역 CNN을 사용해 예상되는 분절 특징에 대한 맥락을 제공함으로써, 분류 문제를 해부학적으로 적합한 위치로 제한함으로써 손 X선에서 골격 성숙도 평가를^{향상시킵니다. 9}. 추가적인 발전으로는 CNN 기반 뼈 분할을 통한 SVTNet이 있으며, 이후 비전 트랜스포머 모델을 이용한 추가 처리가 있으며, 관심 있는 분절된 영역 간 공간적 관계에 관한 전 지구적 정보를 포착하여 골연령¹⁰과 같은 정량적 결과를 추정하는 기술이 있습니다.

이러한 분할 접근법에서 입증된 것처럼, 관절염 연구 영상은 두 개 이상의 뼈 사이의 표면을 조리하는 데 초점을 맞추며, 복잡한 관절에서 차별적 병리학적 과정을 성공적으로 평가하는 데 뼈 분리 방법이 매우 중요합니다. 영상 처리 알고리즘의 발전은 인접한 손목뼈 또는 족골의 분석 처리량을 높이는 데 놀라운 유용성을 입증했습니다^11,12. 그러나 사용자 개입이 필요한 부정확성과 구별된 구조로의 번역 문제로 인한 제한된 채택은 최적화된 워크플로우 구현의 필요성을 부각시킵니다. 이러한 다단계 과정은 이미지 향상을 위한 이산 도구(예: 뼈 가장자리 검출¹³)에서 큰 혜택을 볼 수 있습니다. 엄밀히 말해 형태학적 조작을 넘어, 다른 연구들은 구조 식별에 있어 해부학의 전형적인 신뢰성과 일관성을 활용한 등록 기반 기법을 도입했습니다^{14, 15, 16, 17}. 수작업으로 진실 레이블을 생성하는 대안은 비용이 많이 들고 번거롭지만, 복잡하고 밀접하게 얽혀 경계가 더 뚜렷하지 않은 뼈(예: 두개골¹⁸)에서는 활용이 필수적일 수 있어 비슷하게 성공적일 수 있습니다. 마찬가지로, 자기공명영상(MRI 19,20,21)이나 조직조직학 ²²와 같이 이산 구조 내에서도 다색/색조 변동성을 가진 대체 영상 접근법도 복잡성을 보이며, 초기 수동 분할이 자동화된 과정을 안내하는 것이 도움이 될 수 있습니다. 이 방법들은 결합되어 추가 자동화를 촉진할 수 있으며, 결과가 학습 데이터셋으로 활용되어 DL 접근법을 구현할 수 있습니다. 세분화 자동화의 이점은 많지만, 특히 이 방법들은 지역/뼈별 침식성 부피 변화 ^23,24,25,26과 손상에 취약한 영역 식별 등 공간적으로 관련된 상세한 정량적 지표를 가능하게 합니다.

여기서는 확립된 반자동화(SA) 마우스 뒷발 분할 방법¹²를 기반으로 이미지 처리 알고리즘의 개선과 실제 골 분할²⁸을 결합하여 관절 공간 탐지를 위한 DL 모델을 훈련시키고 있습니다. 이 새로운 분석 전략은 뒷발의 개별 뼈 분절에서 상당한 정확도를 입증하여,^{분할 오류 수정}을 위한 수작업 작업을 줄여 하위 정량적 지표 처리를 가속화했습니다. 또한 심각한 침식성 관절염이 있는 앞발과 뒷발을 포함한 새로운 구조물에 이러한 기술 발전을 적용할 수 있는 잠재력을 입증합니다. 수동 세분화는 시간이 많이 소요되고 높은 수준의^{전문성이 요구}되기 때문에, 7 반자동 및 자동 세분화를 순차적으로 활용하여 향상된 입력 필터를 만드는 유사한 전략은 특정 응용에 맞는 고품질 CNN 개발의 장벽을 낮출 수 있습니다. Amira 소프트웨어(보충 파일 1)에서 개발된 관련 방법과 관련 데이터셋은 추가 연구 활동을 지원하기 위해 공개적으로 제공된다^28,29.

Protocol

모든 동물 실험은 로체스터 대학교 의료센터 동물자원 위원회가 승인한 IACUC 프로토콜에 따라 수행되었습니다.

동물 모델
쥐들은 AAALAC 인증 비바리움에 보관되었습니다. 총 19마리의 쥐가 사용되었으며, 이 중 4마리는 야생형(WT) 수컷, 4마리의 WT 암컷, 4마리의 TNF 형질전환(TNF-Tg) 수컷, 7마리의 TNF-Tg 암컷 쥐였으며, 종단 월간 평가를 실시했습니다. TNF-Tg 마우스(3647계통, C57BL/6 유전적 배경³⁰)는 처음에 조지 콜리아스 박사로부터 획득되었으며, 로체스터 대학교에서 계속 유지 관리가 이루어졌습니다. TNF-Tg 마우스는 이형접합체로 교배되었으며, WT 마우스는 형제 대조군으로 사용되었습니다. TNF 형질전환 유전자의 유전자형 분석은 다음 프라이머 서열을 사용하여 수행되었습니다: TNF-Tg 포워드: 5-TAC-CCC-CTC-CTT-CAG-ACA-CC-3; TNF-Tg 후진: 5-GCC-CTT-CAT-AAT-AT-CCC-CA-3.

TNF-Tg 마우스는 만성적이고 진행적이며 자발적인 염증성 침식성 관절염을 발병^{하며, 암}컷 마우스에서 관절 및 관절 외 증상이 더 빠르게 발병하여 약 5-6^개월에 조기 사망을 초래합니다. 따라서 추가 쥐가 TNF-Tg 여성 코호트에 배정되었습니다. 이전 연구 코호트²³의 설명과 같이, n=2명의 TNF-Tg 여성이 연구 완료 전에 사망했고, n=1명은 4개월 전, n=1명은 5개월 전에 사망했습니다. TNF-Tg 쥐는 뒷발에서 잘 알려진 비대칭 질병 진행을 보였기 때문에(^33,34), 개별 사지를 단위로 간주했습니다(동물당 앞발 2개, 뒷발 2개).

마이크로 CT 이미지 수집
마이크로 CT 데이터셋은 앞서 설명한 대로 수집되었습니다 ^12,23. 간단히 말해, 쥐들은 1%-3% 이소플루란 마취를 받은 Derlin 플라스틱 및 투명 아크릴 튜브에 넣어 마이크로 CT로 영상을 촬영했으며, 다음 매개변수를 사용했습니다: 55 kV, 145 μA, 300ms 적분 시간, 2048 x 2048 픽셀, 180° 내 1000 투영, 해상도 17.5 μm 등방성 복셀. 아이소플루란 사용 시 안전을 위해 적절한 개인 보호 장비(니트릴 장갑, 실험복 또는 가운, 안전 안경)를 착용했고, 이소플루란 증발기는 가스 폐기물을 잘 밀봉한 튜브로 채취하는 숯 필터를 이용한 연기 후드 내에 유지되었습니다. 기화된 아이소플루란은 밀폐된 챔버에서 마취 유도에 사용되었고, 이후 마이크로 CT 기계의 마우스 코 콘으로 이소플루란을 지속적으로 유입시켜 마취를 유지했습니다. 영상 촬영 중 안정화를 위해 뒷발과 앞발 모두 테이프로 붙여졌습니다. 각 데이터셋은 약 30-45분(총 60-90분) 동안 수집되었으며, 같은 동물과 시점에서 얻은 뒷발과 앞발 데이터를 사용했습니다. 쥐들은 생후 2개월부터 5개월(암컷, TNF-Tg 조기 사망률³²)까지 월별 평가를 받았으며, 수컷은 8개월에 평가되었습니다. 이 연구에 사용된 뒷발 데이터의 일부는 이전에 발표된 바 있습니다(WT:^12,35; WT 및 TNF-Tg:²³)이며 공개적으로 이용 가능합니다²⁸. 이 연구를 위해 앞발 데이터는 공개되었습니다²⁹.

딥러닝 촉진과 함께한 공동 공간 분할 알고리즘
쥐의 복잡한 뒷발 개별 뼈(30-31개 뼈)를 분할하는 고처리량 SA 영상 처리 알고리즘이^{이전에 개발되었으며}, 이는 Amira 소프트웨어²³을 사용해 염증성 침식성 관절염 진행의 개별 바이오마커를 조사할 수 있는 틀을 제공했다. 이 기본 SA 분할 방법은 뼈 경계에서 분리하기 위해 마커 기반 분수령 알고리즘³⁶을 사용했습니다. 마커 기반 유역 알고리즘은 사용자가 정의한 마커를 기반으로 픽셀 값을 국소 지형으로 간주하여 이미지 내 서로 다른 객체를 분리합니다. 이 뼈 특화 마커들은 블랙 탑햇(BTH)을 포함한 다양한 이미지 처리 단계를 통해 SA 방식으로 생성되었으며, 뼈 가장자리와 관절 등 밀도 변화가 큰 국소 영역을 강조하기 위해 노력했습니다. 이 접근법은 각 개별 뼈의 침식된 버전을 만들었고, 이진 경계 마스크를 적용하여 뼈 경계까지 확장했습니다. 워터셰드 방법은 이전의 수동 윤곽선 사용보다 개선되었지만, 낮은 대비 노이즈로 인해 연결 영역이 교묘해지는 (2+개의 뼈가 하나의 재료로 사용됨) 또는 가장자리 오식별(뼈 과분열; 1개의 뼈가 2+개의 재료로 사용됨)로 인해 데이터셋당 정확도(올바르게 분할된 뼈 / 전체 뼈)는 약 80%에 달했습니다. 따라서 유역 접근법의 SA 마커 생성은 골드 스탠다드 라벨 자원을 개발하기 위해 일관되고 빈번한 수동 교정 절차¹²가 필요했다^23,28.

골 관절 예측을 위한 DL 모델 개발은 ResNet-18 백본을 가진 3D U-Net 아키텍처를 기반으로 했습니다. 훈련 손실 함수는 주사위였고, 검증 지표는 합집합의 교차(IoU)였으며, 구배 하강은 초기 학습률 0.0001의 아담 최적화를 사용했고, 가중치는 무작위로 초기화되었습니다. 모델은 20개의 WT 데이터셋(40개의 뒷발)을 사용해 성별과 연령(2-6개월) 분포가 동일하게 이루어졌으며, 각 데이터셋은 6개의 하위 볼륨(각 뒷발당 3개)으로 나뉘어 200 x 200 x 200 복셀과 25% 무작위화된 검증 하위 볼륨(30개 검증, 총 120개)으로 나뉘어 과적합을 방지하였습니다. 이 3D 타일들은 족골, 원위 지골, 배경 영역에 고르게 배치되었습니다. 훈련 패치 크기는 96 x 96 x 96 복셀로 설정되었습니다(보완 그림 1). 이 모델은 500에포크에 걸쳐 약 6시간이 소요되어 훈련되었습니다. 지상 진실 접합 영역은 두께와 범위 모두에서 3D 확장 크기를 가진 라벨 레이블에서 자동 레시피를 통해 얻었습니다.

관절 공간 DL 예측과 함께 관절 공간 식별과 뼈 분할을 보완하기 위한 여러 이미지 처리 단계가 구현되었습니다. 이 전략에는 BTH 방법을 구조 강화³⁷, 막 강화, 텐서 투표³⁸ 을 결합하여 막 간격을 제한하여 관절 공간 연속성을 강화하는 방법이 포함되었습니다. 이 방법들은 함께 뼈 분리를 위한 관절 공간을 강화하여 인접한 뼈 간 분절 누출을 제한하고, 이는 여러 뼈에 걸쳐 분절 알고리즘이 전파될 때 과도한 연결 오류를 발생시킵니다. 최종 결과는 원본 마이크로 CT 데이터셋을 뼈 특이적 라벨로 분리하고 분할합니다.

DL 촉진 세분화 방법의 상세한 단계별 프로토콜이 아래에 제공됩니다.

1단계: Amira 소프트웨어를 엽니다(개인 또는 기관 라이선스 필요). 2단계: Python 탭을 열고 선택 새로운 파이썬 환경 만들기 환경명: Deep-learning-Environment-2022_2. 검사 딥러닝 패키지 설치. 3단계: 소프트웨어를 재시작하고, Python 탭을 열고, 사용자 환경을 선택합니다 딥러닝-환경-2022_2. 4단계: 데이터 공개 - DICOM 스택은 모든 개별 DICOM 파일을 선택하거나 내장된 DICOM 스택이 포함된 .am 파일을 열어 불러올 수 있습니다. 5단계: 다음 세부 사항을 포함하여 가져온 데이터 객체에 딥러닝 예측 모듈을 적용합니다:
데이터: 가져온 데이터 객체
아키텍처: .json 파일 (보조 파일 2)
가중치: .hdf5 파일 (보충 파일 3)
타일링: 수동 - 계산 하드웨어에 따라 타일링 픽셀 크기를 줄이고 타일링 겹침을 증가시키는 최적화가 가능합니다. 처리 요구사항이 부족하면 모듈이 실패할 수 있습니다. 편집, 환경설정, 대형 데이터에서 소프트웨어의 메모리 할당이 최대한 최대화되도록 하세요.
타일링 너비, 높이, 깊이: 352 픽셀
타일링 겹침: 0 픽셀
6단계: 이미지 레시피 플레이어 적용, 우클릭 프로젝트 구역 특정 데이터 객체를 타겟팅하지 않고도 가능합니다. 다음 사항을 입력/평가하세요:
오픈 레시피: .hxisp 파일 (보조 파일 4)
데이터: 가져온 데이터 객체
입력 관절: 5단계 결과(딥러닝 예측)
Step3 강도 범위: 2500 - 20000
7단계: 최종 분할을 포함하는 처리된 데이터 객체를 평가하세요 - Colormap을 Labels256으로 조정하여 전체 개별 분할을 감상하세요(기본값은 8가지 색상). 2D는 Ortho Slice를, 3D는 볼륨 렌더링을 적용하세요. 이미지 레시피 플레이어 단계에 적용된 임베디드 레시피(BTH+DL+SEF+MEF_D2.hxisp)에 대한 자세한 내용은 아래에 제공되어 있습니다 (보조 파일 5). 이미지 레시피 디자이너에서는 개별 단계를 시각화하고 필요에 따라 내보내서 특정 데이터셋의 최적화 단계를 평가할 수 있습니다. 프로토콜에서는 특정 단계들이 강조되어 있으며, 이는 영상 출력(즉, 밀도) 및/또는 물체의 크기(예: 뼈)에 따라 달라지기 때문에 특정 용도에 맞게 조정이 필요합니다:
1단계: 데이터: 가져온 데이터 객체에 대해 중앙값 필터 적용; 해석: 3D; 동네: 26명; 반복 횟수: 3회; 유형: 반복적입니다.
2단계: 임계값 적용 - 이 단계는 데이터셋과 관심 대상인 이 경우 뼈를 대상으로 한 데이터와 관련된 특정 임계값에 따라 최적화가 필요합니다: 1단계 결과(중앙값 필터); 강도 범위: 2500 - 20000.
3단계: 클로징 적용 - 이 단계는 뼈 간 관절 공간 크기에 따라 최적화가 필요합니다. 데이터: 1단계 결과(중앙값 필터); 유형: 큐브; 해석: 3D; 동네: 26명; 픽셀 크기: 3.
4단계: 입력 A로 이미지 산술 적용: 3단계 종료 결과; 입력 B: 1단계 결과(중앙값 필터); 결과 채널: 입력 A와 같고; 표현: A-B.
5단계: 4단계 결과(이미지 산술)에 임계값을 적용하기; 강도 범위: 750 - 20000.
6단계: 입력 A로 이미지 산술 적용: 2단계 결과(임계값 설정); 입력 B: 5단계 결과: (임계값 설정); 결과 채널: 입력 A와 같고; 표현: A-(B>0)
7단계: 입력 이미지: 가져온 데이터 객체에 구조 강화 필터를 적용하기; 해석: 3D; 텐서 유형: 헤시안; 표준 편차 최소/최대: 1 - 3 픽셀; 표준편차 단계: 1픽셀; 대비: 어두움; 구조 유형: 평면.
8단계: 입력 이미지에 자동 임계값 적용: 7단계 결과(구조 향상 필터); 유형: 자동 임계값 높음; 해석: 3D; 모드: 미니맥스; 기준: 인수분해.
9단계: 데이터: 가져온 데이터 객체에 멤브레인 향상 필터를 적용하기; 출력 선택: 평면성 텐서 투표; 텐서 투표 척도: 3픽셀; 밀도 축척: 3픽셀; 유형: 능선
대비: 어두움; 스케일: 1픽셀.
10단계: 입력 이미지에 자동 임계값 적용: 9단계 결과(멤브레인 향상 필터); 유형: 자동 임계값 높음; 해석: 3D; 모드: 미니맥스; 기준: 인수분해.
11단계: 확장 적용 - 이 단계는 관절 공간 크기에 따라 최적화가 필요합니다 - 입력 이미지: 10단계 결과(자동 임계값); 유형: 볼; 해석: 3D; 크기: 1픽셀; 정밀도: 더 빠릅니다.
12단계: 입력 A와 이미지 산술 적용: 11단계 결과(확장); 입력 B: 8단계 결과(자동 임계값); 입력 C: 딥러닝 예측 결과; 결과 채널: 입력 A와 같고; 표현: A||B||C.
13단계: 입력 이미지로 작은 점들을 제거하기 이미지: 12단계 결과(이미지 산술); 해석: 3D; 크기: 500 픽셀.
14단계: 입력 A로 이미지 산술 적용: 13단계 결과(작은 부분 제거); 입력 B: 6단계 결과(이미지 산술); 결과 채널: 입력 A와 같고; 식:! A*B.
15단계: 입력 이미지로 작은 점들을 제거하기 14단계 결과(이미지 산술); 해석: 3D; 크기: 500 픽셀.
16단계: 입력 이미지와 라벨링 적용: 15단계 결과(작은 얼룩 제거); 해석: 3D; 동네: 26.
17단계: 1단계 결과(중앙값 필터)와 함께 이미지 유형 변환 적용; 출력 유형: 16비트 부호 없음; 정규화 모드: 스케일링; 스케일링: 스케일 3, 오프셋 2000.
18단계: 마스크 내부에 표시 기반 워터셰드 적용: 17단계 결과(이미지 유형 변환); 마커: 16단계 결과(라벨링); 이진 마스크: 6단계 결과(이미지 산술); 스플릿 타입: 저강도.

세분화 방법 테스트 및 정량화
분할 방법은 2500 - 20000 Hounsfield 단위의 강도 범위에서 DL 공동 예측과 하위 이미지 처리 레시피를 통합한 레시피를 생성하여 테스트되었습니다. 레시피 생성을 통해 원본 마이크로 CT 데이터셋(초기 .dcm 파일을 Amira에 가져온 후 이미지 스택으로 저장되는 .am 파일 형식)을 배치 처리(파일 배치에 레시피 적용)할 수 있었습니다. 컴퓨터 하드웨어는 2.30 GHz의 Intel Xeon Gold 5218 중앙처리 장치(CPU)에서 16코어, 2666메가전송(MT)/s의 128GB 더블 데이터 전송 4세대(DDR4) 오류 수정 코드(ECC) 임의 접근 메모리(RAM), 그리고 Windows 10이 실행되는 64비트 운영체제(운영체제 빌드: 19044.4780). 각 뒷발 데이터셋(2개의 뒷발)은 사용자 개입 없이 약 32.7± 8.42분(평균 ± 표준편차)으로 분할되었습니다. 이는 이전 SA 모델과 비교하는데, 당시 세분화 시간은 사용자 경험에 따라 달라졌으며, 초보 사용자는 데이터셋당 40.5분± 9.06분, 경험 사용자는 19.3분± 5.34분이었습니다(세분화 오류 수정 포함 WT 데이터셋만)¹². DL과 SA 방법 모두 경험 많은 사용자가 데이터셋당 190.6 ± 30.4분 동안 세분화를 위한 골드 스탠다드 수동 윤곽 그리기보다 놀라운 개선을 보^{였습니다(기존} Scanco 분석을 사용). 앞발 데이터셋(2개의 앞발)은 사용자 개입 없이 약 53.4± 23.6분 동안 분할되었으며, 분절 시간 증가는 원래 영상 데이터셋 내에 추가된 구조(예: 척추와 갈비뼈)가 존재하기 때문이며, 이는 더 먼 부분에 고립된 뒷발에는 없으며, 선행 볼륨 편집 단계가 없을 때 분할 시간이 부풀려졌기 때문입니다.

정확도의 정량화는 시각적 검사(HMK)를 통해 예상되는 뼈 해부학에 기반한 올바른 분할 또는 오류 유형을 식별했습니다(Hindpaw:^12,39; 포레포우:⁴⁰). 정확도는 백분율로 계산되었습니다:

진양성은 올바르게 분할된 뼈였고, 진음성은 0(뼈가 결손될 상황이 없으며, 배경은 정량화에 중요하지 않음), 거짓 양성은 과도하게 분리된 뼈, 거짓 음성은 과도하게 연결된 뼈였다. 단일 클래스 문제(즉, 관절 공간 식별)를 고려할 때 정확도는 적절한 정량적 지표로 판단되었고, 진음수(배경)는 정확도 계산에 기여하지 않아 성능 과대 추정 위험을 줄였습니다. 자동 분할 방법은 뼈 명명을 포함하지 않습니다; 이 뼈 이름은 나중에 사용자가 수동으로 세그먼트된 재료와 연관시킵니다.

이 연구에 참여한 뒷발 평가는 C57BL/6 마우스⁴¹에서 주상골 및 측측 쐐기문자(NAVLAT) 족골의 고정 융합이 확인되었으며, 인접한 중간 설형문자(INT)도 NAVLAT 구조(NAVLAT)와 변동적으로 융합되어 있을 수 있음을 확인했다^12,39. 이와 유사한 가변 융합은 앞발의 손목 부위에서도 긍정적으로 나타났는데, 사다리꼴(ZOID; 소형 다각형)과 중앙뼈(CENT)가 단일 융합 구조(CENTZOID)로 나타나거나 개별 뼈로 분할될 수 있으며, 특히 앞발에서 그렇다. 분절 정확도를 위해 추가로 조사된 수근골에는 사다리골(ZIUM; 대다각골), 두골(CAP), 해메이트(HAM), 삼두골(TRI; 삼각형), 엽골(PIS), 주상골(주상골)/월골(SCAPHATE; 고정 융합), 그리고 팔시포르미스(FALC)가 포함된다. 앞발 중수골(MET-F; 1-5), 근위 지골(PP-F; 1-5), 원위 지골(DP-F; 2-5), 그리고 시사골(S-F; 1-10)은 외측에서 내측으로 번호가 매겨지며, 뒷발(중족골(MET-H), PP-H, DP-H, S-H는 내측에서^{외측 12}로 번호가 매겨집니다. NAVLATINT와 함께 앞서 설명한^12,23의 뒷발에 대한 추가 족골도 평가되었으며, 여기에는 종골(CALC), 직방골(CUB), 내측 쐐기형(MED), 거골(TAL), 경골(TIB)이 포함됩니다. 전체 코호트 정확도 정량은 해부학적 융합으로 인한 뼈 수의 변동에 따른 평균 정확도 평가와 전체 개별 뼈를 기반으로 계산된 정확도를 비교할 때 약간 차이가 있음을 유의하라.

통계 분석
상호작용 효과를 포함한 3방향 또는 2방향 혼합 효과 분석, Sidak의 다중 비교와 Fisher의 정확 검정을 포함한 통계 분석이 GraphPad Prism(v10.2.0; 미국 캘리포니아주 샌디에이고). 남성(2-8개월)과 여성(2-5개월)은 초기 TNF-Tg 여성 사망률을 기준으로 평가 기간이 뚜렷한 상황에서 별도로 분석되었다³². 훈련/검증 및 방법론적 테스트에 사용되는 WT 뒷발의 표본 크기는 보충표 1에 제공되며, 보 충표 2, 보충표 3, 보 충표 4에 시험된 WT 및 TNF-Tg 뒷발과 앞발의 표본 크기 세부 정보가 함께 제공됩니다. WT 뒷발 검사의 특정 시점에서 <3 뒷발에 대한 정확도 평가가 포함되었기 때문에, WT 뒷발을 포함한 분석에서는 사후 다중 비교 없이 상호작용 효과가 보고되었습니다. 발 전체나 일부 부분은 발 포획 불완전한 영상 오류, 상당한 움직임 아티팩트로 스캔 해석 불가, 또는 예정된 영상 촬영 이전에 동물이 사망한 경우 분석에서 제외되었으며, 모든 데이터는 생체 내에서 수집되었습니다.

Results

자동 관절 공간 식별 구현으로 뼈 분할 정확도가 향상됨
쥐 뒷발과 같은 복잡한 구조에서 뼈 형태와 구조의 이질성을 고려하여, 우리는 시스템 이미지 처리 알고리즘인¹²부터 DL 훈련 예측(파란색)과 마이크로 CT 데이터셋에서 골 간 관절 공간의 견고한 식별을 위한 이미지 처리 단계를 결합하여 구축합니다(그림 1A-B; 아래에 설명된 과정 및 보충 그림 1에 표시됨)). 뼈 사이의 공간을 식별함으로써 개별 뒷발 뼈(별도의 색상; 그림 1C). DL 구성 요소의 훈련 및 검증 데이터셋(WT)은 동일한 연령(2-6개월, 나이당 n=8개의 뒷발)과 성별(n=성별당 20개의 뒷발)으로 구성되었습니다. 나머지 WT 뒷발(n=44, 2-8개월 사이, 6개월 제외, 모두 훈련 및 검증에 사용됨)은 뼈 분할의 정확도를 정량화하는 테스트 데이터셋으로 사용되었습니다(그림 1D). 2개월 때 2마리의 WT 수컷 뒷발과 3개월에 2마리의 WT 암컷 뒷발이 있었으나, 영상 오류로 인해 누락되었습니다(보충표 1).

WT 뒷발 도입과 함께, 자발성 염증성 침식 관절염이 있는 TNF-Tg 마우스(n=56마리 수컷 뒷발, n=48마리 암컷 뒷발)의 뒷발에 대해 자동 분할 접근법을 시험했습니다. 4개월과 5개월 모두 4개의 TNF-Tg 암컷 뒷발이 있었으나, 5개월 기준 종료 전 영상 오류나 조기 사망으로 인해 제외되었습니다(보충표 2). 새로운 분할 알고리즘은 각 성별과 유전자형 모두에서 개별 뼈 분리(색상, 오른쪽)를 위한 관절 공간(파란색, 왼쪽)을 자동으로 감지했습니다(그림 2A-D). 보충표 5와 보충표 6에 나타난 개별 뼈의 분할 정확도에 관해, WT는 남성(WT 98.4% 대 TNF-Tg 93.1%, p<0.0001)과 여성(WT 98.7% 대 TNF-Tg 92.1%, p<0.0001) 모두에서 TNF-Tg 데이터셋보다 우수했습니다. 오류의 원인은 관절 공간이 완전히 닫히지 않는 것으로 시각적으로 드러났습니다(흰색 점선 칸 안에 화살표), 이로 인해 두 개의 서로 다른 뼈를 하나의 분할로 과도하게 연결하게 되었습니다(그림 2C-D). TNF-Tg 뒷발에서 나타나는 이러한 과도한 연결 오류는 만성 손상으로 인한 관절 유합의 후유증일 수 있으며, 뼈 사이의 공간이 더 이상 존재하지 않는 경우입니다. 실제로 WT와 TNF-Tg 데이터셋 간의 정확도 차이는 관절염 심각도가 증가함에 따라 시간이 지남에 따라 더 뚜렷해집니다(그림 2E-F), 특히 골골(그림 2G-H, 노란색 = 정확도 증가, 녹색 = 정확도 감소)에서 더욱 두드러집니다. 이 뼈는 일반적으로 뼈 침식 진행의 신뢰할 수 있는 바이오마커로 작용합니다²³. 그러나 이전의 SA 분할 접근법과 비교했을 때, 전체 데이터셋 정확도에서 눈에 띄게 향상된 것이 관찰되었습니다(그림 2E-F; WT 남성: 남아프리카 79.39% ± 5.73% 대 DL 98.16% ± 1.47%, <0.0001; 여성 WT: SA 79.16% ± 4.84% 대 DL 99.19% ± 1.63%, p<0.0001)로, 자동성과 신뢰성 모두에서 강력한 방법론적 발전을 보여준다. 따라서 DL 촉진 관절 공간 식별을 이용한 우리의 새로운 전략적 뒷발 뼈 분할 모델은 WT 데이터셋에서 이전 SA 방법(~79%)에 비해 분할 정확도를 크게 향상시키는 >98%)을 제공하지만, 염증성 침식성 관절염이 있는 뒷발에 적용할 때는 약간 저하된 성능을 보였습니다(92%-93%).

분절 방식을 전발에 유연하게 적용하면 TNF-Tg 마우스에서 관절 파괴와 뼈 융합이 심하게 드러나며, 분절 정확도가 급격히 감소합니다
우리는 새로운 분절 방법을 독특한 뼈 크기와 해부학을 가진 쥐 앞발(n=55 WT 수컷 앞발, n=29 WT 암컷 앞발, n=54 수컷 수컷 앞발, n=50 TNF-Tg 암컷 앞발)에도 적용을 확장했습니다. WT 수컷은 4개월 때 앞발 1개, WT 암컷은 4개월 때 1개, 5개월 때 앞발 2개, TNF-Tg 수컷은 3개월에 2개, TNF-Tg 암컷은 4개월 때 2개, 5개월 때 4개, TNF-Tg 암컷은 5개월에 4개의 앞발이 발견되었으나, 영상 오류나 종말 전 조기 사망으로 인해 생략되었습니다. 또한, WT 암컷의 경우 3개월 때 앞발 1개에 부분적인 영상 오류가 있었으며, DP-F3, PP-F3, DP-F4, PP-F4는 누락되었다(보충표 3 및 보충표 4). 방향 확인을 위해 각 뼈를 색상과 뼈별 명명법으로 구분한 WT 전발 모델을 제공합니다(그림 3). 이전 TNF-Tg 마우스 연구는 주로 뒷발에 집중되어 왔으나, 여기서는 WT와 TNF-Tg 마우스 모두에서 쥐 앞발의 구조를 보여준다. 특히 손목(노란 점선)과 사모이드(파란 점선)는 시각적으로 심한 부식성 질환을 보이며, 특히 TNF-Tg 암컷에서 나타납니다(그림 4A-D). 따라서 뒷발과 앞발 분절 정확도 비교 결과, TNF-Tg 데이터셋에서 나이와 질병 중증도가 증가하면서 뼈 완전성이 급격히 감소한 데 기인하여 앞발이 현저히 감소한 것으로 나타났습니다(±±발 유형 효과 p<0.0001). p<0.0001). 뒷발과 마찬가지로, 노화와 질병 심각도에 따른 TNF-Tg 분절 정확도 감소는 손목과 세사모이드에서 더 두드러진다(그림 4G-H, 보충표 7, 보보표 8). 이 지역 골 병리는 인접한 MET-F 및 PP-F(중수골지골 관절)의 침식 활동 증가에 의해 촉진될 수 있습니다. 오류 유형 평가 결과, TNF-Tg 앞발은 뒷발에 비해 완전히 침식된 뼈의 비율이 더 높은 경향이 있음을 보여주었습니다(보충 그림 2, 빨간색, 결손). 이는 분명히 진행성 관절염 심각도를 나타내지만, TNF-Tg 앞발에 뼈가 없다는 점도 이미지 해상도의 한계를 시사할 수 있습니다. TNF-Tg 앞발의 심각한 침식은 시간이 지나면서 대표적인 이미지들로 더욱 입증되며, 손목 부위(흰 화살표)와 앞발이 팔뚝에서 점진적으로 완전히 탈구하는 현상(노란색 화살표)이 특히 TNF-Tg 암컷에서 두드러집니다(보완 그림 3). 따라서 자동 골 분할 방법을 전발의 고유 구조에 유연하게 적용했을 때(~87%)는 염증성 침식성 관절염이 있는 TNF-Tg 전발에서도 정확도가 비슷하게 감소하였다(67%-72%).

데이터 가용성:
마이크로 CT 이미지 수집 섹션에서 설명된 바와 같이, 뒷발 데이터는 이전에^{12, 23, 35}에 공개되었으며 https://doi.org/10.5281/zenodo.11191782²⁸일에 공개되어 있습니다. WT¹² 및 TNF-Tg²³ 데이터셋의 SA 분할 방법에서 정확도 정량화 데이터를 재활용하여 여기서 설명한 새로운 DL 모델과 직접 비교하였습니다. 추가 연구의 특정 데이터는 재활용되지^않았으나, 공개된 동일한 힌드포 데이터셋²⁸도 사용되었습니다. 라이선스 및 데이터 재활용에 관한 추가 세부 사항은 아래에 제공됩니다. 본 연구를 위해 해당 전발 데이터도 Zenodo 저장소(https://doi.org/10.5281/zenodo.14865639)²⁹에 공개되어 있습니다.

SA 세분화 방법 WT 데이터셋¹² 의 정확도 데이터는 그림 2에 재사용되었습니다. 이 자료의 재사용은 크리에이티브 커먼즈 저작자표시-비영리-비복제 4.0 국제 라이선스 https://creativecommons.org/licenses/by-nc-nd/4.0/legalcode 에 의해 보호됩니다. 참고 저작물의 저자로서 우리는 Elsevier https://beta.elsevier.com/about/policies-and-standards/copyright 의 저작권을 통해 다른 파생 저작물을 준비할 권리를 유지합니다. 데이터포인트는 시간에 따른 정확도와 비교하기 위해 TNF-Tg 대응 자료와 재시각화되었으며, 여기서 설명된 새로운 DL 방법과 직접 비교되었습니다.

SA 분할 방법 WT 및 TNF-Tg 데이터셋²³ 의 정확도 데이터는 그림 2로 재사용되었고, WT와 TNF-Tg 뒷발 데이터셋은 이전에²³번 부피 측정을 위해 추가 평가되었습니다. 자료의 재사용은 크리에이티브 커먼즈 저작자 표시 라이선스(https://creativecommons.org/licenses/by/4.0/)에 의해 보호되며, 원저자와 출처가 명시되는 한 어떤 매체에서도 제한 없이 사용, 배포, 복제가 허용됩니다. 데이터포인트는 시간에 따른 정확도 평가를 위해 재시각화되었으며, 여기서 설명된 새로운 DL 방법과 직접 비교되었습니다.

동일한 공개된 WT 및 TNF-Tg 뒷발 데이터셋²⁸ 은 이전에 바퀴 달리기 코^호트와의 새로운 비교를 위해 골 부피 측정에 추가로 활용되었습니다. 자료의 재사용은 크리에이티브 커먼즈 저작자 표시 4.0 국제 라이선스(https://creativecommons.org/licenses/by/4.0/)에 의해 보호되며, 원저자와 출처에 적절한 출처를 명시하고, 크리에이티브 커먼즈 라이선스 링크를 제공하며, 변경 사항이 있었는지 표시하는 조건으로 어떤 매체나 형식에서도 사용, 공유, 각색, 배포 및 복제가 허용됩니다. 동일한 공개 데이터셋²⁸ 개가 현재 연구에도 사용되었으나, 이전에 발표된 데이터포인트를 구체적으로 활용하거나 수정한 것은 없습니다.

그림 1: 전략적 이미지 처리와 딥러닝 예측을 통한 관절 공간 자동 감지 및 뼈 분할 예측. 마우스 마이크로 CT 데이터셋은 (A) 등쪽(상단)과 족저측(하단) 표면을 시각화한 후 (B) 골드 스탠다드 뼈 분절에서 개발된 DL 모델(보충 그림 1에 설명됨)을 사용해 관절 공간(파란색)의 자동 식별을 위해 처리^{되었습니다.} (C) 최종 성공적인 뼈 분리(뼈 특이적 색상)는 블랙 탑햇¹², 구조 강화³⁷, 텐서 투표³⁸을 포함한 막 강화 등 추가 이미지 처리 단계를 통해 이루어져 개별 뼈를 인증하는 견고한 관절 공간 식별을 수행했습니다. (D) DL 구성 요소의 훈련 및 검증(n=40개의 뒷발)은 동연령(2-6개월 사이, 각 시점마다 n=8개의 뒷발) 및 성별(n=20개의 뒷발 수컷/암컷) 분포를 가진 WT 마우스 뒷발을 대상으로 수행되었으며, 검증에 무작위로 25%의 하위 부피가 사용되었습니다(뒷발당 3개의 하위 부피, 총 120개의 하위 부피). 나머지 WT 뒷발(n=44)은 추가 분석을 위한 테스트 케이스로 평가되었습니다. DL 모델과 이미지 처리 알고리즘의 조합은 이전에 발표되었거나 공개된 데이터셋^23,28을 사용하여 평가되었습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 2: 딥러닝 촉진을 통한 자동 관절 공간 식별 구현이 뼈 분할 정확도를 향상시킴. (A-B) 자동 관절 공간 검출 개발 이후, 우리는 남은 WT 남녀 테스트 케이스에 DL 모델(왼쪽: 파란색 관절 공간; 오른쪽: 뼈 특이 분할 색상)을 적용하였다. (C-D) 또한 조기 사망과 관련된 진행성 염증성 침식성 관절염을 가진 TNF-Tg 마우스의 연령 일치 코호트(수컷: 2-8개월, 암컷: 2-5개월)의 성과도^{평가했습니다.} 삽입 이미지는 예측된 관절 공간(흰색 화살표)의 단절이 뼈 분리에 누출을 일으켜 과도한 연결 뼈 분할 오류를 일으키는 고배율 분할 오류(점선 박스)를 보여줍니다. (E-F) 모든 WT 데이터셋이 훈련 및 검증에 사용되어 남성 6개월 시점은 생략되어 DL 테스트 코호트에는 포함되지 않았습니다. 이전 SA 분할 알고리즘^12,23과 비교하면, DL 접근법을 적용한 WT 및 TNF-Tg 데이터셋에서 성별에 관계없이 세분절 정확도(올바르게 분할된 뼈 / 총 뼈)가 눈에 띄게 향상되었습니다(평균 정확도선: 검은색 = DL WT, 검은색 = DL TNF-Tg, 검은색 = SA WT, 회색 = SA TNF-Tg). 그러나 TNF-Tg 분할의 정확도는 시간이 지남에 따라 정확도가 WT에 비해 점진적으로 손상되면서 현저히 감소했으나, SA 방법보다 계속 우수한 성과를 보였습니다. (G-H) 골 구획에 지정된 정확도 열맵(T = 족골, MT = 중족골, PP = 근위 지골, DP = 원위 지골, S = 세마모이드)은 TNF-Tg 마우스에서 주로 족골 부위에 국한되어 오류가 증가함을 보여줍니다(밝은색(노란색) = 높음(100%), 어두운 색(보라색) = 낮음(20%) 정확도). 앞서 언급했듯이, 인셋 이미지(C-D)는 연결 간격이 분리되어 있는 관절 공간(왼쪽 이미지)과 과도하게 연결된 뼈(색상, 오른쪽 이미지)로 이어지는 오류 원인을 강조합니다. 실제로 오류는 주로 과연결되어 있었으며(2+ 뼈가 1개의 물질로 분할됨; 보충 그림 2에 언급됨), 이는 관절염 심각도가 점점 심해지는 관절 유합의 병리학적 과정을 나타낼 수 있다. 통계: 3방향 혼합 효과 분석 (SA 대 DL; 방법 x 유전자형 x 시간; E-F), 2방향 혼합 효과 분석(WT 대 TNF; 유전자형 x 시점; E-H); p<0.0001, **p<0.01, *p<0.05 (상호작용 효과); 데이터는 평균 ± 표준편차로 제시되었습니다. 표본 크기: n=34개의 뒷발 WT 수컷(n=2개월, n=4개월, n=4개월, n=6개월, n=0 [검사 데이터 사용 기준]), n=10마리의 뒷발 WT 암컷(n=4마리, 3-5개월에 n=2), n=56마리의 뒷발 TNF-Tg 수컷(n=8마리 2마리), n=48개의 뒷발 TNF-Tg 암컷(n=14개, 4-5개월에 n=10개). 이 그림에 사용된 데이터는 이전 연구^들(12,23)에서 수정되었습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 3: 관절 공간 딥러닝 세분화를 다른 복잡한 구조에 유연하게 적용한 것은 쥐 앞발 뼈 해부학을 강조합니다. 다음으로, 관절 공간 분할 DL 모델이 뒷발 외의 추가 복잡한 구조에서 뼈를 자동으로 분리할 수 있는 가능성을 평가했습니다. 분할 방법은 (A) 등쪽, (B) 족저, (C) 측쪽, (D) 내측면에서 시각화된 해당 앞발 마이크로 CT 데이터셋에 구현되었으며, 색상은 개별 분절된 뼈를 나타내는 색상으로 표현되었습니다. 우리는 전발 뼈의 정확한 분절 가능성을 확인했으며, 여기에는 명확한 수근뼈, 중수골(#, MET-F), 근위 지골(^, PP-F), 원위 지골(~, DP-F), 장골(점선 원, S-F), 발톱(*)이 포함되며, 뼈 특이적 라벨이 알려진 앞발 해부학⁴⁰에 해당한다고 밝혔습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

그림 4: TNF-Tg 마우스는 앞발 관절 파괴와 뼈 융합이 심하게 나타나며, 분절 정확도가 급격히 감소한다. (A-B) WT 수컷과 암컷 마우스의 미세 CT 이미지를 등쪽(왼쪽)과 족저측(오른쪽)으로 시각화한 쥐 앞발의 복잡성과 작은 구조를 고려할 때, (C-D) TNF-Tg 마우스의 해부학적 특성과 관련 관절염은 이전에 평가된 적이 없습니다. 우리의 새로운 관절 공간 DL 접근법의 적용은 WT 앞발의 >85% 정확도를 달성하며 분석 난이도를 줄여 복잡한 구조를 평가할 초기 기회를 제공했으나, 뒷발에 비해 정확도는 떨어졌다(평균 정확도선: 단선 파란색 = WT 뒷발, 점선 파란색 = TNF-Tg 앞발, 순선 빨간색 = WT 앞발, 점선 빨간색 = TNF-Tg 앞발). (E-F) 또한, TNF-Tg 앞발은 시간이 지남에 따라 손목( A-D의 노란색 점선 원)과 세자모이드( A-D의 파란색 점선 원)에 국한된 오류로 인해 분절 정확도가 급격하고 극적으로 저하되었습니다. (G-H) 분절 정확도의 지역 감소는 뼈 구획(C = 손목, MC = 중수골, PP = 근위 지골, DP = 원위 지골, S = 정체골)의 히트맵(밝은색(노란색) = 높음(100%), 어두운 (보라색) = 낮음(20%) 정확도)로 확인할 수 있습니다. ( E) 에서는 모든 WT 뒷발 데이터셋이 훈련 및 검증에 사용되어 DL 테스트 코호트에 포함되지 않아 6개월 남성 시점은 생략되었습니다. 통계: 3방향 혼합 효과 분석 (뒷발 대 앞발, WT 대 TNF; 발 유형 x 유전자형 x 시간, 보고된 상호작용 효과; E-F)를 이용한 2방향 혼합 효과 분석, 시닥의 다중 비교(WT 대 TNF; 유전자형 x 시간; G-H); p<0.0001, **p<0.01, *p<0.05; 데이터는 평균 ± 표준편차로 제시되었습니다. 표본 크기: n=55개의 앞발 수컷 WT 수컷 (n=2-3개월과 5-8개월 시 n=8개, n=4개월 때 n=7개), n=29개의 여성 WT 앞발 (n=2-3개월 때 n=8개, n=4개월 때 n=7개, 5개월 때 n=6개), n=54개의 TNF-Tg 수컷 전발 (n=2개월과 4-8개월 시 n=8개, n=6개월 3개월), 그리고 n=50개의 앞발(n=14개, 4개월에 n=12개, n=10개, 5개월). DL 뒷발 데이터 (E-F) 는 그림 2E-F 에서 복제하여 DL 앞발 데이터와 추가 비교를 위해 제공되었습니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

보조 그림 1: 공동 탐지 딥러닝 모델의 개발 및 훈련. (A) 초기 진실 뼈 분할에서 레이블 확장, 라벨 인터페이스 추출, 마스킹, 확장 과정을 결합한 초기 진실 뼈 분할에서 기본 진실 관절 영역을 얻었습니다. (B) 20개의 훈련용 마이크로 CT 데이터셋(40개의 뒷발)에 대해, 족골, 원위 지골, 배경 영역에서 200 x 200 복셀로 구성된 6개의 하위 볼륨을 수동으로 추출했으며, 좌발과 우발에 고르게 나누어 3개의 뒷발로 나누어 사용했습니다. 이 120개의 하위 볼륨은 3D 분할 Amira 훈련 모듈의 입력으로 사용되었으며, 해당 레이블이 붙은 관절 영역을 지상 진실 표적으로 사용했습니다. 학습 중 모델 과적합을 제어하기 위해 25% 패치의 무작위 하위 집합이 검증에 사용되었습니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충 그림 2: 뒷발과 앞발 간 오류 유형의 뚜렷한 분포. 이전에 개발된 SA 분할 알고리즘 ^12,23과 유사하게, 관절 공간 DL 모델은 뼈를 과도하게 연결해 오류가 가장 많이 발생했으며(녹색, 2+ 뼈는 1개의 재료로 분할됨), 특히 (A-D) 뒷발 또는 (E-F) WT 앞발에서 두드러집니다. 그림 2에서 언급하듯, 과도한 연결 오류는 관절 공간에 구멍이 있을 때 발생할 수 있으며, 이는 이미지 해상도보다 뼈 근접성이 더 크거나, 관절 공간이 흐려지는 움직임 인공물, 관절염 맥락에서의 뼈 재형성 등 다양한 이유로 발생할 수 있습니다. (G-H) 흥미롭게도 TNF-Tg 앞발은 뼈가 결손된 비율이 현저히 증가하여 뼈가 분절에서 완전히 빠져 있었음을 의미합니다. 이러한 오류는 심각한 침식과 이미지 해상도 저하의 조합으로 여겨지는 것으로 보이며, 특히 손목뼈와 세사골이 뒷발에 비해 상대적으로 크기가 작아 보입니다(그림 4). 추가적인 오류 유형으로는 과도한 분리(파란색, 1개의 뼈가 2+ 재료로 분할됨) 또는 과도한 연결과 과도한 분리(주황색) 모두가 있습니다. 원형 차트는 특정 오류 하위 유형에 귀속되는 총 오류의 비율을 나타냅니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충 그림 3: 진행성 TNF-Tg 전발 관절염과 심한 골 침식 및 관절 탈구의 평가. 앞발의 구조적 변화를 시간에 따른 시각화를 위해, ( A) WT 수컷, (B) TNF-Tg 수컷, (C) WT 암컷, (D) TNF-Tg 암컷 앞발의 등면 대표 이미지를 2개월에서 5개월(왼쪽에서 오른쪽으로) 제공하여 특히 손목 부위(흰색 화살표)를 강조하였습니다. 여성은 약 4개월, 남성은 5개월 정도 걸리는 심각한 뼈 침식과 재형성에 주목하세요. 이 시기는 암컷의 경우 약 5개월, 수컷의 경우 7-8개월에 뒷발의 심각한 뼈 침식이 전형적으로 시작되기 이전,²³세에 나타납니다. (E) TNF-Tg 암컷 앞발의 측면 모습도 관절 파괴와 관련된 전완 전체의 점진적 탈구(노란 화살표)를 보여줍니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충 표 1: DL 훈련, 검증 및 방법론적 테스트를 위한 WT 뒷발 표본 크기. 뒷발 수의 표본 크기는 연령대(2개월부터 8개월까지)에 따라 제공되며, DL 훈련/검증, 전체 방법론 검사, 또는 영상 오류, 심각한 운동 인공물, 예정된 마이크로 CT 스캔 전 사망으로 인해 누락된 데이터셋으로 정리됩니다. 여성의 경우 6개월에서 8개월 사이의 흑혈구는 5개월 후 TNF-Tg 실험 동료들의 조기 사망으로 인해 스캔 종료가 계획되었음을 나타냅니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충표 2: 방법론적 검사를 위한 TNF-Tg 뒷발 표본 크기. 뒷발 수의 표본 크기는 연령대(2개월부터 8개월까지)에 따라 제공되며, 전체 방법론 검사에 사용되는 데이터셋 또는 영상 오류, 심한 운동 아티팩트 및 예정된 마이크로 CT 스캔 전 사망으로 생략된 데이터셋별로 정리됩니다. 암컷의 경우 6개월부터 8개월까지 흑혈구가 나타난 것은 TNF-Tg 암컷 쥐의 조기 사망으로 인해 5개월 후 스캔 종료가 계획되었음을 나타냅니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충 표 3: 방법론적 검사를 위한 WT 앞발 표본 크기. 앞발 수의 표본 크기는 연령(2개월부터 8개월까지)에 따라 제공되며, 전체 방법론적 검사에 사용되는 데이터셋 또는 영상 오류, 심한 운동 인공물, 또는 예정된 마이크로 CT 스캔 전 사망으로 생략된 데이터셋으로 정리됩니다. 여성의 경우 6개월에서 8개월 사이의 흑혈구는 5개월 후 TNF-Tg 실험 동료들의 조기 사망으로 인해 스캔 종료가 계획되었음을 나타냅니다. *WT 암컷의 경우 3개월 시점에 n=1개의 앞발이 영상 오류로 인해 DP-F3, PP-F3, DP-F4, PP-F4가 누락되었으나, 나머지 앞발은 평가되었습니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충표 4: 방법론적 검사를 위한 TNF-Tg 전발 표본 크기. 앞발 수의 표본 크기는 연령(2개월부터 8개월까지)에 따라 제공되며, 전체 방법론적 검사에 사용되는 데이터셋 또는 영상 오류, 심한 운동 인공물, 또는 예정된 마이크로 CT 스캔 전 사망으로 생략된 데이터셋으로 정리됩니다. 암컷의 경우 6개월부터 8개월까지 흑혈구가 나타난 것은 TNF-Tg 암컷 쥐의 조기 사망으로 인해 5개월 후 스캔 종료가 계획되었음을 나타냅니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충표 5: 수컷 뒷발의 개별 뼈 정확도. TNF-Tg와 WT 뒷발에서 분할 정확도를 떨어뜨리는 특정 뼈를 식별하기 위해, 수컷 마우스에서 정확히 분절된 뼈 수, 잘못 분절된 뼈 수, 그리고 전체 뼈에 대한 비율 등 세부 정보를 제공한다. 주요 결손이 발생하는 족골 부위(그림 2)에서는 종골(CALC), 중간 설형(융합되지 않음), 항선/외측 설형(융합되지 않음)이 TNF-Tg 뒷발의 정확도 저하가 가장 두드러졌습니다. 통계: 피셔의 정확 검정; *p<0.05, **p<0.01, ***p<0.001, ****p<0.0001. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충표 6: 암컷 뒷발의 개별 골 정확도. TNF-Tg와 WT 뒷발에서 분할 정확도를 떨어뜨리는 특정 뼈를 식별하기 위해, 암컷 쥐에서 정확히 분절된 뼈 수, 잘못 분절된 뼈 수, 그리고 전체 뼈에 대한 비율에 대한 세부 정보를 제공한다. DL 훈련 및 검증에 데이터셋을 활용하고, 조기 사망을 보이는 TNF-Tg 마우스와의 비교 기간이 5개월로 단축된 점을 고려할 때^, WT 암컷에 할당된 DL 검사 뒷발 총 수는 개별 뼈 비교가 TNF-Tg 데이터셋의 전체 정확도 저하를 설명하는 데 한계를 가집니다. 통계: 피셔의 정확 검정; p<0.0001. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충 표 7: 수컷 앞발의 개별 뼈 정확도. TNF-Tg와 WT 앞발에서 분할 정확도를 떨어뜨리는 특정 뼈를 식별하기 위해, 수컷 마우스에서 정확히 또는 잘못 분절된 뼈 수, 그리고 전체 뼈 대비 정확한 비율에 대한 세부 정보를 제공한다. 주요 결손이 발생하는 손목과 세마모이드 영역(그림 4)에서는 두피타트(CAP), 삼두체(TRI), 중앙부(융합되지 않은 CENT), 주상골/월골(SCAPHATE), 사다리형(ZOID), 그리고 세사모이드 2-10에서 TNF-Tg 전발의 정확도 저하가 가장 두드러졌습니다. 참고로, 세사모이드 1과 2의 정확도는 WT와 TNF-Tg 데이터셋 모두에서 부족합니다. 흥미롭게도, 중수골 1은 TNF-Tg 마우스에서 분절 정확도가 향상되었는데, 이는 인접한 뼈와의 밀접한 관절 접촉으로 인한 과도한 연결 오류가 발생했기 때문일 수 있으며, 이는 관절염 부식으로 완화됩니다. 통계: 피셔의 정확 검정; *p<0.05, **p<0.01, ***p<0.001, ****p<0.0001. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보충표 8: 암컷 앞발의 개별 뼈 정확도. TNF-Tg와 WT 앞발에서 분할 정확도를 떨어뜨리는 특정 뼈를 식별하기 위해, 암컷 마우스에서 정확히 또는 잘못 분절된 뼈 수, 그리고 전체 골에 대한 비율 등 세부 정보를 제공합니다. 주요 결손이 발생하는 손목과 세마모이드 영역(그림 4)에서는 두피타(CAP), 해메이트(HAM), 삼두막(TRI), 그리고 세자모이드 1-10이 TNF-Tg 전발의 정확도 감소가 가장 두드러졌다. 참고로, 세사모이드 1과 2의 정확도는 WT와 TNF-Tg 데이터셋 모두에서 부족합니다. 통계: 피셔의 정확 검정; *p<0.05, ***p<0.001, ****p<0.0001. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보조 파일 1: 딥러닝 모델 학습을 위한 공동 분할 레시피. 표준 사전 분할된 마이크로 CT 뒷발에서 분할된 관절 공간을 추출하는 일련의 내장된 단계로, 관절 공간 식별을 위한 DL 모델 학습에 사용되었습니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보조 파일 2: 딥러닝 촉진을 이용한 이미지 처리를 이용한 뼈 분할 레시피. 이미지 처리 단계와 DL 관절 공간 식별 출력을 결합하여 원래 마이크로 CT 데이터를 개별 뼈의 분할로 변환하는 일련의 내장된 단계들이 있어 뼈 분리를 안내합니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보조 파일 3: 딥러닝 예측 가중치. 관절 공간 분할의 딥러닝 예측 시 가중치 입력으로 사용되는 파일입니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보조 파일 4: 딥러닝 예측 아키텍처. 딥러닝 예측 시 관절 공간 분할 시 아키텍처 입력으로 사용되는 파일입니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

보조 파일 5: 딥러닝 파이썬 스크립트. 이 파일은 관절 공간 분할의 딥러닝 예측을 위한 파이썬 스크립트로 사용됩니다. 이 파일을 다운로드하려면 여기를 클릭해 주세요.

Discussion

쥐의 뼈 부피에 대한 완전 자동화 분석을 완료하여, 우리는 특히 쥐 뒷발을 포함한 복잡한 구조에서 마이크로 CT 데이터의 분할 능력에서 추가적인 개선을 이루었습니다. 전략은 관절 관절 공간을 타겟으로 하여 뼈 분리의 경계를 만드는 것이었으며, 뼈 사이의 음의 공간에 집중함으로써 앞발과 같은 대체 구조에서 유연하게 구현할 수 있었습니다. 왜냐하면 이 접근법은 구별되는 뒷발 뼈의 형태와 해부학에 특정하지 않았기 때문입니다. 앞발에서 수행했을 때 분할 정확도가 감소했음에도 불구하고, WT 데이터셋은 여전히 >85%의 뼈 정확도를 보였습니다. 잘 설명된 교정 과정¹² 는 DL 훈련용 사전 주석이 달린 전발 모델 데이터셋을 생성하는 데 적용될 수 있어, 구조별 알고리즘 생성의 장벽을 크게 낮출 수 있습니다. 이 새로운 접근법은 심각하고 진행성 염증성 침식성 관절염을 가진 TNF-Tg 발톱에도 적용할 수 있게 했습니다. TNF-Tg 발에서는 분절 정확도의 감소가 시간이 지남에 따라 두드러졌으며, 이는 나이가 들면서 침식된 표면을 재모델링하면서 뼈 침식과 병리적 뼈-뼈 융합이 점진적으로 증가하는 것과 일치했다. 따라서 WT 구조에서 자동화되고 매우 정확한 분할 모델의 놀라운 성공적 적용은 질병 모델이나 기타 복잡한 관절에서의 미래 응용을 안내할 잠재력을 가지고 있습니다. 추가 연구는 관절염 관절의 분할 최적화에 초점을 맞춰 뼈 침식 및 융합의 병리학적 영향을 정량화하여^{앞서 설명}한 질병 바이오마커를 규명할 수 있습니다.

전임상 관절염 모델 ^{12,23,25,35,42}에서 작은 뼈의 침식을 모니터링하기 위해 마이크로 CT 영상을 성공적으로 활용했음에도 불구하고, 임상 평가에서 CT 기법의 적용은 제한적입니다. 특히 류마티스 관절염의 경우, 평가 시스템은 주로 MRI⁴³, 초음파^{44, 45}, 그리고/또는 기존 X-ray⁴⁶에 적용되어 임상 지표⁴⁷과 함께 반정량적이고 사용자 의존적인 질병 중증도 측정 지표를 생성합니다. CT가 골 무결성 평가의 골드 스탠다드 기준으로 간주되기 때문에(^48,49), 임상적으로 번역 가능한 분석 접근법의 추가 최적화는 골 부피의 신뢰할 수 있고 종단적인 정량 평가에 엄청난 이점을 제공할 것으로 기대되며, 이는 질병 중증도 측정과 치료 반응 평가에 도움이 될 것입니다. MRI와 같은 영상 기법은 염증 부위, 골수 변화, 연부 조직 병리학 등 더 넓은 정보를 제공하지만, 다중 에너지 입력을 가진 새로운 CT 영상 접근법은 CT 활용을 뼈 구조를 넘어 확장할^{가능성을 제시합니다}. 이러한 제안된 이점에도 불구하고, 우리는 개발된 전임상 분석 도구의 임상 번역에 엄청난 도전이 있음을 인정하며, 저해상도 임상 CT 영상 적용과 인체 해부학적 특성 내 적용을 고려합니다. 최근 전임상 관절^{염 모델에서} 뼈 특이 바이오마커를 확인한 것과 유사하게, 순수하게 정량적인 골 침식 지표를 조사하는 상세한 임상 노력은 질병 모니터링에 있어 큰 진전이 될 것입니다.

현재 연구는 관절 공간을 표적으로 삼아 새로운 구조에 유연하게 적용할 수 있는 잠재력을 고려할 때 임상 구현의 기초를 제공하지만, 주요 한계는 임상 진단을 위한 것이 아닌 잘 문서화된 사전 임상 연구 지향 소프트웨어에 의존한다는 점입니다. 하지만 제공된 상세한 방법론을 통해 기본 알고리즘과 전략적 설계는 대체 소프트웨어 환경에서 쉽게 구현할 수 있습니다. 어떤 연구 소프트웨어를 사용하든, 임상 사용에 통합되려면(조사가 아닌) 임상 실무 도입을 위한 규제 요건을 충족하는 번역 작업이 필요합니다. 새로운 분할 전략을 적용하기 위해, 이전에 이미지 해상도(즉, 복셀/구조 크기)가 이미지 처리 알고리즘만을 사용하여 분할 정확도를 결정하는 핵심 요인임을 설명한 차등 이미지 해상도의 잠재적 한계도 고려하는 것이^{중요합니다.} 사실, 이는 앞발의 분절 정확도가 약간 떨어진 것과 관련이 있을 수 있는데, 앞발 구조의 크기가 작아 뒷발에 비해 상대적으로 이미지 품질이 떨어지기 때문입니다. 또한 훈련 데이터셋(2-6개월)과 검사(7-8개월 포함) 데이터셋의 연령 범위 차이를 인정하는 것이 중요하며, 이는 뼈 성장 지속이나 관절 병리의 추가 발병 등 연령 관련 변화에 적용과 정확성에 영향을 줄 수 있습니다. 우리의 연구 결과는 6개월 이후 DL 분석에서 WT 뒷발의 정확도가 유지되었음을 뒷받침하며(그림 2E), TNF-Tg 대응 종의 분절 성능 저하가 연령 자체와 무관한 염증성 침식 진행과 더 관련이 있을 가능성이 높음을 시사합니다. 그러나 DL 훈련 코호트의 특정 연령대와 무관하게 일관된 정확성을 보장하기 위해서는 노령 및 노령 야생형 쥐를 대상으로 한 추가 연구가 필요합니다. 마지막으로, 설명된 방법을 단일 클래스 뼈 분리 접근법을 넘어, 구조 구조나 고정 해부학 내 좌표 위치를 기반으로 예측한 뼈 이름을 포함하는 보다 견고한 다중 클래스 분석 도구(예: 아틀라스 트리와 유사)로 확장하면 필수적인 개선이 이루어지고 방법 채택을 촉진할 가능성이 큽니다.

결론적으로, 우리는 복잡한 구조 내에서 개별 뼈를 분리하기 위한 새로운 영상 처리 및 DL 촉진 마이크로 CT 분할 전략을 설계했습니다. 이 혁신은 최근 개발된 SA 워크플로우 12와 비교했을 때 자동화성과 세분화 정확도 모두에서 놀라운 향상을 보여줍니다. SA¹²는 DL 모델을 훈련시키고 현재 개선 사항을 최적화하기 위한 수많은 골드 스탠다드 세그먼트 제작의 기반이 되었습니다. 염증성 침식성 관절염이 있는 앞발과 발에서 분할 방법 번역은 성능 저하를 보였지만, 이 DL 분할 방식을 도입하면 병리학적 또는 구조별 DL 학습 모델을 위해 완전히 주석이 달린 데이터셋을 생성하는 수작업 작업을 줄일 수 있습니다. 향후 연구에 이 DL 방법을 활용하면 전임상 연구에서 다양한 종 및 질병 모델 간 뼈 분절 최적화가 가능하며, 상세한 하위 정량 분석을 가능하게 할 수 있습니다. 또한 이러한 전략을 임상 연구에 도입할 것을 촉구하며, 이는 궁극적으로 환자 치료에 긍정적인 이익을 가져올 것으로 기대됩니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
컴퓨팅 시스템	자세한 내용은 프로토콜 섹션에 제공되며;	자세한 내용은 프로토콜 섹션에 제공되며;
이미지 시각화 소프트웨어	서모피셔 사이언티픽	v2022.2 또는 그 이후	아미라
이소플루란	베트원	13985-528-60	플루리소, 마취용 1-3%
쥐들	로체스터 대학교 메디컬 센터	해당 없음	C57BL/6, TNF 형질전환
마이크로 CT	스캔코 메디컬	해당 없음	비바CT 40
통계 소프트웨어	그래프패드 소프트웨어 주식회사	v10.2.0 또는 그 이후	그래프패드 프리즘
테이프	해당 없음	해당 없음	동물 발을 영상 촬영을 위해 고정하기 위해
튜빙	해당 없음	해당 없음	동물 안정화를 위한 더린 플라스틱과 투명 아크릴