인도시아닌 그린 유도 복강경 담낭절제술에서 간 형광을 실시간으로 제거하는 새로운 이중 모드 딥러닝 접근법

요약

이 프로토콜은 인도시아닌 그린 유도 복강경 담낭절제술(ICGLC) 중 실시간 간 형광 제거를 위한 이중 모달 딥러닝 접근법을 제시합니다.

초록

인도시아닌 그린 유도 복강경 담낭절제술(ICGLC)은 담도 시각화를 개선하지만, 간 형광 오염으로 인해 해부학적 구조가 방해받는 경우가 많습니다. 본 연구는 ICGLC 절차 중 간형 형광 오염을 실시간으로 자동으로 감지하고 제거하는 새로운 이중 모달 딥러닝 프레임워크를 개발하고 평가하는 것을 목표로 합니다. 선택 ICGLC를 받은 48명의 환자를 대상으로 33,123개의 이중 모달리티 수술 프레임 데이터셋을 구축하였습니다. 형광과 백색광 이미지가 융합되고 주석이 달렸습니다. 여러 딥러닝 모델이 비교되었고, DeepLabV3 기반 미드퓨전 네트워크가 선택되었습니다. 형태학적 후처리와 단계별 훈련 전략이 도입되어 세분화 정확도와 일반화 가능성을 높였습니다. 제안된 모델은 최종 테스트 세트에서 다이스 계수 0.838과 회상 능력 0.863을 달성했습니다. 주관적 평가에서 10명의 선임 외과의사는 AI 처리 영상이 더 선명하며, 담관 시각화가 현저히 개선되고 시각 피로도 감소했다고 일관되게 평가했습니다. 이 모델은 프레임당 0.018초의 실시간 성능을 입증했습니다. 이 연구는 ICGLC에서 간 형광 제거를 위한 최초의 실시간 AI 솔루션을 제시합니다. 이중 모달 딥러닝 모델은 시각적 명료성을 크게 향상시켜 수술 안전성, 운영 효율성, 훈련 효과를 향상시킬 잠재력을 제공합니다. 향후 임상 결과에 미치는 영향을 평가하기 위한 전향적 연구가 필요합니다.

서론

담장석증은 전 세계 인구의 4% 이상에 영향을 미치는 흔한 위장 질환으로, 전 세계 인구의 4% 이상에 영향을 미치고 있습니다. 복강경 담낭절제술(LC)은 최소한의 수술 중 외상, 경미한 수술 후 통증, 우수한 미용 결과, 짧은 입원^기간(5,6,7) 등 장점 때문에 담석증 치료의 '골드 스탠다드'로 널리 인정받고 있습니다. 미국에서만 일반 외과의가 연간 750,000건에서 1,000,000건의 LC를 시행합니다. 그러나 LC의 합병증률은 전통적인 개복 수술보다^높으며, 담관 손상(BDI)과 같은 심각한 합병증의 발생률은 2배에서 3배 더 높습니다 ^9,10. 연구에 따르면 복강경 수술 중 BDI는 해부학적 해리 단계의 기술적 오류에서 자주 발생하며, 특히 85%에 달하는 해부학적 오식별이 흔하며, 대담관(CBD)에 대한 오판이나 우측 후간관 해부학적 변형이 자주 발생한다^11,12.

현대 수술 합병증의 유병률을 줄이기 위해, 안전성 비판(CVS), 수술 중 담관조영, 근적외선 형광(NIRF) 기술 등 다양한 정교한 방법과 첨단 기술이 개발되었습니다 ^5,8. CVS는 점점 더 담낭 구조^{5, 13, 14}를 식별하는 표준 방법으로 인식되고 있으며, 이는 방낭피 삼각형의 결합 조직을 제거하고 낭성 판에서 담낭 하부 3분의 1을 제거하여 낭관과 낭성 동맥을 명확히 볼 수 있게 하여 복강경 담낭절제술¹¹번 중 혈관 및 담도 손상을 예방합니다^{. 15}.

인도시아닌 그린(ICG) 기반 실시간 수술 중 NIRF 담관조영술도 2008년에 처음 임상적으로 보고된 또 다른 입증된 해결책입니다. ICG는 간에서만 대사되며, 혈장 단백질에 결합하고, 근적^{외선 광}선에 노출되면 약 830 nm의 최대 파장을 방출합니다. 이 특성은 간 종양과 담도계의 시각화를 가능하게 하며, 수술 안전성 향상과 수술 시간 단축에 유망한 응용 가능성을 보여줍니다^{18, 19, 20}. CVS와 NIRF의 병용 사용과 CVS 단독 사용을 비교한 연구에서는 비만 환자와 심한 염증이 있는 환자에게 수술 시간 단축뿐 아니라 BDI 발생률 감소에도 효과가 있음을 보여주었습니다^21,22. 그러나 임상 적용에는 다양한^{영상 장치 사용}, 지연된 ICG 주입 또는 간 조직 흡수 과도한 점 등이 있어 간 형광 강도가 높아져 시야를 오염시켜 중요한 담도^{계 영상을} 가리는 등의 한계가 있습니다. 보조 기술을 수술 중 적용하여 간 형광 오염을 제거하면서도 올바른 담도 형광 영상을 유지할 수 있다면, 수술 시야를 최적화하고 수술의 안전성과 원활함을 더욱 높일 수 있을 것입니다.

인공지능(AI) 기술은 형광을 최적화하는 유망한 도구입니다. 의료 영상 및 외과 수술 분야에서 AI는 최근 몇 년간 연구 중심지로서 수많은 기술 혁신과 임상 응용을 달성했습니다^{25, 26, 27}. 복강경 수술 영상에서 AI 딥러닝 기술의 기존 연구와 응용은 주로 백색광 단일 모달리티에 기반했으며, 여기에는 반회신경, 신장 가장자리, 혈관, 담낭 등 다양한 해부학적 랜드마크 인식이 포함되었습니다 28,29,30,31. 현재 형광 보조 LC 중 간 형광 오염을 실시간으로 제거하는 연구에 대한 연구는 부족합니다. 산업계에서 널리 적용된 이중 모달 이미지 세분화는 이 공백을 메우는 데 도움이 될 수 있습니다. 본 연구는 ICGLC 시나리오에서 이중 모달 이미지 분할의 응용을 탐구하고, 과도한 간 형광의 실시간 동적 인식 및 차폐를 위한 훈련 방법을 개발하고 검증하는 것을 목표로 합니다.

프로토콜

본 연구에 포함된 모든 수술 영상은 베이징 연합의과대학병원에서 선택적 ICG 유도 복강경 담낭절제술(ICGLC)을 받은 환자들로부터 수집되었습니다. 이 연구는 관련 윤리 위원회의 승인을 받았으며, 등록 전 모든 참가자로부터 사전 동의를 받았습니다.

1. 데이터 준비 및 이미지 주석

1. 2022년부터 2024년 사이에 베이징 연합의과대학병원에서 ICGLC를 받은 48명의 환자로부터 수술 영상을 소급적으로 수집했습니다.
   참고: 본 연구에 포함된 환자들은 수술 20분 전에 0.5mg의 ICG 정맥 주사를 받았습니다.
2. 일반 외과의에게 칼롯 삼각형의 중요한 해리 단계에 관한 모든 수술 영상과 추출 구간을 검토하도록 지시하세요. 칼롯 삼각형 해부에 집중해 76개의 외과 영상 클립을 수동으로 선택하세요. 각 클립에서 형광 및 백색광 영상 채널을 추출합니다. RGB 채널을 따라 연결하세요.
3. 중복을 최소화하기 위해 8:1 간격으로 프레임을 샘플링하고, 해상도를 1920 × 1080에서 960 × 540으로 다운스케일한 뒤, 이미지를 맞춤형 주석 플랫폼으로 가져오세요.
4. 일반 외과의에게 간 형광 윤곽을 수동으로 그려주고, 선임 외과의사의 감독을 통해 주석 품질을 보장하도록 하십시오.

2. 모델 평가 지표

1. 지정된 테스트 데이터셋을 기반으로 정밀도, 회상률, 다이스 계수 등 표준 컴퓨터 비전 지표를 사용하여 모델의 세분화 성능을 평가합니다.
2. 추론 중 계산 부하를 측정하여 실시간 성능을 평가합니다.
   1. Python/C 표준 라이브러리의 시간 모듈을 사용하여 추론 시간을 측정하세요.
   2. 데이터 로드 전에 time.perf_counter() 를 호출하여 시작 타임스탬프를 기록하세요.
   3. 모델이 예측 결과를 생성한 후 종료 타임스탬프를 얻기 위해 다시 time.perf_counter() 를 호출합니다.
   4. 종료 타임스탬프와 시작 타임스탬프의 차이를 단일 샘플의 추론 시간으로 정의합니다.
   5. 이 과정을 테스트 데이터셋의 각 샘플에 대해 반복하고, 전체 모델 추론 지연 시간을 나타내기 위해 모든 샘플의 평균 추론 시간을 계산합니다.
   6. 해당 절차를 요약한 다음 의사코드를 참고하세요:
      Inference_time = 0 및 ind = 0을 초기화합니다
      X를 테스트 집합 저장 경로로, 모델을 추론 모델로 하자고 하자.
      X의 각 x_path에 대해 :
      CPU와 GPU 동기화
      Start_timestamp = time.perf_counter() # 시작 타임스탬프
      x = load(x_path) # 데이터 로딩
      Y = 모델(x) # 모델 추론
      CPU와 GPU 동기화
      End_timestamp = time.perf_counter() # 종료 타임스탬프
      Inference_time += (end_timestamp - start_timestamp)
      Ind += 1
      끝
      Inference_time = Inference_time / 인드 # 평균 추론 시간
3. 간과 담도 형광 인식을 주요 목표로 하여 수술 영역 내 간 영역을 검출하고 해당 백색광 정보를 대체하여 간 형광의 간섭을 최소화합니다.
4. 교차점 오버 유니언(IoU)을 사용해 모델의 예측 정확도를 정량화하세요.
   참고: 합의 교차(Intersection over Union, IoU)는 예측된 양의 영역과 지상 진실 양의 영역 사이의 겹치는 영역 내 픽셀 수와 예측된 양의 영역 합집합 내 픽셀 총 수에 대한 비율로 정의됩니다.
5. 기초 진실을 가진 IoU가 지정된 임계값을 초과할 경우 예측을 진정한 양성(TP)으로 정의하라; 그렇지 않으면 거짓 음성(FN)으로 분류하세요.
6. 해당 주석이 없는 예측된 분할은 거짓 양성(FP)으로 표시하세요.
7. 예측된 결과와 실제 라벨 간의 교차점 오버 유니온(Intersection over Union, IoU)을 계산한 후, 외과 영상에서 형광 신호의 확산과 저대비 특성을 고려하여 IoU 임계값을 0.1로 설정했습니다.
8. 평가 지표를 다음과 같이 정의하고 계산합니다:
   
   
   

3. 형태학적 후처리

1. 1920 × 1080에서 960 × 540 해상도까지 모든 간 및 담도 형광 프레임을 보간 기반 방법, 특히 쌍선형 보간법으로 다운샘플링합니다.
2. 너비에 제로 패딩을 적용하여 최종 입력 차원은 96×0× 544 모두 0인 행렬을 생성하고 현재 이미지를 그 안에 중앙에 배치하여 최종 입력 차원을 960 544로 얻습니다.
3. 백색광과 형광 이미지를 채널 차원에 연결하여, PyTorch 프레임워크를 사용해 구축한 텐서 내에 해당 행렬을 순차적으로 저장한 후 모델에 입력합니다.
4. 잡음 예측을 줄이고 경계 품질을 정교화하기 위해, 초기 분할 출력에 대해 형태학적 개폐 연산을 수행하여 불필요한 잡음을 필터링하고 경계 경계 구분을 개선합니다.
5. 예측된 마스크³²에서 작은 스파이크와 가장자리 아티팩트를 제거하는 개방 작업부터 시작하세요.
6. 이어서 고립된 구멍과 파편화된 영역을 제거하는 클로징 작업을 진행합니다.
7. 두 작업 모두에 25 × 25 구조화 커널을 사용하여 장기 경계의 효과적인 정교화와 분절 노이즈 감소를 보장한다.

4. 훈련 환경과 하이퍼파라미터

1. NVIDIA A100 텐서 코어 GPU를 하나로 모델을 훈련하세요.
2. 배치 크기를 16으로 설정하세요.
3. ImageNet³³ 사전 학습된 가중치를 사용해 인코더(백본)를 초기화하여 전이 학습을 활용하고 수렴을 가속화합니다.
4. 대규모 이미지 분할 작업에서의 견고함과 노이즈 구배 완화 능력 때문에 확률적 그라디언트 하강(SGD)³⁴ 최적화 도구를 사용하세요.
5. 초기 학습률을 0.01로 설정하고, 다항식 감쇠 전략을 적용하여 학습률을 점진적으로 낮추고, 하한선은 0.0001입니다.
6. 최종 모델을 얻기 위해 총 50,000회 반복 훈련을 계속하세요.

5. 3단계 모델 훈련

1. 모델 선택 단계에서는 DeeplabV3³⁵, DLinkNet34³⁶, U-Net³⁷ 등 이중 모달리티 입력을 사용하는 여러 세분화 모델을 비교하세요; 세분화 정확도와 계산 효율성을 기준으로 최적의 모델을 선택하세요.
2. 알고리즘 구조 최적화 단계에서는 네트워크 내 다양한 특징 융합 위치를 조사하여 백색광 및 형광 데이터에 대한 가장 효과적인 통합 전략을 결정합니다.
3. 일반화 및 임상 검증 단계에서는 점진적 데이터 증강 기법을 적용하여 모델의 견고성을 강화합니다; 임상 시나리오에서 최종 모델을 검증하여 실제 적용 가능성을 평가합니다.

6. 외과용 영상 처리

1. 담도관(CBD)과 낭성관을 포함한 담도 해부학의 수술 중 ICG 형광 시각화를 보여주는 영상 일부를 추출합니다.
2. 선택된 영상을 최적의 모델을 사용해 실시간으로 처리합니다; 프레임당 평균 처리 시간을 계산하여 실시간 계산 성능을 평가합니다.

7. 간 형광 오염 제거

1. ICGLC 절차 중 간 형광 오염을 실시간으로 감지하고 억제하는 모델을 적용하세요.
2. 담관 식별을 용이하게 하기 위해 담도 구조 시각화를 보존합니다.
3. 기기 폐색이나 카메라 움직임 같은 일반적인 수술 중 문제에도 불구하고 오염 억제 성능을 유지하세요.

8. 영상 품질의 임상 평가

1. 외부 기관에서 10명의 선임 일반 외과의사 패널을 모집하여 AI 처리된 영상의 효과를 평가합니다.
2. 각 외과의사에게 원본 영상과 AI 강화 영상 클립을 모두 제공하세요; 다섯 가지 미리 정의된 평가 기준에 기반한 주관적 평가 설문지를 작성하도록 지시합니다.

결과

본 연구에서는 2022년부터 2024년까지 베이징 연합 의과대학 일반외과에서 선택적 인도시아닌 그린 복강경 담낭절제술(ICGLC)을 받은 총 48명의 환자가 사후 등록되었습니다. 모든 환자는 수술 20분 전에 0.5mg 인도시아닌 그린 정맥 주사를 맞았습니다. 수술 후 병리 검사 결과 모든 사례가 결석성 담낭염 진단을 받았음이 확인되었습니다.

수동 세그먼트 및 선택 후 총 76개의 비디오 클립이 확보되었습니다. 각 클립마다 형광 및 백색광 영상 채널이 RGB 채널을 따라 연속되어 있었습니다. 프레임 샘플링은 8:1 비율로 수행되어, 33,123개의 융합 형광-백색광 프레임으로 구성된 이중 모달 수술 영상 데이터셋을 얻었습니다. 데이터셋은 세 가지 실험 단계에 해당하는 세 개의 하위 집합으로 무작위로 나뉘었습니다. 각 단계 내에서 데이터는 4:1 비율로 훈련 세트와 테스트 세트로 다시 나뉘었습니다.

토론

이 연구는 ICGLC 수술의 핵심 과제인 간 형광 오염 식별 및 은폐를 해결하기 위해 AI 딥러닝을 활용했습니다. NIRF를 사용하는 외과의사들은 간 형광이 시각 피로를 유발하고 담^{도 영상을} 복잡하게 만든다고 자주 보고합니다. 컴퓨터 비전 기술을 적용하여 이 연구는 이러한 문제를 완화하고 ICGLC에서 흔히 발생하는 합병증인 BDI 발생률을 잠재적으로 줄이는 것을 목표로 했습니다. 단일 프레임 처리에 대한 모델의 추론 시간은 약 0.018초로, 이는 약 56프레임/초(fps)에 해당하여 24fps 비디오 표준을 초과합니다.

이전 연구들, 예를 들어 Patrick A. Boland³⁹와 Niall P. Hardy ^37,38의 연구들은...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
4K 형광 이미징 콘솔	항저우 강지 의료기기 유한회사.	KJ-EP4K-01	세 가지 이미징 모드를 제공합니다: 백색광, 형광, 융합형광; AI 모듈 확장 지원
4K 형광 카메라	항저우 강지 의료기기 유한회사.	KJ-EC-4K	다기능 버튼 설정이 가능한 완전 디지털화된 카메라; 비디오 녹화, 사진 촬영, 형광 모드 전환 지원
냉광원 시스템	항저우 강지 의료기기 유한회사.	KJ-CLS-1	LED 냉광원과 형광광원 및 형광광원 808nm 파장을 가진 LED LED 광원
NVIDIA A100 텐서 코어	엔비디아 코퍼레이션	900-21001-0020-100	GPU