인공지능 기반 개인화 학습이 수술실 기구 훈련을 개선하다: 전향적 관찰 연구

Summary

이 전향적 관찰 연구는 인공지능 기반 개인 맞춤형 학습 시스템이 장기 수술실 기기 역량을 크게 향상시키고, 안전 사고를 줄이며, 전통적인 교육에 비해 훈련 효율성을 크게 향상시켰음을 입증했습니다.

Abstract

전통적인 수술실 기구 훈련은 일률적인 교육에 의존하는 경우가 많으며, 장기적인 기술 유지가 부족하고 예방 가능한 수술 오류를 유발합니다. 본 연구는 인공지능(AI) 기반 맞춤형 학습 시스템이 개별 학습자 프로필에 맞춘 실천을 통해 기술 역량, 환자 안전, 교육 효율성을 향상시킬 수 있다고 가정했습니다. AI 기반 개인화 학습 시스템(APLS)이 개발되었으며, 이는 데이터 기반 학습자 표현형 분석, 딥러닝 기반 기기 인식, 역량 경로의 앙상블 예측, 강화 학습을 결합하여 시뮬레이션 기반 훈련 중 적응형 다중 모달 피드백을 제공합니다. 3차 병원에서 클러스터 기반 부서 배정(준실험 요소를 도입)을 적용한 전향적 관찰 연구에서, 107명의 다학제 수술실 직원이 AI 기반 커리큘럼 또는 표준 강사 주도 교육을 완료했습니다. 주요 결과는 수술 전후 기기 숙련도 척도(PIPS)로 측정한 12개월 기기 조작 능력 유지였으며; 부차적 결과로는 수술실 안전 사고, 교육 시간, 그리고 유능한 전문가 1인당 비용이 포함되었습니다. 전통적인 교육과 비교했을 때, 개인 맞춤형 시스템은 12개월 역량 점수가 훨씬 높았으며(APLS 84.1 ± 9.2 대 대조군 58.9 ± 18.7, < 0.001), 임상 실무에서의 안전성 관련 사건 감소, 그리고 전체 교육 비용을 38.3% 절감하는 거의 절반의 교육 시간을 보였습니다. AI 앙상블은 학습자 성과 예측과 피드백 전략 선택에서도 개별 머신러닝 구성 요소보다 뛰어난 성능을 보였습니다. 이 결과는 감독 없는 표현형 발견, 감독 예측, 강화 학습을 통합 플랫폼에 통합하는 것이 수술실 기기 교육을 의미 있게 향상시킬 수 있으며, 데이터 기반 인력 개발을 위한 확장 가능한 프레임워크를 제공할 수 있음을 시사합니다.

Introduction

수술실 환경은 효과적인 다학제 협력이 환자 안전 결과와 수술 품질에 직접적인 영향을 미치는 의료 환경에서 가장 복잡한 환경 중 하나입니다 ^1,2. 부적절한 기구 역량 교육은 중국 병원에서만 연간 약 15,000건의 예방 가능한 수술 오류에 기여하며, 의사소통 실패와 기술적 결함이 수술 전^부작용의 72%를 차지합니다. 전통적인 교육 방식은 개인별 학습 차이, 인지 처리 변이, 개인 맞춤형 역량 개발 경로를 고려하지 않는 표준화된 방법론에 의존^{합니다. 4,5}.

이론적 관점에서 여러 교육 체계는 복잡한 정신운동 영역에서 개인화된 접근이 표준화된 교육보다 우수할 수 있음을 밝힙니다. 인지 부하 이론⁶은 특히 학습자가 고충실도의 환경(예: 수술실⁷)에서 새로운 절차적, 개념적, 지각 정보를 동시에 처리해야 할 때 작업 기억의 제한된 용량을 교수 설계가 고려해야 한다고 주장합니다. 콘텐츠 난이도와 표현 방식을 개별 인지 프로필에 맞게 조정함으로써, 개인화된 시스템은 내재적 인지적 부담과 부가적 인지 부담 간의 균형을 최적화할 수 있습니다. 의도적 연습의 틀은 또한 개별 도전 수준, 즉각적인 교정 피드백, 그리고 식별된 약점에 대한 집중적 반복을 포함하는 훈련이 기술 습득을 극대화할 수 있음을 시사합니다. 이러한 요소들은 전통적인 견습 모델에서는 일관되게 구현하기 어렵지만 알고리즘 적응을 통해 자연스럽게 운영화됩니다⁸. 또한, 근접 발달 영역은 적응적 난이도 조정의 이론적 토대를 제공하며, 학습이 학습자의 현재 독립 능력을 조금 넘어서는 과제를 조정할 때 가장 효과적임을 시사^합니다. 이러한 이론적 고려는 개별 학습자의 특성에 맞게 동적으로 교육 매개변수를 조정할 수 있는 AI 시스템이 정적이고 획일적인 훈련보다 더 뛰어난 성능을 보여야 한다는 가설을 뒷받침합니다.

최근 머신러닝과 실시간 성과 분석의 발전은 교육 과제 해결에 큰 잠재력을 제공했습니다 ^6,7. 현대 AI 응용 분야는 수술 교육에서 가능성을 보여주고 있으며, AI 기반 피드백 시스템이 도입될 때 기술 습득에 상당한 향상이 보고된 연구들에 따르면,⁹. 그러나 Touch Surgery와 같은 상업용 시스템 등 기존 AI 기반 수술 훈련 플랫폼(⁸)은 주로 단일 알고리즘 아키텍처, 즉 고립된 신경망이나 의사결정 트리에 의존해 실시간 적응 피드백이나 개별 학습 경로 최적화 없이 단계별 시각적 가이드를 통해 절차 리허설을 제공해 왔습니다. 이전 연구들은 이질적 데이터 스트림(눈 추적, 모션 캡처, 생리학적 모니터링)의 다중 모달 센서 융합 처리를 강화 학습을 통해 개별 학습 경로에 동적으로 조정하는 적응 피드백 메커니즘과 통합하지 않았습니다^10,11. 더불어, 기존 시스템은 통합 교육 프레임워크 내에서 비지도 표현형 발견과 감독 예측 방법을 결합하지 않았습니다^12,13. 이러한 격차는 개인화 학습에 관한 이론적 문헌이 통합된 다구성 적응 시스템이 단일 구성 요소 접근법보다 더 효과적이어야 한다는 점을 강하게 시사하는 것으로, 이러한 격차는 놓친 기회를 의미합니다^.

수술 전후 환경에서 현재의 교육 체계는 여러 중요한 한계를 안고 있습니다 ^8,15. 전통적인 견습 모델은 강사 품질, 피드백 표준화, 역량 평가 신뢰성 등에서 상당한 변동성을 보이는 일관성 없는 학습 경험을 제공합니다. 이러한 접근법은 다양한 학습 스타일을 수용하지 못하고, 개인의 진도에 맞춰 적응하지 못하며, 교육 성과를 최적화하는 데 필요한 정교한 분석이 부족하다^11,15. 이러한 충족되지 않은 요구를 해결하기 위해, 본 연구는 다학제 수술실 기기 훈련을 위해 설계된 네 가지 알고리즘적으로 구분되는 구성 요소를 하나의 적응형 플랫폼 내에 통합하는 종합적인 교육 개입인 AI 기반 개인화 학습 시스템(APLS)을 도입합니다. 우리가 아는 한, 이 시스템은 외과 교육 문헌에서 다음과 같은 기능을 경험적으로 통합한 가장 초기 사례 중 하나입니다: 데이터 기반 학습자 표현형 발견을 위한 비지도 클러스터링과 실시간 표현형 할당을 위한 감독 분류를 결합한 하이브리드 아키텍처; 제한된 도메인 특화 데이터를 사용하여 사전 학습된 합성곱 신경망을 수술 기구 시각 인식에 적응시키는 전이 학습 파이프라인; 학습자 상호작용을 통해 피드백 타이밍과 양식을 반복적으로 다듬는 강화 학습 모듈; 그리고 여러 이기종 알고리즘의 출력을 종합하여 어떤 구성 모델보다 역량 경로를 더 정확하게 예측하는 앙상블 예측 프레임워크가 있습니다. APLS를 표준 강사 주도 교육과 비교하여 12개월간의 학습 성과, 임상 성과 지표, 교육 효율성, 비용 효율성 등을 비교함으로써, 통합 AI 기반 개인화 플랫폼이 현재의 교수법 관행을 넘어 수술 전후 기기 교육을 의미 있게 발전시킬 수 있는지 판단하고자 합니다.

Protocol

이 연구는 헬싱키 선언에 따라 수행되었으며, 저장대학교 의과대학 Sir Run Run Shaw 병원 윤리위원회의 승인을 받았습니다(승인 번호: 0480, 2025년 8월 10일 승인). 모든 참가자는 참여 전에 서면 동의서를 제출했습니다.

연구 설계 및 환경
2024년 1월부터 2025년 2월까지 중국 항저우 저장대학교 의과대학 Sir Run Run Shaw 병원에서 클러스터 기반 학과 배정을 통한 전향적 관찰 연구가 수행되었습니다. 부서별 배분 전략은 이 설계에 준실험적 요소를 도입합니다; 따라서 인과적 추론은 적절한 주의를 기울여 해석해야 한다. 이 연구는 학과 배정에 기반한 병렬 그룹 비교를 사용하여 그룹 간 정보 공유를 방지하였습니다. 비교 가능한 기준 특성을 보장하기 위해 계층화된 등록이 시행되었습니다. 병원은 표준화된 수술실 환경, 수술 기구, 모니터링 장비, 비디오 녹화 기능을 갖춘 전용 시뮬레이션 실험실을 유지했습니다.

표본 선정 및 참가자
의료 전문가들은 2023년 11월부터 2024년 1월까지 Sir Run Run Shaw 병원에서 모든 자격 있는 수술 전후 직원(n = 342명)으로부터 층별 무작위 표본추출을 통해 모집되었습니다. 계층화 변수에는 전문 역할(간호사, 외과 기술자, 마취 기술자), 경력 수준(<5, 5–10, 10–15, >15년), 학력(준학사, 학사, 석사 학위), 임상 부서(일반외과, 정형외과, 심혈관 수술 및 기타 전문 분야)가 포함되었습니다. 각 계층 내에서 표본 함수를 사용하여 컴퓨터 생성 난수(재현성을 위해 set.seed = 12345)를 적용하여 모든 인구통계학적 및 전문 분야 모두에서 대표성 표본을 추출했습니다. 표본 크기는 예비 파일럿 데이터(n = 30)를 기반으로 G*Power 3.1.9.7 소프트웨어를 사용하여 계산되었으며, 예상 효과 크기는 Cohen's d = 0.60, 양측 유의수준 α = 0.05, 원하는 통계적 검정력(1 − β) = 0.80으로, 최소 90명(그룹당 45명)이 필요함을 나타냅니다. 기관 역사 데이터를 기반으로 예상되는 15%의 탈락률(이탈)을 고려하기 위해, 목표 등록 인원은 104명으로 설정되었습니다. 실제 등록 인원은 120명에 달했으며, 마지막 11%의 이탈을 감안한 87%의 힘을 제공했습니다.

포함 기준 요구 사항
(1) Sir Run Run Shaw 병원에서 수술 전후 근무 중인 경력; (2) 최소 6개월의 수술실 경험; (3) 13개월 전체 연구 기간 동안 이용 가능; (4) 모든 평가 활동에 참여하려는 의지; 그리고 (5) 기본 컴퓨터 리터러시(웹 브라우저를 독립적으로 탐색하고 키보드/마우스 입력을 사용하는 능력으로 정의됨).

제외 기준 포함
연구 기간 중 계획된 장기 휴가, 최근 6개월 이내에 다른 외과 기구 훈련 프로그램에 참여, 시력 교정이 20/40 이상으로 교정되지 않음, 그리고 현재 공식 외과 기술 학위 프로그램에 등록 중. 총 120명의 참가자가 처음에 모집되었으며, 107명이 전체 연구 프로토콜을 완료했습니다(완료율 89.2%). 철회 사유에는 직장 변경(n = 7), 개인적 상황(n = 4), 기술 관련 어려움(n = 2) 등이 포함되었습니다. 로지스틱 회귀분석을 이용한 이탈 분석에서는 철회와 연령(OR = 1.03, p = 0.52), 성별(OR = 0.87, p = 0.85), 전문직 역할(p = 0.73), 기저 PIPS 점수(OR = 1.01, p = 0.67) 등 기초 특성 사이에 유의한 연관성이 없음을 보여주며, 이는 Little의 MCAR 검사(χ² = 43.2, df = 38, p = 0.26)로 확인된 무작위 결손 패턴을 나타냈다.

그룹 배정
교육 개입에 내재된 오염 효과를 최소화하기 위해, 참가자들은 학과 소속에 따라 개입 그룹 또는 대조군에 배정되었습니다. 부서(n = 8)는 수술 사례 수와 인력 규모에 따라 쌍을 이루고, 컴퓨터 생성 무작위 처리(R 소프트웨어, 시드 = 54321)를 사용해 APLS 또는 대조군 조건에 무작위로 배정하였습니다. 이 클러스터 기반 접근법은 부서 내 개별 무작위 배정이 동료들이 지식과 교육 경험을 공유하면서 상당한 교차 오염 위험을 초래할 수 있기 때문에 채택되었습니다. 부서 문화, 리더십 품질, 기본 교육 관행, 사례 구성이 독립적으로 결과에 영향을 미칠 수 있으며, 이는 비개별화된 무작위 설계에서 완전히 다룰 수 없는 잔여 교란 요인의 잠재적 원인임이 인정됩니다¹⁶. 층화 표본 추출은 비교 가능한 기초 특성을 보장했습니다. PIPS 평가를 수행하는 결과 평가자들은 코딩된 참가자 식별자를 통해 그룹 배정에 대해 눈가리게 적용되었습니다. 통계 분석가들은 1차 분석이 완료될 때까지 마스크 그룹 라벨이 붙은 식별 해제된 데이터셋을 받았습니다.

APLS 시스템 아키텍처 및 기술 구현
APLS는 클라우드 기반 플랫폼(재료표)에서 작동하는 네 개의 통합 계산 구성 요소로 구성되어 있습니다. 이 시스템은 오픈 소스 딥러닝 프레임워크와 웹 기반 프론트엔드(재료표 참조)를 사용하여 개발되었으며, RESTful API 프로토콜(프론트엔드 클라이언트와 서버 측 머신러닝 모듈 간의 표준화된 HTTP 기반 통신 가능하게 하는 표현 상태 전송 애플리케이션 프로그래밍 인터페이스), JSON 웹 토큰(JWT) 기반 인증(인증된 사용자와 시스템 구성 요소만 학습자 데이터 및 모델 엔드포인트에 접근할 수 있음) 등이 적용되었습니다. 그리고 데이터 보안을 위한 TLS 1.3 전송 계층 암호화(클라이언트 장치, 애플리케이션 서버, 클라우드 기반 모델 서비스 인프라 간 전송 중인 모든 데이터를 보호)를 지원합니다. 의존성 명세(requirements.txt), 구성 파일 구조, 데이터 파이프라인 초기화 명령 등 소프트웨어 환경에 대한 완전한 설명은 보충 파일 1에 제공되어 있습니다.

하드웨어 설정 및 보정
각 훈련 세션 전에 다음과 같은 하드웨어 보정 시퀀스가 수행되었습니다. 시력 추적 장치( 재료표 참조)는 참가자의 눈에서 60–70cm 떨어진 높이 조절 마운트에 설치되었고, 제조사의 표준 9점 프로토콜을 사용해 ≤0.5° 시각 정확도로 보정되었습니다. 8대의 카메라 배열( 재료표 참조)은 훈련소 센터에서 반경 2.5m의 원형 배열로 배치되었으며, 1.8m에서 2.4m 사이의 높이에 배치되었고, 제조사의 완드 절차로 보정되었으며 잔류 오차 임계값은 ≤0.3mm였습니다. 반사 마커(n = 16, 직경 = 12.7 mm)는 보조 파일 2에 설명된 마커 배치 프로토콜에 따라 양손과 손목의 표준화된 해부학적 랜드마크에 부착되었습니다. 생리학적 모니터링 장치는 제조사의 지침에 따라 부착되었고, 세션 시작 전에 신호 품질을 검증했습니다.

구성 요소 1: 학습자 표현형 분류 시스템
분류 시스템은 비지도 학습과 감독 학습을 결합한 2단계 하이브리드 방식을 사용합니다. 1단계에서는 기본 평가 데이터에 k-평균 군집화를 사용하여 자연스러운 학습자 그룹을 발견합니다. 입력 특징(n = 37)에는 기본 PIPS 영역 점수(4개 특징), VARK 학습 스타일 인벤토리 점수(4개 특징), 컴퓨터 반응 시간 과제에서 얻은 인지 처리 속도(3개 특징), 기술 편안함 점수(1개 특징), 인구통계학적 변수(3개 특징), 숫자 범위 검사에서 얻은 작업 기억 용량(2개 특징), 정신 회전 과제의 공간 추론(1개 특징), 소근육 기술 기준선 점수(3개 특징) 등이 포함됩니다. 빅 파이브 성격 특성(5가지 특징)과 기관 기록에서 얻은 이전 성과 지표(3가지 특징). 상세한 전처리 사양, 하이퍼파라미터 최적화 절차, 특징 중요도 순위는 보충 파일 1(섹션 S2)에 제공되어 있습니다. 결과적으로 세 개의 집단은 빠르게(30.9%), 평균(49.1%), 느린 학습자(20.0%)로 특징지어졌습니다. 2단계에서는 클러스터 라벨을 기반으로 학습된 지원 벡터 기계를 사용하여 새로운 학습자의 실시간 분류를 가능하게 하는 감독 분류가 수행됩니다. 전체 하이퍼파라미터 탐색 공간, 교차 검증 결과, 클래스별 분류 지표는 보충 파일 1(섹션 S2.3)에 보고되어 있습니다.

구성 요소 2: 다중 모달 데이터 통합 및 센서 융합 시스템
이 플랫폼은 시선 추적 데이터, 모션 캡처 데이터, 생리학적 모니터링(심박수 변이성, 피부 갈바니 반응, 침 코티솔), 자동 비디오 분석을 통한 성과 분석, 상호작용 기록 등 다섯 가지 이기종 데이터 스트림을 통합합니다. 상세한 센서 사양, 전처리 파이프라인, 특징 추출 절차, 인지 상태 추정을 위한 합성 신경망 아키텍처는 보충 파일 1(섹션 S3)에 설명되어 있습니다. 융합 시스템은 1초마다 업데이트되는 인지 상태 표현을 생성하며, 집중력, 운동 수행, 인지 부하, 과제 수행을 통합적으로 인코딩합니다.

구성 요소 3: 예측 분석 엔진
앙상블 예측 시스템은 무작위 숲, 그라디언트 부스트 머신(XGBoost), 그리고 인지 상태 삽입을 시계열로 처리하는 장기 단기 기억(LSTM) 계층을 가진 딥 뉴럴 네트워크라는 세 가지 보완 알고리즘을 결합합니다. 앙상블 집계는 검증 데이터를 활용해 가중치를 최적화한 가중치 소프트 투표를 사용합니다. 전체 알고리즘 명세, 하이퍼파라미터 값, 훈련 절차 및 수렴 진단은 보충 파일 1(섹션 S4)에 제공됩니다. 훈련, 검증, 배포, 평가 데이터셋은 엄격히 분리되어 있었으며; 모델 개발은 이전 150명 참가자 파일럿 연구(80% 교육, 20% 검증) 데이터를 전적으로 사용했으며, 현재 연구 참가자들은 전부 공개된 배포 데이터셋을 구성했습니다. 배포 중 롤링 재교육은 이전 7일 상호작용 데이터만 사용했으며 결과 평가 데이터는 포함하지 않아 평가 결과가 예측 모델로 유출되는 것을 방지했습니다.

구성 요소 4: 강화 학습 기반 적응 피드백 시스템
적응형 피드백 시스템은 Q-학습을 사용하여 피드백 선택을 마르코프 결정 과정으로 공식화합니다. 상태 공간(25차원)은 현재 인지 상태, 시간적 맥락, 과제 매개변수, 학습자 특성을 인코딩합니다. 액션 공간은 피드백 모달리티, 타이밍, 특이성의 조합을 나타내는 25개의 개별 액션으로 구성되어 있습니다. 보상 함수에는 성과 향상, 인지 과부하 회피, 몰입 유지, 교정 지연 등이 포함됩니다. 상태 공간, 행동 공간, 보상 함수, Q-학습 업데이트 매개변수, 수렴 기준의 수학적 공식화는 보충 파일 1(섹션 S5)에 자세히 설명되어 있습니다.

교육 세션 워크플로우
각 APLS 교육 세션은 다음과 같은 표준화된 순서에 따라 진행됩니다. (1) 참가자는 지정된 교육 워크스테이션에서 할당된 자격 증명을 사용하여 APLS 플랫폼에 로그인합니다. (2) 하드웨어 보정(아이 트래커, 모션 캡처, 생리 센서)이 자동 품질 검사를 통해 신호 무결성을 확인했습니다. (3) 시스템은 참가자의 현재 학습자 표현형 분류와 예측된 역량 경로를 검색하여 세션 매개변수를 구성합니다. (4) 초기 워밍업 모듈(5분)은 참가자의 기억 패턴에 맞게 이전 세션의 내용을 복습합니다. (5) 핵심 훈련 모듈(40-50분)은 적응형 알고리즘에 의해 결정된 난이도에서 기기 식별, 취급 및 절차적 작업을 제공하며, Q-러닝 정책에 따라 실시간 다중 모드 피드백을 제공합니다. (6) 세션 요약과 성과 대시보드가 표시되며, 참가자의 개인 학습 경로 및 역량 이정표에 따른 진행 상황을 보여줍니다. (7) 참가자가 간단한 만족도 설문조사를 완료합니다 (2분). (8) 세션 데이터는 모델 업데이트를 위해 클라우드 서버에 자동으로 업로드됩니다.

대조군 절차
통제 그룹은 표준화된 기관 프로토콜에 따라 전통적인 수술실 기기 교육을 받았습니다. 교육은 시니어 수술실(OR) 간호 교육자들이 기구 분류, 명명법, 취급 원리, 멸균 기술을 다루는 8시간짜리 강의 세션으로 구성되었습니다; 수술 전문 분야별로 기구 사진, 사양, 설명이 정리된 인쇄된 교육 매뉴얼(187페이지); 강사 감독 하에 물리적 기기 세트를 사용하는 시뮬레이션 실험실에서 진행되는 4시간 실습 워크숍 두 개(강사-학습자 비율 1:6); 자기 주도적 검토를 위한 디지털 교육 자료가 포함된 기관 학습 관리 시스템 접근; 그리고 분기별 2시간의 정기된 복습 세션을 통해 흔히 혼란스러운 기기들을 복습합니다. 학습 기간 동안 총 20시간의 구조화된 수업 시간이 있었습니다. 적응형 알고리즘, 개인 맞춤형 경로, AI 강화 구성 요소는 포함되지 않았습니다.

결과 측정
주요 결과는 검증된 수술 후 기기 숙련도 척도(PIPS)를 사용하여 훈련 후 12개월에 평가된 지식 유지였습니다. 문헌 검토와 전문가 포커스 그룹을 통한 문항 생성, 3라운드 수정 델파이 내용 검증(내용 타당도 지수 = 0.94), 탐색적 및 확인적 요인 분석, 그리고 행동에 고정된 전체 점수 평가 루브릭을 포함한 전체 PIPS 개발 과정은 보충 파일 3에 문서화되어 있습니다. 이 기기는 강한 심리측정학적 특성을 보였다(2주 간격으로 크론백 α = 0.92, 검사-재검사 ICC = 0.91). PIPS는 네 개 영역에 걸쳐 24개 항목으로 구성되어 있습니다: 기기 식별(6개 항목), 취급 숙련도(6개 항목), 안전 프로토콜(6개 항목), 팀 커뮤니케이션(6개 항목). 각 문항은 행동에 기반한 설명자를 가진 5점 리커트 척도(1 = 초보자, 5 = 전문가)를 사용합니다. 총 점수는 24점에서 120점 사이이며, 점수가 높을수록 더 높은 숙련도를 나타냅니다.

PIPS 평가는 훈련된 평가자(수술실 경력 >10년 경력 및 8시간 표준화 교육 프로그램을 완료한 6명의 외과 간호사)에 의해 기초, 개입 직후, 1, 3, 6, 12개월 추적 관찰 시점에 수행되었습니다. 평가자들은 코딩된 참가자 식별자를 통해 그룹 배정을 눈가리게 하고, APLS 특유의 인터페이스 요소나 피드백 표시를 삭제하도록 편집된 영상 녹화물을 평가했습니다. 평가자들은 참가자들이 어떤 훈련 방식을 받았는지에 대해 통보받지 못했습니다. 평가자 간 신뢰도는 평가의 20%를 이중 코딩하여 확립되었으며(n = 128), 모든 영역에서 ICC > 0.85를 달성했습니다(총 점수 ICC = 0.89, 95% 신뢰구간: 0.85-0.92).

부차적 결과는 다음과 같다: (1) 도구 취급에 맞게 조정된 객관적 구조화 기술 평가(OSATS)를 통해 평가된 실무 역량, 6개 표준화된 스테이션(최대 30점)으로 구성되며, 기초와 3, 6, 12개월에 맹인 전문가 평가자(ICC = 0.87)가 실시하였다. (2) 훈련 시간 효율성은 역량 기준(PIPS ≥ 75)을 달성하기 위한 총 시간으로 측정되었습니다. (3) 비용 효율성은 직접 및 간접 비용을 포함한 유능한 학습자당 비용으로 계산되며, 기관 회계 데이터를 사용해 2024 위안으로 비용을 표준화합니다. (4) 학습자 만족도는 5점 리커트 척도 설문지(27문항, 내부 일관성 α = 0.91)를 사용하여 평가하였다. (5) 기관 안전 보고 시스템에서 탐색적 임상 성과 지표: 12개월 교육 후 기간 동안의 기기 관련 사고 보고, 수술 1,000건당 비율을 사례 복잡성에 따라 조정한 것. 안전성 사고 결과는 연구가 이러한 저주파 사건의 차이를 감지할 수 있는 근원이 없었기 때문에 탐색적 결과로 분류되었습니다.

통계 분석 방법
모든 통계 분석은 R 버전 4.3.0 과 RStudio 인터페이스 및 다음 패키지를 사용하여 수행되었습니다: 혼합 효과 모델용 lme4 , emmean ('추정 한계 평균'; 모델 조정 그룹 평균 계산 및 적합 혼합 효과 모델과의 Tukey, Bonferroni, 또는 Scheffé 사후 비교를 위한 R 패키지), 심리 측정 분석용 psych, effsize (Cohen의 d와 Hedges의 g를 포함한 표준화된 효과 크기 계산을 위한 R 패키지로, 신뢰구간을 포함하며) 효과 크기 계산을 위한 것이고, 마우스는 다중 보철을 위한 것입니다 . 유의성 임계값은 모든 가설 검정에 대해 사전에 α = 0.05(양측)로 설정되었습니다.

다음과 같이 다중 비교 보정이 적용되었습니다. 주요 결과(시간대별 PIPS 총점)는 선형 혼합효과 모델 내 Kenward-Roger 자유도를 사용하여 그룹 × 시간 상호작용에서 추론했으며, 이는 여러 시점에 대해 별도의 보정이 필요하지 않습니다. PIPS 도메인 하위 척도(4개의 동시 비교)에는 본페로니 보정(조정 α = 0.0125)이 적용되었습니다. 부차적 결과(네 가지 지표: OR 효율성 점수, 안전 사고, TEAM 커뮤니케이션 점수, 오류 빈도)에는 Benjamini-Hochberg 거짓 발견률 절차가 적용되었습니다(q = 0.05). AI 시스템 성능 지표(10건의 내부 비교)에서는 본페로니 보정(조정 α = 0.005)이 적용되었습니다. 보고된 모든 p-값과 유의성 결정은 해당 보정을 명시적으로 참조합니다.

모든 1차 및 2차 그룹 간 결과는 그룹, 시간, 상호작용에 대해 고정 효과를, 참가자와 부서 모두에 대해 무작위 절측(무작위 절측)을 적용한 선형 혼합 효과 모델을 사용하여 분석하였으며(클러스터 기반 배정에 따른 학급 내 상관관계를 고려하여) 학과 단위의 학급 내 상관계수를 추정하여 군집 정도를 정량화하였습니다. 누락된 데이터 패턴은 Little의 MCAR 검정을 사용하여 평가되었으며; 데이터는 완전히 무작위로 누락된 것으로 판정되었으며, 예측 평균 일치(m = 20개의 추정 데이터셋, 루빈 규칙에 따른 결과의 통합 방식)를 통해 다중 보정을 통해 처리되었습니다. 완전한 사례 분석, 변화하는 인가비율(m = 10, m = 50), 최악/최선 시나리오를 포함한 민감도 분석은 견고성을 평가했습니다.

Results

참가자 특성
최종 표본에는 우수한 기억력을 가진 107명의 참가자가 포함되었습니다(그림 1). 완료자(n = 107)와 철회(n = 13)를 비교한 이탈 분석에서는 기저 특성에서 유의한 차이가 없음을 보여주었습니다: 연령(t = 0.89, p = 0.38), 성별(χ² = 0.21, p = 0.64), 전문직 역할(χ² = 1.45, p = 0.48), 기본 PIPS 점수(t = 0.62, p = 0.54), 또는 그룹 배정(χ² = 0.03, p = 0.86), 이는 Little의 MCAR 검사로 완전히 무작위 가정으로 확인된 완전 결손을 지지합니다(χ² = 43.2, df = 38, p = 0.26).

기초 특성은 인구통계학적 변수, 교육 배경, 이...

Discussion

클러스터 기반 부서 배정을 통한 준실험적 요소를 포함하는 이 전향적 관찰 연구는 여러 기계 학습 알고리즘을 통합한 AI 기반 개인화 학습 시스템이 전통적인 교육법에 비해 수술실 기기 훈련 결과에 상당한 개선과 관련이 있음을 입증합니다. 이 연구 결과는 인공지능 방법론과 외과 교육 실천 모두에 시사점을 가진다; 그러나 아래에서 논의한 것처럼 몇 가지 중요한 주의사항이 이 추론의 강도를 약화시킵니다.

APLS 프레임워크는 네 가지 알고리즘적으로 구별되는 구성 요소인 감독 없는 학습자 표현형, 전이 학습 기반 도구 인식, 집단 역량 예측, 강화 학습 기반 적응 피드백을 통합하여 일관된 교육 개입을 제안합니다. 우리가 아는 한, 이는 이전 플랫폼들이 일반적으로 단일 알고리즘 접근법을 사용하거나 개별 구성 요소만 고립적으로 다뤄왔기 때문에, 외과 교육에서 이러한 통합 시스템의 몇 안 되는 실증적 사례 중

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
햅틱 피드백 수술 시뮬레이터 (Touch X)	3D 시스템즈(구 센서블)	팬타옴 프리미엄 3.0	6자유도 햅틱 장치; 모의 조직 조작 및 봉합 작업 중 AI 기반 힘 피드백 전달의 주요 인터페이스로 사용됩니다
시뮬레이션 소프트웨어 플랫폼 (SimSurgery & trade; AI 스위트)	맞춤 / 자체 개발	해당 없음	실시간 성능 분류와 적응적 피드백 생성을 위한 합성곱 신경망(CNN) 모듈을 통합한 독점 AI 기반 훈련 소프트웨어입니다
힘/토크 센서	ATI 산업 자동화	나노17 SI-12-0.12	조직 취급 및 봉합 운동 중 가해진 기기 힘(해상도: 0.003 N)을 측정합니다; AI 분류 알고리즘에 입력된 데이터
모션 트래킹 시스템	노던 디지털 주식회사 (NDI)	폴라리스 베가 ST	수술 기구 궤적의 광학 추적; 0.12 mm RMS 체적 정확도; 계기 항법 정확도 평가에 사용
복강경 기기 세트 (훈련)	칼 스토르츠 SE & KG 중대	26003 AA / 33310 DB	AI 구동 및 일반 훈련 무기 모두에서 사용되는 표준 5mm 복강경 그래스퍼 및 니들 드라이버
고충실도 조직 팬텀 (연조직 모델)	신데이버 랩스	외과적 복부 모델 (SKU: SYN-ABD)	봉합, 해리 및 조직 취급 운동을 위한 검증된 합성 조직 대리모; 제조사 지침에 따라 50번마다 교체해야 합니다
GPU 워크스테이션	NVIDIA / Dell	Dell Precision 7920 with NVIDIA A6000 (48GB VRAM)	실시간 AI 추론을 위한 계산 하드웨어(CNN 분류 지연 시간 & 15 ms); 촉각 장치에 연결된 전용 서버
신경망 프레임워크	오픈 소스 (메타 AI)	파이토치 v2.1.0	적응형 피드백 알고리즘의 모델 학습, 검증 및 실시간 추론에 사용되는 딥러닝 프레임워크
통계 분석 소프트웨어	IBM 주식회사	IBM SPSS 통계 v29.0	모든 1차 및 2차 결과 분석에서 혼합 효과 모델링, 독립 표본 t-검정, 반복 측정 ANOVA에 사용됨
데이터 시각화 및 그래프 소프트웨어	그래프패드 소프트웨어	그래프패드 프리즈 v10.0	오차 바(SD 및 95% CI), 보존 곡선, 그룹화된 막대 차트 등 모든 원고 도표 생성에 사용됩니다
비디오 녹화 시스템	스트라이커 코퍼레이션	1688 AIM 4K 플랫폼	수술 중 및 시뮬레이션 세션 비디오 캡처, 블라인드 사후 전문가 평가(OSATS 점수 평가)
구조화 평가 도구(OSATS)	해당 없음 및 대시; 검증된 발표 도구	Martin 외, 1997 (Br J Surg)	객관적이고 구조화된 기술 평가; 7개 항목으로 구성된 글로벌 평가 척도(1– 각 품목당 5개)는 봉합 및 조직 취급에 대한 맹인 전문가 평가에 사용됩니다
무작위화 및 데이터 관리 소프트웨어	오픈 소스	REDCap v13.7.2	참여자 배정을 위한 전자 데이터 수집(클러스터 기반 부서), 인구통계 데이터 수집, 종단적 추적 점수 추적
오디오 피드백 모듈	맞춤 / 자체 개발	해당 없음	실시간 교정 청각 신호(톤 코드 알림)를 멀티모달 피드백 시스템에 통합한 소프트웨어 모듈
기관 설문지(학습자 만족도 조사)	맞춤 / 자체 개발	해당 없음	18문항 리커트 척도 (1– 5) 학습 효과, 시스템 사용성, 학습자 신뢰도를 평가하는 설문지; 훈련 후 및 24주 추적 관찰 시 시행