홀로그램 헤드 마운트 디스플레이 및 전임상 검증을 통한 연조직 탐색을 위한 적외선 추적을 위한 기술적 접근 방식

Summary

이 프로토콜은 증강 현실을 사용하여 자유롭게 움직이는 팬텀(예: 장기)에 대한 적외선 마커 추적 및 홀로그램 시각화를 구현하기 위한 가이드를 제공합니다. 또한 자유롭게 움직이는 팬텀에 대한 전자기 추적을 사용하여 홀로그램 내비게이션 시스템의 전임상 검증을 위한 설정을 간략하게 설명합니다.

Abstract

증강현실(AR)은 수술 중 환자에게 직접 3차원(3D) 해부학적 정보를 중첩하여 수술 안내를 향상시킬 수 있는 잠재력을 가지고 있습니다. 그러나 AR의 실제 구현은 특히 수술 조작 중에 자유롭게 움직이는 장기를 정확하게 추적하는 데 있어 심각한 과제에 직면합니다. 결과적으로, 수술 중 정확한 홀로그램 오버레이를 유지하려면 신뢰할 수 있는 장기 추적 방법이 필요합니다. 정확성에 관한 홀로그램 시각화의 전임상 검증은 정량적 평가를 위한 실험 프로토콜이 필요한 추가적인 문제를 야기합니다. 이 프로토콜은 HMD(Head-Mounted Display)를 사용하여 실시간 장기 추적을 위해 맞춤형 적외선 마커를 사용하여 AR 시각화 애플리케이션을 개발하기 위한 포괄적인 접근 방식을 설명하고 전자기(EM) 추적을 활용하여 팬텀 실험에서 홀로그램 정확도를 검증하는 검증 프레임워크를 제공합니다. 이 작업은 의료 영상에서 환자별 3D 모델을 생성하고, 맞춤형 적외선 마커를 설계 및 제조하고, 이러한 마커를 HMD용 AR 애플리케이션에 통합하고, 수술 탐색을 위해 배포하기 위한 단계별 지침을 간략하게 설명합니다. 또한 EM 추적을 사용하여 반변형 가능한 신장 팬텀에서 홀로그램 시각화의 정밀도를 정량적으로 측정하는 검증 절차를 자세히 설명합니다. 따라서 이 프로토콜은 실시간 장기 추적을 용이하게 하고 전임상 검증 방법론을 확립합니다. 실시간 장기 추적을 구현하면 홀로그램을 정확하게 오버레이하여 자유롭게 움직이는 장기에 대한 수술 안내를 향상시켜 잠재적으로 수술 정확도를 높이고 환자 결과를 개선할 수 있습니다.

Introduction

외과 종양학에서 종양 위치와 인접한 건강한 조직과의 관계를 정확하게 식별하는 것은 건강한 조직을 보존하면서 완전한 종양 절제를 달성하는 데 중요합니다¹. 불완전한 절제는 국소 재발과^{생존율 감소}로 이어질 수 있으며^2,3, 과도한 조직 제거는 기능과 삶의 질을 손상시킬 수 있습니다⁴. 수술 내비게이션 시스템은 잠재적으로 임상 결과를 개선할 수 있는 수술 중 지침을 외과의에게 제공함으로써 건강한 조직을 보존하면서 근치 절제술을 개선할 수 있는 가능성을 가지고 있습니다⁵. 그러나 기존의 수술 내비게이션 시스템은 일반적으로 수술 부위 외부에 위치한 화면에 2차원(2D) 해부학적 정보를 표시합니다. 이 접근 방식은 외과의가 표시된 2D 정보를 환자의 실제 3차원(3D) 해부학과 정신적으로 연관시켜 인지 부하를 증가시키도록 합니다⁶. 3D 모델링의 최근 발전으로 외과의는 주변 해부학적 구조^와의 종양 관계를 더 잘 이해할 수 있게 되었지만7, 이 정보는 여전히 수술 영역 외부에서 시각화되어 초점 전환 문제를 유지합니다 ^6,8. 수술 내비게이션 시스템의 이러한 한계는 외과적 내비게이션 사용에 잠재적인 오류에 기여할 수 있으며 잠재적으로 차선의 수술 결과로 이어질 수 있습니다⁹.

위에서 언급한 한계를 극복하기 위해 증강 현실(AR)은 환자^10,11의 해부학적 구조와 절제 경계를 3D로 시각화하여 유망한 솔루션으로 부상했습니다. 자기공명영상(MRI) 또는 컴퓨터 단층촬영(CT) 데이터를 기반으로 분할된 수술 전 3D 모델을 중첩하여 해부학을 시각화할 수 있습니다. 체계적 검토에서 청소년 환자의 개복 수술을 위한 AR의 잠재적 이점이 강조되었으며¹², 이 분야의 예비 작업은 자동 등록을 위한 시각적 마커가 장착된 환자별 3D 가이드의 타당성을 보여줍니다¹³. Van Doormaal et al. 포인트 기반 등록과 신경외과용 이미지 대상이 있는 포인터를 사용하여 AR 장치가 있는 내비게이션 시스템을 개발했습니다¹⁴. 그들은 수술 전 환자를 대상으로 수술실에서 개발된 AR 애플리케이션과 팬텀 실험에서 각각 7.2mm와 4.4mm의 기준 등록 오류를 나타냈습니다.

유망한 진전에도 불구하고 이러한 등록 시스템은 종종 경직되어 표적 장기의 실시간 추적이 부족하므로 장기 이동의 실시간 추적이 여전히 필요합니다^15,16. 이는 특히 신장, 간과 같이 수술 중에 조작되는 움직이는 장기에 해당되며, 이로 인해 부정확한 안내가 발생할 수 있고, 상당한 시간이 걸리는 재등록이 필요하며, 건강한 조직에 해를 끼칠 수 있거나 잘못된 절제가 발생할 수 있습니다¹⁷. 이러한 문제를 추가로 해결하기 위해 Iqbal et al. 지속적인 장기 추적을 위한 적외선 마커를 통합하기 위해 개발되었습니다¹⁸. 이러한 개발을 통해 AR 오버레이는 장기 위치의 실시간 변화에 동적으로 적응하여 공간적 정확성을 유지하고 잠재적으로 수술 정밀도를 향상시킬 수 있습니다. 엄격한 등록과 동적 적외선 마커 기반 추적을 결합함으로써 이 시스템은 수술 시 정확한 실시간 홀로그램 안내를 달성하는 데 상당한 발전을 제공합니다.

이 프로토콜은 HMD(Head-Mounted Display)를 위한 적외선 마커 기반 AR 내비게이션 및 전임상 검증 시스템을 제공합니다. 우리는 전임상 환경에서 움직이는 장기의 정확한 홀로그램 오버레이를 유지하기 위해 실시간 증강 현실 내비게이션 시스템을 개발하고 검증하는 것을 목표로 합니다. 첫째, 프로토콜은 32mm(너비) x 15mm(길이) x 6mm(높이) 크기의 적외선 마커를 사용하여 실시간으로 팬텀 기관을 추적하고 움직임과 독립적으로 3D 홀로그램의 오버레이를 유지하는 홀로그램 애플리케이션이 어떻게 준비되는지에 대한 설명을 제공합니다. 우리는 움직이는 장기의 예로 열가소성 폴리우레탄 필라멘트(TPU)로 인쇄된 신장 팬텀을 사용합니다. 둘째, 맞춤형 적외선 마커를 디자인하고 인쇄하는 방법과 이러한 마커를 홀로그램 시각화 애플리케이션에 통합하는 방법에 대한 개요를 제공합니다. 이를 통해 다른 연구자와 임상의는 개복 수술 및 장기 이동 시뮬레이션과 관련된 다른 전임상 팬텀 시나리오에 애플리케이션을 적용할 수 있습니다. 마지막으로, 전자기 추적을 기반으로 하는 검증 방법은 정확도를 계산하기 위한 정량적 측정을 제공하여 팬텀 실험에서 홀로그램 안내의 전임상 검증을 제공합니다. 이 방법론의 한계는 이 시스템의 정확성을 제한하는 자동 등록 절차가 없다는 것입니다. 그러나 이 접근 방식은 사용자가 개발된 AR 기술의 임상 적용에 적합성을 결정하는 데 도움이 됩니다.

Protocol

본 연구는 우리 기관의 지침을 따랐으며 인간 피험자 관련 의학 연구법(WMO)의 적용을 받지 않았습니다. 따라서 참가자로부터 정보에 입각한 동의를 얻을 필요가 없었습니다.

1. 3D 모델링 및 AR 애플리케이션 배포를 위한 하드웨어 및 소프트웨어 패키지 준비

1. Microsoft Windows 10을 실행하는 개인용 컴퓨터(PC)에 다음 소프트웨어 프로그램을 다운로드하여 설치합니다.
   1. https://unity.com/download 에서 Unity Hub v3.11.1 및 Unity v. 2019.4.22f1을 다운로드합니다. Unity 2019.4.22f1을 설치하는 동안 Visual Studio 2019를 포함합니다. 매뉴얼 링크: https://docs.unity3d.com/2019.4/Documentation/Manual/index.html
   2. https://apps.autodesk.com/FUSION/en/Detail/Index?id=4108920185261935100&appLang=en&os=Win64 에서 MeshMixer v. 3.5.0을 다운로드하면 설명서에 대한 링크가 https://help.autodesk.com/view/MSHMXR/2019/ENU/
   3. https://download.slicer.org/ 에서 3DSlicer v. 5.6.2를 다운로드하면 설명서에 대한 링크가 https://slicer.readthedocs.io/en/latest/
   4. Autodesk Fusion v. 2.0.21508 fromhttps://www.autodesk.com/products/fusion-360/personal 다운로드, 설명서 링크는 https://help.autodesk.com/view/fusion360/ENU/
   5. https://bambulab.com/en/download/studio 에서 Bambu Studio v. 01.09.07.52를 다운로드하면 설명서 링크가 https://wiki.bambulab.com/en/studio-handy

2. 맞춤형 적외선 마커 설계 및 인쇄

1. 아래에 설명된 대로 3D 설계 소프트웨어에서 적외선 마커를 설계합니다.
   1. 3D CAD(Computer-Aided Design) 소프트웨어를 열고( 재료 표 참조) 새 파일을 작성합니다.
   2. 솔리드 탭을 선택하고 스케치 작성을 클릭하여 적외선 마커에 대한 새 설계 스케치를 시작합니다.
   3. 중심 직경 원을 눌러 직경 3mm의 작은 원을 3개 또는 4개 추가합니다. 이 원은 나사의 부착 지점 역할을 합니다.
   4. 삼각형의 꼭짓점을 반대쪽의 중간점에 연결하여 적외선 마커의 중심점을 계산합니다. 선을 누르고 한쪽에서 원의 점까지 선을 그려 모든 원을 연결합니다.
   5. 중심 지름 원을 사용하여 중심점에 적외선 마커의 기준으로 원을 만듭니다. 3점 직사각형을 사용하여 중심 원을 3개 또는 4개의 작은 원 각각과 연결하는 직사각형을 그립니다.
   6. 원형 밑면과 직사각형을 2mm 두께로 돌출하고 작은 원을 5mm 두께로 돌출합니다.
   7. 생성( Create )을 누른 다음 Thread(스레드)를 눌러 6.4mm 적외선 반사 구를 수용하기 위해 ISO 미터법 프로파일(예: M3 × 0.5, 6g, 오른손)을 사용하여 세 개의 원뿔 각각에 스레드를 추가합니다.
   8. 3D 프린트 또는 내보내기 기능을 사용하여 모델을 객체(OBJ) 파일로 내보냅니다.
   9. 3D CAD 소프트웨어 내에서 측정을 선택하여 중심점과 상관관계에 있는 적외선 반사 구의 XYZ 좌표를 측정합니다. 도형의 중심점과 상관관계에 따라 원의 중심점 위치를 측정합니다. 4.1.2단계에서 이 좌표를 사용합니다.
2. 아래 설명에 따라 3D 마커를 인쇄합니다.
   1. 내보낸 광조형(. STL) 적외선 마커를 장면으로 드래그하여 3D 프린터에 적합한 소프트웨어로 변환합니다( 재료 표 참조).
   2. 품질 > 레이어 높이를 눌러 레이어 높이(적외선 반사 구에 대한 스레드의 부정확한 인쇄를 방지하기 위해 가능한 가장 작은 레이어 높이)를 포함한 슬라이싱 매개변수를 구성합니다. Support > Enable Struct를 눌러 디자인에 지원을 추가합니다.
   3. 슬라이싱 파일을 모두 슬라이스를 클릭하여 3D 프린터로 내보내고, 모든 슬라이스 파일 내보내기를 클릭하여 파일을 내보내고, 폴리락트산 필라멘트(예: PLA, 재료 표 참조)가 있는 3D 프린터(재료 표 참조)를 사용하여 3D 모델을 인쇄합니다.

3. 신장의 3D 환자별 모델 준비

1. 모델 세분화
   1. 3D 분할 소프트웨어( 재료 표 참조)를 열고 DICOM 파일 가져오기를 사용하여 환자 MRI/CT 데이터를 가져옵니다.
   2. 세그먼트 편집기로 이동하여 적절한 소스 볼륨을 선택한 다음 추가를 클릭하여 새 세그멘테이션을 생성합니다.
   3. 이미징 양식에 따라 수동 또는 반자동 분할을 선택합니다.
   4. 수동 분할의 경우 페인트 및 지우기 도구를 사용하여 각 슬라이스에서 종양과 주변 관련 구조를 분할합니다.
   5. 반자동 분할의 경우 특정 구조에 적합한 임계값 범위가 있는 임계값과 관련 없는 구조를 분할하기 위해 가위와 같은 옵션을 사용하는 것이 좋습니다.
   6. 데이터 화면에서 생성된 세분화 를 선택한 다음 마우스 오른쪽 버튼을 클릭하여 보이는 세그먼트를 모델로 내보내기 버튼으로 이동합니다. 화면 오른쪽에서 눈 옵션이 선택되어 있는지 확인합니다.
   7. 저장을 클릭하여 모델의 STL 파일을 내보내고 파일을 . STL 파일.
2. 환자별 모델의 후처리
   1. STL 파일을 메쉬 편집기로 가져오고( 재료 표 참조) 편집 > 3D 모델을 선택하여 삼각형 수를 줄인 다음 3D 모델의 시각적 측면을 변형하지 않고 삼각형을 줄이는 백분율로 줄인 다음 수락을 누릅니다.
   2. 추가 유효성 검사를 위해 대상 지점이 홀로그램 애플리케이션의 3D 모델 내에서 시각적으로 표시되는지 확인합니다. Add spheres 를 누르고 3D 모델에 배치합니다.
   3. 파일 > 내보내기를 눌러 3D 모델을 OBJ 파일 형식으로 내보냅니다. 모델을 선택하여 3D 모델에 약 100,000개의 폴리곤이 있는지 확인하고 편집 > 줄이기 를 눌러 폴리곤을 줄입니다. 폴리곤 수가 많을수록 그래픽 처리 장치에서 더 많은 작업이 필요하므로 장면의 폴리곤 수를 줄이면 렌더링 시간이 크게 단축될 수 있습니다.

4. 홀로그램 애플리케이션 준비

1. 아래 설명된 대로 IRTrackingOrgans_HoloLens 프로젝트를 구성합니다.
   1. 게임 개발 소프트웨어( 재료 표 참조)를 실행하고 IRTrackingOrgans_HoloLens 프로젝트를 가져와 엽니다.
   2. 텍스트 편집기를 사용하여 JSON(JavaScript Object Notation) 파일을 기본 형식에 따라 조정하여 2.1.10단계에서 측정된 좌표를 기반으로 사용자 정의 적외선 마커를 구현합니다. JSON 파일은 Assets/StreamingAssets에 저장됩니다.
   3. DINO Unity 탭으로 이동하여 ToolManager > ResearchModeController > JSON 파일 및 부모 변환을 선택한 다음 객체 생성 및 JSON 설정 적용을 클릭합니다.
   4. 가상 적외선 마커 3D 모델을 1.1단계에서 만든 자산으로 가져옵니다.
   5. 가상 적외선 마커 3D 모델을 모델을 선택하고 인스펙터 창에서 변환 좌표를 변경하여 장면에서 생성된 마커의 위치로 변환합니다.
   6. 환자별 3D 모델을 선택하고 장면으로 드래그하여 장면에 삽입합니다.
   7. 적외선 마커가 3D 모델의 표면에 닿도록 환자 3D 모델을 올바른 위치로 변환합니다. 레버 효과로 인한 부정확성을 최소화하기 위해 적외선 마커를 3D 물체의 중심에 가깝게 배치합니다.
2. 환자 선택 메뉴로 장면 연결
   1. 실용적인 사용과 여러 사례의 선택을 위해 환자 장면을 메뉴 화면의 버튼에 연결합니다. Assets > Scenes > Menu scene으로 이동합니다.
   2. 계층 구조 창에서 NearMenu4x2 및 ButtonCollection 으로 이동한 다음 관련 단추로 이동합니다.
   3. 인스펙터 창에서 기본 이벤트 로 이동하고 MenuScript.LoadScene 아래에 환자 씬의 이름을 입력합니다.
3. 최초 배포를 위한 HMD 준비
   참고: 이 섹션은 응용 프로그램을 처음 배포하는 경우에만 필요합니다.
   1. HMD( 재료 표 참조) 장치에 로그인하고 장치를 연구 모드로 설정합니다. 개발자용 설정 > 업데이트 및 보안 >으로 이동하여 개발자 기능 및 기기 검색> 켭니다.
   2. HMD를 PC(Wi-Fi 또는 USB-C)에 페어링합니다. 처음 연결하는 경우 다음 단계를 수행합니다. 개발자 탭에서 HMD의 IP 주소를 찾고, 웹 브라우저에 IP 주소를 입력하여 디바이스 포털에 연결하고, PIN을 생성하고 PIN을 입력하여 디바이스를 페어링합니다.
4. HMD에 애플리케이션 빌드 및 배포
   1. 파일(File) > 빌드 세팅(Build Settings) 으로 이동하여 다음 순서로 씬을 추가하여 씬을 빌드에 추가합니다. 메뉴 > 열린 씬 추가(Add Open Scenes) 를 눌러 씬을 추적합니다.
   2. 유니버설 Windows 플랫폼, 대상 디바이스 HoloLens 및 아키텍처 x64를 사용하여 프로젝트를 빌드합니다. 빌드를 클릭하고 빌드 맵을 선택합니다.
   3. Visual Studio 2019를 사용하여 빌드 파일(.sln)을 열고 플랫폼을 ARM64로 변경합니다. 그런 다음, 솔루션 탐색기에서 .sln 파일을 마우스 오른쪽 단추로 클릭하여 속성을 열고 디버깅 내에서 컴퓨터 이름 아래에 HMD의 IP 주소를 입력합니다.
   4. 디 버그 > 디버깅하지 않고 시작을 선택하여 HMD에 애플리케이션을 배포합니다.
   5. HMD를 시작하고 홀로그램 애플리케이션을 엽니다. 그런 다음 환자 메뉴 화면으로 이동하여 적절한 사례 를 선택하여 홀로그램 시각화 및 지침을 시작합니다.

5. 움직이는 장기의 홀로그램 시각화 검증

1. 반변형 가능한 팬텀 인쇄
   1. 사실적인 해부학적 구조를 가진 신장 팬텀의 3D 모델을 만들거나 얻습니다.
   2. 3D 모델을 3D CAD 모델링 소프트웨어로 가져오고 구멍 유형: 단순, 구멍 탭 유형: 단순, 드릴 포인트: 각도, 높이: 0.5mm 및 직경: 4.0mm 설정으로 솔리드 > > 구멍 만들기 > 를 사용하여 5개의 정합 피벗점을 모델 측면에 통합합니다.
   3. 구멍이 있는 실린더를 3D 모델에 통합하여 추가 검증 단계를 위해 EM 기준 센서를 고정합니다.
      1. 중심 지름 원을 사용하여 지름이 2.8mm인 원과 내부 원이 있는 스케치를 작성합니다. 바깥쪽 원을 16.5mm 돌출합니다.
      2. 수정 > 결합 > 3D 모델 및 원통 선택 > 결합 > 확인을 통해 원통을 3D 모델과 결합합니다.
   4. 내보내기 또는 3D 프린트 기능을 사용하여 3D 모델을 내보냅니다.
   5. TPU와 같은 유연한 또는 반유연한 필라멘트( 재료 표 참조)를 사용하여 2.2단계에서 설명된 절차에 따라 신장 팬텀을 인쇄합니다.
2. EM 추적 시스템을 사용한 3D 슬라이서 설정
   1. 3D-Slicer로 EM 시스템을 설정하는 방법에 대한 광범위한 3D Slicer 및 SlicerIGT 튜토리얼(https://www.slicerigt.org/wp/user-tutorial/)을 참조하십시오.
      참고: 프로토콜의 이 섹션에서는 3DSlicer의 설정, EM 추적 구성 및 연결이 잘 이해되고 올바르게 설정되었다고 가정합니다.
   2. EM 추적 시스템의 필드 생성기( 재료 표 참조)를 팬텀 바로 아래에 놓습니다. 전자기장의 불균일성을 피하기 위해 환경에서 모든 강자성 물질을 제거하십시오.
   3. EM 센서( 재료 표 참조)와 EM 포인터( 재료 표 참조)를 EM 추적 시스템에 연결합니다. 이러한 도구의 변환이 3DSlicer에서 정확하게 시각화되는지 확인하십시오.
   4. EM 참조 센서(예: NDI Aurora 6DOF 케이블 도구)를 접착제로 실린더에 고정하여 3D 모델에 부착합니다.
   5. 3D 슬라이서에서 피벗 포인트가 있는 3D 모델을 가져오고 기준점 배치 기준 등록 마법사를 사용하여 랜드마크 포인트를 디지털 > 할당합니다.
   6. EM 포인터로 실제 랜드마크 포인트를 정확히 찾아 랜드마크 등록을 수행하고 Control Point 배치 를 눌러 3DSlicer에 등록합니다. 업데이트를 눌러 강성 선형 정합 변환을 계산합니다.
   7. 등록 후 3D 모델에 등록 변환을 적용하여 3D 모델과 EM 참조 센서 간의 링크를 설정합니다. 그 후 3D 모델이 물리적으로 이동되면 3DSlicer의 디지털 모델도 이동해야 합니다. 따라서 움직임을 관찰하여 육안으로 확인하십시오.
3. 홀로그램 유효성 검사
   1. 장치를 실행하고 4.4.5단계의 홀로그램 응용 프로그램을 엽니다. 그런 다음 3DSlicer에서도 시각화되는 올바른 환자 3D 모델로 이동합니다.
   2. 수술 전 계획에 의해 시각화된 대로 장착된 6.4mm 적외선 마커( 재료 표 참조)와 함께 접착제를 사용하여 적외선 마커를 올바른 위치에 고정합니다.
   3. EM 포인터를 사용하여 홀로그램 시각화를 기반으로 대상 지점을 디지털 방식으로 정확히 찾아냅니다. EM 센서 좌표 세트를 저장합니다.
   4. 배치된 랜드마크와 비교하여 대상 랜드마크를 찾는 오류를 계산하여 홀로그램 시각화를 정량적으로 검증합니다.

Results

신장 팬텀을 사용하여 장기 추적을 위한 적외선 추적 시스템의 성능을 시연하고 움직이는 장기의 홀로그램 검증 설정을 검증했습니다. 전체 워크플로는 그림 1에 요약되어 있습니다.

먼저, 3DSlicer의 임계값 도구를 사용하여 MRI 데이터를 기반으로 신장을 반자동으로 분할했습니다. 결과 3D 모델을 내보내고 3D CAD 소프트웨어로 가져와 다각형 수를 줄였습니다. 두 번째 모델을 저장하고 구 도구를 사용하여 5개의 대상 지점을 이 모델에 통합했습니다 (그림 2). 이 모델은 홀로그램 디스플레이의 기술적 검증에 사용되었습니다. 대상 점이 없는 모델의 첫 번째 버전을 Autodesk Fusion으로 가져왔습니다. 이 모델에는 5개의 피벗 포인트가 통합되었으며 EM 센서를 용이하게 하기 위해 실린더가 통합되었습니다. 3D 슬라이싱 소프트웨어를 사용하여 3D 프린팅을 위해 3D 모델을 준비했습니다. 인쇄 밀도가 8%인 TPU를 사용하여 최소한의 유연한 신장 표면을 만들었습니다.

표준화된 적외선 마커를 설계하고 3D 프린팅했으며 적외선 반사 구체(직경 6.4mm)를 장착했습니다. 이 적외선 마커로부터 적외선 마커의 좌표는 중심점과 상관관계로 측정되었습니다. 게임 개발 소프트웨어 애플리케이션 내에서 적외선 마커의 좌표가 포함된 JSON 파일을 가져왔습니다. 둘째, 검증 목적으로 목표 지점과 함께 신장의 3D 모델을 가져왔습니다. 또한 시각화를 위해 적외선 마커 모델을 가져와 JSON 파일에 의해 구현된 점의 위치로 변환했습니다. 3D 모델을 적외선 마커의 중심으로 변환하고(그림 3) 추가 셰이더를 적용했습니다. 환자 메뉴 장면을 통합한 후 애플리케이션을 HMD에 배포했습니다.

IR 마커의 배치를 기반으로 홀로그램 3D 모델은 HMD를 사용하여 소아 복부 팬텀 내부의 신장에 시각화됩니다 (그림 4). 추적 속도는 11.6Hz였습니다. 그러나 60cm를 초과하는 거리의 경우 HMD는 적외선 마커를 추적하는 기능을 잃습니다. 둘째, 적외선 마킹 추적의 지속적인 추적과 노이즈로 인해 홀로그램 오버레이가 깜박여 시각화가 부정확해집니다.

검증을 위해 EM 추적 시스템은 Plus Server를 통해 3D 슬라이서에 연결되었습니다. 추적을 위해 환상 신장에 EM 센서를 배치했습니다(그림 2). 포인트 기반 등록 후 3D 모델은 중앙값 0.59mm의 정확도로 등록되었으며, 이는 홀로그램 정확도를 검증하는 정확한 방법임이 입증되었습니다(그림 5). 중앙값 지점 위치 오차는 3명의 외과의의 입력을 기반으로 8.74mm(사분위수 범위: 6.38 - 10.85)였습니다(표 1).

이 AR 추적 및 시각화 시스템의 구현에는 약 45-60분에 걸친 프로토콜이 포함됩니다. 2년 경력의 숙련된 기술 의사가 전체 프로토콜을 한 번 실행하여 프로토콜의 개별 단계 기간을 결정했습니다. 특히 특정 단계는 한 번만 실행하면 됩니다. 각 환자의 필수 단계에는 분할, 게임 개발 소프트웨어의 모델 통합 및 장면 구성이 포함됩니다. 환자별 사례에서 해부학적 구조를 분할하는 것은 여러 해부학적 구조가 관련되어 있기 때문에 상대적으로 더 많은 시간이 필요하지만 신장 실질과 종양의 분할은 30분 이내에 완료될 수 있습니다. 분할된 3D 모델을 애플리케이션에 통합하고 적외선 마커와 정렬하는 데 약 5분의 수동 조정이 걸립니다. 올바른 장면을 연결하는 데 5분 이상 걸리지 않습니다. 게임 개발 프로젝트 빌드 시간은 하드웨어 사양에 따라 다르지만 일반적으로 약 3분이 소요되며 HoloLens 2에 배포하는 데 약 10분이 소요됩니다. 전반적으로 검증 설정을 제외하고 이 프로토콜은 전임상 환경에서 장기 추적을 이동하는 방법을 보여줍니다.

그림 1: 워크플로의 개략적 개요. 워크플로는 수술 전 단계, 홀로그램 및 수술 중 단계를 포함하여 팬텀 설정에서 환자당 필요한 단계를 보여줍니다. 수술 전 단계는 수술 전 의료 영상 분할(3단계 참조)으로 구성됩니다. 홀로그램 응용 프로그램의 준비는 3D 모델에 적외선 마커 배치를 가상으로 계획하는 것으로 구성됩니다(4단계 참조). 수술 중 단계에서 외과의는 올바른 환자를 선택하고 홀로그램 시각화 및 지속적인 추적을 위해 적외선 마커를 고정할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 검증 방법론에 사용된 신장 팬텀 개요. 왼쪽: 목표 지점과 적외선 마커의 가상 배치가 있는 신장의 3D 홀로그램. 중간: 통합 EM 센서와 정합을 위한 피벗 포인트가 있는 3D 팬텀. 오른쪽: 검증 절차에 사용된 EM 센서용 적외선 마커와 실린더가 있는 3D 프린팅 팬텀. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 3: 게임 개발 소프트웨어에서 홀로그램 응용 프로그램 준비. 신장 모델은 적외선 마커로 변환됩니다. 둘째, 셰이더는 신장과 대상 지점에 적용됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 4: 팬텀 실험의 홀로그램 시각화. 왼쪽: 신장에 적외선 마커를 배치한 모습. 오른쪽: 올바른 순서(1에서 5)로 대상 지점의 홀로그램 시각화. 홀로그램 시각화의 변위는 적외선 마커 추적의 지터로 인해 발생합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 5: 움직이는 장기의 홀로그램 시각화를 위한 EM 추적 검증 프로토콜의 설정. 녹색, 빨간색 및 파란색은 검증에 필요한 EM 도구의 변환을 시각화합니다. 노란색과 녹색은 HMD(헤드 마운트 디스플레이)와 관련된 변환을 시각화합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

참가자	측량	GT-X (mm)	GT-Y(mm)	GT-Z(mm)	포인트-X(mm)	포인트-Y(mm)	포인트-Z(mm)	PLE (mm)
외과 의사 1	1	-67.02	7.88	297.50	-76.72	8.97	295.49	9.97
	2	-46.77	4.78	249.67	-55.71	-0.26	243.61	11.91
	3	-3.21	-12.36	244.46	-9.99	-3.03	244.83	11.54
	4	-15.06	1.16	273.72	-20.00	2.71	272.70	5.27
	5	-39.00	5.40	281.25	-46.82	6.91	277.75	8.70
외과 의사 2	1	-67.02	7.88	297.50	-63.60	8.02	292.12	6.38
	2	-46.77	4.78	249.67	-45.94	2.73	246.98	3.48
	3	-3.21	-12.36	244.46	-5.43	-10.70	244.27	2.78
	4	-15.06	1.16	273.72	-11.87	0.80	267.51	7.00
	5	-39.00	5.40	281.25	-35.54	5.82	273.28	8.70
외과 의사 3	1	-67.02	7.88	297.50	-62.97	7.87	287.43	10.85
	2	-46.77	4.78	249.67	-44.59	-0.42	242.70	8.96
	3	-3.21	-12.36	244.46	2.23	-20.32	253.48	13.20
	4	-15.06	1.16	273.72	-10.73	1.33	266.14	8.74
	5	-39.00	5.40	281.25	-34.95	5.93	271.74	10.35

표 1: 각 측정에 대해 대상 랜드마크의 GT(Ground Truth) 좌표, 해당 지점 위치 좌표 및 모든 외과의에 대해 측정된 PLE가 제공됩니다.

Discussion

제시된 프로토콜은 팬텀 설정에서 종양과 장기를 움직이기 위한 검증을 포함하여 실시간 장기 추적 및 홀로그램 시각화에 대한 접근 방식을 간략하게 설명합니다. HMD를 사용한 적외선 마커 기반 추적을 활용하는 이 방법은 움직이는 장기를 조작하는 동안 올바른 해부학적 홀로그램 오버레이를 더 잘 유지할 수 있는 잠재력을 가지고 있습니다. 신장 추적에 적용됨에도 불구하고 이 방법은 분할 프로토콜의 최소한의 조정으로 간이나 폐에 대한 개복 수술과 같은 다른 임상 분야에서도 탐색될 수 있습니다. 둘째, 적외선 마커는 잠재적으로 복강경 수술과 같은 다양한 수술 기법과 함께 사용될 수 있습니다. 이러한 경우 복강경 이미지에서 적외선 반사 스티커를 감지하여 장기, 도구 또는 해부학적 랜드마크를 추적할 수 있습니다. 그러나 이 기술을 다른 임상 분야나 수술 기법에 적용하면 표적 장기의 변형 가능성의 변화나 제한된 시야와 같은 기술적 한계로 인해 오류가 발생할 수 있어 전임상 실험에서 검증이 필요합니다.

프로토콜의 1단계는 주로 필요한 하드웨어 및 소프트웨어 도구를 설정하는 데 중점을 둡니다. 이 설정에는 수많은 애플리케이션과 단계가 필요하므로 다운스트림 배포 문제를 방지하려면 필요한 확장을 포함하여 모든 소프트웨어 패키지를 올바르게 설치하는 것이 중요합니다. 게임 개발 소프트웨어와 통합 개발 환경의 조합이 중요함에도 불구하고 다른 버전의 소프트웨어로 인해 문제가 발생할 것으로 예상되지는 않습니다.

2단계에서는 맞춤형 적외선 마커를 생성하는 과정을 설명합니다. 이 단계는 추적이 다른 응용 프로그램에 활용되는 경우 특히 중요합니다. 적외선 마커의 모양을 수정할 수 있는 유연성은 다양한 전임상 응용 분야에 대한 잠재적인 적합성을 보장합니다. 또한 사용자는 다양한 설계 옵션을 탐색하여 장기 표면에 대한 적외선 마커의 접착력을 개선하고 적외선 마커 추적의 정확성을 향상시킬 수 있습니다. 또한 여러 적외선 마커 직경을 테스트하면 60cm를 초과하는 거리에서 감지가 향상될 수 있습니다.

3단계에서는 의료 영상을 기반으로 한 환자별 3D 모델링에 대해 설명합니다. 신장과 종양의 정확한 분할은 수술 안내의 정확성에 직접적인 영향을 미치기 때문에 매우 중요합니다. 잘못된 분할은 수술 정밀도를 손상시키는 오해의 소지가 있는 시각화를 초래할 수 있습니다¹⁹. 둘째, 이 단계가 가장 시간이 많이 걸립니다. 완전 자동 분할 방법을 통합하면 프로토콜을 가속화하여 수동 및 반자동 조정의 필요성을 줄이는 동시에 정확한 해부학적 분할을 보장할 수 있습니다²⁰. 다각형 수를 최적화하는 것은 최적의 AR 렌더링 성능을 달성하는 데 중요합니다. 이 최적화를 수행하지 않으면 HMD의 성능이 크게 저하됩니다.

4단계에서는 DINO-DLL 구현에 따라 홀로그램 애플리케이션의 구성이 간략하게 설명됩니다. 한 가지 중요한 측면은 수동 등록 정확도에 영향을 미치기 때문에 적외선 마커 위치와 홀로그램 해부학적 모델 사이의 적절한 정렬입니다. 특히, 적외선 마커의 중심에서 더 멀리 떨어진 곳에서 부정확성을 방지하기 위해 레버 효과를 최소화해야 합니다. 추가 개선에는 추가 등록 방법 구현이 포함될 수 있습니다. 또한, 현재 시스템은 문헌²¹과 일치하는 연속 시각화를 위해 허용 가능한 추적 속도를 나타냅니다. 셋째, 추가 개선에는 적외선 마커 추적 데이터의 노이즈를 줄여 홀로그램 시각화의 지터를 제거하기 위한 칼만 필터를 구현하는 것이 포함되어야 합니다.

5단계에서 프레임워크는 EM 추적을 활용한 홀로그램 검증 방법을 제공합니다. 이 프로토콜은 움직이는 장기에 대한 홀로그램 정확도에 대한 정량적 평가를 제공하므로 팬텀 설정에서 홀로그램의 정확도를 검증하는 데 유용합니다. 여기서 중요한 단계는 반변형 가능한 3D 프린팅 팬텀 내에 EM 추적 센서를 정밀하게 통합하는 것입니다. 사용자는 EM 센서의 정확한 보정과 3D 슬라이서의 랜드마크 등록을 보장해야 합니다. 검증 오류가 발생하면 재등록하거나 금속 물체를 제거하면 검증 정확도가 향상될 수 있습니다. 임상적 타당성을 추가로 검증하기 위해, 생체 외 장기를 사용하여 수술 조직을 보다 정확하게 시뮬레이션할 수 있다²².

이 프로토콜은 장기 추적을 위한 AR 솔루션을 구현하고 팬텀 실험에서 이러한 시스템을 검증하려는 연구자를 위한 포괄적인 가이드 역할을 합니다. 또한 다양한 임상 시나리오, 특히 장기 이동을 위한 AR 방법을 검증하는 데 쉽게 활용할 수 있는 광범위하게 적용 가능한 검증 설정을 제공합니다. 홀로그램 애플리케이션 배포의 복잡성을 감안할 때 이 프레임워크는 개념적 AR 기반 솔루션에서 전임상 검증으로의 전환을 용이하게 합니다.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3D 슬라이서(v5.6.2)	슬라이서	해당 사항 없음	의료 영상 분할 소프트웨어 및 전자기 추적 검증에 필요
6.4mm(1/4") M3 마커 Infrarec 마커	옵티트랙	해당 사항 없음	추적을 위해 마커에 부착해야 하는 적외선 반사 구체
Autodesk Fusion 360(v2.0.21508)	오토데크	해당 사항 없음	적외선 마커 및 팬텀 설계를 위한 CAD 소프트웨어
밤부 스튜디오 (v01.09.07.52)	밤부 연구소	해당 사항 없음	Bambu 3D 프린터용 3D 프린팅 슬라이싱 소프트웨어
밤부 X1 카본	밤부 연구소	해당 사항 없음	적외선 마커 및 팬텀 모델에 사용되는 3D 프린터
홀로렌즈 2	마이크로소프트	해당 사항 없음	AR 시각화를 위한 증강 현실 헤드 마운트 디스플레이
IRTrackingOrgans_HoloLens	오픈 소스	해당 사항 없음	IR 마커 추적을 지원하는 Unity 기반 애플리케이션
메쉬믹서(v3.5.0)	오토데크	해당 사항 없음	메쉬 편집 및 다각형 축소에 사용됩니다.
NDI 오로라	노던 디지털 주식회사	해당 사항 없음	검증을 위한 전자기 추적 시스템
NDI 오로라 6DOF 케이블 도구	노던 디지털 주식회사	해당 사항 없음	환상 기관의 움직임을 등록하는 센서
NDI 오로라 6DOF 프로브	노던 디지털 주식회사	해당 사항 없음	팬텀의 랜드마크 위치를 식별하는 데 사용됩니다.
폴리락트산 필라멘트	모든 제조업체	해당 사항 없음	적외선 마커와 같은 단단한 부품을 인쇄하기 위한 필라멘트
열가소성 폴리우레탄 필라멘트	모든 제조업체	해당 사항 없음	변형 가능한 신장 팬텀 인쇄를 위한 반 유연한 필라멘트
Unity Hub(v3.11.1) 및 Unity(v2019.4.22f1)	유니티 테크놀로지	해당 사항 없음	AR 애플리케이션 개발 및 배포를 위한 게임 개발 소프트웨어
비주얼 스튜디오 2019	마이크로소프트	해당 사항 없음	Unity 통합 및 배포에 필요한 IDE