홀로그램 헤드 마운트 디스플레이 및 전임상 검증을 통한 연조직 탐색을 위한 적외선 추적을 위한 기술적 접근 방식

Princess Maxima Center for Pediatric Oncology에서 이 연구의 범위는 증강 현실 시스템을 개발하고 검증하는 것입니다. 이 시스템은 움직이는 장기의 홀로그램을 정확하게 정렬해야 합니다. 현재 실험 과제 중 하나는 홀로그램이 움직이는 기관의 실시간 위치와 정확하게 정렬되어 있는지 확인하는 것입니다.

현재 증강 현실 검증 기술은 뼈와 같은 단단한 해부학적 구조에 대해서만 설명되었습니다. 그러나 우리 프로토콜은 움직이는 장기에 대한 증강 현실을 검증하는 데에도 사용할 수 있다는 이점을 제공합니다. 시작하려면 3D 컴퓨터 지원 설계 소프트웨어를 열고 새 파일을 만듭니다.

솔리드 탭을 선택하고 스케치 작성을 클릭하여 적외선 마커에 대한 새 설계를 시작합니다. 중심 직경 원을 눌러 직경 3mm의 작은 원을 3개 또는 4개 추가합니다. 선 도구를 사용하여 삼각형의 꼭짓점을 반대쪽의 중간점에 연결하고 원을 연결하는 선을 그려 중심점을 계산합니다.

중심점에서 중심 지름 원을 사용하여 원을 그린 다음 2점 직사각형 도구를 사용하여 이 중심 원과 각각의 작은 원을 연결하는 사각형을 그립니다. 중앙 원형 베이스를 돌출하고 직사각형을 2mm 두께로 돌출합니다. 작은 원을 5mm 두께로 돌출합니다.

만들기를 누른 다음 스레드를 선택하고 ISO 메트릭 프로파일을 사용하여 3개의 원뿔에 스레드를 추가하여 6.4mm 적외선 반사 구에 맞춥니다. 3D 프린트 또는 내보내기 기능을 사용하여 최종 모델을 객체 파일로 내보냅니다. 3D 컴퓨터 지원 설계 소프트웨어 내에서 측정을 선택하여 중심점을 기준으로 적외선 반사 구의 x, y 및 z 좌표를 측정합니다.

전체 모양의 중심과 관련하여 각 작은 원의 중심점 위치를 측정합니다. 게임 개발 소프트웨어를 실행합니다. IRTrackingOrgans_HoloLens 프로젝트 파일을 가져와 프로젝트를 엽니다.

텍스트 편집기를 사용하여 Assets 또는 StreamingAssets 폴더에 저장된 JavaScript Object Notation 파일을 엽니다. 이전에 기록된 좌표를 사용하고 기본 형식을 따라 사용자 정의 적외선 마커를 정의하도록 파일을 조정합니다. DINO Unity 탭에서 ToolManager를 선택하고 ResearchModeController를 클릭한 다음 JSON 파일 및 부모 변환을 클릭한 다음 개체 생성 JSON 설정 적용을 클릭합니다.

생성된 3D 적외선 마커 모델을 가져옵니다. 환자별 3D 모델을 선택하고 인스펙터 창에서 변환 좌표를 변경하여 장면에서 생성된 마커의 위치와 일치시킵니다. 그런 다음 환자별 3D 모델을 장면으로 드래그하여 삽입합니다.

환자의 3D 모델을 변환하여 적외선 마커를 표면에 정렬합니다. 레버 효과로 인한 위치 오류를 줄이기 위해 적외선 마커를 모델 중앙에 가깝게 배치합니다. 이제 환자 장면을 메뉴 화면의 버튼에 연결하여 여러 사례를 선택할 수 있습니다.

자산, 장면 및 메뉴 장면으로 이동합니다. 계층 구조 창에서 NearMenu4x2 로 이동한 다음 ButtonCollection 으로 이동하여 관련 단추를 선택합니다. Inspector 창에서 Basic Events(기본 이벤트)로 이동하여 MenuScript 아래에서 선택합니다.

LoadScene에서 환자 장면의 이름을 입력합니다. 사실적인 해부학적 구조를 가진 신장 팬텀의 3D 모델을 만들거나 얻습니다. 3D 모델을 3D CAD 모델링 소프트웨어로 가져옵니다.

그런 다음 솔리드, 생성 및 구멍 함수를 사용하여 모델 측면에 있는 5개의 정합 피벗점을 통합합니다. 구멍 유형을 단순으로, 구멍 탭 유형을 단순으로, 드릴 포인트를 각도로, 높이를 0.5밀리미터로, 지름을 4.0밀리미터로 설정합니다. 전자기 기준 센서를 고정하려면 구멍이 있는 실린더를 만들고 신장 모델에 통합합니다.

새 스케치를 시작하고 중심 지름 원을 사용하여 지름이 2.8mm인 원과 내부 원을 그립니다. 바깥쪽 원을 16.5mm 돌출합니다. 그런 다음 수정(Modify)으로 이동한 다음 결합(Combine)으로 이동합니다.

3D 신장 모델과 원통을 모두 선택하고 조인을 선택한 다음 확인을 클릭하여 확인합니다. 그런 다음 내보내기 또는 3D 프린트 기능을 사용하여 최종 통합 모델을 내보냅니다. 다음으로, 열가소성 폴리우레탄과 같은 유연한 또는 반유연한 필라멘트를 사용하여 앞에서 설명한 절차에 따라 신장 팬텀을 인쇄합니다. 전자기 추적 시스템의 필드 발생기를 인쇄된 신장 팬텀 바로 아래에 놓습니다.

전자기장의 불균일성을 방지하기 위해 주변 환경에서 모든 강자성 물체를 제거하십시오. 그런 다음 전자기 센서와 전자기 포인터를 추적 시스템에 연결합니다. 전자기 기준 센서를 접착제를 사용하여 실린더 내부에 단단히 고정하여 3D 모델에 부착합니다.

3D 슬라이서에서 피벗 포인트가 포함된 3D 신장 모델을 가져옵니다. 기준 등록 마법사를 사용합니다. 기준점 배치를 선택하고 등록 랜드마크를 디지털 방식으로 할당합니다.

3D 슬라이서에서 랜드마크 등록을 수행하려면 전자기 포인터를 사용하여 물리적 랜드마크 포인트를 정확히 찾아냅니다. 각 물리적 위치에 제어점 배치를 눌러 소프트웨어에 등록합니다. 그런 다음 업데이트를 눌러 강성 선형 정합 변환을 계산합니다.

이제 계산된 정합 변환을 3D 모델에 적용하여 전자기 참조 센서와 연결합니다. 실제 모델을 이동하고 3D 슬라이서의 디지털 버전이 해당 모션을 따르는지 확인합니다. 홀로그램 디스플레이 디바이스를 시작하고 이전에 구성한 홀로그램 애플리케이션을 엽니다.

그런 다음 현재 3D 슬라이서에서 시각화된 올바른 환자별 3D 모델로 이동합니다. 이제 접착제를 사용하여 적외선 마커를 지정된 위치에 부착하여 수술 전 계획에 따라 장착된 6.4mm 적외선 반사 구가 제자리에 있는지 확인합니다. 전자기 포인터를 사용하여 홀로그램 시각화를 통해 볼 수 있는 대상 지점을 디지털 방식으로 식별합니다.

EM 센서 좌표의 결과 세트를 저장합니다. 저장된 대상 좌표를 실제 배치된 랜드마크와 비교하여 홀로그램 시각화의 정확도를 검증하여 오류를 계산합니다. 모든 참가자에서 점 위치 파악 오류(PLE)는 중앙값이 8.74mm로 나타났으며 개별 측정값은 2.78mm에서 13.20mm 사이였습니다.

Surgeon 2는 2.78mm와 3.48mm에서 가장 정확한 두 가지 위치 파악을 포함하여 지속적으로 가장 낮은 PLE 측정을 달성했습니다. 가장 큰 국소화 오류는 13.20mm의 PLE로 Surgeon 3의 세 번째 측정에서 관찰되었습니다. 이 프로토콜은 다른 사람들이 홀로그램 프로젝트를 배포하고 전임상 환경에서 증강 현실 시스템을 정확하게 검증하는 데 도움이 될 것입니다.

우리 외과 연구 그룹은 곧 여러 소아 수술 사례에 대한 자동 홀로그램 추적을 시작할 것입니다. 가동 장기는 기계 학습 알고리즘과 RGB 카메라 피드를 기반으로 추적됩니다.