Summary
여기에 제시된 것은 3D 프린팅 참조 마커를 사용하여 환자의 해부학적 3차원 모델의 시각화를 위한 증강 현실 스마트폰 애플리케이션을 설계하는 방법이다.
Abstract
증강 현실(AR)은 의료 분야에서 교육, 훈련 및 외과 지도분야에서 큰 잠재력을 가지고 있습니다. 3차원(3D) 프린팅(3DP)과의 결합은 임상 응용 분야에서 새로운 가능성을 열어줍니다. 이러한 기술은 최근 몇 년 동안 기하급수적으로 증가했지만 엔지니어링 및 소프트웨어 개발에 대한 광범위한 지식이 필요하기 때문에 의사의 채택은 여전히 제한적입니다. 따라서, 이 프로토콜의 목적은 경험이 없는 사용자가 3D 프린팅 참조 마커를 가진 환자의 해부학적 3D 모델의 시각화를 위해 AR과 3DP를 결합한 스마트폰 앱을 만들 수 있도록 하는 단계별 방법론을 설명하는 것이다. 이 프로토콜은 3D 의료 이미지에서 파생된 환자의 해부학의 3D 가상 모델을 만드는 방법을 설명합니다. 그런 다음 마커 참조와 관련하여 3D 모델의 위치 지정을 수행하는 방법을 설명합니다. 또한 필요한 도구 와 모델을 3D 인쇄하는 방법에 대한 지침이 제공됩니다. 마지막으로 앱을 배포하는 단계가 제공됩니다. 이 프로토콜은 무료 및 다중 플랫폼 소프트웨어를 기반으로 하며 모든 의료 영상 양식 또는 환자에 적용할 수 있습니다. 다른 접근법은 환자의 해부학에서 만든 3D 인쇄 모델과 투영 된 홀로그램 사이에 자동 등록을 제공하기 위해 설명됩니다. 일례로, 말단 다리 육종으로 고통받는 환자의 임상 사례는 방법론을 설명하기 위해 제공된다. 이 프로토콜은 의료 전문가에 의해 AR 및 3DP 기술의 채택을 가속화 할 것으로 예상된다.
Introduction
AR 및 3DP는 의료 분야에서 점점 더 많은 응용 분야를 제공하는 기술입니다. AR의 경우, 가상 3D 모델과의 상호작용및 실제 환경은 교육 및훈련1, 2,3,의사소통 및 다른 의사와의 상호작용4,임상개입 시 안내5,6,7,8,9,10. 마찬가지로, 3DP는 환자 별 사용자 정의 도구11,12,13을 개발하거나 수술 전 계획 및 임상 개입을 개선하는 데 도움이 될 수있는 환자의 해부학의 3D 모델을 만들 때 의사를위한 강력한 솔루션이되었습니다14,15.
AR 및 3DP 기술은 모두 의료 절차의 방향, 지도 및 공간 기술을 향상시키는 데 도움이됩니다. 따라서, 그들의 조합은 다음 논리적 단계입니다. 이전 연구는 그들의 공동 사용이 환자 교육(16)에서가치를 증가시킬 수 있음을 입증했다, 의료 조건 및 제안 된 치료에 대한 설명을 용이하게, 수술 워크플로우 최적화17,18 및 환자 대 모델 등록개선 19. 이러한 기술은 최근 몇 년 동안 기하급수적으로 증가했지만 엔지니어링 및 소프트웨어 개발에 대한 광범위한 지식이 필요하기 때문에 의사의 채택은 여전히 제한적입니다. 따라서 이 작업의 목적은 광범위한 기술 지식 없이경험이 없는 사용자가 AR 및 3DP를 사용할 수 있는 단계별 방법론을 설명하는 것입니다.
이 프로토콜은 스마트폰 카메라에서 추적하는 3D 인쇄 마커를 사용하여 환자 기반 3D 모델을 실제 환경에 중첩할 수 있는 AR 스마트폰 앱을 개발하는 방법을 설명합니다. 또한, 대체 접근법은 3D 인쇄 된 생체 모델 (즉, 환자의 해부학에서 생성 된 3D 모델)과 투영 된 홀로그램 사이의 자동 등록을 제공하기 위해 설명됩니다. 설명된 프로토콜은 전적으로 무료 및 다중 플랫폼 소프트웨어를 기반으로 합니다.
전작에서 AR 환자 대 이미지 등록은 표면 인식알고리즘(10)을 사용하여 수동으로5를 계산했거나 사용할 수 없는2. 이러한 방법은 정확한 등록이 필요한 경우 다소 제한된 것으로 간주되었습니다19. 이러한 한계를 극복하기 위해 이 작업은 AR 기술과 3DP를 결합하여 AR 절차에서 정확하고 간단한 환자 대 이미지 등록을 수행할 수 있는 도구를 제공합니다.
프로토콜은 일반적이고 어떤 의학 화상 진찰 양식 또는 환자에 적용될 수 있습니다. 일례로, 말단 다리 육종으로 고통받는 환자의 실제 임상 사례는 방법론을 설명하기 위해 제공된다. 첫 번째 단계는 3D 가상 모델을 생성하기 위해 컴퓨터 단층 촬영 (CT) 의료 이미지에서 영향을받는 해부학을 쉽게 분할하는 방법을 설명합니다. 그 후 3D 모델의 위치 지정이 수행된 다음 필요한 도구와 모델이 3D 인쇄됩니다. 마지막으로 원하는 AR 앱이 배포됩니다. 이 응용 프로그램은 실시간으로 스마트 폰 카메라에 오버레이 환자 3D 모델의 시각화를 할 수 있습니다.
Protocol
이 연구는 2013년에 개정된 1964년 헬싱키 선언의 원칙에 따라 수행되었습니다. 이 논문에 포함된 익명화된 환자 데이터 및 사진은 참가자 및/또는 법정 대리인으로부터 서면 동의를 얻은 후 사용되며, 이 경우 과학 출판물을 포함한 보급 활동에 이 데이터의 사용을 승인했습니다.
1. 세분화, 3D 모델 추출, 위치 지정 및 AR 앱 배포를 위한 워크스테이션 설정
참고: 이 프로토콜은 각 도구에 표시된 특정 소프트웨어 버전으로 테스트되었습니다. 보장되지는 않지만 최신 버전에서 작동할 수 있습니다.
- 운영 체제로 마이크로 소프트 윈도우 10 또는 맥 OS와 컴퓨터를 사용합니다.
- 공식 지침에 따라 해당 웹 사이트에서 다음 도구를 설치하십시오.
3D 슬라이서 (v. 4.10.2): https://download.slicer.org/.
메쉬믹서 (3.5절): http://www.meshmixer.com/download.html.
유니티 (2019년 도시): https://unity3d.com/get-unity/download.
(iOS 배포전용) Xcode (마지막 버전): https://developer.apple.com/xcode/.
참고: 프로토콜을 완료하는 데 필요한 모든 소프트웨어 도구는 개인적인 목적으로 자유롭게 다운로드 할 수 있습니다. 각 단계에서 사용할 소프트웨어는 구체적으로 표시됩니다. - https://github.com/BIIG-UC3M/OpenARHealth에 있는 다음 GitHub 리포지토리에서 데이터를 다운로드합니다.
참고: 리포지토리에는 다음 폴더가 포함되어 있습니다.
"/3DSlicerModule/": 3D 프린팅 마커와 관련하여 3D 모델을 배치하기 위한 3D 슬라이서 모듈. 섹션 3에서 사용됩니다. https://github.com/BIIG-UC3M/OpenARHealth에서 사용할 수 있는 지침에 따라 모듈을 3D 슬라이서에 추가합니다.
"/데이터/PatientData/Patient000_CT.nrrd": 말단 다리 육종으로 고통받는 환자의 CT. 프로토콜은 예제로이 이미지를 사용 하 여 설명 됩니다.
"/데이터/바이오 모델/": 환자의 3D 모델(뼈 및 종양).
"/데이터/마커/": 가상 3D 모델을 배치하기 위해 AR 응용 프로그램에서 감지할 3D 인쇄될 마커입니다. 사용할 수 있는 두 개의 마커가 있습니다.
2. 바이오모델 창조
참고:이 섹션의 목표는 환자의 해부학의 3D 모델을 만드는 것입니다. 이들은 의료 이미지에 세분화 방법을 적용하여 얻을 수 있습니다 (여기서 CT 이미지를 사용하여). 이 프로세스는 1) 환자 데이터를 3D 슬라이서 소프트웨어로 로드하고, 2), 대상 해부학 적볼륨의 세분화 및 3) OBJ 형식의 3D 모델로 세분화의 수출의 세 가지 단계로 구성됩니다. 결과 3D 모델은 최종 AR 응용 프로그램에서 시각화됩니다.
- 의료 이미지 파일을 3D 슬라이서 소프트웨어 창으로 드래그하여 환자 데이터("데이터/환자데이터/Patient000_CT.nrrd")를 로드합니다. 확인을 클릭합니다. CT 뷰(축축, 시상, 관상)가 해당 창에 나타납니다.
참고: 여기에 사용되는 데이터는 "거의 원시 래스터 데이터"(NRRD) 형식으로 발견되지만 3D 슬라이서를 사용하면 의료 이미지 형식 (DICOM) 파일을 로드 할 수 있습니다. https://www.slicer.org/wiki/Documentation/4.10/Training에서 찾을 수 있는 추가 지침은 다음 링크로 이동하십시오. - 환자의 해부학을 분할하려면 3D 슬라이서의 세그먼트 편집기 모듈로 이동하십시오.
- 모듈을 입력할 때 "분할" 항목이 자동으로 만들어집니다. 마스터 볼륨 섹션에서 원하는 볼륨(환자의 의료 이미지)을 선택합니다. 그런 다음 아래를 마우스 오른쪽 단추를 클릭하여 세그먼트를 만듭니다. "Segment_1"라는 이름으로 새 세그먼트가 만들어집니다.
- 의료 이미지의 대상 영역을 적절하게 분할하는 다양한 도구가 포함된 Effects라는 패널이 있습니다. 대상에 가장 편리한 도구를 선택하고 이미지 창 영역으로 분할합니다.
- 뼈(이 경우 경골 및 비골)를 분할하려면 임계값 도구를 사용하여 뼈 조직에 해당하는 CT 이미지에서 최소 및 최대 HU 값을 설정합니다. 이 도구를 사용하면 이러한 임계값 을 벗어난 HU가 있는 다른 요소(예: 연조직)가 제거됩니다.
- 가위 도구를 사용하여 분할된 마스크에서 침대 또는 기타 해부학 적 구조와 같은 원치 않는 영역을 제거합니다. 종양이 자동 도구로 윤곽을 그리기 어렵기 때문에 그리기 및 지우기 도구를 사용하여 육종을 수동으로 분할합니다.
참고: 세분화 절차에 대한 자세한 내용은 https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentation.
- 3D 표시 버튼을 클릭하여 세분화의 3D 표현을 봅니다.
- 3D 슬라이서의 세분화 모듈로 이동하여 3D 모델 파일 형식으로 세분화를 내보냅니다.
- 모델 내보내기/가져오기 및 레이블맵으로이동합니다. 작업 단에서 내보내기를 선택하고 출력 유형 단면의 모델을 선택합니다. 내보내기를 클릭하여 완료하고 분할된 영역에서 3D 모델을 작성합니다.
- 모델을 저장하려면 저장(왼쪽 위)을 선택합니다. 저장할 요소를 선택합니다. 그런 다음 3D 모델의 파일 형식을 파일 형식 열 내의 "OBJ"로 변경합니다. 파일이 저장될 경로를 선택하고 저장을 클릭합니다.
- 2.2 단계와 2.3단계를 반복하여 다른 해부학 영역의 추가 3D 모델을 만듭니다.
참고: 제공된 예제의 사전 분할 모델은 1.3 단계에서 이전에 다운로드 한 데이터 ("/데이터 / 바이오 모델 / ")에서 찾을 수 있습니다.
3. 바이오 모델 포지셔닝
참고: 이 섹션에서는 섹션 2에서 작성된 3D 모델이 증강 현실 시각화를 위한 마커와 관련하여 배치됩니다. ARHealth: 3D 슬라이서의 모델 위치 모듈이 이 작업에 사용됩니다. 1.3단계에서 제공된 지침을 따라 모듈을 3D 슬라이서에 추가합니다. 3D 모델을 배치하는 두 가지 대안이 있습니다: "시각화" 모드와 "등록" 모드.
- 시각화 모드
참고: 시각화 모드는 AR 마커에 대하여 어떤 위치에서 3D 환자 모델의 위치를 할 수 있습니다. 이 옵션을 사용하면 사용자가 AR 앱을 사용하여 3D 인쇄 AR 마커를 참조로 사용하여 생체 모델을 시각화할 수 있습니다. 이 모드는 정밀도가 필요하지 않은 경우에 사용될 수 있으며, 가상 모델의 시각화는 스마트폰 카메라 및 마커의 시야 내에서 어디서나 표시될 수 있다.- ARHealth: 모델 위치 모듈로 이동하고 초기화 섹션에서 시각화 모드를 선택합니다. 이 옵션의 마커를 로드하려면 하중 마커 모델을 클릭합니다.
- 섹션 2에서 작성된 3D 모델을 로드하려면 단추를 클릭하여 섹션 2에서 저장된 모델의 경로를 선택합니다. 그런 다음 모델 로드 버튼을 클릭하여 3D 슬라이서에 로드합니다. 모델은 한 번에 하나씩 로드해야 합니다. 이전에 로드된 모델을 삭제하려면 해당 모델 다음에 모델 제거 단추를 클릭하거나 모두 제거를 클릭하여 한 번에 로드된 모든 모델을 삭제합니다.
- 마침 및 중앙 버튼을 클릭하여 마커 내의 모든 모델을 가운데에 두는 다.
- 3D 모델의 위치, 방향 및 배율은 서로 다른 슬라이더 막대(즉, 변환, 회전, 배율)가 있는 마커에 대해 수정할 수 있습니다.
참고: 위치를 변경하기 전에 모델의 원래 위치를 재설정하는 추가 "위치 재설정"버튼이 있습니다. - 파일을 저장할 경로를 선택하고 모델 저장 단추를 클릭하여 이 위치에 모델을 저장합니다. 3D 모델은 확장 이름 "_registered.obj"와 함께 저장됩니다.
- 등록 모드
참고: 등록 모드는 원하는 위치에서 하나의 3D 바이오 모델과 AR 마커의 결합을 할 수 있습니다. 이어서, 결합된 3D 모델(AR 마커포함)의 임의의 섹션을 추출하고 3D 프린팅할 수 있다. 모든 바이오 모델은 이 결합된 3D 프린팅 바이오모델을 참고자료로 사용하여 AR 앱에 표시됩니다. 이 모드를 사용하면 참조 마커를 사용하여 환자(여기서, 환자의 뼈의 섹션)와 가상 모델을 쉽게 등록할 수 있습니다.- ARHealth: 모델 위치 모듈로 이동하고 초기화 섹션에서 등록 모드를 선택합니다. 이 옵션의 마커를 로드하려면 하중 마커 모델을 클릭합니다.
- 3.1.2단계에서 수행한 대로 모델을 로드합니다.
- 이러한 모델은 나중에 결합되고 3D 인쇄되므로 3D 모델을 이동하고 큐브 마커의 지지 구조와 교차를 확인합니다. 마커 베이스의 높이를 수정할 수 있습니다. 3D 모델의 위치, 방향 및 배율은 서로 다른 슬라이더 막대(즉, 변환, 회전, 배율)가 있는 마커에 대해 수정할 수 있습니다.
- 파일을 저장할 경로를 선택하고 모델 저장 단추를 클릭하여 이 위치에 모델을 저장합니다. 3D 모델은 확장 이름 "_registered.obj"와 함께 저장됩니다.
- 해부학 모델이 너무 클 수 있습니다. 그렇다면 마커 어댑터 주위의 3D 모델을 잘라내고 Meshmixer 소프트웨어를 사용하여 두 모델의 조합의 한 부분만 3D 인쇄합니다.
- 메쉬믹서를 열고 3.2.4단계에서 저장된 큐브 마커 모델의 바이오 모델 및 지지 구조를 로드합니다. 개체 브라우저 창에서 두 모델을 모두 선택하여 이러한 모델을 결합합니다. 왼쪽 위 모서리에 방금 나타난 도구 창에서 결합 옵션을 클릭합니다.
- Meshmixer에서 편집 메뉴 아래에 있는 평면 절단 도구를 사용하여 3D 인쇄되지 않는 모델의 원치 않는 섹션을 제거합니다.
- 모델을 3D 인쇄할 저장하려면 File > 내보내기로 이동하여 원하는 형식을 선택합니다.
4. 3D 프린팅
참고: 이 단계의 목적은 최종 AR 응용 프로그램에 필요한 물리적 모델을 3D 인쇄하는 것입니다. 응용 프로그램에서 감지할 마커와 필요한 다른 개체는 섹션 3에서 선택한 모드에 따라 다릅니다. 모든 재료는 각 단계에서 요구되는 색상 재료 요구 사항을 따르는 경우이 작업의 목적을 위해 3D 인쇄에 사용할 수 있습니다. 폴리락트산(PLA) 또는 아크릴로니트리리티엔 스티렌(ABS)은 모두 충분한 선택입니다.
- 3D 프린터를 사용하여 입방 마커를 인쇄합니다. 이중 압출기 3D 프린터를 사용할 수 없는 경우 4.2단계로 건너뜁니다. 이중 압출기 3D 프린터를 사용하여 "데이터/마커/Marker1_TwoColorCubeMarker/"에 제공된 2색 마커를 인쇄합니다. 3D 프린팅 소프트웨어에서 파일 "TwoColorCubeMarker_WHITE.obj"의 흰색 재질과 "TwoColorCubeMarker_BLACK.obj"의 검은색 재질을 선택합니다.
참고: 더 나은 마커 감지를 위해, 작은 층 높이와 고품질 모드로 인쇄합니다. - 이중 압출기 3D 프린터를 사용할 수 없고 4.1 단계를 수행하지 않은 경우 다음을 수행하여 스티커가 있는 3D 인쇄 마커를 인쇄합니다.
- 3D 프린터를 사용하여 "데이터/마커/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE.obj" 파일을 흰색 색상으로 인쇄합니다.
- 기존 프린터를 사용하여 스티커 용지에 "데이터/마커/Marker2_StickerCubeMarker/스티커.pdf" 파일을 인쇄합니다. 그런 다음 모든 절삭 공구를 사용하여 검은 색 선을 제거하여 검은 색 프레임을 사용하여 이미지를 정확하게 잘라냅니다.
참고: 더 높은 품질의 마커를 얻기 위해 스티커 용지를 사용하는 것이 좋습니다. 그러나, 이미지는 일반 종이에 인쇄 할 수 있으며, 일반적인 접착제 스틱은 큐브에 이미지를 붙여 넣기 위해 사용할 수 있습니다. - 4.2.1단계에서 얻은 3D 프린팅 큐브에 스티커를 "데이터/마커/Marker2_StickerCubeMarker/Stickers.pdf"의 지침에 따라 해당 순서로 놓습니다.
참고: 스티커는 큐브의 얼굴보다 작습니다. 스티커와 얼굴 가장자리 사이에 1.5mm 프레임을 둡니다. "데이터/마커/Marker2_StickerCubeMarker/StickerPlacer.stl"은 스티커 위치를 안내하고 큐브 면의 중심과 정확히 일치하도록 3D 인쇄할 수 있습니다.
- 섹션 3에서 선택한 모드에 따라 어댑터를 3D 인쇄합니다.
- 시각화 모드(섹션 3.1)를 선택한 경우 3D 인쇄 "데이터/3D 프린팅/옵션1/MarkerBaseTable.obj"를 사용하여 마커를 수평 표면에 수직 위치에 배치하는 데 사용됩니다.
- 등록 모드(섹션 3.2)를 선택한 경우 마커 어댑터가 부착된 3.2.8단계에서 작성된 모델을 3D 인쇄합니다.
참고: 4.3 단계에서 3D 인쇄 된 객체는 모든 색상 재료로 인쇄 할 수 있습니다.
5. AR 앱 배포
참고: 이 섹션의 목표는 이전 섹션에서 만든 3D 모델을 포함하는 Unity 엔진의 스마트폰 앱을 디자인하고 이 앱을 스마트폰에 배포하는 것입니다. 이 단계에는 Vuforia 개발 라이센스 키(개인용 무료)가 필요합니다. 앱은 Android 또는 iOS 기기에 배포할 수 있습니다.
- Vuforia 개발자 계정을 만들어 Unity에서 라이브러리를 사용할 수 있는 라이선스 키를 얻습니다. https://developer.vuforia.com/vui/auth/register 있는 링크로 이동하여 계정을 만드세요.
- https://developer.vuforia.com/vui/develop/Licenses 있는 링크로 이동하여 개발 키 받기를 선택합니다. 그런 다음 지침에 따라 사용자의 계정에 무료 개발 라이센스 키를 추가합니다.
- 라이센스 관리자 메뉴에서 이전 단계에서 만든 키를 선택하고 5.3.3 단계에서 사용할 제공된 키를 복사합니다.
- 스마트폰을 설정합니다.
- Unity 및 Android 장치를 시작하려면 https://docs.unity3d.com/Manual/android-GettingStarted.html있는 링크로 이동하십시오.
- Unity 및 iOS 장치를 시작하려면 https://docs.unity3d.com/Manual/iphone-GettingStarted.html있는 링크로 이동하십시오.
- Unity v.2019를 먼저 열고 새로운 3D 프로젝트를 만들어 AR 앱을 위한 Unity 프로젝트를 설정합니다. 그런 다음, 아래설정 빌드안에파일플랫폼을 Android 또는 iOS 장치로 전환합니다.
- 편집을 선택하여 프로젝트에 Vuforia를 활성화 > 프로젝트 설정 > 플레이어 설정 > XR 설정 및 Vuforia 증강 현실 지원이라는상자를 선택.
- 메뉴바 > 게임오브젝트 > 부포리아 엔진 > ARCamera 에서 "ARCamera"를 만들고 메시지가 표시되면 Vuforia 구성 요소를 가져옵니다.
- 자원 폴더를 선택하고 Vuforia 구성을 클릭하여 Vuforia 구성 설정에 Vuforia라이센스 키를 추가합니다. 그런 다음 앱 라이선스 키 섹션에서 5.1.2절에 복사된 키를 붙여넣습니다.
- "/데이터/Vuforia/AR_Cube_3x3x3.unitypackage"에 제공된 Vuforia 대상 파일을 Unity로 가져오고, 여기에는 Vuforia가 섹션 4에 설명된 마커를 감지하는 데 필요한 파일이 포함되어 있습니다.
- 메뉴 바 에서 Vuforia 멀티 타겟을 만듭니다 > 게임 오브젝트 > 부포리아 엔진 > 멀티 이미지.
- 이전 단계에서 만든 MultiTarget을 클릭하여 검색에 사용할 마커 유형을 선택합니다. 다중 대상 동작아래의 데이터베이스 옵션에서 ARHealth_3DPrintedCube_30x30x30을 선택합니다. 다중 대상 동작아래의 다중 대상 옵션에서 섹션 4에서 생성된 마커에 따라 TwoColorCubeMarker 또는 StickerCubeMarker중 하나를 선택합니다.
- 섹션 3에서 만든 3D 모델을 "리소스" 폴더 아래에 "모델"이라는 이름으로 새 폴더를 만들어 MultiTarget 아래의 Unity 씬으로 로드합니다. 3D 모델을 이 폴더로 드래그합니다. Unity에 로드되면 5.3.5단계에서 만든 "MultiTarget" 항목 아래에 드래그합니다. 이렇게 하면 마커에 종속됩니다.
참고: 모델은 Unity 3D 뷰 장면에 표시되어야 합니다. - 새 재질을 작성하고 새 재질을 모델에 할당하여 3D 모델의 색상을 변경합니다.
- 메뉴모음 > 에셋 > [작성 > 재질]폴더 아래에 "재질" 이라는 새 폴더를 만듭니다. 재질을 선택하고 구성 섹션에서 색상을 변경합니다. 그런 다음 파일을 3D 모델 계층 구조 에서 끕을 끕습니다.
- 선택 사항: 사용 가능한 웹캠이 있는 경우 위중간 부분에 있는 재생 버튼을 클릭하여 컴퓨터에서 응용 프로그램을 테스트합니다. 마커가 웹캠에 표시되는 경우 이를 감지하고 3D 모델이 장면에 나타나야 합니다.
- Android 스마트폰을 앱 배포에 사용하는 경우 파일 > Unity의 설정 빌드로 이동하여 목록에서 연결된 휴대폰을 선택합니다. 배포 및 실행을선택합니다. 컴퓨터에 확장자 .apk로 파일을 저장하고 프로세스가 완료되도록 허용합니다. 배포가 완료되면 앱이 전화통화에 있어야 하고 실행할 준비가 되어 있어야 합니다.
참고:이 프로토콜은 안드로이드 v.8.0 오레오 이상에서 테스트되었습니다. 이전 버전에는 올바른 기능이 보장되지 않습니다. - 앱이 iOS 장치에 배포될 경우 Unity의 파일 > 빌드 설정으로 이동하여 실행을 선택합니다. 앱을 저장할 경로를 선택합니다. 프로세스가 완료될 수 있도록 합니다. 저장된 폴더로 이동하여 ".projectxcode"라는 확장자로 파일을 엽니다.
- Xcode에서 5.2.2 단계의 지침을 따라 배포를 완료합니다.
참고: 유니티의 Vuforia에 대한 자세한 내용은 https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.html있는 링크로 이동하십시오.
- Xcode에서 5.2.2 단계의 지침을 따라 배포를 완료합니다.
6. 앱 시각화
- 설치된 앱을 열면 스마트폰의 카메라를 사용할 수 있습니다. 앱을 실행할 때 짧은 거리(최소 40cm)에서 카메라로 마커를 봅니다. 앱이 마커를 감지하면 이전 단계에서 생성된 3D 모델이 스마트폰 화면의 프로시저 중에 정의된 위치에 정확하게 나타나야 합니다.
참고: 조명은 마커 검출의 정밀도를 변경할 수 있습니다. 조명 상태가 양호한 환경에서는 앱을 사용하는 것이 좋습니다.
Representative Results
이 프로토콜은 3D 관점에서 영향을받는 해부학 적 영역을 시각화하기 위해 말단 다리 육종으로 고통받는 환자의 데이터에 적용되었습니다. 섹션 2에 기재된 방법을 사용하여, 영향을 받은 뼈의 부분(여기서, 경골 및 비골) 및 종양은 환자의 CT 스캔으로부터 분별로 분할되었다. 이어서, 3D 슬라이서로부터의 세분화 도구를 사용하여, 두 개의 생체 모델이 생성되었다: 뼈(경골 및 비골의 단면도)(도 1A)및 종양(도1B).
다음으로, 두 개의 3D 모델은 최적의 시각화를 위해 마커와 관련하여 사실상 배치되었다. 섹션 3에 설명된 두 모드가 이 예제를 따랐습니다. 시각화 모드의 경우 모델은 마커의 위쪽 면에 중심을 두게됩니다(그림 2). 등록 모드의 경우, 마커 어댑터는 골격에 위치하였다(구체적으로, 경골[도3]). 이어서, 경골의 작은 부분을 3D 마커 어댑터로 3D 프린팅하도록 선택하였다(도4). PLA 재질을 가진 Ultimaker 3 확장 3D 프린터는 "시각화" 모드및 "등록" 모드에 대한 경골의섹션(그림5D)에대한 3D 프린팅 마커(그림5A, B),마커 홀더 베이스(그림5C)를생성하는데 사용되었다. 그림 5E는 마커가 "시각화" 모드 3D 인쇄 베이스에 부착된 방법을 보여줍니다. 그림 5F는 "등록" 모드 3D 프린팅 바이오모델과 함께 부착물을 나타낸다. 마지막으로 Unity는 앱을 만들고 스마트폰에 배포하는 데 사용되었습니다.
그림 6은 앱이 "시각화" 모드에서 어떻게 작동했는지 보여줍니다. 홀로그램은 이전에 정의된 바와 같이 큐브의 상부에 정확하게 위치했다. 그림 7은 앱이 3D 인쇄 섹션 위에 전체 골격 모델을 배치한 "등록" 모드에 대한 응용 프로그램을 보여 주며, 이 모드를 보여 주어 있습니다. 홀로그램의 최종 시각화는 명확하고 현실적이며, 생체 모델의 실제 크기를 유지하고 정확하게 배치되었습니다. 스마트폰 애플리케이션을 사용하는 경우 앱이 홀로그램을 올바르게 표시하려면 카메라로 AR 마커를 표시해야 합니다. 또한 적절한 마커 감지를 위해 장면의 조명 조건은 양호하고 일정해야 합니다. 마커 표면의 불량 조도 또는 반사는 AR 마커의 추적을 방해하고 앱의 오작동을 유발합니다.
앱을 만드는 데 필요한 시간은 여러 가지 요인에 따라 다릅니다. 섹션 1의 기간은 다운로드 속도에 의해 제한됩니다. 해부학 세분화에 관해서는 (섹션 2), 세분화 시간에 영향을 미치는 요인은 지역 및 의료 이미징 양식의 복잡성을 포함 (즉, CT는 쉽게 분할, MRI는 더 어려운 동안). 경골의 대표적인 예로, CT 스캔으로부터 두 3D 모델을 생성하는 데 약 10분이 필요했습니다. 바이오 모델 포지셔닝(섹션 3)은 간단하고 간단합니다. 여기서, AR 마커에 대하여 생체모델 위치를 정의하는 데 약 5분이 걸렸다. 3D 프린팅 단계의 경우 기간은 선택한 모드에 따라 크게 달라집니다. "듀얼 컬러 마커"는 5시간 20분 동안 고품질로 제조되었습니다. "스티커 마커"는 1 시간 30 분의 기간과 스티커붙여넣기에 필요한 시간으로 제작되었습니다. 앱 개발을 위한 마지막 단계는 Unity에서 이전에 경험이 없는 사람들에게는 시간이 많이 소요될 수 있지만 프로토콜 단계에 따라 쉽게 완료할 수 있습니다. AR 마커가 3D 인쇄되면 완전히 새로운 AR 앱의 개발이 1시간 이내에 수행될 수 있습니다. 이 기간은 추가 경험으로 더 줄일 수 있습니다.
그림 1: 말단 다리 육종으로 고통받는 환자의 CT 이미지에서 생성 된 3D 모델의 표현. (A)흰색 (경골 및 비골)으로 표현 된 뼈 조직. (B)종양은 빨간색으로 나타낸다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 2: 3D 슬라이서의 "시각화" 모드가 3D 프린팅 마커 참조와 관련하여 뼈와 종양의 가상 3D 모델을 어떻게 배치하는지 보여주는 결과. 환자 3D모델(A)은마커큐브(B)의상부 면 위에 위치한다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
도 3: 3D 슬라이서에서 "등록" 모드가 3D 프린팅 마커 참조(B)와 관련하여 뼈 및 종양(A)의 가상 3D 모델을 어떻게 배치하는지 보여주는 결과. 마커 어댑터는 뼈 조직 모델에 부착됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 4: 뼈 조직의 작은 부분과 3D 마커 어댑터. 두 구성 요소가 결합된 다음 3D 인쇄됩니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 5: 최종 어플리케이션에 필요한 3D 인쇄 도구. (A)「 2 색 큐브 마커 」를 3D 인쇄 하 고 2 가지 색상의 소재를 가지고 있습니다. (B)"스티커 큐브 마커"3D 인쇄, 스티커 붙여 넣기. (C)마커 베이스 큐브 어댑터. (D)환자의 뼈 조직 3D 모델 및 마커 큐브 어댑터의 섹션. (E)마커 베이스 큐브 어댑터에 배치된 "스티커 큐브 마커"입니다. (F)환자의 해부학에 부착된 마커 어댑터에 "2색 큐브 마커"를 놓습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 6: "시각화" 모드를 사용할 때 앱이 표시됩니다. 환자의 영향을 받는 해부학 3D 모델은 3D 인쇄 큐브의 윗면 위에 위치합니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
그림 7: "등록" 모드를 사용할 때 AR 시각화. 3D 프린팅 마커를 사용하면 가상 3D 모델로 3D 인쇄 된 바이오 모델을 등록 할 수 있습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
Discussion
AR은 의료 분야에서 교육, 훈련 및 외과 지도분야에서 큰 잠재력을 가지고 있습니다. 3D 프린팅오픈과의 결합은 임상 응용 분야에서 새로운 가능성을 열어줄 수 있습니다. 이 프로토콜은 경험이 없는 사용자가 3D 인쇄 참조 마커를 사용하는 환자의 해부학적 3D 모델을 시각화하기 위해 AR과 3DP를 결합한 스마트폰 앱을 만들 수 있는 방법론을 설명합니다.
일반적으로 AR 및 3DP의 가장 흥미로운 임상 응용 중 하나는 환자에게 사례의 다른 관점을 제공하여 환자 간 의사 소통을 개선하고 특정 의료 조건 또는 치료에 대한 설명을 개선하는 것입니다. 또 다른 가능한 응용 프로그램은 대상 지역화를위한 외과 지침을 포함, 있는 3D 인쇄 환자 특정 도구 (참조 AR 마커 부착) 강성 구조에 배치 할 수 있습니다 (즉, 뼈) 탐색을위한 참조로 사용. 이 응용 프로그램은 정형 외과 및 악안면 수술 절차에 특히 유용합니다, 있는 뼈 조직 표면은 수술 중에 쉽게 액세스 할 수 있습니다.
프로토콜은 워크스테이션 설정 및 필요한 소프트웨어 도구를 설명하는 섹션 1로 시작합니다. 섹션 2는 3D 슬라이서 소프트웨어를 사용하여 모든 의료 이미징 양식에서 환자의 표적 해부학을 쉽게 분할하여 3D 모델을 얻는 방법을 설명합니다. 이 단계는 최종 AR 응용 프로그램에 표시되는 가상 3D 모델이기 때문에 매우 중요합니다.
섹션 3에서 3D 슬라이서를 사용하여 이전 섹션에서 만든 3D 모델을 AR 마커로 등록합니다. 이 등록 절차 동안, 환자 3D 모델은 AR 마커에 대하여 효율적이고 간단하게 배치된다. 이 섹션에 정의된 위치는 최종 앱에서 홀로그램 상대적 위치를 결정합니다. 이 솔루션은 복잡성을 줄이고 가능한 응용 프로그램을 곱한 것으로 생각됩니다. 섹션 3에서는 모델과 AR 마커 간의 공간 관계를 정의하는 두 가지 옵션인 "시각화" 및 "등록" 모드를 설명합니다. 첫 번째 옵션인 "시각화" 모드를 사용하면 3D 모델을 마커와 관련하여 어디에나 배치하고 전체 바이오 모델로 표시할 수 있습니다. 이 모드는 환자의 해부학의 현실적인 3D 관점을 제공하고 추적 된 AR 마커를 이동하여 바이오 모델의 이동 및 회전을 할 수 있습니다. 두 번째 옵션인 "등록" 모드는 마커 어댑터를 바이오 모델의 모든 부분에 부착하고 결합하여 자동 등록 프로세스를 제공합니다. 이 옵션을 사용하면 마커 어댑터를 포함한 3D 모델의 작은 섹션을 3D 인쇄할 수 있으며 앱은 모델의 나머지 부분을 홀로그램으로 표시할 수 있습니다.
섹션 4는 3D 인쇄 프로세스에 대한 지침을 제공합니다. 첫째, 사용자는 "듀얼 컬러 마커"와 "스티커 마커"의 두 가지 마커 중에서 선택할 수 있습니다. 전체 "듀얼 컬러 마커"는 3D 인쇄할 수 있지만 이중 압출기 3D 프린터가 필요합니다. 이 프린터를 사용할 수 없는 경우 "스티커 마커"가 제안됩니다. 이것은 입방 구조를 3D 인쇄한 다음 스티커 용지 또는 스티커 접착제로 큐브의 이미지를 붙여 넣기로 얻을 수있는 간단한 마커입니다. 또한 두 마커 모두 특정 어댑터에 완벽하게 맞도록 확장 가능한 섹션으로 설계되었습니다. 따라서, 마커는 여러 경우에 재사용될 수 있다.
섹션 5에서는 Vuforia 소프트웨어 개발 키트를 사용하여 AR용 Unity 프로젝트를 만드는 프로세스를 설명합니다. 이 단계는 프로그래밍 경험이 없는 사용자에게 가장 어려운 부분일 수 있지만 이 지침에서는 섹션 6에 제시된 최종 응용 프로그램을 쉽게 얻을 수 있습니다. 카메라가 3D 인쇄 마커를 인식하면 앱이 스마트폰 화면에 환자의 가상 모델을 표시합니다. 앱이 3D 마커를 감지하기 위해서는 휴대폰에서 마커까지 약 40cm 이하의 최소 거리와 양호한 조명 조건이 필요합니다.
이 프로토콜의 최종 적용을 통해 사용자는 시각화할 특정 바이오 모델과 위치를 선택할 수 있습니다. 추가적으로, 앱은 바이오 모델에 부착된 3D 프린팅 마커 및 어댑터를 사용하여 자동 환자 홀로그램 등록을 수행할 수 있다. 이렇게 하면 직접적이고 편리한 방식으로 가상 모델을 환경에 등록해야 하는 과제를 해결할 수 있습니다. 또한, 이 방법론은 의료 영상 또는 소프트웨어 개발에 대한 광범위한 지식을 필요로하지 않으며, 복잡한 하드웨어 및 고가의 소프트웨어에 의존하지 않으며, 짧은 기간 동안 구현 될 수있다. 이 방법은 의료 전문가에 의해 AR 및 3DP 기술의 채택을 가속화하는 데 도움이 될 것으로 예상된다.
Disclosures
저자는 공개 할 것이 없다.
Acknowledgments
이 보고서는 프로젝트 PI18/01625 및 PI15/02121 (장관 드 시엔시아, 이노바시온 y Universidades, 인스티투토 드 살루드 카를로스 III 및 유럽 지역 개발 기금 "우나 마네라 드 hacer Europa") 및 IND2018/TIC-9753 (Comuni de Madrid)에 의해 지원되었다.
Materials
| Name | Company | Catalog Number | Comments |
| 3D Printing material: Acrylonitrile Butadiene Styrene (ABS) | Thermoplastic polymer material usually used in domestic 3D printers. | ||
| 3D Printing material: Polylactic Acid (PLA) | Bioplastic material usually used in domestic 3D printers. | ||
| 3D Slicer | Open-source software platform for medical image informatics, image processing, and three-dimensional visualization | ||
| Android | Alphabet, Inc. | Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets. | |
| Autodesk Meshmixer | Autodesk, Inc. | Meshmixer is state-of-the-art software for working with triangle meshes. Free software. | |
| iPhone OS | Apple, Inc. | iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware. | |
| Ultimaker 3 Extended | Ultimaker BV | Fused deposition modeling 3D printer. | |
| Unity | Unity Technologies | Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software. | |
| Xcode | Apple, Inc. | Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software. |
References
- Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
- Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
- Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
- Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
- Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
- Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
- Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
- Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
- Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
- Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
- De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
- Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
- Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
- Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
- Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
- Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
- Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).
