증강 현실과 3D 프린팅을 결합하여 스마트폰에 환자 모델 표시

이 프로토콜은 경험이 없는 사용자에게 자신의 스마트 폰 앱 구축을 통해 의료 분야에 증강 현실 솔루션을 가져올 수있는 도구를 제공합니다. 이 방법은 증강 현실과 3D 프린팅을 결합하여 3D 인쇄 참조 마커 위에 데이터를 기반으로 만든 3D 모델을 빠르고 쉽게 시각화할 수 있습니다. 이 기술은 3D 인쇄 된 참조가 환자에게 엄격하게 부착 될 수있는 모든 의료 시나리오에 적용 될 수 있습니다.

대상 데이터 현지화로 만든 시각적 3D 모델의 시각화는 환자를 향상시킬 수 있으며 환자를 향상시킬 수 있는 이 프로토콜은 의료 분야에서 증강 현실의 사용을 돕기 위해 의료 영상 이나 소프트웨어 개발에 대한 사전 지식이없는 사용자를 위해 특별히 설계되었습니다. 환자의 해부학의 3D 모델을 만들려면 먼저 의료 이미지 파일을 3D 슬라이서 소프트웨어 창으로 추적하고 확인을 클릭합니다. 환자의 해부학을 세분화하려면 3D 슬라이서의 세그먼트 편집기 모듈로 이동하십시오. 모듈에 들어서면 세분화 항목이 자동으로 만들어집니다.

마스터 볼륨 섹션에서 원하는 볼륨을 선택하고 이미지 아래를 마우스 오른쪽 단추로 클릭하여 세그먼트를 만들기 위해 추가를 선택합니다. 효과 패널에서 대상에 가장 편리한 도구를 선택하고 환자의 의료 이미지를 분할합니다. 3D 모델 파일 형식으로 세분화를 내보내려면 세분화 모듈을 엽니다.

내보내기/가져오기 모델 및 레이블맵에서 내보내기 및 모델을 선택하고 내보내기를 클릭하여 분할된 영역에서 3D 모델을 만듭니다. 저장할 요소를 클릭하고 저장할 요소를 선택합니다. 그런 다음 3D 모델의 파일 형식을 OBJ로 변경합니다.

세분화는 상이한 해부학 적 영역의 추가 3D 모델을 만들기 위해 반복 될 수있다. 증강 현실 마커와 관련하여 임의의 위치에서 3D 환자 모델의 포지셔닝을 위해 AR Health 모델 위치 모듈을 열고 시각화 모드를 선택합니다. 로드 마커 모델을 클릭하여 이 옵션의 마커를 로드하고, 타원 버튼은 저장된 3D 모델의 경로를 선택하고 모델을 로드하여 모델을 3D 슬라이서에 로드합니다.

마무리를 클릭하고 가운데를 클릭하여 마커 내의 모든 모델을 중심으로 합니다. 슬라이드 막대를 사용하여 원하는 대로 마커와 관련하여 3D 모델의 위치, 방향 및 배율을 조정합니다. 그런 다음 파일을 저장하는 경로를 선택하고 모델을 저장하여 모델을 이 위치에 저장합니다.

증강 현실 마커를 원하는 위치에서 3D 바이오모델과 결합하려면 AR Health 모델 위치 모듈을 열고 초기화 섹션에서 등록 모드를 선택합니다. 로드 마커 모델을 클릭하여 이 옵션에 대한 마커를 로드하고 큐브 마커의 지지 구조와 교차할 때까지 3D 모델을 이동하여 필요에 따라 마커 베이스의 높이를 수정합니다. 이 위치에 모델을 저장하려면 파일을 저장하는 경로를 선택하고 모델을 저장합니다.

해부학 모델이 너무 크면 메쉬 믹서 소프트웨어에 큐브 마커 모델의 바이오 모델 및 지지 구조를 로드합니다. 개체 브라우저 창에서 두 모델을 모두 선택하여 모델을 결합하고 편집 메뉴에서 일반 절단 도구를 사용하여 3D 인쇄되지 않는 모델의 원치 않는 섹션을 제거합니다. 모델을 3D 인쇄로 저장하려면 파일을 선택하고 내보내고 원하는 형식을 선택합니다.

최종 증강 현실 응용 프로그램에 필요한 물리적 모델을 3D 인쇄하려면 3D 프린팅 소프트웨어에서 TwoColorCuebMarker_white 흰색 소재를 선택합니다. obj 파일과 TwoColorCubeMarker_white 대한 검은 색 재료. obj 파일.

그런 다음 듀얼 압출기 3D 프린터를 사용하여 입방 마커를 작은 층 높이로 고품질 모드로 흑백으로 3D 인쇄합니다. 3D 모델이 포함된 Unity 엔진에서 스마트폰 앱을 디자인하려면 부포리아 개발자를 열고 계정을 만듭니다. 개발 키를 선택하여 무료 개발 라이센스 키를 가져오고 라이센스 관리자 메뉴에서 키를 선택하고 복사합니다.

스마트폰을 설정하려면 Unity 버전 2019 응용 프로그램에서 파일 메뉴의 빌드 설정에서 장치에 적합한 플랫폼을 선택합니다. Vuforia를 프로젝트에 활성화하려면 편집, 프로젝트 설정, 플레이어 설정 및 XR 설정을 선택하고 Vuforia 증강 현실 지원이라는 상자레이블을 선택합니다. 증강 현실 카메라를 만들려면 메뉴 표시줄, 게임 오브젝트, 부포리아 엔진 및 AR 카메라를 선택하고 메시지가 표시되면 부포리아 부품을 가져옵니다.

Vuforia 사용권 키를 Vuforia 구성 설정에 추가하려면 리소스 폴더를 선택하고 Vuforia 구성을 클릭하고 라이센스 키를 앱 라이센스 키 섹션에 붙여 넣습니다. Vuforia가 Unity로 마커를 감지하고 메뉴 표시줄, 게임 오브젝트, 부포리아 엔진 및 멀티 이미지를 선택하여 Vuforia 다중 대상을 생성하는 데 필요한 파일이 포함된 Vuforia 대상 파일을 가져옵니다. 다중 대상을 클릭하여 탐지에 사용할 마커 유형을 선택하고 다중 대상 동작 에서 데이터베이스 옵션에서 ARHealth_3dPrintedCube_30x30x30 선택합니다.

다중 대상 동작 아래의 다중 대상 옵션에서 마커에 따라 TwoColorCubeMarker 또는 스티커큐브마커를 선택합니다. 3D 모델을 모델 폴더로 드래그하고 여러 대상 항목 아래의 폴더를 드래그합니다. 모델은 Unity 3D 뷰 장면에서 표시되어야 합니다.

3D 모델의 색상을 변경하려면 새 재질을 만들고 모델에 새 재질을 할당합니다. 웹캠을 사용할 수 있는 경우 재생을 클릭하여 컴퓨터에서 응용 프로그램을 테스트합니다. 마커가 웹캠에 표시되는 경우 감지해야 하며 3D 모델이 장면에 나타나야 합니다.

Android 스마트폰이 앱 개발에 사용되는 경우 Unity에서 빌드 설정을 선택하고 목록에서 연결된 휴대폰을 선택합니다. 그런 다음 APK 확장으로 파일을 저장하고 프로세스가 완료되도록 합니다. 앱이 iOS 장치에 배포될 경우 빌드 설정에서 파일을 선택하고 파일을 저장합니다.

응용 프로그램을 시각화하려면, 스마트 폰에서 응용 프로그램을 열고 40 센티미터의 최소 거리에서 응용 프로그램 내에서 마커를보고 스마트 폰 카메라를 사용합니다. 앱이 마커를 감지하면 이전에 만든 3D 모델이 프로시저 중에 정의된 정확한 위치에 스마트폰 화면에 표시되어야 합니다. 입증 된 방법을 사용하여, 말강 다리 육종및 종양으로 고통받는 환자에서 영향을받는 경골과 비골의이 부분은 환자의 CT 스캔에서 분할되었다.

세분화 도구를 사용하여 뼈용바이오모델 1개를 생성하고 종양용바이오모델 1개를 생성했다. 시각화 모드의 경우 모델은 마커의 상층에서 중심을 지정했습니다. 등록 모드의 경우, 마커 어댑터는 경골에 위치하였고 경골의 작은 단면은 3D 마커 어댑터로 3D 인쇄하도록 선택되었다.

폴리락산은 입증된 바와 같이 3D 인쇄 마커, 마커 홀더 베이스 및 뼈 섹션을 만드는 데 사용할 수 있습니다. 여기서 마커는 시각화 모드 3D 인쇄베이스에 부착되어 있으며, 여기에 부착물은 등록 모드 3D 인쇄 바이오모델로 도시된다. 이 표현은 이전에 정의된 대로 큐브의 상부에 정확하게 위치한 홀로그램을 통해 앱이 시각화 모드에서 작동하는 방식을 보여줍니다.

등록 모드에서는 전체 골격 모델을 뼈 부위의 마커의 명확하고 사실적인 시각화와 함께 3D 인쇄 섹션 위에 배치할 수 있습니다. 증강 현실을 사용하여 중요한 환자 정보를 시각화하려면 3D 프린터 및 스마트폰에 자유롭게 액세스할 수 있는 여러 소프트웨어 도구가 필요합니다. 이 절차는 의료 영상에서 얻은 모든 모델에 적용 될 수있다.

그것의 사용은 바늘 삽입의 방사선 요법 포지셔닝과 같은 그밖 내정간섭으로 확장될 수 있습니다. 우리는 지금 근막 수술 또는 정형 외과수술을 포함하여 새로운 임상 지역으로 이 발달의 응용을 확장하고 있습니다. 우리의 초기 연구는 유망하고 외과 의사의 피드백은 매우 긍정적이다.