절제된 종양 표본의 증강 현실 기반 시각화

초록

이 동영상은 종양 절제술을 위해 증강 현실(AR)을 사용하여 3D 스캔한 종양 표본을 머리 장착 디스플레이에서 홀로그램으로 시각화하는 방법을 보여줍니다. 외과의는 정확한 종양 제거를 보장하기 위해 홀로그램을 조작하고 제자리에 고정할 수 있습니다.

프로토콜

검체 채취와 관련된 모든 절차는 연구소의 IRB 지침에 따라 수행되었습니다.

참고: 프로토콜 워크플로우를 자세히 설명하는 회로도는 그림 1에서 볼 수 있습니다.

1. 3D 스캔

1. 앞서 설명한 3D 스캐닝 프로토콜7에 따라 종양 절제 표본의 3D 스캔을 얻습니다.
   1. 일반적으로 표본을 채취하는 병리학 실험실과 가까운 곳에 시중에서 판매되는 데스크톱 3D 스캐너를 설치합니다.
   2. 절제된 표본을 부드럽게 헹구고 두드려 말립니다. 그런 다음 전방 및 후방 표면의 2D 사진을 찍습니다.
   3. 스캐너 턴테이블에 표본을 놓고 얇은 플라스틱 시트로 턴테이블이 체액으로부터 보호되는지 확인합니다.
   4. 3D 스캐너 소프트웨어와 노트북 컴퓨터를 사용하여 표본의 전방 및 후방 표면의 3D 스캔을 얻습니다.
   5. 3D 스캐너 소프트웨어를 사용하여 3점 데이터 교차 정합을 사용하여 두 세트의 스캔 데이터를 정렬합니다.
   6. 스캔이 생체 외 표본의 3D 구조와 유사해지면 1.2단계로 진행합니다.
2. Save Your Scan(스캔 저장)을 클릭하고 3D 스캐닝 소프트웨어에서 완료된 스캔을 .obj 파일과 .jpeg 파일로 저장합니다.

2. 증강 현실 환경 설정

1. 데스크톱 AR 소프트웨어를 엽니다. 증강 현실 VISE 패키지를 엽니다.
2. 1.2단계에서 생성된 3D 모델을 .obj 파일로 업로드하고 텍스처 데이터를 .jpeg 파일로 업로드하려면 바탕 화면에서 프로젝트 자산 상자로 파일을 끌어다 놓습니다.
3. 헤드 마운트 디스플레이(HMD)를 착용합니다.
4. 주로 사용하지 않는 손목을 들어 올려 HMD 환경에서 메뉴를 엽니다. 사각형 아이콘이 나타나면 아이콘을 손가락으로 가리켜 탭하고 나타날 메뉴를 찾습니다.
5. 파일 | 모든 앱 표시 | HMD에서 홀로그램 원격 애플리케이션을 엽니다.
6. Mixed Reality | 원격 | 상단 도구 모음의 플레이 모드를 위한 홀로그램 원격.
7. 홀로그램 원격 애플리케이션이 열려 있을 때 표시되는 HMD의 IP 주소를 입력합니다.
   참고: 앱 내에 표시되지 않은 경우 IP 주소는 설정 또는 "내 IP 주소 확인"이라는 음성 명령을 통해서도 찾을 수 있습니다.
8. HMD와 소프트웨어를 실행하는 장치가 모두 동일한 Wi-Fi 네트워크에 연결되어 있는지 확인합니다. 상단 중앙에 있는 삼각형 재생 버튼을 누르십시오. 이제 HMD 헤드셋에 렌더링이 표시됩니다.
9. 3D 개체 모델을 왼쪽 계층 구조 막대로 드래그합니다. 개체에 대한 드롭다운 메뉴를 엽니다. 기본값을 Replace Object(개체 바꾸기) 아래의 Adjust Pivot(피벗 조정) 팝업 창으로 드래그합니다. Apply Selected Objects(선택한 개체 적용)를 클릭합니다.
10. Hierarchy 메뉴에서 Medical_Object 드롭다운을 열고 앵커를 선택한 후 Adjust Pivot 팝업에서 Move Medical_Object의 Pivot Here를 선택합니다.
11. 텍스처 파일을 Adjust Pivot 팝업의 (Texture 2D) 상자로 드래그합니다. 선택한 텍스처 파일 적용을 선택합니다.
12. 화면 상단 중앙에 있는 재생 버튼을 한 번 더 누르십시오.

3. 가상 현실 진입

1. 음성 명령 열기를 사용하여 홀로그램을 초기화합니다.
2. 개체가 보이지 않거나 보기에서 사라진 경우 음성 명령 위치 변경을 사용하여 개체를 보기 중심으로 다시 가져옵니다.
3. 개체는 해부학적 크기로 렌더링됩니다. 음성 명령 Lock Size를 사용하여 개체를 현재 크기로 유지하고, Unlock Size를 사용하여 개체 크기를 변경하고, Back to Scale을 사용하여 개체를 해부학적 크기로 복원합니다.
4. 포인터 손가락과 엄지 손가락으로 집어 물리적 개체를 조작하는 것과 같은 방식으로 개체의 크기를 조정하고, 이동하고, 회전합니다.

4. 음성 명령 활용

1. 다음 음성 명령을 사용하여 핸즈프리로 개체를 조작합니다.
   1. 오른쪽: 개체를 오른쪽으로 회전합니다.
   2. 왼쪽: 개체를 왼쪽으로 회전합니다.
   3. 더 크게: 개체를 더 크게 만듭니다.
   4. 더 작게: 개체를 더 작게 만듭니다.
   5. 투명도 증가: 개체의 투명도를 높입니다.
   6. 투명도 감소: 개체의 투명도를 줄입니다.

5. 시편의 AR 유도 재정렬

참고: 홀로그램의 3D 재정렬은 그림 2에서 볼 수 있습니다.

1. 엄지와 검지를 사용하여 HMD를 통해 보이는 3D 표본 홀로그램을 조작합니다.
   1. 가상 환경에서 홀로그램이 보이는 실제 환경에서 엄지와 검지를 함께 넣어 물체를 잡습니다.
   2. 3D 홀로그램이 가상 환경에서 원하는 위치에 배치되면 실제 환경에서 엄지와 검지를 열어 물체를 놓습니다.
2. 음성 명령 잠금을 사용하여 홀로그램을 제자리에 고정하고 잠금 해제를 사용하여 개체를 한 번 더 조작합니다.
3. 홀로그램의 해부학적 방향에 따라 5.1-5.2단계에 따라 가상 표본을 절제단에 재정렬합니다. 홀로그램이 HMD를 통해 볼 때 절제 베드와 최대한 재정렬되면 음성 명령 잠금을 사용하여 표본을 제자리에 고정합니다.

결과

그림 1 : 프로토콜 워크플로우. 현재 표준 프로토콜과 병행하여 실험 프로토콜을 보여주는 개략도.

그림 2: HMD를 통해 본 3D 홀로그램 재정렬. HMD를 통한 사용자 시야: (A) 3D 홀로그램을 잡는 사용자의 손, (B) 3D 홀로그램을 절제 베드 상으로 해제하는 사용자의 손, 및 (C) 절제 베드 상으로 재정렬된 3D 홀로그램의 최종 제품. 약어: HMD = 헤드 마운트 디스플레이.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
디지털 카메라 또는 카메라폰	아이폰		iPhone 또는 이와 유사한 카메라 폰 또는 디지털 카메라를 사용할 수 있습니다.
EinScan SP V2 플래티넘 데스크탑 3D 스캐너	빛나는 3D		3D 스캐너 하드웨어
ExScan 소프트웨어; 솔리드 엣지 SHINING 3D 에디션	빛나는 3D		3D 스캐너 구매 시 포함된 3D 스캐너 소프트웨어
외부 마우스	마이크로소프트
랩톱	델 XP5	00355-60734-40310-AAOEM	노트북 요구 사항:
USB: ×USB 2.0 또는 3.0 1개; 운영체제: Win 7, 8 or 10 (64 bit);
그래픽 카드: Nvidia 시리즈; 그래픽 메모리: ?1G;
CPU: 듀얼 코어 i5 이상; 메모리: ?8G
마이크로소프트 HMD 2	마이크로소프트
유니티 소프트웨어	Unity 테크놀로지스		실시간 인터랙티브 3D 콘텐츠 플랫폼
Microsoft Office 제품군	마이크로소프트
모바일 프리젠 테이션 카트	오클라호마 사운드	PRC450
USB-C 장치 변환기	트립 라이트	U442-DOCK3-B	노트북에 USB가 없는 경우에만 필요합니다.