증강 현실을 위한 사실적인 학습된 풍경

이 논문은 360도 이미지, 가우시안 스플래팅 및 가상 현실 통합을 사용하여 사실적인 3D 재구성 시스템을 제시합니다. 이 접근 방식은 교육, 학습 환경 시뮬레이션과 같은 다양한 응용 프로그램에 적용할 수 있습니다. 건설, 현장 밖에서 작업을 시뮬레이션하고 메트릭을 검색합니다. 또는 건강 관리, 자폐증 환자에게 일상 생활 과제를 훈련시킵니다.

우리의 연구는 몰입형 가상 환경을 구축하기 위해 360도 이미지에서 사실적인 3D 재구성을 만드는 데 중점을 두고 있습니다. 이것이 치료, 교육 및 산업 검증을 어떻게 지원할 수 있는지 탐구합니다. 일반적인 접근 방식에는 모션에서 추출하고 종종 COLMAP과 같은 도구를 사용하는 다중 뷰 외부가 포함됩니다. 이와 같은 최신 방법은 몰입형 애플리케이션을 위해 더 빠르고 시각적으로 사실적인 결과를 제공합니다.

문제는 열정적인 플로팅, 거의 낮지 않은 테스트 스트림, 그래픽 카메라 사후 추정 삽입의 계산 비용을 포함하며, 이는 비용과 품질에 직접적인 영향을 미칩니다. B 아크와 천천히 상호 작용하는 전체론적 3D 관리 시스템의 부족을 해결하고 정확한 센서와 상호 작용하는 동적 사용을 지원합니다.

[해설자] 시작하려면 높이 조절이 가능한 삼각대에 360도 카메라를 놓습니다. 각 가장자리가 1.5미터 간격으로 배치된 정사각형 메쉬 패턴을 사용하여 스캔할 환경 내에서 일련의 위치를 선택합니다. 각 메쉬 포인트에서 약 0.4미터, 1.2미터, 2미터의 세 가지 높이에서 이미지를 캡처합니다. Insta 360 앱과 같은 도구를 사용하여 360도 이미지를 정직사각형 형식으로 변환합니다. 이미지를 선택하고 내보내기 버튼을 누릅니다. 360도 사진 내보내기 모드를 선택하고 2:1 비율 이미지로 내보냅니다. Equi2Pers.py 스크립트를 사용하여 90도 수평 시야각을 가진 각 정직사각형 이미지에서 16-9개의 형식 원근 이미지를 추출합니다. 0도, 45도, 90도, 135도, 180도, 225도, 270도, 315도의 수평 각도와 높이에 따른 수직 각도를 적용합니다. 그런 다음 새 프로젝트 파일을 클릭하여 새 COLMAP 프로젝트를 만듭니다. 이미지의 경로를 지정하고 새 데이터베이스를 만듭니다. 처리를 클릭한 다음 특징 추출을 클릭하여 각 이미지에 대한 특징을 추출합니다. 카메라 모델로 핀홀을 선택하고 모든 이미지를 공유합니다. 재구성을 클릭하여 나머지 매개변수를 모션에 대한 기본 계산 구조로 두고 기본 COLMAP 매개변수를 사용하여 재구성을 시작하여 카메라 위치와 방향을 가져옵니다. 재구성을 클릭하고 번들 조정을 선택하여 재투영 오류를 최소화합니다. 이제 카메라 포즈 및 재구성된 포인트를 포함한 출력으로 조밀한 재구성을 선택하여 조밀한 3D 보이는 표현을 생성합니다. 가우스 스플래팅을 사용하여 사실적인 3D 재구성의 경우 매개변수에서 S, M, R을 빼는 매개변수를 사용하여 train.py 스크립트를 실행합니다. 나중에 Unity로 가져오기 위해 지정된 출력 디렉터리 내에서 생성된 .py 파일을 찾습니다. 사용된 헤드셋 모델에 대한 특정 지침에 따라 가상 현실 헤드셋을 컴퓨터에 연결합니다. Unity Hub를 사용하여 버전 2022.44f1로 3D 프로젝트를 만듭니다. 프로젝트로 이동하여 새 프로젝트를 클릭합니다. 3D 빌트인 렌더 파이프라인 템플릿을 선택합니다. 프로젝트 이름과 위치를 설정하고 프로젝트 만들기를 클릭합니다. VR 헤드셋을 관리하고 개발 작업을 간소화하려면 창 및 패키지 관리자를 클릭하여 패키지 관리자를 통해 Unity 에셋 스토어에서 플러그인을 설치합니다. Unity 가우시안 스플래팅 플러그인을 사용하여 가우스 스플래팅 출력을 사용 가능한 에셋으로 변환합니다. Unity 에셋 스토어의 패키지 관리자를 통해 울트라 엘리트 플러그인을 설치하여 핸드 트래킹을 개선합니다. whisper.unity 플러그인을 사용하여 VR 헤드셋 마이크에서 오디오를 트랜스크립션합니다. 패키지 관리자를 사용하여 설치합니다. LLM Unity 플러그인을 설치하여 대규모 언어 모델을 사용하여 응답 생성을 활성화합니다. 앞에서 설명한 대로 패키지 관리자를 통해 설치합니다. 메타 음성 SDK를 사용하여 LLM에서 생성된 응답에서 음성을 생성합니다. 창 및 패키지 관리자를 클릭하여 패키지 관리자를 통해 Unity 에셋 스토어에서 텍스트 음성 변환 플러그인을 설치합니다. 마지막으로 VR 헤드셋을 사용하여 몰입형 환경을 경험하고 상호 작용합니다. 공유된 등직사각형 원점에서 파생된 카메라 위치 그룹을 사용하여 보이는 재구성을 위한 조밀한 포인트 클라우드를 생성하여 캡처 각도의 일관된 공간 매핑을 드러냈습니다. 가우스 스플래팅을 사용하는 제안된 방법은 실제 환경과 매우 유사한 사실적인 재구성을 생성했습니다. 사용자는 가상 현실을 통해 재구성된 환경과 효과적으로 상호 작용하여 몰입감과 공간 인식을 유지할 수 있으며, 헤드셋 내부에 표시되는 시각적 요소는 방 설정과 일치합니다. 익숙하고 낯선 가상 환경은 전문 치료사의 피드백을 기반으로 치료 목표를 염두에 두고 개발되었습니다. 재구성된 공간에 가상 에이전트가 렌더링되어 사용자가 VR을 통해 사실적인 대화형 시나리오에 참여할 수 있도록 했으며, 에이전트는 헤드셋 보기에서 실제와 같은 인물로 나타납니다. 가상 재구성은 입력 이미지를 기반으로 할 때 특정 시점을 정확하게 복제했지만 원근법의 편차로 인해 눈에 띄는 렌더링 제한이 발생했습니다. COLMAP 포인트 클라우드 출력과 비교할 때 가우스 스플래팅은 메트릭 정밀도는 감소했지만 실시간 상호 작용에 적합한 시각적으로 더 연속적이고 생생한 재구성을 생성했습니다.