Name: Fotorealistyczne poznane krajobrazy dla rzeczywistości rozszerzonej (Wideo) | JoVE Journal
Uploaded: 2025-06-27T13:20:00.000+00:00
Duration: 6 min 54 s
Description: Poznaj metodę fotorealistycznej rekonstrukcji 3D z obrazów 360 stopni przy użyciu Gaussian splatting i COLMAP. To podejście wspiera terapię, edukację oraz walidację przemysłową w rzeczywistości rozszerzonej.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Niniejszy artykuł jest częścią grantu PID2022-138453OB-I00 finansowanego przez MICIU/AEI/ 10.13039/501100011033 oraz przez EFRR A way of making Europe.

1. Rejestracja obrazu
<ol>
	<li>Umieść kamerę 360° na statywie z regulowaną wysokością. Wyznacz serię pozycji w środowisku przeznaczonym do skanowania, stosując wzór siatki kwadratowej, w której krawędzie są oddalone od siebie o 1,5 m.</li>
	<li>Wykonaj zdjęcia na trzech różnych wysokościach w każdym wybranym punkcie siatki: około 0,4 m, 1,2 m i 2 m.</li>
	<li>Konwertuj obrazy 360° na obrazy w formacie równiktraktangularnym. W tym celu można wykorzystać np. aplikację Insta360. Wybierz Image, naciśnij przycisk Export, wybierz tryb Export 360 photo i wyeksportuj obraz w proporcjach 2:1.</li>
	<li>Wyodrębnij z każdego obrazu równiktraktangularnego obrazy perspektywiczne w formacie 16:9 z poziomym polem widzenia 90°. Dla wszystkich obrazów zastosuj następujące kąty poziome: 0, 45, 90, 135, 180, 225, 270, 315. Dla zdjęć wykonanych na wysokości 0,4 m zastosuj kąty pionowe 0 i 50. Dla zdjęć wykonanych na wysokości 1,2 m zastosuj kąty pionowe -50, 0 i 50. Dla zdjęć wykonanych na wysokości 2 m zastosuj kąty pionowe -50 i 0. W procesie ekstrakcji wykorzystaj skrypt Pythona Equi2Pers.py (Supplementary Coding File 1; Figure 2).</li>
</ol>
<img alt="Rysunek 2" class="xfigimg" src="/files/ftp_upload/68386/68386fig2.jpg" /> 
Rysunek 2:&#160;Obrazy równikierunkowe do projekcji. Schemat konwersji obrazu równikierunkowego na projekcję mapy sześcianu (cube-map). <a href="https://www.jove.com/files/ftp_upload/68386/68386fig2large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>
2. Estymacja pozy kamery za pomocą COLMAP
<ol>
	<li>Utwórz nowy projekt w programie COLMAP, klikając File &#62; New Project, następnie określ ścieżkę do obrazów i utwórz nową bazę danych.</li>
	<li>Wyodrębnij cechy dla każdego obrazu, klikając Processing &#62; Feature Extraction, wybierając PINHOLE jako model kamery oraz opcję współdzielenia dla wszystkich obrazów. Pozostałe parametry pozostaw domyślne. W obszarach o dużej teksturze wartość max_num_features można zmniejszyć w celu zwiększenia wydajności metody.</li>
	<li>Wykonaj dopasowanie cech, klikając Processing &#62; Feature Matching, korzystając z parametrów domyślnych.</li>
	<li>Oblicz SfM, klikając Reconstruction &#62; Start Reconstruction, aby uzyskać pozycje i orientacje kamer, korzystając z domyślnych parametrów COLMAP.</li>
	<li>Zminimalizuj błędy reprojekcji za pomocą wiązkowej korekty (bundle adjustment), klikając Reconstruction &#62; Bundle Adjustment.</li>
	<li>Wygeneruj gęstą reprezentację 3D sceny, klikając Reconstruction &#62; Dense Reconstruction; wyniki obejmują pozy kamer oraz zrekonstruowane punkty.</li>
</ol>
3. Fotorealistyczna rekonstrukcja sceny 3D przy użyciu splatowania gaussowskiego (GS)
<ol>
	<li>Uruchom plik train.py z parametrami -s, -m i -r, gdzie -s określa ścieżkę do projektu COLMAP, -m definiuje ścieżkę wyjściową dla Gaussian Splatting (jeśli nie zostanie określona, zostanie wygenerowana ścieżka domyślna), a -r zmienia skalę obrazów, zazwyczaj w zakresie od 2 do 4. 
	UWAGA: Plik train.py znajduje się w oficjalnym repozytorium Gaussian Splatting&#160;https://github.com/graphdeco-inria/gaussian-splatting.</li>
	<li>Zlokalizuj plik .ply wygenerowany przez Gaussian Splatting w ścieżce wyjściowej, aby móc go później wykorzystać w Unity.</li>
</ol>
4. Renderowanie w rzeczywistości wirtualnej z wykorzystaniem Unity i Gaussian splattingu
<ol>
	<li>Podłącz gogle VR do komputera. Metoda połączenia zależy od używanego modelu gogli VR.</li>
	<li>Użyj Unity Hub do utworzenia projektu 3D w wersji 2022.3.44f1. W razie potrzeby zainstaluj wersję Unity 2022.3.44f1. Przejdź do Projects &#62; New Project, wybierz wersję 2022.3.44f1 oraz szablon 3D (Core), ustaw nazwę i lokalizację projektu, a następnie kliknij Create Project , aby wygenerować go z domyślnymi ustawieniami.</li>
	<li>Zainstaluj wtyczkę do zarządzania goglami VR i uproszczenia tworzenia aplikacji, obejmującą zadania takie jak dostęp do dżojstika i śledzenie wzroku. Zrób to poprzez Unity Asset Store za pomocą Menedżera Pakietów, klikając Window &#62; Package Manager.</li>
	<li>Użyj wtyczki UnityGaussianSplatting, aby wygenerować zasób z danych wyjściowych Gaussian Splatting. Zrób to poprzez Unity Asset Store za pomocą Menedżera Pakietów. Aby wygenerować ten zasób, przejdź do Tools &#62; GaussianSplats &#62; Create GaussianSplatAsset i wskaż plik .ply wygenerowany przez Gaussian Splatting.</li>
	<li>Użyj wtyczki UltraLeap, aby poprawić detekcję dłoni, co zwiększy interakcję użytkownika. Aby ją zainstalować, przejdź do Unity Asset Store &#62; Package Manager i kliknij Window &#62; Package Manager.</li>
	<li>Użyj wtyczki whisper.unity do transkrypcji dźwięku przechwyconego przez mikrofon gogli VR. Zainstaluj ją zgodnie z opisem w kroku 4.5.</li>
	<li>Użyj modelu LLM do generowania odpowiedzi. Zainstaluj wtyczkę LLMUnity, aby umożliwić korzystanie z tego LLM. Zainstaluj ją zgodnie z opisem w kroku 4.5.
	<ol>
		<li>Utwórz pusty obiekt GameObject i dodaj skrypt LLM, a następnie kliknij przycisk download model , aby wybrać domyślny model. W przypadku postaci dodaj pusty obiekt i przypisz do niego skrypt LLMCharacter, w którym można określić imię i rolę.</li>
	</ol>
	</li>
	<li>Użyj Meta - Voice SDK do generowania dźwięku z odpowiedzi wyprodukowanej przez LLM. Aby to osiągnąć, zainstaluj wtyczkę Text-to-Speech poprzez Unity Asset Store za pomocą Menedżera Pakietów, klikając Window &#62; Package Manager.</li>
	<li>Użyj gogli VR, aby umożliwić immersyjną interakcję.</li>
</ol>

<ol><li>Zollmann, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+for+Construction+Site+Monitoring+and+Documentation%5BTitle%5D)+AND+%22Proceedings+IEEE%22%5BJournal%5D)">Augmented Reality for Construction Site Monitoring and Documentation.</a> Proceedings IEEE. 102 (2), 137-154 (2012).</li>
<li>Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comprehensive+review+of+vision-based+3d+reconstruction+methods%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">A comprehensive review of vision-based 3d reconstruction methods.</a> Sensors. 24 (7), 2314(2024).</li>
<li>Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).</li>
<li>Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+gaussian+splatting+for+real-time+radiance+field+rendering%5BTitle%5D)+AND+%22ACM+Trans.+Graph%22%5BJournal%5D)">3d gaussian splatting for real-time radiance field rendering.</a> ACM Trans. Graph. 42 (4), 139-141 (2023).</li>
<li>Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).</li>
<li>Remondino, F., El-Hakim, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-based+3D+modelling%3A+A+review%5BTitle%5D)+AND+%22Photogrammet+Record%22%5BJournal%5D)">Image-based 3D modelling: A review.</a> Photogrammet Record. 21 (115), 269-291 (2006).</li>
<li>Özyeşil, O., Voroninski, V., Basri, R., Singer, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+structure+from+motion%5BTitle%5D)+AND+%22Acta+Numerica%22%5BJournal%5D)">A survey of structure from motion.</a> Acta Numerica. 26, 305-364 (2017).</li>
<li>Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).</li>
<li>Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gaussian+Splatting%3A+3D+Reconstruction+and+Novel+View+Synthesis%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review.</a> IEEE Access. 12, 96797-96820 (2024).</li>
<li>Zhang, M., Ding, H., Naumceska, M., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Reality+Technology+as+an+Educational+and+Intervention+Tool+for+Children+with+Autism+Spectrum+Disorder%3A+Current+Perspectives+and+Future+Directions%5BTitle%5D)+AND+%22Behav+Sci%22%5BJournal%5D)">Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions.</a> Behav Sci. 12 (5), 138(2023).</li>
<li>Failla, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+autism%3A+unlocking+learning+and+growth%5BTitle%5D)+AND+%22Front+Psychol%22%5BJournal%5D)">Virtual reality for autism: unlocking learning and growth.</a> Front Psychol. 15, 1417717(2024).</li>
<li>Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHuang%2C+B+%22arXiv%22">arXiv</a>. , (2024).</li>
<li>Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aZhang%2C+Y+%22arXiv%22">arXiv</a>. , (2025).</li>
</ol>

Autorzy oświadczają, że nie są im znane żadne konkurencyjne interesy finansowe ani powiązania osobiste, które mogłyby mieć wpływ na pracę opisaną w tym artykule.

W badaniu przedstawiono nowatorską metodologię fotorealistycznej rekonstrukcji 3D i interakcji ze środowiskiem wirtualnym przy użyciu obrazów 360 stopni i zaawansowanych technik renderowania. Poniżej omówiono kluczowe kroki, wyzwania i implikacje proponowanego systemu.
Kroki krytyczne Jednym z kluczowych kroków w proponowanym procesie jest przechwytywanie obrazu. Korzystając z kamery 360 stopni umieszczonej na różnych wysokościach i w różnych lokalizacjach, generowany jes...

Zdolność do odtwarzania i interakcji z trójwymiarowymi krajobrazami stała się kluczowa w wielu różnych obszarach zastosowań nowoczesnych technologii. Tradycyjne techniki tworzenia wirtualnych reprezentacji rzeczywistych lokalizacji opierają się czasem na pracochłonnych, sztywnych modelach i pomiarach manualnych1. Zaawansowane techniki komputerowego rozpoznawania obrazu pojawiły się jako możliwe do zastosowania opcje automatycznej rekonstrukcji 3D i interakcji w celu przezwyciężenia tych ograniczeń2.
Istotnym elementem tego postępu jest opracowanie złożonych modeli 3D na podstawie zdjęć 360 stopni. Dokładne informacje przestrzenne można uzyskać poprzez precyzyjne określenie obszarów, w których wykonano zdjęcia, z wykorzystaniem nowoczesnych narzędzi, takich jak COLMAP3. Proces ten jest dodatkowo usprawniany przez technikę Gaussian Splatting4, która umożliwia odtworzenie skomplikowanych otoczeń w 3D przy zachowaniu wysokiej jakości.
Wprowadzenie tych modeli 3D do systemów wirtualnej rzeczywistości (VR) otwiera nowe możliwości eksploracji i interakcji wykraczające poza samą rekonstrukcję. Aby zwiększyć zaangażowanie, użytkownicy mogą mierzyć obiekty świata rzeczywistego, takie jak drzwi i stoły, poruszać się w przestrzeni wirtualnej, a nawet dodawać obiekty cyfrowe i awatary. Awatary te mogą generować dynamiczne i interaktywne odpowiedzi przy użyciu dużych modeli językowych (LLM), co przekłada się na immersyjne doświadczenia5.
Niniejsza praca przedstawia metodologię tworzenia trójwymiarowych reprezentacji rzeczywistego środowiska przy użyciu zwykłych obrazów kolorowych oraz ich wyświetlania w środowisku rzeczywistości wirtualnej. System opiera się na ogólnych potokach przetwarzania structure-from-motion oraz Gaussian splatting. System ten nadaje się do tworzenia dalszych aplikacji w budownictwie lub opiece zdrowotnej.
Zaproponowany schemat pozwala na generowanie wizualnie realistycznych i atrakcyjnych trójwymiarowych reprezentacji rzeczywistych środowisk, co stanowi jego główną zaletę. Ponadto wykorzystuje on obrazy kolorowe, które są znacznie wygodniejsze w porównaniu z innymi podejściami wymagającymi kosztownych sensorów, takich jak LiDAR-y czy kamery światła strukturalnego6. Uzasadnieniem dla niniejszej propozycji jest fakt, że możliwość łatwego tworzenia atrakcyjnych wizualnie reprezentacji trójwymiarowych znajduje wiele zastosowań. Może być ona wykorzystywana w budownictwie do kontroli jakości, w ochronie zdrowia do terapii osób z autyzmem w znanym i kontrolowanym środowisku, a także w rozrywce w celu włączenia dokładnej reprezentacji rzeczywistej lokalizacji do gry wideo.
Rozwój systemów do rekonstrukcji 3D i interakcji z wirtualnymi środowiskami znacząco postąpił w ostatnich latach, napędzany integracją wizji komputerowej, uczenia maszynowego oraz technologii wirtualnej rzeczywistości2. Kluczowe komponenty i metodologie istotne dla niniejszej pracy zostały przedstawione poniżej.
Dokładna rekonstrukcja 3D opiera się na przetwarzaniu obrazów w celu wyodrębnienia informacji przestrzennych i geometrycznych. Tradycyjne metody, takie jak Structure from Motion (SfM)7 oraz Multi-View Stereo (MVS)8, są powszechnie stosowane do szacowania pozycji kamery i generowania gęstych chmur punktów. Narzędzia takie jak COLMAP są cenione za niezawodność w wykonywaniu tych zadań, łącząc SfM i MVS w celu tworzenia wysoce precyzyjnych modeli 3D z zestawów obrazów. Niemniej jednak wciąż istnieją ograniczenia w przypadku złożonego oświetlenia, tekstur oraz środowisk o wysokiej dynamice.
Ostatnie osiągnięcia obejmują metodę Gaussian Splatting9, która wykorzystuje reprezentację opartą na punktach do tworzenia fotorealistycznych rekonstrukcji z większą wydajnością niż tradycyjne metody oparte na siatkach. Gaussian Splatting umożliwia płynniejszą wizualizację i dokładniejszą reprezentację przestrzenną, szczególnie w scenach o dużym stopniu szczegółowości.
Po zrekonstruowaniu modeli 3D kluczowe dla imersyjnej interakcji jest przekształcenie ich w formaty kompatybilne z VR. Zastosowanie systemów VR rozszerzyło się poza rozrywkę na takie obszary jak edukacja, opieka zdrowotna10 oraz projektowanie przemysłowe. Nowoczesne środowiska VR umożliwiają płynną nawigację, interakcję z obiektami cyfrowymi oraz zwiększony realizm, co czyni je odpowiednimi do zastosowań wymagających wysokiego zaangażowania użytkownika.
Integracja funkcji interaktywnych, takich jak obiekty wirtualne i awatary, znacząco zwiększa funkcjonalność i głębię systemów rzeczywistości wirtualnej (VR). Awatary oparte na dużych modelach językowych (LLM) ułatwiają realistyczne interakcje konwersacyjne, umożliwiając dynamiczne i adaptacyjne doświadczenia użytkownika. W szczególności technologie te wykazały potencjał w kontekstach terapeutycznych, umożliwiając dostosowanie interakcji do zachowania lub stanu emocjonalnego użytkownika. Na przykład,&#160;w tej pracy11 opracowano aplikację VR wykorzystującą awatary jako chatboty oparte na LLM w celu szkolenia osób z autyzmem w zakresie zawodowych umiejętności komunikacyjnych, co podkreśla zdolność adaptacyjną awatarów sterowanych przez LLM w terapii. Ponadto modele LLM zostały zaimplementowane w środowiskach rzeczywistości rozszerzonej, aby promować inkluzywność i zaangażowanie, co dodatkowo potwierdza potencjał terapeutyczny awatarów opartych na LLM.
Środowiska wirtualne są coraz częściej wykorzystywane w ustawieniach terapeutycznych, szczególnie w przypadku osób z zaburzeniami spektrum autyzmu (ASD). Badania wykazują, że znane i kontrolowane przestrzenie wirtualne mogą zmniejszać lęk i zwiększać zaangażowanie podczas sesji terapeutycznych11. Awatary w tych środowiskach mogą pełnić rolę facylitatorów, prowadząc terapię w sposób, który jest dla pacjenta bezpieczny i dostępny.
Mimo postępów nadal istnieją wyzwania, w tym koszt obliczeniowy rekonstrukcji 3D, utrzymanie wysokiej wierności w środowiskach wirtualnych oraz zapewnienie płynnej integracji między systemami. Jednak ciągły rozwój bardziej wydajnych algorytmów i sprzętu, a także postępy w narzędziach opartych na sztucznej inteligencji, stwarzają możliwości dalszych innowacji w tej dziedzinie. Niniejsza praca przedstawia nowatorski system rekonstrukcji 3D i interakcji ze środowiskami wirtualnymi z wykorzystaniem obrazów 360 stopni. Podejście to integruje techniki takie jak lokalizacja obrazów przy użyciu COLMAP, wysokiej jakości rekonstrukcja z wykorzystaniem Gaussian splatting oraz kompatybilność z VR w celu imersyjnej eksploracji. Poprzez włączenie obiektów cyfrowych i interaktywnych awatarów zasilanych przez LLM, system umożliwia zastosowania w spersonalizowanej terapii osób z ASD oraz w weryfikacji projektów budowlanych. Narzędzia te stanowią kompleksowe ramy do tworzenia adaptacyjnych środowisk wirtualnych, które usprawniają zarówno praktyki terapeutyczne, jak i przemysłowe. Rycina 1 przedstawia proponowany schemat procesu.
<img alt="Rysunek 1" class="xfigimg" src="/files/ftp_upload/68386/68386fig1.jpg" /> 
Rysunek 1: Schemat systemu. Diagram proponowanego procesu fotorealistycznej rekonstrukcji środowiska, składający się z rzeczywistego otoczenia, obrazów 360°, uzyskanych projekcji, procesu SfM, procesu Gaussian Splatting oraz integracji z wirtualną rzeczywistością. <a href="https://www.jove.com/files/ftp_upload/68386/68386fig1large.jpg" target="_blank">Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.</a>

<table><tbody><tr><td>Karty graficzne: NVIDIA GeForce RTX 2080</td><td>Technologia NVIDIA</td><td>TU104-400A</td><td>Urządzenie do przetwarzania i rekonstrukcji obrazu&nbsp;</td></tr><tr><td>Insta360 X4</td><td>Insta360 powiedział:</td><td>CINSABMA-H</td><td>Urządzenie do akwizycji danych do rekonstrukcji</td></tr><tr><td>Meta Quest III</td><td>Meta</td><td>899-00582-01</td><td>Urządzenie do wizualizacji i interakcji z rekonstrukcją</td></tr><tr><td>Karta pamięci Evo Plus 128 GB</td><td>Firma Samsung</td><td>MB-MC128KA/UE</td><td>karta pamięci do 360&deg; Przechowywanie zdjęć</td></tr></tbody></table>

fotorealistyczne poznane krajobrazy dla rzeczywistości rozszerzonej

Photorealistic Learned Landscapes for Augmented Reality

Możliwość tworzenia fotorealistycznych rekonstrukcji 3D rzeczywistych środowisk ze standardowych kolorowych obrazów ma wiele zastosowań w takich dziedzinach jak opieka zdrowotna, edukacja i przemysł. W tym artykule przedstawiono nowatorski system, który integruje zaawansowane techniki, takie jak struktura na podstawie ruchu, przyrostowa rejestracja sceny i Splatting Gaussa w celu rekonstrukcji szczegółowych modeli 3D. Modele te są płynnie zintegrowane ze środowiskami rzeczywistości wirtualnej, aby umożliwić wciągającą interakcję. Proces produkcyjny rozpoczyna się od przechwytywania obrazów 360 stopni przy użyciu wzorca opartego na matrycy w celu uzyskania kompleksowego pokrycia. Obrazy są przetwarzane przy użyciu COLMAP w celu oszacowania ułożenia kamery i wygenerowania rzadkiej chmury punktów. Splatting Gaussowski udoskonala rekonstrukcję, optymalizując położenie, kształty i wygląd punktów, aby uzyskać wysoce realistyczne środowiska 3D. Modele te są następnie renderowane w środowisku Unity, co umożliwia interakcję za pomocą zestawów słuchawkowych VR i obsługuje dodatkowe funkcje, takie jak awatary obsługiwane przez duże modele językowe. Jeden przypadek użycia pokazuje wszechstronność systemu. W opiece zdrowotnej podejście to tworzy kontrolowane, znajome wirtualne przestrzenie do terapii, szczególnie korzystne dla osób z zaburzeniami ze spektrum autyzmu. Wciągające środowiska i interaktywne awatary zapewniają bezpieczne i wygodne środowisko do spersonalizowanej terapii. System ten oferuje znaczące korzyści, w tym wysoką wierność wizualną, łatwość pozyskiwania obrazu i wciągające wrażenia użytkownika. Pozostają jednak wyzwania, takie jak koszt obliczeniowy rozpylania Gaussa i jego zależność od dokładnego szacowania pozycji kamery. Pokonując te ograniczenia, metoda ta ma potencjał do przekształcenia zastosowań w różnych dziedzinach, począwszy od interwencji terapeutycznych, a skończywszy na wzornictwie przemysłowym i ochronie kultury.

W tej sekcji omówiono reprezentatywne wyniki, mocne strony oraz ograniczenia proponowanego procesu. Wyniki zastosowania proponowanej metody przedstawiają się następująco. Rycina 3 przedstawia pozycję kamery (na czerwono) oraz gęstą chmurę punktów. Grupy kamer o wspólnych punktach początkowych reprezentują projekcje z tego samego obrazu równikaptagularnego.
<img alt="Rycina 3" class="xfigimg" src="/files/ftp_upload/68386/6...

W artykule przedstawiono system do fotorealistycznej rekonstrukcji 3D z wykorzystaniem obrazów 360 stopni, Splattingu Gaussa i integracji z rzeczywistością wirtualną. Podejście to można zastosować do różnych zastosowań, takich jak edukacja, symulacja środowisk uczenia się; budownictwo, w celu symulacji prac poza placem budowy i pobierania metryk; lub opieki zdrowotnej, aby szkolić osoby z autyzmem w codziennych zadaniach.

Fotorealistyczne poznane krajobrazy dla rzeczywistości rozszerzonej

The ability to create photorealistic 3D reconstructions of real-world environments from standard color images has numerous applications in fields such as ...

Nasze badania koncentrują się na tworzeniu fotorealistycznych rekonstrukcji 3D z obrazów 360 stopni w celu budowania wciągających środowisk wirtualnych. Bada, w jaki sposób może to wspierać terapię, edukację i walidację przemysłową. Typowe podejścia obejmują ekstrakcję z ruchów i wiele widoków zewnętrznych, często przy użyciu narzędzi takich jak COLMAP. Najnowsze metody, takie jak oferują szybsze, bardziej realistyczne wizualnie wyniki dla aplikacji immersyjnych.Wyzwanie obejmuje koszty obliczeniowe pasjonującego kreślenia, ledwo niski strumień testowy i wstawienie graficznej estymacji po kamerze, które bezpośrednio wpływają na koszt i jakość. Rozwiązujemy problem braku totalistycznego systemu opiekunów 3D, który powoli oddziałuje w łuk B i wspiera dynamiczne użytkowanie w odpowiedniej interakcji z dokładnym czujnikiem.[Narrator] Aby rozpocząć, umieść kamerę 360 stopni na statywie o regulowanej wysokości. Wybierz serię pozycji w środowisku do skanowania, używając kwadratowego wzoru siatki, w którym każda krawędź jest oddalona od siebie o 1,5 metra. W każdym punkcie siatki uchwyć obrazy na trzech różnych wysokościach: około 0,4 metra, 1,2 metra i dwóch metrów. Konwertuj obrazy 360 stopni do formatu równoprostokątnego za pomocą narzędzia takiego jak aplikacja Insta 360. Wybierz obraz, naciśnij przycisk eksportu. Wybierz tryb eksportu zdjęć 360 i wyeksportuj je jako obraz o proporcjach dwa do jednego. Użyj skryptu Equi2Pers.py, aby wyodrębnić od 16 do dziewięciu obrazów perspektywicznych w formacie od 16 do dziewięciu z każdym równoprostokątnym obrazem o poziomym polu widzenia 90 stopni. Zastosuj kąty poziome wynoszące zero, 45, 90, 135, 180, 225, 270 i 315 stopni oraz kąty pionowe na podstawie wysokości. Następnie kliknij file nowy projekt, aby utworzyć nowy projekt COLMAP. Określ ścieżkę do obrazów i utwórz nową bazę danych. Kliknij przetwarzanie, a następnie wyodrębnienie cech, aby wyodrębnić cechy dla każdego obrazu. Wybierz otworek jako model kamery i udostępnij wszystkie obrazy. Pozostaw pozostałe parametry jako domyślną strukturę obliczeniową dla ruchu, klikając rekonstrukcję i rozpocznij rekonstrukcję, aby uzyskać pozycje i orientacje kamery, używając domyślnych parametrów COLMAP. Kliknij rekonstrukcję i wybierz opcję Korekta pakietu, aby zminimalizować błędy ponownego odwzorowania. Teraz wygeneruj gęstą reprezentację 3D, wybierając gęstą rekonstrukcję z danymi wyjściowymi, w tym pozami kamery i zrekonstruowanymi punktami. Aby uzyskać fotorealistyczną rekonstrukcję 3D przy użyciu splattingu Gaussa, wykonaj skrypt train.py, używając parametrów minus S, minus M i minus R. Zlokalizuj wygenerowany plik .py w określonym katalogu wyjściowym w celu późniejszego zaimportowania do aparatu Unity. Podłącz gogle rzeczywistości wirtualnej do komputera, postępując zgodnie z instrukcjami dotyczącymi używanego modelu zestawu słuchawkowego. Użyj Unity Hub, aby utworzyć projekt 3D w wersji 2022.44f1. Przejdź do projektów, kliknij nowy projekt. Wybierz wbudowany szablon potoku renderowania 3D. Ustaw nazwę i lokalizację projektu, a następnie kliknij przycisk Utwórz projekt. Aby zarządzać goglami VR i uprościć zadania programistyczne, zainstaluj wtyczkę ze sklepu Unity Asset Store za pośrednictwem menedżera pakietów, klikając okno i menedżer pakietów. Użyj wtyczki Unity Gaussian splatting, aby przekonwertować dane wyjściowe Gaussian splatting na użyteczny zasób. Ulepsz śledzenie rąk, instalując wtyczkę ultra elite za pośrednictwem menedżera pakietów ze sklepu Unity Asset Store. Transkrybuj dźwięk z mikrofonu gogli VR za pomocą wtyczki whisper.unity. Zainstaluj go za pomocą menedżera pakietów. Włącz generowanie odpowiedzi przy użyciu dużego modelu językowego, instalując wtyczkę LLM Unity. Zainstaluj go za pomocą menedżera pakietów, jak pokazano wcześniej. Generuj mowę na podstawie odpowiedzi wygenerowanych przez LLM przy użyciu meta voice SDK. Zainstaluj wtyczkę zamiany tekstu na mowę ze sklepu Unity Asset Store za pośrednictwem menedżera pakietów, klikając okno i menedżer pakietów. Na koniec użyj gogli VR, aby doświadczyć i wejść w interakcję z wciągającym środowiskiem. Grupy pozycji kamer wyprowadzone ze wspólnych równoprostokątnych początków wykorzystano do wygenerowania gęstych chmur punktów do widocznej rekonstrukcji, ujawniając spójne mapowanie przestrzenne kątów przechwytywania. Zaproponowana metoda, wykorzystująca splatting Gaussa, pozwoliła uzyskać fotorealistyczną rekonstrukcję, bardzo zbliżoną do rzeczywistego środowiska. Użytkownicy mogli skutecznie wchodzić w interakcje ze zrekonstruowanym środowiskiem za pomocą rzeczywistości wirtualnej, utrzymując immersję i świadomość przestrzenną, a wizualizacje prezentowane wewnątrz zestawu słuchawkowego pasowały do konfiguracji pomieszczenia. Znane i nieznane środowiska wirtualne zostały opracowane z myślą o celach terapeutycznych, w oparciu o informacje zwrotne od profesjonalnych terapeutów. Wirtualny agent został wyrenderowany w zrekonstruowanej przestrzeni, umożliwiając użytkownikom angażowanie się w realistyczne interaktywne scenariusze za pośrednictwem VR, przy czym agent pojawia się jako realistyczna postać w widoku gogli. Wirtualne rekonstrukcje wiernie odwzorowywały określone punkty widzenia, gdy były oparte na obrazach wejściowych, ale odchylenia w perspektywie skutkowały zauważalnymi ograniczeniami renderowania. W porównaniu z danymi wyjściowymi chmury punktów COLMAP, splatting gaussowski pozwolił na uzyskanie bardziej ciągłej wizualnie i realistycznej rekonstrukcji, nadającej się do interakcji w czasie rzeczywistym, choć z mniejszą precyzją metryczną.

photorealistic-learned-landscapes-for-augmented-reality

Research

JoVE Journal

Engineering

Inżynieria

Ten film demonstruje użycie rozszerzonej rzeczywistości (AR) do resekcji guza, gdzie zeskanowana w 3D próbka guza jest wizualizowana jako hologram na wyświetlaczu zamontowanym na głowie. Chirurdzy mogą manipulować i blokować hologram w miejscu, aby zapewnić precyzyjne usunięcie guza.

Wizualizacja wyciętej próbki guza w oparciu o rzeczywistość rozszerzoną

To badanie przedstawia eksperymentalny paradygmat testu użyteczności łączącego subiektywne i obiektywne oceny. W obiektywnej ocenie przyjęto metody Neuro-Information-Systems (NeuroIS), a w ocenie subiektywnej przyjęto kwestionariusz użyteczności i skalę NASA-Task Load Index (NASA-TLX).

Ocena użyteczności rzeczywistości rozszerzonej: badanie neuro-systemów informacyjnych

Ten artykuł przedstawia projekt i implementację modułu automatycznej chirurgii opartej na rekonstrukcji 3D opartej na rzeczywistości rozszerzonej (AR). System umożliwia zdalną operację, umożliwiając chirurgom inspekcję zrekonstruowanych cech i odtworzenie chirurgicznych ruchów ręki tak, jakby wykonywali operację w bliskiej odległości.

Automatyczna chirurgia przezcewnikowej wymiany zastawki aortalnej z wykorzystaniem rozszerzonej rzeczywistości

Protokół ten oferuje przewodnik do implementacji śledzenia znaczników w podczerwieni dla swobodnie poruszających się fantomów (np. organów) i wizualizacji holograficznej przy użyciu rzeczywistości rozszerzonej. Ponadto przedstawiono w nim konfigurację do przedklinicznej walidacji systemów nawigacji holograficznej wykorzystujących śledzenie elektromagnetyczne na swobodnie poruszających się fantomach.

Techniczne podejście do śledzenia w podczerwieni w nawigacji tkanek miękkich z holograficznym wyświetlaczem montowanym na głowie i walidacją przedkliniczną

Organiczne materiały fotowoltaiczne (OPV) są z natury niejednorodne w skali nanometrów. Niejednorodność materiałów OPV w nanoskali wpływa na wydajność urządzeń fotowoltaicznych. W artykule opisano protokół pomiarów ilościowych właściwości elektrycznych i mechanicznych materiałów OPV o rozdzielczości poniżej 100 nm.

Równoczesne ilościowe pomiary przewodności i właściwości mechanicznych organicznych materiałów fotowoltaicznych za pomocą AFM

Opisujemy proces zmiany in situ powierzchni Si (001) potraktowanej HF w stan hydrofilowy lub hydrofobowy poprzez napromieniowanie próbek w komorach mikroprzepływowych wypełnionych roztworem H2O2/H2O (0,01%-0,5%) lub roztworami metanolu za pomocą impulsowego lasera UV o stosunkowo niskiej płynności impulsów.

Selektywna modyfikacja obszaru zwilżalności powierzchni krzemu za pomocą pulsacyjnego naświetlania laserem UV w środowisku ciekłym

Ze względu na znaczenie i szerokie zastosowanie palladu, złota i kobaltu w sprzęcie high-tech, ich odzysk i recykling stanowią ważne wyzwanie przemysłowe. Opisany w niniejszym dokumencie system odzysku metali jest prostym, tanim sposobem na skuteczne wykrywanie, usuwanie i odzysk tych metali z kopalni miejskiej.

Wykrywanie i odzyskiwanie palladu, złota i metali kobaltowych z kopalni miejskiej przy użyciu nowatorskich czujników/adsorbentów oznaczonych nanoskalowymi porami w kształcie koła wagonowego

Opisujemy technikę wpisywania identycznych siatek Bragga w każdy rdzeń światłowodu wielordzeniowego. Osiąga się to poprzez wprowadzenie dodatkowej powierzchni do ścieżki optycznej w celu złagodzenia soczewkowania przez zakrzywioną powierzchnię okładziny włókna.

Pisanie siatek Bragga we włóknach wielordzeniowych

Przedstawiono eksperymentalne metody badania procesów chłodzenia ciała stałego oraz charakterystyki właściwości materiałów elastokalorycznych stopów z pamięcią kształtu (SMA). Specjalnie skonstruowane stanowisko testowe zostało zaprojektowane do sterowania i kompleksowego monitorowania procesów chłodzenia elastokalorycznego. Ponadto stanowi platformę walidacyjną dla podejść do modelowania sprzężonego z termomechaniką.

Eksperymentalne metody badania procesów chłodzenia elastokalorycznego opartych na pamięci kształtu i walidacji modeli

Demonstrujemy precyzyjną manipulację pojedynczymi cząsteczkami organicznymi na powierzchni metalu za pomocą końcówki mikroskopu sondy skanującej napędzanego w 3D ręką eksperymentatora za pomocą systemu przechwytywania ruchu i w pełni immersyjnych gogli wirtualnej rzeczywistości.

Ręcznie sterowana manipulacja pojedynczymi cząsteczkami za pomocą mikroskopu z sondą skanującą z interfejsem 3D Virtual Reality

Poznaj metodę fotorealistycznej rekonstrukcji 3D z obrazów 360 stopni przy użyciu Gaussian splatting i COLMAP. To podejście wspiera terapię, edukację oraz walidację przemysłową w rzeczywistości rozszerzonej.

Fotorealistyczne poznane krajobrazy dla rzeczywistości rozszerzonej

Przeglądaj więcej filmów