Fotorealistische Lernlandschaften für Augmented Reality

In diesem Beitrag wird ein System für die fotorealistische 3D-Rekonstruktion unter Verwendung von 360-Grad-Bildern, Gaußscher Splatting und Virtual-Reality-Integration vorgestellt. Der Ansatz kann auf verschiedene Anwendungen angewendet werden, z. B. in der Bildung, bei der Simulation von Lernumgebungen; Bauwesen, um Arbeiten außerhalb der Baustellen zu simulieren und Metriken abzurufen; oder im Gesundheitswesen, um autistische Menschen in Aufgaben des täglichen Lebens zu schulen.

Unsere Forschung konzentriert sich auf die Erstellung fotorealistischer 3D-Rekonstruktionen aus 360-Grad-Bildern, um immersive virtuelle Umgebungen zu erstellen. Es wird untersucht, wie dies Therapie, Bildung und industrielle Validierung unterstützen kann. Zu den gängigen Ansätzen gehören die Extraktion aus Bewegungen und Multiview-Außenansichten, häufig unter Verwendung von Tools wie COLMAP. Neuere Methoden bieten schnellere, visuell realistischere Ergebnisse für immersive Anwendungen.

Zu den Herausforderungen gehören die Rechenkosten für leidenschaftliches Plotten, kaum einen geringen Teststream und das Einfügen einer Grafikkamera-Nachkalkulation, die sich direkt auf die Kosten und die Qualität auswirken. Wir beheben das Fehlen eines totalistischen 3D-Verwahrungssystems, das langsam in den B-Bogen interagiert und die dynamische Nutzung des Rechts bei der Interaktion mit einem präzisen Sensor unterstützt.

[Erzähler] Platzieren Sie zunächst eine 360-Grad-Kamera auf einem höhenverstellbaren Stativ. Wählen Sie eine Reihe von Positionen innerhalb der Umgebung für den Scanvorgang aus, indem Sie ein quadratisches Maschenmuster verwenden, bei dem jede Kante einen Abstand von 1,5 Metern hat. Nehmen Sie an jedem Netzpunkt Bilder in drei verschiedenen Höhen von ca. 0,4 Metern, 1,2 Metern und zwei Metern auf. Konvertieren Sie die 360-Grad-Bilder in ein gleichwinkliges Format, indem Sie ein Tool wie die Insta 360-App verwenden. Wählen Sie das Bild aus und drücken Sie die Schaltfläche Exportieren. Wählen Sie den Modus 360°-Foto exportieren und exportieren Sie es als Bild mit einem Verhältnis von zwei zu eins. Verwenden Sie das Skript Equi2Pers.py, um perspektivische Bilder im Format 16 bis neun aus jedem gleichwinkligen Bild mit einem horizontalen Sichtfeld von 90 Grad zu extrahieren. Wenden Sie horizontale Winkel von null, 45, 90, 135, 180, 225, 270 und 315 Grad sowie vertikale Winkel basierend auf der Höhe an. Klicken Sie anschließend auf Neues Projekt ablegen, um ein neues COLMAP-Projekt zu erstellen. Geben Sie den Pfad zu den Bildern an, und erstellen Sie eine neue Datenbank. Klicken Sie auf Verarbeitung, gefolgt von Merkmalsextraktion, um Merkmale für jedes Bild zu extrahieren. Wählen Sie Lochblende als Kameramodell aus und geben Sie alle Bilder frei. Behalten Sie die verbleibenden Parameter als Standard-Berechnungsstruktur für Bewegung bei, indem Sie auf Rekonstruktion klicken und Rekonstruktion starten, um die Kamerapositionen und -ausrichtungen mit den Standard-COLMAP-Parametern zu erhalten. Klicken Sie auf Rekonstruktion und wählen Sie Bündelanpassung, um die Reprojektionsfehler zu minimieren. Generieren Sie nun eine dichte 3D-Darstellung, indem Sie eine dichte Rekonstruktion mit Ausgaben auswählen, einschließlich Kameraposen und rekonstruierten Punkten. Führen Sie für eine fotorealistische 3D-Rekonstruktion mit Gaußschem Splatting das train.py-Skript mit den Parametern minus S, minus M und minus R aus. Suchen Sie die generierte .py-Datei im angegebenen Ausgabeverzeichnis für den anschließenden Import in Unity. Schließen Sie das Virtual-Reality-Headset an den Computer an, indem Sie die spezifischen Anweisungen für das verwendete Headset-Modell befolgen. Verwenden Sie Unity Hub, um ein 3D-Projekt mit der Version 2022.44f1 zu erstellen. Navigieren Sie zu Projekte und klicken Sie auf Neues Projekt. Wählen Sie die integrierte 3D-Renderpipelinevorlage aus. Legen Sie den Projektnamen und den Speicherort fest und klicken Sie auf Projekt erstellen. Um das VR-Headset zu verwalten und Entwicklungsaufgaben zu vereinfachen, installieren Sie ein Plug-In aus dem Unity Asset Store über den Paketmanager, indem Sie auf Fenster- und Paketmanager klicken. Verwenden Sie das Unity Gauss'sche Splatting-Plug-In, um die Gaußsche Splatting-Ausgabe in ein verwendbares Asset zu konvertieren. Verbessern Sie das Hand-Tracking, indem Sie das Ultra-Elite-Plugin über den Paketmanager aus dem Unity Asset Store installieren. Transkribieren Sie Audio vom Mikrofon des VR-Headsets mit dem whisper.unity-Plugin. Installieren Sie es mit dem Paketmanager. Aktivieren Sie die Antwortgenerierung mit einem großen Sprachmodell, indem Sie das LLM Unity-Plug-In installieren. Installieren Sie es über den Paketmanager, wie zuvor gezeigt. Generieren Sie Sprache aus LLM-generierten Antworten mit dem Meta Voice SDK. Installieren Sie ein Text-to-Speech-Plug-In aus dem Unity Asset Store über den Paket-Manager, indem Sie auf Fenster- und Paket-Manager klicken. Verwenden Sie schließlich das VR-Headset, um die immersive Umgebung zu erleben und mit ihr zu interagieren. Gruppen von Kamerapositionen, die von gemeinsamen gleichwinkligen Ursprüngen abgeleitet wurden, wurden verwendet, um dichte Punktwolken für die sichtbare Rekonstruktion zu erzeugen, was eine konsistente räumliche Kartierung der Aufnahmewinkel zeigt. Die vorgeschlagene Methode, bei der Gaußsches Splatting verwendet wurde, erzeugte eine fotorealistische Rekonstruktion, die der realen Umgebung sehr ähnlich ist. Die Benutzer konnten durch Virtual Reality effektiv mit der rekonstruierten Umgebung interagieren, wobei die Immersion und das räumliche Bewusstsein erhalten blieben, wobei die Bilder im Headset zur Raumeinrichtung passten. Vertraute und unbekannte virtuelle Umgebungen wurden mit Blick auf therapeutische Ziele entwickelt, basierend auf dem Feedback professioneller Therapeuten. In dem rekonstruierten Raum wurde ein virtueller Agent gerendert, der es den Benutzern ermöglichte, sich durch VR an realistischen interaktiven Szenarien zu beteiligen, wobei der Agent in der Headset-Ansicht als lebensechte Figur erscheint. Virtuelle Rekonstruktionen replizierten bestimmte Standpunkte genau, wenn sie auf Eingabebildern basierten, aber Abweichungen in der Perspektive führten zu spürbaren Einschränkungen bei der Darstellung. Im Vergleich zur Ausgabe von COLMAP-Punktwolken führte das Gaußsche Splatting zu einer visuell kontinuierlicheren und lebensechteren Rekonstruktion, die sich für Echtzeitinteraktion eignete, wenn auch mit reduzierter metrischer Präzision.