Name: Fotorealistische Lernlandschaften für Augmented Reality (Video) | JoVE Journal
Uploaded: 2025-06-27T13:20:00.000+00:00
Duration: 6 min 54 s
Description: Erfahren Sie, wie fotorealistische 3D-Rekonstruktionen aus 360-Grad-Bildern mit Gaussian Splatting und COLMAP immersive VR-Umgebungen für Therapie, Bildung und industrielle Validierung ermöglichen.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

1. Bilderfassung
<ol>
	<li>Stellen Sie die 360°-Kamera auf ein höhenverstellbares Stativ. Wählen Sie eine Reihe von Positionen in der zu scannenden Umgebung aus, wobei Sie einem quadratischen Netzmuster folgen, bei dem jede Kante einen Abstand von 1,5 m hat.</li>
	<li>Nehmen Sie Bilder in drei verschiedenen Höhen an jedem ausgewählten Punkt des Netzes auf: ca. 0,4 m, 1,2 m und 2 m.</li>
	<li>Konvertieren Sie die 360°-Bilder in Bilder im äquirektangulären Format. Nutzen Sie zum Beispiel die Ista360 App. Wählen Sie das Bild aus, drücken Sie die Schaltfläche Exportieren , wählen Sie den Fotomodus 360° exportieren und exportieren Sie es als Bild im Verhältnis 2:1.</li>
	<li>Extrahieren Sie perspektivische Bilder im 16:9-Format aus jedem äquirektangulären Bild mit einem horizontalen Sichtfeld von 90°. Verwenden Sie für alle Bilder die folgenden horizontalen Winkel: 0, 45, 90, 135, 180, 225, 270, 315. Für Bilder, die in einer Höhe von 0,4 m aufgenommen wurden, verwenden Sie die vertikalen Winkel 0, 50. Für Bilder, die in einer Höhe von 1,2 m aufgenommen wurden, verwenden Sie die vertikalen Winkel -50, 0, 50. Für Bilder, die in einer Höhe von 2 m aufgenommen wurden, verwenden Sie einen vertikalen Winkel von -50, 0. Verwenden Sie für den Extraktionsprozess das Equi2Pers.py Python-Skript (Supplementary Coding File 1; Abbildung 2).</li>
</ol>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/68386/68386fig2.jpg"> 
Abbildung 2: Gleichwinklige Bilder zu Projektionen. Diagramm, das zeigt, wie ein äquirektanguläres Bild in eine Cube-Map-Projektion konvertiert wird. <a href="https://www.jove.com/files/ftp_upload/68386/68386fig2large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>
2. Schätzung der Kamerapose mit COLMAP
<ol>
	<li>Erstellen Sie ein neues COLMAP-Projekt, indem Sie auf Datei &gt; Neues Projekt klicken, dann den Pfad zu den Bildern angeben und eine neue Datenbank erstellen.</li>
	<li>Extrahieren Sie Features für jedes Bild, indem Sie auf Verarbeitung &gt; Feature-Extraktion klicken, PINHOLE als Kameramodell auswählen und für alle Bilder freigeben. Behalten Sie die restlichen Parameter als Standard bei. In Bereichen mit viel Textur können max_num_features reduziert werden, um die Effizienz der Methode zu erhöhen.</li>
	<li>Führen Sie einen Feature-Abgleich durch, indem Sie unter Verwendung der Standardparameter auf Verarbeitung &gt; Feature-Abgleich klicken.</li>
	<li>Berechnen Sie SfM, indem Sie auf Rekonstruktion &gt; Rekonstruktion starten klicken, um die Kamerapositionen und -ausrichtungen unter Verwendung der standardmäßigen COLMAP-Parameter zu erhalten.</li>
	<li>Minimieren Sie die Reprojektionsfehler mithilfe der Bündelanpassung, indem Sie auf Rekonstruktion &gt; Bündelanpassung klicken.</li>
	<li>Generieren Sie eine dichte 3D-Darstellung der Szene, indem Sie auf Rekonstruktion &gt; Dichte Rekonstruktion klicken, mit Ausgaben wie Kameraposen und rekonstruierten Punkten.</li>
</ol>
3. Fotorealistische 3D-Szenenrekonstruktion mittels Gaußscher Splatting (GS)
<ol>
	<li>Führen Sie die train.py Datei mit den Parametern -s, -m und -r aus, wobei -s den COLMAP-Projektpfad angibt, -m den Ausgabepfad für Gaußsches Splatting definiert (wenn nicht angegeben, wird ein Standardpfad generiert) und -r die Bilder neu skaliert, die normalerweise zwischen 2 und 4 eingestellt sind. HINWEIS: Die train.py Datei befindet sich im offiziellen Repository von Gaussian Splatting https://github.com/graphdeco-inria/gaussian-splatting.</li>
	<li>Suchen Sie die von Gaußian Splatting generierte .ply-Datei im Ausgabepfad für die spätere Verwendung in Unity.</li>
</ol>
4. Rendern in der virtuellen Realität mit Unity und Gaußscher Splatting
<ol>
	<li>Verbinden Sie das VR-Headset mit dem Computer. Diese Methode hängt vom verwendeten VR-Headset ab.</li>
	<li>Verwenden Sie Unity Hub, um ein 3D-Projekt mit der Version 2022.3.44f1 zu erstellen. Installieren Sie bei Bedarf die Unity-Version 2022.3.44f1. Gehen Sie zu Projekte &gt; Neues Projekt, wählen Sie Version 2022.3.44f1 und die Vorlage 3D (Core) aus, legen Sie einen Projektnamen und einen Projektspeicherort fest und klicken Sie auf Projekt erstellen , um es mit den Standardeinstellungen zu generieren.</li>
	<li>Installieren Sie ein Plugin, um das VR-Headset zu verwalten und die Anwendungsentwicklung zu vereinfachen, einschließlich Aufgaben wie dem Zugriff auf den Joystick und der Augenverfolgung. Tun Sie dies über den Unity Asset Store mit dem Paket-Manager, indem Sie auf Fenster &gt; Paket-Manager klicken.</li>
	<li>Verwenden Sie das UnityGaussianSplatting-Plug-In, um ein Medienobjekt aus der Gaußschen Splatting-Ausgabe zu generieren. Tun Sie dies über den Unity Asset Store mit dem Paket-Manager. Um dieses Asset zu generieren, gehen Sie zu Tools &gt; GaussianSplats &gt; GaussianSplatAsset erstellen und stellen Sie die von Gaussian Splatting generierte .ply-Datei bereit.</li>
	<li>Verwenden Sie das UltraLeap-Plugin, um die Handerkennung zu verbessern und die Benutzerinteraktion zu verbessern. Um dies zu installieren, gehen Sie zum Unity Asset Store &gt; Package Manager und klicken Sie auf Fenster &gt; Package Manager.</li>
	<li>Verwenden Sie das whisper.unity-Plug-in, um Audio zu transkribieren, das vom Mikrofon des VR-Headsets aufgenommen wurde. Installieren Sie diese wie in Schritt 4.5 beschrieben.</li>
	<li>Verwenden Sie ein LLM-Modell, um Antworten zu generieren. Installieren Sie das LLMUnity-Plugin, um die Verwendung dieses LLM zu ermöglichen. Installieren Sie diese wie in Schritt 4.5 beschrieben.<ol>
		<li>Erstellen Sie ein leeres GameObject, fügen Sie ein LLM-Skript hinzu, und klicken Sie dann auf die Schaltfläche Modell herunterladen , um ein Standardmodell auszuwählen. Fügen Sie für die Zeichen ein leeres Objekt hinzu und fügen Sie das LLMCharacter-Skript hinzu, in dem der Name und die Rolle angegeben werden können.</li>
	</ol>
	</li>
	<li>Verwende das Meta – Voice SDK, um Audio aus der von LLM erzeugten Antwort zu generieren. Um dies zu erreichen, installieren Sie ein Text-to-Speech-Plug-In über den Unity Asset Store mithilfe des Paket-Managers, indem Sie auf Fenster &gt; Paket-Manager klicken.</li>
	<li>Verwenden Sie VR-Headsets , um eine immersive Interaktion zu ermöglichen.</li>
</ol>

<ol><li>Zollmann, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Augmented+Reality+for+Construction+Site+Monitoring+and+Documentation%5BTitle%5D)+AND+%22Proceedings+IEEE%22%5BJournal%5D)">Augmented Reality for Construction Site Monitoring and Documentation.</a> Proceedings IEEE. 102 (2), 137-154 (2012).</li>
<li>Zhou, L., Wu, G., Zuo, Y., Chen, X., Hu, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+comprehensive+review+of+vision-based+3d+reconstruction+methods%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">A comprehensive review of vision-based 3d reconstruction methods.</a> Sensors. 24 (7), 2314(2024).</li>
<li>Structure-from-motion revisited. Schonberger, J. L., Frahm, J. M. IEEE Conf Comp Vis Pattern Recog, , 4104-4113 (2016).</li>
<li>Kerbl, B., Kopanas, G., Leimkühler, T., Drettakis, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((3d+gaussian+splatting+for+real-time+radiance+field+rendering%5BTitle%5D)+AND+%22ACM+Trans.+Graph%22%5BJournal%5D)">3d gaussian splatting for real-time radiance field rendering.</a> ACM Trans. Graph. 42 (4), 139-141 (2023).</li>
<li>Embedding large language models into extended reality: Opportunities and challenges for inclusion, engagement, and privacy. Bozkir, E., et al. Proc 6th ACM Conf Conversat User Interf, , 1-7 (2024).</li>
<li>Remondino, F., El-Hakim, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Image-based+3D+modelling%3A+A+review%5BTitle%5D)+AND+%22Photogrammet+Record%22%5BJournal%5D)">Image-based 3D modelling: A review.</a> Photogrammet Record. 21 (115), 269-291 (2006).</li>
<li>Özyeşil, O., Voroninski, V., Basri, R., Singer, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+survey+of+structure+from+motion%5BTitle%5D)+AND+%22Acta+Numerica%22%5BJournal%5D)">A survey of structure from motion.</a> Acta Numerica. 26, 305-364 (2017).</li>
<li>Structure from motion using full spherical panoramic cameras. Pagani, A., Stricker, D. IEEE Int Conf Comp Vision Workshops, , 375-382 (2011).</li>
<li>Dalal, A., Hagen, D., Robbersmyr, K. G., Knausgård, K. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gaussian+Splatting%3A+3D+Reconstruction+and+Novel+View+Synthesis%3A+A+Review%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">Gaussian Splatting: 3D Reconstruction and Novel View Synthesis: A Review.</a> IEEE Access. 12, 96797-96820 (2024).</li>
<li>Zhang, M., Ding, H., Naumceska, M., Zhang, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+Reality+Technology+as+an+Educational+and+Intervention+Tool+for+Children+with+Autism+Spectrum+Disorder%3A+Current+Perspectives+and+Future+Directions%5BTitle%5D)+AND+%22Behav+Sci%22%5BJournal%5D)">Virtual Reality Technology as an Educational and Intervention Tool for Children with Autism Spectrum Disorder: Current Perspectives and Future Directions.</a> Behav Sci. 12 (5), 138(2023).</li>
<li>Failla, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Virtual+reality+for+autism%3A+unlocking+learning+and+growth%5BTitle%5D)+AND+%22Front+Psychol%22%5BJournal%5D)">Virtual reality for autism: unlocking learning and growth.</a> Front Psychol. 15, 1417717(2024).</li>
<li>Huang, B., Yu, Z., Chen, A., Geiger, A., Gao, S. 2D Gaussian Splatting for Geometrically Accurate Radiance. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHuang%2C+B+%22arXiv%22">arXiv</a>. , (2024).</li>
<li>Zhang, Y., et al. Evaluating Human Perception of Novel View Synthesis: Subjective Quality Assessment of Gaussian Splatting and NeRF in Dynamic Scenes. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aZhang%2C+Y+%22arXiv%22">arXiv</a>. , (2025).</li>
</ol>

Die Fähigkeit, 3D-Landschaften nachzubilden und mit ihnen zu interagieren, ist in vielen verschiedenen Bereichen moderner Technologieanwendungen von entscheidender Bedeutung geworden. Herkömmliche Techniken zur Erstellung virtueller Darstellungen realer Standorte beruhen manchmal auf arbeitsintensiven, starren Modellen und manuellen Messungen1. Fortschrittliche Computer-Vision-Techniken haben sich als praktikable Optionen für die automatisierte 3D-Rekonstruktion und -Interaktion herausgestellt, um diese Einschränkungen zu überwinden2.
Die Entwicklung komplexer 3D-Modelle aus 360-Grad-Fotografien ist ein bemerkenswertes Merkmal dieses Fortschritts. Genaue räumliche Informationen können erhalten werden, indem die genauen Bereiche, in denen die Fotos aufgenommen wurden, mit modernsten Werkzeugen wie COLMAP3 lokalisiert werden. Das Verfahren wird durch das Gaußsche Splatting4 weiter verbessert, mit dem komplizierte Einstellungen in 3D in guter Qualität nachgebildet werden können.
Die Integration dieser 3D-Modelle in Virtual-Reality-Systeme (VR) eröffnet neue Wege der Erkundung und des Engagements über die Rekonstruktion hinaus. Um das Engagement zu erhöhen, können Benutzer reale Objekte wie Türen und Tische messen, sich im virtuellen Raum bewegen und sogar digitale Objekte und Avatare hinzufügen. Diese Avatare können mithilfe von Large Language Models (LLMs) dynamische und interaktive Reaktionen hervorrufen, was zu immersiven Erlebnissen führt5.
In dieser Arbeit wird eine Methodik vorgestellt, um dreidimensionale Darstellungen einer realen Umgebung unter Verwendung normaler Farbbilder zu erstellen und diese in einem Virtual-Reality-Setup darzustellen. Das System basiert auf universellen Structure-from-Motion- und Gaußschen Splatting-Rohrleitungen. Das System eignet sich für die Schaffung weiterer Anwendungen im Bauwesen oder im Gesundheitswesen.
Die vorgeschlagene Pipeline erzeugt visuell realistische und ansprechende dreidimensionale Darstellungen realer Umgebungen, was ihr Hauptvorteil ist. Darüber hinaus werden Farbbilder verwendet, die im Vergleich zu anderen Ansätzen, die kostspielige Sensoren wie LiDARs oder Streifenlichtkameras erfordern, sehr praktisch sind6. Der Grundgedanke hinter dem Vorschlag ist, dass die Möglichkeit, auf einfache Weise visuell ansprechende dreidimensionale Darstellungen zu erstellen, viele Anwendungen hat. Es kann im Bauwesen zur Qualitätskontrolle, im Gesundheitswesen zur Behandlung autistischer Menschen in einer bekannten und kontrollierten Umgebung oder in der Unterhaltung verwendet werden, um eine genaue Darstellung eines realen Ortes in einem Videospiel zu ermöglichen.
Die Entwicklung von Systemen zur 3D-Rekonstruktion und Interaktion mit virtuellen Umgebungen hat in den letzten Jahren erhebliche Fortschritte gemacht, angetrieben durch die Integration von Computer Vision, maschinellem Lernen und Virtual-Reality-Technologien2. Die für diese Arbeit relevanten Schlüsselkomponenten und Methoden werden im Folgenden skizziert.
Eine genaue 3D-Rekonstruktion beruht auf der Bildverarbeitung, um räumliche und geometrische Informationen zu extrahieren. Herkömmliche Methoden wie Structure from Motion (SfM)7 und Multi-View Stereo (MVS)8 werden häufig verwendet, um Kameraposen zu schätzen und dichte Punktwolken zu erzeugen. Tools wie COLMAP sind für ihre Robustheit bei der Ausführung dieser Aufgaben bekannt und kombinieren SfM und MVS, um hochpräzise 3D-Modelle aus Bilddatensätzen zu erstellen. Es gibt jedoch Einschränkungen im Umgang mit komplexer Beleuchtung, Texturen und hochdynamischen Umgebungen.
Zu den jüngsten Fortschritten gehört das Gaußsche Splatting9, das eine punktbasierte Darstellung verwendet, um fotorealistische Rekonstruktionen mit größerer Effizienz als herkömmliche netzbasierte Methoden zu erstellen. Gaußsches Splatting ermöglicht eine flüssigere Visualisierung und eine genauere räumliche Darstellung, insbesondere in Szenen mit komplizierten Details.
Sobald die 3D-Modelle rekonstruiert sind, ist die Umwandlung in VR-kompatible Formate entscheidend für die immersive Interaktion. Der Einsatz von VR-Systemen hat sich über die Unterhaltung hinaus auf Bereiche wie Bildung, Gesundheitswesen10 und Industriedesign ausgeweitet. Moderne VR-Frameworks ermöglichen eine nahtlose Navigation, Interaktion mit digitalen Objekten und einen verbesserten Realismus, wodurch sie sich für Anwendungen eignen, die eine hohe Benutzerbeteiligung erfordern.
Die Integration von interaktiven Features wie virtuellen Objekten und Avataren erhöht die Funktionalität und Tiefe von Virtual Reality (VR)-Systemen erheblich. Avatare, die auf Large Language Models (LLMs) basieren, ermöglichen realistische Konversationsinteraktionen und ermöglichen dynamische und anpassungsfähige Benutzererlebnisse. Insbesondere in therapeutischen Kontexten haben diese Technologien Potenzial gezeigt, da sie maßgeschneiderte Interaktionen auf der Grundlage des Nutzerverhaltens oder des emotionalen Zustands ermöglichen. Zum Beispiel entwickelte diese Studie11 eine VR-Anwendung, die Avatare als Chatbots verwendet, um autistische Personen in beruflichen Kommunikationsfähigkeiten zu schulen, was die Anpassungsfähigkeit von LLM-gestützten Avataren in der Therapie hervorhebt. Darüber hinaus wurden LLMs in Augmented-Reality-Umgebungen eingebettet, um Inklusion und Engagement zu fördern und das therapeutische Potenzial von LLM-gesteuerten Avataren weiter zu unterstützen.
Virtuelle Umgebungen werden zunehmend in therapeutischen Umgebungen eingesetzt, insbesondere für Menschen mit Autismus-Spektrum-Störung (ASS). Studien zeigen, dass vertraute und kontrollierte virtuelle Räume Ängste abbauen und das Engagement während der Therapiesitzungen erhöhen können11. Avatare in diesen Umgebungen können als Vermittler fungieren und die Therapie auf eine Weise durchführen, die sich für den Patienten sicher und zugänglich anfühlt.
Trotz der Fortschritte gibt es nach wie vor Herausforderungen, darunter die Rechenkosten für die 3D-Rekonstruktion, die Aufrechterhaltung einer hohen Wiedergabetreue in virtuellen Umgebungen und die Gewährleistung einer reibungslosen Integration zwischen Systemen. Die kontinuierliche Entwicklung effizienterer Algorithmen und Hardware sowie Fortschritte bei KI-gesteuerten Tools bieten jedoch Möglichkeiten für weitere Innovationen in diesem Bereich. In diesem Beitrag wird ein neuartiges System zur 3D-Rekonstruktion und Interaktion mit virtuellen Umgebungen anhand von 360-Grad-Bildern vorgestellt. Der Ansatz integriert Techniken wie Bildlokalisierung mit COLMAP, hochwertige Rekonstruktion mit Gaußscher Splatting und VR-Kompatibilität für eine immersive Erkundung. Durch die Integration digitaler Objekte und interaktiver Avatare, die von LLMs unterstützt werden, ermöglicht das System Anwendungen in der personalisierten Therapie für Personen mit ASD und die Überprüfung von Bauprojekten. Diese Tools bieten einen umfassenden Rahmen für die Schaffung adaptiver virtueller Umgebungen, die sowohl therapeutische als auch industrielle Praktiken verbessern. Abbildung 1 zeigt die Angebotspipeline.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/68386/68386fig1.jpg"> 
Abbildung 1: Systempipeline. Diagramm der vorgeschlagenen Pipeline für die fotorealistische Rekonstruktion der Umgebung, bestehend aus der realen Umgebung, den 360°-Bildern, den erhaltenen Projektionen, dem SfM-Prozess, dem Gaußschen Splatting-Prozess und der Integration mit Virtual Reality. <a href="https://www.jove.com/files/ftp_upload/68386/68386fig1large.jpg" target="_blank">Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzuzeigen.</a>

<table><tbody><tr><td>Grafikprozessoren NVIDIA GeForce RTX 2080</td><td>NVIDIA</td><td>TU104-400A</td><td>Gerät zur Bildverarbeitung und -rekonstruktion&nbsp;</td></tr><tr><td>Insta360 X4</td><td>Insta360</td><td>CINSABMA-H</td><td>Datenerfassungsgerät zur Rekonstruktion</td></tr><tr><td>Meta Quest III</td><td>Meta</td><td>899-00582-01</td><td>Vorrichtung zur Visualisierung und Interaktion mit der Rekonstruktion</td></tr><tr><td>Speicherkarte Evo Plus 128 GB</td><td>Samsung (Englisch)</td><td>MB-MC128KA/EU</td><td>Speicherkarte für 360°; Aufbewahrung von Fotos</td></tr></tbody></table>

fotorealistische lernlandschaften für augmented reality

Photorealistic Learned Landscapes for Augmented Reality

In diesem Abschnitt werden repräsentative Ergebnisse, Stärken und Grenzen der vorgeschlagenen Pipeline diskutiert. Die Anwendung der vorgeschlagenen Methode ergibt sich wie folgt. Abbildung 3 zeigt die Kameraposition (in rot) und die dichte Punktwolke. Gruppen von Kameras mit gemeinsamem Ursprung stellen Projektionen desselben äquirektangulären Bildes dar.
<img alt="Figure 3" class="xfigimg" src="/files/ftp_upload/68386/6...

Fotorealistische Lernlandschaften für Augmented Reality

The ability to create photorealistic 3D reconstructions of real-world environments from standard color images has numerous applications in fields such as ...

photorealistic-learned-landscapes-for-augmented-reality

Research

Forschung

JoVE Journal

Engineering

Ingenieurwesen

Dieses Video demonstriert die Verwendung von Augmented Reality (AR) für die Tumorresektion, bei der eine 3D-gescannte Tumorprobe als Hologramm auf einem Head-Mounted-Display visualisiert wird. Chirurgen können das Hologramm manipulieren und fixieren, um eine präzise Tumorentfernung zu gewährleisten.

Augmented Reality-basierte Visualisierung einer resezierten Tumorprobe

Die vorliegende Arbeit stellt ein experimentelles Paradigma für einen Usability-Test vor, der subjektive und objektive Bewertungen kombiniert. Für die objektive Evaluation wurden Methoden der Neuro-Information-Systems (NeuroIS) verwendet, für die subjektive Evaluation ein Usability-Fragebogen und eine NASA-Task Load Index (NASA-TLX)-Skala.

Usability-Evaluation von Augmented Reality: Eine Neuro-Informations-Systems-Studie

In diesem Artikel wird das Design und die Implementierung eines Moduls für die automatische Chirurgie vorgestellt, das auf Augmented Reality (AR)-basierter 3D-Rekonstruktion basiert. Das System ermöglicht die Fernchirurgie, indem es Chirurgen ermöglicht, rekonstruierte Merkmale zu inspizieren und chirurgische Handbewegungen zu replizieren, als ob sie die Operation in unmittelbarer Nähe durchführen würden.

Automatische Chirurgie beim Transkatheter-Aortenklappenersatz mit Augmented Reality

Dieses Protokoll bietet einen Leitfaden zur Implementierung von Infrarot-Marker-Tracking für frei bewegliche Phantome (z. B. Organe) und holographische Visualisierung mittels Augmented Reality. Darüber hinaus wird ein Aufbau für die präklinische Validierung von holographischen Navigationssystemen mit elektromagnetischer Verfolgung an frei beweglichen Phantomen skizziert.

Technischer Ansatz für Infrarot-Tracking für die Weichgewebsnavigation mit einem holographischen Head-Mounted-Display und präklinischer Validierung

Organische Photovoltaik (OPV) Materialien sind von Natur aus inhomogenen auf der Nanometerskala. Nanoscale Inhomogenität der OPV-Materialien beeinflusst die Leistung von Photovoltaik-Geräte. In diesem Papier beschreiben wir ein Protokoll für quantitative Messungen der elektrischen und mechanischen Eigenschaften der OPV Materialien mit sub-100 nm Auflösung.

Concurrent Quantitative Leitfähigkeit und mechanische Eigenschaften Measurements of Organic Photovoltaic Materials mittels AFM

Wir berichten von einem Verfahren der in situ Veränderung der HF behandelt Si (001) -Oberfläche in einer hydrophilen oder hydrophoben Zustand durch Bestrahlen Proben in Mikrofluidkammern mit H 2 O 2 / H 2 O-Lösung (0,01% -0,5%) oder Methanol-Lösungen gefüllt mittels gepulster UV-Laser mit einer relativen niedrigen Impulsfluenz.

Selektive Bereichsänderung des Siliziumoberfläche Benetzbarkeit durch gepulste UV-Laser-Bestrahlung in flüssigen Umgebung

Wegen der Bedeutung und umfangreiche Verwendung von Palladium, Gold und Kobalt   Metalle in High-Tech-Geräte, ihre Verwertung und Recycling bilden eine wichtige industrielle Herausforderung. Die hier beschriebene Metallrückgewinnungssystem ist ein einfaches, kostengünstiges Mittel für die effektive Erkennung, Beseitigung und Wiederherstellung dieser Metalle aus dem städtischen Bergwerk.

Erkennung und Wiedergewinnung von Palladium, Gold und Kobalt-Metalle aus der Urban-Mine mit Hilfe neuartiger Sensoren / Adsorbentien mit nanoskaligen Wagon-Rad-förmigen Poren Ausgewiesene

Wir beschreiben eine Technik zum Einschreiben identischer Faser-Bragg-Gitter in jeden Kern einer Multicore-Faser. Dies wird erreicht, indem eine zusätzliche Oberfläche in den Strahlengang eingeführt wird, um die Linsenbildung durch die gekrümmte Oberfläche des Fasermantels zu mildern.

Schreiben-Bragg-Gitter in Multicore- Fibers

Experimentelle Methoden zur Untersuchung von Festkörper-Abkühlprozessen und zur Charakterisierung der elastokalorischen Materialeigenschaften von Formgedächtnislegierungen (SMA) werden vorgestellt. Für die Steuerung und umfassende Überwachung von elastokalorischen Kühlprozessen wurde ein eigens angefertigter Prüfstand konzipiert. Darüber hinaus bietet es eine Validierungsplattform für thermomechanisch gekoppelte Modellierungsansätze.

Experimentelle Methoden zur Untersuchung von Formgedächtnis-Based Elastocaloric Kühlprozesse und Modellvalidierung

Wir demonstrieren die präzise Manipulation einzelner organischer Moleküle auf einer Metalloberfläche mit der Spitze eines Rastersondenmikroskops, das von der Hand des Experimentators in 3D gesteuert wird, unter Verwendung eines Motion-Capture-Systems und einer vollständig immersiven Virtual-Reality-Brille.

Hand kontrollierte Manipulation einzelner Moleküle über ein Rastersondenmikroskop mit einer 3D-Virtual-Reality-Schnittstelle

Erfahren Sie, wie fotorealistische 3D-Rekonstruktionen aus 360-Grad-Bildern mit Gaussian Splatting und COLMAP immersive VR-Umgebungen für Therapie, Bildung und industrielle Validierung ermöglichen.

Fotorealistische Lernlandschaften für Augmented Reality

Weitere Videos entdecken