High-Auflösung, High-Speed-, Three-dimensional Imaging mit Digital-Video-Streifenprojektionstechnik

Das übergeordnete Ziel dieses Verfahrens besteht darin, hochauflösende 3D-Videos mit Echtzeitgeschwindigkeit oder schneller aufzuzeichnen. Dies wird erreicht, indem zunächst mithilfe eines Digital-Light-Processing-Projektors Sinus-Gittermusterbilder mit hoher Geschwindigkeit auf das Objekt projiziert werden. Zur Erzielung einer hohen Genauigkeit werden nacheinander drei phasenverschobene Kosinusmuster projiziert.

Mit einer Kamera werden diese Bilder aus einem anderen Blickwinkel aufgenommen. Der zweite Schritt besteht darin, die modulierte Phase aus jedem Satz von drei Interferenzmuster-Bildern zu berechnen. Dies erfolgt mithilfe der Arcustangens-Funktion und der Intensitätswerte der Bilder.

Anschließend werden die Phasen entfaltet, um die aus der Arkustangensfunktion resultierenden 2π-Unstetigkeiten zu entfernen. Der letzte Schritt besteht darin, die Tiefe aus der entfalteten Phase des Objekts zu berechnen. Dies entspricht der Differenz zwischen den entfalteten Phasenkarten des Objekts und der Kalibrierungsebene, die entsprechend skaliert und durch Konstanten verschoben wird, die mithilfe eines Referenzobjekts ermittelt wurden.

Letztlich können die resultierenden Datenrahmen mithilfe von Grafiksoftware dargestellt werden. Der Hauptvorteil dieser Technik im Vergleich zu anderen bestehenden Verfahren wie dem Laserscanning liegt darin, dass sie sowohl hohe Auflösung als auch hohe Geschwindigkeit ermöglicht. Da bekannte sinusförmige Muster auf das Objekt projiziert werden, kann ein 3D-Datenpunkt für jedes Pixel der verwendeten Kamera mit einer Auflösung von 576 × 576 ermittelt werden.

Wir können über 300.000 3D-Datenelemente pro Bild abrufen. Obwohl diese Methode potenzielle medizinische Anwendungen hat, beispielsweise zur Aufzeichnung der Entstehung von Gesichtsausdrücken oder der bewegten Oberfläche eines Herzens, kann sie auch auf zahlreiche andere Forschungsbereiche angewendet werden. Sie ermöglicht die hochauflösende Erfassung von Gesichtsbewegungen für den Einsatz in Filmen und Videospielen oder eine verbesserte Methode der Videokonferenzübertragung.

Es könnte auch zur Erkennung von Fehlern in einer Produktionsumgebung eingesetzt werden. Die visuelle Demonstration dieser Methode ist als Kalibrierung entscheidend. Die Verarbeitungsschritte sind aufgrund des visuellen Alters des Systems und seiner Messungen schwer zu erlernen.

Die einfachste und leichteste Methode zur Erkennung von Problemen ist die visuelle Untersuchung durch einen geschulten Beobachter. Der erste Schritt besteht darin, die zu projizierenden Streifenmuster zu erzeugen. Diese werden im Voraus mithilfe einer Bildprogrammierumgebung – hier Matlab – vorbereitet.

In diesem Video wird der Einsatz von binären Mustern im Mittelpunkt stehen. Um ein unscharfes binäres Muster zu erzeugen, verwenden Sie eine Rastertechnik (Dithering), um sinusförmige Muster ausschließlich mit rein schwarzen und rein weißen Pixeln zu erzeugen. Erstellen Sie drei Bilder des Musters, die jeweils um zwei π geteilt durch drei gegeneinander phasenverschoben sind, wie es vom Dreischritt-Phasenschiebe-Algorithmus gefordert wird.

In dieser Demonstration werden zwei zusätzliche Sätze aus drei Aufnahmen für die Mehrfrequenztechnik erstellt, die schärfere Tiefenänderungen erfassen kann. Wählen Sie anschließend einen Hochgeschwindigkeits-Digital-Light-Processing-Projektor mit monochromatischer Einstellung aus. Nutzen Sie die mit dem Projektor bereitgestellte Software, um die Bilder für die Phasenverschiebung hochzuladen.

Wählen Sie nun eine Schwarz-Weiß-Kamera vom Typ C, CD oder COS mit der für das System geeigneten Aufnahmegeschwindigkeit. Berücksichtigen Sie, dass die Kamera den gesamten Satz von Interferenzbildern für jeden Videorahmen erfassen muss, um den Abstand zu ermitteln, in dem der Projektor vom Objekt entfernt sein sollte. Bewegen Sie den Projektor relativ zu einer großen ebenen Fläche, wenn der vertikale und horizontale Bildbereich etwas größer ist als das zu untersuchende Objekt.

Messen Sie den Abstand des Projektors zur Wand. Verwenden Sie das gewünschte Sichtfeld bei dieser Distanz sowie die Größe des Kamera-Sensors, um die Brennweite der Linse zu ermitteln. Der letzte Konfigurationsschritt besteht darin, den Winkelabstand zwischen Projektor und Kamera bei einem großen Winkel zwischen diesen Komponenten zu bestimmen.

Die Triangulation zwischen Merkmalspunkten ist offensichtlich, aber mehr Merkmale gehen im Schatten verloren. Bei einem kleinen Winkel wird die Triangulation schwieriger, wodurch das Rauschen in den Ergebnissen zunimmt. Typischerweise ist ein Winkel von 10 bis 15 Grad ein guter Kompromiss.

Die Kalibrierung sollte am besten unmittelbar vor der Datenaufnahme durchgeführt werden. Bei einem binären defokussierenden System den Projektionslinsen so defokussieren, bis die Muster in der Bildebene hochwertigen Sinusschwingungen ähneln. Dies erfordert möglicherweise einen iterativen Prozess aus der Untersuchung von Testdaten und der Anpassung der Linse.

Wenn die Interferenzmuster ineinanderlaufen, ist der Projektor zu sehr defokussiert. Sind Punkte innerhalb des Musters sichtbar, ist der Projektor zu stark fokussiert. Platzieren Sie nun eine flache weiße Tafel in den Sichtfeldern sowohl der Kamera als auch des Projektors.

Projizieren Sie das erste der Streifenmuster auf die Tafel. Erfassen Sie es anschließend mit der Kameraprojektion und nehmen Sie die verbleibenden Streifenmuster auf. Speichern Sie diese Streifenmuster auf dieselbe Weise für den Schritt der Datenverarbeitung ab und kennzeichnen Sie sie als Kalibrierungsebene.

Als Nächstes platzieren Sie ein Objekt mit bekannten Abmessungen im Sichtfeld des Systems. Hier wird ein starrer Schaumstoffwürfel verwendet, der mit quadratischen Stücken diffus haftenden Schaumstoffs bedeckt ist. Projizieren Sie die gleiche Serie von Streifenmustern auf den Würfel.

Jedes einzelne mit der Kamera aufnehmen. Speichern Sie die aufgenommenen Bilder für den Verarbeitungsschritt, und beschriften Sie sie als Kalibrierwürfel. Zur Datensammlung.

Positionieren Sie das Objekt in der Fokusebene der Kamera, projizieren Sie Streifenmuster auf das Objekt und nehmen Sie diese auf. Typischerweise ist eine hohe Geschwindigkeit erforderlich, um eine korrekte Bewegungsaufnahme bei hoher Geschwindigkeit zu gewährleisten. Das menschliche Auge kann lediglich die Streifen wahrnehmen.

Bei der zeitlichen Interferenz verwenden Sie die aufgenommenen Bilder, um die Kamera-Blende anzupassen. Um den Lichtpegel zu optimieren, sollten die Streifenmuster so hell wie möglich, aber nicht überbelichtet sein.

Der nächste Schritt ist die Nachbearbeitung der Daten. Bei dem Dreischritt-Phasenschiebeverfahren ist die Phase das Argument der Kosinusfunktion, das die Position eines Punktes innerhalb des sinusförmigen Musters bestimmt. Ein Algorithmus wurde implementiert, um diese Phase an jedem Punkt aus den Streifenbildern zu bestimmen; die berechnete modulierte Phase liegt im Intervall.

Negatives PI zu PI: Wenden Sie diesen Algorithmus auf die Kalibrierungsebene und den Kalibrierungswürfel sowie auf die Versuchsdaten an. Entfalten Sie anschließend die Phasenkarten mithilfe eines weiteren Algorithmus, indem Sie an Phasensprüngen zwei Pi addieren oder subtrahieren. Bei der Mehrfrequenztechnik werden die gefalteten Phasenkarten jeder Frequenz kombiniert, um eine einzige entfaltete Phasenkarte zu erhalten. An diesem Punkt ist es wichtig, den Kalibrierungsschritt erneut zu überprüfen. Ziehen Sie einen horizontalen Querschnitt aus der Mitte der Phasenkarte der Kalibrierungsebene.

Entfernen Sie das Hauptprofil, um eine Phasenfehlerschätzung zu erhalten. Wenn das projizierte Muster zu stark fokussiert war, ist der Fehler groß. Stellen Sie das Projektorobjektiv nach Bedarf so ein, dass der Fehler innerhalb des Bereichs liegt.

Negativ 0,1 bis 0,1 Radiant. Als Nächstes berechnet ein dritter Algorithmus die Tiefe des Kalibrierwürfels. Dies ist der Unterschied zwischen den Phasenkarten des Kalibrierwürfels und der Referenzebene.

Daraus wird ein Skalierungsfaktor bestimmt. Die Tiefe des Objekts ergibt sich, indem die Phasenabbildung der Referenzebene von der des Objekts subtrahiert und der Skalierungsfaktor angewendet wird. Die Daten können nun zur Visualisierung in MATLAB oder anderer 3D-Grafiksoftware gespeichert werden.

Die Technik ermöglicht die Echtzeit-Aufnahme von dreidimensionalen Bildern eines menschlichen Gesichts mit hoher Geschwindigkeit und einer Auflösung, die feine Details sichtbar macht. Die Bildreihe links zeigt das gesamte Gesicht in 2D-Darstellung, Textur-, Überlagerungs-, Schattierungs- und Beleuchtungsmodus sowie im Drahtgittermodus. In der Mitte befindet sich eine vergrößerte Drahtgitteransicht des Nasenbereichs.

Beachten Sie, dass die Punktdichte rechts eine vergrößerte Ansicht des Bereichs um das Auge darstellt. Diese Bilder wurden mithilfe sinusförmiger Streifenmuster erzeugt. Hier gezeigt ist ein 3D-Video der Entstehung eines Lächelns.

Das Video wurde mit 60 Hertz und einer Auflösung von 640 mal 480 aufgenommen, wobei sinusförmige Streifenmuster verwendet wurden. Es ist möglich, Live-3D-Videos aufzunehmen, zu verarbeiten und darzustellen. In diesem Video werden die 3D-Messungen mit 30 Hertz auf dem Computerscreen angezeigt.

Als letztes Beispiel für die Fähigkeiten dieser Methode zeigt dies die 3D-Videobildgebung eines lebenden Kaninchenherzens. Unter Verwendung der binären Defokussierung betrug die Herzfrequenz etwa 200 Schläge pro Minute. Die 3D-Aufnahmegeschwindigkeit betrug 166 Hertz bei einer Auflösung von 576 mal 576.

Eine hohe Geschwindigkeit war notwendig, um Bewegungsartefakte zu vermeiden. Sobald die Kalibrierung beherrscht ist, können Datenaufnahme und Datenverarbeitung bei korrekter Durchführung innerhalb weniger Stunden durchgeführt werden. Mit auf Geschwindigkeit ausgelegter Verarbeitungssoftware können nach der Entwicklung viele, viele Prozessorergebnisse in Echtzeit auf dem Computerbildschirm angezeigt werden.

Diese Technik ebnete den Forschern auf dem Gebiet der Herzoberflächenmechanik den Weg, um die dynamische Oberflächengeometrie eines schlagenden Kaninchenherzens mithilfe hochauflösender 3D-Videodaten zu untersuchen. Nach dem Anschauen dieses Videos sollten Sie ein grundlegendes Verständnis dafür haben, wie man ein hochauflösendes, schnelles 3D-Videosystem konstruiert und bedient. Insbesondere sollten Sie mit den Konzepten der digitalen Streifenprojektion mit fokussierten binären Mustern sowie der Kalibrierungsmethode mittels Referenzebene vertraut sein.

Sie sollten außerdem in der Lage sein, den Unterschied zwischen guten und schlechten entpackten Phasenkarten zu erkennen.