Robotisiertes Testen von Kamerapositionen zur Bestimmung der idealen Konfiguration für die Stereo-3D-Visualisierung von Operationen am offenen Herzen
12. August 2021
Die menschliche Tiefenwahrnehmung von 3D-Stereovideos hängt von der Kameratrennung, dem Konvergenzpunkt, der Entfernung und der Vertrautheit des Objekts ab. Dieses Papier stellt eine robotisierte Methode zur schnellen und zuverlässigen Testdatenerfassung während einer Live-Operation am offenen Herzen vor, um die ideale Kamerakonfiguration zu bestimmen.
Es ermöglicht die Aufnahme von hochwertigen 3D-Videos für die Aus- und Weiterbildung. Es kann auf die meisten Operationssaaleinstellungen mit offener Operation angewendet werden. Mit einem robotisierten Ansatz können wir die Daten schnell und genau sammeln, um die Kamerapositionen auszuwerten.
Diese Methode wird verwendet, um die Kamerakonfiguration für 3D-Visionsanwendungen schnell zu testen. Es kann auch verwendet werden, um zu untersuchen, wie verschiedene Probanden Tiefe wahrnehmen. Um mit der Montage der Kamera am Roboter zu beginnen, befestigen Sie zuerst das Objektiv an der Kamera und dann die Kamera mit drei M2-Schrauben an der Adapterplatte.
Als nächstes befestigen Sie die kreisförmige Montageplatte an der Kameraadapterplatte mit vier M4-Schrauben auf der gegenüberliegenden Seite der Kamera. Sobald alle Kameras am Roboter montiert sind, beobachten Sie die Spiegelung der resultierenden Baugruppen. Befestigen Sie die Adapterplatte mit vier M2,5-Schrauben am Roboterhandgelenk.
Für einen am Tisch montierten Roboter befestigen Sie die linke Kamera am rechten Roboterarm. Schließen Sie die USB-Kabel an die Kameras und den Ubuntu-Computer an. Drücken Sie auf dem Roboter-Touch-Display die Menü-Taste und wählen Sie Stereo 2, um die Roboteranwendung zu starten.
Drücken Sie auf dem Hauptbildschirm für 1.100 Millimeter in der Roboteranwendung auf Gehe zu Starten, und warten Sie, bis sich der Roboter in die Startposition bewegt hat. Entfernen Sie den Objektivschutzdeckel von den Kameras. Platzieren Sie ein gedrucktes Kalibrierungsraster 1.100 Millimeter von den Kamerasensoren entfernt.
Um die entsprechenden Quadrate korrekt zu identifizieren, platzieren Sie eine kleine Schraubenmutter oder markieren Sie irgendwo im Eingang des Gitters. Starten Sie die Aufnahmeanwendung auf dem Ubuntu-Computer, um die Schnittstelle zu starten. Und dann passen Sie die Blende an und fokussieren Sie auf das Objektiv mit der Blende und den Fokusringen.
Aktivieren Sie in der Aufzeichnungsanwendung das Kontrollkästchen Fadenkreuz, um das Fadenkreuz zu visualisieren. Stellen Sie in der Aufzeichnungsanwendung sicher, dass das Fadenkreuz in beiden Kamerabildern an der gleichen Position mit dem Kalibrierungsraster ausgerichtet ist. Positionieren Sie nach dem Drücken des Zahnradsymbols in der Roboteranwendung die Kameras relativ zum Patienten.
Ändern Sie die X-Richtung, indem Sie das Plus oder Minus für den Handabstand vom Roboter drücken, und die Z-Richtung, indem Sie das Plus oder Minus für Höhe drücken, um das Operationsfeld in den Bildern zu erfassen. Ändern Sie die Y-Richtung, indem Sie den Roboter oder Patienten manuell bewegen. Nachdem Sie die Operation unterbrochen und das OP-Personal über den Start des Experiments informiert haben, drücken Sie in der Aufzeichnungsanwendung auf Aufnahme und dann in der Roboteranwendung auf Experiment ausführen.
Nach einer Weile, wenn der Test abgeschlossen ist, wird Fertig auf dem Touch-Display angezeigt. Drücken Sie dann in der Aufnahmeanwendung auf Aufnahme beenden, um die Aufnahme zu beenden. Informieren Sie das OP-Personal, dass das Experiment beendet ist, und setzen Sie die Operation fort.
Zeigen Sie zur Auswertung das Video im 3D-Format oben-unten mit einem aktiven 3D-Projektor an. Das richtige Auswertungsvideo mit einem rechten Bild oben in stereoskopischem 3D oben-unten wird gezeigt. Eine erfolgreiche Sequenz sollte scharf, fokussiert und ohne unsynchronisierte Bildrahmen sein.
Die nicht synchronisierten Videostreams erzeugen Unschärfe. Der Konvergenzpunkt sollte horizontal zentriert sein, unabhängig von der Kameratrennung. Mit einem sehr großen Abstand zwischen dem rechten und dem linken Bild kann das Gehirn die Bilder nicht zu einem 3D-Bild verschmelzen.
Mehrere Gründe können zu einem Versagen in der Zentrumspositionierung des Herzens führen, z. B. der Abstand vom Konvergenzpunkt zum Herzen. Stellen Sie für die korrekte Konfiguration des Koordinatensystems des Kamerawerkzeugs sicher, dass das Fadenkreuz in der Aufnahmeanwendung auf dasselbe Objekt, das Kalibrierungsobjekt in der Mittleren Position und das richtige Debayering-Format der Farben zeigt. 3D-Videos mit sich ändernden Basislinienabständen ermöglichen es uns zu untersuchen, wie tiefeninformationen das anatomische Verständnis des medizinischen Personals beeinflussen.
Sehen Sie sich das vollständige Transkript an und erhalten Sie Zugang zu Tausenden wissenschaftlicher Videos
Überblick
Diese Studie präsentiert eine robotisierte Methode zur Sammlung von Testdaten während einer Live-Herzoperation mit Fokus auf die ideale Kamerakonfiguration für 3D-Stereo-Videos. Die Methode zielt darauf ab, die Bewertung der Tiefenwahrnehmung in chirurgischen Umgebungen zu verbessern.
Wichtige Studienkomponenten
Wissenschaftsbereich
- Neurowissenschaften
- Biomedische Technik
- Chirurgische Techniken
Hintergrund
- Die Tiefenwahrnehmung in 3D-Videos wird von verschiedenen Faktoren beeinflusst.
- Die Kamerakonfiguration spielt eine entscheidende Rolle für die visuelle Klarheit.
- Das Verständnis der Tiefenwahrnehmung kann die chirurgische Ausbildung verbessern.
- Robotisierte Ansätze können die Datenerfassung in Operationssälen rationalisieren.
Zweck der Studie
- Um die idealen Kamerapositionen für 3D-Visionsanwendungen zu bewerten.
- Um zu untersuchen, wie verschiedene Subjekte die Tiefe in chirurgischen Kontexten wahrnehmen.
- Um die Qualität der Ausbildung und des Unterrichts durch hochwertige 3D-Videoaufnahmen zu verbessern.
Verwendete Methoden
- Robotisierte Kameramontage für schnelle Datenerfassung.
- Bewertung der Kameratrennung und des Konvergenzpunktes.
- Tests in verschiedenen Operationssaalumgebungen.
- Erfassung von Daten während Live-Herzoperationen.
Hauptergebnisse
- Hochwertige 3D-Videos können effektiv erfasst werden.
- Kamerakonfigurationen beeinflussen die Tiefenwahrnehmung erheblich.
- Schnelle Testmethoden liefern zuverlässige Daten für die Analyse.
- Die Vertrautheit mit Objekten beeinflusst die Ergebnisse der Tiefenwahrnehmung.
Schlussfolgerungen
- Die robotisierte Methode ist effektiv für die Kamerakonfigurationstests.
- Das Verständnis der Tiefenwahrnehmung kann die chirurgische Ausbildung verbessern.
- Zukünftige Anwendungen können sich auf verschiedene chirurgische Eingriffe erstrecken.
Häufig gestellte Fragen
Executive Industry Relevance
This method enables rapid, repeatable evaluation of camera configurations for 3D surgical visualization, supporting improved depth perception in medical training. By minimizing OR interference and standardizing data collection, it enhances the reliability of stereoscopic video for surgical education and device evaluation. The approach addresses a key challenge in translating 3D imaging benefits into consistent, scalable training tools.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables objective assessment of visual fidelity in 3D surgical models, supporting hypothesis testing around spatial anatomy comprehension.
- Operational Value: Provides standardized, robotized data capture to reduce variability in visual model evaluation across studies.
Screening & Assay Development
- Scientific Value: Generates quantitative video datasets at defined baseline and convergence distances for comparative analysis of 3D rendering quality.
- Operational Value: Supports assay-like screening of camera setups using repeatable positional steps and controlled convergence points.
Translational & Preclinical Research
- Scientific Value: Facilitates evaluation of 3D video realism in open-heart surgery models, aiding translational assessment of training tool effectiveness.
- Operational Value: Enables cross-functional teams to benchmark visual systems using standardized video outputs from controlled camera configurations.
Pipeline & Workflow Integration
This method fits within early discovery workflows where visual model fidelity impacts biological interpretation, particularly in procedure-based training and device-tissue interaction studies.
- Discovery Biology: Supports hypothesis testing regarding depth perception and spatial understanding in surgical training models.
- Screening: Enables rapid, reproducible evaluation of camera parameters to identify optimal configurations for 3D video capture.
- Analytics: Produces time-synchronized video samples at incremental baseline distances for quantitative comparison of stereoscopic quality.
- Translational Research: Connects camera configuration testing to the realism of surgical video used in preclinical training and device evaluation.
- Enterprise Reuse: Establishes a reusable robotic platform for standardized visual system validation across multiple surgical models and training scenarios.
Operational & Enterprise Impact
- Scientific Value: Improves predictive confidence in 3D training tools by enabling objective, repeatable assessment of visual fidelity.
- Operational Value: Standardizes camera positioning and data capture, reducing setup time and inter-operator variability in OR environments.
- Strategic Value: Supports faster go/no-go decisions on 3D visualization investments by de-risking visual performance early in development.
- Portfolio Impact: Enables risk-adjusted prioritization of training technologies based on validated 3D video quality and depth perception outcomes.
Implementation Considerations
- Requires expertise in robotic systems, camera calibration, and 3D video synchronization.
- Needs dual-arm robotic arm, stereo cameras, calibration grid, and synchronized recording software.
- Demands coordination with OR staff for timed pauses during surgery to capture video samples.
- Must account for variations in surgical field anatomy and lighting across different procedures.
- Limited to open-surgery settings where robot mounting and line-of-sight are feasible.
