Robotisiertes Testen von Kamerapositionen zur Bestimmung der idealen Konfiguration für die Stereo-3D-Visualisierung von Operationen am offenen Herzen

Summary

Die menschliche Tiefenwahrnehmung von 3D-Stereovideos hängt von der Kameratrennung, dem Konvergenzpunkt, der Entfernung und der Vertrautheit des Objekts ab. Dieses Papier stellt eine robotisierte Methode zur schnellen und zuverlässigen Testdatenerfassung während einer Live-Operation am offenen Herzen vor, um die ideale Kamerakonfiguration zu bestimmen.

Abstract

Stereo-3D-Video von chirurgischen Eingriffen kann für die medizinische Ausbildung sehr wertvoll sein und die klinische Kommunikation verbessern. Aber der Zugang zum Operationssaal und zum Operationsfeld ist eingeschränkt. Es ist eine sterile Umgebung, und der physische Raum ist mit chirurgischem Personal und technischer Ausrüstung überfüllt. In diesem Setting sind eine ungesicherte Erfassung und realistische Reproduktion der chirurgischen Eingriffe schwierig. Dieser Artikel stellt eine Methode zur schnellen und zuverlässigen Datenerfassung von stereoskopischen 3D-Videos bei verschiedenen Kamera-Baseline-Entfernungen und Konvergenzabständen vor. Um Testdaten mit minimalen Störungen während der Operation, mit hoher Präzision und Wiederholbarkeit zu sammeln, wurden die Kameras an jeder Hand eines zweiarmigen Roboters befestigt. Der Roboter wurde im Operationssaal an der Decke montiert. Es wurde programmiert, um eine zeitgesteuerte Sequenz synchronisierter Kamerabewegungen durchzuführen, die durch einen Bereich von Testpositionen mit einem Basislinienabstand zwischen 50-240 mm bei inkrementellen Schritten von 10 mm und bei zwei Konvergenzabständen von 1100 mm und 1400 mm schritten. Die Operation wurde angehalten, um 40 aufeinanderfolgende 5-s-Videoproben zu ermöglichen. Insgesamt wurden 10 Operationsszenarien erfasst.

Introduction

In der Chirurgie kann die 3D-Visualisierung für Bildung, Diagnosen, präoperative Planung und postoperative Bewertung verwendet ^werden1,2. Realistische Tiefenwahrnehmung kann das Verständnis ^von normalen und abnormalen Anatomien ^{verbessern3,4,5,6}. Einfache 2D-Videoaufnahmen von chirurgischen Eingriffen sind ein guter Anfang. Die fehlende Tiefenwahrnehmung kann es den nicht-chirurgischen Kollegen jedoch erschweren, die antero-posterioren Beziehungen zwischen verschiedenen anatomischen ....

Protocol

Die Experimente wurden von der örtlichen Ethikkommission in Lund, Schweden, genehmigt. Die Teilnahme war freiwillig, und die Erziehungsberechtigten der Patienten gaben eine schriftliche Einwilligung.

1. Einrichtung und Konfiguration des Roboters

HINWEIS: Bei diesem Experiment wurden ein zweiarmiger kollaborativer Industrieroboter und das Standard-Bedienfeld mit einem Touch-Display verwendet. Gesteuert wird der Roboter mit der Steuerungssoftware RobotWare 6.10.01 und robot integrated development environment (IDE) RobotStudio 2019.525. Von den Autoren entwickelte Software, einschließlich der R....

Results

Ein akzeptables Auswertungsvideo mit dem rechten Bild oben in stereoskopischem 3D oben und unten wird in Video1 gezeigt. Eine erfolgreiche Sequenz sollte scharf, fokussiert und ohne unsynchronisierte Bildrahmen sein. Nicht synchronisierte Videostreams verursachen Unschärfe, wie in der Datei Video 2 gezeigt. Der Konvergenzpunkt sollte horizontal zentriert sein, unabhängig von der Kameratrennung, wie in Abbildung 9A,B dargestellt. Wenn der Rob.......

Discussion

Während der Live-Operation war die Gesamtzeit des Experiments, das für die 3D-Videodatenerfassung verwendet wurde, begrenzt, um für den Patienten sicher zu sein. Wenn das Objekt nicht fokussiert oder überbelichtet ist, können die Daten nicht verwendet werden. Die kritischen Schritte sind während der Kalibrierung und Einrichtung des Kamerawerkzeugs (Schritt 2). Die Kamerablende und der Fokus können nicht geändert werden, wenn die Operation begonnen hat. Die gleichen Lichtverhältnisse und Abstände sollten während des Aufba.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
2 C-Mount-Objektive (35 mm F2.1, 5 M Pixel)	Tamron	M112FM35	Zugelassen für 5 Megapixel
3D-Brillen (DLP-Link Active Shutter)	Celexon	G1000	Jede kompatible 3D-Brille kann verwendet werden
3D-Projektor Viewsonic		X10-4K	Displays 3D in 1080, kann gegen andere 3D-Projektoren ausgetauscht werden
6 M2 x 8 Schrauben			Zur Befestigung der cXimea-Kameras an den Kamera-Adapterplatten
8 M2,5 x 8 Schrauben			Zur Befestigung der runden Montageplatten am Roboterhandgelenk
8 M5 x 40 Schrauben			Zur Befestigung des Roboters
8 M6 x 10 Schrauben mit flachen Köpfen			Zur Befestigung der kreisförmigen Montageplatte und der Kamera-Adapterplatten
Kalibrier-Schachbrettplatte (25 x 25 mm)			Jedes Standard-Schachbrett kann verwendet werden, auch bedruckt, solange das Gitter in den Kameras gut sichtbar ist
. Kamera-Adapterplatten, x2			Von den Autoren in robot_camera_adaptor_plates.dwg entworfen, in Aluminium gefräst.
Kreisförmige Montageplatten, x2			Vertrieben mit Genehmigung des Designers Julius Klein und gedruckt mit ABS-Kunststoff auf einem FDM-3D-Drucker. Lizenz Tecnalia Research & Innovation 2017. Angeschlossen als Mountingplate_ROBOT_SIDE_ NewDesign_4.stl USB-Kameras
festem Fokus, x2 (5 Megapixel)	Ximea	MC050CG-SY-UB	Mit Sony IMX250LQR Sensor
Flexpendant	ABB	3HAC028357-001	Roboter-Touch-Display
Liveview-Aufnahmeanwendung
RobotStudio			Integrierte Entwicklungsumgebung (IDE) des RobotersUSB3
aktive Kabel (10,0 m), x2			Rändelschraubenstecker, wasserdicht.
YuMi Doppelarm-Roboter	ABB	IRB14000