Gerobotiseerd testen van cameraposities om de ideale configuratie te bepalen voor stereo 3D-visualisatie van openhartchirurgie

Summary

De menselijke diepteperceptie van 3D-stereovideo's hangt af van de camerascheiding, het convergentiepunt, de afstand tot en de vertrouwdheid van het object. Dit artikel presenteert een gerobotiseerde methode voor snelle en betrouwbare verzameling van testgegevens tijdens live openhartchirurgie om de ideale cameraconfiguratie te bepalen.

Abstract

Stereo 3D-video van chirurgische ingrepen kan zeer waardevol zijn voor medisch onderwijs en de klinische communicatie verbeteren. Maar de toegang tot de operatiekamer en het operatieveld is beperkt. Het is een steriele omgeving en de fysieke ruimte is vol met chirurgisch personeel en technische apparatuur. In deze setting zijn ongemerkte opname en realistische reproductie van de chirurgische ingrepen moeilijk. Dit artikel presenteert een methode voor snelle en betrouwbare gegevensverzameling van stereoscopische 3D-video's op verschillende basisafstanden en convergentieafstanden van de camera. Om testgegevens te verzamelen met minimale interferentie tijdens de operatie, met hoge precisie en herhaalbaarheid, werden de camera's bevestigd aan elke hand van een robot met twee armen. De robot was aan het plafond gemonteerd in de operatiekamer. Het was geprogrammeerd om een getimede reeks gesynchroniseerde camerabewegingen uit te voeren die door een reeks testposities stappen met een basisafstand tussen 50-240 mm bij incrementele stappen van 10 mm en bij twee convergentieafstanden van 1100 mm en 1400 mm. De operatie werd gepauzeerd om 40 opeenvolgende 5-s videomonsters mogelijk te maken. In totaal werden 10 chirurgische scenario's geregistreerd.

Introduction

In de chirurgie kan 3D-visualisatie worden gebruikt voor onderwijs, diagnoses, pre-operatieve planning en postoperatieve ^evaluatie1,2. Realistische dieptewaarneming kan het begrip3,4,5,6 van normale en abnormale anatomieën verbeteren. Eenvoudige 2D-video-opnames van chirurgische ingrepen zijn een goed begin. Het gebrek aan diepteperceptie kan het echter moeilijk maken voor de niet-chirurgische collega's om de antero-posterieure relaties tussen verschillende anatomische structuren vol....

Protocol

De experimenten werden goedgekeurd door de lokale ethische commissie in Lund, Zweden. De deelname was vrijwillig en de wettelijke voogden van de patiënten gaven geïnformeerde schriftelijke toestemming.

1. Robot setup en configuratie

OPMERKING: Dit experiment gebruikte een industriële robot met twee armen en het standaard bedieningspaneel met een aanraakscherm. De robot wordt bestuurd met RobotWare 6.10.01 controller software en robot integrated development environment (IDE) RobotStudio 2019.525. Software ontwikkeld door de auteurs, waaronder de robottoepassing, opnametoepassing en postproces....

Results

Een acceptabele evaluatievideo met het juiste beeld bovenaan geplaatst in stereoscopisch 3D van boven naar beneden wordt getoond in Video1. Een succesvolle reeks moet scherp, scherp en zonder niet-gesynchroniseerde afbeeldingskaders zijn. Niet-gesynchroniseerde videostreams veroorzaken onscherpte, zoals weergegeven in het bestand Video 2. Het convergentiepunt moet horizontaal worden gecentreerd, onafhankelijk van de camerascheiding, zoals te zien is in figuur 9A,B

Discussion

Tijdens live chirurgie was de totale tijd van het experiment dat werd gebruikt voor het verzamelen van 3D-videogegevens beperkt om veilig te zijn voor de patiënt. Als het object onscherp of overbelicht is, kunnen de gegevens niet worden gebruikt. De kritieke stappen zijn tijdens de kalibratie en installatie van het cameragereedschap (stap 2). Het diafragma en de focus van de camera kunnen niet worden gewijzigd wanneer de operatie is begonnen; dezelfde lichtomstandigheden en afstand moeten worden gebruikt tijdens de insta.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel)	Tamron	M112FM35	Rated for 5 Mpixel
3D glasses (DLP-link active shutter)	Celexon	G1000	Any compatible 3D glasses can be used
3D Projector	Viewsonic	X10-4K	Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws			To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws			To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws			To mount the robot
8 M6 x 10 screws with flat heads			For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm)			Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2			Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2			Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel)	Ximea	MC050CG-SY-UB	With Sony IMX250LQR sensor
Flexpendant	ABB	3HAC028357-001	robot touch display
Liveview			recording application
RobotStudio			robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2			Thumbscrew lock connector, water proofed.
YuMi dual-arm robot	ABB	IRB14000