Methodenartikel

Gerobotiseerd testen van cameraposities om de ideale configuratie te bepalen voor stereo 3D-visualisatie van openhartchirurgie

DOI:

10.3791/62786

⸱

12 augustus 2021

 ,  ,  ,  ,  , 
1Cardiac Surgery Unit, Children’s Heart Centre, Skåne University Hospital, 2Department of Clinical Sciences, Lund University, 3Student at Lund University

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De menselijke diepteperceptie van 3D-stereovideo's hangt af van de camerascheiding, het convergentiepunt, de afstand tot en de vertrouwdheid van het object. Dit artikel presenteert een gerobotiseerde methode voor snelle en betrouwbare verzameling van testgegevens tijdens live openhartchirurgie om de ideale cameraconfiguratie te bepalen.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Stereo 3D-video van chirurgische ingrepen kan zeer waardevol zijn voor medisch onderwijs en de klinische communicatie verbeteren. Maar de toegang tot de operatiekamer en het operatieveld is beperkt. Het is een steriele omgeving en de fysieke ruimte is vol met chirurgisch personeel en technische apparatuur. In deze setting zijn ongemerkte opname en realistische reproductie van de chirurgische ingrepen moeilijk. Dit artikel presenteert een methode voor snelle en betrouwbare gegevensverzameling van stereoscopische 3D-video's op verschillende basisafstanden en convergentieafstanden van de camera. Om testgegevens te verzamelen met minimale interferentie tijdens de operatie, met hoge precisie en herhaalbaarheid, werden de camera's bevestigd aan elke hand van een robot met twee armen. De robot was aan het plafond gemonteerd in de operatiekamer. Het was geprogrammeerd om een getimede reeks gesynchroniseerde camerabewegingen uit te voeren die door een reeks testposities stappen met een basisafstand tussen 50-240 mm bij incrementele stappen van 10 mm en bij twee convergentieafstanden van 1100 mm en 1400 mm. De operatie werd gepauzeerd om 40 opeenvolgende 5-s videomonsters mogelijk te maken. In totaal werden 10 chirurgische scenario's geregistreerd.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In de chirurgie kan 3D-visualisatie worden gebruikt voor onderwijs, diagnoses, pre-operatieve planning en postoperatieve evaluatie1,2. Realistische dieptewaarneming kan het begrip3,4,5,6 van normale en abnormale anatomieën verbeteren. Eenvoudige 2D-video-opnames van chirurgische ingrepen zijn een goed begin. Het gebrek aan diepteperceptie kan het echter moeilijk maken voor de niet-chirurgische collega's om de antero-posterieure relaties tussen verschillende anatomische structuren volledig te begrijpen en daarom ook een risico op verkeerde interpretatie van de anatomie te introduceren7,8,9,10.

De 3D-kijkervaring wordt beïnvloed door vijf factoren: (1) Cameraconfiguratie kan parallel of ingesneden zijn zoals weergegeven in figuur 1, (2) Basislijnafstand (de scheiding tussen de camera's). (3) Afstand tot het object van belang en andere scènekenmerken zoals de achtergrond. (4) Kenmerken van weergaveapparaten zoals schermgrootte en kijkpositie1,11,12,13. (5) Individuele voorkeuren van de kijkers14,15.

Het ontwerpen van een 3D-camera-opstelling begint met het vastleggen van testvideo's die zijn opgenomen op verschillende basisafstanden en configuraties van de camera om te worden gebruikt voor subjectieve of automatische evaluatie16,17,18,19,20. De afstand van de camera moet constant zijn tot het operatieveld om scherpe beelden vast te leggen. Vaste scherpstelling heeft de voorkeur omdat autofocus zich aanpast aan de scherpstelling op handen, instrumenten of hoofden die in beeld kunnen komen. Dit is echter niet gemakkelijk haalbaar wanneer de plaats van interesse het chirurgische veld is. Operatiekamers zijn beperkt toegankelijke ruimtes omdat deze faciliteiten schoon en steriel moeten worden gehouden. Technische apparatuur, chirurgen en scrubverpleegkundigen zijn vaak dicht bij de patiënt geclusterd om een goed visueel overzicht en een efficiënte workflow te garanderen. Om het effect van cameraposities op de 3D-kijkervaring te vergelijken en te evalueren, moet één volledig testbereik van cameraposities dezelfde scène opnemen, omdat de objectkenmerken zoals vorm, grootte en kleur de 3D-kijkervaring kunnen beïnvloeden21.

Om dezelfde reden moeten volledige testbereiken van cameraposities worden herhaald op verschillende chirurgische ingrepen. De hele reeks posities moet met hoge nauwkeurigheid worden herhaald. In een chirurgische setting zijn bestaande methoden die handmatige aanpassing van de basislijnafstand22 of verschillende cameraparen met vaste basislijnafstanden23 vereisen, niet haalbaar vanwege zowel ruimte- als tijdsbeperkingen. Om deze uitdaging aan te gaan, werd deze gerobotiseerde oplossing ontworpen.

De gegevens werden verzameld met een collaboratieve industriële robot met twee armen die in het plafond in de operatiekamer was gemonteerd. Camera's werden aan de polsen van de robot bevestigd en bewogen langs een boogvormig traject met toenemende basisafstand, zoals te zien is in figuur 2.

Om de aanpak aan te tonen, werden 10 testreeksen geregistreerd van 4 verschillende patiënten met 4 verschillende aangeboren hartafwijkingen. Er werd gekozen voor scènes wanneer een pauze in de operatie haalbaar was: met de kloppende harten vlak voor en na de chirurgische reparatie. Er werden ook series gemaakt toen de harten werden gearresteerd. De operaties werden gedurende 3 minuten en 20 s gepauzeerd om veertig 5-sequenties te verzamelen met verschillende cameraconvergentieafstanden en basisafstanden om de scène vast te leggen. De video's werden later nabewerkt, weergegeven in 3D voor het klinische team, dat beoordeelde hoe realistisch de 3D-video was langs een schaal van 0-5.

Het convergentiepunt voor ingesleten stereocamera's is waar de middelpunten van beide beelden elkaar ontmoeten. Het convergentiepunt kan principieel voor, binnen of achter het object worden geplaatst, zie figuur 1A-C. Wanneer het convergentiepunt zich voor het object bevindt, wordt het object vastgelegd en weergegeven links van de middellijn voor het linkercamerabeeld en rechts van de middellijn voor het rechtercamerabeeld (figuur 1A). Het tegenovergestelde geldt wanneer het convergentiepunt zich achter het object bevindt (figuur 1B). Wanneer het convergentiepunt zich op het object bevindt, verschijnt het object ook in de middellijn van de camerabeelden (figuur 1C), wat vermoedelijk de meest comfortabele weergave zou moeten opleveren, omdat er geen scheel kijken nodig is om de beelden samen te voegen. Om comfortabele stereo 3D-video te bereiken, moet het convergentiepunt zich op of iets achter het object van belang bevinden, anders moet de kijker vrijwillig naar buiten turen (exotropie).

De gegevens werden verzameld met behulp van een industriële robot met twee armen om de camera's te positioneren (figuur 2A-B). De robot weegt 38 kg zonder apparatuur. De robot is intrinsiek veilig; wanneer het een onverwachte impact detecteert, stopt het met bewegen. De robot was geprogrammeerd om de 5 Megapixel camera's met C-mount lenzen te positioneren langs een boogvormig traject dat stopt op vooraf bepaalde basisafstanden (figuur 2C). De camera's werden met behulp van adapterplaten aan de robothanden bevestigd, zoals te zien is in figuur 3. Elke camera nam op met 25 beelden per seconde. Lenzen werden ingesteld op f-stop 1/8 met focus gericht op het object van belang (benaderd geometrisch centrum van het hart). Elk beeldframe had een tijdstempel die werd gebruikt om de twee videostreams te synchroniseren.

Verschuivingen tussen de robotpols en de camera werden gekalibreerd. Dit kan worden bereikt door het vizier van de camerabeelden uit te lijnen, zoals te zien is in figuur 4. In deze opstelling was de totale translationele offset van het montagepunt op de robotpols en het midden van de camerabeeldsensor 55,3 mm in de X-richting en 21,2 mm in de Z-richting, weergegeven in figuur 5. De rotatie-offsets werden gekalibreerd op een convergentieafstand van 1100 mm en een basisafstand van 50 mm en handmatig aangepast met de joystick op het robotbedieningspaneel. De robot in deze studie had een gespecificeerde nauwkeurigheid van 0,02 mm in de Cartesische ruimte en een rotatieresolutie van 0,01 graden24. Bij een straal van 1100 m compenseert een hoekverschil van 0,01 graden het middelpunt 0,2 mm. Tijdens de volledige robotbeweging van 50-240 mm afstand bevond het vizier voor elke camera zich binnen 2 mm van het ideale convergentiecentrum.

De basisafstand werd stapsgewijs vergroot door symmetrische scheiding van de camera's rond het midden van het gezichtsveld in stappen van 10 mm, variërend van 50-240 mm (figuur 2). De camera's werden in elke positie 5 s stilgehouden en bewogen tussen de posities met een snelheid van 50 mm/s. Het convergentiepunt kon in X- en Z-richting worden aangepast met behulp van een grafische gebruikersinterface (figuur 6). De robot volgde dienovereenkomstig binnen zijn werkbereik.

De nauwkeurigheid van het convergentiepunt werd geschat aan de hand van de uniforme driehoeken en de variabelenamen in figuur 7A en B. De hoogte 'z' werd berekend uit de convergentieafstand 'R' met de stelling van Pythagoras als

figure-introduction-1

Wanneer het reële convergentiepunt dichterbij was dan het gewenste punt, zoals weergegeven in figuur 7A, werd de foutafstand 'f1' berekend als

figure-introduction-2

Evenzo, wanneer het convergentiepunt distaal was van het gewenste punt, werd de foutafstand 'f2' berekend als

figure-introduction-3

Hier was 'e' de maximale scheiding tussen het vizier, maximaal 2 mm bij maximale basislijnscheiding tijdens kalibratie (D = 240 mm). Voor R = 1100 mm (z = 1093 mm) was de fout minder dan ± 9,2 mm. Voor R = 1400 mm (z = 1395 mm) was de fout ± 11,7 mm. Dat wil zeggen dat de fout van de plaatsing van het convergentiepunt binnen 1% van het gewenste lag. De twee testafstanden van 1100 mm en 1400 mm waren daardoor goed gescheiden.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De experimenten werden goedgekeurd door de lokale ethische commissie in Lund, Zweden. De deelname was vrijwillig en de wettelijke voogden van de patiënten gaven geïnformeerde schriftelijke toestemming.

1. Robot setup en configuratie

OPMERKING: Dit experiment gebruikte een industriële robot met twee armen en het standaard bedieningspaneel met een aanraakscherm. De robot wordt bestuurd met RobotWare 6.10.01 controller software en robot integrated development environment (IDE) RobotStudio 2019.525. Software ontwikkeld door de auteurs, waaronder de robottoepassing, opnametoepassing en postprocessingscripts, zijn beschikbaar op de GitHub-repository26.

LET OP: Gebruik een beschermende bril en verminderde snelheid tijdens het instellen en testen van het robotprogramma.

  1. Monteer de robot aan het plafond of een tafel met bouten met een afmeting van 100 kg zoals beschreven op pagina 25 in de productspecificatie24, volgens de specificaties van de fabrikant. Zorg ervoor dat de armen vrij kunnen bewegen en de zichtlijn naar het gezichtsveld onbelemmerd is.
    LET OP: Gebruik lift- of veiligheidstouwen bij het monteren van de robot in een hoge positie.
  2. Start de robot door aan de startschakelaar te draaien die zich aan de basis van de robot bevindt. Kalibreer de robot door de procedure te volgen die wordt beschreven in de bedieningshandleiding op pagina 47-5625.
  3. Start de robot IDE op een Windows-computer.
  4. Maak verbinding met het fysieke robotsysteem (handleiding pagina 14027).
  5. Laad de code voor het robotprogramma en de toepassingsbibliotheken voor de gebruikersinterface naar de robot:
    1. De robotcode voor een plafondrobot staat in de map Robot/InvertedCode en voor een tafelrobot in Robot/TableMountedCode. Voor elk van de bestanden links/Data.mod, links/MainModule.mod, rechts/Data.mod en rechts/MainModule.mod:
    2. Maak een nieuwe programmamodule (zie bedieningshandleiding pagina 31827) met dezelfde naam als het bestand (Data of MainModule) en kopieer de bestandsinhoud naar de nieuwe module.
    3. Druk op Toepassen in de robot-IDE om de bestanden op te slaan in de robot.
  6. Gebruik Bestandsoverdracht (handleiding pagina 34627) om de robottoepassingsbestanden TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll en TpsViewStereo2.pdb in de map FPApp over te brengen naar de robot. Na deze stap wordt de robot IDE niet meer gebruikt.
  7. Druk op de Reset-knop aan de achterkant van het robotaanraakscherm (FlexPendant) om de grafische interface opnieuw te laden. De robottoepassing Stereo2 is nu zichtbaar onder het aanraakschermmenu.
  8. Installeer de opnametoepassing (Liveview) en de nabewerkingstoepassing op een Ubuntu 20.04-computer door het script uit te voeren install_all_linux.sh, die zich in de hoofdmap in de Github-opslagplaats bevindt.
  9. Monteer elke camera op de robot. De componenten die nodig zijn voor de montage worden weergegeven in figuur 3A.
    1. Monteer de lens op de camera.
    2. Monteer de camera met drie M2-schroeven op de adapterplaat van de camera.
    3. Monteer de ronde montageplaat op de camera-adapterplaat met vier M6-schroeven aan de andere kant van de camera.
  10. Herhaal stap 1.9.1-1.9.3 voor de andere camera. De resulterende assemblages worden gespiegeld, zoals weergegeven in figuur 3B en figuur 3C.
  11. Monteer de adapterplaat aan de robotpols met vier M2.5-schroeven, zoals weergegeven in figuur 3D.
    1. Voor een aan het plafond gemonteerde robot: bevestig de linkercamera in figuur 3C aan de linker robotarm zoals weergegeven in figuur 2A.
    2. Voor een tafelrobot: bevestig de linkercamera in figuur 3C aan de rechter robotarm.
  12. Sluit de USB-kabels aan op de camera's, zoals weergegeven in figuur 3E, en op de Ubuntu-computer.

2. Controleer de camerakalibratie

  1. Druk op het aanraakscherm van de robot op de menuknop en selecteer Stereo2 om de robottoepassing te starten. Hiermee wordt het hoofdscherm geopend, zoals weergegeven in figuur 6A.
    1. Druk op het hoofdscherm op Go om 1100 mm te starten in de robottoepassing en wacht tot de robot naar de startpositie gaat.
    2. Verwijder de beschermende lensdoppen van de camera's en sluit de USB-kabels aan op de Ubuntu-computer.
    3. Plaats een geprint kalibratieraster (CalibrationGrid.png in de opslagplaats) op 1100 mm van de camerasensoren. Om de juiste identificatie van de overeenkomstige vierkanten te vergemakkelijken, plaatst u een kleine schroefmoer of markering ergens in het midden van het raster.
  2. Start de opnametoepassing op de Ubuntu-computer (voer het script uit start.sh in de liveview-map in de Github-repository). Hiermee wordt de interface gestart, zoals weergegeven in figuur 4.
    1. Pas het diafragma en de focus op de lens aan met het diafragma en de scherpstelringen.
    2. Controleer in de opnametoepassing Crosshair om het vizier te visualiseren.
  3. Zorg er in de opnametoepassing voor dat het vizier in beide camerabeelden op dezelfde positie is uitgelijnd met het kalibratieraster, zoals weergegeven in figuur 4. Hoogstwaarschijnlijk zal enige aanpassing als volgt nodig zijn:
    1. Als de kruisjes elkaar niet overlappen, drukt u op het tandwielpictogram (figuur 6A linksonder) in de robottoepassing op het aanraakscherm van de robot om het instellingsscherm te openen, zoals weergegeven in figuur 6B.
    2. Druk op 1. Ga naar Start Pos, zoals weergegeven in figuur 6B.
    3. Jog de robot met de joystick om de camerapositie aan te passen (bedieningshandleiding pagina 3123).
    4. Werk de gereedschapspositie voor elke robotarm bij. Druk op 3. Update Left Tool en 4. Werk het gereedschap Rechts bij om de kalibratie voor respectievelijk de linker- en rechterarm op te slaan.
    5. Druk op het pictogram Pijl-terug (rechtsboven, figuur 6B) om terug te keren naar het hoofdscherm.
  4. Druk op Run Experiment (Figuur 6A) in de robottoepassing en controleer of het vizier is uitgelijnd. Herhaal anders stap 2.3-2.3.5.
  5. Voeg eventuele wijzigingen in de afstanden en/of tijd op dit punt toe en test deze. Dit vereist veranderingen in de robotprogrammacode en geavanceerde robotprogrammeervaardigheden. Wijzig de volgende variabelen in de module Data in de linkertaak (arm): de gewenste scheidingsafstanden in de integer arrayvariabele Distances, de convergentieafstanden in de integer array ConvergencePos en bewerk de tijd bij elke stap door de variabele Nwaittime (waarde in seconden) te bewerken.
    LET OP: Voer nooit een niet-getest robotprogramma uit tijdens een live operatie.
  6. Wanneer de kalibratie is voltooid, drukt u op Raise (Raise ) om de robotarmen in de stand-bystand te brengen.
  7. Schakel de robot optioneel uit.
    OPMERKING: De procedure kan worden onderbroken tussen een van de bovenstaande stappen.

3. Voorbereiding aan het begin van de operatie

  1. Stof de robot af.
    1. Als de robot is uitgeschakeld, start u deze door de startschakelaar aan de basis van de robot in te schakelen.
  2. Start de robottoepassing op het aanraakscherm en de opnametoepassing die wordt beschreven in stap 2.1 en 2.2.
  3. Maak en selecteer vervolgens in de opnametoepassing de map waarin u de video wilt opslaan (druk op Map wijzigen).
  4. In de robottoepassing: druk op het tandwielpictogram, plaats de camera's ten opzichte van de patiënt. Verander de X- en Z-richting door respectievelijk op +/- te drukken voor Handafstand van robot en hoogte, zodat het beeld het chirurgische veld vastlegt. Voer de positionering in de Y-richting uit door de robot of patiënt handmatig te bewegen.
    OPMERKING: De voorbereidingen kunnen worden gepauzeerd tussen de voorbereidingsstappen 3.1-3.4.

4. Experimenteer

LET OP: Al het personeel moet vooraf op de hoogte worden gebracht van het experiment.

  1. Pauzeer de operatie.
    1. Informeer het OK-personeel dat het experiment is gestart.
  2. Druk op Opnemen in de opnametoepassing.
  3. Druk op Experiment uitvoeren in de robottoepassing.
  4. Wacht terwijl het programma wordt uitgevoerd; de robot geeft "Gereed" weer in de robottoepassing op het aanraakscherm wanneer deze klaar is.
  5. Stop de opname in de opnametoepassing door op Afsluiten te drukken.
    1. Informeer het OK-personeel dat het experiment is voltooid.
  6. Hervat de operatie.
    OPMERKING: Het experiment kan niet worden onderbroken tijdens stap 4.1-4.6.

5. Herhaal

  1. Herhaal stap 4.1-4.6 om een andere reeks vast te leggen en stap 3.1-3.4 en stap 4.1-4.6 om sequenties van verschillende operaties vast te leggen. Leg ongeveer tien volledige sequenties vast.

6. Nabewerking

OPMERKING: De volgende stappen kunnen worden uitgevoerd met behulp van de meeste videobewerkingssoftware of de meegeleverde scripts in de map nabewerking.

  1. In dit geval debayer de video zoals deze is opgeslagen in het RAW-formaat:
    1. Voer het script postprocessing/debayer/run uit.sh om de debayer-toepassing te openen die wordt weergegeven in Figuur 8A.
    2. Druk op Browse Input Directory en selecteer de map met de RAW-video.
    3. Druk op Bladeren in uitvoermap en selecteer een map voor de resulterende debayered en kleur-aangepaste videobestanden.
    4. Druk op Debayer! en wacht tot het proces is voltooid - beide voortgangsbalken zijn vol, zoals weergegeven in figuur 8B.
  2. Voeg de rechter- en linker gesynchroniseerde video's samen in 3D-stereoformaat28:
    1. Voer het script postprocessing/merge_tb/run uit.sh om de samenvoegtoepassing te starten; het opent de grafische gebruikersinterface weergegeven in Figuur 8C.
    2. Druk op Browse Input Directory en selecteer de map met de debayered videobestanden.
    3. Druk op Bladeren in uitvoermap en selecteer een map voor het resulterende samengevoegde 3D-stereobestand.
    4. Druk op Samenvoegen! en wacht tot het afwerkingsscherm in Figuur 8D wordt weergegeven.
  3. Gebruik kant-en-klare videobewerkingssoftware zoals Premiere Pro om tekstlabels toe te voegen aan elke cameraafstand in de video.
    OPMERKING: In de video is er een zichtbare trilling elke keer dat de robot bewoog en de cameraafstand nam toe. In dit experiment werden labels A-T gebruikt voor de cameraafstanden.

7. Evaluatie

  1. Geef de video weer in 3D-indeling van boven naar beneden met een actieve 3D-projector.
  2. Kijkervaring is afhankelijk van de kijkhoek en de afstand tot het scherm; evalueer de video met behulp van het beoogde publiek en de installatie.

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Een acceptabele evaluatievideo met het juiste beeld bovenaan geplaatst in stereoscopisch 3D van boven naar beneden wordt getoond in Video1. Een succesvolle reeks moet scherp, scherp en zonder niet-gesynchroniseerde afbeeldingskaders zijn. Niet-gesynchroniseerde videostreams veroorzaken onscherpte, zoals weergegeven in het bestand Video 2. Het convergentiepunt moet horizontaal worden gecentreerd, onafhankelijk van de camerascheiding, zoals te zien is in figuur 9A,B

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Tijdens live chirurgie was de totale tijd van het experiment dat werd gebruikt voor het verzamelen van 3D-videogegevens beperkt om veilig te zijn voor de patiënt. Als het object onscherp of overbelicht is, kunnen de gegevens niet worden gebruikt. De kritieke stappen zijn tijdens de kalibratie en installatie van het cameragereedschap (stap 2). Het diafragma en de focus van de camera kunnen niet worden gewijzigd wanneer de operatie is begonnen; dezelfde lichtomstandigheden en afstand moeten worden gebruikt tijdens de insta...

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs hebben niets te onthullen.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het onderzoek is uitgevoerd met financiering van Vinnova (2017-03728, 2018-05302 en 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) en Anna-Lisa en Sven Eric Lundgren Foundation (2017 en 2018).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
2 C-mount lenzen (35 mm F2.1, 5 M pixel)TamronM112FM35Geschikt voor 5 Mpixel
3D-brillen (DLP-link actieve sluiter)CelexonG1000Elke compatibele 3D-bril kan worden gebruikt
3D-projectorViewsonicX10-4KGeeft 3D weer in 1080, kan worden omgeruild voor andere 3D-projectoren
6 M2 x 8 schroevenOm de cXimea-camera's aan de camera-adapterplaten te bevestigen
8 M2.5 x 8 schroevenOm de ronde montageplaten aan de robotarm te bevestigen
8 M5 x 40 schroevenOm de robot te monteren
8 M6 x 10 schroeven met platte koppenVoor het bevestigen van de ronde montageplaat en de camera-adapterplaten
Calibratiebordenplaat (25 bij 25 mm)Elk standaard dambord kan worden gebruikt, inclusief afgedrukt, zolang de raster duidelijk zichtbaar is in de camera's
Camera-adapterplaten, x2Ontworpen door de auteurs in robot_camera_adaptor_plates.dwg, gefrezen in aluminium.
Ronde montageplaten, x2Gedistribueerd met toestemming van de ontwerper Julius Klein en afgedrukt met ABS-plastic op een FDM 3D-printer. Licentie Tecnalia Research & Innovation 2017. Bijgevoegd als Mountingplate_ROBOT_SIDE_
NewDesign_4.stl
Fix focus usb-camera's, x2 (5 Mpixel)XimeaMC050CG-SY-UBMet Sony IMX250LQR-sensor
FlexpendantABB3HAC028357-001robot touch display
Liveviewopname-applicatie
RobotStudio geïntegreerde ontwikkelomgeving voor robots (IDE)
USB3 actieve kabels (10,0 m), x2Thumbscrew-vergrendelingsconnector, waterdicht.
YuMi dubbelarmige robotABBIRB14000

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
  2. van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
  3. Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
  4. Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10(2017).
  5. Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
  6. Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
  7. Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
  8. Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
  9. Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
  10. Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
  11. Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
  12. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  13. Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
  14. McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
  15. Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
  16. Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
  17. Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
  18. Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
  19. Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
  20. López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62(2013).
  21. Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
  22. Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
  23. Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
  24. Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
  25. Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  26. Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
  27. Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  28. Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
  29. Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
  30. Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
  31. Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).

Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Robotized Camera TestingCamera ConfigurationStereoscopic 3D VideoSurgical Field CaptureCamera Baseline DistanceDepth Perception StudyMedical Education VideoDual Arm Robot

Gerelateerde artikelen