Summary
Den menneskelige dybdeoppfatningen av 3D-stereovideoer avhenger av kameraseparasjonen, konvergenspunktet, avstanden til og kjennskapen til objektet. Dette papiret presenterer en robotisert metode for rask og pålitelig innsamling av testdata under live åpen hjertekirurgi for å bestemme den ideelle kamerakonfigurasjonen.
Abstract
Stereo 3D-video fra kirurgiske prosedyrer kan være svært verdifull for medisinsk utdanning og forbedre klinisk kommunikasjon. Men tilgangen til operasjonsstuen og operasjonsfeltet er begrenset. Det er et sterilt miljø, og det fysiske rommet er overfylt med kirurgisk personale og teknisk utstyr. I denne innstillingen er uhindret fangst og realistisk reproduksjon av kirurgiske prosedyrer vanskelig. Dette papiret presenterer en metode for rask og pålitelig datainnsamling av stereoskopiske 3D-videoer ved forskjellige kameraavstander og konvergensavstander. For å samle inn testdata med minimal interferens under operasjonen, med høy presisjon og repeterbarhet, ble kameraene festet til hver hånd på en robot med to armer. Roboten var takmontert i operasjonssalen. Den ble programmert til å utføre en tidsberegnet sekvens av synkroniserte kamerabevegelser som gikk gjennom en rekke testposisjoner med grunnlinjeavstand mellom 50-240 mm ved trinnvise trinn på 10 mm, og ved to konvergensavstander på 1100 mm og 1400 mm. Kirurgi ble satt på pause for å tillate 40 påfølgende 5-s videoprøver. Totalt ble det registrert 10 kirurgiske scenarier.
Introduction
I kirurgi kan 3D-visualisering brukes til utdanning, diagnoser, preoperativ planlegging og postoperativ evaluering1,2. Realistisk dybdeoppfatning kan forbedre forståelsen av 3,4,5,6 av normale og unormale anatomier. Enkle 2D-videoopptak av kirurgiske prosedyrer er en god start. Mangelen på dybdeoppfatning kan imidlertid gjøre det vanskelig for de ikke-kirurgiske kollegene å forstå antero-posterior-relasjonene mellom ulike anatomiske strukturer og derfor også introdusere en risiko for feiltolkning av anatomien7,8,9,10.
3D-visningsopplevelsen påvirkes av fem faktorer: (1) Kamerakonfigurasjonen kan enten være parallell eller toed-in som vist i figur 1, (2) Grunnlinjeavstand (avstanden mellom kameraene). (3) Avstand til gjenstanden av interesse og andre sceneegenskaper som bakgrunnen. (4) Kjennetegn på visningsenheter som skjermstørrelse og visningsposisjon1,11,12,13. (5) Individuelle preferanser for seerne14,15.
Utforming av et 3D-kameraoppsett begynner med opptak av testvideoer som er tatt opp på forskjellige kameraavstander og konfigurasjoner som skal brukes til subjektiv eller automatisk evaluering16,17,18,19,20. Kameraavstanden må være konstant til operasjonsfeltet for å ta skarpe bilder. Fast fokus foretrekkes fordi autofokus vil justere seg for å fokusere på hender, instrumenter eller hoder som kan komme til syne. Dette er imidlertid ikke lett oppnåelig når scenen av interesse er det kirurgiske feltet. Operasjonsrom er avgrensede tilgangsområder fordi disse fasilitetene må holdes rene og sterile. Teknisk utstyr, kirurger og skrubbesykepleiere er ofte gruppert tett rundt pasienten for å sikre en god visuell oversikt og en effektiv arbeidsflyt. Hvis du vil sammenligne og evaluere effekten av kameraposisjoner på 3D-visningsopplevelsen, bør ett komplett testområde av kameraposisjoner registrere samme scene fordi objektegenskapene, for eksempel form, størrelse og farge, kan påvirke 3D-visningsopplevelsen21.
Av samme grunn bør komplette testområder av kameraposisjoner gjentas på forskjellige kirurgiske prosedyrer. Hele sekvensen av posisjoner må gjentas med høy nøyaktighet. I en kirurgisk innstilling er ikke eksisterende metoder som krever manuell justering av grunnlinjeavstanden22 eller forskjellige kamerapar med faste grunnlinjeavstander23, mulig på grunn av både plass- og tidsbegrensninger. For å løse denne utfordringen ble denne robotiserte løsningen designet.
Dataene ble samlet inn med en industriell robot med to armer montert i taket i operasjonsrommet. Kameraer ble festet til robotens håndledd og beveget seg langs en bueformet bane med økende grunnlinjeavstand, som vist i figur 2.
For å demonstrere tilnærmingen ble det registrert 10 testserier fra 4 forskjellige pasienter med 4 forskjellige medfødte hjertefeil. Scener ble valgt da en pause i operasjonen var mulig: med de bankende hjertene like før og etter kirurgisk reparasjon. Det ble også laget serier da hjertene ble arrestert. Operasjonene ble satt på pause i 3 minutter og 20 s for å samle 40 5-ssequences med forskjellige kamerakonvergensavstander og grunnlinjeavstander for å fange scenen. Videoene ble senere etterbehandlet, vist i 3D for det kliniske teamet, som vurderte hvor realistisk 3D-videoen var langs en skala fra 0-5.
Konvergenspunktet for innredede stereokameraer er der midtpunktene i begge bildene møtes. Konvergenspunktet kan etter prinsipp plasseres enten foran, innenfor eller bak objektet, se figur 1A-C. Når konvergenspunktet er foran objektet, vil objektet bli tatt opp og vist til venstre for midtlinjen for venstre kamerabilde og høyre for midtlinjen for høyre kamerabilde (figur 1A). Det motsatte gjelder når konvergenspunktet er bak objektet (figur 1B). Når konvergenspunktet er på objektet, vil objektet også vises midt på kamerabildene (figur 1C), som antagelig skal gi den mest komfortable visningen siden det ikke kreves mysing for å slå sammen bildene. For å oppnå komfortabel stereo 3D-video må konvergenspunktet være plassert på, eller litt bak, gjenstanden for interesse, ellers er betrakteren pålagt å frivillig myse utover (eksotropi).
Dataene ble samlet inn ved hjelp av en industriell robot med to armer for å plassere kameraene (figur 2A-B). Roboten veier 38 kg uten utstyr. Roboten er iboende trygg; Når den oppdager en uventet innvirkning, slutter den å bevege seg. Roboten ble programmert til å plassere kameraene på 5 megapiksler med C-objektiver langs en bueformet bane som stoppet ved forhåndsbestemte grunnlinjeavstander (figur 2C). Kameraene var festet til robothendene ved hjelp av adapterplater, som vist i figur 3. Hvert kamera tatt med 25 bilder per sekund. Linser ble satt til f-stop 1/8 med fokus festet på gjenstanden av interesse (omtrentlig geometrisk senter av hjertet). Hvert bilderamme hadde et tidsstempel som ble brukt til å synkronisere de to videostrømmene.
Forskyvninger mellom robotarmbåndet og kameraet ble kalibrert. Dette kan oppnås ved å justere trådkorset på kamerabildene, som vist i figur 4. I dette oppsettet var den totale translasjonsforskyvningen fra monteringspunktet på robotarmbåndet og midten av kamerabildesensoren 55,3 mm i X-retning og 21,2 mm i Z-retningen, vist i figur 5. Rotasjonsforskyvningene ble kalibrert med en konvergensavstand på 1100 mm og en grunnlinjeavstand på 50 mm og justert manuelt med styrespaken på robotens kontrollpanel. Roboten i denne studien hadde en spesifisert nøyaktighet på 0,02 mm i kartesisk rom og 0,01 grader rotasjonsoppløsning24. Ved en radius på 1100 m forskyver en vinkelforskjell på 0,01 grader midtpunktet 0,2 mm. Under hele robotbevegelsen fra 50-240 mm separasjon var trådkorset for hvert kamera innen 2 mm fra det ideelle konvergenssenteret.
Grunnlinjeavstanden ble økt trinnvis ved symmetrisk separasjon av kameraene rundt midten av synsfeltet i trinn på 10 mm fra 50-240 mm (figur 2). Kameraene ble holdt i stillstand i 5 s i hver posisjon og beveget seg mellom posisjonene med en hastighet på 50 mm / s. Konvergenspunktet kan justeres i X- og Z-retning ved hjelp av et grafisk brukergrensesnitt (figur 6). Roboten fulgte deretter innenfor sitt arbeidsområde.
Nøyaktigheten av konvergenspunktet ble estimert ved hjelp av de ensartede trekantene og variabelnavnene i figur 7A og B. Høyden 'z' ble beregnet fra konvergensavstanden 'R' med det pytagoreiskeoremet som
Når det virkelige konvergenspunktet var nærmere enn ønsket punkt, som vist i figur 7A, ble feilavstanden 'f1' beregnet som
På samme måte, når konvergenspunktet var distalt til ønsket punkt, ble feilavstanden 'f2' beregnet som
Her var 'e' den maksimale separasjonen mellom trådkorsene, maksimalt 2 mm ved maksimal grunnlinjeseparasjon under kalibrering (D = 240 mm). For R = 1100 mm (z = 1093 mm) var feilen mindre enn ± 9,2 mm. For R = 1400 mm (z = 1395 mm) ble feilen ± 11,7 mm. Det vil det være feilen i plasseringen av konvergenspunktet var innenfor 1% av ønsket. De to testavstandene på 1100 mm og 1400 mm ble derfor godt separert.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Eksperimentene ble godkjent av den lokale etikkkomiteen i Lund i Sverige. Deltakelsen var frivillig, og pasientenes foresatte ga informert skriftlig samtykke.
1. Robotoppsett og konfigurasjon
MERK: Dette eksperimentet brukte en industriell robot med to armer og standard kontrollpanel med berøringsskjerm. Roboten styres med RobotWare 6.10.01 kontrollerprogramvare og robotintegrert utviklingsmiljø (IDE) RobotStudio 2019.525. Programvare utviklet av forfatterne, inkludert robotapplikasjonen, opptaksprogrammet og etterbehandlingsskript, er tilgjengelig på GitHub-repositoriet26.
FORSIKTIG: Bruk vernebriller og redusert hastighet under oppsett og testing av robotprogrammet.
- Monter roboten i taket eller et bord ved hjelp av bolter dimensjonert for 100 kg som beskrevet på side 25 i produktspesifikasjonen24, i henhold til produsentens spesifikasjoner. Forsikre deg om at armene kan bevege seg fritt og synslinjen til synsfeltet er uobscured.
FORSIKTIG: Bruk løfte- eller sikkerhetstau når du monterer roboten i høy stilling. - Start roboten ved å dreie startbryteren på bunnen av roboten. Kalibrer roboten ved å følge fremgangsmåten som er beskrevet i bruksanvisningen på side 47-5625.
- Start robot-IDE på en Windows-datamaskin.
- Koble til det fysiske robotsystemet (bruksanvisning side 14027).
- Last inn koden for robotprogrammet og programbibliotekene for brukergrensesnittet til roboten:
- Robotkoden for en takmontert robot er i mappen Robot/InvertedCode og for en bordmontert robot i Robot/TableMountedCode. For hver av filene som er igjen/Data.mod, venstre/MainModule.mod, høyre/Data.mod og høyre/MainModule.mod:
- Opprett en ny programmodul (se brukerhåndbok side 31827) med samme navn som filen (Data eller MainModule) og kopier filinnholdet til den nye modulen.
- Trykk på Bruk i robot-IDE for å lagre filene på roboten.
- Bruk Filoverføring (brukerhåndbok side 34627) til å overføre robotprogramfilene TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll og TpsViewStereo2.pdb som ligger i FPApp-mappen til roboten. Etter dette trinnet vil ikke robot-IDE bli ytterligere brukt.
- Trykk på Tilbakestill-knappen på baksiden av robotberøringsskjermen (FlexPendant) for å laste inn det grafiske grensesnittet på nytt. Robotprogrammet Stereo2 vil nå være synlig under berøringsskjermmenyen.
- Installer innspillingsprogrammet (Liveview) og etterbehandlingsprogrammet på en Ubuntu 20.04-datamaskin ved å kjøre skriptet install_all_linux.sh, som ligger i rotmappen i Github-repositoriet.
- Monter hvert kamera på roboten. Komponentene som trengs for montering, vises i figur 3A.
- Monter objektivet på kameraet.
- Monter kameraet på kameraadapterplaten med tre M2-skruer.
- Monter den sirkulære monteringsplaten på kameraadapterplaten med fire M6-skruer på motsatt side av kameraet.
- Gjenta trinn 1.9.1-1.9.3 for det andre kameraet. De resulterende samlingene speiles, som vist i figur 3B og figur 3C.
- Monter adapterplaten på robotarmbåndet med fire M2.5-skruer, som vist i figur 3D.
- For en takmontert robot: Fest venstre kamera i figur 3C til venstre robotarm som vist på figur 2A.
- For en bordmontert robot: Fest venstre kamera i figur 3C til høyre robotarm.
- Koble USB-kablene til kameraene, som vist i figur 3E, og til Ubuntu-datamaskinen.
2. Kontroller kamerakalibreringen
- Trykk på Meny-knappen på robotberøringsskjermen, og velg Stereo2 for å starte robotprogrammet. Dette åpner hovedskjermen, som vist i figur 6A.
- På hovedskjermen trykker du på Gå for å starte i 1100 mm i robotapplikasjonen og vente til roboten går til startposisjonen.
- Fjern beskyttelseslinsehettene fra kameraene og koble USB-kablene til Ubuntu-datamaskinen.
- Plasser et trykt kalibreringsgitter (CalibrationGrid.png i depotet) 1100 mm fra kamerasensorene. For å lette riktig identifisering av de tilsvarende rutene, plasser en liten skruemutter eller merk et sted i midten av rutenettet.
- Start innspillingsprogrammet på Ubuntu-datamaskinen (kjør skriptet start.sh som ligger i liveview-mappen inne i Github-repositoriet). Dette starter grensesnittet, som vist i figur 4.
- Juster blenderåpningen og fokuser på objektivet med blenderåpningen og fokusringene.
- I opptaksprogrammet, sjekk Trådkorset for å visualisere trådkorset.
- I opptaksprogrammet må du kontrollere at trådkorset stemmer overens med kalibreringsrutenettet i samme posisjon i begge kamerabildene, som vist i figur 4. Mest sannsynlig vil det være nødvendig med noen justeringer som følger:
- Hvis kryssene ikke overlapper hverandre, trykker du på Tannhjulikonet (nederst til venstre figur 6A) i robotprogrammet på robotberøringsskjermen for å åpne innstillingsskjermen, som vist i figur 6B.
- Trykk på 1. Gå til Start pos, som vist i figur 6B.
- Jog roboten med styrespaken for å justere kameraposisjonen (bruksanvisning side 3123).
- Oppdater verktøyposisjonen for hver robotarm. Trykk på 3. Oppdater venstre verktøy og 4. Oppdater høyre verktøy for å lagre kalibreringen for henholdsvis venstre og høyre arm.
- Trykk på Tilbake-pilikonet (øverst til høyre, figur 6B) for å gå tilbake til hovedskjermen.
- Trykk på Kjør eksperiment (figur 6A) i robotapplikasjonen og kontroller at trådkorset er justert. Ellers gjentar du trinn 2.3-2.3.5.
- Legg til og test eventuelle endringer i avstandene og/eller klokkeslettet på dette tidspunktet. Dette krever endringer i robotprogramkoden og avanserte robotprogrammeringsferdigheter. Endre følgende variabler i Data-modulen i venstre oppgave (arm): De ønskede separasjonsavstandene i heltallsmatrisevariabelen Avstander, konvergensavstandene i heltallsmatrisen ConvergencePos og rediger tiden på hvert trinn ved å redigere variabelen Nwaittime (verdi i sekunder).
FORSIKTIG: Kjør aldri et uprøvd robotprogram under live kirurgi. - Når kalibreringen er fullført, trykker du på Raise for å løfte robotarmene til standby-posisjon.
- Slå eventuelt av roboten.
MERK: Prosedyren kan settes på pause mellom et av trinnene ovenfor.
3. Forberedelse ved starten av operasjonen
- Støv roboten.
- Hvis roboten ble slått av, starter du den ved å slå på Start-bryteren nederst på roboten.
- Start robotprogrammet på berøringsskjermen og opptaksprogrammet som er beskrevet i trinn 2.1 og 2.2.
- Opprett i innspillingsprogrammet, og velg deretter mappen der videoen skal lagres (trykk endre mappe).
- I robotapplikasjonen: Trykk på tannhjulikonet, plasser kameraene i forhold til pasienten. Endre X- og Z-retning ved å trykke på +/- for håndavstand fra henholdsvis robot og høyde, slik at bildet fanger opp det kirurgiske feltet. Utfør posisjoneringen i Y-retningen ved å flytte roboten eller pasienten manuelt.
MERK: Preparatene kan settes på pause mellom klargjøringstrinnene 3.1-3.4.
4. Eksperimentere
FORSIKTIG: Alt personell skal informeres om eksperimentet på forhånd.
- Sett operasjonen på pause.
- Informer OR-personellet om at eksperimentet er startet.
- Trykk Spill inn i innspillingsprogrammet.
- Trykk på Kjør eksperiment i robotprogrammet.
- Vent mens programmet kjører. roboten viser "Ferdig" i robotapplikasjonen på berøringsskjermen når den er ferdig.
- Stopp innspillingen i innspillingsprogrammet ved å trykke Avslutt.
- Informer OR-personellet om at eksperimentet er fullført.
- Gjenoppta operasjonen.
MERK: Eksperimentet kan ikke settes på pause i trinn 4.1-4.6.
5. Gjenta
- Gjenta trinn 4.1-4.6 for å ta en ny sekvens og trinn 3.1-3.4 og trinn 4.1-4.6 for å fange sekvenser fra forskjellige operasjoner. Ta opp rundt ti hele sekvenser.
6. Etterbehandling
MERK: Følgende trinn kan utføres ved hjelp av de fleste videoredigeringsprogrammer eller de medfølgende skriptene i etterbehandlingsmappen.
- I dette tilfellet, debayer videoen som den er lagret i RAW-format:
- Kjør skriptet etterbehandling/debayer/run.sh for å åpne debayer-programmet som vises i figur 8A.
- Trykk Bla gjennom Inndatakatalog, og velg mappen med RAW-videoen.
- Trykk Bla gjennom utdatakatalogen og velg en mappe for de resulterende debayered og fargejusterte videofilene.
- Trykk på Debayer! og vent til prosessen er fullført - begge fremdriftslinjene er fulle, som vist i figur 8B.
- Slå sammen høyre og venstre synkroniserte videoer til 3D-stereoformat28:
- Kjør skriptet etterbehandling/merge_tb/run.sh for å starte fletteprogrammet. Det åpner det grafiske brukergrensesnittet som vises i figur 8C.
- Trykk Bla gjennom Inndatakatalog og velg mappen med videofilene som er debayered.
- Trykk Bla gjennom utdatakatalogen , og velg en mappe for den sammenslåtte 3D-stereofilen.
- Trykk Slå sammen! og vent til målskjermbildet i figur 8D vises.
- Bruk hyllebasert videoredigeringsprogramvare, for eksempel Premiere Pro, til å legge til tekstetiketter på hver kameraavstand i videoen.
MERK: I videoen er det en synlig rist hver gang roboten beveger seg, og kameraavstanden økte. I dette eksperimentet ble etikettene A-T brukt til kameraavstandene.
7. Evaluering
- Vis videoen i 3D-format øverst nederst med en aktiv 3D-projektor.
- Visningsopplevelsen avhenger av visningsvinkelen og avstanden til skjermen. evaluere videoen ved hjelp av tiltenkt publikum og oppsett.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
En akseptabel evalueringsvideo med riktig bilde plassert øverst i topp-bunn stereoskopisk 3D vises i Video1. En vellykket sekvens bør være skarp, fokusert og uten usynkroniserte bilderammer. Usynkroniserte videostrømmer vil føre til uskarphet, som vist i filen Video 2. Konvergenspunktet skal være sentrert horisontalt, uavhengig av kameraseparasjonen, som vist i figur 9A,B. Når roboten går over mellom posisjonene, er det en liten risting i videoen, som forventes med en overgangshastighet på 50 mm / s. Med den for store separasjonen mellom høyre og venstre bilde kan ikke hjernen smelte sammen bildene til ett 3D-bilde, se figur 9C og video 3.
Hjertets posisjon i bildene skal være sentrert under hele videoen, som vist i figur 1C. Flere årsaker kan føre til at dette mislykkes: (1) Konvergenspunktet er for langt unna hjertet, se figur 7. Kameraposisjonene i forhold til pasienten kan endres fra innstillingsskjermen for robotapplikasjonen (figur 6B). (2) Koordinatsystemet for kameraverktøyet er ikke riktig konfigurert. Robotprogrammet vil samtidig flytte kameraet symmetrisk i en radial bevegelse rundt konvergenspunktet (figur 2C) og rotere kameraene rundt koordinatsystemet for kameraverktøyet (figur 5). Hvis kameraadapterplatene (figur 3) er montert eller montert feil, vil ikke standardverdiene fungere. Løp trinn 2.1-2.4 på nytt og sørg for at trådkorset i opptaksprogrammet (figur 6) peker på samme objekt under hele robotbevegelsen. Når du justerer koordinatrammene, må du kontrollere at objektet som brukes til kalibrering (figur 4), er sentrert mellom kameraene. Ellers vil kalibreringen resultere i ikke-symmetriske koordinatrammer.
Hvis fargene er feil etter debayering med debayering-applikasjonen (figur 8), har de innspilte videoene feil debayering-format. Dette krever at brukeren endrer koden for debayering-applikasjonen eller bruker et annet debayering-verktøy. På samme måte, hvis den automatiske synkroniseringen mellom stereovideoene mislyktes, bør brukeren bruke videoredigeringsprogrammer som Premiere Pro for å justere videoene.
For å analysere resultatene skal videoen vises på en 3D-projektor for den tiltenkte målgruppen. Publikum kan subjektivt rangere hvor godt 3D-videoen tilsvarer den virkelige situasjonen. Etikettene som er lagt til i trinn 6.3, kan brukes til å score forskjellige avstander.
Figur 1. Plassering av konvergenspunkt. Forskjellig plassering av konvergenspunkter i forhold til gjenstanden av interesse (grå prikk). (A) Konvergenspunkt foran objektet, (B) bak objektet og (C) på objektet. Midtlinjen for hvert kamerabilde vises med en prikket linje. Kirurgen er vist ovenfra, stående mellom kameraene. Øverst vises objektets resulterende plassering til venstre og høyre kamerabilder i forhold til midtlinjen. Klikk her for å se en større versjon av denne figuren.
Figur 2: Robotbevegelse. Kameraseparasjonen ble økt fra (A) 50 mm til (B) 240 mm med trinnvise trinn på 10 mm. (C) Roboten flyttet kameraene radialt og pekte alltid kameraene mot konvergenspunktet - hjertet. Her er avstanden D avstanden mellom kameraene, R er radiusen 1100 eller 1400 mm, og a er vinkelen på kameraene, sin(a) = D/2R. Høyre og venstre kamera ble vinklet en grad i henholdsvis negativ og positiv retning rundt verktøyet Z-aksen. Klikk her for å se en større versjon av denne figuren.
Figur 3: Monteringskameraer på roboten. (A) Eksplodert visning av komponentene for ett kamera: linse, kamerasensor, kameraadapterplate, sirkulær monteringsplate, robotarmbånd og skruer. De to monterte kameraadapterne vises fra (B) robotsiden og (C) fronten. (D) Adaptere festet til robotarmbåndet med fire M2.5-skruer. (E) USB-kabler koblet til kameraene. Klikk her for å se en større versjon av denne figuren.
Figur 4: Kamerakalibrering med opptaksprogrammet. Et kalibreringsgitter og en skruemutter ble brukt til å kalibrere kameraverktøyets koordinatsystemer i forhold til robottegnene. Kameraene skal vinkles slik at mutteren er i midten av bildene. Klikk her for å se en større versjon av denne figuren.
Figur 5: Koordinatsystem for kameraverktøy. X-aksen (rød), Y-aksen (grønn) og Z-aksen (blå) i koordinatsystemet for kameraverktøyet. Klikk her for å se en større versjon av denne figuren.
Figur 6: Robotapplikasjonen. (A) Visning av hovedskjermen på berøringsskjermen for å kjøre eksperimentene. (B) Oppsettsskjermen for verktøykalibrering og justering av konvergenspunktet. Klikk her for å se en større versjon av denne figuren.
Figur 7: Feilberegning. Konvergensfeil (A) ovenfor og (B) under ønsket konvergenspunkt. Den horisontale grunnlinjeavstanden (D = 240 mm), avstanden mellom kameraene og konvergenspunktet (R = 1100). Den vertikale avstanden mellom kameraene og konvergenspunktet (z = 1093 mm), maksimal separasjon mellom bildesenterpunktene (trådkors) (e = 2 mm), den vertikale feilavstanden når det virkelige konvergenspunktet er over ønsket konvergensposisjon (f1 = 9 mm). Den vertikale feilavstanden når det virkelige konvergenspunktet er under ønsket konvergensposisjon (f2 = 9,2 mm). Figur ikke trukket til skala. Klikk her for å se en større versjon av denne figuren.
Figur 8: Etterbehandlingsprogrammer for debayering og sammenslåing. (A) Start og (B) Fullfør skjermbilder av debayer-applikasjonen. (C) Start- og (D) Fullfør skjermbilder av fletteprogrammet. Klikk her for å se en større versjon av denne figuren.
Figur 9: Øyeblikksbilder av ferdige stereovideoer. Bare annenhver pikselrad ble brukt fra originalbildene for å overholde standard topp/ bunn 3D-stereoformat. De øvre bildene er fra høyre kamera og lavere fra venstre kamera. (A) 3D-stereobilde med 50 mm basisavstand og konvergenspunktet på OR-bordet bak hjertet. (B) 3D stereobilde med 240 mm grunnlinjeavstand og konvergenspunktet ved OR-bordet bak hjertet. (C) 3D stereobilde med 240 mm basisavstand og konvergenspunktet 300 mm bak hjertet. Klikk her for å se en større versjon av denne figuren.
Video 1. Stereo 3D-video ved 1100 mm. Konvergenspunktet er på hjertet, 1100 mm fra kameraene. Videoen starter med en grunnlinjeavstand på 50 mm (A) og øker med trinn på 10 mm til 240 mm (T). Klikk her for å laste ned denne videoen.
Video 2. Usynkronisert stereo 3D-video. Høyre og venstre videoer er ikke synkronisert, noe som forårsaker uskarphet når de vises i 3D. Klikk her for å laste ned denne videoen.
Video 3. Stereo 3D-video ved 1400 mm. Konvergenspunktet er bak hjertet, 1400 mm fra kameraene. Videoen Klikk her for å laste ned denne videoen.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Under live kirurgi var den totale tiden for eksperimentet som ble brukt til innsamling av 3D-videodata begrenset til å være trygg for pasienten. Hvis objektet er ufokusert eller overeksponert, kan ikke dataene brukes. De kritiske trinnene er under kalibrering og oppsett av kameraverktøyet (trinn 2). Kameraets blenderåpning og fokus kan ikke endres når operasjonen har startet; de samme lysforholdene og avstanden bør brukes under oppsett og kirurgi. Kamerakalibreringen i trinn 2.1-2.4 må utføres nøye for å sikre at hjertet er sentrert i den innspilte videoen. For å feilsøke kalibreringen kan verdiene til koordinatsystemet for kameraverktøyet verifiseres separat ved å jogge roboten i koordinatsystemet (trinn 2.3.3). Det er viktig å teste hele robotprogrammet og kameraene sammen med opptaksprogrammet før operasjonen. Høyden på operasjonsbordet justeres noen ganger under operasjonen; høyden på robotkameraene kan også endres live i robotapplikasjonen (trinn 3.4) for å holde ønsket avstand til hjertet. Avstandene og ventetidene til robotprogrammet kan endres som beskrevet i trinn 2.5.
En begrensning ved denne teknikken er at det krever at operasjonen er satt på pause; Derfor kan datainnsamling bare utføres når det er trygt for pasienten å pause operasjonen. En annen begrensning er at det krever fysisk tilpasning av operasjonsrommet for å montere roboten i taket, og den programmerte robotbevegelsen antar at roboten er sentrert over hjertet. I tillegg er kameraene toed-in i stedet for parallelle, noe som kan forårsake en keystone-effekt. Keystone-effekten kan justeres i etterproduksjon29,30,31.
En rekke flere kameraer plassert på en bue kan brukes til å samle lignende data23. Kamerarekken kan ta bilder samtidig fra alle kameraer; Dermed kan kirurgi settes på pause i kortere tid. En feilkilde for en kameramatrise er at kameraene kan ha et litt annet fokus, blenderåpning og kalibrering, og når videoer fra forskjellige kamerapar sammenlignes, kan andre parametere enn grunnlinjeavstanden påvirke bildekvaliteten og dybdeoppfatningen. En annen ulempe med en kameramatrise er at trinnstørrelsen mellom grunnlinjeavstandene er begrenset av den fysiske størrelsen på kameraene. For eksempel har linsen som brukes i denne studien en diameter på 30 mm, noe som vil tilsvare minimum mulig trinnstørrelse. Med oppsettet presentert i studien ble trinnstørrelsene på 10 mm testet, men kunne settes mindre om nødvendig. Med matriseoppsettet kan heller ikke høyde og konvergensavstand justeres dynamisk.
Et annet alternativ er å flytte kameraene manuelt til forhåndsdefinerte posisjoner22. Dette er ikke mulig under levende hjertekirurgi fordi det ville krenke kritisk kirurgisk arbeidsområde og tid.
Denne metoden gjelder for mange typer åpen kirurgi, inkludert ortopedisk, vaskulær og generell kirurgi, der optimale baseline- og konvergensavstander ennå ikke er bestemt.
Denne metoden kan også tilpasses for å samle bilder til andre formål enn 3D-visualisering. Mange datasynsprogrammer bruker forskjellen mellom bilder til å beregne avstanden til et objekt. En presis kamerabevegelse kan brukes til å 3D-skanne stasjonære objekter fra flere retninger for å lage 3D-modeller. For lokalisering av 3D er 3D-visningsopplevelsen mindre viktig hvis de samme punktene på objektet kan identifiseres i forskjellige bilder, avhengig av nøyaktig kameraposisjonering, kamerakalibrering, lysforhold og bildesynkronisering.
Robotstyrt kameraposisjonering er både trygt og effektivt for innsamling av videodata for identifisering av optimale kameraposisjoner for stereoskopisk 3D-video.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne har ingenting å avsløre.
Acknowledgments
Forskningen ble utført med støtte fra Vinnova (2017-03728, 2018-05302 og 2018-03651), Heart-Lung Foundation (20180390), Family Kamprad Foundation (20190194) og Anna-Lisa og Sven Eric Lundgren Foundation (2017 og 2018).
Materials
| Name | Company | Catalog Number | Comments |
| 2 C-mount lenses (35 mm F2.1, 5 M pixel) | Tamron | M112FM35 | Rated for 5 Mpixel |
| 3D glasses (DLP-link active shutter) | Celexon | G1000 | Any compatible 3D glasses can be used |
| 3D Projector | Viewsonic | X10-4K | Displays 3D in 1080, can be exchanged for other 3D projectors |
| 6 M2 x 8 screws | To attach the cXimea cameras to the camera adaptor plates | ||
| 8 M2.5 x 8 screws | To attach the circular mounting plates to the robot wrist | ||
| 8 M5 x 40 screws | To mount the robot | ||
| 8 M6 x 10 screws with flat heads | For attaching the circular mounting plate and the camera adaptor plates | ||
| Calibration checker board plate (25 by 25 mm) | Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras | ||
| Camera adaptor plates, x2 | Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium. | ||
| Circular mounting plates, x2 | Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_ NewDesign_4.stl |
||
| Fix focus usb cameras, x2 (5 Mpixel) | Ximea | MC050CG-SY-UB | With Sony IMX250LQR sensor |
| Flexpendant | ABB | 3HAC028357-001 | robot touch display |
| Liveview | recording application | ||
| RobotStudio | robot integrated development environment (IDE) | ||
| USB3 active cables (10.0 m), x2 | Thumbscrew lock connector, water proofed. | ||
| YuMi dual-arm robot | ABB | IRB14000 |
References
- Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
- van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
- Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
- Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
- Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
- Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
- Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
- Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
- Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
- Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
- Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
- Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
- Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
- McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
- Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
- Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
- Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
- Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
- Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
- López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
- Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
- Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
- Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
- Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
- Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
- Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
- Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
- Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
- Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
- Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).
