Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

ओपन-हार्ट सर्जरी के स्टीरियो 3 डी विज़ुअलाइज़ेशन के लिए आदर्श कॉन्फ़िगरेशन निर्धारित करने के लिए कैमरा पदों का रोबोटीकृत परीक्षण

Published: August 12, 2021 doi: 10.3791/62786
Automatic Translation
1,2, 1,2, 1, 3, 3, 1
1Cardiac Surgery Unit, Children’s Heart Centre, Skåne University Hospital, 2Department of Clinical Sciences, Lund University, 3Student at Lund University

Summary

3 डी स्टीरियो वीडियो की मानव गहराई धारणा कैमरा अलगाव, अभिसरण के बिंदु, दूरी और वस्तु की परिचितता पर निर्भर करती है। यह पेपर आदर्श कैमरा कॉन्फ़िगरेशन को निर्धारित करने के लिए लाइव ओपन-हार्ट सर्जरी के दौरान तेजी से और विश्वसनीय परीक्षण डेटा संग्रह के लिए एक रोबोटीकृत विधि प्रस्तुत करता है।

Abstract

सर्जिकल प्रक्रियाओं से स्टीरियो 3 डी वीडियो चिकित्सा शिक्षा के लिए अत्यधिक मूल्यवान हो सकता है और नैदानिक संचार में सुधार कर सकता है। लेकिन ऑपरेटिंग रूम और सर्जिकल क्षेत्र तक पहुंच प्रतिबंधित है। यह एक बाँझ वातावरण है, और भौतिक स्थान सर्जिकल स्टाफ और तकनीकी उपकरणों के साथ भीड़ है। इस सेटिंग में, सर्जिकल प्रक्रियाओं के unobscured कब्जा और यथार्थवादी प्रजनन मुश्किल हैं। यह पेपर विभिन्न कैमरा बेसलाइन दूरी और अभिसरण की दूरी पर स्टीरियोस्कोपिक 3 डी वीडियो के तेजी से और विश्वसनीय डेटा संग्रह के लिए एक विधि प्रस्तुत करता है। सर्जरी के दौरान न्यूनतम हस्तक्षेप के साथ परीक्षण डेटा एकत्र करने के लिए, उच्च परिशुद्धता और पुनरावृत्ति के साथ, कैमरों को एक दोहरे हाथ रोबोट के प्रत्येक हाथ से जोड़ा गया था। रोबोट को ऑपरेटिंग रूम में छत पर रखा गया था। यह 10 मिमी के वृद्धिशील चरणों पर 50-240 मिमी के बीच बेसलाइन दूरी के साथ परीक्षण पदों की एक श्रृंखला के माध्यम से कदम उठाने वाले सिंक्रनाइज़ कैमरा आंदोलनों के एक समयबद्ध अनुक्रम को निष्पादित करने के लिए प्रोग्राम किया गया था, और 1100 मिमी और 1400 मिमी की दो अभिसरण दूरी पर। सर्जरी को लगातार 40 लगातार 5-एस वीडियो नमूनों की अनुमति देने के लिए रोक दिया गया था। कुल 10 सर्जिकल परिदृश्य दर्ज किए गए थे।

Introduction

सर्जरी में, 3 डी विज़ुअलाइज़ेशन का उपयोग शिक्षा, निदान, पूर्व-ऑपरेटिव योजना और पोस्ट-ऑपरेटिव मूल्यांकन 1,2 के लिए किया जा सकता है। यथार्थवादी गहराई धारणा सामान्य और असामान्य एनाटॉमी की समझ 3,4,5,6 में सुधार कर सकती है। सर्जिकल प्रक्रियाओं की सरल 2 डी वीडियो रिकॉर्डिंग एक अच्छी शुरुआत है। हालांकि, गहराई की धारणा की कमी गैर-सर्जिकल सहयोगियों के लिए विभिन्न शारीरिक संरचनाओं के बीच एंटेरो-पोस्टीरियर संबंधों को पूरी तरह से समझने के लिए कठिन बना सकती है और इसलिए एनाटॉमी 7,8,9,10 की गलत व्याख्या का जोखिम भी पेश कर सकती है।

3 डी देखने का अनुभव पांच कारकों से प्रभावित होता है: (1) कैमरा कॉन्फ़िगरेशन या तो समानांतर या टोड-इन हो सकता है जैसा कि चित्र 1 में दिखाया गया है, (2) बेसलाइन दूरी (कैमरों के बीच अलगाव)। (3) ब्याज की वस्तु और पृष्ठभूमि जैसे अन्य दृश्य विशेषताओं की दूरी। (4) इस तरह के स्क्रीन आकार और देखने की स्थिति के रूप में उपकरणों को देखने के लक्षण1,11,12,13. (5) दर्शकों की व्यक्तिगत प्राथमिकताएं14,15.

एक 3 डी कैमरा सेटअप डिजाइनिंग विभिन्न कैमरा बेसलाइन दूरी और विन्यास पर रिकॉर्ड किए गए परीक्षण वीडियो के कैप्चर के साथ शुरू होता है जिसका उपयोग व्यक्तिपरक या स्वचालित मूल्यांकन 16,17,18,19,20 के लिए किया जाता है। कैमरे की दूरी तेज छवियों को कैप्चर करने के लिए सर्जिकल क्षेत्र के लिए स्थिर होनी चाहिए। फिक्स्ड फोकस को प्राथमिकता दी जाती है क्योंकि ऑटोफोकस हाथों, उपकरणों या सिरों पर ध्यान केंद्रित करने के लिए समायोजित करेगा जो दृश्य में आ सकते हैं। हालांकि, यह आसानी से प्राप्त करने योग्य नहीं है जब ब्याज का दृश्य सर्जिकल क्षेत्र है। ऑपरेटिंग रूम प्रतिबंधित पहुंच क्षेत्र हैं क्योंकि इन सुविधाओं को साफ और बाँझ रखा जाना चाहिए। तकनीकी उपकरण, सर्जन, और स्क्रब नर्सों को अक्सर एक अच्छे दृश्य अवलोकन और एक कुशल वर्कफ़्लो को सुरक्षित करने के लिए रोगी के चारों ओर बारीकी से क्लस्टर किया जाता है। 3 डी देखने के अनुभव पर कैमरे की स्थिति के प्रभाव की तुलना और मूल्यांकन करने के लिए, कैमरा पदों की एक पूरी परीक्षण सीमा एक ही दृश्य को रिकॉर्ड करना चाहिए क्योंकि आकार, आकार और रंग जैसी वस्तु विशेषताएं 3 डी देखने के अनुभव को प्रभावित कर सकती हैं21।

एक ही कारण के लिए, कैमरा पदों की पूरी परीक्षण श्रेणियों को विभिन्न सर्जिकल प्रक्रियाओं पर दोहराया जाना चाहिए। पदों के पूरे अनुक्रम को उच्च सटीकता के साथ दोहराया जाना चाहिए। एक सर्जिकल सेटिंग में, मौजूदा तरीके जिन्हें बेसलाइन दूरी 22 के मैनुअल समायोजन की आवश्यकता होती है या निश्चित बेसलाइन दूरी 23 के साथ विभिन्न कैमरा जोड़े स्थान और समय की कमी दोनों के कारण संभव नहीं हैं। इस चुनौती को संबोधित करने के लिए, इस रोबोटीकृत समाधान को डिज़ाइन किया गया था।

डेटा ऑपरेटिंग रूम में छत में घुड़सवार एक दोहरे हाथ के सहयोगी औद्योगिक रोबोट के साथ एकत्र किया गया था। कैमरों को रोबोट की कलाई से जोड़ा गया था और बेसलाइन दूरी में वृद्धि के साथ एक चाप के आकार के प्रक्षेपवक्र के साथ ले जाया गया था, जैसा कि चित्र 2 में दिखाया गया है।

दृष्टिकोण को प्रदर्शित करने के लिए, 4 अलग-अलग जन्मजात हृदय दोषों के साथ 4 अलग-अलग रोगियों से 10 परीक्षण श्रृंखला दर्ज की गई थी। दृश्यों को तब चुना गया था जब सर्जरी में एक विराम संभव था: सर्जिकल मरम्मत से ठीक पहले और बाद में धड़कने वाले दिलों के साथ। सीरीज भी तब बनी जब दिलों को गिरफ्तार कर लिया गया। दृश्य को कैप्चर करने के लिए विभिन्न कैमरा अभिसरण दूरी और बेसलाइन दूरी के साथ चालीस 5-अनुक्रम एकत्र करने के लिए सर्जरी को 3 मिनट और 20 सेकंड के लिए रोक दिया गया था। वीडियो को बाद में पोस्ट-प्रोसेस किया गया था, नैदानिक टीम के लिए 3 डी में प्रदर्शित किया गया था, जिन्होंने मूल्यांकन किया था कि 3 डी वीडियो 0-5 के पैमाने पर कितना यथार्थवादी था।

टोड-इन स्टीरियो कैमरों के लिए अभिसरण बिंदु वह जगह है जहां दोनों छवियों के केंद्र बिंदु मिलते हैं। अभिसरण बिंदु, सिद्धांत रूप से, या तो सामने, भीतर, या वस्तु के पीछे रखा जा सकता है, चित्र 1A-C देखें। जब अभिसरण बिंदु ऑब्जेक्ट के सामने होता है, तो ऑब्जेक्ट को बाएं कैमरे की छवि के लिए मिडलाइन के बाएं और दाएं कैमरा छवि (चित्रा 1 ए) के लिए मिडलाइन के दाएं हिस्से पर कब्जा कर लिया जाएगा और प्रदर्शित किया जाएगा। विपरीत तब लागू होता है जब अभिसरण बिंदु ऑब्जेक्ट के पीछे होता है (चित्र1 बी)। जब अभिसरण बिंदु ऑब्जेक्ट पर होता है, तो ऑब्जेक्ट कैमरा छवियों (चित्रा 1 सी) की मध्यरेखा में भी दिखाई देगा, जो संभवतः सबसे आरामदायक देखने की उपज होनी चाहिए क्योंकि छवियों को मर्ज करने के लिए कोई स्क्विंटिंग की आवश्यकता नहीं होती है। आरामदायक स्टीरियो 3 डी वीडियो प्राप्त करने के लिए, अभिसरण बिंदु को ब्याज की वस्तु पर, या थोड़ा पीछे स्थित होना चाहिए, अन्यथा दर्शक को स्वेच्छा से बाहर की ओर स्क्विंट करने की आवश्यकता होती है (एक्सोट्रोपिया)।

डेटा को कैमरों की स्थिति के लिए एक दोहरे हाथ के सहयोगी औद्योगिक रोबोट का उपयोग करके एकत्र किया गया था (चित्रा 2 ए-बी)। रोबोट का वजन बिना उपकरणों के 38 किलोग्राम है। रोबोट आंतरिक रूप से सुरक्षित है; जब यह एक अप्रत्याशित प्रभाव का पता लगाता है, तो यह आगे बढ़ना बंद कर देता है। रोबोट को पूर्व निर्धारित बेसलाइन दूरी (चित्रा 2 सी) पर चाप के आकार के प्रक्षेपवक्र को रोकने के साथ सी-माउंट लेंस के साथ 5 मेगापिक्सेल कैमरों को तैनात करने के लिए प्रोग्राम किया गया था। कैमरों को एडेप्टर प्लेटों का उपयोग करके रोबोट हाथों से जोड़ा गया था, जैसा कि चित्र 3 में दिखाया गया है। प्रत्येक कैमरा 25 फ्रेम प्रति सेकंड पर रिकॉर्ड किया गया। लेंस को एफ-स्टॉप 1/8 पर सेट किया गया था, जिसमें ब्याज की वस्तु (दिल के अनुमानित ज्यामितीय केंद्र) पर ध्यान केंद्रित किया गया था। प्रत्येक छवि फ्रेम में एक टाइमस्टैम्प होता था जिसका उपयोग दो वीडियो धाराओं को सिंक्रनाइज़ करने के लिए किया जाता था।

रोबोट कलाई और कैमरे के बीच ऑफसेट कैलिब्रेट किए गए थे। यह कैमरा छवियों के crosshairs संरेखित करके प्राप्त किया जा सकता है, जैसा कि चित्र4 में दिखाया गया है। इस सेटअप में, रोबोट कलाई पर बढ़ते बिंदु और कैमरा छवि सेंसर के केंद्र से कुल ट्रांसलेशनल ऑफसेट एक्स-दिशा में 55.3 मिमी और जेड-दिशा में 21.2 मिमी था, जो चित्र5 में प्रदर्शित किया गया था। घूर्णी ऑफसेट को 1100 मिमी की अभिसरण दूरी और 50 मिमी की आधार रेखा दूरी पर कैलिब्रेट किया गया था और रोबोट नियंत्रण कक्ष पर जॉयस्टिक के साथ मैन्युअल रूप से समायोजित किया गया था। इस अध्ययन में रोबोट में कार्टेशियन स्पेस में 0.02 मिमी और 0.01 डिग्री घूर्णी रिज़ॉल्यूशन 24 की एक निर्दिष्ट सटीकता थी। 1100 मीटर की त्रिज्या पर, 0.01 डिग्री का कोण अंतर केंद्र बिंदु 0.2 मिमी को ऑफसेट करता है। 50-240 मिमी अलगाव से पूर्ण रोबोट गति के दौरान, प्रत्येक कैमरे के लिए क्रॉसहेयर अभिसरण के आदर्श केंद्र से 2 मिमी के भीतर था।

बेसलाइन दूरी को 50-240 मिमी (चित्रा 2) से लेकर 10 मिमी की वृद्धि में दृश्य के क्षेत्र के केंद्र के चारों ओर कैमरों के सममित पृथक्करण द्वारा चरणबद्ध रूप से बढ़ाया गया था। कैमरों को प्रत्येक स्थिति में 5 सेकंड के लिए एक ठहराव पर रखा गया था और 50 मिमी / सेकंड के वेग पर पदों के बीच ले जाया गया था। अभिसरण बिंदु को ग्राफिकल यूजर इंटरफेस (चित्रा 6) का उपयोग करके एक्स और जेड दिशाओं में समायोजित किया जा सकता है। रोबोट ने अपनी कार्य सीमा के भीतर तदनुसार पीछा किया।

अभिसरण बिंदु की सटीकता का अनुमान एकसमान त्रिभुजों और चित्र 7A और B में चर नामों का उपयोग करके लगाया गया था। ऊँचाई 'z' की गणना पाइथागोरस प्रमेय के साथ अभिसरण दूरी 'R' से की गई थी

Equation 1

जब वास्तविक अभिसरण बिंदु वांछित बिंदु से करीब था, जैसा कि चित्र 7A में दिखाया गया है, तो त्रुटि दूरी 'f1' की गणना किस रूप में की गई थी?

Equation 2

इसी तरह, जब अभिसरण बिंदु वांछित बिंदु के लिए दूरस्थ था, तो त्रुटि दूरी 'f2' की गणना के रूप में की गई थी

Equation 3

यहां, 'ई' क्रॉसहेयर के बीच अधिकतम अलगाव था, अंशांकन के दौरान अधिकतम बेसलाइन पृथक्करण पर अधिकतम 2 मिमी (डी = 240 मिमी)। R = 1100 mm (z = 1093 mm) के लिए, त्रुटि 9.2 मिमी ± से कम थी। R = 1400 मिमी (z = 1395 मिमी) के लिए, त्रुटि 11.7 मिमी ± थी। यही है, अभिसरण बिंदु के प्लेसमेंट की त्रुटि वांछित के 1% के भीतर थी। 1100 मिमी और 1400 मिमी की दो परीक्षण दूरी इसलिए अच्छी तरह से अलग हो गई थी।

Subscription Required. Please recommend JoVE to your librarian.

Protocol

प्रयोगों को लुंड, स्वीडन में स्थानीय नैतिकता समिति द्वारा अनुमोदित किया गया था। भागीदारी स्वैच्छिक थी, और रोगियों के कानूनी अभिभावकों ने सूचित लिखित सहमति प्रदान की।

1. रोबोट सेटअप और विन्यास

नोट: इस प्रयोग में एक दोहरी बांह सहयोगी औद्योगिक रोबोट और एक स्पर्श प्रदर्शन के साथ मानक नियंत्रण कक्ष का उपयोग किया गया था। रोबोट को RobotWare 6.10.01 नियंत्रक सॉफ़्टवेयर और रोबोट एकीकृत विकास वातावरण (IDE) RobotStudio 2019.525 के साथ नियंत्रित किया जाता है। रोबोट एप्लिकेशन, रिकॉर्डिंग एप्लिकेशन और पोस्टप्रोसेसिंग स्क्रिप्ट सहित लेखकों द्वारा विकसित सॉफ़्टवेयर, गिटहब रिपॉजिटरी 26 पर उपलब्ध हैं।

सावधानी: रोबोट कार्यक्रम के सेटअप और परीक्षण के दौरान सुरक्षात्मक चश्मे और कम गति का उपयोग करें।

  1. निर्माता के विनिर्देशों का पालन करते हुए, उत्पाद विनिर्देश 24 में पृष्ठ 25 पर वर्णित के रूप में 100 किलोग्राम के लिए आयाम वाले बोल्ट का उपयोग करके रोबोट को छत या एक तालिका में माउंट करें। सुनिश्चित करें कि हथियार स्वतंत्र रूप से आगे बढ़ सकते हैं और दृश्य के क्षेत्र में दृष्टि की रेखा अस्पष्ट है।
    सावधानी: एक उच्च स्थिति में रोबोट बढ़ते समय लिफ्ट या सुरक्षा रस्सियों का उपयोग करें।
  2. रोबोट के आधार पर स्थित स्टार्ट स्विच को मोड़कर रोबोट शुरू करें। पृष्ठ 47-5625 पर ऑपरेटिंग मैनुअल में वर्णित प्रक्रिया का पालन करके रोबोट कैलिब्रेट करें।
  3. रोबोट IDE को Windows कंप्यूटर पर प्रारंभ करें।
  4. भौतिक रोबोट सिस्टम से कनेक्ट करें (ऑपरेटिंग मैनुअल पृष्ठ 14027)।
  5. रोबोट प्रोग्राम और रोबोट के लिए उपयोगकर्ता इंटरफ़ेस के लिए अनुप्रयोग पुस्तकालयों के लिए कोड लोड करें:
    1. एक छत-घुड़सवार रोबोट के लिए रोबोट कोड फ़ोल्डर रोबोट / InvertedCode में है और रोबोट / TableMountedCode में एक टेबल माउंटेड रोबोट के लिए है। फ़ाइलों में से प्रत्येक के लिए छोड़ दिया / Data.mod, बाएँ / MainModule.mod, सही / Data.mod और दाएँ / MainModule.mod:
    2. फ़ाइल (डेटा या MainModule) के समान नाम के साथ एक नया प्रोग्राम मॉड्यूल (ऑपरेटिंग मैन्युअल पृष्ठ 31827 देखें) बनाएँ और फ़ाइल सामग्री को नए मॉड्यूल में प्रतिलिपि बनाएँ.
    3. रोबोट में फ़ाइलों को सहेजने के लिए रोबोट आईडीई में लागू करें पर दबाएँ।
  6. रोबोट अनुप्रयोग फ़ाइलों TpSViewStereo2.dll, TpsViewStereo2.gtpu.dll, और TpsViewStereo2.pdb FPApp फ़ोल्डर में स्थित रोबोट अनुप्रयोग फ़ाइलों को स्थानांतरित करने के लिए फ़ाइल स्थानांतरण (ऑपरेटिंग मैन्युअल पृष्ठ 34627) का उपयोग करें। इस चरण के बाद, रोबोट आईडीई का आगे उपयोग नहीं किया जाएगा।
  7. ग्राफिकल इंटरफ़ेस को फिर से लोड करने के लिए रोबोट टच डिस्प्ले (FlexPendant) के पीछे रीसेट बटन दबाएं । रोबोट एप्लिकेशन स्टीरियो 2 अब टच डिस्प्ले मेनू के तहत दिखाई देगा।
  8. रिकॉर्डिंग अनुप्रयोग (Liveview) और पोस्टप्रोसेसिंग अनुप्रयोग एक Ubuntu 20.04 कंप्यूटर पर स्क्रिप्ट install_all_linux.sh चलाकर स्थापित करें, Github रिपॉजिटरी में रूट फ़ोल्डर में स्थित है।
  9. रोबोट के लिए प्रत्येक कैमरा माउंट. बढ़ते के लिए आवश्यक घटक चित्र 3A में प्रदर्शित होते हैं।
    1. कैमरे के लिए लेंस माउंट.
    2. तीन M2 शिकंजा के साथ कैमरा एडाप्टर प्लेट के लिए कैमरा माउंट.
    3. कैमरे के विपरीत पक्ष पर चार M6 शिकंजा के साथ कैमरा एडाप्टर प्लेट के लिए परिपत्र बढ़ते प्लेट माउंट।
  10. अन्य कैमरे के लिए चरण 1.9.1-1.9.3 दोहराएँ। परिणामी असेंबली प्रतिबिंबित होती हैं, जैसा कि चित्र 3B और चित्र 3C में दिखाया गया है।
  11. चार M2.5 शिकंजा के साथ रोबोट कलाई के लिए एडाप्टर प्लेट माउंट, जैसा कि चित्रा 3 डी में दिखाया गया है।
    1. एक छत-घुड़सवार रोबोट के लिए: चित्रा 3 C में बाएं कैमरे को बाएं रोबोट हाथ में संलग्न करें जैसा कि चित्र 2A में दिखाया गया है।
    2. एक टेबल-माउंटेड रोबोट के लिए: चित्रा 3 C में बाएं कैमरे को दाएं रोबोट हाथ में संलग्न करें।
  12. USB केबलों को कैमरों से कनेक्ट करें, जैसा कि चित्र 3E में दिखाया गया है, और उबंटू कंप्यूटर से।

2. सत्यापित करें कैमरा अंशांकन

  1. रोबोट टच डिस्प्ले पर, मेनू बटन दबाएं और रोबोट एप्लिकेशन शुरू करने के लिए स्टीरियो 2 का चयन करें। यह मुख्य स्क्रीन को खोल देगा, जैसा कि चित्र 6 ए में दिखाया गया है।
    1. मुख्य स्क्रीन पर, रोबोट एप्लिकेशन में 1100 मिमी के लिए शुरू करने के लिए जाओ पर दबाएं और रोबोट को शुरुआती स्थिति में जाने के लिए प्रतीक्षा करें।
    2. कैमरों से सुरक्षात्मक लेंस कैप निकालें और यूएसबी केबलों को उबंटू कंप्यूटर से कनेक्ट करें।
    3. कैमरा सेंसर से एक मुद्रित अंशांकन ग्रिड (अंशांकन ग्रिड.png रिपॉजिटरी में) 1100 मिमी रखें। संबंधित वर्गों की सही पहचान की सुविधा के लिए, ग्रिड के केंद्र में कहीं एक छोटा पेंच-अखरोट या निशान रखें।
  2. Ubuntu कंप्यूटर पर रिकॉर्डिंग अनुप्रयोग प्रारंभ करें (स्क्रिप्ट start.sh Github भंडार के अंदर liveview फ़ोल्डर में स्थित चलाएँ)। यह इंटरफ़ेस प्रारंभ करता है, जैसा कि चित्र 4 में दिखाया गया है।
    1. एपर्चर को समायोजित करें और एपर्चर और फोकस रिंग्स के साथ लेंस पर ध्यान केंद्रित करें।
    2. रिकॉर्डिंग आवेदन में, Crosshairs visualize करने के लिए Crosshair की जाँच करें।
  3. रिकॉर्डिंग एप्लिकेशन में, सुनिश्चित करें कि क्रॉसहेयर दोनों कैमरा छवियों में एक ही स्थिति में अंशांकन ग्रिड के साथ संरेखित होते हैं, जैसा कि चित्र 4 में दिखाया गया है। सबसे अधिक संभावना है, कुछ समायोजन निम्नानुसार आवश्यक होगा:
    1. यदि क्रॉस ओवरलैप नहीं होते हैं, तो सेटिंग स्क्रीन को खोलने के लिए रोबोट टच डिस्प्ले पर रोबोट एप्लिकेशन में गियर आइकन (नीचे बाएं चित्रा 6ए) दबाएं, जैसा कि चित्र 6 बी में दिखाया गया है।
    2. 1 पर दबाएँ . प्रारंभ पॉस पर जाएँ, जैसा कि चित्र 6B में दिखाया गया है।
    3. कैमरे की स्थिति को समायोजित करने के लिए जॉयस्टिक के साथ रोबोट को जॉग करें (ऑपरेटिंग मैनुअल पृष्ठ 3123)।
    4. प्रत्येक रोबोट हाथ के लिए उपकरण की स्थिति अद्यतन करें। 3 दबाएँ. अद्यतन बाएँ उपकरण और 4. क्रमशः बाएँ और दाएँ हाथ के लिए अंशांकन को सहेजने के लिए दाएँ उपकरण का अद्यतन करें।
    5. मुख्य स्क्रीन पर लौटने के लिए बैक एरो आइकन (ऊपर दाएं, चित्रा 6B) पर दबाएँ.
  4. रोबोट अनुप्रयोग में रन एक्सपेरिमेंट (चित्रा 6A) पर दबाएं और सत्यापित करें कि क्रॉसहेयर संरेखित होते हैं। अन्यथा, चरण 2.3-2.3.5 दोहराएँ।
  5. इस बिंदु पर दूरी और / या समय में किसी भी परिवर्तन को जोड़ें और परीक्षण करें। इसके लिए रोबोट प्रोग्राम कोड और उन्नत रोबोट प्रोग्रामिंग कौशल में बदलाव की आवश्यकता होती है। बाएँ कार्य (भुजा) में डेटा मॉड्यूल में निम्न चर परिवर्तित करें: पूर्णांक सरणी चर दूरी में वांछित पृथक्करण दूरी, पूर्णांक सरणी ConvergencePos में अभिसरण दूरी और चर Nwaittime (सेकंड में मान) को संपादित करके प्रत्येक चरण में समय संपादित करें।
    चेतावनी: लाइव सर्जरी के दौरान कभी भी एक untested रोबोट कार्यक्रम न चलाएं।
  6. जब अंशांकन पूरा हो जाता है, तो रोबोट हथियारों को स्टैंडबाय स्थिति में उठाने के लिए उठाएं पर दबाएं ।
  7. वैकल्पिक रूप से रोबोट को बंद कर दें।
    नोट:: प्रक्रिया ऊपर दिए गए चरणों में से किसी के बीच रोका जा सकता है।

3. सर्जरी की शुरुआत में तैयारी

  1. रोबोट धूल.
    1. यदि रोबोट बंद कर दिया गया था, तो इसे रोबोट के आधार पर स्थित स्टार्ट स्विच को चालू करके शुरू करें ।
  2. स्पर्श प्रदर्शन और रिकॉर्डिंग अनुप्रयोग चरण 2.1 और 2.2 में वर्णित पर रोबोट अनुप्रयोग प्रारंभ करें।
  3. रिकॉर्डिंग अनुप्रयोग में, बनाएँ और उसके बाद जहाँ वीडियो को सहेजने के लिए फ़ोल्डर का चयन करें ( फ़ोल्डर परिवर्तित करें दबाएँ)।
  4. रोबोट आवेदन में: गियर आइकन दबाएं, रोगी के संबंध में कैमरों की स्थिति। क्रमशः रोबोट और ऊंचाई से हाथ की दूरी के लिए +/- दबाकर एक्स और जेड दिशा बदलें, ताकि छवि सर्जिकल क्षेत्र को कैप्चर कर सके। मैन्युअल रूप से रोबोट या रोगी को स्थानांतरित करके वाई-दिशा में स्थिति का प्रदर्शन करें।
    नोट:: तैयारी चरण3.1-3.4 के बीच तैयारी को रोका जा सकता है।

4. प्रयोग

सावधानी: सभी कर्मियों को प्रयोग के बारे में पहले से सूचित किया जाना चाहिए।

  1. सर्जरी को रोकें।
    1. OR कर्मियों को सूचित करें कि प्रयोग शुरू हो गया है।
  2. रिकॉर्डिंग अनुप्रयोग में रिकॉर्ड दबाएँ.
  3. रोबोट अनुप्रयोग में प्रयोग चलाएँ दबाएँ।
  4. प्रोग्राम के चलने तक प्रतीक्षा करें; रोबोट समाप्त होने पर स्पर्श प्रदर्शन पर रोबोट आवेदन में "पूर्ण" प्रदर्शित करता है।
  5. बाहर निकलें दबाकर रिकॉर्डिंग अनुप्रयोग में रिकॉर्डिंग बंद करें।
    1. OR कर्मियों को सूचित करें कि प्रयोग समाप्त हो गया है।
  6. सर्जरी फिर से शुरू करें।
    नोट:: प्रयोग चरण 4.1-4.6 के दौरान रोका नहीं जा सकता।

5. दोहराएँ

  1. किसी अन्य अनुक्रम को कैप्चर करने के लिए चरण 4.1-4.6 दोहराएँ और विभिन्न सर्जरी से अनुक्रमों को कैप्चर करने के लिए चरण 3.1-3.4 और चरण 4.1-4.6। लगभग दस पूर्ण अनुक्रमों को कैप्चर करें।

6. पोस्टप्रोसेसिंग

नोट:: निम्न चरणों को अधिकांश वीडियो संपादन सॉफ़्टवेयर या पोस्टप्रोसेसिंग फ़ोल्डर में प्रदान की गई स्क्रिप्ट का उपयोग करके किया जा सकता है।

  1. इस मामले में, वीडियो debayer के रूप में यह रॉ प्रारूप में सहेजा जाता है:
    1. चित्र8A में दिखाए गए debayer अनुप्रयोग को खोलने के लिए स्क्रिप्ट postprocessing/debayer/run.sh चलाएँ।
    2. इनपुट निर्देशिका ब्राउज़ करें दबाएँ और RAW वीडियो के साथ फ़ोल्डर का चयन करें।
    3. दबाएँ आउटपुट निर्देशिका ब्राउज़ करें और परिणामी debayered और रंग-समायोजित वीडियो फ़ाइलों के लिए एक फ़ोल्डर का चयन करें।
    4. प्रेस Debayer! और प्रक्रिया समाप्त होने तक प्रतीक्षा करें - दोनों प्रगति सलाखों पूर्ण हैं, जैसा कि चित्रा 8 बी में दिखाया गया है।
  2. दाएँ और बाएँ सिंक्रनाइज़ किए गए वीडियो को 3D स्टीरियो format28 में मर्ज करें:
    1. मर्ज अनुप्रयोग प्रारंभ करने के लिए स्क्रिप्ट postprocessing/merge_tb/run.sh चलाएँ; यह चित्र 8C में दिखाए गए ग्राफ़िकल यूजर इंटरफ़ेस को खोलता है।
    2. प्रेस ब्राउज़ इनपुट निर्देशिका और debayered वीडियो फ़ाइलों के साथ फ़ोल्डर का चयन करें।
    3. आउटपुट निर्देशिका ब्राउज़ करें दबाएँ और परिणामी मर्ज किए गए 3D स्टीरियो फ़ाइल के लिए किसी फ़ोल्डर का चयन करें.
    4. प्रेस मर्ज! और तब तक प्रतीक्षा करें जब तक कि चित्रा 8D में फिनिश स्क्रीन नहीं दिखाई जाती है।
  3. वीडियो में प्रत्येक कैमरा दूरी पर पाठ लेबल जोड़ने के लिए प्रीमियर प्रो जैसे ऑफ-द-शेल्फ वीडियो संपादन सॉफ़्टवेयर का उपयोग करें।
    नोट: वीडियो में, हर बार रोबोट के स्थानांतरित होने पर एक दृश्यमान शेक होता है, और कैमरे की दूरी बढ़ जाती है। इस प्रयोग में, कैमरे की दूरी के लिए लेबल ए-टी का उपयोग किया गया था।

7. मूल्यांकन

  1. एक सक्रिय 3 डी प्रोजेक्टर के साथ शीर्ष-नीचे 3 डी प्रारूप में वीडियो प्रदर्शित करें।
  2. देखने का अनुभव देखने के कोण और स्क्रीन की दूरी पर निर्भर करता है; इच्छित ऑडियंस और सेटअप का उपयोग करके वीडियो का मूल्यांकन करें.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

ऊपर-नीचे स्टीरियोस्कोपिक 3 डी में शीर्ष पर रखी गई सही छवि के साथ एक स्वीकार्य मूल्यांकन वीडियो वीडियो 1 में दिखाया गया है। एक सफल अनुक्रम तेज, केंद्रित, और unsynchronized छवि फ्रेम के बिना होना चाहिए। असिंक्रनाइज़ किए गए वीडियो स्ट्रीम ्स धुंधला होने का कारण बनेंगे, जैसा कि फ़ाइल वीडियो 2 में दिखाया गया है। अभिसरण बिंदु को क्षैतिज रूप से केंद्रित किया जाना चाहिए, जो कैमरे के अलगाव से स्वतंत्र है, जैसा कि चित्र 9 ए, बी में देखा गया है। जब रोबोट पदों के बीच संक्रमण करता है, तो वीडियो में एक छोटा सा शेक होता है, जिसे 50 मिमी / सेकंड के संक्रमण वेग पर उम्मीद की जाती है। दाएं और बाएं छवि के बीच बहुत बड़े अलगाव के साथ, मस्तिष्क छवियों को एक 3 डी छवि में फ्यूज नहीं कर सकता है, चित्रा 9 सी और वीडियो 3 देखें।

छवियों में दिल की स्थिति पूरे वीडियो के दौरान केंद्रित होनी चाहिए, जैसा कि चित्र 1 सी में दिखाया गया है। कई कारणों से यह विफल हो सकता है: (1) अभिसरण बिंदु दिल से बहुत दूर है, चित्रा 7 देखें। रोगी के सापेक्ष कैमरा पदों को रोबोट एप्लिकेशन सेटिंग स्क्रीन (चित्रा 6 बी) से संशोधित किया जा सकता है। (2) कैमरा उपकरण समन्वय प्रणाली ठीक से कॉन्फ़िगर नहीं किया गया है। रोबोट प्रोग्राम एक साथ अभिसरण बिंदु (चित्रा 2 सी) के चारों ओर रेडियल गति में कैमरे को सममित रूप से स्थानांतरित करेगा और कैमरा टूल निर्देशांक प्रणाली (चित्रा 5) के चारों ओर कैमरों को घुमाएगा। कैमरा एडाप्टर प्लेट्स (चित्रा 3) को इकट्ठा या गलत तरीके से माउंट किया गया है, तो डिफ़ॉल्ट मान काम नहीं करेगा। चरण 2.1-2.4 को फिर से चलाएँ और सुनिश्चित करें कि रिकॉर्डिंग एप्लिकेशन (चित्रा 6) में क्रॉसहेयर पूर्ण रोबोट गति के दौरान एक ही ऑब्जेक्ट पर इंगित करते हैं। निर्देशांक फ़्रेम को समायोजित करते समय, सुनिश्चित करें कि अंशांकन (चित्रा 4) के लिए उपयोग की जाने वाली वस्तु कैमरों के बीच केंद्रित है; अन्यथा, अंशांकन गैर-सममित निर्देशांक फ्रेम में परिणाम होगा।

रंग debayering अनुप्रयोग (चित्रा 8) के साथ debayering के बाद गलत हैं, तो कब्जा कर लिया वीडियो गलत debayering प्रारूप है. यह उपयोगकर्ता debayering आवेदन के लिए कोड को संशोधित करने या किसी अन्य debayering उपकरण का उपयोग करने की आवश्यकता है। इसी तरह, यदि स्टीरियो वीडियो के बीच स्वचालित सिंक्रनाइज़ेशन विफल रहता है, तो उपयोगकर्ता को वीडियो को संरेखित करने के लिए प्रीमियर प्रो जैसे वीडियो संपादन कार्यक्रमों का उपयोग करना चाहिए।

परिणामों का विश्लेषण करने के लिए, वीडियो को इच्छित ऑडियंस के लिए 3D प्रोजेक्टर पर प्रदर्शित किया जाना चाहिए. दर्शक व्यक्तिपरक रूप से रेट कर सकते हैं कि 3 डी वीडियो वास्तविक जीवन की स्थिति से कितनी अच्छी तरह मेल खाता है। चरण 6.3 में जोड़े गए लेबल का उपयोग विभिन्न दूरी स्कोर करने के लिए किया जा सकता है।

Figure 1
चित्र 1. अभिसरण बिंदु का स्थान। ब्याज की वस्तु (ग्रे डॉट) के सापेक्ष अभिसरण बिंदुओं का विभिन्न स्थान। (ए) वस्तु के सामने अभिसरण बिंदु, (बी) वस्तु के पीछे, और (सी) वस्तु पर। प्रत्येक कैमरा छवि के लिए मध्य रेखा एक बिंदीदार रेखा के साथ दिखाया गया है। सर्जन को ऊपर से दिखाया गया है, कैमरों के बीच खड़ा है। शीर्ष पर, बाईं ओर वस्तु की परिणामी स्थिति और दाएं कैमरे की छवियों को मध्यरेखा के सापेक्ष प्रदर्शित किया जाता है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 2
चित्रा 2: रोबोट गति. कैमरा पृथक्करण को (ए) 50 मिमी से (बी) 240 मिमी तक 10 मिमी के वृद्धिशील चरणों के साथ बढ़ाया गया था। (सी) रोबोट ने कैमरों को रेडियल रूप से स्थानांतरित कर दिया, हमेशा कैमरों को अभिसरण बिंदु की ओर इशारा किया - दिल। यहाँ दूरी D कैमरों के बीच की दूरी है, R त्रिज्या 1100 या 1400 मिमी है, और a कैमरों का कोण है, sin(a) = D/2R है। दाएं और बाएं कैमरों को क्रमशः नकारात्मक और सकारात्मक दिशा में एक डिग्री को इंगित किया गया था, उपकरण जेड-अक्ष के चारों ओर। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 3
चित्रा 3: रोबोट पर बढ़ते कैमरे। (ए) एक कैमरे के लिए घटकों का विस्फोट दृश्य: लेंस, कैमरा सेंसर, कैमरा एडाप्टर प्लेट, परिपत्र बढ़ते प्लेट, रोबोट कलाई और शिकंजा। दो इकट्ठे कैमरा एडाप्टर (बी) रोबोट पक्ष और (सी) सामने से दिखाए जाते हैं। (D) Adaptors चार M2.5 शिकंजा के साथ रोबोट कलाई से जुड़े. (ई) कैमरों से जुड़े यूएसबी केबल। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 4
चित्रा 4: रिकॉर्डिंग आवेदन के साथ कैमरा अंशांकन. एक अंशांकन ग्रिड और एक पेंच-अखरोट का उपयोग रोबोट रिट के सापेक्ष कैमरा टूल समन्वय प्रणालियों को कैलिब्रेट करने के लिए किया गया था। कैमरों को कोण किया जाना चाहिए ताकि अखरोट छवियों के केंद्र में हो। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 5
चित्रा 5: कैमरा उपकरण समन्वय प्रणाली. कैमरा उपकरण निर्देशांक प्रणाली के X-अक्ष (लाल), Y-अक्ष (हरा), और Z-अक्ष (नीला). कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 6
चित्रा 6: रोबोट अनुप्रयोग. (A) प्रयोगों को चलाने के लिए स्पर्श प्रदर्शन पर मुख्य स्क्रीन का प्रदर्शन। (बी) उपकरण अंशांकन और अभिसरण बिंदु के समायोजन के लिए सेटअप स्क्रीन। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 7
चित्र 7: त्रुटि अनुमान। अभिसरण त्रुटि (ए) ऊपर और (बी) वांछित अभिसरण बिंदु के नीचे। क्षैतिज आधार रेखा दूरी (डी = 240 मिमी), कैमरों के बीच की दूरी, और अभिसरण बिंदु (आर = 1100)। कैमरों और अभिसरण बिंदु (z = 1093 मिमी) के बीच की ऊर्ध्वाधर दूरी, छवि केंद्र बिंदुओं (क्रॉसहेयर्स) (ई = 2 मिमी) के बीच अधिकतम अलगाव, ऊर्ध्वाधर त्रुटि दूरी जब वास्तविक अभिसरण बिंदु वांछित अभिसरण स्थिति (f1 = 9 मिमी) से ऊपर होता है। ऊर्ध्वाधर त्रुटि दूरी जब वास्तविक अभिसरण बिंदु वांछित अभिसरण स्थिति (f2 = 9.2 मिमी) से नीचे होता है। आकृति पैमाने के लिए तैयार नहीं है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 8
चित्रा 8: debayering और विलय के लिए पोस्टप्रोसेसिंग अनुप्रयोगों. (A) प्रारंभ करें और (B) debayer अनुप्रयोग के समाप्त स्क्रीन. (C) प्रारंभ करें और (D) मर्ज अनुप्रयोग की समाप्त स्क्रीन। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

Figure 9
चित्रा 9: समाप्त स्टीरियो वीडियो के स्नैपशॉट. मानक शीर्ष / नीचे 3 डी स्टीरियो प्रारूप का पालन करने के लिए मूल छवियों से केवल हर अन्य पिक्सेल पंक्ति का उपयोग किया गया था। ऊपरी छवियां दाएं कैमरे से और बाएं कैमरे से नीचे हैं। (ए) 50 मिमी बेसलाइन दूरी के साथ 3 डी स्टीरियो छवि और दिल के पीछे या-टेबल पर अभिसरण बिंदु। (बी) 240 मिमी बेसलाइन दूरी के साथ 3 डी स्टीरियो छवि और दिल के पीछे या-तालिका में अभिसरण बिंदु। (सी) 240 मिमी बेसलाइन दूरी और दिल के पीछे 300 मिमी अभिसरण बिंदु के साथ 3 डी स्टीरियो छवि। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.

वीडियो 1. स्टीरियो 1100 मिमी पर 3 डी वीडियो. अभिसरण बिंदु दिल पर है, कैमरों से 1100 मिमी। वीडियो 50 मिमी (ए) की बेसलाइन दूरी के साथ शुरू होता है और 10 मिमी से 240 मिमी (टी) के चरणों के साथ बढ़ता है। कृपया इस वीडियो को डाउनलोड करने के लिए यहाँ क्लिक करें.

वीडियो 2. असिंक्रनाइज़्ड स्टीरियो 3 डी वीडियो। दाएँ और बाएँ वीडियो सिंक्रनाइज़ नहीं होते हैं जो 3D में देखने पर धुंधला हो जाता है। कृपया इस वीडियो को डाउनलोड करने के लिए यहाँ क्लिक करें.

वीडियो 3. स्टीरियो 1400 मिमी पर 3 डी वीडियो. अभिसरण बिंदु दिल के पीछे है, कैमरों से 1400 मिमी। वीडियो कृपया इस वीडियो को डाउनलोड करने के लिए यहाँ क्लिक करें.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

लाइव सर्जरी के दौरान, 3 डी वीडियो डेटा संग्रह के लिए उपयोग किए जाने वाले प्रयोग का कुल समय रोगी के लिए सुरक्षित होने के लिए सीमित था। यदि ऑब्जेक्ट अनफोकस्ड या ओवरएक्सपोज़्ड है, तो डेटा का उपयोग नहीं किया जा सकता है। महत्वपूर्ण चरण कैमरा उपकरण अंशांकन और सेटअप (चरण 2) के दौरान हैं। जब सर्जरी शुरू हो जाती है तो कैमरा एपर्चर और फोकस को बदला नहीं जा सकता है; सेटअप और सर्जरी के दौरान एक ही प्रकाश की स्थिति और दूरी का उपयोग किया जाना चाहिए। चरण 2.1-2.4 में कैमरा अंशांकन को यह सुनिश्चित करने के लिए सावधानीपूर्वक किया जाना चाहिए कि दिल कैप्चर किए गए वीडियो में केंद्रित है। अंशांकन समस्या निवारण करने के लिए, कैमरा उपकरण निर्देशांक सिस्टम के मानों को निर्देशांक प्रणाली (चरण 2.3.3) में रोबोट को जॉगिंग करके अलग से सत्यापित किया जा सकता है। सर्जरी से पहले रिकॉर्डिंग एप्लिकेशन के साथ पूर्ण रोबोट प्रोग्राम और कैमरों का परीक्षण करना महत्वपूर्ण है। ऑपरेटिंग टेबल की ऊंचाई कभी-कभी सर्जरी के दौरान समायोजित की जाती है; रोबोट कैमरों की ऊंचाई भी रोबोट आवेदन (चरण 3.4) में लाइव संशोधित किया जा सकता है दिल के लिए वांछित दूरी रखने के लिए. रोबोट प्रोग्राम की दूरी और प्रतीक्षा समय को चरण 2.5 में वर्णित के रूप में संशोधित किया जा सकता है।

इस तकनीक की एक सीमा यह है कि इसके लिए आवश्यक है कि सर्जरी को रोक दिया जाए; इसलिए, डेटा संग्रह केवल तभी किया जा सकता है जब रोगी के लिए सर्जरी को रोकना सुरक्षित हो। एक और सीमा यह है कि छत में रोबोट को माउंट करने के लिए ऑपरेटिंग रूम के भौतिक अनुकूलन की आवश्यकता होती है और प्रोग्राम किए गए रोबोट गति यह मानती है कि रोबोट दिल के ऊपर केंद्रित है। इसके अतिरिक्त, कैमरों को समानांतर के बजाय टोड-इन किया जाता है, जो एक कीस्टोन प्रभाव का कारण बन सकता है। कीस्टोन प्रभाव को पोस्टप्रोडक्शन 29,30,31 में समायोजित किया जा सकता है।

एक चाप पर रखे गए कई कैमरों की एक सरणी का उपयोग समान डेटा 23 एकत्र करने के लिए किया जा सकता है। कैमरा सरणी सभी कैमरों से एक साथ छवियों को कैप्चर कर सकती है; इस प्रकार, सर्जरी को कम समय के लिए रोका जा सकता है। एक कैमरा सरणी के लिए त्रुटि का एक स्रोत यह है कि कैमरों में थोड़ा अलग फोकस, एपर्चर और अंशांकन हो सकता है और जब विभिन्न कैमरा जोड़े के वीडियो की तुलना की जाती है, तो बेसलाइन दूरी के अलावा अन्य पैरामीटर छवि की गुणवत्ता और गहराई धारणा को प्रभावित कर सकते हैं। एक कैमरा सरणी के साथ एक और खामी यह है कि बेसलाइन दूरी के बीच चरण आकार कैमरों के भौतिक आकार द्वारा सीमित है। उदाहरण के लिए, इस अध्ययन में उपयोग किए जाने वाले लेंस का व्यास 30 मिमी है, जो न्यूनतम संभव चरण आकार के बराबर होगा। अध्ययन में प्रस्तुत सेटअप के साथ, 10 मिमी के चरण आकार का परीक्षण किया गया था, लेकिन यदि आवश्यक हो तो इसे छोटा सेट किया जा सकता है। इसके अलावा, सरणी सेटअप के साथ, ऊंचाई और अभिसरण दूरी गतिशील रूप से समायोजित नहीं किया जा सकता है।

एक अन्य विकल्प मैन्युअल रूप से कैमरों को पूर्वनिर्धारित पदों 22 पर ले जाना है। लाइव हार्ट सर्जरी के दौरान यह संभव नहीं है क्योंकि यह महत्वपूर्ण सर्जिकल कार्यक्षेत्र और समय का उल्लंघन करेगा।

यह विधि कई प्रकार की खुली सर्जरी पर लागू होती है, जिसमें ऑर्थोपेडिक, संवहनी और सामान्य सर्जरी शामिल हैं, जहां इष्टतम आधार रेखा और अभिसरण दूरी अभी तक निर्धारित नहीं की गई है।

इस विधि को 3 डी विज़ुअलाइज़ेशन के अलावा अन्य उद्देश्यों के लिए छवियों को इकट्ठा करने के लिए भी अनुकूलित किया जा सकता है। कई कंप्यूटर दृष्टि अनुप्रयोग किसी वस्तु की दूरी की गणना करने के लिए छवियों के बीच असमानता का उपयोग करते हैं। एक सटीक कैमरा गति का उपयोग 3 डी मॉडल बनाने के लिए कई दिशाओं से स्थिर वस्तुओं को स्कैन करने के लिए 3 डी करने के लिए किया जा सकता है। 3 डी स्थानीयकरण के लिए, 3 डी देखने का अनुभव कम महत्वपूर्ण है यदि ऑब्जेक्ट पर समान बिंदुओं को सटीक कैमरा पोजिशनिंग, कैमरा अंशांकन, प्रकाश स्थितियों और फ्रेम सिंक्रनाइज़ेशन के आधार पर विभिन्न छवियों में पहचाना जा सकता है।

रोबोट-नियंत्रित कैमरा पोजिशनिंग स्टीरियोस्कोपिक 3 डी वीडियो के लिए इष्टतम कैमरा पदों की पहचान के लिए वीडियो डेटा एकत्र करने के लिए सुरक्षित और प्रभावी दोनों है।

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

लेखकों के पास खुलासा करने के लिए कुछ भी नहीं है।

Acknowledgments

यह शोध विनोवा (2017-03728, 2018-05302 और 2018-03651), हार्ट-लंग फाउंडेशन (20180390), फैमिली कंप्रैड फाउंडेशन (20190194), और अन्ना-लिसा और स्वेन एरिक लुंडग्रेन फाउंडेशन (2017 और 2018) से वित्त पोषण के साथ किया गया था।

Materials

Name Company Catalog Number Comments
2 C-mount lenses (35 mm F2.1, 5 M pixel) Tamron M112FM35 Rated for 5 Mpixel
3D glasses (DLP-link active shutter) Celexon G1000 Any compatible 3D glasses can be used
3D Projector Viewsonic X10-4K Displays 3D in 1080, can be exchanged for other 3D projectors
6 M2 x 8 screws To attach the cXimea cameras to the camera adaptor plates
8 M2.5 x 8 screws To attach the circular mounting plates to the robot wrist
8 M5 x 40 screws To mount the robot
8 M6 x 10 screws with flat heads For attaching the circular mounting plate and the camera adaptor plates
Calibration checker board plate (25 by 25 mm) Any standard checkerboard can be used, including printed, as long as the grid is clearly visible in the cameras
Camera adaptor plates, x2 Designed by the authors in robot_camera_adaptor_plates.dwg, milled in aluminium.
Circular mounting plates, x2 Distributed with the permission of the designer Julius Klein and printed with ABS plastic on an FDM 3D printer. License Tecnalia Research & Innovation 2017. Attached as Mountingplate_ROBOT_SIDE_
NewDesign_4.stl
Fix focus usb cameras, x2 (5 Mpixel) Ximea MC050CG-SY-UB With Sony IMX250LQR sensor
Flexpendant ABB 3HAC028357-001 robot touch display
Liveview recording application
RobotStudio  robot integrated development environment (IDE)
USB3 active cables (10.0 m), x2 Thumbscrew lock connector, water proofed.
YuMi dual-arm robot ABB IRB14000

DOWNLOAD MATERIALS LIST

References

  1. Held, R. T., Hui, T. T. A guide to stereoscopic 3D displays in medicine. Academic Radiology. 18 (8), 1035-1048 (2011).
  2. van Beurden, M. H. P. H., IJsselsteijn, W. A., Juola, J. F. Effectiveness of stereoscopic displays in medicine: A review. 3D Research. 3 (1), 1-13 (2012).
  3. Luursema, J. M., Verwey, W. B., Kommers, P. A. M., Geelkerken, R. H., Vos, H. J. Optimizing conditions for computer-assisted anatomical learning. Interacting with Computers. 18 (5), 1123-1138 (2006).
  4. Takano, M., et al. Usefulness and capability of three-dimensional, full high-definition movies for surgical education. Maxillofacial Plastic and Reconstructive Surgery. 39 (1), 10 (2017).
  5. Triepels, C. P. R., et al. Does three-dimensional anatomy improve student understanding. Clinical Anatomy. 33 (1), 25-33 (2020).
  6. Beermann, J., et al. Three-dimensional visualisation improves understanding of surgical liver anatomy. Medical Education. 44 (9), 936-940 (2010).
  7. Battulga, B., Konishi, T., Tamura, Y., Moriguchi, H. The Effectiveness of an interactive 3-dimensional computer graphics model for medical education. Interactive Journal of Medical Research. 1 (2), (2012).
  8. Yammine, K., Violato, C. A meta-analysis of the educational effectiveness of three-dimensional visualization technologies in teaching anatomy. Anatomical Sciences Education. 8 (6), 525-538 (2015).
  9. Fitzgerald, J. E. F., White, M. J., Tang, S. W., Maxwell-Armstrong, C. A., James, D. K. Are we teaching sufficient anatomy at medical school? The opinions of newly qualified doctors. Clinical Anatomy. 21 (7), 718-724 (2008).
  10. Bergman, E. M., Van Der Vleuten, C. P. M., Scherpbier, A. J. J. A. Why don't they know enough about anatomy? A narrative review. Medical Teacher. 33 (5), 403-409 (2011).
  11. Terzić, K., Hansard, M. Methods for reducing visual discomfort in stereoscopic 3D: A review. Signal Processing: Image Communication. 47, 402-416 (2016).
  12. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  13. Fan, Z., Zhang, S., Weng, Y., Chen, G., Liao, H. 3D quantitative evaluation system for autostereoscopic display. Journal of Display Technology. 12 (10), 1185-1196 (2016).
  14. McIntire, J. P., et al. Binocular fusion ranges and stereoacuity predict positional and rotational spatial task performance on a stereoscopic 3D display. Journal of Display Technology. 11 (11), 959-966 (2015).
  15. Kalia, M., Navab, N., Fels, S. S., Salcudean, T. A method to introduce & evaluate motion parallax with stereo for medical AR/MR. IEEE Conference on Virtual Reality and 3D User Interfaces. , 1755-1759 (2019).
  16. Kytö, M., Hakala, J., Oittinen, P., Häkkinen, J. Effect of camera separation on the viewing experience of stereoscopic photographs. Journal of Electronic Imaging. 21 (1), 1-9 (2012).
  17. Moorthy, A. K., Su, C. C., Mittal, A., Bovik, A. C. Subjective evaluation of stereoscopic image quality. Signal Processing: Image Communication. 28 (8), 870-883 (2013).
  18. Yilmaz, G. N. A depth perception evaluation metric for immersive 3D video services. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. , 1-4 (2017).
  19. Lebreton, P., Raake, A., Barkowsky, M., Le Callet, P. Evaluating depth perception of 3D stereoscopic videos. IEEE Journal on Selected Topics in Signal Processing. 6, 710-720 (2012).
  20. López, J. P., Rodrigo, J. A., Jiménez, D., Menéndez, J. M. Stereoscopic 3D video quality assessment based on depth maps and video motion. EURASIP Journal on Image and Video Processing. 2013 (1), 62 (2013).
  21. Banks, M. S., Read, J. C., Allison, R. S., Watt, S. J. Stereoscopy and the human visual system. SMPTE Motion Imaging Journal. 121 (4), 24-43 (2012).
  22. Kytö, M., Nuutinen, M., Oittinen, P. Method for measuring stereo camera depth accuracy based on stereoscopic vision. Three-Dimensional Imaging, Interaction, and Measurement. 7864, 168-176 (2011).
  23. Kang, Y. S., Ho, Y. S. Geometrical compensation algorithm of multiview image for arc multi-camera arrays. Advances in Multimedia Information Processing. 2008, 543-552 (2008).
  24. Product Specification IRB 14000. DocumentID: 3HAC052982-001 Revision J. ABB Robotics. , Available from: https://library.abb.com/en/results (2018).
  25. Operating Manual IRB 14000. Document ID: 3HAC052986-001 Revision F. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  26. Github repository. , Available from: https://github.com/majstenmark/stereo2 (2021).
  27. Operating manual RobotStudio. Document ID: 3HAC032104-001 Revision Y. ABB Robotics. , Available from: https://library.abb.com/en/results (2019).
  28. Won, C. S. Adaptive interpolation for 3D stereoscopic video in frame-compatible top-bottom packing. IEEE International Conference on Consumer Electronics. 2011, 179-180 (2011).
  29. Kim, S. K., Lee, C., Kim, K. T. Multi-view image acquisition and display. Three-Dimensional Imaging, Visualization, and Display. Javidi, B., Okano, F., Son, J. Y. , Springer. New York. 227-249 (2009).
  30. Liu, F., Niu, Y., Jin, H. Keystone correction for stereoscopic cinematography. IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops. 2012, 1-7 (2012).
  31. Kang, W., Lee, S. Horizontal parallax distortion correction method in toed-in camera with wide-angle lens. 3DTV Conference: The True Vision - Capture, Transmission and Display of 3D Video. 2009, 1-4 (2009).

Tags

चिकित्सा अंक 174 स्टीरियो विजन 3 डी कैमरा बेसलाइन गहराई धारणा रोबोटिक्स ओपन-हार्ट सर्जरी
ओपन-हार्ट सर्जरी के स्टीरियो 3 डी विज़ुअलाइज़ेशन के लिए आदर्श कॉन्फ़िगरेशन निर्धारित करने के लिए कैमरा पदों का रोबोटीकृत परीक्षण
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Stenmark, M., Omerbašić,… More

Stenmark, M., Omerbašić, E., Magnusson, M., Nordberg, S., Dahlström, M., Tran, P. K. Robotized Testing of Camera Positions to Determine Ideal Configuration for Stereo 3D Visualization of Open-Heart Surgery. J. Vis. Exp. (174), e62786, doi:10.3791/62786 (2021).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter