Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Medicine
Click here for the English version

Medicine

स्मार्टफोन पर रोगी मॉडल प्रदर्शित करने के लिए ऑगमेंटेड रियलिटी और 3डी प्रिंटिंग का संयोजन

Published: January 2, 2020 doi: 10.3791/60618
Automatic Translation
1,2, 1,2, 1,2, 2,3,4, 2,3,4, 1,2
1Department of Bioengineering and Aerospace Engineering, Universidad Carlos III de Madrid, 2Instituto de Investigación Sanitaria Gregorio Marañón, 3Department of Orthopedic Surgery and Traumatology, Hospital General Universitario Gregorio Marañón, 4Department of Surgery, Faculty of Medicine, Universidad Complutense de Madrid

Summary

यहां प्रस्तुत एक 3 डी मुद्रित संदर्भ मार्कर का उपयोग कर रोगियों के शारीरिक तीन आयामी मॉडल के दृश्य के लिए एक संवर्धित वास्तविकता स्मार्टफोन आवेदन डिजाइन करने के लिए एक विधि है ।

Abstract

संवर्धित वास्तविकता (एआर) में चिकित्सा क्षेत्र में शिक्षा, प्रशिक्षण और शल्य चिकित्सा मार्गदर्शन में काफी संभावनाएं हैं। त्रि-आयामी (3डी) प्रिंटिंग (3डीपी) के साथ इसका संयोजन नैदानिक अनुप्रयोगों में नई संभावनाएं खोलता है। हालांकि इन प्रौद्योगिकियों हाल के वर्षों में तेजी से वृद्धि हुई है, चिकित्सकों द्वारा उनके गोद लेने अभी भी सीमित है, क्योंकि वे इंजीनियरिंग और सॉफ्टवेयर विकास के व्यापक ज्ञान की आवश्यकता है । इसलिए, इस प्रोटोकॉल का उद्देश्य अनुभवहीन उपयोगकर्ताओं को स्मार्टफोन ऐप बनाने में सक्षम बनाने के लिए एक कदम-दर-कदम कार्यप्रणाली का वर्णन करना है, जो 3डी-मुद्रित संदर्भ मार्कर वाले रोगियों के शारीरिक 3डी मॉडलके दृश्य के लिए एआर और 3डीपी को जोड़ती है। प्रोटोकॉल में बताया गया है कि 3डी मेडिकल छवियों से प्राप्त रोगी की शरीर रचना विज्ञान के 3डी वर्चुअल मॉडल कैसे बनाए जाएं। इसके बाद यह बताता है कि मार्कर संदर्भों के संबंध में 3डी मॉडलकी पोजिशनिंग कैसे की जाती है। इसके अलावा आवश्यक उपकरण और मॉडल को 3डी प्रिंट करने के लिए निर्देश दिए गए हैं। अंत में, ऐप को तैनात करने के लिए कदम प्रदान किए जाते हैं। प्रोटोकॉल मुफ्त और बहु मंच सॉफ्टवेयर पर आधारित है और किसी भी चिकित्सा इमेजिंग तौर-तरीकों या रोगी पर लागू किया जा सकता है। एक वैकल्पिक दृष्टिकोण एक 3 डी मुद्रित एक मरीज की शरीर रचना विज्ञान और अनुमानित होलोग्राम से बनाया मॉडल के बीच स्वचालित पंजीकरण प्रदान करने के लिए वर्णित है । उदाहरण के तौर पर, कार्यप्रणाली को समझाने के लिए डिस्टल लेग सारकोमा से पीड़ित रोगी का एक नैदानिक मामला प्रदान किया जाता है। उम्मीद है कि इस प्रोटोकॉल से चिकित्सा पेशेवरों द्वारा एआर और 3डीपी प्रौद्योगिकियों को अपनाने में तेजी आएगी ।

Introduction

एआर और 3डीपी ऐसी तकनीकें हैं जो चिकित्सा क्षेत्र में अनुप्रयोगों की बढ़ती संख्या प्रदान करती हैं। एआर के मामले में, आभासी 3 डी मॉडल ों के साथ इसकी बातचीत और वास्तविक पर्यावरण चिकित्सकों को शिक्षा और प्रशिक्षण1,2,3,संचार और अन्य चिकित्सकों के साथ बातचीतकेसंबंध में लाभ देता है, और नैदानिक हस्तक्षेप के दौरान मार्गदर्शन5,6,7,8,9,10। इसी तरह, रोगी-विशिष्ट अनुकूलन उपकरण11,12,13 विकसित करते समय या रोगी की शरीर रचना विज्ञान के 3डी मॉडल बनाने के दौरान 3डीपी चिकित्सकों के लिए एक शक्तिशाली समाधान बन गया है, जो प्रीऑपरेटिव योजना और नैदानिक हस्तक्षेप14,15में सुधार करने में मदद कर सकता है।

एआर और 3डीपी दोनों प्रौद्योगिकियां चिकित्सा प्रक्रियाओं में अभिविन्यास, मार्गदर्शन और स्थानिक कौशल में सुधार करने में मदद करती हैं; इस प्रकार, उनका संयोजन अगला तार्किक कदम है। पिछले काम से पता चला है कि उनके संयुक्त उपयोग रोगी शिक्षा16में मूल्य में वृद्धि कर सकते हैं, चिकित्सा शर्तों और प्रस्तावित उपचार के स्पष्टीकरण की सुविधा, शल्य चिकित्सा कार्यप्रवाह17,18 अनुकूलन और रोगी से मॉडल पंजीकरण19में सुधार । हालांकि इन प्रौद्योगिकियों हाल के वर्षों में तेजी से वृद्धि हुई है, चिकित्सकों द्वारा उनके गोद लेने अभी भी सीमित है, क्योंकि वे इंजीनियरिंग और सॉफ्टवेयर विकास के व्यापक ज्ञान की आवश्यकता है । इसलिए, इस काम का उद्देश्य एक कदम-दर-कदम कार्यप्रणाली का वर्णन करना है जो व्यापक तकनीकी ज्ञान की आवश्यकता के बिना अनुभवहीन उपयोगकर्ताओं द्वारा एआर और 3डीपी के उपयोग को सक्षम बनाता है।

यह प्रोटोकॉल एक एआर स्मार्टफोन ऐप विकसित करने का वर्णन करता है जो स्मार्टफोन कैमरे द्वारा ट्रैक किए गए 3डी-प्रिंटेड मार्कर का उपयोग करके वास्तविक दुनिया के वातावरण पर किसी भी रोगी आधारित 3डी मॉडल को सुपरभव्य करने की अनुमति देता है। इसके अलावा, एक वैकल्पिक दृष्टिकोण एक 3 डी मुद्रित बायोमॉडल (यानी, एक रोगी की शरीर रचना विज्ञान से बनाया एक 3 डी मॉडल) और अनुमानित होलोग्राम के बीच स्वचालित पंजीकरण प्रदान करने के लिए वर्णित है । वर्णित प्रोटोकॉल पूरी तरह से स्वतंत्र और बहु-मंच सॉफ्टवेयर पर आधारित है।

पिछले काम में, एआर रोगी से छवि पंजीकरण सतह मांयता एल्गोरिदम10 के साथ मैन्युअल रूप से5 की गणना की गई है या अनुपलब्ध2किया गया है । जब सटीक पंजीकरणकीआवश्यकता होती है तो इन तरीकों को कुछ हद तक सीमित माना गया है । इन सीमाओं को दूर करने के लिए, यह काम एआर तकनीक और 3डीपी के संयोजन से एआर प्रक्रियाओं में सटीक और सरल रोगी-से-छवि पंजीकरण करने के लिए उपकरण प्रदान करता है।

प्रोटोकॉल सामान्य है और किसी भी चिकित्सा इमेजिंग तौर-तरीक़ा या रोगी पर लागू किया जा सकता है। उदाहरण के तौर पर, कार्यप्रणाली को समझाने के लिए डिस्टल लेग सारकोमा से पीड़ित रोगी का वास्तविक नैदानिक मामला प्रदान किया जाता है। पहला चरण 3डी वर्चुअल मॉडल उत्पन्न करने के लिए गणना टोमोग्राफी (सीटी) चिकित्सा छवियों से प्रभावित शरीर रचना विज्ञान को आसानी से सेगमेंट करने का वर्णन करता है। इसके बाद, 3डी मॉडल की पोजिशनिंग की जाती है, फिर आवश्यक उपकरण और मॉडल 3डी-मुद्रित होते हैं। अंत में, वांछित एआर ऐप तैनात किया जाता है। यह ऐप वास्तविक समय में स्मार्टफोन कैमरे पर मढ़ा रोगी 3 डी मॉडल के दृश्य के लिए अनुमति देता है।

Protocol

यह अध्ययन हेलसिंकी की 1 9 64 की घोषणा के सिद्धांतों के अनुसार किया गया था जैसा कि 2013 में संशोधित किया गया था। इस पत्र में शामिल अनाम रोगी डेटा और चित्रों का उपयोग प्रतिभागी और/या उनके कानूनी प्रतिनिधि से लिखित सूचित सहमति प्राप्त किए जाने के बाद किया जाता है, जिसमें उन्होंने वैज्ञानिक प्रकाशनों सहित प्रसार गतिविधियों के लिए इस डेटा के उपयोग को अनुमोदित किया था ।

1. विभाजन, 3डी मॉडल निष्कर्षण, पोजिशनिंग और एआर ऐप तैनाती के लिए वर्कस्टेशन सेट-अप

नोट:इस प्रोटोकॉल का परीक्षण प्रत्येक उपकरण के लिए इंगित विशिष्ट सॉफ्टवेयर संस्करण के साथ किया गया है। यह नए संस्करणों के साथ काम करने की संभावना है, हालांकि यह गारंटी नहीं है ।

  1. ऑपरेटिंग सिस्टम के रूप में माइक्रोसॉफ्ट विंडोज 10 या मैक ओएस के साथ एक कंप्यूटर का उपयोग करें।
  2. आधिकारिक निर्देशों के अनुसार संबंधित वेबसाइटों से निम्नलिखित उपकरण स्थापित करें:
    3डी स्लाइसर (v. 4.10.2): https://download.slicer.org/।
    मेेशमिक्सर (v. ३.५): http://www.meshmixer.com/download.html।
    एकता (v. 2019): https://unity3d.com/get-unity/download।
    (आईओएस तैनाती के लिए ही) Xcode (अंतिम संस्करण): https://developer.apple.com/xcode/।
    नोट:प्रोटोकॉल को पूरा करने के लिए आवश्यक सभी सॉफ्टवेयर उपकरण व्यक्तिगत उद्देश्यों के लिए स्वतंत्र रूप से डाउनलोड किए जा सकते हैं। प्रत्येक चरण में उपयोग किए जाने वाले सॉफ्टवेयर को विशेष रूप से इंगित किया जाएगा।
  3. https://github.com/BIIG-UC3M/OpenARHealthमें पाए जाने वाले निम्नलिखित गिटहब भंडार से डेटा डाउनलोड करें।
    नोट:भंडार में निम्नलिखित फ़ोल्डर होते हैं:
    "/3DSlicerमॉड्यूल/": 3डी-मुद्रित मार्कर के संबंध में 3डी मॉडल ों को पोजिशनिंग के लिए 3डी स्लाइसर मॉड्यूल। धारा 3 में प्रयोग किया जाता है। https://github.com/BIIG-UC3M/OpenARHealthपर उपलब्ध निर्देशों का पालन करते हुए मॉड्यूल को 3डी स्लाइसर में जोड़ें।
    "/डेटा/PatientData/Patient000_CT.nrrd": डिस्टल लेग सारकोमा से पीड़ित एक मरीज का सीटी । प्रोटोकॉल को इस छवि को उदाहरण के रूप में उपयोग करके वर्णित किया गया है।
    "/डेटा/बायोमॉडल/": रोगी के 3डी मॉडल (हड्डी और ट्यूमर) ।
    "/डेटा/मार्कर/": मार्कर है कि 3 डी मुद्रित किया जाएगा, जो एआर आवेदन द्वारा पता लगाया जाएगा आभासी 3 डी मॉडल की स्थिति । दो मार्कर उपलब्ध हैं।

2. बायोमॉडल निर्माण

नोट:इस अनुभाग का लक्ष्य रोगी की शरीर रचना विज्ञान के 3डी मॉडल बनाना है। वे एक चिकित्सा छवि के लिए विभाजन के तरीकों को लागू करने के द्वारा प्राप्त किया जाएगा (यहां, एक सीटी छवि का उपयोग कर) । इस प्रक्रिया में तीन अलग-अलग चरण होते हैं: 1) रोगी डेटा को 3डी स्लाइसर सॉफ़्टवेयर, 2, लक्ष्य शरीर रचना विज्ञान की मात्रा का विभाजन, और 3) ओबेज प्रारूप में 3डी मॉडल के रूप में विभाजन का निर्यात करना। परिणामस्वरूप 3 डी मॉडल अंतिम एआर आवेदन में कल्पना की जाएगी।

  1. मेडिकल इमेज फाइल को 3डी स्लाइसर सॉफ्टवेयर विंडो में खींचकर मरीज का डेटा (/डेटा/पेशेंटडाटा/Patient000_CT.एनआरआरडी") लोड करें । ओकेपर क्लिक करें । सीटी दृश्य (अक्षीय, सजिटल, कोरोनल) इसी खिड़कियों पर दिखाई देगा।
    नोट:यहां उपयोग किया जाने वाला डेटा "लगभग कच्चे रैस्टर डेटा" (एनआरआरडी) प्रारूप में पाया जाता है, लेकिन 3 डी स्लाइसर चिकित्सा छवि प्रारूप (DICOM) फ़ाइलों को लोड करने की अनुमति देता है। https://www.slicer.org/wiki/Documentation/4.10/Trainingमें पाए जाने वाले आगे के निर्देशों के लिए निम्नलिखित लिंक पर जाएं।
  2. रोगी की शरीर रचना को सेगमेंट करने के लिए, 3डी स्लाइसर में सेगमेंट एडिटर मॉड्यूल पर जाएं।
    1. मॉड्यूल में प्रवेश करते समय एक "विभाजन" आइटम स्वचालित रूप से बनाया जाता है। मास्टर वॉल्यूम सेक्शन में वांछित मात्रा (रोगी की एक चिकित्सा छवि) का चयन करें। इसके बाद सेगमेंट बनाने के लिए ऐड बटन पर नीचे राइट-क्लिक करें। "Segment_1" नाम से एक नया सेगमेंट बनाया जाएगा।
    2. एक पैनल है जिसे इफेक्ट्स कहा जाता है जिसमें चिकित्सा छवि के लक्षित क्षेत्र को ठीक से सेगमेंट करने के लिए विभिन्न प्रकार के उपकरण होते हैं। छवि खिड़कियों के क्षेत्र पर लक्ष्य और सेगमेंट के लिए सबसे सुविधाजनक उपकरण का चयन करें।
      1. हड्डी (इस मामले में टिबिया और फिबुला) को सेगमेंट करने के लिए, सीटी छवि से न्यूनतम और अधिकतम एचएयू मूल्यों को स्थापित करने के लिए थ्रेसहोल्ड टूल का उपयोग करें, जो हड्डी के ऊतकों से मेल खाती है। इस उपकरण का उपयोग करके, इन दहलीज मूल्यों के बाहर एचएयू के साथ अन्य तत्वों को हटा दिया जाता है, जैसे नरम ऊतक।
      2. खंडित मुखौटा से बिस्तर या अन्य शारीरिक संरचनाओं जैसे अवांछित क्षेत्रों को हटाने के लिए कैंची उपकरण का उपयोग करें। सारकोमा को मैन्युअल रूप से ड्रा और मिटाने वाले उपकरणों का उपयोग करके सेगमेंट करें, क्योंकि ट्यूमर स्वचालित उपकरणों के साथ समोच्च करना मुश्किल है।
        नोट:विभाजन प्रक्रिया के बारे में अधिक जानकारी जानने के लिए, https://www.slicer.org/wiki/Documentation/4.10/Training#Segmentationपर पाए गए लिंक पर जाएं।
    3. सेगमेंटेशन का 3डी प्रतिनिधित्व देखने के लिए शो 3डी बटन पर क्लिक करें।
  3. 3डी स्लाइसर में सेगमेंटेशन मॉड्यूल में जाकर 3डी मॉडल फाइल फॉर्मेट में सेगमेंटेशन एक्सपोर्ट करें।
    1. निर्यात/आयात मॉडल और लेबल मैप्सपर जाएं । आउटपुट टाइप सेक्शन में ऑपरेशन सेक्शन और मॉडल्स में एक्सपोर्ट का चयन करें। सेगमेंट किए गए क्षेत्र से 3डी मॉडल को खत्म करने और बनाने के लिए निर्यात पर क्लिक करें.
    2. मॉडल को बचाने के लिए सेव (ऊपरी बाएं) का चयन करें। बचाया जा करने के लिए तत्वों का चयन करें। फिर, फ़ाइल प्रारूप कॉलम के भीतर 3डी मॉडल के फ़ाइल प्रारूप को "OBJ" में बदल ें। उस मार्ग का चयन करें जहां फ़ाइलों को संग्रहीत किया जाएगा और सहेजेंपर क्लिक करें।
  4. विभिन्न शारीरिक क्षेत्रों के अतिरिक्त 3डी मॉडल बनाने के लिए चरण 2.2 और 2.3 दोहराएं।
    नोट:प्रदान किए गए उदाहरण के पूर्व-खंडित मॉडल चरण 1.3 ("/डेटा/बायोमॉडल/") में पहले डाउनलोड किए गए डेटा में पाए जा सकते हैं।

3. बायोमॉडल पोजिशनिंग

नोट:इस खंड में, धारा 2 में बनाए गए 3 डी मॉडल संवर्धित वास्तविकता दृश्य के लिए मार्कर के संबंध में तैनात किए जाएंगे। ARHealth: 3डी स्लाइसर से मॉडल पोजिशन मॉड्यूल का उपयोग इस कार्य के लिए किया जाएगा। मॉड्यूल को 3डी स्लाइसर में जोड़ने के लिए चरण 1.3 में दिए गए निर्देशों का पालन करें। 3डी मॉडल को रखने के लिए दो अलग-अलग विकल्प हैं: "विज़ुअलाइज़ेशन" मोड और "पंजीकरण" मोड।

  1. विज़ुअलाइज़ेशन मोड
    नोट: दृश्य मोड एआर मार्कर के संबंध में किसी भी स्थिति में 3 डी रोगी मॉडल की स्थिति की अनुमति देता है। इस विकल्प के साथ, उपयोगकर्ता एक संदर्भ के रूप में 3 डी मुद्रित एआर मार्कर का उपयोग कर बायोमॉडल की कल्पना करने के लिए एआर ऐप का उपयोग करने में सक्षम है। इस मोड का उपयोग तब किया जा सकता है जब सटीकता की आवश्यकता नहीं होती है, और आभासी मॉडल का दृश्य स्मार्टफोन कैमरा और मार्कर के क्षेत्र-दृश्य के भीतर कहीं भी प्रदर्शित किया जा सकता है।
    1. एआरहेल्थ पर जाएं: मॉडल पोजीशन मॉड्यूल, और (आरंभीकरण अनुभाग में) दृश्य मोड का चयन करें। इस विकल्प के लिए मार्कर लोड करने के लिए लोड मार्कर मॉडल पर क्लिक करें।
    2. सेक्शन 2 सेव्ड मॉडल्स के रास्ते का चयन करने के लिए ... इसके बाद इसे 3डी स्लाइसर में लोड करने के लिए लोड मॉडल बटन पर क्लिक करें। मॉडल एक समय में एक लोड किया जाना चाहिए। पहले लोड किए गए किसी भी मॉडल को हटाने के लिए, उस मॉडल पर क्लिक करें जिसके बाद निकालें मॉडल बटन, या एक बार में लोड किए गए सभी मॉडलों को हटाने के लिए सभी को हटा दें।
    3. मार्कर के भीतर सभी मॉडलों को केंद्र में लाने के लिए फिनिश और सेंटर बटन पर क्लिक करें।
    4. 3डी मॉडल की स्थिति, अभिविन्यास और स्केलिंग को विभिन्न स्लाइडर बार (यानी अनुवाद, रोटेशन, स्केल) के साथ मार्कर के संबंध में संशोधित किया जा सकता है।
      नोट:स्थिति में कोई परिवर्तन करने से पहले मॉडल की मूल स्थिति को रीसेट करने के लिए एक अतिरिक्त "रीसेट स्थिति" बटन है।
    5. फ़ाइलों को स्टोर करने और सेव मॉडल बटन पर क्लिक करने के लिए रास्ता चुनकर इस स्थिति में मॉडलकोबचाएं। 3डी मॉडल "_registered.obj" विस्तार नाम के साथ सहेजा जाएगा।
  2. पंजीकरण मोड
    नोट: पंजीकरण मोड किसी भी वांछित स्थिति में एक 3 डी बायोमॉडल के साथ एआर मार्कर के संयोजन की अनुमति देता है। फिर, संयुक्त 3 डी मॉडल (जिसमें एआर मार्कर शामिल है) का कोई भी खंड निकाला जा सकता है और 3डी-मुद्रित किया जा सकता है। सभी बायोमॉडल एआर ऐप में इस संयुक्त 3डी-प्रिंटेड बायोमॉडल का उपयोग करके संदर्भ के रूप में प्रदर्शित किए जाएंगे। यह मोड उपयोगकर्ता को आसानी से रोगी (यहां, रोगी की हड्डी का एक वर्ग) और संदर्भ मार्कर का उपयोग करके आभासी मॉडल पंजीकृत करने की अनुमति देता है।
    1. एआरहेल्थ पर जाएं: मॉडल पोजीशन मॉड्यूल, और (आरंभीकरण अनुभाग में) पंजीकरण मोड का चयन करें। इस विकल्प के लिए मार्कर लोड करने के लिए लोड मार्कर मॉडल पर क्लिक करें।
    2. मॉडल लोड के रूप में चरण 3.1.2 में किया।
    3. 3डी मॉडल ले जाएं और क्यूब मार्कर की सहायक संरचना के साथ अपने चौराहे को सुनिश्चित करें, क्योंकि इन मॉडलों को संयुक्त किया जाएगा और बाद में 3डी मुद्रित किया जाएगा। मार्कर बेस की ऊंचाई को संशोधित किया जा सकता है। 3डी मॉडल की स्थिति, अभिविन्यास और स्केलिंग को विभिन्न स्लाइडर बार (यानी अनुवाद, रोटेशन, स्केल) के साथ मार्कर के संबंध में संशोधित किया जा सकता है।
    4. फ़ाइलों को स्टोर करने और सेव मॉडल बटन पर क्लिक करने के लिए रास्ता चुनकर इस स्थिति में मॉडलकोबचाएं। 3डी मॉडल "_registered.obj" विस्तार नाम के साथ सहेजा जाएगा।
    5. शरीर रचना विज्ञान मॉडल बहुत बड़ा हो सकता है। यदि हां, तो मार्कर एडाप्टर के आसपास 3डी मॉडल को काटें और मेेशमिक्सर सॉफ्टवेयर का उपयोग करके दोनों मॉडलों के संयोजन का केवल एक खंड 3डी प्रिंट करें।
    6. ओपन मेेशमिक्सर और चरण 3.2.4 में सहेजे गए क्यूब मार्कर मॉडल की बायोमॉडल और सहायक संरचना लोड करें। ऑब्जेक्ट ब्राउजर विंडो में दोनों मॉडल्स का चयन करके इन मॉडलों को मिलाएं। उपकरण खिड़की है कि अभी ऊपरी बाएं कोने में दिखाई दिया है में गठबंधन विकल्प पर क्लिक करें ।
    7. मेेशमिक्सर में, मॉडल के अवांछित वर्गों को हटाने के लिए एडिट मेनू के तहत प्लेन कट टूल का उपयोग करें जो 3डी-मुद्रित नहीं होगा।
    8. मॉडल को 3डी-प्रिंटेड होने से बचाने के लिए, फाइल एंड जीटी; एक्सपोर्ट पर जाएं और इच्छित प्रारूप का चयन करें।

4. 3डी प्रिंटिंग

नोट:इस कदम का उद्देश्य अंतिम एआर आवेदन के लिए आवश्यक भौतिक मॉडल को 3डी-प्रिंट करना है। आवेदन द्वारा पता लगाया जाने वाला मार्कर और आवश्यक विभिन्न वस्तुएं धारा 3 में चयनित मोड पर निर्भर करती हैं। प्रत्येक चरण में अनुरोध की गई रंग सामग्री आवश्यकताओं का पालन करते समय, इस कार्य के उद्देश्य से किसी भी सामग्री का उपयोग 3डी प्रिंटिंग के लिए किया जा सकता है। पॉलीलैक्टिक एसिड (पीएलए) या एरिलोनिट्रिल ब्यूटाडीन स्टीरिन (एबीएस) दोनों पर्याप्त विकल्प हैं।

  1. क्यूबिक मार्कर प्रिंट करने के लिए 3डी प्रिंटर का उपयोग करें। यदि एक दोहरी एक्सट्रूडर 3 डी प्रिंटर उपलब्ध नहीं है, तो 4.2 कदम पर छोड़ दें। "डेटा/मार्कर/Marker1_TwoColorCubeMarker/" में प्रदान किए गए दो रंग के मार्कर को मुद्रित करने के लिए विशेष रूप से एक दोहरी एक्सट्रूडर 3 डी प्रिंटर का उपयोग करें । 3 डी प्रिंटिंग सॉफ्टवेयर में, फ़ाइल "TwoColorCubeMarker_WHITE.obj" और "TwoColorCubeMarker_BLACK.obj" के लिए काले रंग की सामग्री के लिए एक सफेद रंग सामग्री का चयन करें।
    नोट:बेहतर मार्कर का पता लगाने के लिए, एक छोटी परत ऊंचाई के साथ उच्च गुणवत्ता वाले मोड पर प्रिंट करें।
  2. यदि एक दोहरी एक्सट्रूडर 3 डी प्रिंटर उपलब्ध नहीं है और चरण 4.1 का प्रदर्शन नहीं किया गया था, तो निम्नलिखित करके एक विकल्प के रूप में स्टिकर के साथ स्टिकर के साथ 3डी-मुद्रित मार्कर प्रिंट करने के लिए इस कदम का पालन करें:
    1. सफेद रंग सामग्री के साथ फ़ाइल "डेटा/मार्कर/Marker2_StickerCubeMarker/StickerCubeMarker_WHITE.obj" प्रिंट करने के लिए एक 3 डी प्रिंटर का उपयोग करें ।
    2. स्टीकर पेपर पर फ़ाइल "डेटा/मार्कर/Marker2_StickerCubeMarker/स्टिकर.पीडीएफ" प्रिंट करने के लिए एक पारंपरिक प्रिंटर का उपयोग करें । फिर, काले लाइनों को हटाकर काले फ्रेम के ठीक से छवियों को काटने के लिए किसी भी काटने वाले उपकरण का उपयोग करें।
      नोट:उच्च गुणवत्ता वाले मार्कर प्राप्त करने के लिए स्टीकर पेपर का उपयोग करने की सिफारिश की जाती है। हालांकि, छवियों को नियमित कागज पर मुद्रित किया जा सकता है, और घन पर छवियों को चिपकाने के लिए एक आम गोंद स्टिक का उपयोग किया जा सकता है।
    3. दस्तावेज "डेटा/मार्कर/Marker2_StickerCubeMarker/स्टिकर.pdf" के निर्देशों के बाद इसी क्रम में चरण 4.2.1 में प्राप्त 3डी-मुद्रित घन में स्टिकर रखें।
      नोट:स्टिकर घन के चेहरे से छोटे हैं। चेहरे के स्टीकर और किनारे के बीच 1.5 मिमी फ्रेम छोड़ दें। "डेटा/मार्कर/Marker2_StickerCubeMarker/StickerPlacer.stl" 3 डी-स्टीकर स्थिति गाइड और वास्तव में घन चेहरे के केंद्र मैच के लिए मुद्रित किया जा सकता है ।
  3. धारा 3 में चयनित मोड के आधार पर एडाप्टर को 3डी-प्रिंट करें।
    1. यदि विज़ुअलाइज़ेशन मोड (धारा 3.1) का चयन किया गया था, तो 3डी-प्रिंट "डेटा/3डीप्रिंटिंग/Option1/MarkerBaseTable.obj", जो एक आधार एडाप्टर है जिसका उपयोग मार्कर को क्षैतिज सतह पर ऊर्ध्वाधर स्थिति में रखने के लिए किया जाता है।
    2. यदि पंजीकरण मोड (धारा 3.2) का चयन किया गया था, तो 3डी-प्रिंट मॉडल चरण 3.2.8 में मार्कर एडाप्टर संलग्न के साथ बनाया गया था।

नोट:चरण 4.3 से 3 डी मुद्रित वस्तुओं को किसी भी रंग सामग्री में मुद्रित किया जा सकता है।

5. एआर ऐप तैनाती

नोट:इस सेक्शन का लक्ष्य एकता इंजन में एक स्मार्टफोन ऐप डिजाइन करना है जिसमें पिछले सेक्शन्स में बनाए गए 3डी मॉडल शामिल हैं और इस ऐप को स्मार्टफोन पर तैनात किया गया है । इस चरण के लिए एक Vuforia विकास लाइसेंस कुंजी (व्यक्तिगत उपयोग के लिए मुफ्त) की आवश्यकता है। ऐप को एंड्रॉयड या आईओएस डिवाइसेज पर तैनात किया जा सकता है।

  1. एकता में अपने पुस्तकालयों का उपयोग करने के लिए एक लाइसेंस कुंजी प्राप्त करने के लिए एक Vuforia डेवलपर खाता बनाएं। https://developer.vuforia.com/vui/auth/register पर मिले लिंक पर जाकर अकाउंट बनाएं।
    1. https://developer.vuforia.com/vui/develop/Licenses पर मिले लिंक पर जाएं और विकास कुंजीका चयन करें । फिर, उपयोगकर्ता के खाते में एक मुफ्त विकास लाइसेंस कुंजी जोड़ने के निर्देशों का पालन करें।
    2. लाइसेंस प्रबंधक मेनू में, पिछले चरण में बनाई गई कुंजी का चयन करें और प्रदान की गई कुंजी को कॉपी करें, जिसका उपयोग चरण 5.3.3 में किया जाएगा।
  2. स्मार्टफोन सेट करें।
    1. एकता और एंड्रॉयड उपकरणों के साथ शुरू करने के लिए, https://docs.unity3d.com/Manual/android-GettingStarted.htmlमें पाया लिंक पर जाएं ।
    2. एकता और आईओएस उपकरणों के साथ शुरू करने के लिए, https://docs.unity3d.com/Manual/iphone-GettingStarted.htmlमें पाया लिंक पर जाएं ।
  3. पहली ओपनिंग यूनिटी v.2019 और एक नई 3डी परियोजना बनाकर एआर ऐप के लिए एक एकता परियोजना स्थापित करें। फिर, के तहतसेटिंग्स बनाएंमेंफ़ाइलमेनू, प्लेटफ़ॉर्म को एंड्रॉइड या आईओएस डिवाइस पर स्विच करें।
    1. एडिट एंड जीटी; प्रोजेक्ट सेटिंग एंड जीटी; प्लेयर सेटिंग्स एंड जीटी; एक्सआर सेटिंग्स का चयन करके और Vuforia ऑगमेंटेड रियलिटी सपोर्टलेबल वाले बॉक्स की जांच करके Vuforia को परियोजना में सक्षम करें ।
    2. मेन्यूबार > गेमऑब्जेक्ट > Vuforia इंजन > ARCamera और आयात Vuforia घटकों के तहत एक "ARCamera" बनाएं जब प्रेरित किया जाता है ।
    3. रिसोर्सफ़ोडर का चयन करके और वुफोरिया कॉन्फ़िगरेशनपर क्लिक करके वुफोरिया कॉन्फ़िगरेशन सेटिंग्स में वुफोरिया लाइसेंस कुंजी जोड़ें। फिर, ऐप लाइसेंस कुंजी अनुभाग में, अनुभाग 5.1.2 में कॉपी की गई कुंजी को चिपकादेते हैं।
    4. "/डेटा/Vuforia/AR_Cube_3x3x3.unitypackage" में प्रदान की गई Vuforia लक्ष्य फ़ाइल को एकता में आयात करें, जिसमें वेफोरिया को धारा 4 में वर्णित मार्कर का पता लगाने की आवश्यकता वाली फाइलें शामिल हैं ।
    5. मेन्यूबार एंड जीटी; गेमऑब्जेक्ट एंड जीटी; वुफोरिया इंजन एंड जीटी; मल्टी इमेजके तहत वुफोरिया मल्टीटारगेट बनाएं ।
    6. मार्कर प्रकार का चयन करें जिसका उपयोग पिछले चरण में बनाए गए मल्टीटारगेट पर क्लिक करके पता लगाने के लिए किया जाएगा। मल्टी टारगेट बिहेवियरके तहत डाटाबेस विकल्प में ARHealth_3DPrintedCube_30x30x30का चयन करें । मल्टी टारगेट बिहेवियरके तहत मल्टी टारगेट ऑप्शन में सेक्शन 4 में बनाए गए मार्कर के आधार पर या तो टूकलरक्यूबमार्कर या स्टीकरक्यूबमार्करका चयन करें।
    7. "संसाधन" फ़ोल्डर के तहत "मॉडल" नाम के साथ एक नया फ़ोल्डर बनाकर मल्टीटारगेट के तहत धारा 3 में बनाए गए 3डी मॉडल को मल्टीटारगेट के तहत एकता दृश्य में लोड करें। 3डी मॉडल को इस फोल्डर में खींचें। एक बार एकता में लोड होने के बाद, उन्हें चरण 5.3.5 में बनाए गए "मल्टीटारगेट" आइटम के तहत खींचें। इससे वे मार्कर पर निर्भर हो जाएंगे।
      नोट:मॉडल एकता 3 डी दृश्य में दिखाई देना चाहिए।
    8. एक नई सामग्री बनाकर और मॉडलों को नई सामग्री निर्दिष्ट करके 3डी मॉडल के रंग बदलें।
      1. मेन्यूबार एंड जीटीएंड एसेट्स एंड जीटीएंड मैटेरियलमें जाकर "रिसोर्सेज" फोल्डर नाम से एक नया फोल्डर बनाएं। सामग्री का चयन करें और विन्यास अनुभाग में रंग बदल जाते हैं। फिर, 3 डी मॉडल पदानुक्रम के तहत फ़ाइल खींचें।
    9. वैकल्पिक: यदि कोई वेबकैम उपलब्ध है, तो कंप्यूटर पर अपने आवेदन का परीक्षण करने के लिए ऊपरी-मध्य भाग में स्थित प्ले बटन पर क्लिक करें। यदि मार्कर वेब कैम को दिखाई देता है, तो इसका पता लगाया जाना चाहिए, और 3डी मॉडल दृश्य में दिखाई देने चाहिए।
    10. यदि ऐप तैनाती के लिए एंड्रॉइड स्मार्टफोन का उपयोग किया जाता है, तो फ़ाइल पर जाएं और एकता में सेटिंग्स बनाएं, और सूची से प्लग किए गए फोन का चयन करें। तैनाती और भागोका चयन करें । कंप्यूटर पर एक्सटेंशन .एपीके के साथ फ़ाइल को सहेजें और प्रक्रिया को खत्म करने की अनुमति दें। एक बार तैनाती हो जाने के बाद एप फोन पर होना चाहिए और चलाने के लिए तैयार होना चाहिए।
      नोट:इस प्रोटोकॉल का परीक्षण एंड्रॉइड v.8.0 Oreo या उससे ऊपर पर किया गया है। पुराने संस्करणों के लिए सही कार्यक्षमता की गारंटी नहीं है।
    11. यदि ऐप को आईओएस डिवाइस में तैनात किया जाएगा, तो एकता में फ़ाइल और जीटी; बिल्ड सेटिंग्स पर जाएं और रनका चयन करें। ऐप फ़ाइलों को सहेजने के लिए पथ का चयन करें। प्रक्रिया को समाप्त करने की अनुमति दें। सहेजे गए फ़ोल्डर पर जाएं और एक्सटेंशन ".प्रोजेक्ट्सकोड" के साथ फ़ाइल खोलें।
      1. एक्सकोड में, चरण 5.2.2 से पूर्ण तैनाती के निर्देशों का पालन करें।
        नोट:एकता में Vuforia के बारे में अधिक जानकारी के लिए, https://library.vuforia.com/articles/Training/getting-started-with-vuforia-in-unity.htmlमें पाया लिंक पर जाएं ।

6. ऐप विज़ुअलाइज़ेशन

  1. इंस्टॉल किया गया ऐप खोलें, जो स्मार्टफोन के कैमरे का इस्तेमाल करेगा । ऐप चलाते समय, थोड़ी दूरी से कैमरे के साथ मार्कर को देखें (40 सेमी न्यूनतम)। एक बार जब ऐप मार्कर का पता लगाता है, तो पिछले चरणों में बनाए गए 3डी मॉडल स्मार्टफोन स्क्रीन पर प्रक्रिया के दौरान परिभाषित स्थान पर बिल्कुल दिखाई देने चाहिए।
    नोट:रोशनी मार्कर का पता लगाने की सटीकता को बदल सकती है। अच्छी रोशनी की स्थिति के साथ वातावरण में ऐप का उपयोग करने की सिफारिश की जाती है।

Representative Results

3 डी के नजरिए से प्रभावित शारीरिक क्षेत्र की कल्पना करने के लिए जिला लेग सारकोमा से पीड़ित रोगी से डेटा पर प्रोटोकॉल लागू किया गया था। धारा 2 में वर्णित विधि का उपयोग करके, प्रभावित हड्डी (यहां, टिबिया और फिबुला) और ट्यूमर के हिस्से को रोगी के सीटी स्कैन से खंडित किया गया था। फिर, 3 डी स्लाइसर से विभाजन उपकरणों का उपयोग करके, दो बायोमॉडल बनाए गए थे: हड्डी (टिबिया और फिबुला का खंड)(चित्रा 1ए)और ट्यूमर(चित्रा 1बी)।

इसके बाद, दो 3 डी मॉडल इष्टतम दृश्य के लिए मार्कर के संबंध में लगभग तैनात थे। इस उदाहरण के लिए धारा 3 में वर्णित दोनों मोड का पालन किया गया। दृश्य मोड के लिए, मॉडल मार्कर(चित्रा 2)के ऊपरी चेहरे में केंद्रित थे। पंजीकरण मोड के लिए, मार्कर एडाप्टर हड्डी में तैनात किया गया था (विशेष रूप से, टिबिया[चित्रा3])। फिर, टिबिया के एक छोटे से खंड को 3 डी मार्कर एडाप्टर(चित्रा 4)के साथ 3डी-मुद्रित करने के लिए चुना गया था। पीएलए सामग्री के साथ एक अल्टिमेकर 3 विस्तारित 3 डी प्रिंटर का उपयोग 3डी-मुद्रित मार्कर(चित्रा 5ए, बी),मार्कर धारक आधार(चित्रा 5सी)"विज़ुअलाइज़ेशन" मोड के लिए और "पंजीकरण" मोड(चित्रा 5डी)के लिए टिबिया के अनुभाग बनाने के लिए किया गया था। चित्रा 5ई से पता चलता है कि मार्कर को "विज़ुअलाइज़ेशन" मोड 3डी-प्रिंटेड बेस से कैसे जोड़ा गया था। चित्रा 5एफ "पंजीकरण" मोड 3 डी-मुद्रित बायोमॉडल के साथ लगाव दिखाता है। अंत में एकता का इस्तेमाल ऐप बनाने और स्मार्टफोन पर तैनात करने के लिए किया गया ।

चित्रा 6 से पता चलता है कि ऐप ने "विज़ुअलाइज़ेशन" मोड के लिए कैसे काम किया। होलोग्राम सटीक रूप से घन के ऊपरी हिस्से में स्थित था जैसा कि पहले परिभाषित किया गया था। चित्रा 7 "पंजीकरण" मोड के लिए आवेदन दिखाता है, जिसमें ऐप ने 3डी-मुद्रित अनुभाग के शीर्ष पर पूर्ण हड्डी मॉडल तैनात किया। होलोग्राम का अंतिम दृश्य स्पष्ट और यथार्थवादी था, बायोमॉडल के वास्तविक आकार को बनाए रखा, और सटीक रूप से तैनात किया गया। स्मार्टफोन एप्लिकेशन का उपयोग करते समय, एआर मार्कर को होलोग्राम को सही ढंग से प्रदर्शित करने के लिए ऐप के लिए कैमरे द्वारा दिखाई देने की आवश्यकता होती है। इसके अलावा, दृश्य में प्रकाश की स्थिति अच्छी गुणवत्ता की होनी चाहिए और उचित मार्कर का पता लगाने के लिए स्थिर होना चाहिए। मार्कर सतह पर खराब प्रकाश की स्थिति या प्रतिबिंब एआर मार्कर की ट्रैकिंग में बाधा डालते हैं और ऐप की खराबी का कारण बनते हैं।

ऐप बनाने के लिए आवश्यक समय कई कारकों पर निर्भर करता है। सेक्शन 1 की अवधि डाउनलोड गति से सीमित है। शरीर रचना विज्ञान विभाजन (धारा 2) के बारे में, विभाजन समय को प्रभावित करने वाले कारकों में क्षेत्र की जटिलता और मेडिकल इमेजिंग मोडलिटी (यानी सीटी आसानी से खंडित होती है, जबकि एमआरआई अधिक कठिन है)। टिबिया के प्रतिनिधि उदाहरण के लिए, सीटी स्कैन से दोनों 3डी मॉडल उत्पन्न करने के लिए लगभग 10 min की आवश्यकता थी। बायोमॉडल पोजिशनिंग (सेक्शन 3) सरल और सीधा है। यहां, एआर मार्कर के संबंध में बायोमॉडल स्थिति को परिभाषित करने में लगभग 5 मिन लिया गया। 3डी प्रिंटिंग स्टेप के लिए, अवधि चयनित मोड पर अत्यधिक निर्भर है। "डुअल कलर मार्कर" 5 घंटे और 20 मिन की अवधि में उच्च गुणवत्ता पर निर्मित किया गया था। "स्टीकर मार्कर" 1 घंटे और 30 मिन की अवधि में निर्मित किया गया था, प्लस स्टिकर पेस्ट करने के लिए आवश्यक समय । ऐप विकास के लिए अंतिम चरण एकता में कोई पिछला अनुभव रखने वालों के लिए समय लेने वाला हो सकता है, लेकिन इसे प्रोटोकॉल चरणों के बाद आसानी से पूरा किया जा सकता है। एक बार एआर मार्कर 3 डी-मुद्रित हो जाने के बाद, पूरी तरह से नए एआर ऐप का विकास 1 घंटे से भी कम समय में किया जा सकता है। अतिरिक्त अनुभव के साथ इस अवधि को और कम किया जा सकता है।

Figure 1
चित्रा 1: डिस्टल लेग सारकोमा से पीड़ित रोगी की सीटी छवि से बनाए गए 3डी मॉडलका प्रतिनिधित्व। (ए)हड्डी ऊतक सफेद (टिबिया और फिबुला) में प्रतिनिधित्व करते हैं। (ख)लाल रंग में प्रतिनिधित्व ट्यूमर। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 2
चित्रा 2: 3 डी स्लाइसर में "विज़ुअलाइज़ेशन" मोड 3डी-मुद्रित मार्कर संदर्भ के संबंध में हड्डी और ट्यूमर के आभासी 3डी मॉडल को कैसे दिखाता है। रोगी 3 डी मॉडल(ए)मार्कर घन(बी)के ऊपरी चेहरे के ऊपर तैनात हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 3
चित्रा 3: 3 डी स्लाइसर में "पंजीकरण" मोड 3 डी-मुद्रित मार्कर संदर्भ (बी) के संबंध में हड्डी और ट्यूमर (ए) के आभासी 3डी मॉडल को कैसे दिखाते हैं। मार्कर एडाप्टर हड्डी ऊतक मॉडल से जुड़ा हुआ है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 4
चित्रा 4: हड्डी ऊतक और 3 डी मार्कर एडाप्टर के छोटे खंड। दो घटकों को संयुक्त किया जाता है फिर 3डी-मुद्रित किया जाता है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 5
चित्रा 5: अंतिम आवेदन के लिए आवश्यक 3डी मुद्रित उपकरण। (A)"दो रंग घन मार्कर" 3 डी-सामग्री के दो रंगों के साथ मुद्रित। (ख)"स्टीकर घन मार्कर" 3 डी मुद्रित, स्टिकर चिपकाया के साथ । (C)मार्कर बेस क्यूब एडाप्टर। (D)रोगी के हड्डी ऊतक 3 डी मॉडल और मार्कर घन एडाप्टर का अनुभाग। (ई)मार्कर बेस क्यूब एडाप्टर में रखा "स्टीकर घन मार्कर"। (एफ)रोगी की शरीर रचना विज्ञान से जुड़े मार्कर एडाप्टर में रखा गया "दो रंग घन मार्कर" । कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 6
चित्रा 6: "विज़ुअलाइज़ेशन" मोड का उपयोग करते समय ऐप डिस्प्ले। रोगी के प्रभावित शरीर रचना विज्ञान 3 डी मॉडल 3 डी-मुद्रित घन के ऊपरी चेहरे के ऊपर तैनात हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Figure 7
चित्रा 7: "पंजीकरण" मोड का उपयोग करते समय एआर विज़ुअलाइज़ेशन। 3डी-प्रिंटेड मार्कर वर्चुअल 3डी मॉडल के साथ 3डी-प्रिंटेड बायोमॉडल के रजिस्ट्रेशन में सक्षम बनाता है । कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें ।

Discussion

एआर चिकित्सा क्षेत्र में शिक्षा, प्रशिक्षण और शल्य चिकित्सा मार्गदर्शन में महान क्षमता रखती है । 3 डी प्रिंटिंग के साथ इसका संयोजन नैदानिक अनुप्रयोगों में नई संभावनाएं खोल सकता है। यह प्रोटोकॉल एक ऐसी पद्धति का वर्णन करता है जो अनुभवहीन उपयोगकर्ताओं को 3डी-मुद्रित संदर्भ मार्कर वाले रोगियों के शारीरिक 3डी मॉडलके दृश्य के लिए एआर और 3डीपी के संयोजन के लिए एक स्मार्टफोन ऐप बनाने में सक्षम बनाता है।

सामान्य तौर पर, एआर और 3डीपी के सबसे दिलचस्प नैदानिक अनुप्रयोगों में से एक रोगी को मामले का एक अलग परिप्रेक्ष्य देकर रोगी-से-चिकित्सक संचार में सुधार करना है, विशिष्ट चिकित्सा स्थितियों या उपचारों के स्पष्टीकरण में सुधार करना है। एक अन्य संभावित एप्लिकेशन में लक्ष्य स्थानीयकरण के लिए सर्जिकल मार्गदर्शन शामिल है, जिसमें 3डी-मुद्रित रोगी-विशिष्ट उपकरण (एक संदर्भ एआर मार्कर संलग्न के साथ) कठोर संरचनाओं (यानी, हड्डी) पर रखा जा सकता है और नेविगेशन के लिए संदर्भ के रूप में उपयोग किया जा सकता है। यह एप्लिकेशन आर्थोपेडिक और मैक्सिलोफेशियल सर्जिकल प्रक्रियाओं के लिए विशेष रूप से उपयोगी है, जिसमें सर्जरी के दौरान हड्डी के ऊतकों की सतह आसानी से पहुंचा जाता है।

प्रोटोकॉल सेक्शन 1 से शुरू होता है, जिसमें वर्कस्टेशन सेट-अप और सॉफ्टवेयर टूल्स को आवश्यक बताया गया है। धारा 2 में बताया गया है कि 3डी मॉडल प्राप्त करने के लिए किसी भी मेडिकल इमेजिंग मोडलिटी से रोगी के लक्ष्य एनाटॉमी को आसानी से सेगमेंट करने के लिए 3डी स्लाइसर सॉफ्टवेयर का उपयोग कैसे करें। यह कदम महत्वपूर्ण है, क्योंकि बनाए गए आभासी 3 डी मॉडल अंतिम एआर एप्लिकेशन में प्रदर्शित होते हैं।

धारा 3 में, 3डी स्लाइसर का उपयोग एआर मार्कर के साथ पिछले अनुभाग में बनाए गए 3डी मॉडलों को पंजीकृत करने के लिए किया जाता है। इस पंजीकरण प्रक्रिया के दौरान, रोगी 3 डी मॉडल कुशलतापूर्वक और बस एआर मार्कर के संबंध में तैनात हैं। इस खंड में परिभाषित स्थिति अंतिम ऐप में होलोग्राम सापेक्ष स्थिति निर्धारित करेगी। ऐसा माना जाता है कि यह समाधान जटिलता को कम करता है और संभावित अनुप्रयोगों को गुणा करता है। धारा 3 मॉडल और एआर मार्कर के बीच स्थानिक संबंधों को परिभाषित करने के लिए दो अलग-अलग विकल्पों का वर्णन करती है: "विज़ुअलाइज़ेशन" और "पंजीकरण" मोड। पहला विकल्प, "विज़ुअलाइज़ेशन" मोड, 3 डी मॉडल को मार्कर के संबंध में कहीं भी तैनात करने और पूरे बायोमॉडल के रूप में प्रदर्शित करने की अनुमति देता है। यह मोड रोगी की शरीर रचना विज्ञान का एक यथार्थवादी, 3डी परिप्रेक्ष्य प्रदान करता है और ट्रैक किए गए एआर मार्कर को स्थानांतरित करके बायोमॉडल को स्थानांतरित करने और घुमाने की अनुमति देता है। दूसरा विकल्प, "पंजीकरण" मोड, एक स्वचालित पंजीकरण प्रक्रिया की पेशकश करते हुए बायोमॉडल के किसी भी हिस्से में मार्कर एडाप्टर के लगाव और संयोजन की अनुमति देता है। इस विकल्प के साथ, मार्कर एडाप्टर सहित 3डी मॉडल का एक छोटा सा खंड 3डी-प्रिंटेड हो सकता है, और ऐप बाकी मॉडल को होलोग्राम के रूप में प्रदर्शित कर सकता है।

धारा 4 3डी प्रिंटिंग प्रक्रिया के लिए दिशानिर्देश प्रदान करती है। सबसे पहले, उपयोगकर्ता दो अलग-अलग मार्कर के बीच चयन कर सकता है: "डुअल कलर मार्कर" और "स्टीकर मार्कर"। पूरा "डुअल कलर मार्कर" 3डी-प्रिंटेड हो सकता है लेकिन इसके लिए ड्यूल एक्सट्रूडर 3डी प्रिंटर की आवश्यकता होती है। यदि यह प्रिंटर उपलब्ध नहीं है, तो "स्टीकर मार्कर" प्रस्तावित है। यह एक सरल मार्कर है जिसे घन संरचना को 3डी-प्रिंटिंग द्वारा प्राप्त किया जा सकता है, फिर स्टीकर पेपर या स्टीकर गोंद के साथ घन की छवियों को चिपकाया जा सकता है। इसके अलावा, दोनों मार्कर एक विशिष्ट एडाप्टर में पूरी तरह से फिट करने के लिए एक्सटेंसिबल वर्गों के साथ डिजाइन किए गए थे। इस प्रकार, मार्कर को कई मामलों में पुन: उपयोग किया जा सकता है।

धारा 5 Vuforia सॉफ्टवेयर विकास किट का उपयोग कर एआर के लिए एक एकता परियोजना बनाने की प्रक्रिया का वर्णन करता है । यह कदम बिना प्रोग्रामिंग अनुभव वाले उपयोगकर्ताओं के लिए सबसे मुश्किल हिस्सा हो सकता है, लेकिन इन दिशानिर्देशों के साथ, अंतिम आवेदन प्राप्त करना आसान होना चाहिए जो अनुभाग 6 में प्रस्तुत किया जाता है। ऐप स्मार्टफोन स्क्रीन पर मरीज के वर्चुअल मॉडल्स को प्रदर्शित करता है जब कैमरा 3डी प्रिंटेड मार्कर को पहचानता है । एप्लिकेशन के लिए 3 डी मार्कर का पता लगाने के लिए, फोन से मार्कर के लिए लगभग 40 सेमी या उससे कम की न्यूनतम दूरी के साथ-साथ अच्छी रोशनी की स्थिति की आवश्यकता होती है।

इस प्रोटोकॉल का अंतिम अनुप्रयोग उपयोगकर्ता को कल्पना करने के लिए विशिष्ट बायोमॉडल चुनने की अनुमति देता है और किन पदों पर। Addtionally, एप्लिकेशन को एक 3 डी मुद्रित मार्कर और बायोमॉडल से जुड़े एडाप्टर का उपयोग कर स्वचालित रोगी-होलोग्राम पंजीकरण प्रदर्शन कर सकते हैं । यह प्रत्यक्ष और सुविधाजनक तरीके से पर्यावरण के साथ आभासी मॉडल दर्ज करने की चुनौती को हल करता है। इसके अलावा, इस पद्धति चिकित्सा इमेजिंग या सॉफ्टवेयर विकास के व्यापक ज्ञान की आवश्यकता नहीं है, जटिल हार्डवेयर और महंगे सॉफ्टवेयर पर निर्भर नहीं करता है, और एक कम समय अवधि में लागू किया जा सकता है । उम्मीद है कि इस विधि से चिकित्सा पेशेवरों द्वारा एआर और 3डीपी प्रौद्योगिकियों को अपनाने में तेजी लाने में मदद मिलेगी।

Disclosures

लेखकों के पास खुलासा करने के लिए कुछ नहीं है ।

Acknowledgments

इस रिपोर्ट को परियोजनाओं PI18/01625 और PI15/02121 (मंत्रीओ डी सिएनसिया, इनोवेटियोन वाई यूनीवर्सिडडेस, इंस्टीटो डी सलूद कार्लोस III और यूरोपीय क्षेत्रीय विकास कोष "ऊना मनारा डी हैसर यूरोपा") और IND2018/TIC-9753 (Comunidad de Madrid) द्वारा समर्थित किया गया था ।

Materials

Name Company Catalog Number Comments
3D Printing material: Acrylonitrile Butadiene Styrene (ABS) Thermoplastic polymer material usually used in domestic 3D printers.
3D Printing material: Polylactic Acid (PLA) Bioplastic material usually used in domestic 3D printers.
3D Slicer Open-source software platform for medical image informatics, image processing, and three-dimensional visualization
Android Alphabet, Inc. Android is a mobile operating system developed by Google. It is based on a modified version of the Linux kernel and other open source software, and is designed primarily for touchscreen mobile devices such as smartphones and tablets.
Autodesk Meshmixer Autodesk, Inc. Meshmixer is state-of-the-art software for working with triangle meshes. Free software.
iPhone OS Apple, Inc. iPhone OS is a mobile operating system created and developed by Apple Inc. exclusively for its hardware.
Ultimaker 3 Extended Ultimaker BV Fused deposition modeling 3D printer.
Unity Unity Technologies Unity is a real-time development platform to create 3D, 2D VR & AR visualizations for Games, Auto, Transportation, Film, Animation, Architecture, Engineering & more. Free software.
Xcode Apple, Inc. Xcode is a complete developer toolset for creating apps for Mac, iPhone, iPad, Apple Watch, and Apple TV. Free software.

DOWNLOAD MATERIALS LIST

References

  1. Coles, T. R., John, N. W., Gould, D., Caldwell, D. G. Integrating Haptics with Augmented Reality in a Femoral Palpation and Needle Insertion Training Simulation. IEEE Transactions on Haptics. 4 (3), 199-209 (2011).
  2. Pelargos, P. E., et al. Utilizing virtual and augmented reality for educational and clinical enhancements in neurosurgery. Journal of Clinical Neuroscience. 35, 1-4 (2017).
  3. Abhari, K., et al. Training for Planning Tumour Resection: Augmented Reality and Human Factors. IEEE Transactions on Biomedical Engineering. 62 (6), 1466-1477 (2015).
  4. Uppot, R., et al. Implementing Virtual and Augmented Reality Tools for Radiology Education and Training, Communication, and Clinical Care. Radiology. 291, 182210 (2019).
  5. Pratt, P., et al. Through the HoloLensTM looking glass: augmented reality for extremity reconstruction surgery using 3D vascular models with perforating vessels. European Radiology Experimental. 2 (1), 2 (2018).
  6. Rose, A. S., Kim, H., Fuchs, H., Frahm, J. -M. Development of augmented-reality applications in otolaryngology-head and neck surgery. The Laryngoscope. , (2019).
  7. Zhou, C., et al. Robot-Assisted Surgery for Mandibular Angle Split Osteotomy Using Augmented Reality: Preliminary Results on Clinical Animal Experiment. Aesthetic Plastic Surgery. 41 (5), 1228-1236 (2017).
  8. Heinrich, F., Joeres, F., Lawonn, K., Hansen, C. Comparison of Projective Augmented Reality Concepts to Support Medical Needle Insertion. IEEE Transactions on Visualization and Computer Graphics. 25 (6), 1 (2019).
  9. Deng, W., Li, F., Wang, M., Song, Z. Easy-to-Use Augmented Reality Neuronavigation Using a Wireless Tablet PC. Stereotactic and Functional Neurosurgery. 92 (1), 17-24 (2014).
  10. Fan, Z., Weng, Y., Chen, G., Liao, H. 3D interactive surgical visualization system using mobile spatial information acquisition and autostereoscopic display. Journal of Biomedical Informatics. 71, 154-164 (2017).
  11. Arnal-Burró, J., Pérez-Mañanes, R., Gallo-del-Valle, E., Igualada-Blazquez, C., Cuervas-Mons, M., Vaquero-Martín, J. Three dimensional-printed patient-specific cutting guides for femoral varization osteotomy: Do it yourself. The Knee. 24 (6), 1359-1368 (2017).
  12. Vaquero, J., Arnal, J., Perez-Mañanes, R., Calvo-Haro, J., Chana, F. 3D patient-specific surgical printing cutting blocks guides and spacers for open- wedge high tibial osteotomy (HTO) - do it yourself. Revue de Chirurgie Orthopédique et Traumatologique. 102, Supplement 131 (2016).
  13. De La Peña, A., De La Peña-Brambila, J., Pérez-De La Torre, J., Ochoa, M., Gallardo, G. Low-cost customized cranioplasty using a 3D digital printing model: a case report. 3D Printing in Medicine. 4 (1), 1-9 (2018).
  14. Kamio, T., et al. Utilizing a low-cost desktop 3D printer to develop a "one-stop 3D printing lab" for oral and maxillofacial surgery and dentistry fields. 3D Printing in Medicine. 4 (1), 1-7 (2018).
  15. Punyaratabandhu, T., Liacouras, P., Pairojboriboon, S. Using 3D models in orthopedic oncology: presenting personalized advantages in surgical planning and intraoperative outcomes. 3D Printing in Medicine. 4 (1), 1-13 (2018).
  16. Wake, N., et al. Patient-specific 3D printed and augmented reality kidney and prostate cancer models: impact on patient education. 3D Printing in Medicine. 5 (1), 1-8 (2019).
  17. Barber, S. R., et al. Augmented Reality, Surgical Navigation, and 3D Printing for Transcanal Endoscopic Approach to the Petrous Apex. OTO Open: The Official Open Access Journal of the American Academy of Otolaryngology-Head and Neck Surgery Foundation. 2 (4), (2018).
  18. Witowski, J., et al. Augmented reality and three-dimensional printing in percutaneous interventions on pulmonary arteries. Quantitative Imaging in Medicine and Surgery. 9 (1), (2019).
  19. Moreta-Martínez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J., Pascau, J. Augmented reality in computer-assisted interventions based on patient-specific 3D printed reference. Healthcare Technology Letters. , (2018).

Tags

चिकित्सा अंक 155 संवर्धित वास्तविकता 3 डी प्रिंटिंग शारीरिक मॉडल नैदानिक अनुप्रयोग सर्जिकल नेविगेशन छवि मार्गदर्शन रोगी से मॉडल पंजीकरण शिक्षा पूर्व ऑपरेटिव योजना
स्मार्टफोन पर रोगी मॉडल प्रदर्शित करने के लिए ऑगमेंटेड रियलिटी और 3डी प्रिंटिंग का संयोजन
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

Moreta-Martinez, R.,… More

Moreta-Martinez, R., García-Mato, D., García-Sevilla, M., Pérez-Mañanes, R., Calvo-Haro, J. A., Pascau, J. Combining Augmented Reality and 3D Printing to Display Patient Models on a Smartphone. J. Vis. Exp. (155), e60618, doi:10.3791/60618 (2020).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter