Summary
कक्षीय गणना टोमोग्राफी (सीटी) छवियों के लिए एक ऑब्जेक्ट विभाजन प्रोटोकॉल पेश किया गया है। सुपर-रिज़ॉल्यूशन का उपयोग करके कक्षीय संरचनाओं की जमीनी सच्चाई को लेबल करने, सीटी छवियों से रुचि की मात्रा निकालने और कक्षीय सीटी छवियों के लिए 2 डी अनुक्रमिक यू-नेट का उपयोग करके बहु-लेबल विभाजन मॉडलिंग के तरीकों को पर्यवेक्षित सीखने के लिए समझाया गया है।
Abstract
हाल ही में, नेत्र क्षेत्र में गहन शिक्षण-आधारित विभाजन मॉडल व्यापक रूप से लागू किए गए हैं। यह अध्ययन यू-नेट पर आधारित एक कक्षीय गणना टोमोग्राफी (सीटी) विभाजन मॉडल के निर्माण की पूरी प्रक्रिया प्रस्तुत करता है। पर्यवेक्षित सीखने के लिए, एक श्रम-गहन और समय लेने वाली प्रक्रिया की आवश्यकता होती है। कक्षीय सीटी छवियों पर जमीनी सच्चाई को कुशलतापूर्वक मुखौटा करने के लिए सुपर-रिज़ॉल्यूशन के साथ लेबलिंग की विधि पेश की गई है। इसके अलावा, रुचि की मात्रा डेटासेट के पूर्व-प्रसंस्करण के हिस्से के रूप में क्रॉप की जाती है। फिर, कक्षीय संरचनाओं की रुचि की मात्रा निकालने के बाद, कक्षीय सीटी की प्रमुख संरचनाओं को विभाजित करने के लिए मॉडल का निर्माण यू-नेट का उपयोग करके किया जाता है, जिसमें अनुक्रमिक 2 डी स्लाइस होते हैं जिनका उपयोग इनपुट के रूप में किया जाता है और अंतर-स्लाइस सहसंबंधों के संरक्षण के लिए दो द्वि-दिशात्मक संक्रामक दीर्घकालिक लघु यादें होती हैं। यह अध्ययन मुख्य रूप से नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों के विभाजन पर केंद्रित है। विभाजन के मूल्यांकन से गहरी सीखने के तरीकों का उपयोग करके कक्षीय सीटी छवियों के लिए विभाजन के संभावित अनुप्रयोग का पता चलता है।
Introduction
कक्षा लगभग 30.1 सेमी3 का एक छोटा और जटिल स्थान है जिसमें नेत्रगोलक, तंत्रिकाएं, एक्स्ट्राओकुलर मांसपेशियां, सहायक ऊतक और दृष्टि और नेत्रगोलकआंदोलनों के लिए वाहिकाओं जैसी महत्वपूर्ण संरचनाएं शामिल हैं। कक्षीय ट्यूमर कक्षा में असामान्य ऊतक वृद्धि हैं, और उनमें से कुछ रोगियों की दृष्टि या नेत्रगोलक आंदोलन को खतरे में डालते हैं, जिससे घातक शिथिलता हो सकती है। रोगियों के दृश्य समारोह को संरक्षित करने के लिए, चिकित्सकों को ट्यूमर विशेषताओं के आधार पर उपचार के तौर-तरीकों पर निर्णय लेना चाहिए, और एक सर्जिकल बायोप्सी आम तौर पर अपरिहार्य है। यह कॉम्पैक्ट और भीड़-भाड़ वाला क्षेत्र अक्सर चिकित्सकों के लिए सामान्य संरचना को नुकसान पहुंचाए बिना बायोप्सी करना चुनौतीपूर्ण बनाता है। कक्षा की स्थिति निर्धारित करने के लिए पैथोलॉजी का गहन शिक्षण-आधारित छवि विश्लेषण बायोप्सी 2 के दौरान कक्षीय ऊतकों को अनावश्यक या परिहार्य चोट से बचने में मदद कर सकताहै। कक्षीय ट्यूमर के लिए छवि विश्लेषण की एक विधि ट्यूमर का पता लगाना और विभाजन है। हालांकि, कक्षीय ट्यूमर युक्त सीटी छवियों के लिए बड़ी मात्रा में डेटा का संग्रह उनकी कम घटनाओंके कारण सीमित है। कम्प्यूटेशनल ट्यूमर निदान 4 के लिए अन्य कुशल विधिमें कक्षा की सामान्य संरचनाओं के लिए ट्यूमर की तुलना करना शामिल है। सामान्य संरचनाओं में कक्षीय सीटी छवियों की संख्या ट्यूमर की तुलना में अपेक्षाकृत बड़ी है। इसलिए, सामान्य कक्षीय संरचनाओं का विभाजन इस लक्ष्य को प्राप्त करने के लिए पहला कदम है।
यह अध्ययन डेटा संग्रह, पूर्व-प्रसंस्करण और बाद के मॉडलिंग सहित गहरी सीखने-आधारित कक्षीय संरचना विभाजन की पूरी प्रक्रिया प्रस्तुत करता है। अध्ययन का उद्देश्य एक नकाबपोश डेटासेट को कुशलतापूर्वक उत्पन्न करने के लिए वर्तमान विधि का उपयोग करने में रुचि रखने वाले चिकित्सकों के लिए और नेत्र रोग विशेषज्ञों के लिए कक्षीय सीटी छवियों के लिए पूर्व-प्रसंस्करण और मॉडलिंग के बारे में जानकारी की आवश्यकता है। यह लेख कक्षीय संरचना विभाजन और अनुक्रमिक यू-नेट के लिए एक नई विधि प्रस्तुत करता है, चिकित्सा छवि विभाजन के लिए यू-नेट में एक प्रतिनिधि गहन-शिक्षण समाधान के आधार पर एक अनुक्रमिक 2 डी विभाजन मॉडल। प्रोटोकॉल कक्षा विभाजन की विस्तृत प्रक्रिया का वर्णन करता है, जिसमें (1) कक्षा संरचना विभाजन की जमीनी सच्चाई के लिए मास्किंग टूल का उपयोग कैसे करें, (2) कक्षीय छवियों के पूर्व-प्रसंस्करण के लिए आवश्यक चरण, और (3) विभाजन मॉडल को कैसे प्रशिक्षित किया जाए और विभाजन प्रदर्शन का मूल्यांकन किया जाए।
पर्यवेक्षित सीखने के लिए, चार अनुभवी नेत्र रोग विशेषज्ञ, जिन्हें 5 वर्षों से अधिक समय तक बोर्ड प्रमाणित किया गया था, ने नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों के मास्क को मैन्युअल रूप से एनोटेट किया। सभी नेत्र रोग विशेषज्ञों ने मास्किंग सॉफ्टवेयर प्रोग्राम (मेडीलेबल, सामग्री की तालिका देखें) का उपयोग किया, जो सीटी स्कैन पर कुशल मास्किंग के लिए सुपर-रिज़ॉल्यूशन का उपयोग करता है। मास्किंग सॉफ्टवेयर में निम्नलिखित अर्ध-स्वचालित विशेषताएं हैं: (1) स्मार्टपेंसिल, जो छवि तीव्रता 5 के समान मूल्यों के साथ सुपर पिक्सेल मैप क्लस्टर उत्पन्न करताहै; (2) स्मार्टफिल, जो चल रहे अग्रभूमि और पृष्ठभूमि 6,7 के ऊर्जा कार्य की गणना करके विभाजन मास्क उत्पन्न करता है; और (3) ऑटोकरेक्शन, जो विभाजन मास्क की सीमाओं को साफ और मूल छवि के अनुरूप बनाता है। अर्ध-स्वचालित सुविधाओं की उदाहरण छवियां चित्रा 1 में दिखाई गई हैं। मैनुअल मास्किंग के विस्तृत चरण प्रोटोकॉल अनुभाग (चरण 1) में प्रदान किए गए हैं।
अगला कदम कक्षीय सीटी स्कैन की पूर्व-प्रसंस्करण है। ऑर्बिटल वॉल्यूम ऑफ इंटरेस्ट (वीओआई) प्राप्त करने के लिए, कक्षा के उन क्षेत्रों की पहचान की जाती है जहां नेत्रगोलक, मांसपेशी और तंत्रिका सामान्य परिस्थितियों में स्थित होते हैं, और इन क्षेत्रों को क्रॉप किया जाता है। डेटासेट में एक उच्च रिज़ॉल्यूशन है, जिसमें <1 मिमी इन-प्लेन वोक्सेल रिज़ॉल्यूशन और स्लाइस मोटाई है, इसलिए प्रक्षेप प्रक्रिया को छोड़ दिया जाता है। इसके बजाय, विंडो क्लिपिंग 48 एचयू क्लिपिंग स्तर और 400 एचयू विंडो पर आयोजित की जाती है। फसल और विंडो क्लिपिंग के बाद, विभाजन मॉडल इनपुट8 के लिए कक्षा वीओआई के तीन सीरियल स्लाइस उत्पन्न होते हैं। प्रोटोकॉल अनुभाग (चरण 2) पूर्व-प्रसंस्करण चरणों पर विवरण प्रदान करता है।
यू-नेट9 चिकित्सा छवियों के लिए एक व्यापक रूप से उपयोग किया जाने वाला विभाजन मॉडल है। यू-नेट आर्किटेक्चर में एक एनकोडर शामिल है, जो चिकित्सा छवियों की विशेषताओं को निकालता है, और एक डिकोडर, जो भेदभावपूर्ण विशेषताओं को शब्दार्थ रूप से प्रस्तुत करता है। सीटी स्कैन के लिए यू-नेट को नियोजित करते समय, संक्रामक परतों में 3 डी फिल्टर10,11 होते हैं। यह एक चुनौती है क्योंकि 3 डी फिल्टर की गणना के लिए एक बड़ी मेमोरी क्षमता की आवश्यकता होती है। 3 डी यू-नेट के लिए मेमोरी आवश्यकताओं को कम करने के लिए, एसईक्यू-यूएनईटी8, जिसमें यू-नेट में अनुक्रमिक 2 डी स्लाइस का एक सेट उपयोग किया जाता है, प्रस्तावित किया गया था। 3 डी सीटी स्कैन के 2 डी छवि स्लाइस के बीच स्थानिक सहसंबंधों के नुकसान को रोकने के लिए, बुनियादी यू-नेट में दो द्वि-दिशात्मक संक्रामक दीर्घकालिक लघु यादें (सी-एलएसटीएम) 12 नियोजित की जाती हैं। पहला द्वि-दिशात्मक सी-एलएसटीएम एन्कोडर के अंत में अंतर-स्लाइस सहसंबंध निकालता है। दूसरा द्वि-दिशात्मक सी-एलएसटीएम, डिकोडर के आउटपुट के बाद, स्लाइस अनुक्रम के आयामों में सिमेंटिक विभाजन जानकारी को एकल छवि विभाजन में बदल देता है। एसईक्यू-यूएनईटी की वास्तुकला चित्रा 2 में दिखाया गया है। कार्यान्वयन कोड github.com/SleepyChild1005/OrbitSeg पर उपलब्ध हैं, और कोड का उपयोग प्रोटोकॉल अनुभाग (चरण 3) में विस्तृत है।
Protocol
वर्तमान कार्य कैथोलिक मेडिकल सेंटर के संस्थागत समीक्षा बोर्ड (आईआरबी) के अनुमोदन के साथ किया गया था, और स्वास्थ्य जानकारी की गोपनीयता, गोपनीयता और सुरक्षा की रक्षा की गई थी। कक्षीय सीटी डेटा कॉलेज ऑफ मेडिसिन, कैथोलिक यूनिवर्सिटी ऑफ कोरिया (सीएमसी) से संबद्ध अस्पतालों से एकत्र किए गए थे (डी-आइडेंटिफाइड मानव विषयों से; सियोल सेंट मैरी अस्पताल, येओइडो सेंट मैरी अस्पताल, डेजन सेंट मैरी अस्पताल और सेंट विंसेंट अस्पताल)। कक्षीय सीटी स्कैन जनवरी 2016 से दिसंबर 2020 तक प्राप्त किए गए थे। डेटासेट में 20 वर्ष से 60 वर्ष की आयु के कोरियाई पुरुषों और महिलाओं के 46 कक्षीय सीटी स्कैन शामिल थे। रनटाइम वातावरण (आरटीई) को पूरक तालिका 1 में संक्षेपित किया गया है।
1. कक्षीय सीटी स्कैन पर नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों को मास्क करना
- मास्किंग सॉफ़्टवेयर प्रोग्राम चलाएँ।
नोट: मास्किंग सॉफ्टवेयर प्रोग्राम (मेडीलेबल, सामग्री की तालिका देखें) विभाजन के लिए एक चिकित्सा छवि लेबलिंग सॉफ्टवेयर प्रोग्राम है, जिसके लिए कुछ क्लिक की आवश्यकता होती है और उच्च गति होती है। - ओपन फ़ाइल आइकन पर क्लिक करके और लक्ष्य सीटी फ़ाइल का चयन करके कक्षीय सीटी लोड करें। फिर, सीटी स्कैन स्क्रीन पर दिखाए जाते हैं।
- सुपर पिक्सल का उपयोग करके नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों को मास्क करें।
- MediLabel (वीडियो 1) में स्मार्टपेंसिल विज़ार्ड पर क्लिक करके स्मार्टपेंसिल चलाएँ।
- यदि आवश्यक हो तो सुपर पिक्सेल मानचित्र के रिज़ॉल्यूशन को नियंत्रित करें (उदाहरण के लिए, 100, 500, 1,000, और 2,000 सुपर पिक्सेल)।
- सुपर पिक्सेल मानचित्र पर नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों के सुपर पिक्सेल के क्लस्टर पर क्लिक करें, जहां समान छवि तीव्रता मूल्यों के पिक्सेल क्लस्टर होते हैं।
- मेडीलेबल में ऑटोकरेक्शन फ़ंक्शंस के साथ मास्क को परिष्कृत करें।
- स्लाइस पर कुछ सुपर पिक्सेल को मास्क करने के बाद स्मार्टफिल विज़ार्ड पर क्लिक करें (वीडियो 2)।
- ऑटोकरेक्शन आइकन पर क्लिक करें, और सुनिश्चित करें कि सही मास्क लेबल की गणना की गई है (वीडियो 3)।
- चरण 1.3 और चरण 1.4 को तब तक दोहराएं जब तक कि मास्किंग का शोधन पूरा न हो जाए।
- नकाबपोश छवियों को सहेजें।
2. प्री-प्रोसेसिंग: विंडो क्लिपिंग और वीओआई की क्रॉपिंग
- preprocessing_multilabel.py के साथ वीओआई निकालें (फ़ाइल GitHub से डाउनलोड करने योग्य है)।
- preprocessing_multilabel.py चलाओ।
- स्कैन और मास्क की जांच करें, जो वीओआई फ़ोल्डर में क्रॉप और सहेजे गए हैं।
- builder_multilabel.py के साथ एसईक्यू-यूएनईटी में इनपुट के लिए वीओआई को तीन अनुक्रमिक सीटी स्लाइस के सेट में बदलें (फ़ाइल गिटहब से डाउनलोड करने योग्य है)।
- sequence_builder_multilabel.py चलाएँ.
- सुनिश्चित करें कि परिवर्तन के दौरान स्लाइस और मास्क को 64 पिक्सेल से 64 पिक्सेल तक आकार दिया गया है।
- परिवर्तन के दौरान, 48 एचयू क्लिपिंग स्तर और 400 एचयू विंडो के साथ क्लिपिंग करें।
- क्रमशः स्कैन फ़ोल्डर में सहेजे गए रूपांतरित सीटी स्कैन (एनआईआई फ़ाइल) और मास्क (एनआईएआई फ़ाइल) और पूर्व-संसाधित फ़ोल्डरों के तहत मास्क फ़ोल्डर की जांच करें।
3. कक्षीय विभाजन मॉडल के चार क्रॉस-सत्यापन
- नीचे दिए गए चरणों का पालन करते हुए मॉडल का निर्माण करें।
- main.py चलाएँ.
- main.py चलाते समय, चार क्रॉस-सत्यापनों की फोल्ड संख्या "-फोल्ड संख्या x" से दें, जहां x 0, 1, 2, या 3 है।
- main.py चलाते समय, युग का उपयोग करें, जो प्रशिक्षण पुनरावृत्तियों की संख्या है, एक विकल्प के रूप में, जैसे "-युग x", जहां x युग संख्या है। डिफ़ॉल्ट संख्या 500 है।
- main.py चलाते समय, बैच आकार सेट करें, जो एक ही प्रशिक्षण सत्र में प्रशिक्षण नमूनों की संख्या है। डिफ़ॉल्ट संख्या 32 है।
- main.py में, सीटी स्कैन और मास्क लोड करें, और एलआईडीसी-आईडीआरआई डेटासेट (कैंसर इमेजिंग संग्रह से डाउनलोड करने योग्य) का उपयोग करके पूर्व-प्रशिक्षित मापदंडों के साथ एसईक्यू-यूएनईटी शुरू करें।
- main.py में, प्रशिक्षण के बाद मॉडल का परीक्षण करें। मूल्यांकन मीट्रिक, पासा स्कोर और वॉल्यूम समानता की गणना करें, और उन्हें मीट्रिक फ़ोल्डर में सहेजें।
- खंडित फ़ोल्डर में परिणामों की जाँच करें।
Representative Results
मात्रात्मक मूल्यांकन के लिए, दो मूल्यांकन मैट्रिक्स अपनाए गए थे, जिनका उपयोग सीटी छवि विभाजन कार्य में किया गया था। ये दो समानता मीट्रिक थे, जिनमें पासा स्कोर (डाइस) और वॉल्यूम समानता (वीएस) 13 शामिल थे:
DICE (%) = 2 × TP/(2 × TP + FP + FN)
VS (%) = 1 − | FN − FP|/(2 × TP + FP + FN)
जहां टीपी, एफपी और एफएन क्रमशः सही सकारात्मक, झूठे सकारात्मक और झूठे नकारात्मक मूल्यों को दर्शाते हैं, जब विभाजन परिणाम और विभाजन मुखौटा दिया जाता है।
कक्षीय संरचना विभाजन के लिए एसईक्यू-यूएनईटी के प्रदर्शन का मूल्यांकन चार क्रॉस-सत्यापन द्वारा किया गया था। परिणाम तालिका 1 में दिखाए गए हैं। एसईक्यू-यूएनईटी का उपयोग करके नेत्रगोलक विभाजन ने 0.86 का पासा स्कोर और 0.83 का वीएस हासिल किया। एक्स्ट्राओकुलर मांसपेशियों और ऑप्टिक तंत्रिका के विभाजन ने कम पासा स्कोर (क्रमशः 0.54 और 0.34) हासिल किया। नेत्रगोलक विभाजन का पासा स्कोर 80% से अधिक था क्योंकि इसमें वीओआई का एक बड़ा हिस्सा था और सीटी स्कैन के बीच थोड़ी विषमता थी। एक्स्ट्राओकुलर मांसपेशियों और ऑप्टिक तंत्रिका के पासा स्कोर अपेक्षाकृत कम थे क्योंकि वे अक्सर सीटी वॉल्यूम में दिखाई देते थे और अपेक्षाकृत कम संख्या में सीटी स्लाइस में पाए जाते थे। हालांकि, एक्स्ट्राओकुलर मांसपेशियों और ऑप्टिक तंत्रिका (क्रमशः 0.65 और 0.80) के दृश्य समानता स्कोर उनके पासा स्कोर से अधिक थे। यह परिणाम इंगित करता है कि विभाजन की विशिष्टता कम थी। कुल मिलाकर, सभी कक्षीय उपसंरचनाओं के विभाजन के लिए एसईक्यू-यूएनईटी का पासा स्कोर और दृश्य समानता क्रमशः 0.79 और 0.82 थी। कक्षीय संरचना विभाजन के दृश्य परिणामों के उदाहरण चित्रा 3 में दिखाए गए हैं। चित्रा 3 ए-सी में, नीला अनुमानित विभाजन परिणाम है, और लाल जमीनी सच्चाई मुखौटा है। चित्रा 3 डी में, लाल, हरा और नारंगी क्रमशः नेत्रगोलक, ऑप्टिक मांसपेशी और तंत्रिका विभाजन हैं।
चित्रा 1: अर्ध-स्वचालित मास्किंग विशेषताएं। (ए) स्मार्टपेंसिल, (बी) स्मार्टफिल, और (सी) ऑटोकरेक्शन का उपयोग करके कक्षीय सीटी स्कैन पर नेत्रगोलक, एक्स्ट्राओकुलर मांसपेशियों और ऑप्टिक तंत्रिका को मास्क करना। नेत्रगोलक के मास्क को स्मार्टपेंसिल द्वारा लेबल किया जाता है, जो स्लाइस के सुपर पिक्सल की गणना करता है, और मास्क सुपर पिक्सल पर क्लिक करके बनाया जाता है। कुछ नेत्रगोलक सुपर पिक्सल पर क्लिक करने के बाद, पूरे नेत्रगोलक मास्क की गणना स्मार्टफिल द्वारा की जा सकती है। ऑप्टिक तंत्रिका को मास्क करने के मामले में, मास्किंग शोधन ऑटोकरेक्शन द्वारा किया जाता है। नीले रंग लेबल वाली आंखों की पुतलियों को (ए) और (बी) में दिखाया गया है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
चित्र 2: एसईक्यू यू-नेट आर्किटेक्चर। इनपुट और आउटपुट के रूप में अनुक्रमिक 2 डी स्लाइस; यू-नेट आर्किटेक्चर के आधार पर एन्कोडिंग और डिकोडिंग ब्लॉक के अंत में दो द्वि-दिशात्मक सी-एलएसटीएम लागू होते हैं। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
चित्रा 3: कक्षीय संरचनाओं के विभाजन परिणाम। (ए) नेत्रगोलक (लेबल 1), (बी) ऑप्टिक मांसपेशी (लेबल 2), (सी) ऑप्टिक तंत्रिका (लेबल 3), और (डी) मल्टी-लेबल (लेबल 1, 2, और 3)। बाईं छवि कक्षा का वीओआई है, केंद्र छवि अनुमानित विभाजन है, और दाईं छवि जमीनी सच्चाई है। (ए), (बी), और (सी) में, नीला अनुमानित विभाजन परिणाम है, और लाल जमीनी सत्य मुखौटा है। (डी) में, लाल, हरा और नारंगी क्रमशः नेत्रगोलक, एक्स्ट्राओकुलर मांसपेशी और ऑप्टिक तंत्रिका विभाजन हैं। अनुमानित विभाजन ने नेत्रगोलक के मामले में उच्च प्रदर्शन (डाइस: 0.86 बनाम 0.82) दिखाया, लेकिन एक्सट्राओकुलर मांसपेशी (डाइस: 0.54 बनाम 0.65) और ऑप्टिक तंत्रिका (डाइस: 0.34 बनाम 0.8) के मामले में कम प्रदर्शन दिखाया। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहां क्लिक करें।
| मल्टी-लेबल | लेबल 1 (नेत्रगोलक) | लेबल 2 (एक्स्ट्राओकुलर मांसपेशी) | लेबल 3 (ऑप्टिक तंत्रिका) | |||||
| पासा | बनाम | पासा | बनाम | पासा | बनाम | पासा | बनाम | |
| SEQ-UNET | 0.79 | 0.82 | 0.86 | 0.83 | 0.54 | 0.65 | 0.34 | 0.8 |
तालिका 1: पासा स्कोर और दृश्य समानता के लिए विभाजन परिणाम। नेत्रगोलक, जिसमें अपेक्षाकृत बड़ी संख्या में स्लाइस होते हैं, को 0.8 के डाइस के साथ अच्छी तरह से विभाजित किया गया था, लेकिन एक्स्ट्राओकुलर मांसपेशी और ऑप्टिक तंत्रिका, जिसमें स्लाइस और लाइन आकार की छोटी संख्या होती है, क्रमशः 0.54 और 0.34 के डाइस मानों के साथ आंशिक रूप से खंडित थे।
वीडियो 1: मास्किंग सॉफ्टवेयर प्रोग्राम में स्मार्टपेंसिल विज़ार्ड। नेत्रगोलक मास्किंग के लिए कई पिक्सेल को एनोटेट करने का एक प्रदर्शन। मास्किंग कार्य क्लस्टर सुपर पिक्सल पर एक क्लिक के साथ सक्षम होते हैं। कृपया इस वीडियो को डाउनलोड करने के लिए यहां क्लिक करें।
वीडियो 2: मास्किंग सॉफ्टवेयर प्रोग्राम में स्मार्टफिल जादूगर। नेत्रगोलक मास्किंग के लिए कई पिक्सेल को एनोटेट करने का एक प्रदर्शन। एनोटेटिंग क्षेत्र में कुछ पिक्सेल का चयन करने के बाद, यह फ़ंक्शन चयनित पिक्सेल के समान तीव्रता के साथ पूर्ण विभाजन मास्क उत्पन्न करता है। कृपया इस वीडियो को डाउनलोड करने के लिए यहां क्लिक करें।
वीडियो 3: मास्किंग सॉफ्टवेयर प्रोग्राम में ऑटोकरेक्शन। एक पूर्व-प्रशिक्षित संक्रामक तंत्रिका नेटवर्क एल्गोरिथ्म का उपयोग करके एक नकाबपोश पिक्सेल के स्वचालित सुधार का प्रदर्शन। कृपया इस वीडियो को डाउनलोड करने के लिए यहां क्लिक करें।
पूरक तालिका 1: मास्किंग, प्री-प्रोसेसिंग और विभाजन मॉडलिंग का रनटाइम वातावरण (आरटीई)। कृपया इस तालिका को डाउनलोड करने के लिए यहाँ क्लिक करें.
Discussion
गहरी शिक्षा-आधारित चिकित्सा छवि विश्लेषण व्यापक रूप से बीमारी का पता लगाने के लिए उपयोग किया जाता है। नेत्र विज्ञान डोमेन में, मधुमेह रेटिनोपैथी, ग्लूकोमा, उम्र से संबंधित मैकुलर अपघटन और प्रीमेच्योरिटी के रेटिनोपैथी में पहचान और विभाजन मॉडल का उपयोग किया जाता है। हालांकि, गहन शिक्षण विश्लेषण के लिए बड़े खुले सार्वजनिक डेटासेट तक सीमित पहुंच के कारण नेत्र विज्ञान के अलावा अन्य दुर्लभ बीमारियों का अध्ययन नहीं किया गया है। इस पद्धति को उन स्थितियों में लागू करते समय जब कोई सार्वजनिक डेटासेट उपलब्ध नहीं होता है, मास्किंग चरण, जो एक श्रम-गहन और समय लेने वाला कार्य है, अपरिहार्य है। हालांकि, प्रस्तावित मास्किंग चरण (प्रोटोकॉल अनुभाग, चरण 1) थोड़े समय के भीतर उच्च सटीकता के साथ मास्किंग उत्पन्न करने में मदद करता है। सुपर पिक्सल और न्यूरल नेटवर्क-आधारित फिलिंग का उपयोग करके, जो क्लस्टर पिक्सेल हैं जो निम्न-स्तरीय छवि गुणों में समान हैं, चिकित्सक विशिष्ट पिक्सेल को इंगित करने के बजाय पिक्सेल के समूहों पर क्लिक करके मास्क को लेबल कर सकते हैं। इसके अलावा, स्वचालित सुधार फ़ंक्शन मास्क प्रक्रियाओं को परिष्कृत करने में मदद करते हैं। इस पद्धति की दक्षता और प्रभावशीलता चिकित्सा अनुसंधान में अधिक नकाबपोश छवियों को उत्पन्न करने में मदद करेगी।
प्री-प्रोसेसिंग में कई संभावनाओं में से, वीओआई निकालना और विंडो क्लिपिंग प्रभावी तरीके हैं। यहां, वीओआई निकालने और विंडो क्लिपिंग को प्रोटोकॉल के चरण 2 में पेश किया गया है। जब चिकित्सक डेटासेट तैयार करते हैं, तो दिए गए डेटासेट से वीओआई निकालना प्रक्रिया में सबसे महत्वपूर्ण कदम है क्योंकि अधिकांश विभाजन के मामले पूरी चिकित्सा छवि में छोटे और विशिष्ट क्षेत्रों पर ध्यान केंद्रित करते हैं। वीओआई के बारे में, नेत्रगोलक, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशियों के क्षेत्रों को स्थान के आधार पर क्रॉप किया जाता है, लेकिन वीओआई निकालने के लिए अधिक प्रभावी तरीकों में विभाजन प्रदर्शनमें सुधार करने की क्षमता है।
विभाजन के लिए, एसईक्यू-यूएनईटी को अध्ययन में नियोजित किया गया है। 3 डी चिकित्सा छवियों में बड़ी मात्रा होती है, इसलिए गहरे तंत्रिका नेटवर्क मॉडल को बड़ी मेमोरी क्षमताओं की आवश्यकता होती है। एसईक्यू-यूएनईटी में, विभाजन मॉडल को 3 डी जानकारी की विशेषताओं को खोए बिना आवश्यक मेमोरी आकार को कम करने के लिए स्लाइस की एक छोटी संख्या के साथ लागू किया जाता है।
मॉडल को 46 वीओआई के साथ प्रशिक्षित किया गया था, जो मॉडल प्रशिक्षण के लिए एक बड़ी संख्या नहीं है। प्रशिक्षण डेटासेट की छोटी संख्या के कारण, ऑप्टिक तंत्रिका और एक्स्ट्राओकुलर मांसपेशी विभाजन का प्रदर्शन सीमित है। ट्रांसफर लर्निंग15 और डोमेन अनुकूलन8 विभाजन प्रदर्शन में सुधार के लिए एक समाधान प्रदान कर सकते हैं।
यहां पेश की गई पूरी विभाजन प्रक्रिया कक्षीय सीटी विभाजन तक सीमित नहीं है। कुशल लेबलिंग विधि एक नया चिकित्सा छवि डेटासेट बनाने में मदद करती है जब एप्लिकेशन डोमेन अनुसंधान क्षेत्र के लिए अद्वितीय होता है। पूर्व-प्रसंस्करण और विभाजन मॉडलिंग से संबंधित गिटहब के पायथन कोड को फसल क्षेत्र, विंडो क्लिपिंग स्तर और मॉडल हाइपर-पैरामीटर के संशोधन के साथ अन्य डोमेन पर लागू किया जा सकता है, जैसे अनुक्रमिक स्लाइस की संख्या, यू-नेट आर्किटेक्चर, और इसी तरह।
Disclosures
लेखक ों ने हितों के टकराव की घोषणा नहीं की है।
Acknowledgments
इस काम को कोरिया के राष्ट्रीय अनुसंधान फाउंडेशन (एनआरएफ) द्वारा समर्थित किया गया था, कोरिया के विज्ञान और आईसीटी मंत्रालय (एमएसआईटी) (संख्या: 2020 आर 1 सी 1 सी 1010079) द्वारा वित्त पोषित अनुदान। सीएमसी-ऑर्बिट डेटासेट के लिए, कैथोलिक मेडिकल सेंटर के केंद्रीय संस्थागत समीक्षा बोर्ड (आईआरबी) ने अनुमोदन प्रदान किया (XC19REGI0076)। यह काम 2022 होंगिक यूनिवर्सिटी रिसर्च फंड द्वारा समर्थित था।
Materials
| Name | Company | Catalog Number | Comments |
| GitHub link | github.com/SleepyChild1005/OrbitSeg | ||
| MediLabel | INGRADIENT (Seoul, Korea) | a medical image labeling software promgram for segmentation with fewer click and higher speed | |
| SEQ-UNET | downloadable from GitHub | ||
| SmartFil | wizard in MediLabel | ||
| SmartPencil | wizard in MediLabel |
References
- Li, Z., et al. Deep learning-based CT radiomics for feature representation and analysis of aging characteristics of Asian bony orbit. Journal of Craniofacial Surgery. 33 (1), 312-318 (2022).
- Hamwood, J., et al. A deep learning method for automatic segmentation of the bony orbit in MRI and CT images. Scientific Reports. 11, 1-12 (2021).
- Kim, K. S., et al. Schwannoma of the orbit. Archives of Craniofacial Surgery. 16 (2), 67-72 (2015).
- Baur, C., et al. Autoencoders for unsupervised anomaly segmentation in brain MR images: A comparative study. Medical Image Analysis. 69, 101952 (2021).
- Trémeau, A., Colantoni, P. Regions adjacency graph applied to color image segmentation. IEEE Transactions on Image Processing. 9 (4), 735-744 (2000).
- Boykov, Y. Y., Jolly, M. -P. Interactive graph cuts for optimal boundary & region segmentation of objects in ND images. Proceedings of Eighth IEEE International Conference on Computer Vision. International Conference on Computer Vision. 1, 105-122 (2001).
- Rother, C., Kolmogorov, V., Blake, A. "GrabCut" interactive foreground extraction using iterated graph cuts. ACM Transactions on Graphics. 23 (3), 309-314 (2004).
- Suh, S., et al. Supervised segmentation with domain adaptation for small sampled orbital CT images. Journal of Computational Design and Engineering. 9 (2), 783-792 (2022).
- Ronneberger, O., Fischer, P., Brox, T. U-net: Convolutional networks for biomedical image segmentation. International Conference on Medical Image Computing and Computer-Assisted Intervention.Medical Image Computing and Computer-Assisted Intervention - MICCAI. , 234-241 (2015).
- Qamar, S., et al. A variant form of 3D-UNet for infant brain segmentation. Future Generation Computer Systems. 108, 613-623 (2020).
- Nguyen, H., et al. Ocular structures segmentation from multi-sequences MRI using 3D UNet with fully connected CRFS. Computational Pathology and Ophthalmic Medical Image Analysis. , Springer. Cham, Switzerland. 167-175 (2018).
- Liu, Q., et al. Bidirectional-convolutional LSTM based spectral-spatial feature learning for hyperspectral image classification. Remote Sensing. 9 (12), 1330 (2017).
- Yeghiazaryan, V., Voiculescu, I. D. Family of boundary overlap metrics for the evaluation of medical image segmentation. Journal of Medical Imaging. 5 (1), 015006 (2018).
- Zhang, G., et al. Comparable performance of deep learning-based to manual-based tumor segmentation in KRAS/NRAS/BRAF mutation prediction with MR-based radiomics in rectal cancer. Frontiers in Oncology. 11, 696706 (2021).
- Christopher, M., et al. Performance of deep learning architectures and transfer learning for detecting glaucomatous optic neuropathy in fundus photographs. Scientific Reports. 8, 16685 (2018).
