Summary
वर्तमान अध्ययन ने जीभ की छवि को विभाजित करने के लिए यू-नेट और अन्य गहन शिक्षण एल्गोरिदम का उपयोग किया और जीभ निदान के ऑब्जेक्टिफिकेशन की जांच के लिए विभाजन परिणामों की तुलना की।
Abstract
जीभ निदान पारंपरिक चीनी चिकित्सा (टीसीएम) निदान की एक आवश्यक तकनीक है, और छवि प्रसंस्करण प्रौद्योगिकी के माध्यम से जीभ छवियों को ऑब्जेक्टिफाई करने की आवश्यकता बढ़ रही है। वर्तमान अध्ययन पिछले एक दशक में जीभ ऑब्जेक्टिफिकेशन में हुई प्रगति का अवलोकन प्रदान करता है और विभाजन मॉडल की तुलना करता है। वास्तविक जीभ छवि सेट का उपयोग करके एल्गोरिदम को सत्यापित करने और तुलना करने के लिए विभिन्न गहन शिक्षण मॉडल का निर्माण किया जाता है। प्रत्येक मॉडल की ताकत और कमजोरियों का विश्लेषण किया जाता है। निष्कर्षों से संकेत मिलता है कि यू-नेट एल्गोरिदम सटीक सटीकता (पीए), रिकॉल, और मीन इंटरसेक्शन ओवर यूनियन (एमआईओयू) मैट्रिक्स के बारे में अन्य मॉडलों से बेहतर है। हालांकि, जीभ छवि अधिग्रहण और प्रसंस्करण में महत्वपूर्ण प्रगति के बावजूद, ऑब्जेक्टिफाइंग जीभ निदान के लिए एक समान मानक अभी तक स्थापित नहीं किया गया है। जीभ निदान ऑब्जेक्टिफिकेशन में मोबाइल उपकरणों का उपयोग करके कैप्चर की गई जीभ छवियों के व्यापक अनुप्रयोग की सुविधा के लिए, आगे के शोध जटिल वातावरण में कैप्चर की गई जीभ छवियों द्वारा उत्पन्न चुनौतियों को संबोधित कर सकते हैं।
Introduction
जीभ अवलोकन पारंपरिक चीनी जातीय चिकित्सा (टीसीएम) में एक व्यापक रूप से उपयोग की जाने वाली तकनीक है। जीभ का रंग और आकार शारीरिक स्थिति और विभिन्न रोग गुणों, सेवरिटीज और प्रोग्नोस को प्रतिबिंबित कर सकता है। उदाहरण के लिए, पारंपरिक हमोंग चिकित्सा में, जीभ के रंग का उपयोग शरीर के तापमान की पहचान करने के लिए किया जाता है जैसे, एक लाल या बैंगनी जीभ गर्मी से संबंधित रोग संबंधी कारकों को इंगित करती है। तिब्बती चिकित्सा में, एक स्थिति को रोगी की जीभ को देखकर, बलगम के रंग, आकार और नमी पर ध्यान देकर आंका जाता है। उदाहरण के लिए, हेई रोग वाले रोगियों की जीभ लाल और खुरदरी या कालीऔर सूखी हो जाती है; ज़ीरी रोग2 वाले रोगियों में पीली और सूखी जीभ होती है; इस बीच, बदाकन रोग3 वाले रोगियों में सफेद, आर्द्र और नरम जीभ4 होती है। ये अवलोकन जीभ की विशेषताओं और शरीर विज्ञान और विकृति के बीच घनिष्ठ संबंध को प्रकट करते हैं। कुल मिलाकर, जीभ की स्थिति निदान, रोग की पहचान और उपचार प्रभाव के मूल्यांकन में महत्वपूर्ण भूमिका निभाती है।
इसके साथ ही, विभिन्न जातीय समूहों के बीच विविध रहने की स्थिति और आहार प्रथाओं के कारण, जीभ की छवियों में भिन्नता स्पष्ट है। रंग के निर्धारण के लिए एक अंतरराष्ट्रीय मानक के आधार पर स्थापित लैब मॉडल, 1931 में कमीशन इंटरनेशनल एक्लेयर (सीआईई) द्वारा तैयार किया गया था। 1976 में, एक रंग पैटर्न को संशोधित और नामित किया गया था। लैब रंग मॉडल तीन तत्वों से बना है: एल चमक से मेल खाता है, जबकि ए और बी दो रंग चैनल हैं। ए में गहरे हरे रंग (कम चमक मूल्य) से ग्रे (मध्यम चमक मूल्य) से उज्ज्वल गुलाबी (उच्च चमक मूल्य) तक के रंग शामिल हैं; बी उज्ज्वल नीले (कम चमक मूल्य) से ग्रे (मध्यम चमक मूल्य) से पीले (उच्च चमक मूल्य) तक जाता है। पांच जातीय समूहों के जीभ के रंग के एल एक्स ए एक्स बी मूल्यों की तुलना करके, यांग एट अल .5 ने पाया कि हमोंग, हुई, झुआंग, हान और मंगोलियाई समूहों की जीभ छवियों की विशेषताएं एक दूसरे से काफी अलग थीं। उदाहरण के लिए, मंगोलियाई लोगों में पीले जीभ कोटिंग के साथ गहरी जीभ होती है, जबकि हमोंग में सफेद जीभ कोटिंग के साथ हल्की जीभ होती है, यह सुझाव देते हुए कि जीभ की विशेषताओं का उपयोग आबादी की स्वास्थ्य स्थिति का आकलन करने के लिए नैदानिक संकेतक के रूप में किया जा सकता है। इसके अलावा, जीभ छवियां जातीय चिकित्सा के नैदानिक अनुसंधान में साक्ष्य-आधारित चिकित्सा के लिए मूल्यांकन सूचकांक के रूप में कार्य कर सकती हैं। उन्होंने टीसीएम निदान के लिए एक नींव के रूप में जीभ छवियों को नियोजित किया और चीनी और पश्चिमी चिकित्सा के साथ संयुक्त रूप से चाउ-लिंग-डैन छर्रों (सीएलडी ग्रैन्यूल्स- टीसीएम में मौसमी इन्फ्लूएंजा सहित सूजन और ज्वर संबंधी बीमारियों के इलाज के लिए उपयोग किया जाता है) की सुरक्षा और प्रभावकारिता का व्यवस्थित रूप से मूल्यांकन किया। परिणामों ने नैदानिक अध्ययनों के लिए एक मूल्यांकन सूचकांक के रूप में जीभ छवियों की वैज्ञानिक वैधता स्थापित की। फिर भी, पारंपरिक चिकित्सा चिकित्सक आम तौर पर जीभ की विशेषताओं का निरीक्षण करने और रोगियों की शारीरिक और रोग संबंधी स्थितियों का आकलन करने के लिए व्यक्तिपरकता पर भरोसा करते हैं, जिसके लिए अधिक सटीक संकेतकों की आवश्यकता होती है।
इंटरनेट और कृत्रिम बुद्धिमत्ता प्रौद्योगिकी के उद्भव ने जीभ निदान को डिजिटल और ऑब्जेक्टिफाइंग करने का मार्ग प्रशस्त किया है। इस प्रक्रिया मेंजीभ छवियों 7 का गुणात्मक और उद्देश्य विवरण प्रदान करने के लिए गणितीय मॉडल का उपयोग करना शामिल है, जो जीभ की छवि की सामग्री को दर्शाता है। प्रक्रिया में कई चरण शामिल हैं: छवि अधिग्रहण, ऑप्टिकल मुआवजा, रंग सुधार और ज्यामितीय परिवर्तन। पूर्व-संसाधित छवियों को तब छवि स्थिति और विभाजन, सुविधा निष्कर्षण, पैटर्न पहचान आदि के लिए एक एल्गोरिथम मॉडल में खिलाया जाता है। इस प्रक्रिया का आउटपुट जीभ छवि डेटा का एक अत्यधिक कुशल और सटीक निदान है, जिससेजीभ निदान के ऑब्जेक्टिफिकेशन, परिमाणीकरण और सूचनाकरण के लक्ष्य को प्राप्त किया जा सकता है। इस प्रकार, जीभ निदान डेटा की उच्च दक्षता और उच्च परिशुद्धता प्रसंस्करण का उद्देश्य प्राप्त किया जाता है। जीभ निदान ज्ञान और गहरी सीखने की तकनीक के आधार पर, इस अध्ययन ने स्वचालित रूप से एक कंप्यूटर एल्गोरिदम का उपयोग करके जीभ की छवियों से जीभ शरीर और जीभ कोटिंग को अलग कर दिया, ताकि डॉक्टरों के लिए जीभ की मात्रात्मक विशेषताओं को निकाला जा सके, निदान की विश्वसनीयता और स्थिरता में सुधार किया जा सके, और बाद में जीभ निदान ऑब्जेक्टिफिकेशनअनुसंधान के लिए तरीके प्रदान किए जा सकें।
Subscription Required. Please recommend JoVE to your librarian.
Protocol
इस अध्ययन को नेशनल नेचुरल साइंस फाउंडेशन ऑफ चाइना प्रोजेक्ट द्वारा अनुमोदित किया गया है, एसोसिएशन विश्लेषण के आधार पर टीसीएम चेहरे की छवि के गतिशील परिवर्तन नियमों का निर्माण। नैतिकता अनुमोदन संख्या 2021केएल-027 है, और नैतिकता समिति ने अनुमोदित दस्तावेजों के अनुसार किए जाने वाले नैदानिक अध्ययन को मंजूरी दे दी है जिसमें नैदानिक अनुसंधान प्रोटोकॉल (2021.04.12, वी 2.0), सूचित सहमति (2021.04.12, वी 2.0), विषय भर्ती सामग्री (2021.04.12, वी 2.0), अध्ययन मामले और / या केस रिपोर्ट, विषय डायरी कार्ड और अन्य प्रश्नावली शामिल हैं। अनुसंधान परियोजना अनुमोदन, आदि। अध्ययन में भाग लेने वाले रोगियों से सूचित सहमति प्राप्त की गई थी। इस अध्ययन का मुख्य प्रयोगात्मक दृष्टिकोण मॉडल विभाजन प्रभावों को मान्य करने और तुलना करने के लिए वास्तविक जीभ छवियों का उपयोग करना है। चित्रा 1 जीभ निदान ऑब्जेक्टिफिकेशन के घटकों को प्रस्तुत करता है।
1. छवि अधिग्रहण
- रोगियों के भाषाई चेहरे की छवियों को इकट्ठा करने के लिए स्व-विकसित हाथ से पकड़े जाने वाले भाषाई चेहरे नैदानिक उपकरण का उपयोग करें।
- कंप्यूटर पेज पर रोगी का नाम, लिंग, आयु और बीमारी भरें। यहां शामिल छवियां उन रोगियों से हैं जो क्लिनिक में आए थे और अध्ययन के उद्देश्य और सामग्री के बारे में सूचित किए जाने के बाद फोटो खिंचवाने के लिए सहमत हुए थे। पुष्टि करें कि रोगी सीधा बैठा है, पूरे चेहरे को छवि अधिग्रहण उपकरण में रखें, और रोगी को अपनी जीभ को अपने मुंह से अधिकतम सीमा तक बढ़ाने का निर्देश दें।
- कंप्यूटर से जुड़े छवि अधिग्रहण डिवाइस को पकड़ें और कंप्यूटर स्क्रीन पर छवियों के माध्यम से सत्यापित करें कि रोगी सही स्थिति में है और जीभ और चेहरा पूरी तरह से उजागर हैं।
- तीन चित्र लेने के लिए कंप्यूटर स्क्रीन पर शूट बटन को तीन बार दबाएं।
नोट: छवि अधिग्रहण उपकरण वर्तमान में केवल पेटेंट आवेदन चरण में है और वाणिज्यिक उपयोग के लिए नहीं है, इसलिए यह बिक्री के लिए नहीं है। - मैन्युअल रूप से एकत्रित जीभ और चेहरे की छवियों का चयन करें और फ़िल्टर करें। उन छवियों को फ़िल्टर करें और बाहर करें जिनमें अपूर्ण जीभ और चेहरे का जोखिम है, साथ ही ऐसी छवियां जो अपर्याप्त प्रकाश के कारण बहुत अंधेरी हैं। चित्रा 2 सॉफ्टवेयर के छवि अधिग्रहण पृष्ठ को दिखाता है।
- प्रयोगात्मक डिजाइन में, विकल्प के रूप में एक समय में प्रत्येक रोगी से तीन छवियां एकत्र करें और बाद के एल्गोरिदम प्रशिक्षण और परीक्षण के लिए नमूने के रूप में अपेक्षाकृत मानक, पूरी तरह से उजागर, अच्छी तरह से रोशन और स्पष्ट छवि का चयन करें।
- शूटिंग के बाद डेटा एकत्र करें, मैन्युअल स्क्रीनिंग के लिए डेटा निर्यात करें, और नग्न आंखों को दिखाई देने वाली गैर-मानक छवियों को हटा दें। निम्नलिखित फ़िल्टरिंग और बहिष्करण मानदंडों का उपयोग करें: अपूर्ण जीभ और चेहरे का एक्सपोजर, और ऐसी छवियां जो अपर्याप्त प्रकाश के परिणामस्वरूप बहुत अंधेरी हैं। एक अंडर-लिट, एक अपूर्ण और एक मानक छवि का एक उदाहरण चित्रा 3 में दिखाया गया है।
नोट: अपर्याप्त प्रकाश आम तौर पर रोगी के चेहरे को पूरी तरह से उपकरण में रखने में विफलता के कारण होता है। पूर्ण एक्सपोजर आमतौर पर केवल रोगी की सही तस्वीर खींचकर प्राप्त किया जाता है।
2. जीभ विभाजन
- एक ऑनलाइन एनोटेशन टूल का उपयोग करके जीभ छवि विभाजन करें, जैसा कि नीचे वर्णित है।
- Labelme स्थापित करें, लेबल इंटरफ़ेस के ऊपरी बाएं कोने में खोलें बटन पर क्लिक करें, उस फ़ोल्डर का चयन करें जहां छवि स्थित है, और फ़ोटो खोलें ।
- ट्रैकिंग पॉइंट शुरू करने के लिए बहुभुज बनाएं पर क्लिक करें, जीभ और भाषाई आकृतियों को ट्रैक करें, उन्हें चयनित क्षेत्रों (जैसे, जीभ और भाषाई सतह) के अनुसार नाम दें, और उन्हें सहेजें।
- जब सभी चिह्न पूर्ण हो जाएं, तो छवि को डेटा फ़ोल्डर में सहेजने के लिए सहेजें क्लिक करें. विस्तृत प्रवाह चार्ट के लिए चित्र 4 देखें.
नोट: चूंकि छवियों में पिक्सेल अंतर हो सकते हैं, छवियों को सीधे एल्गोरिदम प्रशिक्षण और परीक्षण के लिए उपयोग नहीं किया जा सकता है।
- छवियों को किनारे से भरकर छवियों को उसी आकार में एकीकृत करें, जिसमें लक्ष्य भरने की लंबाई के रूप में छवि का लंबा हिस्सा हो और छवियों को एक वर्ग में भरने के लिए सफेद किनारे-भरने का प्रदर्शन किया जाए, जिसमें छवि का लंबा हिस्सा किनारे की लंबाई के रूप में हो। डिवाइस द्वारा कैप्चर की गई छवि का आकार 1080 x 1920 पिक्सेल है, और भरी हुई छवि का आकार 1920 x 1920 पिक्सेल है। चित्र 5 देखें।
- यदि आवश्यक हो तो छवि वृद्धि लागू करें। इस अध्ययन में कोई वृद्धि लागू नहीं की गई थी, क्योंकि उपयोग की गई छवियों को एक निश्चित दृश्य में लिया गया था और पर्यावरण, प्रकाश व्यवस्था और अन्य कारकों से कम प्रभावित किया गया था।
- चूंकि शूटिंग प्रक्रिया के दौरान प्रत्येक रोगी के लिए तीन छवियां एकत्र की गई थीं, ताकि बेकाबू कारकों, जैसे कि विषय पलक झपकना और लेंस ब्लॉकिंग, प्रति रोगी एक छवि को बनाए रखने के लिए प्रत्येक रोगी से छवियों को मैन्युअल रूप से स्क्रीन करें।
- मॉडल को प्रशिक्षित करने के उद्देश्य से, 200 लोगों, या 600 छवियों से डेटा एकत्र करें। स्क्रीनिंग के बाद, लगभग 200 उपयोगी छवियों को बनाए रखें।
- छवि संख्या के अनुसार, यादृच्छिक रूप से सभी जीभ छवियों को विभाजित करें, उनमें से 70% को प्रशिक्षण सेट में और 30% को स्प्रेडशीट में परीक्षण सेट में रखें।
3. जीभ वर्गीकरण
- आधिकारिक वेबसाइटों पर जाएं और एनाकोंडा, पायथन और लेबलमे डाउनलोड और इंस्टॉल करें। वातावरण को सक्रिय करें और समग्र वातावरण की स्थापना और समायोजन को पूरा करें। सॉफ़्टवेयर की स्थापना और स्थापना का वर्णन करने वाले प्रवाह चार्ट के लिए चित्र 6 देखें.
- स्थापित वातावरण में डीप लर्निंग एल्गोरिदम मॉडल का निर्माण करें, मापदंडों को ट्यून करें, और प्रशिक्षण सेट का उपयोग करके मॉडल प्रशिक्षण पूरा करें। निम्न चरणों में वर्णित मॉडल चयन और ट्यूनिंग निष्पादित करें।
- मॉडल चयन: अनुसंधान के उद्देश्य के आधार पर उपयुक्त मॉडल चुनें। पिछले 5 वर्षों में जीभ छवि प्रसंस्करण पर शोध की समीक्षा करने के बाद, इस अध्ययन में सत्यापन के लिए चार एल्गोरिदम, यू-नेट, सेग-नेट, डीपलैब वी 3 और पीएसपीनेट का चयन किया गया था (मॉडल कोड के लिए पूरक कोडिंग फ़ाइल 1, पूरक कोडिंग फ़ाइल 2, पूरक कोडिंग फ़ाइल 3 और पूरक कोडिंग फ़ाइल 4 देखें)।
- डेटा सेट निर्माण: मॉडल चयन को पूरा करने के बाद, अनुसंधान सामग्री के साथ संयोजन में आवश्यक डेटा सेट का निर्माण करें, मुख्य रूप से लेबल एनोटेशन और समान छवि आकार विधियों का उपयोग करके, जैसा कि ऊपर वर्णित है।
- नीचे वर्णित मॉडल प्रशिक्षण का प्रदर्शन करें। चित्रा 7 एल्गोरिथ्म प्रशिक्षण ऑपरेशन का विवरण दिखाता है।
- आगे प्रसार के लिए तंत्रिका नेटवर्क में डेटा इनपुट करें, प्रत्येक न्यूरॉन पहले मूल्यों के भारित संचय को इनपुट करता है और फिर परिणाम प्राप्त करने के लिए उस न्यूरॉन के आउटपुट मूल्य के रूप में एक सक्रियण फ़ंक्शन डालता है।
- परिणाम को त्रुटि फ़ंक्शन में इनपुट करें और त्रुटि प्राप्त करने और गलती से मान्यता की डिग्री का न्याय करने के लिए अपेक्षित मान के साथ इसकी तुलना करें। हानि फ़ंक्शन जितना छोटा होगा, मॉडल उतना ही बेहतर होगा।
- बैक प्रोपेगेशन द्वारा त्रुटि को कम करें और ढाल वेक्टर निर्धारित करें। परिणामों की ओर रुझान के लिए ढाल वेक्टर द्वारा वजन समायोजित करें ताकि त्रुटि शून्य या सिकुड़ जाए।
- इस प्रशिक्षण प्रक्रिया को तब तक दोहराएं जब तक कि सेट पूरा न हो जाए या त्रुटि मान अब कम न हो, जिस बिंदु पर मॉडल प्रशिक्षण पूरा हो गया है। प्रशिक्षण और परीक्षण में एल्गोरिथ्म मॉडल के प्रवाह चार्ट के लिए चित्रा 8 देखें।
- विभाजन के लिए एक ही परीक्षण डेटा का उपयोग करके चार मॉडलों का परीक्षण करें और विभाजन प्रभाव के अनुसार मॉडल प्रदर्शन का न्याय करें। परिशुद्धता, रिकॉल, माध्य पिक्सेल सटीकता (एमपीए), और एमआईओयू के चार मैट्रिक्स एक अधिक व्यापक मॉडल प्रदर्शन मूल्यांकन प्रदान करते हैं।
- चार मॉडलों के परिणाम उत्पन्न होने के बाद, क्षैतिज रूप से उनके मूल्यों की तुलना करें; मूल्य जितना अधिक होगा, विभाजन सटीकता उतनी ही अधिक होगी और मॉडल का प्रदर्शन उतना ही बेहतर होगा। चित्र 9, चित्र 10, और चित्र 11 देखें।
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
तुलना परिणामों के लिए, चित्रा 12, चित्रा 13 और तालिका 1 देखें, जहां इस अध्ययन द्वारा निर्मित पर्यावरण एल्गोरिदम मॉडल को प्रशिक्षित और परीक्षण करने के लिए समान नमूनों का उपयोग करता है। एमआईओयू संकेतक: यू-नेट > सेग-नेट > पीपीएसपीनेट > दीपलैब वी 3; एमपीए संकेतक: यू-नेट > सेग-नेट > पीपीएसपीनेट > DeeplabV3; सटीक संकेतक: यू-नेट > सेग-नेट > DeeplabV3 > PSPNet; याद रखें: यू-नेट > सेग-नेट > पीपीएसपीनेट > DeeplabV3. सूचकांक मूल्य जितना बड़ा होता है, विभाजन सटीकता उतनी ही अधिक होती है और मॉडल का प्रदर्शन उतना ही बेहतर होता है। सूचकांक परिणामों के अनुसार, यह विश्लेषण किया जा सकता है कि यू-नेट एल्गोरिदम एमआईओयू, एमपीए, परिशुद्धता और याद में अन्य एल्गोरिदम से बेहतर है, और इसकी विभाजन सटीकता भी अन्य एल्गोरिदम की तुलना में अधिक है। इसलिए, यू-नेट एल्गोरिदम में चार अलग-अलग एल्गोरिदम के बीच सबसे अच्छा प्रदर्शन है। PSPNet MiOU, MPA और रिकॉल में DeeplabV3 से बेहतर है, जबकि DeeplabV3 मॉडल सभी इंडेक्स में Seg-Net मॉडल से कम है। इसलिए, यह निष्कर्ष निकाला जा सकता है कि डीपलैबवी 3 एल्गोरिदम में इस शोध वातावरण में चार एल्गोरिदम के बीच कम से कम वांछनीय व्यापक प्रदर्शन है।
मूल्यांकन संकेतक
इस अध्ययन में, एल्गोरिथ्म मॉडल के प्रदर्शन को मुख्य रूप से परिशुद्धता, रिकॉल, एमपीए और एमआईओयू द्वारा मान्य किया गया था। मॉडल के प्रदर्शन मैट्रिक्स सीधे भ्रम मैट्रिक्स से संबंधित हैं, जिसमें मॉडल वर्गीकरण परिणाम शामिल हैं, और उन नमूनों की संख्या को दर्शाता है जिन्हें मॉडल ने सही और गलत तरीके से वर्गीकृत किया है। मैट्रिक्स अनुमानित मूल्य का प्रतिनिधित्व करता है, परीक्षण सेट परिणामों के बराबर, और वास्तविक जमीनी सच्चाई का प्रतिनिधित्व करता है। दोनों श्रेणियों को सही और गलत में विभाजित किया गया है, जिन्हें क्रमशः टी और एफ द्वारा दर्शाया गया है, जिसके परिणामस्वरूप चार संयोजन हैं: टीपी, एफपी, एफएन और टीएन.MPA प्रत्येक श्रेणी में सही ढंग से वर्गीकृत पिक्सेल के अनुपात का औसत मूल्य है, और एमआईओयू औसत इंटरसेक्शन-टू-मर्ज अनुपात है। यह सिमेंटिक विभाजन के लिए सबसे आम मीट्रिक है; यह चौराहे के अनुपात की गणना करता है और सही और अनुमानित मूल्यों10 का विलय करता है। इनके लिए सूत्र हैं:
परिशुद्धता = , रिकॉल = , एमपीए = (सीपीए = , जहां एन श्रेणियों की कुल संख्या है), और एमआईओयू = (आईओयू = 
)।
ये चार मीट्रिक जीभ छवियों के विभाजन प्रभाव का अधिक व्यापक मूल्यांकन प्रदान करते हैं।
इस अध्ययन ने वास्तविक भाषाई छवि डेटा का उपयोग करके एल्गोरिदम मॉडल को प्रशिक्षित करने और परीक्षण करने के लिए चार डीप लर्निंग एल्गोरिदम मॉडल, यू-नेट, सेग-नेट, डीपलैब वी 3 और पीएसपीनेट का चयन किया। यू-नेट11 में एक यू-आकार का आर्किटेक्चर है, जिसमें बाईं ओर एक एनकोडर और दाईं ओर एक डिकोडर शामिल है, और इसमें कम डेटा के साथ अधिक सटीक वर्गीकरण परिणामों को प्रशिक्षित करने और छवि सुविधाओं को व्यापक रूप से निकालने का लाभ है। बहु-स्तरीय लक्ष्य विभाजन समस्या को हल करने के लिए रेस-नेट नेटवर्क के आधार पर, डीपलैब वी 3 खोखले संक्रामक संरचना को अपनाता है, बहु-स्तरीय संदर्भ को पकड़ने के लिए मॉड्यूल को डिजाइन करता है, सशर्त यादृच्छिक क्षेत्र (सीआरएफ) को हटा देता है, और मॉडल प्रदर्शन में काफी सुधार करते हुए एट्रस स्थानिक पिरामिड पूलिंग (एएसपीपी) मॉड्यूल को अपग्रेड करता है। सिमेंटिक विभाजन का उद्देश्य खंडित वस्तु के प्रत्येक पिक्सेल के लिए श्रेणी लेबल प्राप्त करना है। सेग-नेट एक संक्रामक तंत्रिका नेटवर्क (सीएनएन) आर्किटेक्चर है जिसमें सिमेंटिक विभाजन के लिए एक सममित संरचना है, जिसमें एक एनकोडर और एक डिकोडर शामिल है। इसका लाभ यह है कि कम-रिज़ॉल्यूशन फीचर आरेखों के लिए डिकोडर की अप-सैंपलिंग विधि अप-सैंपलिंग सीखने के समय को समाप्त कर देती है। पीएसपीनेट मॉडल मुख्य रूप से दृश्य पार्सिंग पर लागू होता है, शब्दार्थ विभाजन में संदर्भ जानकारी जोड़ता है, जो आंशिक त्रुटि से बच सकता है, वैश्विक दृश्य वर्गीकरण जानकारी का उपयोग करने के लिए उपयुक्त रणनीतियों की कमी की समस्या को हल कर सकता है, और अंतिम अनुमानित परिणामों की विश्वसनीयता में सुधार कर सकता है।
चित्रा 1: जीभ निदान ऑब्जेक्टिफिकेशन के घटक। छवि शूटिंग तत्वों, जीभ विभाजन और जीभ वर्गीकरण सहित जीभ निदान घटक। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्र 2: छवि अधिग्रहण पृष्ठ। जीभ छवि अधिग्रहण इंटरफ़ेस और प्रश्नावली सामग्री। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 3: छवि फ़िल्टरिंग और अस्वीकृति मानदंड। एक हरा टिक मार्क समावेश मानदंड का प्रतिनिधित्व करता है और एक लाल क्रॉस बहिष्करण मानदंड का प्रतिनिधित्व करता है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 4: लेबल अंकन प्रक्रिया का योजनाबद्ध आरेख। लेबल सॉफ्टवेयर का उपयोग छवि की पूरी प्रक्रिया को एनोटेट करने के लिए किया जाता है, फ़ोल्डर खोलने से लेकर फ़ाइल को सहेजने तक। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्र 5: चित्र पूर्व-प्रसंस्करण आरेख। शॉट छवि का आकार 1080 x 1920 पिक्सेल है, और भरण छवि का आकार 1920 x 1920 पिक्सेल है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्र 6: पर्यावरण कॉन्फ़िगरेशन का प्रवाह चार्ट। एल्गोरिथ्म पर्यावरण कॉन्फ़िगर होने के बाद ही चल सकता है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 7: एल्गोरिथ्म प्रशिक्षण विवरण आरेख चलाता है। एल्गोरिथ्म ऑपरेशन में विस्तृत चरण और निष्पादन विधियाँ। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 8: प्रशिक्षण और परीक्षण में एल्गोरिथ्म मॉडल का प्रवाह चार्ट। एल्गोरिथ्म के महत्वपूर्ण चरण, डेटा प्रोसेसिंग, एल्गोरिदम प्रशिक्षण और एल्गोरिदम परीक्षण सहित। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 9: सेग-नेट एल्गोरिथ्म संरचना। सेग-नेट एल्गोरिथ्म तार्किक संरचना और कोड चलने की प्रक्रिया। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 10: यू-नेट एल्गोरिथ्म संरचना। यू-नेट एल्गोरिथ्म तार्किक संरचना और कोड चलने की प्रक्रिया। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 11: जीभ छवि विभाजन अध्ययन का प्रवाह। छवि में लाल क्षेत्र जीभ विभाजन का परिणाम है, और हरा क्षेत्र जीभ कोटिंग विभाजन का परिणाम है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 12: चार एल्गोरिथ्म मैट्रिक्स की तुलना चार्ट। एमआईओयू, एमपीए, परिशुद्धता और रिकॉल एल्गोरिदम प्रदर्शन के सभी मूल्यांकन सूचकांक हैं। मान जितना बड़ा होगा, एल्गोरिदम प्रदर्शन उतना ही बेहतर होगा और विभाजन सटीकता उतनी ही अधिक होगी। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्रा 13: जीभ विभाजन के लिए चार एल्गोरिदम के परिणामों की तुलना। छवि में लाल क्षेत्र जीभ विभाजन का परिणाम है, और हरा क्षेत्र जीभ कोटिंग विभाजन का परिणाम है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
चित्र 14: यू-नेट एल्गोरिथ्म संरचना आरेख। नीले / सफेद बक्से सुविधा मानचित्र को इंगित करते हैं, जबकि सुविधा मानचित्र के ऊपर की संख्या चैनलों की संख्या का प्रतिनिधित्व करती है। कृपया इस आंकड़े का एक बड़ा संस्करण देखने के लिए यहाँ क्लिक करें.
| MIoU | .MPA | यथार्थता | याद करना | |
| यू-नेट | 84.00% | 89.38% | 91.90% | 89.38% |
| DeeplabV3 | 59.68% | 61.33% | 84.21% | 61.33% |
| PSPNet | 67.80% | 72.56% | 82.71% | 72.56% |
| SegNet | 80.09% | 87.14% | 88.53% | 87.14% |
तालिका 1: चार एल्गोरिथ्म विभाजन परिणाम मैट्रिक्स की तुलना। मैट्रिक्स एमआईओयू, एमपीए, परिशुद्धता और रिकॉल थे।
पूरक कोडिंग फ़ाइल 1: यू-Net_training। यू-नेट मॉडल प्रशिक्षण कोड। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.
पूरक कोडिंग फ़ाइल 2: सेग-Net_training। सेग-नेट मॉडल प्रशिक्षण कोड। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.
पूरक कोडिंग फ़ाइल 3: DeeplabV3_training। DeeplabV3 मॉडल प्रशिक्षण कोड। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.
पूरक कोडिंग फ़ाइल 4: PSPNet_training। PSPNet मॉडल प्रशिक्षण कोड। कृपया इस फ़ाइल को डाउनलोड करने के लिए यहाँ क्लिक करें.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
ऊपर प्रस्तुत तुलना परिणामों के आधार पर, यह स्पष्ट है कि विचाराधीन चार एल्गोरिदम की विशेषताएं विविध हैं, और उनके अलग-अलग फायदे और नुकसान नीचे वर्णित हैं। यू-नेट संरचना, एक पूर्ण संक्रामक नेटवर्क के संशोधन और विस्तार के आधार पर, एक अनुबंध पथ और एक सममित विस्तार पथ के माध्यम से प्रासंगिक जानकारी और सटीक स्थिति प्राप्त कर सकती है। प्रत्येक पिक्सेल बिंदु को वर्गीकृत करके, यह एल्गोरिथ्म एक उच्च विभाजन सटीकता प्राप्त करता है और प्रशिक्षित मॉडल के साथ छवि को अधिक तेज़ी से विभाजित करता है। दूसरी ओर, सेग-नेट एल्गोरिथ्म, जिसमें एक एनकोडर और एक डिकोडर की सममित संरचना शामिल है, को नई समस्याओं के लिए तेजी से अनुकूल ति करने और भाषण, शब्दार्थ, दृष्टि और गेमिंग जैसे कार्यों में अच्छा प्रदर्शन करने का लाभ है। हालांकि, एल्गोरिथ्म को बड़ी मात्रा में डेटा की आवश्यकता होती है, जिससे यह हार्डवेयर कॉन्फ़िगरेशन के संदर्भ में मांग करता है, और इस प्रकार केवल कुछ कार्यों के लिए लागू होता है। अधिक सामान्य ढांचे के रूप में, DeeplabV3 एल्गोरिथ्म में अधिकांश नेटवर्क के लिए ASSP मॉड्यूल में सुधार करने और समग्र प्रदर्शन को बेहतर बनाने के लिए उन्हें कैस्केड में या समानांतर में रखने का लाभ है। हालांकि, अंतिम फीचर मैप को 8 और 16 की दरों पर अप-सैंपलिंग के साथ प्राप्त करने की आवश्यकता है, जो अपेक्षाकृत मोटा है और बाद में सुधार किया जा सकता है। इसके अलावा, पीएसपीनेट मॉडल में पीएसपी मॉड्यूल के माध्यम से विभिन्न क्षेत्रों से प्रासंगिक जानकारी एकत्र करने की सबसे महत्वपूर्ण विशेषता है, जिससे वैश्विक जानकारी तक पहुंच में सुधार होता है और कई डेटा सेटों पर अच्छे परिणाम मिलते हैं। परिणाम बताते हैं कि यू-नेट मॉडल में इस शोध वातावरण में उच्चतम विभाजन सटीकता और सबसे अच्छा विभाजन प्रभाव है।
यू-नेट आर्किटेक्चर चिकित्सा छवि विभाजन12 में अपनी श्रेष्ठता प्रदर्शित करता है। प्रारंभ में 2 डी सेल छवि विभाजन के लिए डिज़ाइन किया गया, यू-नेट एल्गोरिदम को 3 डी मॉड्यूल के साथ अपने 2 डी मॉड्यूल को बदलकर आगे विकसित किया गया है। इस संशोधन ने चुंबकीय अनुनाद इमेजिंग (एमआरआई), कंप्यूटेड टोमोग्राफी (सीटी), और त्रि-आयामी (3 डी) अल्ट्रासाउंड छवियों जैसे 3 डी छवियों को संसाधित करने की अपनी क्षमता को मजबूत किया है। चिकित्सा छवियों को अंगों, ऊतकों और घावों में विभाजित करके, मूल्यवान नैदानिक डेटा प्राप्त किया जा सकता है। बेहतर यू-नेट एल्गोरिथ्म बाद की परीक्षा और उपचार के लिए एक प्रभावी उपकरण का प्रतिनिधित्व करता है। चिकित्सा निदान में, छवियों का वर्गीकरण कई नैदानिक प्रक्रियाओं का एक महत्वपूर्ण हिस्सा है। पारंपरिक चिकित्सा जीभ, त्वचा और अभिव्यक्ति सहित सभी दिखाई देने वाले संकेतों को देखने पर निर्भर करती है। चिकित्सा छवि विभाजन प्रौद्योगिकी का उद्भव और उन्नति चिकित्सा निदान में महत्वपूर्ण महत्व रखती है। टीसीएम में, चेहरे और जीभ की छवियों का विश्लेषण करने के लिए सुविधा निष्कर्षण वर्गीकरण के लिए विभिन्न डीप-लर्निंग एल्गोरिदम का उपयोग करने की आवश्यकता होती है। दूसरी ओर, छवि विभाजन एल्गोरिदम का व्यापक रूप से पश्चिमी चिकित्सा में उपयोग किया जाता है, जो नैदानिक निदान और पैथोलॉजी13 के लिए एक आधार प्रदान करता है।
इस अध्ययन की शोध प्रक्रिया में डेटा प्री-प्रोसेसिंग, एल्गोरिदम प्रशिक्षण और परीक्षण और एल्गोरिदम प्रदर्शन तुलना सहित महत्वपूर्ण कदम शामिल हैं। प्रारंभ में, कच्चे डेटा को बाद के एल्गोरिदम निर्माण की सुविधा के लिए प्रसंस्करण, लेबलिंग और प्रशिक्षण और परीक्षण सेटों में विभाजन से गुजरना पड़ता है। संसाधित डेटा को तब तंत्रिका नेटवर्क में खिलाया जाता है, और हानि फ़ंक्शन को बैक प्रोपेगेशन के माध्यम से ढाल वेक्टर निर्धारित करने के लिए सेट किया जाता है। इसके बाद, प्रशिक्षण प्रक्रिया के पूरा होने तक मापदंडों को समायोजित किया जाता है। एल्गोरिथ्म प्रदर्शन का मूल्यांकन कई सूचकांकों का उपयोग करके छवि विभाजन प्रभाव का परीक्षण करके किया जाता है, जैसे कि एमआईओयू, एमपीए, परिशुद्धता, और इसके प्रदर्शन का व्यापक रूप से आकलन करने के लिए रिकॉल। वास्तविक एल्गोरिथ्म प्रशिक्षण प्रक्रिया के दौरान, ओवर-फिटिंग हो सकती है, जहां मॉडल शोर डेटा की विशेषताओं सहित डेटा को बहुत अच्छी तरह से सीखता है। इसके परिणामस्वरूप बाद के परीक्षणों के दौरान डेटा की पहचान करना, डेटा का गलत वर्गीकरण और एक खराब सामान्यीकरण क्षमता होती है। यदि ओवर-फिटिंग होती है, तो कोई प्रशिक्षण डेटा बढ़ा सकता है या डेटा को फिर से साफ कर सकता है। इस अध्ययन में, ढाल वंश पुनरावृत्ति विधि अपनाई जाती है। ओवर-फिटिंग को पहले से पुनरावृत्ति को काटकर भी रोका जा सकता है।
इस अध्ययन की सीमा स्पष्ट है; छवियों को निश्चित उपकरणों का उपयोग करके एकत्र किया गया था, और प्रयोगात्मक उपकरणों का उपयोग वर्तमान में वाणिज्यिक उद्देश्यों के लिए नहीं किया जा सकता है। नतीजतन, इस अध्ययन में जीभ की छवियां एक ही दृश्य से हैं और पूरी तरह से नैदानिक पृष्ठभूमि और जटिल और परिवर्तनशील प्रकाश स्थितियों को प्रतिबिंबित नहीं करती हैं। इसलिए, जटिल वातावरण और खराब रोशनी की स्थिति के तहत छवि प्रसंस्करण तकनीकों का अध्ययन करने के लिए आगे के शोध की आवश्यकता है। जीभ निदान के ऑब्जेक्टिफिकेशन अध्ययन में समृद्ध सामग्री होती है, इसलिए सटीक जीभ शरीर विभाजन आवश्यक है। नतीजतन, सबसे उपयुक्त विभाजन प्रभाव के साथ एल्गोरिदम की तुलना और सत्यापन बाद के अध्ययनों के लिए महत्वपूर्ण है। वर्गीकरण के साथ जीभ विभाजन का संयोजन सैद्धांतिक रूप से स्वचालित जीभ छवि निर्णय प्राप्त कर सकता है और निदान में सहायता कर सकता है; विद्वानों ने इस विषय का अन्वेषण और अध्ययन किया है। स्वास्थ्य सेवा में, बायोमेडिकल छवियों को संसाधित करने के लिए चीजों के इंटरनेट और वायरलेस संचार प्रौद्योगिकियों का उपयोग करना, साथ ही निदान सहायता, सिस्टम की दक्षता को बढ़ा सकती है। मंसूर एट अल.14 ने सहयोगी गहन शिक्षा और चीजों के इंटरनेट के आधार पर एक स्वचालित जीभ रंग छवि (एएसडीएल-टीसीआई) तैयार की। इसमें डेटा अधिग्रहण, प्री-प्रोसेसिंग, फीचर निष्कर्षण, वर्गीकरण और पैरामीटर अनुकूलन शामिल हैं। इस मॉडल की परिशुद्धता, रिकॉल दर और सटीकता क्रमशः 0.984, 0.973 और 0.983 है, जो अन्य तरीकों से बेहतर हैं।
छवि अधिग्रहण और पूर्व-प्रसंस्करण
छवि अधिग्रहण प्रक्रिया के दौरान, प्रकाश स्रोतों की तीव्रता और विविधता सीधे छवि की गुणवत्ता को प्रभावित कर सकती है, जो बदले में छवि विभाजन और वर्गीकरण परिणामों को प्रभावित करती है। इसलिए, प्राकृतिक प्रकाश स्रोतों के प्रभाव की यथासंभव बारीकी से नकल करने के लिए प्रकाश स्रोत को सेट करना आवश्यक है। इसके अतिरिक्त, मानक प्रकाश स्रोतों का उपयोग करने या कई प्रकाश स्रोतों को नियोजित करने और एक निश्चित दृश्य में शूटिंग करने जैसे तरीके प्रकाश, पृष्ठभूमि और अन्य कारकों के नकारात्मक प्रभाव को रोक सकते हैं, जिससे एल्गोरिथम विभाजन की सटीकता बढ़ जाती है। जीभ छवियों को एकत्र करने के लिए उपयोग किए जाने वाले उपकरण प्रकाश पैरामीटर मानक रोशनी के समान नहीं हैं, जो जीभ छवियों के रंग प्रतिपादन प्रभाव को प्रभावित करता है। इस प्रकार, उपयोग की जाने वाली सबसे आम पूर्व-प्रसंस्करण विधि रंग सुधार है। कै एट अल .15 ने पाया कि जीभ की छवि के रंग डेटा और संबंधित जीभ के रंग क्रोमा के बीच विसंगति को संबोधित करने के लिए, जीभ छवि के रंग स्थान रूपांतरण और रंग सुधार को सामान्य करना आवश्यक है। डिस्प्ले डिवाइस का रंग प्रदर्शन भी वास्तविक जीभ शरीर से विचलित होता है, जिससे परीक्षण और समायोजन की आवश्यकता होती है। इसके अलावा, छवि संग्रह प्रक्रिया16 के दौरान उपयोग किए जाने वाले विभिन्न अधिग्रहण उपकरणों के कारण चित्र का आकार भिन्न होता है। प्रशिक्षण दक्षता बढ़ाने और भंडारण स्थान को बचाने के लिए, डीप लर्निंग नेटवर्क में इनपुट चित्र आकार पर सीमाएं हैं। इसलिए, चित्र पूर्व-प्रसंस्करण चरण के दौरान चित्र आकार मानकीकृत किया जाना चाहिए। आमतौर पर, यह मॉडल प्रशिक्षण के लिए इनपुट चित्र आकार को समान रूप से फिर से आकार देकर पूरा किया जाता है, जिसमें आमतौर पर इस्तेमाल की जाने वाली रीशेपिंग विधियां प्रक्षेप, क्लिपिंग, समावेश, टाइलिंग और मिररिंग होती हैं।
जीभ छवि विभाजन।
जीभ छवि विभाजन को दो प्रकारों में वर्गीकृत किया जा सकता है: पारंपरिक और गहरी सीखने के विभाजन के तरीके17। पारंपरिक जीभ छवि विभाजन विधियों में सांप एल्गोरिथ्म और ओत्सु एल्गोरिदम जैसे एल्गोरिदम शामिल हैं। एक सक्रिय समोच्च मॉडल के रूप में, स्नेक एल्गोरिदम18 पहले एक प्रोफ़ाइल वक्र सेट करता है और फिर एक सच्चे प्रोफ़ाइल वक्र में विकसित होने के लिए प्रारंभिक प्रोफ़ाइल को समायोजित करता है। प्रारंभिक आकृति का अधिग्रहण और आकृति का विकास सांप एल्गोरिथ्म के लिए अनुसंधान का प्राथमिक फोकस है। दूसरी ओर, ओत्सु एल्गोरिथ्म एक शास्त्रीय थ्रेशोल्ड विभाजन एल्गोरिथ्म है जो मूल छवि पर ग्रे मान की गणना करने के लिए एक या अधिक थ्रेसहोल्ड को नियोजित करता है और प्रत्येक पिक्सेल के ग्रेस्केल मान की तुलना थ्रेशोल्ड मान से करता है। तुलना परिणामों के आधार पर, गहरी सीखने के तरीकों के आगमन से पहले जीभ और पृष्ठभूमि को चित्रित किया गया है। इन दो एल्गोरिदम का उपयोग आमतौर पर जीभ छवि प्रसंस्करण और जीभ निदान ऑब्जेक्टिफिकेशन में किया जाता है।
गहन शिक्षण सिद्धांत के आगमन के बाद से, कई विद्वानों ने जीभ निदान ऑब्जेक्टिफिकेशन और गहरी शिक्षा के एकीकरण पर शोध किया है। झेंग एट अल .19 ने विभिन्न एल्गोरिदम को मिलाकर और खुले वातावरण में जीभ का पता लगाने की विधि की खोज करके छवि विभाजन के आधार पर एक जीभ का पता लगाने की विधि तैयार की, अंततः अनुकूल जीभ विभाजन परिणाम प्राप्त किए। युआन एट अल .20 ने क्षेत्र एसोसिएशन के एकल पिक्सेल हानि फ़ंक्शन के आधार पर एक जीभ विभाजन विधि का प्रस्ताव दिया, जिसमें बेहतर हानि फ़ंक्शन ने क्षेत्र पिक्सेल के बीच सहसंबंध के लिए जिम्मेदार ठहराया। पिक्सेल लेबल शब्दार्थ पर्यवेक्षित सीखने को नियोजित करते हुए, मॉडल प्रशिक्षण दक्षता को बढ़ाया गया था, जिसका उदाहरण एमआईओयू सूचकांक 96.32% तक पहुंच गया था। जीभ की छवि ने विशिष्ट रूपात्मक विशेषताओं जैसे दांत के निशान, दरारें और पंचर का प्रदर्शन किया, जो रोग की शुरुआत से निकटता से जुड़ा हुआ है। इस प्रकार, जीभ अवलोकन रोग की प्रगति का निदान करने में सहायता कर सकता है। वांग एट अल21 ने छोटे नमूना डेटा सेटों के लिए एक गहरी सीखने वाली जीभ फ्रैक्चर विभाजन दृष्टिकोण का प्रस्ताव दिया जिसने बेहतर सटीकता और स्थिरता प्राप्त की। इस विधि में पहले जीभ शरीर को विभाजित करना शामिल था, उसके बाद जीभ की दरारें, और फ़ंक्शन के नुकसान के रूप में फोकस हानि को शामिल करके यू-नेट एल्गोरिदम में सुधार किया।
जीभ छवि वर्गीकरण
जीभ छवियों को वर्गीकृत करने में मुख्य रूप से जीभ के रंग, रीढ़, दरारें और कोटिंग रंग जैसी विशेषताओं की पहचान करना शामिल है। वांग एट अल .22 ने जीभ के शरीर को विभाजित करने के लिए स्नेक एल्गोरिदम का उपयोग किया और पंचर की पहचान करने के लिए पारस्परिक जानकारी छवि पंजीकरण, लॉग एज डिटेक्शन, समानांतर रेखा और अन्य तरीकों जैसी तकनीकों का उपयोग किया। इस दृष्टिकोण ने प्रारंभिक पहचान और रोकथाम की सुविधा प्रदान करते हुए स्वचालित पंचर पहचान और गिनती के मुद्दे को प्रभावी ढंग से हल किया। जीभ छवि एल्गोरिथ्म के प्रशिक्षण से जुड़ी सीमाओं को संबोधित करने के लिए, जैसे कि एक बड़ी डेटा मात्रा, लंबे प्रशिक्षण समय और उच्च उपकरण आवश्यकताओं, यांग एट अल .23ने स्थानांतरण सीखने के आधार पर एक पूरी तरह से जुड़े तंत्रिका नेटवर्क का प्रस्ताव दिया। यह विधि सुविधाओं को निकालने और उन्हें पूरी तरह से जुड़े तंत्रिका नेटवर्क (एफसीएन) के साथ संयोजित करने के लिए अच्छी तरह से प्रशिक्षित Inception_v3 का उपयोग करती है, 90% से अधिक की सटीकता दर प्राप्त करती है। इस दृष्टिकोण ने छोटे नमूनों और कई वर्गीकरणों में गहरी शिक्षा के मुद्दे को हल किया। सोंग एट अल.24 ने तीन जीभ छवि विशेषताओं को स्वचालित रूप से वर्गीकृत करने के लिए सीखने, प्रशिक्षण और गहन शिक्षा को लागू करने के लिए गूगल-नेट और रेस-नेट पर छवियों का पता लगाने के लिए एक कैस्केड क्लासिफायर का उपयोग किया: दांत के निशान, दरारें और जीभ कोटिंग मोटाई। वर्गीकरण परिणामों की औसत सटीकता 94% से अधिक हो गई। हालांकि, जीभ छवि वर्गीकरण एल्गोरिथ्म चेहरे के अन्य असंबंधित भागों से हस्तक्षेप के लिए अतिसंवेदनशील है, जो सीधे वर्गीकरण सटीकता25 को प्रभावित करता है।
झाई एट अल .26 ने ध्यान तंत्र का उपयोग करके जीभ छवियों को वर्गीकृत करने के लिए एक बहु-चरण एल्गोरिथ्म विकसित किया। यह विधि विभिन्न अवधारणात्मक क्षेत्रों से विशेषताओं को निकालकर जीभ क्षेत्रों की पहचान करने की सटीकता को बढ़ाती है, जो जीभ स्थानीयकरण चरण के दौरान जुड़े होते हैं। इसके अलावा, ध्यान तंत्र मॉड्यूल जीभ छवि वर्गीकरण सटीकता में सुधार करता है, जो जीभ अशुद्धियों से हस्तक्षेप को दबा देता है। विभिन्नरोगों की जीभ विशेषताओं को वर्गीकृत करने की समस्या का सामना करते हुए, डीप लर्निंग एल्गोरिदम भी नए दृष्टिकोण प्रदान कर सकते हैं। इसके अलावा, शी एट अल .28 ने सी 5.0 निर्णय ट्री एल्गोरिदम के आधार पर गैर-छोटे सेल फेफड़ों के कैंसर के लिए एक विशिष्ट वर्गीकरण विधि की जांच की है। उन्होंने क्यूई कमी प्रमाण पत्र और यिन कमी प्रमाण पत्र वर्गीकरण से संबंधित सात विशेषता वर्गीकरण नियमों की पहचान की। मॉडल की सटीकता 80.37% पाई गई। इसके अलावा, ली एट अल .29 ने स्टोकेस्टिक वन एल्गोरिदम का उपयोग करके मधुमेह के लिए एक नैदानिक मॉडल विकसित किया है। उन्होंने मॉडल के प्रदर्शन को बढ़ाने के लिए जीभ छवियों से बनावट और रंग सुविधाओं का विश्लेषण किया।
समाप्ति
पश्चिमी चिकित्सा के समकालीन नैदानिक दृष्टिकोणों के विपरीत, टीसीएम के नैदानिक तरीके न्यूनतम इनवेसिव हैं और न्यूनतम नुकसान पहुंचाते हैं। इसके अतिरिक्त, अवलोकन, सुनने या सूंघने, पूछताछ और धड़कन के चार नैदानिक तरीकों की नींव टीसीएम के विभिन्न पहलुओं में है। फिर भी, चिकित्सक की विशेषज्ञता और व्यक्तिगत उपचार अवधारणाओं पर टीसीएम निदान और उपचार की भारी निर्भरता के कारण, निष्पक्षता और मानकीकरण की कमी हो सकती है। नतीजतन, टीसीएम के निदान को ऑब्जेक्टिफाई करने की प्रवृत्ति आगे के शोध के लिए एक दिशा के रूप में उभरी है, जो टीसीएम की उन्नति को बढ़ावा दे सकती है।
जीभ निदान के ऑब्जेक्टिफिकेशन में उच्च दक्षता के साथ छवियों और बड़ी मात्रा में डेटा को संसाधित करने की क्षमता होती है, जो डॉक्टरों की काफी सहायता कर सकती है। हालांकि, यह ध्यान रखना आवश्यक है कि जीभ निदान न केवल एक पारंपरिक तरीका है, बल्कि इसे मान्य भी किया गया है। चेन एट अल.30 ने एक अध्ययन किया जिसमें उन्होंने 382 सीओवीआईडी -19 रोगियों की जीभ छवियों पर नैदानिक डेटा एकत्र किया। उन्होंने सांख्यिकीय रूप से सभी इमेजिंग समूहों के लिए जीभ छवि सुविधाओं और प्रयोगशाला के रंग पैटर्न मापदंडों का विश्लेषण किया। अध्ययन के निष्कर्षों से जीभ की छवियों की विशेषताओं और इस्तेमाल की जाने वाली पश्चिमी चिकित्सा के प्रकार के बीच एक सहसंबंध का पता चला। इसके अतिरिक्त, जीभ की छवियों में परिवर्तन रोग के समग्र रोगजनन के साथ संरेखित होते हैं। जीभ की छवियों के कुछ पैरामीटर संभावित रूप से टीसीएम31 में सीओवीआईडी -19 के रोगजनक परिवर्तनों की भविष्यवाणी करने में सहायता कर सकते हैं।
पारंपरिक चिकित्सा जीभ निदान को ऑब्जेक्टिफाई करते समय, कई शोधकर्ताओं ने विभाजन और वर्गीकरण विधि का उपयोग किया है। जीभ छवि विशेषताओं को वर्गीकृत करने के लिए गहरी शिक्षा और संक्रामक तंत्रिका नेटवर्क आवश्यक हैं। जीभ छवि विभाजन एल्गोरिथ्म की सटीकता महत्वपूर्ण है क्योंकि यह निर्धारित करता है कि जीभ को चेहरे से ठीक से अलग किया जा सकता है, जिससे सुविधाओं के बाद के वर्गीकरण की सटीकता प्रभावित होती है। नतीजतन, वर्तमान एल्गोरिथ्म मॉडल की सटीकता को बढ़ाना इस क्षेत्र में एक महत्वपूर्ण शोध फोकस है। फिलहाल, एल्गोरिथ्म मॉडल और इसकी सटीकता में सुधार एक शोध हॉटस्पॉट है।
इस अध्ययन ने यू-नेट, सेग-नेट, डीपलैब वी 3 और पीएसपीएनईटी 4 एल्गोरिदम के प्रदर्शन की तुलना करने के लिए एक ही परीक्षण सेट डेटा को नियोजित किया। यह उपाय उपयोग किए गए डेटा की गुणवत्ता में स्थिरता सुनिश्चित करने के लिए किया गया था। इस अध्ययन में नियोजित प्रयोगात्मक वातावरण के तहत, यू-नेट एल्गोरिदम ने विभाजन सटीकता के संबंध में अन्य तीन एल्गोरिदम को काफी बेहतर प्रदर्शन किया। एमआईओयू सिमेंटिक सेगमेंटेशन एल्गोरिदम32 का एनोटेशन माप है, जो एल्गोरिदम प्रदर्शन का मूल्यांकन करने के लिए उपयोग किया जाने वाला सबसे महत्वपूर्ण सूचकांक है। यू-नेट एल्गोरिथ्म का एमआईओयू मूल्य सेग-नेट एल्गोरिदम की तुलना में 3.91% अधिक था, डीपलैबवी 3 की तुलना में 23.32% अधिक था, और पीएसपीनेट की तुलना में 16.2% अधिक था। यह सबूत प्रदान करता है कि यू-नेट एल्गोरिदम अन्य एल्गोरिदम की तुलना में बेहतर प्रदर्शन करता है।
हालांकि, गहरी सीखने के एल्गोरिदम का उपयोग करके जीभ छवियों के विभाजन और वर्गीकरण में कुछ समस्याएं हैं। उदाहरण के लिए, रोगी की गोपनीयता के कारण, चिकित्सा छवि डेटा सेट अन्य सिमेंटिक खंडित डेटा सेट की तुलना में आकार में बहुत छोटे होते हैं, जो बड़े डेटा में गहरी शिक्षा के फायदे को प्रतिबंधित करता है। बड़े पैरामीटर मॉडल विभाजन फिटिंग समस्या से ग्रस्त है। इसलिए, सुधार के उपयुक्त तरीकों का चयन करके नेटवर्क संरचना को समायोजित करने की आवश्यकता है। वर्तमान में, जीभ निदान के ऑब्जेक्टिफिकेशन अनुसंधान ने अभी तक एक समान संग्रह मानक का गठन नहीं किया है; अधिग्रहण वातावरण और प्रकाश स्रोत प्रकार में उचित मानकीकरण की कमी है। शोधकर्ता आमतौर पर संग्रह वातावरण स्थापित करते हैं और अपने स्वयं के गैर-सार्वजनिक डेटाबेस का निर्माण करते हैं। इसी समय, हालांकि वर्तमान एल्गोरिथम मॉडल अच्छी सटीकता प्राप्त कर सकते हैं, उपयोग किए जाने वाले डेटा को सावधानीपूर्वक जांच और पूर्व-संसाधित किया जाता है, जो वास्तविक निदान और उपचार के माहौल में प्राप्त करना मुश्किल है, जिससे इसके नैदानिक अनुप्रयोग को सीमित किया जा सकता है। इसके अतिरिक्त, जीभ निदान का आगे ऑब्जेक्टिफिकेशनविभिन्न उपकरणों द्वारा कैप्चर किए गए जटिल वातावरण या जीभ छवियों से निपटेगा। एक और प्रवृत्ति गतिशील सूचना प्रसंस्करण है, विशेष रूप से वीडियो छवि प्रसंस्करण, जो जीभ पर अधिक विस्तृत जानकारी प्रदान करता है और अधिक व्यापक रूप से जीभ निदान के फायदे को दर्शाता है। इस प्रकार, गतिशील विवरणों को संसाधित करने के लिए गहन शिक्षण एल्गोरिदम विकसित करना आवश्यक है। कुल मिलाकर, गहन शिक्षण एल्गोरिदम के साथ संयुक्त चिकित्सा जीभ निदान का ऑब्जेक्टिफिकेशन टीसीएम निदान में व्यक्तिपरकता को कम करने का वादा करता है।
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
लेखकों के पास घोषित करने के लिए हितों का कोई टकराव नहीं है।
Acknowledgments
इस काम को चीन के राष्ट्रीय प्रकृति फाउंडेशन (अनुदान संख्या 82004504), चीन के विज्ञान और प्रौद्योगिकी मंत्रालय के राष्ट्रीय कुंजी अनुसंधान और विकास कार्यक्रम (अनुदान संख्या 2018 वाईएफसी 1707606), सिचुआन प्रांत के चीनी चिकित्सा प्रशासन (अनुदान संख्या 2021 एमएस 199) और चीन के राष्ट्रीय प्रकृति फाउंडेशन (अनुदान संख्या 82174236) द्वारा समर्थित किया गया था।
Materials
| Name | Company | Catalog Number | Comments |
| CPU | Intel(R) Core(TM) i7-9700K | ||
| GPU | NVIDIA GeForce RTX 3070 Ti (8192MB) | ||
| Operating systems | Microsoft Windows 10 Professional Edition (64-bit) | ||
| Programming language | Python | ||
| RAM | 16G |
References
- Jiu, G., et al. Effects of herbal therapy on intestinal microbiota and serum metabolomics in different rat models of Mongolian medicine. Evidence-Based Complementary and Alternative. 2022, 7255780 (2022).
- Xi, J., Xin, Y., Teregle, Study on the correlation between the animal model of Mongolian medicine 34;Xieri disease" and serum ALT and AST. Electronic Journal of Cardiovascular Diseases in Combination of Traditional Chinese. 4 (33), 134-135 (2016).
- Yin, L., et al. Study on the mechanism of serum differential protein changes in bronchial asthma based on proteomics. Chinese Journal of Traditional Chinese Medicine. 47 (22), 6227-6234 (2022).
- Wang, X. H., Bao, L. Band Seed. The origin and development of tongue diagnosis in Mongolian medicine. Chinese Ethnic Folk Medicine. (1), 64-65 (2008).
- Yang, S., et al. A comparative study on the feature parameters of tongue diagnosis images in five nationalities. Chinese Journal of Traditional Chinese Medicine. 36 (11), 6428-6430 (2021).
- He, J. Y., et al. Efficacy and safety of Chou-Ling-Dan granules in the treatment of seasonal influenza via combining Western and traditional Chinese medicine, protocol for a multicentre, randomised controlled clinical trial. BMJ Open. 9 (4), e024800 (2019).
- Wang, D. J., et al. Scientific knowledge mapping and visualization analysis in the field of Chinese medicine tongue feature objectification research. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3032-3040 (2021).
- Yuan, S. M., Qian, P., Li, F. F. Research progress of color correction methods for tongue and face diagnosis in traditional Chinese Medicine. Chinese Journal of Traditional Chinese Medicine. 34 (9), 4183-4185 (2019).
- Kanawong, R., et al. Tongue image analysis and its mobile app development for health diagnosis. Advances in Experimental Medicine and Biology. 1005, 99-121 (2017).
- Yu, Y., et al. Semantic segmentation evaluation index and evaluation method. Computer Engineering and Application. , (2023).
- Sehyung, L., Negishi, M., Urakubo, H., Kasai, H., Ishii, S. Mu-net: Multi-scale U-net for two-photon microscopy image denoising and restoration. Neural Networks. 125, 92-103 (2020).
- Huang, X. M., et al. A review on the application of U-Net and its variants in medical image segmentation. Chinese Journal of Biomedical Engineering. 41 (5), 567-576 (2022).
- Lu, J. H., Xu, Y. F., Wang, Y. Q., Hao, Y. M. Research overview of tongue objectification in traditional Chinese medicine based on computer image technology. World Science and Technology - Modernization of Traditional Chinese Medicine. 24 (11), 4568-4573 (2022).
- Mansour, R. F., Althobaiti, M. M., Ashour, A. A. Internet of things and synergic deep learning based biomedical tongue color image analysis for disease diagnosis and classification. IEEE Access. 9, 94769-94779 (2021).
- Cai, Y. H., Hu, S. B., Guan, J., Zhang, X. F. Analysis of the development and application of tongue diagnosis objectification techniques in Chinese medicine. World Science and Technology - Modernization of Chinese Medicine. 23 (7), 2447-2453 (2021).
- Ghosh, S., Das, N., Nasipuri, M. Reshaping inputs for convolutional neural network: some common and uncommon methods. Pattern Recognition. 93, 79-94 (2019).
- Shang, Z. M., et al. Research progress of digital acquisition and characterization of tongue diagnosis information. Chinese Journal of Traditional Chinese Medicine. 36 (10), 6010-6013 (2021).
- Ning, J., Zhang, D., Wu, C., Yue, F. Automatic tongue image segmentation based on gradient vector flow and region merging. Neural Computing and Applications. 21, 1819-1826 (2012).
- Zheng, F., Huang, X. Y., Wang, B. L., Wang, Y. H. A method for tongue detection based on image segmentation. Journal of Xiamen University. 55 (6), 895-900 (2016).
- Li, Y. T., Luo, Y. S., Zhu, Z. M. Deep learning-based tongue feature analysis. Computer Science. 47 (11), 148-158 (2020).
- Wang, Y. D., Sun, C. H., Cui, J. L., Wu, X. R., Qin, Y. X. Research on deep learning-based tongue fissure segmentation algorithm. World Science and Technology - Modernization of Chinese Medicine. 23 (9), 3065-3073 (2021).
- Wang, X. M., Wang, R. Y., Guo, D., Lu, S. Z., Zhou, P. Research on the identification method of tongue punctures based on auxiliary light source. Journal of Sensing Technology. 29 (10), 1553-1559 (2016).
- Yang, J. D., Zhang, P. A fully connected neural network based on migration learning for tongue image classification. Journal of the Second Military Medical University. 39 (8), 897-902 (2018).
- Song, C., Wang, B., Xu, J. T. Research on tongue feature classification method based on deep migration learning. Computer Engineering and Science. 43 (8), 1488-1496 (2021).
- Ding, H. J., He, J. C. Study on modern techniques and methods of tongue diagnosis. Shi Zhen Chinese Medicine. 21 (5), 1230-1232 (2010).
- Zhai, P. B., et al. A multi-stage tongue image classification algorithm incorporating attention mechanism. Computer Engineering and Design. 42 (6), 1606-1613 (2021).
- Hou, Y. S. A new clustering analysis algorithm based on deep learning. Journal of Xinxiang University. 35 (12), 4 (2018).
- Shi, Y. L., et al. A decision tree algorithm for classification of non-small cell lung cancer evidence based on tongue and pulse data. World Science and Technology - Modernization of Chinese Medicine. 24 (7), 2766-2775 (2022).
- Li, J., Hu, X. J., Zhou, C. L., Xu, J. T. Study on the feature analysis and diagnosis model of diabetic tongue based on random forest algorithm. Chinese Journal of Traditional Chinese Medicine. 37 (3), 1639-1643 (2022).
- Chen, C. H., et al. The characteristics of the combination of the four diagnostic methods of traditional Chinese medicine from the perspective of the differences between Chinese and Western medical diagnosis methods. Journal of Guangzhou University of Traditional Chinese Medicine. 28 (3), 332-334 (2011).
- Chen, R., et al. Correlation analysis of tongue image and western medicine typing in 382 patients with novel coronavirus pneumonia based on Lab colour model and imaging histology. Chinese Journal of Traditional Chinese Medicine. 36 (12), 7010-7014 (2021).
- Ju, J. W., Jung, H., Lee, Y. J., Mun, S. W., Lee, J. H. Semantic segmentation dataset for AI-based quantification of clean mucosa in capsule endoscopy. Medicina. 58 (3), 397 (2022).
- Wu, X., et al. A review of research on deep learning in tongue image classification. Computer Science and Exploration. , 1-23 (2022).
