This content is Open Access.
The JoVE video player is compatible with HTML5 and Adobe Flash. Older browsers that do not support HTML5 and the H.264 video codec will still use a Flash-based video player. We recommend downloading the newest version of Flash here, but we support all versions 10 and above.
If that doesn't help, please let us know.
छवि आधारित आहार मूल्यांकन के लिए गहरी तंत्रिका नेटवर्क
Chapters
Summary March 13th, 2021
Please note that all translations are automatically generated.
Click here for the English version.
इस लेख में प्रस्तुत काम का लक्ष्य मोबाइल उपकरणों द्वारा ली गई छवियों से खाद्य और पेय पदार्थों की स्वचालित मान्यता के लिए प्रौद्योगिकी विकसित करना है। प्रौद्योगिकी में दो अलग-अलग दृष्टिकोण शामिल हैं - पहला खाद्य छवि मान्यता करता है जबकि दूसरा खाद्य छवि विभाजन करता है।
Transcript
मैन्युअल आहार मूल्यांकन दृष्टिकोण से जुड़े मुद्दों और लागतों के कारण स्वचालित समाधान काम को कम करने और गति देने और इसकी गुणवत्ता में वृद्धि करने के लिए आवश्यक हैं। आज, स्वचालित समाधान एक व्यक्ति के आहार का सेवन बहुत सरल तरीके से रिकॉर्ड करने में सक्षम हैं, जैसे कि स्मार्टफोन कैमरे के साथ एक छवि लेना। इस लेख में, हम गहरे तंत्रिका नेटवर्क का उपयोग करके आहार मूल्यांकन के लिए इस तरह के छवि-आधारित दृष्टिकोणों पर ध्यान केंद्रित करेंगे, जो क्षेत्र में कला की स्थिति का प्रतिनिधित्व करते हैं।
विशेष रूप से, हम तीन समाधान पेश करेंगे, एक खाद्य छवि मान्यता के लिए, एक खाद्य प्रतिकृतियां, या नकली भोजन के छवि विभाजन के लिए, और एक वास्तविक भोजन के छवि विभाजन के लिए। विभिन्न खाद्य पदार्थों और पेय पदार्थों की एक सूची इकट्ठा करें जो खाद्य छवि मान्यता मॉडल के आउटफिट्स होंगे। एक टेक्स्ट फाइल में खाद्य और पेय सूची को सहेजें, जैसे TXT या CSV।
ध्यान दें कि इस लेख के लेखकों द्वारा उपयोग की जाने वाली टेक्स्ट फाइल खाद्य पदार्थों डॉट टीएक्सटी के तहत पूरक फाइलों में पाई जा सकती है और इसमें 520 स्लोवेनियाई खाद्य पदार्थों की सूची शामिल है। एक पायथन स्क्रिप्ट लिखें या डाउनलोड करें जो सूची से प्रत्येक खाद्य पदार्थ की छवियों को डाउनलोड करने के लिए Google कस्टम खोज एपीआई का उपयोग करता है और उन्हें प्रत्येक खाद्य पदार्थ के लिए एक अलग फ़ोल्डर में बचाता है। ध्यान दें कि इस लेख के लेखकों द्वारा उपयोग की जाने वाली पायथन स्क्रिप्ट डाउनलोड इमेजेज डॉट पीआई के तहत पूरक फ़ाइलों में पाई जा सकती है।
यदि इस स्क्रिप्ट का उपयोग पायथन स्क्रिप्ट कोड में डेवलपर कुंजी चर डेवलपर कुंजी लाइन आठ और पायथन स्क्रिप्ट कोड में कस्टम सर्च इंजन आईडी वेरिएबल सीएक्स लाइन 28 का उपयोग किया जाता है, तो Google खाते के उपयोग किए जाने वाले मूल्यों के साथ प्रतिस्थापित किया जाना चाहिए। स्टेप 1.1.3 से पायथन स्क्रिप्ट चलाएं। CLoDSA पुस्तकालय का उपयोग करके, इसे 90 डिग्री तक घुमाकर सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं।
ध्यान दें कि इस लेख के लेखकों द्वारा उपयोग किए जाने वाले सभी CLoDSA आदेशों वाली पायथन स्क्रिप्ट न्यूट्रीनेट के तहत पूरक फ़ाइलों में शामिल एक फ़ाइल में पाया जा सकता है जो वृद्धि डॉट पीआई को रेखांकित करता है। CLoDSA पुस्तकालय का उपयोग करते हुए, इसे 180 डिग्री तक घुमाकर सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं। CLoDSA पुस्तकालय का उपयोग करते हुए, इसे 270 डिग्री तक घुमाकर सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं।
CLoDSA पुस्तकालय का उपयोग करके, क्षैतिज रूप से इसे फ्लिप करके सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं। CLoDSA पुस्तकालय का उपयोग करके, इसमें यादृच्छिक रंग शोर जोड़कर सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं। CLoDSA पुस्तकालय का उपयोग करके 25% तक इसे ज़ूम करके सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं।
एक नए खाद्य छवि डेटा सेट में मूल छवियों के साथ चरण 1.3.1 से 1.3.6 तक छवियों को सहेजें। कुल मिलाकर, प्रति खाद्य छवि सात वेरिएंट। खाद्य छवि डेटा को चरण 1.3.7 से एनवीडीआई अंकों के वातावरण में आयात करें, सेट किए गए डेटा को प्रशिक्षण, सत्यापन और परीक्षण सबसेट में विभाजित करें।
न्यूट्रीनेट आर्किटेक्चर के परिभाषा पाठ को एनवीआईडिया अंकों में कॉपी और पेस्ट करें। ध्यान दें कि न्यूट्रीनेट आर्किटेक्चर परिभाषा न्यूट्रीनेट डॉट प्रोटो टीएक्सटी के तहत पूरक फाइलों में पाई जा सकती है। वैकल्पिक रूप से, एनवीडिया अंकों में प्रशिक्षण हाइपर-पैरामीटर को परिभाषित करें या डिफ़ॉल्ट मूल्यों का उपयोग करें।
इस लेख के लेखकों द्वारा उपयोग किए जाने वाले हाइपर-पैरामीटर न्यूट्रीनेट के तहत पूरक फ़ाइलों में शामिल फ़ाइल में पाए जा सकते हैं जो हाइपर-पैरामीटर्स डॉट प्रोटो टीएक्सटी को रेखांकित करते हैं। न्यूट्रीनेट मॉडल की ट्रेनिंग चलाते हैं। प्रशिक्षण पूरा होने के बाद, सबसे अच्छा प्रदर्शन करने वाले न्यूट्रीनेट मॉडल पुनरावृत्ति लें।
इसके बाद इस मॉडल का उपयोग इस दृष्टिकोण के प्रदर्शन का परीक्षण करने के लिए किया जाता है। ध्यान दें कि सबसे अच्छा प्रदर्शन करने वाले मॉडल पुनरावृत्ति को निर्धारित करने के कई तरीके हैं। अधिक जानकारी के लिए लेख ग्रंथों का उल्लेख करें।
नकली खाद्य छवियों का एक डेटा सेट प्राप्त करें। ध्यान दें कि इस लेख के लेखकों को नकली भोजन की छवियां मिलीं जो प्रयोगशाला के माहौल में एकत्र किए गए थे। पिक्सेल स्तर पर हर खाद्य छवि को मैन्युअल रूप से एनोटेट करें।
छवि में प्रत्येक पिक्सेल के बारे में जानकारी होनी चाहिए कि यह किस खाद्य वर्ग से संबंधित है। ध्यान दें कि इसे हासिल करने के लिए कई उपकरण हैं। इस लेख के लेखकों ने जावास्क्रिप्ट सेगमेंट एनोटेटर का उपयोग किया।
इस चरण का परिणाम खाद्य छवि डेटा सेट से प्रत्येक छवि के लिए एक एनोटेशन छवि है, जहां प्रत्येक पिक्सेल खाद्य कक्षाओं में से एक का प्रतिनिधित्व करता है। धारा 1.3 के समान चरणों को करें, लेकिन केवल खाद्य छवि डेटा सेट के प्रशिक्षण सबसेट से छवियों पर। ध्यान दें कि चरण 1.3.5 के अपवाद के साथ, सभी डेटा वृद्धि चरणों को संबंधित एनोटेशन छवियों पर भी किए जाने की आवश्यकता है।
चरण 1.4.2 के अपवाद के साथ धारा 1.4 के समान चरणों को करें। उस चरण के स्थान पर चरण 2.3.2 और 2.3.3 करते हैं। ध्यान दें कि इस लेख के लेखकों द्वारा उपयोग किए जाने वाले प्रशिक्षण हाइपर-पैरामीटर एफसीएन-8एस के तहत पूरक फ़ाइलों में शामिल फ़ाइल में पाए जा सकते हैं, हाइपर-पैरामीटर डॉट प्रोटो TXT को रेखांकित करते हैं।
एफसीएन-8एस आर्किटेक्चर के परिभाषा पाठ को एनवीआईडिया अंकों में कॉपी और पेस्ट करें। पूर्व प्रशिक्षित एफसीएन-8एस मॉडल वजन को एनवीडिया अंकों में दर्ज करें। ध्यान दें कि इन मॉडल वजन पास्कल दृश्य वस्तु वर्ग डेटा सेट पर पूर्व प्रशिक्षित थे और इंटरनेट पर पाया जा सकता है।
फूड रिकग्निशन चैलेंज वेबसाइट से फूड इमेज डाटा सेट डाउनलोड करें। चरण 1.3.1 से 1.3.4 तक करें। ध्यान दें कि इस लेख के लेखकों द्वारा उपयोग किए जाने वाले सभी CLoDSA आदेशों वाली पायथन स्क्रिप्ट एफआरसी अंडरलॉग ऑगमेंटेशन डॉट पीआई के तहत पूरक फ़ाइलों में शामिल फ़ाइल में पाई जा सकती है।
CLoDSA पुस्तकालय का उपयोग करते हुए, इसमें गॉसियन धुंधला जोड़कर सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं। CLoDSA पुस्तकालय का उपयोग करके, इसे तेज करके सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं। CLoDSA पुस्तकालय का उपयोग करके, गामा सुधार लागू करके सेट किए गए खाद्य छवि डेटा से प्रत्येक छवि का एक नया संस्करण बनाएं।
एक नए खाद्य छवि डेटा सेट में मूल छवियों के साथ चरण 3.2.1 से 3.2.4 तक छवियों को सहेजें। कुल मिलाकर, प्रति खाद्य छवि आठ वेरिएंट। एक नए खाद्य छवि डेटा सेट में मूल छवियों के साथ चरण 3.2.2 से 3.2.4 तक छवियों को सहेजें।
कुल मिलाकर, प्रति खाद्य छवि चार वेरिएंट। एमएम डिटेक्शन लाइब्रेरी से मौजूदा एचटीसी रेसनेट 101 आर्किटेक्चर परिभाषा को संशोधित करें ताकि यह चरण 3.1.1, 3.2.5, और 3.2.6 से खाद्य छवि डेटा सेट स्वीकार कर सके। वैकल्पिक रूप से, प्रशिक्षण हाइपर-पैरामीटर को परिभाषित करने या डिफ़ॉल्ट मूल्यों का उपयोग करने के लिए चरण 3.3.1 से HTC रेसनेट 101 आर्किटेक्चर परिभाषा को संशोधित करें।
ध्यान दें कि संशोधित एचटीसी रेसनेट 101 आर्किटेक्चर परिभाषा एचटीसी अंडरस्कोस रेसनेट 101 डॉट पीआई के तहत पूरक फ़ाइलों में पाई जा सकती है। एमएम डिटेक्शन लाइब्रेरी का उपयोग करके स्टेप 3.1.1 से खाद्य छवि डेटा सेट पर एचटीसी रेसनेट 101 मॉडल का प्रशिक्षण चलाएं। चरण 3.3.3 से प्रशिक्षण पूरा होने के बाद, सबसे अच्छा प्रदर्शन करने वाले एचटीसी रेसनेट 101 मॉडल पुनरावृत्ति लें और चरण 3.2.5 से सेट किए गए खाद्य छवि डेटा पर प्रशिक्षण के अगले चरण को चलाकर इसे ठीक करें।
ध्यान दें कि सबसे अच्छा प्रदर्शन करने वाले मॉडल पुनरावृत्ति को निर्धारित करने के कई तरीके हैं। अधिक जानकारी के लिए लेख ग्रंथों का उल्लेख करें। यह अगले चरणों के लिए भी प्रासंगिक है।
चरण 3.3.4 से प्रशिक्षण पूरा होने के बाद, सबसे अच्छा प्रदर्शन करने वाले एचटीसी रेसनेट 101 मॉडल पुनरावृत्ति लें और चरण 3.2.6 से सेट किए गए खाद्य छवि डेटा पर प्रशिक्षण के अगले चरण को चलाकर इसे ठीक करें। चरण 3.3.5 से प्रशिक्षण पूरा होने के बाद, सबसे अच्छा प्रदर्शन करने वाले एचटीसी रेसनेट 101 मॉडल पुनरावृत्ति लें और इसे फिर से चरण 3.2.5 से सेट किए गए खाद्य छवि डेटा पर प्रशिक्षण के अगले चरण को चलाकर ठीक ट्यून करें। चरण 3.3.6 से प्रशिक्षण पूरा होने के बाद, सबसे अच्छा प्रदर्शन करने वाले एचटीसी रेसनेट 101 मॉडल पुनरावृत्ति लें।
इसके बाद इस मॉडल का उपयोग इस दृष्टिकोण के प्रदर्शन का परीक्षण करने के लिए किया जाता है। ध्यान दें कि चरण 3.3.3 से 3.3.7 इस लेख के लेखकों द्वारा परिभाषित उद्देश्यों के लिए सबसे अच्छा परिणाम मिले। प्रशिक्षण और डेटा वृद्धि चरणों के इष्टतम अनुक्रम को खोजने के लिए प्रत्येक डेटा सेट के लिए प्रयोग की आवश्यकता होती है।
प्रवृत्ति मॉडल न्यूट्रीनेट का परीक्षण करने के बाद मान्यता डेटा सेट पर 86.72% की वर्गीकरण सटीकता हासिल की, जो एलेक्सनेट की तुलना में लगभग 2% अधिक थी और गूगलनेट से थोड़ी अधिक थी, जो उस समय के लोकप्रिय गहरे तंत्रिका नेटवर्क आर्किटेक्चर थे। FCN-8S नकली खाद्य छवि विभाजन मॉडल की सटीकता को मापने के लिए, पिक्सेल सटीकता उपाय का उपयोग किया गया था। प्रशिक्षित एफसीएन-8एस मॉडल की सटीकता 92.18% थी खाद्य छवि विभाजन के लिए ResNet-आधारित समाधान खाद्य मान्यता चैलेंज में परिभाषित सटीक उपाय का उपयोग करके मूल्यांकन किया गया था।
इस उपाय का उपयोग कर ट्रेन मॉडल ५९.२% की एक औसत परिशुद्धता हासिल की है जो खाद्य मांयता चैलेंज में दूसरे स्थान पर रहीं । हाल के वर्षों में, गहरे तंत्रिका नेटवर्क खाद्य छवियों को पहचानने के लिए एक उपयुक्त समाधान के रूप में कई बार मान्य किया गया है । इस लेख में प्रस्तुत हमारा काम इसे और साबित करने का काम करता है।
एकल आउटपुट खाद्य छवि मान्यता दृष्टिकोण सीधा है और सरल अनुप्रयोगों के लिए उपयोग किया जा सकता है। जबकि खाद्य छवि विभाजन दृष्टिकोण एनोटेटेड छवियों को तैयार करने में अधिक काम की आवश्यकता है, लेकिन यह वास्तविक दुनिया छवियों के लिए बहुत अधिक लागू है। भविष्य में, हमारा लक्ष्य वास्तविक दुनिया छवियों पर विकसित प्रक्रियाओं का मूल्यांकन करना होगा।
वास्तविक विश्व सत्यापन की दिशा में पहला कदम खाद्य मान्यता चैलेंज द्वारा प्रदान किया गया था, जिसमें वास्तविक विश्व खाद्य छवियों का डेटा सेट शामिल था। लेकिन, दुनिया भर से और आहार विशेषज्ञों के सहयोग से खाद्य छवियों पर इस दृष्टिकोण को मान्य करने के लिए आगे काम किए जाने की जरूरत है ।
Related Videos
You might already have access to this content!
Please enter your Institution or Company email below to check.
has access to
Please create a free JoVE account to get access
Login to access JoVE
Please login to your JoVE account to get access
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Please enter your email address so we may send you a link to reset your password.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Your JoVE Unlimited Free Trial
Fill the form to request your free trial.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Thank You!
A JoVE representative will be in touch with you shortly.
Thank You!
You have already requested a trial and a JoVE representative will be in touch with you shortly. If you need immediate assistance, please email us at subscriptions@jove.com.
Thank You!
Please enjoy a free 2-hour trial. In order to begin, please login.
Thank You!
You have unlocked a 2-hour free trial now. All JoVE videos and articles can be accessed for free.
To get started, a verification email has been sent to email@institution.com. Please follow the link in the email to activate your free trial account. If you do not see the message in your inbox, please check your "Spam" folder.
