Name: רשתות עצביות עמוקות להערכת תזונה מבוססת תמונה (וידאו) | JoVE Journal
Uploaded: 2021-03-13T15:00:00.000+00:00
Duration: 13 min 19 s
Description: חקור הערכת תזונה אוטומטית מבוססת תמונה באמצעות רשתות עצביות עמוקות. השיטה משתמשת בזיהוי וסגמנטציה של תמונות מזון לשיפור דיוק הערכת התזונה.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

המחברים רוצים להודות לתמרה בוכר מאוניברסיטת ניוקאסל, אוסטרליה, על שסיפקה את ערכת הנתונים של תמונות המזון המזויפות. עבודה זו נתמכה על ידי תוכניות המחקר והחדשנות Horizon 2020 של האיחוד האירופי (מספרי מענק 863059 - FNS-Cloud, 769661 - SAAM); וסוכנות המחקר הסלובנית (מענק מספר P2-0098). לאיחוד האירופי ולסוכנות המחקר הסלובנית לא היה תפקיד בעיצוב, בניתוח או בכתיבה של מאמר זה.

<ol><li>Mezgec, S., Eftimov, T., Bucher, T., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mixed+Deep+Learning+and+Natural+Language+Processing+Method+for+Fake-Food+Image+Recognition+and+Standardization+to+Help+Automated+Dietary+Assessment%5BTitle%5D)+AND+%22Public+Health+Nutrition%22%5BJournal%5D)">Mixed Deep Learning and Natural Language Processing Method for Fake-Food Image Recognition and Standardization to Help Automated Dietary Assessment.</a> Public Health Nutrition. 22 (7), 1193-1202 (2019).</li>
<li>Mezgec, S., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((NutriNet%3A+A+Deep+Learning+Food+and+Drink+Image+Recognition+System+for+Dietary+Assessment%5BTitle%5D)+AND+%22Nutrients%22%5BJournal%5D)">NutriNet: A Deep Learning Food and Drink Image Recognition System for Dietary Assessment.</a> Nutrients. 9 (7), 657(2017).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PFID%3A+Pittsburgh+Fast-Food+Image+Dataset%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">PFID: Pittsburgh Fast-Food Image Dataset.</a> Proceedings of the ICIP 2009. , 289-292 (2009).</li>
<li>Joutou, T., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Image+Recognition+System+with+Multiple+Kernel+Learning%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">A Food Image Recognition System with Multiple Kernel Learning.</a> Proceedings of the ICIP 2009. , 285-288 (2009).</li>
<li>Yang, S., Chen, M., Pomerlau, D., Sukthankar, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+using+Statistics+of+Pairwise+Local+Features%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2010%22%5BJournal%5D)">Food Recognition using Statistics of Pairwise Local Features.</a> Proceedings of the CVPR 2010. , 2249-2256 (2010).</li>
<li>Anthimopoulos, M. M., Gianola, L., Scarnato, L., Diem, P., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Recognition+System+for+Diabetic+Patients+Based+on+an+Optimized+Bag-of-Features+Model%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">A Food Recognition System for Diabetic Patients Based on an Optimized Bag-of-Features Model.</a> IEEE Journal of Biomedical and Health Informatics. 18 (4), 1261-1271 (2014).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521, 436-444 (2015).</li>
<li>Deng, L., Yu, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%3A+Methods+and+Applications%5BTitle%5D)+AND+%22Foundations+and+Trends+in+Signal+Processing%22%5BJournal%5D)">Deep Learning: Methods and Applications.</a> Foundations and Trends in Signal Processing. 7 (3-4), 197(2014).</li>
<li>Hubel, D. H., Wiesel, T. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Receptive+Fields%2C+Binocular+Interaction+and+Functional+Architecture+in+the+Cat%27s+Visual+Cortex%5BTitle%5D)+AND+%22The+Journal+of+Physiology%22%5BJournal%5D)">Receptive Fields, Binocular Interaction and Functional Architecture in the Cat's Visual Cortex.</a> The Journal of Physiology. 160 (1), 106-154 (1962).</li>
<li>Singla, A., Yuan, L., Ebrahimi, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food%2FNon-Food+Image+Classification+and+Food+Categorization+using+Pre-Trained+GoogLeNet+Model%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">Food/Non-Food Image Classification and Food Categorization using Pre-Trained GoogLeNet Model.</a> Proceedings of the MADiMa'16. , 3-11 (2016).</li>
<li>Yanai, K., Kawano, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+using+Deep+Convolutional+Network+with+Pre-Training+and+Fine-Tuning%5BTitle%5D)+AND+%22Proceedings+of+the+ICMEW+2015%22%5BJournal%5D)">Food Image Recognition using Deep Convolutional Network with Pre-Training and Fine-Tuning.</a> Proceedings of the ICMEW 2015. , 1-6 (2015).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFood%3A+Deep+Learning-Based+Food+Image+Recognition+for+Computer-Aided+Dietary+Assessment%5BTitle%5D)+AND+%22Proceedings+of+the+ICOST+2016%22%5BJournal%5D)">DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment.</a> Proceedings of the ICOST 2016. , 37-48 (2016).</li>
<li>De Sousa Ribeiro, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+End-to-End+Deep+Neural+Architecture+for+Optical+Character+Verification+and+Recognition+in+Retail+Food+Packaging%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2018%22%5BJournal%5D)">An End-to-End Deep Neural Architecture for Optical Character Verification and Recognition in Retail Food Packaging.</a> Proceedings of the ICIP 2018. , 2376-2380 (2018).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+Classification+with+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+NIPS%2712%22%5BJournal%5D)">ImageNet Classification with Deep Convolutional Neural Networks.</a> Proceedings of the NIPS'12. , 1097-1105 (2012).</li>
<li>Long, J., Shelhamer, E., Darrell, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fully+Convolutional+Networks+for+Semantic+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Fully Convolutional Networks for Semantic Segmentation.</a> Proceedings of the CVPR 2015. , 3431-3440 (2015).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2016%22%5BJournal%5D)">Deep Residual Learning for Image Recognition.</a> Proceedings of the CVPR 2016. , 770-778 (2016).</li>
<li>PASCAL VOC Project. PASCAL Visual Object Classes. , Available from: 
 <a target="_blank" href="http://host.robots.ox.ac.uk/pascal/VOC">http://host.robots.ox.ac.uk/pascal/VOC</a> (2020).</li>
<li>Bucher, T., vander Horst, K., Siegrist, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fruit+for+Dessert.+How+People+Compose+Healthier+Meals%5BTitle%5D)+AND+%22Appetite%22%5BJournal%5D)">Fruit for Dessert. How People Compose Healthier Meals.</a> Appetite. 60 (1), 74-80 (2013).</li>
<li>Food Recognition Challenge. AICrowd. , Available from: 
 <a target="_blank" href="https://www.aicrowd.com/challenges/food-recognition-challenge">https://www.aicrowd.com/challenges/food-recognition-challenge</a> (2020).</li>
<li>Chen, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hybrid+Task+Cascade+for+Instance+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2019%22%5BJournal%5D)">Hybrid Task Cascade for Instance Segmentation.</a> Proceedings of the CVPR 2019. , 4974-4983 (2019).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+with+Deep+Convolutional+Features%5BTitle%5D)+AND+%22Proceedings+of+the+UbiComp+2014%22%5BJournal%5D)">Food Image Recognition with Deep Convolutional Features.</a> Proceedings of the UbiComp 2014. , 589-593 (2014).</li>
<li>Matsuda, Y., Hoashi, H., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recognition+of+Multiple-Food+Images+by+Detecting+Candidate+Regions%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2012%22%5BJournal%5D)">Recognition of Multiple-Food Images by Detecting Candidate Regions.</a> Proceedings of the ICME 2012. , 25-30 (2012).</li>
<li>Christodoulidis, S., Anthimopoulos, M. M., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+for+Dietary+Assessment+using+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+ICIAP+2015%22%5BJournal%5D)">Food Recognition for Dietary Assessment using Deep Convolutional Neural Networks.</a> Proceedings of the ICIAP 2015. , 458-465 (2015).</li>
<li>Tanno, R., Okamoto, K., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFoodCam%3A+A+DCNN-Based+Real-Time+Mobile+Food+Recognition+System%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">DeepFoodCam: A DCNN-Based Real-Time Mobile Food Recognition System.</a> Proceedings of the MADiMa'16. , 89-89 (2016).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+New+Deep+Learning-Based+Food+Recognition+System+for+Dietary+Assessment+on+An+Edge+Computing+Service+Infrastructure%5BTitle%5D)+AND+%22IEEE+Transactions+on+Services+Computing%22%5BJournal%5D)">A New Deep Learning-Based Food Recognition System for Dietary Assessment on An Edge Computing Service Infrastructure.</a> IEEE Transactions on Services Computing. 11 (2), 249-261 (2017).</li>
<li>Martinel, N., Foresti, G. L., Micheloni, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Wide-Slice+Residual+Networks+for+Food+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+WACV+2018%22%5BJournal%5D)">Wide-Slice Residual Networks for Food Recognition.</a> Proceedings of the IEEE WACV 2018. , 567-576 (2018).</li>
<li>Bossard, L., Guillaumin, M., Van Gool, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food-101-Mining+Discriminative+Components+with+Random+Forests%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Food-101-Mining Discriminative Components with Random Forests.</a> Proceedings of the ECCV'14. , 446-461 (2014).</li>
<li>Zhou, L., Zhang, C., Liu, F., Qiu, Z., He, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Application+of+Deep+Learning+in+Food%3A+A+Review%5BTitle%5D)+AND+%22Comprehensive+Reviews+in+Food+Science+and+Food+Safety%22%5BJournal%5D)">Application of Deep Learning in Food: A Review.</a> Comprehensive Reviews in Food Science and Food Safety. 18, 1793-1811 (2019).</li>
<li>Zhao, H., Yap, K. -H., Kot, A. C., Duan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((JDNet%3A+A+Joint-Learning+Distilled+Network+for+Mobile+Visual+Food+Recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Selected+Topics+in+Signal+Processing%22%5BJournal%5D)">JDNet: A Joint-Learning Distilled Network for Mobile Visual Food Recognition.</a> IEEE Journal of Selected Topics in Signal Processing. 14 (4), 665-675 (2020).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Expansion+of+a+Food+Image+Dataset+Leveraging+Existing+Categories+with+Domain+Adaptation%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Automatic Expansion of a Food Image Dataset Leveraging Existing Categories with Domain Adaptation.</a> Proceedings of the ECCV'14. , 3-17 (2014).</li>
<li>Hafiz, R., Haque, M. R., Rakshit, A., Uddin, M. S. Image-Based Soft Drink Type Classification and Dietary Assessment System using Deep Convolutional Neural Network with Transfer Learning. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHafiz%2C+R+%22Journal+of+King+Saud+University+-+Computer+and+Information+Sciences%22">Journal of King Saud University - Computer and Information Sciences</a>. , (2020).</li>
<li>Shimoda, W., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Weakly-Supervised+Plate+and+Food+Region+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2020%22%5BJournal%5D)">Weakly-Supervised Plate and Food Region Segmentation.</a> Proceedings of the ICME 2020. , 1-6 (2020).</li>
<li>Ciocca, G., Micali, G., Napoletano, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((State+Recognition+of+Food+Images+using+Deep+Features%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">State Recognition of Food Images using Deep Features.</a> IEEE Access. 8, 32003-32017 (2020).</li>
<li>Knez, S., Šajn, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Object+Recognition+using+a+Mobile+Device%3A+Evaluation+of+Currently+Implemented+Systems%5BTitle%5D)+AND+%22Trends+in+Food+Science+%26+Technology%22%5BJournal%5D)">Food Object Recognition using a Mobile Device: Evaluation of Currently Implemented Systems.</a> Trends in Food Science & Technology. 99, 460-471 (2020).</li>
<li>Furtado, P., Caldeira, M., Martins, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+Visual+System+vs+Convolution+Neural+Networks+in+Food+Recognition+Task%3A+An+Empirical+Comparison%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">Human Visual System vs Convolution Neural Networks in Food Recognition Task: An Empirical Comparison.</a> Computer Vision and Image Understanding. 191, 102878(2020).</li>
<li>Chen, M. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Chinese+Food+Identification+and+Quantity+Estimation%5BTitle%5D)+AND+%22SA%2712+Technical+Briefs%22%5BJournal%5D)">Automatic Chinese Food Identification and Quantity Estimation.</a> SA'12 Technical Briefs. , 1-4 (2012).</li>
<li>Chen, J., Ngo, C. -W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep-Based+Ingredient+Recognition+for+Cooking+Recipe+Retrieval%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2716%22%5BJournal%5D)">Deep-Based Ingredient Recognition for Cooking Recipe Retrieval.</a> Proceedings of the MM'16. , 32-41 (2016).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition%3A+A+New+Dataset%2C+Experiments%2C+and+Results%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Food Recognition: A New Dataset, Experiments, and Results.</a> IEEE Journal of Biomedical and Health Informatics. 21 (3), 588-598 (2017).</li>
<li>Salvador, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Learning+Cross-Modal+Embeddings+for+Cooking+Recipes+and+Food+Images%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+CVPR+2017%22%5BJournal%5D)">Learning Cross-Modal Embeddings for Cooking Recipes and Food Images.</a> Proceedings of the IEEE CVPR 2017. , 3020-3028 (2017).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CNN-Based+Features+for+Retrieval+and+Classification+of+Food+Images%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">CNN-Based Features for Retrieval and Classification of Food Images.</a> Computer Vision and Image Understanding. 176-177, 70-77 (2018).</li>
<li>Cai, Q., Li, J., Li, H., Weng, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BTBUFood-60%3A+Dataset+for+Object+Detection+in+Food+Field%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+BigComp+2019%22%5BJournal%5D)">BTBUFood-60: Dataset for Object Detection in Food Field.</a> Proceedings of the IEEE BigComp 2019. , 1-4 (2019).</li>
<li>Min, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ISIA+Food-500%3A+A+Dataset+for+Large-Scale+Food+Recognition+via+Stacked+Global-Local+Attention+Network%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2720%22%5BJournal%5D)">ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network.</a> Proceedings of the MM'20. , 393-401 (2020).</li>
<li>Python Software Foundation. Python. , Available from: 
 <a target="_blank" href="https://www.python.org">https://www.python.org</a> (2020).</li>
<li>Google Custom Search API. Google. , Available from: 
 <a target="_blank" href="https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html">https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html</a> (2020).</li>
<li>Stanford Vision Lab. ImageNet. , Available from: 
 <a target="_blank" href="http://www.image-net.org">http://www.image-net.org</a> (2020).</li>
<li>Heras, J. CLoDSA. , Available from: 
 <a target="_blank" href="https://github.com/joheras/CLoDSA">https://github.com/joheras/CLoDSA</a> (2020).</li>
<li>NVIDIA DIGITS. NVIDIA. , Available from: 
 <a target="_blank" href="https://developer.nvidia.com/digits">https://developer.nvidia.com/digits</a> (2020).</li>
<li>Yamaguchi, K. JavaScript Segment Annotator. , Available from: 
 <a target="_blank" href="https://github.com/kyamagu/js-segment-annotator">https://github.com/kyamagu/js-segment-annotator</a> (2020).</li>
<li>Shelhamer, E. Fully Convolutional Networks for Semantic Segmentation. , Available from: 
 <a target="_blank" href="https://github.com/shelhamer/fcn.berkeleyvision.org">https://github.com/shelhamer/fcn.berkeleyvision.org</a> (2020).</li>
<li>Multimedia Laboratory, CUHK. MMDetection. , Available from: 
 <a target="_blank" href="https://github.com/open-mmlab/mmdetection">https://github.com/open-mmlab/mmdetection</a> (2020).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+Deeper+with+Convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Going Deeper with Convolutions.</a> Proceedings of the CVPR 2015. , 1-9 (2015).</li>
<li>Bottou, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large-Scale+Machine+Learning+with+Stochastic+Gradient+Descent%5BTitle%5D)+AND+%22Proceedings+of+the+COMPSTAT%272010%22%5BJournal%5D)">Large-Scale Machine Learning with Stochastic Gradient Descent.</a> Proceedings of the COMPSTAT'2010. , 177-186 (2010).</li>
<li>Nesterov, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Method+of+Solving+a+Convex+Programming+Problem+with+Convergence+Rate+O%281%2Fk2%29%5BTitle%5D)+AND+%22Doklady+Akademii+Nauk+SSSR%22%5BJournal%5D)">A Method of Solving a Convex Programming Problem with Convergence Rate O(1/k2).</a> Doklady Akademii Nauk SSSR. 27, 372-376 (1983).</li>
<li>Duchi, J., Hazan, E., Singer, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adaptive+Subgradient+Methods+for+Online+Learning+and+Stochastic+Optimization%5BTitle%5D)+AND+%22Journal+of+Machine+Learning+Research%22%5BJournal%5D)">Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.</a> Journal of Machine Learning Research. 12, 2121-2159 (2011).</li>
<li>Kingma, D. P., Ba, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adam%3A+A+Method+for+Stochastic+Optimization%5BTitle%5D)+AND+%22arXiv+Preprint%22%5BJournal%5D)">Adam: A Method for Stochastic Optimization.</a> arXiv Preprint. , (2017).</li>
</ol>

למחברים אין מה לחשוף.

בשנים האחרונות, רשתות עצביות עמוקות אומתו מספר פעמים כפתרון מתאים לזיהוי תמונות מזון10,11,12,21,23,25,26,29,31,33. העבודה שלנו המוצגת במאמר זה משמשת כדי להוכיח עוד יותר את זה1,2. הגישה לזיהוי תמונת מזון חד-פלט היא פשוטה וניתן להשתמש בה עבור יישומים פשוטים שבהם תמונות עם פריט מזון או משקה אחד בלבד צפויות2.
גישת פילוח תמונת המזון נראית מתאימה במיוחד לזיהוי תמונות מזון באופן כללי, ללא כל הגבלה על מספר פריטי המזון1. מכיוון שהוא פועל על ידי סיווג כל פיקסל בודד של התמונה, הוא מסוגל לא רק לזהות כל מספר של פריטי מזון בתמונה, אלא גם לציין היכן ממוקם פריט מזון, כמו גם כמה גדול הוא. לאחר מכן ניתן להשתמש באפשרות זו כדי לבצע הערכת משקל מזון, במיוחד אם נעשה שימוש עם אובייקט ייחוס או מצלמה למרחקים קבועים.
נעשתה עבודה מסוימת לגבי הזמינות של datasets תמונת מזון3,22,27,30,36,37,38,39,40,41,42, ואנחנו מקווים יותר ייעשה בעתיד, במיוחד כשמדובר צבירת ערכות נתונים תמונת מזון מאזורים שונים ברחבי העולם, אשר יאפשר פתרונות חזקים יותר להתפתח. נכון לעכשיו, הדיוק של פתרונות זיהוי תמונה מזון אוטומטי עדיין לא הגיע דיוק ברמה האנושית35, וזה כנראה במידה רבה בשל השימוש datasets תמונת מזון של גודל ואיכות לא מספיק.
בעתיד, המטרה שלנו תהיה להעריך עוד יותר את ההליכים המפותחים על תמונות מהעולם האמיתי. באופן כללי, ערכות נתונים בשדה זה מכילות לעתים קרובות תמונות שצולמו בסביבות מבוקרות או בתמונות ממוטבות לזיהוי באופן ידני. לכן חשוב לאסוף ערכת נתונים גדולה ומגוונת של תמונות מזון בעולם האמיתי כדי להקיף את כל פריטי המזון והמשקאות השונים שאנשים עשויים לרצות לזהות. הצעד הראשון לקראת זה סופק על ידי אתגר זיהוי מזון, שכלל ערכת נתונים של תמונות מזון בעולם האמיתי19, אבל עבודה נוספת צריכה להיעשות כדי לאמת גישה זו על תמונות מזון מכל רחבי העולם בשיתוף עם דיאטנים.

<table><tbody><tr><td><חזק>HARDWARE</חזק></td><td></td><td></td><td></td></tr><tr><td>NVIDIA GPU</td><td>NVIDIA</td><td>N/A</td><td>יש צורך ב-NVIDIA GPU מכיוון שחלק ממסגרות התוכנה שלהלן לא יעבדו אחרת. https://www.nvidia.com</td></tr><tr><td>SOFTWARE</td><td></td><td></td><td></td></tr><tr><td>Caffe</td><td>Berkeley AI Research</td><td>N/A</td><td>Caffe היא מסגרת למידה עמוקה. https://caffe.berkeleyvision.org</td></tr><tr><td>CLoDSA</td><td>J&oacute; נתן הראס</td><td>N/A</td><td>CLoDSA היא ספריית הגדלת תמונות של Python. https://github.com/joheras/CLoDSA</td></tr><tr><td>Google API Client</td><td></td> Google <td>N/A</td><td>Google API Client היא ספריית לקוחות Python עבור ממשקי API מבוססי גילוי של Google. https://github.com/googleapis/google-api-python-client</td></tr><tr><td>JavaScript Segment Annotator</td><td>Kota Yamaguchi</td><td>N/A</td><td>JavaScript Segment Annotator הוא כלי להערת תמונות JavaScript. https://github.com/kyamagu/js-segment-annotator</td></tr><tr><td>מעבדת המולטימדיה</td><td>MMDetection</td>, CUHK <td>N/A</td><td>MMDetection הוא ארגז כלים לזיהוי אובייקטים המבוסס על PyTorch. https://github.com/open-mmlab/mmdetection</td></tr><tr><td>NVIDIA DIGITS</td><td>NVIDIA</td> N<td>/A</td><td>NVIDIA DIGITS הוא עטיפה ל-Caffe המספקת ממשק אינטרנט גרפי. https://developer.nvidia.com/digits</td></tr><tr><td>OpenCV</td><td>Intel</td><td>N/A</td><td>OpenCV היא ספרייה לראייה ממוחשבת. https://opencv.org</td></tr><tr><td>Python</td><td>Python Software Foundation</td><td>N/A</td><td>Python היא שפת תכנות. https://www.python.org</td></tr><tr><td>PyTorch</td><td>Facebook AI Research</td><td>N/A</td><td>PyTorch היא מסגרת למידת מכונה. https://pytorch.org</td></tr><tr><td>Ubuntu OS</td><td>Canonical</td><td>N/A</td><td>Ubuntu 14.04 היא מערכת ההפעלה המשמשת את המחברים ומציעה תאימות לכל מסגרות התוכנה והכלים לעיל. https://ubuntu.com</td></tr></tbody></table>

רשתות עצביות עמוקות להערכת תזונה מבוססת תמונה

Deep Neural Networks for Image-Based Dietary Assessment

בשל הבעיות והעלויות הכרוכות בגישות ידניות להערכת תזונה, נדרשים פתרונות אוטומטיים כדי להקל ולהאיץ את העבודה ולהגביר את איכותה. כיום, פתרונות אוטומטיים מסוגלים לתעד את צריכת התזונה של אדם בצורה הרבה יותר פשוטה, למשל על ידי צילום תמונה עם מצלמת סמארטפון. במאמר זה נתמקד בגישות מבוססות תמונה כאלה להערכת תזונה. עבור בעיית זיהוי תמונת המזון, רשתות עצביות עמוקות השיגו את מצב האמנות בשנים האחרונות, ואנו מציגים את עבודתנו בתחום זה. בפרט, אנו מתארים תחילה את השיטה לזיהוי תמונות מזון ומשקאות באמצעות ארכיטקטורת רשת עצבית עמוקה, הנקראת NutriNet. שיטה זו, כמו רוב המחקרים שנעשו בימים הראשונים של זיהוי תמונת מזון מבוססת למידה עמוקה, מוגבלת לתפוקה אחת לתמונה, ולכן אינה מתאימה לתמונות עם פריטי מזון או משקאות מרובים. לכן גישות המבצעות פילוח תמונת מזון הן הרבה יותר חזקות, שכן הן מסוגלות לזהות כל מספר של פריטי מזון או משקאות בתמונה. לכן אנו מציגים גם שתי שיטות לפילוח תמונות מזון - האחת מבוססת על רשתות קונבולוציונליות לחלוטין (FCNs), והשנייה על שאריות עמוקות (ResNet).

NutriNet נבדק מול שלוש ארכיטקטורות למידה עמוקה פופולריות של אותה תקופה: AlexNet14, GoogLeNet51 ו- ResNet16. כמו כן נבדקו פרמטרי אימון מרובים עבור כל הארכיטקטורות כדי להגדיר את הערכים האופטימליים2. בין אלה היא הבחירה של סוג פותר, אשר קובע כיצד פונקציית ההפסד ממוזער. פונקציה זו היא מדד האיכות העיקרי לאימון רשתות עצביות מכיוון שהיא מתאימה יותר לאופטימיזציה במהלך האימון מאשר לדיוק הסיווג. בדקנו שלושה פותרים: ירידה הדרגתית סטוכסית (SGD)52, שיפוע מואץ של נסטרוב (NAG)53 ואלגוריתם הדרגתי אדפטיבי (AdaGrad)54. הפרמטר השני הוא גודל אצווה, המגדיר את מספר התמונות המעובדות בו-זמנית. עומק ארכיטקטורת הלמידה העמוקה קבע את הערך של פרמטר זה, שכן ארכיטקטורות עמוקות יותר דורשות יותר מקום בזיכרון המעבד הגרפי - התוצאה של גישה זו הייתה שהזיכרון היה מלא לחלוטין בתמונות לכל הארכיטקטורות, ללא קשר לעומק. הפרמטר השלישי הוא קצב למידה, המגדיר את המהירות שבה הפרמטרים של הרשת העצבית משתנים במהלך האימון. פרמטר זה הוגדר יחד עם גודל האצווה, מכיוון שמספר התמונות המעובדות בו-זמנית מכתיב את קצב ההתכנסות. דגמי AlexNet הוכשרו באמצעות גודל אצווה של 256 תמונות וקצב למידה בסיסי של 0.02; NutriNet השתמש בגודל אצווה של 128 תמונות וקצב של 0.01; GoogLeNet 64 תמונות וקצב של 0.005; ותמונות ResNet 16 וקצב של 0.00125. שלושה פרמטרים נוספים תוקנו עבור כל הארכיטקטורות: מדיניות קצב למידה (צעד למטה), גודל צעד (30%) וגמא (0.1). פרמטרים אלה מתארים במשותף כיצד קצב הלמידה משתנה בכל תקופה. הרעיון מאחורי גישה זו הוא כי קצב הלמידה הוא להיות בהדרגה הוריד כדי לכוונן את המודל ככל שהוא מתקרב לערך ההפסד האופטימלי. לבסוף, מספר עידנים אימונים היה גם קבוע 150 עבור כל ארכיטקטורות למידה עמוקה2.
התוצאה הטובה ביותר מבין כל הפרמטרים שנבדקו על ידי NutriNet הייתה דיוק סיווג של 86.72% בערכת נתוני הזיהוי, שהייתה גבוהה בכ-2% מהתוצאה הטובה ביותר עבור AlexNet ומעט גבוהה יותר מהתוצאה הטובה ביותר של GoogLeNet. הארכיטקטורה בעלת הביצועים הטובים ביותר בסך הכל הייתה ResNet (בסביבות 1%), אולם זמן האימון עבור ResNet גבוה משמעותית בהשוואה ל- NutriNet (בפקטור של כחמישה), וזה חשוב אם הדגמים מאומנים מחדש ללא הרף כדי לשפר את הדיוק ואת מספר פריטי המזון המוכרים. NutriNet, AlexNet ו- GoogLeNet השיגו את התוצאות הטובות ביותר שלהם באמצעות פותר AdaGrad, ואילו הדגם הטוב ביותר של ResNet השתמש בפותר NAG. NutriNet נבדק גם על ערכת נתוני תמונת מזון UNIMIB2016 הזמינים לציבור38. ערכת נתונים זו מכילה 3,616 תמונות של 73 פריטי מזון שונים. NutriNet השיגה דיוק זיהוי של 86.39% בערכת נתונים זו, מעט יותר מתוצאת הזיהוי הבסיסי של מחברי ערכת הנתונים, שהייתה 85.80%. בנוסף, NutriNet נבדק על ערכת נתונים קטנה של 200 תמונות בעולם האמיתי של 115 פריטי מזון ומשקאות שונים, שם NutriNet השיג דיוק העליון 5 של 55%.
כדי לאמן את מודל פילוח תמונות המזון המזויף FCN-8s, השתמשנו באדם55 כסוג פותר, כפי שמצאנו כי הוא ביצע בצורה אופטימלית עבור משימה זו. קצב הלמידה הבסיסי נקבע נמוך מאוד - ל-0.0001. הסיבה למספר הנמוך היא העובדה שניתן לעבד רק תמונה אחת בכל פעם, שהיא תוצאה של תהליך הסיווג ברמת הפיקסל. דרישות הזיכרון של המעבד הגרפי עבור גישה זו גדולות משמעותית מסיווג ברמת התמונה. לפיכך היה קשה לקבוע את קצב הלמידה נמוך כך שהפרמטרים לא ישתנו מהר מדי ולהתכנס לערכים פחות אופטימליים. מספר עידני האימונים הוגדר ל-100, בעוד שמדיניות קצב הלמידה, גודל הצעדים וגמא הוגדרו כצעדים למטה, 34% ו-0.1, בהתאמה, שכן פרמטרים אלה יצרו את הדגמים המדויקים ביותר.
מדידות דיוק של מודל FCN-8s בוצעו באמצעות מדד דיוקהפיקסלים 15, אשר מקביל לדיוק הסיווג של רשתות למידה עמוקה מסורתיות, ההבדל העיקרי הוא שהדיוק מחושב ברמת הפיקסל במקום ברמת התמונה:
<img alt="Equation 1" src="/files/ftp_upload/61906/61906eq01.jpg">
כאשר PA הוא מדד דיוק הפיקסלים, nij הוא מספר הפיקסלים ממחלקה שחזיתי להשתייך למחלקה j ו- t i = Σj nij הוא המספר הכולל של פיקסלים מהכיתה בתוויות האמתהקרקעית 1. במילים אחרות, מידת הדיוק של הפיקסלים מחושבת על-ידי חלוקת פיקסלים שחזו נכון במספר הפיקסלים הכולל. הדיוק הסופי של דגם FCN-8s המאומן היה 92.18%. איור 2 מציג שלוש תמונות לדוגמה מתוך ערכת הנתונים של תמונת המזון המזויף (אחת מכל אחת מערכות המשנה של הדרכה, אימות ובדיקה), יחד עם תוויות החיזוי המתאימות של האמת הקרקעית והמודל.
הפרמטרים לאמן את דגם HTC20 ResNet-101 עבור פילוח תמונת מזון הוגדרו כדלקמן: סוג פותר בשימוש היה SGD כי זה ביצועים טובים יותר סוגים אחרים של פותר. קצב הלמידה הבסיסי הוגדר כ- 0.00125 וגודל האצווה ל- 2 תמונות. מספר תקופות האימון נקבע על 40 לכל שלב אימון, ובוצעו שלבי אימון מרובים - תחילה בערכת הנתונים המקורית של FRC ללא תמונות מוגברות, ולאחר מכן בערכת הנתונים FRC בעלת 8x augmented ו- 4x augmented מספר פעמים באופן לסירוגין, בכל פעם לוקח את הדגם בעל הביצועים הטובים ביותר וכוונן אותו עדין בשלב האימון הבא. פרטים נוספים על שלבי האימון ניתן למצוא בסעיף 3.3 של טקסט הפרוטוקול. לבסוף, נעשה שימוש במדיניות הלמידה החורגת, עם עידנים קבועים שבהם שיעור הלמידה ירד (עידנים 28 ו -35 לשלב האימון הראשון). דבר חשוב לציין הוא כי בעוד רצף זה של שלבי אימון הפיק את התוצאות הטובות ביותר בבדיקות שלנו בהיקף של FRC, באמצעות ערכת נתונים אחרת עשוי לדרוש רצף שונה כדי לייצר תוצאות אופטימליות.
פתרון מבוסס ResNet זה עבור פילוח תמונת מזון הוערך באמצעות מדד הדיוק הבא19:
<img alt="Equation 2" src="/files/ftp_upload/61906/61906eq02.jpg">
כאשר P הוא דיוק, TP הוא מספר התחזיות החיוביות האמיתיות על ידי מודל פילוח תמונת המזון, FP הוא מספר התחזיות החיוביות הכוזבות ו- IoU הוא Intersection over Union, המחושב עם משוואה זו:
<img alt="Equation 3" src="/files/ftp_upload/61906/61906eq03.jpg">
כאשר אזור החפיפה מייצג את מספר התחזיות לפי המודל החופף לאמת הקרקעית, ו- Area of Union מייצג את המספר הכולל של תחזיות לפי המודל יחד עם אמת הקרקע, הן ברמת הפיקסל והן עבור כל מחלקת מזון בודדת. האחזור משמש כמדד משני ומחושב באופן דומה, באמצעות הנוסחההבאה 19:
<img alt="Equation 4" src="/files/ftp_upload/61906/61906eq04.jpg">
כאשר R הוא אחזור ו- FN הוא מספר התחזיות השליליות הכוזבות על-ידי מודל פילוח תמונת המזון. מדדי הדיוק וההיזכרות הם ממוצעים בכל המעמדות באמת הקרקעית. באמצעות אמצעים אלה, המודל שלנו השיג דיוק ממוצע של 59.2% והחזרה ממוצעת של 82.1%, שדורגה במקום השני בסיבוב השני של אתגר זיהוי המזון19. תוצאה זו הייתה 4.2% מאחורי המקום הראשון ו-5.3% לפני המקום השלישי מבחינת מדד הדיוק הממוצע. טבלה 1 מכילה את התוצאות עבור 4 המשתתפים המובילים בתחרות.
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg"> איור 1: תרשים של ארכיטקטורת הרשת העצבית העמוקה של NutriNet. נתון זה פורסם ב-Mezgec ואח'2. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg"> איור 2: תמונות מתוך ערכת הנתונים של תמונת המזון המזויף. תמונות מקוריות (משמאל), תוויות האמת הקרקעית (באמצע) עם תווית ידנית ותחזיות ממודל FCN-8s (מימין). נתון זה פורסם ב-Mezgec ואח'1. <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">לחץ כאן כדי להציג גירסה גדולה יותר של איור זה.</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always"><tbody>
<tr>
<td>שם צוות</td>
			<td>מיקום</td>
			<td>דיוק ממוצע</td>
			<td>אחזור ממוצע</td>
		</tr>
<tr>
<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
<tr>
<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
<tr>
<td>ארימבו</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
<tr>
<td>סמוי</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
</tbody></table>טבלה 1: תוצאות טופ-4 מהסיבוב השני של אתגר זיהוי המזון. הדיוק הממוצע נלקח כמדד הביצועים הראשי והאחזור הממוצע כמדד משני. התוצאות נלקחות מלוח התוצאות הרשמי של התחרות19.
קבצים משלימים. <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">אנא לחץ כאן כדי להוריד קובץ זה.</a>

מטרת העבודה המוצגת במאמר זה היא לפתח טכנולוגיה לזיהוי אוטומטי של פריטי מזון ומשקאות מתמונות שצולמו על ידי מכשירים ניידים. הטכנולוגיה מורכבת משתי גישות שונות - הראשונה מבצעת זיהוי תמונת מזון ואילו השנייה מבצעת פילוח תמונת מזון.

Due to the issues and costs associated with manual dietary assessment approaches, automated solutions are required to ease and speed up the work and ...

בשל הבעיות והעלויות הכרוכות בהערכה תזונתית ידנית נדרשים פתרונות אוטומטיים כדי להקל ולהאיץ את העבודה ולהגביר את איכותה. כיום, פתרונות אוטומטיים מסוגלים לתעד את צריכת התזונה של אדם בצורה הרבה יותר פשוטה, למשל על ידי צילום תמונה עם מצלמת סמארטפון. במאמר זה נתמקד בגישות מבוססות תמונה כאלה להערכה תזונתית באמצעות רשתות עצביות עמוקות, המייצגות את מצב האמנות בתחום.בפרט, נציג שלושה פתרונות, אחד לזיהוי תמונת מזון, אחד לפילוח תמונה של העתקי מזון, או מזון מזויף, ואחד עבור פילוח תמונה של מזון אמיתי. אסוף רשימה של מזונות ומשקאות שונים שיהיו התפוקות של מודל זיהוי תמונת המזון. שמור את רשימת המזון והמשקאות בקובץ טקסט, כגון TXT או CSV.שים לב כי קובץ הטקסט המשמש את המחברים של מאמר זה ניתן למצוא את הקבצים המשלימים תחת פריטי מזון נקודה TXT וכולל רשימה של 520 פריטי מזון סלובנית. כתוב או הורד סקריפט פייתון המשתמש ב- API לחיפוש מותאם אישית של Google כדי להוריד תמונות של כל פריט מזון מהרשימה ושומר אותן בתיקיה נפרדת עבור כל פריט מזון. שים לב כי סקריפט פייתון בשימוש על ידי המחברים של מאמר זה ניתן למצוא את הקבצים המשלימים תחת להוריד תמונות נקודה פאי.אם סקריפט זה משמש את מפתח שמונה בקוד סקריפט פייתון ומשתנה מזהה מנוע חיפוש מותאם אישית CX שורה 28 בקוד סקריפט פייתון צריך להיות מוחלף עם ערכים ספציפיים לחשבון Google בשימוש. הפעל את סקריפט פייתון משלב 1.1.3. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 90 מעלות, באמצעות ספריית CLoDSA.שים לב כי סקריפט פייתון המכיל את כל הפקודות CLoDSA בשימוש על ידי המחברים של מאמר זה ניתן למצוא בקובץ הכלול בקבצים משלימים תחת NutriNet מקף תחתון הגדלת נקודה פאי. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 180 מעלות, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי סיבובה ב- 270 מעלות, באמצעות ספריית CLoDSA.צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי היפוכה אופקית, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי הוספת רעשי צבע אקראיים אליה, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי התקרבות אליה ב- 25%באמצעות ספריית CLoDSA.שמור תמונות משלבים 1.3.1 עד 1.3.6 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון. בסך הכל, שבע גרסאות לתמונת מזון. יבא את ערכת נתוני תמונת המזון משלב 1.3.7 לסביבת הספרות של NVIDI, תוך חלוקת ערכת הנתונים לקבוצות משנה של הדרכה, אימות ובדיקה.העתק והדבק את טקסט ההגדרה של ארכיטקטורת NutriNet בספרות NVIDIA. שים לב כי הגדרת הארכיטקטורה של NutriNet ניתן למצוא בקבצים משלימים תחת NutriNet נקודה פרוטו TXT. לחלופין, הגדר אימון היפר-פרמטרים בספרות NVIDIA או השתמש בערכי ברירת המחדל.ניתן למצוא את הפרמטרים ההיפר-פרמטרים המשמשים את מחברי מאמר זה בקובץ הכלול בקבצים המשלימים תחת NutriNet מקף תחת היפר-פרמטרים של נקודה פרוטו TXT. הפעל את האימונים של מודל NutriNet. לאחר סיום האימון, קחו את איטרציה מודל NutriNet בעל הביצועים הטובים ביותר.מודל זה משמש לאחר מכן לבדיקת הביצועים של גישה זו. שים לב שקיימות מספר דרכים לקבוע את איטרציה המודל בעל הביצועים הטובים ביותר. עיין בטקסטים של המאמר לקבלת פרטים נוספים.השג ערכת נתונים של תמונות מזון מזויפות. שים לב כי המחברים של מאמר זה קיבלו תמונות של מזון מזויף שנאספו בסביבת מעבדה. ביאור ידני של כל תמונת מזון ברמת הפיקסל.כל פיקסל בתמונה חייב להכיל מידע על מחלקת המזון שאליה הוא שייך. שים לב כי ישנם כלים רבים כדי להשיג זאת. המחברים של מאמר זה השתמשו ביאור מקטע JavaScript.התוצאה של שלב זה היא תמונת ביאור אחת עבור כל תמונה מערכת הנתונים של תמונת המזון, שבה כל פיקסל מייצג את אחת ממחלדות המזון. בצע את אותם שלבים כמו בסעיף 1.3, אך רק בתמונות מתת-הקבוצה של ערכת נתוני תמונת המזון. שים לב כי למעט שלב 1.3.5, יש לבצע את כל שלבי הגדלת הנתונים גם בתמונות ביאור תואמות.בצע את אותם שלבים כמו בסעיף 1.4 למעט שלב 1.4.2. במקום שלב זה בצע את שלבים 2.3.2 ו- 2.3.3. שים לב כי אימון היפר פרמטרים בשימוש על ידי המחברים של מאמר זה ניתן למצוא את הקובץ הכלול בקבצים משלימים תחת FCN-8S מקף תחתון hyper-parameters נקודה proto TXT.העתק והדבק את טקסט ההגדרה של ארכיטקטורת FCN-8S לספרות NVIDIA. הזן את משקולות מודל FCN-8S מאומנות מראש לספרות NVIDIA. שים לב שמשקלים אלה של דגמים אומנו מראש בערכת הנתונים של מחלקות האובייקטים החזותיים של פסקל וניתן למצוא אותם באינטרנט.הורד את ערכת נתוני תמונת המזון מאתר האינטרנט של אתגר זיהוי המזון. בצע שלבים 1.3.1 עד 1.3.4. שים לב כי סקריפט פייתון המכיל את כל הפקודות CLoDSA בשימוש על ידי המחברים של מאמר זה ניתן למצוא בקובץ הכלול בקבצים משלימים תחת FRC מקף תחתון הגדלת נקודה פאי.צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי הוספת טשטוש גאוסיאני אליה, באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי חידודה באמצעות ספריית CLoDSA. צור גירסה חדשה של כל תמונה מערכת נתוני תמונת המזון על-ידי החלת תיקון גמא עליה, באמצעות ספריית CLoDSA.שמור תמונות משלבים 3.2.1 עד 3.2.4 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון. בסך הכל, שמונה גרסאות לתמונת מזון. שמור תמונות משלבים 3.2.2 עד 3.2.4 יחד עם התמונות המקוריות בערכת נתונים חדשה של תמונת מזון.בסך הכל, ארבע גרסאות לתמונת מזון. שנה את הגדרת הארכיטקטורה הקיימת של HTC ResNet 101 מספריית זיהוי MM כך שתקבל את ערכות נתוני תמונת המזון משלבים 3.1.1, 3.2.5 ו- 3.2.6. באופן אופציונלי, שנה את הגדרת הארכיטקטורה HTC ResNet 101 משלב 3.3.1 כדי להגדיר היפר-פרמטרים של אימון או השתמש בערכי ברירת המחדל.שים לב שהגדרת הארכיטקטורה של HTC ResNet 101 ששונתה נמצאת בקבצים המשלימים תחת מקף תחתון HTC ResNet 101 dot pi. הפעל את ההדרכה של דגם HTC ResNet 101 בערכות נתוני תמונת המזון משלב 3.1.1 באמצעות הספריה לזיהוי MM. לאחר השלמת האימון משלב 3.3.3, בצע את איטראציה הדגם HTC ResNet 101 בעל הביצועים הטובים ביותר וכוונן אותו על-ידי הפעלת השלב הבא של האימון בערכת נתוני תמונת המזון משלב 3.2.5.שים לב שקיימות מספר דרכים לקבוע את איטרציה המודל בעל הביצועים הטובים ביותר. עיין בטקסטים של המאמר לקבלת פרטים נוספים. זה רלוונטי גם לשלבים הבאים.לאחר השלמת האימון משלב 3.3.4, קח את איטרציה מודל HTC ResNet 101 בעל הביצועים הטובים ביותר וכוונן אותו על-ידי הפעלת השלב הבא של האימון בערכת נתוני תמונת המזון משלב 3.2.6. לאחר האימון משלב 3.3.5 הושלם, לקחת את ביצועים הטובים ביותר HTC ResNet 101 איטראציה מודל ולכוונן אותו על ידי הפעלת השלב הבא של אימון על ערכת נתוני תמונת מזון משלב 3.2.5. לאחר השלמת האימון משלב 3.3.6, קח את איטראציה מודל HTC ResNet 101 בעל הביצועים הטובים ביותר.מודל זה משמש לאחר מכן לבדיקת הביצועים של גישה זו. שים לב כי שלבים 3.3.3 עד 3.3.7 הניבו את התוצאות הטובות ביותר למטרות שהוגדרו על-ידי מחברי מאמר זה. יש צורך בניסויים עבור כל ערכת נתונים כדי למצוא את הרצף האופטימלי של שלבי אימון והגדלת נתונים.לאחר בדיקת מודל המגמה NutriNet השיג דיוק סיווג של 86.72% על ערכת נתוני הזיהוי, אשר היה סביב 2% גבוה יותר AlexNet ומעט גבוה יותר GoogLeNet, שהיו פופולריים ארכיטקטורות רשת עצבית עמוקה של אותה תקופה. כדי למדוד את הדיוק של מודל פילוח תמונת המזון המזויף FCN-8S, נעשה שימוש במדד דיוק הפיקסלים. הדיוק של מודל FCN-8S מאומן היה 92.18%הפתרון מבוסס ResNet עבור פילוח תמונת מזון הוערך באמצעות מידת הדיוק שהוגדרה באתגר זיהוי מזון.באמצעות מדד זה השיג דגם הרכבת דיוק ממוצע של 59.2% שדורג במקום השני באתגר זיהוי המזון. בשנים האחרונות, רשתות עצביות עמוקות אומתו מספר פעמים כפתרון מתאים לזיהוי תמונות מזון. עבודתנו המוצגת במאמר זה משמשת כדי להוכיח זאת עוד יותר.הגישה היחידה לזיהוי תמונות מזון היא פשוטה וניתן להשתמש בה ליישומים פשוטים. בעוד שגישת פילוח תמונת המזון דורשת עבודה רבה יותר בהכנת תמונות מבואר, אבל היא הרבה יותר ישימה לתמונות מהעולם האמיתי. בעתיד, המטרה שלנו תהיה להעריך עוד יותר את ההליכים המפותחים על תמונות מהעולם האמיתי.הצעד הראשון לקראת אימות בעולם האמיתי סופק על ידי אתגר זיהוי המזון, שכלל ערכת נתונים של תמונות מזון בעולם האמיתי. אבל, עבודה נוספת צריכה להיעשות כדי לאמת גישה זו על תמונות מזון מכל רחבי העולם ובשיתוף פעולה עם דיאטנים.

deep-neural-networks-for-image-based-dietary-assessment

Research

JoVE Journal

Engineering

הנדסה

פרוטוקול סגמנטציה של אובייקטים עבור תמונות טומוגרפיה ממוחשבת מסלולית (CT) מוצג. השיטות לתיוג האמת הקרקעית של מבנים מסלוליים באמצעות רזולוציית-על, חילוץ נפח העניין מתמונות CT, ומידול סגמנטציה מרובת תוויות באמצעות U-Net רציף דו-ממדי עבור תמונות CT מסלוליות מוסברות ללמידה מפוקחת.

יישום של פילוח תמונות רפואיות מבוססות למידה עמוקה באמצעות טומוגרפיה ממוחשבת מסלולית

הפרוטוקול הנוכחי מתאר אלגוריתם חדשני לזיהוי אובייקטים בולטים מקצה לקצה. הוא ממנף רשתות עצביות עמוקות כדי לשפר את הדיוק של זיהוי אובייקטים בולטים בהקשרים סביבתיים מורכבים.

רשת עצבית עמוקה מקצה לקצה לזיהוי עצמים בולטים בסביבות מורכבות

DeepOmicsAE היא זרימת עבודה המתמקדת ביישום שיטת למידה עמוקה (כלומר, מקודד אוטומטי) כדי להפחית את המימדיות של נתוני multi-omics, מתן בסיס למודלים חיזוי ומודולי איתות המייצגים שכבות מרובות של נתוני omics.

DeepOmicsAE: ייצוג מודולי איתות במחלת אלצהיימר עם ניתוח למידה עמוקה של פרוטאומיקה, מטבולומיקה ונתונים קליניים

המטרה של הפרוטוקול היא ליצור סרטים פולימר גבישי נוזלי יכול באופן מכני נעים תחת הקרנה תאורה רציפה. נתאר בפירוט רב את התפיסה של הסרטים שעמד חופשי, מן השיטה יישור גביש נוזלי צילום-הופעה. פרוטוקול נסיוני להחיל כדי להכין את החומר הזה הוא ישים באופן כללי.

הכנה של גביש נוזלי רשתות מאקרוסקופית תנועה מתנדנדות המושרה על ידי אור

נייר זה מודד את הגיאומטריה ואת מידת קורוזיה של פלדה בר בשיטות שונות: המונית, אובדן, מחוגה, ניקוז מדידות, סריקה תלת-ממד ו רנטגן טומוגרפיה שחושב מיקרו (XCT).

ניתוח ישימות שיטות הערכה מורפולוגית פרמטרים של פסי פלדה מאוכלת

פרוטוקול זה מדגים את ההגדרות הבסיסיות ניסיוני עבור המים ערך ניסויים עם כדורים צניחה חופשית. נידונות שיטות משינוי משטח נוזלי עם בדים נחדרת, הכנת כימי ללא הרטבה הספירות, והשלבים לחילוץ ויזואליזציה ונתוני הפתיחה.

ההשפעות של התחומים צניחה חופשית על בריכה עמוק נוזלי עם נוזל שינו ותנאי השטח Impactor

מטרת הפרוטוקול המתואר היא כפולה: כדי לקבוע תצורה של סביבת וירטואליזציה של פונקציות רשת באמצעות כלי רכב לא מאוישים כישויות חישוביות המספקות את המבנה הבסיסי לביצוע פונקציות רשת וירטואליזציה ולשימוש סביבה זו כדי לתמוך בפריסה האוטומטית של שירות טלפוניה בפרוטוקול אינטרנט פונקציונלי דרך כלי הרכב האוויריים.

פריסה אוטומטית של שירות טלפוניה בפרוטוקול אינטרנט בכלי רכב לא מאוישים באמצעות וירטואליזציה של פונקציות רשת

פרוטוקול מוצג עבור הקרן אוטומטית של רדידות זהב דקות עם פולסים לייזר בעוצמה גבוהה. הפרוטוקול כולל תיאור שלב אחר שלב של תהליך ייצור היעד micromachining ומדריך מפורט לאופן שבו מטרות מובאות למוקד הלייזר בקצב של 0.2 הרץ.

אספקה אוטומטית של מטרות מיקרו-פבריקט לניסויים אינטנסיביים בהקרן לייזר

מחקר זה מציג את תוצאות בחינת המידה להשוואה בין-לאומית (ILC) שנועדה לבדוק את הליך ההפעלה הסטנדרטי (SOP) שפותח עבור פיזור קולואידים מזהב (Au) המאופיינים בספקטרוסקופיה אולטרה סגולה (UV-Vis), בין שישה שותפים מפרויקט ACEnano H2020 להכנת מדגם, מדידה וניתוח של התוצאות.

אפיון ספקטרוסקופי UV-Vis של ננו-חומרים במדיה מימית

פרוטוקול זה מציג שיטה לניתוח הפליטה של עטי הדפסה בתלת-ממד. ריכוז החלקיקים וחלוקת גודל החלקיקים של החלקיקים שפורסמו נמדדים. חלקיקים משוחררים מנותחים עוד יותר עם מיקרוסקופ אלקטרונים שידור (TEM). תכולת מתכת בנינים מכמתת ספקטרומטריה מסת פלזמה בשילוב השראתי (ICP-MS).

הדפסה בתלת-ממד - הערכת פליטות חלקיקים של עט הדפסה בתלת-ממד

חקור הערכת תזונה אוטומטית מבוססת תמונה באמצעות רשתות עצביות עמוקות. השיטה משתמשת בזיהוי וסגמנטציה של תמונות מזון לשיפור דיוק הערכת התזונה.

רשתות עצביות עמוקות להערכת תזונה מבוססת תמונה

גלה סרטונים נוספים