This content is Open Access.
The JoVE video player is compatible with HTML5 and Adobe Flash. Older browsers that do not support HTML5 and the H.264 video codec will still use a Flash-based video player. We recommend downloading the newest version of Flash here, but we support all versions 10 and above.
If that doesn't help, please let us know.
Dybe neurale netværk til billedbaseret diætvurdering
Chapters
Summary March 13th, 2021
Please note that all translations are automatically generated.
Click here for the English version.
Målet med det arbejde, der præsenteres i denne artikel, er at udvikle teknologi til automatiseret genkendelse af mad- og drikkevarer fra billeder taget af mobile enheder. Teknologien består af to forskellige tilgange - den første udfører genkendelse af madbilleder, mens den anden udfører segmentering af madbilleder.
Transcript
På grund af de problemer og omkostninger, der er forbundet med manuelle kostvurderingsmetoder, er der behov for automatiserede løsninger for at lette og fremskynde arbejdet og øge dets kvalitet. I dag er automatiserede løsninger i stand til at registrere en persons kostindtag på en meget enklere måde, såsom ved at tage et billede med et smartphone-kamera. I denne artikel vil vi fokusere på sådanne billedbaserede tilgange til diætvurdering ved hjælp af dybe neurale netværk, der repræsenterer det nyeste inden for området.
Vi vil især præsentere tre løsninger, en til genkendelse af madbilleder, en til billedsegmentering af fødevarekopier eller falske fødevarer og en til billedsegmentering af ægte mad. Saml en liste over forskellige fødevarer og drikkevarer, der vil være output af mad billede anerkendelse model. Gem mad- og drikkevarelisten i en tekstfil, f.eks.
Bemærk, at den tekstfil, der bruges af forfatterne af denne artikel, kan findes i de supplerende filer under fødevarer dot TXT og indeholder en liste over 520 slovenske fødevarer. Skriv eller download et Python-script, der bruger Google Custom Search API til at downloade billeder af hver fødevare fra listen og gemmer dem i en separat mappe for hver fødevare. Bemærk, at Python script, der anvendes af forfatterne af denne artikel kan findes i de supplerende filer under download billeder dot pi.
Hvis dette script bruges udviklernøglen variabel udvikler nøglelinje otte i Python script kode og brugerdefinerede søgemaskine ID variabel CX linje 28 i Python script kode skal erstattes med værdier, der er specifikke for Den Google-konto, der anvendes. Kør Python-scriptet fra trin 1.1.3. Opret en ny version af hvert billede ud fra madbillededatasættet ved at rotere det med 90 grader ved hjælp af CLoDSA-biblioteket.
Bemærk, at Python-scriptet, der indeholder alle de CLoDSA-kommandoer, der bruges af forfatterne af denne artikel, kan findes i en fil, der er inkluderet i de supplerende filer under NutriNet-understregningsstregnings-dot pi. Opret en ny version af hvert billede ud fra madbillededatasættet ved at rotere det med 180 grader ved hjælp af CLoDSA-biblioteket. Opret en ny version af hvert billede ud fra madbillededatasættet ved at rotere det med 270 grader ved hjælp af CLoDSA-biblioteket.
Opret en ny version af hvert billede ud fra madbillededatasættet ved at spejlvende det vandret ved hjælp af CLoDSA-biblioteket. Opret en ny version af hvert billede ud fra madbillededatasættet ved at tilføje tilfældig farvestøj til det ved hjælp af CLoDSA-biblioteket. Opret en ny version af hvert billede ud fra madbillededatasættet ved at zoome ind på det med 25 % ved hjælp af CLoDSA-biblioteket.
Gem billeder fra trin 1.3.1 til 1.3.6 sammen med de originale billeder i et nyt datasæt til madbilleder. I alt syv varianter pr. madbillede. Importér datasættet for madbilleder fra trin 1.3.7 til NVIDI-cifremiljøet, og del datasættet opdeles i undersæt til træning, validering og test.
Kopier og indsæt definitionsteksten i NutriNet-arkitekturen i NVIDIA-cifre. Bemærk, at NutriNet-arkitekturdefinitionen findes i de supplerende filer under NutriNet dot proto TXT. Du kan også definere træningshyperparametre i NVIDIA-cifre eller bruge standardværdierne.
De hyperparametre, der bruges af forfatterne af denne artikel, findes i en fil, der er inkluderet i de supplerende filer under NutriNet, understregning af hyperparametre dot proto TXT. Kør træningen af NutriNet-modellen. Når træningen er fuldført, skal du tage den bedst præsterende NutriNet-model iteration.
Denne model bruges derefter til at teste udførelsen af denne tilgang. Bemærk, at der er flere måder at bestemme den bedst fungerende model iteration. Se artiklen tekster for flere detaljer.
Få et datasæt af falske madbilleder. Bemærk, at forfatterne af denne artikel modtog billeder af falske fødevarer, der blev indsamlet i et laboratoriemiljø. Anmærke alle madbilleder manuelt på pixelniveau.
Hver pixel i billedet skal indeholde oplysninger om, hvilken fødevareklasse den tilhører. Bemærk, at der er mange værktøjer til at opnå dette. Forfatterne af denne artikel brugte JavaScript segment annotator.
Resultatet af dette trin er et anmærkningsbillede for hvert billede fra datasættet til madbilledet, hvor hver pixel repræsenterer en af fødevareklasserne. Udfør de samme trin som i afsnit 1.3, men kun på billeder fra træningsundersættet i datasættet til madbilledet. Bemærk, at med undtagelse af trin 1.3.5 skal alle dataforstørrelsestrin også udføres på tilsvarende anmærkningsbilleder.
Udfør de samme trin som i afsnit 1.4 med undtagelse af trin 1.4.2. I stedet for dette trin skal du udføre trin 2.3.2 og 2.3.3. Bemærk, at de hyperparametre til træning, der bruges af forfatterne af denne artikel, kan findes i filen i de supplerende filer under FCN-8S understregning af hyperparametre dot proto TXT.
Kopier og indsæt definitionsteksten i FCN-8S-arkitekturen i NVIDIA-cifre. Indtast de forudtrænede FCN-8S-modelvægte i NVIDIA-cifre. Bemærk, at disse modelvægte blev fortrænet på Pascal visuelle objektklasser datasæt og kan findes på internettet.
Download datasættet for madbilleder fra webstedet Food Recognition Challenge. Udfør trin 1.3.1 til 1.3.4. Bemærk, at Python-scriptet, der indeholder alle de CLoDSA-kommandoer, der bruges af forfatterne af denne artikel, kan findes i den fil, der er inkluderet i de supplerende filer under FRC-understregningsforøgelsen dot pi.
Opret en ny version af hvert billede fra madbillededatasættet ved at tilføje gaussisk sløring til det ved hjælp af CLoDSA-biblioteket. Opret en ny version af hvert billede ud fra datasættet med madbilleder ved at gøre det skarpere ved hjælp af CLoDSA-biblioteket. Opret en ny version af hvert billede ud fra datasættet til madbilledet ved at anvende gammakorrektion på det ved hjælp af CLoDSA-biblioteket.
Gem billeder fra trin 3.2.1 til 3.2.4 sammen med de originale billeder i et nyt datasæt til madbilleder. I alt otte varianter pr. madbillede. Gem billeder fra trin 3.2.2 til 3.2.4 sammen med de originale billeder i et nyt datasæt til madbilleder.
I alt fire varianter pr. madbillede. Rediger den eksisterende HTC ResNet 101-arkitekturdefinition fra MM-registreringsbiblioteket, så den accepterer datasættene til madbilleder fra trin 3.1.1, 3.2.5 og 3.2.6. Du kan også ændre ARKITEKTURDEFINITIONEN HTC ResNet 101 fra trin 3.3.1 for at definere hyperparametre for uddannelse eller bruge standardværdierne.
Bemærk, at den ændrede HTC ResNet 101 arkitektur definition kan findes i de supplerende filer under HTC understreger ResNet 101 dot pi. Kør træningen af HTC ResNet 101-modellen på datasættene til madbilleder fra trin 3.1.1 ved hjælp af MM Detection-biblioteket. Når træningen fra trin 3.3.3 er fuldført, skal du tage den bedst præsterende HTC ResNet 101-model iteration og finjustere den ved at køre den næste fase af træningen på madbilleddatasættet fra trin 3.2.5.
Bemærk, at der er flere måder at bestemme den bedst fungerende model iteration. Se artiklen tekster for flere detaljer. Dette er også relevant for de næste skridt.
Når træningen fra trin 3.3.4 er fuldført, skal du tage den bedst præsterende HTC ResNet 101-model iteration og finjustere den ved at køre den næste fase af træningen på madbilleddatasættet fra trin 3.2.6. Når træningen fra trin 3.3.5 er fuldført, skal du tage den bedst præsterende HTC ResNet 101-model iteration og finjustere den ved igen at køre den næste fase af træningen på madbilleddatasættet fra trin 3.2.5. Når træningen fra trin 3.3.6 er fuldført, skal du tage den bedst præsterende HTC ResNet 101-model iteration.
Denne model bruges derefter til at teste udførelsen af denne tilgang. Bemærk, at trin 3.3.3 til 3.3.7 gav de bedste resultater til de formål, der er defineret af forfatterne af denne artikel. Eksperimenter er nødvendige for hvert datasæt for at finde den optimale sekvens af trænings- og dataforstørrelsestrin.
Efter at have testet trendmodellen opnåede NutriNet en klassificeringsnøjagtighed på 86,72% på genkendelsesdatasættet, som var omkring 2% højere end AlexNet og lidt højere end GoogLeNet, som var populære dybe neurale netværksarkitekturer på det tidspunkt. For at måle nøjagtigheden af FCN-8S falske mad billede segmentering model, pixel nøjagtighed foranstaltning blev brugt. Nøjagtigheden af den uddannede FCN-8S-model var 92,18%Den ResNet-baserede løsning til segmentering af madbilleder blev evalueret ved hjælp af den præcisionsmåling, der er defineret i Food Recognition Challenge.
Ved hjælp af denne foranstaltning opnåede togmodellen en gennemsnitlig præcision på 59,2%, som blev nummer to i Food Recognition Challenge. I de senere år er dybe neurale netværk blevet valideret flere gange som en passende løsning til anerkendelse af madbilleder. Vores arbejde præsenteret i denne artikel tjener til yderligere at bevise dette.
Den enkelte output mad billede anerkendelse tilgang er ligetil og kan bruges til enkle applikationer. Mens tilgangen til segmentering af madbilleder kræver mere arbejde med at forberede kommenterede billeder, men det er meget mere relevant for billeder fra den virkelige verden. I fremtiden vil vores mål være at evaluere de udviklede procedurer på billeder fra den virkelige verden yderligere.
Det første skridt i retning af den virkelige verden validering blev leveret af Food Recognition Challenge, som omfattede et datasæt af den virkelige verden mad billeder. Men der skal gøres en yderligere indsats for at validere denne tilgang til madbilleder fra hele verden og i samarbejde med diætister.
Related Videos
You might already have access to this content!
Please enter your Institution or Company email below to check.
has access to
Please create a free JoVE account to get access
Login to access JoVE
Please login to your JoVE account to get access
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Please enter your email address so we may send you a link to reset your password.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Your JoVE Unlimited Free Trial
Fill the form to request your free trial.
We use/store this info to ensure you have proper access and that your account is secure. We may use this info to send you notifications about your account, your institutional access, and/or other related products. To learn more about our GDPR policies click here.
If you want more info regarding data storage, please contact gdpr@jove.com.
Thank You!
A JoVE representative will be in touch with you shortly.
Thank You!
You have already requested a trial and a JoVE representative will be in touch with you shortly. If you need immediate assistance, please email us at subscriptions@jove.com.
Thank You!
Please enjoy a free 2-hour trial. In order to begin, please login.
Thank You!
You have unlocked a 2-hour free trial now. All JoVE videos and articles can be accessed for free.
To get started, a verification email has been sent to email@institution.com. Please follow the link in the email to activate your free trial account. If you do not see the message in your inbox, please check your "Spam" folder.
