Summary
Denne artikel beskriver protokollen for udvikling af en innovativ smartphone-baseret diætvurderingsapplikation Traqq, herunder ekspertevalueringer og brugbarhedstest.
Abstract
For at indsamle data om indtagelse gennem kosten på en hurtig og pålidelig måde blev der udviklet en fleksibel og innovativ smartphone-applikation (app) kaldet Traqq (iOS / Android). Denne app kan bruges som en fødevareoptegnelse og 24-timers tilbagekaldelse (eller kortere tilbagekaldelsesperioder). Der kan oprettes forskellige stikprøveordninger på enten forudbestemte eller tilfældige dage/tidspunkter inden for en forudbestemt periode for begge metoder, hvor push-meddelelser opfordrer deltagerne til at registrere deres fødeindtagelse. I tilfælde af manglende svar omlægges meddelelser automatisk for at sikre fuldstændig dataindsamling. Til brug som fødevarepost kan respondenterne få adgang til appen og logge deres fødeindtagelse hele dagen. Fødevareposter lukkes automatisk i slutningen af dagen; tilbagekalder lukke efter indsendelse af de forbrugte varer. Tilbagekaldelsen såvel som fødevareoptegnelsesmodulet giver adgang til en omfattende fødevareliste baseret på den hollandske fødevaresammensætningsdatabase (FCDB), som kan være vant til at passe til forskellige forskningsformål. Ved valg af en fødevare bliver respondenterne samtidig bedt om at indsætteportionsstørrelse, dvs. Portionsstørrelsesmuligheder kan justeres, f.eks.kun indtastning i gram i tilfælde af en vejet fødevarerekord eller forbrugstid i stedet for at spise lejlighed). Appen indeholder også funktionen Mine retter, som gør det muligt for respondenten at oprette deres egne opskrifter eller produktkombinationer(f.eks.en daglig morgenmad) og kun rapportere den samlede forbrugte mængde. Derefter tegner appen sig for udbytte- og tilbageholdelsesfaktorer. Dataene gemmes på en sikker server. Hvis det ønskes, kan yderligere spørgsmål, dvs. Dette papir beskriver udviklingen af systemet (app og backend), herunder ekspertevalueringer og usability test.
Introduction
Nøjagtig kostvurdering er afgørende for at sikre kvaliteten af undersøgelser af ernæringens rolle i sundheds- og sygdomsforebyggelse. I øjeblikket anvender sådanne undersøgelser generelt etablerede selvrapporteringsmetoder til vurdering af kosten,dvs. På trods af at disse metoder er af stor betydning for ernæringsforskning, har de også forskellige ulemper, f.eks. hukommelsesrelateret bias, social ønskværdig bias og er byrdefulde for respondenten såvel som forskeren1,2. De seneste teknologiske opfindelser giver nu mulighed for at overvinde disse ulemper. I løbet af de seneste år har forskellige forskergrupper benyttet denne mulighed og udviklet webbaserede og smartphone-baserede kostvurderingsværktøjer til ernæringsforskning, der adresserer nogle af disse kendte ulemper (se Eldridge et al.3 for et omfattende overblik over web- og smartphone-baserede værktøjer),dvs. reducere årsager til fejl, forbedre brugervenlighed og mindske deltagerens og forskerens byrde1.
Ikke desto mindre er antallet af fuldautomatiske og validerede smartphone-applikationer (apps), der er egnede til ernæringsforskning, stadig begrænset. De fleste af de tilgængelige diætvurderingsapps(dvs.kommercielt eller udviklet til forskning) er enten ikke fuldt automatiserede(dvs.kræver manuel kodning af fødevarer) eller er ikke (godt) validerede3. Desuden er de fleste tilgængelige validerede apps udviklet til et specifikt forskningsformål og brug i et bestemt land; på grund af temmelig faste design, genbrug af sådanne apps til andre forskningsformål eller i andre lande synes udfordrende3,4,5,6,7,8. Endelig, på trods af tilgængeligheden af mad record-baserede apps, til dato, ingen tilbagekaldelse-baserede apps synes at eksistere endnu. Selvom fødevareregistreringer er tilbøjelige til reaktivitetsbias, dvs. respondenter kan ændre deres fødeindtagelse på grund af bevidstheden om, at de observeres2,9, er dette ikke tilfældet for tilbagekaldelser, hvilket understreger behovet for udvikling af en valideret tilbagekaldelsesbaseret app10. En innovativ diætvurderingsapp kaldet Traqq blev udviklet til brug i Holland, som kan bruges som fødevarerekord samt en tilbagekaldelse, afhængigt af forskningsspørgsmålet1.
Udover muligheden for at skifte mellem indstillingen for madoptegnelse og tilbagekaldelse, adskiller denne app sig også fra andre diætvurderingsværktøjer på grund af dens fleksible karakter. Specifikt med hensyn til fødevarelisten, skøn over portionsstørrelse, prøveudtagningsordninger og muligheden for at indarbejde yderligere spørgsmål. Graden af fleksibilitet i systemet gør det muligt at skræddersy til flere forskningsformål, der kræver nøjagtig vurdering af kostadfærd. I øjeblikket er appen i færd med at blive valideret og vil være klar til at blive brugt i forskellige typer ernæringsrelateret forskning. Appen kan også bruges og måske forbedres yderligere til brug i ernæringsmæssige interventionsprogrammer til at måle og påvirke kostadfærd. Da udviklingen af pålidelige kostvurderingsværktøjer er udfordrende, og rapporter om disse processer er knappe, især med hensyn til bruger- og ekspertinddragelse3,11,12, giver dette papir et detaljeret overblik over, hvordan forskellige informationskilder blev integreret i den systematiske og iterative udvikling af denne smartphone-baserede diætvurderingsapp. Processen omfatter teori, ekspertkonsultation og brugerengagement.
Protocol
BEMÆRK: Alle procedurer, herunder menneskelige deltagere, blev udført på en ikke-invasiv måde ved hjælp af for det meste kvalitative forskningsmetoder. Der blev indhentet informeret samtykke fra alle deltagere inden evalueringernes start. Denne protokol beskriver den iterative udviklingsproces, der groft kan opdeles i fire faser, hvor fase 1-3 er sammenflettet (Figur 1).
Figur 1: Oversigt over stadierne i appens iterative udviklingsproces. Udviklingsprocessen bestod af i alt fem faser. Processen var imidlertid iterativ, hvilket betyder, at fase 1 til 3 var sammenflettet. Klik her for at se en større version af dette tal.
1. Udføre omfattende formativ forskning som forberedelse til den faktiske udviklingsproces.
- Udfør desktopforskning, der udforsker eksisterende web- og smartphone-baserede diætvurderingsværktøjer med særlig vægt på funktioner, der vides at være af afgørende betydning for nøjagtig dataindsamling af fødeindtagelse, dvs. metode til indtastning af fødevarer (herunder fødevarelisten og underliggende FCDB) og skøn over portionsstørrelse.
- Undersøg eksisterende web- og smartphone-baserede kostvurderingsværktøjer med fokus på aspekter som kostvurderingsmetode, informationsformidlelse, pålidelighed, søgemaskine og implementerede funktioner (f.eks.billeder, stregkodescanner, opskriftsfunktioner).
- Rådfør dig med eksperter inden for kostvurdering.
BEMÆRK: Resultaterne af desktop-forskning og inspektion af eksisterende værktøjer blev drøftet med eksperter inden for diætvurdering, hvilket førte til et udkast til designplan for udviklingen af appen. Dette udkast til designplan blev evalueret af eksperterne og yderligere forbedret efter behov.
2. Design appen til vurdering af kosten
- Opret appens visuelle design under hensyntagen til vigtige aspekter som animation, branding, farve, layout og typografi20.
BEMÆRK: Da plads, farve, skrifttyper, grafik og grænsefladeelementer fremhæver indhold og formidler interaktivitet, er det vigtigt at indarbejde elementer, der letter appens funktionalitet. - Vælg en troværdig FCDB (her NEVO) for at lette næringsstofberegninger af de indsamlede data for fødeindtagelse14.
- Opret en fødevareliste ved kritisk at evaluere beskrivelsen af de fødevarer, der er nævnt i FCDB.
BEMÆRK: FCDB'er er for det meste udviklet til professionel brug; fødevarebeskrivelser er ofte komplekse og hindrer søgbarhed(f.eks."margarine fedtfattigt 35% fedt < 10 g mættet fedt usaltet"23). - Formulere søgemaskinekrav; overveje brugen af tegnsætningstegn, udenlandske navne, stavefejl, forskellige søgeord og rangordning af søgeresultater for at lette søgbarheden af fødevarer.
- Vælg estimering af portionsstørrelse (støtte) ved at evaluere forskellige eksisterende kostvurderingsværktøjer og felttest af egnede muligheder.
- Design routing i appen for at sikre, at brugerens navigation via appen er logisk, forudsigelig og nem at følge.
- Design backend-funktioner og krav til styring af appen. omfatter funktioner relateret til overordnet projektstyring, projektspecifik ledelse(f.eks.deltagere, invitationer, dataindsamling) og brugerstyring(f.eks.godkendelser).
3. Forskernes evalueringer
BEMÆRK: Efter hver opgradering blev appen testet af ernæringsforskere og forsknings diætister med ekspertise i diætvurdering (intern test) for at kontrollere, om funktionaliteterne forbedredes som forventet. Følgende instruktioner skal udføres af forskere.
- Foretag ekspertevaluering ved hjælp af kognitive gennemgange for at simulere en første gangs brugeroplevelse, så eksperterne kan udforske appen individuelt og uden vejledning28. Sørg for, at de kognitive gennemgange består af følgende trin.
- Sørg for, at eksperten udfylder et generelt spørgeskema, der spørger om smartphonens mærke og type.
- Installer appen på ekspertens smartphone.
BEMÆRK: For at sikre korrekt installation og funktion og minimere risikoen for afbrydelser under evalueringen anbefales det, at forskeren først verificerer appens funktionalitet. - Instruer eksperten i testprocedurer, hvor hver ekspert bliver bedt om at påtage sig rollen som førstegangsbruger(dvs.forskningsdeltager). Understreg, at evalueringen udføres fra en brugers perspektiv og ikke fra ekspertens eget perspektiv.
BEMÆRK: Brugeren blev antaget at være en erfaren smartphone-bruger og at have viden om brugen af apps generelt. Denne app blev dog brugt for første gang. - Start skærmen og lydoptagelsen.
- Få eksperten til at gennemføre den kognitive gennemgang, mens du bruger appen og udfører et forudbestemt sæt opgaver31:1) "Jeg vil optage min middag. Jeg startede med en kop tomatsuppe og et glas mælk.", 2) "Derefter spiste jeg en pastaret, som jeg spiser regelmæssigt og vil indtaste den som en favorit (dvs.forgænger til Mine retter)." [opskriften blev leveret], 3) "Da jeg også forbruges pasta parabol, jeg ønsker at tilføje dette til dagens fødeindtagelse rekord.", Og 4) "Jeg trådte alt, hvad jeg spiste under middagen. Jeg vil tjekke min indtastning igen og derefter indsende den".
BEMÆRK: Under udførelsen af opgaverne informerer eksperten forskeren om sin tankeproces, dvs.ved at forklare de trin, der skal udføres for at udføre den beskrevne opgave. - Udfør en kort opfølgning for at afklare tvetydigheder32, og giv eksperten mulighed for yderligere feedback.
- Vurder resultaterne af hver ekspert ved at kontrollere optagelserne for at sikre, at opgaverne blev udført efter hensigten, og ved at gennemgå de yderligere kommentarer, der blev givet.
- Del resultaterne med eksperterne for at vurdere, om antagelser baseret på optagelserne var korrekte.
BEMÆRK: Resultaterne af evalueringen blev drøftet og prioriteret i samråd med eksperterne. Baseret på resultaterne af denne evaluering blev appen yderligere opgraderet.
- Udfør brugbarhedstest med tilsigtede brugere for at evaluere appens anvendelighed og likability blandt de tilsigtede brugere ved hjælp af tænke-højt interviews og system usability scale (SUS)33 ved at følge disse trin:
- Rekruttér deltagere, der er repræsentative for målgruppen35.
- Instruer deltageren om undersøgelsesprocedurerne, herunder optagelse af skærm og lyd. Derefter indhente informeret samtykke fra deltagerne.
BEMÆRK: Det er vigtigt,at forskeren opfordrer deltageren til at "tænke højt" under evalueringen, dvs. at forklare deres tanker om de nødvendige trin til at fuldføre hver opgave under udførelsen af opgaven samt kommentere, hvilke funktionaliteter der fungerede eller ikke fungerede godt. - Installer appen på deltagerens smartphone.
BEMÆRK: For at sikre korrekt installation og funktion og minimere risikoen ved afbrydelser under evalueringen anbefales det, at forskeren først verificerer appens funktionalitet. - Bed deltageren om at udføre en øvelsesopgave til det tænke-højt interview: Bed deltagerne om at visualisere deres soveværelse og tælle antallet af vinduer, mens du fortæller forskeren om, hvad de så og tænkte, mens de talte vinduerne. Bed derefter deltagerne om at nærme sig et af vinduerne i deres soveværelse og beskrive deres oplevelser på vej til det vindue.
BEMÆRK: En øvelsesopgave blev leveret og gentaget, hvis det var nødvendigt for at sikre, at deltagerne følte sig trygge ved at tænke højt som ønsket37. - Start skærmen og lydoptagelsen.
- Bed deltageren om at gennemføre et egentligt tænke-højt interview med de foruddefinerede opgaver: Deltageren skal: 1) optage alt, hvad de spiste og drak i løbet af den foregående dag, og 2) optage en regelmæssigt forbrugt skål gennem Funktionen Mine retter.
- Under sessionen skal du observere, tage noter og stimulere deltagerne til at tænke højt, hvis det er nødvendigt, ved enkle prompter som "Fortsæt med at tale højt", "Fortæl mig, hvad du synes" eller "Fortæl mig, hvad du har på dit sind". Minimer yderligere interaktioner for at forhindre interferens med deltagerens tankeproces28,32.
- Foretage en kort opfølgning for at tydeliggøre tvetydigheder32.
- Bed deltageren om at udfylde et evalueringsspørgeskema med generelle spørgsmål relateret til alder, køn, uddannelsesniveau, smartphone-type, smartphone-oplevelsesniveau(dvs.erfarne brugere er mere tilbøjelige til at udføre opgaver hurtigt og korrekt38) samt SUS33- et 10-punkts spørgeskema for at vurdere systemets anvendelighed ved hjælp af Likert-skalascore fra 1 (stærkt uenig) til 5 (meget enig).
- Analyser dataene fra hver session med 1) transskribering, kodning og oprettelse af (under)temaer og 2) beregning af SUS-scoren ved hjælp af en foruddefineret formel, der resulterer i en score på mellem 0 og 10033, hvor en score på >68/100 indikerer, at værktøjet fungerer på et niveau over gennemsnittet af brugervenlighed og en score >80/100 indikerer fremragende brugervenlighed39, 40.
BEMÆRK: Det anbefales, at den forsker, der guidede sessionen, analyserer dataene ved hjælp af kvalitativ dataanalysesoftware. En anden forsker kan høres i tilfælde af tvetydigheder.
- Foretage kvantitativ validering af indtagelsesjournaler gennem kosten i forhold til validerede traditionelle metoder og helst uafhængigeforanstaltninger 3.
BEMÆRK: Appen valideres mod webbaserede og telefonbaserede(dvs.interviews) 24hRs samt uafhængige urin- og blodbiokemiske markører. Da den kvantitative validering af appen ligger uden for dette papirs anvendelsesområde, vil dette ikke blive diskuteret yderligere.
4. Brug af backend-systemet til app- og studiestyring
BEMÆRK: Systemet har tre godkendelsesniveauer: (1) administrator - dette autorisationsniveau giver adgang til alle dele af backend(dvs.oprettelse af nye brugere, bestemmelse af brugerautorisation og tildeling af brugere adgang til et eller flere projekter); (2) projektledere - dette godkendelsesniveau giver adgang til specifikke projekter og mulighed for at oprette nye projekter; og (3) forskere - dette autorisationsniveau giver kun adgang til de specifikke projekter, som forskere er involveret i.
- Administratorers administration af brugere og projekter i backend
- Få adgang til online-backend via traqq.idbit.net, med loginoplysninger(dvs.brugernavn, adgangskode).
- Opret et nyt projekt ved at klikke på fanen Projekter og derefter på Opret et nyt projekt.
- På det næste skærmbillede skal du angive de ønskede projektoplysninger(dvs.projektnavn, kontaktbeskrivelse, kontaktmail, kontakttelefon, kontaktwebsted).
BEMÆRK: Det er kun projektnavnet, der skal bruges til at oprette et nyt projekt. Kontaktbeskrivelsen, e-mailen, telefonnummeret og websitet bliver synligt i appen under knappen Kontakt og oplysninger. - Vælg de ønskede funktioner(dvs.produktliste, spørg spise lejlighed og / eller tidspunkt for forbrug, registrere eller huske).
BEMÆRK: Hvert nyt projekt kræver individuel beslutningstagning med hensyn til den mest hensigtsmæssige kostvurderingsmetode(dvs.registrere eller huske), fødevareliste, vurdering af portionsstørrelse og spisetid eller spisetider. - Gem det nye projekt ved at klikke på Gem.
BEMÆRK: Når skærmen lukkes, vender administratoren tilbage til skærmbilledet Projektoversigt. - Opret derefter en ny bruger ved at klikke på fanen Bruger og derefter på Tilføj ny bruger.
- På følgende skærmbillede skal du angive et brugernavn, en adgangskodeog tildele brugeren en rolle (dvs.administrator, leder eller bruger).
- Gem den nye bruger ved at klikke på Gem.
BEMÆRK: Når skærmen lukkes, vender administratoren tilbage til skærmbilledet Brugeroversigt. - Tildel en bruger til et projekt ved at klikke på notesblokikonet(dvs.kolonnen Rediger) for en bestemt bruger.
- Tildel et projekt ved at åbne rullemenuen under Sammenkædede projekter, vælge det ønskede projekt og klikke på Tilføj.
BEMÆRK: Denne handling skal gentages for hvert projekt, som brugeren skal tildeles. - Kommuniker logonlegitimationsoplysningerne til den nye bruger sammen med backend-URL-adressen.
- Forskernes forvaltning af projekter i backend (i.e., Manager eller brugerrolle)
- Log på backend via traqq.idbit.net ved hjælp af de legitimationsoplysninger, der leveres af administratoren.
- Klik på Gå til projekter for at administrere projekterne.
- Klik på pilen i kolonnen Vis for det ønskede projekt.
BEMÆRK: Når du har gjort dette, bliver forskeren ført til en side med projektoversigter, og der vises nye faner for netop dette projekt. - Angiv deltagerne i backend'en ved at klikke på fanen Deltagere. Klik derefter på Tilføj ny deltager, når skærmbilledet Deltageroversigt vises.
- På følgende skærmbillede skal du skrive Kodenavn, Noter (valgfrit), Logon-id, Logonnøgleog slutter med Gem.
BEMÆRK: Det anbefales, at deltagerens studie-id bruges som både kodenavn og login-id. Dette minimerer forvirring for deltageren i tilfælde af flere loginoplysninger. Desuden er kodenavnet synligt i svarene. Brug af deltager-id'et gør det nemt at bruge dataene. Denne mulighed skal gentages for hver deltager. I større grupper kan import af deltagere fra fil (.csv) bruges. Her kræves de samme oplysninger for hver deltager. Backend må ikke indeholde personlige oplysninger om deltagerne. - Planlæg invitationer for hver deltager ved at klikke på fanen Invitationer. Når der vises et skærmbillede med oversigt over invitationer, skal du derefter klikke på Tilføj ny invitation.
- På følgende skærmbillede skal du vælge en deltager i rullemenuen og angive Periodestarttidspunkt, Periodeafslutningstid, Åbningstid, Lukketid, Url-adresse til undersøgelse (dvs.valgfrit til implementering af yderligere spørgsmål), Noter (valgfrit), Aktiver (altid ja).
BEMÆRK: Periodens start- og sluttidspunkt henviser til rapporteringstiden(dvs.hvad der er forbrugt mellem ..:.. og ..:..). I modsætning hertil henviser åbnings- og lukketid til den periode, hvor deltageren faktisk kan rapportere sin indtagelse. Den korrekte gennemførelse af en ekstern undersøgelse kræver en vis kodning. Til dette anbefales hjælp fra administratoren. I de fleste invitationer kan indstillingen Importer invitationer fra (.csv) under Filer bruges. Filen kræver de samme oplysninger som for det manuelle input. Der kan også oprettes invitationer via stikprøveordninger (dvs.hvor systemet genererer en tilfældig invitationsordning på tværs af forskellige dage og tidspunkter baseret på en forudindstilling af regler såsom prøvetagningsperiode, antal nødvendige invitationer, svarfristen). En fordel ved indstillingen Sampling Schemes er, at systemet automatisk planlægger en ny invitation i tilfælde af manglende svar. - Spor dataindsamling via fanen Kalender ved at vælge en interessedeltager i rullemenuen.
BEMÆRK: Kalenderen giver et overblik over planlagte invitationer i et projekt, enten generelt eller for bestemte deltagere. Fremtidige invitationer er portrætteret med blåt, afsluttede tidligere invitationer er grønne, mens tidligere invitationer uden svar er røde. Svar på invitationer kan også kontrolleres via fanen Svar. - Spor svar via fanen Svar.
BEMÆRK: I afsnittet Svar indsamles de rapporterede data for fødeindtagelse(dvs.fødevare, forbrugt mængde, spisetid og/eller forbrugstidspunkt). - Anmoder administratoren om dataeksport.
BEMÆRK: Data kan eksporteres fra backend til en .csv fil til yderligere analyse(f.eks.svar/data for fødeindtagelse, overholdelsesdata) af administratoren. Svarene omfatter rapporterede fødevarer, udvalgte portionsstørrelser, forbrugte mængder i gram og spisesteder / tidspunkter. - Importér den .csv fil til ernæringsberegningssoftware til dybdegående næringsstofanalyser.
BEMÆRK: Dataene kan importeres til ernæringsberegningssoftware, der gør brug af den hollandske FCDB.
5. Deltagernes brug af appen under undersøgelsen
- Download den frit tilgængelige app fra App Store (iOS) eller Google Play Store (Android), og få adgang til appen ved at logge ind.
BEMÆRK: Loginoplysninger, som leveres af forskeren, er forpligtet til at få adgang til appen (trin 4.2.5.). Når appen er logget ind, sender den invitationer som planlagt i backend'en baseret på deltagerens legitimationsoplysninger (trin 4.2.7.). - Når du har modtaget en invitation via appen, skal du rapportere fødeindtagelse.
BEMÆRK: Deltagerne kan kun registrere deres fødeindtagelse på forudbestemte dage og tidspunkter.- Åbn appen ved at klikke på den modtagne notifikation eller ved at åbne appen via appikonet.
BEMÆRK: Når du har åbnet appen, vises skærmbilledet Invitationsoversigt, hvor tidligere og aktuelle invitationer vises. - Klik på den åbne invitation.
BEMÆRK: Deltageren bliver ført til en oversigtsskærm, hvor invitationsperioden er synlig. - Indtast den fødevare, der forbruges først, ved at klikke på Produkt toevoegen (Tilføj fødevare).
BEMÆRK: Deltageren bliver ført til skærmbilledet Søg. - Begynd at skrive navnet på den forbrugte vare(f.eks.appelsinjuice [jus d 'orange]). Klik på det ønskede element, som det ser ud, mens du skriver.
- På følgende skærmbillede skal du rapportere den forbrugte mængde (Hoeveelheid), den tilsvarende beskrivelse af portionsstørrelse (Portie), spisetid (Maaltijdmoment) og/ellerforbrugstidspunkt ( Tijdstip) og slutte med at spare (Opslaan) .
- Gentag ovennævnte trin, indtil alle fødevarer er rapporteret.
- Indsend listen (tilbagekaldelse) ved at klikke på (Lijst versturen) (Send liste), eller invitationen lukkes automatisk sidst på dagen (post).
BEMÆRK: Indstillingen Send liste er også synlig i postversionen, så deltagere, der bruger posten, også kan sende deres input til databasen. Men selvom dataene allerede er sendt, lukker invitationen stadig i slutningen af dagen og sender alle data til serveren.
- Åbn appen ved at klikke på den modtagne notifikation eller ved at åbne appen via appikonet.
Representative Results
Systemet (app og backend) blev udviklet ved hjælp af de trin, der er skitseret i den ovenfor beskrevne protokol; de vigtigste resultater af denne proces er beskrevet nedenfor og afsluttes med appens endelige design.
Formativ forskning
Ud over omfattende litteraturgennemgang blev flere webbaserede værktøjer inspiceret (f.eks.Compl-eat13, ASA2414, Foodbook2415, MyFood2416) med hensyn til kostvurderingsmetode og implementerede funktioner. Derudover blev ydeevnen af flere fødevaresporingsapps, der ofte bruges i Holland, sammenlignet (f.eks.MijnEetmeter17, MyFitnessPal18, Virtuagym Food19) med fokus på aspekter som kostvurderingsmetode, levering af information, pålidelighed, søgemaskine og brug af yderligere funktioner (f.eks.billeder, stregkodescanner, opskriftsfunktioner). Resultaterne af denne inspektion førte til beslutningen om at udvikle appen på en sådan måde, at den kan bruges som en fødevarejournal og en tilbagekaldelse. Desuden førte det til implementeringen af My Dishes-funktionen, som kan bruges til at skabe originale opskrifter eller ofte forbrugte produktkombinationer(f.eks.en daglig morgenmad). Inden for denne funktion tages der automatisk hensyn til udbytte- og tilbageholdelsesfaktorer.
For præcist at kvantificere føde- og næringsstofindtag er en komplet, om end praktisk, fødevareliste afgørende. Udarbejdelse af en sådan fødevareliste kræver en afvejning mellem fødevarelistens omfang og søgeligheden af fødevarevarerne(dvs.fødevarebeskrivelser skal være klare, forståelige og lette at finde)41,42. Da fødevaresammensætningsdata udgør det grundlæggende grundlag for kostvurdering21,22, er det vigtigt at sikre, at den udviklede fødevareliste kan knyttes til nøjagtige fødevaresammensætningsdata. Fødevarelisten i appen er baseret på den hollandske FCDB (NEVO)14, som blev valgt for sin pålidelighed og rige fødevaresammensætningsdata. Oprindeligt består NEVO af 2.389 fødevarer (version 2016/5.0), som blev reduceret til en fødevareliste med 1.449 varer ved at fjerne "forvirrende varer" (f.eks.fødevarer, der ikke kan indtages rå, fødevarer, der ikke kan indtages uden tilsætninger) eller varer, der ikke er så vigtige at medtage(f.eks.på grund af lave forbrugsrater baseret på den hollandske fødevareforbrugsundersøgelse (DNFCS)43).
Derudover indeholder NEVO lignende fødevarer med forskellige mærker; i et sådant tilfælde var det kun den generiske mulighed, der var opført på fødevarelisten. For yderligere at gøre det lettere at anvende dem blev nogle fødevarer omdøbt for at fjerne unødvendig terminologi som "tilberedt", "frosset", "gennemsnit" og "naturlig". Denne "rengøringsprotokol" blev udviklet af tre veluddannede forsknings diætister og udført ved hjælp af en syntaks, som kan køres igen, når NEVO er opdateret. For at optimere søgbarheden af fødevarer blev 1.019 kendte synonymer for de inkluderede fødevarer desuden føjet til fødevarelisten. Således omfattede fødevarelisten, der er inkluderet i appen, til sidst 2.468 varer. En oversigt over udviklingen i fødevarelisten fremgår af figur 2. Bemærk, at selvom denne omfattende fødevareliste er udviklet til almindelig brug, tillader appens backend import af alternative fødevarelister, hvis det er nødvendigt.
Figur 2: Strukturen af den fødevareliste, der er udviklet til appen. Fødevarelisten er baseret på den hollandske fødevaresammensætningsdatabase (FCDB), og der blev tilføjet tilsvarende forslag og synonymer for portionsstørrelse for hvert element på den endelige fødevareliste. Klik her for at se en større version af dette tal.
Et andet afgørende aspekt af kostvurderingen er kvantificeringen af portionsstørrelser. Selv om estimeringshjælpemidler til portionsstørrelser (PSEA'er), f.eks. Madbilleder, forslag til portionsstørrelse(dvs.standardstørrelser og husholdningsforanstaltninger) og fri adgang til vægt i gram er de mest anvendte PSEA'er i web- og smartphone-baserede diætvurderingsværktøjer34. For eksempel, mens portionsstørrelse forslag(f.ekskopper, skeer, små, store) bruges i værktøjer som Compl-eat13 og Oxford WebQ47, billeder støtte portionsstørrelse skøn i værktøjer som ASA2414 og Myfood2416. For at undersøge den mest hensigtsmæssige PSEA for appen blev der gennemført en pilotundersøgelse for at sammenligne nøjagtigheden af forslag til portionsstørrelse(f.eks.små, mellemstore, store eller kop, ske), gratis adgang i gram og billeder i portionsstørrelse. Resultaterne af denne undersøgelse førte til gennemførelsen af forslag til portionsstørrelse som PSEA i appen sammen med muligheden for at indtaste beløb i gram27.
Ekspertanmeldelse
Formålet med ekspertevalueringerne var at kvalitativt evaluere appen med hensyn til funktionalitet og let læring. Da mange brugere foretrækker at lære software ved at udforske29, er et systems niveau af learnability vigtigt. I alt 10 eksperter, dvs.4 (forskning) diætister og 6 ernærings- og sundhedsadfærdseksperter (forskere), deltog i de kognitive gennemgange, hvor 60% brugte en Android-smartphone. Vigtigst af alt viste ekspertevalueringer, at den første version af appen ikke var tilstrækkelig intuitiv, f.eks.menustruktur blev bedømt uklar på grund af vage knapper / ikoner, og søgemaskinen genererede en ulogisk rækkefølge af resultater. Et andet kritisk punkt, der udspringer af ekspertanmeldelserne, vedrørte, at udvalgte elementer ikke kunne ændres. På grundlag af disse resultater blev appens design opgraderet betydeligt fra fase 2 og fremefter (figur 1).
Evaluering af brugervenlighed
I alt 22 deltagere deltog i de tænkende interviews, som dannede grundlag for brugbarhedsevalueringen. Den oprindelige stikprøvestørrelse blev fastsat til 20 deltagere36, hvorefter datamætningen blev vurderet. Da datamætningen ikke blev nået efter 20 interviews, fortsatte inklusionen, mens datamætningen vurderedes efter hvert efterfølgende interview. Deltagerne havde en gennemsnitlig ± standardafvigelsesalder på 48 ± 17 år (interval 22-70 år); 36% var mænd, og størstedelen af befolkningen var højtuddannede (55%). Derudover brugte de fleste deltagere en Android-enhed (n = 14, 64%), og næsten alle deltagere havde over 1 års erfaring med smartphone-brug (n = 21, 96%) (Tabel 1). Alle deltagere fuldførte opgaverne uden eller med minimal instruktion.
| I alt (n=22) | |
| Køn | |
| Mand (%) | 36.4 |
| Kvinde (%) | 63.6 |
| Gennemsnitsalder (middelværdi, SD) | 48.1 (17.2) |
| Uddannelsesniveau | |
| Lav (%) | 0 |
| Mellem (%) | 45.5 |
| Høj (%) | 54.5 |
| Smartphone-type | |
| Android (%) | 63.6 |
| iOS (%) | 36.4 |
| Smartphone-oplevelse | |
| Kortere end 6 måneder (%) | 4.5 |
| Mellem 6 måneder og 1 år (%) | 0 |
| Længere end 1 år (%) | 95.5 |
| SUS (middelværdi, SD) | 79.4 (15.1) |
Tabel 1. Karakteristik af undersøgelsespopulationen og resultaterne af brugbarhedsevalueringen. Kun resultaterne af systemets anvendelighedsskala (SUS) er portrætteret i denne tabel sammen med deltageregenskaberne.
nogle deltagere (n=13, 59%) angav vanskeligheder, mens de brugte funktionen Mine retter; andre (n =5, 23%) stødte på mindre funktionalitetsproblemer såsom langsom reaktion på menuknappen og vanskeligheder med at bruge knapper relateret til utilstrækkelig skærmstørrelse på mindre smartphones). Desuden gav 15 (68%) deltagere udtryk for, at de foretrak en mulighed for at indtaste forbrugte portionsstørrelser i gram. Endelig viste evalueringen af SUS-scoren en vurdering på 79/100 (interval 40-100), hvor kun 3 ud af de 22 deltagere vurderede appen under 68/100 og 13 bedømte >80/100, hvilket tyder på, at appen kan betragtes som brugervenlig. Samlet set var de foreslåede forbedringer således mindre, og evalueringerne af brugervenligheden var lovende. Efterfølgende blev forslag til forbedringer drøftet i forskerholdet og, hvis det anses for relevant, indarbejdet i fase 4-opgraderingen for yderligere at optimere appens likability og anvendelighed (Figur 1).
Endeligt design
De trin, der er beskrevet i protokollen og resultaterne af evalueringsundersøgelsen, resulterede til sidst i et endeligt design til appen og backend, som sigtede mod et simpelt visuelt design. Denne app kan bruges som en madpost og en tilbagekaldelse. Som beskrevet tidligere er fødevarelisten en modificeret version af NEVO. Estimering af portionsstørrelse understøttes af fødevarespecifikke forslag til portionsstørrelse. forbrugte portioner kan også indtastes i gram. I tilfælde af tilbagekaldelsesversionen af appen har forskeren mulighed for at vælge forskellige tidsintervaller(f.eks.2hR, 8hR eller 24hR). For at indsamle data om fødeindtagelse på forskellige dage og tidspunkter kan der oprettes forskellige prøvetagningsordninger inden for en forudbestemt periode. Push-meddelelser inviterer respondenter til at registrere deres fødeindtagelse. For at sikre fuldstændig dataindsamling omplanlægges invitationer automatisk i tilfælde af manglende svar. Inden for tilbagekaldelsesmodulet kan respondenterne kun rapportere deres fødeindtagelse efter at have modtaget en invitation. I tilfælde af fødevareposten kan respondenterne få adgang til appen og logge deres fødeindtagelse hele dagen.
I modsætning til de fleste 24hR-værktøjer er appens tilbagekaldelsesmodul ikke baseret på automated multiple-pass-metoden - en femtrinsmetode til indsamling af data for fødeindtagelse for de foregående 24 timerog 48- da denne metode er for omfattende og tidskrævende til brug i en app. Mere specifikt, for at øge anvendeligheden og forbedre overholdelsen af registreringerne af fødeindtagelse11,38,49, blev navigationen reduceret til et minimum ved at begrænse antallet af skærme, der skal tilgås, til 4(figur 3): 1) en oversigtsskærm, der viser rapporteringsvinduet; 2) forbruges fødevarer rapporteres via søgeskærmen, og når den ønskede vare er valgt 3) en dialogboks vises sondering spise lejlighed og forbruges beløb, hvorefter 4) brugeren vender tilbage til oversigten skærmen nu viser de registrerede fødevarer. Derudover kan brugeren også bruge funktionen Mine retter til at oprette opskrifter eller produktkombinationer, som kan indtastes via menuknappen.
Figur 3: Skematisk oversigt over ruten i appen. Klik her for at se en større version af dette tal.
Dataene gemmes på en sikker server. Hvis det ønskes, yderligere spørgsmål-generelle eller i forbindelse med specifikke spise lejligheder eller fødevarer-kan indarbejdes. Appen kan oprette forbindelse til online undersøgelsesværktøjer. Derfor er det muligt at gennemføre en undersøgelse, der ikke er relateret til fødeindtagelse via appen på forudbestemte tidspunkter(f.eks.kontekst, adfærdsmæssige, humørspørgsmål). Det er også muligt at stille specifikke spørgsmål i forbindelse med rapporterede fødevarer eller spisesteder(f.eks.når æbler rapporteres, når frokosten rapporteres). Brugen af online undersøgelsesværktøjer giver mulighed for at stille mange forskellige spørgsmål via appen. De indsamlede data om fødeindtagelse kan eksporteres fra serveren og importeres til ernæringsberegningssoftware til yderligere analyser. I tilfælde af brug af yderligere spørgsmål vil disse data være tilgængelige i undersøgelsesværktøjet som sædvanligt. Målet var at udvikle en velstruktureret og brugervenlig app. Nogle skærmbilleder af designet kan ses i figur 4A-E.
Figur 4: Skærmbilleder af den endelige version af appen. (A) Start/oversigtsskærmen, der viser invitationen med (i dette tilfælde) 2 h-tilbagekaldelsesperioden. Brugeren kan trykke på Produkt toevoegen (dvs.Tilføj vare) for at rapportere en fødevare eller Niets gegeten af gedronken (dvs.jeg spiste eller drak ikke noget), hvis intet blev forbrugt i løbet af dette tidsvindue. (B) Søgeskærmen, der viser resultater, der matcher søgeordet "Jus" fra fødevarelisten. Det ønskede element kan vælges blandt søgeresultaterne. (C) En pop op-skærm kræver input af detaljer om det valgte punkt "Jus d 'orange". I dette tilfælde beder appen om den mængde, der forbruges og spiser lejlighed. Brugeren kan gå tilbage til søgeresultatet ved at trykke på Annuleren (dvs.annullere) eller Opslaan (dvs.gemme) for at gå videre. (D) Oversigten igen, denne gang viser alle de rapporterede varer. En anden vare kan tilføjes (Product toevoegen), eller inputtet kan sendes (Lijst versturen). (E) Efter at have valgt Lijst versturenvises en pop-up, der spørger brugeren, om de er sikre på, at de vil sende, og minder brugeren om, at det ikke er muligt at foretage flere ændringer, når listen er sendt. Brugeren har mulighed for at annullere (Annuleren) eller sende (Versturen). Klik her for at se en større version af dette tal.
Discussion
Dette papir præsenterer den iterative udviklingsproces af den smartphone-baserede diætvurderingsapp Traqq. Afvejning af det krævede niveau af nøjagtighed og brugervenlighed udgjorde følgende hovedudfordringer i udviklingen afappen i forbindelse med beslutninger om 1) dataindtastning (dvs. valg afden mest nøjagtige metode til fødevareidentifikation og kvantificering af portionsstørrelse), 2) fødevaresammensætningsdata (dvs. valg af en nøjagtig database og oprettelse af en fuldt udbygget fødevareliste), 3) tilpasningsmuligheder (dvs. fleksibilitet i fødevarelisten, kvantificering af portionsstørrelse og opskrifter) og 4) validering(dvs.mod traditionelle metoder og/eller uafhængigeforanstaltninger) 3,50. Under litteraturgennemgangen blev fem validerede og fuldt automatiserede, smartphone-baserede diætvurderingsværktøjer udviklet til forskning identificeret3, nemlig My Meal Mate4, Electronic Dietary Intake Assessment (eDIA)7, Easy Diet Diary8, Electronic Carnet Alimentaire (e-CA)5og Eat and Track (EaT)6.
På grund af automatiseringsniveauet for disse fem diætvurderingsapps samt denne app falder forskerbyrden og omkostningerne betydeligt, mens data fuldstændigheden øges sammenlignet med traditionelle diætvurderingsmetoder. Derudover adskiller denne app sig igen fra de fem eksisterende diætvurderingsværktøjer med hensyn til fleksibilitet. Specifikt, mens eksisterende apps alle er baseret på madpostmetoden, kan denne app bruges som en fødevarepost såvel som en tilbagekaldelse. Mens designet af disse apps er fast, har Traqq desuden den største fordel, at det kan ændres, så det passer til forskellige forskningsformål(f.eks.kostvurderingsmetode, fødevareliste, prøveudtagningsordninger, yderligere spørgsmål)3,50. Omvendt indeholder andre eksisterende diætvurderingsapps værdifulde funktioner, som ikke implementeres i appen (endnu). For at illustrere dette punkt giver nogle apps brugeren mulighed for at tage billeder af deres mad til fødevaregenkendelse og skøn over portionsstørrelse, såsom det halvautomatiske, teknologiassisterede diætvurderingssystem (TADA) system51,52.
Deltagerne i anvendelighedsundersøgelsen viste også, at brugen af fotografier kunne være et værdifuldt supplement til vurderingen af støttedelens størrelse. Der var dog stadig for mange udfordringer at tage op til at gennemføre en sådan funktion på dette stadium, f.eks. og om, hvordan man behandler opskriftsretter. På grund af disse tekniske udfordringer er de eksisterende billedbaserede diætvurderingsapps stadig halvautomatiske, hvilket betyder, at manuel billedgennemgang skal udføres af brugeren, forskeren eller begge51,52. Teknologiske fremskridt, såsom crowdsourcing og maskinlæring, har potentiale til at forbedre brugen af madbilleder til kostvurdering53,54. I fremtiden vil disse muligheder blive undersøgt for yderligere at forbedre appen. Appens udviklingsproces var kendetegnet ved forskellige kritiske trin. For det første blev der gennemført et formativt forskningstrin, hvori de videnskabelige begreber, der ligger til grund for begrundelsen for at oprette, lettede beslutningstagningen ved udarbejdelsen af appens generelle skitse.
I denne fase blev der lagt særlig vægt på udvælgelsen af FCDB og udvælgelsen af PSEA-aspekter , der begge direkte påvirker datanøjagtigheden21. Med hensyn til FCDB, som app oprindeligt er udviklet til brug i Holland, dens mad liste er baseret på den hollandske FCDB, NEVO14. I fremtiden er målet at videreudvikle appen til international brug, hvilket kræver mere omfattende fødevaresammensætningsdata, da mange fødevarer er landespecifikke. I øjeblikket findes der endnu ingen international FCDB, og hvis den findes, kan dens anvendelse have været begrænset. Mere specifikt, da den nederlandske fødevareliste allerede indeholder 2.389 fødevarer, vil gennemførelsen af en international fødevaresammensætningstabel, f.eks. Derfor vil landespecifikke fødevarelister sandsynligvis være mest værdifulde og ofte også foretrukket af fagfolk55.
Dette lettes af appen, da den gør det muligt at importere alternative fødevarelister og dermed linke til forskellige (internationale) fødevaresammensætningstabeller. Med hensyn til portionsstørrelserne er der flere muligheder, der understøtter nøjagtigheden afestimaterne, f.eks. I betragtning af brugervenlighed foretrækkes direkte implementering af en PSEA i appen frem for at bruge en PSEA ved siden af appen (f.eks.billedhæfte, referentobjekter). Under udviklingen af appen blev det besluttet at lette kvantificering af portionsstørrelse ved at give mulighed for at indtaste portionsstørrelser ved hjælp af forslag til portionsstørrelse og indtastning i gram. Forslag til portionsstørrelse er baseret på den eneste tilgængelige hollandske database i portionsstørrelse56. Selv om hollandske kostvurderingsværktøjer som Compl-eat og Eetmeter også er afhængige af denne database13,17, skal det bemærkes , at denne database med portionsstørrelse stammer fra 2003 , og bordservicestørrelserne er siden stegetmed 57. Brug af denne database kan derfor undervurdere fødeindtagelse.
I øjeblikket opdateres databasen med portionsstørrelse af det hollandske nationale institut for folkesundhed og miljø (RIVM), det hollandske ernæringscenter og Wageningen University og Research58, som i sidste ende vil blive brugt til at opdatere forslagene til portionsstørrelse i appen. Uoverensstemmelser mellem de gamle og nye portioner vil blive kortlagt og justeret, hvor det er nødvendigt. Selv om brugen af portionsstørrelse billeder(dvs.en række billeder portrættere forskellige mængder af en udvalgt mad) kan være et godt alternativ til tekst-baseret portion størrelse forslag59, forskning har vist, at nøjagtigheden af portionsstørrelse skøn er højest, når en række portionsstørrelse billeder præsenteres på én gang, i stedet for et billede ad gangen45, 60,61. Generelt har aktuelt tilgængelige smartphones relativt små skærme, hvilket begrænser præsentationen af en række billeder. Selv om nye teknologier letter brugen af interaktiv portionsstørrelse grafik, hvori mængder af fødevarer på en virtuel plade eller kop kan øges eller reduceres ved hjælp af en skyder61, disse teknikker er relativt nye og stadig skal evalueres grundigt for at vurdere deres nøjagtighed.
Et andet kritisk skridt i udviklingen af appen omfattede inddragelse af eksperter og tilsigtede slutbrugere. Selvom det ikke ofte er indarbejdet i udviklingsprocessen af værktøjer (eller ikke beskrevet)11,12, feedback fra eksperter - såvel som tilsigtede slutbrugere - erafgørende 61, tillader maksimering af brugervenlighed og opretholder det krævede nøjagtighedsniveau. Tilbagemeldingerne fra de tilsigtede slutbrugere var især nyttige i det endelige design af funktionen Mine retter. Samlet set var brugerne tilfredse med muligheden for at skabe deres egne retter. De kæmpede dog med nogle af procedurerne, for eksempel selvom funktionen automatisk ville gemme data, var dette ikke synligt for brugeren. Derfor fortsatte mange brugere med at søge efter knappen Gem og sad fast, bange for at gå tilbage og miste deres input. Baseret på den slags feedback blev funktionen forbedret, så den passede bedre til brugerens forventninger.
Afslutningsvis er Traqq en innovativ app med mange fordele i forhold til eksisterende apps og webbaserede værktøjer. Der er dog stadig forskellige begrænsninger. Da appen stadig er afhængig af selvrapportering, findes der stadig selvrapporteringsrelaterede målefejl(f.eks.hukommelsesbias (dvs.i tilfælde af tilbagekaldelse), social ønskværdig bias og ændringer af fødeindtagelse (dvs.i tilfælde af fødevareregistreringer), unøjagtige skøn over portionsstørrelse (dvs.i begge))1. I de kommende år vil nyligt lancerede nye teknologier blive udforsket for yderligere at fremme appen, f.eks.ved at udforske værdien af at implementere funktioner som stregkodescannere, stemmeoptagelse, chatbots og billeder, som kan forbedre fødevareidentifikation og vurdering af portionsstørrelse. Mulighederne for at oprette forbindelse til andre apps(f.eks.aktivitetstrackere, søvntrackere) og enheder(f.eks.accelerometre, pulsmålere, tyggesensorer) undersøges også. Endelig er backend også udsat for yderligere udvikling, f.eks.
Disclosures
Forfatterne har intet at afsløre.
Acknowledgments
Forfatterne vil gerne takke Anouk Geelen og Arvind Datadien for deres nøglerolle i udviklingen af Traqq. Desuden vil forfatterne gerne takke Romy Willemsen for hendes hjælp til dataindsamlingen og dataanalysen i brugbarhedsundersøgelsen. Endelig vil forfatterne gerne takke eksperterne og deltagerne for at dele deres erfaringer og meninger gennem hele processen. Udviklingen blev udført af Wageningen Universitet og Forskning og delvist finansieret af Ministeriet for Landbrug, Natur og Fødevarekvalitet og Industri, i forbindelse med TKI Agri&Food PPS - projekt Smart Food Intake (AF16096).
Materials
| Name | Company | Catalog Number | Comments |
| ASA24 Portion size picture book | American National Cancer Institute | na | The portion size image database as used in the ASA24-tool |
| Atlas.ti v8 | ATLAS.ti Scientific Software Development GmbH | na | Qualitative data analysis software for research |
| Compl-eat | Wageningen University | na | The portion size suggestions database as used in the Compl-eat 24hR module |
| iOS screen record function | Apple Inc. | na | Build-in iOS feature to make screen recordings |
| NEVO (version 2016/5.0) | RIVM | na | Dutch Food Composition Database |
| Qualtrics | Qualtrics XM | na | Online survey tool that can be used to implement additional questions in Traqq |
| Recordable | Invisibility ltd. | na | Android app to make screen recordings |
| SPSS version 24.0 | IBM Corporation | na | Statistical software |
| System Usability Scale (SUS) | na | na | Validated questionnaire to assess a system's usability |
References
- Brouwer-Brolsma, E. M. Dietary intake assessment: From traditional paper-pencil questionnaires to technology-based tools. Data science in action. ISESS 2020. IFIP Advances in Information and Communication Technolog. Athanasiadis, I., Frysinger, S., Schimak, G., Knibbe, W. 554, Springer, Cham. Chapter 2 7-23 (2020).
- Thompson, F. E., Subar, A. F. Nutrition in the prevention and treatment of disease. Coulston, A., Boushey, C., Ferruzzi, M., Delahanty, L. , Elsevier, Inc. 5-48 (2017).
- Eldridge, A. L., et al. Evaluation of new technology-based tools for dietary intake assessment-an ILSI Europe Dietary Intake and Exposure Task Force Evaluation. Nutrients. 11 (1), 55 (2018).
- Carter, M. C., Burley, V. J., Nykjaer, C., Cade, J. E. 'My Meal Mate' (MMM): validation of the diet measures captured on a smartphone application to facilitate weight loss. British Journal of Nutrition. 109 (3), 539-546 (2013).
- Buchaer Della Torre, S., Carrard, I., Farina, E., Danuser, B., Kruseman, M. Development and Evaluation of e-CA, an electronic mobile-based food record. Nutrients. 9 (1), 76 (2017).
- Wellard-Cole, L., et al. Relative validity of the Eat and Track (EaT) smartphone app for collection of dietary intake data in 18-to-30-year olds. Nutrients. 11 (3), 621 (2019).
- Rangan, A. M., et al. Electronic Dietary Intake Assessment (e-DIA): Comparison of a mobile phone digital entry app for dietary data collection with 24-hour dietary recalls. JMIR mHealth and uHealth. 3 (4), 98 (2015).
- Ambrosini, G. L., Hurworth, M., Giglia, R., Trapp, G., Strauss, P. Feasibility of a commercial smartphone application for dietary assessment in epidemiological research and comparison with 24-h dietary recalls. Nutrition. 117 (1), 5 (2018).
- Subar, A. F., et al. Addressing current criticism regarding the value of self-report dietary data. The Journal of Nutrition. 145 (12), 2639-2645 (2015).
- Kipnis, V., et al. Bias in dietary-report instruments and its implications for nutritional epidemiology. Public Health Nutrition. 5 (6), 915-923 (2002).
- Simpson, E., et al. Iterative development of an online dietary recall tool: INTAKE24. Nutrients. 9 (2), 118 (2017).
- Chen, J., Cade, J. E., Allman-Farinelli, M. The most popular smartphone apps for weight loss: a quality assessment. JMIR Mhealth Uhealth. 3 (4), 104 (2015).
- Apple Inc. Human Interface Guidelines. Apple Inc. , Available from: https://developer.apple.com/ios/human-interface-guidelines/ (2017).
- NEVO. RIVM 5.0. NEVO-online. , (2016).
- Jaspers, M. W. A comparison of usability methods for testing interactive health technologies: methodological aspects and empirical evidence. International Journal of Medical Informatics. 78 (5), 340-353 (2009).
- Penha, A. D. S., dos Santos, F. A. N. V. Evaluating the use of the cognitive walk-through usability. Human Factors in Design. 1 (1), (2012).
- Fonteyn, M. E., Kuipers, B., Grobe, S. J. A description of think aloud method and protocol analysis. Qualitative Health Research. 3 (4), 430-441 (2016).
- Brooke, J., et al. SUS - A quick and dirty usability scale. Usability evaluation in industry. 189 (194), 4-7 (1996).
- Kushniruk, A. W., Patel, V. L. Cognitive and usability engineering methods for the evaluation of clinical information systems. Journal of Biomedical Informatic. 37 (1), 56-76 (2004).
- Davison, G. C., Vogel, R. S., Coffman, S. G. Think-aloud approaches to cognitive assessment and the articulated thoughts in simulated situations paradigm. Journal of Consulting and Clinical Psychology. 65 (6), 950-958 (1997).
- Mouname, K., Idri, A., Abran, A. Usability evaluation of mobile applications using ISO 9241 and ISO 25062 standards. SpringerPlus. 5, 548 (2016).
- Sauro, J. A practical guide to the system usability scale: Background, benchmarks & best practices. CreateSpace Independent Publishing Platform. , (2011).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Meijboom, S., et al. Evaluation of dietary intake assessed by the Dutch self-administered web-based dietary 24-h recall tool (Compl-eatTM) against interviewer-administered telephone-based 24-h recalls. Journal of Nutritional Science. 6, 49 (2017).
- Subar, A. F., et al. The Automated Self-Administered 24-hour dietary recall (ASA24): a resource for researchers, clinicians, and educators from the National Cancer Institute. Journal of the Academy of Nutrition and Dietetics. 112 (8), 1134-1137 (2012).
- Timon, C. M., et al. The development, validation, and user evaluation of Foodbook24: A web-based dietary assessment tool developed for the Irish adult population. Journal of Medical Internet Research. 19 (5), 158 (2017).
- Carter, M. C., et al. Development of a UK online 24-h dietary assessment tool: myfood24. Nutrients. 7 (6), 4016-4032 (2015).
- Voedingscentrum. Mijn Eetmeter. , Available from: https://itunes.apple.com/nl/app/mijn-eetmeter/id663382012?mt=8 (2014).
- MyFitnessPal. MyFitnessPal. , Available from: http://www.myfitnesspal.com/welcome/learn_more (2015).
- Virtuagym. Virtuagym. , (2017).
- Evans, K., et al. Development and evaluation of a concise food list for use in a web-based 24-h dietary recall tool. Journal of Nutritional Science. 6, 46 (2017).
- Svensson, A., Magnusson, M., Larsson, C. Overcoming barriers: adolescents' experiences using a mobile phone dietary assessment app. JMIR mHealth and uHealth. 4 (3), 92 (2016).
- Finglas, P. M., Berry, R., Astley, S. Assessing and improving the quality of food composition databases for nutrition and health applications in Europe: the contribution of EuroFIR. Advances in Nutrition. 5 (5), 608-614 (2014).
- Gibson-Moore, H. EuroFIR: Where we are now. Nutrition Bulletin. 38 (3), 358-362 (2013).
- Rossum, C. T. M., et al. The diet of the Dutch. Results of the first two years of the Dutch National Food Consumption Survey 2012–2016. RIVM. , (2016).
- Byrd-Bredbenner, C., Schwartz, J. The effect of practical portion size measurement aids on the accuracy of portion size estimates made by young adults. Journal of Human Nutrition and Dietetics. 17 (4), 351-357 (2004).
- Faggiano, F., et al. Validation of a method for the estimation of food portion size. Epidemiology. 3 (4), 379-382 (1992).
- Faulkner, G. P., et al. An evaluation of portion size estimation aids: precision, ease of use and likelihood of future use. Public Health Nutrition. 19 (13), 2377-2387 (2016).
- Hernandez, T., et al. Portion size estimation and expectation of accuracy. Journal of Food Composition and Analysis. 19, 14-21 (2006).
- Nelson, M., Atkinson, M., Darbyshire, S. Food photography. I: The perception of food portion size from photographs. British Journal of Nutrition. 72 (5), 649-663 (1994).
- Young, L. R., Nestle, M. S. Portion sizes in dietary assessment: issues and policy implications. Nutrition Reviews. 53 (6), 149-158 (1995).
- Liu, B., et al. Development and evaluation of the Oxford WebQ, a low-cost, web-based method for assessment of previous 24 h dietary intakes in large-scale prospective studies. Public Health Nutrition. 14 (11), 1998-2005 (2011).
- Lucassen, D. A., Willemsen, R. F., Geelen, A., Brouwer-Brolsma, E. M., Feskens, E. J. M. The accuracy of portion size estimation using food images and textual descriptions of portion sizes: an evaluation study. Journal of Human Nutrition and Dietetics. , (2021).
- Wharton, C., Rieman, J., Lewis, C., Polson, P. Usability Inspection Methods. Nielsen, J., Mack, R. L. , John Wiley & Sons. 79-104 (1994).
- Nielsen, J. How many test users in a usability test. , Available from: https://www.nngroup.com/articles/how-many-test-users/ (2012).
- AMPM - Features. USDA. , Available from: https://www.ars.usda.gov/mortheast-area/beltsville-md/beltsville-human-nutrition-research-center/food-surveys-research-group/docs/ampm-features/ (2016).
- Zhang, D. S., Adipat, B. Challenges, methodologies, and issues in the usability testing of mobile applications. International Journal of Human-Computer Interaction. 18 (3), 293-308 (2005).
- Cade, J. E. Measuring diet in the 21st century: use of new technologies. Proceedings of the Nutrition Society. 76 (3), 276-282 (2017).
- Ahmad, Z., et al. A mobile food record for integrated dietary assessment. MADiMa16. 2016, 53-62 (2016).
- Boushey, C. J., Spoden, M., Zhu, F. M., Delp, E. J., Kerr, D. A. New mobile methods for dietary assessment: review of image-assisted and image-based dietary assessment methods. Proceedings of the Nutrition Society. 76 (3), 283-294 (2017).
- Fang, S., et al. 2018 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). , Las Vega, Nevada, USA. 25-28 (2018).
- Shao, Z., Mao, R., Zhu, F. 2019 IEEE International Conference on Big Data (Big Data). , Los Angeles, California, USA. 5186-5189 (2019).
- Chen, J., Lieffers, J., Bauman, A., Hanning, R., Allman-Farinelli, M. Designing health apps to support dietetic professional practice and their patients: qualitative results from an international survey. JMIR Mhealth Uhealth. 5 (3), 40 (2017).
- Donders-Engelen, M. R., Van der Heijden, L. J. M., Hulshof, K. F. A. M. Maten, Gewichten en Codenummers 2003. Food portion sizes and coding instructions. Wageningen University: Division of Human Nutrition and TNO Nutrition. , (2003).
- Van Ittersum, K., Wansink, B. Plate size and color suggestibility: The Delboeuf Illusion’s bias on serving and eating behavior. Journal of Consumer Research. 39 (2), 215-228 (2012).
- Portiegrootte voedingsmiddelen. RIVM. , (2019).
- Timon, C. M., et al. A review of the design and validation of web- and computer-based 24-h dietary recall tools. Nutrition Research Reviews. 29 (2), 268-280 (2016).
- Kirkpatrick, S. I., et al. The use of digital images in 24-hour recalls may lead to less misestimation of portion size compared with traditional interviewer-administered recalls. The Journal of Nutrition. 146 (12), 2567-2573 (2016).
- Subar, A. F., et al. Assessment of the accuracy of portion size reports using computer-based food photographs aids in the development of an automated self-administered 24-hour recall. Journal of the American Dietetic Association. 110 (1), 55-64 (2010).
- Figwee - Learn More. Figwee. , Available from: https://figwee.com/learn-more/ (2021).
- Preece, J., Sharp, H., Rogers, Y. Interaction design: beyond human-computer interaction. , John Wiley & Sons. (2015).
