Summary
Den här artikeln beskriver protokollet för utveckling av en innovativ smartphone-baserad kostbedömningsapplikation Traqq, inklusive expertutvärderingar och användbarhetstestning.
Abstract
För att samla in intagsdata via kosten på ett snabbt och tillförlitligt sätt utvecklades en flexibel och innovativ smartphoneapplikation (app) kallad Traqq (iOS /Android). Denna app kan användas som ett livsmedelsregister och 24-h återkallelse (eller kortare återkallelseperioder). Olika provtagningssystem kan skapas antingen på förutbestämda eller slumpmässiga dagar/tider inom en förutbestämd period för båda metoderna, med pushnotiser för att uppmana deltagarna att registrera sitt livsmedelsintag. Vid uteblivet svar omplaneras meddelanden automatiskt för att säkerställa fullständig datainsamling. För användning som livsmedelsregister kan respondenterna komma åt appen och logga sitt matintag hela dagen. Matposter stängs automatiskt i slutet av dagen; återkallar stängning efter inlämning av de förbrukade artiklarna. Återkallelsen och modulen för livsmedelsregister ger tillgång till en omfattande livsmedelslista baserad på den nederländska databasen för livsmedelssammansättning (FCDB), som kan användas för att passa olika forskningsändamål. Vid val av matvara uppmanas respondenterna samtidigt att sättain portionsstorlek, dvs. Portionsstorleksalternativ kan justeras, t.ex.endast komma in i gram vid vägd livsmedelsjournal eller konsumtionstid istället för att äta tillfälle). Appen innehåller också en My Dishes-funktion, som gör det möjligt för respondenten att skapa sina egna recept eller produktkombinationer(t.ex.en daglig frukost) och endast rapportera den totala mängden som konsumeras. Därefter står appen för avkastnings- och kvarhållningsfaktorer. Data lagras på en säker server. Om så önskas kan ytterligare frågor, dvs.i allmänhet eller de som rör specifika livsmedel eller mattillfällen, införlivas. Detta dokument beskriver utvecklingen av systemet (app och backend), inklusive expertutvärderingar och användbarhetstestning.
Introduction
Noggrann kostbedömning är avgörande för att säkerställa kvaliteten på studierna om näringens roll i hälsa och förebyggande av sjukdomar. För närvarande använder sådana studier i allmänhet etablerade metoder för självrapportering av kosten,dvs. Trots det faktum att dessa metoder är av stor betydelse för näringsforskningen, har de också olika nackdelar, t.ex. minnesrelaterad partiskhet, social önskvärdhetsbias och är betungande för respondenten såväl som forskaren1,2. Den senaste tidens tekniska uppfinningar erbjuder nu möjligheten att övervinna dessa nackdelar. Under de senaste åren tog olika forskargrupper tillfället i akt och utvecklade webbaserade och smartphone-baserade kostbedömningsverktyg för näringsforskning som tar itu mednågra av dessa kända nackdelar (se Eldridge et al.3 för en omfattande översikt över webb- och smartphonebaserade verktyg), dvs. minska orsakerna till fel, förbättra användarvänligheten och minska deltagarens och forskarens börda1.
Ändå är antalet helt automatiserade och validerade smartphone-applikationer (appar) som är lämpliga för näringsforskning fortfarande begränsat. De flesta av de tillgängligakostbedömningsapparna(dvs. kommersiellt eller utvecklade för forskning) är antingen inte helt automatiserade (dvs.kräver manuell kodning av livsmedel) eller är inte (väl) validerade3. Dessutom har de flesta tillgängliga validerade appar utvecklats för ett specifikt forskningsändamål och användning i ett visst land. på grund av ganska fasta mönster verkar åter använda sådana appar för andra forskningsändamål eller i andra länderutmanande 3,4,5,6,7,8. Slutligen, trots tillgången till matregisterbaserade appar, verkar det hittills inte finnas några återkallelsebaserade appar. Även om livsmedelsregister är benägna att reaktivitetsbias, dvs. respondenterkan ändra sitt matintag på grund av medvetenheten om att de observeras2,9, är detta inte fallet för återkallelser, vilket betonar behovet av utvecklingen av en validerad återkallandebaserad app10. En innovativ dietbedömningsapp som heter Traqq utvecklades för användning i Nederländerna som kan användas som livsmedelsregister samt en återkallelse, beroende på forskningsfrågan1.
Förutom möjligheten att växla mellan matregisteralternativet och återkallelsealternativet skiljer sig denna app också från andra kostbedömningsverktyg på grund av dess flexibla natur. Särskilt när det gäller livsmedelsförteckningen, uppskattningar av portionsstorlek, provtagningssystem och möjligheten att införliva ytterligare frågor. Flexibilitetsnivån i systemet möjliggör skrädderi till flera forskningsändamål som kräver noggrann bedömning av kostbeteenden. För närvarande håller appen på att valideras och kommer att vara redo att användas i olika typer av näringsrelaterad forskning. Appen kan också användas, och kanske ytterligare förbättras för användning, i näringsmässiga interventionsprogram för att mäta och påverka kostbeteenden. Eftersom utvecklingen av tillförlitliga kostbedömningsverktyg är utmanande, och rapporter om dessa processer är knappa, särskilt när det gäller användar- och expertinflytande3,11,12, ger detta dokument en detaljerad översikt över hur olika informationskällor integrerades i den systematiska och iterativa utvecklingen av denna smartphone-baserade dietbedömningsapp. Processen innehåller teori, expertkonsultation och användarengagemang.
Protocol
OBS: Alla procedurer inklusive mänskliga deltagare genomfördes på ett icke-invasivt sätt med hjälp av mestadels kvalitativa forskningsmetoder. Informerat samtycke inhämtades från alla deltagare innan utvärderingarna började. Detta protokoll beskriver den iterativa utvecklingsprocessen som grovt kan delas in i fyra steg där steg 1-3 är sammanflätade (figur 1).
Bild 1: Översikt över stegen i appens iterativa utvecklingsprocess. Utvecklingsprocessen bestod av totalt fem etapper. Processen var dock iterativ vilket innebär att steg 1 till 3 var sammanflätade. Klicka här om du vill visa en större version av den här figuren.
1. Genomföra omfattande formativ forskning för att förbereda den faktiska utvecklingsprocessen.
- Utför skrivbordsforskning som utforskar befintliga webb- och smartphonebaserade kostbedömningsverktyg, med särskild uppmärksamhet på funktioner som är kända för att vara av avgörande betydelse för korrekt insamling av matintagsdata,dvs.
- Inspektera befintliga webb- och smartphonebaserade kostbedömningsverktyg med fokus på aspekter som kostbedömningsmetodik, informationsförsörjning, tillförlitlighet, sökmotor och implementerade funktioner(t.ex.bilder, streckkodsläsare, receptfunktioner).
- Konsultera experter på kostbedömning.
OBS: Resultaten av skrivbordsforskning och inspektion av befintliga verktyg diskuterades med experter inom kostbedömning, vilket ledde till ett utkast till designplan för utvecklingen av appen. Detta utkast till designplan utvärderades av experterna och förbättrades ytterligare vid behov.
2. Utforma appen för kostbedömning
- Skapa appens visuella design med hänsyn till viktiga aspekter som animering, varumärke, färg, layout och typografi20.
OBS: När utrymme, färg, teckensnitt, grafik och gränssnittselement markerar innehåll och förmedlar interaktivitet är det viktigt att införliva element som underlättar appens funktionalitet. - Välj en pålitlig FCDB (här, NEVO) för att underlätta näringsberäkningar av insamlade matintagsdata14.
- Skapa en matlista genom att kritiskt utvärdera beskrivningen av de livsmedel som nämns i FCDB.
OBS: FCDB är mestadels utvecklade för professionell användning; livsmedelsbeskrivningar är ofta komplexa och hindrar sökbarheten (t.ex."margarin med 35 % fettsnålt fett < 10 g mättade fetter osaltade"23). - Formulera sökmotorkrav; överväga användningen av skiljetecken, utländska namn, felstavningar, olika söktermer och rangordning av sökresultat för att underlätta sökbarheten för livsmedel.
- Välj uppskattning av portionsstorlek (stöd) genom att utvärdera olika befintliga verktyg för kostbedömning och fälttestning av lämpliga alternativ.
- Designdirigering i appen för att säkerställa att användarens navigering via appen är logisk, förutsägbar och enkel att följa.
- Designa backend-funktioner och krav för att styra appen; omfatta funktioner som rör övergripande projektledning, projektspecifik förvaltning(t.ex.deltagare, inbjudningar, datainsamling) och användarhantering(t.ex.auktoriseringar).
3. Forskares utvärderingar
OBS: Efter varje uppgradering testades appen av näringsforskare och forskningsdietister med expertis inom kostbedömning (interna tester) för att verifiera om funktionerna förbättrades som förväntat. Följande instruktioner ska utföras av forskare.
- Genomföra expertutvärdering med hjälp av kognitiva genomgångar för att simulera en första gången användarupplevelse så att experterna kan utforska appen individuellt och utan vägledning28. Se till att de kognitiva genomgångarna består av följande steg.
- Se till att experten fyller i ett allmänt frågeformulär som frågar om varumärket och typen av smartphone.
- Installera appen på expertens smartphone.
OBS: För att säkerställa korrekt installation och funktion och minimera risken för avbrott under utvärderingen rekommenderas att forskaren först verifierar appens funktionalitet. - Instruera experten om testförfaranden där varje expert ombeds att ta på sig rollen som första gången användare (dvs.forskningsdeltagare). Betona att utvärderingen utförs ur en användares perspektiv och inte ur expertens eget perspektiv.
OBS: Användaren antogs vara en erfaren smarttelefonanvändare och ha kunskap om användningen av appar i allmänhet. Den här appen användes dock för första gången. - Starta skärmen och ljudinspelningen.
- Få experten att slutföra den kognitiva genomgången medan du använder appen och utför en förutbestämd uppsättninguppgifter 31: 1) "Jag vill spela in min middag. Jag började med en kopp tomatsoppa och ett glas mjölk.", 2) "Därefter åt jag en pastarätt, som jag konsumerar regelbundet och vill ange den som en favorit (dvs.föregångare till Mina rätter)." [recept tillhandahölls], 3) "Eftersom jag också konsumerade pastarätten vill jag lägga till detta till dagens matintagsrekord.", och 4) "Jag gick in i allt jag åt under middagen. Jag vill kolla min post en gång till och sedan skicka in den.".
OBS: När experten utför uppgifterna informerar han eller hon forskaren omsin tankeprocess, dvs. genom att förklara de steg som behövde slutföras för att uppfylla den beskrivna uppgiften. - Gör en kort uppföljning för att klargöra tvetydigheter32och ge experten möjlighet till ytterligare feedback.
- Utvärdera resultaten av varje expert genom att kontrollera inspelningarna för att säkerställa att uppgifterna utfördes som avsett och genom att granska de ytterligare kommentarerna.
- Dela resultaten med experterna för att bedöma om antagandena som gjorts baserat på inspelningarna var korrekta.
OBS: Resultaten av utvärderingen diskuterades och prioriterades i samråd med experterna. Baserat på resultaten av den här utvärderingen uppgraderades appen ytterligare.
- Utför användbarhetstester med avsedda användare för att utvärdera appens användbarhet och smak bland de avsedda användarna genom tankebaserade intervjuer och systemanvändbarhetsskalan (SUS)33 genom att följa dessa steg:
- Rekrytera deltagare som är representativa för målgruppen35.
- Instruera deltagaren om studieprocedurerna, inklusive inspelning av skärm och ljud. Få sedan informerat samtycke från deltagarna.
OBS: Det är viktigt att forskaren uppmuntrar deltagaren att "tänka högt" under utvärderingen,dvs. förklara sina tankar om de nödvändiga stegen för att slutföra varje uppgift medan han utför uppgiften, samt kommentera vilka funktioner som fungerade eller inte fungerade bra. - Installera appen på deltagarens smartphone.
OBS: För att säkerställa korrekt installation och funktion och minimera risken för avbrott under utvärderingen rekommenderas att forskaren först verifierar appens funktionalitet. - Be deltagaren att utföra en övningsuppgift för den tankebaserade intervjun: be deltagarna att visualisera sitt sovrum och räkna antalet fönster, samtidigt som de berättar för forskaren om vad de såg och tänkte medan de räknade fönstren. Be sedan deltagarna att närma sig ett av fönstren i sovrummet och beskriva sina upplevelser på väg till det fönstret.
OBS: En övningsuppgift tillhandahölls och upprepades om det behövdes för att säkerställa att deltagarna kände sig bekväma att tänka högt efterönskemål 37. - Starta skärmen och ljudinspelningen.
- Be deltagaren att slutföra den faktiska tanke-aloud intervjun med de fördefinierade uppgifterna: deltagaren måste: 1) spela in allt de åt och drack under föregående dag, och 2) spela in en regelbundet konsumerad maträtt genom Funktionen Mina rätter.
- Under sessionen, observera, anteckna och stimulera deltagarna att fortsätta tänka högt, om det behövs, genom enkla uppmaningar som "Fortsätt prata högt", "Berätta vad du tycker" eller "Berätta vad du tänker". Minimera ytterligare interaktioner för att förhindra störningar i deltagarens tankeprocess28,32.
- Gör en kort uppföljning för att klargöra tvetydigheter32.
- Be deltagaren att fyllai ett utvärderingsformulärmed allmänna frågor relaterade till ålder, kön, utbildningsnivå, typ av smartphone, nivå av smartphone-upplevelse ( dvs. erfarna användare är mer benägna att utföra uppgifter snabbt ochkorrekt 38), liksom SUS33-ett frågeformulär med 10 objekt för att bedöma systemets användbarhet med hjälp av Likert-skalningspoäng från 1 (håller starkt med) till 5 (håller starkt med).
- Analysera data från varje session med 1) transkribera, koda och skapa (under)teman och 2) beräkna SUS-poängen med en fördefinierad formel som resulterar i en poäng mellan 0 och 10033, där en poäng på >68/100 indikerar att verktyget fungerar på över genomsnittlig användbarhetsnivå och en poäng >80/100 indikerar utmärktanvändbarhet 39, 40.
Obs: Det rekommenderas att forskaren som guidade sessionen analyserar data med hjälp av kvalitativ dataanalysprogramvara. En andra forskare kan konsulteras vid tvetydigheter.
- Genomföra kvantitativ validering av intagsregister via kosten mot validerade traditionella metoder och helst oberoende åtgärder3.
OBS: Appen valideras mot webbaserade och telefonbaserade(dvs.intervjuer) 24hRs samt oberoende urin- och blodbiokemiska markörer. Eftersom den kvantitativa valideringen av appen ligger utanför detta dokuments omfattning kommer detta inte att diskuteras ytterligare.
4. Använda backend-systemet för app- och studiehantering
OBS: Systemet har tre auktoriseringsnivåer: (1) administratör-denna auktoriseringsnivå ger tillgång till alla delar av server delen (dvs. att skapa nyaanvändare, bestämma användarauktorisering och ge användare åtkomst till ett eller flera projekt); (2) Projektledare - denna auktoriseringsnivå ger tillgång till specifika projekt och möjlighet att skapa nya projekt. och (3) forskare - denna auktoriseringsnivå ger endast tillgång till de specifika projekt som forskare är involverade i.
- Hantering av användare och projekt i server delen av administratörer
- Få tillgång till online-backend via traqq.idbit.net, medinloggningsuppgifter(dvs. användarnamn, lösenord).
- Skapa ett nytt projekt genom att klicka på fliken Projekt och sedan på Skapa ett nytt projekt.
- På nästa skärm anger du de begärda projektuppgifterna (dvs.projektnamn, kontaktbeskrivning, kontaktmeddelande, kontakttelefon, kontaktwebbplats).
Endast projektnamnet är obligatoriskt för att skapa ett nytt projekt. Kontaktbeskrivningen, e-postadressen, telefonnumret och webbplatsen blir synliga i appen under knappen Kontakt & Info. - Välj önskade funktioner (dvs. produktlista,fråga ättillfälle och / eller tid för konsumtion, spela in eller återkalla).
OBS: Varje nytt projekt kräver individuellt beslutsfattande med avseende på den lämpligaste kostbedömningsmetoden(dvs.post eller återkallande), matlista, portionsstorleksuppskattning och ättillfällen eller måltidstider. - Spara det nya projektet genom att klicka på Spara.
När skärmen stängs återgår administratören till översiktsskärmen i Project. - Skapa sedan en ny användare genom att klicka på fliken Användare och sedan på Lägg till ny användare.
- På följande skärm anger du ett användarnamn, ett lösenord, och tilldelar användaren en roll (dvs.administratör, chef eller användare).
- Spara den nya användaren genom att klicka på Spara.
När skärmen stängs återgår administratören till skärmen användaröversikt. - Tilldela en användare till ett projekt genom att klicka påanteckningsblocksikonen (dvs.redigera kolumn) för en viss användare.
- Tilldela ett projekt genom att öppna rullgardinsmenyn under Länkadeprojekt , välja önskat projekt och klicka på Lägg till.
Obs: Den här åtgärden måste upprepas för varje projekt som användaren måste tilldelas. - Kommunicera inloggningsuppgifterna till den nya användaren tillsammans med backend-URL:en.
- Hantering av projekt i backend av forskare (i.e., chefs- eller användarroll)
- Logga in på server delspräp via traqq.idbit.net med hjälp av administratörens autentiseringsuppgifter.
- Klicka på Gå till projekt för att hantera projekten.
- Klicka på pilen i kolumnen Visa för önskat projekt.
När du har gjort detta tas forskaren till en projektöversiktssida och nya flikar för det här specifika projektet visas. - Ange deltagarna i backend genom att klicka på fliken Deltagare. När sedan en deltagaröversiktsskärm visas klickar du på Lägg till ny deltagare.
- På följande skärm anger du Kodnamn, Anteckningar (valfritt),Inloggnings-ID, Inloggningsnyckeloch slutar med Spara.
OBS: Det rekommenderas att deltagarens studie-ID används som både kodnamn och inloggnings-ID. Detta minimerar förvirringen för deltagaren vid flera inloggningsuppgifter. Dessutom syns kodnamnet i svaren. Genom att använda deltagar-ID:t blir det enkelt att använda data. Det här alternativet måste upprepas för varje deltagare. För större grupper kan importera deltagare från .csv (fil) användas. Här krävs samma uppgifter för varje deltagare. Backend får inte innehålla några personuppgifter om deltagare. - Schemalägg inbjudningar för varje deltagare genom att klicka på fliken Inbjudningar. När sedan en skärm för inbjudans översikt visas klickar du på Lägg till ny inbjudan.
- På följande skärm väljer du en deltagare på rullgardinsmenyn och anger Periodstarttid, Periodsluttid, Öppningstid, Stängningstid, Undersökningsadress( dvs. valfritt för implementering av ytterligare frågor), Anteckningar (valfritt), Aktivera (alltid ja).
OBS: Periodens start- och sluttid avserrapporteringstiden ( dvs. vad som har förbrukats mellan ..:.. och ..:..). Öppnings- och stängningstid avser däremot den period under vilken deltagaren faktiskt kan rapportera sitt intag. Ett korrekt genomförande av en extern undersökning kräver viss kodning. För detta rekommenderas hjälp från administratören. För de flesta inbjudningar kan alternativet Importera inbjudningar från (.csv) under Arkiv användas. Filen kräver samma information som för den manuella indata. Inbjudningar kan också skapas via provtagningssystem ( dvs. där systemet genererar ett slumpmässigt inbjudningsschemaöverolika dagar och tider baserat på en förinställning av regler som provtagningsperiod, antal obligatoriska inbjudningar, svarsfrist). En fördel med alternativet Samplingsscheman är att systemet automatiskt schemalägger en ny inbjudan om det inte blir svar. - Spåra datainsamling via fliken Kalender genom att välja en deltagare av intresse på rullgardinsmenyn.
Kalendern ger en översikt över schemalagda inbjudningar inom ett projekt, antingen i allmänhet eller för specifika deltagare. Framtida inbjudningar skildras i blått, slutförda tidigare inbjudningar är gröna, medan tidigare inbjudningar utan svar är röda. Svar på inbjudningar kan också kontrolleras via fliken Svar. - Spåra svar via fliken Svar.
OBS: I avsnittet Svar samlas de rapporterade uppgifterna ommatintag (dvs.livsmedel, konsumerad mängd, mattillfälle och/eller konsumtionstid) in. - Begär administratören för dataexport.
OBS: Data kan exporteras från server del till en .csv-fil för vidare analys(t.ex.svar/matintagsdata, efterlevnadsdata) av administratören. Svaren inkluderar rapporterade matvaror, utvalda portionsstorlekar, konsumerade mängder i gram och ättillfällen /tider. - Importera .csv filen till näringsberäkningsprogram för djupgående näringsanalyser.
OBS: Uppgifterna kan importeras till näringsberäkningsprogram som använder den nederländska FCDB.
5. Deltagarnas användning av appen under studien
- Ladda ner den fritt tillgängliga appen från App Store (iOS) eller Google Play Store (Android) och få åtkomst till appen genom att logga in.
Obs: Inloggningsuppgifter, som tillhandahålls av forskaren, krävs för att komma åt appen (steg 4.2.5.). När du har loggat in skickar appen inbjudningar som schemalagts i backend baserat på deltagarens autentiseringsuppgifter (steg 4.2.7).After logging in, the app sends invitations as scheduled in the backend based on the participant's credentials (step 4.2.7.). - Efter att ha fått en inbjudan via appen, rapportera matintag.
OBS: Deltagarna kan endast registrera sitt matintag på förutbestämda dagar och tider.- Öppna appen genom att klicka på det mottagna meddelandet eller genom att öppna appen via appikonen.
När du har öppnat appen visas en skärm med inbjudningsöversikt där tidigare och aktuella inbjudningar visas. - Klicka på den öppna inbjudan.
OBS: Deltagaren tas till en översiktsskärm där inbjudningsperioden är synlig. - Ange den matvara som konsumeras först genom att klicka på Produkttjevegen (Lägg till matvara).
Deltagaren förs till sökskärmen. - Börja skriva namnet på det förbrukade objektet (t.ex.apelsinjuice [jus d 'orange]). Klicka på önskat objekt som det visas när du skriver.
- På följande skärm, rapportera den konsumerade mängden (Hoeveelheid), motsvarande portionsstorleksbeskrivning (Portie), ättillfälle (Maaltijdmoment) och / eller konsumtionstid (Tijdstip) och avsluta med att spara (Opslaan).
- Upprepa de ovan nämnda stegen tills alla livsmedel rapporteras.
- Skicka in listan (återkalla) genom att klicka på (Lijst versturen) (Skicka lista), eller inbjudan stängs automatiskt i slutet av dagen (post).
Alternativet Skicka lista visas också i postversionen, så deltagare som använder posten kan också skicka sina indata till databasen. Men även om data redan har skickats stängs inbjudan fortfarande i slutet av dagen och skickar alla data till servern.
- Öppna appen genom att klicka på det mottagna meddelandet eller genom att öppna appen via appikonen.
Representative Results
Systemet (app och backend) utvecklades med hjälp av stegen som beskrivs i det ovan beskrivna protokollet. De viktigaste resultaten av denna process beskrivs nedan och avslutas med appens slutliga design.
Formativ forskning
Förutom omfattande litteraturgranskning inspekterades flera webbaserade verktyg (t.ex.Compl-eat13, ASA2414, Foodbook2415, MyFood2416) med avseende på kostbedömningsmetodik och implementerade funktioner. Dessutom jämfördes prestandan hos flera matspårningsappar som ofta används i Nederländerna (t.ex.MijnEetmeter17, MyFitnessPal18, Virtuagym Food19), med fokus på aspekter som kostbedömningsmetodik, tillhandahållande av information, tillförlitlighet, sökmotor och användning av ytterligare funktioner(t.ex.bilder, streckkodsläsare, receptfunktioner). Resultaten av denna inspektion ledde till beslutet att utveckla appen på ett sådant sätt att den kan användas som ett livsmedelsregister och en återkallelse. Dessutom ledde det till implementeringen av funktionen Mina rätter, som kan användas för att skapa originalrecept eller ofta konsumerade produktkombinationer(t.ex.en daglig frukost). Inom denna funktion beaktas automatiskt avkastnings- och retentionsfaktorer.
För att exakt kvantifiera mat- och näringsintaget är en fullständig, om än praktisk, livsmedelslista avgörande. För att sammanställa en sådan livsmedelslista krävs en kompromiss mellan livsmedelslistans omfattande och livsmedelsprodukters sökbarhet (dvs. livsmedelsbeskrivningarnamåste vara tydliga, förståeliga och lätta att hitta)41,42. Eftersom data om livsmedelssammansättning utgör den grundläggande grunden för kostbedömning21,22, är det viktigt att se till att den utvecklade livsmedelslistan kan kopplas till exakta uppgifter om livsmedelssammansättning. Matlistan som ingår i appen är baserad på holländska FCDB (NEVO)14, som valdes för sin tillförlitlighet och rika matsammansättningsdata. Ursprungligen består NEVO av 2 389 livsmedel (version 2016/5.0), som reducerades till en livsmedelslista med 1 449 artiklar genom att eliminera "förvirrande föremål" (t.ex.Livsmedel som inte kan konsumeras råa, livsmedel som inte kan konsumeras utan tillägg) eller produkter som inte är lika viktiga att inkludera (t.ex.på grund av låg konsumtionsgrad baserad på den nederländska undersökningen om livsmedelskonsumtion (DNFCS)43).
Dessutom innehåller NEVO liknande livsmedel med olika varumärken; I sådana fall ingick endast det generiska alternativet i livsmedelsförteckningen. För att ytterligare underlätta användbarheten döptes vissa livsmedel om för att eliminera onödiga terminologier som "beredd", "frusen", "genomsnittlig" och "naturlig". Detta "rengöringsprotokoll" utvecklades av tre välutbildade forskningsdietister och utfördes med hjälp av en syntax, som kan köras igen när NEVO uppdateras. För att optimera sökbarheten hos livsmedel lades dessutom 1 019 välkända synonymer till de inkluderade livsmedel till i livsmedelslistan. Således bestod matlistan som ingår i appen så småningom av 2 468 artiklar. En översikt över utvecklingen av livsmedelslistan visas i figur 2. För att notera, även om denna omfattande livsmedelslista har utvecklats för allmänt bruk, tillåter appens backend import av alternativa livsmedelslistor om det behövs.
Bild 2: Matlistans struktur utvecklad för appen. Livsmedelslistan är baserad på den nederländska databasen för livsmedelssammansättning (FCDB) och motsvarande förslag om portionsstorlek och synonymer lades till för varje artikel i den slutliga livsmedelslistan. Klicka här om du vill visa en större version av den här figuren.
En annan viktig aspekt av kostbedömningen är kvantifieringen av portionsstorlekar. Även om portionsstorleksuppskattningshjälpmedel (PSEAs), t.ex. bilder, referensobjekt och standardportionsstorlekar, stöder rapporteringen av mängden livsmedel som konsumeras24,26,44, är felrapportering av portionsstorlekar fortfarande en betydande källa till partiskhet24,25,45,46, och litteratur om effektiviteten hos de olika PSEAs är inkonsekvent26. Matbilder, portionsstorleksförslag (dvs. standardstorlekaroch hushållsmått) och fri viktinmatning i gram är de mest använda PSEAs i webb- och smartphonebaserade kostbedömningsverktyg34. Till exempel används portionsstorleksförslag (t.ex.koppar, skedar, små, stora) i verktyg som Compl-eat13 och Oxford WebQ47, bilder hjälper portionsstorleksuppskattningar i verktyg som ASA2414 och Myfood2416. För att undersöka den lämpligaste PSEA för appen genomfördes en pilotstudie för att jämföra noggrannheten hos portionsstorleksförslag(t.ex.små, medelstora, stora eller kopp, sked), fri entré i gram och portionsstorleksbilder. Resultaten av denna studie ledde till genomförandet av portionsstorleksförslag som PSEA i appen tillsammans med möjligheten att ange belopp i gram27.
Expertrecension
Syftet med expertutvärderingarna var att kvalitativt utvärdera appen när det gäller funktionalitet och enkel inlärning. Eftersom många användare föredrar att lära sig programvara genomutforskning 29, är ett systems nivå av lärbarhet viktig. Totalt 10 experter, dvs.4 (forskning) dietister och 6 närings- och hälsobeteendeexperter (forskare) deltog i de kognitiva genomgångar där 60% använde en Android-smartphone. Viktigast av allt var att expertutvärderingar indikerade att den första versionen av appen inte var tillräckligt intuitiv, t.ex.menystrukturen bedömdes vara oklar på grund av vaga knappar / ikoner, och sökmotorn genererade en ologisk ordning av resultat. En annan kritisk punkt som härrör från expertgranskningarna gällde det faktum att valda objekt inte kunde ändras. Baserat på dessa resultat uppgraderades appens design avsevärt från steg 2 och framåt (figur 1).
Utvärdering av användbarhet
Totalt deltog 22 deltagare i de tankesnalongsintervjuerna, som låg till grund för användbarhetsutvärderingen. Den ursprungliga urvalsstorleken fastställdes till 20deltagare 36, varefter datamättnaden bedömdes. Eftersom datamättnaden inte nåddes efter 20 intervjuer fortsatte inkluderingen vid bedömningen av datamättnad efter varje på varandra följande intervju. Deltagarna hade en genomsnittlig ± standardavvikelseålder på 48 ± 17 år (intervall 22-70 år); 36% var män, och majoriteten av befolkningen var högutbildade (55%). Dessutom använde de flesta deltagarna en Android-enhet (n =14, 64%), och nästan alla deltagare hade över 1 års erfarenhet av smartphone-användning (n=21, 96%) (Tabell 1). Alla deltagare slutförde uppgifterna utan eller med minimal undervisning.
| Totalt (n=22) | |
| Genus | |
| Man (%) | 36.4 |
| Kvinna (%) | 63.6 |
| Medelålder (medelvärde, SD) | 48.1 (17.2) |
| Utbildningsnivå | |
| Låg (%) | 0 |
| Medium (%) | 45.5 |
| Hög (%) | 54.5 |
| Smartphone-typ | |
| Android (%) | 63.6 |
| iOS (%) | 36.4 |
| Smartphone-upplevelse | |
| Kortare än 6 månader (%) | 4.5 |
| Mellan 6 månader och 1 år (%) | 0 |
| Längre än 1 år (%) | 95.5 |
| SUS (medelvärde, SD) | 79.4 (15.1) |
Tabell 1. Studiepopulationens egenskaper och resultat av användbarhetsutvärderingen. Endast resultaten av systemets användbarhetsskala (SUS) framställs i denna tabell tillsammans med deltagarnas egenskaper.
Vissa deltagare (n=13, 59%) uppgav svårigheter när de använde funktionen Mina rätter. andra (n=5, 23%) stötte på mindre funktionsproblem som långsam respons på menyknappen och svårigheter att använda knappar relaterade till otillräcklig skärmstorlek på mindre smartphones). Dessutom angav 15 (68%) deltagare att de föredrar ett alternativ att ange konsumerade portionsstorlekar i gram. Slutligen visade utvärderingen av SUS-poängen ett betyg på 79/100 (intervall 40-100), där endast 3 av de 22 deltagarna betygsatte appen under 68/100 och 13 betygsatt >80/100, vilket tyder på att appen kan betraktas som användarvänlig. På det hela taget var de föreslagna förbättringarna därför små, och användbarhetsutvärderingarna var lovande. Därefter diskuterades förslag till förbättringar inom forskargruppen och, om det anses relevant, införlivades i steg 4-uppgraderingen för att ytterligare optimera appens smak och användbarhet (figur 1).
Slutlig design
Stegen som beskrivs i protokollet och resultaten av utvärderingsstudien resulterade så småningom i en slutlig design för appen och backend, som syftade till en enkel visuell design. Denna app kan användas som en matpost och en återkallelse. Som beskrivits tidigare är livsmedelslistan en modifierad version av NEVO. Uppskattning av portionsstorlek stöds av matspecifika portionsstorleksförslag. konsumerade portioner kan också anges i gram. Vid återkallelseversionen av appen har forskaren möjlighet att välja olika tidsslots (t.ex.2hR, 8hR eller 24hR). För att samla in uppgifter om livsmedelsintag under olika dagar och tider kan olika provtagningssystem skapas inom en förutbestämd period. Push-meddelanden uppmanar respondenterna att registrera sitt matintag. För att säkerställa fullständig datainsamling omplaneras inbjudningar automatiskt vid uteblivet svar. Inom återkallelsemodulen kan respondenterna bara rapportera sitt matintag efter att ha fått en inbjudan. När det gäller livsmedelsregistret kan respondenterna komma åt appen och logga sitt matintag hela dagen.
I motsats till de flesta 24hR-verktyg är appens återkallelsemodul inte baserad på Automated Multiple-Pass Method -en femstegsmetod för att samla in matintagsdata för de tidigare 24 h48- eftersom den här metoden är för detaljerad och tidskrävande för användning i en app. Mer specifikt, för att öka användbarheten och förbättra efterlevnaden avinspelningarerna för 11,38,49, minskade navigeringen till ett minimum genom att begränsa antalet skärmar som måste nås till 4 ( figur3): 1) en översiktsskärm som visar rapporteringsfönstret; 2) förbrukade livsmedel rapporteras via sökskärmen, och när önskat objekt har valts 3) visas en dialogruta som undersöker mattillfället och den konsumerade mängden, varefter 4) användaren återvänder till översiktsskärmen som nu visar de inspelade matvarorna. Dessutom kan användaren också använda funktionen Mina rätter för att skapa recept eller produktkombinationer, som kan anges via menyknappen.
Bild 3: Schematisk översikt över rutten i appen. Klicka här för att se en större version av den här figuren.
Data lagras på en säker server. Om så önskas kan ytterligare frågor-allmänna eller relaterade till specifika ättillfällen eller matvaror - införlivas. Appen kan ansluta till online-undersökningsverktyg. Därför är det möjligt att genomföra en undersökning som inte är relaterad till matintag via appen vid förutbestämda tider(t.ex.sammanhang, beteendemässiga, humörfrågor). Det är också möjligt att ställa specifika frågor relaterade till rapporterade livsmedel eller mattillfällen (t.ex.när äpplen rapporteras, när lunch rapporteras). Användningen av online-undersökningsverktyg ger möjlighet att ställa många olika frågor via appen. De insamlade uppgifterna om livsmedelsintag kan exporteras från servern och importeras till näringsberäkningsprogram för ytterligare analyser. Vid användning av ytterligare frågor kommer dessa uppgifter att finnas tillgängliga i undersökningsverktyget som vanligt. Syftet var att utveckla en välstrukturerad och lättanvänd app. Vissa skärmdumpar av designen kan ses i figur 4A-E.
Bild 4: Skärmbilder av den slutliga versionen av appen. (A) Start/Översikt-skärmen, som visar inbjudan med (i det här fallet) 2 h-återkallelseperioden. Användaren kan trycka på Product toevoegen (dvs.Lägg till artikel) för att rapportera en matvara eller Niets gegeten av gedronken (dvs.jag åt inte eller drack något) om ingenting konsumerades under detta tidsfönster. (B) Sökskärmen, som visar resultat som matchar sökterjen "Jus" från matlistan. Önskat objekt kan väljas från sökresultaten. (C) En popup-skärm kräver indata av detaljer på det valda objektet "Jus d 'orange". I det här fallet ber appen om den mängd som konsumeras och äter tillfälle. Användaren kan gå tillbaka till sökresultatet genom att trycka på Annuleren (dvs.avbryta) eller Opslaan (dvs.spara) för att gå längre. (D) Översikten igen, den här gången visar alla rapporterade objekt. En annan artikel kan läggas till (Product toevoegen) eller indata kan skickas (Lijst versturen). (E) Efter att ha valt Lijst versturenvisas ett popup-fönster som frågar användaren om de är säkra på att de vill skicka, och påminner användaren om att det inte är möjligt att göra fler ändringar efter att listan har skickats. Användaren har möjlighet att avbryta (Annuleren) eller skicka (Versturen). Klicka här om du vill visa en större version av den här figuren.
Discussion
Detta dokument presenterar den iterativa utvecklingsprocessen för den smartphone-baserade kostbedömningsappen Traqq. Att balansera den erforderliga noggrannhetsnivån och användarvänligheten utgjorde följande huvudutmaningar i utvecklingen av appen i samband med beslut om 1)datainmatning(dvs. att välja den mest exakta metoden för livsmedelsidentifiering och kvantifiering av portionsstorlek), 2) uppgifter om livsmedelssammansättning ( dvs. väljaenkorrekt databas och skapa en fullfjädrad livsmedelslista), 3) anpassningsalternativ ( dvs. Flexibilitet i livsmedelsförteckning, portionsstorleksk kvantifiering och recept) och 4)validering(dvs. mot traditionella metoder och/eller oberoende åtgärder)3,50. Under litteraturgranskningen identifierades fem validerade och helautomatiska, smartphone-baserade, kostbedömningsverktyg som utvecklats för forskning3, nämligen My Meal Mate4, Electronic Dietary Intake Assessment (eDIA)7, Easy Diet Diary8, Electronic Carnet Alimentaire (e-CA)5, och Eat and Track (EaT)6.
På grund av automatiseringsnivån för dessa fem kostbedömningsappar samt denna app minskar forskarnas börda och kostnader avsevärt medan data fullständigheten ökar jämfört med traditionella kostbedömningsmetoder. Dessutom skiljer sig denna app i sin tur från de fem befintliga kostbedömningsverktygen när det gäller flexibilitet. Specifikt, medan befintliga appar alla är baserade på matpostmetoden, kan denna app användas som en livsmedelspost såväl som en återkallelse. Även om utformningen av dessa appar är fast har Traqq den största fördelen att den kan modifieras för att passa olika forskningsändamål (t.ex.kostbedömningsmetod, livsmedelslista, provtagningssystem, ytterligare frågor)3,50. Omvänt innehåller andra befintliga kostbedömningsappar värdefulla funktioner som inte implementeras i appen (ännu). För att illustrera denna punkt tillåter vissa appar användaren att ta fotografier av sin mat för livsmedelsigenkänning och portionsstorleksuppskattning som det halvautomatiska, teknikstödda kostbedömningssystemet (TADA)51,52.
Deltagarna i användbarhetsstudien angav också att användningen av fotografier kan vara ett värdefullt tillägg till uppskattningen av stödportionsstorleken. Det fanns dock fortfarande alltför många utmaningar att taitu med för att genomföra ensådan funktion i detta skede,t.ex. och om hur man bearbetar recepträtter. På grund av dessa tekniska utmaningar är de befintliga bildbaserade kostbedömningsapparna fortfarande halvautomatiska, vilket innebär att manuell bildgranskning måste göras av användaren, forskaren ellerbåda 51,52. Tekniska framsteg, såsom crowdsourcing och maskininlärning, har potential att förbättra användningen av matbilder för kostbedömning53,54. I framtiden kommer dessa alternativ att utforskas för att ytterligare förbättra appen. Appens utvecklingsprocess präglades av olika kritiska steg. För det första slutfördes ett formativt forskningssteg där de vetenskapliga begrepp som ligger till grund för grunden för appskapande underlättade beslutsfattandet när det gäller att skapa appens allmänna konturer.
I detta skede ägnades särskild uppmärksamhet åt valet av FCDB och valet av PSEA-aspekter som båda direkt påverkar uppgifternas riktighet21. När det gäller FCDB, eftersom appen ursprungligen har utvecklats för användning i Nederländerna, är dess livsmedelslista baserad på den nederländska FCDB, NEVO14. I framtiden är målet att vidareutveckla appen för internationell användning, vilket kräver mer omfattande data om livsmedelssammansättning eftersom många livsmedel är landsspecifika. För närvarande finns det ingen internationell FCDB ännu och om det finns kan dess användning ha varit begränsad. Mer specifikt, eftersom den nederländska livsmedelslistan redan innehåller 2 389 livsmedel, skulle genomförandet av en internationell tabell över livsmedelssammansättning, t.ex. Därför kommer landsspecifika livsmedelslistor förmodligen att vara mest värdefulla och ofta också föredragna av yrkesverksamma55.
Detta underlättas av appen eftersom den möjliggör import av alternativa livsmedelslistor och därmed koppling till olika (internationella) tabeller för livsmedelssammansättning. När det gäller portionsstorlekarna finns det flera alternativ tillgängliga för att stödja uppskattningarnas noggrannhet, t.ex.användning av bildhäften, referensobjekt och/eller förslag på textdelsstorlek26. Med tanke på användarvänligheten föredras direkt implementering av en PSEA i appen framför att använda en PSEA tillsammans med appen(t.ex.bildhäfte, referensobjekt). Under utvecklingen av appen fattades beslutet att underlätta portionsstorleksklikifiering genom att erbjuda möjlighet att ange portionsstorlekar med hjälp av portionsstorleksförslag och inträde i gram. Förslag på portionsstorlek baseras på den enda tillgängliga nederländska portionsstorleksdatabasen56. Även om holländska kostbedömningsverktyg som Compl-eat och Eetmeter också förlitar sig på denna databas13,17, måste det noteras att denna delstorleksdatabas är från 2003, och bordsstorlekar har sedan dess ökat57. Att använda denna databas kan därför underskatta födointaget.
För närvarande uppdateras databasen för portionsstorlek av Dutch National Institute for Public Health and the Environment (RIVM), Dutch Nutrition Center och Wageningen University and Research58, som så småningom kommer att användas för att uppdatera portionsstorleksförslagen i appen. Avvikelser mellan de gamla och nya delarna kommer att kartläggas och justeras vid behov. Även om användningen av bilderi portionsstorlek( dvs. en serie bilder som visar olika mängder av en vald mat) kan vara ett bra alternativ för textbaserade portionsstorleksförslag59, har forskning visat att noggrannheten i portionsstorleksuppskattningen är högst när en serie portionsstorleksbilder presenteras på en gång, istället för en bild itaget 45, 60,61. I allmänhet har för närvarande tillgängliga smartphones relativt små skärmar, vilket begränsar presentationen av en serie bilder. Även om ny teknik underlättar användningen av interaktiv portionsstorleksgrafik där mängden mat på en virtuell tallrik eller kopp kan ökas eller minskas med hjälp av ettskjutreglage 61, är dessa tekniker relativt nya och måste fortfarande utvärderas noggrant för att bedöma deras noggrannhet.
Ett annat kritiskt steg i utvecklingen av appen var medverkan av experter och avsedda slutanvändare. Även om det inte ofta ingår i utvecklingsprocessen för verktyg (eller inte beskrivs)11,12, tillåter feedback från experter såväl som avsedda slutanvändare -avgörande 61, maximering av användbarhet och upprätthåller den önskade noggrannheten. Feedbacken från de avsedda slutanvändarna var särskilt användbar i den slutliga utformningen av funktionen Mina rätter. Sammantaget var användarna nöjda med möjligheten att skapa sina egna rätter. De kämpade dock med några av procedurerna, till exempel, även om funktionen automatiskt skulle spara data, var detta inte synligt för användaren. Därför fortsatte många användare att söka efter Spara-knappen och fastnade, rädd för att gå tillbaka och förlora sin input. Baserat på denna typ av feedback förbättrades funktionen för att bättre passa användarens förväntningar.
Avslutningsvis är Traqq en innovativ app med många fördelar jämfört med befintliga appar och webbaserade verktyg. Det finns dock fortfarande olika begränsningar. Eftersom appen fortfarande förlitar sig på självrapportering finns det fortfarande självrapporteringsrelaterade mätfel(t.ex.minnesfördomar ( dvs.vidåterkallande), social önskvärdhetsbias och modifieringar av livsmedelsintag (dvs. när det gällerlivsmedelsregister), felaktiga uppskattningar av portionsstorlekar(dvs. ibåda))1. Under de kommande åren kommer nyligen lanserad ny teknik att utforskas för att ytterligare föra appen framåt, t.ex.genom att utforska värdet av att implementera funktioner som streckkodsskannrar, röstinspelning, chatbots och bilder, vilket kan förbättra matidentifiering och uppskattning av portionsstorlek. Möjligheter att få kontakt med andra appar(t.ex.aktivitetsmätare, sömnspårare) och enheter(t.ex.accelerometrar, pulsmätare, tuggsensorer) undersöks också. Slutligen genomgår backend också ytterligare utveckling, t.ex. genom utökning av provtagningsalternativ.
Disclosures
Författarna har inget att avslöja.
Acknowledgments
Författarna vill tacka Anouk Geelen och Arvind Datadien för deras nyckelroll i utvecklingen av Traqq. Vidare vill författarna tacka Romy Willemsen för hennes hjälp med datainsamlingen och dataanalysen i användbarhetsstudien. Slutligen vill författarna tacka experterna och deltagarna för att de delar med sig av sina erfarenheter och åsikter under hela processen. Utvecklingen genomfördes av Wageningen University and Research och finansierades delvis av ministeriet för jordbruk, natur och livsmedelskvalitet och industri, inom ramen för TKI Agri&Food PPS - projekt Smart Food Intake (AF16096).
Materials
| Name | Company | Catalog Number | Comments |
| ASA24 Portion size picture book | American National Cancer Institute | na | The portion size image database as used in the ASA24-tool |
| Atlas.ti v8 | ATLAS.ti Scientific Software Development GmbH | na | Qualitative data analysis software for research |
| Compl-eat | Wageningen University | na | The portion size suggestions database as used in the Compl-eat 24hR module |
| iOS screen record function | Apple Inc. | na | Build-in iOS feature to make screen recordings |
| NEVO (version 2016/5.0) | RIVM | na | Dutch Food Composition Database |
| Qualtrics | Qualtrics XM | na | Online survey tool that can be used to implement additional questions in Traqq |
| Recordable | Invisibility ltd. | na | Android app to make screen recordings |
| SPSS version 24.0 | IBM Corporation | na | Statistical software |
| System Usability Scale (SUS) | na | na | Validated questionnaire to assess a system's usability |
References
- Brouwer-Brolsma, E. M. Dietary intake assessment: From traditional paper-pencil questionnaires to technology-based tools. Data science in action. ISESS 2020. IFIP Advances in Information and Communication Technolog. Athanasiadis, I., Frysinger, S., Schimak, G., Knibbe, W. 554, Springer, Cham. Chapter 2 7-23 (2020).
- Thompson, F. E., Subar, A. F. Nutrition in the prevention and treatment of disease. Coulston, A., Boushey, C., Ferruzzi, M., Delahanty, L. , Elsevier, Inc. 5-48 (2017).
- Eldridge, A. L., et al. Evaluation of new technology-based tools for dietary intake assessment-an ILSI Europe Dietary Intake and Exposure Task Force Evaluation. Nutrients. 11 (1), 55 (2018).
- Carter, M. C., Burley, V. J., Nykjaer, C., Cade, J. E. 'My Meal Mate' (MMM): validation of the diet measures captured on a smartphone application to facilitate weight loss. British Journal of Nutrition. 109 (3), 539-546 (2013).
- Buchaer Della Torre, S., Carrard, I., Farina, E., Danuser, B., Kruseman, M. Development and Evaluation of e-CA, an electronic mobile-based food record. Nutrients. 9 (1), 76 (2017).
- Wellard-Cole, L., et al. Relative validity of the Eat and Track (EaT) smartphone app for collection of dietary intake data in 18-to-30-year olds. Nutrients. 11 (3), 621 (2019).
- Rangan, A. M., et al. Electronic Dietary Intake Assessment (e-DIA): Comparison of a mobile phone digital entry app for dietary data collection with 24-hour dietary recalls. JMIR mHealth and uHealth. 3 (4), 98 (2015).
- Ambrosini, G. L., Hurworth, M., Giglia, R., Trapp, G., Strauss, P. Feasibility of a commercial smartphone application for dietary assessment in epidemiological research and comparison with 24-h dietary recalls. Nutrition. 117 (1), 5 (2018).
- Subar, A. F., et al. Addressing current criticism regarding the value of self-report dietary data. The Journal of Nutrition. 145 (12), 2639-2645 (2015).
- Kipnis, V., et al. Bias in dietary-report instruments and its implications for nutritional epidemiology. Public Health Nutrition. 5 (6), 915-923 (2002).
- Simpson, E., et al. Iterative development of an online dietary recall tool: INTAKE24. Nutrients. 9 (2), 118 (2017).
- Chen, J., Cade, J. E., Allman-Farinelli, M. The most popular smartphone apps for weight loss: a quality assessment. JMIR Mhealth Uhealth. 3 (4), 104 (2015).
- Apple Inc. Human Interface Guidelines. Apple Inc. , Available from: https://developer.apple.com/ios/human-interface-guidelines/ (2017).
- NEVO. RIVM 5.0. NEVO-online. , (2016).
- Jaspers, M. W. A comparison of usability methods for testing interactive health technologies: methodological aspects and empirical evidence. International Journal of Medical Informatics. 78 (5), 340-353 (2009).
- Penha, A. D. S., dos Santos, F. A. N. V. Evaluating the use of the cognitive walk-through usability. Human Factors in Design. 1 (1), (2012).
- Fonteyn, M. E., Kuipers, B., Grobe, S. J. A description of think aloud method and protocol analysis. Qualitative Health Research. 3 (4), 430-441 (2016).
- Brooke, J., et al. SUS - A quick and dirty usability scale. Usability evaluation in industry. 189 (194), 4-7 (1996).
- Kushniruk, A. W., Patel, V. L. Cognitive and usability engineering methods for the evaluation of clinical information systems. Journal of Biomedical Informatic. 37 (1), 56-76 (2004).
- Davison, G. C., Vogel, R. S., Coffman, S. G. Think-aloud approaches to cognitive assessment and the articulated thoughts in simulated situations paradigm. Journal of Consulting and Clinical Psychology. 65 (6), 950-958 (1997).
- Mouname, K., Idri, A., Abran, A. Usability evaluation of mobile applications using ISO 9241 and ISO 25062 standards. SpringerPlus. 5, 548 (2016).
- Sauro, J. A practical guide to the system usability scale: Background, benchmarks & best practices. CreateSpace Independent Publishing Platform. , (2011).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Meijboom, S., et al. Evaluation of dietary intake assessed by the Dutch self-administered web-based dietary 24-h recall tool (Compl-eatTM) against interviewer-administered telephone-based 24-h recalls. Journal of Nutritional Science. 6, 49 (2017).
- Subar, A. F., et al. The Automated Self-Administered 24-hour dietary recall (ASA24): a resource for researchers, clinicians, and educators from the National Cancer Institute. Journal of the Academy of Nutrition and Dietetics. 112 (8), 1134-1137 (2012).
- Timon, C. M., et al. The development, validation, and user evaluation of Foodbook24: A web-based dietary assessment tool developed for the Irish adult population. Journal of Medical Internet Research. 19 (5), 158 (2017).
- Carter, M. C., et al. Development of a UK online 24-h dietary assessment tool: myfood24. Nutrients. 7 (6), 4016-4032 (2015).
- Voedingscentrum. Mijn Eetmeter. , Available from: https://itunes.apple.com/nl/app/mijn-eetmeter/id663382012?mt=8 (2014).
- MyFitnessPal. MyFitnessPal. , Available from: http://www.myfitnesspal.com/welcome/learn_more (2015).
- Virtuagym. Virtuagym. , (2017).
- Evans, K., et al. Development and evaluation of a concise food list for use in a web-based 24-h dietary recall tool. Journal of Nutritional Science. 6, 46 (2017).
- Svensson, A., Magnusson, M., Larsson, C. Overcoming barriers: adolescents' experiences using a mobile phone dietary assessment app. JMIR mHealth and uHealth. 4 (3), 92 (2016).
- Finglas, P. M., Berry, R., Astley, S. Assessing and improving the quality of food composition databases for nutrition and health applications in Europe: the contribution of EuroFIR. Advances in Nutrition. 5 (5), 608-614 (2014).
- Gibson-Moore, H. EuroFIR: Where we are now. Nutrition Bulletin. 38 (3), 358-362 (2013).
- Rossum, C. T. M., et al. The diet of the Dutch. Results of the first two years of the Dutch National Food Consumption Survey 2012–2016. RIVM. , (2016).
- Byrd-Bredbenner, C., Schwartz, J. The effect of practical portion size measurement aids on the accuracy of portion size estimates made by young adults. Journal of Human Nutrition and Dietetics. 17 (4), 351-357 (2004).
- Faggiano, F., et al. Validation of a method for the estimation of food portion size. Epidemiology. 3 (4), 379-382 (1992).
- Faulkner, G. P., et al. An evaluation of portion size estimation aids: precision, ease of use and likelihood of future use. Public Health Nutrition. 19 (13), 2377-2387 (2016).
- Hernandez, T., et al. Portion size estimation and expectation of accuracy. Journal of Food Composition and Analysis. 19, 14-21 (2006).
- Nelson, M., Atkinson, M., Darbyshire, S. Food photography. I: The perception of food portion size from photographs. British Journal of Nutrition. 72 (5), 649-663 (1994).
- Young, L. R., Nestle, M. S. Portion sizes in dietary assessment: issues and policy implications. Nutrition Reviews. 53 (6), 149-158 (1995).
- Liu, B., et al. Development and evaluation of the Oxford WebQ, a low-cost, web-based method for assessment of previous 24 h dietary intakes in large-scale prospective studies. Public Health Nutrition. 14 (11), 1998-2005 (2011).
- Lucassen, D. A., Willemsen, R. F., Geelen, A., Brouwer-Brolsma, E. M., Feskens, E. J. M. The accuracy of portion size estimation using food images and textual descriptions of portion sizes: an evaluation study. Journal of Human Nutrition and Dietetics. , (2021).
- Wharton, C., Rieman, J., Lewis, C., Polson, P. Usability Inspection Methods. Nielsen, J., Mack, R. L. , John Wiley & Sons. 79-104 (1994).
- Nielsen, J. How many test users in a usability test. , Available from: https://www.nngroup.com/articles/how-many-test-users/ (2012).
- AMPM - Features. USDA. , Available from: https://www.ars.usda.gov/mortheast-area/beltsville-md/beltsville-human-nutrition-research-center/food-surveys-research-group/docs/ampm-features/ (2016).
- Zhang, D. S., Adipat, B. Challenges, methodologies, and issues in the usability testing of mobile applications. International Journal of Human-Computer Interaction. 18 (3), 293-308 (2005).
- Cade, J. E. Measuring diet in the 21st century: use of new technologies. Proceedings of the Nutrition Society. 76 (3), 276-282 (2017).
- Ahmad, Z., et al. A mobile food record for integrated dietary assessment. MADiMa16. 2016, 53-62 (2016).
- Boushey, C. J., Spoden, M., Zhu, F. M., Delp, E. J., Kerr, D. A. New mobile methods for dietary assessment: review of image-assisted and image-based dietary assessment methods. Proceedings of the Nutrition Society. 76 (3), 283-294 (2017).
- Fang, S., et al. 2018 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). , Las Vega, Nevada, USA. 25-28 (2018).
- Shao, Z., Mao, R., Zhu, F. 2019 IEEE International Conference on Big Data (Big Data). , Los Angeles, California, USA. 5186-5189 (2019).
- Chen, J., Lieffers, J., Bauman, A., Hanning, R., Allman-Farinelli, M. Designing health apps to support dietetic professional practice and their patients: qualitative results from an international survey. JMIR Mhealth Uhealth. 5 (3), 40 (2017).
- Donders-Engelen, M. R., Van der Heijden, L. J. M., Hulshof, K. F. A. M. Maten, Gewichten en Codenummers 2003. Food portion sizes and coding instructions. Wageningen University: Division of Human Nutrition and TNO Nutrition. , (2003).
- Van Ittersum, K., Wansink, B. Plate size and color suggestibility: The Delboeuf Illusion’s bias on serving and eating behavior. Journal of Consumer Research. 39 (2), 215-228 (2012).
- Portiegrootte voedingsmiddelen. RIVM. , (2019).
- Timon, C. M., et al. A review of the design and validation of web- and computer-based 24-h dietary recall tools. Nutrition Research Reviews. 29 (2), 268-280 (2016).
- Kirkpatrick, S. I., et al. The use of digital images in 24-hour recalls may lead to less misestimation of portion size compared with traditional interviewer-administered recalls. The Journal of Nutrition. 146 (12), 2567-2573 (2016).
- Subar, A. F., et al. Assessment of the accuracy of portion size reports using computer-based food photographs aids in the development of an automated self-administered 24-hour recall. Journal of the American Dietetic Association. 110 (1), 55-64 (2010).
- Figwee - Learn More. Figwee. , Available from: https://figwee.com/learn-more/ (2021).
- Preece, J., Sharp, H., Rogers, Y. Interaction design: beyond human-computer interaction. , John Wiley & Sons. (2015).
