Summary
Denne artikkelen beskriver protokollen for utvikling av et innovativt smarttelefonbasert kostholdsvurderingsprogram Traqq, inkludert ekspertevalueringer og brukervennlighetstesting.
Abstract
For å samle inn kostholdsinntaksdata på en rask og pålitelig måte, ble en fleksibel og innovativ smarttelefonapplikasjon (app) kalt Traqq utviklet (iOS / Android). Denne appen kan brukes som en matrekord og 24-timers tilbakekalling (eller kortere tilbakekallingsperioder). Ulike prøvetakingsordninger kan opprettes enten på forhåndsspesifiserte eller tilfeldige dager/tider innen en forhåndsbestemt periode for begge metodene, med push-varsler for å oppfordre deltakerne til å registrere matinntaket. Ved frafall planlegges varslinger automatisk på nytt for å sikre fullstendig datainnsamling. For bruk som matvarepost kan respondentene få tilgang til appen og logge matinntaket i løpet av dagen. Matposter lukkes automatisk på slutten av dagen. tilbakekaller lukking etter innsending av de forbrukte elementene. Tilbakekallingen så vel som matrekordmodulen gir tilgang til en omfattende matliste basert på den nederlandske matsammensetningsdatabasen (FCDB), som kan være vant til å passe til forskjellige forskningsformål. Når du velger en matvare, blir respondentene samtidig bedt om å sette inn porsjonsstørrelse, det vilsi i husholdningstiltak(f.eks.kopper, skjeer, briller), standard porsjonsstørrelser(f.eks.små, mellomstore, store) eller vekt i gram, og spise anledning/forbrukstid. Porsjonsstørrelsesalternativer kan justeres, for eksempelbare oppføring i gram i tilfelle veid matrekord eller forbrukstid i stedet for å spise anledning). Appen inneholder også en Mine retter-funksjon, som gjør det mulig for respondenten å lage sine egne oppskrifter eller produktkombinasjoner (f.eks.en daglig frokost) og bare rapportere den totale mengden som forbrukes. Deretter står appen for avkastnings- og oppbevaringsfaktorer. Dataene lagres på en sikker server. Hvis ønskelig, kan ytterligere spørsmål, det vil si, generelt eller de som er relatert til bestemte matvarer eller spise anledninger innlemmes. Dette dokumentet beskriver utviklingen av systemet (app og backend), inkludert ekspertevalueringer og brukervennlighetstesting.
Introduction
Nøyaktig kostholdsvurdering er avgjørende for å sikre kvaliteten på studiene på ernæringsrollen i helse- og sykdomsforebygging. For tiden bruker slike studier generelt etablerte selvrapporterte kostholdsvurderingsmetoder, det vil sispørreskjemaer for matfrekvens, 24-timers tilbakekallinger (24hRs) og / eller matjournaler1. Til tross for at disse metodene har stor betydning for ernæringsforskning, har de også ulike ulemper, for eksempel minnerelaterte skjevheter, sosial ønskelighetsbias og er tyngende for respondenten så vel som forskeren1,2. Nylige teknologiske oppfinnelser gir nå muligheten til å overvinne disse ulempene. I løpet av de siste årene har ulike forskningsgrupper benyttet denne muligheten og utviklet nettbaserte og smarttelefonbaserte kostholdsvurderingsverktøy for ernæringsforskning som adresserer noen av disse kjente ulempene (se Eldridge et al.3 for en omfattende oversikt over web- og smarttelefonbaserte verktøy), det vilsi redusere årsaker til feil, forbedre brukervennligheten og redusere deltakerens og forskerens byrde1.
Likevel er antall helautomatiske og validerte smarttelefonapplikasjoner (apper) som passer for ernæringsforskning fortsatt begrenset. De fleste av de tilgjengelige appene for kostholdsvurdering (dvs.kommersielt eller utviklet for forskning) er enten ikke fullstendig automatiserte (dvs.krever manuell koding av matvarer) eller er ikke (godt) validert3. Videre er de fleste tilgjengelige validerte apper utviklet for ett spesifikt forskningsformål og bruk i et bestemt land; På grunn av ganske faste utforminger virker det utfordrende å bruke slike apper til andre forskningsformål eller i andre land som utfordrende3,4,5,6,7,8. Til slutt, til tross for tilgjengeligheten av matrekordbaserte apper, ser det til dags dato ikke ut til at det finnes noen tilbakekallingsbaserte apper ennå. Selv om matvareoppføringer er utsatt for reaktivitetsbias, det vil siat respondentene kan endre matinntaket på grunn av bevisstheten om at de blir observert2,9, er dette ikke tilfelle for tilbakekallinger, noe som understreker behovet for utvikling av en validert tilbakekallingsbasert app10. En innovativ kostholdsvurderingsapp kalt Traqq ble utviklet for bruk i Nederland som kan brukes som matrekord samt tilbakekalling, avhengig avforskningsspørsmålet 1.
Foruten muligheten til å veksle mellom matpostalternativet og tilbakekallingsalternativet, skiller denne appen seg også fra andre kostholdsvurderingsverktøy på grunn av sin fleksible natur. Spesielt når det gjelder matlisten, porsjonsstørrelsesestimater, prøvetakingsordninger og muligheten til å innlemme flere spørsmål. Fleksibilitetsnivået i systemet gjør det mulig å skreddersy til flere forskningsformål som krever nøyaktig vurdering av kostholdsatferd. For tiden er appen i ferd med å bli validert og vil være klar til bruk i ulike typer ernæringsrelatert forskning. Appen kan også brukes, og kanskje ytterligere forbedret for bruk, i ernæringsmessige intervensjonsprogrammer for å måle og påvirke kostholdsatferd. Ettersom utviklingen av pålitelige kostholdsvurderingsverktøy er utfordrende, og rapporter om disse prosessene er knappe, spesielt med hensyn til bruker- og ekspertmedvirkning3,11,12, gir denne artikkelen en detaljert oversikt over hvordan forskjellige informasjonskilder ble integrert i den systematiske og iterative utviklingen av denne smarttelefonbaserte kostholdsvurderingsappen. Prosessen omfatter teori, ekspertkonsultasjon og brukerengasjement.
Protocol
MERK: Alle prosedyrene, inkludert menneskelige deltakere, ble utført på en ikke-invasiv måte ved hjelp av for det meste kvalitative forskningsmetoder. Informert samtykke ble innhentet fra alle deltakere før starten av evalueringene. Denne protokollen beskriver den iterative utviklingsprosessen som grovt sett kan deles inn i fire faser der fase 1-3 er sammenflettet (figur 1).
Figur 1: Oversikt over stadiene i appens iterative utviklingsprosess. Utviklingsprosessen besto av fem faser totalt. Prosessen var imidlertid iterativ, noe som betyr at trinn 1 til 3 ble sammenflettet. Klikk her for å se en større versjon av denne figuren.
1. Gjennomføre omfattende formativ forskning som forberedelse av selve utviklingsprosessen.
- Utføre skrivebordsundersøkelser som utforsker eksisterende nettbaserte og smarttelefonbaserte kostholdsvurderingsverktøy, med spesiell oppmerksomhet på funksjoner som er kjent for å være av avgjørende betydning for nøyaktig innsamling av matinntaksdata, det vil simetode for matregistrering (inkludert matlisten og underliggende FCDB) og beregninger av porsjonsstørrelse.
- Inspiser eksisterende nettbaserte og smarttelefonbaserte kostholdsvurderingsverktøy med fokus på aspekter som kostholdsvurderingsmetodikk, informasjonstilbud, pålitelighet, søkemotor og implementerte funksjoner (f.eks.bilder, strekkodeskanner, oppskriftsfunksjoner).
- Rådfør deg med eksperter innen kostholdsvurdering.
MERK: Resultatene av skrivebordsforskningen og inspeksjonen av eksisterende verktøy ble diskutert med eksperter innen kostholdsvurdering, noe som førte til et utkast til designplan for utviklingen av appen. Denne utkastet til designplan ble evaluert av ekspertene og ytterligere forbedret etter behov.
2. Design diettvurderingsappen
- Opprett den visuelle utformingen av appen med tanke på viktige aspekter som animasjon, varemerking, farge, oppsett og typografi20.
MERK: Ettersom rom-, farge-, skrifter-, grafikk- og grensesnittelementer fremhever innhold og formidler interaktivitet, er det viktig å innlemme elementer som letter funksjonaliteten til appen. - Velg en pålitelig FCDB (her, NEVO) for å legge til rette for næringsberegninger av de innsamlede matinntaksdataene14.
- Opprett en matliste ved å evaluere beskrivelsen av matvarene som er nevnt i FCDB, kritisk.
MERK: FCDB-er er for det meste utviklet for profesjonell bruk; matbeskrivelser er ofte komplekse og hindrer søkbarhet(f.eks."margarin fettfattig 35% fett < 10 g mettet fett usaltet"23). - Formulere krav til søkemotorer; vurdere bruk av skilletegn, fremmede navn, stavefeil, forskjellige søkeord og rangering av søkeresultater for å lette søkbarheten til matvarer.
- Velg porsjonsstørrelsesestimering (hjelpemiddel) ved å evaluere ulike eksisterende kostholdsvurderingsverktøy og felttesting av egnede alternativer.
- Utform ruting i appen for å sikre at brukerens navigasjon gjennom appen er logisk, forutsigbar og enkel å følge.
- Utforme serverstøttefunksjoner og -krav for å kontrollere appen. omfatter funksjoner relatert til generell prosjektstyring, prosjektspesifikk styring (f.eks.deltakere, invitasjoner, datainnsamling) og brukeradministrasjon (f.eks.autorisasjoner).
3. Evalueringer av forskere
MERK: Etter hver oppgradering ble appen testet av ernæringsforskere og forskningsdietikere med ekspertise innen kostholdsvurdering (intern testing) for å verifisere om funksjonalitetene forbedret seg som forventet. Følgende instruksjoner skal utføres av forskere.
- Utfør ekspertevaluering ved hjelp av kognitive gjennomganger for å simulere en førstegangsbrukeropplevelse, slik at ekspertene kan utforske appen individuelt og uten veiledning28. Forsikre deg om at de kognitive gjennomgangene består av følgende trinn.
- Forsikre deg om at eksperten fyller ut et generelt spørreskjema som spør om merkevaren og typen smarttelefon.
- Installer appen på ekspertens smarttelefon.
MERK: For å sikre riktig installasjon og funksjon og minimere risikoen for avbrudd under evalueringen, anbefales det at forskeren først verifiserer appens funksjonalitet. - Instruere eksperten om testprosedyrer der hver ekspert blir bedt om å ta på seg rollen som førstegangsbruker (dvs.forskningsdeltaker). Understreke at evalueringen utføres fra en brukers perspektiv og ikke fra ekspertens eget perspektiv.
MERK: Brukeren ble antatt å være en erfaren smarttelefonbruker og å ha kunnskap om bruken av apper generelt. Imidlertid ble denne appen brukt for første gang. - Start skjermen og lydopptaket.
- Be eksperten fullføre den kognitive gjennomgangen mens du bruker appen, og utfør et forhåndsbestemt sett med oppgaver31: 1) "Jeg vil spille inn middagen min. Jeg begynte med en kopp tomatsuppe og et glass melk.", 2) "Deretter spiste jeg en pastarett, som jeg bruker regelmessig og vil legge den inn som en favoritt (dvs.forgjengeren til Mine retter)." [Oppskrift ble gitt], 3) "Da jeg også konsumerte pastaretten, vil jeg legge dette til dagens matinntaksrekord.", og 4) "Jeg gikk inn i alt jeg spiste under middagen. Jeg vil sjekke oppføringen min en gang til og deretter sende den.".
MERK: Mens du utfører oppgavene, informerer eksperten forskeren om tankeprosessen, det vil sived å forklare trinnene som må fullføres for å oppfylle den beskrevne oppgaven. - Utfør en kort oppfølging for å avklare tvetydigheter32, og gi eksperten muligheten til ytterligere tilbakemeldinger.
- Evaluer resultatene av hver ekspert ved å sjekke opptakene for å sikre at oppgavene ble utført som tiltenkt og ved å se gjennom tilleggskommentarene som er gitt.
- Del resultatene med ekspertene for å vurdere om forutsetninger gjort basert på opptakene var riktige.
MERK: Resultatene av evalueringen ble diskutert og prioritert i samråd med de sakkyndige. Basert på resultatene av denne evalueringen ble appen videre oppgradert.
- Utfør brukervennlighetstesting med tiltenkte brukere for å evaluere appens brukervennlighet og smak blant de tiltenkte brukerne ved hjelp av intervjuer med tanke høyt og systembruksskalaen (SUS)33 ved å følge disse trinnene:
- Rekrutter deltakere som er representative for målbrukerpopulasjonen35.
- Instruere deltakeren om studieprosedyrene, inkludert opptak av skjerm og lyd. Deretter innhente informert samtykke fra deltakerne.
MERK: Det er viktig at forskeren oppfordrer deltakeren til å "tenke høyt" under evalueringen, det vil siå forklare sine tanker om de nødvendige trinnene for å fullføre hver oppgave mens de utfører oppgaven, samt kommentere hvilke funksjoner som gjorde eller ikke fungerte bra. - Installer appen på deltakerens smarttelefon.
MERK: For å sikre riktig installasjon og funksjon og minimere risikoen for avbrudd under evalueringen, anbefales det at forskeren først verifiserer appens funksjonalitet. - Be deltakeren om å utføre en øvelsesoppgave for intervjuet med tanke høyt: Be deltakerne visualisere soverommet sitt og telle antall vinduer, mens de forteller forskeren om hva de så og tenkte mens de telte vinduene. Be deretter deltakerne om å nærme seg et av vinduene på soverommet og beskrive opplevelsene sine på vei til det vinduet.
MERK: En øvelsesoppgave ble gitt og gjentatt om nødvendig for å sikre at deltakerne følte seg komfortable med å tenke høyt som ønsket37. - Start skjermen og lydopptaket.
- Be deltakeren fullføre faktisk tenke-høyt intervju med de forhåndsdefinerte oppgavene: Deltakeren må: 1) registrere alt de spiste og drakk i løpet av dagen før, og 2) registrere en regelmessig konsumert tallerken gjennom My Dishes-funksjonen.
- I løpet av økten kan du observere, ta notater og stimulere deltakerne til å fortsette å tenke høyt, om nødvendig, ved enkle spørsmål som "Fortsett å snakke høyt", "Fortell meg hva du synes", eller "Fortell meg hva du tenker". Minimer ytterligere interaksjoner for å forhindre interferens med deltakerens tankeprosess28,32.
- Foreta en kort oppfølging for å avklare tvetydigheter32.
- Be deltakeren om å fylle ut et evalueringsspørreskjema med generelle spørsmål relatert til alder, kjønn, utdanningsnivå, smarttelefontype, nivå av smarttelefonopplevelse (dvs.erfarne brukere har større sannsynlighet for å utføre oppgaver raskt og riktig38), samt SUS33- et 10-punkts spørreskjema for å vurdere systemets brukervennlighet ved hjelp av Likert-skalascoring fra 1 (sterkt uenig) til 5 (helt enig).
- Analyser dataene fra hver økt med 1) transkribering, koding og oppretting av (sub)temaer, og 2) beregning av SUS-poengsummen ved hjelp av en forhåndsdefinert formel som resulterer i en poengsum mellom 0 og 10033, der en poengsum på >68/100 indikerer at verktøyet fungerer på over gjennomsnittet nivå av brukervennlighet og en poengsum >80/100 indikerer utmerket brukbarhet39, 40.
MERK: Det anbefales at forskeren som ledet økten analyserer dataene ved hjelp av kvalitativ dataanalyseprogramvare. En annen forsker kan konsulteres i tilfelle tvetydigheter.
- Gjennomføre kvantitativ validering av kostholdsinntaksposter mot validerte tradisjonelle metoder og helst uavhengige tiltak3.
MERK: Appen valideres mot nettbaserte og telefonbaserte(dvs.intervjuer) 24hRs samt uavhengige urin- og blodbiokjemiske markører. Siden den kvantitative valideringen av appen er utenfor omfanget av denne artikkelen, vil dette ikke bli diskutert nærmere.
4. Bruk av backend-systemet for app- og studieledelse
MERK: Systemet har tre autorisasjonsnivåer: (1) administrator - dette autorisasjonsnivået gir tilgang til alle deler av backend (dvs.opprette nye brukere, bestemme brukerautorisasjon og gi brukere tilgang til ett eller flere prosjekter); (2) prosjektledere - dette autorisasjonsnivået gir tilgang til spesifikke prosjekter og muligheten til å lage nye prosjekter; og (3) forskere - dette autorisasjonsnivået gir bare tilgang til de spesifikke prosjektene som forskere er involvert i.
- Administrasjon av brukere og prosjekter i backend av administratorer
- Få tilgang til online backend via traqq.idbit.net, med påloggingsinformasjon (dvs.brukernavn, passord).
- Opprett et nytt prosjekt ved å klikke kategorien Prosjekter og deretter opprette et nytt prosjekt.
- I neste skjermbilde skriver du inn de forespurte prosjektdetaljene (dvs.prosjektnavn, kontaktbeskrivelse, kontakt-e-post, kontakttelefon, kontaktnettsted).
MERK: Bare prosjektnavnet er obligatorisk for å opprette et nytt prosjekt. Kontaktbeskrivelsen, e-postadressen, telefonnummeret og nettstedet blir synlige i appen under Kontakt og informasjon-knappen. - Velg de ønskede funksjonene (dvs.produktliste, spør spisevans og/eller forbrukstid, registrer eller tilbakekall).
MERK: Hvert nytt prosjekt krever individuell beslutningstaking med hensyn til den mest hensiktsmessige kostholdsvurderingsmetoden (dvs.registrere eller tilbakekalle), matliste, estimering av porsjonsstørrelse og spisetid eller måltidstider. - Lagre det nye prosjektet ved å klikke Lagre.
MERK: Når skjermen lukkes, går administratoren tilbake til prosjektoversiktsskjermen. - Deretter oppretter du en ny bruker ved å klikke kategorien Bruker og deretter på Legg til ny bruker.
- I det følgende skjermbildet skriver du inn brukernavn, passordog tilordner brukeren en rolle (det vil siadministrator, overordnet eller bruker).
- Lagre den nye brukeren ved å klikke Lagre.
MERK: Når skjermen lukkes, går administratoren tilbake til skjermbildet Brukeroversikt. - Tilordne en bruker til et prosjekt ved å klikke notisblokkikonet (det vil siRediger -kolonnen) for en bestemt bruker.
- Tilordne et prosjekt ved å åpne rullegardinmenyen under Koblede prosjekter, velge ønsket prosjekt og klikke Legg til.
MERK: Denne handlingen må gjentas for hvert prosjekt brukeren må tilordnes til. - Formidle påloggingslegitimasjonen til den nye brukeren sammen med URL-adressen for bakend.
- Ledelse av prosjekter i backend av forskere (i.e., Overordnet eller Brukerrolle)
- Logg på backend via traqq.idbit.net ved hjelp av legitimasjonen fra administratoren.
- Klikk Gå til prosjekter for å administrere prosjektene.
- Klikk pilen i Vis -kolonnen for det ønskede prosjektet.
MERK: Etter å ha gjort dette, blir forskeren ført til en Prosjektoversikt-side, og nye faner for dette spesifikke prosjektet vises. - Skriv inn deltakerne i backend ved å klikke kategorien Deltakere . Når skjermbildet Oversikt over deltaker vises, klikker du deretter på Legg til ny deltaker.
- I det følgende skjermbildet skriver du inn Kodenavn, Merknader (valgfritt), Påloggings-ID, Påloggingsnøkkelog slutter med Lagre.
MERK: Det anbefales at Deltakerens studie-ID brukes både som kodenavn og påloggings-ID. Dette minimerer forvirring for deltakeren i tilfelle flere påloggingsinformasjon. Videre er kodenavnet synlig i svarene. Bruk av deltaker-IDen gjør det enkelt å bruke dataene. Dette alternativet må gjentas for hver deltaker. For større grupper kan importer deltakere fra fil (.csv) brukes. Her kreves de samme detaljene for hver deltaker. Backend kan ikke inneholde noen personlig informasjon om deltakerne. - Planlegg invitasjoner for hver deltaker ved å klikke kategorien Invitasjoner . Når skjermbildet Oversikt over invitasjon vises, klikker du deretter Legg til ny invitasjon.
- I det følgende skjermbildet velger du en deltaker fra rullegardinmenyen, og angir starttid for perioden, periodens sluttidspunkt, åpningstid, stengetid, URL-adresse for undersøkelse (dvs.valgfritt for implementering av flere spørsmål), Notater (valgfritt), Aktiver (alltid ja).
MERK: Periodens start- og sluttidspunkt refererer til rapporteringstidsrammen (dvs.hva som er forbrukt mellom ..:.. og ..:..). I motsetning refererer åpnings- og stengetid til perioden der deltakeren faktisk kan rapportere inntaket. Riktig implementering av en ekstern undersøkelse krever noe koding; For dette anbefales hjelp fra administratoren. For de fleste invitasjonene kan alternativet Importinvitasjoner fra (.csv) under Fil brukes. Filen krever samme informasjon som for de manuelle inndataene. Invitasjoner kan også opprettes via prøveordninger (dvs.der systemet genererer en tilfeldig invitasjonsordning på tvers av forskjellige dager og klokkeslett basert på en forhåndsinnstilling av regler som prøvetakingsperiode, antall nødvendige invitasjoner, responsfrist). En fordel med alternativet Prøveordninger er at systemet automatisk planlegger en ny invitasjon i tilfelle svar. - Spor datainnsamling via Kalender-fanen ved å velge en deltaker av interesse fra rullegardinmenyen.
MERK: Kalenderen gir en oversikt over planlagte invitasjoner i et prosjekt, enten generelt eller for bestemte deltakere. Fremtidige invitasjoner skildres i blått, fullførte tidligere invitasjoner er grønne, mens tidligere invitasjoner uten svar er røde. Svar på invitasjoner kan også kontrolleres via Svar-fanen. - Spore svar via Svar-fanen.
MERK: I Respons-delen samles de rapporterte matinntaksdataene (dvs.matvare, konsumert mengde, spise anledning og /eller forbrukstid). - Ber administratoren om dataeksport.
MERK: Data kan eksporteres fra backend til en .csv fil for videre analyse(f.eks.svar/ matinntaksdata, samsvarsdata) av administratoren. Svarene inkluderer rapporterte matvarer, utvalgte porsjonsstørrelser, forbrukte mengder i gram og spise anledninger/tider. - Importer .csv-filen til programvare for ernæringsberegning for dyptgående næringsanalyser.
MERK: Dataene kan importeres til programvare for ernæringsberegning som bruker den nederlandske FCDB.
5. Bruk av appen av deltakerne under studien
- Last ned den fritt tilgjengelige appen fra App Store (iOS) eller Google Play Store (Android), og få tilgang til appen ved å logge på.
MERK: Påloggingsinformasjon, som angitt av forskeren, kreves for å få tilgang til appen (trinn 4.2.5.). Etter at du har logget på, sender appen invitasjoner som planlagt i backend basert på deltakerens legitimasjon (trinn 4.2.7.). - Etter å ha mottatt en invitasjon via appen, rapporter matinntak.
MERK: Deltakerne kan bare registrere matinntaket på forhåndsbestemte dager og tider.- Åpne appen ved å klikke på varselet som er mottatt eller ved å åpne appen via appikonet.
MERK: Når du har åpnet appen, vises skjermbildet Oversikt over invitasjon der tidligere og gjeldende invitasjoner vises. - Klikk på den åpne invitasjonen.
MERK: Deltakeren blir ført til et oversiktsskjermbilde der invitasjonsperioden er synlig. - Skriv inn matvaren som forbrukes først ved å klikke på Produkt toevoegen (Legg til matvare).
MERK: Deltakeren blir ført til søkeskjermen. - Begynn å skrive inn navnet på det forbrukte elementet (for eksempelappelsinjuice [jus d 'oransje]). Klikk på ønsket element slik det ser ut mens du skriver.
- I det følgende skjermbildet rapporterer du den forbrukte mengden (Hoeveelheid), tilsvarende beskrivelse av porsjonsstørrelse (Portie), spisevansker (Maaltijdmoment) og/eller forbrukstidspunkt (Tijdstip), og slutter med å lagre (Opslaan) .
- Gjenta de nevnte trinnene til alle matvarer er rapportert.
- Send inn listen (tilbakekalling) ved å klikke på (Lijst versturen) (Send liste), eller invitasjonen lukkes automatisk på slutten av dagen (post).
MERK: Alternativet Send liste er også synlig i postversjonen, slik at deltakere som bruker posten, også kan sende inndataene sine til databasen. Selv om dataene allerede er sendt, lukkes imidlertid invitasjonen fortsatt på slutten av dagen, og sender alle data til serveren.
- Åpne appen ved å klikke på varselet som er mottatt eller ved å åpne appen via appikonet.
Representative Results
Systemet (app og backend) ble utviklet ved hjelp av trinnene som er beskrevet i den ovenfor beskrevne protokollen; De viktigste resultatene av denne prosessen er beskrevet nedenfor, og konkluderer med den endelige utformingen av appen.
Formativ forskning
I tillegg til omfattende litteraturgjennomgang ble flere nettbaserte verktøy inspisert (f.eks.Compl-eat13, ASA2414, Foodbook2415, MyFood2416) med hensyn til kostholdsvurderingsmetodikk og implementerte funksjoner. I tillegg ble ytelsen til flere matsporingsapper som ofte brukes i Nederland sammenlignet (for eksempelMijnEetmeter17, MyFitnessPal18, Virtuagym Food19), med fokus på aspekter som kostholdsvurderingsmetodikk, levering av informasjon, pålitelighet, søkemotor og bruk av tilleggsfunksjoner (f.eks.bilder, strekkodeskanner, oppskriftsfunksjoner). Resultatene av denne inspeksjonen førte til beslutningen om å utvikle appen på en slik måte at den kan brukes som matvarepost og tilbakekalling. Videre førte det til implementeringen av My Dishes-funksjonen, som kan brukes til å lage originale oppskrifter eller ofte konsumerte produktkombinasjoner(f.eks.en daglig frokost). Innenfor denne funksjonen tas det automatisk hensyn til avkastnings- og oppbevaringsfaktorer.
For å nøyaktig kvantifisere mat- og næringsinntaket, er en komplett, om enn praktisk, matliste avgjørende. Kompilering av en slik matliste krever en avveining mellom utslåelsen av matlisten og søkbarheten til matvarene (dvs.matbeskrivelser må være klare, forståelige og enkle å finne)41,42. Ettersom matsammensetningsdata danner det grunnleggende grunnlaget for kostholdsvurdering21,22, er det viktig å sikre at den utviklede matlisten kan knyttes til nøyaktige matsammensetningsdata. Matlisten som er inkludert i appen er basert på den nederlandske FCDB (NEVO)14, som ble valgt for pålitelighet og rike matsammensetningsdata. Opprinnelig består NEVO av 2 389 matvarer (versjon 2016/5.0), som ble redusert til en matliste med 1 449 varer ved å eliminere "forvirrende gjenstander" (f.eks.matvarer som ikke kan konsumeres rå, matvarer som ikke kan konsumeres uten tilsetninger) eller varer som ikke er like viktige å inkludere (f.eks.på grunn av lave forbruksrater basert på den nederlandske matforbruksundersøkelsen (DNFCS)43).
I tillegg inneholder NEVO lignende matvarer med forskjellige merkenavn; I et slikt tilfelle ble bare det generiske alternativet inkludert i matlisten. For ytterligere å lette brukervennligheten ble noen matvarer omdøpt for å eliminere unødvendig terminologi som "forberedt", "frossen", "gjennomsnitt" og "naturlig". Denne "rengjøringsprotokollen" ble utviklet av tre godt trente forskningsdietikere og utført ved hjelp av en syntaks, som kan kjøres på nytt når NEVO er oppdatert. I tillegg, for å optimalisere søkbarheten av matvarer, ble 1,019 kjente synonymer av de inkluderte matvarene lagt til matlisten. Dermed utgjorde matlisten som er inkludert i appen til slutt 2,468 elementer. En oversikt over utviklingen av matlisten vises i figur 2. For å merke seg, selv om denne omfattende matlisten er utviklet for generell bruk, tillater appens bakserver import av alternative matlister om nødvendig.
Figur 2: Strukturen til matlisten som er utviklet for appen. Matlisten er basert på den nederlandske matsammensetningsdatabasen (FCDB), og tilsvarende forslag til porsjonsstørrelse og synonymer ble lagt til for hvert element i den endelige matvarelisten. Klikk her for å se en større versjon av denne figuren.
Et annet viktig aspekt ved kostholdsvurdering er kvantifisering av porsjonsstørrelser. Selv om estimeringshjelpemidler for porsjonsstørrelse (PSEAer), for eksempel bilder, referentobjekter og standard porsjonsstørrelser, støtter rapporteringen av mengden matvarer som forbrukes24,26,44, er feilrapportering av porsjonsstørrelser fortsatt en betydelig kilde til bias24,25,45,46og litteratur om effektiviteten til de forskjellige PSEAene er inkonsekvent26. Matbilder, forslag til porsjonsstørrelse (dvs.standardstørrelser og husholdningstiltak), og gratis vektinngang i gram er de mest brukte PSEAene i web- og smarttelefonbaserte kostholdsvurderingsverktøy34. Mens for eksempel forslag til porsjonsstørrelse (f.eks.kopper, skjeer, små, store) brukes i verktøy som Compl-eat13 og Oxford WebQ47, hjelper bilder porsjonsstørrelsesestimater i verktøy som ASA2414 og Myfood2416. For å undersøke den mest passende PSEA for appen, ble det utført en pilotstudie for å sammenligne nøyaktigheten av forslag til porsjonsstørrelse(f.eks.små, mellomstore, store eller kopper, skje), gratis inngang i gram og bilder av porsjonsstørrelse. Resultatene av denne studien førte til implementering av porsjonsstørrelsesforslag som PSEA i appen sammen med muligheten til å legge inn beløp i gram27.
Ekspert gjennomgang
Målet med ekspertevalueringene var å kvalitativt evaluere appen når det gjelder funksjonalitet og enkel læring. Siden mange brukere foretrekker å lære programvare ved å utforske29, er et systems nivå av lærbarhet viktig. Totalt 10 eksperter, det vil si4 (forskning) diettister og 6 ernærings- og helseadferdseksperter (forskere) deltok i de kognitive gjennomgangene der 60% brukte en Android-smarttelefon. Viktigst av alt indikerte ekspertevalueringer at den første versjonen av appen ikke var tilstrekkelig intuitiv, for eksempelble menystruktur vurdert uklart på grunn av vage knapper / ikoner, og søkemotoren genererte en ulogisk rekkefølge av resultater. Et annet kritisk punkt som oppstår fra ekspertgjennomgangene relatert til det faktum at valgte elementer ikke kunne endres. Basert på disse resultatene ble utformingen av appen betydelig oppgradert fra trinn 2 og utover (figur 1).
Evaluering av brukervennlighet
Totalt 22 deltakere deltok i intervjuene, som dannet grunnlaget for brukervennlighetsevalueringen. Den første utvalgsstørrelsen ble satt til 20 deltakere36, hvoretter datametning ble vurdert. Ettersom datametning ikke ble nådd etter 20 intervjuer, fortsatte inkluderingen mens de vurderte datametning etter hvert påfølgende intervju. Deltakerne hadde en gjennomsnittlig ± standardavviksalder på 48 ± 17 år (område 22-70 år); 36% var menn, og flertallet av befolkningen var høyt utdannet (55%). I tillegg brukte de fleste deltakerne en Android-enhet (n = 14, 64%), og nesten alle deltakerne hadde over 1 års erfaring med smarttelefonbruk (n = 21, 96%) (Tabell 1). Alle deltakerne fullførte oppgavene uten eller med minimal instruksjon.
| Totalt (n=22) | |
| Kjønn | |
| Mann (%) | 36.4 |
| Kvinne (%) | 63.6 |
| Gjennomsnittsalder (gjennomsnitt, SD) | 48.1 (17.2) |
| Utdanningsnivå | |
| Lav (%) | 0 |
| Middels (%) | 45.5 |
| Høy (%) | 54.5 |
| Smarttelefon type | |
| Android (%) | 63.6 |
| iOS (%) | 36.4 |
| Smarttelefonopplevelse | |
| Kortere enn 6 måneder (%) | 4.5 |
| Mellom 6 måneder og 1 år (%) | 0 |
| Lengre enn 1 år (%) | 95.5 |
| SUS (gjennomsnitt, SD) | 79.4 (15.1) |
Tabell 1. Kjennetegn på studiepopulasjonen og resultatene av brukervennlighetsevaluering. Bare resultatene av systemets brukervennlighetsskala (SUS) er portrettert i denne tabellen sammen med deltakeregenskapene.
Mens noen deltakere (n = 13, 59%) indikerte vanskeligheter mens de brukte My Dishes-funksjonaliteten; andre (n = 5, 23%) opplevde mindre funksjonalitetsproblemer som langsom respons på menyknappen og vanskeligheter med å bruke knapper relatert til utilstrekkelig skjermstørrelse på mindre smarttelefoner). Videre indikerte 15 (68%) deltakere deres preferanse for et alternativ for å legge inn konsumerte porsjonsstørrelser i gram. Til slutt indikerte evalueringen av SUS-poengsummen en vurdering på 79/100 (område 40-100), der bare 3 av de 22 deltakerne vurderte appen under 68/100 og 13 vurdert >80/100, noe som antyder at appen kan betraktes som brukervennlig. Samlet sett var de foreslåtte forbedringene små, og brukbarhetsevalueringer var lovende. Deretter ble forslag til forbedring diskutert i forskerteamet og, hvis det anses relevant, innlemmet i trinn 4-oppgraderingen for å optimalisere smaken og brukervennligheten til appen ytterligere (figur 1).
Endelig design
Trinnene beskrevet i protokollen og resultatene av evalueringsstudien resulterte til slutt i en endelig design for appen og backend, som var rettet mot en enkel visuell design. Denne appen kan brukes som en matpost og en tilbakekalling. Som beskrevet tidligere, er matlisten en modifisert versjon av NEVO. Estimering av porsjonsstørrelse støttes av matspesifikke forslag til porsjonsstørrelse. forbrukte porsjoner kan også legges inn i gram. I tilfelle tilbakekallingsversjonen av appen har forskeren muligheten til å velge forskjellige tidsluker (for eksempel., 2hR, 8hR eller 24hR). For å samle inn matinntaksdata på forskjellige dager og tider, kan ulike prøvetakingsordninger opprettes innen en forhåndsbestemt periode. Push-varsler inviterer respondentene til å registrere matinntaket. For å sikre fullstendig datainnsamling planlegges invitasjoner automatisk på nytt i tilfelle frafall. I tilbakekallingsmodulen kan respondentene bare rapportere matinntaket etter å ha mottatt en invitasjon. I tilfelle matjournalen kan respondentene få tilgang til appen og logge matinntaket gjennom dagen.
I motsetning til de fleste 24hR-verktøy, er tilbakekallingsmodulen til appen ikke basert på Automated Multiple-Pass Method - en femtrinns metode for å samle matinntaksdata for forrige 24 h48- da denne metoden er for forseggjort og tidkrevende for bruk i en app. Mer spesifikt, for å øke brukervennligheten og forbedre overholdelsen av matinntaksopptakene11,38,49, ble navigasjonen redusert til et minimum ved å begrense antall skjermbilder som må nås til 4 ( Figur3): 1) et oversiktsskjermbilde som viser rapporteringsvinduet; 2) konsumerte matvarer rapporteres gjennom søkeskjermen, og når ønsket element er valgt 3), vises en dialogboks som undersøker spise anledning og forbrukt mengde, hvoretter 4) brukeren går tilbake til Oversikt-skjermen som nå viser de innspilte matvarene. I tillegg kan brukeren også bruke Mine retter-funksjonen til å lage oppskrifter eller produktkombinasjoner, som kan legges inn via Meny-knappen.
Figur 3: Skjematisk oversikt over ruten i appen. Klikk her for å se en større versjon av denne figuren.
Dataene lagres på en sikker server. Om ønskelig kan ytterligere spørsmål generelt eller relatert til spesifikke spise anledninger eller matvarer - innlemmes. Appen kan koble til nettbaserte undersøkelsesverktøy. Derfor er det mulig å gjennomføre en undersøkelse som ikke er relatert til matinntak via appen på forhåndsspesifiserte tider(f.eks.kontekst, atferdsmessig, humørspørsmål). Det er også mulig å stille spesifikke spørsmål knyttet til rapporterte matvarer eller spise anledninger (f.eks.når epler rapporteres, når lunsj rapporteres). Bruken av online undersøkelsesverktøy gir en mulighet til å stille mange forskjellige spørsmål via appen. De innsamlede matinntaksdataene kan eksporteres fra serveren og importeres til programvare for ernæringsberegning for videre analyser. Ved bruk av tilleggsspørsmål vil disse dataene være tilgjengelige i undersøkelsesverktøyet som vanlig. Målet var å utvikle en godt strukturert og brukervennlig app. Noen skjermbilder av designet kan ses i figur 4A-E.
Figur 4: Skjermbilder av den endelige versjonen av appen. (A) Startskjermen/Oversikt-skjermen, som viser invitasjonen med (i dette tilfellet) 2 h-recall-perioden. Brukeren kan trykke på Produkt toevoegen (dvs.Legg til element) for å rapportere en matvare eller Niets gegeten av gedronken (dvs.jeg spiste eller drakk ikke noe) i tilfelle ingenting ble konsumert i løpet av dette tidsvinduet. (B) Søkeskjermen, som viser resultater som samsvarer med søkeordet "Jus" fra matlisten. Ønsket element kan velges fra søkeresultatene. (C) En popup-skjerm krever inntasting av detaljer om det valgte elementet "Jus d 'oransje". I dette tilfellet ber appen om mengden som forbrukes og spiser anledning. Brukeren kan gå tilbake til søkeresultatet ved å trykke annuleren (dvs.avbryte) eller Opslaan (dvs.lagre) for å gå videre. (D) Oversikten på nytt, denne gangen viser alle de rapporterte elementene. Et annet element kan legges til (Produkt toevoegen) eller innspillene kan sendes (Lijst versturen). (E) Når du har valgt Lijst versturen, vises det et popup-vindu som spør brukeren om de er sikre på at de vil sende, og minner brukeren på at det ikke er mulig å gjøre flere endringer etter at listen er sendt. Brukeren kan avbryte (Annuleren) eller sende (Versturen). Klikk her for å se en større versjon av denne figuren.
Discussion
Denne artikkelen presenterer den iterative utviklingsprosessen til den smarttelefonbaserte diettvurderingsappen Traqq. Balansering av det nødvendige nivået av nøyaktighet og brukervennlighet utgjorde følgende hovedutfordringer i utviklingen av appen relatert til beslutninger om 1) dataregistrering (dvs.å velge den mest nøyaktige metoden for matidentifikasjon og kvantifisering av porsjonsstørrelse), 2) matsammensetningsdata (dvs.velge en nøyaktig database og lage en fullverdig matliste), 3) tilpasningsalternativer (dvs. fleksibilitet i matlisten, kvantifisering av porsjonsstørrelse og oppskrifter) og 4) validering (dvs.mot tradisjonelle metoder og/eller uavhengige tiltak)3,50. Under litteraturgjennomgangen ble fem validerte og helautomatiske, smarttelefonbaserte, kostholdsvurderingsverktøy utviklet for forskning identifisert3, nemlig My Meal Mate4, Electronic Dietary Intake Assessment (eDIA)7, Easy Diet Diary8, Electronic Carnet Alimentaire (e-CA)5og Eat and Track (EaT)6.
På grunn av nivået på automatisering av disse fem kostholdsvurderingsappene samt denne appen, reduseres forskerbyrden og kostnadene betydelig mens datafullføringen øker sammenlignet med tradisjonelle kostholdsvurderingsmetoder. I tillegg skiller denne appen seg i sin tur fra de fem eksisterende diettvurderingsverktøyene når det gjelder fleksibilitet. Spesielt, mens eksisterende apper alle er basert på matpostmetoden, kan denne appen brukes som en matpost så vel som en tilbakekalling. Videre, mens utformingen av disse appene er løst, har Traqq den største fordelen at den kan endres for å passe til forskjellige forskningsformål (for eksempelkostholdsvurderingsmetode, matliste, prøvetakingsordninger, tilleggsspørsmål)3,50. På den annen side inneholder andre eksisterende kostholdsvurderingsapper verdifulle funksjoner, som ikke er implementert i appen (ennå). For å illustrere dette punktet tillater noen apper brukeren å ta bilder av maten for matgjenkjenning og porsjonsstørrelsesestimering, for eksempel det halvautomatiske, teknologiassisterte kostholdsvurderingssystemet (TADA)51,52.
Deltakerne i brukervennlighetsstudien indikerte også at bruk av fotografier kunne være et verdifullt tillegg for å hjelpe porsjonsstørrelsesestimering. Det var imidlertid fortsatt for mange utfordringer å ta tak i for å implementere en slik funksjon på dette stadiet, for eksempelå spesifisere og veilede med hensyn til den fotografiske vinkelen (dvs.for å vurdere dybde), behovet for en referanseprodusent (dvs.å korrigere for størrelser og farger), det essensielle før og etter bildet (dvs.for å vurdere forbrukte mengder), og om hvordan du behandler oppskriftsretter. På grunn av disse tekniske utfordringene er de eksisterende bildebaserte kostholdsvurderingsappene fortsatt halvautomatiserte, noe som betyr at manuell bildegjennomgang må gjøres av brukeren, forskeren eller begge51,52. Teknologiske fremskritt, som crowdsourcing og maskinlæring, har potensial til å forbedre bruken av matbilder for kostholdsvurdering53,54. I fremtiden vil disse alternativene bli utforsket for å forbedre appen ytterligere. Utviklingsprosessen til appen var preget av ulike kritiske trinn. For det første ble det gjennomført et formativt forskningstrinn der de vitenskapelige konseptene som ligger til grunn for appoppretting, la til rette for beslutningstaking i å sette opp den generelle disposisjonen av appen.
I løpet av dette stadiet ble det lagt særlig vekt på valg av FCDB og valg av PSEA-aspekter som begge direkte påvirkerdatanøyaktigheten 21. Når det gjelder FCDB, som appen opprinnelig er utviklet for bruk i Nederland, er matlisten basert på den nederlandske FCDB, NEVO14. I fremtiden er målet å videreutvikle appen for internasjonal bruk, noe som krever mer omfattende matsammensetningsdata ettersom mange matvarer er landsspesifikke. For øyeblikket finnes det ingen internasjonal FCDB ennå, og hvis den eksisterer, kan bruken ha vært begrenset. Mer spesifikt, ettersom den nederlandske matlisten allerede inneholder 2389 matvarer, vil implementeringen av et internasjonalt matsammensetningsbord, for eksempelfor 5 land sannsynligvis multiplisere dette antallet matvarer med omtrent 5 og negativt påvirke søkbarheten til matvarer og følgelig appens brukervennlighet. Derfor vil landsspesifikke matlister sannsynligvis være mest verdifulle og ofte også foretrukket av fagfolk55.
Dette forenkles av appen da den muliggjør import av alternative matlister og dermed kobling til forskjellige (internasjonale) matsammensetningstabeller. Når det gjelder porsjonsstørrelsene, er det flere alternativer tilgjengelig for å støtte nøyaktigheten av estimatene, for eksempelbruk av bildehefter, referentobjekter og / eller forslag til tekststørrelse26. I lys av brukervennlighet foretrekkes direkte implementering av en PSEA i appen fremfor å bruke en PSEA ved siden av appen (f.eks.bildehefte, referentobjekter). Under utviklingen av appen ble det besluttet å legge til rette for kvantifisering av porsjonsstørrelse ved å tilby muligheten til å angi porsjonsstørrelser ved hjelp av forslag til porsjonsstørrelse og oppføring i gram. Forslag til porsjonsstørrelse er basert på den eneste tilgjengelige nederlandske databasen med porsjonsstørrelse56. Selv om nederlandske kostholdsvurderingsverktøy som Compl-eat og Eetmeter også er avhengige av denne databasen13,17, må det bemerkes at denne databasen med porsjonsstørrelse stammer fra 2003, og servisestørrelser har siden økt57. Bruk av denne databasen kan derfor undervurdere matinntaket.
For tiden oppdateres databasen for porsjonsstørrelse av Dutch National Institute for Public Health and the Environment (RIVM), Dutch Nutrition Center og Wageningen University and Research58, som til slutt vil bli brukt til å oppdatere forslag til porsjonsstørrelse i appen. Avvik mellom gamle og nye deler vil bli kartlagt og justert der det er nødvendig. Selv om bruken av bilder med porsjonsstørrelse (dvs.en serie bilder som skildrer forskjellige mengder av en valgt mat) kan være et godt alternativ for tekstbaserte forslag til porsjonsstørrelse59, har forskning vist at nøyaktigheten av estimering av porsjonsstørrelse er høyest når en serie bilder i porsjonsstørrelse presenteres samtidig, i stedet for ett bilde om gangen45, 60,61. Generelt har tilgjengelige smarttelefoner relativt små skjermer, noe som begrenser presentasjonen av en serie bilder. Selv om ny teknologi forenkler bruken av interaktiv porsjonsstørrelsesgrafikk der mengder mat på en virtuell tallerken eller kopp kan økes eller reduseres ved hjelp av en glidebryter61, er disse teknikkene relativt nye og må fortsatt evalueres grundig for å vurdere nøyaktigheten.
Et annet kritisk skritt i utviklingen av appen inkluderte involvering av eksperter og tiltenkte sluttbrukere. Selv om det ikke ofte er innlemmet i utviklingsprosessen av verktøy (eller ikke beskrevet)11,12, tilbakemelding fra eksperter - så vel som tiltenkte sluttbrukere - er avgjørende61, tillater maksimering av brukervennlighet, og opprettholder det nødvendige nøyaktighetsnivået. Tilbakemeldingen fra de tiltenkte sluttbrukerne var spesielt nyttig i den endelige utformingen av My Dishes-funksjonen. Totalt sett var brukerne fornøyd med muligheten til å lage sine egne retter. Imidlertid slet de med noen av prosedyrene, for eksempel, selv om funksjonen automatisk ville lagre data, var dette ikke synlig for brukeren. Derfor fortsatte mange brukere å søke etter Lagre-knappen og ble sittende fast, redd for å gå tilbake og miste sine innspill. Basert på denne typen tilbakemeldinger ble funksjonen forbedret for å passe bedre til brukerens forventninger.
For å konkludere er Traqq en innovativ app med mange fordeler i forhold til eksisterende apper og nettbaserte verktøy. Imidlertid er det fortsatt forskjellige begrensninger. Ettersom appen fortsatt er avhengig av selvrapportering, eksisterer det fortsatt selvrapporteringsrelaterte målefeil (f.eks.minnebias (dvs.i tilfelle tilbakekalling), sosial ønskelighetsbias og matinntaksendringer (dvs.i tilfelle matposter), unøyaktige beregninger av porsjonsstørrelse (dvs.i begge))1. I de kommende årene vil nylig lanserte nye teknologier bli utforsket for å fremme appen ytterligere, for eksempelved å utforske verdien av implementeringsfunksjoner som strekkodeskannere, stemmeopptak, chatboter og bilder, noe som kan forbedre matidentifikasjon og estimering av porsjonsstørrelse. Mulighetene for å få kontakt med andre apper (f.eks.aktivitetsmålere, søvnsporere) og enheter (f.eks.akselerometere, pulsmålere, tyggesensorer) utforskes også. Til slutt blir backend også utsatt for videreutvikling, for eksempel gjennom utvidelse av prøvetakingsalternativer.
Disclosures
Forfatterne har ingenting å avsløre.
Acknowledgments
Forfatterne ønsker å takke Anouk Geelen og Arvind Datadien for deres sentrale rolle i utviklingen av Traqq. Videre vil forfatterne takke Romy Willemsen for hennes hjelp i datainnsamlingen og dataanalysen i brukervennlighetsstudien. Til slutt ønsker forfatterne å takke ekspertene og deltakerne for å dele sine erfaringer og meninger gjennom hele prosessen. Utbyggingen ble gjennomført av Wageningen Universitet og forskning og delvis finansiert av Landbruks-, natur- og matvaredepartementet og industrien, i sammenheng med TKI Agri&Food PPS - prosjekt Smart Food Intake (AF16096).
Materials
| Name | Company | Catalog Number | Comments |
| ASA24 Portion size picture book | American National Cancer Institute | na | The portion size image database as used in the ASA24-tool |
| Atlas.ti v8 | ATLAS.ti Scientific Software Development GmbH | na | Qualitative data analysis software for research |
| Compl-eat | Wageningen University | na | The portion size suggestions database as used in the Compl-eat 24hR module |
| iOS screen record function | Apple Inc. | na | Build-in iOS feature to make screen recordings |
| NEVO (version 2016/5.0) | RIVM | na | Dutch Food Composition Database |
| Qualtrics | Qualtrics XM | na | Online survey tool that can be used to implement additional questions in Traqq |
| Recordable | Invisibility ltd. | na | Android app to make screen recordings |
| SPSS version 24.0 | IBM Corporation | na | Statistical software |
| System Usability Scale (SUS) | na | na | Validated questionnaire to assess a system's usability |
References
- Brouwer-Brolsma, E. M. Dietary intake assessment: From traditional paper-pencil questionnaires to technology-based tools. Data science in action. ISESS 2020. IFIP Advances in Information and Communication Technolog. Athanasiadis, I., Frysinger, S., Schimak, G., Knibbe, W. 554, Springer, Cham. Chapter 2 7-23 (2020).
- Thompson, F. E., Subar, A. F. Nutrition in the prevention and treatment of disease. Coulston, A., Boushey, C., Ferruzzi, M., Delahanty, L. , Elsevier, Inc. 5-48 (2017).
- Eldridge, A. L., et al. Evaluation of new technology-based tools for dietary intake assessment-an ILSI Europe Dietary Intake and Exposure Task Force Evaluation. Nutrients. 11 (1), 55 (2018).
- Carter, M. C., Burley, V. J., Nykjaer, C., Cade, J. E. 'My Meal Mate' (MMM): validation of the diet measures captured on a smartphone application to facilitate weight loss. British Journal of Nutrition. 109 (3), 539-546 (2013).
- Buchaer Della Torre, S., Carrard, I., Farina, E., Danuser, B., Kruseman, M. Development and Evaluation of e-CA, an electronic mobile-based food record. Nutrients. 9 (1), 76 (2017).
- Wellard-Cole, L., et al. Relative validity of the Eat and Track (EaT) smartphone app for collection of dietary intake data in 18-to-30-year olds. Nutrients. 11 (3), 621 (2019).
- Rangan, A. M., et al. Electronic Dietary Intake Assessment (e-DIA): Comparison of a mobile phone digital entry app for dietary data collection with 24-hour dietary recalls. JMIR mHealth and uHealth. 3 (4), 98 (2015).
- Ambrosini, G. L., Hurworth, M., Giglia, R., Trapp, G., Strauss, P. Feasibility of a commercial smartphone application for dietary assessment in epidemiological research and comparison with 24-h dietary recalls. Nutrition. 117 (1), 5 (2018).
- Subar, A. F., et al. Addressing current criticism regarding the value of self-report dietary data. The Journal of Nutrition. 145 (12), 2639-2645 (2015).
- Kipnis, V., et al. Bias in dietary-report instruments and its implications for nutritional epidemiology. Public Health Nutrition. 5 (6), 915-923 (2002).
- Simpson, E., et al. Iterative development of an online dietary recall tool: INTAKE24. Nutrients. 9 (2), 118 (2017).
- Chen, J., Cade, J. E., Allman-Farinelli, M. The most popular smartphone apps for weight loss: a quality assessment. JMIR Mhealth Uhealth. 3 (4), 104 (2015).
- Apple Inc. Human Interface Guidelines. Apple Inc. , Available from: https://developer.apple.com/ios/human-interface-guidelines/ (2017).
- NEVO. RIVM 5.0. NEVO-online. , (2016).
- Jaspers, M. W. A comparison of usability methods for testing interactive health technologies: methodological aspects and empirical evidence. International Journal of Medical Informatics. 78 (5), 340-353 (2009).
- Penha, A. D. S., dos Santos, F. A. N. V. Evaluating the use of the cognitive walk-through usability. Human Factors in Design. 1 (1), (2012).
- Fonteyn, M. E., Kuipers, B., Grobe, S. J. A description of think aloud method and protocol analysis. Qualitative Health Research. 3 (4), 430-441 (2016).
- Brooke, J., et al. SUS - A quick and dirty usability scale. Usability evaluation in industry. 189 (194), 4-7 (1996).
- Kushniruk, A. W., Patel, V. L. Cognitive and usability engineering methods for the evaluation of clinical information systems. Journal of Biomedical Informatic. 37 (1), 56-76 (2004).
- Davison, G. C., Vogel, R. S., Coffman, S. G. Think-aloud approaches to cognitive assessment and the articulated thoughts in simulated situations paradigm. Journal of Consulting and Clinical Psychology. 65 (6), 950-958 (1997).
- Mouname, K., Idri, A., Abran, A. Usability evaluation of mobile applications using ISO 9241 and ISO 25062 standards. SpringerPlus. 5, 548 (2016).
- Sauro, J. A practical guide to the system usability scale: Background, benchmarks & best practices. CreateSpace Independent Publishing Platform. , (2011).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Meijboom, S., et al. Evaluation of dietary intake assessed by the Dutch self-administered web-based dietary 24-h recall tool (Compl-eatTM) against interviewer-administered telephone-based 24-h recalls. Journal of Nutritional Science. 6, 49 (2017).
- Subar, A. F., et al. The Automated Self-Administered 24-hour dietary recall (ASA24): a resource for researchers, clinicians, and educators from the National Cancer Institute. Journal of the Academy of Nutrition and Dietetics. 112 (8), 1134-1137 (2012).
- Timon, C. M., et al. The development, validation, and user evaluation of Foodbook24: A web-based dietary assessment tool developed for the Irish adult population. Journal of Medical Internet Research. 19 (5), 158 (2017).
- Carter, M. C., et al. Development of a UK online 24-h dietary assessment tool: myfood24. Nutrients. 7 (6), 4016-4032 (2015).
- Voedingscentrum. Mijn Eetmeter. , Available from: https://itunes.apple.com/nl/app/mijn-eetmeter/id663382012?mt=8 (2014).
- MyFitnessPal. MyFitnessPal. , Available from: http://www.myfitnesspal.com/welcome/learn_more (2015).
- Virtuagym. Virtuagym. , (2017).
- Evans, K., et al. Development and evaluation of a concise food list for use in a web-based 24-h dietary recall tool. Journal of Nutritional Science. 6, 46 (2017).
- Svensson, A., Magnusson, M., Larsson, C. Overcoming barriers: adolescents' experiences using a mobile phone dietary assessment app. JMIR mHealth and uHealth. 4 (3), 92 (2016).
- Finglas, P. M., Berry, R., Astley, S. Assessing and improving the quality of food composition databases for nutrition and health applications in Europe: the contribution of EuroFIR. Advances in Nutrition. 5 (5), 608-614 (2014).
- Gibson-Moore, H. EuroFIR: Where we are now. Nutrition Bulletin. 38 (3), 358-362 (2013).
- Rossum, C. T. M., et al. The diet of the Dutch. Results of the first two years of the Dutch National Food Consumption Survey 2012–2016. RIVM. , (2016).
- Byrd-Bredbenner, C., Schwartz, J. The effect of practical portion size measurement aids on the accuracy of portion size estimates made by young adults. Journal of Human Nutrition and Dietetics. 17 (4), 351-357 (2004).
- Faggiano, F., et al. Validation of a method for the estimation of food portion size. Epidemiology. 3 (4), 379-382 (1992).
- Faulkner, G. P., et al. An evaluation of portion size estimation aids: precision, ease of use and likelihood of future use. Public Health Nutrition. 19 (13), 2377-2387 (2016).
- Hernandez, T., et al. Portion size estimation and expectation of accuracy. Journal of Food Composition and Analysis. 19, 14-21 (2006).
- Nelson, M., Atkinson, M., Darbyshire, S. Food photography. I: The perception of food portion size from photographs. British Journal of Nutrition. 72 (5), 649-663 (1994).
- Young, L. R., Nestle, M. S. Portion sizes in dietary assessment: issues and policy implications. Nutrition Reviews. 53 (6), 149-158 (1995).
- Liu, B., et al. Development and evaluation of the Oxford WebQ, a low-cost, web-based method for assessment of previous 24 h dietary intakes in large-scale prospective studies. Public Health Nutrition. 14 (11), 1998-2005 (2011).
- Lucassen, D. A., Willemsen, R. F., Geelen, A., Brouwer-Brolsma, E. M., Feskens, E. J. M. The accuracy of portion size estimation using food images and textual descriptions of portion sizes: an evaluation study. Journal of Human Nutrition and Dietetics. , (2021).
- Wharton, C., Rieman, J., Lewis, C., Polson, P. Usability Inspection Methods. Nielsen, J., Mack, R. L. , John Wiley & Sons. 79-104 (1994).
- Nielsen, J. How many test users in a usability test. , Available from: https://www.nngroup.com/articles/how-many-test-users/ (2012).
- AMPM - Features. USDA. , Available from: https://www.ars.usda.gov/mortheast-area/beltsville-md/beltsville-human-nutrition-research-center/food-surveys-research-group/docs/ampm-features/ (2016).
- Zhang, D. S., Adipat, B. Challenges, methodologies, and issues in the usability testing of mobile applications. International Journal of Human-Computer Interaction. 18 (3), 293-308 (2005).
- Cade, J. E. Measuring diet in the 21st century: use of new technologies. Proceedings of the Nutrition Society. 76 (3), 276-282 (2017).
- Ahmad, Z., et al. A mobile food record for integrated dietary assessment. MADiMa16. 2016, 53-62 (2016).
- Boushey, C. J., Spoden, M., Zhu, F. M., Delp, E. J., Kerr, D. A. New mobile methods for dietary assessment: review of image-assisted and image-based dietary assessment methods. Proceedings of the Nutrition Society. 76 (3), 283-294 (2017).
- Fang, S., et al. 2018 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). , Las Vega, Nevada, USA. 25-28 (2018).
- Shao, Z., Mao, R., Zhu, F. 2019 IEEE International Conference on Big Data (Big Data). , Los Angeles, California, USA. 5186-5189 (2019).
- Chen, J., Lieffers, J., Bauman, A., Hanning, R., Allman-Farinelli, M. Designing health apps to support dietetic professional practice and their patients: qualitative results from an international survey. JMIR Mhealth Uhealth. 5 (3), 40 (2017).
- Donders-Engelen, M. R., Van der Heijden, L. J. M., Hulshof, K. F. A. M. Maten, Gewichten en Codenummers 2003. Food portion sizes and coding instructions. Wageningen University: Division of Human Nutrition and TNO Nutrition. , (2003).
- Van Ittersum, K., Wansink, B. Plate size and color suggestibility: The Delboeuf Illusion’s bias on serving and eating behavior. Journal of Consumer Research. 39 (2), 215-228 (2012).
- Portiegrootte voedingsmiddelen. RIVM. , (2019).
- Timon, C. M., et al. A review of the design and validation of web- and computer-based 24-h dietary recall tools. Nutrition Research Reviews. 29 (2), 268-280 (2016).
- Kirkpatrick, S. I., et al. The use of digital images in 24-hour recalls may lead to less misestimation of portion size compared with traditional interviewer-administered recalls. The Journal of Nutrition. 146 (12), 2567-2573 (2016).
- Subar, A. F., et al. Assessment of the accuracy of portion size reports using computer-based food photographs aids in the development of an automated self-administered 24-hour recall. Journal of the American Dietetic Association. 110 (1), 55-64 (2010).
- Figwee - Learn More. Figwee. , Available from: https://figwee.com/learn-more/ (2021).
- Preece, J., Sharp, H., Rogers, Y. Interaction design: beyond human-computer interaction. , John Wiley & Sons. (2015).
