Summary
В данной статье описан протокол разработки инновационного приложения для оценки рациона питания на базе смартфонов Traqq,включая экспертные оценки и юзабилити-тестирование.
Abstract
Для быстрого и надежного сбора данных о потреблении пищи было разработано гибкое и инновационное приложение для смартфонов (приложение) под названием Traqq (iOS / Android). Это приложение можно использовать в качестве записи о еде и 24-х часовых отзывов (или более коротких периодов отзыва). Различные схемы выборки могут быть созданы либо в заранее определенные, либо в случайные дни / раз в течение заранее определенного периода для обоих методов, с push-уведомлениями, чтобы побудить участников зарегистрировать свое потребление пищи. В случае отсутствия ответа уведомления автоматически переносятся для обеспечения полного сбора данных. Для использования в качестве записи о еде респонденты могут получить доступ к приложению и регистрировать потребление пищи в течение дня. Записи о еде автоматически закрываются в конце дня; отзыв закрывается после подачи потребленных предметов. Отзыв, а также модуль записи пищевых продуктов обеспечивают доступ к обширному списку продуктов питания, основанному на голландской базе данных состава пищевых продуктов (FCDB), которая может быть приувыта к различным целям исследований. При выборе продукта питания респондентам одновременно предлагается вставить размер порции, т.е.в бытовых показателях(например,чашки, ложки, стаканы), стандартные размеры порций(например,малые, средние, большие) или вес в граммах, а также повод для еды/время потребления. Варианты размера порции могут быть скорректированы, например,только запись в граммах в случае взвешенной пищевой записи или времени потребления вместо повода приема пищи). Приложение также включает в себя функцию «Мои блюда», которая позволяет респонденту создавать свои собственные рецепты или комбинации продуктов(например,ежедневный завтрак) и сообщать только общее количество потребленного. Впоследствии приложение учитывает коэффициенты доходности и удержания. Данные хранятся на защищенном сервере. При желании могут быть включены дополнительные вопросы, т.е.в целом или вопросы, связанные с конкретными продуктами питания или случаями приема пищи. В данной работе описывается разработка системы (приложения и бэкэнда), включая экспертные оценки и юзабилити-тестирование.
Introduction
Точная оценка рациона питания имеет решающее значение для обеспечения качества исследований роли питания в здоровье и профилактике заболеваний. В настоящее время в таких исследованиях обычно используются установленные методы самооценки рациона питания, т.е.опросники частоты пищевых продуктов, 24-h отзыва (24hRs) и / или пищевые записи1. Несмотря на то, что эти методы имеют большое значение для исследований в области питания, они также обладают различными недостатками, например, предвзятостью, связанной с памятью, предвзятостью социальной желательности, и являются обременительными как для респондента, так и для исследователя1,2. Последние технологические изобретения теперь дают возможность преодолеть эти недостатки. В течение последних лет различные исследовательские группы воспользовались этой возможностью и разработали веб-инструменты оценки рациона питания и инструменты для смартфонов для исследований в области питания, которые устраняют некоторые из этих известных недостатков (см. Eldridge et al.3 для подробного обзора веб- и смартфонных инструментов), т. Е.Уменьшают причины ошибок, улучшают удобство для пользователя и уменьшают нагрузку участника и исследователя1.
Тем не менее, количество полностью автоматизированных и проверенных приложений (приложений) для смартфонов, которые подходят для исследований в области питания, по-прежнему ограничено. Большинство доступных приложений для оценки рациона питания(т.е.коммерчески или разработанных для исследований) либо не полностью автоматизированы(т.е.требуют ручного кодирования продуктов питания), либо не (хорошо) проверены3. Кроме того, большинство доступных проверенных приложений были разработаны для одной конкретной исследовательской цели и использования в конкретной стране; Из-за довольно фиксированных конструкций повторное использование таких приложений для других исследовательских целей или в других странах кажется сложным3,4,5,6,7,8. Наконец, несмотря на доступность приложений на основе записей о продуктах питания, на сегодняшний день, похоже, еще не существует приложений, основанных на отзыве. Хотя пищевые записи склонны к смещению реактивности, т.е.респонденты могут изменить свое потребление пищи из-за осознаниятого,что за ним наблюдают2,9,это не относится к отзывам, что подчеркивает необходимость разработки проверенного приложения10на основе отзыва. Инновационное приложение для оценки рациона питания под названием Traqq было разработано для использования в Нидерландах, которое может быть использовано в качестве пищевой записи, а также отзыва, в зависимости от исследовательского вопроса1.
Помимо возможности чередовать опцию записи о еде и опцию отзыва, это приложение также отличается от других инструментов оценки рациона питания из-за его гибкого характера. В частности, в отношении списка продуктов питания, оценок размера порций, схем отбора проб и возможности включения дополнительных вопросов. Уровень гибкости системы позволяет адаптироваться к нескольким исследовательским целям, которые требуют точной оценки пищевого поведения. В настоящее время приложение находится в процессе проверки и будет готово к использованию в различных типах исследований, связанных с питанием. Приложение также может быть использовано и, возможно, дополнительно улучшено для использования в программах вмешательства в питание для измерения и влияния на пищевое поведение. Поскольку разработка надежных инструментов оценки рациона питания является сложной задачей, а отчеты об этих процессах скудны, особенно в отношении участия пользователей и экспертов3,11,12,в этом документе представлен подробный обзор того, как различные источники информации были интегрированы в систематическую и итеративную разработку этого приложения для оценки рациона питания на основе смартфонов. Процесс включает в себя теорию, консультации экспертов и взаимодействие с пользователями.
Protocol
ПРИМЕЧАНИЕ: Все процедуры, включая людей-участников, проводились неинвазивным образом с помощью в основном качественных методов исследования. Информированное согласие было получено от всех участников до начала оценок. Этот протокол описывает итеративный процесс развития, который можно условно разделить на четыре стадии, в которых переплетаются стадии 1-3(рисунок 1).
Рисунок 1:Обзор этапов итеративного процесса разработки приложения. Всего процесс разработки состоял из пяти этапов. Однако процесс был итеративным, что означает, что этапы с 1 по 3 были переплетенными. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
1. Проведение обширных формирующих исследований в подготовке фактического процесса развития.
- Проводить настольные исследования, изучая существующие инструменты оценки рациона питания на основе веб-страниц и смартфонов, с уделением особого внимания функциям, которые, как известно, имеет ключевое значение для точного сбора данных о потреблении пищи, т.е.методу ввода продуктов питания (включая список продуктов питания и лежащий в его основе FCDB) и оценке размера порций.
- Проверьте существующие веб-инструменты оценки и инструменты оценки рациона питания на основе смартфонов, уделяя особое внимание таким аспектам, как методология оценки рациона питания, предоставление информации, надежность, поисковая система и реализованные функции(например,изображения, сканер штрих-кодов, функции рецептов).
- Проконсультируйтесь со специалистами в области диетической оценки.
ПРИМЕЧАНИЕ: Результаты настольных исследований и проверки существующих инструментов были обсуждены с экспертами в области диетической оценки, что привело к составлению эскизного плана разработки приложения. Этот проектный план был оценен экспертами и по мере необходимости дорабатывался.
2. Разработайте приложение для оценки рациона питания
- Создайте визуальный дизайн приложения с учетом важных аспектов, таких как анимация, фирменная символика, цвет, макет и типографика20.
ПРИМЕЧАНИЕ: Поскольку пространство, цвет, шрифты, графика и элементы интерфейса выделяют содержимое и передают интерактивность, важно включить элементы, облегчающие функциональность приложения. - Выберите надежный FCDB (здесь, NEVO) для облегчения расчетов питательных веществ собранных данных о потреблении пищи14.
- Создайте список продуктов питания, критически оценив описание продуктов питания, упомянутых в FCDB.
ПРИМЕЧАНИЕ: FCDB в основном разработаны для профессионального использования; описания продуктов питания часто сложны и затрудняют поиск(например,«маргарин с низким содержанием жира 35% жира < 10 г насыщенных жиров несоленных»23). - Сформулируйте требования к поисковым системам; рассмотрите возможность использования знаков препинания, иностранных названий, орфографических ошибок, различных поисковых терминов и ранжирования результатов поиска для облегчения поиска продуктов питания.
- Выберите оценку размера порции (помощь) путем оценки различных существующих инструментов оценки рациона питания и полевых испытаний подходящих вариантов.
- Разработайте маршрутизацию внутри приложения, чтобы обеспечить логичного, предсказуемого и простого выполнения навигации пользователя по приложению.
- Разработка серверных функций и требований для управления приложением; включают функции, связанные с общим управлением проектами, управлением конкретными проектами(например,участники, приглашения, сбор данных) и управлением пользователями(например,авторизация).
3. Оценки исследователей
ПРИМЕЧАНИЕ: После каждого обновления приложение тестировалось учеными-диетологами и диетологами-исследователями, обладающими опытом в области оценки рациона питания (тестирование на дому), чтобы проверить, улучшились ли функциональные возможности, как и ожидалось. Следующие инструкции должны быть выполнены исследователями.
- Проведите экспертную оценку с помощью когнитивных пошаговых руководств для моделирования пользовательского опыта в первый раз, чтобы эксперты могли исследовать приложение индивидуально и без руководства28. Убедитесь, что когнитивные пошаговые руководства состоят из следующих шагов.
- Убедитесь, что эксперт заполняет общую анкету, спрашивая о марке и типе смартфона.
- Установите приложение на смартфон эксперта.
ПРИМЕЧАНИЕ: Чтобы обеспечить надлежащую установку и функционирование и свести к минимуму риск перерывов во время оценки, рекомендуется, чтобы исследователь сначала проверял функциональность приложения. - Проинструктируйте эксперта о процедурах тестирования, в которых каждому эксперту предлагается взять на себя роль первого пользователя(т.е.участника исследования). Подчеркните, что оценка проводится с точки зрения пользователя, а не с точки зрения самого эксперта.
ПРИМЕЧАНИЕ: Предполагалось, что пользователь является опытным пользователем смартфона и имеет знания об использовании приложений в целом. Однако это приложение использовалось впервые. - Запустите экран и запись звука.
- Попрошу эксперта выполнить когнитивное пошаговое руководство при использовании приложения и выполнении заданного набора задач31: 1) «Я хочу записать свой ужин. Я начал с чашки томатного супа и стакана молока.», 2) «После этого я съел блюдо из макарон, которое я регулярно употребляю и хочу ввести его как любимое(т.е.предшественник Моих блюд)». [рецепт был предоставлен],3) «Поскольку я также потреблял блюдо из макарон, я хочу добавить это к сегодняшнему рекорду приема пищи», и 4) «Я ввел все, что я ел во время ужина. Я хочу еще раз проверить свою заявку, а затем отправить ее».
ПРИМЕЧАНИЕ: При выполнении заданий эксперт информирует исследователя о его мыслительном процессе, т.е.объясняя шаги, которые необходимо выполнить для выполнения описанной задачи. - Провести краткое последующее наблюдение для прояснения неясностей32и предоставить эксперту возможность для дополнительной обратной связи.
- Оцените результаты каждого эксперта, проверив записи, чтобы убедиться, что задачи были выполнены по назначению, и просмотрев предоставленные дополнительные комментарии.
- Поделитесь результатами с экспертами, чтобы оценить, были ли предположения, сделанные на основе записей, правильными.
ПРИМЕЧАНИЕ: Результаты оценки были обсуждены и определены в качестве приоритетных в консультации с экспертами. По результатам этой оценки приложение было дополнительно модернизировано.
- Проведите тестирование юзабилити с предполагаемыми пользователями, чтобы оценить удобство использования и привлекательность приложения среди предполагаемых пользователей с помощью интервью вслух и шкалы юзабилити системы (SUS)33, выполнив следующие шаги:
- Набирать участников, которые являются представителями целевой группы пользователей35.
- Проинструктируйте участника о процедурах исследования, включая запись экрана и аудио. Затем получите информированное согласие участников.
ПРИМЕЧАНИЕ: Важно, чтобы исследователь поощрял участника «думать вслух» во время оценки, т.е.объяснять свои мысли о необходимых шагах для выполнения каждой задачи во время выполнения задачи, а также комментировать, какие функциональные возможности работали или не работали хорошо. - Установите приложение на смартфон участника.
ПРИМЕЧАНИЕ: Чтобы обеспечить надлежащую установку и функционирование и свести к минимуму риск прерываний во время оценки, рекомендуется, чтобы исследователь сначала проверил функциональность приложения. - Попросите участника выполнить практическое задание для интервью вслух: попросите участников визуализировать свою спальню и подсчитать количество окон, рассказывая исследователю о том, что они видели и думали при подсчете окон. Затем попросите участников подойти к одному из окон в своей спальне и описать свой опыт на пути к этому окну.
ПРИМЕЧАНИЕ: Было предоставлено практическое задание, которое было повторено при необходимости, чтобы участники чувствовали себя комфортно, думая вслух по желанию37. - Запустите экран и запись звука.
- Попросите участника завершить фактическое интервью вслух с заранее определенными задачами: участник должен: 1) записать все, что он ел и выпил в течение предыдущего дня, и 2) записать регулярно потребляемое блюдо через функцию «Мои блюда».
- Во время сеанса наблюдайте, записывайте и стимулируйте участников продолжать думать вслух, если это необходимо, с помощью простых подсказок, таких как «Продолжайте говорить вслух», «Скажите мне, что вы думаете» или «Скажите мне, что у вас на уме». Минимизируйте дальнейшие взаимодействия, чтобы предотвратить вмешательство в мыслительный процесс участника28,32.
- Провести краткое последующее наблюдение для прояснения неясностей32.
- Попросите участника заполнить оценочную анкету с общими вопросами, связанными с возрастом, полом, уровнем образования, типом смартфона, уровнем опыта работы со смартфоном(т.е.опытные пользователи с большей вероятностью выполнят задания быстро и правильно38),а также опросник SUS33- опросник из 10 пунктов для оценки удобства использования системы с помощью шкалы Лайкерта в диапазоне от 1 (категорически не согласен) до 5 (полностью согласен).
- Анализ данных из каждого сеанса путем 1) расшифровки, кодирования и создания (под)тем и 2) вычисления оценки SUS с использованием предопределенной формулы, в результате чего оценка от 0 до 10033, где оценка >68/100 указывает, что инструмент функционирует на уровне юзабилити выше среднего, а оценка >80/100 указывает на отличное удобство использования39, 40г.
ПРИМЕЧАНИЕ: Рекомендуется, чтобы исследователь, который руководил сессией, анализировал данные с помощью программного обеспечения для качественного анализа данных. Со вторым исследователем можно проконсультироваться в случае неясностей.
- Провести количественную валидацию записей о потреблении пищи в сопоставлении с проверенными традиционными методами и предпочтительно независимыми мерами3.
ПРИМЕЧАНИЕ: Приложение проверяется на соответствие веб-и телефонным(т.е.интервью) 24hR, а также независимым биохимическим маркерам мочеиспускания и крови. Поскольку количественная проверка приложения выходит за рамки данного документа, это не будет обсуждаться далее.
4. Использование серверной системы для управления приложениями и учебой
ПРИМЕЧАНИЕ: Система имеет три уровня авторизации: (1) администратор - этот уровень авторизации предоставляет доступ ко всем разделам бэкэнда(т.е.создание новых пользователей, определение авторизации пользователей и предоставление пользователям доступа к одному или нескольким проектам); (2) руководители проектов - этот уровень авторизации обеспечивает доступ к конкретным проектам и возможность создавать новые проекты; и (3) исследователи - этот уровень авторизации обеспечивает доступ только к конкретным проектам, в которых участвуют исследователи.
- Управление пользователями и проектами в бэкэнде администраторами
- Доступ к онлайн-серверу через traqq.idbit.net,с учетными данными для входа(т. Е.Имя пользователя, пароль).
- Создайте новый проект, щелкнув вкладку Проекты, а затем Создать новый проект.
- На следующем экране введите запрашиваемые сведения опроекте (например,название проекта, описание контакта, контактный адрес электронной почты, контактный телефон, контактный веб-сайт).
ПРИМЕЧАНИЕ: Только имя проекта является обязательным для создания нового проекта. Описание контакта, адрес электронной почты, номер телефона и веб-сайт станут видны в приложении под кнопкой «Контакты и информация». - Выберите желаемые функции(например,список продуктов, спросите время приема пищи и / или время потребления, запись или отзыв).
ПРИМЕЧАНИЕ: Каждый новый проект требует индивидуального принятия решений в отношении наиболее подходящего метода оценки рациона питания(т.е.записи или отзыва), списка продуктов питания, оценки размера порции, а также времени приема пищи или приема пищи. - Сохраните новый проект, нажав кнопку Сохранить.
ПРИМЕЧАНИЕ: Когда экран закрывается, администратор возвращается на экран Обзора проекта. - Затем создайте нового пользователя, щелкнув вкладку Пользователь, а затем Добавить нового пользователя.
- На следующем экране введите Имя пользователя, Парольи назначьте пользователю Роль (т.е.администратор, менеджер или пользователь).
- Сохраните нового пользователя, нажав кнопку Сохранить.
ПРИМЕЧАНИЕ: Когда экран закрывается, администратор возвращается на экран Обзор пользователя. - Назначьте пользователя проекту, щелкнув значок блокнота(т. Е.Столбец редактирования) для конкретного пользователя.
- Назначьте проект, открыв раскрывающееся меню в разделе Связанные проекты,выбрав нужный проект и нажав кнопку Добавить.
ПРИМЕЧАНИЕ: Это действие необходимо повторить для каждого проекта, которому необходимо назначить пользователя. - Передайте учетные данные для входа новому пользователю вместе с URL-адресом серверной части.
- Управление проектами в бэкэнде исследователями (i.e., роль менеджера или пользователя)
- Войдите в серверную часть через traqq.idbit.net, используя учетные данные, предоставленные администратором.
- Нажмите Перейти к проектам для управления проектами.
- Щелкните стрелку в столбце Вид для нужного проекта.
ПРИМЕЧАНИЕ: После этого исследователь перемежается на страницу Обзор проекта, и появляются новые вкладки для этого конкретного проекта. - Введите участников в бэкэнд, нажав на вкладку Участники. Затем, когда появится экран Обзор участника, нажмите Добавить нового участника.
- На следующем экране введите Codename, Notes (необязательно),Login ID, Login Key (Сохранить)и заканчивайте на Save.
ПРИМЕЧАНИЕ: Рекомендуется использовать идентификатор исследования Участника в качестве кодового имени и идентификатора входа. Это минимизирует путаницу для участника в случае нескольких учетных данных для входа. Более того, кодовое имя видно в ответах. Использование идентификатора участника упрощает использование данных. Этот вариант необходимо повторить для каждого участника. Для больших групп можно использовать импорт участников из файла (.csv). Здесь для каждого участника требуются одинаковые реквизиты. Бэкэнд не может содержать никакой личной информации участников. - Запланируйте приглашения для каждого участника, нажав на вкладку Приглашения. Затем, когда появится экран Обзор приглашения, нажмите Добавить новое приглашение.
- На следующем экране выберите Участника из раскрывающегося меню и введите Период начала, Период окончания периода, Время открытия, Время закрытия, URL-адрес опроса (т.е.необязательный для реализации дополнительных вопросов), Примечания (необязательно), Включить (всегда да).
ПРИМЕЧАНИЕ: Время начала и окончания периода относится к отчетным временным рамкам(т.е.к тому, что было использовано между ..:.. и ..:..). Напротив, время открытия и закрытия относится к периоду, в течение которого участник может фактически сообщить о своем приеме. Правильная реализация внешнего обследования требует некоторого кодирования; для этого рекомендуется помощь администратора. Для большинства приглашений можно использовать параметр Импортировать приглашения из (.csv) в разделе Файл. Файл требует той же информации, что и для ручного ввода. Приглашения также могут быть созданы с помощью схем выборки (т.е.когда система генерирует случайную схему приглашений в разные дни и время на основе предустановленных правил, таких как период выборки, количество требуемых приглашений, крайний срок ответа). Преимущество опции «Схемы выборки» заключается в том, что система автоматически планирует новое приглашение в случае отсутствия ответа. - Отслеживайте сбор данных на вкладке Календарь, выбрав интересующего участника из выпадающего меню.
ПРИМЕЧАНИЕ: Календарь предоставляет обзор запланированных приглашений в рамках проекта, как в целом, так и для конкретных участников. Будущие приглашения изображены синим цветом, завершенные прошлые приглашения — зеленым, а прошлые приглашения без ответа — красным. Ответы на приглашения также можно проверить на вкладке Ответ. - Отслеживайте ответы на вкладке Ответ.
ПРИМЕЧАНИЕ: В разделе "Ответ" собираются сообщаемые данные о потреблении пищи(т.е.продукт питания, потребляемое количество, время приема пищи и/или время потребления). - Запрашивает у администратора экспорт данных.
ПРИМЕЧАНИЕ: Данные могут быть экспортированы из бэкэнда в файл .csv для дальнейшего анализа(например,ответы/данные о потреблении пищи, данные о соответствии) администратором. Ответы включают в себя сообщенные продукты питания, выбранные размеры порций, потребляемые количества в граммах и случаи / время приема пищи. - Импортируйте файл .csv в программное обеспечение для расчета питательных веществ для углубленного анализа питательных веществ.
ПРИМЕЧАНИЕ: Данные могут быть импортированы в программное обеспечение для расчета питания, которое использует голландский FCDB.
5. Использование приложения участниками во время исследования
- Загрузите свободно доступное приложение из App Store (iOS) или Google Play Store (Android) и получите доступ к приложению, войдя в систему.
ПРИМЕЧАНИЕ: Учетные данные для входа, предоставленные исследователем, необходимы для доступа к приложению (шаг 4.2.5.). После входа в систему приложение отправляет приглашения по расписанию в серверной части на основе учетных данных участника (шаг 4.2.7.). - После получения приглашения через приложение сообщите о приеме пищи.
ПРИМЕЧАНИЕ: Участники могут регистрировать потребление пищи только в заранее заданные дни и время.- Откройте приложение, щелкнув полученное уведомление или открыв приложение с помощью значка приложения.
ПРИМЕЧАНИЕ: После открытия приложения появляется экран Обзор приглашений, на котором отображаются предыдущие и текущие приглашения. - Нажмите на открытое приглашение.
ПРИМЕЧАНИЕ: Участник отображается на экране Обзора, где виден период приглашения. - Введите продукт питания, потребленный первым, нажав на Продукт toevoegen (Добавить продукт питания).
ПРИМЕЧАНИЕ: Участник будет выведен на экран поиска. - Начните вводить название потребляемого элемента(например,апельсиновый сок [jus d 'orange]). Нажмите на нужный элемент, как он появляется во время ввода.
- На следующем экране сообщите о потреблении(Hoeveelheid),соответствующемописании размера порции (Portie),поводе приемапищи (Maaltijdmoment)и / или времени потребления(Tijdstip)и закончите сохранением(Opslaan).
- Повторяйте вышеупомянутые шаги до тех пор, пока не будут сообщены все продукты питания.
- Отправьте список (отзыв), нажав на (Lijst versturen) (Отправить список), или приглашение автоматически закрывается в конце дня (запись).
ПРИМЕЧАНИЕ: Опция Отправить список также видна в версии записи, поэтому участники, использующие запись, также могут отправлять свои входные данные в базу данных. Однако, даже если данные уже отправлены, приглашение все равно закрывается в конце дня, отправляя все данные на сервер.
- Откройте приложение, щелкнув полученное уведомление или открыв приложение с помощью значка приложения.
Representative Results
Система (приложение и бэкэнд) была разработана с использованием шагов, описанных в вышеописанном протоколе; основные результаты этого процесса описаны ниже, завершаясь окончательным дизайном приложения.
Формирующие исследования
В дополнение к обширному обзору литературы было проверено несколько веб-инструментов(например,Compl-eat13,ASA2414,Foodbook2415,MyFood2416)в отношении методологии оценки рациона питания и реализованных функций. Кроме того, сравнивалась производительность нескольких приложений для отслеживания пищевых продуктов, часто используемых в Нидерландах(например,MijnEetmeter17,MyFitnessPal18,Virtuagym Food19),уделяя особое внимание таким аспектам, как методология оценки рациона питания, предоставление информации, надежность, поисковая система и использование дополнительных функций(например,изображений, сканера штрих-кодов, функций рецептов). Результаты этой проверки привели к решению разработать приложение таким образом, чтобы его можно было использовать в качестве записи о продуктах питания и отзыва. Кроме того, это привело к реализации функции My Dishes, которая может быть использована для создания оригинальных рецептов или часто потребляемых комбинаций продуктов(например,ежедневный завтрак). В рамках этой функции автоматически учитываются коэффициенты выхода и удержания.
Чтобы точно количественно оценить потребление пищи и питательных веществ, полный, хотя и практичный, список продуктов питания имеет решающее значение. Составление такого списка продуктов питания требует компромисса между обширностью списка продуктов питания и возможностью поиска продуктов питания(т.е.описания продуктов питания должны быть четкими, понятными и легко обналичаемыми)41,42. Поскольку данные о составе пищевых продуктов составляют фундаментальную основу для оценки рациона питания21,22,важно обеспечить, чтобы разработанный список продуктов питания мог быть связан с точными данными о составе пищевых продуктов. Список продуктов питания, включенный в приложение, основан на голландском FCDB (NEVO)14,который был выбран за его надежность и богатые данные о составе пищи. Первоначально NEVO состоит из 2 389 продуктов питания (версия 2016/5.0), которые были сокращены до списка продуктов питания из 1 449 наименований путем исключения «запутанных предметов»(например,продуктов, которые нельзя употреблять в сыром виде, продуктов, которые не могут потребляться без добавок) или продуктов, которые не так важны для включения(например,из-за низких показателей потребления, основанных на Голландском обзоре потребления продуктов питания (DNFCS)43).
Кроме того, NEVO содержит похожие продукты с разными фирменными наименованиями; в таком случае в список продуктов питания был включен только родовой вариант. Чтобы еще больше облегчить удобство использования, некоторые продукты питания были переименованы, чтобы устранить ненужную терминологию, такую как «подготовленный», «замороженный», «средний» и «натуральный». Этот «протокол очистки» был разработан тремя хорошо обученными диетологами-исследователями и выполнен с помощью синтаксиса, который можно повторно запустить после обновления NEVO. Кроме того, для оптимизации возможности поиска продуктов питания в список продуктов питания было добавлено 1019 известных синонимов включенных продуктов. Таким образом, список продуктов питания, включенный в приложение, в конечном итоге состоял из 2 468 пунктов. Обзор развития списка продуктов питания показан на рисунке 2. Следует отметить, что, хотя этот обширный список продуктов питания был разработан для общего использования, бэкэнд приложения позволяет импортировать альтернативные списки продуктов питания, если это необходимо.
Рисунок 2:Структура списка продуктов питания, разработанного для приложения. Список продуктов питания основан на голландской базе данных состава пищевых продуктов (FCDB), и соответствующие предложения по размеру порций и синонимы были добавлены для каждого элемента в окончательном списке продуктов питания. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Другим важным аспектом оценки рациона питания является количественная оценка размеров порций. Хотя вспомогательные средства оценки размера порций (PSEAs), например, изображения, референтные объекты и стандартные размеры порций, поддерживают отчетность о количестве потребляемых продуктов24,26,44,неправильное сообщение о размерах порций по-прежнему является существенным источником смещения24,25,45,46,а литература об эффективности различных PSEA непоследовательна26. Изображения продуктов питания, предложения по размеру порций(т.е.стандартные размеры и бытовые показатели) и свободная запись веса в граммах являются наиболее часто используемыми PSEAs в инструментах оценки питания на основе веб-сайтов и смартфонов34. Например, в то время как предложения по размеру порций(например,чашки, ложки, маленькие, большие) используются в таких инструментах, как Compl-eat13 и Oxford WebQ47,изображения помогают оценить размер порции в таких инструментах, как ASA2414 и Myfood2416. Чтобы исследовать наиболее подходящую PSEA для приложения, было проведено пилотное исследование для сравнения точности предложений размера порции(например,маленьких, средних, больших или чашки, ложки), свободного ввода в граммах и изображений размера порции. Результаты этого исследования привели к реализации предложений по размеру порций в качестве PSEA в приложении вместе с возможностью ввода количеств вграммах 27.
Экспертная оценка
Целью экспертных оценок была качественная оценка приложения с точки зрения функциональности и простоты обучения. Поскольку многие пользователи предпочитают изучать программное обеспечение с помощью исследования29,уровень обуспиваемости системы важен. В общей сложности 10 экспертов, то есть4 (исследовательских) диетолога и 6 экспертов по питанию и поведению в отношении здоровья (ученых), приняли участие в когнитивных прохождениях, в которых 60% использовали Android-смартфон. Самое главное, экспертные оценки показали, что первая версия приложения была недостаточно интуитивно понятной, например,структура меню была оценена неясной из-за расплывчатых кнопок / значков, а поисковая система генерировала нелогичный порядок результатов. Еще один критический момент, вытекающий из экспертных обзоров, связан с тем, что отдельные пункты не могут быть изменены. Основываясь на этих результатах, дизайн приложения был значительно модернизирован с этапа 2 и далее(рисунок 1).
Оценка юзабилити
В общей сложности 22 участника приняли участие в интервью think-aloud, которые легли в основу оценки юзабилити. Первоначальный размер выборки был установлен на уровне 20 участников36,после чего оценивалась насыщенность данных. Поскольку насыщенность данных не была достигнута после 20 интервью, включение продолжалось при оценке насыщенности данных после каждого последующего интервью. Участники имели средний возраст ± стандартным отклонением от 48 ± 17 лет (диапазон 22-70 лет); 36% были мужчинами, а большинство населения было высокообразованным (55%). Кроме того, большинство участников использовали android-устройство (n=14, 64%), и почти все участники имели более 1 года опыта использования смартфонов (n=21, 96%)(таблица 1). Все участники выполнили задания без или с минимальным инструктажем.
| Итого (n= 22) | |
| Род | |
| Мужчины (%) | 36.4 |
| Женщины (%) | 63.6 |
| Средний возраст (средний, SD) | 48.1 (17.2) |
| Образовательный уровень | |
| Низкий (%) | 0 |
| Средний (%) | 45.5 |
| Высокий (%) | 54.5 |
| Тип смартфона | |
| Андроид (%) | 63.6 |
| iOS (%) | 36.4 |
| Опыт работы со смартфоном | |
| Короче 6 месяцев (%) | 4.5 |
| От 6 месяцев до 1 года (%) | 0 |
| Дольше 1 года (%) | 95.5 |
| SUS (среднее, SD) | 79.4 (15.1) |
Таблица 1. Характеристика исследуемой совокупности и результаты оценки юзабилити. В этой таблице отображаются только результаты шкалы юзабилити системы (SUS) вместе с характеристиками участника.
Принимая во внимание, что некоторые участники (n=13, 59%) указали на трудности при использовании функции «Мои блюда»; другие (n=5, 23%) столкнулись с незначительными функциональными проблемами, такими как медленный отклик кнопки меню и трудности с использованием кнопок, связанные с недостаточным размером экрана небольших смартфонов). Более того, 15 (68%) участников указали свое предпочтение варианту ввода потребляемых порций в граммах. Наконец, оценка оценки SUS показала рейтинг 79/100 (диапазон 40-100), при этом только 3 из 22 участников оценили приложение ниже 68/100 и 13 оценили >80/100, что говорит о том, что приложение можно считать удобным для пользователя. Таким образом, в целом предлагаемые улучшения были незначительными, а оценки юзабилити были многообещающими. Впоследствии предложения по улучшению обсуждались в исследовательской группе и, если это было сочтено целесообразным, включались в обновление на этапе 4 для дальнейшей оптимизации привлекательности и удобства использования приложения(рисунок 1).
Окончательный дизайн
Шаги, описанные в протоколе и результатах оценочного исследования, в конечном итоге привели к окончательному дизайну приложения и бэкэнда, который был направлен на простой визуальный дизайн. Это приложение можно использовать в качестве записи о еде и отзыва. Как описано ранее, список продуктов питания является модифицированной версией NEVO. Оценка размера порции подкрепится предложениями по размеру порций для конкретных продуктов питания; потребляемые порции также можно вводить в граммах. В случае отзывной версии приложения исследователь имеет возможность выбрать различные временные интервалы(например,2hR, 8hR или 24hR). Для сбора данных о потреблении пищи в разные дни и время в течение заранее определенного периода могут быть созданы различные схемы отбора проб. Push-уведомления предлагают респондентам записывать потребление пищи. Для обеспечения полного сбора данных приглашения автоматически переносятся в случае отсутствия ответа. В рамках модуля отзыва респонденты могут сообщать о своем потреблении пищи только после получения приглашения. В случае записи о еде респонденты могут получить доступ к приложению и регистрировать потребление пищи в течение дня.
В отличие от большинства инструментов 24hR, модуль отзыва приложения не основан на автоматизированном многопроходном методе - пятиступенчатом методе сбора данных о потреблении пищи за предыдущие 24 ч48- поскольку этот метод слишком сложен и трудоемкий для использования в приложении. Более конкретно, для повышения удобства использования и улучшения соответствия записей о потреблении пищи11,38,49,навигация была сведена к минимуму путем ограничения количества экранов, к которым необходимо получить доступ, до 4(рисунок 3):1) обзорный экран, показывающий окно отчетности; 2) о потребленных продуктах питания сообщается через экран поиска, и как только нужный товар выбран 3) появляется диалоговое окно с указанием случая приема пищи и потребляемого количества, после чего 4) пользователь возвращается на экран Обзора, теперь показывающий записанные продукты питания. Кроме того, пользователь также может использовать функцию «Мои блюда» для создания рецептов или комбинаций продуктов, которые можно ввести с помощью кнопки «Меню».
Рисунок 3:Схематический обзор маршрутизации в приложении. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Данные хранятся на защищенном сервере. При желании могут быть включены дополнительные вопросы, связанные с конкретными случаями приема пищи или продуктами питания. Приложение может подключаться к инструментам онлайн-опросов. Таким образом, можно провести опрос, не связанный с потреблением пищи через приложение в заранее определенное время(например,контекстные, поведенческие вопросы, вопросы настроения). Также можно задавать конкретные вопросы, связанные с сообщениями о продуктах питания или случаях приема пищи(например,когда сообщается о яблоках, когда сообщается об обеде). Использование инструментов онлайн-опросов дает возможность задавать множество различных вопросов через приложение. Собранные данные о потреблении пищи могут быть экспортированы с сервера и импортированы в программное обеспечение для расчета питания для дальнейшего анализа. В случае использования дополнительных вопросов эти данные будут доступны в инструменте обследования, как обычно. Цель состояла в том, чтобы разработать хорошо структурированное и простое в использовании приложение. Некоторые скриншоты дизайна можно увидеть на рисунке 4A-E.
Рисунок 4:Скриншоты окончательной версии приложения. (A) Экран Start/Overview, показывающий приглашение с (в данном случае) периодом отзыва 2 ч. Пользователь может нажать Product toevoegen (т.е.Добавить товар), чтобы сообщить о продукте питания или Niets gegeten из gedronken (т.е.я ничего не ел и не пил) в случае, если ничего не было потреблено в течение этого временного окна. (B) Экран поиска, показывающий результаты, соответствующие поисковому запросу «Jus» из списка продуктов питания. Нужный элемент можно выбрать из результатов поиска. (C) Всплывающие окна требуют ввода сведений о выбранном элементе "Jus d 'orange". В этом случае приложение запрашивает количество потребленного и повод для еды. Пользователь может вернуться к результату поиска, нажав Annuleren (т.е.отмена) или Opslaan (т.е.сохранить), чтобы пойти дальше. (D) Обзор снова, на этот раз с указанием всех сообщенных пунктов. Другой элемент может быть добавлен (Product toevoegen) или вход может быть отправлен (Lijst versturen). (E) После выбора Lijst versturenпоявляется всплывающее окно с вопросом пользователя, уверен ли он, что он хочет отправить, и напоминает пользователю, что после отправки списка невозможно внести какие-либо изменения. Пользователь имеет возможность отменить (Annuleren) или отправить (Versturen). Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.
Discussion
В этой статье представлен итеративный процесс разработки приложения для оценки рациона питания на основе смартфонов Traqq. Балансировка требуемого уровня точности и удобства для пользователя поставила следующие основные проблемы при разработке приложения, связанные с решениями о 1) вводе данных(т.е.выборе наиболее точного метода идентификации пищевых продуктов и количественной оценки размера порций), 2) данных о составе продуктов питания(т.е.выборе точной базы данных и создании полноценного списка продуктов питания), 3) вариантах настройки(т.е. гибкость в перечне пищевых продуктов, количественной оценке размера порций и рецептах) и 4) валидация(т.е.по отношению к традиционным методам и/или независимым мерам)3,50. В ходе обзора литературы были идентифицированы пять проверенных и полностью автоматизированных инструментов оценки рациона питания на основе смартфонов, разработанных для исследований3,а именно: My Meal Mate4,Electronic Dietary Intake Assessment (eDIA)7,Easy Diet Diary8,Electronic Carnet Alimentaire (e-CA)5и Eat and Track (EaT)6.
Благодаря уровню автоматизации этих пяти приложений для оценки рациона питания, а также этого приложения, нагрузка и затраты исследователей значительно снижаются, в то время как полнота данных увеличивается по сравнению с традиционными методами оценки рациона питания. Кроме того, это приложение, в свою очередь, отличается от пяти существующих инструментов диетической оценки с точки зрения гибкости. В частности, в то время как существующие приложения основаны на методе записи продуктов питания, это приложение можно использовать как запись о еде, так и отзыв. Более того, в то время как дизайн этих приложений фиксирован, Traqq имеет основное преимущество, запевая его можно модифицировать в соответствии с различными исследовательскими целями(например,методом оценки рациона питания, списком продуктов питания, схемами выборки, дополнительными вопросами)3,50. И наоборот, другие существующие приложения для оценки рациона питания содержат ценные функции, которые не реализованы в приложении (пока). Чтобы проиллюстрировать этот момент, некоторые приложения позволяют пользователю фотографировать свою пищу для распознавания пищи и оценки размера порции, такие как полуавтоматическая система оценки рациона питания (TADA)51,52.
Участники исследования юзабилити также указали, что использование фотографий может быть ценным дополнением к оценке размера порции. Однако по-прежнему существует слишком много проблем, которые необходимо решить для реализации такой функции на данном этапе, например,указание и руководство в отношении фотографического угла(т.е.для оценки глубины), необходимость в эталонном производителе(т.е.для корректировки размеров и цветов), существенное до и после фото(т.е.для оценки потребляемых количеств), и о том, как обрабатывать рецептурные блюда. Из-за этих технических проблем существующие приложения для оценки диеты на основе изображений по-прежнему полуавтомируются, что означает, что ручной обзор изображений должен выполняться пользователем, исследователем или обоими51,52. Технологические достижения, такие как краудсорсинг и машинное обучение, имеют потенциал для улучшения использования изображений продуктов питания для оценки рациона питания53,54. В будущем эти варианты будут изучены для дальнейшего улучшения приложения. Процесс разработки приложения характеризовался различными критическими шагами. Во-первых, был завершен этап формирующей исследования, в котором научные концепции, лежащие в основе обоснования создания приложения, облегчили принятие решений при создании общего плана приложения.
На этом этапе особое внимание было уделено выбору FCDB и выбору PSEA-аспектов, которые напрямую влияют на точность данных21. Что касается FCDB, поскольку приложение было первоначально разработано для использования в Нидерландах, его список продуктов питания основан на голландском FCDB, NEVO14. В будущем цель состоит в том, чтобы продолжить разработку приложения для международного использования, которое требует более обширных данных о составе продуктов питания, поскольку многие продукты питания специфичны для страны. В настоящее время международного FCDB еще не существует, и если бы он существовал, его использование могло бы быть ограничено. Более конкретно, поскольку голландский список продуктов питания уже содержит 2 389 продуктов питания, внедрение международной таблицы состава продуктов питания, например,для 5 стран, вероятно, умножит это количество продуктов питания примерно на 5 и негативно повлияет на удобство поиска продуктов питания и, следовательно, на удобство использования приложения. Поэтому списки продуктов питания для конкретных стран, вероятно, будут наиболее ценными и часто также предпочитают профессионалы55.
Этому способствует приложение, поскольку оно позволяет импортировать альтернативные списки продуктов питания и, таким образом, связывать их с различными (международными) таблицами состава пищевых продуктов. Что касается размеров порций, существует несколько вариантов, доступных для поддержки точности оценок, например,использование буклетов с изображениями, референтных объектов и/или текстовых предложений по размеру порций26. Ввиду удобства для пользователя, прямая реализация PSEA в приложении предпочтительнее использования PSEA вместе с приложением(например,буклет с изображениями, референтные объекты). Во время разработки приложения было принято решение облегчить количественную оценку размера порции, предложив возможность вводить размеры порций с использованием предложений по размеру порции и ввод в граммах. Предложения по размеру порций основаны на единственной доступной голландской базе данных размеров порций56. Хотя голландские инструменты оценки рациона питания, такие как Compl-eat и Eetmeter, также полагаются на эту базу данных13,17,необходимо отметить, что эта база данных размеров порций датируется 2003 годом, а размеры посуды с тех пор увеличилисьна 57. Поэтому использование этой базы данных может недооценивать потребление пищи.
В настоящее время база данных размеров порций обновляется Голландским национальным институтом общественного здравоохранения и окружающей среды (RIVM), Голландским центром питания и Вагенингенский университет и исследование58,которые в конечном итоге будут использоваться для обновления предложений по размеру порций в приложении. Расхождения между старой и новой частями будут нанесены на карту и скорректированы там, где это необходимо. Хотя использование изображений размером порции(т.е.серии изображений, изображающих различное количество выбранной пищи) может быть хорошей альтернативой для текстовых предложений по размеру порции59,исследования показали, что точность оценки размера порции является самой высокой, когда одновременно представлена серия изображений размера порции, а не одно изображение за раз45, 60,61. Как правило, доступные в настоящее время смартфоны имеют относительно небольшие экраны, что ограничивает представление серии изображений. Хотя новые технологии облегчают использование интерактивной графики размера порции, в которой количество пищи на виртуальной тарелке или чашке может быть увеличено или уменьшено с помощью слайдера61,эти методы являются относительно новыми и все еще нуждаются в тщательной оценке для оценки их точности.
Еще одним важным шагом в разработке приложения стало привлечение экспертов и предполагаемых конечных пользователей. Хотя они не часто включаются в процесс разработки инструментов (или не описываются)11,12,обратная связь от экспертов, а также предполагаемых конечных пользователей имеет решающее значение61,позволяет максимизировать удобство использования и поддерживает требуемый уровень точности. Отзывы предполагаемых конечных пользователей были особенно полезны при окончательном дизайне функции My Dishes. В целом, пользователи остались довольны возможностью создавать свои собственные блюда. Тем не менее, они боролись с некоторыми процедурами, например, хотя функция автоматически сохраняла данные, это не было видно пользователю. Поэтому многие пользователи продолжали искать кнопку «Сохранить» и застряли, боясь вернуться назад и потерять свой ввод. Основываясь на этих видах обратной связи, функция была улучшена, чтобы лучше соответствовать ожиданиям пользователя.
В заключение, Traqq - это инновационное приложение со многими преимуществами по сравнению с существующими приложениями и веб-инструментами. Тем не менее, существуют еще различные ограничения. Поскольку приложение по-прежнему полагается на самоотчет, по-прежнему существуют ошибки измерения, связанные с самоотчетом(например,смещение памяти(т. Е.В случае отзыва), смещение социальной желательности и модификации потребления пищи(т. Е.В случае записей о пище), неточные оценки размера порции(т. Е.В обоих))1. В ближайшие годы будут изучены недавно запущенные новые технологии для дальнейшего продвижения приложения, например,путем изучения ценности реализации таких функций, как сканеры штрих-кодов, запись голоса, чат-боты и изображения, которые могут улучшить идентификацию продуктов питания и оценку размера порций. Также изучаются возможности подключения к другим приложениям(например,трекеры активности, трекеры сна) и устройствам(например,акселерометры, мониторы сердечного ритма, датчики жевания). Наконец, бэкэнд также подвергается дальнейшему развитию, например, путем расширения вариантов выборки.
Disclosures
Авторам нечего раскрывать.
Acknowledgments
Авторы хотят поблагодарить Анук Гилен и Арвинда Датадиена за их ключевую роль в развитии Traqq. Кроме того, авторы хотели бы поблагодарить Роми Виллемсен за ее помощь в сборе данных и анализе данных в исследовании юзабилити. Наконец, авторы хотят поблагодарить экспертов и участников за обмен опытом и мнениями на протяжении всего процесса. Разработка была выполнена Wageningen University and Research и частично финансировалась Министерством сельского хозяйства, природы и качества пищевых продуктов и промышленности в контексте TKI Agri & Food PPS - проекта Smart Food Intake (AF16096).
Materials
| Name | Company | Catalog Number | Comments |
| ASA24 Portion size picture book | American National Cancer Institute | na | The portion size image database as used in the ASA24-tool |
| Atlas.ti v8 | ATLAS.ti Scientific Software Development GmbH | na | Qualitative data analysis software for research |
| Compl-eat | Wageningen University | na | The portion size suggestions database as used in the Compl-eat 24hR module |
| iOS screen record function | Apple Inc. | na | Build-in iOS feature to make screen recordings |
| NEVO (version 2016/5.0) | RIVM | na | Dutch Food Composition Database |
| Qualtrics | Qualtrics XM | na | Online survey tool that can be used to implement additional questions in Traqq |
| Recordable | Invisibility ltd. | na | Android app to make screen recordings |
| SPSS version 24.0 | IBM Corporation | na | Statistical software |
| System Usability Scale (SUS) | na | na | Validated questionnaire to assess a system's usability |
References
- Brouwer-Brolsma, E. M. Dietary intake assessment: From traditional paper-pencil questionnaires to technology-based tools. Data science in action. ISESS 2020. IFIP Advances in Information and Communication Technolog. Athanasiadis, I., Frysinger, S., Schimak, G., Knibbe, W. 554, Springer, Cham. Chapter 2 7-23 (2020).
- Thompson, F. E., Subar, A. F. Nutrition in the prevention and treatment of disease. Coulston, A., Boushey, C., Ferruzzi, M., Delahanty, L. , Elsevier, Inc. 5-48 (2017).
- Eldridge, A. L., et al. Evaluation of new technology-based tools for dietary intake assessment-an ILSI Europe Dietary Intake and Exposure Task Force Evaluation. Nutrients. 11 (1), 55 (2018).
- Carter, M. C., Burley, V. J., Nykjaer, C., Cade, J. E. 'My Meal Mate' (MMM): validation of the diet measures captured on a smartphone application to facilitate weight loss. British Journal of Nutrition. 109 (3), 539-546 (2013).
- Buchaer Della Torre, S., Carrard, I., Farina, E., Danuser, B., Kruseman, M. Development and Evaluation of e-CA, an electronic mobile-based food record. Nutrients. 9 (1), 76 (2017).
- Wellard-Cole, L., et al. Relative validity of the Eat and Track (EaT) smartphone app for collection of dietary intake data in 18-to-30-year olds. Nutrients. 11 (3), 621 (2019).
- Rangan, A. M., et al. Electronic Dietary Intake Assessment (e-DIA): Comparison of a mobile phone digital entry app for dietary data collection with 24-hour dietary recalls. JMIR mHealth and uHealth. 3 (4), 98 (2015).
- Ambrosini, G. L., Hurworth, M., Giglia, R., Trapp, G., Strauss, P. Feasibility of a commercial smartphone application for dietary assessment in epidemiological research and comparison with 24-h dietary recalls. Nutrition. 117 (1), 5 (2018).
- Subar, A. F., et al. Addressing current criticism regarding the value of self-report dietary data. The Journal of Nutrition. 145 (12), 2639-2645 (2015).
- Kipnis, V., et al. Bias in dietary-report instruments and its implications for nutritional epidemiology. Public Health Nutrition. 5 (6), 915-923 (2002).
- Simpson, E., et al. Iterative development of an online dietary recall tool: INTAKE24. Nutrients. 9 (2), 118 (2017).
- Chen, J., Cade, J. E., Allman-Farinelli, M. The most popular smartphone apps for weight loss: a quality assessment. JMIR Mhealth Uhealth. 3 (4), 104 (2015).
- Apple Inc. Human Interface Guidelines. Apple Inc. , Available from: https://developer.apple.com/ios/human-interface-guidelines/ (2017).
- NEVO. RIVM 5.0. NEVO-online. , (2016).
- Jaspers, M. W. A comparison of usability methods for testing interactive health technologies: methodological aspects and empirical evidence. International Journal of Medical Informatics. 78 (5), 340-353 (2009).
- Penha, A. D. S., dos Santos, F. A. N. V. Evaluating the use of the cognitive walk-through usability. Human Factors in Design. 1 (1), (2012).
- Fonteyn, M. E., Kuipers, B., Grobe, S. J. A description of think aloud method and protocol analysis. Qualitative Health Research. 3 (4), 430-441 (2016).
- Brooke, J., et al. SUS - A quick and dirty usability scale. Usability evaluation in industry. 189 (194), 4-7 (1996).
- Kushniruk, A. W., Patel, V. L. Cognitive and usability engineering methods for the evaluation of clinical information systems. Journal of Biomedical Informatic. 37 (1), 56-76 (2004).
- Davison, G. C., Vogel, R. S., Coffman, S. G. Think-aloud approaches to cognitive assessment and the articulated thoughts in simulated situations paradigm. Journal of Consulting and Clinical Psychology. 65 (6), 950-958 (1997).
- Mouname, K., Idri, A., Abran, A. Usability evaluation of mobile applications using ISO 9241 and ISO 25062 standards. SpringerPlus. 5, 548 (2016).
- Sauro, J. A practical guide to the system usability scale: Background, benchmarks & best practices. CreateSpace Independent Publishing Platform. , (2011).
- Bangor, A., Kortum, P., Miller, J. Determining what individual SUS scores mean: Adding an adjective rating scale. Journal of Usability Studies. 4 (3), 114-123 (2009).
- Meijboom, S., et al. Evaluation of dietary intake assessed by the Dutch self-administered web-based dietary 24-h recall tool (Compl-eatTM) against interviewer-administered telephone-based 24-h recalls. Journal of Nutritional Science. 6, 49 (2017).
- Subar, A. F., et al. The Automated Self-Administered 24-hour dietary recall (ASA24): a resource for researchers, clinicians, and educators from the National Cancer Institute. Journal of the Academy of Nutrition and Dietetics. 112 (8), 1134-1137 (2012).
- Timon, C. M., et al. The development, validation, and user evaluation of Foodbook24: A web-based dietary assessment tool developed for the Irish adult population. Journal of Medical Internet Research. 19 (5), 158 (2017).
- Carter, M. C., et al. Development of a UK online 24-h dietary assessment tool: myfood24. Nutrients. 7 (6), 4016-4032 (2015).
- Voedingscentrum. Mijn Eetmeter. , Available from: https://itunes.apple.com/nl/app/mijn-eetmeter/id663382012?mt=8 (2014).
- MyFitnessPal. MyFitnessPal. , Available from: http://www.myfitnesspal.com/welcome/learn_more (2015).
- Virtuagym. Virtuagym. , (2017).
- Evans, K., et al. Development and evaluation of a concise food list for use in a web-based 24-h dietary recall tool. Journal of Nutritional Science. 6, 46 (2017).
- Svensson, A., Magnusson, M., Larsson, C. Overcoming barriers: adolescents' experiences using a mobile phone dietary assessment app. JMIR mHealth and uHealth. 4 (3), 92 (2016).
- Finglas, P. M., Berry, R., Astley, S. Assessing and improving the quality of food composition databases for nutrition and health applications in Europe: the contribution of EuroFIR. Advances in Nutrition. 5 (5), 608-614 (2014).
- Gibson-Moore, H. EuroFIR: Where we are now. Nutrition Bulletin. 38 (3), 358-362 (2013).
- Rossum, C. T. M., et al. The diet of the Dutch. Results of the first two years of the Dutch National Food Consumption Survey 2012–2016. RIVM. , (2016).
- Byrd-Bredbenner, C., Schwartz, J. The effect of practical portion size measurement aids on the accuracy of portion size estimates made by young adults. Journal of Human Nutrition and Dietetics. 17 (4), 351-357 (2004).
- Faggiano, F., et al. Validation of a method for the estimation of food portion size. Epidemiology. 3 (4), 379-382 (1992).
- Faulkner, G. P., et al. An evaluation of portion size estimation aids: precision, ease of use and likelihood of future use. Public Health Nutrition. 19 (13), 2377-2387 (2016).
- Hernandez, T., et al. Portion size estimation and expectation of accuracy. Journal of Food Composition and Analysis. 19, 14-21 (2006).
- Nelson, M., Atkinson, M., Darbyshire, S. Food photography. I: The perception of food portion size from photographs. British Journal of Nutrition. 72 (5), 649-663 (1994).
- Young, L. R., Nestle, M. S. Portion sizes in dietary assessment: issues and policy implications. Nutrition Reviews. 53 (6), 149-158 (1995).
- Liu, B., et al. Development and evaluation of the Oxford WebQ, a low-cost, web-based method for assessment of previous 24 h dietary intakes in large-scale prospective studies. Public Health Nutrition. 14 (11), 1998-2005 (2011).
- Lucassen, D. A., Willemsen, R. F., Geelen, A., Brouwer-Brolsma, E. M., Feskens, E. J. M. The accuracy of portion size estimation using food images and textual descriptions of portion sizes: an evaluation study. Journal of Human Nutrition and Dietetics. , (2021).
- Wharton, C., Rieman, J., Lewis, C., Polson, P. Usability Inspection Methods. Nielsen, J., Mack, R. L. , John Wiley & Sons. 79-104 (1994).
- Nielsen, J. How many test users in a usability test. , Available from: https://www.nngroup.com/articles/how-many-test-users/ (2012).
- AMPM - Features. USDA. , Available from: https://www.ars.usda.gov/mortheast-area/beltsville-md/beltsville-human-nutrition-research-center/food-surveys-research-group/docs/ampm-features/ (2016).
- Zhang, D. S., Adipat, B. Challenges, methodologies, and issues in the usability testing of mobile applications. International Journal of Human-Computer Interaction. 18 (3), 293-308 (2005).
- Cade, J. E. Measuring diet in the 21st century: use of new technologies. Proceedings of the Nutrition Society. 76 (3), 276-282 (2017).
- Ahmad, Z., et al. A mobile food record for integrated dietary assessment. MADiMa16. 2016, 53-62 (2016).
- Boushey, C. J., Spoden, M., Zhu, F. M., Delp, E. J., Kerr, D. A. New mobile methods for dietary assessment: review of image-assisted and image-based dietary assessment methods. Proceedings of the Nutrition Society. 76 (3), 283-294 (2017).
- Fang, S., et al. 2018 IEEE Southwest Symposium on Image Analysis and Interpretation (SSIAI). , Las Vega, Nevada, USA. 25-28 (2018).
- Shao, Z., Mao, R., Zhu, F. 2019 IEEE International Conference on Big Data (Big Data). , Los Angeles, California, USA. 5186-5189 (2019).
- Chen, J., Lieffers, J., Bauman, A., Hanning, R., Allman-Farinelli, M. Designing health apps to support dietetic professional practice and their patients: qualitative results from an international survey. JMIR Mhealth Uhealth. 5 (3), 40 (2017).
- Donders-Engelen, M. R., Van der Heijden, L. J. M., Hulshof, K. F. A. M. Maten, Gewichten en Codenummers 2003. Food portion sizes and coding instructions. Wageningen University: Division of Human Nutrition and TNO Nutrition. , (2003).
- Van Ittersum, K., Wansink, B. Plate size and color suggestibility: The Delboeuf Illusion’s bias on serving and eating behavior. Journal of Consumer Research. 39 (2), 215-228 (2012).
- Portiegrootte voedingsmiddelen. RIVM. , (2019).
- Timon, C. M., et al. A review of the design and validation of web- and computer-based 24-h dietary recall tools. Nutrition Research Reviews. 29 (2), 268-280 (2016).
- Kirkpatrick, S. I., et al. The use of digital images in 24-hour recalls may lead to less misestimation of portion size compared with traditional interviewer-administered recalls. The Journal of Nutrition. 146 (12), 2567-2573 (2016).
- Subar, A. F., et al. Assessment of the accuracy of portion size reports using computer-based food photographs aids in the development of an automated self-administered 24-hour recall. Journal of the American Dietetic Association. 110 (1), 55-64 (2010).
- Figwee - Learn More. Figwee. , Available from: https://figwee.com/learn-more/ (2021).
- Preece, J., Sharp, H., Rogers, Y. Interaction design: beyond human-computer interaction. , John Wiley & Sons. (2015).
