ERRATUM NOTICE
Important: There has been an erratum issued for this article. Read more …
Summary
该协议显示并解释了一种新的基于技术的饮食评估方法。该方法包括一个带多个内置称重秤的餐盘和摄像机。该设备的独特之处在于，它结合了膳食过程中食物和饮料摄入量和饮食行为的自动测量。
Abstract
绝大多数饮食和饮食行为评估方法都是基于自我报告。它们很重，也容易出现测量错误。最近的技术创新使得开发更准确、更精确的饮食和饮食行为评估工具，而对于用户和研究人员来说，这种评估工具需要更少的努力。因此，开发了一种新的基于传感器的装置，用来评估食物的摄入量和饮食行为。该设备是一个普通的用餐托盘，配有摄像机和三个独立的内置称重台。称重站在用餐过程中连续测量碗、盘子和饮料杯的重量。摄像机定位到面部记录饮食行为特征（咀嚼，咬伤），这是使用人工智能（AI）为基础的自动面部表情软件分析。托盘重量和视频数据使用无线接收器实时传输到个人计算机 （PC）。利息的结果，如食用量、进食率和咬合大小，可以通过在兴趣点减去这些措施的数据来计算。当前版本的托盘获得的信息可用于研究目的，设备的升级版本也将有助于提供有关饮食摄入和饮食行为的更个性化的建议。与传统的饮食评估方法相反，这种饮食评估设备直接测量膳食内的食物摄入量，不依赖于记忆或份量估计。因此，该设备最终适合日常主餐食物摄入量和饮食行为措施。将来，这种基于技术的饮食评估方法可以与健康应用或智能手表联系起来，以全面了解运动、能量摄入和饮食行为。
Introduction
在营养研究和饮食实践中，关键是要有好的措施，什么，多少，如何吃，找到解决超重和肥胖问题的办法。为了评估饮食摄入量，通常使用传统的自我报告问卷，如食物日记、24小时召回或食物频率问卷1。这些方法依赖于自我报告，因此是耗时的，容易产生偏见，由于社会期望的答案，记忆不足，和难以估计部分大小2，3。除了衡量饮食质量（食物类型和食用量）外，了解食物是如何食用的也很重要，因为减缓食物摄入量的饮食行为已被证明可以防止膳食内过度消费。评估饮食行为的黄金标准是让两名观察者注释人们吃饭的录像。这种方法相当劳动密集型和耗时，不允许立即反馈的行为。
最近的技术进步现在提供了将食物摄入的自动测量与膳食过程中饮食行为的自动测量相结合的机会。为了应对这些发展，开发了一种新的基于传感器的饮食评估方法，称为mEETr，这是两个荷兰词"Meter"（翻译：测量设备）和"eet"（翻译：吃）的首字母缩略词。mEETr 是一个普通的餐盘，设有三个内置称重台（图 1演示托盘和传感器板的设计）和相机支架。每个称重站由三个三角定位测量点组成，以分配重量。称重站连续测量餐食中碗、盘子、饮料杯或玻璃杯的重量。MEETr 还包括一个摄像机支架。目前，相机支架与托盘分离，但出于标准化目的，在 MEETr（折叠式摄像机棒）进行下一次升级后，集成相机将是理想的选择。该摄像机可自动实时分析叮咬和咀嚼次数以及进食时间，从而可生成有关进食率和咬合大小的信息。使用新开发的算法对饮食行为进行自动分析。各种研究小组已经开发出设备，为人们提供关于加速饮食和人们吃6的量的实时反馈。此外，还开发了增强叉，以提供实时反馈的叮咬次数和频率在膳食7。此外，还开发了一个耳部传感器，以测量在自由生活条件下饮食的微观结构。与此装置类似的是 Ioakimidis 等人使用的装置，其中视频测量与称重板相结合，以确定食物摄入量、叮咬次数和咀嚼行为。
与这些设备相比，mEETr 的新颖性在于它结合了两个盘子和一个饮料杯 （n = 3） 的食物摄入量的自动测量和在一个设备中的饮食行为（例如，进食率、咬伤次数、咬合大小和咀嚼行为）。如前所示，MEETr 适用于受控（饮食实验室）环境中的食物摄入量和饮食行为的膳食测量，但最终目的是在控制较少的环境中使用 mEETr，在这些环境中使用重新发生的膳食计划，如日托、养老院和医院。
最终，MEETr 将提供比传统饮食评估方法和视频手动编码更客观、更准确、更精确的食品摄入量和饮食行为测量方法。更好的食物摄入量措施将有利于营养和健康研究，也有利于卫生专业人员在挑战中对抗与食品有关的非传染病增加11。最终，mEETr 可以通过将 mEETr 与现有技术和软件（如其他健康应用程序或智能手表）连接起来，用于研究和医疗保健环境以及家庭健康意识的用户。总体而言，这些健康措施为用户或保健专业人员提供了对各种健康行为模式（例如，食物摄入、饮食行为、基于实际测量的能量消耗、睡眠、压力）的相当多样化和完整的概述，使用户能够优化饮食并创建健康的生活方式。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
这项试点研究在项目开始前得到了瓦格宁根大学METC的批准。
注意：所有参与该项目的参与者都表示了知情同意，包括批准显示可见和可识别面孔的视频图像。
1. 样本准备和参与者同意
- 准备果汁（玻璃杯或杯子）、水果酸奶（碗）和水果片（盘子）。
注：这些食物仅供示范之用（图2）。 - 招募同意参加研究的参与者或志愿者。
- 排除戴眼镜（不能使用隐形眼镜）和/或面部毛发（胡子或胡子）以避免测量错误的参与者。
- 向参与者通报研究和数据收集（数据存储、可访问性）。在进行非匿名视频录制时，可获得单独的权限。在收集数据之前，先在知情同意书上获得参与者的签名。
2. 设备和测量位置设置
注意：此协议适用于在受控（饮食实验室）设置中收集数据。
- 确保房间里的光线均匀分布，避免参与者脸上的阴影。
- 避免由于参与者以外的个人的存在而在录像中的背景噪音。
- 将参与者放在桌子前的椅子上;桌面位于参与者胸部正下方。
- 将托盘和摄像头的无线接收器连接到笔记本电脑。
- 启动笔记本电脑。确保笔记本电脑具有以下规格：CPU i7-10750H、SSD M.2 512 GB、内存 1x 16 GB、DDR4 2933 MHz 非 ECC 内存、操作系统 64 位。
- 打开托盘，确保托盘内有电荷（绿灯）。
- 分别打开连接器程序（dos）、接收器和处理器软件程序以及仪表板。
- 检查处理器程序中的传入图像质量（图 3）。
注意：要检测饮食行为，图像质量应在任务栏的最后四分之一（绿色）：尽可能接近100%绿色。阴影形成可能导致图像质量低。 - 确保图像帧正确，以防止图像质量差。确保参与者的头部（在颅骨上方）直到胸部，包括手臂和肩膀清晰可见。
3. 称重系统和数据传输
- 首次使用 MEETr 之前验证措施。
注：MEETr 设备由一个普通的市售餐盘（纤维强制环氧树脂餐盘）和三个内置称重站（图 2）组成。 - 要验证设置，请确保托盘持续测量盘子、碗和饮料杯的重量。
注：整个范围称重尺度精度应为 0.3%。 - 不要在每个称重平台上放置过重的重量。最大平台（餐盘）的最大重量为 1.5 kg。两个较小的称重平台（碗和玻璃）的最大重量为800克。每个称重站的最低重量为1克。
- 确保盘子、杯子和碗不会放在平台或周围的托盘上。使用中心环来避免这种情况。
注：每个称重站由三个三角定位力传感器组成，作为一个比例表协同作用。选择了三角形位置来平衡重量。 - 确保托盘保持干燥。托盘包括一个50毫米薄的底板（中央电路板）下方的托盘，其中包含电子产品。
- 对于数据传输，请确保托盘连接到无线接收器。
注意：通过短程无线电信号（约1米距离）以1s间隔传输称重数据。通过 USB 端口将接收器连接到个人计算机 （PC）。 - 三个力传感器测量力（或重量），总结它们，并将其转换为校准的重量值。
- 每次使用后为托盘充电。
注意：托盘由内部电池组供电，可配有 USB 充电器。开/关幻灯片开关位于 USB 插座附近。全电池充电可提供约 20 小时的使用时间。 - 不要在洗碗机中清洁托盘：托盘不是洗碗机的证明。使用清洁喷雾清洁托盘。确保托盘保持清洁和干燥。平台上的泄漏通道会排干液体泄漏。
4. 参与者解释和观察开始
- 将 MEETr 放在参与者面前。
- 指示参与者 1） 吃尽可能多的或尽可能少， 2） 在吃饭时直视网络摄像头， 3） 吃饭时不要把手放在脸前。
- 在接收器软件中启动新的观察。记录日期、参与者人数、参与者的性别、年龄和人为数据，如体重和身高。包括其他信息，如研究情况和观察名下的考察访问。
- 按接收器软件中的 "记录" 以记录观察结果。
- 激活仪表板，以便在数据收集期间检查视频录制和传入数据（图 4）。
- 在录制之前，要求参与者用参与者编号举牌，2） 在餐食开始和结束时举手。
- 当参与者吃完饭后，结束观察。将所有数据传输到电子表格需要 2 分钟。
- 这是与会者会议的结束。
- 将网络摄像头和托盘接收器与笔记本电脑分离，用清洁纸巾或清洁喷雾剂清洁。
5. 数据的评价和传输
- 打开接收器软件中的最后一个观察结果。饮食行为的自动测量存储在标题 数据下。单击 "导出数据 "以提取原始数据。随后的输出文件包含每个测试参与者的参与者编号、实时、相对（开始）时间和饮食行为变量（叮咬次数、咀嚼次数、咀嚼持续时间）的数据。
注：所有行为都加盖时间戳。在接收器软件中，可以提取托盘的其他外部数据，例如，关于三个托盘每个托盘重量的数据。数据每秒记录 10 次并传输。托盘数据收集时间与饮食行为记录同步。 - 在程序本身的不同条形图中总结和可视化结果。将结果作为原始数据导出到日志文件 （.xsl） （图 5）中。
- 将日志文件导出到电子表格，并使用首选统计程序执行数据分析。
- 在数据分析之前清洁数据。
注意：由于在盘子上用餐具按压的扭曲（导致重量增加），托盘的称重数据需要清洁到卡普兰迈尔曲线，步幅表示咬合大小，步长表示咬伤之间的时间。曲线的开头表示起始重量，最后一步表示最终重量）如下。- 在时间点上平滑到每秒测量，以过滤掉极端值。
- 设置 5 g 边界，检测重量高原（即在 +/- 5 g 内无变化），以及重量变化（随着时间变化大于 5 g）以指示咬合大小和份量变化。
- 排除由于餐具留在盘子里的重量增加。
注：输出是每个重量站开始和结束膳食的总重量变化（+膳食大小），平均咬合大小，每分钟咬伤。
- 要确定进餐速度（g/sec）和咬伤大小（g/bite）在用餐过程中的变化，手动集成托盘重量数据和进食行为（图6，图7，图8，图9，图10）。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
与 MEETr 托盘测量的酸奶和果汁（图 6 ）相比，摄入率较低（图 7）、小口/咬大小（图 8）和咀嚼量较多（图 9）导致沙拉摄入量较低。与果汁相比，参与者吃的水果沙拉少了17%。果汁、酸奶和沙拉（图7，图8，图9）之间的所有饮食行为特征各不相同。与酸奶和果汁相比，参与者在水果沙拉上的咀嚼量要大得多。观察到的咀嚼次数在酸奶和水果沙拉之间相差三倍。此外，与果汁相比，沙拉每口6.5克的咬合量最小：每口8克。总体而言，咀嚼次数、咬合大小和进食率似乎会影响在饮食实验室环境中用餐时的量。这些发现符合其他研究报告，增加口腔加工时间（咀嚼次数增加，咬伤大小较小）减少食物摄入量12，13，14，15。
图1：下面的托盘图片，上面有三个称重台，上面打印板上有三个压力传感器。请点击这里查看此图的较大版本。
图2：与测试的食品的MEETr设置。 请单击此处查看此图的较大版本。
图3：使用面部（眼睛和嘴部）上的固定点自动检测饮食行为。请单击此处查看此图的较大版本。
图4：仪表板可视化托盘三个称重秤的传入数据以及传入的视频数据。请单击此处查看此图的更大版本。
图5：数据收集概述。 三个称重秤上的食物重量在用餐过程中的下降由三个上图显示：山峰是由餐具的压力引起的。咬和啜饮（包括持续时间）和咀嚼次数显示在最后一行由彩色水平杆。 请单击此处查看此图的较大版本。
图6：用MEETr托盘测量的每种产品的食物摄入量（g）。请点击这里查看这个数字的更大版本。
图7：根据MEETr托盘和自动饮食行为视频分析，每种产品的食用率（g/min）。请点击这里查看此图的更大版本。
图8：根据MEETr托盘和自动饮食行为视频分析，每个产品的平均咬合大小（g）。请点击这里查看此图的更大版本。
图9：根据MEETr托盘和自动饮食行为视频分析，每种产品咀嚼次数总数。请点击这里查看此图的较大版本。
图10：测量的原始数据输出，包括三个称重平台、行为和时间戳。请单击此处查看此图的较大版本。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
健康的饮食和健康的饮食行为在预防和解决超重和肥胖症方面发挥了关键作用。然而，许多用于测量饮食摄入量和饮食行为的方法对用户、研究人员和保健专业人员来说是沉重的负担，而且可能存在偏见，因为它们依赖于记忆和份量估计。独立或与传统视频和饮食评估方法一起使用 mEETr 会降低饮食摄入量和饮食行为评估的力度以及准确性和精确性。
在使用 MEETr 之前，需要解决几个关键步骤。一个基本的方法考虑是隐私与录制视频的面部分析有关。参与者的匿名性是道德研究的一个整体特征。然而，由于面部分析是MEETr的一部分，匿名几乎是不可能的16。因此，在研究环境中使用 MEETr 需要就数据安全性作出大量规定，并应在知情同意和其他参与者文件中给予关注。最终，在升级版的 MEETr 面部录音中，无需存储视频数据即可在设备内实时处理。因此，不需要存储面部记录，这将允许匿名数据收集。
协议中的另一个关键步骤是，在这个版本的 MEETr 中，所有数据流都是独立的，这需要在后期处理过程中整合视频分析的测量和三个不同的比例。数据分析只是根据称重站进行的：然后由研究人员将特设后的数据与特定碗中或特定盘子或杯子位置中提供的数据进行耦合。为了防止混合数据流，托盘的结构强制要求仅将碗、盘子或杯子放置在特定位置，因为戒指适合特定的餐具。
最终，必须立即整合数据流，这将作为实时决策的额外验证措施，在碗/盘子/杯子中改变重量，验证咬伤或喝，反之亦然，从而允许餐后立即对饮食行为进行自动反馈。
除了这些关键步骤外，还应简化数据监控和故障排除或错误捕获，这可以通过以下修改实现：（1） 系统启动的自动化：（2） 仪表板上提供自动饮食行为检测视频质量信息的质量指标集成：（3） 笔记本电脑的内存要求较低（4） 防止非进食期间测量尝试的自动事件检测。
除了这些需要改进的领域之外，使用 MEETr 时还存在一些值得注意的挑战。首先，以下版本的 MEETr 应防水，以便可以在洗碗机中清洗。其次，要获得有效的饮食行为措施，参与者需要遵守各种限制和规则。对于 mEETr 的有效使用，视频不间断，用户在咀嚼时直视相机至关重要。此外，要检测咀嚼和吞咽的算法，用户需要 1） 在框架中完全可见，包括肩膀和手 2） 脸上没有阴影：需要标准化的光。这些先决条件扰乱自然或正常的饮食行为。由于饮食在正常生活条件下本质上是一种社会事务，因此实施这些限制并不与正常的社会饮食行为不谋而合。因此，目前准确使用 MEETr 需要一种非常规的饮食方式。将来需要对算法进行更改，以便进行更可靠的测量，不需要参与者遵守某些饮食规则或限制。一般来说，使用 mEETr 可能会产生用户反应性，导致由于对使用 mEETr 托盘所吃食物的意识而改变食物摄入量。当内置称重台完全隐藏时，可以防止这种情况，并且使用在托盘中安装的对眼摄像头，因此不需要标准的面部高度。因此，mEEtr 的当前版本仅适用于基于实验室的研究。由于这项技术所要求的限制和规则，结果不能直接转化为自由生活的饮食模式。
在这些改变旁边，还有两个功能扩展的当前系统，需要在未来纳入。首先，需要在 MEETr 中添加额外的超光谱相机技术，以分析盘子中食品中的宏量营养素含量。这将规避对盘子上的确切食物的了解，同时仍然允许每餐热量摄入量的测量。其次，可以将自动识别食品的机器学习方法连接到当前的视频分析中，从而进一步实现系统的自动化。为了进一步提高膳食识别度，可以添加第二台摄像机，只关注盘子上的食物和饮料。
理想情况下，MEETr 托盘和摄像头可以连接到现有的饮食应用生态系统，这将允许 MEETr 结果直接输入饮食应用程序和营养师2。根据 MEETr 收集的信息，可以立即向考虑（宏观）营养摄入和饮食行为（食物质地和进食率）的消费者或患者提供反馈和建议。这将使用户能够优化他们的饮食和饮食行为，创造健康的生活方式。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
MEETr 设备和附带软件是与商业合作伙伴合作开发的：诺尔杜斯信息技术。作者声明没有利益冲突。
Acknowledgments
我们感谢瓦格宁根大学技术开发工作室的J.M.C.Meijer和研究部的J.D.Meijer在开发MEETr托盘方面所提供帮助。这项研究由荷兰4所技术大学、4TU-傲慢与偏见项目资助。
Materials
| Name | Company | Catalog Number | Comments |
| Battery | na | na | Battery pack (LiPo) and charge electronics via an USB port connector. No data from this port. |
| Connector program | Noldus | Noldus Information technology software dashboard nview | |
| Dinner tray | na | na | Standard dinner tray from glass inforced epoxy |
| Larger scale | na | na | One high range custom made scale based on a triple force sensor method. |
| Mainboard | na | na | A mainboard converting the three scale measurements to calibrated weight numbers. This board also contains the low power short range RF transmitter. |
| OS Windows | Microsoft | windows 10 Pro 64 bit | |
| Processor program | Noldus | Noldus Information technology software FaceReader | |
| Receiver program | Noldus | Noldus Information technology software Observer | |
| RF receiver | na | na | Custom build USB converter connected to a RF receiver. This receiver has a squelch setting for making it low range sensitive. |
| Small scales | na | na | Two low range custom made scales based on a triple force sensor method. |
References
- Burrows, T. L., Ho, Y. Y., Rollo, M. E., Collins, C. E. Validity of dietary assessment methods when compared to the method of doubly labeled water: A systematic review in adults. Frontiers in Endocrinology. 10, 850 (2019).
- Brouwer-Brolsma, E. M., et al. Dietary intake assessment: From traditional paper-pencil questionnaires to technology-based tools. Environmental software systems. Data science in action. Advances in Information and Communication Technology. 554, (2020).
- Palese, A., et al. What nursing home environment can maximise eating independence among residents with cognitive impairment? Findings from a secondary analysis. Geriatric Nursing. 41 (6), 709-716 (2020).
- Krop, E. M., et al. Influence of oral processing on appetite and food intake - A systematic review and meta-analysis. Appetite. 125, 253-269 (2018).
- Nicolas, E., Veyrune, J. L., Lassauzay, C., Peyron, M. A., Hennequin, M. Validation of video versus electromyography for chewing evaluation of the elderly wearing a complete denture. Journal of Oral Rehabilitation. 34 (8), 566-571 (2007).
- Sabin, M. A., et al. A novel treatment for childhood obesity using Mandometer® technology. International Journal of Obesity. 7, (2006).
- Hermsen, S., et al. Evaluation of a Smart fork to decelerate eating rate. Journal of the Academy of Nutrition and Dietetics. 116 (7), 1066-1068 (2016).
- vanden Boer, J., et al. The splendid eating detection sensor: Development and feasibility study. JMIR mHealth and uHealth. 6 (9), 170 (2018).
- Papapanagiotou, V., et al. A novel chewing detection system based on ppg, audio, and accelerometry. IEEE Journal of Biomedical and Health Informatics. 21 (3), 607-618 (2016).
- Ioakimidis, I., et al. Description of chewing and food intake over the course of a meal. Physiology & Behavior. 104 (5), 761-769 (2011).
- Ruiz, L. D., Zuelch, M. L., Dimitratos, S. M., Scherr, R. E. Adolescent obesity: Diet quality, psychosocial health, and cardiometabolic risk factors. Nutrients. 12 (1), 43 (2020).
- Forde, C. G., van Kuijk, N., Thaler, T., de Graaf, C., Martin, N. Oral processing characteristics of solid savoury meal components, and relationship with food composition, sensory attributes and expected satiation. Appetite. 60 (1), 208-219 (2013).
- Weijzen, P. L. G., Smeets, P. A. M., de Graaf, C. Sip size of orangeade: effects on intake and sensory-specific satiation. British Journal of Nutrition. 102 (07), 1091-1097 (2009).
- Zijlstra, N., de Wijk, R. A., Mars, M., Stafleu, A., de Graaf, C. Effect of bite size and oral processing time of a semisolid food on satiation. The American Journal of Clinical Nutrition. 90 (2), 269-275 (2009).
- Bolhuis, D. P., et al. Slow food: sustained impact of harder foods on the reduction in energy intake over the course of the day. PloS One. 9 (4), 93370 (2014).
- Grinyer, A. The anonymity of research participants: assumptions, ethics and practicalities. Social Research Update. 36 (1), 4 (2002).
Tags
行为， 问题 168， 饮食评估， 技术， 人工智能， 食物摄入量， 饮食行为， 咀嚼Erratum
Formal Correction: Erratum: Concept Development and Use of an Automated Food Intake and Eating Behavior Assessment Method
Posted by JoVE Editors on 06/24/2021.
Citeable Link.
An erratum was issued for: Concept Development and Use of an Automated Food Intake and Eating Behavior Assessment Method. An author name was updated.
The name was updated from:
Cees de Graaf
to:
Kees de Graaf
