Summary
本研究提出了一种设计和制造一种眼镜式可穿戴装置的协议, 它通过在眼镜的两个铰链中插入负载细胞来检测食物摄取的模式和其他特征的物理活动。
Abstract
本研究提出了设计和制造一种眼镜式可穿戴装置的一系列协议, 用于检测在进食和其他体力活动期间颞肌肉活动的模式。我们制作了一个 3 d 印刷框架的眼镜和一个负载单元集成印制电路板 (PCB) 模块插入两个铰链的框架。该模块用于获取力信号, 并进行无线传输。这些程序为系统提供了更高的机动性, 可以评估在实际穿戴条件如步行和晃。分类的表现也通过区别食物摄取的方式从那些体育活动被评估。一系列的算法被用来对信号进行预处理, 产生特征向量, 并识别几种功能性活动 (咀嚼和眨眼) 的模式, 以及其他体育活动 (静坐休息、说话和走路)。结果表明, 各特征活动的分类平均为1评分为91.4%。我们认为, 这种方法可能有助于自动和客观地监测摄食行为, 以更高的准确度作为治疗摄食问题的实用手段。
Introduction
持续和客观地监测食物摄入量对于维持人体的能量平衡至关重要, 因为过量的能量积聚可能导致 overweightness 和肥胖症1, 这可能导致各种医疗并发症2。能源失衡的主要因素是食物摄入过量和体力活动不足3。通过可穿戴设备4、5、6, 对日常能源支出监测进行了各种研究, 包括在最终消费者级别和医疗阶段7。然而, 对食品摄入量监测的研究仍处于实验室设置之中, 因为很难直接和客观地检测食物摄取活动。在这里, 我们的目的是提供一个设备设计和评估, 以监测食品摄入量和体育活动模式在实际水平的日常生活中。
通过咀嚼和吞咽声音来监测食物摄取的各种间接方法8,9,10, 手腕11,12,13, 图像分析14和肌电图 (肌电信号)15。然而, 这些方法很难适用于日常生活应用, 因为它们固有的局限性: 使用声音的方法容易受到环境声音的影响;使用手腕运动的方法在不消耗食物的情况下很难与其他体力活动区分开来;使用图像和肌电信号的方法受到运动和环境边界的限制。这些研究表明, 使用传感器自动检测食物摄取量的能力, 但仍然有限制的实际适用性的日常生活以外的实验室设置。
在本研究中, 我们利用颞肌肉活动的模式作为对食物摄取量的自动和客观的监测。一般来说, 颞肌肉重复收缩和松弛作为咀嚼肌肉的一部分, 在食物摄取量16,17;因此, 可以通过检测颞肌肉活动的周期性模式来监测食物摄取活动。最近, 有几项研究利用了颞肌肉活动18,19,20,21, 使用了肌电信号或压电应变传感器, 并直接附加到人类皮肤.然而, 这些方法对肌电信号电极或应变传感器的皮肤位置很敏感, 并且由于身体运动或出汗而容易脱离皮肤。因此, 我们提出了一个新的和有效的方法, 使用一对眼镜, 通过两个负载细胞, 通过插入在我们以前的研究中的铰链中的颞肌肉活动22。该方法在不接触皮肤的情况下, 具有很高的准确度检测食物摄取活动的潜力。因为我们使用的是一种普通的眼镜式设备, 所以它也不太显眼, 也不侵入。
在本研究中, 我们提出了如何实现眼镜型设备的一系列详细协议, 以及如何使用颞肌肉活动模式来监测食物摄取量和体力活动。这些协议包括硬件设计和制造过程, 由3维打印的眼镜框架、一个电路模块和一个数据采集模块组成, 包括用于数据处理和分析的软件算法。此外, 我们还检查了几个特色活动 (例如, 咀嚼, 散步和眨眼) 的分类, 以证明作为一个实际系统的潜力, 可以区分食物摄入量和其他体力活动之间的细微差别。模式.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
注意: 所有的程序, 包括使用人的主题是通过非侵入性的方式, 简单地戴着一副眼镜。所有的数据都是通过测量在玻璃中插入的力信号, 而不是与皮肤直接接触而获得的。数据被无线传输到数据记录模块, 在这种情况下, 这是一个指定的智能手机的研究。所有协议都与体内/体外人类研究无关。没有用药物和血液样本进行实验。所有实验对象都获得了知情同意。
1. 传感器集成电路模块的制造
-
采购电子元器件制造电路模块。
- 采购两个球型负载单元, 每一个在 0 n 和 15 n 的范围内运行, 并产生一个低差电压输出, 最大 120 mV 跨度在3.3 伏励磁。
注意: 这些负载单元用于测量眼镜左右两侧的力信号。 - 购买两个仪表放大器和两个 15 kΩ增益设定电阻。
注: 仪器放大器和增益设定电阻用于放大负载单元的力信号八倍, 高达 960 mV。 - 购买具有无线功能的微控制器单元 (MCU) (例如、wi-fi 连接) 和10位模数转换器 (ADC)。
注: 单片机用于读取力信号, 并以无线方式将其传输到数据采集模块。由于一个模拟输入销用于两个模拟力输入, 因此在下一步1.1.4 中引入了复用器。 - 购买双通道模拟复用器, 处理两个输入信号与单片机上的一个 ADC pin。
- 购买锂离子聚合物 (脂) 电池, 具有3.7 伏标称电压, 300 麻将标称容量, 1 C 放电速率。
注: 电池容量被选择提供足够的电流每小时超过200麻将, 并运行系统可靠的约1.5 小时的实验。 - 购买3.3 伏稳压器, 用于线性向下调节 3.7 v 电池电压, 使系统的 3.3 v 工作电压。
- 购买五 12 kΩ表面安装器件 (SMD) 型电阻器作为单片机的拉起电阻。电阻的足迹是2.0 毫米 x 1.2 毫米 (大小 2012)。
- 采购两个球型负载单元, 每一个在 0 n 和 15 n 的范围内运行, 并产生一个低差电压输出, 最大 120 mV 跨度在3.3 伏励磁。
-
制造印制电路板 (pcb)。此步骤是关于绘制电路板, 并使图稿 (即、电路板布局、. 伯德文件) 以及 PCB 制作的示意图 (即)。开发需要对创建图稿和示意图文件的过程有一个基本的理解。
- 使用电子设计应用程序绘制包含电池的左电路示意图, 如图 1A所示。将结果另存为图稿 (. 伯德) 和示意图 (.) 文件。
- 使用电子设计应用程序绘制包含 MCU 的正确电路示意图, 如图 1B所示。将结果另存为图稿 (. 伯德) 和示意图 (.) 文件。
- 通过向 PCB 制造公司订货, 制造电路板。
- 按图 2和图 3中所示, 将步骤1.1 中准备的每个电子组件焊锡到 pcb。
注意: 仪表放大器对焊接温度非常敏感。在焊接过程中, 要确保十年代的铅温度不超过摄氏300摄氏度, 否则会对元件造成永久性损坏。
2. 3D 打印眼镜架
- 使用3D 建模工具绘制眼镜头片的3D 模型, 如图 4A所示。将结果导出到. stl 文件格式。
- 使用3D 建模工具, 如图 4B和图 4C中所示, 绘制眼镜的左、右太阳穴的3D 模型。将结果导出到. stl 文件格式。
- 使用3D 打印机和碳纤维灯丝打印头件和寺庙零件, 喷嘴温度为240摄氏度, 床温80摄氏度。
注: 可允许使用任何商用3D 打印机和任何类型的丝, 如丙烯腈丁二烯苯乙烯 (ABS) 和聚乳酸 (PLA)。喷嘴和床温可根据灯丝和印刷条件进行调整。 - 使用180°c 设置的热风鼓风机加热寺庙的尖端, 并将其弯曲到内约15度, 以接触颞肌肉的表皮, 如常规眼镜。
注: 玻璃寺庙的弯曲程度不需要严格, 因为曲率的目的是通过帮助眼镜适合主题的头部时, 以增加一个形状因素。但是, 要小心, 因为过度弯曲会防止寺庙接触颞肌肉, 这使得无法收集重要的模式。 - 重复步骤2.1–2.4 中的步骤, 以打印两个不同大小的眼镜框架, 以适应多个头部大小, 如图 4所示。
3. 玻璃的所有部分的装配
- 使用 M2 螺栓在眼镜寺庙两侧插入多氯联苯, 如图 5所示。
- 将 M2 螺栓插入铰链接头, 将头件和寺庙装配起来。
- 使用3针连接线连接左、右 pcb, 如图 5所示。
- 将电池连接到左侧的电路上, 并将其与胶带粘附在左太阳穴上。电池的安装端不重要, 因为它可能因 PCB 设计而异。
- 将眼镜盖在尖端和鼻垫上的橡皮胶带上, 以增加与人体皮肤的摩擦, 如图 5所示。
4. 开发数据采集系统
注: 数据采集系统由数据传送模块和数据接收模块组成。数据传送模块读取双方的时间和力信号, 然后将它们发送到数据接收模块, 收集接收到的数据并将其写入. tsv 文件。
-
按照步骤4.1 中的过程, 将数据传输应用程序上载到 PCB 模块的 MCU. 1–4.1. 3。
- 使用计算机运行附加到辅助文件的 "GlasSense_Server" 项目。
注意: 此项目是用 Arduino 集成开发环境 (IDE) 构建的。它提供了读取时间和强迫信号与200样本/秒, 并将其传输到数据接收模块的能力。 - 通过通用串行总线 (USB) 连接器将 PCB 模块连接到计算机。
- 按 Arduino IDE 上的 "上载" 按钮, 将编程代码从步骤4.1.1 刷新到 MCU 中。
- 使用计算机运行附加到辅助文件的 "GlasSense_Server" 项目。
-
按照步骤4.2 中的过程, 将数据接收应用程序上载到智能手机 (用于以无线方式接收数据). 1–4.2. 3。
- 使用计算机运行附加到辅助文件的 "GlasSense_Client" 项目。
注意: 这个项目是用 c# 编程语言构建的。它提供了接收数据和保存. tsv 文件的能力, 其中包含主题的信息, 如姓名、性别、年龄和体重指数 (BMI)。 - 通过 USB 连接器将智能手机连接到计算机, 以生成数据接收应用程序。
- 按 c# 项目上的 "文件 > 生成 & 运行" 按钮, 以生成用于智能手机的数据接收应用程序。
- 使用计算机运行附加到辅助文件的 "GlasSense_Client" 项目。
5. 从用户研究中收集数据
注: 本研究收集了六项精选活动集: 久坐休息 (SR), 久坐咀嚼 (SC), 步行 (W), 散步时咀嚼 (CW), 久坐的谈话 (ST), 和久坐眨眼 (SW)。
- 选择对要测试的用户具有适当大小的眼镜。在铰链 (图 5) 上微调与支承螺栓的紧固。
注意: 力值不得超过 15 N, 因为本研究中使用的力传感器可能会失去操作范围以外的细微线性特性。通过松开或拧紧支承螺栓, 可以微调力值。 -
通过按步骤4.2.3 中构建的应用程序上的 "记录" 按钮记录所有主题的活动。
- 在120秒块中记录一个活动, 并生成它的记录文件。
- 在 SR 的情况下, 坐在椅子上的主题, 让他们使用智能手机或阅读一本书。允许头部运动, 但要避免全身运动。
- 在 SC 和 CW 的情况下, 让受试者吃两种类型的食物质地 (烤面包和咀嚼果冻), 以反映不同的食物性质。在20毫米 x 20 毫米的切片上提供烤面包, 这是一个很好的吃的大小。
- 在 W 的情况下, 让受试者在跑步机上以每小时4.5 公里/小时的速度行走。
- 在 ST 的情况下, 坐下来的主题, 让他们读一本书大声以正常的语调和速度。
- 在 SW 的情况下, 通知对象眨眼的时间钟的声音0.5 秒长每3秒。
- 从步骤5.2.1 中收集的数据生成. tsv 格式的记录文件。
注意: 此文件包含接收数据的时间序列、左力信号、右力信号和代表当前面部活动的标签。图 6中描述了用户块中所有活动的时间信号的可视化。六个精选活动集 (SR、SC、W、CW、ST 和 SW) 分别被标记为1、2、3、4、5和6。这些标签用于比较协议8节中预测的类。 - 在录音块后休息60秒。在休息时摘下眼镜, 在录音块重新启动时再次佩戴。
- 对每个活动重复5.2.1 和5.2.2 四次的分块和中断步骤集。
- 在 SW 的情况下, 在一个街区内, 让主体在左眼中反复眨眨眼, 然后在下一个街区内用右眼反复眨眼。
- 在120秒块中记录一个活动, 并生成它的记录文件。
- 重复步骤 5.1–5.2, 收集来自10个主题的数据。在本研究中, 我们使用了五男性和五位女性, 平均年龄是 27.9 @ 4.3 (标准偏差; s.d.) 年, 在19–33年不等, 并且平均 BMI 是 21.6 @ 3.2 (s.d.) 公斤/米2, 在17.9–27.4 公斤/m2不等。
注意: 在这项研究中, 没有任何医疗条件咀嚼食物, 眨眼和步行的对象被招募, 这一条件被用于纳入标准。
6. 信号预处理与分割
注意: 左和右信号在以下过程中分别计算。
-
准备一系列 2 s 长的时间框架。
- 将120s 记录的信号分割成一组 2 s 帧, 方法是使用 MATLAB 以1秒的间隔跳过它们, 如图 6所示。
注: 2 s 长的分段框架用于提取7节中的特征。1 s 跳跃大小被确定划分信号由 3 s 眨眼间隔已经提到在步5.2.1。 - 应用低通滤波器 (LPF), 使用 5th订单北海过滤器, 每个帧的截止频率为10赫兹。
- 将步骤6.1.2 的结果保存为步骤7.1 中的下一个步骤的时间框架。
- 将120s 记录的信号分割成一组 2 s 帧, 方法是使用 MATLAB 以1秒的间隔跳过它们, 如图 6所示。
-
准备一系列的光谱框架。
- 将每个帧的原始信号中的中点减去戴眼镜时的预紧。
注意: 以下频率分析不需要预加载值, 因为它不包括任何有关咀嚼、行走、眨眼、等的信息.但是, 它可以包含重要信息, 这可能不同于主题, 从眼镜的每一个设置, 甚至从一个人戴眼镜的那一刻起。 - 将汉宁窗口应用于每个帧, 以减少频率分析中的频谱泄漏。
- 通过对每个帧应用快速傅立叶变换 (FFT), 生成并保存单侧频谱。
- 将每个帧的原始信号中的中点减去戴眼镜时的预紧。
- 定义一个与框架块 (或简单框架) 同时的时间和光谱框架的组合。
7. 特征向量的生成
注: 在协议6节中生成的每帧都产生一个特征向量。左和右帧分别计算, 并在以下过程中组合为特征向量。所有的程序都是在 MATLAB 中实现的。
- 从协议步骤6.1 的时间框架中提取统计特征。表 1中给出了54个功能的总数量的列表。
- 从协议步骤6.2 的光谱帧中提取统计特征。表 2中给出了30个功能的总数量的列表。
- 结合上面的时间和光谱特征生成一个84维特征向量。
- 从协议步骤5.2 的录制中标记生成的特征向量。
- 从步骤7.1–7.4 中重复执行所有框架块的步骤, 并生成一系列特征向量。
8. 将活动分类为班级
注意: 这一步是选择支持向量机 (SVM)23的分类器模型, 方法是确定显示给定问题 (即特征向量) 的最佳精度的参数。SVM 是一种众所周知的受监督机器学习技术, 它在类和核函数之间的最大边距表现出良好的泛化和鲁棒性。利用网格搜索和交叉验证方法, 定义了径向基函数 (RBF) 核的惩罚参数 C 和核参数γ。对机器学习技术和支持向量机的基本理解需要执行以下步骤。推荐一些参考材料23、24、25 , 以便更好地了解机器学习技术和 SVM 算法。本节中的所有过程都是使用 LibSVM25软件包实现的。
- 为网格搜索定义一对 (C、γ) 的网格。使用 C 的指数增长序列 (2-10, 2-5,.., 230) 和γ (2-30, 2-25,.., 210)。
注意: 这些序列是启发式确定的。 - 定义一对 (C、γ) (例如, (2-10, 2-30))。
-
对于步骤8.2 中定义的网格, 执行10倍交叉验证方案。
注意: 该方案将整个特征向量划分为10部分子集, 然后从其他子集训练的分类器模型中测试一个子集, 然后一个一个地重复它。因此, 每个特征向量都可以按顺序进行测试。- 将整个特征向量划分为10部分子集。
- 从子集定义测试集, 以及从其余9子集中设置训练集。
- 定义缩放向量, 将特征向量的所有元素缩放到训练集的 [0、1] 范围。
注意: 缩放向量与特征向量具有相同的维数。它由一组乘数组成, 它将所有特征向量的同一行 (或列) 缩放到 [0、1] 的范围。例如, 特征向量的第一个特征被线性地缩放为训练特征向量的所有第一个特征的 [0、1] 的范围。请注意, 缩放向量是从训练集定义的, 因为应该假定测试集是未知的。这一步通过使特征相等范围和避免数值误差在计算过程中提高了分类的准确性。 - 使用步骤8.2.3 中获得的缩放向量, 将训练集的每个特征缩放到 [0、1] 的范围。
- 使用步骤8.2.3 中获得的缩放向量, 将测试集的每个特性缩放到 [0、1] 的范围。
- 在步骤8.2 中, 通过支持向量机 (C、γ) 对训练集进行培训, 然后构建一个分类器模型。
- 通过在步骤8.2 中定义对 (C、γ) 的 SVM 测试测试集, 以及从训练过程中获得的分类器模型。
- 计算测试集的分类精度。从正确分类的特征向量的百分比计算出其精度。
- 对所有子集重复步骤 8.2. 2–8.2 8, 并计算所有子集的平均精度。
- 对 (C、γ) 的所有栅格点重复步骤 8.2–8.3 9。
- 查找网格最高精度的本地最大值。8节的所有过程都在图 7中进行了说明。
- 选)如果网格的步骤被认为是粗糙的, 请在步骤8.5 中找到的本地最大值附近的较细网格中重复步骤 8.1–8.5, 并查找细网格的新本地最大值。
- 从以下等式计算每类活动的精度、回调和 F1评分:
等式1
等式2
等式3
其中 TP、FP 和 FN 分别表示每个活动的真实阳性、误报和假阴性。所有活动的混淆矩阵都在表 3中给出。
等式1
等式2
等式3Subscription Required. Please recommend JoVE to your librarian.
Representative Results
通过该协议中概述的过程, 我们通过区分头片长度、lH (133 和138毫米) 和寺庙、LT (110 和125毫米) 来编写3D 打印帧的两个版本, 如图 4所示。因此, 我们可以覆盖几个磨损条件, 这可以从不同的主题的头部大小, 形状,等.受试者选择了其中一个框架, 以适合他们的头部供用户学习。在铰链接头和支承螺栓孔之间的垂直距离 (Lh) 设置为7.5 毫米, 以便放大的力不会超过 15 N, 这是负载单元的线性操作范围。最后, 头件应该有一个厚度, tH, 可以抵抗从两个支持螺栓传输的弯矩, 当装备。我们选择的 tH是6毫米与使用碳纤维材料从启发式的方法。通过支持螺栓可以调整接触点, 以微调眼镜的紧固件, 如图 5所示。
表 3显示所有活动集的分类的代表性结果。平均 F1分数导致80.5%。如果将其视为单个分数, 则与我们以前的研究22的结果相比, 性能似乎相对降级。但是, 我们可以通过比较每个活动之间的结果来提取重要的信息。SR 是相对地好区别的 SC, CW 和 SW, 但不从 W 和 st。咀嚼活动, SC 和 CW, 很难区分。另一方面, 可以观察到, 两种咀嚼活动都可以很容易地区别于 SR, W, ST 和 SW, 这代表其他体育活动。就 SW 而言, 眨眼活动在其他活动中 misclassified 略有不同。
从表 3的结果中, 我们可以观察分类的深入详细信息。首先, 两种咀嚼活动, SC 和 CW, 明显有别于其他活动。其中, 与步行活动的区别表明, 食物摄取活动, 这是本研究的主要目的, 可以很容易地与积极的身体活动, 如步行, 使用我们的系统分开。如图 6所示, 可以验证从颞肌肉活动中激活的咀嚼和眨眼信号与颞肌肉活动没有激活的嚼和眨的讯号有显著的不同。另一方面, 两种咀嚼活动的区别表现出相对较高的 misclassifications。他们在降低咀嚼活动的精确度和记忆方面发挥了主导作用。
在咀嚼检测方面, SR、W 和 ST 可以被认为是日常生活中意想不到的噪音。眨眼活动, 另一方面, 可以被认为是有意义的测量, 因为它也被激活从颞肌肉活动以及。在此基础上, 这两种咀嚼活动有界的咀嚼活动 (CH), 其他活动, 除了眨眼被归类为体育活动 (PA)。表 4显示了这些活动的分类结果: 咀嚼 (CH)、身体活动 (PA) 和久坐眨眼 (SW)。我们可以从中找到更显著的结果。它预测的信息是, 该系统是否强健, 以检测食物摄入量, 而不受其他体育活动的影响。此外, 它还表明, 是否有可能区分食物摄入与其他面部活动, 如眨眼。结果表明, 咀嚼活动可以很好地区别于其他活动由高 F1评分93.4%。在眨眼的情况下, 召回 (85.5%) 略低于其他活动。这意味着, 所收集的眨眼数据的质量可能很低, 因为用户必须在3秒的时间间隔内眨眼。事实上, 有人观察到, 用户错过了眨眼或眼镜在用户学习期间偶尔被转移。
为了从以上方面获得更有意义的结果, 我们将这些活动归类并重新定义为新的。这两种咀嚼活动, SC 和 CW, 被归类为一个活动, 并定义为咀嚼。SR, W 和 ST, 有很大程度的误判在他们自己之中, 也被编组了入一个活动, 定义作为体育活动。结果, 我们获得了新的代表性结果的分类重新执行的活动, 以咀嚼 (CH), 物理活动 (PA) 和久坐眨眼 (SW), 如表 4所示。结果表明, 具有平均 F1评分的高预测分数为91.4%。
图 1: 左右电路的原理图.(A) 左电路示意图。它包含一个电池供电的左, 右电路。提供了一个旁路电容器的 3.3 V 电压调节器, 为系统提供稳定的工作电压。此处显示的负载单元格插入到电路的两端 (B) 的右电路示意图中。它包含一个具有 wi-fi 功能的微控制器统一 (MCU)。提供了一种双通道多路复用器, 用于处理两个由单片机模拟到数字变流器 (ADC) 两端的力信号。通用异步接收机/发射机 (UART) 连接器用于闪存 MCU。请单击此处查看此图的较大版本.
图 2: 左和右电路 PCB 艺术品.(A) 左侧 PCB 的插图。所有电子元器件都以 mm (B) 中的实际测量结果显示。请单击此处查看此图的较大版本.
图 3: 与所有组件焊接的多氯联苯的代表性结果.(A) 左电路模块。将负载单元集成到主板中。它包含一个2针连接器的电池和一个3针连接器连接到右侧板。(B) 正确的电路模块。负载单元也被集成到板中。它包含一个4针连接器的闪光模式的 MCU, 和一个3针连接器连接到左电路。请单击此处查看此图的较大版本.
图 4: 眼镜架的3D 模型设计.(A) 头件的设计。上部图显示一个前视图, 而下图显示头部部分的顶部视图。头件的长度 LH是一个设计参数, 用于覆盖各科目的不同头部大小。我们3D 打印了两个版本的头一块通过区分它。头件的厚度 (tH) 由启发式定义。铰链接头与支承螺栓的孔之间的距离 (Lh) 是从机械放大系数设置的。(B) 寺庙的设计。上部图显示左边寺庙, 并且更低的图显示正确的寺庙。图 3中的多氯联苯插入插槽中, 并将电池安装到电池架上。请单击此处查看此图的较大版本.
图 5: thePCB 集成眼镜的代表性结果.多氯联苯用螺栓插入插槽中。鼻垫和寺庙的尖端被橡皮胶带覆盖, 以增加与皮肤的摩擦。当眼镜被装备时, 负载单元由两侧的支承螺栓压紧。通过松开或拧紧支撑螺栓可以微调玻璃的致密度。请单击此处查看此图的较大版本.
图 6: 用于所有活动的用户记录块中的时间信号.y 轴表示测量的力, 这是由其记录块中的中值减去可视化目的。咀嚼活动的最大振幅大于其他活动。眨眼活动的左、右信号反转。图中显示了左眨眼的一个示例。2 s 帧被用来定义一个特征向量, 通过跳跃的信号在1秒的时间间隔。请单击此处查看此图的较大版本.
图 7: 通过各种对 (C、γ) 找到局部最大精度的代表性结果.(A) 在表 3中定义的所有活动的交叉验证精度的等高线图。每个轴呈指数递增, 启发式选择了范围。本地最大精度80.4% 发生在 (C、γ) = (25、20) 中。(B) 在表 4中重新定义的活动的交叉验证精度的等高线图。92.3% 的最大精度发生在 (C、γ) = (25、20) 中, 并且比 (A) 的结果准确得多。请单击此处查看此图的较大版本.
| 笑 | 功能描述 | 笑 | 功能描述 | ||
| 1 | 标准偏差 L | 28 | Skenwness 河 | ||
| 2 | 标准偏差 R | 29 | 峰 L | ||
| 3 | 变化系数 L | 30 | 峰 R | ||
| 4 | 变化系数 R | 31 | 自相关函数系数 L | ||
| 5 | 零过境率 L | 32 | 自相关函数系数 R | ||
| 6 | 零交叉率 R | 33 | 信号能量 L | ||
| 7 | 第二十百分比 L | 34 | 信号能量 R | ||
| 8 | 第二十百分点 R | 35 | 测井信号能量 L | ||
| 9 | 第五十百分比 L | 36 | 测井信号能量 R | ||
| 10 | 第五十百分点 R | 37 | 能量熵 L | ||
| 11 | 第八十百分比 L | 38 | 能量熵 R | ||
| 12 | 第八十百分点 R | 39 | 峰值振幅 L | ||
| 13 | 四分位范围 L | 40 | 峰值振幅 R | ||
| 14 | 四分位范围 R | 41 | 峰数 | ||
| 15 | 第二十百分点的平方和 | 42 | 峰数 R | ||
| 16 | 第二十位数的平方和 | 43 | 峰间时间的平均值 | ||
| 17 | 第五十百分点的平方和 | 44 | 峰值之间的时间平均值 R | ||
| 18 | 第五十位数的平方和 | 45 | 高峰时间之间的性病。 | ||
| 19 | 第八十百分点的平方和 | 46 | 峰值 R 之间的时间 | ||
| 20 | 第八十位数的平方和 | 47 | 预测比率 L | ||
| 21 | 作废第一仓 | 48 | 预测比 R | ||
| 22 | 作废第一仓 | 49 | 谐波比 L | ||
| 23 | 作废第二仓 | 50 | 谐波比 R | ||
| 24 | 作废第二仓 | 51 | 基本频率 L | ||
| 25 | 作废第三仓 | 52 | 基本频率 R | ||
| 26 | 作废第三仓 | 53 | L 和 R 的相关系数 | ||
| 27 | Skenwness 湖 | 54 | L 和 R 的 Sigmal 震级面积 | ||
表 1: 提取时间框架的统计特征.总共提取了54个特征。除了相关特征、53和54外, 分别计算了左、右信号。
| 笑 | 功能描述 | 笑 | 功能描述 | ||
| 1 | 光谱能量 L | 16 | 光谱传播 R | ||
| 2 | 光谱能量 R | 17 | 光谱熵 L | ||
| 3 | 能量 L 的光谱区1 | 18 | 光谱熵 R | ||
| 4 | 能量 R 的光谱区1 | 19 | 能量谱熵 | ||
| 5 | 能量 L 的光谱区2 | 20 | 能量 R 的谱熵 | ||
| 6 | 能量 R 的光谱区2 | 21 | 光谱通量 L | ||
| 7 | 能量 L 的光谱区3 | 22 | 光谱通量 R | ||
| 8 | 能量 R 的光谱区3 | 23 | 光谱衰减 L | ||
| 9 | 能量 L 的光谱区4 | 24 | 光谱衰减 R | ||
| 10 | 能量 R 的光谱区4 | 25 | 最大光谱波峰 L | ||
| 11 | 能量 L 的光谱区5 | 26 | 最大谱波峰 R | ||
| 12 | 能量 R 的光谱区5 | 27 | 光谱偏度 L | ||
| 13 | 光谱质心 L | 28 | 光谱偏度 R | ||
| 14 | 光谱质心 R | 29 | 光谱峰值 L | ||
| 15 | 光谱传播 L | 30 | 谱峰 R | ||
表 2: 提取光谱框架的统计特征.总共提取了30个特征。分别计算了左、右信号。从表 1和表 2中的功能, 一个特征向量由总共84个功能组成。
| 预测 活动 |
实际活动 | 总 | 精度 | |||||
| asr | bsc | cw | dcw | e圣 | f软件 | |||
| sr | 1222 | 18 | 79 | 6 | 168 | 75 | 1568 | 77.9% |
| sc | 10 | 1268 | 17 | 159 | 46 | 15 | 1515 | 83.7% |
| w | 55 | 19 | 1212 | 32 | 144 | 20 | 1482 | 81.8% |
| cw | 3 | 158 | 34 | 1327 | 28 | 12 | 1562 | 85.0% |
| 圣 | 192 | 75 | 185 | 19 | 1117 | 55 | 1643 | 68.0% |
| 软件 | 78 | 22 | 33 | 17 | 57 | 1383 | 1590 | 87.0% |
| 总 | 1560 | 1560 | 1560 | 1560 | 1560 | 1560 | 9360 | |
| 记得 | 78.3% | 81.3% | 77.7% | 85.1% | 71.6% | 88.7% | 80.4% | |
| F1评分 | 78.1% | 82.5% | 79.7% | 85.0% | 69.7% | 87.8% | ||
| 平均 F1评分 | 80.5% | |||||||
表 3: 所有活动的混淆矩阵 (C、γ) = (25、20) 图 7A.此矩阵显示所有活动的所有预测结果: aSR: 久坐式休息, bSC: 久坐咀嚼, cW: 步行, dCW: 散步时咀嚼, eST: 久坐的谈话, fSW: 久坐的眨眼。
| 预测 活动 |
实际活动 | 总 | 精度 | ||
| ac | bpa | c软件 | |||
| c | 2898 | 162 | 26 | 3086 | 93.9% |
| pa | 201 | 4404 | 200 | 4805 | 91.7% |
| 软件 | 21 | 114 | 1334 | 1469 | 90.8% |
| 总 | 3120 | 4680 | 1560 | 9360 | |
| 记得 | 92.9% | 94.1% | 85.5% | 92.3% | |
| F1评分 | 93.4% | 92.9% | 88.1% | ||
| 平均 F1评分 | 91.4% | ||||
表 4: 在图7B 中 (C、γ) = (2 5、20) 中所有重新定义活动的混淆矩阵 .此矩阵显示所有重新定义的活动的所有预测结果: aCH: 咀嚼, bPA: 物理活动, cSW: 久坐眨眼。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
在这项研究中, 我们首先提出了眼镜的设计和制造过程, 它能感觉到食物的摄取和运动的规律。由于本研究主要集中在数据分析上, 将食物摄取量与其他物理活动 (如步行和眨眼) 区分开来, 传感器和数据采集系统需要执行移动记录。因此, 该系统包括传感器、具有无线通信能力的 MCU 和电池。该议定书提供了一种新颖和实用的方法来衡量颞肌肉活动的模式, 由于食物摄取和眨眼的非接触方式: 工具和方法, 以方便地检测在日常生活中的食物摄入, 而不繁琐设备被描述了。
制造眼镜的过程中有重要的考虑因素。寺庙部件应设计成集成在步骤1.2 中制作的 PCB 模块, 如图 4B和图 4C所示。应放置负载单元格, 使其在头件的支撑板上按下支承螺栓按图 5中铰链部件的顶部视图中的说明进行安装。在步骤2.4 中, 玻璃寺庙的弯曲程度不需要严格, 因为曲率的目的是增加一个形状因素, 以更好地适合在一个主题的头部眼镜。但是, 要小心, 因为过度弯曲会防止寺庙接触颞肌肉, 这将使无法收集重要的模式。
为了获得可靠的数据, 反映不同的头部大小和形状的主题, 两个版本的眼镜提供了不同的长度, 头部和寺庙。此外, 通过利用支持伏特微调磨损能力, 我们可以调整眼镜的紧密性。因此, 通过各种眼镜、主题和佩戴条件收集的数据可以反映个人内部和个体间的变异性和不同的形式因素。
在用户研究中, 主题在休息时摘下了眼镜, 在录音块重新启动时又戴上了。此操作防止数据从 overfitting 到特定磨损条件, 因为它更改了磨损条件 (例如、左右平衡、负载单元预加载、与皮肤的接触区域、等) 每次主题重新戴上眼镜。
根据早先对咀嚼频率的研究, 咀嚼活动主要从0.94 赫兹 (5 个th百分点) 到 2.17 hz (95th百分点)26不等。因此, 我们将帧大小设置为 2 s, 以便框架包含多个咀嚼活动。此帧大小也适用于包含一个或多个步行周期, 通常范围从 1.4 hz 到2.5 赫兹27。我们在跑步机上进行了4.5 公里/小时的步行活动, 因为正常的行走速度从3.3 公里/小时到6.5 公里/小时27,28。图 6中的跃点大小是从记录的闪烁数据中确定的, 其中, 受试者被告知以3秒的间隔进行眨眼。我们还过滤了数据的截止频率为10赫兹, 因为我们发现, 从我们以前的研究, 信号超过10赫兹没有任何重要信息咀嚼检测22。
由于系统在两边有两个负载单元, 因此可以区分咀嚼和眨眼的左右事件, 如我们以前的研究22所证明的那样。然而, 与前一项研究不同的是, 这项研究的目的是证明该系统能有效地将食物摄入与体育活动分开。如果数据通过用户研究得到充分的积累, 则可以利用特征向量中包含的相关特征进行左、右分类的进一步研究。另一方面, 很难区分久坐的活动和在系统内行走。对系统的进一步修改可以提供食物摄取的详细分类 , 如在移动时进食和进确度高。通过将惯性测量单元 (惯性计) 添加到系统18, 可以通过传感器融合技术实现这一目的。如果是这样, 系统可以同时跟踪能量消耗和能量摄入量。我们认为, 我们的方法为检测食物摄取和身体活动提供了切实可行的方法。
对能量摄入量的估计是研究膳食监测的一个关键目标, 例如, 可以通过分类食物的类型, 然后将其转化为卡路里的预定义的热量信息来进行分析。最近的一项研究提出了一种使用食物图像和深层学习算法对食物类型进行分类的方法14。然而, 很难将食物类型与本研究使用的力传感器分开;将图像传感器添加到设备前端, 可以通过图像处理和机器学习技术识别食品类型, 从而对食品类型进行分类。通过这种传感器融合技术与力和图像传感器, 这项研究的潜力是应用于一般膳食监测应用。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
这项工作得到了 Envisible 公司的支持。这项研究还得到了大韩民国卫生部 & 福利部韩国卫生技术 & 发展项目 (HI15C1027) 的资助。这项研究也得到韩国国家研究基金会 (NRF-2016R1A1A1A05005348) 的支持。
Materials
| Name | Company | Catalog Number | Comments |
| FSS1500NSB | Honeywell, USA | Load cell | |
| INA125U | Texas Instruments, USA | Amplifier | |
| ESP-07 | Shenzhen Anxinke Technology, China | MCU with Wi-Fi module | |
| 74LVC1G3157 | Nexperia, The Netherlands | Multiplexer | |
| MP701435P | Maxpower, China | LiPo battery | |
| U1V10F3 | Pololu, USA | Voltage regulator | |
| Ultimaker 2 | Ultimaker, The Netherlands | 3D printer | |
| ColorFabb XT-CF20 | ColorFabb, The Netherlands | Carbon fiber filament | |
| iPhone 6s Plus | Apple, USA | Data acquisition device | |
| Jelly Belly | Jelly Belly Candy Company, USA | Food texture for user study |
References
- Sharma, A. M., Padwal, R. Obesity is a sign-over-eating is a symptom: an aetiological framework for the assessment and management of obesity. Obes Rev. 11 (5), 362-370 (2010).
- Pi-Sunyer, F. X., et al. Clinical guidelines on the identification, evaluation, and treatment of overweight and obesity in adults. Am J Clin Nutr. 68 (4), 899-917 (1998).
- McCrory, P., Strauss, B., Wahlqvist, M. L. Energy balance, food intake and obesity. Exer Obes. , London. (1994).
- Albinali, F., Intille, S., Haskell, W., Rosenberger, M. Proceedings of the 12th ACM international conference on Ubiquitous computing. , ACM. 311-320 (2010).
- Bonomi, A., Westerterp, K. Advances in physical activity monitoring and lifestyle interventions in obesity: a review. Int J Obes. 36 (2), 167-177 (2012).
- Jung, S., Lee, J., Hyeon, T., Lee, M., Kim, D. H. Fabric-Based Integrated Energy Devices for Wearable Activity Monitors. Adv Mater. 26 (36), 6329-6334 (2014).
- Fulk, G. D., Sazonov, E. Using sensors to measure activity in people with stroke. Top Stroke Rehabil. 18 (6), 746-757 (2011).
- Makeyev, O., Lopez-Meyer, P., Schuckers, S., Besio, W., Sazonov, E. Automatic food intake detection based on swallowing sounds. Biomed Signal Process Control. 7 (6), 649-656 (2012).
- Päßler, S., Fischer, W. Food intake activity detection using an artificial neural network. Biomed Tech (Berl). , (2012).
- Passler, S., Fischer, W. -J. Food intake monitoring: Automated chew event detection in chewing sounds. IEEE J Biomed Health Inform. 18 (1), 278-289 (2014).
- Kadomura, A., et al. CHI'13 Extended Abstracts on Human Factors in Computing Systems. , ACM. 1551-1556 (2013).
- Fontana, J. M., Farooq, M., Sazonov, E. Automatic ingestion monitor: A novel wearable device for monitoring of ingestive behavior. IEEE Trans Biomed Eng. 61 (6), 1772-1779 (2014).
- Shen, Y., Salley, J., Muth, E., Hoover, A. Assessing the Accuracy of a Wrist Motion Tracking Method for Counting Bites across Demographic and Food Variables. IEEE J Biomed Health Inform. , (2016).
- Farooq, M., Sazonov, E. International Conference on Bioinformatics and Biomedical Engineering. , Springer. 464-472 (2017).
- Grigoriadis, A., Johansson, R. S., Trulsson, M. Temporal profile and amplitude of human masseter muscle activity is adapted to food properties during individual chewing cycles. J Oral Rehab. 41 (5), 367-373 (2014).
- Strini, P. J. S. A., Strini, P. J. S. A., de Souza Barbosa, T., Gavião, M. B. D. Assessment of thickness and function of masticatory and cervical muscles in adults with and without temporomandibular disorders. Arch Oral Biol. 58 (9), 1100-1108 (2013).
- Standring, S. Gray's anatomy: the anatomical basis of clinical practice. , Elsevier Health Sciences. (2015).
- Farooq, M., Sazonov, E. A novel wearable device for food intake and physical activity recognition. Sensors. 16 (7), 1067 (2016).
- Zhang, R., Amft, O. Proceedings of the 2016 ACM International Symposium on Wearable Computers. , ACM. 50-52 (2016).
- Farooq, M., Sazonov, E. Segmentation and Characterization of Chewing Bouts by Monitoring Temporalis Muscle Using Smart Glasses with Piezoelectric Sensor. IEEE J Biomed Health Inform. , (2016).
- Huang, Q., Wang, W., Zhang, Q. Your Glasses Know Your Diet: Dietary Monitoring using Electromyography Sensors. IEEE Internet of Things Journal. , (2017).
- Chung, J., et al. A glasses-type wearable device for monitoring the patterns of food intake and facial activity. Scientific Reports. 7, 41690 (2017).
- Cristianini, N., Shawe-Taylor, J. An introduction to support Vector Machines: and other kernel-based learning methods. , Cambridge University Press Cambridge. (2000).
- Giannakopoulos, T., Pikrakis, A. Introduction to Audio Analysis: A MATLAB Approach. , Academic Press. (2014).
- Chang, C. -C., Lin, C. -J. LIBSVM: a library for support vector machines. ACM Trans Intell Syst Technol. 2 (3), 27 (2011).
- Po, J., et al. Time-frequency analysis of chewing activity in the natural environment. J Dent Res. 90 (10), 1206-1210 (2011).
- Ji, T. Frequency and velocity of people walking. Struct Eng. 84 (3), 36-40 (2005).
- Knoblauch, R., Pietrucha, M., Nitzburg, M. Field studies of pedestrian walking speed and start-up time. Transp Res Red. 1538, 27-38 (1996).
