Name: 食品摄取及运动分级智能眼镜的设计与评价 (视频) | JoVE Journal
Uploaded: 2018-02-14T13:00:00.000+00:00
Duration: 7 min 47 s
Description: 学习设计和制造智能眼镜型可穿戴设备，用于自动检测颞肌活动模式以监测进食行为。该方法通过集成负载传感器和电路模块，为神经科学和行为研究提供客观的数据采集工具。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

本工作由 Envisible, Inc. 资助。本研究还得到了韩国卫生技术研究开发项目（Korean Health Technology R&amp;#38;D 项目，卫生部 &amp;#38; 韩国福祉部（HI15C1027）。本研究还得到了韩国国家研究基金会（NRF-2016R1A1A1A05005348）的支持。

注意：所有实验步骤，包括涉及人类受试者的操作，均以非侵入性方式进行，仅需佩戴一副眼镜即可完成。所有数据均通过测量嵌入眼镜中的载荷传感器产生的力信号获得，传感器未与皮肤直接接触。数据通过无线方式传输至数据记录模块，在本研究中该模块为一部指定的智能手机。所有实验方案均不涉及 体内/体外 人体研究。实验未使用任何药物和血液样本。所有受试者均签署了知情同意书。
1. 制造集成传感器的电路模块
<ol>
	<li>购买用于制造电路模块的电子元器件。
	<ol>
		<li>购买两个球型载荷传感器，每个传感器的工作范围为 0 N 至 15 N，在 3.3 V 激励下输出最大跨度为 120 mV 的低差分电压。 
		注意：这些负荷传感器用于测量眼镜左右两侧的力信号。</li>
		<li>购买两个仪表放大器和两个15 kΩ增益设置电阻。 
		注意：仪表放大器和增益设置电阻用于将负荷传感器的力信号放大八倍，最高可达 960 mV。</li>
		<li>购买具有无线功能的微控制器单元（MCU）例如、Wi-Fi 连接）以及一个 10 位模数转换器（ADC）。 
		注意：MCU 用于读取力信号，并通过无线方式将信号传输至数据采集模块。由于一个模拟输入引脚用于两个模拟力信号输入，因此在下一步 1.1.4 中引入多路复用器的使用。</li>
		<li>购买一个双通道模拟多路复用器，以通过微控制器（MCU）上的一个模数转换器（ADC）引脚处理两个输入信号。</li>
		<li>购买一块标称电压为3.7 V、标称容量为300 mAh、放电倍率为1 C的锂聚合物（LiPo）电池。 
		注意：电池容量的选择需确保每小时提供的电流超过 200 mAh，并能可靠地支持系统运行约 1.5 小时的实验时间。</li>
		<li>购买一个3.3 V线性稳压器，用于将3.7 V电池电压线性降压至系统工作电压3.3 V。</li>
		<li>购买五个 12 kΩ 片式贴装器件（SMD）型电阻，用作微控制器单元（MCU）的上拉电阻。该电阻的封装尺寸为 2.0 mm × 1.2 mm（2012 尺寸）。</li>
	</ol>
	</li>
	<li>制作印刷电路板（PCBs）。此步骤涉及绘制电路板并完成布线图设计即，电路板布局（.brd 文件）和原理图（即用于PCB制造的.sch文件）。开发过程中需要具备创建电路图和原理图文件的基本知识。
	<ol>
		<li>使用电子设计应用程序绘制包含电池的左侧电路示意图，如图所示 图1A将结果同时保存为艺术图文件（.brd）和原理图文件（.sch）。</li>
		<li>使用电子设计软件绘制包含MCU的右电路示意图，如图所示 图1B将结果分别保存为艺术图文件（.brd）和原理图文件（.sch）。</li>
		<li>通过向印刷电路板制造公司下订单来制作电路板。</li>
		<li>将步骤1.1中准备好的所有电子元件焊接到PCB上，如图所示。 图2 和 图3. 
		警告：仪器放大器对焊接温度非常敏感。确保烙铁温度不超过 300 °C 焊接时每次持续10秒，否则可能导致元件永久损坏。</li>
	</ol>
	</li>
</ol>
2. 眼镜框架的3D打印
<ol>
	<li>使用3D建模工具绘制眼镜头梁部分的三维模型，如图4A所示。将结果导出为.stl文件格式。</li>
	<li>使用3D建模工具绘制眼镜左右镜腿的三维模型，如图4B和图4C所示。将结果导出为.stl文件格式。</li>
	<li>使用3D打印机和碳纤维耗材，在喷嘴温度240 °C、热床温度80 °C的条件下打印头梁和镜腿部件。 
	注意：可使用任何商用3D打印机以及丙烯腈-丁二烯-苯乙烯（ABS）和聚乳酸（PLA）等各类耗材。喷嘴温度和热床温度可根据耗材类型和打印条件进行调整。</li>
	<li>使用设定温度为180 °C的热风枪加热镜腿末端，并向内弯曲约15度，使其像普通眼镜一样贴合颞肌表皮。 
	注意：镜腿弯曲角度无需十分精确，因为弯曲的主要目的是通过改善眼镜佩戴时的贴合度来提升佩戴舒适性。但需注意，过度弯曲会导致镜腿无法接触颞肌，从而无法采集到有效的信号模式。</li>
	<li>重复步骤2.1–2.4，打印两种不同尺寸的眼镜框架，以适配多种头型尺寸，如图4所示。</li>
</ol>
3. 眼镜各部件的组装
<ol>
	<li>如图5所示，使用M2螺栓将PCB安装在眼镜镜腿的两侧。</li>
	<li>通过将M2螺栓插入铰链接头，组装头架部分与镜腿。</li>
	<li>如图5所示，使用3针连接线将左侧和右侧PCB连接起来。</li>
	<li>将电池连接至左侧电路，并使用胶带将其固定在左镜腿上。电池的安装方向并不关键，因其可能因PCB设计不同而有所变化。</li>
	<li>如图5所示，在镜腿末端和鼻托处覆盖橡胶胶带，以增加与人体皮肤之间的摩擦力。</li>
</ol>
4. 数据采集系统的开发
注意：数据采集系统由数据发送模块和数据接收模块组成。数据发送模块读取两侧的时间和力信号，然后将其发送至数据接收模块，后者收集接收到的数据并将其写入 .tsv 文件中。
<ol>
	<li>按照步骤 4.1.1–4.1.3 中的程序将数据传输应用程序上传到 PCB 模块的微控制器单元（MCU）中。
	<ol>
		<li>使用计算机运行补充文件中附带的“GlasSense_Server”项目。 
		注意：该项目使用 Arduino 集成开发环境（IDE）构建，能够以每秒 200 个样本的速率读取时间和力信号，并将这些信号传输至数据接收模块。</li>
		<li>通过通用串行总线（USB）连接器将 PCB 模块连接到计算机。</li>
		<li>在 Arduino IDE 上点击“上传”按钮，将步骤 4.1.1 中的程序代码烧录至 MCU 中。</li>
	</ol>
	</li>
	<li>按照步骤 4.2.1–4.2.3 中的程序将数据接收应用程序上传至智能手机，用于无线接收数据。
	<ol>
		<li>使用计算机运行补充文件中附带的“GlasSense_Client”项目。 
		注意：该项目使用 C# 编程语言构建，具备接收数据并保存 .tsv 文件的功能，文件中包含受试者的信息，如姓名、性别、年龄和体重指数（BMI）。</li>
		<li>通过 USB 连接器将智能手机连接到计算机，以构建数据接收应用程序。</li>
		<li>在 C# 项目中点击“文件 &gt; 构建并运行”按钮，将数据接收应用程序构建并部署至智能手机。</li>
	</ol>
	</li>
</ol>
5. 用户研究的数据收集
注意：本研究采集了六种特征性活动数据集：静坐休息（SR）、静坐咀嚼（SC）、步行（W）、边走边咀嚼（CW）、静坐说话（ST）和静坐眨眼（SW）。
<ol>
	<li>选择一副适合待测使用者尺寸的眼镜，通过两侧铰链处的支撑螺栓调节松紧度（图5）。 
	注意：施加的力值不得超过15 N，因为本研究中使用的力传感器在超出工作范围后可能会失去良好的线性特性。可通过松开或拧紧支撑螺栓来微调力值。</li>
	<li>按下第4.2.3步中构建的应用程序中的“Record”按钮，记录所有受试者的活动。
	<ol>
		<li>记录持续120秒的活动区块，并生成相应的记录文件。
		<ol>
			<li>对于静息状态（SR），让受试者坐在椅子上使用智能手机或阅读书籍。允许头部移动，但避免全身移动。</li>
			<li>对于咀嚼（SC）和行走中咀嚼（CW）情况，让受试者食用两种不同质地的食物（烤面包和咀嚼果冻），以反映不同的食物特性。将烤面包切成20 mm × 20 mm的片状，此尺寸适合食用。</li>
			<li>对于行走（W）情况，让受试者在跑步机上以4.5 km/h的速度行走。</li>
			<li>对于朗读（ST）情况，让受试者坐下，并以正常音调和语速大声朗读书籍。</li>
			<li>对于眨眼（SW）情况，告知受试者在每3秒一次、持续0.5秒的铃声提示时眨眼。</li>
		</ol>
		</li>
		<li>将第5.2.1步收集的数据生成.tsv格式的记录文件。 
		说明：该文件包含数据接收时间序列、左侧力信号、右侧力信号以及表示当前面部活动的标签。用户在一个区块内所有活动的时间信号可视化结果如图6所示。六种特征活动集（SR、SC、W、CW、ST和SW）分别标记为1、2、3、4、5和6。这些标签用于在本方案第8节中比较预测类别。</li>
		<li>记录区块结束后休息60秒。休息期间取下眼镜，当记录区块重新开始时再次佩戴。</li>
		<li>对每种活动重复执行第5.2.1和5.2.2步的“记录-休息”组合四次。</li>
		<li>对于SW情况，在一个区块中让受试者反复用左眼眨眼，下一个区块中则反复用右眼眨眼。</li>
	</ol>
	</li>
	<li>重复步骤5.1–5.2，从10名受试者中收集数据。本研究纳入了5名男性和5名女性，平均年龄为27.9 ± 4.3（标准差；s.d.）岁，年龄范围为19–33岁，平均BMI为21.6 ± 3.2（s.d.）kg/m2，范围为17.9–27.4 kg/m2。 
	说明：本研究招募的受试者均无影响咀嚼、眨眼或行走的医学状况，此条件作为纳入标准。</li>
</ol>
6. 信号预处理与分割
注意：在以下步骤中，左侧和右侧信号将分别进行计算。
<ol>
	<li>准备一系列时长为2秒的时间帧。
	<ol>
		<li>使用 MATLAB 将记录的 120 秒信号以 1 秒为步长切分为一系列 2 秒的帧，如图所示。 图6. 
		注意：在第7节中，使用时长为2秒的分段帧来提取特征。通过步骤5.2.1中已提及的3秒眨眼间隔，确定了1秒的帧移大小，用于分割信号。</li>
		<li>使用5th 10 Hz 截止频率的巴特沃斯滤波器，每帧处理一次</li>
		<li>将步骤6.1.2的结果保存，作为步骤7.1后续操作的时间帧。</li>
	</ol>
	</li>
	<li>准备一系列光谱帧。
	<ol>
		<li>从每帧的原始信号中减去中位数，以消除佩戴眼镜时的预加载。 
		注意：由于以下频率分析不包含任何关于咀嚼、行走、眨眼的信息，因此不需要预载荷值。 等等。 然而，它可能包含大量信息，这些信息因受试者而异，因眼镜设置的不同而不同，甚至因受试者佩戴眼镜的时刻不同而有所变化。</li>
		<li>对每一帧应用汉宁窗，以减少频谱分析中的频谱泄漏。</li>
		<li>通过对每一帧应用快速傅里叶变换（FFT）生成并保存单边谱。</li>
	</ol>
	</li>
	<li>将同一时间点的时间帧和频谱帧的组合定义为一个帧块（或简称为帧）。</li>
</ol>
7. 特征向量的生成
注意：每个在本方案第6节中生成的帧都会产生一个特征向量。左右帧分别进行计算，然后在后续步骤中合并为一个特征向量。所有步骤均在MATLAB中实现。
<ol>
	<li>按照方案第6.1步，从时域帧中提取统计特征。总共54个特征的列表见表1。</li>
	<li>按照方案第6.2步，从频谱帧中提取统计特征。总共30个特征的列表见表2。</li>
	<li>通过组合上述时域和频谱特征，生成一个84维的特征向量。</li>
	<li>对来自第5.2步录音数据生成的特征向量进行标注。</li>
	<li>对所有帧块重复执行7.1–7.4步，生成一系列特征向量。</li>
</ol>
8. 将活动分类为类别
注意：此步骤用于选择支持向量机（SVM）的分类器模型23 通过确定能从给定问题中表现出最佳准确性的参数（即， 特征向量）。支持向量机（SVM）是一种著名的有监督机器学习技术，通过类间最大间隔和核函数，在泛化能力和鲁棒性方面表现出色。我们采用网格搜索和交叉验证方法来确定径向基函数（RBF）核的惩罚参数 C 和核参数 γ。执行以下操作需具备机器学习技术及支持向量机的基本理解。部分参考材料23,24,25 建议了解机器学习技术及支持向量机（SVM）算法，以更好理解本部分内容。本节所有步骤均使用 LibSVM 实现。25 软件包
<ol>
	<li>定义用于网格搜索的 (C, γ) 参数对网格。C 使用指数增长序列（2-10, 2-5, …, 230) 和 γ (2-30, 2-25, …, 210). 
	注意：这些序列是通过经验方法确定的。</li>
	<li>定义一对 (C, γ)例如, (2-10, 2-30)).</li>
	<li>针对第8.2步中定义的网格，执行10折交叉验证方案。 
	注意：该方案将全部特征向量分为10个子集，然后使用其余子集训练的分类器模型对其中一个子集进行测试，并依次对所有子集重复此过程。因此，每个特征向量均可被依次测试。
	<ol>
		<li>将整个特征向量划分为10个部分子集。</li>
		<li>从一个子集中定义测试集，从其余9个子集中定义训练集。</li>
		<li>为训练集定义一个尺度向量，将特征向量的所有元素缩放到 [0, 1] 范围内。 
		注意：尺度向量与特征向量具有相同的维度。它由一组乘数组成，用于将所有特征向量的同一行（或列）线性缩放到 [0, 1] 范围内。例如，训练集中的所有特征向量的第一个特征将被线性缩放到 [0, 1] 范围。需要注意的是，尺度向量是从训练集中确定的，因为测试集应被视为未知。该步骤通过使各特征处于相同数值范围，避免计算过程中的数值误差，从而提高分类的准确性。</li>
		<li>使用步骤 8.2.3 中获得的缩放向量，将训练集的每个特征缩放到 [0, 1] 范围内。</li>
		<li>使用步骤 8.2.3 中获得的尺度向量，将测试集的每个特征缩放到 [0, 1] 范围内。</li>
		<li>通过第8.2步中定义的(C, γ)参数对，使用支持向量机（SVM）训练训练集，并构建分类器模型。</li>
		<li>通过第8.2步中定义的（C, γ）参数对和训练过程获得的分类器模型，对测试集进行SVM测试。</li>
		<li>在测试集上计算分类准确率。准确率通过正确分类的特征向量所占的百分比计算得出。</li>
		<li>对所有子集重复步骤 8.2.2–8.2.8，并计算所有子集的平均准确率。</li>
	</ol>
	</li>
	<li>对每一对 (C, γ) 的所有网格点重复步骤 8.2–8.3.9。</li>
	<li>找到网格中最高准确率的局部最大值。第8节中的所有步骤均在下文示意图中展示。 图7.</li>
	<li>（可选）如果认为网格步长较粗，可在步骤 8.5 找到的局部极大值附近使用更细的网格重复步骤 8.1–8.5，并确定细网格下的新局部极大值。</li>
	<li>计算精确率、召回率和 F1 根据以下公式计算每类活动的得分： 
	<img alt="精确度公式，TP/(TP+ΣFP)，用于数据分析准确度测量的数学方程。" src="/files/ftp_upload/56633/56633eq1.jpg" data-altupdatedat="1788250015000" data-alt="公式 1">                                   公式 1 
	<img alt="召回率公式 TP/(TP+ΣFN)，用于数据分析与统计评估中的精确率-召回率方程" src="/files/ftp_upload/56633/56633eq2.jpg" data-altupdatedat="1788250015000" data-alt="公式 2">                                             公式 2 
	<img alt="F1 分数公式：2 × (精确率 × 召回率) / (精确率 + 召回率)。数学表达式示意图。" src="/files/ftp_upload/56633/56633eq3.jpg" data-altupdatedat="1788250015000" data-alt="公式 3">          公式 3 
	其中 TP、FP 和 FN 分别表示每种活动的真阳性、假阳性和假阴性。所有活动的混淆矩阵如下所示 表3.</li>
</ol>

<ol><li>Sharma, A. M., Padwal, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Obesity+is+a+sign-over-eating+is+a+symptom%3A+an+aetiological+framework+for+the+assessment+and+management+of+obesity%5BTitle%5D)+AND+%22Obes+Rev%22%5BJournal%5D)">Obesity is a sign-over-eating is a symptom: an aetiological framework for the assessment and management of obesity.</a> Obes Rev. 11 (5), 362-370 (2010).</li>
<li>Pi-Sunyer, F. X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Clinical+guidelines+on+the+identification%2C+evaluation%2C+and+treatment+of+overweight+and+obesity+in+adults%5BTitle%5D)+AND+%22Am+J+Clin+Nutr%22%5BJournal%5D)">Clinical guidelines on the identification, evaluation, and treatment of overweight and obesity in adults.</a> Am J Clin Nutr. 68 (4), 899-917 (1998).</li>
<li>McCrory, P., Strauss, B., Wahlqvist, M. L. <a target="_blank" href="http://apjcn.nhri.org.tw/server/markwpapers/BookChapters/B074x.pdf">Energy balance, food intake and obesity.</a> Exer Obes. , London. (1994).</li>
<li>Albinali, F., Intille, S., Haskell, W., Rosenberger, M. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aAlbinali%2C+F+%22Proceedings+of+the+12th+ACM+international+conference+on+Ubiquitous+computing%22">Proceedings of the 12th ACM international conference on Ubiquitous computing</a>. , ACM. 311-320 (2010).</li>
<li>Bonomi, A., Westerterp, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Advances+in+physical+activity+monitoring+and+lifestyle+interventions+in+obesity%3A+a+review%5BTitle%5D)+AND+%22Int+J+Obes%22%5BJournal%5D)">Advances in physical activity monitoring and lifestyle interventions in obesity: a review.</a> Int J Obes. 36 (2), 167-177 (2012).</li>
<li>Jung, S., Lee, J., Hyeon, T., Lee, M., Kim, D. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fabric-Based+Integrated+Energy+Devices+for+Wearable+Activity+Monitors%5BTitle%5D)+AND+%22Adv+Mater%22%5BJournal%5D)">Fabric-Based Integrated Energy Devices for Wearable Activity Monitors.</a> Adv Mater. 26 (36), 6329-6334 (2014).</li>
<li>Fulk, G. D., Sazonov, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Using+sensors+to+measure+activity+in+people+with+stroke%5BTitle%5D)+AND+%22Top+Stroke+Rehabil%22%5BJournal%5D)">Using sensors to measure activity in people with stroke.</a> Top Stroke Rehabil. 18 (6), 746-757 (2011).</li>
<li>Makeyev, O., Lopez-Meyer, P., Schuckers, S., Besio, W., Sazonov, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+food+intake+detection+based+on+swallowing+sounds%5BTitle%5D)+AND+%22Biomed+Signal+Process+Control%22%5BJournal%5D)">Automatic food intake detection based on swallowing sounds.</a> Biomed Signal Process Control. 7 (6), 649-656 (2012).</li>
<li>Päßler, S., Fischer, W. <a target="_blank" href="https://www.degruyter.com/view/j/bmte.2012.57.issue-s1-F/bmt-2012-4092/bmt-2012-4092.xml">Food intake activity detection using an artificial neural network.</a> Biomed Tech (Berl). , (2012).</li>
<li>Passler, S., Fischer, W. -J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+intake+monitoring%3A+Automated+chew+event+detection+in+chewing+sounds%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Food intake monitoring: Automated chew event detection in chewing sounds.</a> IEEE J Biomed Health Inform. 18 (1), 278-289 (2014).</li>
<li>Kadomura, A., et al. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aKadomura%2C+A+%22CHI%2713+Extended+Abstracts+on+Human+Factors+in+Computing+Systems%22">CHI'13 Extended Abstracts on Human Factors in Computing Systems</a>. , ACM. 1551-1556 (2013).</li>
<li>Fontana, J. M., Farooq, M., Sazonov, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+ingestion+monitor%3A+A+novel+wearable+device+for+monitoring+of+ingestive+behavior%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">Automatic ingestion monitor: A novel wearable device for monitoring of ingestive behavior.</a> IEEE Trans Biomed Eng. 61 (6), 1772-1779 (2014).</li>
<li>Shen, Y., Salley, J., Muth, E., Hoover, A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessing+the+Accuracy+of+a+Wrist+Motion+Tracking+Method+for+Counting+Bites+across+Demographic+and+Food+Variables%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Assessing the Accuracy of a Wrist Motion Tracking Method for Counting Bites across Demographic and Food Variables.</a> IEEE J Biomed Health Inform. , (2016).</li>
<li>Farooq, M., Sazonov, E. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aFarooq%2C+M+%22International+Conference+on+Bioinformatics+and+Biomedical+Engineering%22">International Conference on Bioinformatics and Biomedical Engineering</a>. , Springer. 464-472 (2017).</li>
<li>Grigoriadis, A., Johansson, R. S., Trulsson, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Temporal+profile+and+amplitude+of+human+masseter+muscle+activity+is+adapted+to+food+properties+during+individual+chewing+cycles%5BTitle%5D)+AND+%22J+Oral+Rehab%22%5BJournal%5D)">Temporal profile and amplitude of human masseter muscle activity is adapted to food properties during individual chewing cycles.</a> J Oral Rehab. 41 (5), 367-373 (2014).</li>
<li>Strini, P. J. S. A., Strini, P. J. S. A., de Souza Barbosa, T., Gavião, M. B. D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Assessment+of+thickness+and+function+of+masticatory+and+cervical+muscles+in+adults+with+and+without+temporomandibular+disorders%5BTitle%5D)+AND+%22Arch+Oral+Biol%22%5BJournal%5D)">Assessment of thickness and function of masticatory and cervical muscles in adults with and without temporomandibular disorders.</a> Arch Oral Biol. 58 (9), 1100-1108 (2013).</li>
<li>Standring, S. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aStandring%2C+S+%22Gray%27s+anatomy%3A+the+anatomical+basis+of+clinical+practice%22">Gray's anatomy: the anatomical basis of clinical practice</a>. , Elsevier Health Sciences. (2015).</li>
<li>Farooq, M., Sazonov, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+wearable+device+for+food+intake+and+physical+activity+recognition%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">A novel wearable device for food intake and physical activity recognition.</a> Sensors. 16 (7), 1067(2016).</li>
<li>Zhang, R., Amft, O. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aZhang%2C+R+%22Proceedings+of+the+2016+ACM+International+Symposium+on+Wearable+Computers%22">Proceedings of the 2016 ACM International Symposium on Wearable Computers</a>. , ACM. 50-52 (2016).</li>
<li>Farooq, M., Sazonov, E. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Segmentation+and+Characterization+of+Chewing+Bouts+by+Monitoring+Temporalis+Muscle+Using+Smart+Glasses+with+Piezoelectric+Sensor%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Segmentation and Characterization of Chewing Bouts by Monitoring Temporalis Muscle Using Smart Glasses with Piezoelectric Sensor.</a> IEEE J Biomed Health Inform. , (2016).</li>
<li>Huang, Q., Wang, W., Zhang, Q. <a target="_blank" href="http://ieeexplore.ieee.org/document/7828094/">Your Glasses Know Your Diet: Dietary Monitoring using Electromyography Sensors.</a> IEEE Internet of Things Journal. , (2017).</li>
<li>Chung, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+glasses-type+wearable+device+for+monitoring+the+patterns+of+food+intake+and+facial+activity%5BTitle%5D)+AND+%22Scientific+Reports%22%5BJournal%5D)">A glasses-type wearable device for monitoring the patterns of food intake and facial activity.</a> Scientific Reports. 7, 41690(2017).</li>
<li>Cristianini, N., Shawe-Taylor, J. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aCristianini%2C+N+%22An+introduction+to+support+Vector+Machines%3A+and+other+kernel-based+learning+methods%22">An introduction to support Vector Machines: and other kernel-based learning methods</a>. , Cambridge University Press Cambridge. (2000).</li>
<li>Giannakopoulos, T., Pikrakis, A. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aGiannakopoulos%2C+T+%22Introduction+to+Audio+Analysis%3A+A+MATLAB+Approach%22">Introduction to Audio Analysis: A MATLAB Approach</a>. , Academic Press. (2014).</li>
<li>Chang, C. -C., Lin, C. -J. <a target="_blank" href="http://dns2.asia.edu.tw/~ysho/YSHO-English/1000%20Taiwan%20(Independent)/PDF/ACM%20Tra%20Int%20Sys%20Tec2,%2027.pdf">LIBSVM: a library for support vector machines.</a> ACM Trans Intell Syst Technol. 2 (3), 27(2011).</li>
<li>Po, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Time-frequency+analysis+of+chewing+activity+in+the+natural+environment%5BTitle%5D)+AND+%22J+Dent+Res%22%5BJournal%5D)">Time-frequency analysis of chewing activity in the natural environment.</a> J Dent Res. 90 (10), 1206-1210 (2011).</li>
<li>Ji, T. <a target="_blank" href="https://www.istructe.org/journal/volumes/volume-83-(published-in-2005)/issues/issue-3/articles/frequency-and-velocity-of-people-walking">Frequency and velocity of people walking.</a> Struct Eng. 84 (3), 36-40 (2005).</li>
<li>Knoblauch, R., Pietrucha, M., Nitzburg, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Field+studies+of+pedestrian+walking+speed+and+start-up+time%5BTitle%5D)+AND+%22Transp+Res+Red%22%5BJournal%5D)">Field studies of pedestrian walking speed and start-up time.</a> Transp Res Red. 1538, 27-38 (1996).</li>
</ol>

作者无任何利益冲突需要披露。

在本研究中，我们首次提出了用于感知进食模式和身体活动的眼镜设计与制造流程。由于本研究主要关注通过数据分析来区分进食与其他身体活动（如行走和眨眼），因此传感器与数据采集系统需要具备移动记录功能。系统包括传感器、具备无线通信能力的微控制器单元（MCU）以及电池。所提出的方案提供了一种新颖且实用的非接触式方法，用于测量因进食和眨眼引起的颞肌活动模式：文中描述了无需任何繁琐设备即可在日常生活中便捷检测进食的工具与方法。
在制造眼镜的过程中，有一些重要的注意事项。镜腿部分应设计为可集成步骤1.2中制备的PCB模块，如图4B和图4C所示。当设备佩戴就位时，应将负荷传感器放置在受力位置，使其被头件支撑板上的支撑螺栓压紧，如图5中铰链部分的顶视图所示。在步骤2.4中，眼镜镜腿的弯曲程度无需过于严格，因为弯曲的主要目的是改善外形因数，使眼镜更贴合受试者的头部。但需注意，过度弯曲会导致镜腿无法接触颞肌，从而无法采集到显著的信...

持续且客观地监测食物摄入量对于维持人体能量平衡至关重要，因为过量的能量积累可能导致超重和肥胖1，进而引发多种医学并发症2。已知导致能量失衡的主要因素包括食物摄入过多和体力活动不足3。针对日常能量消耗的监测，已有多种研究通过可穿戴设备实现对体力活动模式的自动且客观的测量4,5,6，甚至已应用于终端消费者层面和医学阶段7。然而，关于食物摄入监测的研究仍局限于实验室环境，因为难以以直接且客观的方式检测进食行为。本文旨在介绍一种可用于日常生活中实际监测进食行为和体力活动模式的设备设计及其评估方法。
已有多种间接方法通过咀嚼和吞咽声音8,9,10、手腕运动11,12,13、图像分析14以及肌电图（EMG）15来监测食物摄入。然而，由于这些方法本身存在局限性，难以应用于日常生活：基于声音的方法易受环境噪声干扰；基于手腕运动的方法在非进食状态下的其他身体活动期间难以区分；而基于图像和EMG信号的方法则受到活动范围和环境条件的限制。这些研究展示了利用传感器自动检测食物摄入的可行性，但在实验室环境之外的实际日常应用中仍存在局限性。
在本研究中，我们利用颞肌活动的模式来自动且客观地监测进食行为。通常情况下，颞肌作为咀嚼肌的一部分，在进食过程中会重复发生收缩与舒张16,17；因此，通过检测颞肌活动的周期性模式，即可实现对进食行为的监测。近年来已有若干研究利用颞肌活动进行监测18,19,20,21，这些研究采用肌电图（EMG）或压电应变传感器，并将其直接贴附于人体皮肤表面。然而，这类方法对EMG电极或应变传感器在皮肤上的位置较为敏感，且由于身体活动或出汗容易导致传感器从皮肤上脱落。因此，在我们之前的研究中22，提出了一种新颖而有效的方法，即使用一副眼镜，在其两侧铰链中嵌入两个负荷传感器，以感知颞肌的活动。该方法展现出高精度检测进食行为的巨大潜力，且无需接触皮肤。此外，由于采用的是常见的眼镜式装置，该方法具有良好的隐蔽性和非侵入性。
本研究中，我们介绍了一系列详细的实验方案，用于实现眼镜式设备，并利用颞肌活动模式来监测食物摄入和身体活动。该方案包括硬件设计与制作流程，涵盖3D打印的眼镜框架、电路模块和数据采集模块，以及用于数据处理与分析的软件算法。此外，我们还对多种典型活动（例如，咀嚼、行走和眨眼）进行了分类分析，以验证该系统作为实用工具的潜力，能够精确区分食物摄入与其他身体活动模式之间的细微差异。

<table><tbody><tr><td>FSS1500NSB</td><td>霍尼韦尔，美国</td><td></td><td>加载细胞</td></tr><tr><td>INA125U</td><td>德州仪器公司，美国</td><td></td><td>放大器</td></tr><tr><td>ESP-07</td><td>中国深圳安心科科技有限公司</td><td></td><td>带 Wi-Fi 模块的 MCU</td></tr><tr><td>74LVC1G3157</td><td>荷兰Nexperia公司</td><td></td><td>多路复用器</td></tr><tr><td>MP701435P</td><td>中国台湾，Maxpower</td><td></td><td>锂离子电池</td></tr><tr><td>U1V10F3</td><td>Pololu，美国</td><td></td><td>电压调节器</td></tr><tr><td>Ultimaker 2</td><td>Ultimaker，荷兰</td><td></td><td>3D 打印机</td></tr><tr><td>ColorFabb XT-CF20</td><td>ColorFabb，荷兰</td><td></td><td>碳纤维丝</td></tr><tr><td>iPhone 6s Plus</td><td>美国苹果公司</td><td></td><td>数据采集设备</td></tr><tr><td>Jelly Belly</td><td>Jelly Belly Candy Company，美国</td><td></td><td>用户研究用食品质构</td></tr></tbody></table>

用于食物摄入与身体活动分类的智能眼镜设计与评估

Design and Evaluation of Smart Glasses for Food Intake and Physical Activity Classification

本研究介绍了一系列用于设计和制造一种可穿戴眼镜式设备的方案，该设备可检测进食及其他身体活动过程中颞肌活动的模式。我们制作了3D打印的眼镜框架，并在框架的两个铰链处插入了集成负载传感器的印刷电路板（PCB）模块。该模块用于采集力信号并实现无线传输。这些设计使系统具备更高的移动性，可在实际佩戴条件下（如行走和头部晃动）进行评估。此外，通过区分进食活动与其他身体活动的信号模式，对系统的分类性能进行了评估。采用一系列算法对信号进行预处理，生成特征向量，并识别多种特征性活动（如咀嚼和眨眼）以及其他身体活动（如静坐休息、说话和行走）的模式。结果显示，特征性活动之间的分类平均F1得分为91.4%。我们认为，该方法有望作为一种实用手段，实现对摄食行为更准确的自动、客观监测，从而用于治疗摄食相关问题。

根据本实验方案所述步骤，我们通过改变头带长度 LH（133 和 138 mm）以及镜腿长度 LT（110 和 125 mm），制备了两种版本的 3D 打印框架，如图 4所示。因此，可适应多种佩戴条件，以应对受试者头部尺寸、形状等个体差异。etc. 受试者在用户研究中选择其中一副框架以适配其头部。铰链关节与支撑螺栓孔之间的垂直距离 Lh 设定为 7.5 mm，以确保放大后的力不超过 15 N，该值处于负荷传感器的线性工作范围内。最后，头带应具备足够的厚度 tH，以承受装配时两个支撑螺栓传递的弯矩。通过经验方法并结合碳纤维材料的使用，我们选择 tH 为 6 mm。如图 5所示，可通过支撑螺栓调节接触点，以微调眼镜的佩戴紧度。
<p class="jove_content" fo:keep-together.within-pa...

本研究介绍了一种设计和制造可穿戴眼镜设备的方案，该设备通过在眼镜两个铰链处安装的载荷传感器，检测进食模式及其他特定身体活动。

本研究介绍了一系列设计和制造可穿戴眼镜式设备的方案，该设备用于检测颞肌活动模式……

本实验的主要目标是设计并制造一种可穿戴式眼镜设备，用于检测进食及其他身体活动过程中颞肌活动的模式。该方法有助于解决摄食行为监测领域中的关键问题，例如餐中进食检测。该技术的主要优势在于，能够利用一副眼镜自动且客观地检测进食过程中颞肌活动的模式。本公司的机械工程师 Wonjoon Oh 将演示制造流程。数据采集流程将由本公司 Hak Yung Gu 完成。实验的关键在于必须制造的电路模块。有两个，分别用于一副眼镜的左 temple 和右 temple。左侧模块包含一个负荷传感器、连接器、仪表放大器、稳压器和电池连接器。右侧模块包含一个带有WiFi、UART连接器、多路复用器、放大器、连接器和负荷传感器的微控制器。除了电路部分，还需要制作眼镜框架。框架必须能够支撑印刷电路板模块。制作镜架时，使用 3-D 建模工具绘制眼镜的镜框部分及其两个镜腿的模型。将该模型导出为 CAD 的立体光刻文件（STL 文件），用于 3-D 打印。打印镜架部件时，使用碳纤维丝材，喷嘴温度设为 250 摄氏度，热床温度设为 80 摄氏度。打印完成后，将镜腿向内弯曲。使用设定为180摄氏度的热风枪加热部件，加热后将镜腿向内弯曲约15度。继续操作前，将每侧镜腿向内弯曲。收集所有部件以组装眼镜，包括左侧和右侧印刷电路板、左侧和右侧镜腿，以及一个头带部件。从右侧镜腿组件开始。将右侧电路板插入右侧镜腿中，并用螺栓固定。以相同方式固定左侧电路板和左镜腿。接下来，将头带与其中一个镜腿在相应的铰链接头处连接，并用螺栓固定。然后将另一侧镜腿连接到头带上。完成后，使用3针连接线将左、右电路连接起来。在此设计中，将电池连接至左电路，并用胶带固定。通过在镜片边缘和鼻托处粘贴橡胶带以增加佩戴者的摩擦力，从而完善眼镜的装配。此时，准备进行数据采集。在计算机上运行GlasSense_Server项目，并通过USB连接镜架电路模块。将GlasSense_Server软件烧录至微控制器中。本项目使用智能手机接收数据。在计算机上运行GlasSense_Client软件，并通过USB连接智能手机。在智能手机上构建数据接收应用程序。研究中需确定一名受试者，并选择合适尺寸的眼镜。让受试者试戴眼镜。如有必要，可使用框架上的支撑螺栓微调适配度。下一步是让受试者在进行不同活动时采集数据。对于静息状态活动，让受试者佩戴眼镜坐在椅子上阅读。使用智能手机应用程序记录120秒的活动。允许头部运动，但避免全身运动。120秒后，停止记录并取下眼镜，休息60秒。重复记录数据并休息四次。对于步行活动，采用类似步骤：让受试者站在跑步机上并佩戴眼镜。将跑步机速度设为 4.5 km/h，让受试者记录 120 秒。完成后，摘下眼镜休息60秒。此外，还包括静坐咀嚼和行走中咀嚼活动。对于这些活动，准备20×20 mm的烤面包方块，并备好咀嚼软糖。根据情况安排受试者坐于或站在跑步机上，将食物放置在附近。受试者佩戴眼镜后，开始活动并记录数据。让受试者在正常咀嚼的同时进食面包。120 秒后，摘下眼镜休息 60 秒。接着进行一项静坐交谈活动。在此期间，让受试者以正常语调和语速坐着朗读书籍，同时采集数据。在静息眨眼活动中，安排受试者在每三秒响起一次的铃声刺激下做出眨眼反应。这些数据来自一名受试者执行每项活动时的记录。横轴表示时间为秒。每条垂直轴表示十次测量中位数被减去后的实测力值。蓝色曲线代表面部左侧，红色曲线代表面部右侧。正如预期，与静息、静坐说话和行走活动相比，咀嚼活动的最大振幅明显更大。此类数据被转化为机器学习分类技术的输入。经过每次改进后，该技术有望作为一种实用手段，以更高的准确率实现对摄食行为的自动且客观的监测，从而用于治疗摄食相关问题。

design-evaluation-smart-glasses-for-food-intake-physical-activity

Research

科研

JoVE Journal

Engineering

工程

食品摄取及运动分级智能眼镜的设计与评价

已开发出一种针对可穿戴移动监测系统（WMMS）的标准化评估方法，该方法包含在真实日常生活环境中进行的连续性活动。使用一系列日常生活活动进行测试可能会降低活动识别的敏感性；因此，建议采用贴近现实的测试流程，以有效评估WMMS的性能。...

在日常生活环境中的基于智能手机的人体活动识别系统评估

受试者从放置在与计算机相连的电子秤上的盘子中进食，计算机记录用餐过程中盘子的重量变化。计算机屏幕上的反馈信息使受试者能够根据参考曲线调整其进食行为，从而实现体重的正常化。...

使用新型反馈系统控制进食行为

使用多模态传感器是理解社交互动在教育环境中作用的一种有前景的方法。本文描述了一种利用移动眼动仪捕捉共处一地的成对个体之间共同视觉注意的实验方法。...

使用移动眼动仪捕捉联合视觉注意的方法学

本方案阐述了一种用于沉浸式分析的混合现实应用程序的技术设置。在此基础上，介绍了一项研究中所采用的评估方法，以深入了解该技术解决方案的可用性方面。...

评估面向工业4.0场景的混合现实沉浸式分析解决方案的可用性特征

本文所展示工作的目标是开发一种技术，用于从移动设备拍摄的图像中自动识别食物和饮料种类。该技术包含两种不同方法——第一种方法执行食物图像识别，第二种方法执行食物图像分割。...

基于图像的饮食评估深度神经网络

本文介绍了基于智能手机的创新饮食评估应用程序Traqq的开发方案，包括专家评估和可用性测试。...

基于智能手机的创新膳食评估工具的迭代开发：Traqq

本方案展示并阐述了一种基于新技术的膳食评估方法。该方法包括一个内置多个称重传感器和一个视频摄像机的餐盘。该设备的独特之处在于，它能够在一餐过程中自动测量食物和饮料的摄入量以及进食行为。...

概念开发与自动化食物摄入及进食行为评估方法的应用

本文讨论了如何利用消费级设备和稳态视觉诱发电位构建脑机接口。为此，将采用干电极的单通道脑电图仪与用于刺激呈现和输出数据可视化的增强现实眼镜相结合。最终系统具有非侵入性、可穿戴性和便携性。...

用于工业与医疗的单通道非侵入式可穿戴脑-机接口

本文提出了一种基于人工智能的系统，用于自动检测学生是否在专心听课或注意力分散。该系统旨在帮助教师维持学生的注意力，优化课程内容，并动态引入调整，以提高课堂的吸引力。...

基于人工智能的学生注意力水平检测系统

可穿戴技术成本较低，且便于对生理数据进行监测。然而，这些设备的准确性和可靠性需要谨慎评估，以确保其对用户的有效性和安全性。本报告描述了一款商用智能手表在监测生理数据和身体活动方面的验证过程。...

评估智能健身手表在心血管和身体活动监测中的数据准确性：一项数字健康领域的验证研究

学习设计和制造智能眼镜型可穿戴设备，用于自动检测颞肌活动模式以监测进食行为。该方法通过集成负载传感器和电路模块，为神经科学和行为研究提供客观的数据采集工具。

用于食物摄入与身体活动分类的智能眼镜设计与评估

探索更多视频