Name: 基于图像的饮食评估深度神经网络 (视频) | JoVE Journal
Uploaded: 2021-03-13T15:00:00.000+00:00
Duration: 13 min 19 s
Description: 学习基于深度神经网络的食物图像识别与分割技术，用于自动化膳食评估。该方法利用智能手机图像采集，通过数据增强和模型训练，实现高效准确的饮食记录与分析。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者谨此感谢澳大利亚纽卡斯尔大学的 Tamara Bucher 提供虚假食物图像数据集。本研究由欧盟“地平线2020”科研与创新计划（资助编号 863059 - FNS-Cloud，769661 - SAAM）以及斯洛文尼亚研究署（资助编号 P2-0098）资助。欧盟和斯洛文尼亚研究署在本文的设计、分析或撰写过程中未发挥任何作用。

1. 使用 NutriNet 进行食物图像识别
<ol>
	<li>获取食物图像数据集
	<ol>
		<li>收集一份不同的食物和饮料列表，这些食物和饮料将作为食物图像识别模型的输出类别。建议选择种类多样的流行食物和饮料，以便训练出鲁棒性强的食物图像识别模型。</li>
		<li>将食物和饮料列表保存为文本文件（例如“txt”或“csv”格式）。 
		注意：本文作者所使用的文本文件可在补充材料中找到（“food_items.txt”），其中包含520种斯洛文尼亚食物的列表。</li>
		<li>编写或下载一个 Python43 脚本，利用 Google Custom Search API44 从列表中的每一项食物下载图像，并将每类食物的图像分别保存到独立的文件夹中。 
		&#8203;注意：本文作者所使用的 Python 脚本可在补充材料中找到（“download_images.py”）。若使用该脚本，需将脚本中的开发者密钥（变量“developerKey”，Python 脚本第8行）和自定义搜索引擎ID（变量“cx”，Python 脚本第28行）替换为所用 Google 账户对应的值。</li>
		<li>运行步骤1.1.3中的 Python 脚本（例如，使用命令：“python download_images.py”）。</li>
	</ol>
	</li>
	<li>（可选）清理食物图像数据集
	<ol>
		<li>以与第1.4节相同的方式训练一个食物图像检测模型，但输出类别仅设为两个（食物、非食物），而非步骤1.1.1中的输出列表。 
		注意：本文作者使用来自食谱网站和 ImageNet 数据集45 的图像组合来训练食物图像检测模型。由于本研究重点在于食物图像识别，且此步骤为数据集清理的可选操作，因此省略了进一步的细节。有关该方法的更多说明，可参见 Mezgec 等人2 的研究。</li>
		<li>将步骤1.2.1中训练的检测模型应用于步骤1.1.4生成的食物图像数据集。</li>
		<li>删除被步骤1.2.1中的检测模型标记为“非食物”的所有图像。</li>
		<li>人工检查食物图像数据集，查找其他错误图像、低质量图像以及图像重复项。</li>
		<li>删除在步骤1.2.4中发现的图像。</li>
	</ol>
	</li>
	<li>增强食物图像数据集
	<ol>
		<li>使用 CLoDSA 库46 将食物图像数据集中的每张图像旋转90°，生成每张图像的新版本（参见所附 Python 脚本的第19至21行）。 
		注意：本文作者所使用的所有 CLoDSA 命令均包含在一个 Python 脚本中，该脚本可在补充材料中找到（“nutrinet_augmentation.py”）。若使用该脚本，需将输入路径（变量“INPUT_PATH”，Python 脚本第8行）和输出路径（变量“OUTPUT_PATH”，Python 脚本第11行）替换为所需文件夹的路径。</li>
		<li>使用 CLoDSA 库将食物图像数据集中的每张图像旋转180°，生成每张图像的新版本（参见所附 Python 脚本的第19至21行）。</li>
		<li>使用 CLoDSA 库将食物图像数据集中的每张图像旋转270°，生成每张图像的新版本（参见所附 Python 脚本的第19至21行）。</li>
		<li>使用 CLoDSA 库将食物图像数据集中的每张图像进行水平翻转，生成每张图像的新版本（参见所附 Python 脚本的第23和24行）。</li>
		<li>使用 CLoDSA 库为食物图像数据集中的每张图像添加随机颜色噪声，生成每张图像的新版本（参见所附 Python 脚本的第26和27行）。</li>
		<li>使用 CLoDSA 库将食物图像数据集中的每张图像放大25%，生成每张图像的新版本（参见所附 Python 脚本的第29和30行）。</li>
		<li>将步骤1.3.1至1.3.6生成的图像与原始图像（参见所附 Python 脚本的第16和17行）一起保存到一个新的食物图像数据集中（每张食物图像共生成7个变体）。此操作通过执行所附 Python 脚本第32行的命令完成。</li>
	</ol>
	</li>
	<li>执行食物图像识别
	<ol>
		<li>将步骤1.3.7中生成的食物图像数据集导入 NVIDIA DIGITS 环境47，并在 NVIDIA DIGITS 用户界面中将数据集划分为训练集、验证集和测试集。</li>
		<li>将 NutriNet 架构2 的定义文本复制粘贴到 NVIDIA DIGITS 中，作为自定义网络。 
		注意：NutriNet 架构的定义文本可在补充材料中找到（“nutrinet.prototxt”）。</li>
		<li>（可选）在 NVIDIA DIGITS 用户界面中定义训练超参数。 
		注意：超参数是指在训练开始前用于定义训练过程的参数。本文作者所使用的超参数可在补充材料中的文件（“nutrinet_hyperparameters.prototxt”）中找到。尽管每个数据集都需要通过实验确定最优超参数，但该文件提供了一组可直接复制到 NVIDIA DIGITS 用户界面中的超参数配置。此外，NVIDIA DIGITS 会为超参数提供默认值，可作为基准使用。因此，此步骤为可选。</li>
		<li>运行 NutriNet 模型的训练。</li>
		<li>训练完成后，选取性能最佳的 NutriNet 模型迭代版本。该模型将用于测试本方法的性能。 
		&#8203;注意：确定最佳性能模型迭代的方法有多种。一种简单的方法如下：NVIDIA DIGITS 会输出每个训练周期的准确率指标图。检查哪个周期在食物图像数据集的验证子集上达到了最低的损失值，该周期对应的模型迭代即为最佳性能模型。确定最佳模型迭代的一个可选步骤是观察训练子集的损失值随周期变化的趋势：若训练损失值持续下降，而验证损失值保持不变或持续上升，则应选择训练损失值开始下降前的那个周期，因为这可能标志着模型开始对训练图像过拟合。</li>
	</ol>
	</li>
</ol>
2. 使用全卷积网络进行食物图像分割
<ol>
	<li>获取仿制食品图像数据集
	<ol>
		<li>获取一个仿制食品图像的数据集。仿制食品图像是研究人员在使用食品复制品进行行为学研究时收集的。 
		注：本文作者获得的仿制食品图像是在实验室环境中收集的18。</li>
		<li>对每张食品图像进行像素级手动标注——图像中的每个像素都必须包含其所属食品类别的信息。此步骤的结果是为食品图像数据集中的每张图像生成一张对应的标注图像，其中每个像素代表一个食品类别。 
		&#8203;注：实现此目标的工具有多种——本文作者使用了 JavaScript Segment Annotator48。</li>
	</ol>
	</li>
	<li>增强仿制食品图像数据集
	<ol>
		<li>对食品图像数据集的训练子集图像执行与第 1.3 节相同的步骤。 
		注：除步骤 1.3.5 外，所有数据增强步骤也需在对应的标注图像上执行。如果使用第 1.3 节中的脚本，则需将输入路径（Python43 脚本代码中的变量 'INPUT_PATH'，第 8 行）和输出路径（变量 'OUTPUT_PATH'，第 11 行）替换为所需文件夹的路径。此外，将问题类型（变量 'PROBLEM'，第 6 行）设置为 'instance_segmentation'，将标注模式（变量 'ANNOTATION_MODE'，第 7 行）和输出模式（变量 'OUTPUT_MODE'，第 10 行）均设置为 'coco'。</li>
	</ol>
	</li>
	<li>执行仿制食品图像分割
	<ol>
		<li>执行与第 1.4 节相同的步骤，但跳过步骤 1.4.2，取而代之的是执行步骤 2.3.2 和 2.3.3。 
		注：超参数是指在训练开始前用于定义训练过程的参数。本文作者在可选步骤 1.4.3 中使用的训练超参数可在补充文件中提供的文件（'fcn-8s_hyperparameters.prototxt'）中找到。尽管针对每个数据集都需要实验以确定最优超参数组合，但该文件中包含的超参数配置可直接复制到 NVIDIA DIGITS47 用户界面中。此外，NVIDIA DIGITS 会为超参数提供默认值，可作为基准使用。</li>
		<li>将 FCN-8s 架构15的定义文本复制粘贴到 NVIDIA DIGITS 环境中作为自定义网络。 
		注：FCN-8s 架构的定义文本在 GitHub 上公开可获取49。</li>
		<li>在 NVIDIA DIGITS 用户界面中输入预训练的 FCN-8s 模型权重的路径。 
		&#8203;注：这些模型权重是在 PASCAL VOC 数据集17 上预训练的，可在互联网上获取49。</li>
	</ol>
	</li>
</ol>
3. 使用 HTC ResNet 进行食物图像分割
<ol>
	<li>获取食物图像数据集
	<ol>
		<li>从FRC网站下载食物图像数据集19。</li>
	</ol>
	</li>
	<li>增强食物图像数据集
	<ol>
		<li>执行步骤1.3.1–1.3.4。 
		注意：本文作者所使用的包含全部CLoDSA46命令的Python43脚本，可在补充文件中提供的文件（'frc_augmentation.py'）中找到。若使用该脚本，需将输入路径（Python脚本第8行变量'INPUT_PATH'）和输出路径（Python脚本第11行变量'OUTPUT_PATH'）替换为所需文件夹的路径。</li>
		<li>使用CLoDSA库对食物图像数据集中的每张图像添加高斯模糊，生成每张图像的新版本（参见所附Python脚本的第26和27行）。</li>
		<li>使用CLoDSA库对食物图像数据集中的每张图像进行锐化处理，生成每张图像的新版本（参见所附Python脚本的第29和30行）。</li>
		<li>使用CLoDSA库对食物图像数据集中的每张图像应用伽马校正，生成每张图像的新版本（参见所附Python脚本的第32和33行）。</li>
		<li>将步骤3.2.1–3.2.4生成的图像与原始图像（参见所附Python脚本的第16和17行）一起保存为新的食物图像数据集（每张食物图像共8个变体）。此操作通过执行所附Python脚本第35行的命令完成。</li>
		<li>将步骤3.2.2–3.2.4生成的图像与原始图像（参见所附Python脚本的第16和17行）一起保存为新的食物图像数据集（每张食物图像共4个变体）。此操作通过删除所附Python脚本的第19至24行，并执行第35行命令完成。</li>
	</ol>
	</li>
	<li>执行食物图像分割
	<ol>
		<li>修改MMDetection库50中现有HTC20 ResNet-101架构16定义文件中的“model settings”和“dataset settings”部分，使其能够接受来自步骤3.1.1、3.2.5和3.2.6的食物图像数据集。</li>
		<li>（可选）修改步骤3.3.1中的HTC ResNet-101架构定义，以设定训练超参数：在“dataset settings”部分设定批量大小，在“optimizer”部分设定求解器类型和学习率，在“learning policy”部分设定学习策略，在“runtime settings”部分设定训练轮数。 
		&#8203;注意：修改后的HTC ResNet-101架构定义文件可在补充文件中找到（'htc_resnet-101.py'）。超参数是在训练开始前用于定义训练过程的参数。虽然每个数据集都需要通过实验确定最优超参数组合，但该文件已包含一组可直接使用的超参数配置，因此本步骤为可选。</li>
		<li>使用MMDetection库在步骤3.1.1获得的食物图像数据集上运行HTC ResNet-101模型的训练（例如，使用命令：'python mmdetection/tools/train.py htc_resnet-101.py'）。</li>
		<li>完成步骤3.3.3的训练后，选取表现最佳的HTC ResNet-101模型迭代版本，并在步骤3.2.5的食物图像数据集上继续执行下一阶段训练，进行微调。 
		&#8203;注意：有多种方法可确定表现最佳的模型迭代版本。一种简单的方法如下：MMDetection库会在命令行界面输出每个训练轮次的准确率指标值。检查在食物图像数据集的验证子集上哪个轮次的损失值最低，该轮次对应的模型迭代版本即可视为表现最佳。确定最佳模型迭代版本的可选步骤是观察训练子集的损失值随轮次的变化情况：若训练损失值开始持续下降，而验证子集的损失值保持不变或持续上升，则应选择训练损失值开始下降之前的那个轮次，因为这可能标志着模型开始对训练图像过拟合。</li>
		<li>完成步骤3.3.4的训练后，选取表现最佳的HTC ResNet-101模型迭代版本，并在步骤3.2.6的食物图像数据集上继续执行下一阶段训练，进行微调。 
		&#8203;注意：参见步骤3.3.4的注释。</li>
		<li>完成步骤3.3.5的训练后，选取表现最佳的HTC ResNet-101模型迭代版本，并再次在步骤3.2.5的食物图像数据集上继续执行下一阶段训练，进行微调。 
		&#8203;注意：参见步骤3.3.4的注释。</li>
		<li>完成步骤3.3.6的训练后，选取表现最佳的HTC ResNet-101模型迭代版本。该模型将用于测试本方法的性能。 
		注意：参见步骤3.3.4的注释。步骤3.3.3–3.3.7的流程在本文作者设定的目标下取得了最佳结果。对于每个数据集，均需通过实验确定最优的训练与数据增强步骤序列。</li>
	</ol>
	</li>
</ol>

<ol><li>Mezgec, S., Eftimov, T., Bucher, T., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Mixed+Deep+Learning+and+Natural+Language+Processing+Method+for+Fake-Food+Image+Recognition+and+Standardization+to+Help+Automated+Dietary+Assessment%5BTitle%5D)+AND+%22Public+Health+Nutrition%22%5BJournal%5D)">Mixed Deep Learning and Natural Language Processing Method for Fake-Food Image Recognition and Standardization to Help Automated Dietary Assessment.</a> Public Health Nutrition. 22 (7), 1193-1202 (2019).</li>
<li>Mezgec, S., Koroušić Seljak, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((NutriNet%3A+A+Deep+Learning+Food+and+Drink+Image+Recognition+System+for+Dietary+Assessment%5BTitle%5D)+AND+%22Nutrients%22%5BJournal%5D)">NutriNet: A Deep Learning Food and Drink Image Recognition System for Dietary Assessment.</a> Nutrients. 9 (7), 657(2017).</li>
<li>Chen, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((PFID%3A+Pittsburgh+Fast-Food+Image+Dataset%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">PFID: Pittsburgh Fast-Food Image Dataset.</a> Proceedings of the ICIP 2009. , 289-292 (2009).</li>
<li>Joutou, T., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Image+Recognition+System+with+Multiple+Kernel+Learning%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2009%22%5BJournal%5D)">A Food Image Recognition System with Multiple Kernel Learning.</a> Proceedings of the ICIP 2009. , 285-288 (2009).</li>
<li>Yang, S., Chen, M., Pomerlau, D., Sukthankar, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+using+Statistics+of+Pairwise+Local+Features%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2010%22%5BJournal%5D)">Food Recognition using Statistics of Pairwise Local Features.</a> Proceedings of the CVPR 2010. , 2249-2256 (2010).</li>
<li>Anthimopoulos, M. M., Gianola, L., Scarnato, L., Diem, P., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Food+Recognition+System+for+Diabetic+Patients+Based+on+an+Optimized+Bag-of-Features+Model%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">A Food Recognition System for Diabetic Patients Based on an Optimized Bag-of-Features Model.</a> IEEE Journal of Biomedical and Health Informatics. 18 (4), 1261-1271 (2014).</li>
<li>LeCun, Y., Bengio, Y., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Deep Learning.</a> Nature. 521, 436-444 (2015).</li>
<li>Deng, L., Yu, D. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Learning%3A+Methods+and+Applications%5BTitle%5D)+AND+%22Foundations+and+Trends+in+Signal+Processing%22%5BJournal%5D)">Deep Learning: Methods and Applications.</a> Foundations and Trends in Signal Processing. 7 (3-4), 197(2014).</li>
<li>Hubel, D. H., Wiesel, T. N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Receptive+Fields%2C+Binocular+Interaction+and+Functional+Architecture+in+the+Cat%27s+Visual+Cortex%5BTitle%5D)+AND+%22The+Journal+of+Physiology%22%5BJournal%5D)">Receptive Fields, Binocular Interaction and Functional Architecture in the Cat's Visual Cortex.</a> The Journal of Physiology. 160 (1), 106-154 (1962).</li>
<li>Singla, A., Yuan, L., Ebrahimi, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food%2FNon-Food+Image+Classification+and+Food+Categorization+using+Pre-Trained+GoogLeNet+Model%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">Food/Non-Food Image Classification and Food Categorization using Pre-Trained GoogLeNet Model.</a> Proceedings of the MADiMa'16. , 3-11 (2016).</li>
<li>Yanai, K., Kawano, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+using+Deep+Convolutional+Network+with+Pre-Training+and+Fine-Tuning%5BTitle%5D)+AND+%22Proceedings+of+the+ICMEW+2015%22%5BJournal%5D)">Food Image Recognition using Deep Convolutional Network with Pre-Training and Fine-Tuning.</a> Proceedings of the ICMEW 2015. , 1-6 (2015).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFood%3A+Deep+Learning-Based+Food+Image+Recognition+for+Computer-Aided+Dietary+Assessment%5BTitle%5D)+AND+%22Proceedings+of+the+ICOST+2016%22%5BJournal%5D)">DeepFood: Deep Learning-Based Food Image Recognition for Computer-Aided Dietary Assessment.</a> Proceedings of the ICOST 2016. , 37-48 (2016).</li>
<li>De Sousa Ribeiro, F., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((An+End-to-End+Deep+Neural+Architecture+for+Optical+Character+Verification+and+Recognition+in+Retail+Food+Packaging%5BTitle%5D)+AND+%22Proceedings+of+the+ICIP+2018%22%5BJournal%5D)">An End-to-End Deep Neural Architecture for Optical Character Verification and Recognition in Retail Food Packaging.</a> Proceedings of the ICIP 2018. , 2376-2380 (2018).</li>
<li>Krizhevsky, A., Sutskever, I., Hinton, G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ImageNet+Classification+with+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+NIPS%2712%22%5BJournal%5D)">ImageNet Classification with Deep Convolutional Neural Networks.</a> Proceedings of the NIPS'12. , 1097-1105 (2012).</li>
<li>Long, J., Shelhamer, E., Darrell, T. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fully+Convolutional+Networks+for+Semantic+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Fully Convolutional Networks for Semantic Segmentation.</a> Proceedings of the CVPR 2015. , 3431-3440 (2015).</li>
<li>He, K., Zhang, X., Ren, S., Sun, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+Residual+Learning+for+Image+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2016%22%5BJournal%5D)">Deep Residual Learning for Image Recognition.</a> Proceedings of the CVPR 2016. , 770-778 (2016).</li>
<li>PASCAL VOC Project. PASCAL Visual Object Classes. , Available from: 
 <a target="_blank" href="http://host.robots.ox.ac.uk/pascal/VOC">http://host.robots.ox.ac.uk/pascal/VOC</a> (2020).</li>
<li>Bucher, T., vander Horst, K., Siegrist, M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fruit+for+Dessert.+How+People+Compose+Healthier+Meals%5BTitle%5D)+AND+%22Appetite%22%5BJournal%5D)">Fruit for Dessert. How People Compose Healthier Meals.</a> Appetite. 60 (1), 74-80 (2013).</li>
<li>Food Recognition Challenge. AICrowd. , Available from: 
 <a target="_blank" href="https://www.aicrowd.com/challenges/food-recognition-challenge">https://www.aicrowd.com/challenges/food-recognition-challenge</a> (2020).</li>
<li>Chen, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hybrid+Task+Cascade+for+Instance+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2019%22%5BJournal%5D)">Hybrid Task Cascade for Instance Segmentation.</a> Proceedings of the CVPR 2019. , 4974-4983 (2019).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Image+Recognition+with+Deep+Convolutional+Features%5BTitle%5D)+AND+%22Proceedings+of+the+UbiComp+2014%22%5BJournal%5D)">Food Image Recognition with Deep Convolutional Features.</a> Proceedings of the UbiComp 2014. , 589-593 (2014).</li>
<li>Matsuda, Y., Hoashi, H., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recognition+of+Multiple-Food+Images+by+Detecting+Candidate+Regions%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2012%22%5BJournal%5D)">Recognition of Multiple-Food Images by Detecting Candidate Regions.</a> Proceedings of the ICME 2012. , 25-30 (2012).</li>
<li>Christodoulidis, S., Anthimopoulos, M. M., Mougiakakou, S. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition+for+Dietary+Assessment+using+Deep+Convolutional+Neural+Networks%5BTitle%5D)+AND+%22Proceedings+of+the+ICIAP+2015%22%5BJournal%5D)">Food Recognition for Dietary Assessment using Deep Convolutional Neural Networks.</a> Proceedings of the ICIAP 2015. , 458-465 (2015).</li>
<li>Tanno, R., Okamoto, K., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFoodCam%3A+A+DCNN-Based+Real-Time+Mobile+Food+Recognition+System%5BTitle%5D)+AND+%22Proceedings+of+the+MADiMa%2716%22%5BJournal%5D)">DeepFoodCam: A DCNN-Based Real-Time Mobile Food Recognition System.</a> Proceedings of the MADiMa'16. , 89-89 (2016).</li>
<li>Liu, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+New+Deep+Learning-Based+Food+Recognition+System+for+Dietary+Assessment+on+An+Edge+Computing+Service+Infrastructure%5BTitle%5D)+AND+%22IEEE+Transactions+on+Services+Computing%22%5BJournal%5D)">A New Deep Learning-Based Food Recognition System for Dietary Assessment on An Edge Computing Service Infrastructure.</a> IEEE Transactions on Services Computing. 11 (2), 249-261 (2017).</li>
<li>Martinel, N., Foresti, G. L., Micheloni, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Wide-Slice+Residual+Networks+for+Food+Recognition%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+WACV+2018%22%5BJournal%5D)">Wide-Slice Residual Networks for Food Recognition.</a> Proceedings of the IEEE WACV 2018. , 567-576 (2018).</li>
<li>Bossard, L., Guillaumin, M., Van Gool, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food-101-Mining+Discriminative+Components+with+Random+Forests%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Food-101-Mining Discriminative Components with Random Forests.</a> Proceedings of the ECCV'14. , 446-461 (2014).</li>
<li>Zhou, L., Zhang, C., Liu, F., Qiu, Z., He, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Application+of+Deep+Learning+in+Food%3A+A+Review%5BTitle%5D)+AND+%22Comprehensive+Reviews+in+Food+Science+and+Food+Safety%22%5BJournal%5D)">Application of Deep Learning in Food: A Review.</a> Comprehensive Reviews in Food Science and Food Safety. 18, 1793-1811 (2019).</li>
<li>Zhao, H., Yap, K. -H., Kot, A. C., Duan, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((JDNet%3A+A+Joint-Learning+Distilled+Network+for+Mobile+Visual+Food+Recognition%5BTitle%5D)+AND+%22IEEE+Journal+of+Selected+Topics+in+Signal+Processing%22%5BJournal%5D)">JDNet: A Joint-Learning Distilled Network for Mobile Visual Food Recognition.</a> IEEE Journal of Selected Topics in Signal Processing. 14 (4), 665-675 (2020).</li>
<li>Kawano, Y., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Expansion+of+a+Food+Image+Dataset+Leveraging+Existing+Categories+with+Domain+Adaptation%5BTitle%5D)+AND+%22Proceedings+of+the+ECCV%2714%22%5BJournal%5D)">Automatic Expansion of a Food Image Dataset Leveraging Existing Categories with Domain Adaptation.</a> Proceedings of the ECCV'14. , 3-17 (2014).</li>
<li>Hafiz, R., Haque, M. R., Rakshit, A., Uddin, M. S. Image-Based Soft Drink Type Classification and Dietary Assessment System using Deep Convolutional Neural Network with Transfer Learning. <a target="_blank" href="http://scholar.google.com/scholar?hl=en&safe=off&q=author%3aHafiz%2C+R+%22Journal+of+King+Saud+University+-+Computer+and+Information+Sciences%22">Journal of King Saud University - Computer and Information Sciences</a>. , (2020).</li>
<li>Shimoda, W., Yanai, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Weakly-Supervised+Plate+and+Food+Region+Segmentation%5BTitle%5D)+AND+%22Proceedings+of+the+ICME+2020%22%5BJournal%5D)">Weakly-Supervised Plate and Food Region Segmentation.</a> Proceedings of the ICME 2020. , 1-6 (2020).</li>
<li>Ciocca, G., Micali, G., Napoletano, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((State+Recognition+of+Food+Images+using+Deep+Features%5BTitle%5D)+AND+%22IEEE+Access%22%5BJournal%5D)">State Recognition of Food Images using Deep Features.</a> IEEE Access. 8, 32003-32017 (2020).</li>
<li>Knez, S., Šajn, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Object+Recognition+using+a+Mobile+Device%3A+Evaluation+of+Currently+Implemented+Systems%5BTitle%5D)+AND+%22Trends+in+Food+Science+%26+Technology%22%5BJournal%5D)">Food Object Recognition using a Mobile Device: Evaluation of Currently Implemented Systems.</a> Trends in Food Science & Technology. 99, 460-471 (2020).</li>
<li>Furtado, P., Caldeira, M., Martins, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Human+Visual+System+vs+Convolution+Neural+Networks+in+Food+Recognition+Task%3A+An+Empirical+Comparison%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">Human Visual System vs Convolution Neural Networks in Food Recognition Task: An Empirical Comparison.</a> Computer Vision and Image Understanding. 191, 102878(2020).</li>
<li>Chen, M. -Y., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatic+Chinese+Food+Identification+and+Quantity+Estimation%5BTitle%5D)+AND+%22SA%2712+Technical+Briefs%22%5BJournal%5D)">Automatic Chinese Food Identification and Quantity Estimation.</a> SA'12 Technical Briefs. , 1-4 (2012).</li>
<li>Chen, J., Ngo, C. -W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep-Based+Ingredient+Recognition+for+Cooking+Recipe+Retrieval%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2716%22%5BJournal%5D)">Deep-Based Ingredient Recognition for Cooking Recipe Retrieval.</a> Proceedings of the MM'16. , 32-41 (2016).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Food+Recognition%3A+A+New+Dataset%2C+Experiments%2C+and+Results%5BTitle%5D)+AND+%22IEEE+Journal+of+Biomedical+and+Health+Informatics%22%5BJournal%5D)">Food Recognition: A New Dataset, Experiments, and Results.</a> IEEE Journal of Biomedical and Health Informatics. 21 (3), 588-598 (2017).</li>
<li>Salvador, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Learning+Cross-Modal+Embeddings+for+Cooking+Recipes+and+Food+Images%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+CVPR+2017%22%5BJournal%5D)">Learning Cross-Modal Embeddings for Cooking Recipes and Food Images.</a> Proceedings of the IEEE CVPR 2017. , 3020-3028 (2017).</li>
<li>Ciocca, G., Napoletano, P., Schettini, R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((CNN-Based+Features+for+Retrieval+and+Classification+of+Food+Images%5BTitle%5D)+AND+%22Computer+Vision+and+Image+Understanding%22%5BJournal%5D)">CNN-Based Features for Retrieval and Classification of Food Images.</a> Computer Vision and Image Understanding. 176-177, 70-77 (2018).</li>
<li>Cai, Q., Li, J., Li, H., Weng, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((BTBUFood-60%3A+Dataset+for+Object+Detection+in+Food+Field%5BTitle%5D)+AND+%22Proceedings+of+the+IEEE+BigComp+2019%22%5BJournal%5D)">BTBUFood-60: Dataset for Object Detection in Food Field.</a> Proceedings of the IEEE BigComp 2019. , 1-4 (2019).</li>
<li>Min, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((ISIA+Food-500%3A+A+Dataset+for+Large-Scale+Food+Recognition+via+Stacked+Global-Local+Attention+Network%5BTitle%5D)+AND+%22Proceedings+of+the+MM%2720%22%5BJournal%5D)">ISIA Food-500: A Dataset for Large-Scale Food Recognition via Stacked Global-Local Attention Network.</a> Proceedings of the MM'20. , 393-401 (2020).</li>
<li>Python Software Foundation. Python. , Available from: 
 <a target="_blank" href="https://www.python.org">https://www.python.org</a> (2020).</li>
<li>Google Custom Search API. Google. , Available from: 
 <a target="_blank" href="https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html">https://developers.google.com/resources/api-libraries/documentation/customsearch/v1/python/latest/customsearch_v1.cse.html</a> (2020).</li>
<li>Stanford Vision Lab. ImageNet. , Available from: 
 <a target="_blank" href="http://www.image-net.org">http://www.image-net.org</a> (2020).</li>
<li>Heras, J. CLoDSA. , Available from: 
 <a target="_blank" href="https://github.com/joheras/CLoDSA">https://github.com/joheras/CLoDSA</a> (2020).</li>
<li>NVIDIA DIGITS. NVIDIA. , Available from: 
 <a target="_blank" href="https://developer.nvidia.com/digits">https://developer.nvidia.com/digits</a> (2020).</li>
<li>Yamaguchi, K. JavaScript Segment Annotator. , Available from: 
 <a target="_blank" href="https://github.com/kyamagu/js-segment-annotator">https://github.com/kyamagu/js-segment-annotator</a> (2020).</li>
<li>Shelhamer, E. Fully Convolutional Networks for Semantic Segmentation. , Available from: 
 <a target="_blank" href="https://github.com/shelhamer/fcn.berkeleyvision.org">https://github.com/shelhamer/fcn.berkeleyvision.org</a> (2020).</li>
<li>Multimedia Laboratory, CUHK. MMDetection. , Available from: 
 <a target="_blank" href="https://github.com/open-mmlab/mmdetection">https://github.com/open-mmlab/mmdetection</a> (2020).</li>
<li>Szegedy, C., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Going+Deeper+with+Convolutions%5BTitle%5D)+AND+%22Proceedings+of+the+CVPR+2015%22%5BJournal%5D)">Going Deeper with Convolutions.</a> Proceedings of the CVPR 2015. , 1-9 (2015).</li>
<li>Bottou, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Large-Scale+Machine+Learning+with+Stochastic+Gradient+Descent%5BTitle%5D)+AND+%22Proceedings+of+the+COMPSTAT%272010%22%5BJournal%5D)">Large-Scale Machine Learning with Stochastic Gradient Descent.</a> Proceedings of the COMPSTAT'2010. , 177-186 (2010).</li>
<li>Nesterov, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Method+of+Solving+a+Convex+Programming+Problem+with+Convergence+Rate+O%281%2Fk2%29%5BTitle%5D)+AND+%22Doklady+Akademii+Nauk+SSSR%22%5BJournal%5D)">A Method of Solving a Convex Programming Problem with Convergence Rate O(1/k2).</a> Doklady Akademii Nauk SSSR. 27, 372-376 (1983).</li>
<li>Duchi, J., Hazan, E., Singer, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adaptive+Subgradient+Methods+for+Online+Learning+and+Stochastic+Optimization%5BTitle%5D)+AND+%22Journal+of+Machine+Learning+Research%22%5BJournal%5D)">Adaptive Subgradient Methods for Online Learning and Stochastic Optimization.</a> Journal of Machine Learning Research. 12, 2121-2159 (2011).</li>
<li>Kingma, D. P., Ba, J. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Adam%3A+A+Method+for+Stochastic+Optimization%5BTitle%5D)+AND+%22arXiv+Preprint%22%5BJournal%5D)">Adam: A Method for Stochastic Optimization.</a> arXiv Preprint. , (2017).</li>
</ol>

作者无任何利益冲突需要披露。

近年来，深度神经网络已被多次验证为识别食物图像的可行解决方案10,11,12,21,23,25,26,29,31,33。本文所展示的工作进一步证实了这一点1,2。单输出食物图像识别方法简单直接，适用于仅预期包含单一食物或饮料项目的图像的简单应用场景2。
食物图像分割方法似乎特别适用于普遍识别食物图像，且对食物项目的数量没有任何限制1。由于该方法通过分类图像中每个单独的像素来实现，因此不仅能够识别图像中任意数量的食物项目，还能精确定位食物项目的位置及其大小。后者可用于进行食物重量估计，尤其是在使用参考物体或固定距离相机的情况下。
关于食物图像数据集的可用性，已有一些相关研究工作3,22,27,30,36,37,38,39,40,41,42，我们希望未来能开展更多工作，特别是在整合来自全球不同地区食物图像数据集方面，这将有助于开发出更稳健的解决方案。目前，自动食物图像识别方案的准确率尚未达到人类水平35，这很大程度上可能是由于所使用的食物图像数据集在规模和质量上尚不充分所致。
未来，我们的目标是进一步在真实世界图像上评估所开发的方法。通常，该领域的数据集往往包含在受控环境中拍摄的图像，或为识别目的手动优化过的图像。因此，收集一个大规模且多样化的真实世界食物图像数据集至关重要，以涵盖个体可能希望识别的各种食物和饮料种类。迈向这一目标的第一步由“食物识别挑战赛”（Food Recognition Challenge）提供，该挑战赛包含了一个真实世界食物图像数据集19，但仍需进一步工作，以在全球范围内的食物图像上验证该方法，并与营养师开展合作研究。

膳食评估是确定个体饮食中可干预环节的关键步骤。然而，采用传统的手动方法进行膳食评估往往伴随着较高的成本。这些方法还容易出现错误，因为它们通常依赖个体的自我报告。自动化的膳食评估通过提供一种更简便的食物摄入量化与定性方式，解决了上述问题。这种方法还能减少手动评估中存在的某些误差，例如遗漏餐次、无法准确评估食物体积等。因此，开发能够识别不同食物和饮料并量化食物摄入量的自动化解决方案具有明显优势1。这些解决方案还可用于估算食物和饮料项目（以下简称“食物项目”）的营养成分。因此，自动化膳食评估在多种应用场景中均具有实用价值——从严格的医学用途，例如帮助营养师更便捷、准确地追踪和分析患者的饮食，到面向大众的健康类应用程序中的使用。
从图像中自动识别食物种类是一项具有挑战性的计算机视觉问题。这主要是因为食物通常属于可变形物体，且在加工过程中可能丢失大量视觉信息。此外，不同食物在外观上可能非常相似，而同一种食物在不同图像中也可能呈现出显著差异2。同时，识别准确率还受到多种因素影响，例如图像质量、食物是否被其他物体遮挡、拍摄距离等。饮料类别的识别则面临其特有的挑战，其中最主要的问题是图像中可用的视觉信息有限。这些信息可能包括饮料的颜色、容器的颜色与结构，以及在理想成像条件下可观察到的饮料密度2。
为了从图像中成功识别食物项目，有必要学习每种食物和饮料类别的特征。传统上，这一目标是通过手动定义的特征提取器实现的3,4,5,6，这些提取器基于颜色、纹理、尺寸等特定项目特征或这些特征的组合来进行识别。此类特征提取器的示例包括多核学习4、成对局部特征5以及特征袋模型6。由于食物图像的复杂性，这些方法通常仅能达到较低的分类准确率——介于10%至40%之间3,4,5。其原因是手动方法的鲁棒性不足，难以实现足够高的准确性。由于食物项目的外观可能存在显著差异，因此无法通过人工方式涵盖所有这些变化。当减少食物类别数量5或结合不同的图像特征6时，使用手动定义的特征提取器可获得更高的分类准确率，这表明该问题需要更复杂的解决方案。
这就是深度学习在食物图像识别问题上被证明如此有效的原因。深度学习，或称深度神经网络，其灵感来源于生物大脑，它允许由多个处理层组成的计算模型通过对一组输入图像进行训练来自动学习特征7,8。正因如此，深度学习已在多个研究领域显著提升了技术水平7，其中计算机视觉以及随之而来的食物图像识别便是典型代表之一2。
特别是，深度卷积神经网络（DCNNs）在食物图像识别中最为流行——这些网络受到动物视觉系统的启发，其中单个神经元通过响应视觉场中的重叠区域来尝试理解视觉输入9。卷积神经网络接收输入图像，并在每一层网络中执行一系列操作，最常见的包括卷积层、全连接层和池化层。卷积层包含可学习的滤波器，用于响应输入数据中的特定特征；而全连接层则整合来自其他层的输出数据，以获得更高层次的信息。池化层的目标是对输入数据进行下采样2。在深度学习模型的应用中，有两种已被证实较为流行的方法：其一是采用现有的深度神经网络定义10,11，本文称之为深度学习架构；其二是设计新的深度学习架构12,13，并对其中任一种架构在食物图像数据集上进行训练。这两种方法各有优劣：使用现有深度学习架构时，可以选择在其他问题上表现良好的架构，并针对目标问题进行微调，从而节省时间并确保所选架构的有效性；而设计新的深度学习架构则更加耗时，但能够开发出专门针对特定问题特点设计的架构，从而在理论上对该问题具有更优的性能。
本文介绍了这两种方法。针对食物图像识别问题，我们开发了一种名为 NutriNet2 的新型深度卷积神经网络（DCNN）架构，该架构是在著名的 AlexNet 架构14 基础上改进而来。与 AlexNet 相比，NutriNet 主要有两点不同：其一，NutriNet 接受输入尺寸为 512×512 像素的图像（而 AlexNet 为 256×256 像素）；其二，NutriNet 在神经网络的起始部分增加了一个卷积层。引入这两项修改的目的是尽可能从识别数据集的图像中提取更多信息。更高的图像分辨率意味着图像包含更丰富的信息，而更多的卷积层则有助于从图像中提取额外的特征知识。与 AlexNet 约 6000 万个参数相比，NutriNet 的参数数量更少，约为 3300 万个。这一差异是由于增加的卷积层导致第一个全连接层的维度不同所致2。图 1 展示了 NutriNet 架构的示意图。用于训练 NutriNet 模型的食物图像均收集自互联网，具体采集流程在实验方案文本中有详细描述。
针对食物图像分割问题，我们采用了两种现有的不同网络架构：全卷积网络（FCN）15 和深度残差网络（ResNet）16，在我们开发各自的食物图像分割方案时，这两种架构均代表了图像分割领域的最先进水平。Long 等人提出了多种 FCN 变体：FCN-32s、FCN-16s 和 FCN-8s15。FCN-32s 基于 FCN 最后一层的预测结果输出像素级分割图，而 FCN-16s 变体则将最终层的预测结果与前一层的预测结果进行融合。FCN-8s 进一步引入了另一个更早层的预测信息，因此能够实现更精细的分割粒度，这使其适用于食物图像识别任务。我们所使用的 FCN-8s 模型在 PASCAL 视觉物体类别（PASCAL VOC）数据集上进行了预训练17，并使用食物复制品图像（下文简称“仿真食物”）18 进行训练与测试，原因在于仿真食物在视觉上与真实食物高度相似，且目前缺乏像素级标注的真实食物图像。仿真食物被广泛应用于多种行为学研究中，并为所有研究参与者的每一道菜肴拍摄图像。由于这些图像中的食物成分是已知的，因此该图像数据集非常适合用于深度学习模型的训练。数据集的处理步骤在实验方案文本中进行了详细描述。
基于 ResNet 的解决方案是在食品识别挑战赛（Food Recognition Challenge, FRC）19 的框架下开发的。该方案采用混合任务级联（Hybrid Task Cascade, HTC）20 方法，并以 ResNet-10116 作为主干网络。这是一种针对图像分割问题的先进方法，可结合不同的特征提取器（即主干网络）使用。我们也考虑了其他主干网络，特别是其他 ResNet 变体，如 ResNet-5016，但 ResNet-101 因其网络深度以及能够以足够复杂的方式表征输入图像，成为最合适的选择。用于训练 HTC ResNet-101 模型的数据集为 FRC 数据集，并额外加入了增强图像。这些数据增强方法在实验方案文本中进行了详细说明。
本文旨在为机器学习专家提供参考资料，帮助其了解在食物图像识别与分割问题中表现优异的深度学习架构及数据增强方法；同时也为营养学研究人员提供参考，使其能够利用我们的方法实现食物图像识别的自动化，用于膳食评估。下文介绍了食物图像识别领域的深度学习解决方案及相关数据集。在实验方案部分，我们详细说明了如何使用三种不同方法训练深度神经网络模型，以实现自动化的膳食评估。此外，每个实验方案部分还描述了用于训练与测试的食物图像数据集的获取与处理过程。
深度卷积神经网络（DCNN）在食物图像识别与分割任务中的表现通常显著优于其他方法，因此该领域近年来的绝大多数研究均基于此类网络。Kawano 等人将 DCNN 用于补充人工方法21，在 UEC-FOOD100 数据集上实现了 72.26% 的分类准确率22。Christodoulidis 等人则完全依赖 DCNN，在自建数据集上达到了 84.90% 的更高准确率23。Tanno 等人开发了 DeepFoodCam——一款基于 DCNN 的智能手机食物图像识别应用程序24。Liu 等人提出了一种基于物联网的饮食评估系统，该系统利用 DCNN 进行分析25。Martinel 等人引入了一种基于 DCNN 的方法，充分利用了食物图像的特定特征26，并在 Food-101 数据集上报告了 90.27% 的准确率27。Zhou 等人撰写了一篇关于食品领域深度学习解决方案的综述28。
最近，Zhao 等人提出了一种专门用于移动应用中食物图像识别的网络29。该方法采用一个较小的“学生”网络，从一个较大的“教师”网络中学习。通过该方法，他们在 UEC-FOOD256 数据集上实现了 84% 的准确率30，在 Food-101 数据集上的准确率达到 91.2%27。Hafiz 等人使用深度卷积神经网络（DCNN）开发了一种仅针对饮料图像识别的解决方案，报告了高达 98.51% 的准确率31。Shimoda 等人描述了一种在食物图像中检测盘子区域的新方法，无需使用像素级标注32。Ciocca 等人引入了一个新数据集，包含来自 20 个不同食物类别、11 种不同状态（固体、切片、奶油状糊状物等）的食物样本，并提出了训练识别模型的方法，该模型不仅能识别食物类别，还能识别食物所处的状态33。Knez 等人评估了适用于移动设备的食物图像识别方案34。最后，Furtado 等人开展了一项研究，比较人类视觉系统与深度卷积神经网络（DCNN）的性能，发现人类识别的准确率（80%）仍优于 DCNN（74.5%）35。作者指出，当食物类别数量较少时，DCNN 表现良好；但在包含数百个类别的数据集上，人类识别的准确率更高35，这凸显了该问题的复杂性。
尽管深度学习取得了先进的成果，但它存在一个主要缺点——需要大量输入数据集来训练模型。在食品图像识别的情况下，需要一个庞大的食品图像数据集，该数据集应尽可能涵盖多种不同的真实场景。实际上，这意味着对于每一种具体的食品或饮料，都需要收集大量图像，并且数据集中应包含尽可能多的不同种类的食品。如果某种特定食品在数据集中的图像数量不足，则该食品很可能无法被成功识别。另一方面，如果数据集仅覆盖了少量食品种类，那么该解决方案的应用范围将受到限制，只能识别少数几种不同的食品和饮料。
过去已发布多个数据集。匹兹堡快餐图像数据集（Pittsburgh Fast-Food Image Dataset, PFID）3 的提出旨在推动食品图像识别领域的进一步研究。电气通信大学食品100（University of Electro-Communications Food 100, UEC-FOOD100）22 和电气通信大学食品256（University of Electro-Communications Food 256, UEC-FOOD256）30 数据集包含日本菜肴，其中 UEC-FOOD256 数据集还扩展收录了一些国际菜肴。Food-101 数据集包含从某网站获取的流行菜肴图像27。Food-5036 和视频检索组食品172（Video Retrieval Group Food 172, VireoFood-172）37 数据集是以中文为基础的食品图像集合。米兰比可卡大学2016（University of Milano-Bicocca 2016, UNIMIB2016）数据集由一家意大利食堂的餐盘图像组成38。Recipe1M 是一个大规模的烹饪食谱与食品图像数据集39。Food-475 数据集40 将此前发布的四个食品图像数据集27,30,36,37 整合为一。北京工商大学食品60（Beijing Technology and Business University Food 60, BTBUFood-60）是一个用于食品检测的图像数据集41。最近，ISIA 食品500（ISIA Food-500）数据集42 也已公开，该数据集包含多种多样的食品图像。与其他公开可用的食品图像数据集相比，该数据集包含大量图像，划分为500个食品类别，旨在推动多媒体食品识别技术的发展42。

<table><tbody><tr><td>&lt;strong&gt;硬件&lt;/strong&gt;</td><td></td><td></td><td></td></tr><tr><td>NVIDIA GPU</td><td>NVIDIA</td><td>N/A</td><td>需要配备 NVIDIA GPU，因为以下某些软件框架无法在无此硬件的情况下运行。https://www.nvidia.com</td></tr><tr><td>&lt;strong&gt;软件&lt;/strong&gt;</td><td></td><td></td><td></td></tr><tr><td>Caffe</td><td>Berkeley AI Research</td><td>N/A</td><td>Caffe 是一个深度学习框架。https://caffe.berkeleyvision.org</td></tr><tr><td>CLoDSA</td><td>J&amp;oacute;nathan Heras</td><td>N/A</td><td>CLoDSA 是一个基于 Python 的图像增强库。https://github.com/joheras/CLoDSA</td></tr><tr><td>Google API Client</td><td>Google</td><td>N/A</td><td>Google API Client 是用于 Google 基于发现机制的 API 的 Python 客户端库。https://github.com/googleapis/google-api-python-client</td></tr><tr><td>JavaScript Segment Annotator</td><td>Kota Yamaguchi</td><td>N/A</td><td>JavaScript Segment Annotator 是一个基于 JavaScript 的图像标注工具。https://github.com/kyamagu/js-segment-annotator</td></tr><tr><td>MMDetection</td><td>Multimedia Laboratory, CUHK</td><td>N/A</td><td>MMDetection 是一个基于 PyTorch 的目标检测工具箱。https://github.com/open-mmlab/mmdetection</td></tr><tr><td>NVIDIA DIGITS</td><td>NVIDIA</td><td>N/A</td><td>NVIDIA DIGITS 是 Caffe 的封装工具，提供图形化网页界面。https://developer.nvidia.com/digits</td></tr><tr><td>OpenCV</td><td>Intel</td><td>N/A</td><td>OpenCV 是一个计算机视觉库。https://opencv.org</td></tr><tr><td>Python</td><td>Python Software Foundation</td><td>N/A</td><td>Python 是一种编程语言。https://www.python.org</td></tr><tr><td>PyTorch</td><td>Facebook AI Research</td><td>N/A</td><td>PyTorch 是一个机器学习框架。https://pytorch.org</td></tr><tr><td>Ubuntu OS</td><td>Canonical</td><td>N/A</td><td>作者使用的是 Ubuntu 14.04 操作系统，该系统与上述所有软件框架和工具兼容。https://ubuntu.com</td></tr></tbody></table>

基于图像的饮食评估深度神经网络

Deep Neural Networks for Image-Based Dietary Assessment

由于手动膳食评估方法存在诸多问题且成本较高，因此需要采用自动化解决方案来简化和加快工作流程，并提高其质量。如今，自动化解决方案能够以更简单的方式记录个体的膳食摄入情况，例如通过智能手机摄像头拍摄图像。本文将重点介绍此类基于图像的膳食评估方法。在食物图像识别问题上，近年来深度神经网络已达到最先进的水平，我们将介绍本领域内的相关研究工作。具体而言，我们首先描述一种基于名为 NutriNet 的深度神经网络架构的食物与饮料图像识别方法。该方法与深度学习早期阶段大多数基于深度学习的食物图像识别研究类似，仅限于每张图像输出一个结果，因此不适用于包含多种食物或饮料的图像。正因如此，能够执行食物图像分割的方法具有更强的鲁棒性，因其能够在图像中识别任意数量的食物或饮料项目。因此，我们还介绍了两种食物图像分割方法——一种基于全卷积网络（FCN），另一种基于深度残差网络（ResNet）。

NutriNet 与三种当时主流的深度学习架构进行了对比测试：AlexNet14、GoogLeNet51 和 ResNet16。针对所有架构，还测试了多个训练参数，以确定最优取值2。其中一项参数是求解器类型的选择，它决定了损失函数的最小化方式。该函数是训练神经网络的主要质量度量指标，因为在训练优化过程中，它比分类准确率更适用。我们测试了三种求解器：随机梯度下降（Stochastic Gradient Descent, SGD）52、Nesterov 加速梯度法（Nesterov's Accelerated Gradient, NAG）53 和自适应梯度算法（Adaptive Gradient algorithm, AdaGrad）54。第二个参数是批量大小（batch size），它定义了同时处理的图像数量。深度学习架构的深度决定了该参数的取值，因为更深的架构需要更多的 GPU 显存空间；这种方法的结果是，无论架构深度如何，所有架构的显存都被图像完全填满。第三个参数是学习率，它定义了神经网络参数在训练过程中更新的速度。该参数与批量大小协同设定，因为同时处理的图像数量直接影响收敛速度。AlexNet 模型使用 256 张图像的批量大小和 0.02 的基础学习率进行训练；NutriNet 使用 128 张图像的批量大小和 0.01 的学习率；GoogLeNet 使用 64 张图像和 0.005 的学习率；ResNet 使用 16 张图像和 0.00125 的学习率。另外三个参数在所有架构中保持固定：学习率策略（step-down）、步长（30%）和 gamma 值（0.1）。这些参数共同描述了每个训练周期（epoch）中学习率的变化方式。该方法的核心思想是，随着模型逐渐接近最优损失值，学习率逐步降低，以实现模型的精细调优。最后，所有深度学习架构的训练周期数均固定为 1502。
在所有测试参数中，NutriNet 在识别数据集上取得的最佳结果为 86.72% 的分类准确率，比 AlexNet 的最佳结果高出约 2%，略高于 GoogLeNet 的最佳结果。总体表现最优的架构是 ResNet（高出约 1%），但 ResNet 的训练时间显著长于 NutriNet（约为 NutriNet 的五倍），这对于需要持续重新训练以提高准确率及可识别食物种类数量的模型而言是一个重要考量因素。NutriNet、AlexNet 和 GoogLeNet 均使用 AdaGrad 优化器取得了各自的最佳结果，而 ResNet 的最佳模型则采用了 NAG 优化器。此外，NutriNet 还在公开可用的 UNIMIB2016 食物图像数据集38上进行了测试。该数据集包含 73 种不同食物的 3,616 张图像。NutriNet 在该数据集上的识别准确率达到 86.39%，略高于数据集作者报告的基线识别结果（85.80%）。此外，NutriNet 还在一个包含 115 种不同食物和饮料项目的 200 张真实场景图像的小型数据集上进行了测试，NutriNet 在该数据集上的前五预测准确率为 55%。
为了训练FCN-8s的假食物图像分割模型，我们采用Adam55作为求解器类型，因为我们发现其在此任务中表现最优。基础学习率设置得非常低，为0.0001。学习率较低的原因在于每次只能处理一张图像，这是像素级分类过程所导致的结果。该方法对GPU内存的需求显著高于图像级分类。因此，必须将学习率设置得较低，以避免参数更新过快而收敛到次优值。训练轮数（epochs）设为100，学习率策略、步长和gamma值分别设为逐步下降（step-down）、34%和0.1，因为这些参数组合生成了最精确的模型。
使用像素准确率指标对FCN-8s模型进行了精度测量15，该指标类似于传统深度学习网络中的分类准确率，主要区别在于准确率是在像素级别而非图像级别上计算的：
<img alt="静力平衡方程 Σini/Σiti，用于科学研究中数据分析的公式。" src="/files/ftp_upload/61906/61906eq01.jpg" data-altupdatedat="1788304762000" data-alt="方程 1">
其中 PA 是像素精度度量， nij 属于该类的像素数量 i 预测属于类别 j 和 ti = Σj nij 是来自该类的像素总数 i 在真实标签中1换句话说，像素准确率是通过将正确预测的像素数除以像素总数来计算的。训练完成的FCN-8s模型最终准确率为92.18%。 图2 展示了来自虚假食物图像数据集的三个示例图像（分别来自训练集、验证集和测试集），以及相应的真值标签和模型预测标签。
用于训练HTC20 ResNet-101模型进行食物图像分割的参数设置如下：求解器类型采用SGD，因其性能优于其他类型的求解器。基础学习率设置为0.00125，批量大小为2张图像。每个训练阶段的训练轮数（epoch）设置为40，并进行了多个训练阶段——首先在未进行图像增强的原始FRC数据集上训练，随后以交替方式多次在8倍增强和4倍增强的FRC数据集上训练，每次均选取表现最优的模型，并在下一训练阶段对其进行微调。有关训练阶段的更多细节，请参见方案文本的第3.3节。最后采用逐步降低学习率的策略，在固定轮数时降低学习率（第一训练阶段的学习率下降轮数为第28轮和第35轮）。需要注意的是，尽管该训练阶段序列在FRC范围内的测试中取得了最佳效果，但在使用其他数据集时，可能需要采用不同的训练序列才能获得最优结果。
本研究采用以下精确度指标评估基于ResNet的食物图像分割方案19：
<img alt="精确度计算公式，PIoU，方程，真正例，假正例，模型性能" src="/files/ftp_upload/61906/61906eq02.jpg" data-altupdatedat="1788304762000" data-alt="方程 2">
其中 P 是精确度， TP 是食物图像分割模型预测出的真正例数量， 荧光蛋白 是假阳性预测的数量，且 交并比 是交并比，通过以下公式计算：
<img alt="IoU 公式，重叠区域面积与并集区域面积的比值，用于图像比较分析。" src="/files/ftp_upload/61906/61906eq03.jpg" data-altupdatedat="1788304762000" data-alt="Equation 3">
其中，交集面积表示模型预测结果与真实标注重叠的像素数量，并集面积表示模型预测结果与真实标注的总像素数，两者均在像素级别和每个独立食物类别上进行计算。召回率作为次要评价指标，其计算方式类似，公式如下19：
<img alt="R_IoU≥0.5 公式，R = TPIoU≥0.5 / (TPIoU≥0.5 + FNIoU≥0.5)，精确率计算。" src="/files/ftp_upload/61906/61906eq04.jpg" data-altupdatedat="1788304762000" data-alt="Equation 4">
其中 R 是回忆和 纤维连接蛋白 是食物图像分割模型产生的假阴性预测数量。精确率和召回率在所有真实标签类别上进行平均。基于这些指标，我们的模型达到了平均精确率59.2%和平均召回率82.1%，在第二届食物识别挑战赛的第二轮中排名第二19该结果在平均精度指标上落后第一名4.2%，领先第三名5.3%。 表1 包含竞赛中排名前4位参与者的比赛结果。
<img alt="通过卷积层和池化层对披萨图像进行分类的卷积神经网络示意图；深度学习。" class="xfigimg" src="/files/ftp_upload/61906/61906fig01.jpg" data-altupdatedat="1788304762000" data-alt="图1"> 
图1：NutriNet深度神经网络架构示意图。 该图已发表于Mezgec等人的研究2。 <a href="https://www.jove.com/files/ftp_upload/61906/61906fig01large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="食物分割算法；训练、验证、测试；图像分析；人工智能预测准确率。" class="xfigimg" src="/files/ftp_upload/61906/61906fig02.jpg" data-altupdatedat="1788304762000" data-alt="图2"> 
图2：来自人工食品图像数据集的图像。 原始图像（左），人工标注的真实标签（中），以及FCN-8s模型的预测结果（右）。该图已发表于Mezgec等人的研究1。 <a href="https://www.jove.com/files/ftp_upload/61906/61906fig02large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1" fo:keep-with-next.within-page="always">
	<tbody>
		<tr>
			<td>团队名称</td>
			<td>排名</td>
			<td>平均精确率</td>
			<td>平均召回率</td>
		</tr>
		<tr>
			<td>rssfete</td>
			<td>1</td>
			<td>63.4%</td>
			<td>88.6%</td>
		</tr>
		<tr>
			<td>simon_mezgec</td>
			<td>2</td>
			<td>59.2%</td>
			<td>82.1%</td>
		</tr>
		<tr>
			<td>arimboux</td>
			<td>3</td>
			<td>53.9%</td>
			<td>73.5%</td>
		</tr>
		<tr>
			<td>latentvec</td>
			<td>4</td>
			<td>48.7%</td>
			<td>71.1%</td>
		</tr>
	</tbody>
</table>
表1：食物识别挑战赛第二轮的前4名结果。 以平均精确度作为主要性能指标，平均召回率作为次要指标。结果来源于官方竞赛排行榜19。
补充文件。 <a href="https://www.jove.com/files/ftp_upload/61906/simon_mezgec_supplemental_files_revision1_.zip" target="_blank">请点击此处下载该文件。</a>

本文所展示工作的目标是开发一种技术，用于从移动设备拍摄的图像中自动识别食物和饮料种类。该技术包含两种不同方法——第一种方法执行食物图像识别，第二种方法执行食物图像分割。

由于手动饮食评估方法存在诸多问题且成本较高，需要自动化解决方案来减轻工作负担并加快处理速度……

由于传统的手动膳食评估方法存在诸多问题且成本较高，因此需要自动化解决方案来减轻工作负担、提高工作效率并提升评估质量。如今，自动化解决方案能够以更简便的方式记录个体的膳食摄入情况，例如通过智能手机摄像头拍摄图像即可实现。本文将重点介绍基于图像的膳食评估方法，该方法采用深度神经网络，代表了当前该领域的最先进水平。具体而言，我们将介绍三种解决方案：一种用于食物图像识别，一种用于食物模型或仿制食品的图像分割，另一种用于真实食物的图像分割。收集一份不同食物和饮料的列表，这些将作为食物图像识别模型的输出类别。将食物和饮料列表保存在文本文件中，例如 TXT 或 CSV 格式。请注意，本文作者所使用的文本文件可在补充文件中的 food items.txt 中找到，其中包含 520 种斯洛文尼亚食品项目的列表。编写或下载一个 Python 脚本，利用 Google 自定义搜索 API 从该列表中下载每种食品项目的图像，并将这些图像保存到各自独立的文件夹中。本文作者所使用的 Python 脚本可在补充文件中的 download images.py 中找到。如果使用此脚本，需要将 Python 脚本代码中第 8 行的开发者密钥变量（developer key）和第 28 行的自定义搜索引擎 ID 变量（CX）替换为所使用 Google 账户对应的值。运行步骤 1.1.3 中的 Python 脚本。使用 CLoDSA 库，通过对食物图像数据集中的每张图像旋转 90 度，创建每张图像的新版本。请注意，本文作者所使用的包含全部 CLoDSA 命令的 Python 脚本，可在补充文件中的 NutriNet_augmentation.py 文件中找到。使用 CLoDSA 库，通过对食物图像数据集中的每张图像旋转 180 度，生成每张图像的一个新版本。使用 CLoDSA 库，通过对食物图像数据集中的每张图像旋转 270 度，生成每张图像的另一个新版本。使用 CLoDSA 库，通过对食品图像数据集中的每张图像进行水平翻转，创建每张图像的新版本。使用 CLoDSA 库，通过对食品图像数据集中的每张图像添加随机颜色噪声，创建每张图像的新版本。使用 CLoDSA 库，通过对食品图像数据集中的每张图像放大 25%，创建每张图像的新版本。将步骤 1.3.1 至 1.3.6 中生成的图像连同原始图像一起保存，构成一个新的食物图像数据集。每个食物图像共包含七种变体。将步骤 1.3.7 中获得的食物图像数据集导入 NVIDI DIGITS 环境，并将该数据集划分为训练集、验证集和测试集。将 NutriNet 架构的定义文本复制并粘贴到 NVIDIA DIGITS 中。请注意，NutriNet 架构定义可在补充文件中的 NutriNet.dot.proto.txt 找到。也可选择在 NVIDIA DIGITS 中定义训练超参数，或使用默认值。本文作者所使用的超参数包含在补充文件中的一个文件内，文件名为 NutriNet underscore hyper-parameters dot proto TXT。运行 NutriNet 模型的训练过程。训练完成后，选取性能最佳的 NutriNet 模型迭代版本。然后利用该模型测试此方法的性能。请注意，确定最佳性能模型迭代的方式有多种。更多详细信息请参见文章正文。获取一组伪造食品图像的数据集。请注意，本文作者所使用的伪造食品图像是在实验室环境中采集的。对每张食品图像进行像素级的手动标注。图像中的每个像素都必须包含其所属食物类别的信息。请注意，有许多工具可以实现此目的。本文作者使用了 JavaScript 分割标注器。此步骤的结果是为食物图像数据集中的每张图像生成一张标注图像，其中每个像素代表一个食物类别。对食物图像数据集的训练子集中的图像执行与第1.3节相同的步骤。需要注意的是，除了步骤1.3.5之外，所有数据增强步骤也必须在对应的标注图像上同步进行。执行与第1.4节相同的步骤，但跳过步骤1.4.2。取而代之的是执行步骤2.3.2和2.3.3。请注意，本文作者所使用的训练超参数可在补充文件中的“FCN-8S_underscore_hyper-parameters_dot_proto_TXT”文件里找到。将FCN-8S架构的定义文本复制并粘贴到NVIDIA DIGITS中。将预训练的FCN-8S模型权重导入NVIDIA DIGITS。请注意，这些模型权重是在Pascal视觉对象类别数据集上预训练得到的，可通过互联网获取。从食品识别挑战赛网站下载食品图像数据集。执行步骤 1.3.1 至 1.3.4。请注意，本文作者所使用的所有 CLoDSA 命令均包含在补充文件中的 FRC_augmentation.py 文件内的 Python 脚本中。使用 CLoDSA 库，通过对食品图像数据集中的每张图像添加高斯模糊，创建其新版本。使用 CLoDSA 库，通过对食品图像数据集中的每张图像进行锐化处理，创建其新版本。使用 CLoDSA 库，通过对食品图像数据集中的每张图像应用伽马校正，创建其新版本。将步骤 3.2.1 至 3.2.4 中生成的图像与原始图像一起保存，构建一个新的食物图像数据集，每个食物图像共包含八个变体。同时，将步骤 3.2.2 至 3.2.4 中生成的图像与原始图像一起保存，构建另一个新的食物图像数据集。每张食物图像总共包含四个变体。修改 MM Detection 库中现有的 HTC ResNet 101 网络结构定义，使其能够接收来自步骤 3.1.1、3.2.5 和 3.2.6 的食物图像数据集。可选地，可修改步骤 3.3.1 中的 HTC ResNet 101 网络结构定义以设置训练超参数，或直接使用默认值。请注意，修改后的 HTC ResNet 101 架构定义可在补充文件中的 HTC_resNet_101.py 中找到。使用 MM Detection 库在步骤 3.1.1 的食物图像数据集上运行 HTC ResNet 101 模型的训练。在完成步骤 3.3.3 的训练后，选取表现最佳的 HTC ResNet 101 模型迭代版本，并在步骤 3.2.5 的食物图像数据集上运行下一阶段的训练，对其进行微调。请注意，有多种方法可以确定性能最佳的模型迭代版本。更多详细信息请参见文章正文。这一点对接下来的步骤同样重要。在完成步骤 3.3.4 的训练后，选取表现最优的 HTC ResNet 101 模型迭代版本，并在步骤 3.2.6 的食物图像数据集上运行下一阶段的训练，对其进行微调。在完成步骤 3.3.5 的训练后，选取表现最优的 HTC ResNet 101 模型迭代版本，并再次在步骤 3.2.5 的食物图像数据集上运行下一阶段的训练，对其进行微调。在完成步骤 3.3.6 的训练后，选取表现最优的 HTC ResNet 101 模型迭代版本。然后利用该模型测试此方法的性能。需要注意的是，步骤 3.3.3 至 3.3.7 针对本文作者所定义的目标取得了最佳结果。对于每个数据集，均需通过实验确定训练和数据增强步骤的最佳顺序。在测试趋势模型后，NutriNet在识别数据集上的分类准确率达到86.72%，比当时流行的深度神经网络架构AlexNet高出约2%，也略高于GoogLeNet。为了评估FCN-8S虚假食物图像分割模型的准确性，采用了像素准确率作为评价指标。训练后的FCN-8S模型准确率为92.18%。基于ResNet的食物图像分割方案则使用“食物识别挑战赛”中定义的精确率指标进行评估。通过该指标，训练模型的平均精确率达到59.2%，在食品识别挑战赛中排名第二。近年来，深度神经网络已多次被验证为识别食品图像的合适解决方案。本文所展示的工作进一步证明了这一点。单一输出的食物图像识别方法简单直接，可用于简单的应用场景。而食物图像分割方法虽然在准备标注图像方面需要更多工作，但其对真实世界图像的适用性要高得多。未来，我们的目标是进一步在真实世界图像上评估所开发的流程。迈向真实世界验证的第一步由食物识别挑战赛提供，该挑战赛包含了一个真实世界食物图像的数据集。然而，仍需进一步的工作，以在全球范围内的食物图像上验证此方法，并与营养师开展合作研究。

deep-neural-networks-for-image-based-dietary-assessment

Research

科研

JoVE Journal

Engineering

工程

本文介绍了一种用于眼眶计算机断层扫描（CT）图像的物体分割方案。文中详细说明了采用超分辨率技术标注眼眶结构真实标签、从CT图像中提取感兴趣区域体积，以及利用二维序列U-Net对眼眶CT图像进行多标签分割建模的方法，以上均适用于监督学习。...

基于深度学习的医学图像分割应用 通过 眼眶计算机断层扫描

本方案描述了一种新颖的端到端显著物体检测算法。该算法利用深度神经网络，提高在复杂环境背景下显著物体检测的精度。...

复杂环境中的显著目标检测端到端深度神经网络

DeepOmicsAE：利用蛋白质组学、代谢组学和临床数据的深度学习分析揭示阿尔茨海默病中的信号模块

本实验方案的目标是制备可在连续光照下发生机械振荡的液晶高分子薄膜。我们详细描述了自支撑薄膜的制备过程，涵盖从液晶取向方法到光致驱动的各个环节。用于制备该材料的实验方案具有广泛的适用性。...

用于光诱导宏观振荡运动的液晶网络制备

本文采用多种方法测量钢筋的几何形貌和腐蚀程度：质量损失法、卡尺测量法、排水量测量法、三维扫描法以及X射线显微计算机断层扫描（XCT）。...

锈蚀钢筋形态参数评估方法的适用性分析

本方案展示了自由下落球体入水实验的基本实验装置。讨论了使用可穿透织物改变液体表面的方法、化学不浸润球体的制备方法，以及飞溅现象可视化和数据提取的步骤。...

改变流体与撞击物表面条件的自由下落球体对深液池的撞击影响

本方案的目标有两个：一是利用无人机作为提供基础架构的计算实体，构建一个网络功能虚拟化环境，以执行虚拟化网络功能；二是利用该环境支持在空中飞行器上自动部署功能完整的互联网协议电话服务。...

基于网络功能虚拟化的无人机互联网协议语音服务自动化部署

本文介绍了一种利用高强度激光脉冲自动辐照薄金箔的实验方案。该方案包含微加工靶材制备过程的逐步说明，以及如何以0.2...

用于强激光辐照实验的微加工靶材自动化输送

本研究展示了为测试紫外-可见光谱法（UV-Vis）表征金（Au）胶体分散液的标准操作程序（SOP）而设计的六家实验室间比对（ILC）的基准测试结果，参与比对的六家单位均来自H2020...

水相中纳米材料的紫外-可见光谱表征

本方案介绍了一种分析3D打印笔释放物的方法。通过测量释放颗粒的粒子浓度和粒径分布来评估其特性。进一步采用透射电子显微镜（TEM）对释放的颗粒进行分析。利用电感耦合等离子体质谱法（ICP-MS）对打印耗材中的金属含量进行定量检测。...

3D打印——评估3D打印笔的颗粒物排放

3D打印笔，颗粒物排放，气溶胶，打印温度，热塑性材料，聚乳酸（PLA），丙烯腈-丁二烯-苯乙烯共聚物（ABS），室内空气质量，暴露评估，纳米颗粒

学习基于深度神经网络的食物图像识别与分割技术，用于自动化膳食评估。该方法利用智能手机图像采集，通过数据增强和模型训练，实现高效准确的饮食记录与分析。

基于图像的饮食评估深度神经网络

探索更多视频