在日常生活环境中的基于智能手机的人体活动识别系统评估

摘要

已开发出一种针对可穿戴移动监测系统（WMMS）的标准化评估方法，该方法包含在真实日常生活环境中进行的连续性活动。使用一系列日常生活活动进行测试可能会降低活动识别的敏感性；因此，建议采用贴近现实的测试流程，以有效评估WMMS的性能。

摘要

为尝试识别用户活动的可穿戴移动监测系统（WMMS）开发了一种包含日常生活环境中连续活动的评估方法。受试者在一个连续测试回路中执行一组预先确定的日常活动，包括移动活动（步行、站立、坐、躺、上下楼梯）、日常生活任务（梳头、刷牙、准备食物、进食、洗碗）以及细微的环境变化（开门、使用电梯、在斜坡上行走、穿过楼梯平台、户外行走）。

为了评估WMMS在此电路任务中的性能，15名健康参与者在右侧前骨盆佩戴智能手机的情况下完成了各项任务。WMMS应用程序利用智能手机的加速度计和陀螺仪信号对活动状态进行分类。通过视频记录每次试验并手动记录活动起始时间，建立了一个金标准对照数据集。金标准数据与WMMS数据均进行离线分析。针对每条电路任务，计算了三种分类结果：（i）移动或静止，（ii）坐、站、躺或行走，以及（iii）坐、站、躺、行走、爬楼梯或小幅站立动作。计算了活动分类及状态转换的灵敏度、特异度和F值。

移动与非移动分类集的敏感度为 86.30% ± 7.2%，特异度为 98.96% ± 0.6%；而第二个预测集的敏感度为 88.35% ± 7.80%，特异度为 98.51% ± 0.62%。第三个分类集的敏感度为 84.92% ± 6.38%，特异度为 98.17 ± 0.62。第一、第二和第三个分类集的 F1 分数分别为 86.17 ± 6.3、80.19 ± 6.36 和 78.42 ± 5.96。这表明，WMMS 的性能不仅取决于算法，还依赖于评估协议。所展示的协议可用于评估康复医学中的人类活动识别系统，并可根据需要进行调整，以便在临床决策中对活动能力监测提供支持。

引言

由于计算和传感设备日益强大、小型化且成本低廉，无处不在的传感已成为一个备受关注的研究领域 ¹。利用可穿戴传感器进行运动监测已引起广泛关注，因为消费级微电子设备能够以高精度检测运动特征 ¹。基于可穿戴传感器的人类活动识别（HAR）是近年来的研究热点，早期研究可追溯至20世纪80年代和90年代^2-4。

现代智能手机具备进行移动活动识别所需的传感器和实时计算能力。设备上的实时分析可实现活动分类和数据上传，无需用户或研究人员干预。配备移动分析软件的智能手机可提供健身追踪、健康监测、跌倒检测、家庭或办公自动化以及自主管理的锻炼计划⁵。智能手机可被视为惯性测量平台，通过利用内置传感器输出计算生成的数学信号特征，用于检测人类的移动活动和移动模式⁶。常见的特征生成方法包括基于启发式、时域、频域和小波分析的方法 ⁷。

现代智能手机人体活动识别系统在检测特定活动时已展现出较高的预测准确率 ^1,5,6,7这些研究在评估方法和准确率方面存在差异，因为大多数研究都有各自的训练集、环境设置和数据采集协议。敏感性、特异性、准确率、召回率、精确率和F分数常用于描述预测质量。然而，关于这些方法的详细信息极少或几乎没有 &....

方案

本方案已获得渥太华健康科学网络研究伦理委员会批准。

1. 准备

1. 向参与者提供研究概述，解答任何疑问，并获取知情同意。记录参与者特征（例如年龄、性别、身高、体重、腰围、从髂前上棘到内踝的腿长、识别代码及日期记录在数据表上。确保用于拍摄视频的第二部智能手机的拍摄速率至少为每秒30帧。
2. 将手机套牢固地固定在受试者右侧前方的腰带或裤腰上。启动用于采集传感器数据的智能手机应用程序（即，确保移动测量智能手机上的数据记录或WMMS应用程序正常运行。将智能手机放入固定套中，使设备背面（后置摄像头）朝外。
3. 在第二部智能手机上开始数字视频录制。为保护隐私，录制对比视频时不要显示人物面部，但需确保记录所有活动转换过程。手机可手持使用。

2. 活动回路

1. 跟随参与者，并使用第二部智能手机录制其执行以下动作的过程，这些动作由研究人员口头指示：
   1. 从站立姿势开始，摇晃智能手机以表示试验开始。
   2. 持续站立至少10秒。此站立阶段可用于手机方向校准¹⁴。
   3. 走向附近的椅子并坐下。
   4. 站起后行走60米到达电梯。
   5. 站立等待电梯，然后进入电梯。
   6. 乘坐电梯至二楼。

结果

研究方案采用方便抽样法，共招募了十五名身体健康的参与者，其平均体重为68.9（±11.1）kg，平均身高为173.9（±11.4）cm，平均年龄为26（±9）岁，均来自渥太华医院及渥太华大学的员工和学生。一部智能手机以40-50 Hz的可变采样频率采集传感器数据。智能手机传感器采样时出现采样率波动是常见现象。另一部智能手机用于以1280×720（720p）分辨率录制数字视频。

将枪套固定在受试者右前侧腰带或裤子上，且未对具体位置作进一步标准化。该方法展示了将设备自然地放置于髋部枪套中的方式。设备放入枪套并运行数据记录程序后，每位受试者以自主选择的速度完整 traversed 电路一次。实验前未向受试者说明电路路径，试验过程中由研究人员依次口头指示下一步操作。

WMMS 包含一个具有上下边界条件的决策树，类似于 Wu 的研究。 等 ¹³修订后的分类器采用1秒的窗口大小，并利用线性加速度信号（范围总和、简单移动平均值、标准差总和）和重力信号（与Y轴的差值、方差总和平均差）的特征 ^1.......

讨论

近年来，由于可穿戴计算技术和智能手机的技术进步，以及对有助于临床决策和健康干预评估的定量结局指标的系统性需求，基于可穿戴移动监测系统的活动识别受到了越来越多的关注。本文所述方法在评估可穿戴移动监测系统（WMMS）开发方面具有有效性，因为在评估中纳入了广泛范围的日常生活活动和行走场景，从而发现了若未包含这些场景则无法显现的活动分类错误。

WMMS评估协议包含两个主要部分：在现实但受控条件下进行数据采集并配套提供金标准数据集，以及数据的后期处理。在对WMMS算法预测结果进行协议活动测试时，数字视频是提供金标准数据的有效解决方案。该协议中的关键步骤包括：（i）确保金标准视频能够捕捉到智能手机的抖动，从而实现金标准视频与受试者佩戴手机所采集数据之间的同步；（ii）确保金标准视频记录下受试者完成的所有状态转换即录制金标准视频的人员在跟随试验参与者时必须处于正确的位置。

评估方案包含行走活动、日常生活环境以及多种地形和过渡场景。所有动作需连续完成，同时由受试者随身携带的智能手机持续记录来自加速度计、陀螺仪、磁力计和GPS.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
智能手机或可穿戴测量设备	黑莓	Z10
智能手机用于视频录制	黑莓	Z10 或 9800
手机固定套	任何
智能手机数据记录仪应用	BlackBerry World - TOHRC 数据记录仪（适用于 BlackBerry 10）		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
可穿戴式运动功能测量	用于移动监测的定制黑莓10和Matlab软件		http://www.irrd.ca/cag/smartphone/
视频编辑或分析软件	运动分析工具		http://www.irrd.ca/cag/mat/