在日常生活环境中的基于智能手机的人体活动识别系统评估

摘要

已开发出一种针对可穿戴移动监测系统（WMMS）的标准化评估方法，该方法包含在真实日常生活环境中进行的连续性活动。使用一系列日常生活活动进行测试可能会降低活动识别的敏感性；因此，建议采用贴近现实的测试流程，以有效评估WMMS的性能。

摘要

为尝试识别用户活动的可穿戴移动监测系统（WMMS）开发了一种包含日常生活环境中连续活动的评估方法。受试者在一个连续测试回路中执行一组预先确定的日常活动，包括移动活动（步行、站立、坐、躺、上下楼梯）、日常生活任务（梳头、刷牙、准备食物、进食、洗碗）以及细微的环境变化（开门、使用电梯、在斜坡上行走、穿过楼梯平台、户外行走）。

为了评估WMMS在此电路任务中的性能，15名健康参与者在右侧前骨盆佩戴智能手机的情况下完成了各项任务。WMMS应用程序利用智能手机的加速度计和陀螺仪信号对活动状态进行分类。通过视频记录每次试验并手动记录活动起始时间，建立了一个金标准对照数据集。金标准数据与WMMS数据均进行离线分析。针对每条电路任务，计算了三种分类结果：（i）移动或静止，（ii）坐、站、躺或行走，以及（iii）坐、站、躺、行走、爬楼梯或小幅站立动作。计算了活动分类及状态转换的灵敏度、特异度和F值。

移动与非移动分类集的敏感度为 86.30% ± 7.2%，特异度为 98.96% ± 0.6%；而第二个预测集的敏感度为 88.35% ± 7.80%，特异度为 98.51% ± 0.62%。第三个分类集的敏感度为 84.92% ± 6.38%，特异度为 98.17 ± 0.62。第一、第二和第三个分类集的 F1 分数分别为 86.17 ± 6.3、80.19 ± 6.36 和 78.42 ± 5.96。这表明，WMMS 的性能不仅取决于算法，还依赖于评估协议。所展示的协议可用于评估康复医学中的人类活动识别系统，并可根据需要进行调整，以便在临床决策中对活动能力监测提供支持。

引言

由于计算和传感设备日益强大、小型化且成本低廉，无处不在的传感已成为一个备受关注的研究领域 ¹。利用可穿戴传感器进行运动监测已引起广泛关注，因为消费级微电子设备能够以高精度检测运动特征 ¹。基于可穿戴传感器的人类活动识别（HAR）是近年来的研究热点，早期研究可追溯至20世纪80年代和90年代^2-4。

现代智能手机具备进行移动活动识别所需的传感器和实时计算能力。设备上的实时分析可实现活动分类和数据上传，无需用户或研究人员干预。配备移动分析软件的智能手机可提供健身追踪、健康监测、跌倒检测、家庭或办公自动化以及自主管理的锻炼计划⁵。智能手机可被视为惯性测量平台，通过利用内置传感器输出计算生成的数学信号特征，用于检测人类的移动活动和移动模式⁶。常见的特征生成方法包括基于启发式、时域、频域和小波分析的方法 ⁷。

现代智能手机人体活动识别系统在检测特定活动时已展现出较高的预测准确率 ^1,5,6,7这些研究在评估方法和准确率方面存在差异，因为大多数研究都有各自的训练集、环境设置和数据采集协议。敏感性、特异性、准确率、召回率、精确率和F分数常用于描述预测质量。然而，关于这些方法的详细信息极少或几乎没有 "同时活动" 实时检测活动变化能力的识别与评估 ¹，对于试图对多种活动进行分类的人体活动识别（HAR）系统而言，其准确性评估方法在不同研究之间存在显著差异。无论采用何种分类算法或特征，大多数HAR研究对金标准评估方法的描述均较为模糊。

在日常生活环境中的活动识别尚未得到广泛研究。大多数基于智能手机的活动识别系统都是在受控条件下进行评估的，导致评估方案可能对算法有利，却难以反映真实世界环境的实际情况。在这些评估方案中，参与者通常仅执行用于预测的特定动作，而不是连续完成一系列范围更广、更贴近现实生活的活动，因而无法有效模拟真实生活场景。

一些智能手机人体活动识别（HAR）研究 ^8,9将相似的活动归为一类，例如上下楼梯和行走，但会从数据集中排除其他活动。随后通过算法识别目标活动的准确程度来确定预测精度。Dernbach et al. ⁹要求参与者在执行动作前先写下即将进行的活动，从而中断了连续的状态转换过程。HAR系统的评估应在参与者于日常生活环境中执行自然动作时进行，以便对系统进行贴近真实使用场景的评估。一个贴近现实的测试流程应包含多种状态转换以及系统无法预知的混合动作。研究者因此可评估算法对这些额外动作的响应能力，从而检验算法对异常动作的鲁棒性。

本文介绍了一种可穿戴移动监测系统（WMMS）的评估方案，该方案采用一个可控的、反映现实生活日常环境的测试路径，从而在受控但贴近真实的条件下对WMMS进行评估。在本方案中，我们使用了由渥太华大学和渥太华医院研究所开发的第三代WMMS^11-15。该WMMS专为配备三轴加速度计和陀螺仪的智能手机设计。其移动性算法能够适应用户的个体差异，减少状态变化识别中的假阳性事件数量，并提高活动分类的敏感性。减少假阳性至关重要，因为当系统检测到活动状态变化时，WMMS会触发短片段视频录制，以实现基于上下文的活动评估，从而进一步提升WMMS的分类准确性。不必要的视频录制将导致存储空间和电池使用的低效率。WMMS算法采用低计算量的学习模型结构，并通过不同预测层级进行评估，其中预测层级的提升意味着可识别动作种类的增加。

方案

本方案已获得渥太华健康科学网络研究伦理委员会批准。

1. 准备

1. 向参与者提供研究概述，解答任何疑问，并获取知情同意。记录参与者特征（例如年龄、性别、身高、体重、腰围、从髂前上棘到内踝的腿长、识别代码及日期记录在数据表上。确保用于拍摄视频的第二部智能手机的拍摄速率至少为每秒30帧。
2. 将手机套牢固地固定在受试者右侧前方的腰带或裤腰上。启动用于采集传感器数据的智能手机应用程序（即，确保移动测量智能手机上的数据记录或WMMS应用程序正常运行。将智能手机放入固定套中，使设备背面（后置摄像头）朝外。
3. 在第二部智能手机上开始数字视频录制。为保护隐私，录制对比视频时不要显示人物面部，但需确保记录所有活动转换过程。手机可手持使用。

2. 活动回路

1. 跟随参与者，并使用第二部智能手机录制其执行以下动作的过程，这些动作由研究人员口头指示：
   1. 从站立姿势开始，摇晃智能手机以表示试验开始。
   2. 持续站立至少10秒。此站立阶段可用于手机方向校准¹⁴。
   3. 走向附近的椅子并坐下。
   4. 站起后行走60米到达电梯。
   5. 站立等待电梯，然后进入电梯。
   6. 乘坐电梯至二楼。
   7. 转身进入居家环境。
   8. 走进浴室，模拟刷牙动作。
   9. 模拟梳头动作。
   10. 模拟洗手动作。
   11. 使用毛巾擦干双手。
   12. 走向厨房。
   13. 从置物架上取下餐具并放置在操作台上。
   14. 从厨房水槽接水注入水壶。
   15. 将水壶放在炉灶加热元件上。
   16. 将面包放入烤面包机中。
   17. 走向餐厅。
   18. 在餐桌旁坐下。
   19. 模拟在餐桌进餐。
   20. 站起后走回厨房水槽。
   21. 冲洗餐具并将其放回置物架。
   22. 从厨房返回电梯处。
   23. 站立等待电梯，然后进入电梯。
   24. 乘坐电梯至一楼。
   25. 行走50米到达楼梯间。
   26. 打开门并进入楼梯间。
   27. 上楼梯（13级台阶，绕过平台，再上13级台阶）。
   28. 打开楼梯间门进入走廊。
   29. 右转并在走廊内前行15米。
   30. 转身沿原路返回楼梯间，行走15米。
   31. 打开门并进入楼梯间。
   32. 下楼梯（13级台阶，绕过平台，再下13级台阶）。
   33. 离开楼梯间并进入一个房间。
   34. 躺到床上。
   35. 起身并行走10米到达斜坡。
   36. 走上斜坡，转身，再走下斜坡（共20米）。
   37. 继续前行进入走廊，并打开通向室外的门。
   38. 在铺砌的小路上行走100米。
   39. 转身沿原路返回房间。
   40. 进入房间并站立于起始位置。
   41. 继续保持站立状态，然后摇晃智能手机以表示试验结束。

3. 试验完成

1. 停止智能手机的视频录制，并请参与者取下并归还智能手机及固定套。停止智能手机上的数据记录或无线运动监测系统（WMMS）应用程序。将两部手机获取的运动数据文件和视频文件复制到计算机中，用于后期处理。

4. 后处理

1. 通过确定抖动动作开始的时间，同步视频与原始传感器数据的时间。该抖动动作对应一个明显的加速度计信号和视频帧。通过从传感器和视频数据源的抖动结束时间中减去抖动开始时间，检查同步误差。两组数据之间的时间差应相近。
2. 通过记录从开始摇晃时间到活动转换时刻的视频帧之间的时间差，从金标准视频中确定实际的状态改变时间。使用视频编辑软件将时间精度控制在0.033秒以内即，每秒30帧的视频速率）。使用WMMS软件根据传感器数据生成相应的状态变化。
3. 生成两组数据，一组为真实活动数据，另一组为预测活动数据：通过根据状态变化的时间为每个视频帧标注活动状态，然后从 WMMS 输出结果中计算每个视频帧时间点的预测活动。为评估 WMMS 的性能，计算金标准活动与 WMMS 预测活动之间的真正例、假负例、真负例和假正例。利用这些参数计算敏感性、特异性和 F 值等评估指标。
   注意：在确定状态变化结果时，可采用待分析窗口前后各3个数据窗口的容差设置，而在分类结果中则采用前后各2个数据窗口。例如，由于本研究中WMMS使用了1秒的数据窗口，因此会检查当前窗口前后各3秒的数据，以忽略在此容差范围内的连续状态变化。其考虑在于，持续时间少于3秒的状态变化在粗略的人体运动分析中可被忽略，因为这些状态被视为瞬态。

结果

研究方案采用方便抽样法，共招募了十五名身体健康的参与者，其平均体重为68.9（±11.1）kg，平均身高为173.9（±11.4）cm，平均年龄为26（±9）岁，均来自渥太华医院及渥太华大学的员工和学生。一部智能手机以40-50 Hz的可变采样频率采集传感器数据。智能手机传感器采样时出现采样率波动是常见现象。另一部智能手机用于以1280×720（720p）分辨率录制数字视频。

将枪套固定在受试者右前侧腰带或裤子上，且未对具体位置作进一步标准化。该方法展示了将设备自然地放置于髋部枪套中的方式。设备放入枪套并运行数据记录程序后，每位受试者以自主选择的速度完整 traversed 电路一次。实验前未向受试者说明电路路径，试验过程中由研究人员依次口头指示下一步操作。

WMMS 包含一个具有上下边界条件的决策树，类似于 Wu 的研究。 等 ¹³修订后的分类器采用1秒的窗口大小，并利用线性加速度信号（范围总和、简单移动平均值、标准差总和）和重力信号（与Y轴的差值、方差总和平均差）的特征 ^1...

讨论

近年来，由于可穿戴计算技术和智能手机的技术进步，以及对有助于临床决策和健康干预评估的定量结局指标的系统性需求，基于可穿戴移动监测系统的活动识别受到了越来越多的关注。本文所述方法在评估可穿戴移动监测系统（WMMS）开发方面具有有效性，因为在评估中纳入了广泛范围的日常生活活动和行走场景，从而发现了若未包含这些场景则无法显现的活动分类错误。

WMMS评估协议包含两个主要部分：在现实但受控条件下进行数据采集并配套提供金标准数据集，以及数据的后期处理。在对WMMS算法预测结果进行协议活动测试时，数字视频是提供金标准数据的有效解决方案。该协议中的关键步骤包括：（i）确保金标准视频能够捕捉到智能手机的抖动，从而实现金标准视频与受试者佩戴手机所采集数据之间的同步；（ii）确保金标准视频记录下受试者完成的所有状态转换即录制金标准视频的人员在跟随试验参与者时必须处于正确的位置。

评估方案包含行走活动、日常生活环境以及多种地形和过渡场景。所有动作需连续完成，同时由受试者随身携带的智能手机持续记录来自加速度计、陀螺仪、磁力计和GPS...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
智能手机或可穿戴测量设备	黑莓	Z10
智能手机用于视频录制	黑莓	Z10 或 9800
手机固定套	任何
智能手机数据记录仪应用	BlackBerry World - TOHRC 数据记录仪（适用于 BlackBerry 10）		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
可穿戴式运动功能测量	用于移动监测的定制黑莓10和Matlab软件		http://www.irrd.ca/cag/smartphone/
视频编辑或分析软件	运动分析工具		http://www.irrd.ca/cag/mat/