在日常生活环境评价一个智能手机为基础的人类活动识别系统

Summary

为可穿戴移动性监测系统 （WMMS） 开发了一种标准化的评估方法，其中包括在现实的日常生活环境中的连续活动。通过一系列日常生活活动进行测试会降低活动识别敏感性;因此，鼓励使用真实的测试电路来有效评估 WMMS 性能。

Abstract

为试图识别用户活动的可穿戴移动监控系统 （WMMS） 开发了一种包括日常生活环境中连续活动的评估方法。参与者在连续测试回路中执行一组预先确定的日常生活动作，包括移动活动（行走、站立、坐下、躺着、上下楼梯）、日常生活任务（梳头、刷牙、准备食物、吃饭、洗碗）和细微的环境变化（开门、使用电梯、在斜坡上行走、穿过楼梯平台、在户外行走）。

为了评估 WMMS 在该回路上的性能，15 名身体健全的参与者在右前骨盆上佩戴智能手机完成了任务。WMMS 应用程序使用智能手机加速度计和陀螺仪信号对活动状态进行分类。通过对每项试验进行视频录制并手动记录活动开始时间，创建了金标准比较数据集。对 Gold standard 和 WMMS 数据进行离线分析。为每个回路计算了三个分类集：（i） 活动性或不动，ii） 坐、站、躺或走，以及 （iii） 坐、站、躺、走、爬楼梯或小站姿运动。计算活动分类和状态变化的敏感性、特异性和 F 分数。

移动与固定分类集的敏感性为 86.30% ± 7.2%，特异性为 98.96% ± 0.6%，而第二个预测集的敏感性为 88.35% ± 7.80%，特异性为 98.51% ± 0.62%。对于第三个分类集，敏感性为 84.92% ± 6.38%，特异性为 98.17 ± 0.62。第一、第二和第三分类集的 F1 分数分别为 86.17 ± 6.3、80.19 ± 6.36 和 78.42 ± 5.96。这表明 WMMS 性能除了算法之外还取决于评估协议。所演示的方案可用于评估康复医学中的人体活动识别系统，其中活动性监测可能有助于临床决策。

Introduction

无处不在的感知已经成为一个引人入胜的研究领域，由于日益强大，体积小，成本低的计算和传感设备^1。使用可穿戴式传感器移动度监视已经产生了极大的兴趣，因为消费级微电子能够检测高精度地¹的运动特性。使用可穿戴式传感器人体行为识别（HAR）是最近的一个研究领域，在20世纪80年代进行的，90年代²的初步研究^{- 4。}

现代智能手机包含必要的传感器和实时计算能力的移动性活动识别。在设备上的实时分析允许活动分类和数据上传，而无需用户或研究者干预。与流动性分析软件的智能手机可以提供健身追踪，健康监测，跌倒检测，家庭或工作的自动化，自我管理练习的研究E中^5。智能手机也算是惯性测量平台，用于检测人类的移动活动和移动模式，采用板载传感器输出⁶计算数学产生的信号特征。共同特点生成方法包括启发式，时域，频域和小波分析为基础的方法^7。

检测指定的活动^1,5,6,7当现代智能手机HAR系统显示较高的预测精度。这些研究中评价方法以及精度发生变化，因为大多数的研究有自己的训练组，环境设置，和数据收集协议。灵敏度，特异性，准确性，召回，精度，和F-分数通常用于描述预测质量。然而，几乎没有任何信息可以在对检测实时的活动变化的能力"并发活动"的认可和评价方法^1，对于试图进行分类的几项活动HAR系统。评估方法HAR系统的精度研究之间有很大差异。不管是分类算法和应用的特点，中金标准评估方法的描述是模糊的大多数HAR研究。

在每天的生活环境活动识别还没有被广泛研究。大多数智能电话为基础的活动识别系统以受控方式进行评估，导致评估协议可能是有利的算法，而不是现实的真实世界环境。在他们的评估方案，参加者往往只执行用于预测的行动，而不是将大范围的现实活动的参与者进行连续，模仿现实生活中的事件。

一些智能手机HAR研究^8,9组类似的活动结合起来，如楼梯，步行，但是从数据集中排除其他活动。预测精度，然后由得怎么样算法确定的目标的活动来决定。德恩巴赫等 ^9名学员写他们即将搬家之前执行，中断状态变化的连续转换活动。 HAR系统的评估应该评估的算法，而参与者执行在日常生活环境的自然行为。这将使现实生活中的评价，认为复制日常使用的应用程序。一个现实的电路包括许多变化，对国家以及对系统不能预见的动作组合。那么一个研究者可以评估算法应对这些额外的动作，从而评估该算法的鲁棒性异常动作。

本文提出一种使用受控的课程，反映现实生活的日常生活环境中可穿戴式移动监控系统（WMMS）评估协议。 WMMS评价就可以在控制，但现实条件进行。在这个协议中，我们使用了在渥太华大学和渥太华医院研究所^11-15开发出了第三代WMMS。该WMMS是专为智能手机与一个三轴加速度计和陀螺仪。在流动性算法占用户的变化，提供了误报的数量变化，状态识别的减少，并在活动分类提高灵敏度。最大限度地减少误报很重要，因为WMMS触发时被检测到的状态的活性变化短片拍摄，上下文敏感的活性评价进一步提高WMMS分类。不必要的录像创建存储和电池的使用效率低下。该WMMS算法是使用不同的预测的水平，其中增加的预测水平意味着增加量构造为低计算学习模式并评价可识别动作。

Protocol

该协议被批准为渥太华健康科学网络研究伦理委员会。

1.准备

1. 为参加者提供了研究的轮廓，回答任何问题，并取得知情同意。记录参与者的特征 （如年龄，性别，身高，体重，腰围，从髂前上棘至内踝脚高度），识别码和日期上的数据表。确保用于捕捉视频第二智能手机设置成每秒捕获率至少30帧。
2. 牢固地安装一个手机皮套参与者的右前皮带或裤子的腰。启动，将用于收集传感器数据 （即，数据记录或WMMS应用）上的移动性测量智能手机和确保应用程序被适当地运行应用程序的智能手机。将智能手机在机座，与设备的背面（背面钙照相机）朝外。
3. 启动数字视频记录在第二的智能手机。匿名，记录对比视频没有显示这个人的脸，但确保记录所有活动的过渡。这款手机可手持。

2.活动电路

1. 按照参与者和视频他们的行动，在第二的智能手机，而他们执行以下操作，由研究者所说:
   1. 从站立姿势，摇动智能手机，表明审判的开始。
   2. 继续静置至少10秒。这个站在阶段可用于电话取向校准^14。
   3. 步行到附近的椅子上坐下。
   4. 站起来，走60米时电梯。
   5. 站并等待电梯，然后走进电梯。
   6. 乘电梯到二楼。
   7. 转身走进了家居环境。
   8. 走进浴室和SImulate刷牙。
   9. 模拟梳理头发。
   10. 模拟洗手。
   11. 干手用毛巾擦干。
   12. 步行到厨房。
   13. 取菜从机架上，并将其放置在柜台上。
   14. 装满水的水壶从厨房水槽。
   15. 将炉子元件上的水壶。
   16. 将面包烤面包机。
   17. 走到饭厅。
   18. 坐在一张餐桌。
   19. 模拟吃过一顿饭在餐桌上。
   20. 站立和行走，回到厨房水槽。
   21. 用清水冲洗干净的菜，并将其放置在机架中。
   22. 步行从厨房回到电梯。
   23. 站并等待电梯，然后走进电梯。
   24. 乘电梯到了一楼。
   25. 走50米到楼梯间。
   26. 打开门，进入楼梯间。
   27. 步行上楼梯（13个步骤，围绕着陆，13步）。
   28. 打开楼梯间的门到走廊。
   29. 右转，走在大厅为15米。
   30. 掉头就走15米回到楼梯间。
   31. 打开门，进入楼梯间。
   32. 走楼梯（13个步骤，围绕着陆，13步）。
   33. 退出楼梯，走进一个房间。
   34. 躺在床上。
   35. 起床步行10米的斜坡。
   36. 走了坡道，转身，然后顺着斜坡（20米）。
   37. 继续走进大厅，打开大门之外。
   38. 走在铺好的路有100米。
   39. 转身走回了房间。
   40. 走进房间，站在起点。
   41. 继续站立，然后摇动智能手机，表明试验结束。

3.试验完成

1. 停止录像的智能手机，并要求参与者以删除并返回智能手机和皮套。停止对SMA数据记录或WMMS应用rtphone。从两款手机获得的运动数据文件和视频文件复制到电脑进行后期处理。

4.后处理

1. 通过确定时间摇动作开始时同步视频和原始传感器数据之间的定时。此摇动移动对应于不同的加速度计信号和视频帧。检查是否同步误差通过从开始抖动时间减去端抖动时间，对于传感器和视频数据源。时间差应为两个数据集之间的相似。
2. 通过记录从开始震荡时间的时间差，以视频帧活动之间的过渡确定状态变化的实际，从黄金标准的视频倍。使用视频编辑软件，以获得时间内0.033秒（ 即每秒的视频速率30帧）。使用WMMS软件生成类似的变化州的来自传感器的数据。
3. 生成两个数据集，一是与真正的活动和所述第二与预测的活动，通过标记为每个视频帧中的活动（基于的状态时序的变化），然后计算预测活动在距WMMS输出每个视频帧的时间。对于WMMS绩效评估，计算出真阳性，假阴性，真阴性，假阳性的金标准活动之间WMMS预测活动。使用这些参数来计算敏感性，特异性和F-评分结果的措施。
   注意:3个数据窗上被分析的窗口的任一侧的公差设定可以用于确定状态变化的结果，和2个数据窗进行分类的结果。例如，自1998年1第二数据窗户被在本研究中使用的WMMS，3秒前和当前窗口后测定以便将该容差范围内连续变化被忽略。代价是，这种情况发生在不到3秒的状态的变化可以忽略不计的总呼玛因为这些国家ň运行分析会被认为是暂时的。

Results

研究方案与十五个身强力壮的参与者便利抽样的平均体重为68.9（±11.1）公斤进行，高度为173.9（±11.4）厘米，年龄为26（±9）岁，来自渥太华医院招募和渥太华的工作人员和学生的大学。智能电话以可变40-50 Hz的速率捕获传感器数据。采样率的变化是典型的智能手机传感器的采样。第二个智能手机使用了在1280×720（720P）分辨率录制数字视频。

枪套被固定在参与者的右前带或不带喘气的位置进一步规范。这表明一个自然的方法，将器件置于臀部的马倌。与设备放置在枪套和应用程序运行的数据记录器，每个人走过的电路一次，在一个自选定的速度。该电路并没有事先向参加者和诉讼活动的描述是在试验过程中所讲顺序调查。

该WMMS包括决策树与上，下边界条件，类似吴上班， 等人^。13。修订后的分类使用了1秒的窗口大小和功能的线性加速度信号（范围，简单移动平均金额，标准偏差之和）和重力信号（差值为Y，方差总的平均差异^）15。分别计算评估三组分类:（一）流动性或不动，（二）坐，立，卧，或...

Discussion

用可穿戴式移动监控系统，人类活动的认可已收到更多的关注，近年来，由于在可穿戴计算和智能手机和定量结果的措施，帮助临床决策和卫生干预措施评价系统需求的技术进步。本文介绍的方法是有效的评估WMMS发展至今，被发现活动分类错误不会一直存在，如果没有被列入评估范围广泛的日常活动和散步的情​​景。

该WMMS评价协议包括两个主要部分:数据采集与伴随的黄金标准数据集和数据后处理现实的，但控制的条件下。数字视频是测试整个协议活动WMMS算法预测时，提供黄金标准数据的可行的解决方案。在协议中的关键步骤是（i），以确保金标准视频捕获智能手机震动，因为这允许黄金标准视频与从参与者戴式电话和采集的数据的同步（ⅱ），以确保金标准的视频记录的所有转变执行经审讯参与者（ 即录制金标准的视频的人必须按照试验参与者的时候是在正确的位置）。

评估协议采用行走活动，每天的生活环境，以及各种地形和转换。所有操作完成连续而参与者佩戴的智能电话连续地从加速计，陀螺仪，磁力和GPS传感器记录的数据，和一个第二智能手机被用于视频由试验参与者执行的所有活动...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
智能手机或可穿戴测量设备	黑莓	Z10
用于视频录制的智能手机	黑莓	Z10 或 9800
手机皮套	用于
智能手机的任何数据记录器应用程序	黑莓世界 - TOHRC 黑莓 10		数据记录器http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
可穿戴移动性测量	用于移动性监测的自定义 Blackberry 10 和 Matlab 软件	http://www.irrd.ca/cag/smartphone/
分析软件	运动分析工具		http://www.irrd.ca/cag/mat/