在日常生活环境评价一个智能手机为基础的人类活动识别系统

Introduction

无处不在的感知已经成为一个引人入胜的研究领域，由于日益强大，体积小，成本低的计算和传感设备^1。使用可穿戴式传感器移动度监视已经产生了极大的兴趣，因为消费级微电子能够检测高精度地¹的运动特性。使用可穿戴式传感器人体行为识别（HAR）是最近的一个研究领域，在20世纪80年代进行的，90年代²的初步研究^{- 4。}

现代智能手机包含必要的传感器和实时计算能力的移动性活动识别。在设备上的实时分析允许活动分类和数据上传，而无需用户或研究者干预。与流动性分析软件的智能手机可以提供健身追踪，健康监测，跌倒检测，家庭或工作的自动化，自我管理练习的研究E中^5。智能手机也算是惯性测量平台，用于检测人类的移动活动和移动模式，采用板载传感器输出⁶计算数学产生的信号特征。共同特点生成方法包括启发式，时域，频域和小波分析为基础的方法^7。

检测指定的活动^1,5,6,7当现代智能手机HAR系统显示较高的预测精度。这些研究中评价方法以及精度发生变化，因为大多数的研究有自己的训练组，环境设置，和数据收集协议。灵敏度，特异性，准确性，召回，精度，和F-分数通常用于描述预测质量。然而，几乎没有任何信息可以在对检测实时的活动变化的能力“并发活动”的认可和评价方法^1，对于试图进行分类的几项活动HAR系统。评估方法HAR系统的精度研究之间有很大差异。不管是分类算法和应用的特点，中金标准评估方法的描述是模糊的大多数HAR研究。

在每天的生活环境活动识别还没有被广泛研究。大多数智能电话为基础的活动识别系统以受控方式进行评估，导致评估协议可能是有利的算法，而不是现实的真实世界环境。在他们的评估方案，参加者往往只执行用于预测的行动，而不是将大范围的现实活动的参与者进行连续，模仿现实生活中的事件。

一些智能手机HAR研究^8,9组类似的活动结合起来，如楼梯，步行，但是从数据集中排除其他活动。预测精度，然后由得怎么样算法确定的目标的活动来决定。德恩巴赫等 ^9名学员写他们即将搬家之前执行，中断状态变化的连续转换活动。 HAR系统的评估应该评估的算法，而参与者执行在日常生活环境的自然行为。这将使现实生活中的评价，认为复制日常使用的应用程序。一个现实的电路包括许多变化，对国家以及对系统不能预见的动作组合。那么一个研究者可以评估算法应对这些额外的动作，从而评估该算法的鲁棒性异常动作。

本文提出一种使用受控的课程，反映现实生活的日常生活环境中可穿戴式移动监控系统（WMMS）评估协议。 WMMS评价就可以在控制，但现实条件进行。在这个协议中，我们使用了在渥太华大学和渥太华医院研究所^11-15开发出了第三代WMMS。该WMMS是专为智能手机与一个三轴加速度计和陀螺仪。在流动性算法占用户的变化，提供了误报的数量变化，状态识别的减少，并在活动分类提高灵敏度。最大限度地减少误报很重要，因为WMMS触发时被检测到的状态的活性变化短片拍摄，上下文敏感的活性评价进一步提高WMMS分类。不必要的录像创建存储和电池的使用效率低下。该WMMS算法是使用不同的预测的水平，其中增加的预测水平意味着增加量构造为低计算学习模式并评价可识别动作。

Protocol

该协议被批准为渥太华健康科学网络研究伦理委员会。

1.准备

1. 为参加者提供了研究的轮廓，回答任何问题，并取得知情同意。记录参与者的特征 （如年龄，性别，身高，体重，腰围，从髂前上棘至内踝脚高度），识别码和日期上的数据表。确保用于捕捉视频第二智能手机设置成每秒捕获率至少30帧。
2. 牢固地安装一个手机皮套参与者的右前皮带或裤子的腰。启动，将用于收集传感器数据 （即，数据记录或WMMS应用）上的移动性测量智能手机和确保应用程序被适当地运行应用程序的智能手机。将智能手机在机座，与设备的背面（背面钙照相机）朝外。
3. 启动数字视频记录在第二的智能手机。匿名，记录对比视频没有显示这个人的脸，但确保记录所有活动的过渡。这款手机可手持。

2.活动电路

1. 按照参与者和视频他们的行动，在第二的智能手机，而他们执行以下操作，由研究者所说：
   1. 从站立姿势，摇动智能手机，表明审判的开始。
   2. 继续静置至少10秒。这个站在阶段可用于电话取向校准^14。
   3. 步行到附近的椅子上坐下。
   4. 站起来，走60米时电梯。
   5. 站并等待电梯，然后走进电梯。
   6. 乘电梯到二楼。
   7. 转身走进了家居环境。
   8. 走进浴室和SImulate刷牙。
   9. 模拟梳理头发。
   10. 模拟洗手。
   11. 干手用毛巾擦干。
   12. 步行到厨房。
   13. 取菜从机架上，并将其放置在柜台上。
   14. 装满水的水壶从厨房水槽。
   15. 将炉子元件上的水壶。
   16. 将面包烤面包机。
   17. 走到饭厅。
   18. 坐在一张餐桌。
   19. 模拟吃过一顿饭在餐桌上。
   20. 站立和行走，回到厨房水槽。
   21. 用清水冲洗干净的菜，并将其放置在机架中。
   22. 步行从厨房回到电梯。
   23. 站并等待电梯，然后走进电梯。
   24. 乘电梯到了一楼。
   25. 走50米到楼梯间。
   26. 打开门，进入楼梯间。
   27. 步行上楼梯（13个步骤，围绕着陆，13步）。
   28. 打开楼梯间的门到走廊。
   29. 右转，走在大厅为15米。
   30. 掉头就走15米回到楼梯间。
   31. 打开门，进入楼梯间。
   32. 走楼梯（13个步骤，围绕着陆，13步）。
   33. 退出楼梯，走进一个房间。
   34. 躺在床上。
   35. 起床步行10米的斜坡。
   36. 走了坡道，转身，然后顺着斜坡（20米）。
   37. 继续走进大厅，打开大门之外。
   38. 走在铺好的路有100米。
   39. 转身走回了房间。
   40. 走进房间，站在起点。
   41. 继续站立，然后摇动智能手机，表明试验结束。

3.试验完成

1. 停止录像的智能手机，并要求参与者以删除并返回智能手机和皮套。停止对SMA数据记录或WMMS应用rtphone。从两款手机获得的运动数据文件和视频文件复制到电脑进行后期处理。

4.后处理

1. 通过确定时间摇动作开始时同步视频和原始传感器数据之间的定时。此摇动移动对应于不同的加速度计信号和视频帧。检查是否同步误差通过从开始抖动时间减去端抖动时间，对于传感器和视频数据源。时间差应为两个数据集之间的相似。
2. 通过记录从开始震荡时间的时间差，以视频帧活动之间的过渡确定状态变化的实际，从黄金标准的视频倍。使用视频编辑软件，以获得时间内0.033秒（ 即每秒的视频速率30帧）。使用WMMS软件生成类似的变化州的来自传感器的数据。
3. 生成两个数据集，一是与真正的活动和所述第二与预测的活动，通过标记为每个视频帧中的活动（基于的状态时序的变化），然后计算预测活动在距WMMS输出每个视频帧的时间。对于WMMS绩效评估，计算出真阳性，假阴性，真阴性，假阳性的金标准活动之间WMMS预测活动。使用这些参数来计算敏感性，特异性和F-评分结果的措施。
   注意：3个数据窗上被分析的窗口的任一侧的公差设定可以用于确定状态变化的结果，和2个数据窗进行分类的结果。例如，自1998年1第二数据窗户被在本研究中使用的WMMS，3秒前和当前窗口后测定以便将该容差范围内连续变化被忽略。代价是，这种情况发生在不到3秒的状态的变化可以忽略不计的总呼玛因为这些国家ň运行分析会被认为是暂时的。

Representative Results

研究方案与十五个身强力壮的参与者便利抽样的平均体重为68.9（±11.1）公斤进行，高度为173.9（±11.4）厘米，年龄为26（±9）岁，来自渥太华医院招募和渥太华的工作人员和学生的大学。智能电话以可变40-50 Hz的速率捕获传感器数据。采样率的变化是典型的智能手机传感器的采样。第二个智能手机使用了在1280×720（720P）分辨率录制数字视频。

枪套被固定在参与者的右前带或不带喘气的位置进一步规范。这表明一个自然的方法，将器件置于臀部的马倌。与设备放置在枪套和应用程序运行的数据记录器，每个人走过的电路一次，在一个自选定的速度。该电路并没有事先向参加者和诉讼活动的描述是在试验过程中所讲顺序调查。

该WMMS包括决策树与上，下边界条件，类似吴上班， 等人^。13。修订后的分类使用了1秒的窗口大小和功能的线性加速度信号（范围，简单移动平均金额，标准偏差之和）和重力信号（差值为Y，方差总的平均差异^）15。分别计算评估三组分类：（一）流动性或不动，（二）坐，立，卧，或步行，以及（iii）坐，立，卧，行走，爬楼梯，或小立运动。日常生活活动被打成小的动作。代表性的结果示于表1。

分类					TP		FN		TN		FP		灵敏度（％）			特异性（％）			F1-分数（％）
分类设置1					350		55		8701		91		86.30±7.2			98.96±0.6			86.17±6.3
分类设置2					359		47		8660		131		88.35±7.80			98.51±0.62			80.19±6.36
分类集3					423		75		8540		159		98.17±0.62			78.42±5.96
分类设置1
不动到手机					177		19
移动到不动					171		36
在移动									3990		73
在不动									4711		18
分类设置2
站在步行					134		17
步行至站					137		26
步行到坐					29		0
坐走					三十		0
步行到烈					11		4
骗走					15		0
在支架							2872		73
在坐									644		9
在烈									447		9
在步行									4697		40
分类集3
站在步行					70		7
步行至站					74		14
步行到坐					29		0
坐走					三十		0
步行到烈					15		0
骗走					15		0
步行到小动					68		7
小朝行走					61		13
13		2
楼梯走					13		2
小动，以小动					35		三十
在支架									1584		25
在坐							643		10
在烈									447		15
在步行									4398		56
在楼梯									246		0
在刷牙									190		12 </ TD>
在梳头									158		2
在洗手									152		6
在干手器									119		4
在移动菜									93		五
在填充水壶									190		五
在吐司									70		1
在洗碗									250		18

表1结果状态改变的决心;其中，真阳性（TP），假阴性（FN），真阴性（TN）假阳性（FP），总的变化 - 状态，敏感性，特异性，一次F1-得分。在指TN和FP的变化，国家的规定动作中。

从表1中，移动与不可移动分类组具有86.30％±7.2％的灵敏度的98.96％，特异性±0.6％，而第二预测组具有88.35％±7.80％的灵敏度的98.51％，特异性±0.62％ 。对于第三类组，灵敏度为84.92％±6.38％，特异性为98.17±0.62。 F1的分数为第一，第二和第三分类集是86.17±6.3，80.19±6.36，和78.42±5.96，分别。

图1-状态的变化的敏感性，特异性和F1-分数三个分类集。

Discussion

用可穿戴式移动监控系统，人类活动的认可已收到更多的关注，近年来，由于在可穿戴计算和智能手机和定量结果的措施，帮助临床决策和卫生干预措施评价系统需求的技术进步。本文介绍的方法是有效的评估WMMS发展至今，被发现活动分类错误不会一直存在，如果没有被列入评估范围广泛的日常活动和散步的情​​景。

该WMMS评价协议包括两个主要部分：数据采集与伴随的黄金标准数据集和数据后处理现实的，但控制的条件下。数字视频是测试整个协议活动WMMS算法预测时，提供黄金标准数据的可行的解决方案。在协议中的关键步骤是（i），以确保金标准视频捕获智能手机震动，因为这允许黄金标准视频与从参与者戴式电话和采集的数据的同步（ⅱ），以确保金标准的视频记录的所有转变执行经审讯参与者（ 即录制金标准的视频的人必须按照试验参与者的时候是在正确的位置）。

评估协议采用行走活动，每天的生活环境，以及各种地形和转换。所有操作完成连续而参与者佩戴的智能电话连续地从加速计，陀螺仪，磁力和GPS传感器记录的数据，和一个第二智能手机被用于视频由试验参与者执行的所有活动。该协议可以通过调整活动基于所述测试位置的顺序，只要各种日常生活芳连续执行的活动进行修改Ë中。十到十五分钟后，需要完成的电路中，根据不同的参与者。在试点测试中，一些与会者残疾人只能完成一个循环，因此审单的测试应该用一些人口考虑，以确保一个完整的数据集。

所提出的WMMS评价方法的局限是定时分辨率仅限于用于记录金标准比较视频和识别困难状态变化的截然不同的视频定时日常生活活动摄像头的视频帧速率。识别变化时，状态变化时，由多个帧导致由于活动的解释，可能是金标准和WMMS结果之间的差异开始，而不是WMMS错误。公差在每个变化的状态，在没有比较制成，可以实施，以有助于解释这些差异。

通常，增加的数量活动被分类和分类 ​​的难度（ 即楼梯，小的移动）降低了平均灵敏度，特异性和F1得分。此可以预期，因为增加的活动的数量增加的机会假阳性和假阴性。评估协议，只有使用有利于对算法的活动将产生的结果是误导性的，不太可能在现实条件下的评估，以产生类似的结果。因此，相对于现有方法的意义在于，该协议将导致对WMMS系统比在文献中以前的报告更保守的结果。然而，结果将更好地反映实践成果。 WMMS评价该方法可用于评估一系列的测量或协助人体运动可穿戴技术。

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/