Summary
我们提出了一种基于多式联运传感器的方法，以配置简单、舒适和快速的坠落检测和人类活动识别系统。目标是建立一个系统，以精确的坠落检测，可以很容易地实现和采用。
Abstract
本文提出了一种基于多式联运传感器的方法，以配置一种简单、舒适、快速的坠落检测和人体活动识别系统，该系统易于实现和采用。该方法基于特定类型的传感器、机器学习方法和程序的配置。该协议分为四个阶段：（1）数据库创建（2）数据分析（3）系统简化和（4）评估。利用这种方法，我们创建了一个多模式数据库，用于坠落检测和人类活动识别，即UP-Fall检测。它包括17个受试者的数据样本，在3次试验中执行5种跌倒和6种不同的简单活动。所有信息均使用 5 个可穿戴传感器（三轴加速度计、陀螺仪和光强度）、1 个脑电图头盔、6 个红外传感器作为环境传感器以及 2 个横向和前视点摄像头收集。提出的新方法增加了一些重要阶段，以对以下设计问题进行深入分析，以简化坠落检测系统：a） 选择在简单的坠落检测系统中使用哪些传感器或传感器组合，b） 确定信息源的最佳位置，c） 选择最适合的机器学习分类方法进行坠落和人类活动检测和识别。尽管文献中报道的一些多模式方法只关注上述一两个问题，但我们的方法允许同时解决与人类坠落和活动检测和识别系统相关的这三个设计问题。
Introduction
自世界人口老龄化现象1以来，秋季患病率有所上升，实际上被认为是一个重大的健康问题。当跌倒发生时，人们需要立即关注，以减少负面后果。坠落检测系统可以减少一个人在跌倒时接受医疗护理的时间，发送警报。
秋天检测系统有各种分类3。早期工作4通过检测方法、大致分析方法和机器学习方法对坠落检测系统进行分类。最近，其他作者33、5、65,6将数据采集传感器视为对坠落探测器进行分类的主要功能。Igual 等人3将坠落检测系统划分为上下文感知系统，包括基于视觉和环境传感器的方法以及可穿戴设备系统。Mubashir 等人5根据用于数据采集的设备将坠落探测器分为三组：可穿戴设备、环境传感器和基于视觉的设备。Perry等人6考虑测量加速度的方法、测量加速度的方法和其他方法，以及不测量加速度的方法。从这些调查中，我们可以确定传感器和方法是一般研究策略分类的主要内容。
每个传感器都有徐等人讨论的弱点和优势。基于视觉的方法主要使用普通摄像机、深度传感器摄像机和/或运动捕捉系统。普通网络摄像机成本低，使用方便，但对环境条件（光线变化、遮挡等）敏感，只能在减少的空间内使用，并且存在隐私问题。深度摄像机（如 Kinect）提供全身 3D 运动7，与普通摄像机相比，受照明条件影响较小。然而，基于Kinect的方法并不太可靠。运动捕获系统更昂贵且难以使用。
基于加速度计设备和带有内置加速度计的智能手机/手表的方法非常常用用于坠落检测。这些设备的主要缺点是必须长时间佩戴。不适、侵扰、身体放置和定向是这些方法需要解决的设计问题。尽管智能手机和智能手表是传感器不太显眼的设备，但老年人经常忘记或不总是佩戴这些设备。然而，这些传感器和设备的优点是，它们可用于许多房间和/或室外。
某些系统使用放置在环境周围的传感器来识别跌落/活动，因此人们不必佩戴传感器。但是，这些传感器也仅限于部署它们 8的位置，有时难以安装。最近，多式联运坠落检测系统包括视觉、可穿戴传感器和环境传感器的不同组合，以获得更精确和鲁棒性。它们还可以克服一些单传感器的限制。
用于坠落检测的方法与Bulling等人9提出的人类活动识别链（ARC）密切相关，该链包括数据采集、信号预处理和分段、特征提取和选择、训练和分类等阶段。必须针对每个阶段解决设计问题。每个阶段使用不同的方法。
我们提出了一种基于多式联运传感器的方法，以配置一种简单、舒适和快速的人类坠落和人类活动检测/识别系统。目标是建立一个系统，以精确的坠落检测，可以很容易地实现和采用。拟议的新方法基于ARC，但它增加了一些重要阶段，以便对以下问题进行深入分析，以简化系统：（a） 选择在简单的坠落检测系统中使用哪些传感器或传感器组合;（b） 选择在简单的坠落检测系统中使用传感器或传感器组合;（b） 选择在简单的坠落检测系统中使用传感器或传感器组合;（b） 确定信息来源的最佳位置;（c） 选择最适合的机器学习分类方法进行秋季检测和人类活动识别，以创建一个简单的系统。
文献中有一些相关的作品解决了上述一两个设计问题，但据我们所知，没有一部作品侧重于克服所有这些问题的方法。
相关工程采用多模式法进行坠落检测和人类活动识别10、11、12，以获得鲁棒性和提高精度。10,11,12Kwolek等人10日提议设计和实施基于加速度测量数据和深度图的坠落检测系统。他们设计了一个有趣的方法，其中实施三轴加速度计，以检测潜在的坠落以及人的运动。如果加速度测量值超过阈值，算法将提取人员将深度图与联机更新的深度参考图不同。使用支持向量机分类器对深度和加速度计组合进行了分析。
Ofli等人11日提出了多式联运人行动数据库，以便为新的人类活动识别系统提供一个试验台。数据集非常重要，因为操作是使用 1 个光学运动捕获系统、4 个多视图摄像机、1 个 Kinect 系统、4 个麦克风和 6 个无线加速度计同时收集的。作者介绍了每种模式的结果：Kinect、mocap、加速度计和音频。
Dovgan等人12日提出了一个检测老年人异常行为（包括跌倒）的原型。他们设计了三个传感器系统的测试，以便找到最适合坠落和异常行为检测的设备。第一个实验包括来自智能传感器系统的数据，该系统的臀部、膝盖、脚踝、手腕、肘部和肩部都贴有12个标签。他们还使用一个Ubisense传感器系统创建了一个测试数据集，该系统的腰部、胸部和脚踝上都贴有四个标签，还有一个Xsens加速度计。在第三个实验中，4个受试者只使用Ubisense系统，同时执行4种跌倒，4种健康问题作为异常行为和日常生活的不同活动（ADL）。
文献13、14、15,15的其他作品则解决了寻找最佳放置传感器或装置进行坠落检测的问题，将传感器的各种组合与多个分类器的性能进行比较。13,Santoyo等人13日提出了一份系统评估，评估了5个传感器的位置对于坠落检测的重要性。他们使用 k-最近邻域 （KNN）、支持向量机 （SVM）、天真的贝叶斯 （NB） 和决策树 （DT） 分类器比较了这些传感器组合的性能。他们得出的结论是，传感器在主体上的位置对坠落探测器的性能有重要影响，与所使用的分类器无关。
@zdemir14介绍了用于坠落检测的可穿戴传感器在身体上的位置的比较。为了确定传感器的位置，作者分析了以下位置的31个传感器组合：头部、腰部、胸部、右手腕、右脚踝和右大腿。14名志愿者进行了20次模拟坠落和16次ADL。他发现，当单个传感器位于腰部时，通过这些详尽的组合实验，可以获得最佳性能。恩塔纳西15使用奥兹德米尔的数据集进行了另一个比较。作者使用以下分类器对头部、胸部、腰部、手腕、脚踝和大腿的单位进行了比较：J48、KNN、RF、随机委员会（RC）和SVM。
不同计算方法在坠落检测中的表现基准也见文献16、17、18。17,1816Bagala等人16日对在实际坠落上测试的13种坠落检测方法的性能进行了系统比较。他们只考虑基于加速度计测量的算法放置在腰部或躯干上。Bourke等人17使用基于加速度计读数的 ALS 和下降数据集评估了五种秋季检测分析算法的性能。Kerdegari18还比较了不同分类模型的性能，为一组记录的加速度数据。用于坠落检测的算法为零R、1R、NB、DT、多层感知器和SVM。
Alazrai等人18提出了一种坠落检测方法，使用运动姿势几何描述符来构造人类活动的累积直方图表示。他们使用使用 Kinect 传感器收集的数据集来评估框架。
综上所述，我们发现多式联运坠落检测相关作品10、11、12比较了不同模式组合的性能。10,11,12一些作者解决了找到传感器13，14，15，14,15或传感器13的组合与几个分类器1313，15，16与13,15,16多个传感器相同的模式和加速度计的最佳位置的问题。文献中没有找到同时处理放置、多式联运组合和分类器基准的作品。
Protocol
这里描述的所有方法都已获得泛美大学工程学院研究委员会的批准。
注：此方法基于特定类型的传感器、机器学习方法和过程的配置，以便配置简单、快速和多模式坠落检测和人类活动识别系统。因此，以下协议分为几个阶段：（1） 数据库创建 （2） 数据分析 （3） 系统简化和 （4） 评估。
1. 数据库创建
- 设置数据采集系统。这将从受试者收集所有数据，并将信息存储在检索数据库中。
- 选择作为信息来源所需的可穿戴传感器、环境传感器和基于视觉的设备的类型。为每个信息源分配一个 ID、每个来源的通道数、技术规格和每个来源的采样率。
- 将所有信息源（即可穿戴设备和环境传感器以及基于视觉的设备）连接到中央计算机或分布式计算机系统：
- 验证基于有线的设备是否正确连接到一台客户端计算机。验证基于无线的设备是否充满电。请考虑电池电量不足可能会影响无线连接或传感器值。此外，间歇性或中断的连接会增加数据丢失。
- 设置每个设备以检索数据。
- 设置用于在云上存储数据的数据采集系统。由于要存储大量数据，此协议中考虑了云计算。
- 验证数据采集系统是否满足数据同步和数据一致性20属性。这维护了所有信息来源的数据存储的完整性。它可能需要数据同步的新方法。例如，请参阅佩阿图-阿斯图里亚诺等人20。
- 开始收集一些带有信息源的数据，并将数据存储在首选系统中。在所有数据中包括时间戳。
- 查询数据库并确定是否以相同的采样率收集所有信息源。如果完成正确，则转到步骤 1.1.6。否则，使用佩阿福特-阿斯图里亚诺等20号报告的标准执行向上采样或下采样。
- 通过考虑系统目标所需的条件和限制来设置环境（或实验室）。设置模拟坠落中冲击力衰减的条件，如 Lachance 等23中建议的合规地板系统，以确保参与者的安全。
- 使用床垫或任何其他符合要求的地板系统，并将其放置在环境中心（或实验室）。
- 将所有物体远离床垫，以便周围至少提供一米的安全空间。如果需要，为参与者准备个人防护装备（如手套、帽子、护目镜、膝盖支撑等）。
注： 协议可以在这里暂停。
- 确定系统在配置后将检测到的人类活动和坠落。重要的是要牢记坠落检测和人类活动识别系统的目的，以及目标人群。
- 定义坠落检测和人类活动识别系统的目标。把它写在计划单上。对于这个案例研究，目标是对老年人在室内每天进行的人类跌倒和活动类型进行分类。
- 根据系统的目标定义实验的目标总体。把它写在计划表上。在这项研究中，将老年人作为目标人群。
- 确定日常活动的类型。包括一些看起来像跌落的非坠落活动，以改善实际坠落检测。为所有它们分配一个 ID，并尽可能详细地描述它们。设置要执行的每个活动的时间段。将所有此信息写在计划表中。
- 确定人类跌倒的类型。为所有它们分配一个 ID，并尽可能详细地描述它们。设置要执行的每个秋天的时间段。考虑瀑布是由受试者自行生成的还是由其他人产生的（例如，推动主体）。将所有此信息写在计划表中。
- 在计划表中，记下活动的顺序，并记下主体将执行的活动顺序。指定时间段、每个活动/下降的试验次数、执行活动/下降的说明以及活动/下降的 ID。
注： 协议可以在这里暂停。
- 选择将执行活动序列和下降的研究的相关主题。瀑布是现实生活中罕见的事件，通常发生在老年人。不过，出于安全考虑，不包括在秋季模拟的老年人和受损害者。眩晕已经被用来避免受伤22。
- 确定受试者的性别、年龄范围、体重和身高。定义所需的任何减值条件。此外，定义实验所需的最小科目数。
- 根据上一步中所述的条件，随机选择所需的科目集。用号召志愿者招募他们。在人类试验时，履行机构和国家适用的所有道德准则，以及任何国际法规。
注： 协议可以在这里暂停。
- 从主题检索和存储数据。此信息对于进一步的实验分析非常有用。在临床专家或负责的研究人员的监督下完成以下步骤。
- 使用步骤 1.1 中配置的数据采集系统开始收集数据。
- 要求每个受试者执行步骤 1.2 中声明的活动序列和下降。清楚地保存每个活动/下降开始和结束的时间戳。验证所有信息来源的数据是否保存在云上。
- 如果活动未正确完成或设备出现问题（例如，连接丢失、电池电量不足、间歇性连接），请丢弃示例并重复步骤 1.4.1，直到未发现设备问题。每个试验，按步骤 1.2 的顺序声明，重复步骤 1.4.2。
注： 协议可以在这里暂停。
- 预处理获取的所有数据。对每个信息来源应用向上采样和向下采样。查看马丁内斯-维拉塞奥等人21中关于坠落检测和人类活动识别的预处理数据的详细信息。
注： 协议可以在这里暂停。
2. 数据分析
- 选择数据处理模式。如果数据库中存储的数据将被直接使用（即，使用深度学习进行自动特征提取），请选择原始数据，然后转到步骤 2.2。如果要素提取将用于进一步分析，请选择要素数据，然后转到步骤 2.3。
- 对于原始数据，不需要额外的步骤，因此转到步骤 2.5。
- 对于要素数据，从原始数据中提取要素。
- 在时间窗口中分段原始数据。确定并修复时间窗口长度（例如，一秒大小的帧）。此外，确定这些时间窗口是否重叠。一个好的做法是选择50%重叠。
- 从每个数据段中提取要素。确定要从段中提取的时间要素和频繁要素集。有关常见特征提取，请参阅马丁内斯-维拉斯尼奥尔等21。
- 将功能提取数据集保存在云上的独立数据库中。
- 如果将选择不同的时间窗口，请重复步骤 2.3.1 到 2.3.3，并将每个功能数据集保存在独立数据库中。
注： 协议可以在这里暂停。
- 选择提取的最重要要素并减少要素数据集。应用一些常用的要素选择方法（例如，单变量选择、主要组件分析、递归特征消除、特征重要性、关联矩阵等）。
- 选择要素选择方法。在这里，我们使用功能重要性。
- 使用每个要素训练给定模型（我们使用了 RF）并测量精度（请参阅公式1）。
- 按精度顺序对要素进行排序。
- 选择最重要的功能。在这里，我们使用排名最好的前十个功能。
注： 协议可以在这里暂停。
- 选择机器学习分类方法并训练模型。有众所周知的机器学习方法16,17,18,21等，例如：支持向量机 （SVM）、随机林 （RF）、多层感知器 （MLP） 和 k 近邻 （KNN） 等。
- 或者，如果选择了深度学习方法，则考虑21：卷积神经网络 （CNN）、长期短期内存神经网络 （LSTM） 等。
- 选择一组机器学习方法。在这里，我们使用以下方法：SVM、RF、MLP 和 KNN。
- 修复每个机器学习方法的参数，如文献21中的建议。
- 使用独立的要素数据集（或原始数据集）创建组合要素数据集（或原始数据集），以组合信息来源类型。例如，如果需要一个可穿戴传感器和一个摄像机的组合，则合并每个源的功能数据集。
- 拆分定型和测试集中的功能数据集（或原始数据集）。一个不错的选择是随机划分70%用于培训，30%用于测试。
- 为每个机器学习方法使用功能数据集（或原始数据集）运行 k 折交叉验证21。使用通用的评估指标（如准确性（参见公式1）来选择按方法训练的最佳模型。建议使用一个主题（LOSO）实验3。
- 打开首选编程语言软件中的训练功能数据集（或原始数据集）。建议使用 Python。对于此步骤，请使用熊猫库读取 CSV 文件，如下所示：
training_set = 熊猫.csv（<文件名.csv>）。 - 将要素数据集（或原始数据集）拆分成对输入输出。例如，使用 Python 声明 x 值（输入）和 y 值（输出）：
training_set_X = training_set.drop（'标记'，轴 =1），training_set_Y = training_set.tag
其中标记表示包含目标值的要素数据集的列。 - 选择一种机器学习方法并设置参数。例如，在 Python 中使用 SVM 与库 sklearn 类似以下命令：
分类器 = sklearn。SVC（内核 ="多边形"）
其中内核函数被选为多项式函数。 - 培训机器学习模型。例如，在 Python 中使用上述分类器来训练 SVM 模型：
分类器.fit（training_set_X，training_set_Y）。 - 使用测试要素数据集（或原始数据集）计算模型的估计值。例如，在 Python 中使用估计函数，如下所示：估计 = 分类器.预测（testing_set_X），其中testing_set_X表示测试集的 x 值。
- 重复步骤 2.5.6.1 到 2.5.6.5，k 倍交叉验证中指定的 k 的次数（或 LOSO 方法所需的次数）。
- 对于所选的每个机器学习模型，重复步骤 2.5.6.1 到 2.5.6.6。
注： 协议可以在这里暂停。
- 打开首选编程语言软件中的训练功能数据集（或原始数据集）。建议使用 Python。对于此步骤，请使用熊猫库读取 CSV 文件，如下所示：
- 通过将所选模型与测试数据集进行测试，比较机器学习方法。可以使用其他计算指标：精度（公式 1）、精度 （公式2）、灵敏度（公式 3）、特异性（公式 4）或 F1 分数（公式 5），其中TP为真正数，TN为真负数，FP为误报，FN为假负数。
- 使用其他有益的性能指标（如混淆矩阵9）来评估机器学习模型的分类任务，或独立于决策的精度召回9 （PR） 或接收器操作特性9 （ROC） 曲线。在这种方法中，召回和敏感性被认为是等价的。
- 运用机器学习模型的定性特征来比较它们，如：易于进行机器学习解释;实时性能;有限的时间、内存和处理计算资源;以及便于在边缘设备或嵌入式系统中部署机器学习。
- 使用以下信息选择最佳机器学习模型：质量指标（公式 1-5）、步骤 2.5.6、2.5.7 和 2.5.8 的性能指标和机器学习可行性的定性特征。
注： 协议可以在这里暂停。
3. 系统简化
- 选择正确的信息源位置。有时，有必要确定信息源的最佳位置（例如，可穿戴传感器的哪个位置更好）。
- 确定要分析的信息源子集。例如，如果机身中有五个可穿戴传感器，并且只有一个传感器必须被选为最佳传感器放置，则每个传感器都将是子集的一部分。
- 对于此子集中的每个信息源，请创建一个单独的数据集并单独存储它。请记住，此数据集可以是以前的功能数据集或原始数据集。
注： 协议可以在这里暂停。
- 选择机器学习分类方法，并为一个信息放置源训练模型。使用步骤 3.1.2 中创建的每个数据集从 2.5.1 到 2.5.6 的完整步骤。通过排名检测最合适的信息放置来源。在本案例研究中，我们使用以下方法：SVM、RF、MLP 和 KNN。
注意：协议可以在此处暂停。 - 如果系统需要两个或多个信息源的组合（例如，将一个可穿戴传感器和一台摄像机组合在一个系统中），请选择多模式方法中的合适位置。在本案例研究中，使用腰部可穿戴传感器和摄像机 1（横向视图）作为模式。
- 选择系统中每种模式的最佳信息源，并使用这些信息源的独立数据集创建组合要素数据集（或原始数据集）。
- 选择机器学习分类方法，并针对这些组合的信息源训练模型。使用组合要素数据集（或原始数据集）完成步骤 2.5.1 到 2.5.6。在本研究中，使用以下方法：SVM、RF、MLP 和 KNN。
注： 协议可以在这里暂停。
4. 评价
- 在更现实的情况下与用户一起准备一个新的数据集。仅使用上一步骤中选择的信息源。最好在目标群体中实施系统（例如老年人）。在较长时间内收集数据。
- 如果只使用目标组，则选择组协议，包括排除条款（例如任何身体或心理损伤）和停止标准预防（例如，在试验期间检测任何身体伤害;恶心、头晕和/或呕吐;昏厥）。还要考虑道德问题和数据隐私问题。
- 评估迄今为止开发的坠落检测和人类活动识别系统的性能。使用公式 1+5 确定系统或任何其他性能指标的准确性和预测能力。
- 讨论实验结果的发现。
Representative Results
创建数据库
我们创建了用于坠落检测和人类活动识别的多模式数据集，即 UP-Fall 检测21。这些数据是在泛美大学工程学院（墨西哥墨西哥城）为期四周的时间内收集的。考虑到以下要求，选择了测试方案：（a） 受试者可以舒适、安全地进行坠落和活动的空间;（b） 具有自然和人工光的室内环境，非常适合多式联运传感器设置。
在3次试验中，有来自17个受试者的数据样本，他们进行了5种类型的跌倒和6种不同的简单活动。所有信息均使用内部数据采集系统收集，该系统包含 5 个可穿戴传感器（三轴加速度计、陀螺仪和光强度）、1 个脑电图头盔、6 个红外传感器作为环境传感器以及 2 个横向和前视点摄像头。图 1显示了传感器放置在环境和主体上的布局。整个数据集的采样率为 18 Hz。数据库包含两个数据集：整合的原始数据集 （812 GB） 和功能数据集 （171 GB）。存储在云中的所有数据库都用于公开访问：https://sites.google.com/up.edu.mx/har-up/。有关数据采集、预处理、合并和存储数据库的更多详细信息，以及同步和数据一致性的详细信息，请访问马丁内斯-维拉塞奥等人21。
在这个数据库中，所有受试者都是健康的年轻志愿者（9名男性和8名女性），没有任何损伤，年龄从18岁到24岁不等，平均身高1.66米，平均体重66.8公斤。在数据收集过程中，技术责任研究员监督所有活动都由受试者正确执行。受试者进行了五种类型的跌倒，每一种为10秒，作为下降：向前用手（1），向前使用膝盖（2），向后（3），坐在空椅子（4）和侧向（5）。他们还每天进行六次60s的活动，除了跳跃（30s）：走路（6次），站立（7），捡起一个物体（8个），坐着（9），跳跃（10）和铺设（11）。尽管模拟瀑布无法重现所有类型的真实瀑布，但至少必须包括具有代表性的瀑布类型，从而创建更好的坠落检测模型。使用 ADSL，特别是通常可能误认为跌倒（如拾取对象）的活动也相关。下降和ADL的类型是在对相关的坠落检测系统21进行审查后选择的。例如，图2显示了当主体侧落时一个试用图像序列。
我们从可穿戴传感器的每个通道和包含756个特征的可穿戴传感器和环境传感器的每个通道中提取了12个时态（均值、标准差、最大振幅、最小振幅、根均方正、中位、零交叉数、偏斜度、峰度、第一次四分位数、第三次四分位数和自相关）和6个常量特征（均值、中位、熵、能量、主频和光谱质质）21个特征。我们还计算了 400 个视觉特征21，每个摄像机有关视频中两个相邻图像之间的像素相对运动。
单式联运方式与多式联运方法之间的数据分析
从 UP-Fall 检测数据库中，我们分析了数据，以便比较单式联运和多式联运方法。从这个意义上说，我们比较了七种不同的信息来源组合：仅红外传感器（IR）;仅限可穿戴传感器（IMU）;可穿戴传感器和头盔（IMU+EEG）;红外和可穿戴传感器和头盔（IR_IMU_EEG）;仅限摄像机（CAM）;红外传感器和照相机（IR+CAM）;和可穿戴传感器、头盔和摄像头 （IMU_EEG_CAM）。此外，我们比较了三种不同的时间窗口大小和 50% 重叠：一秒、两秒和三秒。在每个细分市场中，我们选择了应用特征选择和排名的最有用的功能。使用此策略，我们每个模式只使用 10 个要素，但使用 40 个功能的 IR 模式除外。此外，对四个众所周知的机器学习分类器进行了比较：RF、SVM、MLP 和 KNN。我们采用 10 倍的交叉验证，其中 70% 的培训和 30% 测试的数据集来训练机器学习模型。表 1显示了此基准的结果，根据机器学习模型和最佳窗口长度配置报告每种模式获得的最佳性能。评估指标报告准确性、精度、灵敏度、特异性和 F1 得分。图 3以图形表示形式以 F1 分数的形式显示这些结果。
从表1中，多模式方法（红外和可穿戴传感器和头盔、IR_IMU_EEG;以及可穿戴传感器、头盔和摄像头IMU_EEG+CAM）与单模态方法（仅限红外、红外、仅相机、CAM）相比，获得了最佳的F1得分值。我们还注意到，仅可穿戴传感器 （IMU） 的性能与多式联运方法相似。在这种情况下，我们选择了多模式方法，因为不同的信息来源可以处理来自其他信息的局限性。例如，摄像机中的侵扰可以通过可穿戴传感器处理，不使用所有可穿戴传感器可以补充摄像机或环境传感器。
就数据驱动模型的基准而言，表1的实验表明，RF在几乎所有实验中都显示出最佳结果;虽然 MLP 和 SVM 的性能不太一致（例如，这些技术中的标准偏差显示的可变性比 RF 中多）。关于窗口大小，这些并不代表它们之间的任何显著改善。需要注意的是，这些实验是为秋天和人类活动分类而完成的。
传感器放置和最佳多式联运组合
另一方面，我们的目标是确定用于坠落检测的多式联运器件的最佳组合。对于此分析，我们将信息源限制为五个可穿戴传感器和两台摄像机。这些设备是最适合使用的方法。此外，我们考虑了两类：下降（任何类型的下降）或无下降（任何其他活动）。所有机器学习模型和窗口大小都与前一次分析相同。
对于每个可穿戴传感器，我们为每个窗口长度构建了独立的分类器模型。我们使用 10 倍交叉验证对模型进行了培训，进行了 70% 的培训和 30% 的测试数据集。表 2汇总了基于 F1 得分的每个性能分类器的可穿戴传感器排名结果。这些结果按降序排序。如表2所示，在腰部、颈部或右口袋（阴影区域）使用单个传感器时，获得最佳性能。此外，脚踝和左手腕可穿戴传感器表现最差。表 3显示了每个可穿戴传感器的窗口长度首选项，以便在每个分类器中获得最佳性能。从结果中，腰部、颈部和带射频分类器的右口袋紧口袋传感器和具有 50% 重叠的 3 个窗口尺寸是最合适的秋季检测可穿戴传感器。
我们对系统中的每台摄像机进行了类似的分析。我们为每个窗口大小构建了独立的分类器模型。在培训方面，我们通过 70% 培训和 30% 测试数据集进行 10 倍的交叉验证。表 4显示了每个分类器基于 F1 得分的最佳摄像机视点的排名。如所观察到，横向视图（摄像机 1）执行最佳坠落检测。此外，与其他分类器相比，RF 表现优于其他分类器。此外，表 5显示了每个摄像机视点的窗口长度首选项。从结果中，我们发现摄像机的最佳位置是使用RF在3个窗口大小和50%重叠的横向视点。
最后，我们选择了两个可能的可穿戴传感器（即腰部和紧口袋）的位置，与横向视点相机相结合。在同一个训练程序之后，我们从表6中获得了结果。如图所示，RF 模型分类器在两种多态型中均获得最佳精度和 F1 得分性能。此外，腰部和相机1的组合排名第一的位置，获得98.72%的准确率和95.77%的F1得分。
图 1：UP-Fall 检测数据库中可穿戴（左）和环境（右）传感器的布局。可穿戴传感器放置在前额、左手腕、颈部、腰部、裤子的右口袋和左脚踝。环境传感器是六个配对的红外传感器，用于检测主体和两个摄像头的存在。摄像机位于横向视图和前视图，与人坠落有关。请点击此处查看此图形的较大版本。
图 2：从 UP-Fall 检测数据库中提取的视频录制示例。在顶部，有一系列对象侧向下降的图像。在底部，有一系列图像表示提取的视觉特征。这些要素是两个相邻图像之间的像素的相对运动。白色像素表示更快的运动，而黑色像素表示较慢（或接近零）的运动。此序列按时间顺序从左到右排序。请点击此处查看此图形的较大版本。
图 3：比较结果报告每种模式相对于机器学习模型和最佳窗口长度的最佳 F1 分数。条形表示 F1 分数的平均值。数据点中的文本表示括号中的平均值和标准偏差。请点击此处查看此图形的较大版本。
| 形态 | 模型 | 精度 （%） | 精度 （%） | 灵敏度（%） | 特异性（%） | F1 得分 （%） |
| 红外 | RF （3 秒） | 67.38 × 0.65 | 36.45 × 2.46 | 31.26 × 0.89 | 96.63 × 0.07 | 32.16 × 0.99 |
| SVM （3 秒） | 65.16 × 0.90 | 26.77 × 0.58 | 25.16 × 0.29 | 96.31 ± 0.09 | 23.89 × 0.41 | |
| MLP （3 秒） | 65.69 × 0.89 | 28.19 × 3.56 | 26.40 × 0.71 | 96.41 ± 0.08 | 25.13 × 1.09 | |
| 千纳（3 秒） | 61.79 × 1.47 | 30.04 × 1.44 | 27.55 × 0.97 | 96.05 × 0.16 | 27.89 × 1.13 | |
| Imu | RF （1 秒） | 95.76 × 0.18 | 70.78 × 1.53 | 66.91 × 1.28 | 99.59 × 0.02 | 68.35 × 1.25 |
| SVM （1 秒） | 93.32 × 0.23 | 66.16 × 3.33 | 58.82 × 1.53 | 99.32 × 0.02 | 60.00 × 1.34 | |
| MLP （1 秒） | 95.48 × 0.25 | 73.04 × 1.89 | 69.39 × 1.47 | 99.56 × 0.02 | 70.31 × 1.48 | |
| 千纳（1 秒） | 94.90 × 0.18 | 69.05 × 1.63 | 64.28 × 1.57 | 99.50 × 0.02 | 66.03 × 1.52 | |
| IMU_EEG | RF （1 秒） | 95.92 × 0.29 | 74.14 × 1.29 | 66.29 × 1.66 | 99.59 × 0.03 | 69.03 × 1.48 |
| SVM （1 秒） | 90.77 × 0.36 | 62.51 × 3.34 | 52.46 × 1.19 | 99.03 × 0.03 | 53.91 × 1.16 | |
| MLP （1 秒） | 93.33 × 0.55 | 74.10 × 1.61 | 65.32 × 1.15 | 99.32 × 0.05 | 68.13 × 1.16 | |
| 千纳（1 秒） | 92.12 × 0.31 | 66.86 × 1.32 | 58.30 × 1.20 | 98.89 × 0.05 | 60.56 × 1.02 | |
| IR_IMU_EEG | RF （2 秒） | 95.12 ± 0.36 | 74.63 × 1.65 | 66.71 × 1.98 | 99.51 ± 0.03 | 69.38 × 1.72 |
| SVM （1 秒） | 90.59 × 0.27 | 64.75 × 3.89 | 52.63 × 1.42 | 99.01 ± 0.02 | 53.94 × 1.47 | |
| MLP （1 秒） | 93.26 × 0.69 | 73.51 × 1.59 | 66.05 × 1.11 | 99.31 ± 0.07 | 68.19 × 1.02 | |
| 千纳（1 秒） | 92.24 × 0.25 | 67.33 × 1.94 | 58.11 × 1.61 | 99.21 ± 0.02 | 60.36 × 1.71 | |
| 凸轮 | RF （3 秒） | 32.33 × 0.90 | 14.45 × 1.07 | 14.48 × 0.82 | 92.91 ± 0.09 | 14.38 × 0.89 |
| SVM （2 秒） | 34.40 × 0.67 | 13.81 ± 0.22 | 14.30 × 0.31 | 92.97 × 0.06 | 13.83 × 0.27 | |
| MLP （3 秒） | 27.08 × 2.03 | 8.59 × 1.69 | 10.59 × 0.38 | 92.21 ± 0.09 | 7.31 ± 0.82 | |
| 千纳（3 秒） | 34.03 × 1.11 | 15.32 × 0.73 | 15.54 × 0.57 | 93.09 × 0.11 | 15.19 ± 0.52 | |
| IR+CAM | RF （3 秒） | 65.00 × 0.65 | 33.93 × 2.81 | 29.02 × 0.89 | 96.34 × 0.07 | 29.81 × 1.16 |
| SVM （3 秒） | 64.07 × 0.79 | 24.10 × 0.98 | 24.18 × 0.17 | 96.17 × 0.07 | 22.38 × 0.23 | |
| MLP （3 秒） | 65.05 × 0.66 | 28.25 × 3.20 | 25.40 × 0.51 | 96.29 × 0.06 | 24.39 × 0.88 | |
| 千纳（3 秒） | 60.75 × 1.29 | 29.91 × 3.95 | 26.25 × 0.90 | 95.95 × 0.11 | 26.54 × 1.42 | |
| IMU_EEG_CAM | RF （1 秒） | 95.09 × 0.23 | 75.52 × 2.31 | 66.23 × 1.11 | 99.50 × 0.02 | 69.36 × 1.35 |
| SVM （1 秒） | 91.16 × 0.25 | 66.79 × 2.79 | 53.82 × 0.70 | 99.07 × 0.02 | 55.82 × 0.77 | |
| MLP （1 秒） | 94.32 × 0.31 | 76.78 × 1.59 | 67.29 × 1.41 | 99.42 × 0.03 | 70.44 × 1.25 | |
| 千纳（1 秒） | 92.06 × 0.24 | 68.82 × 1.61 | 58.49 × 1.14 | 99.19 ± 0.02 | 60.51 × 0.85 |
表1：比较结果，报告每种模式在机器学习模型和最佳窗口长度（括号内）的最佳性能。性能中的所有值表示平均值和标准差。
| # | IMU 类型 | |||
| 射频 | Svm | Mlp | Knn | |
| 1 | （98.36） 腰围 | （83.30） 右口袋 | （57.67） 右口袋 | （73.19） 右口袋 |
| 2 | （95.77） 颈部 | （83.22） 腰围 | （44.93） 颈部 | （68.73） 腰围 |
| 3 | （95.35） 右口袋 | （83.11） 颈部 | （39.54） 腰围 | （65.06） 颈部 |
| 4 | （95.06） 脚踝 | （82.96） 脚踝 | （39.06） 左手腕 | （58.26） 脚踝 |
| 5 | （94.66） 左手腕 | （82.82） 左手腕 | （37.56） 脚踝 | （51.63） 左手腕 |
表 2：按 F1 得分（括号内）排序的每个分类器的最佳可穿戴传感器的排名。阴影中的区域表示用于秋季检测的前三个分类器。
| IMU 类型 | 窗口长度 | |||
| 射频 | Svm | Mlp | Knn | |
| 左脚踝 | 2 秒 | 3 秒 | 1 秒 | 3 秒 |
| 腰 | 3 秒 | 1 秒 | 1 秒 | 2 秒 |
| 脖子 | 3 秒 | 3 秒 | 2 秒 | 2 秒 |
| 右口袋 | 3 秒 | 3 秒 | 2 秒 | 2 秒 |
| 左手腕 | 2 秒 | 2 秒 | 2 秒 | 2 秒 |
表 3：每个分类器的可穿戴传感器的首选时间窗口长度。
| # | 摄像机视图 | |||
| 射频 | Svm | Mlp | Knn | |
| 1 | （62.27） 横向视图 | （24.25） 横向视图 | （13.78） 前视图 | （41.52） 横向视图 |
| 2 | （55.71） 前视图 | （0.20） 前视图 | （5.51） 横向视图 | （28.13） 前视图 |
表 4：按 F1 得分（括号内）排序的每个分类器的最佳摄像机视点的排名。阴影中的区域表示用于坠落检测的顶级分类器。
| 相机 | 窗口长度 | |||
| 射频 | Svm | Mlp | Knn | |
| 横向视图 | 3 秒 | 3 秒 | 2 秒 | 3 秒 |
| 前视图 | 2 秒 | 2 秒 | 3 秒 | 2 秒 |
表 5：每个分类器的摄像机视点中的首选时间窗口长度。
| 模 态 | 分类 | 精度 （%） | 精度 （%） | 灵敏度（%） | F1 得分 （%） |
| 腰 + 横向视图 |
射频 | 98.72 × 0.35 | 94.01 × 1.51 | 97.63 × 1.56 | 95.77 × 1.15 |
| Svm | 95.59 × 0.40 | 100 | 70.26 × 2.71 | 82.51 × 1.85 | |
| Mlp | 77.67 × 11.04 | 33.73 × 11.69 | 37.11 × 26.74 | 29.81 × 12.81 | |
| Knn | 91.71 × 0.61 | 77.90 × 3.33 | 61.64 × 3.68 | 68.73 × 2.58 | |
| 右口袋 + 横向视图 |
射频 | 98.41 ± 0.49 | 93.64 × 1.46 | 95.79 × 2.65 | 94.69 × 1.67 |
| Svm | 95.79 × 0.58 | 100 | 71.58 × 3.91 | 83.38 × 2.64 | |
| Mlp | 84.92 × 2.98 | 55.70 × 11.36 | 48.29 × 25.11 | 45.21 × 14.19 | |
| Knn | 91.71 ± 0.58 | 73.63 × 3.19 | 68.95 × 2.73 | 71.13 × 1.69 |
表 6：使用 3 秒窗口长度组合的可穿戴传感器和摄像机视点的比较结果。所有值表示均值和标准差。
Discussion
创建数据集时，通常会遇到由于同步、组织和数据不一致问题20而遇到的挑战。
同步
在获取数据时，由于多个传感器通常以不同的采样率工作，因此会出现同步问题。频率较高的传感器收集的数据比频率较低的传感器多。因此，来自不同源的数据不会正确配对。即使传感器以相同的采样速率运行，数据也可能不对齐。在这方面，以下建议可能有助于处理这些同步问题20：（一） 从传感器获取的每个数据样本中记录时间戳、主题、活动和试验;（二） 从传感器获取的每个数据样本中，请记录时间戳、主题、活动和试验情况;（二） 从传感器获取的每个数据样本中，请记录时间戳、主题、活动和试验情况;（二） 最一致和不太频繁的信息来源必须用作同步的参考信号;（iii） 使用自动或半自动程序同步视频录制，手动检查不切实际。
数据预处理
数据预处理也必须完成，关键决策会影响此过程：（a） 确定多源和异构源的数据存储和数据表示方法 （b） 确定在本地主机或云（c） 选择数据组织的方法，包括文件名和文件夹 （d） 处理缺少的数据值以及传感器中的冗余，等等。此外，对于数据云，建议尽可能进行本地缓冲，以减轻上传时数据丢失。
数据不一致
在发现数据样本大小变化的试验之间，数据不一致是常见的。这些问题与可穿戴传感器中的数据采集有关。数据采集的短暂中断和来自多个传感器的数据冲突会导致数据不一致。在这些情况下，不一致检测算法对于处理传感器中的联机故障非常重要。请务必强调，在整个实验中，应经常监视基于无线的设备。电池电量低可能会影响连接并导致数据丢失。
伦理
在参与人员的各类实验中，必须同意参与和道德批准。
关于这种方法的局限性，必须注意到，该方法是为考虑不同数据收集方式的方法设计的。该系统可包括可穿戴式、环境和/或视觉传感器。由于数据收集丢失、连接减少和整个系统功耗降低等问题，建议考虑基于无线传感器中的设备的功耗和电池的使用寿命。此外，此方法适用于使用机器学习方法的系统。应事先对这些机器学习模型的选择进行分析。其中一些模型可能准确，但耗费了很高的时间和精力。必须考虑准确估计和机器学习模型中计算资源有限之间的权衡。还必须指出，在收集系统的数据时，活动按同样顺序进行;试验也按相同的顺序进行。出于安全考虑，使用保护床垫让受试者跌倒。此外，瀑布是自行开始的。这是模拟和实际坠落之间的一个重要区别，通常发生在硬质材料上。从这个意义上说，这个数据集记录的下降与一个直觉的反应，试图不下降。此外，老年人或残疾人的实际跌倒与模拟跌倒之间存在一定差异;在设计新的坠落检测系统时，必须考虑到这些因素。这项研究的重点是没有任何障碍的年轻人，但值得注意的是，科目的选择应该与系统的目标和将使用它的目标人群保持一致。
从上述10、11、12、13、14、15、16、17、18上述相关作品中，我们可以观察到，有些作者使用多式联运方法，专注于获得强大的坠落探测器，或侧重于分类器的放置或性能。10,11,12,13,14,15,16,17,18因此，它们只解决一个或两个用于坠落检测的设计问题。我们的方法允许同时解决坠落检测系统的三个主要设计问题。
对于未来的工作，我们建议根据根据这种方法获得的结果设计和实施一个简单的多式联运坠落检测系统。对于实际采用，应使用转移学习、分层分类和深度学习方法来开发更强大的系统。我们的实施没有考虑到机器学习模型的定性指标，但为了进一步开发人类坠落和活动检测/识别系统，必须考虑实时和有限的计算资源。最后，为了改进我们的数据集，可以考虑绊倒或几乎下降的活动，以及对志愿者日常生活的实时监控。
Disclosures
作者没有什么可透露的。
Acknowledgments
这项研究由泛美大学通过"2018年UP项目编号"的资助资助，项目代码为UP-CI-2018-ING-MX-04。
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
