我们提出一种基于多模态传感器的方法，用于构建一种简单、舒适且快速的跌倒检测与人体活动识别系统。该目标旨在建立一种可准确检测跌倒、且易于实施和推广的系统。
本文内容
摘要
摘要
本文提出了一种基于多模态传感器的方法，用于构建一种简单、舒适且快速的跌倒检测与人体活动识别系统，该系统易于实现和推广。该方法基于特定类型传感器的配置、机器学习方法及相应流程。本方案分为四个阶段：（1）数据库构建，（2）数据分析，（3）系统简化，以及（4）评估。利用该方法，我们建立了一个用于跌倒检测与人体活动识别的多模态数据库，即UP-Fall Detection数据库。该数据库包含17名受试者在3次试验中执行5种跌倒类型和6种不同日常简单活动所采集的数据样本。所有数据通过5个可穿戴传感器（三轴加速度计、陀螺仪和光强传感器）、1个脑电图头盔、6个作为环境传感器的红外传感器，以及2个分别位于侧面和正面视角的摄像头采集获得。所提出的创新性方法引入了若干关键步骤，以深入分析以下系统设计问题，从而实现跌倒检测系统的简化：a）选择在简易跌倒检测系统中应采用的单一传感器或传感器组合；b）确定信息源的最佳放置位置；c）选择最适合跌倒及人体活动检测与识别的机器学习分类方法。尽管文献中已报道的一些多模态方法仅关注上述问题中的一至两个方面，而本方法能够同时解决与人体跌倒及活动检测识别系统相关的这三项设计问题。
引言
随着全球人口老龄化现象的加剧1，跌倒的发生率不断上升，目前已被视为一项重大公共卫生问题2。当跌倒发生时，个体需要立即获得关注，以减少不良后果。跌倒检测系统可在跌倒发生时发出警报，缩短个体获得医疗救助的时间。
跌倒检测系统有多种分类方式3。早期研究4根据检测方法将跌倒检测系统分为两大类：分析方法和机器学习方法。近年来，其他学者3,5,6则将数据采集传感器作为分类跌倒检测系统的主要依据。Igual 等人3将跌倒检测系统分为情境感知系统（包括基于视觉和环境传感器的方法）和可穿戴设备系统。Mubashir 等人5根据用于数据采集的设备类型，将跌倒检测器分为三类：可穿戴设备、环境传感器和基于视觉的设备。Perry 等人6则依据是否测量加速度，将检测方法分为仅测量加速度的方法、结合加速度与其他参数的测量方法，以及不测量加速度的方法。通过这些综述可知，传感器类型与检测方法是划分总体研究策略的主要要素。
每种传感器的优缺点在Xu等人7的研究中均有讨论。基于视觉的方法主要使用普通相机、深度传感器相机和/或动作捕捉系统。普通网络相机成本低且易于使用，但对环境条件（如光照变化、遮挡等）敏感，仅适用于较小的空间范围，且存在隐私问题。深度相机（如Kinect）可提供全身三维运动信息7，且受光照条件影响较小。然而，基于Kinect的方法在鲁棒性和可靠性方面仍有所不足。动作捕捉系统则更为昂贵且使用复杂。
基于加速度计设备以及内置加速度计的智能手机/智能手表的跌倒检测方法被广泛使用。这些设备的主要缺点是需要长时间佩戴。佩戴不适、干扰日常生活、设备在身体上的位置和方向等问题，是此类方法在设计上需要解决的挑战。尽管智能手机和智能手表相比其他传感器更为隐蔽且干扰较小，但老年人仍常常忘记佩戴或无法始终佩戴这些设备。然而，这些传感器和设备的优势在于可在多个房间内和/或户外使用。
一些系统采用布置在环境中的传感器来识别跌倒或活动，因此人们无需佩戴传感器。然而，这些传感器的应用也受限于其部署位置8，且有时安装较为困难。近年来，多模态跌倒检测系统结合了视觉、可穿戴传感器和环境传感器的不同组合，以提高检测的精确性和鲁棒性。这类系统还能克服单一传感器的一些局限性。
用于跌倒检测的方法与Bulling等人提出的人类活动识别链（ARC）密切相关9，该识别链包括数据采集、信号预处理与分割、特征提取与选择、训练与分类等阶段。每个阶段都需要解决相应的设计问题，且各阶段采用的方法各不相同。
我们提出一种基于多模态传感器的方法，用于构建一个简单、舒适且快速的人体跌倒与人体活动检测/识别系统。该目标是建立一种可准确检测跌倒、且易于实现和推广的系统。所提出的创新方法基于ARC框架，但增加了若干关键步骤，以深入分析以下问题，从而简化系统设计：（a）选择用于简单跌倒检测系统的传感器类型或传感器组合；（b）确定信息源的最佳放置位置；（c）选择最适合跌倒检测与人体活动识别的机器学习分类方法，以构建一个简化的系统。
文献中已有一些相关研究涉及上述部分设计问题，但据我们所知，尚无研究专注于提出一种能够克服所有这些问题的方法学。
相关研究采用多模态方法进行跌倒检测和人体活动识别10,11,12，以提高系统的鲁棒性和检测精度。Kwolek 等人10提出了一种基于加速度数据和深度图的跌倒检测系统的设计与实现方法。他们设计了一种新颖的方法，使用三轴加速度计检测潜在的跌倒事件以及人体的运动状态。当加速度测量值超过设定阈值时，算法通过将深度图与在线更新的参考深度图进行差分，提取出人体区域。随后，采用支持向量机分类器对深度信息与加速度数据的组合进行了分析。
Ofli 等人11 提出了一种多模态人类动作数据库（Multimodal Human Action Database, MHAD），旨在为新的人类活动识别系统提供测试平台。该数据集具有重要意义，因为其动作数据是同时通过1套光学动作捕捉系统、4个多视角摄像头、1套 Kinect 系统、4个麦克风和6个无线加速度计采集的。作者分别展示了每种模态的结果：Kinect、动作捕捉（mocap）、加速度计和音频。
Dovgan 等人12提出了一种用于检测老年人异常行为（包括跌倒）的原型系统。他们设计了三种传感器系统的测试，以确定最适合用于跌倒及异常行为检测的设备。第一次实验采用一种智能传感器系统，该系统在髋部、膝盖、脚踝、手腕、肘部和肩部共安装了12个标签，采集相关数据。他们还创建了一个测试数据集，使用一个Ubisense传感器系统，其在腰部、胸部和双侧脚踝共安装四个标签，并结合一个Xsens加速度计。在第三次实验中，四名受试者仅使用Ubisense系统，执行4种类型的跌倒动作、4种模拟健康问题的异常行为，以及不同的日常生活活动（ADL）。
文献中的其他研究13,14,15探讨了如何优化传感器或设备的放置位置以实现最佳跌倒检测效果，通过比较多种传感器组合与不同分类器的性能来解决这一问题。Santoyo 等人13开展了一项系统性评估，分析了5个传感器在不同位置对跌倒检测的重要性。他们采用k近邻（KNN）、支持向量机（SVM）、朴素贝叶斯（NB）和决策树（DT）分类器，比较了这些传感器组合的性能。研究得出结论：无论使用何种分类器，传感器在受试者身上的位置均对跌倒检测性能具有重要影响。
Özdemir14提出了一种用于跌倒检测的可穿戴传感器在人体不同佩戴位置的比较研究。为了确定最佳传感器位置，作者分析了以下部位的31种传感器组合：头部、腰部、胸部、右手腕、右脚踝和右大腿。14名志愿者进行了20次模拟跌倒和16次日常生活活动（ADL）。研究发现，在这些详尽的组合实验中，当单个传感器佩戴在腰部时，检测性能最佳。Ntanasis15使用Özdemir的数据集进行了另一项比较研究。作者比较了头部、胸部、腰部、手腕、脚踝和大腿的单一佩戴位置，并采用了以下分类器：J48、KNN、RF、随机委员会（RC）和SVM。
不同计算方法在跌倒检测性能方面的基准比较也可在文献中找到16,17,18。Bagala 等人16提出了一项系统性比较，用于评估在真实跌倒数据上测试的十三种跌倒检测方法的性能。他们仅考虑了基于佩戴在腰部或躯干的加速度计测量数据的算法。Bourke 等人17利用一组基于加速度计读数的日常生活活动（ADLs）与跌倒事件数据集，评估了五种用于跌倒检测的分析算法的性能。Kerdegari18也对不同分类模型在一组记录的加速度数据上的检测性能进行了比较。用于跌倒检测的算法包括 zeroR、oneR、NB、DT、多层感知机（multilayer perceptron）和 SVM。
Alazrai 等人提出了一种基于运动姿态几何描述符构建人体活动累积直方图表示的跌倒检测方法18。他们使用通过 Kinect 传感器采集的数据集对框架进行了评估。
总之，我们发现了一些与多模态跌倒检测相关的研究工作10,11,12，这些研究比较了不同模态组合的性能。一些作者探讨了传感器最佳放置位置的问题13,14,15，或针对多种分类器13,15,16，研究了相同模态的多个传感器以及加速度计的传感器组合问题13。目前尚未见文献同时探讨传感器放置位置、多模态组合以及分类器性能基准的问题。
方案
本文所述所有方法均已获得泛美大学工程学院研究委员会的批准。
注意：本方法基于特定类型传感器、机器学习方法和流程的配置，旨在构建一个简单、快速且多模态的跌倒检测与人体活动识别系统。因此，以下协议分为四个阶段：（1）数据库创建，（2）数据分析，（3）系统简化，以及（4）评估。
1. 数据库创建
- 设置数据采集系统。该系统将采集所有受试者的数据，并将信息存储在可检索的数据库中。
- 选择所需的可穿戴传感器、环境传感器和基于视觉的设备类型作为信息来源。为每个信息来源分配一个ID、每个来源的通道数、技术规格以及各自的采样率。
- 将所有信息源（即穿戴式设备、环境传感器和基于视觉的设备）连接至中央计算机或分布式计算机系统：
- 确认基于有线连接的设备已正确连接至一台客户端计算机。确认基于无线连接的设备电量已充满。需注意，低电量可能影响无线连接或传感器读数。此外，连接中断或丢失将增加数据丢失的风险。
- 设置每台设备以获取数据。
- 设置数据采集系统以将数据存储在云端。由于需要存储的数据量较大，本方案中采用云计算。
- 验证数据采集系统是否满足数据同步和数据一致性要求20 特性。这可以保持来自所有信息源的数据存储完整性。可能需要采用新的数据同步方法。例如，参见 Peñafort-Asturiano 等人。20.
- 开始收集来自信息源的一些数据，并将数据存储在首选系统中。所有数据均需包含时间戳。
- 查询数据库，确定所有信息来源的采样率是否一致。若操作正确，请进入步骤 1.1.6；否则，依据 Peñafort-Asturiano 等人报道的标准进行上采样或下采样。20.
- 根据系统目标所需条件及限制因素，设置环境（或实验室）。按照 Lachance 等人建议的模拟跌倒中符合要求的楼板系统，设定冲击力衰减的条件。23 以确保参与者的安全。
- 使用床垫或任何其他柔性的地面系统，并将其放置在环境（或实验室）的中央。
- 将所有物品远离床垫，确保周围至少留出一米的安全空间。如有需要，为受试者准备个人防护装备（如手套、帽子、护目镜、护膝等）。
注意：此处可暂停本实验方案。
- 确定系统配置后将检测的人类活动和跌倒情况。在设计跌倒检测与人类活动识别系统时，必须明确系统的目的以及目标人群。
- 确定跌倒检测与人体活动识别系统的目标，并将其记录在规划表中。本案例研究的目标是对老年人在室内日常生活中的跌倒类型及活动行为进行分类。
- 根据系统的目标确定实验的目标人群，并将其记录在计划表中。在本研究中，将老年人视为目标人群。
- 确定日常活动的类型。包括一些与跌倒相似的非跌倒活动，以提高真实跌倒检测的准确性。为所有活动分配唯一编号，并尽可能详细地描述每项活动。设定每项活动的执行时间。将上述所有信息记录在计划表中。
- 确定人类跌倒的类型。为所有跌倒类型分配编号，并尽可能详细地进行描述。设定每种跌倒的执行时间段。考虑跌倒是由受试者自身引发，还是由他人引发（例如，推搡受试者）。将上述所有信息记录在规划表中。
- 在计划表中，记录受试者将要执行的活动与跌倒序列。注明时间区间、每项活动/跌倒的试验次数、执行该活动/跌倒的说明，以及活动/跌倒的编号。
注意：此处可暂停实验方案。
- 选择将执行活动序列和跌倒动作的相关受试者。跌倒是在现实生活中较为罕见的事件，通常发生在老年人身上。然而，出于安全考虑，在医疗建议下不应让老年人和身体功能受限者参与跌倒模拟实验。可采用特技动作以避免受伤22.
- 确定受试者的性别、年龄范围、体重和身高。明确实验所需的任何损伤状况。同时确定实验所需的最少受试者数量。
- 根据前一步骤中所述条件，随机选取所需受试者集合。通过志愿者招募方式召集受试者。在进行涉及人类的实验时，须遵守所在机构和国家适用的所有伦理准则，以及任何相关的国际法规。
注意：此处可暂停本实验方案。
- 从受试者处获取并存储数据。这些信息将有助于后续的实验分析。在临床专家或负责的研究人员监督下完成以下步骤。
- 使用在步骤1.1中配置的数据采集系统开始收集数据。
- 要求每位受试者执行步骤1.2中声明的活动与跌倒序列。明确记录每项活动/跌倒的开始和结束时间戳。确认来自所有信息源的数据均已保存至云端。
- 如果活动未正确执行或设备出现问题（例如连接丢失、电量不足、连接不稳定），则弃用该样本，并重复步骤 1.4.1，直至排除所有设备问题。针对步骤 1.2 中规定的每个受试者及每次试验，重复步骤 1.4.2。
注意：此处可暂停本实验方案。
- 对获取的所有数据进行预处理。对每种信息源分别应用上采样和下采样。有关跌倒检测与人体活动识别的数据预处理细节，请参见 Martínez-Villaseñor 等人的研究。21.
注意：此处可暂停实验流程。
2. 数据分析
- 选择数据处理模式。选择 原始数据 如果数据库中存储的数据将被直接使用（即，采用深度学习进行自动特征提取），则进入步骤 2.2。选择 特征数据 如果将使用特征提取进行后续分析，则转至步骤 2.3。
- 对于 原始数据，无需额外步骤，直接进入步骤2.5。
- 对于 特征数据，从原始数据中提取特征。
- 将原始数据按时间窗口进行分割。确定并固定时间窗口的长度（例如，每帧时长为一秒）。此外，确定这些时间窗口是否重叠。通常建议选择50%的重叠比例。
- 从每段数据中提取特征。确定从各数据段中提取的时间域和频率域特征集。参见 Martínez-Villaseñor 等人。21 用于常见的特征提取。
- 将特征提取数据集保存在云端的独立数据库中。
- 若选择不同的时间窗口，请重复步骤 2.3.1 至 2.3.3，并将每个特征数据集保存在独立的数据库中。
注意：此处可暂停本实验方案。
- 选择提取的最重要特征并减少特征数据集。应用一些常用的特征选择方法（例如, 单变量选择、主成分分析、递归特征消除、特征重要性、相关性矩阵等。
- 选择一种特征选择方法。此处，我们使用了特征重要性。
- 使用每个特征来训练给定的模型（我们采用了随机森林模型，RF），并测量其准确率（见 公式 1).
- 按准确度对特征进行排序。
- 选择最重要的特征。此处，我们采用了排名前十的最佳特征。
注意：此处可暂停实验流程。
- 选择一种机器学习分类方法并训练模型。存在多种知名的机器学习方法16,17,18,21例如：支持向量机（SVM）、随机森林（RF）、多层感知机（MLP）和k近邻算法（KNN）等众多方法。
- 可选地，如果选择深度学习方法，则应考虑21卷积神经网络（CNN）、长短期记忆神经网络（LSTM）等。
- 选择一组机器学习方法。此处我们使用了以下方法：SVM、RF、MLP 和 KNN。
- 根据文献建议，固定每种机器学习方法的参数21.
- 使用独立的特征数据集（或原始数据集）创建一个组合特征数据集（或原始数据集），以整合不同类型的信息来源。例如，若需要结合一种可穿戴传感器和一台摄像机的数据，则应合并来自这两种来源的特征数据集。
- 将特征数据集（或原始数据集）划分为训练集和测试集。一种合理的选择是随机分配70%的数据用于训练，30%用于测试。
- 运行k折交叉验证21 使用特征数据集（或原始数据集），针对每种机器学习方法，采用准确率等通用评估指标进行评价（参见 公式 1）以选择每种方法训练出的最佳模型。留一受试者出（LOSO）实验3 也推荐。
- 在首选的编程语言软件中打开训练特征数据集（或原始数据集），推荐使用 Python。在此步骤中，使用 pandas 库读取 CSV 文件，具体如下：
training_set = pandas.csv(). - 将特征数据集（或原始数据集）划分为输入-输出对。例如，使用 Python 定义 x 值（输入）和 y 值（输出）：
training_set_X = training_set.drop(‘tag’,axis=1), training_set_Y = training_set.tag
其中 tag 表示包含目标值的特征数据集的列。 - 选择一种机器学习方法并设置参数。例如，在 Python 中使用 sklearn 库中的支持向量机（SVM），命令如下：
classifier = sklearn.SVC(kernel = ‘poly’)
其中核函数选择为多项式函数。 - 训练机器学习模型。例如，使用上述 Python 分类器训练支持向量机（SVM）模型：
分类器.fit(训练集_X, 训练集_Y)). - 使用测试特征数据集（或原始数据集）计算模型的估计值。例如，在 Python 中使用 estimate 函数，操作如下： estimates = classifier.predict(测试集_X) 其中 testing_set_X 表示测试集的 x 值。
- 重复步骤 2.5.6.1 至 2.5.6.5，重复次数 k 为 k 折交叉验证中指定的次数（或留一法交叉验证所需的次数）。
- 对所选的每种机器学习模型，重复步骤 2.5.6.1 至 2.5.6.6。
注意：此处可暂停实验方案。
- 在首选的编程语言软件中打开训练特征数据集（或原始数据集），推荐使用 Python。在此步骤中，使用 pandas 库读取 CSV 文件，具体如下：
- 通过使用测试数据集对所选模型进行测试，比较机器学习方法。可采用其他评估指标：准确率（公式 1），准确度（公式 2），灵敏度（公式 3），特异性（公式 4）或 F1 分数（公式 5），其中 TP 是真正例， TN 是真阴性， 荧光蛋白 假阳性结果和 FN 是假阴性结果。
- 使用其他有益的性能指标，例如混淆矩阵9 用于评估机器学习模型的分类任务，或与决策无关的精确率-召回率9 （PR）或受试者工作特征9 （ROC）曲线。在此方法中，召回率与灵敏度被视为等同。
- 利用机器学习模型的定性特征进行比较，例如：机器学习结果的可解释性、实时性能、时间、内存和计算处理资源的限制，以及在边缘设备或嵌入式系统中部署机器学习的便捷性。
- 使用以下信息选择最佳的机器学习模型：质量度量指标（公式 1–5），步骤 2.5.6、2.5.7 和 2.5.8 的机器学习可行性的性能指标和定性特征。
注意：此处可暂停实验方案。
3. 系统简化
- 选择合适的信息源位置。有时需要确定信息源的最佳位置（例如，可穿戴传感器的哪个位置更优）。
- 确定将要分析的信息源子集。例如，如果身体上有五个可穿戴传感器，且必须从中选择一个作为最佳放置位置的传感器，则这五个传感器中的每一个都将属于该子集。
- 针对该子集中的每个信息源，创建独立的数据集并分别存储。请注意，该数据集可以是先前的特征数据集，也可以是原始数据集。
注意：本方案在此处可暂停。
- 选择一种机器学习分类方法，并针对一种信息源位置训练模型。使用步骤 3.1.2 中创建的每个数据集，完成步骤 2.5.1 至 2.5.6。通过排序确定最合适的信息源位置。在本案例研究中，我们采用以下方法：SVM、RF、MLP 和 KNN。
注意：本方案在此处可暂停。 - 若系统需要结合两个或多个信息源（例如，一个可穿戴传感器与一个摄像头的组合），则采用多模态方法选择合适的位置。在本案例研究中，选择腰部可穿戴传感器和摄像头 1（侧视图）作为模态。
- 选择系统中每种模态的最佳信息源，并利用这些信息源的独立数据集创建一个组合的特征数据集（或原始数据集）。
- 选择一种机器学习分类方法，并针对这些组合的信息源训练模型。使用组合的特征数据集（或原始数据集）完成步骤 2.5.1 至 2.5.6。在本研究中，使用以下方法：SVM、RF、MLP 和 KNN。
注意：本方案在此处可暂停。
4. 评估
- 在更接近真实场景的条件下准备新的数据集。仅使用上一步骤中选定的信息来源。最好在目标群体（例如老年人）中部署该系统，并在较长时间内收集数据。
- 若仅使用目标群体，可选择性地制定入选分组方案，包括排除标准（例如任何身体或心理障碍）以及终止试验的预防标准（例如在试验期间检测到身体损伤；出现恶心、头晕和/或呕吐；晕厥等）。同时应考虑伦理问题和数据隐私问题。
- 评估迄今为止所开发的跌倒检测与人体活动识别系统的性能。使用公式 1–5 确定系统的准确率和预测能力，或其他任何适用的性能指标。
- 讨论实验结果中的发现。
结果
数据库的创建
我们创建了一个用于跌倒检测和人体活动识别的多模态数据集，即UP-Fall Detection21。数据在墨西哥墨西哥城泛美大学工程学院进行了为期四周的采集。测试场景的选择考虑了以下要求：（a）一个受试者可以舒适且安全地进行跌倒和各类活动的空间；（b）一个具有自然光和人工光源的室内环境，适合多模态传感器的设置。
共有17名受试者参与了实验，每人完成了5种类型的跌倒和6种不同的简单活动，每种情况重复3次试验。所有信息均使用自主研发的数据采集系统获取，该系统包含5个可穿戴传感器（三轴加速度计、陀螺仪和光强传感器）、1个脑电图头盔、6个作为环境传感器的红外传感器，以及分别从侧面和正面视角布置的2台摄像头。图1展示了传感器在环境和人体上的布置布局。整个数据集的采样频率为18 Hz。该数据库包含两个数据集：整合后的原始数据集（812 GB）和特征数据集（171 GB）。所有数据库均已存储于云端，供公众访问：https://sites.google.com/up.edu.mx/har-up/。有关该数据库的数据采集、预处理、整合与存储，以及同步性和数据一致性的更多详细信息，可参见Martínez-Villaseñor等人的研究21。
本数据库的所有受试者均为健康的年轻志愿者（9名男性和8名女性），无任何功能障碍，年龄范围为18至24岁，平均身高为1.66 m，平均体重为66.8 kg。在数据采集过程中，负责的技术研究人员监督确保所有受试者正确执行各项活动。受试者模拟了五种类型的跌倒，每种持续10秒：向前用手支撑跌倒（1）、向前用膝盖着地跌倒（2）、向后跌倒（3）、跌坐到空椅子上（4）以及侧向跌倒（5）。此外，他们还完成了六项日常活动，除跳跃持续30秒外，其余每项活动持续60秒：行走（6）、站立（7）、捡起物体（8）、坐下（9）、跳跃（10）和躺下（11）。尽管模拟跌倒无法完全复现现实生活中所有类型的跌倒，但至少应包含具有代表性的跌倒类型，以有助于构建更优的跌倒检测模型。同时，使用日常生活活动（ADLs），特别是那些通常容易与跌倒混淆的活动（如捡起物体），也具有重要意义。所选的跌倒类型和ADLs是在回顾相关跌倒检测系统文献21后确定的。例如，图2展示了一名受试者侧向跌倒时一次试验的图像序列。
我们从可穿戴和环境传感器的每个通道中提取了12个时域特征（均值、标准差、最大幅值、最小幅值、均方根、中位数、过零点数、偏度、峰度、第一四分位数、第三四分位数和自相关）以及6个频域特征（均值、中位数、熵、能量、主频和谱质心）21，共提取了756个特征。此外，我们还针对每个摄像头计算了400个视觉特征21，用于描述视频中相邻两帧图像间像素的相对运动。
单模态与多模态方法之间的数据分析
基于UP-Fall Detection数据库，我们对数据进行了分析，以比较单模态与多模态方法的性能。在此基础上，我们比较了七种不同的信息源组合：仅使用红外传感器（IR）；仅使用可穿戴传感器（IMU）；可穿戴传感器与头盔结合（IMU+EEG）；红外传感器、可穿戴传感器与头盔结合（IR+IMU+EEG）；仅使用摄像头（CAM）；红外传感器与摄像头结合（IR+CAM）；以及可穿戴传感器、头盔与摄像头结合（IMU+EEG+CAM）。此外，我们还比较了三种不同时间窗口长度（重叠50%）：1秒、2秒和3秒。在每个数据段中，我们通过特征选择与排序方法选取了最具代表性的特征。采用该策略后，除红外（IR）模态使用40个特征外，其余每种模态均仅使用10个特征。此外，我们在四种广泛使用的机器学习分类器上进行了比较：RF、SVM、MLP和KNN。采用10折交叉验证方法，并将数据集按70%训练、30%测试的比例划分，用于训练机器学习模型。表1展示了该基准测试的结果，列出了每种模态在不同机器学习模型及最优窗口长度配置下的最佳性能。评估指标包括准确率、精确率、灵敏度、特异度和F1分数。图3以F1分数为指标，对这些结果进行了图形化展示。
根据表1，多模态方法（红外与可穿戴传感器及头盔，IR+IMU+EEG；以及可穿戴传感器、头盔与摄像头，IMU+EEG+CAM）相比单模态方法（仅红外，IR；仅摄像头，CAM）获得了更高的F1分数。我们还注意到，仅使用可穿戴传感器（IMU）的方法性能与多模态方法相近。在此情况下，我们仍选择多模态方法，因为不同信息源可相互弥补各自的局限性。例如，摄像头的侵入性问题可通过可穿戴传感器缓解，而未使用全部可穿戴传感器的情况则可通过摄像头或环境传感器加以补充。
就数据驱动模型的基准而言，表1中的实验结果表明，RF在几乎所有实验中均表现出最佳性能；而MLP和SVM的性能则不够稳定（例如，这些技术的标准差比RF表现出更大的变异性）。关于窗口尺寸，它们之间并未表现出显著的性能提升。需要特别指出的是，这些实验是针对跌倒与人类活动分类而开展的。
传感器放置与最优多模态组合
另一方面，我们旨在确定用于跌倒检测的最优多模态设备组合。在本项分析中，我们将信息来源限定为五个可穿戴传感器和两个摄像头。这些设备在实际应用中具有最佳的舒适性。此外，我们考虑了两类活动：跌倒（任何类型的跌倒）和非跌倒（其他所有活动）。所有机器学习模型及窗口大小均与先前分析中保持一致。
对于每个可穿戴传感器，我们针对每种窗口长度构建了独立的分类器模型。模型训练采用10折交叉验证，其中70%的数据用于训练，30%用于测试。表2总结了基于F1分数对各可穿戴传感器按分类器性能进行排序的结果。这些结果按降序排列。如表2所示，当使用腰部、颈部或右侧紧身裤袋的单个传感器时（阴影区域），性能最佳。此外，脚踝和左手腕的可穿戴传感器表现最差。表3展示了为使每种分类器达到最佳性能，各可穿戴传感器所对应的最优窗口长度。根据结果，采用随机森林分类器（RF）、窗口长度为3秒且重叠率为50%的腰部、颈部和右侧紧身裤袋传感器，是用于跌倒检测最合适的可穿戴传感器。
我们对系统中的每个摄像头进行了类似的分析。针对每种窗口大小，我们构建了独立的分类器模型。在训练过程中，我们采用10折交叉验证，其中70%的数据用于训练，30%用于测试。表4展示了基于F1分数的每种分类器下最佳摄像头视角的排序。如结果所示，侧视视角（摄像头1）在跌倒检测中的表现最佳。此外，随机森林（RF）分类器的表现优于其他分类器。表5展示了每种摄像头视角下对窗口长度的偏好。根据实验结果，我们发现最佳的摄像头安装位置为侧视视角，使用随机森林分类器，窗口大小为3秒，重叠率为50%。
最后，我们选择了两种可穿戴传感器的可能放置位置（即腰部和右侧裤袋），并将其与侧视视角的摄像头相结合。经过相同的训练过程后，我们获得了表6中的结果。如表所示，RF模型分类器在两种多模态组合中均在准确率和F1分数上表现最佳。此外，腰部与摄像头1的组合排名首位，准确率达到98.72%，F1分数达到95.77%。
图1：UP-跌倒检测数据库中可穿戴式（左）和环境式（右）传感器的布局。可穿戴传感器分别置于前额、左手腕、颈部、腰部、裤子右侧口袋以及左脚踝处。环境传感器包括六对红外传感器，用于检测受试者的存在，以及两台摄像头。摄像头分别位于人体跌倒的侧面视角和正面视角位置。请点击此处查看该图的放大版本。
图2：来自UP-跌倒检测数据库的视频记录示例。顶部为一名受试者侧向跌倒的图像序列。底部为提取的视觉特征所对应的图像序列，这些特征表示相邻两帧图像间像素的相对运动。白色像素代表较快的运动，黑色像素代表较慢（或接近零）的运动。该序列按从左到右的时间顺序排列。请点击此处查看此图的放大版本。
图 3：报告各模态在不同机器学习模型及最佳窗口长度下的最高 F1 分数的比较结果。条形图表示 F1 分数的平均值。数据点中的文字表示括号内的平均值和标准差。请点击此处查看此图的放大版本。
| 模态 | 模型 | 准确率 (%) | 精确率 (%) | 灵敏度 (%) | 特异度 (%) | F1分数 (%) |
| IR | RF (3 秒) | 67.38 ± 0.65 | 36.45 ± 2.46 | 31.26 ± 0.89 | 96.63 ± 0.07 | 32.16 ± 0.99 |
| SVM (3 秒) | 65.16 ± 0.90 | 26.77 ± 0.58 | 25.16 ± 0.29 | 96.31 ± 0.09 | 23.89 ± 0.41 | |
| MLP (3 秒) | 65.69 ± 0.89 | 28.19 ± 3.56 | 26.40 ± 0.71 | 96.41 ± 0.08 | 25.13 ± 1.09 | |
| kNN (3 秒) | 61.79 ± 1.47 | 30.04 ± 1.44 | 27.55 ± 0.97 | 96.05 ± 0.16 | 27.89 ± 1.13 | |
| IMU | RF (1 秒) | 95.76 ± 0.18 | 70.78 ± 1.53 | 66.91 ± 1.28 | 99.59 ± 0.02 | 68.35 ± 1.25 |
| SVM (1 秒) | 93.32 ± 0.23 | 66.16 ± 3.33 | 58.82 ± 1.53 | 99.32 ± 0.02 | 60.00 ± 1.34 | |
| MLP (1 秒) | 95.48 ± 0.25 | 73.04 ± 1.89 | 69.39 ± 1.47 | 99.56 ± 0.02 | 70.31 ± 1.48 | |
| kNN (1 秒) | 94.90 ± 0.18 | 69.05 ± 1.63 | 64.28 ± 1.57 | 99.50 ± 0.02 | 66.03 ± 1.52 | |
| IMU+EEG | RF (1 秒) | 95.92 ± 0.29 | 74.14 ± 1.29 | 66.29 ± 1.66 | 99.59 ± 0.03 | 69.03 ± 1.48 |
| SVM (1 秒) | 90.77 ± 0.36 | 62.51 ± 3.34 | 52.46 ± 1.19 | 99.03 ± 0.03 | 53.91 ± 1.16 | |
| MLP (1 秒) | 93.33 ± 0.55 | 74.10 ± 1.61 | 65.32 ± 1.15 | 99.32 ± 0.05 | 68.13 ± 1.16 | |
| kNN (1 秒) | 92.12 ± 0.31 | 66.86 ± 1.32 | 58.30 ± 1.20 | 98.89 ± 0.05 | 60.56 ± 1.02 | |
| IR+IMU+EEG | RF (2 秒) | 95.12 ± 0.36 | 74.63 ± 1.65 | 66.71 ± 1.98 | 99.51 ± 0.03 | 69.38 ± 1.72 |
| SVM (1 秒) | 90.59 ± 0.27 | 64.75 ± 3.89 | 52.63 ± 1.42 | 99.01 ± 0.02 | 53.94 ± 1.47 | |
| MLP (1 秒) | 93.26 ± 0.69 | 73.51 ± 1.59 | 66.05 ± 1.11 | 99.31 ± 0.07 | 68.19 ± 1.02 | |
| kNN (1 秒) | 92.24 ± 0.25 | 67.33 ± 1.94 | 58.11 ± 1.61 | 99.21 ± 0.02 | 60.36 ± 1.71 | |
| CAM | RF (3 秒) | 32.33 ± 0.90 | 14.45 ± 1.07 | 14.48 ± 0.82 | 92.91 ± 0.09 | 14.38 ± 0.89 |
| SVM (2 秒) | 34.40 ± 0.67 | 13.81 ± 0.22 | 14.30 ± 0.31 | 92.97 ± 0.06 | 13.83 ± 0.27 | |
| MLP (3 秒) | 27.08 ± 2.03 | 8.59 ± 1.69 | 10.59 ± 0.38 | 92.21 ± 0.09 | 7.31 ± 0.82 | |
| kNN (3 秒) | 34.03 ± 1.11 | 15.32 ± 0.73 | 15.54 ± 0.57 | 93.09 ± 0.11 | 15.19 ± 0.52 | |
| IR+CAM | RF (3 秒) | 65.00 ± 0.65 | 33.93 ± 2.81 | 29.02 ± 0.89 | 96.34 ± 0.07 | 29.81 ± 1.16 |
| SVM (3 秒) | 64.07 ± 0.79 | 24.10 ± 0.98 | 24.18 ± 0.17 | 96.17 ± 0.07 | 22.38 ± 0.23 | |
| MLP (3 秒) | 65.05 ± 0.66 | 28.25 ± 3.20 | 25.40 ± 0.51 | 96.29 ± 0.06 | 24.39 ± 0.88 | |
| kNN (3 秒) | 60.75 ± 1.29 | 29.91 ± 3.95 | 26.25 ± 0.90 | 95.95 ± 0.11 | 26.54 ± 1.42 | |
| IMU+EEG+CAM | RF (1 秒) | 95.09 ± 0.23 | 75.52 ± 2.31 | 66.23 ± 1.11 | 99.50 ± 0.02 | 69.36 ± 1.35 |
| SVM (1 秒) | 91.16 ± 0.25 | 66.79 ± 2.79 | 53.82 ± 0.70 | 99.07 ± 0.02 | 55.82 ± 0.77 | |
| MLP (1 秒) | 94.32 ± 0.31 | 76.78 ± 1.59 | 67.29 ± 1.41 | 99.42 ± 0.03 | 70.44 ± 1.25 | |
| kNN (1 秒) | 92.06 ± 0.24 | 68.82 ± 1.61 | 58.49 ± 1.14 | 99.19 ± 0.02 | 60.51 ± 0.85 |
表1：各模态在不同机器学习模型及最佳窗口长度（括号内）下的性能比较结果。 所有性能值均表示均值及标准差。
| # | IMU 类型 | |||
| RF | SVM | MLP | KNN | |
| 1 | (98.36) 腰部 | (83.30) 右侧口袋 | (57.67) 右侧口袋 | (73.19) 右侧口袋 |
| 2 | (95.77) 颈部 | (83.22) 腰部 | (44.93) 颈部 | (68.73) 腰部 |
| 3 | (95.35) 右侧口袋 | (83.11) 颈部 | (39.54) 腰部 | (65.06) 颈部 |
| 4 | (95.06) 踝部 | (82.96) 踝部 | (39.06) 左侧腕部 | (58.26) 踝部 |
| 5 | (94.66) 左侧腕部 | (82.82) 左侧腕部 | (37.56) 踝部 | (51.63) 左侧腕部 |
表2：按F1分数（括号内）排序的每种分类器下最佳可穿戴传感器的排名。 阴影区域表示跌倒检测表现最好的前三类分类器。
| IMU 类型 | 窗口长度 | |||
| RF | SVM | MLP | KNN | |
| 左踝 | 2-sec | 3-sec | 1-sec | 3-sec |
| 腰部 | 3-sec | 1-sec | 1-sec | 2-sec |
| 颈部 | 3-sec | 3-sec | 2-sec | 2-sec |
| 右口袋 | 3-sec | 3-sec | 2-sec | 2-sec |
| 左腕 | 2-sec | 2-sec | 2-sec | 2-sec |
表3：每种分类器在可穿戴传感器中的首选时间窗口长度。
| # | 相机视角 | |||
| RF | SVM | MLP | KNN | |
| 1 | (62.27) 侧视图 | (24.25) 侧视图 | (13.78) 正视图 | (41.52) 侧视图 |
| 2 | (55.71) 正视图 | (0.20) 正视图 | (5.51) 侧视图 | (28.13) 正视图 |
表4：按F1分数（括号内）排序的每种分类器的最佳摄像机视角排名。 阴影区域表示用于跌倒检测的最佳分类器。
| 相机 | 窗口长度 | |||
| RF | SVM | MLP | KNN | |
| 侧视图 | 3-sec | 3-sec | 2-sec | 3-sec |
| 前视图 | 2-sec | 2-sec | 3-sec | 2-sec |
表5：每种分类器在相机视角下的优选时间窗口长度。
| 多模态 | 分类器 | 准确率 (%) | 精确率 (%) | 灵敏度 (%) | F1分数 (%) |
| 腰部 + 侧视图 | RF | 98.72 ± 0.35 | 94.01 ± 1.51 | 97.63 ± 1.56 | 95.77 ± 1.15 |
| SVM | 95.59 ± 0.40 | 100 | 70.26 ± 2.71 | 82.51 ± 1.85 | |
| MLP | 77.67 ± 11.04 | 33.73 ± 11.69 | 37.11 ± 26.74 | 29.81 ± 12.81 | |
| KNN | 91.71 ± 0.61 | 77.90 ± 3.33 | 61.64 ± 3.68 | 68.73 ± 2.58 | |
| 右侧口袋 + 侧视图 | RF | 98.41 ± 0.49 | 93.64 ± 1.46 | 95.79 ± 2.65 | 94.69 ± 1.67 |
| SVM | 95.79 ± 0.58 | 100 | 71.58 ± 3.91 | 83.38 ± 2.64 | |
| MLP | 84.92 ± 2.98 | 55.70 ± 11.36 | 48.29 ± 25.11 | 45.21 ± 14.19 | |
| KNN | 91.71 ± 0.58 | 73.63 ± 3.19 | 68.95 ± 2.73 | 71.13 ± 1.69 |
表6：使用3秒窗口长度的可穿戴传感器与摄像头视角结合的比较结果。 所有数值均表示为平均值和标准差。
讨论
在创建数据集时，常常会遇到由于同步、组织和数据不一致问题所带来的挑战20。
同步
在数据采集过程中，由于多个传感器通常以不同的采样频率工作，因此会出现同步问题。高频传感器采集的数据量多于低频传感器，导致来自不同来源的数据无法正确配对。即使传感器以相同的采样频率运行，数据仍可能未对齐。针对此类同步问题，可参考以下建议20：（i）在从传感器获取的每个数据样本中记录时间戳、受试者、活动和试验编号；（ii）应选用最稳定且采样频率较低的信息源作为同步的参考信号；（iii）采用自动或半自动方法对视频记录进行同步，以避免人工检查带来的不切实际的工作量。
数据预处理
数据预处理也必须进行，且该过程受到若干关键决策的影响：（a）确定用于存储和表示来自多个异构源数据的方法；（b）决定将数据存储在本地主机或云端的方式；（c）选择数据的组织方式，包括文件名和文件夹结构；（d）处理传感器中存在的数据缺失值及冗余问题等。此外，对于云数据存储，建议在条件允许时采用本地缓冲，以减少上传过程中可能发生的数据丢失。
数据不一致
在不同试验之间，由于数据样本量存在差异，数据不一致的情况十分常见。这些问题与可穿戴传感器中的数据采集过程相关。数据采集过程中短暂的中断，以及来自多个传感器的数据冲突，均会导致数据不一致。在此类情况下，不一致检测算法对于处理传感器的在线故障至关重要。需要特别指出的是，基于无线技术的设备应在整个实验过程中频繁监测。电池电量过低可能影响连接性，进而导致数据丢失。
伦理要求
在涉及人类参与的各类实验中，参与知情同意和伦理审批是强制性的。
关于该方法的局限性，需要注意的是，此方法适用于考虑多种数据采集方式的研究。系统可包含可穿戴传感器、环境传感器和/或视觉传感器。建议考虑无线传感器设备的功耗以及电池寿命，因为这些问题可能导致数据采集丢失、连接性下降以及整个系统的能耗增加。此外，该方法适用于采用机器学习方法的系统，因此应在实施前对所选机器学习模型进行分析。某些模型虽然精度较高，但可能在时间和能量消耗方面代价较大。在机器学习模型的设计中，必须权衡准确估计与计算资源受限之间的关系。还应注意，在系统数据采集过程中，所有活动均按相同顺序进行，试验也以相同的序列执行。出于安全考虑，受试者跌倒时下方铺设了保护垫。此外，所有跌倒均为受试者主动发起。这一点是模拟跌倒与真实跌倒之间的重要区别，因为真实跌倒通常发生在坚硬的表面上。因此，本数据集记录的是受试者在具有直觉反应、试图避免跌倒情况下的跌倒行为。此外，老年人或功能障碍人群的真实跌倒与模拟跌倒之间存在一些差异；在设计新的跌倒检测系统时，必须充分考虑这些差异。本研究聚焦于无任何功能障碍的年轻人群，但需要特别指出的是，受试者的选择应与系统目标及目标使用人群保持一致。
从上述相关研究10,11,12,13,14,15,16,17,18可以看出，一些作者采用多模态方法，致力于开发鲁棒的跌倒检测器，或专注于传感器放置位置或分类器性能。因此，他们仅解决了跌倒检测系统中一至两个设计问题。我们的方法能够同时解决跌倒检测系统的三个主要设计问题。
对于未来的研究，我们建议基于本方法所得结果，设计并实现一种简单的多模态跌倒检测系统。为了实现实际应用，应采用迁移学习、分层分类和深度学习方法来开发更加稳健的系统。我们的实现未考虑机器学习模型的定性指标，但在进一步开发人体跌倒与活动检测/识别系统时，必须考虑实时性以及有限的计算资源。最后，为了改进我们的数据集，可考虑纳入绊倒或接近跌倒的活动，并对志愿者在日常生活中的行为进行实时监测。
披露
作者无任何利益冲突需要披露。
致谢
本研究由泛美大学通过“2018年泛美大学研究促进基金”资助，项目编号为UP-CI-2018-ING-MX-04。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 惯性测量可穿戴传感器 | Mbientlab | MTH-MetaTracker | 三轴加速度计、三轴陀螺仪和光强可穿戴传感器。 |
| 脑电图脑传感器头戴设备 MindWave | NeuroSky | 80027-007 | 带有单个前额传感器的原始脑电波信号采集设备。 |
| LifeCam Cinema 摄像机 | Microsoft | H5D-00002 | 带 USB 接口的二维 RGB 摄像机。 |
| 红外传感器 | Alean | ABT-60 | 带有常闭继电器的接近传感器。 |
| 蓝牙适配器 | Mbientlab | BLE | 用于可穿戴传感器与计算机之间蓝牙连接的适配器。 |
| Raspberry Pi | Raspberry | Version 3 Model B | 用于红外传感器数据采集和计算机接口的微控制器。 |
| 个人计算机 | Dell | Intel Xeon E5-2630 v4 @2.20 GHz，内存 32GB |
参考文献
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66(2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418(2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33(2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155(2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161(2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062(2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988(2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757(2016).
重印与许可
