2020年4月6日
我们提出一种基于多模态传感器的方法,用于构建一种简单、舒适且快速的跌倒检测与人体活动识别系统。该目标旨在建立一种可准确检测跌倒、且易于实施和推广的系统。
我们的方法增加了若干关键步骤,包括传感器组合的选择、放置位置以及分类,通过深入分析来简化跌倒检测系统。虽然已有研究涉及部分跌倒检测设计问题,但尚无研究专注于能够克服所有这些问题的整体性方法。该方法还可应用于辅助生活中的日常活动识别、运动表现评估、物理治疗及康复等领域。
创建数据集时,可能会出现由于同步、组织和数据不一致所导致的挑战。应在准确估计与模型复杂性之间进行权衡。演示该实验流程的将是本实验室的研究助理 Jose Pablo Nunez Martinez 和本科工程专业学生 Sofia Pacheco Ibanez。
首先设置数据采集系统,以促进受试者数据的收集与存储。选择所需的可穿戴传感器、环境传感器和基于视觉的设备类型作为信息来源,并为每个信息源分配标识符(ID)、每源的通道数量、技术规格以及各自的采样率。为了将所有信息源连接至中央计算机或分布式计算机系统,需首先确认基于有线连接的设备已正确接入单一客户端计算机,并确认基于无线连接的设备已充满电。
为设置每个设备以获取数据,需配置数据采集系统以允许将数据存储在云端,并确认该系统满足适当的数据同步和数据一致性要求。务必检查所有传感器是否一致且同步地采集数据,并添加用于识别受试者活动和特征的标签。使用设备采集样本数据,并将数据存储在首选系统中。
查询数据库,确定所有信息来源的采样率是否一致。在考虑系统目标所施加的限制条件后,设置测试环境,在环境中央放置床垫或任何其他合规的软质地面系统,以确保参与者的安全。将所有物体放置在距离床垫至少一米远的位置,并为参与者准备好必要的个人防护装备。
然后按照图示在床垫周围设置合适的摄像头并配对红外传感器。在规划表上明确跌倒检测与人体活动识别系统的目标,并根据系统目标确定实验的目标人群。定义日常活动类型,包括一些类似跌倒的非跌倒活动,以提高真实跌倒检测的准确性。
为每项活动分配一个ID,并尽可能详细地描述各项活动。然后设定每项活动的执行时间段。定义人体跌倒的类型,为每种跌倒分配ID,并针对每项活动中发生的每种跌倒进行描述,同时设定每种跌倒的执行时间段。
需考虑跌倒是由受试者自身引起还是由他人引发,并将此信息记录在计划表上。为采集活动与跌倒数据,请按照图示将记录设备佩戴在受试者身上。当受试者准备就绪后,在临床专家或负责的研究人员监督下,启动数据采集系统开始数据收集,并要求受试者执行计划表中列出的各项活动与跌倒动作序列,同时记录每项活动或跌倒起止时间的时间戳。
每次活动或跌倒后,验证所有信息来源的数据是否均已保存至云端。为了分析采集到的活动与跌倒数据,使用每种机器学习方法的特征数据集进行 K 折交叉验证。采用准确率等通用评估指标,选择每种方法中训练得到的最佳模型。
接下来,在首选的编程语言软件中打开训练特征数据集,并使用 pandas 库按指示读取 CSV 文件。按指示将特征数据集拆分为输入/输出对。选择一种机器学习方法并设置其参数。
训练机器学习模型,并使用测试特征数据集计算模型的估计值。针对所选的每种机器学习模型,重复执行K折交叉验证,验证次数K由K折交叉验证中指定的数值确定。如果系统需要结合两种或多种信息源,则在多模态方法中选择合适的组合方式,并为系统中每种模态选择最优的信息源。
利用这些信息来源的独立数据集创建一个综合特征数据集,并选择机器学习分类方法。针对这些综合信息源训练模型,并使用综合特征数据集重复验证过程。然后,在更接近真实条件的情况下,仅利用先前分析中选定的信息来源,准备一个新的数据集。
根据不同机器学习模型及最佳时间窗长度配置所获得的各模态最佳性能的图示化表示,清晰地表明多模态方法相比某些单模态方法获得了更高的F1分数。尽管仅使用可穿戴传感器的方法在性能上显著接近多模态方法。在数据驱动模型的基准比较中,随机森林在几乎所有实验中均表现出最佳结果,而多层感知机和支持向量机的性能则相对不够稳定。
当单个传感器佩戴在腰部、颈部或紧贴的右侧口袋时,性能最佳。踝部和左手腕的可穿戴传感器表现最差。此外,在三秒时间窗口且重叠率为50%的条件下,结合随机森林分类器的腰部、颈部和紧贴右侧口袋的传感器是最适合用于跌倒检测的可穿戴传感器。
侧视摄像头在跌倒检测中表现最佳,而使用随机森林算法、时间窗口为三秒且重叠率为50%时,最佳摄像头位置位于侧视角度。此外,随机森林模型分类器在多模态数据以及腰部传感器与摄像头数据组合的两种情况下,均表现出最高的准确率和F1分数,其中腰部与摄像头数据的组合排名首位。在我们的实验中,招募了无任何功能障碍的青年人,但受试者的选择应与系统的应用目标及目标使用人群相一致。
基于此方法,可设计并实现简单的多模态跌倒检测系统。为适应实际应用,建议采用迁移学习和深度学习方法来开发鲁棒性强的系统。
本研究提出了一种利用多模态传感器进行跌倒检测与人体活动识别的综合方法。该方法旨在提高在辅助生活和康复等各类应用中的准确性与实施便捷性。
该方法通过系统评估用于检测生理事件的传感器模式和机器学习方法,支持早期靶点验证。它提供了一个框架,通过可重复的多模态数据采集与分析,降低生物标志物发现的风险。该方法可提高识别与神经系统和肌肉骨骼疾病相关有效生物信号的预测置信度。
该方法可整合到从假设验证到先导化合物发现直至临床前验证的整个发现流程中,尤其适用于神经肌肉和神经生理学靶点的评估。