本文概述了使用多传感器可穿戴设备及其完全自动化的基于深度学习的分析流程来评估婴儿粗大运动能力的方法。该方法可量化婴儿从仰卧位到独立行走掌握期间的姿态和运动模式。
方法文章
本文概述了使用多传感器可穿戴设备及其完全自动化的基于深度学习的分析流程来评估婴儿粗大运动能力的方法。该方法可量化婴儿从仰卧位到独立行走掌握期间的姿态和运动模式。
建立客观且定量的早期粗大运动评估方法,对于更好地理解神经发育以及支持早期治疗干预至关重要。本文中,我们 提出 一种利用多传感器可穿戴设备 MAIJU(Motility Assessment of Infants with a JUmpsuit,即“婴幼儿运动能力评估连体服”)来量化粗大运动表现的方法。该方法通过完全自动化的基于云的分析流程,实现自动化、可扩展、 定量且客观的评估 。该可穿戴连体服配备四个运动传感器,可通过低功耗蓝牙连接将同步数据记录至移动电话。在云端服务器进行的离线分析可在数分钟内为每次记录生成完整的分析结果。这些结果包括记录会话的图形化报告,以及提供按秒划分的姿势、运动、婴儿被抱持状态和自由玩耍时间分类的详细结果矩阵。我们近期的研究结果表明,此类 量化运动评估 具有显著优势 ,有望 成为区分婴儿粗大运动发育差异的有效方法。
早期大运动发育对于支持婴儿探索环境以及后续出现的高级神经认知功能至关重要。因此,临床医生和研究人员均高度关注早期大运动发育的评估1,2,3。为了支持循证医学或科学研究,大运动评估必须具备定量性、可靠性、客观性以及生态效度。然而,目前适用于临床或基础科学研究的此类方法十分有限。
典型的早期大运动发育遵循一系列可预测的新技能获得顺序,这些技能通常在婴儿达到特定运动发育里程碑时被观察到。4,其中站立和行走常被视为重要的里程碑 途中 更复杂的行为模式5除了对运动发育里程碑进行直接观察或通过家长问卷调查外,还有几种广泛使用的标准化量表 已开发出6,7,8,9 在实验室或医院环境中对婴儿进行评估时存在多种局限性:这些评估需要受过专业培训的人员具备丰富的经验,部分评估具有主观性和分类性,且评估环境(医院或实验室)对婴儿而言并非自然环境。
在婴儿所处的自然环境(例如家中)对其自发性运动活动进行长时间记录,能够获得更具临床意义的运动能力评估指标。一种可行的方法是使用可穿戴系统(如MAIJU可穿戴设备,即“用于婴儿运动评估的连体衣”(Motor Assessment of the Infants with a JUmpsuit))对婴儿从仰卧到流畅行走的整个运动能力发育过程进行完整评估10,11,12。MAIJU可穿戴系统(图1)采用一种集成了运动传感器的全身纺织服装,可在无需人员监督的情况下于医院/实验室外进行评估与记录,并通过自动化分析流程对姿势和运动模式进行逐秒评估。这些算法检测结果既可用于各类特定姿势和运动类型的独立分析,也可整合用于对婴儿运动能力成熟水平的综合性评估。近期发表的一种无量纲的运动成熟度量化指标为BIMS(Baba婴儿运动评分,Baba Infant Motor Score)10,12。
本文将介绍使用多传感器可穿戴服装评估婴儿粗大运动能力的方法,包括其理论依据、实际操作步骤、分析流程以及利用该多传感器可穿戴设备记录数据后,通过自动化分析流程获取指标的潜在未来应用前景10,11,12。该方法适用于对所有具备从仰卧位到流畅行走之间任意粗大运动能力的婴儿,进行自发性粗大运动活动的精确定量评估。
多传感器可穿戴系统由三个部分组成:1)配备四个运动传感器的全身连体服,2)使用定制iOS应用程序的移动设备,3)基于云的分析流程(Babacloud,其访问凭证可向作者申请获取)11防水惯性测量单元(IMU)传感器通过低功耗蓝牙连接以13-52 Hz的采样频率向手机实时传输同步数据(三轴加速度计和陀螺仪)。数据首先存储在传感器或手机设备的内存中,随后进行 录制停止后,在云服务器上进行离线分析。
本研究所涉及的实验已通过赫尔辛基大学医院新儿童医院伦理委员会的审查,该医院已批准开展本文所引用的原始研究中描述的研究项目。研究已获得对视频中儿童进行拍摄的知情同意。
1. 为记录会话准备服装
2. 准备婴儿并为其穿戴以进行记录会话
3. 记录过程
4. 基于云的分析:原始数据上传与结果下载
本方法通过在录制会话的每一秒内对姿势和动作类型进行分类,以量化婴儿的粗大运动表现。因此,自动化分析流程的结果包中包含整个录制会话的完整分类矩阵(补充文件 3)和图形化摘要(补充文件 4)。根据具体的研究问题,可从不同层面查看这些结果。
结果检查用于本方法的开发与验证。
以下介绍了用于该方法学开发与验证的四个层次的结果检查。补充文件5提供了关键验证实验的代表性示例,这些实验此前已以完整细节发表10,11,12。
首先,针对婴儿运动行为的自动算法在运动和姿势检测方面的性能,通过与逐秒级别的人工观察结果进行比对加以验证。我们采用多位经过平行培训的专家,对可穿戴设备记录数据同步的视频录像进行盲法评审。所有不同的姿势和运动类别均分别与人工标注结果进行对比,结果显示算法在姿势识别方面与人工标注具有很高的一致性(平均 kappa 值为 0.93);在运动类别的识别上也表现出较高的一致性(各子类别特异性的 kappa 值大多在 60–80% 范围内)。示例混淆矩阵参见补充文件 5A10。此外,还评估了评审者间的一致性水平,以确认算法性能达到与人工相当的程度10,11。
其次,我们评估了基于分类器的运动和姿势类别量化结果与第二层级人工标注的相应量化结果之间的一致性。如补充文件 5B10中的示例散点图所示,多个关键类别的算法量化与人工视觉量化之间具有近乎完美的匹配度(相关系数>0.96)。这直接支持了运动能力量化结果中与年龄相关的分布(图3A,B)具有可靠性的结论12。
第三,通过结合与典型发育婴儿实际年龄高度相关(r=0.89;补充文件 5C)的多种运动参数(见上文)来训练预测发育年龄,从而验证了对运动成熟度进行整体评估这一理念的可行性。随后,将该年龄预测结果标准化为0-100的无量纲指标BIMS(Baba Infant Motor Score10),并利用表现出明显年龄依赖性和可预测生长轨迹的典型发育婴儿队列,验证了其在构建运动生长曲线图中的应用价值(补充文件 5D)。我们还通过证明运动生长曲线图的准确性与广为人知的体格生长曲线图具有良好的可比性,进一步验证了其相对准确性12。
第四,在原理验证实验中,利用给定的指标验证了检测异常的潜力,结果显示单个运动测量指标能够清晰区分运动表现较差与较好的婴儿(补充文件 5E)10。
不同分析层面可能的进一步研究问题
图3展示了可穿戴设备及其自动化分析流程所提供的信息在后续研究中的应用示例。首先,可以将姿势与运动技能的早期发展情况按年龄进行绘图,并与年龄依赖性分布进行比较(图3A,“生长曲线”12),或对每个个体的发育情况进行纵向追踪(图3B)。其次,当研究问题需要更全面的粗大运动评估时,可结合个体的姿势与运动比例(如补充文件 5D所示,由补充文件 5C中的时间序列计算得出),构建类似BIMS(Baba Infant Motor Score)的综合指标。此类指标可直接用于运动生长曲线(补充文件 5C,D),并支持计算z分数等统计衍生值(图3A)。利用算法检测结果的完整时间序列(图3C及补充文件 3),可对婴儿活动性的详细时间结构开展研究,例如提出问题:“婴儿在单位时间内完成多少次姿势转换?”或“在自发游戏期间,站立时段的分布情况如何?”

图1:多传感器可穿戴系统概览,以及从数据记录到分析的典型研究流程。 图1 改编自 Airaksinen 等人的研究12,根据 CC_BY 许可发布。婴儿照片已获得家长同意后发布。 请点击此处查看此图的放大版本。

图 2:姿势与运动分类方法,以及原始数据和分析结果的可视化示例(A)用于多传感器可穿戴设备全自动分析流程中算法分类器所采用的姿势与运动分类方案。该图重印自 Airaksinen 等人10。(B)来自 MAIJU 记录的四个肢体各自的加速度传感器10分钟原始数据示例。下方的水平条形图显示了同一10分钟时间段内自动分类器对姿势(上条)和运动(下条)检测的输出结果。请点击此处查看该图的放大版本。

图3:由原始分类器输出得出的示例结果。(A)婴儿年龄与巴氏婴儿运动评分(Baba Infant Motor Score, BIMS)之间数据比较的示例。绿色S形曲线表示在较大人群样本中BIMS的发育轨迹。圆点表示一个14个月大婴儿的测量示例,其BIMS约为74,略低于同龄典型平均水平(绿色曲线)。(B)使用巴氏婴儿运动评分(BIMS)表示的示例队列,展示个体运动发育轨迹。每条线代表一名婴儿在多个年龄时间点(线上的圆点)的记录。线条颜色表示相对于同龄典型均值的平均偏离程度(背景中的蓝色S形曲线;参见A图)。(C)来自自动分类器的代表性输出矩阵,数据源自Babacloud分析流程。第一列表示每次分类分析窗口距录像开始后经过的时间(单位为秒)(窗口持续时间为2.3秒,重叠50%)。第二列和第三列分别显示分类器对姿势和动作的识别结果。第三列和第四列为辅助分类器,分别标示婴儿被他人抱起的时段以及婴儿处于自主游戏状态的时段。(D)一份汇总报告的示意图。图A和图B改编自Airaksinen等人的研究10。请点击此处查看此图的放大版本。
补充文件1:使用MAIJU可穿戴设备进行记录的快速指南。 请点击此处下载该文件。
补充文件2:从Maijulogger向Babacloud分析服务器传输数据的快速指南。 请点击此处下载该文件。
补充文件3:一个详细的分类矩阵示例,包含姿势、运动、婴儿携带和自由玩耍时间的每一秒分类。 请点击此处下载该文件。
补充文件 4:图形化摘要报告的完整 PDF 示例。 该文件取自算法生成的文件,包含以下内容:(A) 关于记录会话的基本背景信息(受试者编号和年龄、记录日期、持续时间以及用于最终分析的总 epoch 数量);(B) 整段记录的图形化展示,显示在整个记录过程中各种姿势的分布情况,以及被排除在定量评估之外的 epochs;(C) 以小提琴图形式展示的六种姿势(左侧)和十二种运动类型(右侧)的典型分布。类似地,右侧图示描绘了每种姿势所对应的运动类型,并展示了运动能力逐步发展的序列(图中圆点表示单次记录的结果,彩色小提琴图表示相关数据集中姿势/运动随年龄变化的分布情况)。值得注意的是,圆点所示的原始数值反映了特定运动表现的实际数值,可直接用于其他分析场景。请点击此处下载该文件。
补充文件 5:不同分析水平的验证实验。(A)混淆矩阵,显示人工标注(目标类别)与算法检测结果(预测类别)在姿势和运动类别上的符合程度。(B)全程记录期间,基于人工标注与自动分类器检测所得的运动量化指标的比较。(C)基于可穿戴设备数据预测的发育年龄(左侧 Y 轴)与其重新标度后生成的 BIMS 评分(右侧 Y 轴)之间的相关性。X 轴显示婴儿记录时的实际年龄。(D)使用拟合函数时,年龄预测值与实际年龄之间的相关性。图中数值表示在使用所示时间窗内的组平均值(蓝色)、所有原始值(黑色)或考虑个体重复测量(绿色)时对模型的拟合情况。(E)运动表现良好与较差的婴儿组之间个体运动指标的比较,提示若干自动检测的运动参数可能区分这两类婴儿群体。图 A、B、C 改编自 Airaksinen 等人10。图 D 改编自 Airaksinen 等人12。图 E 改编自 Airaksinen 等人11。请点击此处下载该文件。
使用可穿戴解决方案(如MAIJU)对婴儿运动表现进行量化评估和发育追踪,在技术上易于学习和操作,可轻松应用于医疗保健或临床研究实践中10,11,12。与现有的其他运动评估方法相比,这种在家中记录婴儿自发运动活动的方式提高了评估的生态效度。此外,它提供了对婴儿运动表现的量化、透明且完全自动化的分析。最重要的是,分析中所使用的指标直观且可解释,便于与其他临床和科研评估结果进行比较,例如环境因素、认知发展或心理社会评估。对运动发育的全面评估具有较高的准确性,可与传统的体格生长测量相媲美12。
该方案中的关键步骤包括可穿戴服装的仔细准备。在准备录制时,选择合适尺寸的服装至关重要,因为袖子和裤腿上的传感器固定装置必须紧密贴合,才能可靠地记录身体运动。此外,为确保成功录制,必须按照方案中的指示,将传感器以正确的方向放入口袋中。传感器支架在录制过程中不会允许传感器发生旋转,但如果传感器方向错误,所记录的数据将难以甚至无法在后期修复。在录制过程中,应 鼓励婴儿自由且独立地活动。录制时长 可根据具体研究问题而调整。多个自发运动时段将被合并,以累积每次录制会话所需的足够自发运动数据。
MAIJU 可穿戴解决方案具有灵活且实用的操作特性,可在多种环境下使用,适用于有监督和无监督的场景,例如研究实验室或家庭。我们近期的临床试验结果表明,在家中进行的完全无监督记录可能获得与在完全或部分监督下记录相当的结果12。然而,儿童自发的运动行为可能受到多种因素的影响,例如周围环境(如户外与室内活动、空间布局、家具和玩具)、儿童的警觉水平,以及家长在家庭记录期间的参与程度。当在家庭中进行无监督记录时,应鼓励儿童自发玩耍,即独立玩耍或活动,除非必要,避免由他人抱持或携带儿童,同时应将记录用的手机保持在蓝牙通信范围内(同一房间内)10。目前大多数记录过程中的故障问题均由蓝牙连接中断引起。传感器技术的近期发展将改善蓝牙连接性能,而即将推出的更大容量传感器存储功能将支持离线记录,直接将运动数据存储于传感器内存中。
采用此类可穿戴解决方案进行院外记录具有良好的可扩展性,并可能改善 婴儿的安全,例如在大流行等情况下实现远程监护。我们目前 分类器算法 被训练以特异性识别运动描述方案中所示的特定运动能力、姿势和动作(图2A)。这些现象被确认为婴儿出生后前两年内的典型运动特征。在年龄较大的儿童中观察到的其他类型的运动或姿势,如跑步或跳跃,则需要调整运动描述方案,并训练相应的算法以识别这些动作。基于姿势与情境的分析是一种颇具前景的方法,该方法将婴儿的运动活动根据不同姿势进行分离,分别加以分析。 支持研究婴儿行为的发育相关性5,6,7,8,9,13或者,基于情境的运动分析也可用于在预测单侧脑性瘫痪发展时评估运动功能的不对称性10,12,14,15此外,可将MAIJU系统对运动能力的评估与其他研究方法(如眼动追踪、成像或视频记录)相结合,以获取跨越不同类型和情境的多模态数据。多模态数据可能有助于评估社会互动的影响或治疗干预的效果。
为了使新型可穿戴技术在医院外的婴儿监测环境中取得成功,必须解决某些局限性、挑战和伦理问题。我们的分析流程是在芬兰的正常发育婴儿群体中进行训练和验证的10,11,12。原始分析输出中的基本姿势和动作应具有普适性。然而,其发育轨迹可能需要根据不同文化和地理区域进行调整。根据家长对可穿戴设备的反馈,这些设备因其对婴儿的友好性而受到欢迎16。然而,家长可能对隐私、数据访问权限以及家庭实际操作问题(例如多位照护者、访客和作息时间不固定)表示担忧。该方法的一个局限性在于依赖传感器和记录手机的电池续航能力。根据我们的经验,在使用连续数据流传输时,CR2025型号电池 通常可维持一整天(12–24小时)。值得注意的是,电池续航时间既取决于电池品牌,也取决于无线数据传输所需的蓝牙连接强度,而蓝牙连接强度会持续变化,以在记录环境中最大化数据传输效率。例如,当婴儿与手机之间距离较远或存在墙体阻隔时,蓝牙连接将调整至更高功耗状态。值得注意的是,大多数移动设备的电池在持续进行蓝牙流传输时,也大约在相同时间内耗尽。在实际操作中,目前采用的蓝牙连续数据流传输意味着传感器和移动设备均需每日充电或更换电池。不久的将来,具备更大存储容量的传感器将能够将数据存储于传感器内存中,支持超过一周 的连续记录。这将消除对高功耗蓝牙流传输的需求,也无需在记录期间随身携带手机至蓝牙覆盖范围内,从而避免因该限制带来的不便以及人为操作失误的风险。
总体而言,早期神经发育的追踪需要 方法 对……敏感 自然的神经行为变异性。大运动发育是一个复杂的过程,包含多种变化 个体与文化层面的顺序与时机4检测 非典型运动发育是 有效的 识别有多种神经发育障碍风险的婴儿。传统的标准化神经发育评估测试组合通常在医院等受控环境中进行,且至少在一定程度上具有主观性7,8,9当前传感器技术和信号分析的进步使得能够在医院外环境中对婴儿的自发运动能力进行长时间记录,并以与人类观察者相当的准确性量化其运动行为10,11,12新型可穿戴技术提供了生态有效且客观的自动化与可扩展方法,用于监测婴儿的运动情况及治疗干预的效果。此外,新型神经发育指数——Baba婴儿运动评分(BIMS)可通过个体化追踪神经发育,实现对婴儿运动能力成熟度的评估。10,12可应用于多种未来场景,例如婴儿运动发育图表的制定12通过使用不同类型的运动描述方案和算法,针对其他特定运动能力(例如针对年长儿童或成人)训练自动化分类器,可穿戴运动传感器有望应用于临床,例如用于运动障碍的诊断,或在个体发育的任何阶段对治疗干预效果进行随访评估。17然而,目前这应被视为一种尚处于研究阶段的方法学,不应作为临床诊断或治疗靶点的依据。
E.I. 是纺织工程咨询公司 Planno Oy 的创始人。其他作者无相关利益需要披露。
本工作由芬兰科学院(314602、335788、335872、332017、343498)、芬兰儿科基金会(Lastentautien tutkimussäätiö)、Aivosäätiö、西格丽德·尤塞柳斯基金会以及赫尔辛基大学中央医院儿童医院/赫尔辛基大学中央医院诊断中心研究基金资助。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| iOS 设备(版本 16.5 或更高) | Apple | n/a | |
| MAIJU 连体服 | Planno Ltd | n/a | 按用途定制 |
| Maijulogger(移动应用程序)和传感器固件 | BABA Center (www.babacenter.fi), Kaasa solutions GmbH | n/a | 由 Kaasa Solutions 构建,Baba Center 发布 |
| Movesense 运动传感器 | Movesense (www.movesense.com) | n/a |
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可