我们介绍了使用FLLIT的详细方案,FLLIT是一种完全自动化的机器学习方法,用于追踪自由活动的黑腹果蝇(Drosophila melanogaster)及其他昆虫腿部爪子的运动。这些方案可用于对野生型果蝇、突变型果蝇以及神经退行性疾病果蝇模型中的细微行走步态运动进行定量测量。
方法文章
我们介绍了使用FLLIT的详细方案,FLLIT是一种完全自动化的机器学习方法,用于追踪自由活动的黑腹果蝇(Drosophila melanogaster)及其他昆虫腿部爪子的运动。这些方案可用于对野生型果蝇、突变型果蝇以及神经退行性疾病果蝇模型中的细微行走步态运动进行定量测量。
Drosophila 模型在神经系统功能研究以及神经退行性病变的分子和细胞机制理解方面具有不可估量的价值。尽管果蝇神经元亚群的操作与研究技术日益成熟,但相应行为表型的丰富性尚未以同等精细程度被捕捉。为了能够对不同突变体之间的果蝇腿部细微运动进行研究,必须具备自动测量和量化高速、快速腿部运动的能力。因此,我们开发了一种用于自由行走果蝇腿部爪部自动追踪的机器学习算法——基于特征学习的肢体分割与追踪(Feature Learning-based Limb segmentation and Tracking, FLLIT)。与大多数深度学习方法不同,FLLIT 完全自动化,无需用户标注,利用内置于学习算法中的形态学参数自动生成训练集。本文详细描述了使用 FLLIT 进行步态分析的完整实验方案,包括相机设置、实验 arena 构建、视频录制、腿部分割及腿部爪部追踪的操作步骤。同时概述了 FLLIT 输出的数据内容,包括每一视频帧中身体与腿部位置的原始追踪数据、20 项步态参数、5 类图表以及一段带追踪标记的视频。为展示 FLLIT 的应用,我们对中国台湾地区脊髓小脑性共济失调 3 型果蝇模型中的相关疾病步态参数进行了量化分析。
在过去几十年中,神经退行性疾病和运动障碍在老龄化人群中日益普遍。尽管在分子和细胞水平上,我们对许多神经退行性疾病的认知已取得进展,但疾病相关神经环路的基本特征仍不甚清楚。近年来开发的行为追踪工具1,2,3,4使我们能够研究动物疾病模型中的运动异常,从而识别疾病背后潜在的分子、细胞和神经环路功能紊乱。
参与多种神经退行性疾病分子通路在果蝇中是保守的 黑腹果蝇 黑腹果蝇,以及 果蝇 疾病模型有助于阐明神经退行性变的基本机制5,6我们最近发现,帕金森病(PD)和脊髓小脑性共济失调3型(SCA3)的果蝇模型表现出独特且保守的步态特征,这些特征与相应人类疾病的步态相似1,表明果蝇模型可用于研究特定运动障碍中运动功能障碍的神经环路机制。果蝇模型拥有丰富且不断扩展的工具库,可在单基因和单细胞水平上对神经元进行靶向操控和可视化观察7,8,9,10 使果蝇成为在体内研究疾病通路、神经回路与行为表型之间关系的理想模型。为了实现精确、自动化的昆虫步态分析,我们近期开发了一种机器学习方法, F特征 L基于学习的 LImb 分割和 T梯度离心(FLLIT)1.
FLLIT 包含一个全自动的多阶段算法,首先对腿部像素进行分割,随后利用分割结果定位并追踪相应的足爪。FLLIT 采用提升算法(boosting algorithm)进行分割,这与近期研究中使用的深度学习算法有所不同2,3。该方法与卷积神经网络存在某些相似之处,例如在两种框架中,特征提取均通过学习卷积核自动完成。FLLIT 的第一步是利用形态学操作(边缘检测和骨架化)自动高置信度地生成正样本(腿部上的像素)和负样本(背景或果蝇身体上的像素)。因此,FLLIT 完全自动化,无需用户标注训练样本。利用上述训练样本,在提升算法框架下训练一个分类器。该过程迭代学习一组弱分类器,每个弱分类器包含一组用于特征提取的卷积核和一个决策树。最终学习得到的分类器用于腿部分割,能够比形态学操作更有效地识别复杂区域或困难样本,从而实现更精确的整体分割,以支持后续追踪1。在分割出腿部后,我们通过匈牙利算法定位其末端并进行追踪:通过跨帧匹配末端位置,使得所有末端移动距离之和最小化。FLLIT 能够处理遮挡情况,方法是记录末端最后一次出现的位置(以果蝇中心为坐标的相对位置),一旦末端不再被遮挡,即可恢复其追踪。
我们先前已证明,FLLIT 可以从高速视频中自动且准确地追踪无标记、自由活动的果蝇或蜘蛛的腿部运动,并分析其步态1;因此,FLLIT 应可广泛适用于节肢动物的腿部追踪。FLLIT 通过提取形态学参数生成机器学习训练集,自动完成模型训练,实现昆虫腿部的分割与追踪,无需大多数深度学习方法所必需的繁琐人工标注。因此,FLLIT 是完全自动化的。在完成腿部分割与追踪后,FLLIT 可自动输出每一视频帧中身体和腿部的原始追踪位置、20 项步态参数、5 类图表,以及一段包含追踪信息的视频,用于步态分析和运动可视化的研究。本实验方案提供了使用 FLLIT 的逐步操作指南。
1. 系统设置
2. 记录前果蝇的准备
3. 用于 FLLIT 分析的视频生成
注意:此步骤特定于所使用的视频摄像机。本实验中使用了一款市售视频摄像机(见材料表)。
4. FLLIT 程序的安装
注意:最新操作说明请见:https://github.com/BII-wushuang/FLLIT/blob/master/Compiled/Readme.pdf
5. 运行 FLLIT 以实现腿部自动追踪

在完成腿部分割、追踪和数据处理后,FLLIT 会自动生成身体和每条腿爪位置的原始数据、20 个步态参数、5 个图表以及一段追踪视频(表 1)。
在此,我们利用脊髓小脑性共济失调3型(SCA3)的果蝇模型来展示这些分析方法。使用泛神经元驱动子Elav-GAL4驱动表达全长的人源野生型SCA3蛋白(在多聚谷氨酰胺序列中含有27个谷氨酰胺,即UAS-SCA3-flQ27),或全长的人源突变型SCA3蛋白(在多聚谷氨酰胺序列中含有84个谷氨酰胺,即UAS-SCA3-flQ84)11。SCA3的典型特征是步态共济失调,表现为身体偏移、脚步落点不规则以及短而突兀的步幅12,13(表2)。为了表征突变型SCA3果蝇的步态,并探究其是否表现出与人类患者相似的步态异常,我们分析了FLLIT系统生成的相关步态参数,具体包括:身体转向次数、足印规律性、腿域重叠与大小,以及腿部步长(表2)。
我们发现,SCA3-Q84 果蝇表现出更多的转身行为(图 4A,A’),步态落点不规则(表现为足迹规则性降低,即 AEP14 的标准差增大)(图 4B),腿部活动区域重叠增加(图 4C-D),腿部活动区域的长度和面积增大(图 4E,F),以及步长缩短(图 4G)。
FLLIT 还会生成一段视频,展示在以竞技场为中心和以身体为中心的视角下被追踪的果蝇及其腿部运动、身体轨迹和朝向方向,以及每条腿的垂直和侧向位移(图5)。这些被追踪的视频可用于并排比较不同果蝇的腿部运动。代表性视频显示了Elav-GAL4>SCA3-flQ27(视频1)和Elav-GAL4>SCA3-flQ84 (视频2)果蝇的运动情况,表明与Elav-GAL4>UAS-SCA3-flQ27果蝇(图5A)相比,Elav-GAL4>UAS-SCA3-flQ84 果蝇(图5B)表现出大小不一、相互交错的不规则腿部运动区域,提示其步态呈踉跄、共济失调样特征。

图1. 记录站与实验区域的装置示意图。 分别为(A)正面和(B)侧面视角的记录图像。(C)用于FLLIT追踪果蝇记录的实验区域示例。请点击此处查看该图的放大版本。

图2:使用双镜头相机记录果蝇步态时活动窗口的视图,该设置可同时记录两只果蝇的运动。 请点击此处查看此图的放大版本。

图3:活动的FLLIT窗口,显示分割与追踪完成后的按钮面板及标注的腿部。 请点击此处查看该图的放大版本。

图 4: FLLIT 生成的代表性数据,显示表达野生型(SCA3-flQ27)与突变型(SCA3-flQ84)SCA3 果蝇的相关步态参数。 (A)身体轨迹中的转弯次数。(B)中足足迹规律性相对于体长的归一化值。(C-C’)每条腿经过的区域范围。(D)腿间区域的重叠程度。(E)中足区域长度相对于体长的归一化值。(F)中足区域面积相对于体长2的归一化值。(G)中足步幅长度相对于体长的归一化值。 请点击此处查看本图的放大版本。

图 5:FLLIT 生成的代表性视频快照。 (A)Elav-GAL4>UAS-SCA3-flQ27 和 (B)Elav-GAL4>UAS-SCA3-flQ84 果蝇。 请点击此处查看此图的放大版本。

视频 1:表达泛神经元型野生型人全长 SCA3 的果蝇代表性视频(Elav-GAL4>UAS-SCA3-flQ27)。 请点击此处观看该视频。(右键单击可下载。)

视频 2:表达泛神经元突变型人全长 SCA3 的果蝇代表性视频(Elav-GAL4>UAS-SCA3-flQ84)。 请点击此处观看该视频。(右键单击可下载。)

补充图1:VcXSrv 的配置。 请点击此处查看该图的放大版本。

补充图 2:Xquartz 的配置。 请点击此处查看此图的放大版本。

补充图3:标注了计算视场所需尺寸的图像。 请点击此处查看该图的放大版本。
| 类别 | 参数 | 描述 | 文件/绘图(如适用) |
| 原始数据 | 身体位置 | 每一帧中身体质心的位置坐标 | CoM.csv 的前两列 |
| 身体轨迹 | 身体轴线相对于 y 轴的旋转角度(单位:度) | CoM.csv 的第三列 | |
| 以竞技场为中心的腿部爪结构 位置 | 基于场地坐标的每帧中各腿爪的位置坐标 | trajectory.csv | |
| 体中心型腿爪 位置 | 每一帧中每条腿爪的位置坐标 基于竞技场坐标 | norm_trajectory.csv | |
| 身体运动 | 体长(mm) | 每个画面中估算的样本动物体长(从头部最前端到最尾端) 翅膀上的位置 | bodylength.csv |
| 瞬时身体速度 (毫米/秒) | 样本动物身体(质心)的瞬时速度 | BodyVelocity.csv;BodyVelocity.pdf | |
| 身体的转折点 轨迹 | 为确定转折点,使用 Douglas-Peucker 算法将轨迹简化为分段线性曲线。 算法,据此将转向事件定义为涉及某一角度 > 相邻两者之间50度 构成简化轨迹的线性段 | BodyTrajectory.pdf | |
| 个体步态参数 | 步态周期持续时间(ms) | 步态周期的持续时间 | StrideParameters.csv |
| 步态周期(ms) | 从一次步态事件到下一次步态事件的持续时间 | ||
| 步幅位移(mm) | 步态事件中腿部爪的位移 | ||
| 步幅路径覆盖距离(mm) | 步态周期中腿部爪子移动的总路径长度 | ||
| 前极位 (毫米) | 步态事件结束时腿部爪部相对于身体的着陆位置 | ||
| 后极限位置(mm) | 步态事件开始时腿爪的离地位置(相对于身体) | ||
| 步幅振幅(mm) | 步态事件中沿运动方向的位移 | ||
| 站立线性度(mm) | 定义为步态轨迹相对于相应前向曲线(以20毫秒间隔平滑处理)的偏离程度 步态的前极端位置和后极端位置 | ||
| 步幅拉伸(mm) | 步态事件中期腿部爪部位置与身体中心的距离 | ||
| 腿部运动 | 腿部速度(mm/s) | 每条腿的瞬时速度 | LegSpeed.csv;Gait.pdf |
| 步态指数 | 这用于测量(六条腿的)样本动物在运动过程中表现出的步态协调类型。步态 1 对应三足步态,-1 对应四足步态,而 0 对应非典型步态。 在我们的实现中,步态指数是通过对120 ms时间窗内的数据进行移动平均得到的 | GaitIndex.csv;GaitIndex.pdf | |
| 运动百分比 | 腿部处于运动状态的时间百分比 | LegParameters.csv | |
| 平均步态周期(ms) | 单次步态事件到下一次的平均持续时间 | LegParameters.csv | |
| 足迹规律性(mm) | 以标准差衡量的后验分布 | LegParameters.csv | |
| 腿的前极端位置 | |||
| 腿部轨迹域面积 毫米2) | 包含整个腿部轨迹的最小凸包在以身体为中心的参考系中的面积 | LegParameters.csv;LegDomain.pdf | |
| 长度和宽度 腿部轨迹域(mm) | 通过将爪部位置投影到主轴(结构域长度)和次轴上的最大距离获得 (畴宽度)主轴 | LegParameters.csv | |
| 腿结构域交集/重叠 毫米2) | 每种可能情况之间的交集/重叠 | LegDomainOverlap.csv | |
| 站立宽度(mm) | 左腿和中腿AEP与PEP之间距离的平均值 | StanceWidth.csv |
表1:FLLIT生成的步态参数。
| 步态特征 | ||||
| 脊髓小脑性共济失调3型(SCA3)的步态特征 | 偏移行走 | 脚步落点不规则及双腿交叉 | 踉跄步态 | 步幅缩短 |
| 测量参数 | 身体转向事件次数 | 足印规律性 | 腿部活动区域大小、区域重叠程度 | 步长 |
| FLLIT 文件 | BodyTrajectory.pdf | LegParameters.csv | LegDomainOverlap.csv | StrideParameters.csv |
表2:显示人类SCA3患者典型步态特征及其对应的FLLIT参数和输出文件的表格。
在本文中,我们详细描述了使用FLLIT(一种自动化机器学习程序1)分析自由行走的黑腹果蝇(Drosophila)步态的具体步骤。在完成追踪与数据分析后,FLLIT会自动生成关于身体和腿部爪部位置信息的原始数据,提取出二十项身体与步态特征,并生成已追踪果蝇的视频,以实现步态的可视化。
目前已有多种方法可用于追踪果蝇(Drosophila)及其他动物的腿部运动1,2,3,4,14,15,16,研究人员可根据实验目标灵活选择。其中一些方法基于足迹成像,虽然精度很高,但仅能报告爪部与检测表面接触的位置4,14。另一方面,近年来发展的深度学习方法2,3,16具有高度的通用性,可分析需要追踪任意动物腿部关节及其他身体部位的行为,但前提是算法必须首先使用人工标注的数据集进行训练。第三类方法则利用形态学或基于图像对比度的技术1,15,17来识别每条腿的轮廓,从而确定爪部位置。总体而言,这些方法在处理腿部交叉行为(例如 grooming 行为)时表现不佳。FLLIT 结合了第二类和第三类方法,利用形态学参数训练一种提升算法(boosting algorithm)以实现腿部分割。这种方法使 FLLIT 能够避免人工标注训练数据集的繁琐工作,同时借助机器学习提高准确性。未来对 FLLIT 的改进需解决腿部交叉的情况,以实现对更复杂行为的分析。
FLLIT 对光照、记录分辨率和帧速率的轻微变化具有较强的鲁棒性1。然而,录制视频的帧速率不应低于 250 fps,FLLIT 在 1000 fps 下录制的视频中运行效果最佳。如果图像中存在运动模糊,导致人工标注者难以识别腿部位置,则 FLLIT 也无法在这些帧中准确识别腿部末端。因此,必须将相机清晰对焦于腿部末端。为防止分割伪影,实验区域应彻底清洁,并在录制过程中保持固定不动。为了实现准确的背景减除和清晰的分割,果蝇在录制期间应至少移动一个体长的距离,且不应暂停。在完成自动分割与追踪后,必须检查所有腿部的标签标注情况。如果果蝇步态未被追踪或追踪错误,应使用手动启动追踪选项重新进行手动追踪(步骤 5.2.7 – 5.2.10)。
神经退行性疾病和运动障碍在我们老龄化社会中日益普遍。果蝇神经退行性疾病的模型已被研究超过二十年,在此期间,人们对疾病病理生理学的分子和细胞层面有了诸多进展。然而,疾病的特定行为后果在技术上一直难以评估。例如,尽管已有文献报道果蝇存在颤抖样运动18,19,但直到最近才对其进行定量研究1。爬行实验虽是一种有用且可量化的检测方法,但其分辨率相对粗糙6。这一技术局限同样阻碍了其他动物模型中的高分辨率运动分析。因此,新型行为分析工具的出现有望推动运动障碍研究领域的发展,使研究人员能够探究神经肌肉疾病在分子和细胞层面的机制如何导致动物模型中特定的行为表现。在本文及我们先前的研究中1,我们利用FLLIT发现,脊髓小脑性共济失调3型(SCA3)的果蝇模型表现出亢进性共济失调步态,而帕金森病(PD)果蝇模型则表现出运动减少性僵直步态,重现了相应人类疾病的运动特征1。步态分析还使我们能够识别出介导特定运动功能障碍的不同神经元群体。未来,结合果蝇中强大的成像和功能研究工具,深入的运动分析将帮助我们揭示运动功能障碍的新机制,从而加深对神经退行性疾病在神经环路机制层面的理解。
FLLIT 应可广泛应用于研究其他小型节肢动物的步态,此前已证明其在追踪蜘蛛腿部运动方面具有很高的准确性1。尽管本文重点在于利用详细的运动表型分析来量化病理步态及其潜在神经环路,但运动追踪技术的进步已经彻底改变了人们对正常行走协调性、步态及其底层神经环路的理解,并将在进化树众多不同分支中持续产生深远影响。
作者无任何利益冲突需要披露。
作者谨此感谢 Moumita Chatterjee 和 Alice Liu 提供的技术支持,以及美国印第安纳州布卢明顿果蝇品系中心(Bloomington Drosophila Stock Centre)提供本研究所用的黑腹果蝇(Drosophila)品系。本研究得到了新加坡分子与细胞生物学研究所、新加坡生物信息学研究所、新加坡科技研究局联合理事会组织(资助号 15302FG149,授予 SA 和 LC)、新加坡卫生部国家医学研究理事会管理的临床研究旗舰项目(帕金森病专项,资助号 NMRC/TCR/013-NNI/2014,授予 SA)、阿尔伯塔大学(LC 的启动基金)以及加拿大自然科学与工程研究理事会(NSERC)发现基金(资助号 RGPIN-2019-04575,授予 LC)的支持。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 亚克力板 | Dama | 1.6 mm 厚度,透明板材 | 新加坡,新加坡 |
| 透明载玻片 | Biomedia | BMH 880101 | 新加坡,新加坡 |
| 高速相机 | Photron | Fastcam MC2.1 | 日本东京。快门速度为 1 毫秒或更快可有效减少所拍摄图像的运动模糊 |
| 红外 LED | 任意品牌 - 硬件商店通用型 | 940nm 红外光源板 | 新加坡,新加坡 |
| 吸水纸(Kimwipe) | Kimberly Clark | 34155-01LS | 美国德克萨斯州欧文 |
申请许可以重复使用本 JoVE 文章的文本或图表
申请许可