方法文章

基于特征学习的腿部分割与追踪技术(FLLIT)实现自由移动昆虫腿部的全自动追踪

DOI:

10.3791/61012

2020年4月23日

本文内容

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

我们介绍了使用FLLIT的详细方案,FLLIT是一种完全自动化的机器学习方法,用于追踪自由活动的黑腹果蝇(Drosophila melanogaster)及其他昆虫腿部爪子的运动。这些方案可用于对野生型果蝇、突变型果蝇以及神经退行性疾病果蝇模型中的细微行走步态运动进行定量测量。

摘要

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Drosophila 模型在神经系统功能研究以及神经退行性病变的分子和细胞机制理解方面具有不可估量的价值。尽管果蝇神经元亚群的操作与研究技术日益成熟,但相应行为表型的丰富性尚未以同等精细程度被捕捉。为了能够对不同突变体之间的果蝇腿部细微运动进行研究,必须具备自动测量和量化高速、快速腿部运动的能力。因此,我们开发了一种用于自由行走果蝇腿部爪部自动追踪的机器学习算法——基于特征学习的肢体分割与追踪(Feature Learning-based Limb segmentation and Tracking, FLLIT)。与大多数深度学习方法不同,FLLIT 完全自动化,无需用户标注,利用内置于学习算法中的形态学参数自动生成训练集。本文详细描述了使用 FLLIT 进行步态分析的完整实验方案,包括相机设置、实验 arena 构建、视频录制、腿部分割及腿部爪部追踪的操作步骤。同时概述了 FLLIT 输出的数据内容,包括每一视频帧中身体与腿部位置的原始追踪数据、20 项步态参数、5 类图表以及一段带追踪标记的视频。为展示 FLLIT 的应用,我们对中国台湾地区脊髓小脑性共济失调 3 型果蝇模型中的相关疾病步态参数进行了量化分析。

引言

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在过去几十年中,神经退行性疾病和运动障碍在老龄化人群中日益普遍。尽管在分子和细胞水平上,我们对许多神经退行性疾病的认知已取得进展,但疾病相关神经环路的基本特征仍不甚清楚。近年来开发的行为追踪工具1,2,3,4使我们能够研究动物疾病模型中的运动异常,从而识别疾病背后潜在的分子、细胞和神经环路功能紊乱。

参与多种神经退行性疾病分子通路在果蝇中是保守的 黑腹果蝇 黑腹果蝇,以及 果蝇 疾病模型有助于阐明神经退行性变的基本机制5,6我们最近发现,帕金森病(PD)和脊髓小脑性共济失调3型(SCA3)的果蝇模型表现出独特且保守的步态特征,这些特征与相应人类疾病的步态相似1,表明果蝇模型可用于研究特定运动障碍中运动功能障碍的神经环路机制。果蝇模型拥有丰富且不断扩展的工具库,可在单基因和单细胞水平上对神经元进行靶向操控和可视化观察7,8,9,10 使果蝇成为在体内研究疾病通路、神经回路与行为表型之间关系的理想模型。为了实现精确、自动化的昆虫步态分析,我们近期开发了一种机器学习方法, F特征 L基于学习的 LImb 分割和 T梯度离心(FLLIT)1.

FLLIT 包含一个全自动的多阶段算法,首先对腿部像素进行分割,随后利用分割结果定位并追踪相应的足爪。FLLIT 采用提升算法(boosting algorithm)进行分割,这与近期研究中使用的深度学习算法有所不同2,3。该方法与卷积神经网络存在某些相似之处,例如在两种框架中,特征提取均通过学习卷积核自动完成。FLLIT 的第一步是利用形态学操作(边缘检测和骨架化)自动高置信度地生成正样本(腿部上的像素)和负样本(背景或果蝇身体上的像素)。因此,FLLIT 完全自动化,无需用户标注训练样本。利用上述训练样本,在提升算法框架下训练一个分类器。该过程迭代学习一组弱分类器,每个弱分类器包含一组用于特征提取的卷积核和一个决策树。最终学习得到的分类器用于腿部分割,能够比形态学操作更有效地识别复杂区域或困难样本,从而实现更精确的整体分割,以支持后续追踪1。在分割出腿部后,我们通过匈牙利算法定位其末端并进行追踪:通过跨帧匹配末端位置,使得所有末端移动距离之和最小化。FLLIT 能够处理遮挡情况,方法是记录末端最后一次出现的位置(以果蝇中心为坐标的相对位置),一旦末端不再被遮挡,即可恢复其追踪。

我们先前已证明,FLLIT 可以从高速视频中自动且准确地追踪无标记、自由活动的果蝇或蜘蛛的腿部运动,并分析其步态1;因此,FLLIT 应可广泛适用于节肢动物的腿部追踪。FLLIT 通过提取形态学参数生成机器学习训练集,自动完成模型训练,实现昆虫腿部的分割与追踪,无需大多数深度学习方法所必需的繁琐人工标注。因此,FLLIT 是完全自动化的。在完成腿部分割与追踪后,FLLIT 可自动输出每一视频帧中身体和腿部的原始追踪位置、20 项步态参数、5 类图表,以及一段包含追踪信息的视频,用于步态分析和运动可视化的研究。本实验方案提供了使用 FLLIT 的逐步操作指南。

方案

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

1. 系统设置

  1. 确保记录装置配备高速摄像机,并在上方设有用于固定实验区域腔室的载物台(图1)。将相机调整为至少每秒250帧(fps)的录制速度,并设置相应较快的快门速度(本实验中以每秒1000帧、1毫秒快门速度进行录制)。
    注意:通过检查所有帧中移动的腿是否几乎没有或完全没有运动模糊,来确认视频是否适合进行追踪。如果移动的腿模糊严重,导致人工标注者无法追踪,则必须提高相机录制速度和/或快门速度。
  2. 将红外LED灯置于载物台顶部,摄像头与样本之间放置漫射器(半透明薄片)图1A,B).
  3. 通过切割一块1.6 mm厚的亚克力板制作记录室。本实验中使用11 mm × 11 mm的视场。将记录室置于两张载玻片之间图1C).

2. 记录前果蝇的准备

  1. 在记录前24小时,将待记录的果蝇转移至新的食物培养瓶中。
    注意:在记录前不足24小时内,不得对果蝇使用CO2(通常用于初次收集时麻醉果蝇)。
  2. 记录前约40分钟,将果蝇转移至空瓶中,并置于冰上麻醉5–7分钟。
  3. 在此期间,用水和擦拭纸清洁记录 arena 及透明玻璃盖片。
    注意:不得使用乙醇清洁记录室和玻璃片。
  4. 准备记录室。用胶带将一片显微镜玻璃片固定在记录室下方。
  5. 当果蝇在冰上麻醉后,使用洁净的毛刷将每只果蝇分别转移至一个记录室中。
    注意:本实验装置可使用雄性和雌性果蝇,应尽可能对两种性别的果蝇均进行分析,以避免性别特异性偏差。
  6. 用另一片显微镜玻璃片和胶带将记录室密封固定(图1C)。
  7. 将装有果蝇的记录室置于室温下静置15–20分钟,以适应环境。

3. 用于 FLLIT 分析的视频生成

注意:此步骤特定于所使用的视频摄像机。本实验中使用了一款市售视频摄像机(见材料表)。

  1. 打开电源。等待电源绿色 LED 指示灯和以太网接口连接橙色 LED 指示灯稳定。开启红外 LED 的电源,并确保电压保持在 12.5 V。
  2. 在连接的计算机系统上打开 Viewer 应用程序。
  3. 将录制帧率更改为 1000 fps,快门速度设置为 1/1000 s(1 ms)。
  4. 将装有果蝇的实验腔室放置于录制区域,并点击 LIVE 按钮。确保当果蝇在腔室底部直立行走时,相机对焦于其足尖;足尖应清晰对焦。
  5. 点击 Record图 2)。
  6. 录制果蝇行走过程,确保满足以下条件:
    果蝇沿相对直线轨迹行走,未接触 arena 边缘。
    果蝇每条腿至少完成三个步态周期。
    果蝇行走过程中未暂停。
    行走距离至少相当于一个体长。

    注意:清晰的背景扣除对于准确分割至关重要。FLLIT 所采用的自动背景扣除算法要求成像中的果蝇移动距离至少达到一个体长。
  7. 点击 Rec Done 以停止录制(图 2)。
  8. 裁剪视频,确保录制内容仅包含果蝇的直线行走部分(如步骤 3.6 所述)。
  9. 点击 Save图 2)。将文件保存为 ‘.mraw’ 或 ‘.tiff’ 格式,并分别存入对应文件夹。
    注意:与 ‘.tiff’ 格式相比,‘.mraw’ 格式在文件命名(如需要)和视频存储方面具有更大的灵活性。

4. FLLIT 程序的安装

注意:最新操作说明请见:https://github.com/BII-wushuang/FLLIT/blob/master/Compiled/Readme.pdf

  1. 在任何操作系统上下载 FLLIT
    1. 从以下 Github 链接下载 FLLIT:https://github.com/BII-wushuang/FLLIT/archive/master.zip。解压该压缩文件的内容。
    2. 从以下 Google Drive 链接下载示例数据集:https://bit.ly/2EibvNY。创建一个文件夹 数据 在 FLLIT-master/Compiled 目录下编译,并将数据集文件夹放入此 Data 目录中。
  2. 在 Ubuntu 中安装 FLLIT
    1. 导航至 FLLIT/Compiled 目录。
    2. 右键单击并选择 在 Termina 中打开l.
    3. 运行以下命令,将 MATLAB 运行时库下载并安装到 $HOME/MCR:
      bash MCR_2016a.sh
    4. 在完成 MATLAB 运行库的安装后,执行以下命令以确保 FLLIT 被授予可执行权限:
      chmod +x FLLIT
    5. 在 FLLIT/Compiled 目录中打开终端,然后执行以下命令以运行 FLLIT:
      bash run_FLLIT.sh $HOME/MCR/v901
  3. 在 Windows 系统中安装 FLLIT
    1. 对于第7版和第10版家庭版,请在以下地址安装 Docker Toolbox:
      (https://github.com/docker/toolbox/releases/download/v19.03.1/DockerToolbox-19.03.1.exe)
    2. 对于 Windows 10 专业版或企业版,请在以下地址安装适用于 Windows 的 Docker Desktop:(https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe)。
    3. 要在 Windows 上的 Docker 容器中运行图形用户界面(GUI)应用程序,首先安装 VcXsrv(https://sourceforge.net/projects/vcxsrv)。启动 VcXsrv 时,按如下所示配置设置 图 S1.
      注意:在启动 FLLIT 之前,请确保 Docker 和 VcXsrv 正在运行。
    4. 双击 FLLIT.bat 以运行 FLLIT。
      注意:首次执行时,需要一些时间从 Docker Hub 拉取 Docker 镜像。
  4. 在 macOS 中安装 FLLIT
    1. 在 macOS 上下载 Docker Desktop https://download.docker.com/mac/stable/Docker.dmg
    2. 通过打开终端并执行以下命令来安装 socat:
      brew install socat
    3. 启动 socat,命令如下:
      socat TCP-LISTEN:6000,reuseaddr,fork UNIX-CLIENT:"$DISPLAY" & 否认
    4. 安装 XQuartz(https://www.xquartz.org)以在 macOS 上的 Docker 容器中运行图形用户界面(GUI)应用程序。启动 XQuartz 并通过勾选以下选项修改其偏好设置: 允许来自网络客户端的连接 如图所示,在“安全”选项卡中 图 S2.
      注意:在启动 FLLIT 之前,请确保 Docker、socat 和 XQuartz 均已在运行。 
    5. 在 FLLIT/Compiled 目录中打开终端,然后使用以下命令执行 FLLIT:
      bash FLLIT_Mac.sh
      注意:首次执行时,需要一些时间从 Docker Hub 拉取 Docker 镜像。

5. 运行 FLLIT 以实现腿部自动追踪

  1. 分割
    1. 将视频转换为单独的 TIFF 文件,并复制到 FLLIT 数据文件夹中。
    2. 运行 FLLIT(在 Ubuntu 系统中,右键单击以在终端中打开 FLLIT)。
    3. 选择包含待追踪视频逐帧 TIFF 图像的文件夹,然后点击 添加 按钮。
    4. 在弹出窗口中,选择 0 仅执行腿部分割,或选择 1 同时包含腿部追踪和腿部分割。
    5. 点击 完成 以启动所选视频的分割与追踪。
  2. 追踪
    1. 为检查追踪准确性并进行误差校正(如有),点击 选择数据文件夹。选择待追踪的文件夹,然后点击 打开
    2. 点击 查看追踪结果
      注意:在查看已追踪的腿部位置时,请确保 查看模式 始终处于选中状态,否则之前所做的任何校正将被覆盖。
    3. 检查第一帧中所有腿部的标签
      注意:由于腿部标签是根据屏幕上的位置进行标注的,若果蝇直立行走,则果蝇的右侧被标注为 L1(前腿)、L2(中腿)、L3(后腿),果蝇的左侧被标注为 R1(前腿)、R2(中腿)、R3(后腿)(图 3)。若果蝇倒立行走,腿部标签仍会被正确标注。
    4. 若某条腿标签错误需要校正,请先点击 暂停查看,然后点击 调整预测图 3)。
    5. 在右侧标题为 待调整腿部 的面板中,选择需要校正的腿部。
    6. 在图像窗口中双击该腿部的正确位置,点击 保存,然后点击 退出。如需跳转至前一帧或后一帧,请先点击 暂停查看,再分别点击前进和后退的 I> 按钮(图 3)。
    7. 如需校正任何追踪错误的视频,请打开待重新追踪视频的数据文件夹,并选择 手动启动追踪
    8. 点击 追踪 按钮,其标签将变为 初始
    9. 点击 调整预测,通过双击每条腿的末端并为其分配正确的腿部标签来校正标签,然后点击 保存并退出
    10. 点击 恢复 以启动追踪。
  3. 数据处理与视频生成
    1. 点击 数据处理。在弹出窗口中输入视频录制时的每秒帧数(fps)(例如,1,000 fps)。
    2. 使用以下公式计算所捕获视频的实际视场,以便以毫米为单位测量步态参数:

      实际视场计算公式;包含图像帧与腔室尺寸比例的示意图。

      注意:例如,若实际腔室尺寸为 7 mm,图像帧宽度为 137 mm,计算机屏幕上图像帧中腔室的宽度为 81 mm,则视场宽度为 11.83 mm(图 S3)。
    3. 要查看追踪结果,请进入“结果”文件夹下的“追踪”子文件夹。
    4. 要生成已追踪果蝇的视频,请选择 生成视频。该视频将保存在与原始视频数据分析相同的“结果”文件夹中。
      注意:可选择视频的起始(第一帧)和结束(最后一帧)帧。
  4. 按每只果蝇体长进行归一化处理。
    注意:由于每只果蝇的体型可能存在轻微差异,为便于比较,某些步态参数应按每只果蝇的体长进行归一化处理(例如,体型较大的果蝇步幅可能更长,而体型较小的果蝇步幅较短)。
    1. 使用图像软件打开每只果蝇视频中的三张静态图像(通常为第一帧、中间帧和最后一帧)。
    2. 将每张图像帧放大至 800%,并使用亮色(例如黄色)标记头部最前端和腹部最后端在中线上的像素点。
    3. 在 ImageJ 中打开已标记的图像。
    4. 使用 设置比例尺 功能正确输入比例:像素距离设为 512;已知距离设为第 5.3.2 步中测得的实际视场(mm);长度单位设为 mm。
    5. 在标记的头部与腹部末端像素之间绘制一条直线,以获得体长。
    6. 再次打开 设置比例尺 以获取已知距离的数值,即体长(mm)。
    7. 取三张图像中测得长度的平均值,得到该果蝇的平均体长(mm)。

结果

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在完成腿部分割、追踪和数据处理后,FLLIT 会自动生成身体和每条腿爪位置的原始数据、20 个步态参数、5 个图表以及一段追踪视频(表 1)。

在此,我们利用脊髓小脑性共济失调3型(SCA3)的果蝇模型来展示这些分析方法。使用泛神经元驱动子Elav-GAL4驱动表达全长的人源野生型SCA3蛋白(在多聚谷氨酰胺序列中含有27个谷氨酰胺,即UAS-SCA3-flQ27),或全长的人源突变型SCA3蛋白(在多聚谷氨酰胺序列中含有84个谷氨酰胺,即UAS-SCA3-flQ84)11。SCA3的典型特征是步态共济失调,表现为身体偏移、脚步落点不规则以及短而突兀的步幅12,13表2)。为了表征突变型SCA3果蝇的步态,并探究其是否表现出与人类患者相似的步态异常,我们分析了FLLIT系统生成的相关步态参数,具体包括:身体转向次数、足印规律性、腿域重叠与大小,以及腿部步长(表2)。

我们发现,SCA3-Q84 果蝇表现出更多的转身行为(图 4A,A’),步态落点不规则(表现为足迹规则性降低,即 AEP14 的标准差增大)(图 4B),腿部活动区域重叠增加(图 4C-D),腿部活动区域的长度和面积增大(图 4E,F),以及步长缩短(图 4G)。

FLLIT 还会生成一段视频,展示在以竞技场为中心和以身体为中心的视角下被追踪的果蝇及其腿部运动、身体轨迹和朝向方向,以及每条腿的垂直和侧向位移(图5)。这些被追踪的视频可用于并排比较不同果蝇的腿部运动。代表性视频显示了Elav-GAL4>SCA3-flQ27视频1)和Elav-GAL4>SCA3-flQ84 视频2)果蝇的运动情况,表明与Elav-GAL4>UAS-SCA3-flQ27果蝇(图5A)相比,Elav-GAL4>UAS-SCA3-flQ84 果蝇(图5B)表现出大小不一、相互交错的不规则腿部运动区域,提示其步态呈踉跄、共济失调样特征。

用于光学激发的红外LED装置,包含扩散器和载物台;相机采集数据;样品阵列。
图1. 记录站与实验区域的装置示意图。 分别为(A)正面和(B)侧面视角的记录图像。(C)用于FLLIT追踪果蝇记录的实验区域示例。请点击此处查看该图的放大版本。

高速摄像机分析昆虫运动;在受控条件下追踪运动的实验装置。
图2:使用双镜头相机记录果蝇步态时活动窗口的视图,该设置可同时记录两只果蝇的运动。 请点击此处查看此图的放大版本。

昆虫追踪软件界面;运动分析示意图、腿部位置追踪、数据处理。
图3:活动的FLLIT窗口,显示分割与追踪完成后的按钮面板及标注的腿部。 请点击此处查看该图的放大版本。

果蝇腿部追踪轨迹、以身体为中心的分析及统计图表;遗传学研究。
图 4: FLLIT 生成的代表性数据,显示表达野生型(SCA3-flQ27)与突变型(SCA3-flQ84)SCA3 果蝇的相关步态参数。A)身体轨迹中的转弯次数。(B)中足足迹规律性相对于体长的归一化值。(C-C’)每条腿经过的区域范围。(D)腿间区域的重叠程度。(E)中足区域长度相对于体长的归一化值。(F)中足区域面积相对于体长2的归一化值。(G)中足步幅长度相对于体长的归一化值。 请点击此处查看本图的放大版本。

果蝇运动分析;轨迹和腿部位移图;实验行为研究。
图 5:FLLIT 生成的代表性视频快照。AElav-GAL4>UAS-SCA3-flQ27 和 (BElav-GAL4>UAS-SCA3-flQ84 果蝇 请点击此处查看此图的放大版本。

昆虫运动分析、图表结果、行为学研究、图像追踪、科学研究数据
视频 1:表达泛神经元型野生型人全长 SCA3 的果蝇代表性视频(Elav-GAL4>UAS-SCA3-flQ27)。 请点击此处观看该视频。(右键单击可下载。)

昆虫运动分析;图表、图像;运动追踪、行为研究。
视频 2:表达泛神经元突变型人全长 SCA3 的果蝇代表性视频(Elav-GAL4>UAS-SCA3-flQ84)。 请点击此处观看该视频。(右键单击可下载。)

VcxSrv 配置设置;多种显示选项;客户端启动;剪贴板设置。
补充图1:VcXSrv 的配置。 请点击此处查看该图的放大版本。

X11 偏好设置安全选项,启用网络客户端连接以配置远程访问。
补充图 2:Xquartz 的配置。 请点击此处查看此图的放大版本。

昆虫显微图像,标注了身体部位;用于解剖学研究和测量。
补充图3:标注了计算视场所需尺寸的图像。 请点击此处查看该图的放大版本。

类别参数描述文件/绘图(如适用)
原始数据身体位置每一帧中身体质心的位置坐标CoM.csv 的前两列
身体轨迹身体轴线相对于 y 轴的旋转角度(单位:度)CoM.csv 的第三列
以竞技场为中心的腿部爪结构
位置
基于场地坐标的每帧中各腿爪的位置坐标trajectory.csv
体中心型腿爪
位置
每一帧中每条腿爪的位置坐标
基于竞技场坐标
norm_trajectory.csv
身体运动体长(mm)每个画面中估算的样本动物体长(从头部最前端到最尾端)
翅膀上的位置
bodylength.csv
瞬时身体速度
(毫米/秒)
样本动物身体(质心)的瞬时速度BodyVelocity.csv;BodyVelocity.pdf
身体的转折点
轨迹
为确定转折点,使用 Douglas-Peucker 算法将轨迹简化为分段线性曲线。
算法,据此将转向事件定义为涉及某一角度 > 相邻两者之间50度
构成简化轨迹的线性段
BodyTrajectory.pdf
个体步态参数步态周期持续时间(ms)步态周期的持续时间StrideParameters.csv
步态周期(ms)从一次步态事件到下一次步态事件的持续时间
步幅位移(mm)步态事件中腿部爪的位移
步幅路径覆盖距离(mm)步态周期中腿部爪子移动的总路径长度
前极位
(毫米)
步态事件结束时腿部爪部相对于身体的着陆位置
后极限位置(mm)步态事件开始时腿爪的离地位置(相对于身体)
步幅振幅(mm)步态事件中沿运动方向的位移
站立线性度(mm)定义为步态轨迹相对于相应前向曲线(以20毫秒间隔平滑处理)的偏离程度
步态的前极端位置和后极端位置
步幅拉伸(mm)步态事件中期腿部爪部位置与身体中心的距离
腿部运动腿部速度(mm/s)每条腿的瞬时速度LegSpeed.csv;Gait.pdf
步态指数这用于测量(六条腿的)样本动物在运动过程中表现出的步态协调类型。步态
1 对应三足步态,-1 对应四足步态,而 0 对应非典型步态。
在我们的实现中,步态指数是通过对120 ms时间窗内的数据进行移动平均得到的
GaitIndex.csv;GaitIndex.pdf
运动百分比腿部处于运动状态的时间百分比LegParameters.csv
平均步态周期(ms)单次步态事件到下一次的平均持续时间LegParameters.csv
足迹规律性(mm)以标准差衡量的后验分布LegParameters.csv
腿的前极端位置
腿部轨迹域面积
毫米2)
包含整个腿部轨迹的最小凸包在以身体为中心的参考系中的面积LegParameters.csv;LegDomain.pdf
长度和宽度
腿部轨迹域(mm)
通过将爪部位置投影到主轴(结构域长度)和次轴上的最大距离获得
(畴宽度)主轴
LegParameters.csv
腿结构域交集/重叠
毫米2)
每种可能情况之间的交集/重叠LegDomainOverlap.csv
站立宽度(mm)左腿和中腿AEP与PEP之间距离的平均值StanceWidth.csv

表1:FLLIT生成的步态参数。

步态特征
脊髓小脑性共济失调3型(SCA3)的步态特征偏移行走脚步落点不规则及双腿交叉踉跄步态步幅缩短
测量参数身体转向事件次数足印规律性腿部活动区域大小、区域重叠程度步长
FLLIT 文件BodyTrajectory.pdfLegParameters.csvLegDomainOverlap.csvStrideParameters.csv

表2:显示人类SCA3患者典型步态特征及其对应的FLLIT参数和输出文件的表格。

讨论

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

在本文中,我们详细描述了使用FLLIT(一种自动化机器学习程序1)分析自由行走的黑腹果蝇(Drosophila)步态的具体步骤。在完成追踪与数据分析后,FLLIT会自动生成关于身体和腿部爪部位置信息的原始数据,提取出二十项身体与步态特征,并生成已追踪果蝇的视频,以实现步态的可视化。

目前已有多种方法可用于追踪果蝇(Drosophila)及其他动物的腿部运动1,2,3,4,14,15,16,研究人员可根据实验目标灵活选择。其中一些方法基于足迹成像,虽然精度很高,但仅能报告爪部与检测表面接触的位置4,14。另一方面,近年来发展的深度学习方法2,3,16具有高度的通用性,可分析需要追踪任意动物腿部关节及其他身体部位的行为,但前提是算法必须首先使用人工标注的数据集进行训练。第三类方法则利用形态学或基于图像对比度的技术1,15,17来识别每条腿的轮廓,从而确定爪部位置。总体而言,这些方法在处理腿部交叉行为(例如 grooming 行为)时表现不佳。FLLIT 结合了第二类和第三类方法,利用形态学参数训练一种提升算法(boosting algorithm)以实现腿部分割。这种方法使 FLLIT 能够避免人工标注训练数据集的繁琐工作,同时借助机器学习提高准确性。未来对 FLLIT 的改进需解决腿部交叉的情况,以实现对更复杂行为的分析。

FLLIT 对光照、记录分辨率和帧速率的轻微变化具有较强的鲁棒性1。然而,录制视频的帧速率不应低于 250 fps,FLLIT 在 1000 fps 下录制的视频中运行效果最佳。如果图像中存在运动模糊,导致人工标注者难以识别腿部位置,则 FLLIT 也无法在这些帧中准确识别腿部末端。因此,必须将相机清晰对焦于腿部末端。为防止分割伪影,实验区域应彻底清洁,并在录制过程中保持固定不动。为了实现准确的背景减除和清晰的分割,果蝇在录制期间应至少移动一个体长的距离,且不应暂停。在完成自动分割与追踪后,必须检查所有腿部的标签标注情况。如果果蝇步态未被追踪或追踪错误,应使用手动启动追踪选项重新进行手动追踪(步骤 5.2.7 – 5.2.10)。

神经退行性疾病和运动障碍在我们老龄化社会中日益普遍。果蝇神经退行性疾病的模型已被研究超过二十年,在此期间,人们对疾病病理生理学的分子和细胞层面有了诸多进展。然而,疾病的特定行为后果在技术上一直难以评估。例如,尽管已有文献报道果蝇存在颤抖样运动18,19,但直到最近才对其进行定量研究1。爬行实验虽是一种有用且可量化的检测方法,但其分辨率相对粗糙6。这一技术局限同样阻碍了其他动物模型中的高分辨率运动分析。因此,新型行为分析工具的出现有望推动运动障碍研究领域的发展,使研究人员能够探究神经肌肉疾病在分子和细胞层面的机制如何导致动物模型中特定的行为表现。在本文及我们先前的研究中1,我们利用FLLIT发现,脊髓小脑性共济失调3型(SCA3)的果蝇模型表现出亢进性共济失调步态,而帕金森病(PD)果蝇模型则表现出运动减少性僵直步态,重现了相应人类疾病的运动特征1。步态分析还使我们能够识别出介导特定运动功能障碍的不同神经元群体。未来,结合果蝇中强大的成像和功能研究工具,深入的运动分析将帮助我们揭示运动功能障碍的新机制,从而加深对神经退行性疾病在神经环路机制层面的理解。

FLLIT 应可广泛应用于研究其他小型节肢动物的步态,此前已证明其在追踪蜘蛛腿部运动方面具有很高的准确性1。尽管本文重点在于利用详细的运动表型分析来量化病理步态及其潜在神经环路,但运动追踪技术的进步已经彻底改变了人们对正常行走协调性、步态及其底层神经环路的理解,并将在进化树众多不同分支中持续产生深远影响。 

披露

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者无任何利益冲突需要披露。

致谢

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

作者谨此感谢 Moumita Chatterjee 和 Alice Liu 提供的技术支持,以及美国印第安纳州布卢明顿果蝇品系中心(Bloomington Drosophila Stock Centre)提供本研究所用的黑腹果蝇(Drosophila)品系。本研究得到了新加坡分子与细胞生物学研究所、新加坡生物信息学研究所、新加坡科技研究局联合理事会组织(资助号 15302FG149,授予 SA 和 LC)、新加坡卫生部国家医学研究理事会管理的临床研究旗舰项目(帕金森病专项,资助号 NMRC/TCR/013-NNI/2014,授予 SA)、阿尔伯塔大学(LC 的启动基金)以及加拿大自然科学与工程研究理事会(NSERC)发现基金(资助号 RGPIN-2019-04575,授予 LC)的支持。

材料

本文使用的材料清单
姓名公司目录编号评论
亚克力板Dama1.6 mm 厚度,透明板材新加坡,新加坡
透明载玻片BiomediaBMH 880101新加坡,新加坡
高速相机PhotronFastcam MC2.1日本东京。快门速度为 1 毫秒或更快可有效减少所拍摄图像的运动模糊
红外 LED任意品牌 - 硬件商店通用型940nm 红外光源板新加坡,新加坡
吸水纸(Kimwipe)Kimberly Clark34155-01LS美国德克萨斯州欧文

参考文献

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wu, S., et al. Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures. PLoS Biology. 17 (6), 3000346(2019).
  2. Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 19, 1281-1289 (2018).
  3. Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
  4. Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice. eLife. 4, (2015).
  5. Lu, B., Vogel, H. Drosophila models of neurodegenerative diseases. Annual Reviews in Pathology. 4, 315-342 (2009).
  6. McGurk, L., Berson, A., Bonini, N. M. Drosophila as an In Vivo Model for Human Neurodegenerative Disease. Genetics. 201 (2), 377-402 (2015).
  7. Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -C., Rubin, G. M. Genetic reagents for making split-GAL4 lines in Drosophila. bioRxiv. , (2017).
  8. Cande, J., et al. Optogenetic dissection of descending behavioral control in Drosophila. eLife. 7, (2018).
  9. Nern, A., Pfeiffer, B. D., Rubin, G. M. Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system. Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).
  10. Xie, T., et al. A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila. Cell Reports. 23 (2), 652-665 (2018).
  11. Warrick, J. M., et al. Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism. Molecular Cell. 18 (1), 37-48 (2005).
  12. Ebersbach, G., et al. Comparative analysis of gait in Parkinson's disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy. Brain. 122 (7), 1349-1355 (1999).
  13. Stolze, H., et al. Typical features of cerebellar ataxic gait. Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).
  14. Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster. eLife. 2, 00231(2013).
  15. DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. The manifold structure of limb coordination in walking Drosophila. eLife. 8, (2019).
  16. Gunel, S., et al. DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila. eLife. 8, (2019).
  17. Isakov, A., et al. Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception. The Journal of Experimental Biology. 219, Pt 11 1760-1771 (2016).
  18. Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate. Cell Reports. 19 (9), 1783-1793 (2017).
  19. Eberl, D. F., Duyk, G. M., Perrimon, N. A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster. Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).

重印与许可

申请许可以重复使用本 JoVE 文章的文本或图表

申请许可

标签

相关文章