Name: 使用功能学习腿分割和跟踪 （FLLIT） 在自由移动昆虫中实现全自动腿部跟踪 (视频) | JoVE Journal
Uploaded: 2020-04-23T15:00:00.000+00:00
Duration: 8 min 4 s
Description: 了解FLLIT全自动机器学习算法，用于追踪黑腹果蝇等昆虫腿部运动并定量分析步态参数。该方法无需人工标注数据集，可识别神经退行性疾病模型中的步态异常，为研究昆虫运动行为提供标准化方案。

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

作者谨此感谢 Moumita Chatterjee 和 Alice Liu 提供的技术支持，以及美国印第安纳州布卢明顿果蝇品系中心（Bloomington Drosophila Stock Centre）提供本研究所用的黑腹果蝇（Drosophila）品系。本研究得到了新加坡分子与细胞生物学研究所、新加坡生物信息学研究所、新加坡科技研究局联合理事会组织（资助号 15302FG149，授予 SA 和 LC）、新加坡卫生部国家医学研究理事会管理的临床研究旗舰项目（帕金森病专项，资助号 NMRC/TCR/013-NNI/2014，授予 SA）、阿尔伯塔大学（LC 的启动基金）以及加拿大自然科学与工程研究理事会（NSERC）发现基金（资助号 RGPIN-2019-04575，授予 LC）的支持。

1. 系统设置
<ol>
	<li>确保记录装置配备高速摄像机，并在上方设有用于固定实验区域腔室的载物台（图1）。将相机调整为至少每秒250帧（fps）的录制速度，并设置相应较快的快门速度（本实验中以每秒1000帧、1毫秒快门速度进行录制）。 
	注意：通过检查所有帧中移动的腿是否存在最小或无运动模糊，来确认视频是否适合进行追踪。如果移动的腿模糊严重，导致人工标注者无法追踪，则必须提高摄像机录制速度和/或快门速度。</li>
	<li>将红外LED灯置于载物台顶部，摄像头与样本之间放置漫射器（半透明薄片）图1A，B).</li>
	<li>通过切割一块1.6 mm厚的丙烯酸板制作记录室。本实验中使用11 mm × 11 mm的视野。将记录室置于两张载玻片之间图1C).</li>
</ol>
2. 记录前果蝇的准备
<ol>
	<li>在记录前24小时，将待记录的果蝇转移至新的食物培养管中。 
	注意：在记录前不足24小时内，不得对果蝇使用CO2（通常用于初次收集时麻醉果蝇）。</li>
	<li>记录前约40分钟，将果蝇转移至空的培养管中，并置于冰上麻醉5–7分钟。</li>
	<li>在此期间，用水和擦拭纸清洁记录 arena 及玻璃盖片。 
	注意：不得使用乙醇清洁记录室和玻璃片。</li>
	<li>准备记录室。用胶带将一张显微镜玻璃片固定在记录室下方。</li>
	<li>当果蝇在冰上麻醉后，使用洁净的毛刷将每只果蝇分别转移至一个记录室中。 
	注意：本实验装置可使用雄性和雌性果蝇，应尽可能对两种性别的果蝇进行分析，以避免性别特异性偏差。</li>
	<li>用另一张显微镜玻璃片和胶带将记录室密封固定（图1C）。</li>
	<li>将装有果蝇的记录室置于室温下静置15–20分钟，以适应环境。</li>
</ol>
3. 用于 FLLIT 分析的视频生成
注意：此步骤特定于所使用的视频摄像机。本实验中使用了一款市售视频摄像机（见材料表）。
<ol>
	<li>打开电源。等待电源绿色 LED 指示灯和以太网接口连接橙色 LED 指示灯稳定。开启红外 LED 电源。确保电压保持在 12.5 V。</li>
	<li>在连接的计算机系统上打开 Viewer 应用程序。</li>
	<li>将录制帧率更改为 1000 fps。将快门速度设置为 1/1000 s（1 ms）。</li>
	<li>将装有果蝇的实验腔室放置于录制区域，并点击 LIVE 按钮。确保当果蝇在腔室底部直立行走时，相机对焦于其足尖；足尖应清晰对焦。</li>
	<li>点击 Record（图 2）。</li>
	<li>录制果蝇行走过程，确保满足以下条件： 
果蝇沿相对直线轨迹行走，未接触实验区域边缘。 
果蝇每条腿至少完成三个步态周期。 
果蝇行走过程中未暂停。 
行走距离至少相当于一个体长。 
 
注意：清晰的背景扣除对于准确分割至关重要。FLLIT 所采用的自动背景扣除算法要求成像中的果蝇移动距离至少为一个体长。</li>
	<li>点击 Rec Done 以停止录制（图 2）。</li>
	<li>裁剪视频，确保录制内容仅包含果蝇的直线行走过程（如步骤 3.6 所述）。</li>
	<li>点击 Save（图 2）。将文件保存为 ‘.mraw’ 或 ‘.tiff’ 格式，并分别存入对应文件夹。 
注意：与 ‘.tiff’ 格式相比，‘.mraw’ 格式在文件命名（如需要）和视频存储方面具有更大的灵活性。</li>
</ol>
4. FLLIT 程序的安装
注意：最新说明可在以下网址找到：https://github.com/BII-wushuang/FLLIT/blob/master/Compiled/Readme.pdf
<ol>
	<li>在任何操作系统上下载 FLLIT
	<ol>
		<li>从以下 Github 链接下载 FLLIT：https://github.com/BII-wushuang/FLLIT/archive/master.zip。解压该压缩文件中的内容。</li>
		<li>从以下 Google Drive 链接下载示例数据集：https://bit.ly/2EibvNY。创建一个文件夹 数据 将编译后的数据集文件夹放入 FLLIT-master/Compiled 下的 Data 目录中。</li>
	</ol>
	</li>
	<li>在 Ubuntu 中安装 FLLIT
	<ol>
		<li>导航至 FLLIT/Compiled 目录。</li>
		<li>右键单击并选择 在 Termina 中打开l.</li>
		<li>运行以下命令，将 MATLAB 运行时库下载并安装到 $HOME/MCR： 
		bash MCR_2016a.sh</li>
		<li>安装 MATLAB 运行库完成后，执行以下命令以确保为 FLLIT 分配可执行权限： 
		chmod +x FLLIT</li>
		<li>在 FLLIT/Compiled 目录中打开终端，然后执行以下命令以运行 FLLIT： 
		bash run_FLLIT.sh $HOME/MCR/v901</li>
	</ol>
	</li>
	<li>在 Windows 系统中安装 FLLIT
	<ol>
		<li>对于第7版和第10版家庭版，请在以下地址安装 Docker Toolbox： 
		(https://github.com/docker/toolbox/releases/download/v19.03.1/DockerToolbox-19.03.1.exe)</li>
		<li>对于 Windows 10 专业版或企业版，请在以下网址安装适用于 Windows 的 Docker Desktop：(https://download.docker.com/win/stable/Docker%20Desktop%20Installer.exe)。</li>
		<li>为了在 Windows 上的 Docker 容器中运行图形用户界面（GUI）应用程序，首先安装 VcXsrv（https://sourceforge.net/projects/vcxsrv）。启动 VcXsrv 时，按如下所示配置设置 图 S1. 
		注意：在启动 FLLIT 之前，请确保 Docker 和 VcXsrv 正在运行。</li>
		<li>双击 FLLIT.bat 以运行 FLLIT。 
		注意：首次执行时，需要一些时间从 Docker Hub 拉取 Docker 镜像。</li>
	</ol>
	</li>
	<li>在 macOS 中安装 FLLIT
	<ol>
		<li>在 macOS 上下载 Docker Desktop https://download.docker.com/mac/stable/Docker.dmg</li>
		<li>通过打开终端并执行以下命令来安装 socat： 
		brew install socat</li>
		<li>启动 socat，命令如下： 
		socat TCP-LISTEN:6000,reuseaddr,fork UNIX-CLIENT:"$DISPLAY" &amp; 否认</li>
		<li>安装 XQuartz（https://www.xquartz.org）以在 macOS 上的 Docker 容器中运行图形用户界面（GUI）应用程序。启动 XQuartz 并通过勾选以下选项修改其偏好设置： 允许来自网络客户端的连接 如图所示，在“安全”选项卡中 图 S2. 
		注意：在启动 FLLIT 之前，请确保 Docker、socat 和 XQuartz 均已在运行。 </li>
		<li>在 FLLIT/Compiled 目录中打开终端，然后使用以下命令执行 FLLIT： 
		bash FLLIT_Mac.sh 
		注意：首次执行时，需要一些时间从 Docker Hub 拉取 Docker 镜像。</li>
	</ol>
	</li>
</ol>
5. 运行 FLLIT 以实现腿部自动追踪
<ol>
	<li>分割
	<ol>
		<li>将视频转换为单独的 TIFF 文件，并复制到 FLLIT 数据文件夹中。</li>
		<li>运行 FLLIT（在 Ubuntu 系统中，右键单击以在终端中打开 FLLIT）。</li>
		<li>选择包含待追踪视频逐帧 TIFF 图像的文件夹，然后点击 添加 按钮。</li>
		<li>在弹出窗口中选择 0 仅执行腿部分割，或选择 1 同时包含腿部追踪与腿部分割。</li>
		<li>点击 完成 以启动所选视频的分割与追踪。</li>
	</ol>
	</li>
	<li>追踪
	<ol>
		<li>为检查追踪准确性并进行错误校正（如有），点击 选择数据文件夹。选择待追踪的文件夹，然后点击 打开。</li>
		<li>点击 查看追踪结果。 
		注意：在查看已追踪的腿部位置时，请确保 查看模式 始终处于选中状态，否则之前所做的任何校正将被覆盖。</li>
		<li>检查第一帧中所有腿部的标签 
		注意：由于腿部标签是根据屏幕上的位置进行标注的，若果蝇直立行走，则果蝇的右侧被标注为 L1（前腿）、L2（中腿）、L3（后腿），果蝇的左侧被标注为 R1（前腿）、R2（中腿）、R3（后腿）（图 3）。若果蝇倒挂行走，腿部标签仍会被正确标注。</li>
		<li>若某条腿标签错误且需要校正，请先点击 暂停查看，然后点击 调整预测（图 3）。</li>
		<li>在右侧标题为 待调整腿部 的面板中，选择需要校正的腿部。</li>
		<li>在图像窗口中双击该腿部的正确位置，点击 保存，然后点击 退出。如需跳转至前一帧或后一帧，请先点击 暂停查看，再分别点击前进和后退的 &lt;I 和 I&gt; 按钮（图 3）。</li>
		<li>如需校正任何追踪错误的视频，请打开待重新追踪视频的数据文件夹，并选择 手动启动追踪。</li>
		<li>点击 追踪 按钮，其标签将变为 初始。</li>
		<li>点击 调整预测，通过双击每条腿的末端并为其分配正确的腿部标签来校正标签，然后点击 保存并退出。</li>
		<li>点击 恢复 以启动追踪。</li>
	</ol>
	</li>
	<li>数据处理与视频生成
	<ol>
		<li>点击 数据处理。在弹出窗口中输入视频录制时的每秒帧数（fps）（例如，1,000 fps）。</li>
		<li>使用以下公式计算所捕获视频的实际视场，以便以毫米为单位测量步态参数： 
		 
		<img alt="显示用于科学分析的视场计算公式的静态平衡方程示意图" src="/files/ftp_upload/61012/61012eq1.jpg" data-altupdatedat="1788250015000" data-alt="公式 1"> 
		 
		注意：例如，若实际培养室尺寸为 7 mm，图像帧宽度为 137 mm，计算机屏幕上图像帧中培养室的宽度为 81 mm，则视场宽度为 11.83 mm（图 S3）。</li>
		<li>要查看追踪结果，请进入“结果”文件夹下的“追踪”子文件夹。</li>
		<li>要生成已追踪果蝇的视频，请选择 生成视频。该视频将保存在与原始视频数据分析相同的“结果”文件夹中。 
		注意：可选择视频的起始（第一帧）和结束（最后一帧）帧。</li>
	</ol>
	</li>
	<li>以每只果蝇的身体长度进行归一化处理。 
	注意：由于每只果蝇的体型可能存在轻微差异，为便于比较，某些步态参数应以每只果蝇的身体长度进行归一化处理（例如，体型较大的果蝇步幅可能更长，而体型较小的果蝇步幅可能更短）。
	<ol>
		<li>使用图像软件打开每只果蝇视频中的三张静态图像（通常为第一帧、中间帧和最后一帧）。</li>
		<li>将每张图像放大至 800%，并使用亮色（例如黄色）标记头部最前端和腹部最后端在中线上的像素点。</li>
		<li>在 ImageJ 中打开已标记的图像。</li>
		<li>使用 设置比例尺 功能正确输入比例：像素距离设为 512；已知距离设为第 5.3.2 步中测得的实际视场（mm）；长度单位设为 mm。</li>
		<li>在标记的头部与腹部末端像素之间绘制一条直线，以获得身体长度。</li>
		<li>再次打开 设置比例尺，获取已知距离的数值，即以 mm 为单位的身体长度。</li>
		<li>取三张图像中测得长度的平均值，得到以 mm 为单位的平均体长。</li>
	</ol>
	</li>
</ol>

<ol><li>Wu, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fully+automated+leg+tracking+of+Drosophila+neurodegeneration+models+reveals+distinct+conserved+movement+signatures%5BTitle%5D)+AND+%22PLoS+Biology%22%5BJournal%5D)">Fully automated leg tracking of Drosophila neurodegeneration models reveals distinct conserved movement signatures.</a> PLoS Biology. 17 (6), 3000346(2019).</li>
<li>Mathis, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nature+Neuroscience%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nature Neuroscience. 19, 1281-1289 (2018).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nature+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nature Methods. 16 (1), 117-125 (2019).</li>
<li>Machado, A. S., Darmohray, D. M., Fayad, J., Marques, H. G., Carey, M. R. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+quantitative+framework+for+whole-body+coordination+reveals+specific+deficits+in+freely+walking+ataxic+mice%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">A quantitative framework for whole-body coordination reveals specific deficits in freely walking ataxic mice.</a> eLife. 4, (2015).</li>
<li>Lu, B., Vogel, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Drosophila+models+of+neurodegenerative+diseases%5BTitle%5D)+AND+%22Annual+Reviews+in+Pathology%22%5BJournal%5D)">Drosophila models of neurodegenerative diseases.</a> Annual Reviews in Pathology. 4, 315-342 (2009).</li>
<li>McGurk, L., Berson, A., Bonini, N. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Drosophila+as+an+In+Vivo+Model+for+Human+Neurodegenerative+Disease%5BTitle%5D)+AND+%22Genetics%22%5BJournal%5D)">Drosophila as an In Vivo Model for Human Neurodegenerative Disease.</a> Genetics. 201 (2), 377-402 (2015).</li>
<li>Dionne, H., Hibbard, K., Cavallaro, A., Kao, J. -C., Rubin, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Genetic+reagents+for+making+split-GAL4+lines+in+Drosophila%5BTitle%5D)+AND+%22bioRxiv%22%5BJournal%5D)">Genetic reagents for making split-GAL4 lines in Drosophila.</a> bioRxiv. , (2017).</li>
<li>Cande, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optogenetic+dissection+of+descending+behavioral+control+in+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">Optogenetic dissection of descending behavioral control in Drosophila.</a> eLife. 7, (2018).</li>
<li>Nern, A., Pfeiffer, B. D., Rubin, G. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Optimized+tools+for+multicolor+stochastic+labeling+reveal+diverse+stereotyped+cell+arrangements+in+the+fly+visual+system%5BTitle%5D)+AND+%22Proceedings+of+the+National+Academy+of+Sciences+of+the+United+States+of+America%22%5BJournal%5D)">Optimized tools for multicolor stochastic labeling reveal diverse stereotyped cell arrangements in the fly visual system.</a> Proceedings of the National Academy of Sciences of the United States of America. 112 (22), 2967-2976 (2015).</li>
<li>Xie, T., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Genetic+Toolkit+for+Dissecting+Dopamine+Circuit+Function+in+Drosophila%5BTitle%5D)+AND+%22Cell+Reports%22%5BJournal%5D)">A Genetic Toolkit for Dissecting Dopamine Circuit Function in Drosophila.</a> Cell Reports. 23 (2), 652-665 (2018).</li>
<li>Warrick, J. M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Ataxin-3+suppresses+polyglutamine+neurodegeneration+in+Drosophila+by+a+ubiquitin-associated+mechanism%5BTitle%5D)+AND+%22Molecular+Cell%22%5BJournal%5D)">Ataxin-3 suppresses polyglutamine neurodegeneration in Drosophila by a ubiquitin-associated mechanism.</a> Molecular Cell. 18 (1), 37-48 (2005).</li>
<li>Ebersbach, G., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Comparative+analysis+of+gait+in+Parkinson%27s+disease%2C+cerebellar+ataxia+and+subcortical+arteriosclerotic+encephalopathy%5BTitle%5D)+AND+%22Brain%22%5BJournal%5D)">Comparative analysis of gait in Parkinson's disease, cerebellar ataxia and subcortical arteriosclerotic encephalopathy.</a> Brain. 122 (7), 1349-1355 (1999).</li>
<li>Stolze, H., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Typical+features+of+cerebellar+ataxic+gait%5BTitle%5D)+AND+%22Journal+of+Neurology%2C+Neurosurgery+and+Psychiatry%22%5BJournal%5D)">Typical features of cerebellar ataxic gait.</a> Journal of Neurology, Neurosurgery and Psychiatry. 73 (3), 310-312 (2002).</li>
<li>Mendes, C. S., Bartos, I., Akay, T., Marka, S., Mann, R. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Quantification+of+gait+parameters+in+freely+walking+wild+type+and+sensory+deprived+Drosophila+melanogaster%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">Quantification of gait parameters in freely walking wild type and sensory deprived Drosophila melanogaster.</a> eLife. 2, 00231(2013).</li>
<li>DeAngelis, B. D., Zavatone-Veth, J. A., Clark, D. A. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((The+manifold+structure+of+limb+coordination+in+walking+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">The manifold structure of limb coordination in walking Drosophila.</a> eLife. 8, (2019).</li>
<li>Gunel, S., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepFly3D%2C+a+deep+learning-based+approach+for+3D+limb+and+appendage+tracking+in+tethered%2C+adult+Drosophila%5BTitle%5D)+AND+%22eLife%22%5BJournal%5D)">DeepFly3D, a deep learning-based approach for 3D limb and appendage tracking in tethered, adult Drosophila.</a> eLife. 8, (2019).</li>
<li>Isakov, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recovery+of+locomotion+after+injury+in+Drosophila+melanogaster+depends+on+proprioception%5BTitle%5D)+AND+%22The+Journal+of+Experimental+Biology%22%5BJournal%5D)">Recovery of locomotion after injury in Drosophila melanogaster depends on proprioception.</a> The Journal of Experimental Biology. 219, Pt 11 1760-1771 (2016).</li>
<li>Aw, S. S., Lim, I. K. H., Tang, M. X. M., Cohen, S. M. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+Glio-Protective+Role+of+mir-263a+by+Tuning+Sensitivity+to+Glutamate%5BTitle%5D)+AND+%22Cell+Reports%22%5BJournal%5D)">A Glio-Protective Role of mir-263a by Tuning Sensitivity to Glutamate.</a> Cell Reports. 19 (9), 1783-1793 (2017).</li>
<li>Eberl, D. F., Duyk, G. M., Perrimon, N. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+genetic+screen+for+mutations+that+disrupt+an+auditory+response+in+Drosophila+melanogaster%5BTitle%5D)+AND+%22Proceedings+of+the+National+Academy+of+Sciences+of+the+United+States+of+America%22%5BJournal%5D)">A genetic screen for mutations that disrupt an auditory response in Drosophila melanogaster.</a> Proceedings of the National Academy of Sciences of the United States of America. 94 (26), 14837-14842 (1997).</li>
</ol>

作者无任何利益冲突需要披露。

在本文中，我们详细描述了使用FLLIT（一种自动化机器学习程序1）分析自由行走的黑腹果蝇（Drosophila）步态的具体步骤。在完成追踪与数据分析后，FLLIT会自动生成关于身体和腿部爪部位置信息的原始数据，提取出二十项身体与步态特征，并生成已追踪果蝇的视频，以实现步态的可视化。
目前已有多种方法可用于追踪果蝇（Drosophila）及其他动物的腿部运动1,2,3,4,14,15,16，研究人员可根据实验目标灵活选择。其中一些方法基于足迹成像，虽然精度很高，但仅能报告爪部与检测表面接触的位置4,14。另一方面，近年来发展的深度学习方法2,3,16具有高度的通用性，可分析需要追踪任意动物腿部关节及其他身体部位的行为，但前提是算法必须首先使用人工标注的数据集进行训练。第三类方法则利用形态学或基于图像对比度的技术1,15,17来识别每条腿的轮廓，从而确定爪部位置。总体而言，这些方法在处理腿部交叉行为（例如 grooming 行为）时表现不佳。FLLIT 结合了第二类和第三类方法，利用形态学参数训练一种提升算法（boosting algorithm）以实现腿部分割。这种方法使 FLLIT 能够避免人工标注训练数据集的繁琐工作，同时借助机器学习提高准确性。未来对 FLLIT 的改进需解决腿部交叉的情况，以实现对更复杂行为的分析。
FLLIT 对光照、记录分辨率和帧速率的轻微变化具有较强的鲁棒性1。然而，录制视频的帧速率不应低于 250 fps，FLLIT 在 1000 fps 下录制的视频中运行效果最佳。如果图像中存在运动模糊，导致人工标注者难以识别腿部位置，则 FLLIT 也无法在这些帧中准确识别腿部末端。因此，必须将相机清晰对焦于腿部末端。为防止分割伪影，实验区域应彻底清洁，并在录制过程中保持固定不动。为了实现准确的背景减除和清晰的分割，果蝇在录制期间应至少移动一个体长的距离，且不应暂停。在完成自动分割与追踪后，必须检查所有腿部的标签标注情况。如果果蝇步态未被追踪或追踪错误，应使用手动启动追踪选项重新进行手动追踪（步骤 5.2.7 – 5.2.10）。
神经退行性疾病和运动障碍在我们老龄化社会中日益普遍。果蝇神经退行性疾病的模型已被研究超过二十年，在此期间，人们对疾病病理生理学的分子和细胞层面有了诸多进展。然而，疾病的特定行为后果在技术上一直难以评估。例如，尽管已有文献报道果蝇存在颤抖样运动18,19，但直到最近才对其进行定量研究1。爬行实验虽是一种有用且可量化的检测方法，但其分辨率相对粗糙6。这一技术局限同样阻碍了其他动物模型中的高分辨率运动分析。因此，新型行为分析工具的出现有望推动运动障碍研究领域的发展，使研究人员能够探究神经肌肉疾病在分子和细胞层面的机制如何导致动物模型中特定的行为表现。在本文及我们先前的研究中1，我们利用FLLIT发现，脊髓小脑性共济失调3型（SCA3）的果蝇模型表现出亢进性共济失调步态，而帕金森病（PD）果蝇模型则表现出运动减少性僵直步态，重现了相应人类疾病的运动特征1。步态分析还使我们能够识别出介导特定运动功能障碍的不同神经元群体。未来，结合果蝇中强大的成像和功能研究工具，深入的运动分析将帮助我们揭示运动功能障碍的新机制，从而加深对神经退行性疾病在神经环路机制层面的理解。
FLLIT 应可广泛应用于研究其他小型节肢动物的步态，此前已证明其在追踪蜘蛛腿部运动方面具有很高的准确性1。尽管本文重点在于利用详细的运动表型分析来量化病理步态及其潜在神经环路，但运动追踪技术的进步已经彻底改变了人们对正常行走协调性、步态及其底层神经环路的理解，并将在进化树众多不同分支中持续产生深远影响。&#160;

在过去几十年中，神经退行性疾病和运动障碍在老龄化人群中日益普遍。尽管在分子和细胞水平上，我们对许多神经退行性疾病的认知已取得进展，但疾病相关神经环路的基本特征仍不甚清楚。近年来开发的行为追踪工具1,2,3,4使我们能够研究动物疾病模型中的运动异常，从而识别疾病背后潜在的分子、细胞和神经环路功能紊乱。
参与多种神经退行性疾病分子通路在果蝇中是保守的&#160;黑腹果蝇&#160;黑腹果蝇，以及 果蝇 疾病模型有助于阐明神经退行性变的基本机制5,6我们最近发现，帕金森病（PD）和脊髓小脑性共济失调3型（SCA3）的果蝇模型表现出独特且保守的步态特征，这些特征与相应人类疾病的步态相似1，表明果蝇模型可用于研究特定运动障碍中运动功能障碍的神经环路机制。果蝇模型拥有丰富且不断扩展的工具库，可在单基因和单细胞水平上对神经元进行靶向操控和可视化观察7,8,9,10 使果蝇成为在体内研究疾病通路、神经回路与行为表型之间关系的理想模型。为了实现精确、自动化的昆虫步态分析，我们近期开发了一种机器学习方法， F特征&#160;L基于学习的&#160;LImb 分割和 T梯度离心（FLLIT）1.
FLLIT 包含一个全自动的多阶段算法，首先对腿部像素进行分割，随后利用分割结果定位并追踪相应的足爪。FLLIT 采用提升算法（boosting algorithm）进行分割，这与近期研究中使用的深度学习算法有所不同2,3。该方法与卷积神经网络存在某些相似之处，例如在两种框架中，特征提取均通过学习卷积核自动完成。FLLIT 的第一步是利用形态学操作（边缘检测和骨架化）自动高置信度地生成正样本（腿部上的像素）和负样本（背景或果蝇身体上的像素）。因此，FLLIT 完全自动化，无需用户标注训练样本。利用上述训练样本，在提升算法框架下训练一个分类器。该过程迭代学习一组弱分类器，每个弱分类器包含一组用于特征提取的卷积核和一个决策树。最终学习得到的分类器用于腿部分割，能够比形态学操作更有效地识别复杂区域或困难样本，从而实现更精确的整体分割，以支持后续追踪1。在分割出腿部后，我们通过匈牙利算法定位其末端并进行追踪：通过跨帧匹配末端位置，使得所有末端移动距离之和最小化。FLLIT 能够处理遮挡情况，方法是记录末端最后一次出现的位置（以果蝇中心为坐标的相对位置），一旦末端不再被遮挡，即可恢复其追踪。
我们先前已证明，FLLIT 可以从高速视频中自动且准确地追踪无标记、自由活动的果蝇或蜘蛛的腿部运动，并分析其步态1；因此，FLLIT 应可广泛适用于节肢动物的腿部追踪。FLLIT 通过提取形态学参数生成机器学习训练集，自动完成模型训练，实现昆虫腿部的分割与追踪，无需大多数深度学习方法所必需的繁琐人工标注。因此，FLLIT 是完全自动化的。在完成腿部分割与追踪后，FLLIT 可自动输出每一视频帧中身体和腿部的原始追踪位置、20 项步态参数、5 类图表，以及一段包含追踪信息的视频，用于步态分析和运动可视化的研究。本实验方案提供了使用 FLLIT 的逐步操作指南。

<table><tbody><tr><td>亚克力板</td><td>Dama</td><td>1.6 mm 厚度，透明板材</td><td>新加坡，新加坡</td></tr><tr><td>透明载玻片</td><td>Biomedia</td><td>BMH 880101</td><td>新加坡，新加坡</td></tr><tr><td>高速相机</td><td>Photron</td><td>Fastcam MC2.1</td><td>日本东京。快门速度为 1 毫秒或更快可有效减少所拍摄图像的运动模糊</td></tr><tr><td>红外 LED</td><td>任意品牌 - 硬件商店通用型</td><td>940nm 红外光源板</td><td>新加坡，新加坡</td></tr><tr><td>吸水纸（Kimwipe）</td><td>Kimberly Clark</td><td>34155-01LS</td><td>美国德克萨斯州欧文</td></tr></tbody></table>

基于特征学习的腿部分割与追踪技术（fllit）实现自由移动昆虫腿部的全自动追踪

Fully Automated Leg Tracking in Freely Moving Insects using Feature Learning Leg Segmentation and Tracking (FLLIT)

Drosophila 模型在神经系统功能研究以及神经退行性病变的分子和细胞机制理解方面具有不可估量的价值。尽管果蝇神经元亚群的操作与研究技术日益成熟，但相应行为表型的丰富性尚未以同等精细程度被捕捉。为了能够对不同突变体之间的果蝇腿部细微运动进行研究，必须具备自动测量和量化高速、快速腿部运动的能力。因此，我们开发了一种用于自由行走果蝇腿部爪部自动追踪的机器学习算法——基于特征学习的肢体分割与追踪（Feature Learning-based Limb segmentation and Tracking, FLLIT）。与大多数深度学习方法不同，FLLIT 完全自动化，无需用户标注，利用内置于学习算法中的形态学参数自动生成训练集。本文详细描述了使用 FLLIT 进行步态分析的完整实验方案，包括相机设置、实验 arena 构建、视频录制、腿部分割及腿部爪部追踪的操作步骤。同时概述了 FLLIT 输出的数据内容，包括每一视频帧中身体与腿部位置的原始追踪数据、20 项步态参数、5 类图表以及一段带追踪标记的视频。为展示 FLLIT 的应用，我们对中国台湾地区脊髓小脑性共济失调 3 型果蝇模型中的相关疾病步态参数进行了量化分析。

在完成腿部分割、追踪和数据处理后，FLLIT 会自动生成身体和每条腿爪位置的原始数据、20 个步态参数、5 张图表以及一段追踪视频（表 1）。
在此，我们利用脊髓小脑性共济失调3型（SCA3）的果蝇模型进行上述分析。使用泛神经元驱动子Elav-GAL4来驱动表达全长野生型人源SCA3基因（其多聚谷氨酰胺序列含有27个谷氨酰胺，即UAS-SCA3-flQ27），或全长突变型人源SCA3基因（其多聚谷氨酰胺序列含有84个谷氨酰胺，即UAS-SCA3-flQ84）11。SCA3的典型特征是共济失调步态，表现为身体偏移、落足位置不规则以及短促、踉跄的步幅12,13（表2）。为了表征突变型SCA3果蝇的步态特征，并探究其是否表现出与人类患者相似的步态异常，我们分析了FLLIT系统生成的相关步态参数，包括：身体转向次数、足印规律性、腿部活动区域的重叠与大小，以及腿部步幅长度（表2）。
我们发现，SCA3-Q84 果蝇表现出更多的转身行为（图 4A,A’），步态落点不规则（表现为足迹规律性降低，即 AEP14 的标准差增大）（图 4B），腿部活动区域重叠增加（图 4C-D），腿部活动区域的长度和面积增大（图 4E,F），以及步长缩短（图 4G）。
FLLIT 还会生成一段视频，展示在以竞技场为中心和以身体为中心的视角下被追踪的果蝇及其腿部运动、身体轨迹和朝向方向，以及每条腿的垂直和侧向位移（图5）。这些被追踪的视频可实现不同果蝇腿部运动的并排比较。Elav-GAL4&gt;SCA3-flQ27（视频1）和Elav-GAL4&gt;SCA3-flQ84（视频2）果蝇的代表性视频表明，与Elav-GAL4&gt;UAS-SCA3-flQ27果蝇（图5A）相比，Elav-GAL4&gt;UAS-SCA3-flQ84果蝇（图5B）表现出大小不一、不规则且相互交叉的腿部运动区域，提示其步态呈突兀、共济失调样特征。
<img alt="红外LED漫射光源装置；光学激发；图像采集；样品观察；示意图。" class="xfigimg" src="/files/ftp_upload/61012/61012fig1.jpg" data-altupdatedat="1788250015000" data-alt="图1"> 
图1. 记录装置与实验区域的设置。 分别从（A）正面和（B）侧面拍摄的记录图像。（C）用于果蝇FLLIT追踪记录的实验区域示例。<a href="https://www.jove.com/files/ftp_upload/61012/61012fig1large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="高速摄像机分析昆虫飞行轨迹；带有追踪软件界面的实验装置示意图。" class="xfigimg" src="/files/ftp_upload/61012/61012fig2.jpg" data-altupdatedat="1788250015000" data-alt="图 2"> 
图 2：使用双镜头相机记录果蝇步态时活动窗口的视图，该设置可同时记录两只果蝇的运动。 <a href="https://www.jove.com/files/ftp_upload/61012/61012fig2large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="显示体长和运动坐标的昆虫运动追踪软件界面。" class="xfigimg" src="/files/ftp_upload/61012/61012fig3.jpg" data-altupdatedat="1788250015000" data-alt="Figure 3"> 
图3：活动的FLLIT窗口，显示分割与追踪完成后的按钮面板及标注的腿部。 <a href="https://www.jove.com/files/ftp_upload/61012/61012fig3large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="身体和腿部轨迹图、腿部位置的统计分析、UAS-SCA3飞行数据分析。" class="xfigimg" src="/files/ftp_upload/61012/61012fig4.jpg" data-altupdatedat="1788250015000" data-alt="图4"> 
图4： 表达野生型（SCA3-flQ27）与突变型（SCA3-flQ84）SCA3果蝇相关步态参数的FLLIT生成代表性数据。 （A）身体轨迹中的转弯次数。（B）中足足迹规律性相对于体长的归一化值。（C-C’）每条腿经过的区域范围。（D）腿间区域的重叠程度。（E）中足区域长度相对于体长的归一化值。（F）中足区域面积相对于体长2的归一化值。（G）中足步幅长度相对于体长的归一化值。 <a href="https://www.jove.com/files/ftp_upload/61012/61012fig4large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="果蝇追踪分析；身体轨迹、腿部位移、运动方向；实验结果；图表、示意图。" class="xfigimg" src="/files/ftp_upload/61012/61012fig5.jpg" data-altupdatedat="1788250015000" data-alt="图5"> 
图5：代表性FLLIT生成视频的截图。 (A) Elav-GAL4&gt;UAS-SCA3-flQ27 以及（B) Elav-GAL4&gt;UAS-SCA3-flQ84 果蝇. <a href="https://www.jove.com/files/ftp_upload/61012/61012fig5large.jpg" target="_blank">请点击此处以查看此图的放大版本。</a>
<img alt="昆虫行为分析，灰度视频帧，相关运动图；实验研究。" src="/files/ftp_upload/61012/61012video1.jpg" data-altupdatedat="1788250015000" data-alt="视频 1"> 
视频 1：表达泛神经元型野生型人全长 SCA3 的果蝇代表性视频（Elav-GAL4&gt;UAS-SCA3-flQ27）。 <a href="https://www.jove.com/files/ftp_upload/61012/Video_1_Elav-GAL4_SCA3-flQ27_22d.mp4" target="_blank">请点击此处观看该视频。（右键单击可下载。）</a>
<img alt="利用行为观察进行昆虫研究；包含数据图表和昆虫图像的实验装置。" src="/files/ftp_upload/61012/61012video2.jpg" data-altupdatedat="1788250015000" data-alt="Video 2"> 
视频 2：表达泛神经元型突变人全长 SCA3 的果蝇代表性视频（Elav-GAL4&gt;UAS-SCA3-flQ84）。 <a href="https://www.jove.com/files/ftp_upload/61012/Video_2_Elav-GAL4_SCA3-flQ84_22d.mp4" target="_blank">请点击此处观看视频。（右键可下载。）</a>
<img alt="VcxSrv 配置设置窗口，显示显示、客户端和附加设置的配置选项。" src="/files/ftp_upload/61012/61012supfig1.jpg" data-altupdatedat="1788250015000" data-alt="补充图1"> 
补充图1：VcXSrv 的配置。 <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig1large.jpg" target="_blank">请点击此处查看此图的放大版本。</a>
<img alt="X11 首选项设置；安全选项；允许网络客户端连接；软件配置。" src="/files/ftp_upload/61012/61012supfig2.jpg" data-altupdatedat="1788250015000" data-alt="补充图2"> 
补充图2：Xquartz 的配置。 <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig2large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<img alt="果蝇行为分析；标注图示；腔室宽度测量；实验装置。" src="/files/ftp_upload/61012/61012supfig3.jpg" data-altupdatedat="1788250015000" data-alt="Supplemental Figure 3"> 
补充图3：标注了计算视野所需尺寸的示意图。 <a href="https://www.jove.com/files/ftp_upload/61012/61012supfig3large.jpg" target="_blank">请点击此处查看该图的放大版本。</a>
<table border="1" fo:keep-together.within-page="1">
	<tbody>
		<tr>
			<td>类别</td>
			<td>参数</td>
			<td>描述</td>
			<td>文件/绘图（如适用）</td>
		</tr>
		<tr>
			<td rowspan="4">原始数据</td>
			<td>身体位置</td>
			<td>每一帧中身体质心的位置坐标</td>
			<td>CoM.csv 的前两列</td>
		</tr>
		<tr>
			<td>身体轨迹</td>
			<td>身体轴线相对于 y 轴的旋转角度（单位：度）</td>
			<td>CoM.csv 的第三列</td>
		</tr>
		<tr>
			<td>以竞技场为中心的腿部爪结构 
			位置</td>
			<td>基于 arena 坐标的每帧中各腿爪的位置坐标</td>
			<td>trajectory.csv</td>
		</tr>
		<tr>
			<td>体中心型腿爪 
			位置</td>
			<td>每一帧中每条腿爪的位置坐标 
			基于竞技场坐标</td>
			<td>norm_trajectory.csv</td>
		</tr>
		<tr>
			<td rowspan="3">身体运动</td>
			<td>体长（mm）</td>
			<td>样本动物在每一帧中估算的长度（从头部最前端到尾部最后端） 
			翅膀上的位置</td>
			<td>bodylength.csv</td>
		</tr>
		<tr>
			<td>瞬时身体速度 
			（毫米/秒）</td>
			<td>样本动物身体（质心）的瞬时速度</td>
			<td>BodyVelocity.csv；BodyVelocity.pdf</td>
		</tr>
		<tr>
			<td>身体的转折点 
			轨迹</td>
			<td>为了确定转折点，使用 Douglas-Peucker 算法将轨迹简化为分段线性曲线。 
			算法，据此将一次转向事件定义为涉及一个角度 &gt; 相邻两者之间50度 
			构成简化轨迹的线段</td>
			<td>BodyTrajectory.pdf</td>
		</tr>
		<tr>
			<td rowspan="9">个体步态参数</td>
			<td>步态周期持续时间（ms）</td>
			<td>步态周期的持续时间</td>
			<td>StrideParameters.csv</td>
		</tr>
		<tr>
			<td>步态周期（ms）</td>
			<td>从一次步态事件到下一次步态事件的持续时间</td>
			<td></td>
		</tr>
		<tr>
			<td>步幅位移（mm）</td>
			<td>步态事件中腿部爪的位移</td>
			<td></td>
		</tr>
		<tr>
			<td>步幅路径覆盖距离（mm）</td>
			<td>步态事件中腿部爪子移动的总路径长度</td>
			<td></td>
		</tr>
		<tr>
			<td>前极位 
			（毫米）</td>
			<td>步态事件结束时腿部爪部相对于身体的着陆位置</td>
			<td></td>
		</tr>
		<tr>
			<td>后极端位置（mm）</td>
			<td>步态事件开始时腿爪的离地位置（相对于身体）</td>
			<td></td>
		</tr>
		<tr>
			<td>步幅（毫米）</td>
			<td>步态事件中沿运动方向的位移</td>
			<td></td>
		</tr>
		<tr>
			<td>站立线性度（mm）</td>
			<td>定义为步态轨迹相对于相应前向平滑曲线（以20毫秒为间隔）的偏离程度 
			步态的前极端位置和后极端位置</td>
			<td></td>
		</tr>
		<tr>
			<td>步幅拉伸（mm）</td>
			<td>步态事件中期腿部爪部位置与身体中心的距离</td>
			<td></td>
		</tr>
		<tr>
			<td rowspan="10">腿部运动</td>
			<td>腿部速度（mm/s）</td>
			<td>每条腿的瞬时速度</td>
			<td>LegSpeed.csv；Gait.pdf</td>
		</tr>
		<tr>
			<td>步态指数</td>
			<td>该指标用于测量（六足）样本动物在运动过程中表现出的步态协调类型。步态 
			1 表示三足步态，_1 表示四足步态，而 0 表示非典型步态。 
			在我们的实现中，步态指数是通过对120 ms时间窗内的数据进行移动平均获得的</td>
			<td>GaitIndex.csv；GaitIndex.pdf</td>
		</tr>
		<tr>
			<td>运动百分比</td>
			<td>腿部处于运动状态的时间百分比</td>
			<td>LegParameters.csv</td>
		</tr>
		<tr>
			<td>平均步态周期（ms）</td>
			<td>单次步态事件到下一次的平均持续时间</td>
			<td>LegParameters.csv</td>
		</tr>
		<tr>
			<td>足迹规律性（mm）</td>
			<td>以标准差衡量的后验分布</td>
			<td>LegParameters.csv</td>
		</tr>
		<tr>
			<td></td>
			<td>腿部的前极端位置</td>
			<td></td>
		</tr>
		<tr>
			<td>腿部轨迹域面积 
			毫米2)</td>
			<td>包含整个腿部轨迹的最小凸包在以身体为中心的参考系中的面积</td>
			<td>LegParameters.csv；LegDomain.pdf</td>
		</tr>
		<tr>
			<td>长度和宽度 
			腿部轨迹域（mm）</td>
			<td>通过将爪部位置投影到主轴（结构域长度）和次轴上的最大距离获得 
			（畴宽）主轴</td>
			<td>LegParameters.csv</td>
		</tr>
		<tr>
			<td>腿结构域交集/重叠 
			毫米2)</td>
			<td>每种可能情况之间的交集/重叠</td>
			<td>LegDomainOverlap.csv</td>
		</tr>
		<tr>
			<td>站立宽度（mm）</td>
			<td>左腿和中腿AEP与PEP之间距离的平均值</td>
			<td>StanceWidth.csv</td>
		</tr>
	</tbody>
</table>
表1：FLLIT生成的步态参数。
<table border="1" fo:keep-together.within-page="1">
	<tbody>
		<tr>
			<td></td>
			<td colspan="4">步态特征</td>
		</tr>
		<tr>
			<td>脊髓小脑性共济失调3型（SCA3）的步态特征</td>
			<td>偏移行走</td>
			<td>脚步落点不规则及双腿交叉</td>
			<td>踉跄步态</td>
			<td>步幅缩短</td>
		</tr>
		<tr>
			<td>测量参数</td>
			<td>身体转向事件次数</td>
			<td>脚印规律性</td>
			<td>腿部活动区域大小、区域重叠程度</td>
			<td>步长</td>
		</tr>
		<tr>
			<td>FLLIT 文件</td>
			<td>BodyTrajectory.pdf</td>
			<td>LegParameters.csv</td>
			<td>LegDomainOverlap.csv</td>
			<td>StrideParameters.csv</td>
		</tr>
	</tbody>
</table>
表2：显示人类SCA3患者典型步态特征及其对应的FLLIT参数和输出文件的表格。

我们介绍了使用FLLIT的详细方案，FLLIT是一种完全自动化的机器学习方法，用于追踪自由活动的黑腹果蝇（Drosophila melanogaster）及其他昆虫腿部爪子的运动。这些方案可用于对野生型果蝇、突变型果蝇以及神经退行性疾病果蝇模型中的细微行走步态运动进行定量测量。

基于特征学习的腿部分割与追踪技术（FLLIT）实现自由移动昆虫腿部的全自动追踪

果蝇模型在神经系统功能研究以及理解其潜在的分子和细胞机制方面具有不可估量的价值……

FLLIT 是一种用于计算被追踪动物身体和腿部构成的算法。该算法有助于表征正常行走行为及疾病相关行走行为背后的神经环路机制。FLLIT 的独特之处在于，它无需任何用户标注的数据集进行训练，因此完全自动化。同时自动分析轨迹数据，生成一系列步态测量指标、用于可视化的步态图谱以及轨迹视频。演示该实验步骤的是我实验室的博士后同事 Animesh Banerjee。在开始实验之前，请确认记录装置配备有高速相机，并在上方设有用于放置行为观测室的平台。将红外 LED 灯放置在观察台顶部，并在相机与样品之间放置漫射器。开始记录前约 40 分钟，将果蝇转移至预冷的空离心管中，置于冰上麻醉 5 至 7 分钟。在果蝇麻醉期间，使用水和擦拭纸清洁观察 arena 及样品室的玻璃片，并将其中一块玻璃片用胶带固定在样品室下方。使用干净的毛刷将一只麻醉后的果蝇转移至观察室中，并用第二张载玻片和胶带固定观察室。随后，让置于观察室中的果蝇在室温下适应15至20分钟。为进行FLLIT分析生成视频，首先打开电源，并在连接的计算机系统上启动查看器应用程序。将录制帧率更改为每秒 1,000 帧，并将快门速度设置为 1 毫秒。将装有果蝇的培养室放置于录制区域，然后点击 LIVE 按钮。确认当果蝇在培养室底部直立行走时，相机已对准其腿部末端，然后点击录制。录制过程中，需确保果蝇沿相对直线行走，不接触 arena 边缘，每条腿至少完成三个步态周期，行走过程中无停顿，且行走距离至少相当于一个半体长。分析结束后，单击“Record Done”以停止录制，并将文件保存为 mraw 或 tiff 格式至相应文件夹。安装 FLLIT 时，首先将程序下载到任意操作系统中。解压 zip 文件并下载示例数据集。要在 Ubuntu 系统中安装 FLLIT，请进入 FLLIT/Compiled 目录，右键单击并选择“在终端中打开”。下载一个示例数据集，并在 FLLIT-master/Compiled 目录下创建一个名为 data 的文件夹，用于存放数据集文件夹。将 MATLAB 运行时库安装到 HOME/MCR 目录中。当 MATLAB 运行时库安装完成后，执行命令以确保可执行权限已记录到 FLLIT。然后输入命令以运行 FLLIT。为进行视频分割，将文件转换为单独的 TIFF 文件，并将转换后的文件保存在 FLLIT 数据文件夹中。当所有文件传输完毕后，运行 FLLIT。在弹出窗口中，选择 0 仅执行腿部分割，或选择 1 在腿部分割的同时包含腿部追踪。选择包含待追踪视频的逐帧 TIFF 图像的文件夹以及目标文件，然后点击“添加”。接着点击“完成”以启动所选视频的分割与追踪。为检查追踪的准确性并进行误差校正，请点击“选择数据文件夹”，然后选择待追踪的文件夹。单击“查看跟踪”并检查第一帧中所有腿部的标注。如果某条腿部标注错误需要修正，请单击“暂停查看并调整预测”。在“待调整腿部”面板中，选择需要修正的腿部，然后在图像窗口中双击该腿部的正确位置。然后点击保存并退出。要处理已分割和已追踪的数据，请点击数据处理。首先，计算所捕获视频的实际视场，以便能够测量门控参数。在弹出窗口中，输入视频录制的每秒帧数，并输入以毫米为单位计算得出的视野范围。要访问跟踪结果，请打开结果文件夹和跟踪文件夹。如需生成已跟踪果蝇的视频，请选择“生成视频”。在完成腿部分割、追踪和数据处理后，FLLIT 会自动生成身体及每条腿爪位置的原始数据、20 项步态参数，以及相应的图表和追踪视频。脊髓小脑性共济失调3型（SCA3）的特征表现为共济失调步态，包括身体偏移、落足位置不稳定以及短促突进的步幅。为了表征突变型 SCA3 果蝇的步态，并探究其是否表现出与人类患者相似的步态特征，可对 FLLIT 生成的相关步态参数进行分析。SCA3-Q84 果蝇表现出更多的转身、步态紊乱（表现为足迹规则性低）以及腿部活动区域重叠增加、腿部活动区域的长度和面积增大、步幅缩短。FLLIT 还可生成视频，显示果蝇在以竞技场为中心和以身体为中心的视角下的追踪轨迹、身体运动轨迹、行进方向，以及每条腿的垂直和侧向位移。与 SCA3-Q27 果蝇相比，SCA3-Q84 果蝇表现出大小不一、相互不规则交叉的腿部活动区域，提示其步态呈突进性、共济失调特征。身体和腿部爪子位置的原始数据可进一步用于分析特定的感兴趣运动。例如，我们课题组利用FLLIT发现，帕金森病果蝇模型所表现出的僵直表型是由多巴胺能神经元功能障碍引起的。

fully-automated-leg-tracking-freely-moving-insects-using-feature

Research

科研

JoVE Journal

Behavior

行为

使用功能学习腿分割和跟踪 （FLLIT） 在自由移动昆虫中实现全自动腿部跟踪

高分辨率视频追踪成年黑腹果蝇的运动行为

我们描述了一种方法，可记录在光滑表面上行走的固定昆虫的运动活动，并将其与电记录的跗节接触信号进行时间同步。该方法用于研究在减少腿部通过基质产生机械相互作用影响的条件下，适应性行为的神经基础。...

研究昆虫适应性运动行为的神经基础

本视频介绍了如何追踪自由行走的果蝇以评估其基本运动能力。所展示的实验方案演示了如何使用视频追踪软件进行实验设置和数据分析。...

追踪自由行走的果蝇：一种评估运动能力的方法 果蝇

我们先前开发了一种将四极导线植入蟑螂脑中央复合体的技术，可实现对固定式蟑螂个体神经元单位活动的监测。本文介绍了该技术的一个改进版本，使我们还能够记录自由活动昆虫的脑部活动。...

自由行走昆虫脑部的胞外金属丝四极记录

我们提出了一种系统，该系统利用廉价、非侵入性的伪声学光学传感器，根据飞行昆虫的飞行声音，自动且准确地检测、计数并分类飞行昆虫。...

利用低成本传感器进行飞行昆虫的检测与分类

FIM 是一种新型、经济高效的成像系统，旨在追踪小型运动物体，例如 C. elegans、涡虫或果蝇幼虫。配套的 FIMTrack...

FIM成像与FIMtrack：两种实现高通量且经济高效运动分析的新工具

本方案描述了构建昆虫-机器混合系统的过程，并对控制飞行昆虫转向运动所需的飞行肌进行无线电刺激。...

昆虫-机器混合系统：自由飞行甲虫（Mercynorrhina torquata）的远程无线电控制

定位气味源的能力对昆虫的生存至关重要，并有望应用于人工气味追踪。由真实蚕蛾控制的机器人能够通过机器人平台评估昆虫的气味追踪能力。...

昆虫控制机器人：用于评估昆虫嗅觉追踪能力的移动机器人平台

本实验方案描述了使用新型软件...

SwarmSight：利用常规制备方法和普通硬件实时追踪昆虫触角运动与喙伸反射

本方案建立了一种利用无标记跑台实验结合深度学习驱动的多关节轨迹自动标注技术的大鼠后肢运动学评估流程，可实现可重复的运动量化分析。...

基于深度学习的多关节同步追踪用于大鼠后肢运动学的客观量化

了解FLLIT全自动机器学习算法，用于追踪黑腹果蝇等昆虫腿部运动并定量分析步态参数。该方法无需人工标注数据集，可识别神经退行性疾病模型中的步态异常，为研究昆虫运动行为提供标准化方案。

基于特征学习的腿部分割与追踪技术（FLLIT）实现自由移动昆虫腿部的全自动追踪

探索更多视频