本文介绍了一种长期对动物个体进行追踪的实验方案。该方法采用计算机视觉技术,通过龙虾作为案例研究对象,识别一组人工构建的标记,同时提供了龙虾的饲养、操作和标记方法的相关信息。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
方法文章
* These authors contributed equally
本文介绍了一种长期对动物个体进行追踪的实验方案。该方法采用计算机视觉技术,通过龙虾作为案例研究对象,识别一组人工构建的标记,同时提供了龙虾的饲养、操作和标记方法的相关信息。
本文介绍了一种基于背景减除和图像阈值分割的视频追踪技术方案,可实现对共养动物的个体追踪。我们利用该追踪程序,在明暗循环条件下连续5天对四只共养的挪威龙虾(Nephrops norvegicus)进行了测试。实验前每只龙虾均已进行个体标记。实验装置及所用追踪技术完全基于开源软件。将自动追踪结果与人工识别进行比较表明,龙虾被正确检测的频率为69%。在被正确检测到的龙虾中,其个体标记被准确识别的比例为89.5%。结合本方案所采用的帧率以及龙虾的运动速度来看,该视频追踪系统具有良好的性能,代表性结果也证实了该方案能够为科研提供可靠数据(如个体空间占用或运动活动模式)。本文所述方案易于定制,因此可推广应用于其他物种,尤其适用于需要对群体中个体进行追踪以回答科学问题的研究场景。
近年来,基于图像的自动化追踪技术提供了高度精确的数据集,可用于探索生态学和行为学领域的基本问题1。这些数据集可用于动物行为的定量分析2,3。然而,每种用于动物追踪和行为评估的图像方法都有其优势与局限性。在利用视频中前序帧的空间信息来追踪动物的基于图像的追踪方案中4,5,6,当两只动物的运动路径交叉时,可能引入错误。这类错误通常不可逆,并会随时间推移而累积传播。尽管计算技术的进步已能在一定程度上减轻甚至几乎消除这一问题5,7,但这些技术仍需要均一的实验环境,以实现准确的动物识别与追踪。
在动物中使用可被唯一识别的标记可避免这些错误,并实现对已识别个体的长期追踪。工业和商业领域已广泛使用多种标记(例如, 条形码和二维码),并可通过成熟的计算机视觉技术进行识别,例如增强现实(如 ARTag8)和相机校准(例如, CALTag9)。此前已有研究将带标记的动物用于多种物种的高通量行为学研究,例如蚂蚁3或蜜蜂10,但部分早期系统并未针对孤立标记的识别进行优化3。
本文介绍的追踪方案特别适用于单通道图像中的动物追踪,例如红外光(IR)或单色光(尤其是蓝光)下的图像。因此,所开发的方法不依赖颜色线索,也可应用于照明条件受限的其他场景。此外,我们使用了定制的标记,设计时确保不会干扰龙虾的行为,同时允许使用低成本相机进行记录。更重要的是,本研究所采用的方法基于帧间独立的标记检测(即.,算法识别图像中每个标记的存在与否时,不依赖于先前的运动轨迹)。这一特性在动物可能暂时被遮挡或其运动轨迹可能发生交叉的应用中尤为重要。
该标签设计可适用于不同类群的动物。一旦设定好方法参数,便可将其推广应用至其他动物追踪问题,而无需训练特定的分类器(例如其他甲壳类或腹足类动物)。该方案在推广时的主要限制在于标签的尺寸,以及需要将其附着于动物体上(因此不适用于果蝇、蜜蜂等小型昆虫),此外还受限于对动物运动的二维假设。这一限制较为显著,因为所提出的方法假设标签尺寸保持不变。在三维环境中自由移动的动物(例如 鱼类),其标签在图像中的尺寸会因其与相机距离的不同而发生变化。
本实验方案的目的是提供一种用户友好的方法,用于在二维环境下长期(即数天或数周)追踪多个标记动物。该方法基于使用开源软件和硬件。自由且开源的软件允许进行适应性调整、修改和自由再分发,因此所生成的软件在每一步都会得到改进11,12。
本文所述方案聚焦于一个实验装置,用于在5天内追踪和评估水箱中四只水生动物的运动活动。视频文件由每秒1帧的时间间隔图像录制而成,并以每秒20帧的速度合成为视频(1天的记录数据约占用1小时的视频时长)。所有视频记录均通过计算机视觉方法和算法进行自动后期处理,以获取动物的位置信息。该方案能够获得大量追踪数据,避免了手动标注,而手动标注在以往的实验研究中已被证明耗时且费力13。
本研究以挪威龙虾(Nephrops norvegicus)为案例,因此我们提供了适合该物种的特定实验室饲养条件。龙虾具有已被深入研究的洞穴出没节律,该节律受昼夜节律钟的调控14,15,当群养时,它们会形成支配等级关系16,17。因此,本文所介绍的模型对于关注社会行为调控、特别是昼夜节律研究的科研人员而言,是一个良好的范例。
本文所述方法易于重复,若可通过个体标记区分动物,则可将其应用于其他物种。在实验室中重复该方法的最低要求包括:(i) 用于实验设置的恒温房间;(ii) 持续的供水系统;(iii) 水温控制装置;(iv) 光照控制系统;(v) 一台USB摄像头和一台普通计算机。
在本方案中,我们使用 Python18 和 OpenCV19(开源计算机视觉库)。我们依赖于快速且广泛应用的操作(无论是在实现还是执行方面),例如背景减除20 和图像阈值化21,22。
访问受限。请登录或开始试用以查看此内容。
本研究使用的物种不属于濒危或受保护物种。采样和实验室实验遵循西班牙法律法规以及机构内部(ICM-CSIC)关于动物福利的规定。动物采样工作已获得当地主管部门(加泰罗尼亚自治区政府)的许可。
1. 动物饲养与取样
注意:以下实验方案基于研究人员能够在夜间野外采集N. norvegicus的假设,以避免光感受器受损23。必须避免N. norvegicus暴露于阳光下。采集后,龙虾应饲养在类似于先前报道的驯化设施中17,24,并持续供应冷藏海水(13 °C)。本研究使用的动物为间蜕皮期的雄性个体,头胸部长度(CL;均值 ± 标准差)为43.92 ± 2.08 mm(N = 4)。

图1:设施适应性示意图。(a)水族箱架。(a1)海水输入口。(a2)荧光天花板灯。(b)蓝光照明细节。(c)动物细胞细节。(d)独立设施控制面板细节。(e)其中一个入口的温度设置。请点击此处查看此图的放大版本。
2. 标签的构建
注意:此处使用的标签可根据目标动物的特征或其他特定考虑进行更改。

图 2:用于个体龙虾标记的四种标签。 圆形、带孔圆形、三角形、带孔三角形。 请点击此处查看该图的放大版本。
3. 实验设置
注意:实验区域应位于一个独立于但靠近驯化设施的实验室内。

图3:实验装置示意图。(a)实验水箱组装及视频采集示意图。(b)实验水箱整体视图。(c)实验水箱底部视图,显示人工洞穴位置。(d)顶部视图,展示实验水箱底部结构。(e)其中一个洞穴入口的细节图。请点击此处查看此图的放大版本。
4. 实验试验与动物准备
注意:根据挪威海螯虾的光谱敏感性,所有涉及动物的操作必须在适应性饲养设施内并在红光条件下进行25。在将动物从适应性饲养设施转移至实验设施时,须避免其暴露于任何光照下,可使用不透明的黑色袋子覆盖冰盒以遮光。

图 4:原始视频帧。 实验期间采集的延时视频中具有代表性的一帧示例。右上角显示了包含日期、时间和帧号的时间戳。请注意图像左下角区域水箱照明的变化。请点击此处查看该图的放大版本。
5. 视频分析脚本
6. 用于视频分析的计算机视觉脚本
注意: 该脚本未进行鱼眼图像校正,因为在实验设置中其引入的误差不具显著性。然而,仍可使用 OpenCV 相机标定函数对此进行校正。29 基于向量与矩阵旋转方法30,31.

图 5:视频处理脚本的相关步骤。(1)评估背景减除运动,基于最后100帧的均值。(2)背景减除算法的结果。(3)对白色检测区域应用膨胀形态学操作。(4)应用固定、静态的主感兴趣区域(ROI);黄色多边形对应于水箱底部区域。(5)在主感兴趣区域内为每个白色检测区域计算轮廓,并对每个检测到的轮廓进行结构分析。(6)检查结构属性值,然后选择二级感兴趣区域候选对象。(7)使用Otsu阈值化算法对帧进行二值化;该脚本仅处理二级感兴趣区域。(8)对每个二值化的二级感兴趣区域,计算白色区域的轮廓,并对每个检测到的轮廓进行结构分析。(9)检查结构属性值,然后选择内部感兴趣区域候选对象。(10)对每个内部感兴趣区域候选对象中的轮廓,计算描述符/矩。(11)检查检测到的形状是否与模型形状匹配,并对最佳匹配候选对象进行多边形逼近。(12)检查逼近多边形的顶点数量,并确定几何图形:圆形或三角形。(13)计算图形中心,并检查是否存在黑色像素;若存在,则为带孔图形。(14)帧分析后的可视化结果。请点击此处查看此图的放大版本。
访问受限。请登录或开始试用以查看此内容。
我们手动构建了实验数据的一个子集,以验证自动视频分析的准确性。随机选取了1,308帧作为样本,置信水平为99%(表示样本在误差范围内准确反映总体的可靠性),误差幅度为4%(表示样本结果与总体真实值之间的接近程度的百分比)。随后对每帧中感兴趣区域(ROI)的正确识别以及每个ROI内标签的正确识别进行了人工标注。需要注意的是,单帧图像可能包含数量不定且范围不确定的ROI,因为部分龙虾可能隐藏在洞穴内,或一个ROI中包含两只及以上动物,或存在误检情况。
1,308 帧图像中的动物总数为 3,852 只(人工标注的感兴趣区域)。该方法共检测出 3,354 只动物。其中,701 个检测结果(21%)为假阳性(即龙虾被误认为背景的感兴趣区域数量)。在检测出的动物总数中,2,653 个检测结果(79%)正确匹配.分类器在检测区域中正确识别出龙虾存在的次数;另见 图6a, b...
访问受限。请登录或开始试用以查看此内容。
通过视频追踪方案获得的性能和代表性结果证实了其在动物行为学应用研究中的有效性,尤其适用于群养动物的社会调节和昼夜节律研究。动物检测效率(69%)和标签识别准确率(89.5%)结合本研究中目标物种的行为特征(如运动速率),表明该方案是长期实验(例如数天至数周)的理想选择。此外,该方案具有操作简便、开发和定制速度快的基本优势,相较于自动学习算法和神经网络等其他技术更具实用性43。本研究所采用的追踪技术是对早期略有不同的实验方法不断优化后的最终成果44。
实验方案中的一个关键步骤是标签设计;应考虑到采用其他标签设计可能会提升大津二值化方法的性能。例如,本文报告的一个误差来源是标签中外圈黑色圆环与内部白色几何形状之间的误检(参见图9,其中显示了一个二值化帧,包含该误差的细节)。可通过增大白色内部几何形状外围黑色圆环的直径(2–3 mm),或交换标签的颜色(白/黑),来改善二值化过程。在尝试纠正此类误差时,我们不建议使用诸如腐蚀或膨胀等图...
访问受限。请登录或开始试用以查看此内容。
作者无任何利益冲突需要披露。
作者感谢 Joan B. Company 博士对本研究发表的资助。同时,作者感谢巴塞罗那海洋科学研究所(ICM-CSIC)实验水族区技术人员在实验工作中提供的帮助。
本工作由西班牙科学与创新部(MICINN)资助的RITFIM项目(CTM2010-16274;项目负责人:J. Aguzzi)以及西班牙经济与竞争力部的TIN2015-66951-C2-2-R资助项目支持。
访问受限。请登录或开始试用以查看此内容。
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| 三脚架 475 | 曼富图 | A0673528 | 已停止 |
| 关节臂 143 | 曼富图 | D0057824 | 已停止 |
| USB 2.0 uEye LE 相机 | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| 鱼眼镜头 C接口 f = 6 mm/F1.4 | Infaimon | 标准光学 | https://www.infaimon.com/es/estandar-6mm |
| 玻璃纤维水箱 1500 x 700 x 300 mm3 | |||
| 黑色毛毡织物 | |||
| 木材结构储罐 | 5 根木条 50x50x250 mm | ||
| 木结构毡织物 | 10 根木条 25x25x250 毫米 | ||
| 不锈钢螺钉 | 根据固定木条结构的需要而定 | ||
| PC | 2核CPU,4GB内存,1GB显卡,500GB硬盘 | ||
| 外部存储硬盘驱动器 | 建议容量为 2 TB | ||
| iSPY Windows PC 软件 | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder 软件 Linux 个人电脑 | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 库 | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| 露营冰盒 | |||
| 塑料托盘 | |||
| 氰基丙烯酸酯凝胶 | 粘贴标签’s | ||
| 1块黑色PVC塑料板(1 mm厚度) | 标签的构建 | ||
| 1 块白色 PVC 塑料板(1 mm 厚度) | 标签的构建 | ||
| 4 标签’s Ø 40 mm | 用黑色制成 &白色PVC塑料板 | ||
| 3 m 蓝色斯特林德 LED 光源(480 nm) | 防水性能为佳 | ||
| 3 米红外 Strid LED 光源(850 纳米) | 防水性能为理想特性 | ||
| 6 m 甲基丙烯酸酯管 Ø 15 mm | 封闭式斯特里德发光装置 | ||
| 4 个 PVC 弯头 45o Ø 63 mm | 挖掘洞穴的构建 | ||
| 3 m 柔性聚氯乙烯管 Ø 63 mm | 挖掘洞穴的构建 | ||
| 4 个 PVC 螺口盖 Ø 63 mm | 挖掘洞穴的构建 | ||
| 4 个 O 形圈 Ø 63 mm | 挖掘洞穴的构建 | ||
| 4 个女性PVC插座胶/螺纹 Ø 63 mm | 挖掘洞穴的构建 | ||
| 10 米直流 12V 电缆 | 光控机制 | ||
| 直流电源 12 V 300 W | 光控机制 | ||
| MOSFET,RFD14N05L,N沟道,14 A,50 V,3引脚,IPAK(TO-251) | RS Components | 325-7580 | 光控机制 |
| 二极管,1N4004-E3/54,1 A,400 V,DO-204AL,2引脚 | RS Components | 628-9029 | 光控机制 |
| 保险丝座 | RS Components | 336-7851 | 光控机制 |
| 2 路电源端子 3.81 mm | RS Components | 220-4658 | 光控机制 |
| 电容器 220 µF 200 V | RS Components | 440-6761 | 光控机制 |
| 电阻 2K2 7 W | RS Components | 485-3038 | 光控机制 |
| 熔断器 6.3 x 32 mm2 3A | RS Components | 413-210 | 光控机制 |
| Arduino Uno Atmel Atmega 328 微控制器板 | RS Components | 715-4081 | 光控机制 |
| Prototipe Board CEM3,3 孔,RE310S2 | RS Components | 728-8737 | 光控机制 |
| DC/DC转换器,12 V输入,±5 V输出,100 mA,1 W | RS Components | 689-5179 | 光控机制 |
| 2 支 SERA T8 蓝月光荧光灯管,36 瓦 | SERA | 已停用/轻度隔离设施 |
访问受限。请登录或开始试用以查看此内容。