Summary
在这里, 我们提出了一个协议, 单独跟踪动物在很长一段时间。它使用计算机视觉方法来识别一组手动构建的标签, 方法是使用一组龙虾作为案例研究, 同时提供有关如何容纳、操纵和标记龙虾的信息。
Abstract
我们提出了一种与基于背景减法和图像阈值的视频跟踪技术相关的协议, 该协议使单独跟踪单独的男女同校动物成为可能。我们用四个共同存放的挪威龙虾 (诺韦吉克斯肾病) 在黑暗的条件下测试了5天的跟踪程序。龙虾已经被单独贴上标签了。实验设置和使用的跟踪技术完全基于开源软件。将跟踪输出与人工检测进行比较后发现, 有69% 的时间正确检测到龙虾。在正确检测到的龙虾中, 99.5% 的时间正确识别了它们的个别标签。考虑到协议中使用的帧速率和龙虾的运动速率, 视频跟踪的性能具有较好的质量, 具有代表性的结果支持了协议在为研究需要生成有价值数据方面的有效性 (个人)。空间占用率或运动活动模式)。这里提出的协议可以很容易地定制, 因此可以转移到其他物种, 在这些物种中, 一个群体中的标本的个别跟踪对回答研究问题很有价值。
Introduction
在过去的几年中, 基于图像的自动跟踪提供了高度精确的数据集, 可用于探索生态学和行为学科1中的基本问题。这些数据集可用于动物行为的定量分析2,3。然而, 用于跟踪动物和行为评估的每一种图像方法都有其优点和局限性。在基于图像的跟踪协议中, 使用电影中以前帧中的空间信息来跟踪动物4、5、6,当两个动物的路径交叉时, 就会引入错误。这些错误通常是不可逆的, 并随着时间的推移而传播。尽管计算方面的进展减少或几乎消除了这个问题5,7, 这些技术仍然需要均匀的实验环境来准确地识别和跟踪动物。
使用可以在动物身上唯一识别的标记可以避免这些错误, 并允许对已识别的个人进行长期跟踪。工业和商业中存在广泛使用的标记 (如条形码和二维码), 可以使用众所周知的计算机视觉技术进行识别, 例如增强现实 (例如 artag8) 和摄像机校准 (例如, caltag9)).标签动物以前曾被用于不同动物物种的高通量行为研究, 例如蚂蚁3或蜜蜂10, 但以前的一些系统没有优化以识别孤立的标记3。
本文提出的跟踪协议特别适用于单通道图像中的动物跟踪, 如红外光或单色光 (特别是蓝光)。因此, 开发的方法不使用颜色提示, 也适用于照明中存在约束的其他设置。此外, 我们还使用定制的标签, 以避免打扰龙虾, 同时, 允许用低成本的相机进行录制。此外, 这里使用的方法是基于独立于框架的标记检测 (即,该算法识别图像中存在的每个标记, 而不管以前的轨迹是什么)。此功能适用于动物可以暂时遮挡或动物轨迹可能相交的应用。
标签设计允许在不同的动物群体中使用。一旦确定了该方法的参数, 就可以将其转移到其他动物跟踪问题上, 而不需要培训特定的分类器 (其他甲壳类动物或腹足类动物)。导出协议的主要限制是标签的大小和对动物的依恋需求 (这使得它不适合小昆虫, 如苍蝇、蜜蜂等) 和动物运动的2D 假设。考虑到所提出的方法假定标记大小保持不变, 此约束非常重要。在3D 环境中自由移动的动物 (例如, 鱼) 会根据其与相机的距离显示不同的标记大小。
本协议的目的是提供一种用户友好的方法, 以便在2D 上下文中长时间 (即几天或几周) 跟踪多个标记动物。方法方法是基于使用开源软件和硬件。自由和开源软件允许调整、修改和自由再分发;因此, 生成的软件在每一步11,12上都得到了改进。
这里介绍的协议侧重于为跟踪和评估四个水生动物在水箱中的运动活动而设立的实验室, 为期5天。视频文件从1秒图像中录制, 并以每秒20帧的速度在视频中进行编译 (1个录制日占用约1小时的视频)。所有的视频录制都会自动进行后处理, 以获得动物的位置, 并应用计算机视觉方法和算法。该协议允许获取大量的跟踪数据, 避免了它们的人工注释, 这在以前的实验论文13中已经证明是耗时和费力的。
我们使用挪威龙虾 (诺维吉克斯的尼弗罗斯) 进行案例研究;因此, 我们提供特定物种的实验室条件来维护它们。龙虾执行经过充分研究的洞穴出现节奏, 这些节奏是在生物钟14、15 的控制下, 当它们共同居住时, 它们形成了 16,17的优势等级。因此, 这里介绍的模型是一个很好的例子, 研究人员感兴趣的行为的社会调制, 特别是关注生理节律。
这里提出的方法很容易复制, 如果有可能区分有个别标签的动物, 可以适用于其他物种。在实验室复制这种方法的最低要求是: (一) 实验装置的等温室;(ii) 连续供水;(三) 水温控制机制;(iv) 灯光控制系统;(v) USB 摄像机和标准计算机。
在本协议中, 我们使用 Python18和 opencv19 (开源计算机视觉库)。我们依靠快速和通用的操作 (在实现和执行方面), 如背景减法20和图像阈值21,22。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
本研究中使用的物种不是濒危物种或受保护物种。取样和实验室实验遵循了西班牙关于动物福利的立法和内部机构 (icm-csic) 条例。动物取样是在地方当局 (加泰罗尼亚地区政府) 允许的情况下进行的。
1. 动物维护和取样
请注意:下面的协议是基于这样的假设, 即研究人员可以在夜间在野外对诺维皮斯进行采样, 以避免对光感受器23造成损害。必须避免北西的暴露在阳光下。取样后, 龙虾应安置在类似于先前17、24 报告的适应设施中, 并有连续的冷冻海水 (13°c)。本研究中使用的动物是雄性在模间状态, 头胸长度 (CL; 平均±sd) 为43.92 ±2.08 毫米 (n = 4)。
- 将个人放在孤立的隔间中, 以避免因个人打斗而造成的任何损害 (见图 1a-d)。
- 每周给它们喂3倍左右, 以避免干扰生理节律。
请注意:在这个实验中, 贻贝 (每只龙虾约4克) 被用作食物。贻贝是从冷冻食品供应商那里购买的, 适合人类食用。 - 使用蓝光 (425-515 纳米) 根据物种25的光谱灵敏度和400米深26的环境条件模拟光小时 (见图 1c, d)。
请注意:这里使用的设施有两个蓝色 (478 纳米) 荧光灯的垂直天花板, 在距离灯具1米的地方产生 12 lx 的光强。有关天花板灯的位置, 请参见图 1a , 并查看制造商和技术灯具的材料表。 - 将适应设施的光周期调整为 12/黑暗小时, 或模拟局部纬度的自然光周期。
- 将设施温度调整到 13°c, 并每天监测 2倍, 以检查流动海水的温度在13°c 左右 (见图 1e)。
- 以约 4 lmmin 的速度调节海水的流入, 以保持良好的氧合。
请注意:海水在开放电路中循环 (不使用过滤器和额外的水泵)。供水取决于水族馆的主要服务。
图 1: 设施适应景观.(a) 储罐架。(1)海水输入。(2)荧光灯天花板灯。(b) 蓝光照明的细节。(c) 动物牢房细节。(d) 隔离设施控制面板的细节。(e) 其中一个入口的温度设置。请点击这里查看此图的较大版本.
2. 标签的建设
请注意:这里使用的标签可以根据目标动物的特点或其他具体考虑来改变。
- 从黑色塑料板上切割四个直径40毫米的圆圈。
- 从白色 PVC 塑料板上切割出两个双边、两侧26毫米的等边三角形。
- 从白色 PVC 塑料板切割成直径26毫米的两个圆圈。
- 标记白色三角形和圆圈的中心, 并在其中创建一个10毫米的孔。
- 将四个白色形状粘在四个黑圆的中心。
图 2: 用于龙虾单独标记的四个标签.圆, 圆孔, 三角形, 三角形孔。请点击这里查看此图的较大版本.
3. 实验设置
请注意:实验竞技场应该是在一个实验室独立于适应设施, 但接近适应设施。
- 建立一个实验室, 在实验领域的温度可以控制和保持与海水相同的温度。
-
修改玻璃纤维罐 (1, 500 x 700 x 300 毫米), 用作实验场所。使用 PVC 软管在水箱底部添加四个毛刺, 并将沙子粘在龙虾应该移动的表面 (图 3b-e)。有关更多详细信息, 请参见17、27。
- 为实验领域提供可潜水的蓝色 led (472 nm, 模拟光小时) 和红外 led (850 nm, 黑暗条件) (参见图 3a)17,24。
请注意:Led 灯的使用是由于其低热冲击和可用的电子控制和免费硬件的可用性。采用环境和海水温度为13±0.5°c 的隔离设施。 - 始终保持红外指示灯处于打开状态。
请注意:红外需要在黑暗条件和光线条件下进行视频记录。没有必要将其关闭。 - 将蓝色 Led 连接到用于管理光周期的设备。请参阅材料表中的建议, 有关更多详细信息, 请参阅 sbraglia 等人.17 (也如图 3a所示)。
请注意:视频或图像自动分析中的照明是一个关键因素。在整个竞技场上没有阴影的定期照明, 避免水面反射, 使后部视频或图像分析变得更容易。在这一协议的范围内, 只使用了 1/黑暗条件。光和黑暗在30分钟内逐渐实现, 并添加了一个光控制器脚本作为补充文件 1。 - 将冷却的海水入口放置在水箱的一个角落, 相应的出口放在相反的角落。
- 以大约 4 L/min 的流速调节海水输入。
- 用黑色窗帘包围油箱, 以便与其他光线完全隔离 (图 3a)。
- 为实验领域提供可潜水的蓝色 led (472 nm, 模拟光小时) 和红外 led (850 nm, 黑暗条件) (参见图 3a)17,24。
- 将网络摄像机固定在实验场地一侧的三脚架放置在实验竞技场上方 (130 厘米) 和实验舞台中央 (75 厘米 x32.5 厘米).
- 检查摄像机是否处于中心位置 (请参见步骤 3.3), 以确保它没有被非自愿移动。
-
将 web 摄像机连接到放置在窗帘外的计算机 (图 3a)。
- 安装软件, 使用摄像机管理延时录制。
请注意:延时记录取决于该物种的运动速度。此外, 请参阅此处使用的相机、鱼眼镜头、PC、软件特性和制造商的材料表。 - 根据物种的特点调整录像的参数。
请注意:考虑到诺维吉库斯的移动速度, 这里使用了 1 s 的延时记录, 视频每 2 4小时保存一次。 - 请确保在延时视频中创建时间戳 (包括日期) (因为这有助于将来手动评分行为)。
- 安装软件, 使用摄像机管理延时录制。
图 3: 实验设置.(a) 实验罐组装和视频采集示意图。(b) 实验坦克的一般看法。(c) 实验槽的底部视图, 表示人工洞穴。(d) 顶部视图, 显示实验槽的底部。(e) 一个洞穴入口的详细情况。请点击这里查看此图的较大版本.
4. 实验试验和动物准备
请注意:根据挪威龙虾25的光谱敏感性, 与动物的所有步骤必须在适应设施和红灯条件下完成。在适应和实验设施之间移动动物时, 避免龙虾暴露在光线下, 用不透明的黑色袋子覆盖冰箱。
- 准备一个冰箱, 以前被分成四个被淹没的隔间, 在大约7°c 的温度下, 水。
- 准备前构建的四个标签和快速胶水, 如氰基丙烯酸酯。
- 准备一个装有碎冰的托盘。
- 选择要在适应设施中标记的四只龙虾, 并将它们各自放在冰箱的隔间里。
-
等待 30分钟, 然后, 开始标记过程。
- 拿一只龙虾, 放在碎冰上 5分钟, 使其固定, 方便贴标签操作。
- 用吸附纸擦干龙虾头胸的上半部分, 并在上面涂上一滴快速胶。
- 将标签水平地放在动物头胸的顶部, 与胶水接触, 等待足够的时间使其变硬 (约 20秒)。
- 把龙虾放回冰箱里的隔间里, 用同样的方式和其他3只动物一起进行。
- 把龙虾放回以前的牢房里, 等 2 4小时, 确保标签正确粘合。
- 使用用于标记过程的相同冰箱将龙虾从适应设施转移到实验室。
- 启动视频录制并等待 5分钟, 然后再介绍贴有标签的龙虾。从最初的100帧中获取平均背景图像。
请注意:必须等待至少 1分钟, 以获得没有标记龙虾的背景框架;它们是视频处理所必需的。 - 在实验槽中逐一引入动物, 将水保存在其中。
- 等他们出来; 等他们出来。如果他们不出来, 通过倾斜车厢轻轻帮助他们。参见图 4 , 作为实验条件下水箱内动物的示例。
图 4: 原始视频帧.实验中收集的一个延时视频中的一个代表性框架的例子。在右上角, 我们显示日期、时间和框架的时间戳。请注意图像下角的坦克照明的差异。请点击这里查看此图的较大版本.
5. 视频分析脚本
-
实验结束后进行分析。
- 启动用于视频分析的计算机视觉脚本。
- 启动 Java 程序, 计算龙虾所覆盖的位置和距离, 并将数据插入数据库。
请注意:本程序是一个基于欧几里得距离的算法28。 - 启动 SQL 脚本, 根据需要的时间间隔 (例如 10分钟) 对数据进行分组。
6. 用于视频分析的计算机视觉脚本
请注意:该脚本避免了鱼眼图像校正, 因为它在实验设置中没有引入相关的错误。尽管如此, 它是有可能纠正这一点与 opencv 相机校准功能29基于矢量和矩阵旋转方法30,31。
- 选择 Python18程序语言。
- 选择 OpenCV19图像和视频处理库。
- 加载视频。
请注意:视频格式. avi 或.mp4 在这个实验中使用, 但这不是强制性的。这取决于安装在操作系统中的 FourCC32编解码器。 -
对视频中的每个帧Fi执行以下步骤。
- 从当前帧 Fi中减去背景 20 b (从步骤4.6 获得的最后100帧的平均值), 并将背景图像b更新为fi。使用 OpenCV19库中的 "背景减法莫"功能 (请参阅补充文件 2中的脚本)。
- 从背景减法器指示的具有相关运动的像素确定感兴趣的区域集 (roi) r。使用 OpenCV19库中的背景下减法组 mg2中应用的方法 (请参阅补充文件 2中的脚本)。在集合中, 包括从上一帧检测的动物, 以考虑到不移动的动物。
- 对每个 ROI Ri 执行以下步骤
- 应用扩张函数, 计算Roi Ri 的轮廓33 。使用 OpenCV19库中的功能扩展和查找轮廓 (请参阅补充文件 2中的脚本)。
- 计算船体面积34hi 的像素数。使用 OpenCV19 库中的函数convexhull (请参阅补充文件 2中的脚本)。
- 计算Roi Ri 的半径35里。使用 OpenCV19库中的函数"最小封闭圆" (请参阅补充文件 2中的脚本)。
- 计算Roiri 的坚固性.稳定性是 (在步骤6.4.3.1 中获得) 与 ri 凸壳面积 (6.4.3.2 步进获得) 的比率.
- 计算Roi ri的纵横比。纵横比是ri-边界矩形的宽度和高度之间的比率。边框是使用 OpenCV19 库中的函数边界 rect计算的。
- 通过调整船体面积、半径、坚固性和纵横比的属性, 选择一组较小的 Roi 作为包含动物的候选规则。
- 检查喜是否小于500. 0或大于100000.0.如果是, 请丢弃Roi i.否则, 请将ri保留为动物位置的候选 roi。
- 检查里度是否小于40.0。如果是, 请丢弃Roi i.否则, 请将ri保留为动物位置的候选 roi。
- 检查si是否小于-4.0 , 丢弃 roi ri .否则, 请将ri保留为动物位置的候选 roi。
- 检查ai是否小于0.15或大于4.0。是的, 请放弃 ROI ri.否则, 请将ri保留为动物位置的候选 roi。
注: 使用 Roi 可以降低计算成本, 将标记搜索的焦点集中在动物的身体区域上。包括以前帧中的动物检测, 以避免在动物不移动时检测到错误。
- 分析动物 Roi 以确定标记标识。执行以下步骤为每个 ROI ri和每个内部 Roi pi pi,并提取内部 roi p.
- 利用大津 36 阈值算法对灰度图像pi进行了二值化。
- 计算pi的轮廓 33 , 如在步骤6.4.3.1。
- 计算船体面积34hi 和纵横比 ai, 如在步骤中6.4.3.2 和6.4.3.5。
- 计算 pi 的形状瞬间37,38英里。使用 OpenCV19库中的功能瞬间(请参阅补充文件 2中的脚本)。
- 使用以下条件选择一组较小的 Roi 作为候选项来包含标记。
- 检查喜是否小于150.0或大于500. 0.如果是, 请丢弃 ROI pi。否则, 请将pi保留为标记位置的候选 roi。
- 检查ai是否小于0.5或大于1.5.如果是, 请丢弃 ROI pi。否则, 请将pi保留为动物位置的候选投资回报率。
- 检查mi是否大于0.3。如果是, 请丢弃 ROI pi。否则, 请将pi保留为动物位置的候选投资回报率。
- 对标记 Roi 进行分类。使用 OpenCV19函数38为每个选定的 roi pi 19 近似一个多边形39.
- 检查近似多边形中是否正好有三个顶点;将标记分配给三角形类。否则,将圆类分配给标记区域。
请注意:近似多边形是使用带有顶点的矩阵存储的。 - 检查 ROI Pi 的中心像素。如果是黑色像素, 则将 pi分配给挖土类。否则,将 pi分配给白色类。
请注意:从阶跃6.4.5.4 计算的力矩推导出形状中心。搜索中心周围4像素半径区域中的黑色像素。
- 检查近似多边形中是否正好有三个顶点;将标记分配给三角形类。否则,将圆类分配给标记区域。
- 保存帧数据: 帧日期、帧时间、形状类、x 中心形状坐标和 y 中心形状坐标。
- 继续下一帧或结束该过程。请参阅下面的图 5作为工作脚本步骤的可视化示例, 并观看 video 作为脚本功能的示例。
图 5: 视频处理脚本的相关步骤.(1) 在过去100帧的平均值上评估背景减法运动。(2) 背景减法的结果。(3) 在白检测区域应用扩张形态手术。(4) 应用固定、静态、主投资回报率;黄色多边形对应于底部储罐区域。(5) 计算主投资回报率中每个白色检测区域的轮廓, 并对每个检测到的轮廓进行结构分析。(6) 检查结构属性值, 然后选择二级投资回报率候选项。(7) 利用大津阈值算法对帧进行二值化;该脚本仅适用于二级 Roi。(8) 对于每个二值化二级 roi, 计算白色区域的轮廓, 并对每个检测到的轮廓进行结构分析。(9) 检查结构属性值, 然后选择内部投资回报率候选项。(10) 对于内部 roi 候选项中的每个轮廓, 计算描述符/矩。(11) 检查检测到的形状是否与模型形状匹配, 并将多边形近似为最佳匹配候选项。(12) 检查近似多边形的顶点数, 并确定几何图形: 圆形或三角形。(13) 计算图形中心, 检查是否出现黑色像素;如果是的话, 那就是一个洞的身影。(14) 帧分析后的视觉结果。请点击这里查看此图的较大版本.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
我们手动构造了实验数据的子集来验证自动视频分析。一个样本大小为 1, 308 帧, 置信度为 99% (这是一种安全度量, 显示样本是否在其误差范围内准确地反映了总体情况) 和误差幅度为 4% (这是描述关闭程度的百分比)。样本给出的响应是对总体中的实际值的响应) 是随机选择的, 并对正确识别 Roi 和每个 ROI 中的标记的正确标识进行了手动注释。请注意, 单个帧可能包含一个未知范围内的可变数量的 Roi, 因为某些龙虾可能隐藏在洞穴中, 或者一个 ROI 包含两个或更多的动物或错误检测。
在 1, 308 帧中, 动物总数为 3, 852 (手动注释的 Roi)。该方法显示了 3, 354 检测动物。共计701人 (21%)这些检测是假阳性 (即龙虾与背景混淆的 Roi 数量)。在统计的动物总数中, 有 2 653 头检测 (79%)正确匹配 (即分类器正确识别检测区域中存在龙虾的次数; 另见图 6a, b)。至于在 1, 308 帧中共有 3, 852 Roi, 该脚本检测到69% 的个人。
关于标签检测, 该脚本确定 2 353名投资回报率候选项为标记 (在 2, 653 检测到的带有动物的区域中, 89%)。分类器成功地将这些标记中的808个标记标识为类标记, 该标记将其归类为圆、三角形、孔圈或孔三角形, 并且错过了545例 (在标记的 2 353 ROI 候选项中占 23%)。与标签分类相关, 1, 6f 被正确识别 (99.5%,图 6f)。只有70个标记, 如果错误分类 (3.8% 的错误,图 6e), 其余 119个 (6.6%)对应于误报 (内部 ROIs 被标识为标记对应于动物零件, 例如爪;图 6d)。
图 6: 显示视频分析期间最常见实验情况的帧中的代表性视图.(a) 检测动物错误, 检测到背景区域。(b) 动物误报。两只动物在一起很近, 只检测到一种。(c) 形状误发现。检测到该动物 (蓝色矩形), 但未检测到标记。(d) 假形状检测。检测到两个形状, 一个是爪。(e) 形状分类不正确。三角形被归类为三角形孔。(f) 理想情况。检测到所有动物, 并正确识别标签。请点击这里查看此图的较大版本.
视频分析完成后, 获得的位置 (X, Y) 数据可用于评估龙虾的不同行为模式。例如, 我们使用二维内核密度估计和轴对齐的双变量正常内核绘制了一个空间占用图, 并在一个具有最佳性能的方格网格41和42上进行了评估, 该地图的自动估计由统计算法。较高的颜色强度代表龙虾花费的时间百分比较高的区域 (图 7)。视频 2给出了动物跟踪的视觉例子。
另一个例子是龙虾的日常活动节奏, 绘制为毫米, 并以10分钟的绑定时间间隔覆盖 (图 8)。我们删除了与实验前24小时相对应的数据, 这些数据与动物的环境适应过程相对应。
图 7* 空间占用率地图.图表仅显示动物位移区域的底部储罐区域 (参见图6中的黄色多边形)。这些区域是不同的标记龙虾花更多的时间出现着色;更高的颜色强度意味着更多的占用时间。请点击这里查看此图的较大版本.
图 8: 龙虾的每日活动节律为毫米, 并以10分钟的绑定时间间隔覆盖.灰色带表示在黑夜的黑暗中的黑暗时间, 日落时间从上午7点开始, 日出时间从晚上7点开始. 请点击这里查看这个数字的更大版本.
视频 1: 正在运行的视频分析脚本示例的桌面记录.视频显示在2分钟和 27秒1小时的实时镜头 (3, 625 帧)。请注意, 在录制过程中, 动物和标记误检测和未知事件没有错误累积。请点击此处下载此视频.
视频 2: 视频后的动物跟踪运动分析。我们使用从视频分析中获得的 X、Y 图像像素坐标, 将其存储到数据库中, 将录制的视频中的动物轨迹绘制为视频分析脚本的示例。赛道越长, 动物移动的速度就越快, 行驶的距离也就越多。在这种情况下, 30秒的视频相当于12分钟的实时。请点击此处下载此视频.
补充文件 1: 请点击此处下载此文件.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
视频跟踪协议的性能和代表性结果证实了其在动物行为领域应用研究中的有效性, 重点是被关押动物的社会调制和生理节律。动物检测的效率 (69%)和标签区分的准确性 (99.5%)再加上这里使用的目标物种的行为特征 (即运动率), 这个协议是长期实验试验 (例如, 几天和几周) 的完美解决方案。此外, 该协议还提供了一个基本优势, 即在开发和定制方面更易于使用, 并且速度更快, 而其他技术, 如自动学习算法和神经网络43。这里使用的跟踪技术代表了实验活动的最终改进, 该方法从稍有不同的方法44开始。
协议中的一个关键步骤是标记设计;应考虑的是, 其他标签设计的实现可以提高大津二值化的性能。例如, 此处报告的错误来源之一是标记中的黑色外部圆与白色内部几何形状之间的误检测 (请参见图 9 , 其中包含此错误的详细信息的二值化框架)。可以改进二值化过程, 在白色内部几何形状之外增加黑色圆圈的直径 (2-3 毫米), 或交换标签颜色 (白黑)。我们不考虑在试图纠正此错误时使用图像形态函数, 如侵蚀或扩张, 因为这些操作会修改标记的结构属性, 因此不可能保持脚本。总之, 建议将标签设计调整到目标动物物种的解剖结构。这将涉及根据新设计调整脚本阈值和结构属性。
图 9: 帧二值化错误的详细信息.红色圆圈显示龙虾和标签是如何被检测为唯一对象的。请点击这里查看此图的较大版本.
最相关的错误来源是漏诊 (外部和内部) 的检测。此处介绍的视频分析脚本无法跟踪仍处于或隐藏的个人超过100帧 (脚本保留为背景历史记录的帧数)。为了避免此问题, 我们存储了个人的最后一个位置, 直到再次被检测到。此参数可能会影响丢失固定或隐藏的动物的结果。在使用这一协议时, 必须考虑到这一事实, 因为这些物种的移动速度与这里为龙虾显示的物种不同。视频帧速率和分析脚本应根据其特定行为进行修改和调整。
一个主要的挑战是获得单色蓝色 (472 纳米) 和红外 (850 nm) 照明, 以避免视网膜损伤的可能性, 并根据动物的栖息地调整光环境条件 23,45。因此, 录像中的颜色成分并不相关, 录像是以灰度进行的。该系统提出允许对不同的光周期进行编程, 并根据目标物种的特点修改照明系统, 改变 led 的光谱。在这里介绍的协议中, 另一个需要考虑的定制是目标动物的运动速度。对于这种特殊情况, 所使用的帧速率为每秒1帧, 产生的视频文件长度约为 1小时, 相当于实验记录的24小时。这两个自定义 (灰度和帧速率) 使我们能够获得尺寸更小的视频文件, 这些文件易于使用, 并减少了存储容量和机器跟踪时间。
所述方法的一个局限性是, 它只在这里介绍的物种中进行了测试;但是, 在将这一议定书适用于允许携带识别标签的其他物种方面没有具体的理由。另一个重大的限制是, 该协议不适合跟踪动物附录 (如切莱奥) 的运动。例如, 去足类甲壳类动物利用切拉运动来显示在康特中的优势。未来的实施旨在改进这方面的工作。
拟议的协议类似于以前现有的商业软件46和已发布的方法 swistrack 和 id投递器7,47。商业软件46使用背景减法来检测动物, 类似于这里介绍的脚本。虽然它涵盖了更广泛的应用范围, 但它是使用商业解释的程序语言48编程的, 这不是开源解决方案, 而且经济上成本很高。SwisTrack 47方法使用 opencv19库, 类似于此处介绍的方法。不过, 它是用 C++ 编码的。我们使用了 Python 代码, 它通常更容易适应每个环境的特殊需要。Id情报 Acker7是一种在商业解释的程序语言48中编码的强方法, 但针对的是非标记动物应用程序。当动物被长期遮挡时, 跟踪的正确结果可能会受到影响, 就像在这里介绍的实验条件中发生的那样。这里提出的方法独立处理每个框架, 不受动物以前轨迹的影响。因此, 特定帧中的错误不会传播到将来的帧。这一事实在这个应用程序中是相关的, 但也限制了这里介绍的方法对一组特定的动物 (那些允许手动标记的动物)。
另一个需要考虑的方面是, 我们在协议的开发过程中使用了自由软件, 包括视频分析脚本生成的数据的后处理和存储, 以及用于控制照明系统的代码。处理后的数据存储在一个免费的关系数据库系统 (MySQL) 中。这些处理的数据可以根据所需的格式通过标准查询语言 (SQL) 中的查询获得。读者可以修改和调整建议的开放代码, 并自由地根据特定需求对其进行调整。
关于方法毒性, 唯一微妙的步骤是将标签粘在动物身上。我们使用氰基丙烯酸酯胶, 因为它的低毒性, 其广泛的医疗用途49, 它在水族馆广泛使用, 以碎裂珊瑚和固定碎片与胶水 50.对其使用的主要担忧是对人类的蒸汽毒性。我们把博览会减少到最低限度。卫生与安全执行委员会和美国国家毒理学方案得出的结论是, 使用氰基丙烯酸乙酯是安全的51。
该协议的未来应用是自动检测洞穴甲壳类动物的其他行为 (如战斗、洞穴优势)。我们还计划改进算法, 以获得实时视频分析, 并使用卷积神经网络52来改进动物检测。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
作者没有什么可透露的。
Acknowledgments
作者感谢为出版这项工作提供资金的 Joan B. company。此外, 作者还感谢巴塞罗那海洋科学研究所 (ICM-CSIC) 实验水族馆区的技术人员在实验工作中提供的帮助。
这项工作得到了 RITFIM 项目 (CTM2010-16274; 首席调查员: J. aguzzi) 的支持, 以及西班牙经济和竞争力部设立的 TIN2015-66951-C2-2-r 赠款。
Materials
| Name | Company | Catalog Number | Comments |
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f = 6 mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500 x 700 x 300 mm3 | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6 m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12 V 300 W | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81 mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7 W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3 x 32 mm2 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12 Vin,+/-5 Vout 100 mA 1 W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued/Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C. CALTag: High Precision Fiducial Markers for Camera Calibration. Koch, R., Kolb, A., Rezk-salama, C. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- Welcome to Python.org. , https://www.python.org/ (2018).
- Bradski, G. OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L. Efficient Circular Thresholding. IEEE Transactions on Image Processing. 23 (3), 992-1001 (2014).
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. Geometry [Electronic Resource. , Springer Berlin Heidelberg:, Imprint: Springer. Berlin, Heidelberg. (2003).
- OpenCV Team Structural Analysis and Shape Descriptors - OpenCV 2.4.13.7 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=findcontours#void%20HuMoments(const%20Moments&%20m,%20OutputArray%20hu) (2018).
- Slabaugh, G. G. Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- www.FOURCC.org - Video Codecs and Pixel Formats. , https://www.fourcc.org/ (2018).
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- Structural Analysis and Shape Descriptors - OpenCV 2.4.13.6 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018).
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. New York. (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- Video tracking software | EthoVision XT. , https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018).
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- MATLAB - MathWorks. , https://www.mathworks.com/products/matlab.html (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. Methyl cyanoacrylate and ethyl cyanoacrylate. , World Health Organization. Geneva. (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , http://papers.nips.cc/paper/4824-imagenet-classification-w 1097-1105 (2012).
