Summary
Здесь мы представляем протокол к индивидуально отслеживать животных в течение длительного периода времени. Он использует компьютерное зрение методы для определения набора тегов вручную сконструированный с помощью группы омаров в качестве тематического исследования, одновременно предоставляя информацию о том, как дом, манипулировать и Марк омаров.
Abstract
Мы представляем протокола, связанных с видео отслеживания метод, основанный на вычитание фона и изображения бинаризация, что делает возможным проследить индивидуально cohoused животных. Мы проверили процедуры отслеживания с четырьмя cohoused омары Норвегия (Норвежский Омар) в условиях темноты свет на 5 дней. Омары индивидуально помечена. Экспериментальной установки и используемых методов отслеживания полностью основаны на с открытым исходным кодом. Сравнение результатов отслеживания с ручного обнаружения указывает, что омары были правильно обнаружено 69% времени. Среди правильно обнаруженных омары, их отдельные теги были правильно определены 89,5% времени. Учитывая частоту кадров, используемое в протоколе и скорость движения омаров производительность видео отслеживания имеет хорошее качество, и представитель результаты подтверждают действительность протокола в производстве ценных данных для нужд исследований (индивидуальные помещениях или двигательной активности шаблоны). Протокол, представленные здесь можно легко настроить и, следовательно, перенесены в другие виды, где отдельные отслеживания образцов в группе может быть ценным для ответа на вопросы исследования.
Introduction
В последние несколько лет автоматизированного отслеживания на основе образа предоставил высокоточные наборов данных, который может использоваться для изучения основных вопросов экологии и поведения дисциплин1. Эти наборы данных могут использоваться для количественного анализа поведения животных2,3. Однако каждое изображение методологии, используемой для отслеживания животных и поведение оценки имеет свои сильные стороны и ограничения. В протоколы на основе образа отслеживания, которые использовать пространственные данные из предыдущих кадров в фильме, для отслеживания животных4,5,6ошибки могут быть введены, когда крест пути двух животных. Эти ошибки обычно необратимого и распространяться через время. Несмотря на вычислительные достижения, которые уменьшают или почти устранения этой проблемы5,7эти методы по-прежнему нуждаются в однородных средах экспериментальных для точной идентификации животных и отслеживания.
Занятость знаков, которые могут быть однозначно идентифицированы в животных позволяет избежать этих ошибок и позволяет долгосрочного отслеживания соответствующих лиц. Широко используются маркеры (например, штрих-коды и Коды QR) существуют в промышленности и торговле и могут быть идентифицированы с помощью известной компьютерной техники видение, таких, как Расширенная реальность (например, ARTag.8) и калибровка камеры (например, CALTag9 ). Меткой животных ранее были использованы для высокой пропускной способности поведенческие исследования в различных видов животных, для например, муравьи3 или10пчел, но некоторые из этих предыдущих систем не оптимизированы для признания изолированных теги3.
Протокол отслеживания, представленных в настоящем документе особенно подходит для отслеживания животных в один одноканальной изображений, например, инфракрасный (ИК) света или монохроматического света (в частности, мы используем синий свет). Таким образом, метод, разработанный не использовать цвет подсказки, будучи также применимы к другим где есть ограничения в освещении. Кроме того мы используем настраиваемые теги, так как не призваны нарушить омары и, в то же время, позволяют записи с камер лоу кост. Кроме того, метод, используемый здесь основан на метку кадра независимые обнаружения (т.е.., алгоритм распознает наличие каждого тега изображения независимо от предыдущих траектории). Эта функция имеет отношение в приложениях, где животные могут быть временно закрыта, или животных траекторий могут пересекаться.
Тег позволяет его использование в различных групп животных. После задания параметров метода, может передаваться для решения других животных отслеживания проблем без необходимости для подготовки конкретных классификатор (других ракообразных или брюхоногие моллюски). Основные ограничения экспорта протокол являются размер тега и потребность в привязанности к животным (что делает его не пригодным для мелких насекомых, как мухи, пчел и т.д.) и 2D предположение для движения животных. Это ограничение является значительным, учитывая, что предложенный метод предполагает, что размер тегов остается неизменным. Свободно перемещаться в 3D-среде (например, рыба) животное будет показать другой тег размеры в зависимости от расстояния до камеры.
Цель настоящего Протокола заключается в том, предоставить удобный методологии для отслеживания несколькими тегами животных в течение длительного периода времени (например, дней или недель) в 2D контексте. Методологический подход основан на использовании открытым исходным кодом программного и аппаратного обеспечения. Свободное и открытое программное обеспечение позволяет, адаптации, модификации и свободное распространение; Таким образом созданного программного обеспечения улучшает на каждом шаге11,12.
Протокол здесь представлены фокусируется на лаборатории для отслеживания и оценки двигательной активности четырех водных животных в танк на 5 дней. Видео файлы записываются с покадровой образа 1 s и компилируются в видео 20 кадров в секунду (1 зарегистрированных день занимает примерно 1 час видео). Все видео записи автоматически обработанному получить животных позиции, применяя компьютера видение методы и алгоритмы. Протокол позволяет получать большое количество данных, избегая их ручной заметки, которое было показано время трудоемких и трудоемкий в предыдущих экспериментальных работ13отслеживания.
Мы используем омаров Норвегия (Норвежский Омар) для представления тематических исследований; Таким образом мы предоставляем вегетационных лабораторных условиях их поддерживать. Омаров выполняют хорошо изученных нору появление ритмы, которые находятся под контролем суточного часов14,15, и когда cohoused, они формируют доминирование иерархии16,17. Следовательно модель, представленная здесь является хорошим примером для исследователей, заинтересованных в социальной модуляции поведения с особым упором на циркадные ритмы.
Здесь представлены методология легко воспроизводится и может быть применен к другим видам, если есть возможность различать животных с отдельных тегов. Минимальные требования для воспроизведения такого подхода в лаборатории являются (i) изотермический номера для экспериментальной установки; (ii) непрерывной подачи воды; (iii) механизмы контроля температуры воды; (iv система управления освещением; (v) камеру USB и стандартный компьютер.
В этом протоколе мы используем Python18 и OpenCV19 (открытого исходного компьютера видение библиотека). Мы полагаемся на быстрые и часто применяемых операций (как с точки зрения осуществления и исполнения), таких как вычитание фона20 и изображения21,-порог22.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Видов, используемых в настоящем исследовании не находится под угрозой или охраняемых видов. Отбор проб и лабораторные эксперименты после испанского законодательства и внутренних институциональных (ICM-CSIC) правила, касающиеся благополучия животных. Животных проб был проведен с разрешения местного органа власти (региональное правительство Каталонии).
1. животных обслуживание и выборки
Примечание: Следующий протокол основан на предположении, что исследователи могут отведать н. Омар в поле во время ночи, чтобы избежать повреждения фоторецепторов23. Следует избегать н. Омар подвергаются воздействию солнечного света. После выборки, омары должны быть размещены в адаптационного фонда, похожую на ту, сообщил ранее17,24, с непрерывный поток охлажденных морской воды (13 ° C). Животных, используемых в настоящем исследовании мужчин в intermoult состоянии с длиной головогрудь 43.92 ± (CL; среднее ± SD) 2.08 мм (N = 4).
- Держите людей в изолированных отсеков, чтобы избежать повреждений из-за индивидуальных боев (см. Рисунок 1a-d).
- Кормите их около 3 x в неделю в случайные моменты времени не мешать циркадные ритмы.
Примечание: В этом эксперименте мидии (около 4 грамм омаров) были использованы в качестве пищи. Мидии были приобретены у поставщиков замороженных продуктов и были пригодны для потребления человеком. - Использовать синий свет (425-515 нм) для имитации свет часов согласно спектральная чувствительность видов25 и экологических условий на 400 м глубокой26 (см. рис. 1 c,d).
Примечание: Объект, используемый здесь имеет вертикальный потолок два синих (478 Нм) люминесцентные лампы, которые произведены интенсивность света 12 lx на 1 м расстояние от ламп. Смотрите Рисунок 1a потолочными светильниками позиции и Таблица материалов для производителя и технической лампы характеристики. - Отрегулируйте фотопериода адаптационного фонда до 12/12 часов света/темноте или имитировать естественный фотопериода местных широты.
- Регулировать температуру объекта до 13 ° C и монитор 2 x в день для проверки температуры приточных морской воды составляет около 13 ° C (см. Рисунок 1e).
- Регулировать приток морской воды в размере около 4 Л/мин для поддержания хорошей оксигенации.
Примечание: Морская вода циркулирует в открытой цепи (используются не дополнительные насосы и фильтры). Подача воды зависит от услуг завод основной аквариум.
Рисунок 1 : Вид адаптационного фонда. () танк полки. (А1) Вход с морской водой. (А2) Люминесцентные светильники. (b) подробно синий свет освещение. (c) подробно животных клеток. (d) деталь изолированного объекта управления. (e) температуры настройки одного из входов. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
2. тег строительство
Примечание: Тег, используемый здесь можно изменить согласно характеристики целевой животного или других конкретных соображений.
- Вырежьте четыре круги диаметром от черный пластиковый лист 40 мм.
- Вырежьте из белого ПВХ пластиковый лист двух равносторонних треугольников с сторонами 26 мм.
- Вырежьте из белого ПВХ пластики листовые двух кругов диаметром 26 мм.
- Марк центр белые треугольники и круги и сделать отверстие диаметром 10 мм в нем.
- Клей четыре белые фигуры в центре четыре черные круги.
Рисунок 2 : Четыре теги, используемые для индивидуальной маркировки омаров. Круг, круг отверстие, треугольник, треугольник отверстие. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
3. Экспериментальная установка
Примечание: Предполагается, что экспериментальные Арена в независимой экспериментальной камеры от, но в непосредственной близости от адаптационного фонда.
- Создан экспериментальный камеры, где температура воздуха можно контролировать и поддерживать при той же температуре, как морской экспериментальный арене.
-
Измените стекловолокна танк (1500 x 700 x 300 мм) для использования в качестве экспериментальной Арена. Добавьте четыре норы, используя гибкие трубы из ПВХ в нижней части бака и пряника песка на поверхности, где омары должны двигаться (рис. 3b-e). Для более подробной информации см.17,27.
- Предоставить экспериментальной Арена погружные синие светодиоды (472 Нм, имитируя свет часов) и ИК-светодиодов (850 нм, темное) (см. также рис. 3a)17,24.
Примечание: Светодиодный свет используется из-за его низкого теплового воздействия и доступность использования электронного управления и свободного оборудования. Изолированного объекта с температурой окружающей среды и морской водой 13 ± 0,5 ° C было использовано. - Всегда держите включен ИК-светодиодов.
Примечание: ИК необходима для видео запись в темное время суток и в условиях освещения. Это не необходимо выключить его. - Подключите синий светодиод с аппаратом для управления фотопериода. Просмотреть предложения в Таблице материалови для получения более подробной информации, обратитесь к Sbragaglia et al. 17 (также показано на рисунке 3a).
Примечание: Освещение в автоматизированных видео или изображение анализа является решающим фактором. Регулярное освещение без тени всей арене, избегая воды поверхности размышления облегчает анализ изображений или заднего видео. В контексте этого протокола были использованы только 12/12 свет/темноте условия. Свет и тьма были постепенно достигается в течение 30 мин, и свет контроллер скрипт добавляется в качестве дополнительных файлов 1. - Место входе охлажденной морской водой в одном углу бака и соответствующие розетки в противоположном углу.
- Регулировать ввода морской воды при скорости потока около 4 Л/мин.
- Окружают бак с черный занавес для того, чтобы обеспечить полную изоляцию от других света (рис. 3a).
- Предоставить экспериментальной Арена погружные синие светодиоды (472 Нм, имитируя свет часов) и ИК-светодиодов (850 нм, темное) (см. также рис. 3a)17,24.
- Место штатив, к которому веб-камера крепится к стороне экспериментальных Арена и позиция видео камеры выше (130 см) и в центре арены экспериментальной (75 x 32,5 см (см. рис. 3а).
- Проверить, является ли видео камеры в центре позиции (см. шаг 3.3) чтобы убедиться, он не был перемещен недобровольно.
-
Подключите веб-камеру к компьютеру, который находится за пределами занавес (рис. 3a).
- Установите программное обеспечение для управления покадровой записи с камеры видео.
Примечание: Покадровой записи зависит от скорости движения видов. Кроме того см. Таблицу материалов для камеры, fisheye объектив, PC и характеристики программного обеспечения и производителей, используемых здесь. - Настройка параметров видеозаписи в зависимости от характеристик видов.
Примечание: Учитывая уровень мобильности н. Омарпокадровой записи 1 s был использован здесь, и видео был сохранен каждые 24 ч. - Убедитесь в том создать отметка (включая дату) в покадровой видео (как это может помочь для будущего ручная биговка поведения).
- Установите программное обеспечение для управления покадровой записи с камеры видео.
Рисунок 3 : Экспериментальная установка. () диаграмма Ассамблеи экспериментального танка и видео приобретения. (b) общий вид экспериментального танка. (c) снизу вид экспериментального танка, указывающее искусственных норах. (d) сверху вид, показаны в нижней части экспериментального танка. (e) детали одного из входов нору. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
4. экспериментальный суд и животных подготовка
Примечание: Все шаги с животных должно быть сделано в адаптационного фонда и в условиях красный свет согласно спектральная чувствительность в Норвегии омаров25. При перемещении животных между адаптационного и экспериментальный центр, Избегайте любого воздействия омаров к свету, используя непрозрачный черный мешок для покрытия Набегу.
- Подготовить Набегу ранее разделены на четыре затопленных отсеков с водой около 7 ° c.
- Подготовка четырех Теги ранее построенных и быстрый клей, как Цианакрилатный.
- Подготовьте лотку с дробленым льдом.
- Выберите четыре омары, чтобы быть помечены в адаптационного фонда и положить каждый из них в отсеке Набегу.
-
Подождите 30 минут и затем запустите процесс пометки.
- Возьмите омаров и положил его на дробленый лед за 5 мин для иммобилизации его и облегчить тегов операции.
- Сухой верхней частью головогрудь омаров с адсорбционной бумаги и положить капли быстро клея на ней.
- Поместите тег горизонтально на вершине головогрудь животного, при контакте с клеем, и ждать достаточно времени для того чтобы затвердеть (около 20 s).
- Вернуть его отсека в Набегу омаров и продолжить с тремя другими животными таким же образом.
- Положить омаров обратно в камере, где они были ранее и ждать 24 h чтобы убедиться, что тег должным образом наклеивается на.
- Передать омаров из адаптационного фонда экспериментальной камеры, используя же Набегу, который был использован для пометки процедуры.
- Запуск записи видео и подождать 5 мин до введения тегами омаров. Получите изображение усредненной фона от первоначальных 100 кадров.
Примечание: Ожидания не менее 1 мин является обязательным для получения фона рамки без тегами омары; они необходимы для обработки видео. - Ввести животных поочередно в эксперименты танк внутри их соответствующих отсека, сохраняя воды в нем.
- Ждать их выйти; Если они не выходят, помочь им слегка наклоняя отсеке. Смотрите Рисунок 4 в качестве примера животных внутри бака в экспериментальных условиях.
Рисунок 4 : Raw видеокадра. Пример представителя кадра от одного из покадровой видео собраны в ходе экспериментов. В правом верхнем углу мы показать отметку времени с даты, времени и кадров. Обратите внимание на различия в бак освещения в нижнем углу изображения. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
5. видео анализ сценария
-
Выполните анализ после завершения эксперимента.
- Запуск компьютера видение сценарий для анализа видео.
- Запуск Java-программы для вычисления позиции и пройденная, омары и вставьте данные в базе данных.
Примечание: Эта программа является алгоритм Евклида на основе расстояния28. - Запуск сценария SQL для сегментирования данных как желаемый временной интервал (ex. 10 мин).
6. Компьютерное зрение сценарий для анализа видео
Примечание: Сценарий избегает коррекция рыбий глаз изображения, потому что он не представит соответствующую ошибку в экспериментальной установки. Тем не менее это можно исправить это с OpenCV камеры калибровка функции29 на основе вектора и матрицы вращения методы30,31.
- Выберите язык программы18 Python.
- Выберите OpenCV19 изображений и обработки видео библиотека.
- Загрузите видео.
Примечание: Видео форматы AVI или . в этом эксперименте использовались MP4, но это не является обязательным. Это зависит от кодеков FourCC32 , установленных в операционной системе. -
Выполните следующие шаги для каждого кадра Fi в видео.
- Вычитание фона20B (в среднем 100 последних кадров, полученных из шага 4.6) из текущего кадра Fiи обновить фоновое изображение B как Интернет. Используйте функцию BackgroundSubtractorMOG2 из библиотеки OpenCV19 (см. сценарии в дополнительный файл 2).
- Определите набор областей интереса (ROI) R от пикселей с соответствующим движением обозначается subtractor фон. Используйте метод применяется с BackgroundSubtractorMOG2 в библиотеку OpenCV19 (см. сценарии в дополнительный файл 2). В наборе включают животных обнаружений от предыдущего кадра, принимать во внимание движущееся животных.
- Выполните следующие шаги для каждого ROI ри
- Примените функцию разбавить и вычислить контуры33 ROI ри. Используйте функции расширяются и findContours из библиотеки OpenCV19 (см. сценарии в дополнительный файл 2).
- Вычислите Халл площадь34Привет в количество пикселей. Используйте функцию convexHull из библиотеки OpenCV19 (см. сценарии в дополнительный файл 2).
- Вычислить радиус35ри ROI ри. Используйте функцию minEnclosingCircle из библиотеки OpenCV19 (см. сценарии в дополнительный файл 2).
- Вычислите прочность Си ROI ри. Прочность — это отношение области контура (полученные на шаге 6.4.3.1) для его выпуклой области (полученные на шаге 6.4.3.2) ри.
- Вычислите пропорции АИ ROI ри. Отношение сторон — это отношение между шириной и высотой ри-ограничивающего прямоугольника. Ограничивающий прямоугольник вычисляется с помощью функции boundingRect из библиотеки OpenCV19 .
- Выберите сокращенный набор ROIs как кандидат содержать животных, изменив свойства для области корпуса, радиуса, солидность и пропорции.
- Проверьте, если Привет меньше 500,0 или больше, чем 100000.0. Если да, отказаться от ROI ри. В противном случае держите ри кандидатом ROI для животных месте.
- Проверьте, если ри меньше 40,0. Если да, отказаться от ROI ри. В противном случае держите ри кандидатом ROI для животных месте.
- Проверьте, если Си меньше -4.0 отбросить ROI ри. В противном случае держите ри кандидатом ROI для животных месте.
- Проверьте, если ии меньше 0,15 или больше, чем 4.0. Это так, отбросить ROI ри. В противном случае держите ри кандидатом ROI для животных месте.
Примечание: Использование ROIs затраты вычислительных, сосредоточив внимание Поиск тегов области тела животного. Животных обнаружений из предыдущих кадров включены избежать неправильный обнаружений, когда животные не двигается.
- Анализируйте животное трансформирования для определения идентичности тег. Выполните следующие шаги для каждого ROI ри и для каждой внутренней ROI Пиде и извлеките внутренний ROIs P.
- Бинаризация полутоновое Пи с использованием алгоритма Бинаризация 36 Оцу.
- Вычислите контуры33 Pi, как шаг 6.4.3.1.
- Вычислите Халл площадь34Привет и пропорции ии, как шаги 6.4.3.2 и 6.4.3.5.
- Вычислите форму моменты37,38ми Пи. Используйте функцию моменты из библиотеки OpenCV19 (см. сценарии в дополнительный файл 2).
- Выберите сокращенный набор ROIs как кандидат содержать теги, используя следующие критерии.
- Проверьте, если Привет меньше 150.0 или больше, чем 500.0. Если да, отказаться от ROI Pi. В противном случае сохранить Пи кандидатом ROI для тега расположения.
- Проверьте, если ии меньше 0,5 или больше, чем 1.5. Если да, отказаться от ROI Pi. В противном случае сохранить Пи кандидатом ROI для животных месте.
- Проверьте, если ми больше 0,3. Если да, отказаться от ROI Pi. В противном случае сохранить Пи кандидатом ROI для животных месте.
- Классифицируйте тег ROIs. Приблизительный многоугольника39 , с помощью функции19 OpenCV38 для каждого выбранного ROI Pi19.
- Проверьте, если есть ровно три вершины в приближенная полигона; Назначьте тег класса треугольник . В противном случае назначьте класса circle тег региона.
Примечание: Приближенная многоугольник хранится с использованием матрицы с вершины. - Проверьте центрального пиксела ROI Pi. Если это черный пиксел, присвойте классу грохота Pi . В противном случае назначьте Pi белого класса.
Примечание: Центр формы выводится из моментов, рассчитанные на шаге 6.4.5.4. Поиск черных точек в районе 4-пиксель радиусом вокруг центра.
- Проверьте, если есть ровно три вершины в приближенная полигона; Назначьте тег класса треугольник . В противном случае назначьте класса circle тег региона.
- Сохранить данные кадра: кадр даты, сроки, формы класса x центр фигуры и y центр формы координаты.
- Продолжать с следующий кадр или завершить процесс. Смотрите Рисунок 5 ниже как визуальный пример рабочих шагов скрипта и смотреть видео 1 в качестве примера сценария функционирования.
Рисунок 5 : Соответствующие шаги обработки видео script. (1) оценить движение вычитание фона над среднее последние 100 кадров. (2) результат работы алгоритма вычитание фона. (3) Apply разбавить морфологические операции в белый обнаружены районы. (4) применить исправление, статические, главный ROI; Желтый многоугольник соответствует области дна бака. (5) рассчитать контуры для каждого региона белый обнаружены в основной ROI и выполните структурный анализ для каждого обнаруженного контур. (6) проверьте значения структурных свойств, а затем выберите второго уровня рентабельности кандидатов. (7) бинаризации раме с помощью алгоритма Бинаризация Оцу; Скрипт работает только с второго уровня ROIs. (8) для каждого binarized второго уровня рентабельности, вычислить контуры белый регионов и выполните структурный анализ для каждого обнаружено контур. (9) проверить структурное свойство значения и затем выбирает внутренних кандидатов ROI. (10) для каждого контура в внутреннего кандидата ROI, рассчитать моменты дескрипторы. (11) проверить, если обнаружены формы матчи с моделью форму и приблизительное многоугольник для лучших кандидатов матче. (12) проверить количество вершин многоугольника приблизительные и определяют геометрические фигуры: круг или треугольник. Центр (13) рассчитать рисунок и проверить, если черные пикселы; Если да, то фигура отверстиями. (14) визуальный результат после анализа кадров. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Мы вручную построили подмножество экспериментальных данных для проверки автоматического анализа видео. Размер выборки 1,308 фреймов с уровнем доверия 99% (что является мерой безопасности, которая показывает ли образец точно отражает населения, в рамках ее погрешность) и погрешность 4% (который является процент, который описывает, как близко ответ дал образца является реальной стоимости в населения) был случайным, и была выполнена вручную аннотации правильной идентификации трансформирования и правильной идентификации тега в пределах каждой ROI. Обратите внимание, что один кадр может содержать переменное количество ROIs в течение неопределенного круга, потому что некоторые омары могут быть скрыты внутри норы или один ROI содержит два или более животных или ложных срабатываний.
Общее количество животных в рамках 1,308 был 3,852 (вручную аннотированный трансформирования). Метод показал 3354 животных обнаружений. В общей сложности 701 (21%) Эти обнаружений были ложных срабатываний (то есть, количество трансформирования, где Омар был смущен с фоном). Из общего числа животных подсчитано, 2 653 обнаружений (79%) были правильно сопоставления (т.е.., количество раз, классификатор правильно признала присутствие омаров в обнаруженных регионах; см. также Рисунок 6a, b). В отношении всего 3,852 трансформирования в рамках 1308 сценарий обнаруживает 69% лиц.
Что касается обнаружения тега сценарий выявил 2,353 ROI кандидатов как теги (89% 2 653 обнаруженных регионов с животными). Классификатор успешно определены как класса тег 1,808 этих тегов (в котором кандидат классифицируется как круг, треугольник, отверстиями круг или треугольник отверстиями) и пропустил 545 случаев (23% 2,353 ROI кандидатов для тега). Тег классификации, 1619 связаны правильно определены (89,5%, рис. 6f). Только 70 Теги где ошибочно классифицированных (3,8% ошибок, Рисунок 6e) и остальные 119 (6,6%) соответствует ложных срабатываний (внутренние трансформирования, определены как тег, который соответствует части животных, таких как когти; Рисунок 6 d).
Рисунок 6 : Представитель просмотров от рамы, показаны наиболее распространенных экспериментальных ситуаций во время анализа видео. () неправильно животных обнаружения, Фоновая область обнаружения. (b) животное я. Два животные близко друг к другу и обнаружен только один. (c) форму я. Животное это обнаруженных (синий прямоугольник), но не обнаруживается тег. (d) подделка формы обнаружения. Две фигуры будут обнаружены, и один коготь. (e) неправильной классификации фигуры. Треугольник классифицируется как треугольник отверстие. (f) идеал ситуации. Все животные будут обнаружены, и правильно определены Теги. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
После завершения анализа видео, полученные позиции (X, Y) данные могут использоваться для оценки различных поведенческих моделей омаров. Например, мы нанесены помещениях карты с помощью оценки плотности двумерных ядра с ось выравниванный двумерного нормального ядра, оцениваются на квадратную сетку41,42 с наилучшей производительностью автоматизированы оценкам статистический алгоритм. Выше представляет интенсивность цвета области были, что омары провел более высокий процент своего времени (рис. 7). Видео 2 дает визуальный пример отслеживания животных.
Еще одним примером представлены повседневной деятельности ритмы омары, как миллиметров и распространяется на 10 мин сегментирования интервалы времени (рис. 8). Мы удалили данные, соответствующие в первые 24 ч эксперимента, который соответствует процесса экологической адаптации животных.
Рисунок 7 : Карта размещение. Диаграмма показывает только площади танк нижней области животных перемещения (см. Желтый многоугольник на рис. 6). Области были разные теги омаров, провел больше времени появляются цветные; более высокую интенсивность цвета означает больше времени пребывания. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Рисунок 8 : Ежедневная активность ритмы омары как миллиметров и покрыты промежутки времени 10 мин сегментирования. Серые полосы указывают часы тьмы в свет 12/12/тьмы, время заката начиная с 07: 00 и время восхода, начиная с 19.00 пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Видео 1: рабочего стола запись пример работает видео-анализа script. Видео показывает в 2 мин и 27 s 1 h реального времени кадры (3,625 кадров). Обратите внимание, что в то время как запись делается не ошибка накопления для животных и тег misdetections и неизвестные события. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Видео 2: видео животного, отслеживания после анализа опорно. Мы использовали X, Y координаты пикселя изображения полученные из анализа видео и хранить их в базу данных, чтобы рисовать животных трек в записанных видео как пример видео анализ сценария. Чем дольше трек, тем быстрее животное движется, и путешествовал больше расстояние. В данном случае, 30 s видео соответствует 12 минут реального времени. Пожалуйста, нажмите здесь, чтобы загрузить это видео.
Дополнительный файл 1: Пожалуйста, нажмите здесь, чтобы загрузить этот файл.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Производительность и представитель результаты, полученные с протоколом видео отслеживания подтвердил свою ценностьь для прикладных исследований в области поведения животных, с уделением особого внимания социальной модуляции и циркадные ритмы cohoused животных. Эффективность обнаружения животных (69%) и точность тег дискриминации (89,5%) в сочетании с поведенческими характеристиками (т.е. скорость движения) целевых видов, используемых здесь предполагают, что этот протокол является идеальным решением для долгосрочных экспериментальных испытаний (например, дни и недели). Кроме того протокол предоставляет основное преимущество простой в использовании и быстрее в своем развитии и настройки относительно других методов, таких как алгоритмы автоматического обучения и нейронных сетей43. Методы отслеживания, используемый здесь представляют собой окончательные уточнения экспериментальная деятельность начал с несколько иной подход44.
Важнейшим шагом в протоколе является тег дизайн; следует считать, что осуществление других конструкций тег может улучшить производительность бинаризации Оцу. Например, один из источников ошибок сообщили здесь я между черным вне круга в теге и белый внутренней геометрической формы (см. Рисунок 9 с binarized рамкой с детали этой ошибки). Это позволяет улучшить процесс бинаризации, увеличение диаметра (2-3 мм) черный круг вне белый внутренней геометрические формы, или замены тегов цвета (белый/черный). Мы не рассматриваем использование изображения морфологических функции как подорвать или расширяются при попытке исправить эту ошибку, учитывая, что эти операции изменения структурных свойств тега образы, будучи, таким образом, не представляется возможным сохранить пороговые значения сценарий. В заключение рекомендуется адаптировать дизайн тег для целевых видов животных анатомии. Это предполагает корректировкой сценария пороговые значения и структурные свойства согласно новый дизайн.
Рисунок 9 : Деталь рамы бинаризации ошибок. Красный круг показывает, как омары и теги обнаруживаются как уникальный объект. Пожалуйста, нажмите здесь, чтобы посмотреть большую версию этой фигуры.
Наиболее подходящим источником ошибок был пропущенных обнаружения трансформирования (как внешних, так и внутренней). Видео анализа сценария, представленные здесь не может отслеживать лиц, которые по-прежнему или скрытые в течение более чем 100 кадров (количество кадров, которые сохраняют сценарий как история История). Чтобы избежать проблем с этим, мы хранится последнюю позицию личности до тех пор, пока он обнаружен снова. Этот параметр может повлиять на результаты пропавших без вести неподвижным или скрытых животных. Этот факт необходимо учитывать при использовании этого протокола с видами, показаны различные мобильности ставки, чем те, которые представлены здесь для омаров. Кадра видео курс и анализа сценария следует изменить и приспособлены к видов, используемых согласно его конкретное поведение.
Одна из основных задач заключалась в получении монохромный синий (472 Нм) и ИК (850 нм) освещение, чтобы избежать возможности повреждения сетчатки и отрегулировать света экологических условий для животного Хабитат23,45. Таким образом компонент цвета в записи видео не является актуальной и видеозаписи были исполнены в оттенках серого. Система предлагает позволяет программы различных периодов времени света и изменяет системой освещения по характеристикам целевых видов, изменение привело светового спектра. Другая настройка для рассмотрения в протоколе, представленные здесь является скорость движения целевой животного. На данном конкретном случае, используется частота кадров был 1 кадра в секунду, производство видео файлов около 1 ч длина соответствует 24 h экспериментальной записи. Эти две настройки (оттенки серого и частоты кадров) позволили нам получить видео файлы с уменьшенного размера, которые было легко работать с и сократили объем хранения и машина времени для отслеживания.
Ограничением описан метод является, что он был проверен только с видами, представленные здесь; Однако есть без конкретных причин, о применении настоящего Протокола на другие виды, которые позволяют проведение идентификации метки. Еще одним значительным ограничением является протокол не подходит для отслеживания движения животных приложения (например, chelae). К примеру десятиногих ракообразных использовать chelae движений для отображения доминирование среди сородичами. Будущих реализаций нацелены на улучшение этот аспект.
Предлагаемый протокол напоминает предыдущие существующих коммерческого программного обеспечения46 и опубликованные методы SwisTrack и idTracker7,47. Коммерческое программное обеспечение46 использует вычитание фона для обнаружения животных, аналогичные сценарии, представленные здесь. Хотя она охватывает более широкий спектр приложений, он запрограммирован, используя коммерчески интерпретируемая программа язык48, который не является открытым исходным кодом и экономически дорогостоящим. Метод SwisTrack47 использует библиотеку OpenCV19 , аналогично представленный здесь подход. Тем не менее он кодируется в C++. Мы использовали Python кода, который обычно легче адаптироваться к конкретным потребностям каждой среды. IdTracker7 — это сильный подход, закодированная в коммерчески интерпретируемая программа язык48 , но цели nonmarked животных приложений. Правильные результаты отслеживания может быть нарушена, когда животные закрыта для длительного периода времени, как это происходит в экспериментальных условиях, представленные здесь. Метод здесь представлены процессы каждый кадр самостоятельно и не зависит от предыдущих траектории животного. Таким образом ошибка в определенном кадре не распространяются на будущих кадров. Этот факт является актуальным в этом приложении, но также ограничения метода представленные здесь к определенному набору животных (те, которые позволяют вручную тегов).
Еще один аспект для рассмотрения является, что мы использовали бесплатное программное обеспечение в ходе разработки протокола, включая постобработка и хранения данных, генерируемых видео анализ сценария, а также код, используемый для управления системой освещения. Обработанные данные хранятся в системе бесплатные реляционных баз данных (MySQL). Эти обработанные данные могут быть получены через запросы в стандартный язык запросов (SQL) согласно формату. Читатель может изменить и адаптировать предлагаемые открытого кода и свободно адаптировать его к конкретным потребностям.
Метода токсичность только тонкие шагом является приклеивание тега для животного. Мы использовали Цианакрилатный клей из-за его низкой токсичности, его широкого медицинского использования49и его широкое использование в аквариуме для fragging кораллов и фиксации фрагментов с клей50. Главной заботой о его использования является токсичность паров для людей. Мы сократили экспозиции до минимума. Здоровья и безопасности на всей территории отеля и в национальной программы токсикологии Соединенных Штатов пришли к выводу, что использование этилового Цианакрилатный является безопасной51.
Будущих приложений этого протокола являются Автоматизация обнаружения других поведений роющих ракообразных (например, бои, Доминирование нору). Мы также планируем улучшить алгоритм для получения видео анализ в реальном времени и использовать сверточных нейронных сетей52 для улучшения обнаружения животных.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Авторы не имеют ничего сообщать.
Acknowledgments
Авторы выражают благодарность д-р Джоан б. компании, которая финансируется издание этой работы. Кроме того Авторы благодарны техников экспериментальной аквариум зоны на Институт морских наук в Барселоне (ICM-CSIC) за их помощь в ходе экспериментальной работы.
Эта работа была поддержана проект RITFIM (CTM2010-16274; главный исследователь: J. Агусси) основали испанского министерства науки и инноваций (MICINN) и TIN2015-66951-C2-2-R грант от министерства экономики и конкурентоспособности Испании.
Materials
| Name | Company | Catalog Number | Comments |
| Tripod 475 | Manfrotto | A0673528 | Discontinued |
| Articulated Arm 143 | Manfrotto | D0057824 | Discontinued |
| Camera USB 2.0 uEye LE | iDS | UI-1545LE-M | https://en.ids-imaging.com/store/products/cameras/usb-2-0-cameras/ueye-le.html |
| Fish Eye Len C-mount f = 6 mm/F1.4 | Infaimon | Standard Optical | https://www.infaimon.com/es/estandar-6mm |
| Glass Fiber Tank 1500 x 700 x 300 mm3 | |||
| Black Felt Fabric | |||
| Wood Structure Tank | 5 Wood Strips 50x50x250 mm | ||
| Wood Structure Felt Fabric | 10 Wood Strips 25x25x250 mm | ||
| Stainless Steel Screws | As many as necessary for fix wood strips structures | ||
| PC | 2-cores CPU, 4GB RAM, 1 GB Graphics, 500 GB HD | ||
| External Storage HDD | 2 TB capacity desirable | ||
| iSPY Sotfware for Windows PC | iSPY | https://www.ispyconnect.com/download.aspx | |
| Zoneminder Software Linux PC | Zoneminder | https://zoneminder.com/ | |
| OpenCV 2.4.13.6 Library | OpenCV | https://opencv.org/ | |
| Python 2.4 | Python | https://www.python.org/ | |
| Camping Icebox | |||
| Plastic Tray | |||
| Cyanocrylate Gel | To glue tag’s | ||
| 1 black PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 1 white PVC plastic sheet (1 mm thickness) | Tag's construction | ||
| 4 Tag’s Ø 40 mm | Maked with black & white PVC plastic sheet | ||
| 3 m Blue Strid Led Ligts (480 nm) | Waterproof as desirable | ||
| 3 m IR Strid Led Ligts (850 nm) | Waterproof as desirable | ||
| 6 m Methacrylate Pipes Ø 15 mm | Enclosed Strid Led | ||
| 4 PVC Elbow 45o Ø 63 mm | Burrow construction | ||
| 3 m Flexible PVC Pipe Ø 63 mm | Burrow construction | ||
| 4 PVC Screwcap Ø 63 mm | Burrow construction | ||
| 4 O-ring Ø 63 mm | Burrow construction | ||
| 4 Female PVC socket glue / thread Ø 63 mm | Burrow construction | ||
| 10 m DC 12V Electric Cable | Light Control Mechanism | ||
| Ligt Power Supply DC 12 V 300 W | Light Control Mechanism | ||
| MOSFET, RFD14N05L, N-Canal, 14 A, 50 V, 3-Pin, IPAK (TO-251) | RS Components | 325-7580 | Light Control Mechanism |
| Diode, 1N4004-E3/54, 1A, 400V, DO-204AL, 2-Pines | RS Components | 628-9029 | Light Control Mechanism |
| Fuse Holder | RS Components | 336-7851 | Light Control Mechanism |
| 2 Way Power Terminal 3.81 mm | RS Components | 220-4658 | Light Control Mechanism |
| Capacitor 220 µF 200 V | RS Components | 440-6761 | Light Control Mechanism |
| Resistance 2K2 7 W | RS Components | 485-3038 | Light Control Mechanism |
| Fuse 6.3 x 32 mm2 3A | RS Components | 413-210 | Light Control Mechanism |
| Arduino Uno Atmel Atmega 328 MCU board | RS Components | 715-4081 | Light Control Mechanism |
| Prototipe Board CEM3,3 orific.,RE310S2 | RS Components | 728-8737 | Light Control Mechanism |
| DC/DC converter,12 Vin,+/-5 Vout 100 mA 1 W | RS Components | 689-5179 | Light Control Mechanism |
| 2 SERA T8 blue moonlight fluorescent bulb 36 watts | SERA | Discontinued/Light isolated facility |
References
- Dell, A. I., et al. Automated image-based tracking and its application in ecology. Trends in Ecology & Evolution. 29 (7), 417-428 (2014).
- Berman, G. J., Choi, D. M., Bialek, W., Shaevitz, J. W. Mapping the stereotyped behaviour of freely moving fruit flies. Journal of The Royal Society Interface. 11 (99), (2014).
- Mersch, D. P., Crespi, A., Keller, L. Tracking Individuals Shows Spatial Fidelity Is a Key Regulator of Ant Social Organization. Science. 340 (6136), 1090 (2013).
- Tyson, L. Hedrick Software techniques for two- and three-dimensional kinematic measurements of biological and biomimetic systems. Bioinspiration & Biomimetics. 3 (3), 034001 (2008).
- Branson, K., Robie, A. A., Bender, J., Perona, P., Dickinson, M. H. High-throughput ethomics in large groups of Drosophila. Nature Methods. 6 (6), 451-457 (2009).
- de Chaumont, F., et al. Computerized video analysis of social interactions in mice. Nature Methods. 9, 410 (2012).
- Pérez-Escudero, A., Vicente-Page, J., Hinz, R. C., Arganda, S., de Polavieja, G. G. idTracker: tracking individuals in a group by automatic identification of unmarked animals. Nature Methods. 11 (7), 743-748 (2014).
- Fiala, M. ARTag, a fiducial marker system using digital techniques. 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR’05). 2, 590-596 (2005).
- Koch, R., Kolb, A., Rezk-Salama, C. CALTag: High Precision Fiducial Markers for Camera Calibration. Koch, R., Kolb, A., Rezk-salama, C. , (2010).
- Crall, J. D., Gravish, N., Mountcastle, A. M., Combes, S. A. BEEtag: A Low-Cost, Image-Based Tracking System for the Study of Animal Behavior and Locomotion. PLOS ONE. 10 (9), e0136487 (2015).
- Charpentier, R. Free and Open Source Software: Overview and Preliminary Guidelines for the Government of Canada. Open Source Business Resource. , (2008).
- Crowston, K., Wei, K., Howison, J. Free/Libre Open Source Software Development: What We Know and What We Do Not Know. ACM Computing Surveys. 37, (2012).
- Edmonds, N. J., Riley, W. D., Maxwell, D. L. Predation by Pacifastacus leniusculus on the intra-gravel embryos and emerging fry of Salmo salar. Fisheries Management and Ecology. 18 (6), 521-524 (2011).
- Sbragaglia, V., et al. Identification, Characterization, and Diel Pattern of Expression of Canonical Clock Genes in Nephrops norvegicus (Crustacea: Decapoda) Eyestalk. PLOS ONE. 10 (11), e0141893 (2015).
- Sbragaglia, V., et al. Dusk but not dawn burrow emergence rhythms of Nephrops norvegicus (Crustacea: Decapoda). Scientia Marina. 77 (4), 641-647 (2013).
- Katoh, E., Sbragaglia, V., Aguzzi, J., Breithaupt, T. Sensory Biology and Behaviour of Nephrops norvegicus. Advances in Marine Biology. 64, 65-106 (2013).
- Sbragaglia, V., Leiva, D., Arias, A., Antonio García, J., Aguzzi, J., Breithaupt, T. Fighting over burrows: the emergence of dominance hierarchies in the Norway lobster (Nephrops norvegicus). The Journal of Experimental Biology. 220 (24), 4624-4633 (2017).
- Welcome to Python.org. , https://www.python.org/ (2018).
- Bradski, G. OpenCV Library. Dr. Dobb’s Journal of Software Tools. , (2000).
- Piccardi, M. Background subtraction techniques: a review. 2004 IEEE International Conference on Systems, Man and Cybernetics (IEEE Cat. No.04CH37583). 4, 3099-3104 (2004).
- Sankur, B. Survey over image thresholding techniques and quantitative performance evaluation. Journal of Electronic Imaging. 13 (1), 146 (2004).
- Lai, Y. K., Rosin, P. L.
- Gaten, E. Light‐induced damage to the dioptric apparatus of Nephrops norvegicus (L.) and the quantitative assessment of the damage. Marine Behaviour and Physiology. 13 (2), 169-183 (1988).
- Sbragaglia, V., et al. An automated multi-flume actograph for the study of behavioral rhythms of burrowing organisms. Journal of Experimental Marine Biology and Ecology. 446, 177-186 (2013).
- Johnson, M. L., Gaten, E., Shelton, P. M. J. Spectral sensitivities of five marine decapod crustaceans and a review of spectral sensitivity variation in relation to habitat. Journal of the Marine Biological Association of the United Kingdom. 82 (5), 835-842 (2002).
- Markager, S., Vincent, W. F. Spectral light attenuation and the absorption of UV and blue light in natural waters. Limnology and Oceanography. 45 (3), 642-650 (2000).
- Aguzzi, J., et al. A New Laboratory Radio Frequency Identification (RFID) System for Behavioural Tracking of Marine Organisms. Sensors. 11 (10), 9532-9548 (2011).
- Audin, M. Geometry [Electronic Resource. , Springer Berlin Heidelberg:, Imprint: Springer. Berlin, Heidelberg. (2003).
- OpenCV Team Structural Analysis and Shape Descriptors - OpenCV 2.4.13.7 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=findcontours#void%20HuMoments(const%20Moments&%20m,%20OutputArray%20hu) (2018).
- Slabaugh, G. G. Computing Euler angles from a rotation matrix. 7, (1999).
- Zhang, Z. A flexible new technique for camera calibration. IEEE Transactions on Pattern Analysis and Machine Intelligence. 22 (11), 1330-1334 (2000).
- www.FOURCC.org - Video Codecs and Pixel Formats. , https://www.fourcc.org/ (2018).
- Suzuki, S., be, K. Topological structural analysis of digitized binary images by border following. Computer Vision, Graphics, and Image Processing. 30 (1), 32-46 (1985).
- Sklansky, J. Finding the convex hull of a simple polygon. Pattern Recognition Letters. 1 (2), 79-83 (1982).
- Fitzgibbon, A., Fisher, R. A Buyer’s Guide to Conic Fitting. , 51.1-51.10 (1995).
- Otsu, N. A Threshold Selection Method from Gray-Level Histograms. IEEE Transactions on Systems, Man, and Cybernetics. 9 (1), 62-66 (1979).
- Hu, M. K. Visual pattern recognition by moment invariants. IRE Transactions on Information Theory. 8 (2), 179-187 (1962).
- Structural Analysis and Shape Descriptors - OpenCV 2.4.13.6 documentation. , https://docs.opencv.org/2.4/modules/imgproc/doc/structural_analysis_and_shape_descriptors.html?highlight=cvmatchshapes#humoments (2018).
- Douglas, D. H., Peucker, T. K. Algorithms for the Reduction of the Number of Points Required to Represent a Digitized Line or its Caricature. Cartographica: The International Journal for Geographic Information and Geovisualization. 10 (2), 112-122 (1973).
- Vanajakshi, B., Krishna, K. S. R. Classification of boundary and region shapes using Hu-moment invariants. Indian Journal of Computer Science and Engineering. 3, 386-393 (2012).
- Kahle, D., Wickham, H. ggmap : Spatial Visualization with ggplot2. The R Journal. , 144-162 (2013).
- Venables, W. N., Ripley, B. D. Modern Applied Statistics with S. , Springer. New York. (2010).
- Abbas, Q., Ibrahim, M. E. A., Jaffar, M. A. A comprehensive review of recent advances on deep vision systems. Artificial Intelligence Review. , (2018).
- Menesatti, P., Aguzzi, J., Costa, C., García, J. A., Sardà, F. A new morphometric implemented video-image analysis protocol for the study of social modulation in activity rhythms of marine organisms. Journal of Neuroscience Methods. 184 (1), 161-168 (2009).
- Chapman, C. J., Shelton, P. M. J., Shanks, A. M., Gaten, E. Survival and growth of the Norway lobster Nephrops norvegicus in relation to light-induced eye damage. Marine Biology. 136 (2), 233-241 (2000).
- Video tracking software | EthoVision XT. , https://www.noldus.com/animal-behavior-research/products/ethovision-xt (2018).
- Correll, N., Sempo, G., Meneses, Y. L. D., Halloy, J., Deneubourg, J., Martinoli, A. SwisTrack: A Tracking Tool for Multi-Unit Robotic and Biological Systems. 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems. , 2185-2191 (2006).
- MATLAB - MathWorks. , https://www.mathworks.com/products/matlab.html (2018).
- Leggat, P. A., Smith, D. R., Kedjarune, U. Surgical Applications of Cyanoacrylate Adhesives: A Review of Toxicity. ANZ Journal of Surgery. 77 (4), 209-213 (2007).
- Dizon, R. M., Edwards, A. J., Gomez, E. D. Comparison of three types of adhesives in attaching coral transplants to clam shell substrates. Aquatic Conservation: Marine and Freshwater Ecosystems. 18 (7), 1140-1148 (2008).
- Cary, R. Methyl cyanoacrylate and ethyl cyanoacrylate. , World Health Organization. Geneva. (2001).
- Krizhevsky, A., Sutskever, I., Hinton, G. E. Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems. , http://papers.nips.cc/paper/4824-imagenet-classification-w 1097-1105 (2012).
