Использование vmTracking для повышения точности оценки поз нескольких животных в исследованиях социального поведения грызунов

Summary

Этот протокол представляет vmTracking, метод, который обеспечивает высокоточное отслеживание позы в видео с несколькими свободно движущимися животными без маркеров, даже в условиях скопления людей, где животные плотно сгруппированы. Этот подход предоставляет надежные данные для анализа социальных взаимодействий, которые происходят в полуестественной среде, где животные могут свободно передвигаться.

Abstract

В исследованиях социального поведения с использованием грызунов растет спрос на оценку более естественного интерактивного поведения в свободно движущихся условиях. Для этой цели необходимо точное отслеживание поз нескольких животных. Тем не менее, современные безмаркерные инструменты отслеживания поз нескольких животных сталкиваются с серьезной проблемой: точность отслеживания имеет тенденцию снижаться в условиях окклюзии и скученности. Особенно ярко эта проблема проявляется, когда животные визуально неотличимы друг от друга. Чтобы решить эту проблему, мы разработали виртуальное отслеживание маркеров (vmTracking) — метод, который повышает точность отслеживания поз нескольких животных в таких сложных условиях, сохраняя индивидуальную идентичность в кадрах с помощью виртуальных маркеров. vmTracking также можно применять к существующим безмаркерным видеоданным с несколькими животными за счет включения дополнительных этапов обработки, которые добавляют индивидуальные идентификационные метки в стандартные рабочие процессы отслеживания. Здесь мы опишем как метод назначения виртуальных маркеров, так и протокол отслеживания животных в полученных помеченных видео. Высокоточное отслеживание нескольких животных с помощью vmTracking обеспечивает надежную основу для последующего количественного анализа социальных взаимодействий в полуестественных условиях.

Introduction

Исследования социального поведения грызунов все больше внимания уделяют изучению взаимодействий в более натуралистических социальных^{контекстах.} Традиционные подходы, такие как трехкамерный тест, широко используются для оценки общительности и^{социальных предпочтений,} но эти парадигмы охватывают только упрощенные аспекты^{социального взаимодействия.} Чтобы удовлетворить эту потребность, DeepLabCut (maDLC)⁴ и Social LEAP Estimates Animal Pose (SLEAP)⁵ стали незаменимыми инструментами для безмаркерного отслеживания поз нескольких животных в свободно движущихся условиях, обеспечивая передовую технологию на основе глубокого обучения для безмаркерного отслеживания поз нескольких животных. Однако в условиях большого скопления людей, где животные находятся в непосредственной близости, эти инструменты подвержены ошибкам отслеживания, таким как сбои прогнозирования и переключения идентичности (ID). Получение достоверных данных в таких условиях часто требует обширной ручной коррекции.

Точное отслеживание поз нескольких свободно движущихся животных открывает дверь к исследованию более сложной социальной динамики. Например, подробные данные отслеживания позволяют оценить отношения между лидером и последователем, поведение приближения и избегания во время движения и другие тонкие модели взаимодействия, которые не могут быть надежно оценены с помощью обычных поведенческих анализов. Такие достижения расширяют возможности отслеживания нескольких животных за пределы относительно простых описательных измерений поведения, позволяя анализировать более сложные социальные взаимодействия.

Одним из подходов к повышению точности отслеживания является четкая дифференциация отдельных животных. Например, Bordes⁶ продемонстрировал одновременное отслеживание белой мыши CD1 и черной мыши C57BL/6N с помощью DeepLabCut (saDLC)⁷. Этот вывод говорит о том, что когда животные визуально различимы, возможно точное отслеживание отдельных животных. Тем не менее, использование физических маркеров для идентификации может изменить естественное поведение. Даже минимально инвазивные методы, такие как имплантация радиочастотных идентификационных меток⁸, вызывают обеспокоенность относительно их потенциального влияния на поведение.

Здесь мы представляем метод отслеживания поз нескольких животных, который использует виртуальные маркеры (vmTracking)⁹ для неинвазивной идентификации человека. Точная оценка социального поведения с учетом его социального контекста требует высокоточных данных отслеживания поз нескольких животных. vmTracking был разработан для удовлетворения этой потребности путем предоставления надежного протокола, а не нового программного обеспечения или алгоритма, для получения таких высококачественных данных отслеживания с помощью существующих инструментов, таких как DLC. Поэтому социально-поведенческий анализ на основе этих данных выходит за рамки данного протокола. vmTracking включает в себя два основных этапа: добавление виртуальных маркеров к видео без маркеров и отслеживание полученных видео с виртуальными маркерами. Этот метод позволяет с высокой точностью отслеживать позы без необходимости использования физических маркеров, даже в условиях, когда речь идет о трех и более визуально неразличимых животных одной и той же породы. Обеспечивая надежное отслеживание в полуестественных условиях, vmTracking предоставляет эффективный инструмент для продвижения исследований сложных социальных взаимодействий с потенциальными приложениями в поведенческой науке, психологии и нейробиологии.

Protocol

Все экспериментальные процедуры были одобрены Комитетом по уходу за животными и их использованию Университета Дошиша (разрешение No A23068). Мышей C57BL/6J (см. Таблицу материалов) размещали группами по 2-3 человека в клетке в контролируемых условиях при температуре 24-26 °C, 12-часовой цикл свет/темнота, с ограниченным доступом к пище и воде. Все поведенческие записи были собраны во время световой фазы. Общий рабочий процесс vmTracking, а также снимки из примера показаны на рисунке 1.

ПРИМЕЧАНИЕ: vmTracking — это не новое программное обеспечение или алгоритм, а протокол, который использует существующие функции DLC для максимальной точности отслеживания нескольких животных. Следовательно, значительная часть следующих шагов описывает конкретные операции графического пользовательского интерфейса (GUI) в DLC для обеспечения воспроизводимости.

1. Подготовка безмаркерных видеоданных с участием нескольких животных

ПРИМЕЧАНИЕ: Экспериментальные параметры могут быть скорректированы в соответствии с конкретным исследованием.

1. Поместите трех мышей C57BL/6J в круглое открытое поле с белым полом и прозрачными стенками (диаметр 31 см × высота 17 см; см. Таблицу материалов) и дайте им свободно двигаться.
2. Используя вид камеры сверху вниз, записывайте животных в течение примерно 60 минут с разрешением 460 × 460 пикселей и частотой кадров 30 кадров в секунду (см. Таблицу материалов).

2. Создание виртуального маркерного видео

1. Выполните стандартное безмаркерное отслеживание позы с помощью maDLC в DLC версии 2.2.3 (Рисунок 2; см. Таблицу материалов).
   ПРИМЕЧАНИЕ: На следующих шагах названия вкладок графического интерфейса DLC и настройки параметров выделены жирнымшрифтом для уточнения операций в DLC. Все процедуры выполняются с использованием настроек по умолчанию, если не указано иное. Подробные инструкции по использованию DLC см. в официальной документации¹⁰.
   1. Создайте проект с несколькими животными в разделе «Управление проектом » (дополнительный рисунок 1) для отслеживания видео без маркеров. Измените поля индивидуумов и частей тела в файле config.yaml в соответствии с требованиями анализа. В этом протоколе используются индивидуум1 к индивидууму3 и bodypart1 к bodypart6. Все остальные настройки не являются обязательными.
      ПРИМЕЧАНИЕ: Параметры numframes2pick (количество извлеченных кадров) и dotsize (размер маркера) могут быть скорректированы в зависимости от условий видео и загруженности экспериментатора. Другие настройки не были систематически протестированы во всех возможных условиях; Тем не менее, успешное отслеживание было подтверждено с настройками по умолчанию.
   2. Извлекайте кадры из видео в разделе Extract Frames (дополнительный рисунок 1) для последующей маркировки и обучения. Установите для всех остальных параметров значения по умолчанию.
   3. Пометьте каждый извлеченный кадр в Label Data (дополнительный рисунок 1), назначив соответствующие части тела каждому видимому индивидууму без поддержания согласованных идентификаторов между кадрами.
   4. Создайте обучающий набор данных из извлеченных кадров в разделе Создание обучающего набора данных (дополнительный рисунок 1). В этом протоколе настройте сеть на dlcrnet_ms5. Установите для всех остальных параметров значения по умолчанию.
   5. Запустите обучение сети в Train (дополнительный рисунок 1). В этом протоколе для параметра Максимальное количество итераций для обучения задано значение 200 000 . Установите для всех остальных параметров значения по умолчанию.
   6. Оцените обученную сеть в разделе Evaluate (дополнительный рисунок 1). Установите для всех остальных параметров значения по умолчанию.
   7. Запустите оценку позы для выбранных видео в разделе Анализ видео (дополнительный рисунок 1), сгенерировав данные координат .h5 и другие выходные файлы в папке videos внутри папки проекта. Установите для всех остальных параметров значения по умолчанию.
      ПРИМЕЧАНИЕ: Если обучающего набора данных недостаточно, при анализе может не быть сгенерированы файлы координат .h5. В этом случае начните заново с шага 2.1.2.
   8. Ручная проверка экспериментатором.
      1. Создайте видео с меткой отслеживания в разделе Создание видео (дополнительный рисунок 1). Выберите опцию « Создать видео с цветным идентификатором животного?» в графическом интерфейсе DLC и сгенерируйте видео слежения с меткой (Рисунок 2A, maDLC). Установите для всех остальных параметров значения по умолчанию.
      2. Проверьте видео с метками (рис. 2A, maDLC), чтобы проверить наличие переключателей идентификаторов и отсутствующих прогнозов. Если наблюдаются заметные ошибки, проведите повторное обучение (см.. 2.1.8.3). Если переподготовка не проводится, переходите к шагу 2.2.
         ПРИМЕЧАНИЕ: Повторное обучение не является обязательным, но оно повышает точность и снижает нагрузку на последующих этапах.
      3. Для повторного обучения извлекайте и аннотируйте кадры выбросов в Extract/Refine Outliers (дополнительный рисунок 1). После завершения создания аннотаций нажмите кнопку «Объединить набор данных», чтобы автоматически перейти к созданию обучающего набора данных, а затем повторите эти действия, начиная с шага 2.1.4.
2. Исправьте результаты maDLC, чтобы создать виртуальное маркерное видео (рисунок 3).
   1. Используя пользовательский графический интерфейс¹¹ (рисунок 3B), сохраните только выбранные ключевые точки для виртуальных маркеров и замените все остальные на NaN в файле .h5. Такое уменьшение количества ключевых точек снижает рабочую нагрузку на последующие шаги коррекции (рис. 3C,E). В этом протоколе используются части тела 2 и 4.
      ПРИМЕЧАНИЕ: Рекомендуется выбрать две ключевые точки, которые эффективно определяют вектор оси тела. Выполнение первоначального отслеживания maDLC с использованием только ключевых точек, предназначенных для использования в качестве виртуальных маркеров, может привести к тому, что файл .h5 на шаге 2.1.4 может не сгенерироваться. Поэтому рекомендуется выполнять первоначальное отслеживание с большим набором ключевых точек.
   2. С помощью функции «Уточнить треклеты» (дополнительный рисунок 1) исправьте файл .h5 из предыдущего шага, содержащий только выбранные ключевые точки. Исправьте ключевые моменты так, чтобы каждый человек сохранял один и тот же идентификатор на протяжении всего видео (рис. 3E, F). Сохраните файл; Файл .h5 в папке «Видео» будет обновлен автоматически.
   3. Создайте помеченное видео с цветовыми метками ID из исправленных данных в разделе Создание видео (дополнительный рисунок 1, рисунок 3A, виртуальный маркер). В DLC 2.2 существующее видео с меткой в папке видео не позволит создать новое; Удалите, переименуйте или переместите файл, прежде чем продолжить. Здесь установите размер маркера равным 2 в файле конфигурации, используя наименьший размер, который позволяет идентифицировать животное в этом наборе данных.
   4. Переименуйте созданное видео в короткое имя файла, чтобы предотвратить ошибки во время обработки DLC при повторном отслеживании на следующем шаге с помощью saDLC.

3. Выполнение отслеживания позы виртуального маркерного видео с помощью saDLC (Рисунок 4)

ПРИМЕЧАНИЕ: Если не указано иное, все процедуры выполняются с использованием стандартных настроек графического интерфейса DLC.

1. Создайте новый проект saDLC в разделе «Управление проектом » (дополнительный рисунок 2) для отслеживания видео с помощью виртуального маркера. В этом протоколе перечислите все комбинации индивидуумов и частей тела в поле bodyparts файла config.yaml (например, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Все остальные настройки не являются обязательными.
   ПРИМЕЧАНИЕ: Как и в шаге 2.1.1, параметры numframes2pick и dotsize могут быть скорректированы в соответствии с условиями видео и загруженностью экспериментатора. Успешное отслеживание было подтверждено с помощью конфигураций по умолчанию.
2. Извлечение кадров из видео виртуального маркера в Extract Frames (дополнительный рисунок 2). Установите для всех остальных параметров значения по умолчанию.
3. Пометьте каждый извлеченный кадр в Label Data (дополнительный рисунок 2), используя виртуальные маркеры для присвоения отдельных идентификаторов таким образом, чтобы идентификаторы и части тела совпадали между кадрами (рисунок 3B-D). Если личность человека известна, а часть тела частично скрыта, оцените его положение и разместите соответствующую метку. Если отдельные идентификаторы не могут быть однозначно определены (например, виртуальные маркеры для ≥в кадре отсутствуют 2 человека), не помечайте эти части тела.
4. Создайте обучающий набор данных из извлеченных кадров в разделе Создание обучающего набора данных (дополнительный рисунок 2). В этом протоколе установите сеть на efficientnet-b0. Установите для всех остальных параметров значения по умолчанию.
5. Запустите обучение сети в Train (дополнительный рисунок 2). В этом протоколе для параметра Maximum iteations (Максимальное количество итераций ) задайте значение 200 000 для обучения. Установите для всех остальных параметров значения по умолчанию.
6. Оцените обученную сеть в Evaluate (дополнительный рисунок 2). Установите для всех остальных параметров значения по умолчанию.
7. Запустите оценку позы для выбранных видео в разделе Анализ видео (дополнительный рисунок 2), сгенерировав данные координат .h5 и другие выходные файлы в папке videos. Установите для всех остальных параметров значения по умолчанию.
8. Ручная проверка экспериментатором.
   1. Создайте видео с меткой отслеживания в разделе Создание видео (дополнительный рисунок 2). Установите для всех остальных параметров значения по умолчанию.
   2. Проверьте видео с метками (рис. 4A, vmTracking), чтобы проверить наличие несоответствий при отслеживании. Повторяйте обучение до тех пор, пока экспериментатор не будет удовлетворен результатами. Если переподготовка не требуется, процедура завершена.
      ПРИМЕЧАНИЕ: После подтверждения удовлетворительных результатов отслеживания вы можете создать видео презентационного качества без виртуальных маркеров (Рисунок 5), вывести результаты отслеживания на исходное видео без маркеров вместо видео с виртуальными маркерами в разделе Создать видео (Дополнительный рисунок 2). Замените видео виртуального маркера в папке videos на видео без маркеров, переименовав его в соответствии с именем видеофайла виртуального маркера, использованным ранее в анализе. Для DLC 2.2 убедитесь, что в папке нет помеченных видео, прежде чем создавать новую (рис. 5B, C).
   3. Для повторного обучения извлекайте и аннотируйте кадры выбросов в инструменте Извлечение/уточнение выбросов (дополнительный рисунок 2). После завершения создания аннотаций нажмите кнопку Объединить набор данных, чтобы автоматически перейти к созданию обучающего набора данных, а затем повторите шаг, начиная с шага 3.1.4.

Results

Точность отслеживания оценивалась путем сравнения с вручную сгенерированной наземной достоверной информацией (GT). Двадцать 5- или 10-секундных сцен были выделены и классифицированы как либо переполненные (CR) сцены, которые включали перекрытия, такие как пересекающиеся пути мышей (12 сцен; всего 1950 кадров), либо непереполненные (nCR) сцены без перекрытий (8 сцен; всего 1350 кадров). Прогнозы отслеживания в пределах 10 пикселей от позиции GT были засчитаны как совпадения (Match); предсказания на расстоянии ≥10 пикселей были засчитаны как ложные срабатывания (FP); а отсутствующие прогнозы считались ложноотрицательными (FN). Кроме того, если предсказанная идентичность отличалась от той, что была в непосредственно предыдущем кадре, она считалась переключением идентификатора.

По сравнению с maDLC (Рисунок 6), vmTracking показал значительное улучшение Match как в CR, так и в nCR сценах (Рисунок 6A, CR: p < 0,001; Рисунок 6E, nCR: p < 0,01). В обоих типах сцен FN не возникало, а количество FN было значительно уменьшено с помощью vmTracking (рис. 6B, CR: p < 0,001; Рисунок 6F, nCR: p < 0,05). Подсчет FP (рис. 6C и 6G) и переключателя ID (рис. 6D,H) не показал изменений ни в одном из типов сцен. Представлено параллельное сравнение результатов отслеживания, полученных с помощью vmTracking и обычного maDLC, подчеркивающее повышенную точность и стабильность vmTracking в условиях большого скопления людей (дополнительное видео 1).

Мы также изучили связь между количеством кадров аннотаций и Match и FN для CR-сцен в maDLC и vmTracking (рис. 6I). В maDLC Match стабилизировался примерно на 85% с примерно 400 кадрами аннотаций, с небольшим дальнейшим улучшением по мере увеличения числа. Увеличение рамок аннотаций для обучения не привело к уменьшению FN. Напротив, vmTracking показал устойчивый рост Match с большим количеством кадров аннотаций, достигнув примерно 95% при отметке 1000 кадров.

Виртуальные маркеры были классифицированы на шесть категорий на основе шаблонов их присвоения, и доля каждой категории использовалась в качестве индекса точности виртуальных маркеров для изучения их связи с отслеживанием Match (рис. 6J). Сцены с более высокой долей правильно назначенных виртуальных маркеров, как правило, показывают более высокое соответствие. Тем не менее, некоторые сцены, в которых доля правильных маркеров была низкой, либо из-за большого количества неправильных назначений, либо из-за большого количества отсутствующих маркеров, все же показали высокое соответствие (например, сцены CR 3 и 11).

Рисунок 1: Обзор рабочего процесса vmTracking. (A) Принципиальная схема рабочего процесса vmTracking. Сначала выполните maDLC на безмаркерном видео (I). На основе полученных данных отслеживания maDLC скорректируйте выходные данные, чтобы каждый человек сохранял единый идентификатор на протяжении всего видео, и создайте видео с метками, в котором отображается только выбранное подмножество ключевых точек (II). Используя метки в этом видео в качестве виртуальных маркеров, отслеживайте видео виртуального маркера с помощью saDLC (III). (B) Два примера vmTracking показаны в виде моментальных снимков с каждого этапа процесса. Крайнее левое изображение показывает полный вид, а изображения справа представляют собой увеличенные виды областей, ограниченных желтыми прямоугольниками. Оранжевые полосы в правых нижних углах изображений обозначают масштабы: 5 см для изображения «Без маркера (Обзор)» и 1 см для всех остальных. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 2: Рабочий процесс отслеживания нескольких животных без маркеров с использованием maDLC. Этот рисунок относится к шагу протокола 2.1. (A) Панели адаптированы из рисунка 1B и иллюстрируют процесс I (безмаркерное отслеживание нескольких животных), показанный на рисунке 1A. Для наглядности каждое животное обведено пунктирной линией. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 1 см. (Б-Г) Снимки кадров, используемых для маркировки во время выполнения maDLC. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 5 см. (B) Пример рамки перед нанесением надписей. (В) Та же рамка, что и в В, после маркировки. (D) Пример другого кадра с маркировкой. Идентичность индивидуумов между кадрами C и D неизвестна, но индивидуальная идентичность не нужно учитывать при маркировке. Как показано на снимках, достаточно правильно обозначить позу каждого животного. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 3: Рабочий процесс создания виртуального маркерного видео на основе результатов maDLC. Этот рисунок относится к шагу протокола 2.2. (A) Панели адаптированы из рисунка 1B и иллюстрируют процесс II (создание виртуального маркера), показанный на рисунке 1A. Для наглядности каждое животное обведено пунктирной линией. Белыми стрелками обозначены ключевые точки, используемые в качестве виртуальных маркеров (2-я и 4-я ключевые точки для каждого идентификатора). В этом примере виртуальные маркеры выводятся в оттенках серого: фиолетовые, зеленые и красные метки maDLC отображаются как черные, серые и белые соответственно. В примере 1 результаты maDLC выводились непосредственно в виде виртуальных маркеров без коррекции. В примере 2 фиолетовый и красный идентификаторы были поменяны местами и исправлены перед выводом из-за переключения идентификатора в последовательных кадрах. Зеленая точка в результате maDLC, которую следовало исправить, была пропущена и выведена без изменений. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 1 см. (B) Графический интерфейс на основе Python для редактирования файлов данных координат h5 для сохранения только определенных ключевых точек и замены всех остальных на NaN¹¹. (Ба) Начальное окно меню при запуске программы. Выберите файл для редактирования с помощью кнопки Выбрать файл h5. (Вв) Окно после выбора файла h5. Отметьте ключевые точки для замены на NaN (отображаются в виде отдельного имени-имени детали тела) и укажите либо время начала-окончания (с частотой кадров), либо номера кадров для замены NaN. При нажатии кнопки «Обрабатывать данные» отредактированный файл сохраняется в той же папке и создается резервная копия оригинала. (C) Последовательные кадры из сцены, в которой произошло переключение идентификатора. (D) Пример корректировки всех точек слежения от B. (E) Моментальный снимок, показывающий результат из B с сохранением только 2-й и 4-й ключевых точек. (F) Пример исправления результата в E. По сравнению с исправлением всех ключевых точек (C → D), ограничение коррекции двумя точками (C → E → F) уменьшает количество необходимых правок. Оранжевая полоса в правом нижнем углу каждого изображения C-F указывает на масштабную линейку 5 см. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Рабочий процесс для отслеживания видео виртуального маркера. Этот рисунок относится к этапу 3 протокола. (A) Панели адаптированы из рисунка 1B и иллюстрируют процесс III (отслеживание видео виртуального маркера), показанный на рисунке 1A. Каждая особь заключена в пунктирный контур для ясности цели слежения. В этом примере люди с черными, серыми и белыми виртуальными маркерами отслеживаются как фиолетовые, зеленые и красные метки соответственно. В примере 1 серый виртуальный маркер отсутствует, но vmTracking поддерживает корректное отслеживание удостоверений. В примере 2 серый маркер появляется на двух особях, но отслеживание остается правильным. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 1 см. (Б-Г) Снимки из кадров, используемых для маркировки во время vmTracking. На этом этапе используется saDLC, при этом каждая ключевая точка определена как информация об отдельном человеке, так и о части тела. Маркировка указывает, какая часть тела какого индивидуума представлена. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 5 см. (B) Моментальный снимок кадра перед маркировкой. (C) Снимок кадра в B после маркировки. (D) Снимок кадра, отличного от C, после маркировки. Даже в разных кадрах (например, C и D) маркировка сохраняет индивидуальную идентичность, используя виртуальный маркер в качестве подсказки, на что указывают одинаковые цвета этикеток. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 5: Рабочий процесс объединения результатов трекинга с безмаркерным видео для создания трекингового видео без виртуальных маркеров. Это необязательный шаг, связанный с ПРИМЕЧАНИЕМ в шаге 3.8.2. (A) Когда результаты отслеживания применяются к видео виртуального маркера, результирующее видео отслеживания сохраняет виртуальные маркеры (vmTracking^vm+). Желтыми стрелками обозначены виртуальные маркеры, видимые в выводе. При применении результатов отслеживания к исходному видео без маркеров вместо этого создается видео слежения без виртуальных маркеров (^{vmTracking vm}-), пригодное для презентации или других целей. Оранжевая полоса в правом нижнем углу каждого изображения указывает на масштабную линейку 1 см. (В,В) Управление файлами в папке "videos" директории проекта при применении результатов vmTracking к безмаркерному видео. Оранжевый прямоугольник схематически иллюстрирует содержимое папки. (B) Папка "videos" после создания видео отслеживания vmTracking путем вывода результатов отслеживания на видео виртуального маркера (схематически показано как '4. Надписи на виртуальном маркере видео»). (C) Подготовка папки "videos" для вывода результатов vmTracking на безмаркерное видео. Переместите или переименуйте флаг '1. Виртуальный маркер видео» и «4. Метки на видеофайлах виртуального маркера с панели Б, чтобы они были исключены из папки. Проблема не в самих файлах, а в том, что их исходные имена мешают обработке. Затем поставьте цифру '5. Маркерное видео» в папке, переименовав его в соответствии с оригинальным именем видеофайла виртуального маркера (например, VMvideo.MP4). В этом состоянии при повторном запуске команды «Создать видео» создается отслеживающее видео с результатами, примененными к видео без маркеров ('6. Надписи на безмаркерном видео»). Эта цифра была изменена из Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 6: Оценка точности отслеживания с помощью vmTracking. (А-Н) Сравнение maDLC и vmTracking для пропорций совпадений. (A), ложноотрицательные результаты (B), ложные срабатывания (C) и переключения ID (D) в 12 переполненных (CR) сценах, а также совпадения (E), ложноотрицательные результаты (F), ложные срабатывания (G) и переключения ID (H) в 8 непереполненных (nCR) сценах. Графики представляют измеренные значения для каждой сцены, а столбцы представляют средние значения, рассчитанные на их основе. Статистические сравнения проводились с использованием критерия Вилкоксона со знаком ранга. (I) Связь между количеством аннотированных кадров в CR и соотношением совпадений и ложноотрицательных результатов. Зеленое поле справа показывает увеличенное изображение области, ограниченной зелеными пунктирными линиями на левой панели. Графики представляют средние значения. (J) Взаимосвязь между точностью виртуальных маркеров и отслеживанием совпадений в сценах CR и nCR. Точность виртуальных маркеров была классифицирована для каждой пары маркеров на шесть типов: обе точки были правильно присвоены нужному человеку, одна правильная и одна отсутствующая, одна правильная и одна неправильная, обе неправильные, одна неправильная и одна пропущенная, и обе пропущены. Для каждой сцены пропорции этих категорий отображаются в виде сложенных столбцов, а над каждым тактом указывается соответствующее отслеживающее соответствие для этой сцены. Сцены расположены в порядке возрастания отслеживания Match слева направо, отдельно для CR и nCR сцен. CR сцены: n = 12; Сцены nCR: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Эта цифра была изменена по сравнению с Азечи и Такахаси (2025)⁹. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Дополнительный рисунок 1: Снимок главного окна в DeepLabCut с несколькими животными, показывающий расположение каждой вкладки операции. Снимки показывают стрелками вкладки, используемые на каждом шаге процедуры vmTracking. Изображения были получены с помощью графического интерфейса DeepLabCut (версия 2.2.3). Пожалуйста, нажмите здесь, чтобы скачать эту цифру.

Дополнительный рисунок 2: Снимок главного окна в DeepLabCut, показывающий расположение каждой вкладки операции. Снимки показывают стрелками вкладки, используемые на каждом шаге процедуры vmTracking. Изображения были получены с помощью графического интерфейса DeepLabCut (версия 2.2.3). Пожалуйста, нажмите здесь, чтобы скачать эту цифру.

Дополнительное видео 1: Сравнение DeepLabCut и vmTracking для отслеживания трех мышей. В этом сравнительном видео показана производительность DeepLabCut (maDLC; слева) и vmTracking (справа) при отслеживании трех мышей. Видео vmTracking было сгенерировано путем замены виртуального маркерного видео на исходное безмаркерное видео в соответствии с процедурой, описанной в ПРИМЕЧАНИИ к шагу 3.8.2, для представления результатов отслеживания без виртуальных маркеров. Для каждого метода отслеживания отдельные идентификаторы обозначаются с помощью цветовых меток одного цветового семейства, чтобы облегчить сравнение. На протяжении всего видео vmTracking показывает меньше случаев, когда обнаруживаются части тела, принадлежащие разным людям, по сравнению с maDLC. Примечательно, что примерно через 15-17 секунд maDLC неправильно идентифицирует лиц с зеленой и красной меткой, что приводит к смене назначенных им личностей. Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Discussion

Несмотря на растущий спрос на изучение натуралистических форм социального взаимодействия у грызунов¹, получение достоверной информации об идентичности и позе нескольких свободно движущихся животных, особенно во время тесного взаимодействия или окклюзии, остается технической проблемой. vmTracking обходит это ограничение, обеспечивая точное отслеживание в таких условиях. vmTracking надежно обеспечивает высокую точность слежения в различных экспериментальных условиях, в том числе в многолюдных условиях9^{, где обычные} трекеры с несколькими животными ^4,5 часто выходят из строя. Такая надежность обусловлена сочетанием виртуального создания маркеров на основе отслеживания нескольких животных с отслеживанием saDLC, что позволяет точно оценить личность и позу. Важно отметить, что метод сохранял высокую производительность даже при низкой точности виртуальных маркеров. Эта устойчивость к определенной степени несовершенства виртуальных маркеров гарантирует, что vmTracking остается практичным для надежного отслеживания нескольких свободно движущихся особей, тем самым продвигая исследования социальных взаимодействий грызунов в полуестественных условиях.

Важным шагом в vmTracking является корректировка результатов отслеживания нескольких животных во время создания виртуального маркера. В этом процессе игнорирование переключателей удостоверений или неправильных меток может привести к тому, что saDLC будет сохранять эти неправильные идентификации на протяжении всего последующего отслеживания. Если впоследствии такие ошибки будут обнаружены, их можно исправить, пересмотрев затронутые сегменты, регенерируя видео виртуального маркера и повторно запустив отслеживание saDLC. В некоторых случаях виртуальные маркеры могут быть размещены правильно, но saDLC все равно может неправильно идентифицировать особей, когда маркеры на разных животных оказываются в непосредственной близости во время многолюдных взаимодействий. Такие ошибки можно устранить, изменив положение затронутых виртуальных маркеров на этапе создания, чтобы максимизировать расстояния между маркерами, тем самым снижая вероятность путаницы на последующем этапе отслеживания.

Хотя наш протокол использует DLC ^4,7 для обоих этапов, он также может быть реализован с помощью SLEAP ^5,12. По нашему опыту, SLEAP в режиме одиночного животного, как правило, менее стабилен, чем saDLC, при этом производительность больше зависит от видео⁹. Однако для этапа создания виртуального маркера SLEAP или idtracker.ai¹³ могут быть одинаково эффективными, а оптимальный выбор может меняться в зависимости от видео. Таким образом, если первоначальное отслеживание maDLC показывает частые переключения идентификаторов или серьезную потерю ключевых точек при визуальном осмотре, возможен смешанный подход — например, создание виртуальных маркеров с помощью SLEAP или idtracker.ai а затем отслеживание полученного видео с помощью saDLC.

Поскольку vmTracking включает в себя два этапа отслеживания, некоторые могут посчитать его громоздким и задаться вопросом, почему физические маркеры просто не прикрепляются с самого начала, устраняя необходимость в создании виртуальных маркеров. Тем не менее, виртуальные маркеры имеют явные преимущества: их можно применять постфактум к существующим безмаркерным видео, избегая любых поведенческих эффектов или этических проблем, связанных с прикреплением устройств к животным. Их можно разместить где угодно, они никогда не упадут и не зависят от позы или близкого взаимодействия, что позволяет расположить и отрегулировать их в соответствии с конкретным видео. Такая гибкость обеспечивает более надежную индивидуальную идентификацию и, следовательно, повышенную точность отслеживания по сравнению с физическими маркерами. В результате, vmTracking, использующий виртуальные маркеры, обеспечивает высокоточное отслеживание в исследованиях свободно движущихся социальных взаимодействий, а также при повторном анализе архивных видеоданных, где физические маркеры не могут быть применены. Полученные таким образом данные с высокой точностью могут быть полезны в областях, основанных на поведенческих экспериментах, включая поведенческие науки, психологию и нейробиологию.

vmTracking имеет несколько ограничений. Во-первых, поскольку индивидуальная идентификация основана на различиях в цвете маркера, количество отслеживаемых особей ограничено конечным диапазоном различимых цветов. На сегодняшний день мы успешно отследили группу из десяти рыб⁹; Тем не менее, увеличение этого числа потребует расширения разнообразия виртуальных маркеров, например, путем изменения формы маркеров или изучения использования скелетных структур в качестве дополнительных идентификаторов, хотя эти подходы требуют дальнейшей проверки. Во-вторых, vmTracking обязательно включает в себя дополнительный шаг по добавлению виртуальных маркеров к каждому безмаркерному видео, что может быть трудоемким при длинных записях или наборах данных с большим количеством людей. Кроме того, хотя этот метод в принципе может быть применен к различным видам и условиям регистрации, практичность достижения высокоточного слежения может снизиться, когда экспериментальные параметры не могут быть оптимизированы. Например, при съемке диких или свободно движущихся животных в полевых условиях, где освещение, разрешение камеры или углы записи трудно контролировать, ручная коррекция, необходимая при назначении виртуального маркера, имеет тенденцию к увеличению, что потенциально ограничивает простоту получения высококачественных данных слежения. В будущем оптимизация и автоматизация процесса назначения виртуальных маркеров еще больше повысит применимость и удобство использования метода.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Акриловая труба (прозрачная, толщина 5 мм, внутренний диаметр 31 см)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Приобретено у Hazaiya (онлайн-магазина акриловых материалов)
Акриловая пластина (белая, толщина 3 мм, диаметр 31 см)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Приобретено у Hazaiya (онлайн-магазина акриловых материалов)
Мышь C57BL/6J	Лабораторные материалы Симидзу, Co.LTD.	Н/Д
Камера	Basler	acA3088-57uc
DeepLabCut 2.2.3	Лаборатория Матиса в Швейцарском федеральном технологическом институте в Лозанне.	https://www.mackenziemathislab.org/deeplabcut
Pylon Camera Software Suite (Pylon Viewer)	Basler	Н/Д