November 7th, 2025
Этот протокол представляет vmTracking, метод, который обеспечивает высокоточное отслеживание позы в видео с несколькими свободно движущимися животными без маркеров, даже в условиях скопления людей, где животные плотно сгруппированы. Этот подход предоставляет надежные данные для анализа социальных взаимодействий, которые происходят в полуестественной среде, где животные могут свободно передвигаться.
Мы стремимся понять социальные взаимодействия у свободно перемещающихся мышей, разрабатывая точные методы отслеживания на нескольких животных. Достичь точного отслеживания позы с надёжной идентификацией в условиях с участием нескольких животных остаётся сложной. Для начала создайте новый проект с участием нескольких животных, выбрав Manage Project для отслеживания видео без маркеров.
Модифицируйте поля отдельных людей и частей тела в конфигурации. YAML в соответствии с требованиями анализа. Выберите Extract Frames, чтобы извлечь кадры из видео для маркировки и обучения.
Далее помечайте каждый извлечённый кадр, выбрав Label Data. Назначайте соответствующие части тела каждому видимому человеку, не поддерживая единообразные идентификаторы между кадрами. Чтобы создать обучающий набор данных из извлечённых кадров, выберите создать учебный набор данных.
Установите сеть на DLCRNet_ms5 в конфигурации. Выберите Train, чтобы начать обучение сети. Установите параметр максимальных итераций на 200 000 для этой тренировки.
Все остальные параметры обучения могут оставаться на своих значениях по умолчанию. Оцените обученную сеть, выбрав Оценить. Чтобы запустить оценку позы выбранных видео, выберите «Анализировать видео, генерирующие данные координат HDF5» и другие выходные файлы в папке видео внутри папки проекта.
Для ручной проверки результатов отслеживания создайте маркированное видео с трекингом, выбрав Создать видео. Включите опцию создания видео с цветом ID животных в графическом интерфейсе DLC, чтобы включать отдельные идентификаторы в видео. Затем проверьте сгенерированные размеченные видео, чтобы проверить наличие переключений идентичности или отсутствующих предсказаний.
Если есть серьёзные ошибки, готовьтесь к переобучению. Для переобучения, извлечения и аннотирования аутлайерных кадров. Выберите «Извлечение» или «Уточнить выбросы».
После завершения аннотации нажмите «Объединить набор данных», чтобы автоматически перейти к созданию обучающих наборов данных. А затем повторяйте обучающий процесс. Чтобы исправить результаты многоживотного DLC, откройте пользовательский интерфейс и сохраните только необходимые ключевые точки для виртуальных маркеров.
Выберите Refine Tracklets, чтобы исправить файл HDF5, содержащий только выбранные ключевые точки. Настройте ключевые точки так, чтобы у всех сохранялся единый идентификатор по всему видео. Сохраните файл, и файл HDF5 в папке видео обновится автоматически.
Далее создайте новое видео с меткой из исправленных данных, выбрав Create Videos. В DeepLabCut 2.2, если в папке видео уже есть помеченное видео, новое видео не будет создано. Удалите, переименуйте или переместите существующий файл перед тем, как продолжить.
Переименуйте маркированное видео с виртуальным маркером в короткое имя файла, чтобы предотвратить ошибки при обработке DeepLabCut. Создайте новый проект saDLC, выбрав Manage Project для отслеживания видео с виртуальным маркером. В конфигурации.
Файл YAML, перечислите все комбинации индивидуумов и частей тела в поле частей тела. Чтобы извлечь кадры из переименованного виртуального маркерного видео, выберите Extract Frames. Теперь помечайте каждую извлечённую рамку в данные меток с помощью виртуальных маркеров, чтобы назначить согласованные индивидуальные идентификаторы и убедиться, что как ID, так и части тела совпадают между кадрами.
Когда часть тела частично скрыта, но идентификатор человека известен, оцените её положение и примените метку соответственно. Создайте обучающий набор данных из извлечённых кадров, выбрав Create Training Dataset. Установите сеть в режим эффективного сетевого B0 для этой тренировочной сессии.
Начните обучение сети, выбрав Train. Установите параметр максимальных итераций на 200 000 для этой сессии, и все остальные настройки останутся на своих значениях по умолчанию. После оценки обученной сети выполните ручную проверку, как показано ранее.
В переполненных сценах отслеживание VM достигало значительно более высокого процента совпадений по сравнению с maDLC. Количество ложноотрицательных результатов при отслеживании VM было значительно меньше, чем при maDLC. Однако не было разницы между отслеживанием виртуальной машины и maDLC по количеству ложноположительных срабатываний и переключения ID.
В непереполненных сценах отслеживание VM достигало значительно большего процента совпадений по сравнению с maDLC. Количество ложноотрицательных результатов при отслеживании VM было значительно меньше, чем при maDLC. Между отслеживанием виртуальной машины и maDLC не было разницы в количестве ложноположительных срабатываний и переключения ID.
В переполненных сценах процент совпадений в maDLC достигал примерно 85% после примерно 400 аннотированных кадров без дальнейших улучшений. В то время как отслеживание виртуальной машины показало стабильный рост примерно до 95% — около 1 000 кадров. В maDLC увеличение числа аннотированных кадров не уменьшало количество ложноотрицательных результатов.
Сцены с более высокой долей правильно назначенных виртуальных маркеров обычно показывали более высокий процент совпадения. Однако некоторые сцены, такие как 3 и 11, всё равно показывали высокий процент совпадения, несмотря на множество неправильных заданий или отсутствующих маркеров. Наш протокол направлен на устранение недостатка надёжного поддержания идентичности при отслеживании поз многих животных.
Он повышает точность отслеживания поз за счёт объединения виртуальных маркеров с существующими инструментами. Наши будущие исследования будут использовать эти данные для изучения того, как групповая динамика формирует социальное поведение у мышей.
Этот протокол представляет vmTracking, метод, который позволяет высокоточное отслеживание позы в видео с несколькими свободно перемещающимися, без маркеров животными, даже в переполненных условиях, когда животные плотно группируются. Данный подход обеспечивает надежные данные для анализа социальных взаимодействий, происходящих в полуестественных средах, где животные могут свободно перемещаться.
Accurate multi-animal pose estimation is critical for translational neuroscience and behavioral pharmacology, especially when evaluating drug effects on social interactions in freely moving rodent models. vmTracking addresses a key bottleneck by maintaining individual animal identity during occlusion and crowding, enabling robust quantitative behavioral endpoints. This capability strengthens predictive confidence and supports risk-adjusted decisions in early discovery and preclinical pipelines.
vmTracking integrates into the behavioral analysis continuum from early discovery through preclinical research, providing a reusable capability for high-accuracy pose tracking in complex social paradigms.