Uso de vmTracking para mejorar la precisión de la estimación de la pose de múltiples animales en estudios de comportamiento social de roedores

Summary

Este protocolo presenta vmTracking, un método que permite el seguimiento de poses de alta precisión en videos de múltiples animales sin marcadores que se mueven libremente, incluso en condiciones de hacinamiento donde los animales están densamente agrupados. Este enfoque proporciona datos confiables para analizar las interacciones sociales que ocurren en entornos seminaturales donde los animales pueden moverse libremente.

Abstract

En la investigación del comportamiento social con roedores, existe una creciente demanda de evaluar comportamientos interactivos más naturales en condiciones de movimiento libre. El seguimiento preciso de la pose de múltiples animales es esencial para este propósito. Sin embargo, las herramientas actuales de seguimiento de poses de múltiples animales sin marcadores enfrentan un desafío importante: la precisión del seguimiento tiende a disminuir en condiciones de oclusión y hacinamiento. Este problema se vuelve especialmente pronunciado cuando los animales son visualmente indistinguibles entre sí. Para superar este problema, desarrollamos el seguimiento de marcadores virtuales (vmTracking), un método que mejora la precisión del seguimiento de poses de varios animales en condiciones tan desafiantes al mantener la identidad individual en todos los fotogramas utilizando marcadores virtuales. vmTracking también se puede aplicar a los datos de video de múltiples animales sin marcadores existentes mediante la incorporación de pasos de procesamiento adicionales que agregan etiquetas de identidad individuales a los flujos de trabajo de seguimiento estándar. Aquí, describimos tanto el método para asignar marcadores virtuales como el protocolo para rastrear animales en los videos etiquetados resultantes. El seguimiento de múltiples animales de alta precisión habilitado por vmTracking proporciona una base confiable para análisis cuantitativos posteriores de interacciones sociales en condiciones seminaturales.

Introduction

La investigación sobre el comportamiento social de los roedores ha enfatizado cada vez más el estudio de las interacciones en contextos sociales más naturalistas¹. Los enfoques tradicionales, como la prueba de tres cámaras, se han utilizado ampliamente para evaluar la sociabilidad y la preferencia social², pero estos paradigmas capturan solo aspectos simplificados de la interacción social³. Para abordar esta necesidad, DeepLabCut (maDLC)⁴ y Social LEAP Estimates Animal Poses (SLEAP)⁵ se han convertido en herramientas indispensables para el seguimiento de poses sin marcadores de múltiples animales en condiciones de movimiento libre, proporcionando tecnología avanzada basada en el aprendizaje profundo para el seguimiento de poses de múltiples animales sin marcadores. Sin embargo, en entornos abarrotados donde los animales están muy cerca, estas herramientas son propensas a errores de seguimiento, como fallas de predicción y cambios de identidad (ID). Lograr datos confiables en tales condiciones a menudo requiere una amplia corrección manual.

El seguimiento preciso de la pose de múltiples animales que se mueven libremente abre la puerta a la investigación de dinámicas sociales más complejas. Por ejemplo, los datos de seguimiento detallados permiten la evaluación de las relaciones líder-seguidor, los comportamientos de evitación de acercamiento durante el movimiento y otros patrones matizados de interacción que no se pueden evaluar de manera confiable con ensayos conductuales convencionales. Tales avances extienden la utilidad del seguimiento de múltiples animales más allá de las medidas descriptivas relativamente simples del comportamiento, lo que permite el análisis de interacciones sociales más complejas.

Un enfoque para mejorar la precisión del seguimiento es diferenciar claramente a los animales individuales. Por ejemplo, Bordes⁶ demostró el seguimiento simultáneo de un ratón CD1 blanco y un ratón C57BL/6N negro utilizando DeepLabCut (saDLC)⁷ de un solo animal. Este hallazgo sugiere que cuando los animales son visualmente distinguibles, es factible un seguimiento individual preciso. Sin embargo, el uso de marcadores físicos para la identificación puede alterar los comportamientos naturales. Incluso los métodos mínimamente invasivos, como la implantación de etiquetas de identificación por radiofrecuencia⁸, plantean preocupaciones con respecto a sus posibles efectos sobre el comportamiento.

Aquí, presentamos un método de seguimiento de poses de múltiples animales que utiliza marcadores virtuales (vmTracking)⁹ para la identificación individual no invasiva. La evaluación precisa del comportamiento social, teniendo en cuenta su contexto social, requiere datos de seguimiento de poses de múltiples animales altamente precisos. vmTracking se desarrolló para satisfacer esta necesidad al proporcionar un protocolo confiable, en lugar de un nuevo software o algoritmo, para obtener datos de seguimiento de alta calidad utilizando herramientas existentes como DLC. Por lo tanto, el análisis del comportamiento social basado en estos datos está fuera del alcance de este protocolo. vmTracking implica dos pasos principales: agregar marcadores virtuales a videos sin marcadores y rastrear los videos de marcadores virtuales resultantes. Este método permite un seguimiento de poses de alta precisión sin necesidad de marcadores físicos, incluso en condiciones que involucran a tres o más animales visualmente indistinguibles de la misma cepa. Al permitir un seguimiento confiable en condiciones seminaturalistas, vmTracking proporciona una herramienta eficaz para avanzar en la investigación sobre interacciones sociales complejas, con aplicaciones potenciales en ciencias del comportamiento, psicología y neurociencia.

Protocol

Todos los procedimientos experimentales fueron aprobados por el Comité de Cuidado y Uso de Animales de la Universidad de Doshisha (Aprobación No. A23068). Los ratones C57BL/6J (ver Tabla de Materiales) se alojaron en grupos de 2-3 por jaula en condiciones controladas de 24-26 °C, un ciclo de luz/oscuridad de 12 h, con acceso ad libitum a alimentos y agua. Todas las grabaciones de comportamiento se recopilaron durante la fase de luz. El flujo de trabajo general del proceso vmTracking, junto con las instantáneas de un ejemplo, se muestra en la figura 1.

NOTA: vmTracking no es un nuevo software o algoritmo, sino un protocolo que utiliza las funciones DLC existentes para maximizar la precisión del seguimiento de múltiples animales. En consecuencia, una parte sustancial de los siguientes pasos describe operaciones específicas de interfaz gráfica de usuario (GUI) dentro de DLC para garantizar la reproducibilidad.

1. Preparación de datos de video multianimal sin marcadores

NOTA: Los parámetros experimentales se pueden ajustar de acuerdo con el estudio específico.

1. Coloque tres ratones C57BL/6J en un campo abierto circular con piso blanco y paredes transparentes (31 cm de diámetro × 17 cm de altura; consulte la Tabla de materiales) y déjelos moverse libremente.
2. Usando una vista de cámara de arriba hacia abajo, grabe a los animales durante aproximadamente 60 minutos a una resolución de 460 × 460 píxeles y una velocidad de fotogramas de 30 fps (consulte la Tabla de materiales).

2. Creación de un video de marcador virtual

1. Realice un seguimiento de poses sin marcadores estándar utilizando maDLC en DLC versión 2.2.3 (Figura 2; consulte la Tabla de materiales).
   NOTA: En los pasos siguientes, los nombres de los menús de la ficha GUI de DLC y la configuración de los parámetros se muestran en negritapara aclarar las operaciones en DLC. Todos los procedimientos se realizan con la configuración predeterminada a menos que se especifique lo contrario. Para obtener instrucciones detalladas sobre el uso de DLC, consulte la documentación oficial¹⁰.
   1. Cree un proyecto de varios animales en Administrar proyecto (Figura complementaria 1) para el seguimiento de video sin marcadores. Modifique los campos de individuos y partes del cuerpo en el archivo config.yaml de acuerdo con los requisitos de análisis. En este protocolo, se utilizan individuo1 a individuo3 y parte del cuerpo1 a parte del cuerpo6. Todas las demás configuraciones son opcionales.
      NOTA: Los parámetros numframes2pick (número de fotogramas extraídos) y dotsize (tamaño del marcador) pueden ajustarse en función de las condiciones de vídeo y de la carga de trabajo del experimentador. Otros entornos no se probaron sistemáticamente en todas las condiciones posibles; sin embargo, se ha confirmado el seguimiento correcto con las configuraciones predeterminadas.
   2. Extraiga fotogramas del vídeo en Extraer fotogramas (figura complementaria 1) para su posterior etiquetado y entrenamiento. Establezca todos los demás parámetros en sus valores predeterminados.
   3. Etiquete cada fotograma extraído en Datos de etiqueta (Figura complementaria 1), asignando las partes del cuerpo apropiadas a cada individuo visible sin mantener identificaciones consistentes entre fotogramas.
   4. Cree un conjunto de datos de entrenamiento a partir de los fotogramas extraídos en Crear conjunto de datos de entrenamiento (Figura complementaria 1). En este protocolo, establezca la red en dlcrnet_ms5. Establezca todos los demás parámetros en sus valores predeterminados.
   5. Comience a entrenar la red en Entrenar (Figura complementaria 1). En este protocolo, el parámetro Iteraciones máximas se establece en 200 000 para el entrenamiento. Establezca todos los demás parámetros en sus valores predeterminados.
   6. Evalúe la red entrenada en Evaluar (Figura complementaria 1). Establezca todos los demás parámetros en sus valores predeterminados.
   7. Ejecute la estimación de pose en los vídeos seleccionados en Analizar vídeos (Figura complementaria 1), generando datos de coordenadas .h5 y otros archivos de salida en la carpeta de vídeos dentro de la carpeta del proyecto. Establezca todos los demás parámetros en sus valores predeterminados.
      NOTA: Si el conjunto de datos de entrenamiento es insuficiente, es posible que el análisis no genere archivos de coordenadas .h5. En ese caso, reinicie desde el paso 2.1.2.
   8. Verificación manual por parte del experimentador.
      1. Cree un vídeo de seguimiento etiquetado en Crear vídeos (Figura complementaria 1). Seleccione la opción Crear video con ID de animal coloreado? en la GUI de DLC y genere un video de seguimiento etiquetado (Figura 2A, maDLC). Establezca todos los demás parámetros en sus valores predeterminados.
      2. Inspeccione los videos etiquetados (Figura 2A, maDLC) para verificar si faltan cambios de ID y predicciones. Si se observan errores notables, realice un nuevo entrenamiento (consulte el paso 2.1.8.3). Si no se realiza el reentrenamiento, continúe con el paso 2.2.
         NOTA: El reentrenamiento no es obligatorio, pero mejora la precisión y reduce la carga de trabajo en pasos posteriores.
      3. Para volver a entrenar, extraiga y anote fotogramas de valores atípicos en Extraer/Refinar valores atípicos (Figura complementaria 1). Una vez completada la anotación, haga clic en el botón Combinar conjunto de datos para continuar automáticamente con Crear conjunto de datos de entrenamiento y, a continuación, repita desde el paso 2.1.4 en adelante.
2. Corrija los resultados de maDLC para crear un video de marcador virtual (Figura 3).
   1. Usando la GUI personalizada¹¹ (Figura 3B), conserve solo los puntos clave seleccionados para los marcadores virtuales y reemplace todos los demás con NaN en el archivo .h5. Esta reducción en los puntos clave disminuye la carga de trabajo para los pasos de corrección posteriores (Figura 3C, E). En este protocolo, se utilizan las partes del cuerpo 2 y 4.
      NOTA: Se recomienda seleccionar dos puntos clave que definan de manera eficiente el vector cuerpo-eje. Realizar el seguimiento inicial de maDLC utilizando solo los puntos clave destinados como marcadores virtuales puede no generar el archivo .h5 en el paso 2.1.4. Por lo tanto, se recomienda realizar el seguimiento inicial con un conjunto más grande de puntos clave.
   2. Usando Perfeccionar tracklets (Figura complementaria 1), corrija el archivo .h5 del paso anterior, que contiene solo los puntos clave seleccionados. Corrija los puntos clave para que cada individuo conserve una identificación consistente a lo largo del video (Figura 3E, F). Guarde el archivo; El archivo .h5 en la carpeta Videos se actualizará automáticamente.
   3. Cree un video etiquetado con etiquetas de color de ID a partir de los datos corregidos en Crear videos (Figura complementaria 1, Figura 3A, Marcador virtual). En DLC 2.2, un video etiquetado existente en la carpeta de videos evitará que se cree uno nuevo; Elimina, cambia el nombre o mueve el archivo antes de continuar. Aquí, establezca el tamaño del marcador en 2 en el archivo de configuración, utilizando el tamaño más pequeño que permita la identificación sin oscurecer al animal en este conjunto de datos.
   4. Cambie el nombre del video creado a un nombre de archivo corto para evitar errores durante el procesamiento de DLC al volver a rastrear en el siguiente paso con saDLC.

3. Realice el seguimiento de la pose del video del marcador virtual usando saDLC (Figura 4)

NOTA: Todos los procedimientos se realizan utilizando la configuración predeterminada de la GUI de DLC a menos que se especifique lo contrario.

1. Cree un nuevo proyecto saDLC en Administrar proyecto (Figura complementaria 2) para el seguimiento de video de marcador virtual. En este protocolo, enumere todas las combinaciones de individuos y partes del cuerpo en el campo bodyparts del archivo config.yaml (por ejemplo, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Todas las demás configuraciones son opcionales.
   NOTA: Al igual que en el paso 2.1.1, los parámetros numframes2pick y dotsize pueden ajustarse según las condiciones de vídeo y la carga de trabajo del experimentador. Se ha confirmado el seguimiento correcto con las configuraciones predeterminadas.
2. Extraiga fotogramas del vídeo del marcador virtual en Extraer fotogramas (Figura complementaria 2). Establezca todos los demás parámetros en sus valores predeterminados.
3. Etiquete cada fotograma extraído en Etiquetar datos (Figura complementaria 2), utilizando los marcadores virtuales para asignar identificaciones individuales de modo que tanto las identificaciones como las partes del cuerpo coincidan en todos los fotogramas (Figura 3B-D). Cuando se conoce la identificación de un individuo y una parte del cuerpo está parcialmente oculta, estime su posición y coloque la etiqueta en consecuencia. Si las identificaciones individuales no se pueden determinar de forma única (por ejemplo, faltan marcadores virtuales para ≥2 individuos en el marco), no etiquete esas partes del cuerpo.
4. Cree un conjunto de datos de entrenamiento a partir de los fotogramas extraídos en Crear conjunto de datos de entrenamiento (figura complementaria 2). En este protocolo, establezca la red en efficientnet-b0. Establezca todos los demás parámetros en sus valores predeterminados.
5. Comience a entrenar la red en Entrenar (Figura complementaria 2). En este protocolo, establezca el parámetro Iteraciones máximas en 200 000 para el entrenamiento. Establezca todos los demás parámetros en sus valores predeterminados.
6. Evalúe la red entrenada en Evaluar (Figura complementaria 2). Establezca todos los demás parámetros en sus valores predeterminados.
7. Ejecute la estimación de pose en los vídeos seleccionados en Analizar vídeos (Figura complementaria 2), generando datos de coordenadas .h5 y otros archivos de salida en la carpeta vídeos. Establezca todos los demás parámetros en sus valores predeterminados.
8. Verificación manual por parte del experimentador.
   1. Cree un vídeo de seguimiento etiquetado en Crear vídeos (Figura complementaria 2). Establezca todos los demás parámetros en sus valores predeterminados.
   2. Inspeccione los vídeos etiquetados (Figura 4A, vmTracking) para comprobar si hay incoherencias de seguimiento. Vuelva a entrenar hasta que el experimentador esté satisfecho con los resultados. Si no se requiere volver a capacitarse, el procedimiento está completo.
      NOTA: Después de confirmar los resultados de seguimiento satisfactorios, puede crear un video con calidad de presentación sin marcadores virtuales (Figura 5), generar los resultados de seguimiento en el video original sin marcadores en lugar del video de marcador virtual en Crear videos (Figura complementaria 2). Reemplace el video de marcador virtual en la carpeta videos con el video sin marcador, cambiándole el nombre para que coincida con el nombre de archivo de video de marcador virtual utilizado anteriormente en el análisis. Para DLC 2.2, asegúrese de que no haya videos etiquetados en la carpeta antes de crear la nueva (Figura 5B, C).
   3. Para el reentrenamiento, extraiga y anote fotogramas de valores atípicos en Extraer/Refinar valores atípicos (Figura complementaria 2). Una vez completada la anotación, haga clic en el botón Combinar conjunto de datos para continuar automáticamente con Crear conjunto de datos de entrenamiento y, a continuación, repita desde el paso 3.1.4 en adelante.

Results

La precisión del seguimiento se evaluó en comparación con una verdad fundamental (GT) generada manualmente. Se extrajeron veinte escenas de 5 o 10 s y se clasificaron como escenas abarrotadas (CR), que incluían superposiciones como ratones que se cruzaban (12 escenas; total de 1.950 fotogramas) o escenas no abarrotadas (nCR) sin superposiciones (8 escenas; total de 1.350 fotogramas). Las predicciones de seguimiento dentro de los 10 píxeles de la posición GT se contaron como coincidencias (Match); las predicciones a ≥10 píxeles de distancia se contaron como falsos positivos (FP); y las predicciones faltantes se contaron como falsos negativos (FN). Además, si la identidad predicha difería de la del fotograma inmediatamente anterior, se contaba como un modificador de ID.

En comparación con maDLC (Figura 6), vmTracking mostró una mejora significativa en la coincidencia en las escenas CR y nCR (Figura 6A, CR: p < 0,001; Figura 6E, nCR: p < 0,01). En ambos tipos de escenas, no se produjeron FN y el número de FN se redujo significativamente con vmTracking (Figura 6B, CR: p < 0,001; Figura 6F, nCR: p < 0,05). Los recuentos de FP (Figura 6C y 6G) y del interruptor de ID (Figura 6D, H) no mostraron cambios en ninguno de los tipos de escena. Se presenta una comparación lado a lado de los resultados de seguimiento obtenidos utilizando vmTracking y maDLC convencional, destacando la precisión y estabilidad mejoradas de vmTracking en condiciones de hacinamiento (Video complementario 1).

También examinamos la relación entre el número de fotogramas de anotación y Match y FN para escenas CR en maDLC y vmTracking (Figura 6I). En maDLC, el Match se estabilizó en aproximadamente el 85% con alrededor de 400 marcos de anotación, con pocas mejoras adicionales a medida que aumentaba el número. El aumento de los marcos de anotación para el entrenamiento no redujo los FN. Por el contrario, vmTracking mostró un aumento constante en Match con más fotogramas de anotación, alcanzando aproximadamente el 95 % en alrededor de 1.000 fotogramas.

Los marcadores virtuales se clasificaron en seis categorías según sus patrones de asignación, y la proporción de cada categoría se utilizó como un índice de precisión del marcador virtual para examinar su relación con el seguimiento de Match (Figura 6J). Las escenas con una mayor proporción de marcadores virtuales asignados correctamente tendían a mostrar una coincidencia más alta. Sin embargo, algunas escenas en las que la proporción de marcadores correctos era baja, ya sea debido a muchas asignaciones incorrectas o a muchos marcadores faltantes, aún exhibían una coincidencia alta (por ejemplo, las escenas CR 3 y 11).

Figura 1: Descripción general del flujo de trabajo de vmTracking. (A) Diagrama esquemático del flujo de trabajo de vmTracking. Primero, realice maDLC en el video sin marcadores (I). En función de los datos de seguimiento de maDLC resultantes, corrija la salida para que cada individuo mantenga una identificación coherente a lo largo del vídeo y cree un vídeo etiquetado que muestre solo un subconjunto seleccionado de puntos clave (II). Usando las etiquetas de este video como marcadores virtuales, rastree el video del marcador virtual con saDLC (III). (B) Se muestran dos ejemplos de vmTracking como instantáneas de cada fase del proceso. La imagen del extremo izquierdo muestra la vista completa y las imágenes de la derecha son vistas ampliadas de las áreas delimitadas por cuadros amarillos. Las barras naranjas en las esquinas inferiores derechas de las imágenes indican las escalas: 5 cm para la imagen "Sin marcadores (descripción general)" y 1 cm para todas las demás. Haga clic aquí para ver una versión más grande de esta figura.

Figura 2: Flujo de trabajo de seguimiento de múltiples animales sin marcadores utilizando maDLC. Esta cifra está relacionada con el paso 2.1 del Protocolo. (A) Los paneles están adaptados de la Figura 1B e ilustran el Proceso I (seguimiento de múltiples animales sin marcadores) que se muestra en la Figura 1A. Para mayor claridad, cada animal está delineado con una línea discontinua. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 1 cm. (D-C) Instantáneas de fotogramas utilizados para el etiquetado durante la ejecución de maDLC. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 5 cm. (B) Ejemplo de marco antes de aplicar las etiquetas. (C) Mismo marco que en B, después del etiquetado. (D) Ejemplo de otro marco etiquetado. Se desconoce la identidad de los individuos entre los fotogramas C y D, pero no es necesario considerar la identidad individual al etiquetar. Como se muestra en las instantáneas, basta con etiquetar correctamente la postura de cada animal. Haga clic aquí para ver una versión más grande de esta figura.

Figura 3: Flujo de trabajo para crear un video de marcador virtual basado en los resultados de maDLC. Esta cifra está relacionada con el paso 2.2 del Protocolo. (A) Los paneles están adaptados de la Figura 1B e ilustran el Proceso II (creación de marcadores virtuales) que se muestra en la Figura 1A. Para mayor claridad, cada animal está delineado con una línea discontinua. Las flechas blancas indican los puntos clave utilizados como marcadores virtuales (los puntos clave 2 y 4 para cada ID). En este ejemplo, los marcadores virtuales se generan en escala de grises: las etiquetas maDLC moradas, verdes y rojas aparecen en negro, gris y blanco, respectivamente. En el Ejemplo 1, los resultados de maDLC se emitieron directamente como marcadores virtuales sin corrección. En el Ejemplo 2, los ID morados y rojos se intercambiaron y corrigieron antes de la salida, debido a un cambio de ID en fotogramas consecutivos. Se pasó por alto un punto verde en el resultado de maDLC que debería haberse corregido y se generó sin modificaciones. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 1 cm. (B) GUI basada en Python para editar archivos de datos de coordenadas h5 para retener solo puntos clave específicos y reemplazar todos los demás con NaN¹¹. (Ba) Ventana de menú inicial al iniciar el programa. Seleccione el archivo que desea editar mediante el botón Seleccionar archivo h5. (Bb) Ventana después de seleccionar el archivo h5. Compruebe los puntos clave que desea reemplazar con NaN (que se muestran como nombre individual-nombre de la pieza del cuerpo) y especifique las horas de inicio y finalización (con velocidad de fotogramas) o los números de fotograma para el reemplazo de NaN. Al hacer clic en Procesar datos, se guarda el archivo editado en la misma carpeta y se crea una copia de seguridad del original. (C) Fotogramas consecutivos de una escena en la que se produjo un cambio de ID. (D) Ejemplo de corrección de todos los puntos de seguimiento de B. (E) Instantánea que muestra el resultado de B con solo los puntos clave 2 y 4 retenidos. (F) Ejemplo de corrección del resultado en E. En comparación con la corrección de todos los puntos clave (C → D), limitar la corrección a dos puntos (C → E → F) reduce el número de ediciones requeridas. La barra naranja en la esquina inferior derecha de cada imagen CF indica una barra de escala de 5 cm. Haga clic aquí para ver una versión más grande de esta figura.

Figura 4: Flujo de trabajo para el seguimiento del video del marcador virtual. Esta cifra está relacionada con el paso 3 del Protocolo. (A) Los paneles están adaptados de la Figura 1B e ilustran el Proceso III (seguimiento del video del marcador virtual) que se muestra en la Figura 1A. Cada individuo está encerrado en un contorno punteado para mayor claridad del objetivo de seguimiento. En este ejemplo, las personas con marcadores virtuales negros, grises y blancos se rastrean como etiquetas moradas, verdes y rojas, respectivamente. En el ejemplo 1, el marcador virtual gris está ausente, pero vmTracking mantiene el seguimiento de identidad correcto. En el ejemplo 2, el marcador gris aparece en dos individuos, pero el seguimiento sigue siendo correcto. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 1 cm. (D-C) Instantáneas de fotogramas usados para el etiquetado durante vmTracking. En este paso, se utiliza saDLC, con cada punto clave definido para incluir información individual y de partes del cuerpo. El etiquetado especifica qué parte del cuerpo de cada individuo está representada. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 5 cm. (B) Instantánea de un fotograma antes del etiquetado. (C) Instantánea del fotograma en B después del etiquetado. (D) Instantánea de un fotograma diferente de C después del etiquetado. Incluso en diferentes fotogramas (por ejemplo, C y D), el etiquetado mantiene la identidad individual utilizando el marcador virtual como indicación, como lo indican los colores de etiqueta consistentes. Haga clic aquí para ver una versión más grande de esta figura.

Figura 5: Flujo de trabajo para fusionar los resultados de seguimiento con un vídeo sin marcadores para producir un vídeo de seguimiento sin marcadores virtuales. Este es un paso opcional relacionado con la NOTA del Paso 3.8.2. (A) Cuando se aplican los resultados de seguimiento al vídeo de marcador virtual, el vídeo de seguimiento resultante conserva los marcadores virtuales (vmTracking^vm+). Las flechas amarillas indican los marcadores virtuales visibles en la salida. La aplicación de los resultados de seguimiento al vídeo original sin marcadores produce un vídeo de seguimiento sin marcadores virtuales (vmTracking^vm-), adecuado para presentaciones u otros fines. La barra naranja en la esquina inferior derecha de cada imagen indica una barra de escala de 1 cm. (B, C) Administración de archivos en la carpeta "videos" del directorio del proyecto al aplicar los resultados de vmTracking a un video sin marcadores. El cuadro naranja ilustra esquemáticamente el contenido de la carpeta. (B) La carpeta "videos" después de generar un video de seguimiento de vmTracking al generar los resultados de seguimiento en el video del marcador virtual (que se muestra esquemáticamente como '4. Etiquetas en video de marcador virtual'). (C) Preparación de la carpeta "videos" para generar resultados de vmTracking en el video sin marcadores. Mueva o cambie el nombre del '1. Video de marcador virtual' y '4. Etiquetas en los archivos de vídeo de marcador virtual del panel B para que se excluyan de la carpeta. El problema no son los archivos en sí, sino que sus nombres de archivo originales interfieren con el procesamiento. Luego, coloque el '5. Vídeo sin marcadores' en la carpeta, cambiándole el nombre para que coincida con el nombre de archivo del vídeo de marcador virtual original (por ejemplo, VMvideo.MP4). En este estado, volver a ejecutar Crear vídeos produce un vídeo de seguimiento con los resultados aplicados al vídeo sin marcadores ('6. Etiquetas en vídeo sin marcadores»). Esta cifra ha sido modificada de Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Haga clic aquí para ver una versión más grande de esta figura.

Figura 6: Evaluación de la precisión del seguimiento con vmTracking. (A-H) Comparación entre maDLC y vmTracking para las proporciones de coincidencias. (A), falsos negativos (B), falsos positivos (C) y cambios de ID (D) en 12 escenas abarrotadas (CR), y coincidencias (E), falsos negativos (F), falsos positivos (G) y cambios de ID (H) en 8 escenas no abarrotadas (nCR). Los gráficos representan los valores medidos para cada escena y las barras representan los valores medios calculados a partir de ellos. Las comparaciones estadísticas se realizaron mediante la prueba de rangos con signo de Wilcoxon. (I) Relación entre el número de fotogramas anotados en CR y las proporciones de coincidencias y falsos negativos. El cuadro verde de la derecha muestra una vista ampliada del área delimitada por las líneas de puntos verdes en el panel izquierdo. Los gráficos representan los valores medios. (J) Relación entre la precisión del marcador virtual y el seguimiento de coincidencias en escenas CR y nCR. La precisión del marcador virtual se clasificó para cada par de marcadores en seis tipos: ambos puntos correctamente asignados al individuo correcto, uno correcto y uno faltante, uno correcto y uno incorrecto, ambos incorrectos, uno incorrecto y uno faltante, y ambos faltantes. Para cada escena, las proporciones de estas categorías se muestran como barras apiladas, con la coincidencia de seguimiento correspondiente para esa escena indicada encima de cada barra. Las escenas están dispuestas en orden ascendente de seguimiento de Match de izquierda a derecha, por separado para las escenas CR y nCR. Escenas CR: n = 12; Escenas nCR: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Esta cifra ha sido modificada de Azechi y Takahashi (2025)⁹. Haga clic aquí para ver una versión más grande de esta figura.

Figura complementaria 1: Instantánea de la ventana principal en DeepLabCut multianimal, que muestra la ubicación de cada pestaña de operación. Las instantáneas ilustran, con flechas, las pestañas utilizadas en cada paso del procedimiento vmTracking. Las imágenes se capturaron desde la GUI de DeepLabCut (versión 2.2.3). Haga clic aquí para descargar esta figura.

Figura complementaria 2: Instantánea de la ventana principal en DeepLabCut de un solo animal, que muestra la ubicación de cada pestaña de operación. Las instantáneas ilustran, con flechas, las pestañas utilizadas en cada paso del procedimiento vmTracking. Las imágenes se capturaron desde la GUI de DeepLabCut (versión 2.2.3). Haga clic aquí para descargar esta figura.

Vídeo complementario 1: Comparación de DeepLabCut y vmTracking de múltiples animales en el seguimiento de tres ratones. Este video comparativo muestra el rendimiento de DeepLabCut (maDLC; izquierda) y vmTracking (derecha) durante el seguimiento de tres ratones. El vídeo vmTracking se generó sustituyendo el vídeo de marcador virtual por el vídeo original sin marcador, siguiendo el procedimiento descrito en la NOTA del Paso 3.8.2, para presentar los resultados de seguimiento sin marcadores virtuales. Para cada método de seguimiento, las identidades individuales se indican mediante etiquetas de color de la misma familia de colores para facilitar la comparación. A lo largo del video, vmTracking muestra menos casos en los que se detectan partes del cuerpo que pertenecen a diferentes individuos, en comparación con maDLC. En particular, alrededor de los 15-17 s, maDLC identifica erróneamente a los individuos con etiqueta verde y roja, lo que resulta en un cambio de sus identidades asignadas. Haga clic aquí para descargar este archivo.

Discussion

Aunque existe una creciente demanda para estudiar formas naturalistas de interacción social en roedores¹, obtener información confiable sobre la identidad y la pose de múltiples animales que se mueven libremente, particularmente durante interacciones cercanas u oclusiones, sigue siendo un desafío técnico. vmTracking supera esta limitación, lo que permite un seguimiento preciso en tales condiciones. vmTracking logra de forma fiable una alta precisión de seguimiento en diversas condiciones experimentales, incluidos entornos abarrotados⁹ donde los rastreadores multianimales convencionales ^4,5 fallan a menudo. Esta robustez se debe a la combinación de la creación de marcadores virtuales, basada en el seguimiento de múltiples animales, con el seguimiento saDLC, lo que permite una estimación precisa de la identidad y la pose. Es importante destacar que el método mantuvo un alto rendimiento incluso cuando la precisión del marcador virtual no era óptima. Esta tolerancia a un cierto grado de imperfección en los marcadores virtuales garantiza que vmTracking siga siendo práctico para rastrear de manera confiable a múltiples individuos que se mueven libremente, avanzando así en los estudios de interacciones sociales de roedores en condiciones seminaturales.

Un paso crítico en vmTracking es corregir los resultados de seguimiento de varios animales durante la creación de marcadores virtuales. En este proceso, pasar por alto los cambios de identidad o las etiquetas incorrectas puede hacer que saDLC mantenga estas identificaciones erróneas durante el seguimiento posterior. Si estos errores se descubren más tarde, se pueden corregir revisando los segmentos afectados, regenerando el video del marcador virtual y volviendo a ejecutar el seguimiento de saDLC. En algunos casos, los marcadores virtuales pueden colocarse correctamente, pero el saDLC aún puede identificar erróneamente a los individuos cuando los marcadores en diferentes animales se acercan durante las interacciones abarrotadas. Estos errores pueden mitigarse reposicionando los marcadores virtuales afectados durante el paso de creación para maximizar las distancias entre marcadores, reduciendo así la probabilidad de confusión en la fase de seguimiento posterior.

Aunque nuestro protocolo usa DLC ^4,7 para ambos pasos, también se puede implementar con SLEAP ^5,12. En nuestra experiencia, SLEAP en modo de un solo animal es generalmente menos estable que saDLC, con un rendimiento más dependiente del video⁹. Sin embargo, para el paso de creación de marcadores virtuales, SLEAP o idtracker.ai¹³ pueden ser igualmente efectivos, y la elección óptima puede variar con el video. Por lo tanto, si el seguimiento inicial de maDLC muestra cambios de identificación frecuentes o una pérdida severa de puntos clave en la inspección visual, es posible un enfoque mixto, por ejemplo, crear marcadores virtuales con SLEAP o idtracker.ai y luego rastrear el video resultante con saDLC.

Debido a que vmTracking implica dos pasos de seguimiento, algunos pueden verlo como engorroso y preguntarse por qué los marcadores físicos no se adjuntan simplemente desde el principio, eliminando la necesidad de crear marcadores virtuales. Sin embargo, los marcadores virtuales ofrecen claras ventajas: se pueden aplicar post hoc a videos sin marcadores existentes, evitando cualquier efecto de comportamiento o preocupaciones éticas asociadas con la fijación de dispositivos a los animales. Se pueden colocar en cualquier lugar, nunca se caen y no se ven afectados por la postura o las interacciones cercanas, lo que permite colocarlos y ajustarlos para adaptarse al video específico. Esta flexibilidad permite una identificación individual más fiable y, en consecuencia, una mayor precisión de seguimiento en comparación con los marcadores físicos. Como resultado, vmTracking, que utiliza marcadores virtuales, permite un seguimiento de alta precisión en estudios de interacciones sociales de movimiento libre, así como en el reanálisis de datos de video de archivo, donde no se pueden aplicar marcadores físicos. Los datos de seguimiento de alta precisión obtenidos de este modo son ampliamente útiles en todos los campos que se basan en experimentos conductuales, incluidas las ciencias del comportamiento, la psicología y la neurociencia.

vmTracking tiene varias limitaciones. Primero, debido a que la identificación individual se basa en las diferencias en el color del marcador, el número de individuos rastreables está limitado por el rango finito de colores distinguibles. Hasta la fecha, hemos rastreado con éxito un grupo de diez peces⁹; Sin embargo, aumentar este número requerirá expandir la variedad de marcadores virtuales, por ejemplo, alterando las formas de los marcadores o explorando el uso de estructuras esqueléticas como identificadores adicionales, aunque estos enfoques requieren una mayor validación. En segundo lugar, vmTracking implica necesariamente un paso adicional de agregar marcadores virtuales a cada video sin marcadores, lo que puede requerir mucha mano de obra para grabaciones largas o conjuntos de datos con muchas personas. Además, si bien este método puede, en principio, aplicarse a varias especies y condiciones de registro, la practicidad de lograr un seguimiento de alta precisión puede disminuir cuando no se pueden optimizar los parámetros experimentales. Por ejemplo, en las grabaciones de animales salvajes o en movimiento libre en condiciones similares a las del campo, donde la iluminación, la resolución de la cámara o los ángulos de grabación son difíciles de controlar, la corrección manual requerida durante la asignación de marcadores virtuales tiende a aumentar, lo que puede limitar la facilidad de obtener datos de seguimiento de alta calidad. En el futuro, la racionalización y automatización del proceso de asignación de marcadores virtuales mejorará aún más la aplicabilidad y usabilidad del método.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tubo acrílico (transparente, grosor 5 mm, diámetro interior 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Comprado en Hazaiya (un minorista online de materiales acrílicos)
Placa acrílica (blanca, 3 mm de grosor, 31 cm de diámetro)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Comprado en Hazaiya (un minorista online de materiales acrílicos)
Ratón C57BL/6J	Suministros de laboratorio Shimizu, Co.LTD.	N/A
Cámara	Basler	acA3088-57uc
DeepLabCut 2.2.3	Laboratorio Mathis en el Instituto Federal Suizo de Tecnología en Lausana	https://www.mackenziemathislab.org/deeplabcut
Suite de software de cámara Pylon (Visor de pilones)	Basler	N/A