Utilizando o vmTracking para melhorar a precisão da estimativa de poses de vários animais em estudos de comportamento social de roedores

Summary

Este protocolo apresenta o vmTracking, um método que permite o rastreamento de pose de alta precisão em vídeos de vários animais em movimento livre e sem marcadores, mesmo em condições de superlotação em que os animais são densamente agrupados. Essa abordagem fornece dados confiáveis para analisar as interações sociais que ocorrem em ambientes seminaturais onde os animais podem se mover livremente.

Abstract

Na pesquisa de comportamento social usando roedores, há uma demanda crescente para avaliar comportamentos interativos mais naturais sob condições de movimento livre. O rastreamento preciso da pose de vários animais é essencial para esse fim. No entanto, as atuais ferramentas de rastreamento de poses de vários animais sem marcadores enfrentam um desafio significativo: a precisão do rastreamento tende a diminuir em condições de oclusão e aglomeração. Esse problema se torna especialmente pronunciado quando os animais são visualmente indistinguíveis uns dos outros. Para superar esse problema, desenvolvemos o rastreamento de marcadores virtuais (vmTracking), um método que melhora a precisão do rastreamento de poses de vários animais em condições tão desafiadoras, mantendo a identidade individual entre os quadros usando marcadores virtuais. O vmTracking também pode ser aplicado a dados de vídeo de vários animais sem marcadores existentes, incorporando etapas de processamento adicionais que adicionam rótulos de identidade individuais aos fluxos de trabalho de rastreamento padrão. Aqui, descrevemos o método de atribuição de marcadores virtuais e o protocolo de rastreamento de animais nos vídeos rotulados resultantes. O rastreamento multi-animal de alta precisão habilitado pelo vmTracking fornece uma base confiável para análises quantitativas subsequentes de interações sociais em condições seminaturais.

Introduction

A pesquisa sobre o comportamento social dos roedores tem enfatizado cada vez mais o estudo das interações em contextos sociais mais naturalistas¹. Abordagens tradicionais, como o teste de três câmaras, têm sido amplamente utilizadas para avaliar a sociabilidade e a preferência social², mas esses paradigmas capturam apenas aspectos simplificados da interação social³. Para atender a essa necessidade, o DeepLabCut (maDLC)⁴ e o Social LEAP Estimates Animal Poses (SLEAP)⁵ tornaram-se ferramentas indispensáveis para o rastreamento de poses sem marcadores de vários animais em condições de movimento livre, fornecendo tecnologia avançada baseada em aprendizado profundo para rastreamento de poses de vários animais sem marcadores. No entanto, em ambientes lotados onde os animais estão próximos, essas ferramentas são propensas a erros de rastreamento, como falhas de previsão e mudanças de identidade (ID). A obtenção de dados confiáveis nessas condições geralmente requer uma extensa correção manual.

O rastreamento preciso da pose de vários animais em movimento livre abre as portas para a investigação de dinâmicas sociais mais complexas. Por exemplo, dados de rastreamento detalhados permitem a avaliação das relações líder-seguidor, comportamentos de evitação de aproximação durante o movimento e outros padrões diferenciados de interação que não podem ser avaliados de forma confiável com ensaios comportamentais convencionais. Tais avanços estendem a utilidade do rastreamento de vários animais além de medidas descritivas relativamente simples de comportamento, permitindo análises de interações sociais mais complexas.

Uma abordagem para melhorar a precisão do rastreamento é diferenciar claramente os animais individuais. Por exemplo, Bordes⁶ demonstrou o rastreamento simultâneo de um camundongo CD1 branco e um camundongo C57BL / 6N preto usando o DeepLabCut (saDLC^{) de} um único animal7. Essa descoberta sugere que, quando os animais são visualmente distinguíveis, o rastreamento individual preciso é viável. No entanto, o uso de marcadores físicos para identificação pode alterar comportamentos naturais. Mesmo métodos minimamente invasivos, como o implante de etiquetas de identificação por radiofrequência⁸, levantam preocupações quanto aos seus potenciais efeitos no comportamento.

Aqui, apresentamos um método de rastreamento de pose de vários animais que usa marcadores virtuais (vmTracking)⁹ para identificação individual não invasiva. A avaliação precisa do comportamento social, levando em consideração seu contexto social, requer dados de rastreamento de poses de vários animais altamente precisos. O vmTracking foi desenvolvido para atender a essa necessidade, fornecendo um protocolo confiável - em vez de um novo software ou algoritmo - para obter esses dados de rastreamento de alta qualidade usando ferramentas existentes, como DLC. Portanto, a análise comportamental social baseada nesses dados está além do escopo deste protocolo. O vmTracking envolve duas etapas principais: adicionar marcadores virtuais a vídeos sem marcadores e rastrear os vídeos de marcadores virtuais resultantes. Este método permite o rastreamento de poses de alta precisão sem a necessidade de marcadores físicos, mesmo em condições envolvendo três ou mais animais visualmente indistinguíveis da mesma linhagem. Ao permitir o rastreamento confiável em condições seminaturalistas, o vmTracking fornece uma ferramenta eficaz para o avanço da pesquisa sobre interações sociais complexas, com aplicações potenciais em ciências comportamentais, psicologia e neurociência.

Protocol

Todos os procedimentos experimentais foram aprovados pelo Comitê de Cuidados e Uso de Animais da Universidade Doshisha (Aprovação nº A23068). Os camundongos C57BL / 6J (ver Tabela de Materiais) foram alojados em grupos de 2-3 por gaiola sob condições controladas de 24-26 ° C, um ciclo claro / escuro de 12 horas, com acesso ad libitum a comida e água. Todos os registros comportamentais foram coletados durante a fase de luz. O fluxo de trabalho geral do processo vmTracking, juntamente com instantâneos de um exemplo, é mostrado na Figura 1.

NOTA: O vmTracking não é um novo software ou algoritmo, mas um protocolo que usa funções DLC existentes para maximizar a precisão do rastreamento de vários animais. Consequentemente, uma parte substancial das etapas a seguir descreve operações específicas da interface gráfica do usuário (GUI) no DLC para garantir a reprodutibilidade.

1. Preparação de dados de vídeo multi-animais sem marcadores

NOTA: Os parâmetros experimentais podem ser ajustados de acordo com o estudo específico.

1. Coloque três camundongos C57BL / 6J em um campo aberto circular com piso branco e paredes transparentes (31 cm de diâmetro × 17 cm de altura; consulte a Tabela de Materiais) e deixe-os se moverem livremente.
2. Usando uma visão de câmera de cima para baixo, grave os animais por aproximadamente 60 minutos com uma resolução de 460 × 460 pixels e uma taxa de quadros de 30 fps (consulte a Tabela de Materiais).

2. Criação de um vídeo de marcador virtual

1. Execute o rastreamento de pose sem marcador padrão usando maDLC no DLC versão 2.2.3 (Figura 2; consulte a Tabela de Materiais).
   NOTA: Nas etapas abaixo, os nomes dos menus da guia DLC GUI e as configurações de parâmetros são mostrados em negritopara esclarecer as operações no DLC. Todos os procedimentos são executados usando as configurações padrão, a menos que especificado de outra forma. Para obter instruções detalhadas sobre como usar o DLC, consulte a documentação oficial¹⁰.
   1. Crie um projeto com vários animais em Gerenciar Projeto (Figura Suplementar 1) para rastreamento de vídeo sem marcador. Modifique os campos de indivíduos e partes do corpo no arquivo config.yaml de acordo com os requisitos de análise. Neste protocolo, são utilizados individual1 para individual3 e bodypart1 para bodypart6. Todas as outras configurações são opcionais.
      NOTA: Os parâmetros numframes2pick (número de quadros extraídos) e dotsize (tamanho do marcador) podem ser ajustados com base nas condições de vídeo e na carga de trabalho do experimentador. Outras configurações não foram testadas sistematicamente em todas as condições possíveis; no entanto, o rastreamento bem-sucedido foi confirmado com as configurações padrão.
   2. Extraia quadros do vídeo em Extrair quadros (Figura suplementar 1) para rotulagem e treinamento subsequentes. Defina todos os outros parâmetros para seus valores padrão.
   3. Rotule cada quadro extraído em Label Data (Figura Suplementar 1), atribuindo as partes apropriadas do corpo a cada indivíduo visível sem manter IDs consistentes entre os quadros.
   4. Crie um conjunto de dados de treinamento a partir dos quadros extraídos em Criar conjunto de dados de treinamento (Figura 1 suplementar). Neste protocolo, defina a rede como dlcrnet_ms5. Defina todos os outros parâmetros para seus valores padrão.
   5. Comece a treinar a rede no Train (Figura 1 suplementar). Nesse protocolo, o parâmetro Máximo de iterações é definido como 200.000 para treinamento. Defina todos os outros parâmetros para seus valores padrão.
   6. Avalie a rede treinada em Avaliar (Figura Suplementar 1). Defina todos os outros parâmetros para seus valores padrão.
   7. Execute a estimativa de pose nos vídeos selecionados em Analisar vídeos (Figura suplementar 1), gerando dados de coordenadas .h5 e outros arquivos de saída na pasta de vídeos dentro da pasta do projeto. Defina todos os outros parâmetros para seus valores padrão.
      NOTA: Se o conjunto de dados de treinamento for insuficiente, a análise poderá falhar ao gerar arquivos de coordenadas .h5. Nesse caso, reinicie a partir da etapa 2.1.2.
   8. Verificação manual pelo experimentador.
      1. Crie um vídeo de rastreamento rotulado em Criar vídeos (Figura suplementar 1). Selecione a opção Criar vídeo com ID de animal colorido? na GUI do DLC e gere um vídeo de rastreamento rotulado (Figura 2A, maDLC). Defina todos os outros parâmetros para seus valores padrão.
      2. Inspecione os vídeos rotulados (Figura 2A, maDLC) para verificar se há opções de ID e previsões ausentes. Se forem observados erros perceptíveis, execute um novo treinamento (consulte a etapa 2.1.8.3). Se o retreinamento não for realizado, prossiga para a etapa 2.2.
         NOTA: O retreinamento não é obrigatório, mas melhora a precisão e reduz a carga de trabalho em etapas posteriores.
      3. Para reciclagem, extraia e anote quadros discrepantes em Extrair/Refinar Outliers (Figura Suplementar 1). Depois que a anotação for concluída, clique no botão Mesclar conjunto de dados para prosseguir automaticamente para Criar Conjunto de Dados de Treinamento e repita a partir da etapa 2.1.4.
2. Corrija os resultados do maDLC para criar um vídeo de marcador virtual (Figura 3).
   1. Usando a GUI personalizada¹¹ (Figura 3B), mantenha apenas os pontos-chave selecionados para marcadores virtuais e substitua todos os outros por NaN no arquivo .h5. Essa redução nos pontos-chave diminui a carga de trabalho para as etapas de correção subsequentes (Figura 3C, E). Neste protocolo, são utilizadas as partes do corpo 2 e 4.
      NOTA: Recomenda-se selecionar dois pontos-chave que definam com eficiência o vetor do eixo do corpo. Executar o rastreamento inicial do maDLC usando apenas os pontos-chave destinados como marcadores virtuais pode falhar ao gerar o arquivo .h5 na etapa 2.1.4. Portanto, é recomendável executar o rastreamento inicial com um conjunto maior de pontos-chave.
   2. Usando tracklets Refine (Figura suplementar 1), corrija o arquivo .h5 da etapa anterior, contendo apenas os pontos-chave selecionados. Corrija os pontos-chave para que cada indivíduo mantenha um ID consistente ao longo do vídeo (Figura 3E, F). Salve o arquivo; O arquivo .h5 na pasta Vídeos será atualizado automaticamente.
   3. Crie um vídeo rotulado com rótulos de cores de ID a partir dos dados corrigidos em Criar vídeos (Figura suplementar 1, Figura 3A, Marcador virtual). No DLC 2.2, um vídeo rotulado existente na pasta de vídeos impedirá que um novo seja criado; remova, renomeie ou mova o arquivo antes de continuar. Aqui, defina o tamanho do marcador como 2 no arquivo de configuração, usando o menor tamanho que permita a identificação sem obscurecer o animal neste conjunto de dados.
   4. Renomeie o vídeo criado para um nome de arquivo curto para evitar erros durante o processamento do DLC ao rastrear novamente na próxima etapa com saDLC.

3. Execute o rastreamento de pose do vídeo do marcador virtual usando saDLC (Figura 4)

NOTA: Todos os procedimentos são executados usando as configurações padrão da GUI do DLC, a menos que especificado de outra forma.

1. Crie um novo projeto saDLC em Gerenciar Projeto (Figura Suplementar 2) para rastreamento de vídeo de marcador virtual. Neste protocolo, liste todas as combinações de indivíduos e partes do corpo no campo bodyparts do arquivo config.yaml (por exemplo, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Todas as outras configurações são opcionais.
   NOTA: Como na etapa 2.1.1, os parâmetros numframes2pick e dotsize podem ser ajustados de acordo com as condições de vídeo e a carga de trabalho do experimentador. O rastreamento bem-sucedido foi confirmado com as configurações padrão.
2. Extraia quadros do vídeo do marcador virtual em Extrair quadros (Figura suplementar 2). Defina todos os outros parâmetros para seus valores padrão.
3. Rotule cada quadro extraído em Dados de rótulo (Figura suplementar 2), usando os marcadores virtuais para atribuir IDs individuais para que os IDs e as partes do corpo correspondam entre os quadros (Figura 3B-D). Quando a identidade de um indivíduo é conhecida e uma parte do corpo está parcialmente oculta, estime sua posição e coloque o rótulo de acordo. Se os IDs individuais não puderem ser determinados exclusivamente (por exemplo, marcadores virtuais para ≥2 indivíduos estão faltando no quadro), não rotule essas partes do corpo.
4. Crie um conjunto de dados de treinamento a partir dos quadros extraídos em Criar conjunto de dados de treinamento (Figura suplementar 2). Neste protocolo, defina a rede como efficientnet-b0. Defina todos os outros parâmetros para seus valores padrão.
5. Comece a treinar a rede no Train (Figura 2 suplementar). Nesse protocolo, defina o parâmetro Máximo de iterações como 200.000 para treinamento. Defina todos os outros parâmetros para seus valores padrão.
6. Avalie a rede treinada em Avaliar (Figura Suplementar 2). Defina todos os outros parâmetros para seus valores padrão.
7. Execute a estimativa de pose nos vídeos selecionados em Analisar vídeos (Figura 2 suplementar), gerando dados de coordenadas .h5 e outros arquivos de saída na pasta de vídeos. Defina todos os outros parâmetros para seus valores padrão.
8. Verificação manual pelo experimentador.
   1. Crie um vídeo de rastreamento rotulado em Criar vídeos (Figura suplementar 2). Defina todos os outros parâmetros para seus valores padrão.
   2. Inspecione os vídeos rotulados (Figura 4A, vmTracking) para verificar se há inconsistências de rastreamento. Treine novamente até que o experimentador esteja satisfeito com os resultados. Se não for necessária uma nova reciclagem, o procedimento está concluído.
      NOTA: Depois de confirmar os resultados de rastreamento satisfatórios, você pode criar um vídeo com qualidade de apresentação sem marcadores virtuais (Figura 5), gerar os resultados de rastreamento no vídeo original sem marcador em vez do vídeo do marcador virtual em Criar vídeos (Figura 2 suplementar). Substitua o vídeo do marcador virtual na pasta de vídeos pelo vídeo sem marcador, renomeando-o para corresponder ao nome do arquivo de vídeo do marcador virtual usado anteriormente na análise. Para o DLC 2.2, certifique-se de que nenhum vídeo rotulado esteja presente na pasta antes de criar a nova (Figura 5B,C).
   3. Para retreinamento, extraia e anote quadros discrepantes em Extrair/Refinar Outliers (Figura Suplementar 2). Após a conclusão da anotação, clique no botão Mesclar conjunto de dados para prosseguir automaticamente para Criar Conjunto de Dados de Treinamento e repita a partir da etapa 3.1.4.

Results

A precisão do rastreamento foi avaliada por comparação com uma verdade de solo (GT) gerada manualmente. Vinte cenas de 5 ou 10 segundos foram extraídas e classificadas como cenas lotadas (CR), que incluíam sobreposições como ratos cruzando caminhos (12 cenas; total de 1.950 quadros) ou cenas não lotadas (nCR) sem sobreposições (8 cenas; total de 1.350 quadros). As previsões de rastreamento dentro de 10 pixels da posição GT foram contadas como correspondências (Match); previsões ≥10 pixels de distância foram contadas como falsos positivos (FP); e as previsões ausentes foram contadas como falsos negativos (FN). Além disso, se a identidade prevista diferisse daquela no quadro imediatamente anterior, ela era contada como uma troca de ID.

Comparado com maDLC (Figura 6), o vmTracking mostrou uma melhora significativa no Match nas cenas CR e nCR (Figura 6A, CR: p < 0,001; Figura 6E, nCR: p < 0,01). Em ambos os tipos de cena, não ocorreram FNs e o número de FNs foi significativamente reduzido com vmTracking (Figura 6B, CR: p < 0,001; Figura 6F, nCR: p < 0,05). As contagens de FP (Figura 6C e 6G) e chave ID (Figura 6D, H) não mostraram alterações em nenhum dos tipos de cena. Uma comparação lado a lado dos resultados de rastreamento obtidos usando vmTracking e maDLC convencional é apresentada, destacando a precisão e estabilidade aprimoradas do vmTracking em condições de superlotação (Vídeo Suplementar 1).

Também examinamos a relação entre o número de quadros de anotação e Match e FN para cenas CR em maDLC e vmTracking (Figura 6I). No maDLC, o Match se estabilizou em aproximadamente 85% com cerca de 400 quadros de anotação, com pouca melhoria adicional à medida que o número aumentava. Aumentar os quadros de anotação para treinamento não reduziu os FNs. Em contraste, o vmTracking mostrou um aumento constante na correspondência com mais quadros de anotação, atingindo aproximadamente 95% em cerca de 1.000 quadros.

Os marcadores virtuais foram classificados em seis categorias com base em seus padrões de atribuição, e a proporção de cada categoria foi usada como um índice de precisão do marcador virtual para examinar sua relação com o rastreamento Match (Figura 6J). Cenas com uma proporção maior de marcadores virtuais atribuídos corretamente tendiam a mostrar maior correspondência. No entanto, algumas cenas em que a proporção de marcadores corretos era baixa, seja por causa de muitas atribuições incorretas ou muitos marcadores ausentes, ainda exibiam alta correspondência (por exemplo, cenas CR 3 e 11).

Figura 1: Visão geral do fluxo de trabalho vmTracking. (A) Diagrama esquemático do fluxo de trabalho vmTracking. Primeiro, execute maDLC no vídeo sem marcador (I). Com base nos dados de rastreamento maDLC resultantes, corrija a saída para que cada indivíduo mantenha uma ID consistente em todo o vídeo e crie um vídeo rotulado que exiba apenas um subconjunto selecionado de pontos-chave (II). Usando os rótulos neste vídeo como marcadores virtuais, acompanhe o vídeo do marcador virtual com saDLC (III). (B) Dois exemplos de vmTracking são mostrados como instantâneos de cada estágio do processo. A imagem à esquerda mostra a visão completa e as imagens à direita são vistas ampliadas das áreas delimitadas por caixas amarelas. As barras laranja nos cantos inferiores direitos das imagens indicam as escalas: 5 cm para a imagem "Markerless (Overview)" e 1 cm para todas as outras. Clique aqui para ver uma versão maior desta figura.

Figura 2: Fluxo de trabalho de rastreamento de vários animais sem marcadores usando maDLC. Esta figura está relacionada à etapa 2.1 do protocolo. (A) Os painéis são adaptados da Figura 1B e ilustram o Processo I (rastreamento de vários animais sem marcadores) mostrado na Figura 1A. Para maior clareza, cada animal é delineado com uma linha tracejada. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 1 cm. (BD) Instantâneos de quadros usados para rotulagem durante a execução do maDLC. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 5 cm. (B) Exemplo de quadro antes da aplicação dos rótulos. (C) Mesmo quadro que em B, após a rotulagem. (D) Exemplo de outro quadro rotulado. A identidade dos indivíduos entre os quadros C e D é desconhecida, mas a identidade individual não precisa ser considerada ao rotular. Conforme mostrado nos instantâneos, basta rotular corretamente a postura de cada animal. Clique aqui para ver uma versão maior desta figura.

Figura 3: Fluxo de trabalho para criar um vídeo de marcador virtual com base nos resultados do maDLC. Esta figura está relacionada à etapa 2.2 do protocolo. (A) Os painéis são adaptados da Figura 1B e ilustram o Processo II (criação de marcadores virtuais) mostrado na Figura 1A. Para maior clareza, cada animal é delineado com uma linha tracejada. As setas brancas indicam os pontos-chave usados como marcadores virtuais (o 2º e o 4º pontos-chave para cada ID). Neste exemplo, os marcadores virtuais são gerados em tons de cinza: os rótulos maDLC roxo, verde e vermelho aparecem como preto, cinza e branco, respectivamente. No Exemplo 1, os resultados do maDLC foram gerados diretamente como marcadores virtuais sem correção. No Exemplo 2, os IDs roxo e vermelho foram trocados e corrigidos antes da saída, devido a uma troca de ID em quadros consecutivos. Um ponto verde no resultado do maDLC que deveria ter sido corrigido foi negligenciado e gerado sem modificação. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 1 cm. (B) GUI baseada em Python para editar arquivos de dados de coordenadas h5 para reter apenas pontos-chave específicos e substituir todos os outros por NaN¹¹. (Ba) Janela do menu inicial na inicialização do programa. Selecione o arquivo a ser editado por meio do botão Selecionar arquivo h5. (Bb) Janela após selecionar o arquivo h5. Verifique os pontos-chave a serem substituídos por NaN (exibidos como nome individual do nome da peça do corpo) e especifique os horários de início e término (com taxa de quadros) ou números de quadro para substituição de NaN. Clicar em Processar dados salva o arquivo editado na mesma pasta e cria um backup do original. (C) Quadros consecutivos de uma cena em que ocorreu uma troca de ID. (D) Exemplo de correção de todos os pontos de rastreamento de B. (E) Instantâneo mostrando o resultado de B com apenas o 2º e 4º pontos-chave retidos. (F) Exemplo de correção do resultado em E. Comparado com a correção de todos os pontos-chave (C → D), limitar a correção a dois pontos (C → E → F) reduz o número de edições necessárias. A barra laranja no canto inferior direito de cada imagem C-F indica uma barra de escala de 5 cm. Clique aqui para ver uma versão maior desta figura.

Figura 4: Fluxo de trabalho para rastrear o vídeo do marcador virtual. Esta figura está relacionada à etapa 3 do protocolo. (A) Os painéis são adaptados da Figura 1B e ilustram o Processo III (rastreamento do vídeo do marcador virtual) mostrado na Figura 1A. Cada indivíduo é colocado em um contorno pontilhado para maior clareza do alvo de rastreamento. Neste exemplo, indivíduos com marcadores virtuais pretos, cinzas e brancos são rastreados como rótulos roxos, verdes e vermelhos, respectivamente. No Exemplo 1, o marcador virtual cinza está ausente, mas vmTracking mantém o rastreamento de identidade correto. No Exemplo 2, o marcador cinza aparece em dois indivíduos, mas o rastreamento permanece correto. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 1 cm. (BD) Instantâneos de quadros usados para rotulagem durante vmTracking. Nesta etapa, saDLC é usado, com cada ponto-chave definido para incluir informações individuais e de partes do corpo. A rotulagem especifica qual parte do corpo de qual indivíduo é representado. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 5 cm. (B) Instantâneo de um quadro antes da rotulagem. (C) Instantâneo do quadro em B após a rotulagem. (D) Instantâneo de um quadro diferente de C após a rotulagem. Mesmo em quadros diferentes (por exemplo, C e D), a rotulagem mantém a identidade individual usando o marcador virtual como uma sugestão, conforme indicado por cores consistentes do rótulo. Clique aqui para ver uma versão maior desta figura.

Figura 5: Fluxo de trabalho para mesclar resultados de rastreamento com um vídeo sem marcador para produzir um vídeo de rastreamento sem marcadores virtuais. Esta é uma etapa opcional relacionada à NOTA na Etapa 3.8.2. (A) Quando os resultados de rastreamento são aplicados ao vídeo do marcador virtual, o vídeo de rastreamento resultante retém os marcadores virtuais (vmTracking^vm+). As setas amarelas indicam os marcadores virtuais visíveis na saída. Em vez disso, aplicar os resultados de rastreamento ao vídeo original sem marcadores produz um vídeo de rastreamento sem marcadores virtuais (vmTracking^vm-), adequado para apresentação ou outras finalidades. A barra laranja no canto inferior direito de cada imagem indica uma barra de escala de 1 cm. (B, C) Gerenciamento de arquivos na pasta "vídeos" do diretório do projeto ao aplicar os resultados do vmTracking a um vídeo sem marcador. A caixa laranja ilustra esquematicamente o conteúdo da pasta. (B) A pasta "vídeos" depois de gerar um vídeo de rastreamento vmTracking, enviando os resultados do rastreamento para o vídeo do marcador virtual (mostrado esquematicamente como '4. Rótulos no vídeo do marcador virtual'). (C) Preparando a pasta "videos" para enviar resultados vmTracking para o vídeo sem marcador. Mova ou renomeie o '1. Vídeo do marcador virtual' e '4. Rótulos nos arquivos de vídeo do marcador virtual do painel B para que sejam excluídos da pasta. O problema não são os arquivos em si, mas que seus nomes de arquivo originais interferem no processamento. Em seguida, coloque o '5. Vídeo sem marcador' na pasta, renomeando-o para corresponder ao nome do arquivo de vídeo do marcador virtual original (por exemplo, VMvideo.MP4). Nesse estado, a execução de Criar vídeos novamente produz um vídeo de rastreamento com os resultados aplicados ao vídeo sem marcador ('6. Rótulos em vídeo sem marcador'). Esta figura foi modificada de Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Clique aqui para ver uma versão maior desta figura.

Figura 6: Avaliação da precisão do rastreamento com vmTracking. (AH) Comparação entre maDLC e vmTracking para as proporções de correspondências. (A), falsos negativos (B), falsos positivos (C) e chaves de ID (D) em 12 cenas lotadas (CR) e correspondências (E), falsos negativos (F), falsos positivos (G) e chaves de ID (H) em 8 cenas não lotadas (nCR). Os gráficos representam os valores medidos para cada cena e as barras representam os valores médios calculados a partir deles. As comparações estatísticas foram realizadas por meio do teste dos postos sinalizados de Wilcoxon. (I) Relação entre o número de quadros anotados em CR e as proporções de correspondências e falsos negativos. A caixa verde à direita mostra uma visão ampliada da área delimitada pelas linhas pontilhadas verdes no painel esquerdo. Os gráficos representam os valores médios. (J) Relação entre a precisão do marcador virtual e o rastreamento de correspondências em cenas CR e nCR. A precisão do marcador virtual foi categorizada para cada par de marcadores em seis tipos: ambos os pontos atribuídos corretamente ao indivíduo correto, um correto e um ausente, um correto e um incorreto, ambos incorretos, um incorreto e um ausente e ambos ausentes. Para cada cena, as proporções dessas categorias são mostradas como barras empilhadas, com a correspondência de rastreamento correspondente para essa cena indicada acima de cada barra. As cenas são organizadas em ordem crescente de correspondência de rastreamento da esquerda para a direita, separadamente para cenas CR e nCR. Cenas de RC: n = 12; Cenas nCR: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Esta figura foi modificada de Azechi e Takahashi (2025)⁹. Clique aqui para ver uma versão maior desta figura.

Figura suplementar 1: Instantâneo da janela principal no DeepLabCut multi-animal, mostrando a localização de cada guia de operação. Os instantâneos ilustram, com setas, as guias usadas em cada etapa do procedimento vmTracking. As imagens foram capturadas da GUI do DeepLabCut (versão 2.2.3). Clique aqui para baixar esta figura.

Figura suplementar 2: Instantâneo da janela principal no DeepLabCut de um único animal, mostrando a localização de cada guia de operação. Os instantâneos ilustram, com setas, as guias usadas em cada etapa do procedimento vmTracking. As imagens foram capturadas da GUI do DeepLabCut (versão 2.2.3). Clique aqui para baixar esta figura.

Vídeo Suplementar 1: Comparação do DeepLabCut multi-animal e do vmTracking no rastreamento de três camundongos. Este vídeo comparativo mostra o desempenho do DeepLabCut (maDLC; à esquerda) e do vmTracking (à direita) durante o rastreamento de três camundongos. O vídeo vmTracking foi gerado substituindo o vídeo do marcador virtual pelo vídeo original sem marcador, seguindo o procedimento descrito na NOTA da Etapa 3.8.2, para apresentar os resultados do rastreamento sem marcadores virtuais. Para cada método de rastreamento, as identidades individuais são indicadas usando rótulos de cores da mesma família de cores para facilitar a comparação. Ao longo do vídeo, o vmTracking mostra menos casos em que partes do corpo pertencentes a diferentes indivíduos são detectadas, em comparação com o maDLC. Notavelmente, por volta dos 15-17 s, o maDLC identifica erroneamente os indivíduos com rótulo verde e vermelho, resultando em uma troca de suas identidades atribuídas. Clique aqui para baixar este arquivo.

Discussion

Embora haja uma demanda crescente para estudar formas naturalísticas de interação social em roedores¹, obter informações confiáveis de identidade e pose para vários animais que se movem livremente - particularmente durante interações próximas ou oclusões - continua sendo um desafio técnico. O vmTracking supera essa limitação, permitindo um rastreamento preciso nessas condições. O vmTracking alcança de forma confiável alta precisão de rastreamento em diversas condições experimentais, incluindo ambientes lotados⁹ onde os rastreadores convencionais^de vários animais ^4,5 geralmente falham. Essa robustez decorre da combinação da criação de marcadores virtuais, com base no rastreamento de vários animais, com o rastreamento saDLC, permitindo uma estimativa precisa de identidade e pose. É importante ressaltar que o método manteve alto desempenho mesmo quando a precisão do marcador virtual estava abaixo do ideal. Essa tolerância a um certo grau de imperfeição nos marcadores virtuais garante que o vmTracking permaneça prático para rastrear de forma confiável vários indivíduos que se movem livremente, avançando assim nos estudos de interações sociais de roedores em condições seminaturais.

Uma etapa crítica no vmTracking é corrigir os resultados do rastreamento de vários animais durante a criação do marcador virtual. Nesse processo, ignorar as opções de identidade ou rótulos incorretos pode fazer com que o saDLC mantenha essas identificações incorretas durante o rastreamento subsequente. Se esses erros forem descobertos posteriormente, eles podem ser corrigidos revisando os segmentos afetados, regenerando o vídeo do marcador virtual e executando novamente o rastreamento saDLC. Em alguns casos, os marcadores virtuais podem ser colocados corretamente, mas o saDLC ainda pode identificar erroneamente os indivíduos quando marcadores em diferentes animais se aproximam durante interações lotadas. Esses erros podem ser mitigados reposicionando os marcadores virtuais afetados durante a etapa de criação para maximizar as distâncias entre marcadores, reduzindo assim a probabilidade de confusão na fase de rastreamento subsequente.

Embora nosso protocolo use o DLC ^4,7 para ambas as etapas, ele também pode ser implementado com o SLEAP ^5,12. Em nossa experiência, o SLEAP no modo de animal único é geralmente menos estável do que o saDLC, com desempenho mais dependente do vídeo⁹. Para a etapa de criação do marcador virtual, no entanto, o SLEAP ou o idtracker.ai¹³ podem ser igualmente eficazes e a escolha ideal pode variar de acordo com o vídeo. Portanto, se o rastreamento inicial do maDLC mostrar trocas de ID frequentes ou perda severa de pontos-chave na inspeção visual, uma abordagem mista é possível - por exemplo, criar marcadores virtuais com SLEAP ou idtracker.ai e, em seguida, rastrear o vídeo resultante com saDLC.

Como o vmTracking envolve duas etapas de rastreamento, alguns podem considerá-lo complicado e questionar por que os marcadores físicos não são simplesmente anexados desde o início, eliminando a necessidade de criação de marcadores virtuais. No entanto, os marcadores virtuais oferecem vantagens claras: eles podem ser aplicados post hoc a vídeos sem marcadores existentes, evitando quaisquer efeitos comportamentais ou preocupações éticas associadas à anexação de dispositivos a animais. Eles podem ser colocados em qualquer lugar, nunca caem e não são afetados pela postura ou interações próximas, permitindo que sejam posicionados e ajustados para se adequar ao vídeo específico. Essa flexibilidade permite uma identificação individual mais confiável e, consequentemente, uma precisão de rastreamento aprimorada em comparação com os marcadores físicos. Como resultado, o vmTracking, que usa marcadores virtuais, permite o rastreamento de alta precisão em estudos de interações sociais em movimento livre, bem como na reanálise de dados de vídeo de arquivo, onde os marcadores físicos não podem ser aplicados. Os dados de rastreamento de alta precisão obtidos são amplamente úteis em campos que dependem de experimentos comportamentais, incluindo ciência comportamental, psicologia e neurociência.

vmTracking tem várias limitações. Primeiro, como a identificação individual depende de diferenças na cor do marcador, o número de indivíduos rastreáveis é limitado pela gama finita de cores distinguíveis. Até o momento, rastreamos com sucesso um grupo de dez peixes⁹; No entanto, aumentar esse número exigirá a expansão da variedade de marcadores virtuais - por exemplo, alterando as formas dos marcadores ou explorando o uso de estruturas de esqueleto como identificadores adicionais - embora essas abordagens exijam validação adicional. Em segundo lugar, o vmTracking envolve necessariamente uma etapa extra de adição de marcadores virtuais a cada vídeo sem marcador, o que pode ser trabalhoso para gravações longas ou conjuntos de dados com muitos indivíduos. Além disso, embora esse método possa, em princípio, ser aplicado a várias espécies e condições de registro, a praticidade de obter rastreamento de alta precisão pode diminuir quando os parâmetros experimentais não podem ser otimizados. Por exemplo, em gravações de animais selvagens ou em movimento livre em condições semelhantes às do campo, onde a iluminação, a resolução da câmera ou os ângulos de gravação são difíceis de controlar, a correção manual necessária durante a atribuição de marcadores virtuais tende a aumentar, limitando potencialmente a facilidade de obter dados de rastreamento de alta qualidade. No futuro, simplificar e automatizar o processo de atribuição de marcadores virtuais aumentará ainda mais a aplicabilidade e a usabilidade do método.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tubo acrílico (transparente, espessura 5 mm, diâmetro interno 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Comprado na Hazaiya (um varejista online de materiais acrílicos)
Placa acrílica (branca, 3 mm de espessura, 31 cm de diâmetro)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Comprado na Hazaiya (um varejista online de materiais acrílicos)
Mouse C57BL/6J	Suprimentos de Laboratório Shimizu, Co.LTD.	N/A
Câmera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Laboratório de Mathis no Instituto Federal Suíço de Tecnologia em Lausanne	https://www.mackenziemathislab.org/deeplabcut
Suíte de Software de Câmera Pylon (Pylon Viewer)	Basler	N/A