Utilizando o vmTracking para melhorar a precisão da estimativa de poses de vários animais em estudos de comportamento social de roedores

Nosso objetivo é entender as interações sociais em camundongos em movimento livre, desenvolvendo métodos precisos de rastreamento multi-animais. Alcançar o rastreamento preciso da pose com identificação confiável individual em condições de múltiplos animais continua sendo difícil. Para começar, crie um novo projeto multi-animal selecionando Gerenciar Projeto para rastreamento de vídeo sem marcadores.

Modificar os campos de indivíduos e partes do corpo na configuração. Arquivo YAML, de acordo com os requisitos de análise. Selecione Extrair Quadros para extrair quadros do vídeo para rotulagem e treinamento.

Em seguida, rotule cada frame extraído selecionando Dados de Rótulo. Atribua as partes do corpo apropriadas a cada indivíduo visível sem necessariamente manter IDs consistentes entre os quadros. Para criar um conjunto de dados de treinamento a partir dos quadros extraídos, selecione criar Conjunto de Dados de Treinamento.

Configure a rede para DLCRNet_ms5 na configuração. Selecione Treinar para começar a treinar a rede. Defina o parâmetro máximo de iterações para 200.000 para esta sessão de treinamento.

Todos os outros parâmetros de treinamento podem permanecer em seus valores padrão. Avalie a rede treinada selecionando Avaliar. Para executar estimativas de pose nos vídeos selecionados, escolha Analisar Vídeos Gerando Dados de Coordenadas HDF5 e outros arquivos de saída na pasta de vídeos dentro da pasta do projeto.

Para realizar a verificação manual dos resultados de rastreamento, crie um vídeo de rastreamento rotulado selecionando Criar Vídeos. Ative a opção de criar vídeo com ID de animal colorido na interface do DLC para incluir IDs individuais no vídeo. Depois, inspecione os vídeos rotulados gerados para verificar se há mudanças de identidade ou previsões ausentes.

Se houver erros graves, prepare-se para requalificação. Retreinar, extrair e anotar quadros de outlier. Selecione extrair ou refinar valores atípicos.

Uma vez concluída a anotação, clique em Molhar Conjunto de Dados para prosseguir automaticamente para a criação do conjunto de dados de treinamento. E então repita o processo de treinamento. Para corrigir os resultados do DLC multi-animais, abra a interface personalizada e mantenha apenas os pontos-chave necessários para marcadores virtuais.

Selecione Refine Tracklets para corrigir o arquivo HDF5 contendo apenas os pontos-chave selecionados. Ajuste os pontos-chave para que todos mantenham uma identificação consistente ao longo do vídeo. Salve o arquivo e o arquivo HDF5 na pasta de vídeos será atualizado automaticamente.

Em seguida, crie um novo vídeo rotulado a partir dos dados corrigidos selecionando Criar Vídeos. No DeepLabCut 2.2, se um vídeo rotulado já existir na pasta de vídeos, um novo vídeo não será criado. Remova, renomeie ou mova o arquivo existente antes de prosseguir.

Renomeie o vídeo marcador virtual rotulado para um nome curto para evitar erros durante o processamento posterior do DeepLabCut. Crie um novo projeto saDLC selecionando Gerenciar Projeto para acompanhar o vídeo do marcador virtual. Na configuração.

Arquivo yaml, liste todas as combinações de indivíduos e partes do corpo no campo de partes do corpo. Para extrair quadros do vídeo marcador virtual renomeado, selecione Extrair Quadros. Agora rotule cada quadro extraído nos dados do rótulo usando os marcadores virtuais para atribuir IDs individuais consistentes e garantir que tanto IDs quanto partes do corpo coincidam entre os quadros.

Quando uma parte do corpo está parcialmente escondida, mas o ID do indivíduo é conhecido, estime-se sua posição e aplique o rótulo de acordo. Crie um conjunto de dados de treinamento a partir dos quadros extraídos selecionando Criar Conjunto de Dados de Treinamento. Configure a rede para a rede eficiente B0 para esta sessão de treinamento.

Comece a treinar a rede selecionando Trem. Defina o parâmetro máximo de iterações para 200.000 para esta sessão, e todas as outras configurações podem permanecer em seus valores padrão. Após avaliar a rede treinada, realize a verificação manual conforme demonstrado anteriormente.

Em cenas lotadas, o rastreamento de VM alcançou uma porcentagem de correspondência significativamente maior que o maDLC. O número de falsos negativos foi significativamente menor com rastreamento de VM do que com maDLC. No entanto, não havia diferença entre rastreamento de VM e maDLC em contagem de falsos positivos e de trocadores de ID.

Em cenas sem lotação, o rastreamento de VM alcançou uma porcentagem de correspondência significativamente maior que o maDLC. O número de falsos negativos foi significativamente menor com rastreamento de VM do que com maDLC. Não houve diferença na contagem de falsos positivos e trocas de ID entre rastreamento de VM e maDLC.

Em cenas lotadas, a porcentagem de partidas no maDLC estabilizou em cerca de 85% após cerca de 400 quadros anotados sem melhorias adicionais. Enquanto o rastreamento de VMs mostrou um aumento constante até cerca de 95%, em torno de 1.000 quadros. No maDLC, aumentar o número de quadros anotados não reduziu o número de falsos negativos.

Cenas com maior proporção de marcadores virtuais corretamente atribuídos tendiam a apresentar percentuais de correspondência mais altos. No entanto, algumas cenas como a 3 e a 11 ainda apresentavam altas porcentagens de correspondência, apesar de muitas atribuições incorretas ou marcadores faltando. Nosso protocolo resolve a falta de manutenção confiável da identidade no rastreamento de poses entre vários animais.

Ele melhora a precisão do acompanhamento da pose ao combinar marcadores virtuais com ferramentas já existentes. Nossas pesquisas futuras usarão esses dados para abordar como a dinâmica de grupo molda os comportamentos sociais em camundongos.