Uma implementação passo a passo do DeepBehavior, caixa de ferramentas de deep learning para análise automatizada de comportamento

Realizar uma análise detalhada do comportamento é crucial para entender a relação de comportamento cerebral. Uma das melhores maneiras de avaliar o comportamento é através de observações cuidadosas. No entanto, quantificar o comportamento observado é demorado e desafiador.

Métodos clássicos de análise comportamental não são facilmente quantificáveis e são inerentemente subjetivos. Desenvolvimentos recentes em deep learning, um ramo de aprendizado de máquina e inteligência artificial, oferecem oportunidades para quantificação automatizada e objetiva de imagens e vídeos. Aqui apresentamos nossos métodos recentemente desenvolvidos utilizando redes neurais profundas para realizar análises detalhadas de comportamento em roedores e humanos.

A principal vantagem dessa técnica são sua flexibilidade e aplicabilidade a quaisquer dados de imagem para análise de comportamento. A caixa de ferramentas DeepBehavior suporta identificação de objeto único, detecção de vários objetos e rastreamento de pose humana. Também fornecemos o código de pós-processamento no MATLAB para métodos de análise cinemática mais aprofundados.

Comece configurando a Caixa tensor. Ative o ambiente e use o GitHub para clonar a Tensor Box e instalá-lo na máquina e em dependências adicionais. Em seguida, inicie a interface gráfica de rotulagem e rotule pelo menos 600 imagens de uma ampla distribuição de quadros de comportamento.

Para rotular uma imagem clique no canto superior esquerdo do objeto de interesse e, em seguida, no canto inferior direito. Em seguida, certifique-se de que a caixa delimitação capture todo o objeto. Clique ao lado para mover-se para o próximo quadro.

Para vincular as imagens de treinamento a um arquivo de hiper parâmetros de rede, abra overfeat_rezoom. json em um editor de texto e substituir o caminho de arquivo sob train_idl para labels.json. Em seguida, adicione o mesmo caminho de arquivo em test-idl e salve as alterações.

Inicie o roteiro de treinamento que começará a treinar para 600.000 iterações e gere os pesos treinados resultantes da rede neural convolucional na pasta de saída. Em seguida, execute a previsão em novas imagens e visualize as saídas da rede como imagens rotuladas e como coordenadas de caixa delimitadoras. Instale o YOLOv3.

Em seguida, rotule os dados de treinamento com Yolo_mark colocando as imagens na pasta Yolo_mark-data-obga e rotulando-as uma a uma na interface gráfica do usuário. Rotule aproximadamente 200 imagens. Em seguida, configure o arquivo de configuração.

Para modificar o arquivo de configuração abra o YOLO-obj. pasta cfg. Modifique as linhas de lote, subdivisão e classes.

Em seguida, altere o filtro para cada camada de convolução antes de uma camada YOLO. Baixe os pesos da rede e coloque-os na construção da darknet. pasta x64.

Execute o algoritmo de treinamento, e uma vez que ele é visualização completa das iterações. Para rastrear várias partes do corpo em um sujeito humano, instale o OpenPose e use-o para processar o vídeo desejado. As capacidades da Caixa de Ferramentas deepbehavior foram demonstradas em vídeos de ratos realizando uma tarefa de alcance de pelotas de alimentos.

Suas patas direitas foram rotuladas e o movimento foi rastreado com câmeras de visão frontal e lateral. Após o pós-processamento com calibração da câmera, foram obtidas trajetórias 3D do alcance. As saídas do YOLOv3 são várias caixas delimitadoras porque vários objetos podem ser rastreados.

As caixas delimitadoras estão ao redor dos objetos de interesse que podem ser partes do corpo. No OpenPose, a rede detectou as posições articulares e após o pós-processamento com calibração da câmera, foi criado um modelo 3D do assunto. Um passo crítico não abordado neste protocolo é garantir que seu dispositivo tenha as versões e dependências Python apropriadas, bem como um dispositivo configurado por GPU antes de começar.

Depois de obter com sucesso o comportamento da faixa a partir do processamento adicional de postagem da rede pode ser feito para analisar melhor a cinemática e padrões do comportamento. Por que a Caixa de Ferramentas deepbehavior é aplicável para abordagens diagnósticas em modelos de doenças de roedores e seres humanos não é benefício terapêutico direto. O uso dessas técnicas como ferramenta diagnóstica ou prognóstica está em pesquisa ativa em nosso laboratório.

Esta técnica está sendo usada para investigar os mecanismos neurais do comportamento motor qualificado em roedores, bem como sendo utilizada em estudos clínicos para avaliar a recuperação motora em pacientes com doenças neurológicas.