Un'implementazione passo-passo di DeepBehavior, Deep Learning Toolbox per l'analisi automatizzata del comportamento

L'esecuzione di un'analisi dettagliata del comportamento è fondamentale per comprendere la relazione di comportamento cerebrale. Uno dei modi migliori per valutare il comportamento è attraverso osservazioni attente. Tuttavia, quantificare il comportamento osservato richiede molto tempo e sfida.

I metodi classici di analisi del comportamento non sono facilmente quantificabili e sono intrinsecamente soggettivi. I recenti sviluppi nel deep learning, una branca del machine learning e dell'intelligenza artificiale, offrono opportunità di quantificazione automatizzata e oggettiva di immagini e video. Qui presentiamo i nostri metodi recentemente sviluppati che utilizzano reti neurali profonde per eseguire analisi dettagliate del comportamento nei roditori e negli esseri umani.

Il vantaggio principale di questa tecnica sono la sua flessibilità e applicabilità a qualsiasi dato di imaging per l'analisi del comportamento. La Casella degli strumenti DeepBehavior supporta l'identificazione di singoli oggetti, il rilevamento di più oggetti e il rilevamento delle pose umane. Forniamo anche il codice di post-elaborazione in MATLAB per metodi di analisi cinematica più approfonditi.

Inizia impostando Tensor Box. Attiva l'ambiente, quindi usa GitHub per clonare Tensor Box e installarlo sul computer e su dipendenze aggiuntive. Avviare quindi l'interfaccia utente grafica di etichettatura ed etichettare almeno 600 immagini da un'ampia distribuzione di frame di comportamento.

Per etichettare un'immagine, fare clic nell'angolo in alto a sinistra dell'oggetto di interesse e quindi nell'angolo in basso a destra. Assicurarsi quindi che il riquadro delimitazione catturi l'intero oggetto. Fare clic accanto per passare al fotogramma successivo.

Per collegare le immagini di training a un file di iper parametri di rete, aprire overfeat_rezoom. json in un editor di testo e sostituire il percorso del file in train_idl a labels.json. Quindi aggiungere lo stesso percorso del file in test-idl e salvare le modifiche.

Avviare lo script di training che inizierà il training per 600.000 iterazioni e generare i pesi addestrati risultanti della rete neurale convoluzionale nella cartella di output. Quindi eseguire la previsione sulle nuove immagini e visualizzare gli output della rete come immagini etichettate e come coordinate del riquadro di delimitazione. Installare YOLOv3.

Quindi etichettare i dati di training con Yolo_mark inserendo le immagini nella cartella Yolo_mark-data-obga ed etichettandole una per una nell'interfaccia utente grafica. Etichetta circa 200 immagini. Configurare quindi il file di configurazione.

Per modificare il file di configurazione, aprite yolo-obj. cfg. Modificare le righe batch, subdivision e classes.

Quindi modificate il filtro per ogni livello di convoluzione prima di un livello YOLO. Scarica i pesi di rete e posizionali nella build darknet. cartella x64.

Eseguire l'algoritmo di training e, una volta completato, visualizzare le iterazioni. Per tenere traccia di più parti del corpo in un soggetto umano, installare OpenPose, quindi utilizzarlo per elaborare il video desiderato. Le funzionalità di DeepBehavior Toolbox sono state dimostrate su video di topi che eseguono un compito di raggiungimento del pellet alimentare.

Le zampe destra erano etichettate e il movimento era tracciato con telecamere frontali e laterali. Dopo la post-elaborazione con calibrazione della fotocamera, sono state ottenute traiettorie 3D della portata. Le uscite di YOLOv3 sono più riquadri di delimitazione perché è possibile tenere traccia di più oggetti.

I riquadri di delimitazione sono attorno agli oggetti di interesse che possono essere parti del corpo. In OpenPose, la rete ha rilevato le posizioni del giunto e dopo la post-elaborazione con la calibrazione della fotocamera, è stato creato un modello 3D del soggetto. Un passaggio critico non trattato in questo protocollo è garantire che il dispositivo abbia le versioni e le dipendenze Python appropriate, nonché un dispositivo configurato GPU prima dell'inizio.

Dopo aver ottenuto con successo il comportamento della traccia dalla rete è possibile eseguire ulteriori post-elaborazione per analizzare ulteriormente la cinematica e i modelli del comportamento. Perché la DeepBehavior Toolbox è applicabile per approcci diagnostici nei modelli di malattia di roditori e soggetti umani non è un beneficio terapeutico diretto. L'uso di queste tecniche come strumento diagnostico o prognostico è in fase di ricerca attiva all'interno del nostro laboratorio.

Questa tecnica viene utilizzata per indagare i meccanismi neurali di un comportamento motorio qualificato nei roditori e viene utilizzata negli studi clinici per valutare il recupero motorio in pazienti con malattie neurologiche.