Implementacja DeepBehavior, zestawu narzędzi do głębokiego uczenia się krok po kroku do automatycznej analizy zachowania
6 lutego 2020
Celem tego protokołu jest wykorzystanie gotowych konwolucyjnych sieci neuronowych do automatyzacji śledzenia zachowań i przeprowadzania szczegółowej analizy zachowań. Śledzenie zachowania może być stosowane do dowolnych danych wideo lub sekwencji obrazów i można je uogólnić w celu śledzenia dowolnego obiektu zdefiniowanego przez użytkownika.
Przeprowadzenie szczegółowej analizy zachowania ma kluczowe znaczenie dla zrozumienia relacji między zachowaniem mózgu. Jednym z najlepszych sposobów oceny zachowania są dokładne obserwacje. Jednak ilościowe określenie zaobserwowanego zachowania jest czasochłonne i trudne.
Klasyczne metody analizy zachowania nie są łatwe do zmierzenia i są z natury subiektywne. Najnowsze osiągnięcia w dziedzinie uczenia głębokiego, gałęzi uczenia maszynowego i sztucznej inteligencji, stwarzają możliwości zautomatyzowanej i obiektywnej kwantyfikacji obrazów i filmów. Poniżej przedstawiamy nasze najnowsze metody wykorzystujące głębokie sieci neuronowe do przeprowadzania szczegółowej analizy zachowań gryzoni i ludzi.
Główną zaletą tej techniki jest jej elastyczność i możliwość zastosowania do dowolnych danych obrazowych do analizy zachowania. Przybornik DeepBehavior obsługuje identyfikację pojedynczych obiektów, wykrywanie wielu obiektów i śledzenie pozycji ludzkiej. Udostępniamy również kod przetwarzania końcowego w MATLAB, aby uzyskać bardziej dogłębne metody analizy kinematycznej.
Zacznij od skonfigurowania Tensor Box. Aktywuj środowisko, a następnie użyj GitHub, aby sklonować Tensor Box i zainstalować go na maszynie i na dodatkowych zależnościach. Następnie uruchom graficzny interfejs użytkownika do etykietowania i oznacz co najmniej 600 obrazów z szerokiej dystrybucji ramek zachowań.
Aby oznaczyć obraz etykietą, kliknij lewy górny róg interesującego go obiektu, a następnie prawy dolny róg. Następnie upewnij się, że obwiednia przechwytuje cały obiekt. Kliknij przycisk Dalej, aby przejść do następnej klatki.
Aby połączyć obrazy treningowe z plikiem hiperparametrów sieci, otwórz overfeat_rezoom. json w edytorze tekstów i zastąp ścieżkę pliku w obszarze train_idl do labels.json. Następnie dodaj tę samą ścieżkę do pliku w obszarze test-idl i zapisz zmiany.
Zainicjuj skrypt trenowania, który rozpocznie trenowanie przez 600 000 iteracji i wygeneruje wynikowe wytrenowane wagi konwolucyjnej sieci neuronowej w folderze wyjściowym. Następnie wykonaj przewidywanie na nowych obrazach i wyświetl dane wyjściowe sieci jako obrazy oznaczone etykietami i jako współrzędne pola ograniczenia. Zainstaluj YOLOv3.
Następnie oznacz dane treningowe za pomocą Yolo_mark, umieszczając obrazy w folderze Yolo_mark-data-obga i oznaczając je jeden po drugim w graficznym interfejsie użytkownika. Oznacz około 200 obrazów. Następnie skonfiguruj plik konfiguracyjny.
Aby zmodyfikować plik konfiguracyjny, otwórz folder YOLO-obj. cfg. Modyfikowanie wierszy partii, podpodziału i klas.
Następnie zmień filtr dla każdej warstwy konwolucyjnej przed warstwą YOLO. Pobierz wagi sieci i umieść je w kompilacji darknetu. x64 folder.
Uruchom algorytm trenowania, a po jego zakończeniu wyświetl iteracje. Aby śledzić wiele części ciała człowieka, zainstaluj OpenPose, a następnie użyj go do przetworzenia żądanego wideo. Możliwości zestawu narzędzi DeepBehavior Toolbox zostały zademonstrowane na nagraniach wideo, na których myszy wykonują zadanie docierania do granulek pokarmowych.
Ich prawe łapy były oznaczone, a ruch był śledzony za pomocą kamer z przodu i z boku. Po obróbce końcowej z kalibracją kamery uzyskano trajektorie 3D zasięgu. Dane wyjściowe YOLOv3 to wiele pól ograniczenia, ponieważ można śledzić wiele obiektów.
Ramki ograniczające znajdują się wokół interesujących obiektów, które mogą być częściami ciała. W OpenPose sieć wykryła wspólne pozycje i po przetworzeniu końcowym za pomocą kalibracji kamery utworzono model 3D obiektu. Jednym z krytycznych kroków, które nie zostały omówione w tym protokole, jest upewnienie się, że urządzenie ma odpowiednie wersje i zależności języka Python, a także urządzenie skonfigurowane przez procesor graficzny przed rozpoczęciem.
Po pomyślnym uzyskaniu zachowania ścieżki z sieci można wykonać dodatkowe przetwarzanie końcowe w celu dalszej analizy kinematyki i wzorców zachowania. Powodem, dla którego DeepBehavior Toolbox ma zastosowanie w podejściach diagnostycznych w modelach chorób gryzoni i ludzi, nie jest bezpośrednia korzyść terapeutyczna. Wykorzystanie tych technik jako narzędzia diagnostycznego lub prognostycznego jest aktywnie badane w naszym laboratorium.
Technika ta jest wykorzystywana do badania mechanizmów neuronalnych prawidłowego zachowania motorycznego u gryzoni, a także jest wykorzystywana w badaniach klinicznych do oceny odzyskiwania motorycznego u pacjentów z chorobami neurologicznymi.
Wyświetl pełny transkrypt i uzyskaj dostęp do tysięcy filmów naukowych
Przegląd
Ten protokół wykorzystuje wstępnie zbudowane konwolucyjne sieci neuronowe do automatyzacji śledzenia zachowań i przeprowadzania szczegółowej analizy zachowań. Może być stosowany do dowolnych danych wideo lub sekwencji obrazów, umożliwiając śledzenie obiektów zdefiniowanych przez użytkownika.
Kluczowe komponenty badania
Dziedzina nauki
- Neuronauki
- Analiza zachowań
- Uczenie maszynowe
Tło
- Zrozumienie relacji między mózgiem a zachowaniem jest kluczowe.
- Tradycyjne metody analizy zachowań są subiektywne i czasochłonne.
- Głębokie uczenie się oferuje możliwości zautomatyzowanego ilościowego określania zachowań.
- Ostatnie osiągnięcia w dziedzinie AI mogą poprawić śledzenie zachowań w różnych podmiotach.
Cel badania
- Automatyzacja śledzenia zachowań przy użyciu głębokich sieci neuronowych.
- Dostarczanie obiektywnej ilościowej oceny zachowań w filmach i obrazach.
- Poprawa efektywności analizy zachowań w badaniach.
Stosowane metody
- Wykorzystanie konwolucyjnych sieci neuronowych.
- Zastosowanie do danych wideo i sekwencji obrazów.
- Śledzenie obiektów zdefiniowanych przez użytkownika.
- Implementacja zarówno w badaniach na gryzoniach, jak i na ludziach.
Główne wyniki
- Udana automatyzacja śledzenia zachowań.
- Obiektywna analiza wzorców zachowań.
- Ogólna zdolność do zastosowania dla różnych typów danych wideo.
- Ulepszone zrozumienie zachowań dzięki ilościowym pomiarom.
Wnioski
- Metody głębokiego uczenia się mogą znacząco poprawić analizę zachowań.
- Automatyzacja zmniejsza subiektywność i czas w badaniach.
- Podejście jest stosowalne w różnych kontekstach badawczych.
Często zadawane pytania
Executive Industry Relevance
Automated behavior analysis addresses the bottleneck of subjective, time-intensive manual scoring in preclinical neuroscience, enabling objective quantification of motor phenotypes in disease models. By converting video data into precise kinematic metrics, DeepBehavior supports target validation and mechanistic de-risking in early discovery, particularly for CNS disorders where behavioral endpoints are critical. This enhances predictive confidence in lead identification and reduces attrition due to poor translational validity of behavioral assays.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Scientific Value: Enables interrogation of therapeutic hypotheses by quantifying spontaneous and skilled motor behaviors in rodent models of neurological disease.
- Operational Value: Reduces inter-observer variability and increases throughput for high-content behavioral screening.
- Predictive Value: Generates reproducible, multidimensional behavioral readouts that improve confidence in target engagement and pathway modulation.
Screening & Assay Development
- Scientific Value: Produces standardized, quantitative Cartesian coordinates of body parts or joints across frames, enabling objective comparison of compound effects on motor function.
- Operational Value: Supports assay scalability through automation of single-object, multi-object, and 3D pose tracking workflows.
- Assay Readiness: Outputs are compatible with downstream statistical analysis and machine learning pipelines for biomarker discovery.
Translational & Preclinical Research
- Translational Continuity: Facilitates cross-species behavioral comparison by applying identical deep learning frameworks to rodent and human video data.
- Preclinical Validation: Enables longitudinal tracking of motor recovery or degeneration in disease models, supporting risk-adjusted advancement decisions.
- Mechanistic De-risking: Links observed behavioral changes to neural circuit function through precise spatiotemporal tracking of movement patterns.
Pipeline & Workflow Integration
DeepBehavior integrates into the discovery continuum from early target validation through lead optimization, where automated behavior quantification informs structure-activity relationships and phenotypic screening outcomes.
- Discovery Biology: Supports hypothesis-driven analysis of motor circuit function by providing objective, frame-resolved behavioral metrics.
- Screening: Enables reproducible, high-throughput analysis of compound libraries using standardized pose estimation and tracking outputs.
- Analytics: Delivers quantitative kinematic data (e.g., trajectory, velocity, joint angles) that facilitate dose-response modeling and effect size estimation.
- Translational Research: Aligns preclinical rodent behavior with human motor assessments via shared deep learning architectures, improving clinical predictability.
- Enterprise Reuse: The toolbox is adaptable across disease areas and models, serving as a reusable platform for behavioral phenotyping.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence by reducing behavioral measurement noise and enabling detection of subtle phenotypic changes.
- Operational Value: Standardizes data acquisition and analysis across sites and operators, improving reproducibility in multi-site studies.
- Strategic Value: Accelerates go/no-go decisions by providing early, objective behavioral efficacy signals.
- Portfolio Impact: Supports risk-based prioritization of compounds with favorable behavioral profiles, reducing late-stage failure risk.
Implementation Considerations
- Requires expertise in deep learning frameworks, video data management, and behavioral neuroscience.
- Needs GPU-enabled workstations and software environments for TensorBox, YOLOv3, and OpenPose.
- Demands standardization of video acquisition protocols (e.g., lighting, camera angles) to ensure tracking accuracy across experiments.
- Requires post-processing skills for coordinate transformation, camera calibration, and kinematic analysis in MATLAB or Python.
- Performance depends on sufficient training data (e.g., 600+ labeled frames) and appropriate network hyperparameters for the target behavior.
