Wykorzystanie vmTracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni

Naszym celem jest zrozumienie interakcji społecznych u swobodnie poruszających się myszy poprzez opracowanie dokładnych metod śledzenia wielu zwierząt. Osiągnięcie dokładnego śledzenia pozycji przy wiarygodnej identyfikacji indywidualnych osób w warunkach wielozwierzęcych pozostaje trudne. Aby zacząć, stwórz nowy projekt z wieloma zwierzętami, wybierając Zarządzaj projektem dla śledzenia wideo bez markerów.

Zmodyfikuj pola osób i części ciała w konfiguracji. pliku yaml zgodnie z wymaganiami analizy. Wybierz Extract Frames, aby wyodrębnić klatki z filmu do etykietowania i trenowania.

Następnie oznacz każdą wyodrębnioną klatkę, wybierając Label Data. Przypisz odpowiednie części ciała każdej widocznej osobie, nie utrzymując koniecznie spójnych identyfikatorów między klatkami. Aby utworzyć zbiór danych treningowych z wyodrębnionych ramek, wybierz Utwórz Training Dataset.

Ustaw sieć na DLCRNet_ms5 w konfiguracji. Wybierz Trening, aby rozpocząć szkolenie sieci. Ustaw maksymalny parametr iteracji na 200 000 dla tej sesji treningowej.

Wszystkie pozostałe parametry treningowe mogą pozostać na swoich wartościach domyślnych. Oceń wytrenowaną sieć, wybierając Ewaluuj. Aby przeprowadzić estymację pozycji wybranych filmów, wybierz Analizuj filmy generujące HDF5 Coordinate Data i inne pliki wyjściowe w folderze videos wewnątrz folderu projektu.

Aby wykonać ręczną weryfikację wyników śledzenia, stwórz oznaczony film śledzący, wybierając Utwórz filmy. Włącz opcję tworzenia wideo z kolorowanym identyfikatorem zwierzęcia w interfejsie DLC, aby uwzględnić poszczególne identyfikatory w filmie. Następnie przejrzyj wygenerowane oznaczone filmy, aby sprawdzić, czy nie ma zmian tożsamości lub brakujących przewidywań.

Jeśli występują poważne błędy, przygotuj się do ponownego szkolenia. Aby przetrenować, wyodrębnić i adnotować ramki odstające od rzeczywistości. Wybierz Extract lub Refine Outliery.

Po zakończeniu adnotacji kliknij Scal Dataset, aby automatycznie przejść do tworzenia treningowego zbioru danych. A potem powtórz proces szkoleniowy. Aby poprawić wyniki DLC z wieloma zwierzętami, otwórz niestandardowe GUI i zachowaj tylko wymagane punkty kluczowe dla wirtualnych znaczników.

Wybierz Refine Tracklets, aby poprawić plik HDF5 zawierający tylko wybrane punkty kluczowe. Dostosuj kluczowe punkty, aby wszyscy zachowali spójną identyfikację na całym filmie. Zapisz plik, a plik HDF5 w folderze wideo zostanie automatycznie zaktualizowany.

Następnie stwórz nowy, oznaczony film z poprawionych danych, wybierając Utwórz wideo. W DeepLabCut 2.2, jeśli oznaczony film już istnieje w folderze wideo, nowy film nie zostanie utworzony. Usuń, zmienij nazwę lub przenieś istniejący plik przed kontynuowaniem.

Zmień nazwę oznaczonego wideo z wirtualnym markerem na krótką nazwę pliku, aby zapobiec błędom podczas dalszego przetwarzania DeepLabCut. Stwórz nowy projekt saDLC, wybierając Manage Project do śledzenia wideo z wirtualnym markerem. W konfiguracji.

Pliku YAML, wypisz wszystkie kombinacje osób i części ciała w polu części ciała. Aby wyodrębnić klatki z przemianowanego wideo z wirtualnym markerem, wybierz Extract Frames. Teraz oznacz każdą wyodrębnioną klatkę w danych etykiet, używając wirtualnych znaczników, aby przypisać spójne indywidualne ID i zapewnić, że zarówno ID, jak i części ciała są zgodne w różnych klatkach.

Gdy część ciała jest częściowo ukryta, ale znane jest jej identyfikator, oszacuj jej pozycję i odpowiednio naklej etykietę. Utwórz zbiór danych treningowy z wyodrębnionych ramek, wybierając Create Training Dataset. Ustaw sieć na efektywne net B0 dla tej sesji szkoleniowej.

Rozpocznij szkolenie sieci, wybierając Trening. Ustaw parametr maksymalnych iteracji na 200 000 dla tej sesji, a wszystkie pozostałe ustawienia mogą pozostać na swoich domyślnych wartościach. Po ocenie wytrenowanej sieci przeprowadź ręczną weryfikację, jak pokazano wcześniej.

W zatłoczonych scenach śledzenie VM osiągało znacznie wyższy procent dopasowań niż maDLC. Liczba fałszywych negatywów była znacznie niższa przy śledzeniu VM niż przy maDLC. Jednak nie było różnicy między śledzeniem VM a maDLC w liczbie fałszywych alarmów i liczby przełączników ID.

W scenach niezatłoczonych śledzenie VM osiągało znacznie wyższy procent dopasowań niż maDLC. Liczba fałszywych negatywów była znacznie niższa przy śledzeniu VM niż przy maDLC. Nie było różnicy w liczbie fałszywie pozytywnych i liczbie przełączników ID między śledzeniem VM a maDLC.

W zatłoczonych scenach procent dopasowań w maDLC ustabilizował się na poziomie około 85% po około 400 kladrach z adnotacjami bez dalszej poprawy. Natomiast śledzenie maszyn wirtualnych wykazało stały wzrost do około 95% przy około 1 000 klatek. W maDLC zwiększenie liczby klatek z adnotacjami nie zmniejszało liczby fałszywych negatywów.

Sceny z wyższym odsetkiem poprawnie przypisanych wirtualnych znaczników miały tendencję do wykazywania wyższego procentu dopasowania. Jednak niektóre sceny, takie jak 3 i 11, nadal miały wysoki procent dopasowania, mimo wielu błędnych przydziałów lub brakujących znaczników. Nasz protokół rozwiązuje problem niezawodnego utrzymania tożsamości w śledzeniu pozycji wielu zwierząt.

Poprawia dokładność śledzenia pozycji poprzez połączenie wirtualnych markerów z istniejącymi narzędziami. Nasze przyszłe badania wykorzystają te dane do analizy, jak dynamika grupowa kształtuje zachowania społeczne u myszy.