Wykorzystanie vmTracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni

Summary

Protokół ten wprowadza vmTracking, metodę umożliwiającą bardzo precyzyjne śledzenie pozycji w filmach z wieloma swobodnie poruszającymi się zwierzętami bez znaczników, nawet w zatłoczonych warunkach, gdzie zwierzęta są gęsto skupione. Takie podejście dostarcza wiarygodnych danych do analizy interakcji społecznych zachodzących w środowiskach półnaturalnych, gdzie zwierzęta mogą swobodnie się poruszać.

Abstract

W badaniach nad zachowaniami społecznymi z użyciem gryzoni rośnie zapotrzebowanie na ocenę bardziej naturalnych zachowań interaktywnych w warunkach swobodnie poruszających się. Dokładne śledzenie pozycji wielu zwierząt jest niezbędne do tego celu. Jednak obecne narzędzia do śledzenia pozycji wielozwierzęcych bez markerów napotykają poważne wyzwanie: dokładność śledzenia zwykle spada w warunkach zasłonienia i zatłoczenia. Problem ten staje się szczególnie widoczny, gdy zwierzęta są wizualnie nie do odróżnienia. Aby rozwiązać ten problem, opracowaliśmy wirtualne śledzenie markerów (vmTracking), metodę poprawiającą dokładność śledzenia pozycji wielu zwierząt w tak trudnych warunkach, utrzymując indywidualną tożsamość między ramkami za pomocą wirtualnych markerów. vmTracking można również zastosować do istniejących danych wideo wielozwierzęcych bez markerów, włączając dodatkowe kroki przetwarzania, które dodają indywidualne etykiety tożsamości do standardowych procesów śledzenia. Tutaj opisujemy zarówno metodę przypisywania wirtualnych znaczników, jak i protokół śledzenia zwierząt w powstałych oznaczonych filmach. Wysokoprecyzyjne śledzenie wielozwierzęcym, możliwe dzięki vmTracking, stanowi solidną podstawę do późniejszych ilościowych analiz interakcji społecznych w warunkach półnaturalnych.

Introduction

Badania nad zachowaniami społecznymi gryzoni coraz bardziej kładą nacisk na badanie interakcji w bardziej naturalistycznych kontekstach społecznych¹. Tradycyjne podejścia, takie jak test trzech komor, były szeroko stosowane do oceny towarzyskości i preferencji społecznych², ale te paradygmaty obejmują jedynie uproszczone aspekty interakcji społecznych³. Aby sprostać tej potrzebie, wielozwierzęce DeepLabCut (maDLC)⁴ oraz Social LEAP Estimates Animal Poses (SLEAP)⁵ stały się niezbędnymi narzędziami do śledzenia pozycji wielu zwierząt bez markerów w warunkach swobodnego ruchu, dostarczając zaawansowane technologie oparte na głębokim uczeniu do śledzenia pozycji wielu zwierząt bez markerów. Jednak w zatłoczonych środowiskach, gdzie zwierzęta są blisko siebie, narzędzia te są podatne na błędy śledzenia, takie jak błędy w prognozowaniu czy przełączniki tożsamości (ID). Uzyskanie wiarygodnych danych w takich warunkach często wymaga rozległej ręcznej korekty.

Dokładne śledzenie pozycji wielu swobodnie poruszających się zwierząt otwiera drzwi do badania bardziej złożonych dynamik społecznych. Na przykład szczegółowe dane śledzące pozwalają na ocenę relacji lider-naśladowca, zachowań unikających podejścia podczas ruchu oraz innych zniuansowanych wzorców interakcji, których nie da się wiarygodnie ocenić za pomocą konwencjonalnych testów behawioralnych. Takie postępy rozszerzają użyteczność śledzenia wielozwierzęcego poza stosunkowo proste opisowe miary zachowań, umożliwiając analizę bardziej złożonych interakcji społecznych.

Jednym ze sposobów poprawy dokładności śledzenia jest wyraźne rozróżnienie poszczególnych zwierząt. Na przykład Bordes⁶ zademonstrował jednoczesne śledzenie białej myszy CD1 i czarnej myszy C57BL/6N za pomocą pojedynczego zwierzęcia DeepLabCut (saDLC)⁷. To odkrycie sugeruje, że gdy zwierzęta są wizualnie rozpoznawalne, możliwe jest dokładne śledzenie osobników. Jednak użycie fizycznych markerów do identyfikacji może zmieniać naturalne zachowania. Nawet minimalnie inwazyjne metody, takie jak wszczepianie znaczników identyfikacji radiowej⁸, budzą obawy dotyczące ich potencjalnego wpływu na zachowanie.

Przedstawiamy tutaj metodę śledzenia pozycji wielozwierzęcia, która wykorzystuje wirtualne markery (vmTracking)⁹ do nieinwazyjnej identyfikacji indywidualnych. Dokładna ocena zachowań społecznych, uwzględniając ich kontekst społeczny, wymaga bardzo precyzyjnych danych śledzenia pozycji wielu zwierząt. vmTracking został opracowany, aby sprostać tej potrzebie, zapewniając niezawodny protokół – zamiast nowego oprogramowania czy algorytmu – do pozyskiwania tak wysokiej jakości danych śledzących przy użyciu istniejących narzędzi, takich jak DLC. Dlatego analiza zachowań społecznych oparta na tych danych wykracza poza zakres tego protokołu. VMTracking obejmuje dwa główne etapy: dodawanie wirtualnych znaczników do filmów bez markerów oraz śledzenie powstałych wirtualnych markerów. Ta metoda umożliwia bardzo dokładne śledzenie pozycji bez potrzeby stosowania fizycznych markerów, nawet w warunkach obejmujących trzy lub więcej wizualnie nierozróżnialnych zwierząt tego samego szczepu. Umożliwiając niezawodne śledzenie w warunkach półnaturalistycznych, vmTracking stanowi skuteczne narzędzie do rozwoju badań nad złożonymi interakcjami społecznymi, z potencjalnymi zastosowaniami w naukach behawioralnych, psychologii i neurobiologii.

Protocol

Wszystkie procedury eksperymentalne zostały zatwierdzone przez Komitet ds. Opieki i Użytkowania Zwierząt Uniwersytetu Doshisha (Nr A23068). Myszy C57BL/6J (patrz Tabela materiałów) były trzymane w grupach po 2-3 osoby w klatce w kontrolowanych warunkach 24-26 °C, 12-godzinnym cyklu światła/ciemności, z doraźnym dostępem do jedzenia i wody. Wszystkie zapisy zachowań zostały zebrane podczas fazy lekkiej. Ogólny przepływ procesu vmTracking, wraz z migawkami z przykładu, przedstawiono na Rysunku 1.

UWAGA: vmTracking nie jest nowym oprogramowaniem ani algorytmem, lecz protokołem wykorzystującym istniejące funkcje DLC, aby zmaksymalizować dokładność śledzenia wielu zwierząt. W związku z tym znaczna część poniższych kroków opisuje konkretne operacje graficznego interfejsu użytkownika (GUI) w DLC, aby zapewnić powtarzalność.

1. Przygotowanie danych wideo wielozwierzęcych bez markerów

UWAGA: Parametry eksperymentu można dostosować do konkretnego badania.

1. Umieść trzy myszy C57BL/6J na okrągłym otwartym polu z białą podłogą i przezroczystymi ścianami (31 cm średnicy × 17 cm wysokości; patrz Tabela materiałów) i pozwól im swobodnie się poruszać.
2. Korzystając z widoku z góry, nagrywaj zwierzęta przez około 60 minut w rozdzielczości 460 × 460 pikseli i z częstotliwością 30 klatek na czas (patrz Tabela materiałów).

2. Tworzenie wideo z wirtualnym markerem

1. Wykonaj standardowe śledzenie pozycji bez markerów za pomocą maDLC w wersji DLC 2.2.3 (Rysunek 2; patrz Tabela materiałów).
   UWAGA: W poniższych krokach nazwy kart GUI DLC oraz ustawienia parametrów są pogrubione, aby wyjaśnić operacje w DLC. Wszystkie procedury wykonywane są według ustawień domyślnych, chyba że zakreślono inaczej. Szczegółowe instrukcje dotyczące korzystania z DLC można znaleźć w oficjalnej dokumentacji¹⁰.
   1. Stwórz projekt wielozwierzęcy w Zarządzaj Projektem (Dodatkowy Rysunek 1) do śledzenia wideo bez znaczników. Zmodyfikuj pola osób i części ciała w pliku config.yaml zgodnie z wymaganiami analizy. W tym protokole stosuje się osobę1 do osoby3 oraz część ciała1 do części ciała6. Wszystkie pozostałe ustawienia są opcjonalne.
      UWAGA: Parametry numframes2pick (liczba wyodrębnionych klatek) oraz rozmiar kropki (rozmiar markera) mogą być dostosowane w zależności od warunków wideo i obciążenia eksperymentatora. Inne ustawienia nie były systematycznie testowane we wszystkich możliwych warunkach; jednak skuteczne śledzenie zostało potwierdzone przy domyślnych konfiguracjach.
   2. Wyodrębnij klatki z wideo w sekcji Extract Frames (Ilustracja Uzupełniająca 1) do późniejszego oznaczania i treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
   3. Oznacz każdą wyodrębnioną klatkę w Etykietowych Danych (Ilustracja Dodatkowa 1), przypisując odpowiednie części ciała każdej widocznej osobie bez zachowania spójnych identyfikatorów między ramkami.
   4. Stwórz zbiór danych treningowych z wyodrębnionych ramek w Utwórz zbiór danych treningowych (Rysunek Uzupełniający 1). W tym protokole ustaw sieć na dlcrnet_ms5. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
   5. Zacznij szkolenie sieci w Train (Ilustracja uzupełniająca 1). W tym protokole parametr Maximum iterations jest ustawiony na 200 000 podczas treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
   6. Oceń wytrenowaną sieć w Evaluate (Ilustracja uzupełniająca 1). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
   7. Uruchom estymację pozycji na wybranych filmach w Analizuj filmy (Ilustracja uzupełniająca 1), generując dane współrzędnych .h5 oraz inne pliki wyjściowe w folderze wideo w folderze projektu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
      UWAGA: Jeśli zbiór danych treningowy jest niewystarczający, analiza może nie wygenerować plików współrzędnych .h5. W takim przypadku zacznij od kroku 2.1.2.
   8. Ręczna weryfikacja przez eksperymentatora.
      1. Stwórz oznaczony film śledzący w Utwórz filmy (Rysunek uzupełniający 1). Wybierz opcję Utwórz wideo z kolorowanym identyfikatorem zwierzęcia? w GUI DLC i wygeneruj oznaczony film śledzący (Rysunek 2A, maDLC). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
      2. Sprawdź oznaczone filmy (Rysunek 2A, maDLC), aby sprawdzić przełączniki ID i brakujące przewidywania. Jeśli zauważone zostaną zauważalne błędy, przeszkol się ponownie (patrz krok 2.1.8.3). Jeśli nie zostanie przeprowadzone ponowne szkolenie, przejdź do kroku 2.2.
         UWAGA: Przeszkolenie nie jest obowiązkowe, ale poprawia dokładność i zmniejsza obciążenie pracą na kolejnych etapach.
      3. Do ponownego trenowania wyodrębniaj i adnotuj ramy odstające w Extract/Refine Outliers (Ilustracja Uzupełniająca 1). Po zakończeniu adnotacji kliknij przycisk Scal dataset, aby automatycznie przejść do Create Training Dataset, a następnie powtórz od kroku 2.1.4.
2. Popraw wyniki maDLC, aby stworzyć wideo z wirtualnym markerem (Rysunek 3).
   1. Korzystając z niestandardowego interfejsu^{GUI 11} (Rysunek 3B), zachowaj tylko wybrane punkty kluczowe dla wirtualnych znaczników i zastąp pozostałe NaN w pliku .h5. To zmniejszenie liczby punktów kluczowych zmniejsza obciążenie pracą przy kolejnych etapach korekcyjnych (rysunek 3C,E). W tym protokole stosuje się części ciała 2 i 4.
      UWAGA: Zaleca się wybór dwóch kluczowych punktów efektywnie definiujących wektor osi ciała. Wykonanie początkowego śledzenia maDLC z użyciem wyłącznie punktów kluczowych przeznaczonych jako wirtualne znaczniki może nie wygenerować pliku .h5 w kroku 2.1.4. Dlatego zaleca się wykonanie początkowego śledzenia z większym zestawem punktów kluczowych.
   2. Korzystając ze ścieżek Refine (Rysunek uzupełniający 1), poprawiaj plik .h5 z poprzedniego kroku, zawierający jedynie wybrane punkty kluczowe. Popraw kluczowe punkty tak, aby każda osoba zachowała spójną identyfikację przez cały film (rysunek 3E,F). Zapisz plik; Plik .h5 w folderze Videos zostanie automatycznie zaktualizowany.
   3. Stwórz oznaczony film z etykietami kolorów ID na podstawie poprawionych danych w Utwórz filmy (Ilustracja uzupełniająca 1, Rysunek 3A, Wirtualny znacznik). W DLC 2.2 istniejący oznaczony film w folderze wideo uniemożliwi utworzenie nowego; Usuń plik, zmienij nazwę lub przenieś plik przed kontynuowaniem. Tutaj ustaw rozmiar markera na 2 w pliku konfiguracyjnym, używając najmniejszego rozmiaru umożliwiającego identyfikację bez zaciemniania zwierzęcia w tym zbiorze danych.
   4. Przemianuj utworzony film na krótką nazwę pliku, aby zapobiec błędom podczas przetwarzania DLC podczas ponownego śledzenia w kolejnym kroku z saDLC.

3. Wykonaj śledzenie pozycji wideo z wirtualnym markerem za pomocą saDLC (Rysunek 4)

UWAGA: Wszystkie procedury wykonywane są przy użyciu domyślnych ustawień interfejsu GUI DLC, chyba że zakreślono inaczej.

1. Stwórz nowy projekt saDLC w Manage Project (Ilustracja uzupełniająca 2) do śledzenia wideo z wirtualnym markerem. W tym protokole wypisz wszystkie kombinacje osób i części ciała w polu bodyparts pliku config.yaml (np. individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Wszystkie pozostałe ustawienia są opcjonalne.
   UWAGA: Podobnie jak w kroku 2.1.1, parametry numframes2pick i dotsize mogą być dostosowane do warunków wideo oraz obciążenia eksperymentatora. Pomyślne śledzenie zostało potwierdzone przy domyślnych konfiguracjach.
2. Wyodrębnij klatki z wirtualnego markera wideo w Extract Frames (Ilustracja uzupełniająca 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
3. Oznacz każdą wyodrębnioną klatkę w Danych Etykiet (Ilustracja Uzupełniająca 2), używając wirtualnych znaczników do przypisania indywidualnych identyfikatorów, tak aby zarówno ID, jak i części ciała były dopasowane w różnych ramkach (Rysunek 3B-D). Gdy identyfikacja danej osoby jest znana, a część ciała częściowo ukryta, oszacuj jej pozycję i odpowiednio umieść etykietę. Jeśli indywidualnych identyfikatorów nie można jednoznacznie określić (np. brakuje wirtualnych znaczników ≥2 osób w ramce), nie oznaczaj tych części ciała.
4. Stwórz zbiór treningowy z wyodrębnionych ramek w Utwórz zbiór danych treningowych (Rysunek Uzupełniający 2). W tym protokole ustaw sieć na efficientnet-b0. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
5. Zacznij trenować sieć w Train (Rysunek uzupełniający 2). W tym protokole ustaw parametr Maximum iteracji na 200 000 dla treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
6. Oceń wytrenowaną sieć w Evaluate (Ilustracja uzupełniająca 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
7. Uruchom estymację pozycji na wybranych filmach w Analizuj filmy (Rysunek uzupełniający 2), generując dane współrzędnych .h5 oraz inne pliki wyjściowe w folderze wideo. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
8. Ręczna weryfikacja przez eksperymentatora.
   1. Stwórz oznaczony film śledzący w Utwórz filmy (Rysunek uzupełniający 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.
   2. Sprawdź oznaczone filmy (rysunek 4A, vmTracking), aby sprawdzić niespójności w śledzeniu. Przeszkol ponownie, aż eksperymentator będzie zadowolony z wyników. Jeśli przeszkolenie nie jest wymagane, procedura jest zakończona.
      UWAGA: Po potwierdzeniu satysfakcjonujących wyników śledzenia możesz stworzyć wideo w jakości prezentacyjnej bez wirtualnych znaczników (Rysunek 5), a wyniki śledzenia wyprowadzić na oryginalnym wideo bez markerów zamiast na wirtualnym znaczniku w Create videos (Ilustracja uzupełniająca 2). Zamień wirtualny marker wideo w folderze videos na wideo bez markerów, zmieniając jego nazwę tak, aby odpowiadała nazwie pliku wideo wirtualnego markera użytej wcześniej w analizie. W przypadku DLC 2.2 upewnij się, że w folderze nie ma żadnych oznaczonych filmów przed utworzeniem nowego (rysunek 5B,C).
   3. Do ponownego trenowania wyodrębniaj i adnotuj ramy odstające w Extract/Refine Outliers (Ilustracja uzupełniająca 2). Po zakończeniu adnotacji kliknij przycisk Scal dataset, aby automatycznie przejść do Create Training Dataset, a następnie powtórz od kroku 3.1.4.

Results

Dokładność śledzenia oceniano na podstawie porównania z ręcznie generowaną rzeczywistością (GT). Wyodrębniono dwadzieścia scen 5- lub 10 sekund i sklasyfikowano jako sceny zatłoczone (CR), obejmujące nakładanie się takich miejsc jak krzyżowanie się myszy (12 scen; łącznie 1 950 klatek), lub sceny niezatłoczone (nCR) bez nakładania się (8 scen; łącznie 1 350 klatek). Przewidywania śledzenia w odległości do 10 pikseli od pozycji GT były liczone jako mecze (Match); prognozy oddalone ≥10 pikseli były liczone jako fałszywe pozytywy (FP); a brakujące prognozy były liczone jako fałszywie negatywne (FN). Dodatkowo, jeśli przewidywana tożsamość różniła się od tej w bezpośrednim poprzedzającym ramie, była ona liczona jako zmiana ID.

W porównaniu z maDLC (Rysunek 6), vmTracking wykazał istotną poprawę w Match zarówno w scenach CR, jak i nCR (Rysunek 6A, CR: p < 0,001; Rysunek 6E, nCR: s. < 0,01). W obu typach scen nie występowały FN, a liczba FN była znacząco zmniejszona dzięki vmTracking (Rysunek 6B, CR: p < 0,001; Rysunek 6F, nCR: s. < 0,05). Liczniki przełączników FP (Rysunek 6C i 6G) oraz ID (Rysunek 6D,H) nie wykazały żadnych zmian w żadnym z typów scen. Przedstawiono porównanie wyników śledzenia uzyskanych za pomocą vmTracking i konwencjonalnego maDLC, podkreślając zwiększoną dokładność i stabilność vmTracking w zatłoczonych warunkach (Wideo uzupełniające 1).

Zbadaliśmy także zależność między liczbą klatek adnotacji a zarówno Match, jak i FN dla scen CR w maDLC i vmTracking (Rysunek 6I). W maDLC Match ustabilizował się na poziomie około 85% z około 400 ramkami adnotacji, z niewielką poprawą wraz ze wzrostem tej liczby. Zwiększenie liczby ramek adnotacji do treningu nie zmniejszyło liczby FN. Dla porównania, vmTracking wykazał stały wzrost liczby Match przy większej liczbie klatek adnotacji, osiągając około 95% przy około 1000 klatek.

Wirtualne markery zostały sklasyfikowane na sześć kategorii na podstawie wzorców przypisania, a proporcja każdej kategorii została użyta jako wskaźnik dokładności wirtualnych markerów do analizy ich związku ze śledzeniem Match (Rysunek 6J). Sceny z wyższym odsetkiem poprawnie przypisanych wirtualnych znaczników miały tendencję do wykazywania wyższego dopasowania. Jednak niektóre sceny, w których proporcja poprawnych markerów była niska, czy to z powodu wielu błędnych przypisań, czy wielu brakujących markerów, nadal wykazywały wysoki Match (np. sceny CR 3 i 11).

Rysunek 1: Przegląd przepływu pracy vmTracking. (A) Schemat workflow vmTracking. Najpierw wykonaj maDLC na wideo bez markerów (I). Na podstawie uzyskanych danych śledzenia maDLC poprawiaj wynik tak, aby każdy osobno utrzymywał spójny identyfikator przez cały film, i stwórz oznaczony film, który wyświetla tylko wybrany podzbiór punktów kluczowych (II). Używając etykiet z tego filmu jako wirtualnych znaczników, śledź wideo z wirtualnym znacznikiem za pomocą saDLC (III). (B) Dwa przykłady vmTracking przedstawiono jako migawki z każdego etapu procesu. Obraz po lewej stronie pokazuje pełny widok, a obrazy po prawej to powiększone widoki obszarów otoczonych żółtymi ramkami. Pomarańczowe paski w prawym dolnym rogu obrazów wskazują skale: 5 cm dla obrazu "Bez markera (Przegląd)" i 1 cm dla wszystkich pozostałych. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 2: Workflow śledzenia wielu zwierząt bez markerów z użyciem maDLC. Ta liczba dotyczy kroku protokołu 2.1. (A) Panele są zaadaptowane z Rysunku 1B i ilustrują Proces I (śledzenie wielozwierzęce bez markerów) pokazany na Rysunku 1A. Dla jasności, każde zwierzę jest obrysowane przerywaną linią. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B-D) Migawki ramek używanych do etykietowania podczas wykonywania maDLC. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 5 cm. (B) Przykładowa ramka przed nałożeniem etykiet. (C) Ta sama ramka co w B, po oznaczeniu. (D) Przykład innej oznaczonej ramy. Tożsamość jednostek pomiędzy ramami C i D jest nieznana, ale tożsamość indywidualna nie musi być brana pod uwagę przy etykietowaniu. Jak pokazano na zdjęciach, wystarczy poprawnie oznaczyć postawę każdego zwierzęcia. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 3: Workflow tworzenia wideo z wirtualnym markerem na podstawie wyników maDLC. Ta liczba dotyczy kroku protokołu 2.2. (A) Panele są zaadaptowane z Rysunku 1B i ilustrują Proces II (tworzenie wirtualnych markerów) pokazany na Rysunku 1A. Dla jasności, każde zwierzę jest obrysowane przerywaną linią. Białe strzałki wskazują punkty kluczowe używane jako wirtualne znaczniki (2. i 4. punkt kluczowy dla każdego ID). W tym przykładzie wirtualne znaczniki są wyświetlane w skalach szarości: fioletowe, zielone i czerwone etykiety maDLC pojawiają się odpowiednio jako czarne, szare i białe. W Przykładzie 1 wyniki maDLC były wyprowadzane bezpośrednio jako wirtualne markery bez korekty. W przykładzie 2 fioletowe i czerwone ID zostały zamienione i poprawione przed wyjściem, dzięki zmianie ID w kolejnych klatkach. Zielony punkt w wyniku maDLC, który powinien był zostać poprawiony, został pominięty i został wyświetlony bez zmian. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B) Interfejs graficzny oparty na Pythonie do edycji plików współrzędnych h5, aby zachowywać tylko określone punkty kluczowe i zastępować pozostałe NaN¹¹. (Ba) Początkowe okno menu przy uruchomieniu programu. Wybierz plik do edycji za pomocą przycisku Wybierz plik h5. (Bb) Okno po wybraniu pliku h5. Sprawdź punkty kluczowe do zastąpienia NaN (wyświetlane jako indywidualna nazwa-nazwa części ciała) i określ albo czasy start-koniec (z liczbą klatek na sekundę) lub numery klatek dla zastąpienia NaN. Kliknięcie Process Data zapisuje edytowany plik w tym samym folderze i tworzy kopię zapasową oryginału. (C) Kolejne klatki ze sceny, w której doszło do zmiany ID. (D) Przykład korekcji wszystkich punktów śledzenia od B. (E) Migawka pokazująca wynik z B, zachowane tylko 2. i 4. punkt kluczowy. (F) Przykład korekty wyniku w E. W porównaniu do poprawy wszystkich punktów kluczowych (C → D), ograniczenie korekty do dwóch punktów (C → E → F) zmniejsza liczbę wymaganych edycji. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu, C-F, wskazuje pasek w skali 5 cm. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 4: Workflow śledzenia wideo z wirtualnym markerem. Ta liczba dotyczy kroku protokołu 3. (A) Panele są zaadaptowane z rysunku 1B i ilustrują Proces III (śledzenie wirtualnego markera wideo) pokazany na rysunku 1A. Każdy osobnik jest otoczony przerywanym konturem dla wyraźności celu śledzenia. W tym przykładzie osoby z czarnymi, szarymi i białymi markerami wirtualnymi są śledzone odpowiednio jako fioletowe, zielone i czerwone etykiety. W Przykładzie 1 szarego wirtualnego znacznika brakuje, mimo to vmTracking utrzymuje poprawne śledzenie tożsamości. W Przykładzie 2 szary marker pojawia się u dwóch osób, ale śledzenie pozostaje poprawne. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B-D) Migawki z ramek używanych do etykietowania podczas vmTracking. W tym etapie stosuje się saDLC, przy czym każdy punkt kluczowy zawiera informacje zarówno o indywidualnych, jak i o częściach ciała. Etykietowanie określa, która część ciała danego osobnika jest reprezentowana. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 5 cm. (B) Migawka klatki przed oznaczeniem. (C) Migawka klatki w B po oznaczeniu. (D) Migawka innej klatki z C po oznakowaniu. Nawet w różnych ramkach (np. C i D) etykietowanie zachowuje indywidualną tożsamość, używając wirtualnego markera jako wskazówki, co wskazuje spójne kolory etykiet. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 5: Workflow łączenia wyników śledzenia z filmem bez markerów, aby uzyskać wideo śledzące bez wirtualnych znaczników. Jest to opcjonalny krok związany z NOTE w kroku 3.8.2. (A) Gdy wyniki śledzenia są stosowane do wideo z wirtualnym markerem, otrzymany film śledzenia zachowuje wirtualne markery (vmTracking^vm+). Żółte strzałki wskazują wirtualne znaczniki widoczne na wyjściu. Zastosowanie wyników śledzenia do oryginalnego wideo bez markerów daje zamiast tego wideo śledzące bez wirtualnych znaczników (vmTracking^vm-), odpowiednie do prezentacji lub innych celów. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B,C) Zarządzanie plikami w folderze "videos" w katalogu projektu podczas stosowania wyników vmTracking do wideo bez markerów. Pomarańczowe pudełko schematycznie ilustruje zawartość folderu. (B) Folder "videos" po wygenerowaniu wideo śledzącego vmTracking poprzez wyprowadzenie wyników śledzenia na wirtualnym znaczniku wideo (schematycznie oznaczonym jako '4). Etykiety na wirtualnym markerze wideo'). (C) Przygotowanie folderu "videos" do wypisywania wyników vmTracking na wideo bez markerów. Przenieś lub przemianować '1. Wideo z wirtualnym markerem' oraz '4. Etykiety na plikach wideo wirtualnego znacznika z panelu B, więc są one wykluczone z folderu. Problemem nie są same pliki, lecz to, że ich oryginalne nazwy plików zakłócają przetwarzanie. Następnie umieść '5'. Wideo bez markerów w folderze, zmieniając jego nazwę, aby pasowało do oryginalnej nazwy pliku wideo wirtualnego markera (np. VMvideo.MP4). W tym stanie ponowne uruchomienie Create videos generuje wideo śledzące z wynikami zastosowanymi do wideo bez markerów ('6. Etykiety na filmie bez markerów'). Ta liczba została zmodyfikowana na podstawie Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Rysunek 6: Ocena dokładności śledzenia za pomocą vmTracking. (A-H) Porównanie maDLC i vmTracking dla proporcji Matches. (A), fałszywie negatywów (B), fałszywie pozytywnych (C) oraz zmian ID (D) w 12 scenach zatłoczonych (CR) oraz Matches (E), fałszywie negatywów (F), fałszywych pozytywów (G) i przełączników ID (H) w 8 scenach niezatłoczonych (nCR). Wykresy reprezentują zmierzone wartości dla każdej sceny, a słupki reprezentują wartości średnie wyliczone z nich. Porównania statystyczne przeprowadzono za pomocą testu rangi znakowej Wilcoxona. (I) Zależność między liczbą adnotowanych klatek w CR a proporcjami Matches i fałszywych negatywów. Zielone pole po prawej pokazuje powiększony widok obszaru otoczonego zielonymi, przerywanymi liniami w lewym panelu. Wykresy przedstawiają wartości średnie. (J) Związek między dokładnością wirtualnych markerów a śledzeniem Dopasowania w scenach CR i nCR. Wirtualna dokładność markerów została podzielona na sześć typów dla każdej pary markerów: oba punkty poprawnie przypisane do właściwej osoby, jeden poprawny, jeden brakujący, jeden poprawny i jeden błędny, oba błędne, jeden błędny i jeden brakujący oraz oba brakujące. Dla każdej sceny proporcje tych kategorii są pokazane jako ułożone na siebie paski, z odpowiednim dopasowaniem śledzącym dla danej sceny zaznaczonym nad każdym paskiem. Sceny są ułożone rosnąco, śledząc Match od lewej do prawej, osobno dla scen CR i nCR. Sceny CR: n = 12; Sceny nCR: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Ta liczba została zmodyfikowana na podstawie Azechi i Takahashi (2025)⁹. Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.

Ilustracja uzupełniająca 1: Migawka głównego okna w wielozwierzęcym DeepLabCut, pokazująca lokalizację każdej zakładki operacji. Migawki ilustrują, za pomocą strzałek, zakładki używane w każdym kroku procedury vmTracking. Obrazy zostały wykonane z interfejsu graficznego DeepLabCut (wersja 2.2.3). Kliknij tutaj, aby pobrać tę figurkę.

Ilustracja uzupełniająca 2: Migawka głównego okna w DeepLabCut z pojedynczym zwierzęciem, pokazująca lokalizację każdej zakładki operacji. Migawki ilustrują, za pomocą strzałek, zakładki używane w każdym kroku procedury vmTracking. Obrazy zostały wykonane z interfejsu graficznego DeepLabCut (wersja 2.2.3). Kliknij tutaj, aby pobrać tę figurkę.

Wideo uzupełniające 1: Porównanie wielozwierzęcego DeepLabCut i vmTracking w śledzeniu trzech myszy. Ten film porównawczy pokazuje wydajność wielozwierzęcego DeepLabCut (maDLC; po lewej) i vmTracking (po prawej) podczas śledzenia trzech myszy. Wideo vmTracking zostało wygenerowane przez zastąpienie wirtualnego wideo z markerem oryginalnym wideo bez markerów, zgodnie z procedurą opisaną w NOCIE kroku 3.8.2, aby zaprezentować wyniki śledzenia bez wirtualnych markerów. Dla każdej metody śledzenia indywidualne tożsamości są wskazywane za pomocą kolorowych etykiet tej samej rodziny kolorów, aby ułatwić porównanie. Na całym filmie vmTracking pokazuje mniej przypadków, w których wykryto części ciała należących do różnych osób w porównaniu z maDLC. Co istotne, około 15-17 sekund maDLC błędnie identyfikuje osoby oznaczone zieloną i czerwoną etykietą, co skutkuje zamianą ich przypisanych tożsamości. Kliknij tutaj, aby pobrać ten plik.

Discussion

Chociaż rośnie zapotrzebowanie na badania naturalistycznych form interakcji społecznych u gryzoni¹, uzyskanie wiarygodnej tożsamości i informacji o pozycjach dla wielu swobodnie poruszających się zwierząt – szczególnie podczas bliskich interakcji lub zasłon – pozostaje wyzwaniem technicznym. vmTracking przezwycięża to ograniczenie, umożliwiając dokładne śledzenie w takich warunkach. vmTracking niezawodnie osiąga wysoką dokładność śledzenia w różnorodnych warunkach eksperymentalnych, w tym w zatłoczonych środowiskach⁹, gdzie konwencjonalne trackery wielozwierzęce ^4,5 często zawodzą. Ta odporność wynika z połączenia wirtualnego tworzenia markerów opartego na śledzeniu wielu zwierząt z śledzeniem saDLC, umożliwiającym precyzyjną identyfikację i oszacowanie pozy. Co ważne, metoda utrzymywała wysoką wydajność nawet wtedy, gdy dokładność wirtualnych markerów była nieoptymalna. Ta tolerancja do pewnego stopnia niedoskonałości w markerach wirtualnych zapewnia, że vmTracking pozostaje praktyczny do niezawodnego śledzenia wielu swobodnie poruszających się osobników, co przyczynia się do rozwoju badań nad interakcjami społecznymi gryzoni w warunkach półnaturalnych.

Kluczowym krokiem w vmTracking jest korekta wyników śledzenia wielu zwierząt podczas tworzenia wirtualnych znaczników. W tym procesie pomijanie przełączników tożsamości lub błędnych etykiet może spowodować, że saDLC utrzymuje te błędne identyfikacje przez cały kolejny śledzenie. Jeśli takie błędy zostaną później odkryte, można je skorygować poprzez korektę dotkniętych segmentów, regenerację wirtualnego wideo z markerem oraz ponowne uruchomienie śledzenia saDLC. W niektórych przypadkach wirtualne markery mogą być poprawnie umieszczone, jednak saDLC może nadal błędnie identyfikować osoby, gdy markery różnych zwierząt znajdą się blisko siebie podczas zatłoczonych interakcji. Takie błędy można złagodzić, przesuwając dotknięte wirtualne markery podczas etapu tworzenia, aby zmaksymalizować odległości między markerami, zmniejszając tym samym ryzyko pomyłek w kolejnej fazie śledzenia.

Chociaż nasz protokół używa DLC ^4,7 w obu etapach, można go również zaimplementować za pomocą SLEAP ^5,12. Z naszego doświadczenia wynika, że SLEAP w trybie pojedynczego zwierzęcia jest zazwyczaj mniej stabilny niż saDLC, a wydajność bardziej zależy od wideo⁹. W przypadku wirtualnego etapu tworzenia markerów jednak, SLEAP lub idtracker.ai¹³ mogą być równie skuteczne, a optymalny wybór może się różnić w zależności od filmu. Dlatego jeśli początkowe śledzenie maDLC wykazuje częste zmiany ID lub poważne straty punktów kluczowych podczas wizualnej inspekcji, możliwe jest podejście mieszane – na przykład tworzenie wirtualnych znaczników za pomocą SLEAP lub idtracker.ai i śledzenie powstałego wideo za pomocą saDLC.

Ponieważ vmTracking obejmuje dwa etapy śledzenia, niektórzy mogą uznać to za uciążliwe i zastanawiać się, dlaczego fizyczne markery nie są po prostu przyłączane od samego początku, eliminując potrzebę tworzenia wirtualnych markerów. Jednak wirtualne markery oferują wyraźne zalety: można je stosować dosłownie do istniejących filmów bez markerów, unikając jakichkolwiek efektów behawioralnych lub kwestii etycznych związanych z mocowaniem urządzeń do zwierząt. Można je umieścić w dowolnym miejscu, nigdy nie spadają i nie są wpływane na postawę ani bliskie interakcje, co pozwala je ustawić i dostosować do konkretnego filmu. Ta elastyczność umożliwia bardziej wiarygodną identyfikację indywidualną, a co za tym idzie, poprawę dokładności śledzenia w porównaniu z fizycznymi markerami. W rezultacie vmTracking, który wykorzystuje wirtualne markery, umożliwia wysokodokładne śledzenie w badaniach swobodnie poruszających się interakcji społecznych oraz w ponownej analizie archiwalnych danych wideo, gdzie nie można stosować fizycznych markerów. Uzyskane w ten sposób dane o wysokiej dokładności śledzenia są szeroko użyteczne w dziedzinach opartych na eksperymentach behawioralnych, w tym naukach behawioralnych, psychologii i neurobiologii.

VMTracking ma kilka ograniczeń. Po pierwsze, ponieważ identyfikacja indywidualnych zależy od różnic w kolorze markerów, liczba śledzonych osobników jest ograniczona skończonym zakresem rozpoznawalnych kolorów. Do tej pory udało nam się śledzić grupę dziesięciu ryb⁹; Jednak zwiększenie tej liczby będzie wymagało rozszerzenia różnorodności markerów wirtualnych – na przykład poprzez zmianę kształtów markerów lub wykorzystanie struktur szkieletowych jako dodatkowych identyfikatorów – choć te podejścia wymagają dalszej weryfikacji. Po drugie, vmTracking koniecznie wymaga dodatkowego kroku dodawania wirtualnych znaczników do każdego wideo bez markerów, co może być pracochłonne przy długich nagraniach lub zbiorach danych z wieloma osobami. Ponadto, choć metoda ta może być w zasadzie stosowana do różnych gatunków i warunków rejestracji, praktyczność osiągnięcia wysokiej precyzji śledzenia może się zmniejszać, gdy parametry eksperymentalne nie mogą być optymalizowane. Na przykład w nagraniach dzikich lub swobodnie poruszających się zwierząt w warunkach podobnych do pola, gdzie oświetlenie, rozdzielczość kamery czy kąty nagrywania są trudne do kontrolowania, ręczna korekta wymagana podczas przypisywania wirtualnych markerów zwykle wzrasta, co może ograniczać łatwość uzyskania wysokiej jakości danych śledzenia. W przyszłości usprawnienie i automatyzacja procesu przydzielania wirtualnych markerów jeszcze bardziej zwiększy zastosowanie i użyteczność metody.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Rura akrylowa (przezroczysta, grubość 5 mm, średnica wewnętrzna 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Zakupione w Hazaiya (internetowy sprzedawca materiałów akrylowych)
Płyta akrylowa (biała, 3 mm grubości, 31 cm średnicy)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Zakupione w Hazaiya (internetowy sprzedawca materiałów akrylowych)
Mysz C57BL/6J	Zaopatrzenie laboratoryjne Shimizu, Co.LTD.	Nie ma
Kamera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Laboratorium Mathisa w Szwajcarskim Federalnym Instytucie Technologii w Lozannie	https://www.mackenziemathislab.org/deeplabcut
Pakiet oprogramowania kamer Pylon (Pylon Viewer)	Basler	Nie ma