Name: Wykorzystanie vmTracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni (Wideo) | JoVE Journal
Uploaded: 2025-11-07T14:40:00.000+00:00
Duration: 7 min 34 s
Description: Poznaj metodę vmTracking do precyzyjnego śledzenia pozycji wielu gryzoni w warunkach tłumienia. To narzędzie umożliwia badanie zachowań społecznych w półnaturalnym środowisku bez konieczności stosowania znaczników.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Prace te były wspierane przez Japan Society for the Promotion of Science (JSPS) (JP24K15711 i JP21H04247 dla HA oraz JP23H00502 i JP21H05296 dla ST) oraz Core Research for Evolutional Science and Technology (CREST) w ramach Japan Science and Technology Agency (JST) (JPMJCR23P2 do ST).

Wszystkie procedury eksperymentalne zostały zatwierdzone przez Komitet ds. Opieki i Użytkowania Zwierząt Uniwersytetu Doshisha (Nr A23068). Myszy C57BL/6J (patrz Tabela materiałów) były trzymane w grupach po 2-3 osoby w klatce w kontrolowanych warunkach 24-26 °C, 12-godzinnym cyklu światła/ciemności, z doraźnym dostępem do jedzenia i wody. Wszystkie zapisy zachowań zostały zebrane podczas fazy lekkiej. Ogólny przepływ procesu vmTracking, wraz z migawkami z przykładu, przedstawiono na Rysunku 1.
UWAGA: vmTracking nie jest nowym oprogramowaniem ani algorytmem, lecz protokołem wykorzystującym istniejące funkcje DLC, aby zmaksymalizować dokładność śledzenia wielu zwierząt. W związku z tym znaczna część poniższych kroków opisuje konkretne operacje graficznego interfejsu użytkownika (GUI) w DLC, aby zapewnić powtarzalność.
1. Przygotowanie danych wideo wielozwierzęcych bez markerów
UWAGA: Parametry eksperymentu można dostosować do konkretnego badania.
<ol>
	<li>Umieść trzy myszy C57BL/6J na okrągłym otwartym polu z białą podłogą i przezroczystymi ścianami (31 cm średnicy × 17 cm wysokości; patrz Tabela materiałów) i pozwól im swobodnie się poruszać.</li>
	<li>Korzystając z widoku z góry, nagrywaj zwierzęta przez około 60 minut w rozdzielczości 460 × 460 pikseli i z częstotliwością 30 klatek na czas (patrz Tabela materiałów).</li>
</ol>
2. Tworzenie wideo z wirtualnym markerem
<ol>
	<li>Wykonaj standardowe śledzenie pozycji bez markerów za pomocą maDLC w wersji DLC 2.2.3 (Rysunek 2; patrz Tabela materiałów). UWAGA: W poniższych krokach nazwy kart GUI DLC oraz ustawienia parametrów są pogrubione, aby wyjaśnić operacje w DLC. Wszystkie procedury wykonywane są według ustawień domyślnych, chyba że zakreślono inaczej. Szczegółowe instrukcje dotyczące korzystania z DLC można znaleźć w oficjalnej dokumentacji10.<ol>
		<li>Stwórz projekt wielozwierzęcy w Zarządzaj Projektem (Dodatkowy Rysunek 1) do śledzenia wideo bez znaczników. Zmodyfikuj pola osób i części ciała w pliku config.yaml zgodnie z wymaganiami analizy. W tym protokole stosuje się osobę1 do osoby3 oraz część ciała1 do części ciała6. Wszystkie pozostałe ustawienia są opcjonalne. UWAGA: Parametry numframes2pick (liczba wyodrębnionych klatek) oraz rozmiar kropki (rozmiar markera) mogą być dostosowane w zależności od warunków wideo i obciążenia eksperymentatora. Inne ustawienia nie były systematycznie testowane we wszystkich możliwych warunkach; jednak skuteczne śledzenie zostało potwierdzone przy domyślnych konfiguracjach.</li>
		<li>Wyodrębnij klatki z wideo w sekcji Extract Frames (Ilustracja Uzupełniająca 1) do późniejszego oznaczania i treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
		<li>Oznacz każdą wyodrębnioną klatkę w Etykietowych Danych (Ilustracja Dodatkowa 1), przypisując odpowiednie części ciała każdej widocznej osobie bez zachowania spójnych identyfikatorów między ramkami.</li>
		<li>Stwórz zbiór danych treningowych z wyodrębnionych ramek w Utwórz zbiór danych treningowych (Rysunek Uzupełniający 1). W tym protokole ustaw sieć na dlcrnet_ms5. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
		<li>Zacznij szkolenie sieci w Train (Ilustracja uzupełniająca 1). W tym protokole parametr Maximum iterations jest ustawiony na 200 000 podczas treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
		<li>Oceń wytrenowaną sieć w Evaluate (Ilustracja uzupełniająca 1). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
		<li>Uruchom estymację pozycji na wybranych filmach w Analizuj filmy (Ilustracja uzupełniająca 1), generując dane współrzędnych .h5 oraz inne pliki wyjściowe w folderze wideo w folderze projektu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne. UWAGA: Jeśli zbiór danych treningowy jest niewystarczający, analiza może nie wygenerować plików współrzędnych .h5. W takim przypadku zacznij od kroku 2.1.2.</li>
		<li>Ręczna weryfikacja przez eksperymentatora.<ol>
			<li>Stwórz oznaczony film śledzący w Utwórz filmy (Rysunek uzupełniający 1). Wybierz opcję Utwórz wideo z kolorowanym identyfikatorem zwierzęcia? w GUI DLC i wygeneruj oznaczony film śledzący (Rysunek 2A, maDLC). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
			<li>Sprawdź oznaczone filmy (Rysunek 2A, maDLC), aby sprawdzić przełączniki ID i brakujące przewidywania. Jeśli zauważone zostaną zauważalne błędy, przeszkol się ponownie (patrz krok 2.1.8.3). Jeśli nie zostanie przeprowadzone ponowne szkolenie, przejdź do kroku 2.2. UWAGA: Przeszkolenie nie jest obowiązkowe, ale poprawia dokładność i zmniejsza obciążenie pracą na kolejnych etapach.</li>
			<li>Do ponownego trenowania wyodrębniaj i adnotuj ramy odstające w Extract/Refine Outliers (Ilustracja Uzupełniająca 1). Po zakończeniu adnotacji kliknij przycisk Scal dataset, aby automatycznie przejść do Create Training Dataset, a następnie powtórz od kroku 2.1.4.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Popraw wyniki maDLC, aby stworzyć wideo z wirtualnym markerem (Rysunek 3).<ol>
		<li>Korzystając z niestandardowego interfejsuGUI 11 (Rysunek 3B), zachowaj tylko wybrane punkty kluczowe dla wirtualnych znaczników i zastąp pozostałe NaN w pliku .h5. To zmniejszenie liczby punktów kluczowych zmniejsza obciążenie pracą przy kolejnych etapach korekcyjnych (rysunek 3C,E). W tym protokole stosuje się części ciała 2 i 4. UWAGA: Zaleca się wybór dwóch kluczowych punktów efektywnie definiujących wektor osi ciała. Wykonanie początkowego śledzenia maDLC z użyciem wyłącznie punktów kluczowych przeznaczonych jako wirtualne znaczniki może nie wygenerować pliku .h5 w kroku 2.1.4. Dlatego zaleca się wykonanie początkowego śledzenia z większym zestawem punktów kluczowych.</li>
		<li>Korzystając ze ścieżek Refine (Rysunek uzupełniający 1), poprawiaj plik .h5 z poprzedniego kroku, zawierający jedynie wybrane punkty kluczowe. Popraw kluczowe punkty tak, aby każda osoba zachowała spójną identyfikację przez cały film (rysunek 3E,F). Zapisz plik; Plik .h5 w folderze Videos zostanie automatycznie zaktualizowany.</li>
		<li>Stwórz oznaczony film z etykietami kolorów ID na podstawie poprawionych danych w Utwórz filmy (Ilustracja uzupełniająca 1, Rysunek 3A, Wirtualny znacznik). W DLC 2.2 istniejący oznaczony film w folderze wideo uniemożliwi utworzenie nowego; Usuń plik, zmienij nazwę lub przenieś plik przed kontynuowaniem. Tutaj ustaw rozmiar markera na 2 w pliku konfiguracyjnym, używając najmniejszego rozmiaru umożliwiającego identyfikację bez zaciemniania zwierzęcia w tym zbiorze danych.</li>
		<li>Przemianuj utworzony film na krótką nazwę pliku, aby zapobiec błędom podczas przetwarzania DLC podczas ponownego śledzenia w kolejnym kroku z saDLC.</li>
	</ol>
	</li>
</ol>
3. Wykonaj śledzenie pozycji wideo z wirtualnym markerem za pomocą saDLC (Rysunek 4)
UWAGA: Wszystkie procedury wykonywane są przy użyciu domyślnych ustawień interfejsu GUI DLC, chyba że zakreślono inaczej.
<ol>
	<li>Stwórz nowy projekt saDLC w Manage Project (Ilustracja uzupełniająca 2) do śledzenia wideo z wirtualnym markerem. W tym protokole wypisz wszystkie kombinacje osób i części ciała w polu bodyparts pliku config.yaml (np. individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Wszystkie pozostałe ustawienia są opcjonalne. UWAGA: Podobnie jak w kroku 2.1.1, parametry numframes2pick i dotsize mogą być dostosowane do warunków wideo oraz obciążenia eksperymentatora. Pomyślne śledzenie zostało potwierdzone przy domyślnych konfiguracjach.</li>
	<li>Wyodrębnij klatki z wirtualnego markera wideo w Extract Frames (Ilustracja uzupełniająca 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
	<li>Oznacz każdą wyodrębnioną klatkę w Danych Etykiet (Ilustracja Uzupełniająca 2), używając wirtualnych znaczników do przypisania indywidualnych identyfikatorów, tak aby zarówno ID, jak i części ciała były dopasowane w różnych ramkach (Rysunek 3B-D). Gdy identyfikacja danej osoby jest znana, a część ciała częściowo ukryta, oszacuj jej pozycję i odpowiednio umieść etykietę. Jeśli indywidualnych identyfikatorów nie można jednoznacznie określić (np. brakuje wirtualnych znaczników ≥2 osób w ramce), nie oznaczaj tych części ciała.</li>
	<li>Stwórz zbiór treningowy z wyodrębnionych ramek w Utwórz zbiór danych treningowych (Rysunek Uzupełniający 2). W tym protokole ustaw sieć na efficientnet-b0. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
	<li>Zacznij trenować sieć w Train (Rysunek uzupełniający 2). W tym protokole ustaw parametr Maximum iteracji na 200 000 dla treningu. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
	<li>Oceń wytrenowaną sieć w Evaluate (Ilustracja uzupełniająca 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
	<li>Uruchom estymację pozycji na wybranych filmach w Analizuj filmy (Rysunek uzupełniający 2), generując dane współrzędnych .h5 oraz inne pliki wyjściowe w folderze wideo. Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
	<li>Ręczna weryfikacja przez eksperymentatora.<ol>
		<li>Stwórz oznaczony film śledzący w Utwórz filmy (Rysunek uzupełniający 2). Ustaw wszystkie pozostałe parametry na ich wartości domyślne.</li>
		<li>Sprawdź oznaczone filmy (rysunek 4A, vmTracking), aby sprawdzić niespójności w śledzeniu. Przeszkol ponownie, aż eksperymentator będzie zadowolony z wyników. Jeśli przeszkolenie nie jest wymagane, procedura jest zakończona. UWAGA: Po potwierdzeniu satysfakcjonujących wyników śledzenia możesz stworzyć wideo w jakości prezentacyjnej bez wirtualnych znaczników (Rysunek 5), a wyniki śledzenia wyprowadzić na oryginalnym wideo bez markerów zamiast na wirtualnym znaczniku w Create videos (Ilustracja uzupełniająca 2). Zamień wirtualny marker wideo w folderze videos na wideo bez markerów, zmieniając jego nazwę tak, aby odpowiadała nazwie pliku wideo wirtualnego markera użytej wcześniej w analizie. W przypadku DLC 2.2 upewnij się, że w folderze nie ma żadnych oznaczonych filmów przed utworzeniem nowego (rysunek 5B,C).</li>
		<li>Do ponownego trenowania wyodrębniaj i adnotuj ramy odstające w Extract/Refine Outliers (Ilustracja uzupełniająca 2). Po zakończeniu adnotacji kliknij przycisk Scal dataset, aby automatycznie przejść do Create Training Dataset, a następnie powtórz od kroku 3.1.4.</li>
	</ol>
	</li>
</ol>

<ol><li>Smith, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Lab+mice+go+wild%3A+making+experiments+more+natural+in+order+to+decode+the+brain%5BTitle%5D)+AND+%22Nature%22%5BJournal%5D)">Lab mice go wild: making experiments more natural in order to decode the brain.</a> Nature. 618 (7965), 448-450 (2023).</li>
<li>Rein, B., Ma, K., Yan, Z. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+standardized+social+preference+protocol+for+measuring+social+deficits+in+mouse+models+of+autism%5BTitle%5D)+AND+%22Nat+Protoc%22%5BJournal%5D)">A standardized social preference protocol for measuring social deficits in mouse models of autism.</a> Nat Protoc. 15 (10), 3464-3477 (2020).</li>
<li>Jabarin, R., Netser, S., Wagner, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Beyond+the+three-chamber+test%3A+toward+a+multimodal+and+objective+assessment+of+social+behavior+in+rodents%5BTitle%5D)+AND+%22Mol+Autism%22%5BJournal%5D)">Beyond the three-chamber test: toward a multimodal and objective assessment of social behavior in rodents.</a> Mol Autism. 13 (1), 41(2022).</li>
<li>Lauer, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Multi-animal+pose+estimation%2C+identification+and+tracking+with+DeepLabCut%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Multi-animal pose estimation, identification and tracking with DeepLabCut.</a> Nat Methods. 19 (4), 496-504 (2022).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((SLEAP%3A+A+deep+learning+system+for+multi-animal+pose+tracking%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">SLEAP: A deep learning system for multi-animal pose tracking.</a> Nat Methods. 19 (4), 486-495 (2022).</li>
<li>Bordes, J., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Automatically+annotated+motion+tracking+identifies+a+distinct+social+behavioral+profile+following+chronic+social+defeat+stress%5BTitle%5D)+AND+%22Nat+Commun%22%5BJournal%5D)">Automatically annotated motion tracking identifies a distinct social behavioral profile following chronic social defeat stress.</a> Nat Commun. 14 (1), 4319(2023).</li>
<li>Mathis, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((DeepLabCut%3A+markerless+pose+estimation+of+user-defined+body+parts+with+deep+learning%5BTitle%5D)+AND+%22Nat+Neurosci%22%5BJournal%5D)">DeepLabCut: markerless pose estimation of user-defined body parts with deep learning.</a> Nat Neurosci. 21 (9), 1281-1289 (2018).</li>
<li>Bolaños, F., LeDue, J. M., Murphy, T. H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Cost+effective+raspberry+pi-based+radio+frequency+identification+tagging+of+mice+suitable+for+automated+in+vivo+imaging%5BTitle%5D)+AND+%22J+Neurosci+Methods%22%5BJournal%5D)">Cost effective raspberry pi-based radio frequency identification tagging of mice suitable for automated in vivo imaging.</a> J Neurosci Methods. 276, 79-83 (2017).</li>
<li>Azechi, H., Takahashi, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((vmTracking+enables+highly+accurate+multi-animal+pose+tracking+in+crowded+environments%5BTitle%5D)+AND+%22PLOS+Biol%22%5BJournal%5D)">vmTracking enables highly accurate multi-animal pose tracking in crowded environments.</a> PLOS Biol. 23 (2), e3003002(2025).</li>
<li>DeepLabCut: documentation. , DeepLabCut Team. 
 <a target="_blank" href="https://deeplabcut.github.io/DeepLabCut/README.html">https://deeplabcut.github.io/DeepLabCut/README.html</a> (2025).</li>
<li>Azechi, H. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((vmTracking+figure+and+code%5BTitle%5D)+AND+%22Zenodo%22%5BJournal%5D)">vmTracking figure and code.</a> Zenodo. , (2025).</li>
<li>Pereira, T. D., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Fast+animal+pose+estimation+using+deep+neural+networks%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">Fast animal pose estimation using deep neural networks.</a> Nat Methods. 16 (1), 117-125 (2019).</li>
<li>Romero-Ferrero, F., Bergomi, M. G., Hinz, R. C., Heras, F. J. H., de Polavieja, G. G. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((idtracker.ai%3A+tracking+all+individuals+in+small+or+large+collectives+of+unmarked+animals%5BTitle%5D)+AND+%22Nat+Methods%22%5BJournal%5D)">idtracker.ai: tracking all individuals in small or large collectives of unmarked animals.</a> Nat Methods. 16 (2), 179-182 (2019).</li>
</ol>

Autorzy nie mają nic do ujawnienia.

Chociaż rośnie zapotrzebowanie na badania naturalistycznych form interakcji społecznych u gryzoni¹, uzyskanie wiarygodnej tożsamości i informacji o pozycjach dla wielu swobodnie poruszających się zwierząt – szczególnie podczas bliskich interakcji lub zasłon – pozostaje wyzwaniem technicznym. vmTracking przezwycięża to ograniczenie, umożliwiając dokładne śledzenie w takich warunkach. vmTracking niezawodnie osiąga wysoką dokładność śledzenia w różnorodnych warunkach eksperymentalnych, w tym w zatłoczonych środowiskach9, gdzie konwencjonalne trackery wielozwierzęce 4,5 często zawodzą. Ta odporność wynika z połączenia wirtualnego tworzenia markerów opartego na śledzeniu wielu zwierząt z śledzeniem saDLC, umożliwiającym precyzyjną identyfikację i oszacowanie pozy. Co ważne, metoda utrzymywała wysoką wydajność nawet wtedy, gdy dokładność wirtualnych markerów była nieoptymalna. Ta tolerancja do pewnego stopnia niedoskonałości w markerach wirtualnych zapewnia, że vmTracking pozostaje praktyczny do niezawodnego śledzenia wielu swobodnie poruszających się osobników, co przyczynia się do rozwoju badań nad interakcjami społecznymi gryzoni w warunkach półnaturalnych.
Kluczowym krokiem w vmTracking jest korekta wyników śledzenia wielu zwierząt podczas tworzenia wirtualnych znaczników. W tym procesie pomijanie przełączników tożsamości lub błędnych etykiet może spowodować, że saDLC utrzymuje te błędne identyfikacje przez cały kolejny śledzenie. Jeśli takie błędy zostaną później odkryte, można je skorygować poprzez korektę dotkniętych segmentów, regenerację wirtualnego wideo z markerem oraz ponowne uruchomienie śledzenia saDLC. W niektórych przypadkach wirtualne markery mogą być poprawnie umieszczone, jednak saDLC może nadal błędnie identyfikować osoby, gdy markery różnych zwierząt znajdą się blisko siebie podczas zatłoczonych interakcji. Takie błędy można złagodzić, przesuwając dotknięte wirtualne markery podczas etapu tworzenia, aby zmaksymalizować odległości między markerami, zmniejszając tym samym ryzyko pomyłek w kolejnej fazie śledzenia.
Chociaż nasz protokół używa DLC 4,7 w obu etapach, można go również zaimplementować za pomocą SLEAP 5,12. Z naszego doświadczenia wynika, że SLEAP w trybie pojedynczego zwierzęcia jest zazwyczaj mniej stabilny niż saDLC, a wydajność bardziej zależy od wideo9. W przypadku wirtualnego etapu tworzenia markerów jednak, SLEAP lub idtracker.ai13 mogą być równie skuteczne, a optymalny wybór może się różnić w zależności od filmu. Dlatego jeśli początkowe śledzenie maDLC wykazuje częste zmiany ID lub poważne straty punktów kluczowych podczas wizualnej inspekcji, możliwe jest podejście mieszane – na przykład tworzenie wirtualnych znaczników za pomocą SLEAP lub idtracker.ai i śledzenie powstałego wideo za pomocą saDLC.
Ponieważ vmTracking obejmuje dwa etapy śledzenia, niektórzy mogą uznać to za uciążliwe i zastanawiać się, dlaczego fizyczne markery nie są po prostu przyłączane od samego początku, eliminując potrzebę tworzenia wirtualnych markerów. Jednak wirtualne markery oferują wyraźne zalety: można je stosować dosłownie do istniejących filmów bez markerów, unikając jakichkolwiek efektów behawioralnych lub kwestii etycznych związanych z mocowaniem urządzeń do zwierząt. Można je umieścić w dowolnym miejscu, nigdy nie spadają i nie są wpływane na postawę ani bliskie interakcje, co pozwala je ustawić i dostosować do konkretnego filmu. Ta elastyczność umożliwia bardziej wiarygodną identyfikację indywidualną, a co za tym idzie, poprawę dokładności śledzenia w porównaniu z fizycznymi markerami. W rezultacie vmTracking, który wykorzystuje wirtualne markery, umożliwia wysokodokładne śledzenie w badaniach swobodnie poruszających się interakcji społecznych oraz w ponownej analizie archiwalnych danych wideo, gdzie nie można stosować fizycznych markerów. Uzyskane w ten sposób dane o wysokiej dokładności śledzenia są szeroko użyteczne w dziedzinach opartych na eksperymentach behawioralnych, w tym naukach behawioralnych, psychologii i neurobiologii.
VMTracking ma kilka ograniczeń. Po pierwsze, ponieważ identyfikacja indywidualnych zależy od różnic w kolorze markerów, liczba śledzonych osobników jest ograniczona skończonym zakresem rozpoznawalnych kolorów. Do tej pory udało nam się śledzić grupę dziesięciu ryb9; Jednak zwiększenie tej liczby będzie wymagało rozszerzenia różnorodności markerów wirtualnych – na przykład poprzez zmianę kształtów markerów lub wykorzystanie struktur szkieletowych jako dodatkowych identyfikatorów – choć te podejścia wymagają dalszej weryfikacji. Po drugie, vmTracking koniecznie wymaga dodatkowego kroku dodawania wirtualnych znaczników do każdego wideo bez markerów, co może być pracochłonne przy długich nagraniach lub zbiorach danych z wieloma osobami. Ponadto, choć metoda ta może być w zasadzie stosowana do różnych gatunków i warunków rejestracji, praktyczność osiągnięcia wysokiej precyzji śledzenia może się zmniejszać, gdy parametry eksperymentalne nie mogą być optymalizowane. Na przykład w nagraniach dzikich lub swobodnie poruszających się zwierząt w warunkach podobnych do pola, gdzie oświetlenie, rozdzielczość kamery czy kąty nagrywania są trudne do kontrolowania, ręczna korekta wymagana podczas przypisywania wirtualnych markerów zwykle wzrasta, co może ograniczać łatwość uzyskania wysokiej jakości danych śledzenia. W przyszłości usprawnienie i automatyzacja procesu przydzielania wirtualnych markerów jeszcze bardziej zwiększy zastosowanie i użyteczność metody.

Badania nad zachowaniami społecznymi gryzoni coraz bardziej kładą nacisk na badanie interakcji w bardziej naturalistycznych kontekstach społecznych1. Tradycyjne podejścia, takie jak test trzech komor, były szeroko stosowane do oceny towarzyskości i preferencji społecznych2, ale te paradygmaty obejmują jedynie uproszczone aspekty interakcji społecznych3. Aby sprostać tej potrzebie, wielozwierzęce DeepLabCut (maDLC)4 oraz Social LEAP Estimates Animal Poses (SLEAP)5 stały się niezbędnymi narzędziami do śledzenia pozycji wielu zwierząt bez markerów w warunkach swobodnego ruchu, dostarczając zaawansowane technologie oparte na głębokim uczeniu do śledzenia pozycji wielu zwierząt bez markerów. Jednak w zatłoczonych środowiskach, gdzie zwierzęta są blisko siebie, narzędzia te są podatne na błędy śledzenia, takie jak błędy w prognozowaniu czy przełączniki tożsamości (ID). Uzyskanie wiarygodnych danych w takich warunkach często wymaga rozległej ręcznej korekty.
Dokładne śledzenie pozycji wielu swobodnie poruszających się zwierząt otwiera drzwi do badania bardziej złożonych dynamik społecznych. Na przykład szczegółowe dane śledzące pozwalają na ocenę relacji lider-naśladowca, zachowań unikających podejścia podczas ruchu oraz innych zniuansowanych wzorców interakcji, których nie da się wiarygodnie ocenić za pomocą konwencjonalnych testów behawioralnych. Takie postępy rozszerzają użyteczność śledzenia wielozwierzęcego poza stosunkowo proste opisowe miary zachowań, umożliwiając analizę bardziej złożonych interakcji społecznych.
Jednym ze sposobów poprawy dokładności śledzenia jest wyraźne rozróżnienie poszczególnych zwierząt. Na przykład Bordes6 zademonstrował jednoczesne śledzenie białej myszy CD1 i czarnej myszy C57BL/6N za pomocą pojedynczego zwierzęcia DeepLabCut (saDLC)7. To odkrycie sugeruje, że gdy zwierzęta są wizualnie rozpoznawalne, możliwe jest dokładne śledzenie osobników. Jednak użycie fizycznych markerów do identyfikacji może zmieniać naturalne zachowania. Nawet minimalnie inwazyjne metody, takie jak wszczepianie znaczników identyfikacji radiowej8, budzą obawy dotyczące ich potencjalnego wpływu na zachowanie.
Przedstawiamy tutaj metodę śledzenia pozycji wielozwierzęcia, która wykorzystuje wirtualne markery (vmTracking)9 do nieinwazyjnej identyfikacji indywidualnych. Dokładna ocena zachowań społecznych, uwzględniając ich kontekst społeczny, wymaga bardzo precyzyjnych danych śledzenia pozycji wielu zwierząt. vmTracking został opracowany, aby sprostać tej potrzebie, zapewniając niezawodny protokół – zamiast nowego oprogramowania czy algorytmu – do pozyskiwania tak wysokiej jakości danych śledzących przy użyciu istniejących narzędzi, takich jak DLC. Dlatego analiza zachowań społecznych oparta na tych danych wykracza poza zakres tego protokołu. VMTracking obejmuje dwa główne etapy: dodawanie wirtualnych znaczników do filmów bez markerów oraz śledzenie powstałych wirtualnych markerów. Ta metoda umożliwia bardzo dokładne śledzenie pozycji bez potrzeby stosowania fizycznych markerów, nawet w warunkach obejmujących trzy lub więcej wizualnie nierozróżnialnych zwierząt tego samego szczepu. Umożliwiając niezawodne śledzenie w warunkach półnaturalistycznych, vmTracking stanowi skuteczne narzędzie do rozwoju badań nad złożonymi interakcjami społecznymi, z potencjalnymi zastosowaniami w naukach behawioralnych, psychologii i neurobiologii.

<table><tbody><tr><td>Rura akrylowa (przezroczysta, grubość 5 mm, średnica wewnętrzna 31 cm)</td><td>Sugawarakougei Co., Ltd.</td><td>https://www.sugawarakougei.jp/</td><td>Zakupione w Hazaiya (internetowy sprzedawca materiałów akrylowych)</td></tr><tr><td>Płyta akrylowa (biała, 3 mm grubości, 31 cm średnicy)</td><td>Sugawarakougei Co., Ltd.</td><td>https://www.sugawarakougei.jp/</td><td>Zakupione w Hazaiya (internetowy sprzedawca materiałów akrylowych)</td></tr><tr><td>Mysz C57BL/6J</td><td>Zaopatrzenie laboratoryjne Shimizu, Co.LTD.</td><td>Nie ma</td><td></td></tr><tr><td>Kamera</td><td>Basler</td><td>acA3088-57uc</td><td></td></tr><tr><td>DeepLabCut 2.2.3</td><td>Laboratorium Mathisa w Szwajcarskim Federalnym Instytucie Technologii w Lozannie</td><td>https://www.mackenziemathislab.org/deeplabcut</td><td></td></tr><tr><td>Pakiet oprogramowania kamer Pylon (Pylon Viewer)</td><td>Basler</td><td>Nie ma</td><td></td></tr></tbody></table>

wykorzystanie vmtracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni

Utilizing vmTracking to Improve the Accuracy of Multi-Animal Pose Estimation in Rodent Social Behavior Studies

W badaniach nad zachowaniami społecznymi z użyciem gryzoni rośnie zapotrzebowanie na ocenę bardziej naturalnych zachowań interaktywnych w warunkach swobodnie poruszających się. Dokładne śledzenie pozycji wielu zwierząt jest niezbędne do tego celu. Jednak obecne narzędzia do śledzenia pozycji wielozwierzęcych bez markerów napotykają poważne wyzwanie: dokładność śledzenia zwykle spada w warunkach zasłonienia i zatłoczenia. Problem ten staje się szczególnie widoczny, gdy zwierzęta są wizualnie nie do odróżnienia. Aby rozwiązać ten problem, opracowaliśmy wirtualne śledzenie markerów (vmTracking), metodę poprawiającą dokładność śledzenia pozycji wielu zwierząt w tak trudnych warunkach, utrzymując indywidualną tożsamość między ramkami za pomocą wirtualnych markerów. vmTracking można również zastosować do istniejących danych wideo wielozwierzęcych bez markerów, włączając dodatkowe kroki przetwarzania, które dodają indywidualne etykiety tożsamości do standardowych procesów śledzenia. Tutaj opisujemy zarówno metodę przypisywania wirtualnych znaczników, jak i protokół śledzenia zwierząt w powstałych oznaczonych filmach. Wysokoprecyzyjne śledzenie wielozwierzęcym, możliwe dzięki vmTracking, stanowi solidną podstawę do późniejszych ilościowych analiz interakcji społecznych w warunkach półnaturalnych.

Dokładność śledzenia oceniano na podstawie porównania z ręcznie generowaną rzeczywistością (GT). Wyodrębniono dwadzieścia scen 5- lub 10 sekund i sklasyfikowano jako sceny zatłoczone (CR), obejmujące nakładanie się takich miejsc jak krzyżowanie się myszy (12 scen; łącznie 1 950 klatek), lub sceny niezatłoczone (nCR) bez nakładania się (8 scen; łącznie 1 350 klatek). Przewidywania śledzenia w odległości do 10 pikseli od pozycji GT były liczone jako mecze (Match); prognozy oddalone ≥10 pikseli były liczone jako fałszywe pozytywy (FP); a brakujące prognozy były liczone jako fałszywie negatywne (FN). Dodatkowo, jeśli przewidywana tożsamość różniła się od tej w bezpośrednim poprzedzającym ramie, była ona liczona jako zmiana ID.
W porównaniu z maDLC (Rysunek 6), vmTracking wykazał istotną poprawę w Match zarówno w scenach CR, jak i nCR (Rysunek 6A, CR: p &lt; 0,001; Rysunek 6E, nCR: s. &lt; 0,01). W obu typach scen nie występowały FN, a liczba FN była znacząco zmniejszona dzięki vmTracking (Rysunek 6B, CR: p &lt; 0,001; Rysunek 6F, nCR: s. &lt; 0,05). Liczniki przełączników FP (Rysunek 6C i 6G) oraz ID (Rysunek 6D,H) nie wykazały żadnych zmian w żadnym z typów scen. Przedstawiono porównanie wyników śledzenia uzyskanych za pomocą vmTracking i konwencjonalnego maDLC, podkreślając zwiększoną dokładność i stabilność vmTracking w zatłoczonych warunkach (Wideo uzupełniające 1).
Zbadaliśmy także zależność między liczbą klatek adnotacji a zarówno Match, jak i FN dla scen CR w maDLC i vmTracking (Rysunek 6I). W maDLC Match ustabilizował się na poziomie około 85% z około 400 ramkami adnotacji, z niewielką poprawą wraz ze wzrostem tej liczby. Zwiększenie liczby ramek adnotacji do treningu nie zmniejszyło liczby FN. Dla porównania, vmTracking wykazał stały wzrost liczby Match przy większej liczbie klatek adnotacji, osiągając około 95% przy około 1000 klatek.
Wirtualne markery zostały sklasyfikowane na sześć kategorii na podstawie wzorców przypisania, a proporcja każdej kategorii została użyta jako wskaźnik dokładności wirtualnych markerów do analizy ich związku ze śledzeniem Match (Rysunek 6J). Sceny z wyższym odsetkiem poprawnie przypisanych wirtualnych znaczników miały tendencję do wykazywania wyższego dopasowania. Jednak niektóre sceny, w których proporcja poprawnych markerów była niska, czy to z powodu wielu błędnych przypisań, czy wielu brakujących markerów, nadal wykazywały wysoki Match (np. sceny CR 3 i 11).
<img alt="Rysunek 1" class="xfigimg" src="/files/ftp_upload/69506/69506fig1.jpg" data-altupdatedat="1783400419000" data-alt="Figure 1"> 
Rysunek 1: Przegląd przepływu pracy vmTracking. (A) Schemat workflow vmTracking. Najpierw wykonaj maDLC na wideo bez markerów (I). Na podstawie uzyskanych danych śledzenia maDLC poprawiaj wynik tak, aby każdy osobno utrzymywał spójny identyfikator przez cały film, i stwórz oznaczony film, który wyświetla tylko wybrany podzbiór punktów kluczowych (II). Używając etykiet z tego filmu jako wirtualnych znaczników, śledź wideo z wirtualnym znacznikiem za pomocą saDLC (III). (B) Dwa przykłady vmTracking przedstawiono jako migawki z każdego etapu procesu. Obraz po lewej stronie pokazuje pełny widok, a obrazy po prawej to powiększone widoki obszarów otoczonych żółtymi ramkami. Pomarańczowe paski w prawym dolnym rogu obrazów wskazują skale: 5 cm dla obrazu "Bez markera (Przegląd)" i 1 cm dla wszystkich pozostałych. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig1large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
<img alt="Rysunek 2" class="xfigimg" src="/files/ftp_upload/69506/69506fig2.jpg" data-altupdatedat="1783400419000" data-alt="Figure 2"> 
Rysunek 2: Workflow śledzenia wielu zwierząt bez markerów z użyciem maDLC. Ta liczba dotyczy kroku protokołu 2.1. (A) Panele są zaadaptowane z Rysunku 1B i ilustrują Proces I (śledzenie wielozwierzęce bez markerów) pokazany na Rysunku 1A. Dla jasności, każde zwierzę jest obrysowane przerywaną linią. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B-D) Migawki ramek używanych do etykietowania podczas wykonywania maDLC. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 5 cm. (B) Przykładowa ramka przed nałożeniem etykiet. (C) Ta sama ramka co w B, po oznaczeniu. (D) Przykład innej oznaczonej ramy. Tożsamość jednostek pomiędzy ramami C i D jest nieznana, ale tożsamość indywidualna nie musi być brana pod uwagę przy etykietowaniu. Jak pokazano na zdjęciach, wystarczy poprawnie oznaczyć postawę każdego zwierzęcia. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig2large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
<img alt="Rysunek 3" class="xfigimg" src="/files/ftp_upload/69506/69506fig3.jpg" data-altupdatedat="1783400419000" data-alt="Figure 3"> 
Rysunek 3: Workflow tworzenia wideo z wirtualnym markerem na podstawie wyników maDLC. Ta liczba dotyczy kroku protokołu 2.2. (A) Panele są zaadaptowane z Rysunku 1B i ilustrują Proces II (tworzenie wirtualnych markerów) pokazany na Rysunku 1A. Dla jasności, każde zwierzę jest obrysowane przerywaną linią. Białe strzałki wskazują punkty kluczowe używane jako wirtualne znaczniki (2. i 4. punkt kluczowy dla każdego ID). W tym przykładzie wirtualne znaczniki są wyświetlane w skalach szarości: fioletowe, zielone i czerwone etykiety maDLC pojawiają się odpowiednio jako czarne, szare i białe. W Przykładzie 1 wyniki maDLC były wyprowadzane bezpośrednio jako wirtualne markery bez korekty. W przykładzie 2 fioletowe i czerwone ID zostały zamienione i poprawione przed wyjściem, dzięki zmianie ID w kolejnych klatkach. Zielony punkt w wyniku maDLC, który powinien był zostać poprawiony, został pominięty i został wyświetlony bez zmian. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B) Interfejs graficzny oparty na Pythonie do edycji plików współrzędnych h5, aby zachowywać tylko określone punkty kluczowe i zastępować pozostałe NaN11. (Ba) Początkowe okno menu przy uruchomieniu programu. Wybierz plik do edycji za pomocą przycisku Wybierz plik h5. (Bb) Okno po wybraniu pliku h5. Sprawdź punkty kluczowe do zastąpienia NaN (wyświetlane jako indywidualna nazwa-nazwa części ciała) i określ albo czasy start-koniec (z liczbą klatek na sekundę) lub numery klatek dla zastąpienia NaN. Kliknięcie Process Data zapisuje edytowany plik w tym samym folderze i tworzy kopię zapasową oryginału. (C) Kolejne klatki ze sceny, w której doszło do zmiany ID. (D) Przykład korekcji wszystkich punktów śledzenia od B. (E) Migawka pokazująca wynik z B, zachowane tylko 2. i 4. punkt kluczowy. (F) Przykład korekty wyniku w E. W porównaniu do poprawy wszystkich punktów kluczowych (C → D), ograniczenie korekty do dwóch punktów (C → E → F) zmniejsza liczbę wymaganych edycji. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu, C-F, wskazuje pasek w skali 5 cm. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig3large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
<img alt="Rysunek 4" class="xfigimg" src="/files/ftp_upload/69506/69506fig4.jpg" data-altupdatedat="1783400419000" data-alt="Figure 4"> 
Rysunek 4: Workflow śledzenia wideo z wirtualnym markerem. Ta liczba dotyczy kroku protokołu 3. (A) Panele są zaadaptowane z rysunku 1B i ilustrują Proces III (śledzenie wirtualnego markera wideo) pokazany na rysunku 1A. Każdy osobnik jest otoczony przerywanym konturem dla wyraźności celu śledzenia. W tym przykładzie osoby z czarnymi, szarymi i białymi markerami wirtualnymi są śledzone odpowiednio jako fioletowe, zielone i czerwone etykiety. W Przykładzie 1 szarego wirtualnego znacznika brakuje, mimo to vmTracking utrzymuje poprawne śledzenie tożsamości. W Przykładzie 2 szary marker pojawia się u dwóch osób, ale śledzenie pozostaje poprawne. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B-D) Migawki z ramek używanych do etykietowania podczas vmTracking. W tym etapie stosuje się saDLC, przy czym każdy punkt kluczowy zawiera informacje zarówno o indywidualnych, jak i o częściach ciała. Etykietowanie określa, która część ciała danego osobnika jest reprezentowana. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 5 cm. (B) Migawka klatki przed oznaczeniem. (C) Migawka klatki w B po oznaczeniu. (D) Migawka innej klatki z C po oznakowaniu. Nawet w różnych ramkach (np. C i D) etykietowanie zachowuje indywidualną tożsamość, używając wirtualnego markera jako wskazówki, co wskazuje spójne kolory etykiet. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig4large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
<img alt="Rysunek 5" class="xfigimg" src="/files/ftp_upload/69506/69506fig5.jpg" data-altupdatedat="1783400419000" data-alt="Figure 5"> 
Rysunek 5: Workflow łączenia wyników śledzenia z filmem bez markerów, aby uzyskać wideo śledzące bez wirtualnych znaczników. Jest to opcjonalny krok związany z NOTE w kroku 3.8.2. (A) Gdy wyniki śledzenia są stosowane do wideo z wirtualnym markerem, otrzymany film śledzenia zachowuje wirtualne markery (vmTrackingvm+). Żółte strzałki wskazują wirtualne znaczniki widoczne na wyjściu. Zastosowanie wyników śledzenia do oryginalnego wideo bez markerów daje zamiast tego wideo śledzące bez wirtualnych znaczników (vmTrackingvm-), odpowiednie do prezentacji lub innych celów. Pomarańczowy pasek w prawym dolnym rogu każdego obrazu wskazuje pasek w skali 1 cm. (B,C) Zarządzanie plikami w folderze "videos" w katalogu projektu podczas stosowania wyników vmTracking do wideo bez markerów. Pomarańczowe pudełko schematycznie ilustruje zawartość folderu. (B) Folder "videos" po wygenerowaniu wideo śledzącego vmTracking poprzez wyprowadzenie wyników śledzenia na wirtualnym znaczniku wideo (schematycznie oznaczonym jako '4). Etykiety na wirtualnym markerze wideo'). (C) Przygotowanie folderu "videos" do wypisywania wyników vmTracking na wideo bez markerów. Przenieś lub przemianować '1. Wideo z wirtualnym markerem' oraz '4. Etykiety na plikach wideo wirtualnego znacznika z panelu B, więc są one wykluczone z folderu. Problemem nie są same pliki, lecz to, że ich oryginalne nazwy plików zakłócają przetwarzanie. Następnie umieść '5'. Wideo bez markerów w folderze, zmieniając jego nazwę, aby pasowało do oryginalnej nazwy pliku wideo wirtualnego markera (np. VMvideo.MP4). W tym stanie ponowne uruchomienie Create videos generuje wideo śledzące z wynikami zastosowanymi do wideo bez markerów ('6. Etykiety na filmie bez markerów'). Ta liczba została zmodyfikowana na podstawie Azechi &amp; Takahashi, 2025, PLOS Biology (CC BY 4.0)7. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig5large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
<img alt="Rysunek 6" class="xfigimg" src="/files/ftp_upload/69506/69506fig6.jpg" data-altupdatedat="1783400419000" data-alt="Figure 6"> 
Rysunek 6: Ocena dokładności śledzenia za pomocą vmTracking. (A-H) Porównanie maDLC i vmTracking dla proporcji Matches. (A), fałszywie negatywów (B), fałszywie pozytywnych (C) oraz zmian ID (D) w 12 scenach zatłoczonych (CR) oraz Matches (E), fałszywie negatywów (F), fałszywych pozytywów (G) i przełączników ID (H) w 8 scenach niezatłoczonych (nCR). Wykresy reprezentują zmierzone wartości dla każdej sceny, a słupki reprezentują wartości średnie wyliczone z nich. Porównania statystyczne przeprowadzono za pomocą testu rangi znakowej Wilcoxona. (I) Zależność między liczbą adnotowanych klatek w CR a proporcjami Matches i fałszywych negatywów. Zielone pole po prawej pokazuje powiększony widok obszaru otoczonego zielonymi, przerywanymi liniami w lewym panelu. Wykresy przedstawiają wartości średnie. (J) Związek między dokładnością wirtualnych markerów a śledzeniem Dopasowania w scenach CR i nCR. Wirtualna dokładność markerów została podzielona na sześć typów dla każdej pary markerów: oba punkty poprawnie przypisane do właściwej osoby, jeden poprawny, jeden brakujący, jeden poprawny i jeden błędny, oba błędne, jeden błędny i jeden brakujący oraz oba brakujące. Dla każdej sceny proporcje tych kategorii są pokazane jako ułożone na siebie paski, z odpowiednim dopasowaniem śledzącym dla danej sceny zaznaczonym nad każdym paskiem. Sceny są ułożone rosnąco, śledząc Match od lewej do prawej, osobno dla scen CR i nCR. Sceny CR: n = 12; Sceny nCR: n = 8. p &lt; 0,001, **p &lt; 0,01, *p &lt; 0,05. Ta liczba została zmodyfikowana na podstawie Azechi i Takahashi (2025)9. <a href="https://www.jove.com/files/ftp_upload/69506/69506fig6large.jpg" target="_blank">Proszę kliknąć tutaj, aby zobaczyć większą wersję tej figurki.</a>
Ilustracja uzupełniająca 1: Migawka głównego okna w wielozwierzęcym DeepLabCut, pokazująca lokalizację każdej zakładki operacji. Migawki ilustrują, za pomocą strzałek, zakładki używane w każdym kroku procedury vmTracking. Obrazy zostały wykonane z interfejsu graficznego DeepLabCut (wersja 2.2.3). <a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Figure%201.tiff" target="_blank">Kliknij tutaj, aby pobrać tę figurkę.</a>
Ilustracja uzupełniająca 2: Migawka głównego okna w DeepLabCut z pojedynczym zwierzęciem, pokazująca lokalizację każdej zakładki operacji. Migawki ilustrują, za pomocą strzałek, zakładki używane w każdym kroku procedury vmTracking. Obrazy zostały wykonane z interfejsu graficznego DeepLabCut (wersja 2.2.3). <a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Figure%202.tiff" target="_blank">Kliknij tutaj, aby pobrać tę figurkę.</a>
Wideo uzupełniające 1: Porównanie wielozwierzęcego DeepLabCut i vmTracking w śledzeniu trzech myszy. Ten film porównawczy pokazuje wydajność wielozwierzęcego DeepLabCut (maDLC; po lewej) i vmTracking (po prawej) podczas śledzenia trzech myszy. Wideo vmTracking zostało wygenerowane przez zastąpienie wirtualnego wideo z markerem oryginalnym wideo bez markerów, zgodnie z procedurą opisaną w NOCIE kroku 3.8.2, aby zaprezentować wyniki śledzenia bez wirtualnych markerów. Dla każdej metody śledzenia indywidualne tożsamości są wskazywane za pomocą kolorowych etykiet tej samej rodziny kolorów, aby ułatwić porównanie. Na całym filmie vmTracking pokazuje mniej przypadków, w których wykryto części ciała należących do różnych osób w porównaniu z maDLC. Co istotne, około 15-17 sekund maDLC błędnie identyfikuje osoby oznaczone zieloną i czerwoną etykietą, co skutkuje zamianą ich przypisanych tożsamości. <a href="https://www.jove.com/files/ftp_upload/69506/Supplementary%20Video%201.mp4" target="_blank">Kliknij tutaj, aby pobrać ten plik.</a>

Protokół ten wprowadza vmTracking, metodę umożliwiającą bardzo precyzyjne śledzenie pozycji w filmach z wieloma swobodnie poruszającymi się zwierzętami bez znaczników, nawet w zatłoczonych warunkach, gdzie zwierzęta są gęsto skupione. Takie podejście dostarcza wiarygodnych danych do analizy interakcji społecznych zachodzących w środowiskach półnaturalnych, gdzie zwierzęta mogą swobodnie się poruszać.

Wykorzystanie vmTracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni

In social behavior research using rodents, there is a growing demand for evaluating more natural interactive behaviors under freely moving conditions. ...

Naszym celem jest zrozumienie interakcji społecznych u swobodnie poruszających się myszy poprzez opracowanie dokładnych metod śledzenia wielu zwierząt. Osiągnięcie dokładnego śledzenia pozycji przy wiarygodnej identyfikacji indywidualnych osób w warunkach wielozwierzęcych pozostaje trudne. Aby zacząć, stwórz nowy projekt z wieloma zwierzętami, wybierając Zarządzaj projektem dla śledzenia wideo bez markerów.Zmodyfikuj pola osób i części ciała w konfiguracji. pliku yaml zgodnie z wymaganiami analizy. Wybierz Extract Frames, aby wyodrębnić klatki z filmu do etykietowania i trenowania.Następnie oznacz każdą wyodrębnioną klatkę, wybierając Label Data. Przypisz odpowiednie części ciała każdej widocznej osobie, nie utrzymując koniecznie spójnych identyfikatorów między klatkami. Aby utworzyć zbiór danych treningowych z wyodrębnionych ramek, wybierz Utwórz Training Dataset.Ustaw sieć na DLCRNet_ms5 w konfiguracji. Wybierz Trening, aby rozpocząć szkolenie sieci. Ustaw maksymalny parametr iteracji na 200 000 dla tej sesji treningowej.Wszystkie pozostałe parametry treningowe mogą pozostać na swoich wartościach domyślnych. Oceń wytrenowaną sieć, wybierając Ewaluuj. Aby przeprowadzić estymację pozycji wybranych filmów, wybierz Analizuj filmy generujące HDF5 Coordinate Data i inne pliki wyjściowe w folderze videos wewnątrz folderu projektu.Aby wykonać ręczną weryfikację wyników śledzenia, stwórz oznaczony film śledzący, wybierając Utwórz filmy. Włącz opcję tworzenia wideo z kolorowanym identyfikatorem zwierzęcia w interfejsie DLC, aby uwzględnić poszczególne identyfikatory w filmie. Następnie przejrzyj wygenerowane oznaczone filmy, aby sprawdzić, czy nie ma zmian tożsamości lub brakujących przewidywań.Jeśli występują poważne błędy, przygotuj się do ponownego szkolenia. Aby przetrenować, wyodrębnić i adnotować ramki odstające od rzeczywistości. Wybierz Extract lub Refine Outliery.Po zakończeniu adnotacji kliknij Scal Dataset, aby automatycznie przejść do tworzenia treningowego zbioru danych. A potem powtórz proces szkoleniowy. Aby poprawić wyniki DLC z wieloma zwierzętami, otwórz niestandardowe GUI i zachowaj tylko wymagane punkty kluczowe dla wirtualnych znaczników.Wybierz Refine Tracklets, aby poprawić plik HDF5 zawierający tylko wybrane punkty kluczowe. Dostosuj kluczowe punkty, aby wszyscy zachowali spójną identyfikację na całym filmie. Zapisz plik, a plik HDF5 w folderze wideo zostanie automatycznie zaktualizowany.Następnie stwórz nowy, oznaczony film z poprawionych danych, wybierając Utwórz wideo. W DeepLabCut 2.2, jeśli oznaczony film już istnieje w folderze wideo, nowy film nie zostanie utworzony. Usuń, zmienij nazwę lub przenieś istniejący plik przed kontynuowaniem.Zmień nazwę oznaczonego wideo z wirtualnym markerem na krótką nazwę pliku, aby zapobiec błędom podczas dalszego przetwarzania DeepLabCut. Stwórz nowy projekt saDLC, wybierając Manage Project do śledzenia wideo z wirtualnym markerem. W konfiguracji.Pliku YAML, wypisz wszystkie kombinacje osób i części ciała w polu części ciała. Aby wyodrębnić klatki z przemianowanego wideo z wirtualnym markerem, wybierz Extract Frames. Teraz oznacz każdą wyodrębnioną klatkę w danych etykiet, używając wirtualnych znaczników, aby przypisać spójne indywidualne ID i zapewnić, że zarówno ID, jak i części ciała są zgodne w różnych klatkach.Gdy część ciała jest częściowo ukryta, ale znane jest jej identyfikator, oszacuj jej pozycję i odpowiednio naklej etykietę. Utwórz zbiór danych treningowy z wyodrębnionych ramek, wybierając Create Training Dataset. Ustaw sieć na efektywne net B0 dla tej sesji szkoleniowej.Rozpocznij szkolenie sieci, wybierając Trening. Ustaw parametr maksymalnych iteracji na 200 000 dla tej sesji, a wszystkie pozostałe ustawienia mogą pozostać na swoich domyślnych wartościach. Po ocenie wytrenowanej sieci przeprowadź ręczną weryfikację, jak pokazano wcześniej.W zatłoczonych scenach śledzenie VM osiągało znacznie wyższy procent dopasowań niż maDLC. Liczba fałszywych negatywów była znacznie niższa przy śledzeniu VM niż przy maDLC. Jednak nie było różnicy między śledzeniem VM a maDLC w liczbie fałszywych alarmów i liczby przełączników ID.W scenach niezatłoczonych śledzenie VM osiągało znacznie wyższy procent dopasowań niż maDLC. Liczba fałszywych negatywów była znacznie niższa przy śledzeniu VM niż przy maDLC. Nie było różnicy w liczbie fałszywie pozytywnych i liczbie przełączników ID między śledzeniem VM a maDLC.W zatłoczonych scenach procent dopasowań w maDLC ustabilizował się na poziomie około 85% po około 400 kladrach z adnotacjami bez dalszej poprawy. Natomiast śledzenie maszyn wirtualnych wykazało stały wzrost do około 95% przy około 1 000 klatek. W maDLC zwiększenie liczby klatek z adnotacjami nie zmniejszało liczby fałszywych negatywów.Sceny z wyższym odsetkiem poprawnie przypisanych wirtualnych znaczników miały tendencję do wykazywania wyższego procentu dopasowania. Jednak niektóre sceny, takie jak 3 i 11, nadal miały wysoki procent dopasowania, mimo wielu błędnych przydziałów lub brakujących znaczników. Nasz protokół rozwiązuje problem niezawodnego utrzymania tożsamości w śledzeniu pozycji wielu zwierząt.Poprawia dokładność śledzenia pozycji poprzez połączenie wirtualnych markerów z istniejącymi narzędziami. Nasze przyszłe badania wykorzystają te dane do analizy, jak dynamika grupowa kształtuje zachowania społeczne u myszy.

utilizing-vmtracking-to-improve-accuracy-multi-animal-pose-estimation

Research

JoVE Journal

Behavior

Zachowanie

Tutaj prezentujemy protokół do indywidualnego śledzenia zwierząt przez długi okres czasu. Wykorzystuje metody przetwarzania obrazów do identyfikowania zestawu ręcznie skonstruowanych znaczników przy użyciu grupy homarów jako studium przypadku, jednocześnie dostarczając informacji o tym, jak trzymać, manipulować i oznaczać homary.

Długoterminowe śledzenie wideo zwierząt wodnych trzymanych w jednym pomieszczeniu: studium przypadku dziennej aktywności lokomotorycznej homarca norweskiego (Nephrops norvegicus)

Tutaj prezentujemy metody wysokoprzepustowego badania szeregu zachowań meksykańskich ryb jaskiniowych i istotnego barwienia systemu mechanosensorycznego. Metody te wykorzystują wolne oprogramowanie i niestandardowe skrypty, zapewniając praktyczną i opłacalną metodę badania zachowań.

Śledzenie behawioralne i obrazowanie neuromastu meksykańskich ryb jaskiniowych

Prezentowany tutaj jest protokół do zbierania i analizy trójwymiarowej kinematyki poruszania się czworonożnych u gryzoni do badań przedklinicznych.

Analiza kinematyczna chodu 3D do badań przedklinicznych na gryzoniach

Opisany tutaj jest nowatorski zautomatyzowany system eksperymentalny, który stanowi alternatywę dla testu trzykomorowego, a także rozwiązuje kilka zastrzeżeń. System ten dostarcza wielu parametrów behawioralnych, które umożliwiają rygorystyczną analizę dynamiki zachowania małych gryzoni podczas testów preferencji społecznych i preferencji nowości społecznych.

System do śledzenia dynamiki zachowań preferencji społecznych u małych gryzoni

Rola niedawno odkrytych genów związanych z chorobą w patogenezie zaburzeń neuropsychiatrycznych pozostaje niejasna. Zmodyfikowana technika obustronnej elektroporacji in utero pozwala na transfer genów w dużych populacjach neuronów i badanie przyczynowego wpływu zmian ekspresji genów na zachowania społeczne.

Rurociąg wykorzystujący obustronną elektroporację in utero do badania wpływów genetycznych na zachowanie gryzoni

Ten protokół opisuje, jak zbudować małą i wszechstronną kamerę wideo oraz jak wykorzystać uzyskane z niej filmy do trenowania sieci neuronowej do śledzenia pozycji zwierzęcia w komorach warunkowania instrumentalnego. Jest to cenne uzupełnienie standardowych analiz logów danych uzyskanych z testów kondycjonowania instrumentalnego.

Śledzenie szczurów w komorach kondycjonowania instrumentalnego za pomocą uniwersalnej domowej kamery wideo i DeepLabCut

Protokół ten zapewnia zintegrowane ramy oparte na zaawansowanych obliczeniowych metodach neuroetologicznych w celu zrozumienia kodowania mózgu w kontekstach naturalistycznych.

Dekodowanie naturalnego zachowania na podstawie osadzenia neuroetologicznego

Protokół ten ustanawia pipeline oceny kinematyki tylnej kończyny szczura za pomocą testu na bieżni bez markerów z automatycznym oznaczaniem trajektorii wielostawowych opartym na głębokim uczeniu, co umożliwia powtarzalną ilościową ilościową identyfikację ruchu.

Wielostawowe synchroniczne śledzenie oparte na uczeniu głębokim do obiektywnej ilościowej kinematyki ruchowej kończyn tylnych u szczurów

Opisana jest procedura, która pozwala na demonstrację solidnego wspomagania poszukiwania narkotyków u szczurów z ograniczeniami żywieniowymi. Po szkoleniu w zakresie samodzielnego podawania heroiny, szczury przechodzą przez okres abstynencji w środowisku wolnym od narkotyków, podczas którego są łagodnie ograniczane w jedzeniu. Poszukiwanie narkotyków jest następnie testowane w środowisku związanym z narkotykami.

Procedura mająca na celu zbadanie wpływu długotrwałego ograniczenia pokarmowego na poszukiwanie heroiny u szczurów abstynentów

Opisano procedurę badania zdolności kontekstu środowiskowego związanego z alkoholem do wywoływania u szczurów wznowienia zachowań związanych z poszukiwaniem alkoholu.

Procedura obserwacji wywołanego kontekstem odnowienia zachowań związanych z poszukiwaniem alkoholu uwarunkowanych przez Pawłowa u szczurów

Poznaj metodę vmTracking do precyzyjnego śledzenia pozycji wielu gryzoni w warunkach tłumienia. To narzędzie umożliwia badanie zachowań społecznych w półnaturalnym środowisku bez konieczności stosowania znaczników.

Wykorzystanie vmTracking do poprawy dokładności oszacowania pozycji wielozwierzęcych w badaniach zachowań społecznych gryzoni

Przeglądaj więcej filmów