Dekodowanie naturalnego zachowania na podstawie osadzenia neuroetologicznego

Summary

Protokół ten zapewnia zintegrowane ramy oparte na zaawansowanych obliczeniowych metodach neuroetologicznych w celu zrozumienia kodowania mózgu w kontekstach naturalistycznych.

Abstract

Zwierzęta angażują się w swoje naturalne środowisko poprzez bogatą i dynamiczną aktywność mózgu. Zrozumienie, w jaki sposób neuronalna dynamika populacji koduje naturalistyczne zachowanie, pozostaje podstawowym wyzwaniem w neuronauce systemowej. Niedawne postępy w analizie zachowania opartej na głębokim uczeniu i miniaturowym obrazowaniu fluorescencyjnym otworzyły nowe możliwości badania, w jaki sposób mózg koduje naturalne zachowanie. W tym miejscu badanie to przedstawia zintegrowane ramy eksperymentalne i obliczeniowe, które łączą Atlas Zachowań Społecznych (SBeA), miniaturową mikroskopię dwufotonową (mTPM) i spójne emBeddings wysokowymiarowych zapisów przy użyciu zmiennych pomocniczych (CEBRA) w celu dekodowania złożonych zachowań z dynamiki mózgu. W tym badaniu wykorzystano naturalistyczne interakcje społeczne między swobodnie poruszającymi się myszami jako system modelowy, umożliwiający adnotacje behawioralne w wysokiej rozdzielczości wraz z jednoczesnym obrazowaniem neuronalnym. Ramy te obejmują precyzyjną ocenę pozycji behawioralnej, zsynchronizowane śledzenie za pomocą dwóch myszy, wyrównanie osadzania neuronów i dekodowanie cech behawioralnych bezpośrednio z głównych komponentów neuronalnych. To badanie pokazuje, że to podejście osiąga precyzję dekodowania równą 3. ± 1,5 piksela dla postawy i 89 ± 6% dokładności dla dekodowania motywów na zwierzętach, co podkreśla jego solidność i możliwość uogólnienia. Metoda ta stanowi potężne narzędzie do badania, w jaki sposób aktywność mózgu odzwierciedla ustrukturyzowane stany behawioralne i kładzie podwaliny pod przyszłe badania nad naturalistycznymi zasadami kodowania neuronowego.

Introduction

Struktura ta jest przeznaczona do przechwytywania i dekodowania danych behawioralnych i neuroobrazowych od swobodnie poruszających się zwierząt w naturalistycznych warunkach eksperymentalnych. Składa się z trzech kluczowych komponentów: metod szacowania pozycji i klasyfikacji zachowań opartych na głębokim uczeniu, SBeA¹, miniaturowych technik obrazowania fluorescencyjnego mTPM² oraz algorytmu osadzania neuroetologicznego opartego na uczeniu kontrastywnym, CEBRA³. Ostatnie badania uwypukliły złożoność procesów neuroetologicznych u swobodnie poruszających się zwierząt, która przewyższa tę obserwowaną w paradygmatach eksperymentalnych^ustalonych na głowie ^4,5. Jednak ograniczenia techniczne i zmienność utrudniają powszechne zastosowanie tych podejść do szerszych badań nad naturalnym zachowaniem. Protokół ten przedstawia stabilną i zintegrowaną ramę, która zapewnia dostępność danych behawioralnych i neuronowych zebranych w kontekstach naturalistycznych dla szerokiego zakresu laboratoriów badawczych.

Biorąc pod uwagę, że zwierzęta swobodnie poruszają się w środowisku naturalnym, ramy te obejmują szacowanie pozycji oparte na głębokim uczeniu się w celu uzyskania precyzyjnego śledzenia postaw ^6,7. Tradycyjne metody śledzenia oparte na przetwarzaniu obrazu są niewystarczające do uchwycenia precyzyjnych ruchów, takich jak dynamika kończyn i łap, w porównaniu z podejściami opartymi na głębokim uczeniu^{się 8}. Zróżnicowane i złożone zachowania wykazywane przez swobodnie poruszające się zwierzęta stanowią wyzwanie dla metod klasyfikacji zachowań^{nadzorowanych9}, ponieważ predefiniowane kategorie behawioralne często nie obejmują pełnego zakresu naturalnych fenotypów behawioralnych10. W związku z tym metody klasyfikacji oparte na uczeniu się bez nadzoru lepiej nadają się do analizy zachowania w warunkach naturalistycznych¹. Mogą kompleksowo dekomponować ciągłe zachowanie na dyskretne motywy subsekundowe zgodnie z ich wewnętrznymi podobieństwami strukturalnymi, a następnie ich spójne definicje są podawane za pomocą klastrów opartych na danych.

Obrazowanie mózgu u swobodnie poruszających się zwierząt wymaga uchwycenia dużej zmienności aktywności pojedynczego neuronu ^4,5. Zapisy elektrofizjologiczne u swobodnie poruszających się zwierząt mają ograniczoną zdolność do wykrywania neuronów o przeważającej aktywności podprogowej¹¹. Ponadto mikroskopia jednofotonowa cierpi z powodu niskiej rozdzielczości i kontrastu, co utrudnia utrzymanie spójnej tożsamości neuronów podczas sesji obrazowania¹². mTPM oferuje lepszą rozdzielczość i kontrast w porównaniu z mikroskopią jednofotonową, co czyni go bardziej skutecznym narzędziem do badania neuronalnego kodowania naturalnych zachowań 2,13,14,15.

Ustanowienie solidnego mapowania między zachowaniem a danymi neuronowymi wymaga metod zdolnych do ujawnienia ich wspólnej struktury informacyjnej¹⁶. Konwencjonalne techniki redukcji wymiarowości, takie jak analiza głównych składowych (PCA)¹⁷, t-rozproszone osadzanie sąsiadów (t-SNE)¹⁸ oraz przybliżenie i projekcja rozmaitości jednorodnej (UMAP)¹⁹, nie mogą skutecznie osadzać danych behawioralnych i neuronowych we wspólnej przestrzeni cech. Z kolei podejścia do osadzania oparte na głębokim uczeniu, takie jak CEBRA, umożliwiają integrację wielu modalności danych zarówno w ramach nadzorowanych, jak i nadzorowanych samodzielnie, generując wysokiej jakości reprezentacje utajone³. Chociaż w ostatnich latach pojawiły się różne alternatywne metody 20,21,22^, proponowane ramy priorytetowo traktują praktyczne zastosowania poprzez włączenie dobrze ugruntowanych metod, które są dostępne na rynku lub wspierane przez kompleksowe samouczki.

W porównaniu z ostatnimi badaniami ^4,5 ramy te oferują trzy kluczowe osiągnięcia. Po pierwsze, eliminuje ludzkie uprzedzenia w klasyfikacji zachowań. Wcześniejsze badania opierały się na ręcznym etykietowaniu zachowań, które jest pracochłonne i podatne na niespójność, szczególnie gdy adnotatorzy doświadczają zmęczenia 23,24,25. W przeciwieństwie do tego, ramy te wykorzystują klasyfikację zachowań bez nadzoru, która zachowuje naturalną strukturę wzorców zachowań poprzez obiektywną dekompozycję i grupowanie motywów zachowania przed przypisaniem definicji^26,27. Po drugie, zastosowanie mTPM umożliwia uchwycenie bardziej złożonej dynamiki neuronalnej na poziomie pojedynczego neuronu. Ta przewaga metodologiczna rozszerza zastosowanie tego frameworka do dekodowania złożonych naturalnych zachowań z różnych populacji neuronalnych, w tym tych zaangażowanych w kodowanie podprogowe²⁸. Po trzecie, ramy te integrują dane behawioralne i neuronowe w ujednoliconą przestrzeń reprezentacyjną, zamiast wykorzystywać UMAP do osadzania każdej modalności osobno lub używać maszyn wektorów nośnych do narzucania sztywnego mapowania między aktywnością neuronalną a zachowaniem, ignorując ich wewnętrzną dynamikę ^4,5. To wspólne podejście do osadzania zapewnia bardziej wszechstronną i biologicznie znaczącą reprezentację związku między zachowaniem a aktywnością mózgu.

Ramy te doskonale nadają się do projektów badawczych, które obejmują rejestrowanie i dekodowanie danych behawioralnych i neuronowych od swobodnie poruszających się zwierząt w naturalistycznych warunkach eksperymentalnych. Chociaż obecna implementacja jest zoptymalizowana pod kątem badań na myszach, dostosowanie jej do innych modeli zwierzęcych może wymagać dodatkowego rozwoju. Ponieważ komponenty sprzętowe wykorzystywane w tym frameworku są dostępne na rynku, z jednej strony całkowity koszt może być stosunkowo wysoki. Z drugiej strony, ta dostępność handlowa znacznie skraca czas poświęcany na rozwiązywanie problemów logistycznych i zapewnia uzyskanie stabilnych i wiarygodnych wyników w efektywny sposób.

Protokół ten został zaprojektowany tak, aby był powtarzalny i dostępny dla laboratoriów neurobiologicznych wyposażonych w obrazowanie małych zwierząt i śledzenie zachowań. Kompletny system integruje dostępne na rynku urządzenie mTPM z wielokątową konfiguracją akwizycji behawioralnej. Typowe nagrania neuronowe są rejestrowane z częstotliwością 4,84 Hz z rozdzielczością 512 × 512 pikseli, a dane behawioralne są rejestrowane z prędkością 30 klatek na sekundę. Synchronizacja danych odbywa się poprzez wyrównanie impulsów TTL podczas przetwarzania wstępnego. Trenowanie i dekodowanie można wykonać na standardowej stacji roboczej z procesorem graficznym (np. NVIDIA RTX 3090 lub równoważnym), a pełny potok wymaga około 100 GB pamięci masowej na eksperyment. Podczas gdy obecna implementacja jest zoptymalizowana pod kątem swobodnie poruszających się myszy, modułowa konstrukcja przepływu pracy umożliwia adaptację do innych gatunków poprzez dostosowanie parametrów kalibracji śledzenia i obrazowania w oparciu o wielkość i mobilność zwierzęcia. Te praktyczne szczegóły potwierdzają zdolność adaptacji i odtwarzalność protokołu w różnych warunkach eksperymentalnych.

Protocol

Komitet ds. Opieki nad Zwierzętami i Ich Wykorzystania w Instytucie Zaawansowanych Technologii w Shenzhen Chińskiej Akademii Nauk zatwierdził wszystkie procedury hodowlane i eksperymentalne.

1. Utworzenie platformy

UWAGA: Platforma składa się z dwóch podstawowych komponentów: urządzenia mTPM i urządzenia do zachowania 3D (rysunek 1A). Urządzenie mTPM ułatwia synchronizację obrazowania mTPM w czasie rzeczywistym z danymi behawioralnymi, umożliwiając tym samym wydajne, stabilne i ciągłe pozyskiwanie wysokiej jakości danych od swobodnie poruszających się zwierząt. Urządzenie behawioralne 3D jest wyposażone w cztery kamery do uchwycenia pełnej sceny zachowania zwierząt oraz moduł automatycznej kalibracji do rekonstrukcji póz zwierząt 3D. Oba urządzenia muszą zawierać moduły synchronizacji w swoich wersjach.

1. Podłączenie urządzenia
   1. Usuń zewnętrzną powłokę urządzenia zachowującego się w 3D. Umieść pozostałe części urządzenia behawioralnego 3D, w tym cztery kamery i moduł automatycznej kalibracji, w komorze rejestracji behawioralnej urządzenia mTPM.
   2. Podłącz kabel uniwersalnej magistrali szeregowej (USB) modułu synchronizacji urządzenia zachowującego 3D do stacji roboczej urządzenia zachowującego się 3D.
   3. Podłącz moduł synchronizacji urządzenia mTPM do kontrolera urządzenia mTPM za pomocą jednego kabla SubMiniature w wersji A (SMA).
   4. Podłącz port wyjściowy logiki tranzystorowo-tranzystorowej (TTL) modułu synchronizacji urządzenia behawioralnego 3D do portu wejściowego TTL modułu synchronizacji urządzenia mTPM za pomocą jednego kabla przejściowego SMA-Bayonet Neill-Concelman (BNC).
2. Zapis znacznika czasu ramek mTPM
   1. Włącz wszystkie zasilacze urządzenia mTPM.
   2. Uruchom oprogramowanie do nagrywania mTPM i oprogramowanie do synchronizacji mTPM.
   3. Ustaw ścieżki zapisu ramek mTPM i znaczników czasu synchronizacji.
      UWAGA: Do nazywania ścieżek nie należy używać żadnych liter i znaków specjalnych w językach innych niż angielskie.
   4. Ustawia liczbę klatek nagrywania w oprogramowaniu do nagrywania mTPM. Zalecana liczba ramek to 6000, co wystarcza do zakończenia kroku debugowania synchronizacji.
   5. Wybierz każdy kanał oprogramowania do synchronizacji mTPM.
   6. Rozpocznij nagrywanie mTPM za pomocą oprogramowania do nagrywania mTPM. Przed rozpoczęciem nagrywania wyłącz wszystkie światła w pomieszczeniu, aby chronić mTPM przed przypaleniem światłem. Oprogramowanie do synchronizacji mTPM zostanie uruchomione automatycznie, gdy użytkownik rozpocznie nagrywanie.
   7. Sprawdź, czy znaczniki czasu ramki mTPM są przechwytywane przez oprogramowanie do synchronizacji mTPM.
      UWAGA: Sygnatury czasowe ramek mTPM wyświetlane w oprogramowaniu do synchronizacji mTPM są ostrymi impulsami TTL. Każda klatka obrazowania wyzwala ostry impuls TTL, który domyślnie wynosi 4,84 Hz. Jeśli na panelu oprogramowania nie jest wyświetlany puls, występują 2 normalne problemy. Pierwszym z nich jest to, że sterownik kontrolera urządzenia mTPM nie obsługuje przechwytywania znaczników czasu. Ulepszenie wersji sterownika w celu obsługi przechwytywania znaczników czasu może rozwiązać pierwszy problem. Drugi to złe podłączenie kabla SMA. Upewnij się, że złącza SMA są dobrze dokręcone. Przed sprawdzeniem sygnatur czasowych wróć do wersji 1.1.2, a następnie spróbuj krok po kroku.
   8. Poczekaj na zatrzymanie nagrywania. Sprawdź, czy zapisany jest plik .tif ramek mTPM, jeden plik .tdms i jeden plik .tdms_index ze znacznikami czasu.
3. Zapis znacznika czasu z czterech kamer urządzenia behawioralnego 3D
   1. Ustaw ścieżkę zapisu filmów i znaczniki czasu zachowania w dostosowanym skrypcie synchronizacji kamery.
      UWAGA: Dostosowany kod synchronizacji kamery znajduje się w https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
   2. Uruchom oprogramowanie do synchronizacji mTPM. Ustawia ścieżki zapisu sygnatur czasowych synchronizacji mTPM.
   3. Rozpocznij nagrywanie oprogramowania do synchronizacji mTPM. Uruchom niestandardowy skrypt synchronizacji kamery.
   4. Sprawdź, czy sygnatury czasowe zachowania są przechwytywane przez oprogramowanie do synchronizacji mTPM.
      UWAGA: Sygnatury czasowe zachowania wyświetlane w oprogramowaniu do synchronizacji mTPM to ostre impulsy TTL. Jeden znacznik czasu zachowania jest wysyłany do oprogramowania do synchronizacji mTPM na każde 30 klatek nagrania wideo zachowania. Sygnatury czasowe zachowania zostaną również zapisane na stacji roboczej urządzenia zachowującego się w 3D.
   5. Sprawdź, czy na stacji roboczej mTPM zostały zapisane cztery .avi pliki z filmami z zachowaniami, jeden plik .txt ze znacznikami czasu zachowania w urządzeniu zachowania 3D oraz jeden plik .tdms i jeden plik .tdms_index ze znacznikami czasu zachowania.
4. Kalibracja kamery urządzenia zachowującego się w 3D
   1. Dostosuj kąt fotografowania czterech aparatów. Cztery kamery powinny kompleksowo pokrywać całą podstawę otwartego pola, jednocześnie rozszerzając swoje pole widzenia o co najmniej 20 cm powyżej najdalszej granicy otwartego pola, aby zapewnić, że przypadki podnoszenia myszy zostaną w pełni uchwycone.
   2. Umieść moduł kalibracyjny na środku obszarów fotografowania. Uruchom oprogramowanie do kalibracji aparatu. Przed uruchomieniem oprogramowania do kalibracji aparatu wyłącz wszystkie światła.
      UWAGA: Cztery kamery przechwycą klatki ruchomej tablicy kontrolnej wyświetlanej na ekranie kalibracji. Kalibracja kamery opiera się na metodzie kalibracji^{Zhanga 29}.
   3. Po uruchomieniu oprogramowania do kalibracji kamery zostanie zapisany jeden plik .mat, który zawiera matrycę projekcyjną kamery do rekonstrukcji póz 3D zwierząt. Ponieważ indeksowanie danych zachowania na etapie synchronizacji systemu opiera się na pliku kalibracyjnym .mat, upewnij się, że etap kalibracji kamery został zakończony przed etapem synchronizacji całego systemu.
5. Synchronizacja całego systemu
   UWAGA: Przed wykonaniem tego kroku upewnij się, że znaczniki czasu z ramek mTPM i urządzenia zachowania 3D mogą być odbierane oddzielnie przez oprogramowanie do synchronizacji mTPM.
   1. Włącz wszystkie zasilacze urządzenia mTPM i urządzenia do zachowania 3D.
   2. Uruchom oprogramowanie do nagrywania mTPM, oprogramowanie do synchronizacji mTPM i niestandardowy skrypt synchronizacji kamery.
   3. Ustaw ich ścieżkę i parametry odwołując się do kroku 1.3.1. Rozpocznij nagrywanie mTPM za pomocą oprogramowania do nagrywania mTPM.
   4. Uruchom niestandardowy skrypt synchronizacji kamery. Upewnij się, że rozpoczęcie nagrywania ramek mTPM następuje przed uruchomieniem skryptu nagrywania zachowania, aby oprogramowanie do synchronizacji mTPM mogło odbierać znaczniki czasu z urządzenia zachowania 3D. Ustaw czas zakończenia nagrywania ramek mTPM na dłuższy niż czas nagrywania zachowania, aby oprogramowanie do synchronizacji mTPM mogło przechwytywać znaczniki czasu zachowania bez strat.
      UWAGA: Zalecany czas nagrywania ramek mTPM jest dłuższy niż 5 minut nagrywania zachowania. Na przykład, jeśli użytkownik chce zarejestrować 15-minutowe zachowanie, liczba ramek mTPM powinna być ustawiona na 4,84 x (15+5) x 60 = 5808 klatek.
   5. Poczekaj na zatrzymanie nagrywania. Po nagraniu znajduje się jeden plik .tif ramką mTPM, dwa pliki .tdms synchronizacji mTPM, dwa pliki .tdms_index, cztery pliki .avi wideo zachowania i jeden plik .txt znacznikiem czasu zachowania.
   6. Uruchom dostosowany kod synchronizacji, aby wyrównać ramkę mTPM i filmy o zachowaniu. Dostosowany kod synchronizacji znajduje się w https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
      1. Przed uruchomieniem tego skryptu ręcznie uporządkuj pliki w następujący sposób:
         ----\Root path # Ścieżka do zapisania wszystkich danych
         --------\behavior_all # Ścieżka do zapisania danych o zachowaniu
         ------------\A-B-C-D-E-caliParas.mat # Plik kalibracji kamery
         ------------\A-B-C-D-E-camera-1.avi # zachowanie wideo z kamery 1
         ------------\A-B-C-D-E-camera-2.avi # zachowanie wideo z kamery 2
         ------------\A-B-C-D-E-camera-3.avi # zachowanie wideo z kamery 3
         ------------\A-B-C-D-E-camera-4.avi # zachowanie wideo z kamery 4
         ------------\A-B-C-D-E-event.txt # znacznik czasu zachowania z urządzenia do zachowania 3D
         ----\tpm_suite2p # Ścieżka do zapisania danych mTPM
         --------\sep # Ścieżka do zapisania ramek mTPM i znaczników czasu
         ------------\A-B-C-D-E-event # Ścieżka do wyrównania znacznika czasu
         ----------------\beh.tdms # Plik .tdms kanału zachowania
         ----------------\beh.tdms_index #The plik .tdms_index kanału zachowania
         ----------------\tpm.tdms # Plik .tdms kanału mTPM
         ----------------\tpm.tdms_index # Plik .tdms_index kanału mTPM
         ------------\A-B-C-D-E-tpm # Ścieżka do zapisywania ramek mTPM
         ----------------\F.tif # Ramki mTPM każdego nagrania
         --------\process # Ścieżka do wyodrębnienia śladów neuronowych
         ------------\C # Ścieżka każdej myszy
         ----------------\F.tif # Ramki mTPM każdej myszy
         Od A do G to definicje pól nazw, gdzie
         A oznacza grupy eksperymentalne, na przykład wolne,
         B oznacza sekwencję filmów, na przykład seg1,
         C oznacza tożsamość zwierząt, na przykład 1tpmss,
         D oznacza partnerów interakcji, na przykład 1wt,
         E oznacza datę eksperymentu, na przykład 20220226, oraz
         F oznacza fragment klatki nagrywania mTPM (5000 klatek na fragment), na przykład społecznościowy 1.
         UWAGA: Liczba klatek na sekundę w systemie śledzenia zachowań 3D wynosi 30 Hz, podczas gdy w mTPM wynosi 4,84 Hz. Ponieważ maksymalna osiągalna precyzja synchronizacji jest ograniczona przez najniższą liczbę klatek na sekundę (4,84 Hz), rozdzielczość czasowa synchronizacji wynosi około 206 ms. Znaczniki czasu zachowania służą jako odniesienie, a każda ramka mTPM jest wyrównywana do najbliższego punktu czasu zachowania. Interwały między kolejnymi ramkami mTPM w odniesieniu do osi czasu zachowania są interpolowane przy użyciu podejścia krokowego.

2. Rejestracja danych neuroetologicznych

UWAGA: Proces rejestracji danych neuroetologicznych składa się z czterech kluczowych etapów (ryc. 1B).

1. Montaż mTPM
   UWAGA: Ponieważ szczegóły dotyczące montowania mTPM są zawarte w samouczku mTPM, tutaj przedstawiono tylko kluczowe kroki.
   1. Przygotuj okno czaszki.
      UWAGA: Przygotowanie okna czaszkowego obejmuje głównie wstrzyknięcie wirusa, implantację szkła nakrywkowego i utrwalenie metalowej płytki. Ponieważ miejsca obrazowania są różne w różnych badaniach, szczegóły przygotowania okna czaszkowego są różne. W takim przypadku przygotowanie okna czaszkowego jest wykonywane przez usługę outsourcingową. Obszar mózgu do obrazowania w przykładowych danych to pierwszorzędowa kora somatosensoryczna (S1).
   2. Przymocuj ogranicznik myszy do mikromanipulatora mTPM. Przymocuj głowę myszy do ogranicznika przez metalową płytkę.
   3. Znajdź fluorescencję za pomocą mTPM. Wyłącz wszystkie światła przed włączeniem obrazowania mTPM. Przymocuj mTPM do uchwytu przed wykonaniem kolejnych kroków.
      1. Dodaj jedną kroplę żelu pod oczy Carbomer na górną część okienka czaszki. Przesuń mysz przez platformę ruchu, gdy okno czaszki jest wyrównane pod obiektywem mTPM.
      2. Przesuń mikromanipulator w pionie, aby znaleźć płaszczyznę obrazowania. Przesuń mikromanipulator w płaszczyźnie, aby wyśrodkować płaszczyznę obrazowania.
   4. Przymocuj górną podstawę do mTPM. Przyklej dolną podstawę do górnej podstawy i okna czaszki.
      1. Aby zapewnić stabilność strukturalną, wypełnij szczelinę między dwiema podstawami a metalowym wspornikiem przymocowanym do głowy myszy i połącz ją za pomocą wysokowydajnego akrylowego kleju strukturalnego. Utwardź klej przez 30 minut przed oceną stabilności wiązania, delikatnie sondując podstawę pęsetą. W razie potrzeby nakłada się dodatkowy klej, aż do uzyskania bezpiecznego mocowania.
         UWAGA: Istotne jest, aby zapobiec bezpośredniemu przyleganiu między podstawą a samym modułem mTPM. Górna i dolna podstawa to małe aluminiowe ramy. Górna podstawa jest wykonana na zamówienie, aby ściśle przylegała do dolnego konturu obudowy mTPM. Dolne podstawy z wieloma opcjami wysokości służą do wypełnienia luki między górną podstawą a oknem czaszki. Wszystkie dolne podstawy mają takie same wymiary płaskie jak górna podstawa, aby zapewnić kompatybilność mechaniczną, różnią się jedynie wysokością, aby dopasować się do różnych odległości czaszki od górnej podstawy.
   5. Dodaj jedną kroplę żelu pod oczy Carbomer do komory podstawowej. Sprawdź fluorescencję neuronów za pomocą mTPM. Jeśli fluorescencja neuronów nie jest wyraźnie widoczna, należy usunąć klej za pomocą wiertła czaszkowego, co pozwala na oddzielenie podstawy, po czym powyższą procedurę powtarza się aż do uzyskania jasności fluorescencji.
   6. Zabezpiecz folię aluminiową taśmą między włóknem mTPM a oknem czaszki.
      UWAGA: Ten krok ma na celu utrzymanie odpowiedniego ekranowania światła przez cały proces nagrywania. Użycie folii aluminiowej i taśmy klejącej zostało zminimalizowane w celu zmniejszenia całkowitej masy.
   7. Włącz światło w pomieszczeniu i przetestuj przejrzystość ramek mTPM.
2. Umieszczanie myszy na otwartym polu
   UWAGA: Ten krok polega na umieszczeniu myszy na otwartym polu, zapewniając jednocześnie odpowiednie zrównoważenie masy światłowodu i mTPM.
   1. Napompuj co najmniej 10 balonów z helem i osobno zawiąż je bawełnianym sznurkiem. Odłącz metalową płytkę od ogranicznika myszy.
   2. Trzymaj mysz za ogon jedną ręką. Podeprzyj światłowód mTPM drugą ręką.
   3. Delikatnie ustaw mysz na otwartym polu. Zawieś balony z helem za pomocą bawełnianego sznurka do włókna. Dostosuj liczbę balonów, aż mysz będzie mogła się swobodnie poruszać i eksplorować otwarte pole bez ograniczeń.
      UWAGA: Optymalna liczba balonów jest określana, gdy mysz pozostaje uziemiona, a jej przednie kończyny nie są unoszone przez wypor do góry, a jednocześnie wystarczająco równoważy ciężar mTPM, aby umożliwić zwierzęciu utrzymanie naturalnej pozycji głowy i spontaniczne stanie w pozycji pionowej. Sznurek bawełniany powinien być zawiązany na wysokości nad otwartym polem, aby zapewnić wystarczającą długość włókien do nieskrępowanego ruchu myszy. Bawełniany sznurek był wiązany na wysokości światłowodu, który był w przybliżeniu wyrównany z górną krawędzią komory otwartego pola. W podanym przykładzie, po zakończeniu tego kroku, nieleczona mysz jest wprowadzana na otwarte pole, aby umożliwić swobodną interakcję społeczną.
   4. Zamknij drzwiczki obudowy mTPM, aby zminimalizować zakłócenia zewnętrzne.
3. Włączanie nagrywania mTPM.
   1. Uruchom oprogramowanie do nagrywania mTPM i oprogramowanie do synchronizacji mTPM. Ustaw ich ścieżkę i parametry odnoszące się do kroku założenia platformy.
   2. Rozpocznij nagrywanie mTPM za pomocą oprogramowania do nagrywania mTPM. Sprawdź obecność znaczników czasu odpowiadających każdej ramce dwufotonowej w oprogramowaniu do synchronizacji.
   3. Oceń, czy kontrast obrazów dwufotonowych pozostaje nienaruszony i upewnij się, że lokomocja myszy nie wpływa negatywnie na stabilność zarejestrowanych klatek. Jeśli zostaną wykryte jakiekolwiek problemy, powtórz procedurę synchronizacji i proces montowania mTPM, aż obrazowanie dwufotonowe da wyraźne klatki z dokładnie wyrównanymi znacznikami czasu.
4. Włączanie nagrywania zachowań
   1. Uruchom niestandardowy skrypt synchronizacji kamery.
      UWAGA: Dostosowany kod synchronizacji kamery znajduje się w https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
   2. Ustaw ścieżkę i parametry odnoszące się do kroku założenia platformy.
   3. Rozpocznij nagrywanie zachowania za pomocą dostosowanego skryptu synchronizacji kamery. Sprawdź obecność znaczników czasu odpowiadających każdemu z 30 ramek zachowania w oprogramowaniu do synchronizacji mTPM.
   4. Sprawdź, czy cztery strumienie wideo z kamer są prawidłowo zsynchronizowane, a także sprawdź parametry przechwytywania wideo systemu śledzenia zachowań 3D.
      UWAGA: W powyższej konfiguracji kamery używają rozdzielczości klatek 640 × 480 pikseli, szybkości 30 klatek na sekundę, ramek RGB i automatycznej ekspozycji. Automatyczna ekspozycja umożliwia aparatowi dynamiczną regulację jasności w zależności od warunków oświetlenia otoczenia. Ponieważ czas ekspozycji ma bezpośredni wpływ na osiągalną liczbę klatek na sekundę, szczególnie w warunkach słabego oświetlenia, gdy wymagane są dłuższe ekspozycje, liczba klatek na sekundę może się zmniejszyć. Aby zapewnić stabilną akwizycję kadru przy 30 Hz, ważne jest, aby kontrolować oświetlenie tła w celu zminimalizowania czasu ekspozycji. Ustawienia wzmocnienia kamery i binningu są zachowywane na poziomie domyślnym przez cały czas trwania nagrania.
   5. Nagrywanie behawioralne zostanie automatycznie zatrzymane po osiągnięciu zdefiniowanego czasu trwania. Po zakończeniu nagrywania behawioralnego ręcznie wyłącz nagrywanie i synchronizację mTPM. Wykonując te kroki, zakończono pojedynczą próbę jednoczesnego pozyskiwania danych neuronowych i behawioralnych.

3. Wstępne przetwarzanie danych neuroetologicznych

UWAGA: Jeśli wszystkie poprzednie kroki zostaną wykonane pomyślnie, należy uzyskać trzy kategorie plików danych: dwufotonowe klatki obrazowania (.tif), cztery behawioralne nagrania wideo (.avi) wraz z plikiem kalibracji kamery (.mat) oraz dwa pliki znaczników czasu synchronizacji (.tdms) do późniejszego wstępnego przetwarzania danych (rysunek 1C). Dane te należy ręcznie zmienić ich nazwy i umieścić je w folderach, o których mowa w kroku 1.5.7.

1. Wstępne przetwarzanie danych mTPM
   1. Wyodrębnij trajektorie sygnału neuronowego z ramek mTPM za pomocą suite2p³⁰. Utrzymuj parametry suite2p na ich domyślnych wartościach, aby zapewnić odtwarzalność. Dostosuj liczbę klatek na sekundę tylko tak, aby była zgodna z ustawieniami akwizycji mTPM.
      UWAGA: Ponieważ kolejne kroki obejmują przetwarzanie sygnału i kontrolę jakości, nie ma potrzeby szczegółowego dostrajania parametrów suite2p na tym etapie. Zachowanie spójności między zestawami danych ma większe znaczenie.
   2. Uruchom dostosowany kod, aby wyrównać znaczniki czasu między ramkami mTPM a filmami z zachowaniem.
      UWAGA: Ten skrypt wyrównuje znaczniki czasu zdarzeń behawioralnych z odpowiadającymi im czasami pozyskiwania mTPM. Generuje i zapisuje mapowania indeksów dla każdego nagrania, umożliwiając zsynchronizowaną analizę zachowania i danych neuronowych. Ten niestandardowy kod jest dostępny w https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
   3. Uruchom dostosowany kod, aby przekonwertować format danych z danych wyjściowych suite2p.
      UWAGA: Ten skrypt wyodrębnia i reorganizuje dane mTPM dla poszczególnych zwierząt, identyfikując i mapując odpowiednie indeksy ramek. Wybiera odpowiednie ślady aktywności neuronalnej i przekształca je w ustandaryzowany format danych, umożliwiając usprawnioną dalszą analizę segmentowanych nagrań. Ten niestandardowy kod znajduje się w https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m.
   4. Uruchom dostosowany kod, aby ponownie próbkować sygnały neuronowe w celu wyrównania z ramkami zachowań.
      UWAGA: Ten skrypt wykonuje czasowe ponowne próbkowanie danych mTPM w celu wyrównania śladów aktywności neuronalnej ze znacznikami czasu zachowania. Wczytuje wcześniej segmentowane dane neuronowe i wskaźniki synchronizacji, odpowiednio wyodrębnia ponownie próbkowane ślady i zapisuje dane wyjściowe w ustandaryzowanym formacie do dalszego przetwarzania sygnału. Metodą czasowego ponownego próbkowania jest interpolacja krokowa. Ten niestandardowy kod jest dostępny pod https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m.
   5. Uruchom dostosowany kod, aby uściślić trajektorie neuronowe.
      1. Ponieważ interpolacja krokowa może wprowadzać artefakty dzwonienia i szumy o wysokiej częstotliwości, należy zaprojektować równoważny filtr dolnoprzepustowy o częstotliwości pasma przepustowego 2 Hz i częstotliwości pasma zatrzymania 2,2 Hz, aby złagodzić te artefakty. Kolejność filtrów to 61.
      2. Następnie użyj metody odszumiania Weijian Zonga, aby udoskonalić ponownie próbkowane ślady wapnia mTPM¹³. Szacuje lokalne linie bazowe przy użyciu kryteriów percentyla i wariancji lokalnej oraz oblicza sygnały ΔF/F. ΔF/F jest bezwymiarową miarą, która reprezentuje względną zmianę intensywności fluorescencji w stosunku do linii podstawowej, powszechnie stosowaną do ilościowego określania aktywności neuronalnej w obrazowaniu wapnia. Ponieważ zarówno licznik (ΔF), jak i mianownik (F) są w dowolnych jednostkach fluorescencji, wynikowa wartość ΔF/F nie ma jednostki fizycznej i jest wyrażona jako stosunek lub procent. Ogniwa z bardzo płaskimi lub nasyconymi sygnałami są wykluczane na podstawie progów zakresu sygnału. Uzyskane w ten sposób wysokiej jakości ślady aktywności neuronalnej są zapisywane do dalszej analizy ( rysunek 2A, rysunek 3A i rysunek 4A).
         UWAGA: Niestandardowy kod jest dostępny pod adresem https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m.
2. Wstępne przetwarzanie danych zachowania
   1. Wyodrębnij pozy behawioralne z nagrań wideo za pomocą narzędzia do śledzenia pozycji zapobiegających dryfowaniu (ADPT)⁷.
      UWAGA: ADPT rozwiązuje problem częstego dryfu punktowego obserwowanego w metodach opartych na konwolucyjnych sieciach neuronowych, takich jak DeepLabCut⁶ i SLEAP²². ADPT szczególnie dobrze nadaje się do scenariuszy obejmujących neuronowe urządzenia rejestrujące, takie jak obrazowanie mTPM u swobodnie poruszających się zwierząt, ponieważ skutecznie zmniejsza dryf punktowy spowodowany ruchem światłowodu. Repozytorium ADPT znajduje się pod adresem https://github.com/tangguoling/ADPT.
      1. Biorąc pod uwagę, że konfiguracja eksperymentalna obejmuje dwie myszy, a mTPM służy jako identyfikator dla jednej z nich, wytrenuj dwa niezależne modele ADPT z jedną myszą, aby oszacować pozy każdej myszy osobno.
      2. Dla każdego modelu ręcznie opisz 16 kluczowych punktów 1,10,15,31 - w tym nos, lewe ucho, prawe ucho, szyję, lewe i prawe kończyny przednie, lewe i prawe kończyny tylne, lewe i prawe przednie łapy, lewe i prawe tylne łapy, plecy, podstawę ogona, środek ogona i końcówkę ogona - przez około 600 klatek, z 150 klatkami ręcznie oznaczonymi na widok z kamery dla 15-minutowego filmu.
      3. Trenowanie modeli ADPT przy użyciu parametrów domyślnych. Szczegółowe informacje na temat parametrów trenowania i przewidywania znajdują się na https://github.com/tangguoling/ADPT/blob/main/code/config.yaml i https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml.
   2. Rekonstrukcja póz zwierząt w 3D. Po przeszkoleniu zastosuj oba modele niezależnie, aby przewidzieć pozy każdej myszy z każdego z filmów zarejestrowanych przez różne kamery. Scal wynikowe dane w jeden plik tabeli w celu dalszego przetwarzania.
   3. Wykonaj rekonstrukcję 3D trajektorii behawioralnych za pomocą triangulacji w połączeniu z plikiem kalibracji kamery³². Po rekonstrukcji uzyskaj trajektorie ruchu badanej myszy (tej przenoszącej mTPM, Rysunek 2B, Rysunek 3B, Rysunek 4B) i myszy obiektowej (współczynnika oddziałującego, Rysunek 2C, Rysunek 3C, Rysunek 4C) w celu późniejszej analizy.
   4. W badaniach nad interakcjami społecznymi odległości międzyosobowe służą jako krytyczne wskaźniki dynamiki społecznej³³. Oblicz względne odległości ciała między dwiema myszami, używając parami odległości euklidesowych między odpowiadającymi im punktami ciała, zapewniając miary ilościowe do dalszej analizy zachowań społecznych ( Rysunek 2D, Rysunek 3D, Rysunek 4D).
   5. Dekompozycja i klasyfikacja motywów zachowań.
      UWAGA: Mimo że poprzednie kroki dają drobnoziarniste trajektorie pozy, nie mówią nam jeszcze, co robi zwierzę. Zachowanie odnosi się do tego, jak zwierzę porusza się w określonym okresie, a przypisywanie zachowania polega na nadawaniu każdemu takiemu okresowi znaczącej, możliwej do zinterpretowania przez człowieka etykiety. Normalnym sposobem jest używanie adnotacji ludzkich.
      1. Ponieważ nagrania behawioralne są często zbyt długie, aby można je było oznaczyć ręcznie w całości, należy stosować metody uczenia maszynowego.
         UWAGA: Uczenie nadzorowane jest zgodne ze wstępnie zdefiniowanymi regułami etykietowania: adnotatorzy przypisują etykiety do wybranych segmentów zachowań, które są następnie wykorzystywane do trenowania modeli uczenia maszynowego lub sztucznej inteligencji w celu przewidywania etykiet w pełnym zestawie danych. Chociaż takie podejście poprawia skuteczność klasyfikacji zachowań, pozostaje ograniczone przez ograniczony zestaw etykiet interpretowalnych przez człowieka, co jest szczególnie znaczącym ograniczeniem, gdy mamy do czynienia ze złożonymi, naturalistycznymi zachowaniami. Aby uchwycić bogatą zmienność zachowań naturalistycznych, opracowano metody klasyfikacji zachowań nienadzorowanych. Podejścia te identyfikują wewnętrzne podobieństwa między motywami behawioralnymi w czasie i grupują je w niskowymiarowych przestrzeniach cech, umożliwiając bardziej efektywną i bezstronną ludzką interpretację. Zasadniczo klasyfikacja nadzorowana opiera się na predefiniowanych etykietach ludzkich, które kierują rozpoznawaniem zachowań, podczas gdy klasyfikacja nienadzorowana odkrywa ukryte struktury behawioralne bez wcześniejszego etykietowania, oferując większą elastyczność w uchwyceniu złożonej dynamiki naturalistycznej.
      2. W ramach zachowania naturalistycznego zidentyfikuj motywy behawioralne dwóch myszy za pomocą Atlasu Zachowań (BeA)¹⁰ i Atlasu Zachowań Społecznych (SBeA)¹ ( Rysunek 2E, Rysunek 3E, Rysunek 4E), z których oba są nienadzorowanymi metodami grupowania przeznaczonymi do segmentacji behawioralnej. Metody te dekomponują i grupują zachowania zwierząt w subsekundowe motywy w oparciu o ich wewnętrzne dynamiczne i hierarchiczne struktury³⁴, a następnie kojarzą je ze zdefiniowanymi kategoriami behawioralnymi.
   6. Wyodrębnij motywy behawioralne poszczególnych myszy za pomocą BeA.
      1. Aby zredukować szum, zastosuj filtr mediany z oknem czasowym 500 ms. Wykonuj wyrównanie ciała za pomocą punktów kluczowych tyłu i podstawy ogona, aby ułatwić rozkład ruchów nielokomotorycznych, podczas gdy prawa kończyna przednia, lewa kończyna przednia, prawa kończyna tylna i lewa kończyna tylna są wykorzystywane do normalizacji wielkości ciała.
      2. Do dekompozycji zachowania użyj 39 wyrównanych współrzędnych ciała, w tym: nos (x, y, z), lewe ucho (x, y, z), prawe ucho (x, y, z), szyja (x, y, z), lewa kończyna przednia (x, y, z), prawa kończyna przednia (x, y, z), lewa kończyna tylna (x, y, z), prawa kończyna tylna (x, y, z), lewa przednia łapa (x, y, z), prawa przednia łapa (x, y, z), lewa tylna łapa (x, y, z), prawa tylna łapa (x, y, z), tył (z) i podstawa ogona (x, z).
      3. Ustaw indeks redukcji czasowej na 5 z rozdzielczością klastrowania równą 3. Użyj klastrowania widmowego do inicjalizacji, wykorzystując jądro Gaussa o sigma szerokości pasma 30. Ustaw minimalną i maksymalną długość segmentacji odpowiednio na 500 ms i 2000 ms.
      4. Do osadzania motywu zachowania należy zastosować UMAP z 30 najbliższymi sąsiadami i minimalną odległością 0,05. Grupuj motywy za pomocą hierarchicznego grupowania przy użyciu powiązania Warda i euklidesowej odległości parami, aby poprawić stabilność klasyfikacji. Repozytorium BeA znajduje się pod adresem
      5. Zidentyfikuj motywy zachowań społecznych za pomocą SBeA. Ustaw parametry inicjalizacji dla SBeA tak, aby były spójne z tymi używanymi w BeA, z następującymi modyfikacjami: mediana rozmiaru okna filtru jest ustawiona na 1000 ms, minimalna długość segmentacji jest zwiększona do 2000 ms, a maksymalna długość segmentacji jest zwiększona do 5000 ms dla dekompozycji zachowań społecznych.
      6. Do osadzania motywów należy zastosować jądro Gaussa o sigma szerokości pasma 2. Ostateczna liczba klastrów zachowań społecznych waha się od 16 (dolna granica) do 280 (górna granica). W prezentowanych przykładach tylko 16 największych klastrów jest wykorzystywanych do celów demonstracyjnych. Repozytorium SBeA znajduje się pod adresem https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md.

4. Mapowanie danych neuroetologicznych

1. Przygotowywanie zestawów danych mapowania. Po wyżej wymienionych przygotowaniach dostępnych jest siedem zestawów danych do mapowania neuroetologicznego, w tym aktywności neuronalne, pozy podmiotów, pozy obiektów, odległości ciała, motywy zachowań podmiotu, motywy zachowań obiektów i motywy zachowań społecznych. Ręcznie uporządkuj te pliki w następujący sposób:
   Ścieżka danych # Ścieżka do zapisania wszystkich danych
   ----\A-B-C-D-E-neu.mat # Aktywności neuronalne
   ----\A-B-C-D-E-pose-tpm.mat # Pozy tematu
   ----\A-B-C-D-E-pose-free.mat # Pozy obiektów
   ----\A-B-C-D-E-rel_dist.mat # Odległości ciała
   ----\A-B-C-D-E-mov-tpm.mat # Motywy zachowania podmiotu
   ----\A-B-C-D-E-mov-free.mat # Motywy zachowania obiektu
   ----\A-B-C-D-E-sbea.mat # Motywy zachowań społecznych
   Definicje pól A, B, C, D i E są takie same jak w pkt 1.5.7. Dane demonstracyjne dotyczące reprodukcji są na poziomie https://doi.org/10.6084/m9.figshare.29606795.v1.
2. Utwórz osadzenia mapowania za pomocą CEBRA.
   UWAGA: Biorąc pod uwagę, że CEBRA integruje zarówno podejścia oparte na hipotezach, jak i oparte na odkryciach w celu konstruowania osadzeń, dobrze nadaje się do odkrywania reprezentacji neuronalnych związanych z różnymi zmiennymi pomocniczymi (Rysunek 5A).
   1. Aby zapewnić systematyczne porównywanie osadzeń w różnych modalnościach, należy ustandaryzować parametry modeli CEBRA. Architektura modelu wykorzystuje 10 przesunięć o rozmiarze partii 1024, współczynniku uczenia się 0,0001 i parametrze temperatury 1.
   2. Ustaw wymiar wyjściowy na 3 i przeprowadź trenowanie dla maksymalnie 15 000 iteracji. Użyj odległości cosinusowej jako metryki podobieństwa, podczas gdy zmienna warunkowa jest zdefiniowana jako delta czasu z przesunięciem czasu równym 10. Użyj danych o aktywności neuronalnej jako danych wejściowych i zmiennych pomocniczych jako etykiet do generowania wspólnych osadzeń.
3. Do samoosadzania aktywności neuronalnej należy stosować te same parametry CEBRA, ale jako dane wejściowe używać tylko danych dotyczących aktywności neuronalnej.

Results

Badanie naturalnego zachowania jest bardziej złożone w porównaniu z eksperymentami opartymi na próbach. Po pierwsze, w warunkach naturalnych zarówno aktywność neuronalna, jak i zachowanie nie mają ustalonego punktu odniesienia. Czynności te są powtarzalne, co oznacza, że wpływają na nie poprzednie stany, a zatem dostosowanie początku określonych zachowań do porównania aktywności neuronalnej nie rozwiązuje skutków wcześniejszych stanów neuroetologicznych. Po drugie, kodowanie neuronalne w naturalnym zachowaniu zachodzi przede wszystkim na poziomie populacji ^4,5. Zmienność obserwowana w pojedynczych neuronach jest na tyle znacząca, że można ją uznać za szum. Aby to zweryfikować, w tej części przeprowadzono analizę korelacji między aktywnością neuronalną a naturalnymi pozami behawioralnymi (Rysunek 2F, Rysunek 3F, Rysunek 4F). Uzyskane matryce współczynników korelacji nie wykazały żadnej specyficznej dla neuronu zgodności ze śladami pozy. W szczególności współczynniki korelacji między sygnałami neuronalnymi a pozycjami obiektu, pozycjami obiektów lub odległościami między ciałami mieściły się w zakresie od -0,3 do +0,3, powszechnie uważanym za słabe korelacje¹⁵ (Rysunek 2G, Rysunek 3G, Rysunek 4G). Odkrycia te wskazują, że w warunkach naturalistycznych informacje związane z pozami nie są kodowane w sposób specyficzny dla neuronów.

Biorąc pod uwagę te czynniki, ramy te oferują obiektywne podejście do przechwytywania i mapowania danych neuroetologicznych na poziomie populacji neuronalnej. Obrazowanie mTPM zapewnia, że zmienność poszczególnych neuronów jest zachowana w jak największym stopniu. Dodatkowo, wykorzystanie szacowania pozycji opartej na głębokim uczeniu przez ADPT i nienadzorowanych metod dekompozycji zachowania, takich jak BeA i SBeA, generuje bogate zmienne pomocnicze, umożliwiając CEBRA skuteczną interpretację zmienności w populacjach neuronowych.

Przykłady te pokazują, że wspólne osadzenia CEBRA są obecne we wszystkich zmiennych pomocniczych, w tym w pozach podmiotu, pozach obiektów, odległościach ciała, motywach zachowania podmiotu, motywach zachowania obiektu i motywach zachowań społecznych (Rysunek 5A). W celu sprawdzenia spójności motywów behawioralnych i osadzania neuronów w różnych sesjach lub badanych, analizę Prokrustesa³⁵ stosuje się w trzech parach myszy (ryc. 5B). Biorąc pod uwagę, że osadzenia CEBRA są rozmieszczone na sferze jednostkowej, włączono tylko parametr obrotu w analizie Procrustesa. Ponieważ osadzenia CEBRA o naturalnym zachowaniu nie mają wyraźnej linii bazowej, w tej części najpierw przeprowadzono próbkowanie wyrównania pod kontrolą etykiety na osadzeniach w celu wyrównania, zapewniając spójne punkty zaczepienia przed zastosowaniem analizy Procrustesa. Wizualnie te osadzenia CEBRA wykazują pewien stopień wewnętrznej spójności, z dystansem ciała i motywami społecznymi wykazującymi najwyższe dopasowanie. Pasuje do kwantyfikacji RMSE przed i po wyrównaniu Procrustesa (rysunek 5C). Następnie porównywana jest dokładność dekodowania osadzania dla póz (rysunek 5D) i motywów (rysunek 5E). Chociaż ich reprezentacje różnią się, każdy z nich jest dekodowalny z dużą dokładnością. Chociaż RMSE dekodowania odległości ciała jest znacznie wyższa niż w pozycjach obiektu i obiektu, nie jest to więcej niż dokładność śledzenia ADPT⁷.

Aby zbadać pochodzenie tych opartych na hipotezach osadów, za pomocą CEBRA wygenerowano samoorganizujące się osadzanie aktywności neuronalnej (Rysunek 5A, prawa kolumna). Kształt osadzania neuronowego jest bardziej skomplikowany niż inne osadzenia stawów, zawierając wzory z różnych osadzeń stawów. Dodatkowo porównano podobieństwa między osadzeniami neuronalnymi a zagnieżdżeniami stawów za pomocą transformacji Procrustesa, a następnie porównano ich podobieństwa cosinusowe (ryc. 5F). Podobieństwo cosinusa jest wyprowadzane na minutę między wyrównanymi osadzeniami w odpowiednich punktach czasu.

Osadzenie stawów w pozie osoby S1 zostało wybrane jako punkt odniesienia dla porównań podobieństwa w oparciu o dobrze ugruntowaną rolę S1 w kodowaniu samoorganizujących się danych somatosensorycznych³⁶. To osadzenie służy jako biologicznie znaczący punkt odniesienia do oceny, w jaki sposób inne zmienne - takie jak motywy związane z obiektami - są reprezentowane w tej samej przestrzeni neuronalnej. Takie porównania pozwalają nam ocenić względną siłę kodowania dla różnych wymiarów behawioralnych w odniesieniu do somatosensorycznej linii bazowej związanej z samym sobą.

Porównując cosinusowe podobieństwo osadzania neuronów z osadzaniem stawów w obiekcie S1 jako punktem odniesienia, badanie to wykazało, że osadzanie stawów dla motywów obiektów jest znacznie niższe. Sugeruje to, że podczas 15-minutowego okresu swobodnej interakcji społecznej w tym przykładzie, działania neuronalne S1 badanej myszy przede wszystkim kodują zarówno jej zachowanie, jak i trwające interakcje społeczne. Chociaż analiza ta służy jako przykład poglądowy, te same ramy metodologiczne można łatwo zastosować do bardziej szczegółowych badań, na przykład poprzez porównanie struktur osadzających w różnych epokach czasowych w celu odkrycia dynamicznych zmian w kodowaniu neuronowym.

Rysunek 1: Procedura zbierania danych neuroetologicznych. (A) Integracja urządzeń. (B) Operacja rejestracji danych. (C) Ekstrakcja sygnału neuronowego, szacowanie pozycji 2D i rekonstrukcja trajektorii ciała 3D po nagraniu. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 2: Wstępnie przetworzone dane myszy 1 do dalszej analizy. (A) Aktywność neuronalna. (B) Pozy podmiotu. (C) Pozy obiektów. (D) Odległość ciała. (E) Motywy zachowań. Od góry do dołu znajdują się motywy podmiotów, przedmiotów i zachowań społecznych. (F) Macierze współczynników korelacji między aktywnością neuronalną a pozami. Po lewej: współczynniki korelacji między aktywnością neuronalną a pozami obiektu. Centrum: współczynniki korelacji między aktywnością neuronalną a pozycjami obiektów. Po prawej: współczynniki korelacji między aktywnością neuronalną a odległością od ciała. Współczynniki korelacji dotyczą każdego śladu neuronu i każdego wymiaru pozy. (G) Rozkłady współczynników korelacji F. Indeksy neuronów są sortowane według współczynników korelacji między aktywnością neuronalną a pozycjami podmiotu. Skróty: N & S = aktywność neuronalna i pozy podmiotowe, N & O = aktywność neuronalna i pozycje obiektów, N & B = aktywność neuronalna i odległości ciała, CC = współczynniki korelacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 3: Wstępnie przetworzone dane myszy 2 do dalszej analizy. (A) Aktywność neuronalna. (B) Pozy podmiotu. (C) Pozy obiektów. (D) Odległość ciała. (E) Motywy zachowań. Od góry do dołu znajdują się motywy podmiotów, przedmiotów i zachowań społecznych. (F) Macierze współczynników korelacji między aktywnością neuronalną a pozami. Po lewej: współczynniki korelacji między aktywnością neuronalną a pozami obiektu. Centrum: współczynniki korelacji między aktywnością neuronalną a pozycjami obiektów. Po prawej: współczynniki korelacji między aktywnością neuronalną a odległością od ciała. Współczynniki korelacji dotyczą każdego śladu neuronu i każdego wymiaru pozy. (G) Rozkłady współczynników korelacji F. Indeksy neuronów są sortowane według współczynników korelacji między aktywnością neuronalną a pozycjami podmiotu. Skróty: N & S = aktywność neuronalna i pozy podmiotowe, N & O = aktywność neuronalna i pozycje obiektów, N & B = aktywność neuronalna i odległości ciała, CC = współczynniki korelacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 4: Wstępnie przetworzone dane myszy 3 do dalszej analizy. (A) Aktywność neuronalna. (B) Pozy podmiotu. (C) Pozy obiektów. (D) Odległość ciała. (E) Motywy zachowań. Od góry do dołu znajdują się motywy podmiotów, przedmiotów i zachowań społecznych. (F) Macierze współczynników korelacji między aktywnością neuronalną a pozami. Po lewej: współczynniki korelacji między aktywnością neuronalną a pozami obiektu. Centrum: współczynniki korelacji między aktywnością neuronalną a pozycjami obiektów. Po prawej: współczynniki korelacji między aktywnością neuronalną a odległością od ciała. Współczynniki korelacji dotyczą każdego śladu neuronu i każdego wymiaru pozy. (G) Rozkłady współczynników korelacji F. Indeksy neuronów są sortowane według współczynników korelacji między aktywnością neuronalną a pozycjami podmiotu. Skróty: N & S = aktywność neuronalna i pozy podmiotowe, N & O = aktywność neuronalna i pozycje obiektów, N & B = aktywność neuronalna i odległości ciała, CC = współczynniki korelacji. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Rysunek 5: Analiza osadzenia danych neuroetologicznych w CEBRA. (A) Osadzenie CEBRA. Od lewej do prawej znajdują się wspólne osadzanie aktywności neuronalnej S1 i póz podmiotu, wspólne osadzanie aktywności neuronalnej S1 i póz obiektów, wspólne osadzanie aktywności neuronalnej S1 i odległości ciała między dwoma zwierzętami, wspólne osadzanie aktywności neuronalnej S1 i motywów zachowania podmiotu, wspólne osadzanie motywów aktywności neuronalnej S1 i zachowania obiektu, wspólne osadzanie motywów aktywności neuronalnej i zachowań społecznych S1 oraz neuronalne osadzanie S1. (B) Analiza Prokrustesa wyrównuje powyższe osadzenia. Szare kółka reprezentują parę myszy 1, służącą jako osadzanie odwołania. Zielone znaki plus reprezentują parę myszy 2, a pomarańczowe krzyżyki reprezentują parę myszy 3, obie wyrównane do pary myszy 1. (C) Błąd średniokwadratowy (RMSE) przed (po lewej) i po (po prawej) wyrównaniu Prokrustesa (sparowany test t, n = 3, średnia ± SEM). (D) RMSE rekonstrukcji pozy z osadów CEBRA (jednoczynnikowa ANOVA, po której następuje test wielokrotnych porównań Tukeya, n = 3, średnia ± SEM). (E) Dokładność rekonstrukcji motywu z osadzeń CEBRA (jednoczynnikowa ANOVA, a następnie test wielokrotnych porównań Tukeya, n=3, średnia ± SEM). (F) Podobieństwa cosinusowe między osadzaniem stawów a osadzaniem neuronalnym S1 (jednokierunkowa ANOVA, a następnie test wielokrotnych porównań Dunnetta, średnia ± SEM). *p < 0,05, **p < 0,01, ***p < 0,001. Kliknij tutaj, aby zobaczyć większą wersję tego rysunku.

Nie.	Zaobserwowany problem	Prawdopodobna przyczyna	Możliwe rozwiązania
1	Brak sygnatur czasowych zachowania	(1) Wadliwe kable SMA lub BNC	(1) Wymień kable SMA i BNC
		(2) Brak sterownika USB-to-TTL	(2) Zainstaluj sterownik USB Prolific PL2303
		(3) Nieprawidłowy wybór portu COM	(3) Sprawdź numer portu COM w Menedżerze urządzeń i zaktualizuj go zarówno w oprogramowaniu mTPM, jak i w skrypcie kamery behawioralnej.
2	Brak widocznej fluorescencji podczas montażu mTPM	(1) Brak ekspresji wirusa	(1) Użyj innej myszy
		(2) Nieprawidłowe pole widzenia	(2) Dostosuj ponownie pole widzenia
		(3) Niewystarczająca moc lasera	(3) Stopniowo zwiększaj moc lasera
		(4) Suszony żel karbomerowy	(4) Ponownie nałóż świeży żel Carbomer
3	Obrazowanie mTPM pokazuje całkowicie biały ekran	(1) Wyciek światła	(1) Owiń ponownie folię aluminiową, aby uzyskać prawidłowe ekranowanie
		(2) Niewystarczająca moc lasera	(2) Stopniowo zwiększaj moc lasera
		(3) Odłączone włókno od głowicy mTPM	(3) Ponownie włóż włókno do mTPM i dokręć mocującą
4	Pomijane klatki w filmie behawioralnym	(1) Słabe oświetlenie otoczenia	(1) Zwiększ oświetlenie tła
		(2) Nieprawidłowy port USB	(2) Użyj co najmniej portów USB 3.0
		(3) Niewystarczająca wydajność komputera	(3) Użyj komputera z procesorem Intel i7-9700K lub nowszym, dwukanałową pamięcią RAM i pamięcią masową SSD.
5	Brak lokomocji u myszy zamontowanych na mTPM	(1) Powtarzalne używanie tej samej myszy	(1) Unikaj ponownego używania myszy w ciągu 3 dni
		(2) Nadmierne użycie folii aluminiowej	(2) Użyj minimalnej folii niezbędnej do ekranowania światła
		(3) Niewystarczająca liczba lub objętość balonów z helem	(3) Dostosuj liczbę i napompowanie balonów, aby podeprzeć włókno mTPM, jednocześnie umożliwiając naturalną postawę i ruch myszy.
6	Niedokładne oszacowanie pozy 2D	(1) Niewystarczająca liczba ręcznie oznaczonych ramek	(1) Dodawaj adnotacje przyrostowo o co najmniej 200 klatek
		(2) Niedostatecznie wytrenowany model ADPT	(2) Zwiększ liczbę okresów trenowania w pliku config.yaml programu ADPT
7	Nieprawidłowa rekonstrukcja pozy 3D	(1) Niewłaściwa kalibracja aparatu	(1) Popraw kontrast kalibracji i kąt nachylenia
		(2) Niedokładne wprowadzanie pozycji 2D	(2) Zwiększ liczbę przechwytywanych ramek na planszy
			(3) Najpierw rozwiąż problemy z pozami 2D (patrz Problem 6)
8	Rozbieżność między danymi neuronowymi i behawioralnymi	(1) Nieprawidłowa sekwencja inicjalizacji oprogramowania	(1) Zawsze rozpoczynaj nagrywanie mTPM przed kamerą behawioralną
		(2) Porzucone klatki zachowania	(2) Rozwiąż problemy z gubieniem ramek (patrz Problem 4)
			(3) Upewnij się, że dostępna jest wystarczająca ilość miejsca na dysku
9	Przepełnienie pamięci podczas przetwarzania BeA/SBeA	(1) Zbyt długi czas nagrywania	(1) Podziel nagrania na krótsze segmenty (5–60 minut), a następnie uruchom BeA/SBeA
		(2) Ograniczona systemowa pamięć RAM	(2) Zwiększyć czasowy współczynnik redukcji (np. z 5 do 10) w BeA
			(3) Zwiększ pamięć RAM do co najmniej 64 GB
10	CEBRA nie działa na GPU	(1) Niezgodność między CUDA a sterownikiem GPU	(1) Nie postępuj bezpośrednio zgodnie z samouczkiem, aby zainstalować CUDA 11.3
		(2) Niezgodna wersja PyTorch	(2) Sprawdź model karty graficznej i wersję sterownika (nvidia-smi)
			(3) Zainstaluj odpowiednie wersje CUDA i PyTorch, a następnie zainstaluj CEBRA za pomocą

Tabela 1: Lista rozwiązywania problemów. Poniżej znajduje się lista 10 wcześniej napotkanych nietrywialnych problemów i możliwych rozwiązań.

Discussion

Ta neuroetologiczna struktura zapisu i dekodowania jest zbudowana na dostępnych na rynku urządzeniach, zapewniając, że większość problemów związanych z rozwiązywaniem problemów może być rozwiązana przez odpowiednie firmy. Mimo to badanie to zawiera listę często napotykanych problemów, aby ułatwić odniesienie i usprawnić rozwiązywanie problemów (Tabela 1). Ta dostępność sprawia, że framework jest bardziej przyjazny dla nowicjuszy. Ponadto struktura jest bardzo elastyczna, a synchronizacja między nagraniami neuronalnymi i behawioralnymi opiera się na standardowych sygnałach TTL. W rezultacie, w razie potrzeby można łatwo zintegrować z ramą inne urządzenia rejestrujące wyniki fizjologiczne. Kolejne procedury analityczne są również wystarczająco ogólne, aby obsługiwać w pełni dostosowane systemy rejestracji neuronowej i behawioralnej.

Koszt związany z tym frameworkiem, który opiera się na skomercjalizowanych urządzeniach, jest stosunkowo wysoki (~500 000 USD), co nakłada dodatkowe obciążenie finansowe na laboratorium. Podczas gdy najnowsze narzędzia typu open source, takie jak MINI2P¹³ i Anipose³⁷ , mogą pomóc w obniżeniu kosztów materiałów, to doświadczenie sugeruje, że ogólne wydatki pozostaną podobne, jeśli weźmie się pod uwagę koszty zasobów ludzkich związane z debugowaniem. Kolejnym ograniczeniem tej ramy jest interpretowalność osadzeń CEBRA. Jako metoda oparta na sztucznych sieciach neuronowych jest z natury trudna do interpretacji. Chociaż ten przykład zapewnia proste podejście do wyjaśnienia osadzania, dalsze metody będą musiały zostać opracowane indywidualnie dla każdego przypadku dla różnych projektów. Jednym z potencjalnych rozwiązań dla dalszej interpretacji osadzania CEBRA jest zastosowanie systemów dynamicznych³⁸. Ponadto naturalne zachowanie można podzielić na odrębne fazy, takie jak interakcje, gdy dwie myszy są albo daleko, albo w pobliżu. Różne kwestie naukowe mogą wymagać opracowania niestandardowych przepływów pracy związanych z analizą danych.

Chociaż obecny system kamer mTPM + 3D jest wdrażany na arenie otwartej, jego zastosowanie nie ogranicza się do tego konkretnego kontekstu behawioralnego. Główne ograniczenia wynikają z fizycznego uwięzi systemu obrazowania, która ogranicza zakres mobilności zwierząt, oraz pola widzenia kamery 3D, które ogranicza objętość, którą można śledzić. Czynniki te mogą zostać rozwiązane w przyszłych iteracjach poprzez włączenie modułów obrazowania bezprzewodowego³⁹ lub matryc kamer pułapek⁴⁰, aby umożliwić bardziej złożone i naturalistyczne paradygmaty zachowań. Warto zauważyć, że zarówno system mTPM, jak i konfiguracja kamery 3D są zdolne do ciągłego gromadzenia danych przez 24 godziny^{na dobę 10,41}, dzięki czemu cały potok doskonale nadaje się do długoterminowych badań behawioralnych i neuronowych.

W badaniu tym zastosowano w pełni oparte na danych podejście do badania neuronalnego kodowania spontanicznych zachowań, a zatem celowo powstrzymuje się od przypisywania predefiniowanych etykiet semantycznych do zgrupowanych motywów behawioralnych. Decyzja ta jest zakorzeniona w dążeniu do zachowania możliwości uogólnienia struktury mapowania zachowań neuronalnych, pozwalając jej działać niezależnie od kategorii behawioralnych narzuconych przez eksperymentatora. Czytelnicy zainteresowani biologiczną interpretowalnością i nadzorowaną klasyfikacją motywów behawioralnych mogą zapoznać się z wcześniejszymi pracami ^1,10, a także z niedawnym badaniem⁴², w którym systematycznie porównywano grupowanie motywów bez nadzoru z ręcznie oznaczanymi zachowaniami przy użyciu tego samego podstawowego modelu Atlasu zachowań. Badania te zapewniają również obszerne wizualizacje, w tym sekwencje póz 3D, trajektorie i osadzanie na poziomie motywów, dostępne za pośrednictwem publicznych repozytoriów. Razem zasoby te oferują komplementarny wgląd w semantyczną strukturę zachowania, wspierając jednocześnie przyjęte tutaj elastyczne, uogólnione podejście do dekodowania neuronowego.

Ten potok przetwarzania danych został zaprojektowany z myślą o modułowości i elastyczności, co pozwala na dostosowanie do różnych ustawień eksperymentalnych i preferencji użytkownika. Każdy główny komponent potoku, począwszy od szacowania pozycji 3D, nienadzorowanego grupowania motywów behawioralnych, wstępnego przetwarzania sygnałów neuronowych, aż po wspólne osadzanie neuroetologiczne, jest implementowany jako niezależny moduł z jasno zdefiniowanymi interfejsami wejściowymi i wyjściowymi. Architektura ta umożliwia użytkownikom zastępowanie alternatywnych narzędzi lub algorytmów na każdym etapie (np. różnymi ramami szacowania pozycji ^6,22, algorytmami grupowania zachowań^43,44 lub dekoderami neuronowymi^45,46) bez zakłócania ogólnego przepływu pracy. Chociaż komponenty te zostały zaprojektowane tak, aby były interoperacyjne, w badaniu tym nie przetestowano wyczerpująco wszystkich możliwych kombinacji alternatywnych metod, a użytkownicy mogą być zmuszeni do przeprowadzenia dodatkowego dostrajania, aby zapewnić kompatybilność w ich konkretnych zastosowaniach. Taka modułowość ułatwia zarówno odtwarzalność, jak i rozszerzalność, a także pozwala na dostosowanie ramy do gatunków, modalności zapisu lub paradygmatów behawioralnych wykraczających poza te, które zostały tutaj pokazane. Aby wesprzeć szersze wykorzystanie przez społeczność, niniejsze opracowanie zawiera schematyczny przegląd i tabelę podsumowującą (Rysunek 1, Tabela materiałów).

Ustawienia parametrów używane dla SBeA i CEBRA w tym potoku są oparte na kombinacji wartości domyślnych i empirycznego dostrajania specyficznego dla tego kontekstu eksperymentalnego, swobodnie poruszających się myszy w naturalnej interakcji społecznej. Parametry te zostały zwalidowane w celu odtworzenia wszystkich wyników przedstawionych w tym badaniu bez konieczności dalszej korekty. Chociaż użytkownicy mogą chcieć dostroić niektóre parametry, aby dostosować je do różnych konfiguracji nagrywania lub zadań behawioralnych, takie modyfikacje nie są konieczne do replikacji tego potoku. W przypadku użytkowników pracujących w innych kontekstach zaleca się zapoznanie się z oryginalną dokumentacją i literaturą dotyczącą SBeA i CEBRA, gdzie dostępne są zakresy parametrów i wskazówki dotyczące poszczególnych zadań. Ta implementacja służy jako solidna konfiguracja referencyjna, którą można bezpośrednio zastosować lub dostosować w razie potrzeby.

Podstawowym osiągnięciem tej ramy jest jej zastosowanie do swobodnie poruszających się zwierząt. Wcześniejsze badania przeprowadzone na zwierzętach z unieruchomioną głową można w tym ramach dostosować do warunków swobodnego poruszania się. Na przykład, zadania takie jak Go/No-Go Task⁴⁷ i Two-Alternative Forced Choice⁴⁸ mogą być modyfikowane i integrowane z tymi ramami w oparciu o naturalne paradygmaty zachowań. Takie podejście eliminuje artefakty spowodowane ograniczeniem głowy, umożliwiając badanie związku między zadaniem a naturalnymi stanami behawioralnymi. Ramy te zapewniają zwierzętom większą autonomię w podejmowaniu decyzji. Wspiera również badania rdzenia kręgowego w kontekstach naturalistycznych, łącząc metodę rejestracji rdzenia kręgowego mTPM⁴⁹. Dodatkowo ułatwia badanie zachowań w grupach swobodnych, zjawiska, które nie jest możliwe do zrealizowania w konfiguracjach z głową. Przepływ pracy analizy danych umożliwia interpretację aktywności populacji neuronalnej w odniesieniu do wielu zmiennych, wykorzystując osadzenia do rozwikłania złożoności funkcji mózgu stojącej za populacjami neuronalnymi.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
System rejestracji zachowań 3D	BayONE Scientific	Mysz BA-3D	Zintegrowany moduł synchronizacji
Balon	AliExpress (Ekspres Żywnościowy)	Adres internetowy: https://tinyurl.com/3uex669s	Każdy balon, który jest wystarczająco lekki, aby latać, gdy jest wypełniony helem. Balony są sferycznymi balonami foliowymi o średnicy około 45 cm i wyposażone w samouszczelniające się zawory. Adres URL zawiera przykład dymków.
Żel pod oczy Carbomer	Filmik	Nawilżający żel pod oczy na bazie Carbomer 980	10gr
Sznurek bawełniany	AliExpress (Ekspres Żywnościowy)	Adres internetowy: https://tinyurl.com/ywu7u754	Gruby i lekki, średnica 1-2 mm. Adres URL zawiera przykład sznurka bawełnianego.
Wiertło czaszkowe	RWD	78001	Wiertło 0,8, 1,4 i 2,1 mm
Konfigurowalny niestandardowy moduł kamery	Intel	RealSense D435	/
Wysokowydajny akrylowy klej strukturalny	HUITYJSKI	1320	Pojemność 490ml
Mysz do obrazowania	TRANSCEND VIVOSCOPE	Adres internetowy: https://en.tv-scope.com/	Samiec myszy z pochodzeniem C57BL/6J (10 tygodni) był trzymany w 1 myszy na klatkę pod 12&cienkim h cykl światło-ciemność przy 22– 25 i cienkie; ° C z 40%– 70% wilgotności i miał dostęp do wody i pożywienia ad libitum. Wirusy AAV9-CaMKII-GCaMP6s zostały wstrzyknięte do jego pierwotnej kory somatosensorycznej (AP, − 0,60 mm; ML, − 2,40 mm; DV, 2,00 mm). W naszym badaniu myszy zostały przygotowane przez firmę TRANSCEND VIVOSCOPE w ramach profesjonalnej usługi przygotowania zwierząt. Usługa ta obejmuje wstrzyknięcie wirusa, implantację okna czaszkowego i instalację płytki bazowej specjalnie dostosowanej do miniaturowego systemu mikroskopii dwufotonowej.
Mysz do interakcji	BayONE LAC	Adres internetowy: https://lac.bayonesci.com/	Samce myszy z pochodzeniem C57BL/6J (w wieku 10 tygodni) trzymano w 5 myszach na klatkę pod 12&cienkim h cykl światło-ciemność przy 22– 25 i cienkie; ° C z 40– 70% wilgotności i mieli dostęp do wody i jedzenia ad libitum. Wszystkie procedury hodowlane i eksperymentalne zostały zatwierdzone przez Komitet ds. Opieki i Użytkowania Zwierząt w Instytucie Zaawansowanych Technologii w Shenzhen Chińskiej Akademii Nauk.
System rejestracji neuronowej mTPM	TRANSCEND VIVOSCOPE	SUPERNOVA-600	SUPERNOVA-600 to w pełni zintegrowany miniaturowy dwufotonowy system obrazowania dla swobodnie poruszających się gryzoni, zawierający wszystkie niezbędne komponenty optyczne i rejestrujące, ale z wyłączeniem zewnętrznych urządzeń stymulacyjnych. Powinien zawierać zintegrowany moduł synchronizacji.