Het decoderen van natuurlijk gedrag vanuit neuro-ethologische inbedding

Summary

Dit protocol biedt een geïntegreerd raamwerk op basis van geavanceerde computationele neuroethologische methoden om hersencodering in naturalistische contexten te begrijpen.

Abstract

Dieren houden zich bezig met hun natuurlijke omgeving door middel van rijke en dynamische hersenactiviteit. Begrijpen hoe neurale populatiedynamiek naturalistisch gedrag codeert, blijft een fundamentele uitdaging in de systeemneurowetenschappen. Recente ontwikkelingen op het gebied van op deep learning gebaseerde gedragsanalyse en miniatuurfluorescentiebeeldvorming hebben nieuwe wegen geopend om te onderzoeken hoe de hersenen natuurlijk gedrag coderen. Hier presenteert deze studie een geïntegreerd experimenteel en computationeel raamwerk dat de Social Behavior Atlas (SBeA), miniatuur twee-fotonmicroscopie (mTPM) en consistente embeddings van hoogdimensionale opnames combineert met behulp van hulpvariabelen (CEBRA) om complex gedrag uit de hersendynamiek te decoderen. Deze studie maakt gebruik van naturalistische sociale interacties tussen vrij bewegende muizen als een modelsysteem, waardoor gedragsannotatie met hoge resolutie mogelijk is naast gelijktijdige neurale beeldvorming. Dit raamwerk omvat nauwkeurige schatting van gedragshoudingen, gesynchroniseerde tracking met twee muizen, neurale inbeddingsuitlijning en decodering van gedragskenmerken rechtstreeks vanuit neurale hoofdcomponenten. Deze studie toont aan dat deze aanpak een decoderingsprecisie van 3 bereikt. ± 1,5 pixels voor houding en 89 ± 6% nauwkeurigheid voor het decoderen van motieven bij dieren, wat de robuustheid en generaliseerbaarheid benadrukt. Deze methode biedt een krachtig hulpmiddel om te onderzoeken hoe hersenactiviteit gestructureerde gedragstoestanden weerspiegelt, en het legt de basis voor toekomstige studies van naturalistische neurale coderingsprincipes.

Introduction

Dit raamwerk is ontworpen om gedrags- en neuroimaging-gegevens van vrij bewegende dieren in naturalistische experimentele omgevingen vast te leggen en te decoderen. Het bestaat uit drie belangrijke componenten: op deep learning gebaseerde pose-schattings- en gedragsclassificatiemethoden, SBeA¹, miniatuur fluorescentiebeeldvormingstechnieken mTPM², en een op contrastief leren gebaseerd neuro-ethologisch inbeddingsalgoritme, CEBRA³. Recente studies hebben de complexiteit van neuro-ethologische processen bij vrij bewegende dieren benadrukt, die de complexiteit overtreft die wordt waargenomen in op het hoofd gefixeerde experimentele paradigma's ^4,5. Technische beperkingen en variabiliteit hebben echter de wijdverbreide toepassing van deze benaderingen op breder onderzoek naar natuurlijk gedrag belemmerd. Dit protocol biedt een stabiel en geïntegreerd kader dat de toegankelijkheid van gedrags- en neurale gegevens die in naturalistische contexten zijn verzameld, garandeert voor een breed scala aan onderzoekslaboratoria.

Aangezien dieren zich vrij kunnen bewegen in natuurlijke omgevingen, bevat dit raamwerk op basis van deep learning gebaseerde houdingsschatting om nauwkeurig volgen van houdingen te bereiken ^6,7. Traditionele volgmethoden op basis van beeldverwerking zijn ontoereikend voor het vastleggen van bewegingen op kleine schaal, zoals de dynamiek van ledematen en poten, in vergelijking met op deep learning gebaseerde benaderingen⁸. Het diverse en complexe gedrag van vrij bewegende dieren vormt een uitdaging voor methoden voor gedragsclassificatie^{onder toezicht 9}, aangezien vooraf gedefinieerde gedragscategorieën vaak niet het volledige scala aan natuurlijke gedragsfenotypes omvatten¹⁰. Bijgevolg zijn classificatiemethoden op basis van leren zonder toezicht beter geschikt voor het analyseren van gedrag in naturalistische omgevingen¹. Ze kunnen continu gedrag uitgebreid ontleden in discrete subsecondemotieven op basis van hun intrinsieke structurele overeenkomsten, en vervolgens worden hun consistente definities gegeven via datagestuurde clusters.

Beeldvorming van de hersenen bij vrij bewegende dieren vereist het vastleggen van de uitgebreide variabiliteit van de activiteit van één neuron ^4,5. Elektrofysiologische opnames bij vrij bewegende dieren zijn beperkt in hun vermogen om neuronen te detecteren met overwegend subdrempelactiviteit¹¹. Bovendien lijdt enkelvoudige fotonmicroscopie aan een lage resolutie en contrast, waardoor het moeilijk is om consistente neuronidentiteiten te behouden tijdens beeldvormingssessies¹². mTPM biedt een superieure resolutie en contrast in vergelijking met enkelvoudige fotonmicroscopie, waardoor het een effectiever hulpmiddel is voor het onderzoeken van de neurale codering van natuurlijk gedrag 2,13,14,15.

Het opzetten van een robuuste mapping tussen gedrag en neurale gegevens vereist methoden die in staat zijn om hun gedeelde informatiestructuur te onthullen¹⁶. Conventionele technieken voor dimensionaliteitsreductie, zoals Principal Component Analysis (PCA)¹⁷, t-Distributed Stochastic Neighbor Embedding (t-SNE)¹⁸ en Uniform Manifold Approximation and Projection (UMAP)¹⁹, kunnen gedrags- en neurale gegevens niet effectief inbedden in een gemeenschappelijke functieruimte. Daarentegen maken op deep learning gebaseerde inbeddingsbenaderingen, zoals CEBRA, de integratie mogelijk van meerdere datamodaliteiten in zowel gesuperviseerde als zelfgesuperviseerde frameworks, waardoor latente representaties van hoge kwaliteit worden gegenereerd³. Hoewel er de afgelopen jaren verschillende alternatieve methoden zijn ontstaan 20,21,22, geeft dit voorgestelde raamwerk prioriteit aan praktische toepassingen door gevestigde methoden op te nemen die ofwel in de handel verkrijgbaar zijn of worden ondersteund door uitgebreide tutorials.

Vergeleken met recente studies ^4,5 biedt dit raamwerk drie belangrijke verbeteringen. Ten eerste elimineert het menselijke vooroordelen in gedragsclassificatie. Eerdere studies waren gebaseerd op handmatige gedragslabeling, wat arbeidsintensief is en vatbaar voor inconsistentie, vooral omdat annotatoren vermoeidheid ervaren 23,24,25. Dit raamwerk daarentegen maakt gebruik van gedragsclassificatie zonder toezicht, die de natuurlijke structuur van gedragspatronen behoudt door gedragsmotieven objectief te ontbinden en te clusteren voordat definities worden toegekend ^26,27. Ten tweede maakt het gebruik van mTPM het mogelijk om meer ingewikkelde neuronale dynamiek op het niveau van één neuron vast te leggen. Dit methodologische voordeel vergroot de toepasbaarheid van dit raamwerk op het decoderen van complex natuurlijk gedrag van diverse neurale populaties, inclusief die welke betrokken zijn bij subdrempelcodering²⁸. Ten derde integreert dit raamwerk gedrags- en neurale gegevens in een uniforme representatieruimte, in plaats van UMAP te gebruiken om elke modaliteit afzonderlijk in te bedden of ondersteunende vectormachines te gebruiken om een rigide mapping tussen neurale activiteit en gedrag op te leggen, zonder rekening te houden met hun intrinsieke dynamiek ^4,5. Deze gezamenlijke inbeddingsbenadering zorgt voor een uitgebreidere en biologisch betekenisvollere weergave van de relatie tussen gedrag en hersenactiviteit.

Dit raamwerk is zeer geschikt voor onderzoeksprojecten die betrekking hebben op het vastleggen en decoderen van gedrags- en neurale gegevens van vrij bewegende dieren in naturalistische experimentele omstandigheden. Hoewel de huidige implementatie is geoptimaliseerd voor muisstudies, kan het aanpassen ervan aan andere diermodellen aanvullende ontwikkeling vereisen. Aangezien de hardwarecomponenten die in dit kader worden gebruikt, in de handel verkrijgbaar zijn, kunnen de totale kosten enerzijds relatief hoog zijn. Aan de andere kant vermindert deze commerciële beschikbaarheid aanzienlijk de tijd die wordt besteed aan het oplossen van logistieke problemen en zorgt het voor het verkrijgen van stabiele en betrouwbare resultaten op een efficiënte manier.

Dit protocol is ontworpen om reproduceerbaar en toegankelijk te zijn voor neurowetenschappelijke laboratoria die zijn uitgerust voor beeldvorming van kleine dieren en het volgen van gedrag. Het complete systeem integreert een in de handel verkrijgbaar mTPM-apparaat met een opstelling voor gedragsacquisitie vanuit meerdere hoeken. Typische neurale opnames worden verkregen met 4,84 Hz met een resolutie van 512 × 512 pixels, en gedragsgegevens worden vastgelegd met 30 frames per seconde. Gegevenssynchronisatie wordt bereikt door TTL-pulsuitlijning tijdens de voorverwerking. Training en decodering kunnen worden uitgevoerd op een standaardwerkstation met een GPU (bijv. NVIDIA RTX 3090 of gelijkwaardig), en de volledige pijplijn vereist ongeveer 100 GB opslagruimte per experiment. Hoewel de huidige implementatie is geoptimaliseerd voor vrij bewegende muizen, maakt het modulaire ontwerp van de workflow aanpassing aan andere soorten mogelijk door trackingkalibratie- en beeldvormingsparameters aan te passen op basis van de grootte en mobiliteit van het dier. Deze praktische details ondersteunen het aanpassingsvermogen en de reproduceerbaarheid van het protocol in een reeks experimentele omgevingen.

Protocol

Het Animal Care and Use Committee van het Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences, keurde alle houderij- en experimentele procedures goed.

1. Oprichting van het platform

OPMERKING: Het platform bestaat uit twee primaire componenten: het mTPM-apparaat en het 3D-gedragsapparaat (Afbeelding 1A). Het mTPM-apparaat vergemakkelijkt real-time synchronisatie van mTPM-beeldvorming met gedragsgegevens, waardoor de efficiënte, stabiele en continue verwerving van hoogwaardige gegevens van vrij bewegende dieren mogelijk wordt. Het 3D-gedragsapparaat is uitgerust met vier camera's om de volledige scène van het gedrag van dieren vast te leggen en een automatische kalibratiemodule voor het reconstrueren van 3D-dierhoudingen. Beide apparaten zijn verplicht om synchronisatiemodules in hun respectievelijke versies op te nemen.

1. Verbinding met apparaat
   1. Verwijder de buitenste schil van het 3D-gedragsapparaat. Plaats de overige onderdelen van het 3D-gedragsapparaat, waaronder vier camera's en een automatische kalibratiemodule, in de gedragsopnamekamer van het mTPM-apparaat.
   2. Sluit de USB-kabel (Universal Serial Bus) van de synchronisatiemodule van het 3D-gedragsapparaat aan op het werkstation van het 3D-gedragsapparaat.
   3. Sluit de synchronisatiemodule van het mTPM-apparaat aan op de controller van het mTPM-apparaat via één SubMiniature versie A (SMA)-kabel.
   4. Sluit de Transistor-Transistor Logic (TTL)-uitgangspoort van de synchronisatiemodule van het 3D-gedragsapparaat aan op de TTL-ingangspoort van de synchronisatiemodule van het mTPM-apparaat via één SMA-Bajonet Neill-Concelman (BNC) conversiekabel.
2. Tijdstempelopname van mTPM-frames
   1. Schakel elke voeding van het mTPM-apparaat in.
   2. Start de mTPM-opnamesoftware en de mTPM-synchronisatiesoftware.
   3. Stel de opslagpaden van mTPM-frames en synchronisatietijdstempels in.
      OPMERKING: Gebruik geen niet-Engelse letters en speciale tekens om paden een naam te geven.
   4. Stel het aantal opnameframes van de mTPM-opnamesoftware in. Het aanbevolen aantal frames is 6000, wat voldoende is om de synchronisatiefoutopsporingsstap te voltooien.
   5. Selecteer elk kanaal van de mTPM-synchronisatiesoftware.
   6. Start de opname van mTPM via de mTPM-opnamesoftware. Voordat u met de opname begint, schakelt u alle lichten in de kamer uit om de mTPM te beschermen tegen overmatige verbranding van licht. De mTPM-synchronisatiesoftware wordt automatisch uitgevoerd wanneer de gebruiker de opname start.
   7. Controleer of de tijdstempels van het mTPM-frame worden vastgelegd door de mTPM-synchronisatiesoftware.
      OPMERKING: De mTPM-frametijdstempels die in de mTPM-synchronisatiesoftware worden weergegeven, zijn scherpe TTL-pulsen. Elk beeldvormingsframe activeert een scherpe TTL-puls, die standaard 4,84 Hz is. Als er geen puls wordt weergegeven op het softwarepaneel, zijn er 2 normale problemen. De eerste is dat de driver van de controller van het mTPM-apparaat geen timestamp-capturing ondersteunt. Het eerste probleem kan worden opgelost door de driverversie te verbeteren om het vastleggen van tijdstempels te ondersteunen. De tweede is de slechte verbinding van de SMA-kabel. Zorg ervoor dat de SMA-connectoren goed zijn vastgedraaid. Voordat u de tijdstempels controleert, keert u terug naar 1.1.2 en probeert u het stap voor stap.
   8. Wacht tot de opname stopt. Controleer of het .tif bestand met mTPM-frames, één .tdms-bestand en één .tdms_index bestand met de tijdstempels zijn opgeslagen.
3. Tijdstempelopname van vier camera's van het 3D-gedragsapparaat
   1. Stel het opslagpad van de video's en gedragstijdstempels in het aangepaste camerasynchronisatiescript in.
      OPMERKING: De aangepaste camerasynchronisatiecode staat op https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
   2. Start de mTPM-synchronisatiesoftware. Stel de bewaarpaden van mTPM-synchronisatietijdstempels in.
   3. Start de opname van de mTPM-synchronisatiesoftware. Voer het aangepaste camerasynchronisatiescript uit.
   4. Controleer of de tijdstempels van het gedrag worden vastgelegd door de mTPM-synchronisatiesoftware.
      OPMERKING: De gedragstijdstempels die in de mTPM-synchronisatiesoftware worden weergegeven, zijn scherpe TTL-pulsen. Er wordt één tijdstempel voor gedrag naar de mTPM-synchronisatiesoftware verzonden voor elke 30 frames van de videoframe-opname voor gedrag. De tijdstempels voor gedrag worden ook opgeslagen in het werkstation van het apparaat voor 3D-gedrag.
   5. Controleer of vier .avi bestanden met gedragsvideo's, één .txt bestand met gedragstijdstempels in het 3D-gedragsapparaat en één .tdms-bestand en één .tdms_index bestand met de gedragstijdstempels in het mTPM-werkstation zijn opgeslagen.
4. Camerakalibratie van het 3D-gedragsapparaat
   1. Pas de opnamehoek van vier camera's aan. De vier camera's moeten de hele basis van het open veld volledig bestrijken en tegelijkertijd hun gezichtsveld ten minste 20 cm boven de verste grens van het open veld uitstrekken om ervoor te zorgen dat de gevallen van het steigeren van de muis volledig worden vastgelegd.
   2. Plaats de kalibratiemodule in het midden van de opnamegebieden. Voer de camerakalibratiesoftware uit. Voordat u de camerakalibratiesoftware uitvoert, moet u alle lichten uitschakelen.
      OPMERKING: Vier camera's leggen de frames vast van het bewegende bord dat wordt weergegeven door het kalibratiescherm. De camerakalibratie is gebaseerd op Zhang's kalibratiemethode²⁹.
   3. Na het uitvoeren van de camerakalibratiesoftware wordt één .mat-bestand opgeslagen, dat de cameraprojectiematrix bevat voor de reconstructie van 3D-poses van dieren. Omdat de indexering van gedragsgegevens bij de systeemsynchronisatiestap afhankelijk is van het kalibratie .mat-bestand, moet u ervoor zorgen dat de camerakalibratiestap is voltooid voordat de synchronisatiestap van het hele systeem is voltooid.
5. Synchronisatie van het hele systeem
   OPMERKING: Zorg er vóór deze stap voor dat tijdstempels van mTPM-frames en het apparaat voor 3D-gedrag afzonderlijk door de mTPM-synchronisatiesoftware kunnen worden ontvangen.
   1. Schakel elke voeding van het mTPM-apparaat en het 3D-gedragsapparaat in.
   2. Start de mTPM-opnamesoftware, de mTPM-synchronisatiesoftware en het aangepaste camerasynchronisatiescript.
   3. Stel hun pad en parameters in onder verwijzing naar stap 1.3.1. Start de opname van mTPM via de mTPM-opnamesoftware.
   4. Voer het aangepaste camerasynchronisatiescript uit. Zorg ervoor dat het begin van de opname van mTPM-frames vóór het uitvoeren van het script voor gedragsopname is, zodat de mTPM-synchronisatiesoftware de tijdstempels van het 3D-gedragsapparaat kan ontvangen. Stel de eindtijd van het opnemen van mTPM-frames in op langer dan de tijd van gedragsregistratie, zodat de mTPM-synchronisatiesoftware de gedragstijdstempels zonder verlies kan vastleggen.
      OPMERKING: De aanbeveling van de opnametijd van mTPM-frames is langer dan 5 minuten van de gedragsopname. Als de gebruiker bijvoorbeeld 15 minuten gedrag wil opnemen, moet het aantal mTPM-frames worden ingesteld op 4,84 x (15+5) x 60 = 5808 frames.
   5. Wacht tot de opname is gestopt. Na de opname is er één mTPM-frame .tif-bestand, twee .tdms-bestanden voor mTPM-synchronisatie, twee .tdms_index-bestanden, vier gedragsvideo-.avi-bestanden en één gedragstijdstempel .txt bestand.
   6. Voer de aangepaste synchronisatiecode uit om het mTPM-frame en de gedragsvideo's uit te lijnen. De aangepaste synchronisatiecode staat op https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
      1. Voordat u dit script uitvoert, moet u de bestanden als volgt handmatig ordenen:
         ----\Root path # Het pad om alle gegevens op te slaan
         --------\behavior_all # Het pad om gedragsgegevens op te slaan
         ------------\A-B-C-D-E-caliParas.mat # Kalibratie bestand camera
         ------------\A-B-C-D-E-camera-1.avi # gedragsvideo van camera 1
         ------------\A-B-C-D-E-camera-2.avi # gedragsvideo van camera 2
         ------------\A-B-C-D-E-camera-3.avi # gedragsvideo van camera 3
         ------------\A-B-C-D-E-camera-4.avi # gedragsvideo van camera 4
         ------------\A-B-C-D-E-event.txt # gedrag tijdstempel van 3D gedrag apparaat
         ----\tpm_suite2p # Het pad om mTPM-gegevens op te slaan
         --------\sep # Het pad om mTPM-frames en tijdstempels op te slaan
         ------------\A-B-C-D-E-event # Het pad om tijdstempeluitlijning te doen
         ----------------\beh.tdms # Het .tdms-bestand van het gedragskanaal
         ----------------\beh.tdms_index #The gedragskanaal .tdms_index bestand
         ----------------\tpm.tdms # Het .tdms-bestand van het mTPM-kanaal
         ----------------\tpm.tdms_index # Het mTPM-kanaal .tdms_index bestand
         ------------\A-B-C-D-E-tpm # De weg om mTPM-frames op te slaan
         ----------------\F.tif # De mTPM-frames van elke opname
         --------\process # Het pad om neurale sporen te extraheren
         ------------\C # Het pad van elke muis
         ----------------\F.tif # De mTPM-frames van elke muis
         A tot en met G zijn definities van naamvelden, waarbij
         A betekent experimentele groepen, bijvoorbeeld vrij,
         B betekent de opeenvolging van video's, bijvoorbeeld seg1,
         C betekent de identiteit van dieren, bijvoorbeeld 1tpmss;
         D betekent de interactiepartners, bijvoorbeeld 1wt,
         E betekent de experimentele datum, bijvoorbeeld 20220226, en
         F betekent de chunk van het mTPM-opnameframe (5000 frames per chunk), bijvoorbeeld social 1.
         OPMERKING: De framesnelheid van het 3D-gedragsvolgsysteem is 30 Hz, terwijl die van de mTPM 4,84 Hz is. Aangezien de maximaal haalbare synchronisatieprecisie wordt beperkt door de laagste framesnelheid (4,84 Hz), is de tijdelijke resolutie van synchronisatie ongeveer 206 ms. Gedragstijdstempels dienen als referentie en elk mTPM-frame wordt uitgelijnd met het dichtstbijzijnde gedragstijdstip. Intervallen tussen opeenvolgende mTPM-frames ten opzichte van de gedragstijdlijn worden geïnterpoleerd met behulp van een stapsgewijze aanpak.

2. Registratie van neuro-ethologische gegevens

OPMERKING: Het proces voor het vastleggen van neuro-ethologische gegevens bestaat uit vier belangrijke stappen (Figuur 1B).

1. MTPM monteren
   OPMERKING: Omdat de details van mTPM-montage zijn opgenomen in de tutorial van de mTPM, worden hier alleen de belangrijkste stappen geïntroduceerd.
   1. Bereid het schedelvenster voor.
      OPMERKING: De voorbereiding van het schedelvenster omvat voornamelijk de injectie van het virus, de implantatie van het afdekglas en de fixatie van de metalen plaat. Omdat de beeldvormingsplaatsen in verschillende onderzoeken verschillend zijn, zijn de details van de voorbereiding van het schedelvenster anders. In dit geval wordt de voorbereiding van het schedelvenster uitgevoerd door een outsourcingdienst. Het beeldvormende hersengebied in de voorbeeldgegevens is de primaire somatosensorische cortex (S1).
   2. Bevestig de muishouder aan de mTPM-micromanipulator. Bevestig de kop van de muis aan de houder door de metalen plaat.
   3. Vind de fluorescentie via mTPM. Schakel alle lichten uit voordat u de mTPM-beeldvorming inschakelt. Bevestig de mTPM aan de houder voordat u de volgende stappen uitvoert.
      1. Voeg een druppel Carbomer ooggel toe aan de bovenkant van het schedelvenster. Beweeg de muis door het bewegingsplatform wanneer het schedelvenster is uitgelijnd onder het mTPM-objectief.
      2. Beweeg de micromanipulator verticaal om het beeldvlak te vinden. Verplaats de micromanipulator in het vlak om het beeldvormingsvlak te centreren.
   4. Bevestig de bovenste basis aan de mTPM. Lijm de onderste basis aan de bovenste basis en het schedelvenster.
      1. Om structurele stabiliteit te garanderen, vult u de opening tussen de twee basissen en de metalen plaatbeugel die aan het hoofd van de muis is bevestigd en verlijmt u deze met een hoogwaardige structurele acryllijm. Laat de lijm 30 minuten uitharden voordat u de stabiliteit van de hechting beoordeelt door de basis voorzichtig met een pincet te onderzoeken. Indien nodig wordt extra lijm aangebracht totdat een veilige fixatie is bereikt.
         OPMERKING: Het is essentieel om directe hechting tussen de basis en de mTPM zelf te voorkomen. De bovenste en onderste bases zijn kleine aluminium frames. De bovenste basis is op maat gemaakt om precies aan te sluiten op de onderste contour van de mTPM-behuizing. Lagere bases met meerdere hoogte-opties worden gebruikt om de opening tussen de bovenste basis en het schedelvenster te overbruggen. Alle onderste bases hebben dezelfde vlakke afmetingen als de bovenste basis om mechanische compatibiliteit te garanderen, en verschillen uitsluitend in hoogte om te voldoen aan de verschillende afstanden van schedel tot bovenste basis.
   5. Voeg een druppel Carbomer ooggel toe aan de basiskamer. Controleer de neuronale fluorescentie via mTPM. Als neuronale fluorescentie niet duidelijk zichtbaar is, verwijder dan de lijm met behulp van een schedelboor, zodat de basis kan worden gescheiden, waarna de bovenstaande procedure wordt herhaald totdat fluorescentiehelderheid is bereikt.
   6. Zet de aluminiumfolie met tape vast tussen de vezel van mTPM en het schedelvenster.
      OPMERKING: Deze stap is bedoeld om de juiste lichtafscherming te behouden tijdens het opnameproces. Het gebruik van aluminiumfolie en plakband werd geminimaliseerd om het totale gewicht te verminderen.
   7. Schakel de kamerverlichting in en test de helderheid van mTPM-frames.
2. De muis in een open veld plaatsen
   OPMERKING: Bij deze stap wordt de muis in het open veld geplaatst en wordt gezorgd voor een goede gewichtsverdeling voor de vezel en mTPM.
   1. Blaas minstens 10 heliumballonnen op en bind ze afzonderlijk vast met katoenen touw. Maak de metalen plaat los van de muishouder.
   2. Houd de muis met één hand aan de staart vast. Ondersteun de mTPM-vezel met de andere hand.
   3. Plaats de muis voorzichtig in het open veld. Hang de heliumballonnen met katoenen touw aan de vezel. Pas het aantal ballonnen aan totdat de muis vrij kan bewegen en verken het open veld zonder beperkingen.
      OPMERKING: Het optimale aantal ballonnen wordt bepaald wanneer de muis op de grond blijft, met zijn voorpoten niet opgetild door opwaarts drijfvermogen, terwijl het gewicht van de mTPM nog steeds voldoende tegenwicht biedt om het dier in staat te stellen een natuurlijke hoofdhouding te behouden en spontaan rechtop te staan. Het katoenen touw moet op een hoogte boven het open veld worden vastgemaakt om voldoende vezellengte te garanderen voor onbeperkte bewegingsvrijheid van de muis. Het katoenen touw werd vastgebonden ter hoogte van de optische vezel, die ongeveer was uitgelijnd met de bovenrand van de open veldkamer. In het gegeven voorbeeld wordt, zodra deze stap is voltooid, een onbehandelde muis in het open veld geïntroduceerd om vrije sociale interactie mogelijk te maken.
   4. Sluit de deur van de mTPM-behuizing om storingen van buitenaf tot een minimum te beperken.
3. mTPM-opname inschakelen.
   1. Start de mTPM-opnamesoftware en de mTPM-synchronisatiesoftware. Stel hun pad en parameters in met betrekking tot de stap voor het opzetten van het platform.
   2. Start de opname van mTPM via de mTPM-opnamesoftware. Controleer de aanwezigheid van tijdmarkeringen die overeenkomen met elk frame van twee fotonen in de synchronisatiesoftware.
   3. Beoordeel of het contrast van de beelden met twee fotonen onaangetast blijft en bevestig dat de voortbeweging van de muis de stabiliteit van de opgenomen frames niet in gevaar brengt. Als er problemen worden gedetecteerd, herhaalt u de synchronisatieprocedure en het mTPM-montageproces totdat de beeldvorming met twee fotonen duidelijke frames produceert met nauwkeurig uitgelijnde tijdmarkeringen.
4. Gedragsregistratie inschakelen
   1. Start het aangepaste camerasynchronisatiescript.
      OPMERKING: De aangepaste camerasynchronisatiecode staat op https://github.com/YNCris/natural_behavior_device/blob/main/camera_code/mul_camera_save_video_event.py.
   2. Stel het pad en de parameters in die verwijzen naar de stap voor het tot stand brengen van het platform.
   3. Start de registratie van gedrag via het aangepaste camerasynchronisatiescript. Controleer de aanwezigheid van tijdmarkeringen die overeenkomen met elke 30 gedragsframes in de mTPM-synchronisatiesoftware.
   4. Controleer of de vier videostreams van de camera's correct zijn gesynchroniseerd en controleer de video-opnameparameters van het 3D-gedragsvolgsysteem.
      OPMERKING: In de bovenstaande opstelling gebruiken de camera's een frameresolutie van 640 × 480 pixels, een framerate van 30 frames per seconde, RGB-frames en automatische belichting. Dankzij de automatische belichting kan de camera de helderheid dynamisch aanpassen op basis van het omgevingslicht. Aangezien de belichtingstijd rechtstreeks van invloed is op de haalbare framesnelheid, vooral bij weinig licht waar langere belichtingen nodig zijn, kan de framesnelheid afnemen. Om een stabiele frame-acquisitie bij 30 Hz te garanderen, is het belangrijk om de achtergrondverlichting te regelen om de belichtingstijd te minimaliseren. De instellingen voor cameraversterking en binning worden tijdens de opname op hun standaardwaarden gehouden.
   5. De gedragsregistratie stopt automatisch zodra de vooraf gedefinieerde duur is bereikt. Schakel na het voltooien van de gedragsopname de mTPM-opname en -synchronisatie handmatig uit. Door deze stappen te volgen, wordt een enkele proef met gelijktijdige neurale en gedragsgegevensverzameling voltooid.

3. Voorverwerking van neuro-ethologische gegevens

OPMERKING: Als alle voorgaande stappen met succes zijn voltooid, moeten drie categorieën gegevensbestanden worden verkregen: beeldvormingsframes met twee fotonen (.tif), vier gedragsvideo-opnamen (.avi) samen met een camerakalibratiebestand (.mat) en twee synchronisatietijdstempelbestanden (.tdms) voor daaropvolgende gegevensvoorverwerking (Afbeelding 1C). Deze gegevens moeten handmatig worden hernoemd en in de mappen worden geplaatst die verwijzen naar stap 1.5.7.

1. Voorbewerken van mTPM-gegevens
   1. Extraheer neurale signaaltrajecten uit mTPM-frames via suite2p³⁰. Houd de parameters van suite2p op hun standaardwaarden om reproduceerbaarheid te garanderen. Pas de framesnelheid alleen aan zodat deze overeenkomt met de mTPM-acquisitie-instellingen.
      OPMERKING: Aangezien de volgende stappen signaalverwerking en kwaliteitscontrole omvatten, is het in dit stadium niet nodig om de suite2p-parameters uitgebreid te finetunen. Het handhaven van consistentie tussen datasets is van groter belang.
   2. Voer de aangepaste code uit om de tijdstempels tussen de mTPM-frames en de gedragsvideo's uit te lijnen.
      OPMERKING: Dit script stemt de tijdstempels van gedragsgebeurtenissen uit op de bijbehorende mTPM-acquisitietijden. Het genereert en bewaart indextoewijzingen voor elke opname, waardoor gesynchroniseerde analyse van gedrag en neurale gegevens mogelijk is. Deze aangepaste code staat op https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step1_align_tpm_data.m.
   3. Voer de aangepaste code uit om het gegevensformaat van de suite2p-uitvoer te converteren.
      OPMERKING: Met dit script worden mTPM-gegevens voor individuele dieren geëxtraheerd en gereorganiseerd door relevante frame-indices te identificeren en in kaart te brengen. Het selecteert de overeenkomstige neurale activiteitssporen en herstructureert deze in een gestandaardiseerd gegevensformaat, waardoor gestroomlijnde downstream-analyse van gesegmenteerde opnames mogelijk is. Deze aangepaste code staat op https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step2_separate_tpm_data.m.
   4. Voer de aangepaste code uit om neurale signalen opnieuw te samplen om ze uit te lijnen met gedragsframes.
      OPMERKING: Dit script voert tijdelijke resampling van mTPM-gegevens uit om neurale activiteitssporen uit te lijnen met gedragstijdstempels. Het laadt eerder gesegmenteerde neurale gegevens en synchronisatie-indices, extraheert dienovereenkomstig geresamplede sporen en slaat de uitvoer op in een gestandaardiseerd formaat voor verdere signaalverwerking. De methode van temporele resampling is stapsgewijze interpolatie. Deze aangepaste code staat op https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step3_resample_tpm_data.m.
   5. Voer de aangepaste code uit om neurale trajecten te verfijnen.
      1. Aangezien stapsgewijze interpolatie rinkelende artefacten en hoogfrequente ruis kan introduceren, ontwerpt u een equiripple laagdoorlaatfilter met een doorlaatbandfrequentie van 2 Hz en een stopbandfrequentie van 2,2 Hz om deze artefacten te verminderen. De volgorde van het filter is 61.
      2. Gebruik daarna de ruisonderdrukkingsmethode van Weijian Zong om geresamplede mTPM-calciumsporen¹³ te verfijnen. Het schat lokale basislijnen met behulp van percentiel- en lokale variantiecriteria en berekent de ΔF/F-signalen. ΔF/F is een dimensieloze maat die de relatieve verandering in fluorescentie-intensiteit ten opzichte van de basislijn weergeeft, die vaak wordt gebruikt om neurale activiteit in calciumbeeldvorming te kwantificeren. Aangezien zowel de teller (ΔF) als de noemer (F) zich in willekeurige fluorescentie-eenheden bevinden, heeft de resulterende ΔF/F-waarde geen fysieke eenheid en wordt deze uitgedrukt als een verhouding of percentage. Cellen met extreem vlakke of verzadigde signalen worden uitgesloten op basis van signaalbereikdrempels. De resulterende sporen van neurale activiteit van hoge kwaliteit worden opgeslagen voor downstream-analyse ( Figuur 2A, Figuur 3A en Figuur 4A).
         OPMERKING: De aangepaste code is beschikbaar op https://github.com/YNCris/natural_behavior_device/blob/main/preprocess_code/step4_filter_tpm_data.m.
2. Voorverwerking van gedragsgegevens
   1. Extraheer gedragshoudingen uit video-opnamen met behulp van een anti-drifted pose tracker (ADPT)⁷.
      OPMERKING: ADPT lost het probleem op van frequente puntdrift die wordt waargenomen in convolutionele neurale netwerkgebaseerde methoden zoals DeepLabCut⁶ en SLEAP²². ADPT is met name geschikt voor scenario's met neurale opnameapparatuur, zoals mTPM-beeldvorming bij vrij bewegende dieren, omdat het de puntafwijking veroorzaakt door de vezelbeweging effectief vermindert. De repository van ADPT bevindt zich op https://github.com/tangguoling/ADPT.
      1. Aangezien de experimentele opstelling twee muizen omvat, waarbij de mTPM als identificatie voor een van hen dient, train je twee onafhankelijke ADPT-modellen met één muis om de houdingen van elke muis afzonderlijk te schatten.
      2. Annoteer voor elk model handmatig 16 belangrijke punten 1,10,15,31 - inclusief de neus, het linkeroor, het rechteroor, de nek, de linker- en rechtervoorpoten, de linker- en rechterachterpoten, de linker- en rechtervoorpoten, de linker- en rechterachterpoten, de rug, de staartbasis, het midden van de staart en de staartpunt - voor ongeveer 600 frames, met 150 frames handmatig gelabeld per cameraweergave voor een video van 15 minuten.
      3. Train de ADPT-modellen met behulp van standaardparameters. De details van de trainings- en voorspellingsparameters zijn op https://github.com/tangguoling/ADPT/blob/main/code/config.yaml en https://github.com/tangguoling/ADPT/blob/main/code/config_predict.yaml.
   2. Het reconstrueren van 3D dierlijke houdingen. Eenmaal getraind, past u de twee modellen onafhankelijk van elkaar toe om de houdingen van elke muis te voorspellen op basis van elk van de video's die door verschillende camera's zijn gemaakt. Voeg de resulterende gegevens samen in een enkel tabelbestand voor verdere verwerking.
   3. Voer een 3D-reconstructie uit van de gedragstrajecten met behulp van triangulatie in combinatie met het camerakalibratiebestand³². Verkrijg na reconstructie de bewegingstrajecten van de muis van de proefpersoon (degene die de mTPM draagt, Figuur 2B, Figuur 3B, Figuur 4B) en de objectmuis (de interagerende soortgenoot, Figuur 2C, Figuur 3C, Figuur 4C) voor latere analyse.
   4. In studies naar sociale interactie dienen interindividuele afstanden als kritische indicatoren van sociale dynamiek³³. Bereken de relatieve lichaamsafstanden tussen de twee muizen met behulp van paarsgewijze Euclidische afstanden tussen corresponderende lichaamspunten, en verkrijg kwantitatieve metingen voor verdere analyse van sociaal gedrag ( Figuur 2D, Figuur 3D, Figuur 4D).
   5. Ontleed en classificeer gedragsmotieven.
      OPMERKING: Hoewel de voorgaande stappen fijnmazige houdingstrajecten opleveren, vertellen ze ons nog niet wat het dier aan het doen is. Gedrag verwijst naar hoe een dier zich over een bepaalde periode beweegt, en het toewijzen van gedrag houdt in dat aan elke dergelijke periode een betekenisvol, door de mens interpreteerbaar label wordt gegeven. De normale manier is om menselijke annotaties te gebruiken.
      1. Omdat gedragsregistraties vaak te lang zijn om handmatig in hun geheel te labelen, kunt u machine learning-methoden gebruiken.
         OPMERKING: Supervised learning houdt zich aan vooraf gedefinieerde labelregels: menselijke annotators wijzen labels toe aan geselecteerde gedragssegmenten, die vervolgens worden gebruikt om machine learning of AI-modellen te trainen om labels in de volledige dataset te voorspellen. Hoewel deze benadering de efficiëntie van gedragsclassificatie verbetert, blijft deze beperkt door de beperkte set van door mensen interpreteerbare labels, een bijzonder belangrijke beperking bij het omgaan met complex, naturalistisch gedrag. Om de rijke variabiliteit van naturalistisch gedrag vast te leggen, zijn methoden voor gedragsclassificatie zonder toezicht ontwikkeld. Deze benaderingen identificeren intrinsieke overeenkomsten tussen gedragsmotieven in de loop van de tijd en clusteren ze binnen laagdimensionale kenmerkruimten, waardoor een efficiëntere en onbevooroordeelde menselijke interpretatie mogelijk is. In wezen is gesuperviseerde classificatie gebaseerd op vooraf gedefinieerde menselijke labels om gedragsherkenning te begeleiden, terwijl niet-gesuperviseerde classificatie latente gedragsstructuren blootlegt zonder voorafgaande labeling, wat meer flexibiliteit biedt bij het vastleggen van complexe naturalistische dynamieken.
      2. Identificeer binnen het kader voor naturalistisch gedrag de gedragsmotieven van de twee muizen met behulp van Behavior Atlas (BeA)¹⁰ en Social Behavior Atlas (SBeA)¹ ( Figuur 2E, Figuur 3E, Figuur 4E), beide niet-gesuperviseerde clustermethoden die zijn ontworpen voor gedragssegmentatie. Deze methoden ontleden en clusteren het gedrag van dieren in subsecondemotieven op basis van hun intrinsieke dynamische en hiërarchische structuren³⁴, en associëren ze vervolgens met gedefinieerde gedragscategorieën.
   6. Extraheer gedragsmotieven van individuele muizen met behulp van BeA.
      1. Om ruis te verminderen, past u een mediaanfilter toe met een tijdvenster van 500 ms. Voer lichaamsuitlijning uit met behulp van de belangrijkste punten van de achter- en staartbasis om de ontbinding van niet-locomotorische bewegingen te vergemakkelijken, terwijl de belangrijkste punten van de rechter voorpoot, linker voorledemaat, rechter achterpoot en linker achterpoot worden gebruikt voor normalisatie van de lichaamsgrootte.
      2. Gebruik voor gedragsontleding 39 uitgelijnde lichaamscoördinaten, waaronder: neus (x, y, z), linkeroor (x, y, z), rechteroor (x, y, z), nek (x, y, z), linker voorste ledemaat (x, y, z), rechter voorpoot (x, y, z), linker achterpoot (x, y, z), rechter achterpoot (x, y, z), linker voorpoot (x, y, z), linker voorpoot (x, y, z, z), rechter voorpoot (x, y, z), linker achterpoot (x, y, z), rechter achterpoot (x, y, z), rug (z) en staartbasis (x, z).
      3. Stel de temporele reductie-index in op 5, met een clusterresolutie van 3. Gebruik spectrale clustering voor initialisatie, waarbij een Gaussiaanse kernel wordt gebruikt met een bandbreedtesigma van 30. Stel de minimale en maximale segmentatielengtes in op respectievelijk 500 ms en 2000 ms.
      4. Voor het insluiten van gedragsmotieven past u UMAP toe met 30 naaste buren en een minimale afstand van 0,05. Cluster de motieven door middel van hiërarchische clustering met behulp van de koppeling van Ward en de Euclidische paarsgewijze afstand om de stabiliteit van de classificatie te verbeteren. De repository van BeA bevindt zich op
      5. Identificeer sociale gedragsmotieven met behulp van SBeA. Stel de initialisatieparameters voor SBeA zo in dat ze consistent zijn met die gebruikt in BeA, met de volgende wijzigingen: de mediane filtervenstergrootte wordt ingesteld op 1000 ms, de minimale segmentatielengte wordt verlengd tot 2000 ms en de maximale segmentatielengte wordt verlengd tot 5000 ms voor ontleding van sociaal gedrag.
      6. Voor het insluiten van motieven past u een Gaussiaanse kern toe met een bandbreedtesigma van 2. Het uiteindelijke aantal clusters van sociaal gedrag varieert van 16 (ondergrens) tot 280 (bovengrens). In de gepresenteerde voorbeelden worden alleen de 16 grootste clusters gebruikt voor demonstratiedoeleinden. De repository van SBeA bevindt zich op https://github.com/YNCris/SBeA_release/blob/main/README_SBeA_mapper.md.

4. Neuro-ethologische gegevens in kaart brengen

1. Bereid toewijzingsgegevenssets voor. Na de bovengenoemde voorbereidingen zijn er zeven datasets beschikbaar voor neuro-ethologische kartering, waaronder neuronale activiteiten, onderwerphoudingen, objecthoudingen, lichaamsafstanden, motieven voor onderwerpgedrag, motieven voor objectgedrag en motieven voor sociaal gedrag. Organiseer deze bestanden handmatig als volgt:
   Gegevenspad # Het pad om alle gegevens op te slaan
   ----\A-B-C-D-E-neu.mat # Neuronale activiteiten
   ----\A-B-C-D-E-pose-tpm.mat # Onderwerp poseert
   ----\A-B-C-D-E-pose-free.mat # Object poseert
   ----\A-B-C-D-E-rel_dist.mat # Lichaamsafstanden
   ----\A-B-C-D-E-mov-tpm.mat # Motieven voor het gedrag van het onderwerp
   ----\A-B-C-D-E-mov-free.mat # Motieven voor objectgedrag
   ----\A-B-C-D-E-sbea.mat # Motieven voor sociaal gedrag
   De definities van de velden A, B, C, D en E zijn hetzelfde als in 1.5.7. De demogegevens voor reproductie zijn op https://doi.org/10.6084/m9.figshare.29606795.v1.
2. Maak de inbeddingen van de toewijzing met behulp van CEBRA.
   OPMERKING: Aangezien CEBRA zowel hypothesegestuurde als ontdekkingsgestuurde benaderingen integreert om inbeddingen te construeren, is het zeer geschikt voor het blootleggen van neurale representaties die verband houden met verschillende hulpvariabelen (Figuur 5A).
   1. Om een systematische vergelijking van inbeddingen over verschillende modaliteiten te garanderen, moeten de parameters van de CEBRA-modellen worden gestandaardiseerd. De modelarchitectuur maakt gebruik van de 10 offsets, met een batchgrootte van 1024, een leersnelheid van 0,0001 en een temperatuurparameter van 1.
   2. Stel de uitvoerdimensie in op 3 en voer training uit voor maximaal 15.000 iteraties. Gebruik de cosinusafstand als de gelijkenismetriek, terwijl de voorwaardelijke variabele wordt gedefinieerd als de tijddelta met een tijdverschuiving van 10. Gebruik de neuronale activiteitsgegevens als invoer en hulpvariabelen als labels om gezamenlijke inbeddingen te genereren.
3. Voor de zelfinbedding van neuronale activiteiten past u dezelfde CEBRA-parameters toe, maar gebruikt u alleen neuronale activiteitsgegevens als invoer.

Results

De studie van natuurlijk gedrag brengt een grotere complexiteit met zich mee in vergelijking met proefexperimenten. Ten eerste missen zowel neurale activiteit als gedrag in natuurlijke omstandigheden een vaste basislijn. Deze activiteiten zijn terugkerend, wat betekent dat ze worden beïnvloed door eerdere toestanden, en dus slaagt het afstemmen van het begin van specifiek gedrag voor de vergelijking van neurale activiteit er niet in om de effecten van eerdere neuro-ethologische toestanden te ontwarren. Ten tweede vindt neurale codering in natuurlijk gedrag voornamelijk plaats op populatieniveau ^4,5. De variabiliteit die in afzonderlijke neuronen wordt waargenomen, is substantieel genoeg om als ruis te worden beschouwd. Om dit te valideren, voerde dit deel een correlatieanalyse uit tussen neurale activiteit en natuurlijke gedragshoudingen (Figuur 2F, Figuur 3F, Figuur 4F). De resulterende correlatiecoëfficiëntmatrices onthulden geen neuronspecifieke correspondentie met de posesporen. In het bijzonder vielen de correlatiecoëfficiënten tussen neurale signalen en onderwerphoudingen, objecthoudingen of afstanden tussen lichamen allemaal binnen het bereik van -0,3 tot +0,3, algemeen beschouwd als zwakke correlaties¹⁵ (Figuur 2G, Figuur 3G, Figuur 4G). Deze bevindingen geven aan dat, onder naturalistische omstandigheden, pose-gerelateerde informatie niet op een neuronspecifieke manier wordt gecodeerd.

Gezien deze factoren biedt dit raamwerk een objectieve benadering om neuro-ethologische gegevens op neuraal populatieniveau vast te leggen en in kaart te brengen. mTPM-beeldvorming zorgt ervoor dat de variabiliteit van individuele neuronen zo veel mogelijk behouden blijft. Bovendien genereert het gebruik van op deep learning gebaseerde pose-schatting door ADPT en methoden voor gedragsdecompositie zonder toezicht, zoals BeA en SBeA, rijke hulpvariabelen, waardoor CEBRA de variabiliteit binnen neurale populaties effectief kan interpreteren.

Deze voorbeelden tonen aan dat de gezamenlijke CEBRA-inbeddingen aanwezig zijn in alle hulpvariabelen, waaronder onderwerphoudingen, objecthoudingen, lichaamsafstanden, onderwerpgedragsmotieven, objectgedragsmotieven en sociale gedragsmotieven (Figuur 5A). Om de consistentie van gedragsmotieven en neurale inbeddingen in sessies of proefpersonen te verifiëren, wordt Procrustes-analyse³⁵ gebruikt over drie muisparen (Figuur 5B). Aangezien CEBRA-inbeddingen verdeeld zijn over een eenheidsbol, was alleen de rotatieparameter in de Procrustes-analyse ingeschakeld. Aangezien de CEBRA-inbeddingen met natuurlijk gedrag geen duidelijke basislijn hebben, voerde dit deel eerst labelgeleide uitlijningsbemonstering uit op de inbeddingen om uit te lijnen, waarbij consistente ankerpunten werden gegarandeerd voordat Procrustes-analyse werd toegepast. Visueel vertonen deze CEBRA-inbeddingen een zekere mate van intrinsieke consistentie, waarbij lichaamsafstand en sociale motieven de hoogste afstemming vertonen. Het past bij de kwantificering van de RMSE voor en na de uitlijning van Procrustes (Figuur 5C). Vervolgens wordt de nauwkeurigheid van de inbeddingsdecodering vergeleken voor poses (Figuur 5D) en motieven (Figuur 5E). Hoewel hun representaties verschillen, is elk met hoge nauwkeurigheid te decoderen. Hoewel de decodering van de RMSE van de lichaamsafstand aanzienlijk hoger is dan de poses van het onderwerp en het object, is het niet meer dan de volgnauwkeurigheid van ADPT⁷.

Om de oorsprong van deze hypothesegestuurde inbeddingen te onderzoeken, werd een zelfgeorganiseerde inbedding van neurale activiteit gegenereerd via CEBRA (Figuur 5A, rechterkolom). De vorm van de neurale inbedding is ingewikkelder dan die van de andere gewrichtsinbeddingen, waarbij patronen van verschillende gewrichtsinbeddingen zijn opgenomen. Bovendien werden de overeenkomsten tussen neurale inbeddingen en gewrichtsinbeddingen vergeleken met behulp van Procrustes-transformatie, en vervolgens werden hun cosinusovereenkomsten vergeleken (Figuur 5F). De cosinusovereenkomst wordt per minuut afgeleid tussen de uitgelijnde inbeddingen op overeenkomstige tijdstippen.

De gezamenlijke inbedding van de S1-proefpersoon werd geselecteerd als basis voor gelijkenisvergelijkingen op basis van de gevestigde rol van de S1 bij het coderen van zelfgeorganiseerde somatosensorische inputs³⁶. Deze inbedding dient als een biologisch betekenisvol referentiepunt voor het evalueren van hoe andere variabelen, zoals objectgerelateerde motieven, worden weergegeven binnen dezelfde neurale ruimte. Dergelijke vergelijkingen stellen ons in staat om de relatieve sterkte van codering voor verschillende gedragsdimensies te beoordelen met betrekking tot een zelfgerelateerde somatosensorische basislijn.

Bij het vergelijken van de cosinusgelijkenis van neurale inbeddingen met de S1-subject poses gewrichtsinbedding als basislijn, blijkt uit deze studie dat de gewrichtsinbeddingen voor objectmotieven significant lager zijn. Dit suggereert dat, tijdens de periode van 15 minuten van vrije sociale interactie in dit voorbeeld, de S1 neurale activiteiten van de proefmuis voornamelijk zowel zijn gedrag als de voortdurende sociale interacties coderen. Hoewel deze analyse dient als een demonstratief geval, kan hetzelfde methodologische kader gemakkelijk worden toegepast op meer gedetailleerde onderzoeken, bijvoorbeeld door inbeddingsstructuren in verschillende tijdsperioden te vergelijken om dynamische verschuivingen in neurale codering aan het licht te brengen.

Figuur 1: Procedure voor het verzamelen van neuro-ethologische gegevens. (A) De integratie van apparaten. (B) De werking van gegevensregistratie. (C) Neurale signaalextractie, schatting van de 2D-houding en reconstructie van de 3D-lichaamsbaan na opname. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Voorbewerkte gegevens van muis 1 voor verdere analyse. (A) Neuronale activiteiten. (B) Onderwerp poses. (C) Object poses. (D) Afstand van het lichaam. (E) Gedragsmotieven. Van boven naar beneden zijn subject-, object- en sociale gedragsmotieven. (F) De correlatiecoëfficiëntmatrices tussen neurale activiteit en poses. Links: de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Midden: de correlatiecoëfficiënten tussen neurale activiteit en objecthoudingen. Rechts: de correlatiecoëfficiënten tussen neurale activiteit en lichaamsafstand. De correlatiecoëfficiënten zijn tussen elk neuronspoor en elke pose-dimensie. (G) De verdelingen van correlatiecoëfficiënten van F. De neuronindices worden gesorteerd op basis van de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Afkortingen: N & S = neurale activiteit en subject poses, N & O = neurale activiteit en object poses, N & B = neurale activiteit en lichaamsafstanden, CC = correlatiecoëfficiënten. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Voorbewerkte gegevens van muis 2 voor verdere analyse. (A) Neuronale activiteiten. (B) Onderwerp poses. (C) Object poses. (D) Afstand van het lichaam. (E) Gedragsmotieven. Van boven naar beneden zijn subject-, object- en sociale gedragsmotieven. (F) De correlatiecoëfficiëntmatrices tussen neurale activiteit en poses. Links: de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Midden: de correlatiecoëfficiënten tussen neurale activiteit en objecthoudingen. Rechts: de correlatiecoëfficiënten tussen neurale activiteit en lichaamsafstand. De correlatiecoëfficiënten zijn tussen elk neuronspoor en elke pose-dimensie. (G) De verdelingen van correlatiecoëfficiënten van F. De neuronindices worden gesorteerd op basis van de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Afkortingen: N & S = neurale activiteit en subject poses, N & O = neurale activiteit en object poses, N & B = neurale activiteit en lichaamsafstanden, CC = correlatiecoëfficiënten. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Voorbewerkte gegevens van muis 3 voor verdere analyse. (A) Neuronale activiteiten. (B) Onderwerp poses. (C) Object poses. (D) Afstand van het lichaam. (E) Gedragsmotieven. Van boven naar beneden zijn subject-, object- en sociale gedragsmotieven. (F) De correlatiecoëfficiëntmatrices tussen neurale activiteit en poses. Links: de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Midden: de correlatiecoëfficiënten tussen neurale activiteit en objecthoudingen. Rechts: de correlatiecoëfficiënten tussen neurale activiteit en lichaamsafstand. De correlatiecoëfficiënten zijn tussen elk neuronspoor en elke pose-dimensie. (G) De verdelingen van correlatiecoëfficiënten van F. De neuronindices worden gesorteerd op basis van de correlatiecoëfficiënten tussen neurale activiteit en onderwerphoudingen. Afkortingen: N & S = neurale activiteit en subject poses, N & O = neurale activiteit en object poses, N & B = neurale activiteit en lichaamsafstanden, CC = correlatiecoëfficiënten. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Analyse van CEBRA-inbeddingen van neuro-ethologische gegevens. (A) CEBRA-inbeddingen. Van links naar rechts zijn de gezamenlijke inbedding van S1 neurale activiteit en onderwerpsposes, de gezamenlijke inbedding van S1 neurale activiteit en objecthoudingen, de gezamenlijke inbedding van S1 neurale activiteit en lichaamsafstanden tussen twee dieren, de gezamenlijke inbedding van S1 neurale activiteit en gedragsmotieven van proefpersonen, de gezamenlijke inbedding van S1 neurale activiteit en objectgedragsmotieven, de gezamenlijke inbedding van S1 neurale activiteit en sociale gedragsmotieven, en de neurale inbedding van S1. (B) De Procrustes-analyse brengt de bovenstaande inbeddingen op één lijn. De grijze cirkels vertegenwoordigen het muispaar 1 en dienen als referentie-inbedding. De groene plustekens staan voor muispaar 2 en de oranje kruisjes staan voor muispaar 3, beide uitgelijnd met muispaar 1. (C) De gemiddelde kwadratische fout (RMSE) voor (links) en na (rechts) uitlijning van de procrustes (gepaarde t-toets, n=3, gemiddelde ± SEM). (D) De RMSE van pose-reconstructie van CEBRA-inbeddingen (eenrichtings-ANOVA gevolgd door Tukey's meervoudige vergelijkingstest, n=3, gemiddelde ± SEM). (E) De nauwkeurigheid van motiefreconstructie van CEBRA-inbeddingen (eenrichtings-ANOVA gevolgd door Tukey's meervoudige vergelijkingstest, n=3, gemiddelde ± SEM). (F) De cosinusovereenkomsten tussen gewrichtsinbeddingen en neurale inbedding van S1 (eenrichtings-ANOVA gevolgd door de meervoudige vergelijkingstest van Dunnett, n=45, gemiddelde ± SEM). *p < 0,05, **p < 0,01, ***p < 0,001. Klik hier om een grotere versie van deze figuur te bekijken.

Nee.	Waargenomen probleem	Waarschijnlijke oorzaak	Mogelijke oplossingen
1	Geen tijdstempels voor gedrag	(1) Defecte SMA- of BNC-kabels	(1) Vervang SMA- en BNC-kabels
		(2) Ontbrekend USB-naar-TTL-stuurprogramma	(2) Installeer het productieve PL2303 USB-stuurprogramma
		(3) Onjuiste COM-poortselectie	(3) Controleer het COM-poortnummer in Apparaatbeheer en werk het bij in zowel de mTPM-software als het camerascript voor gedrag.
2	Geen zichtbare fluorescentie tijdens mTPM-montage	(1) Gebrek aan virale expressie	(1) Gebruik een andere muis
		(2) Onjuist gezichtsveld	(2) Pas het gezichtsveld aan
		(3) Onvoldoende laservermogen	(3) Verhoog geleidelijk het laservermogen
		(4) Gedroogde Carbomer gel	(4) Breng opnieuw verse Carbomeer-gel aan
3	mTPM-beeldvorming toont een volledig wit scherm	(1) Lichte lekkage	(1) Wikkel de aluminiumfolie opnieuw in voor een goede afscherming
		(2) Onvoldoende laservermogen	(2) Verhoog geleidelijk het laservermogen
		(3) Losgemaakte vezel van de mTPM-kop	(3) Plaats de vezel terug in de mTPM en draai de bevestigingsschroef vast
4	Verwijderde frames in gedragsvideo	(1) Weinig omgevingslicht	(1) Verhoog de achtergrondverlichting
		(2) Onjuiste USB-poort	(2) Gebruik ten minste USB 3.0-poorten
		(3) Onvoldoende computerprestaties	(3) Gebruik een machine met Intel i7-9700K of hoger, dual-channel RAM en SSD-opslag.
5	Geen voortbeweging bij mTPM-gemonteerde muizen	(1) Herhaald gebruik van dezelfde muis	(1) Vermijd hergebruik van muizen binnen 3 dagen
		(2) Overmatig gebruik van aluminiumfolie	(2) Gebruik minimale folie die nodig is voor lichtafscherming
		(3) Onvoldoende aantal of volume heliumballonnen	(3) Pas het aantal en het opblazen van ballonnen aan om de mTPM-vezel te ondersteunen en tegelijkertijd de natuurlijke houding en beweging van muizen mogelijk te maken.
6	Onnauwkeurige schatting van de 2D-pose	(1) Onvoldoende aantal handmatig gelabelde frames	(1) Annoteer ten minste 200 frames stapsgewijs
		(2) Onderopgeleid ADPT-model	(2) Verhoog de trainingsepochs in het config.yaml-bestand van ADPT
7	Abnormale 3D-posereconstructie	(1) Onjuiste camerakalibratie	(1) Verbeter kalibratiecontrast en kantelhoek
		(2) Onnauwkeurige invoer van 2D-poses	(2) Verhoog het aantal vastgelegde afrekenframes
			(3) Los eerst de 2D-problemen op (zie probleem 6)
8	Verkeerde afstemming tussen neurale en gedragsgegevens	(1) Onjuiste volgorde van software-initialisatie	(1) Start altijd met mTPM-opname voordat u de camera gedraagt
		(2) Weggelaten gedragsframes	(2) Problemen met framedrop aanpakken (zie probleem 4)
			(3) Zorg ervoor dat er voldoende schijfruimte beschikbaar is
9	Geheugenoverloop tijdens BeA/SBeA-verwerking	(1) Te lange opnameduur	(1) Splits opnames op in kortere segmenten (5-60 minuten) en voer vervolgens BeA/SBeA uit
		(2) Beperkt systeem-RAM	(2) Verhoog de temporele reductiefactor (bijv. van 5 naar 10) in BeA
			(3) Upgrade het RAM-geheugen naar ten minste 64 GB
10	CEBRA kan niet draaien op GPU	(1) Mismatch tussen CUDA en GPU-stuurprogramma	(1) Volg niet direct de tutorial om CUDA 11.3 te installeren
		(2) Incompatibele PyTorch-versie	(2) Controleer uw GPU-model en stuurprogrammaversie (nvidia-smi)
			(3) Installeer de juiste CUDA- en PyTorch-versies dienovereenkomstig en installeer vervolgens CEBRA via pip

Tabel 1: Lijst met probleemoplossing. Het volgende is een lijst van 10 eerder tegengekomen niet-triviale problemen en mogelijke oplossingen.

Discussion

Dit neuro-ethologische opname- en decoderingskader is gebouwd op in de handel verkrijgbare apparaten, zodat de meeste problemen met het oplossen van problemen door de respectieve bedrijven kunnen worden aangepakt. Toch biedt deze studie een lijst met vaak voorkomende problemen om referentie te vergemakkelijken en probleemoplossing te stroomlijnen (Tabel 1). Deze toegankelijkheid maakt het framework gebruiksvriendelijker voor nieuwkomers. Bovendien is het raamwerk zeer flexibel, waarbij synchronisatie tussen neurale en gedragsopnames afhankelijk is van standaard TTL-signalen. Als gevolg hiervan is het eenvoudig om indien nodig andere fysiologische opnameapparaten in het raamwerk te integreren. De daaropvolgende analyseprocedures zijn ook voldoende algemeen om volledig op maat gemaakte neurale en gedragsregistratiesystemen te ondersteunen.

De kosten die gepaard gaan met dit framework, dat is gebaseerd op gecommercialiseerde apparaten, zijn relatief hoog (~500.000 USD), waardoor het lab een extra financiële last krijgt. Hoewel recente open-source tools zoals MINI2P¹³ en Anipose³⁷ kunnen helpen de materiaalkosten te verlagen, suggereert deze ervaring dat de totale kosten vergelijkbaar zullen blijven wanneer rekening wordt gehouden met de personeelskosten die gemoeid zijn met debugging. Een andere beperking van dit raamwerk ligt in de interpreteerbaarheid van CEBRA-inbeddingen. Als een methode op basis van kunstmatige neurale netwerken, is het inherent uitdagend om te interpreteren. Hoewel dit voorbeeld een eenvoudige benadering biedt om de inbeddingen uit te leggen, zullen er van geval tot geval verdere methoden moeten worden ontwikkeld voor verschillende projecten. Een mogelijke oplossing voor verdere interpretatie van CEBRA-inbeddingen is de toepassing van dynamische systemen³⁸. Bovendien kan natuurlijk gedrag worden gesegmenteerd in verschillende fasen, zoals interacties wanneer de twee muizen ver of dichtbij zijn. Verschillende wetenschappelijke vragen kunnen de ontwikkeling van op maat gemaakte workflows voor gegevensanalyse vereisen.

Hoewel het huidige mTPM + 3D-camerasysteem wordt ingezet in een open veldarena, is de toepassing ervan niet beperkt tot deze specifieke gedragscontext. De belangrijkste beperkingen vloeien voort uit de fysieke tethering van het beeldvormingssysteem, die de mate van mobiliteit van dieren beperkt, en het gezichtsveld van de 3D-camera, dat het traceerbare volume beperkt. Deze factoren kunnen in toekomstige iteraties worden aangepakt door draadloze beeldvormingsmodules³⁹ of trap-camera-arrays⁴⁰ op te nemen om complexere en naturalistische gedragsparadigma's mogelijk te maken. Met name zijn zowel het mTPM-systeem als de 3D-camera-opstelling in staat tot continue 24-uurs gegevensverzameling^10,41, waardoor de hele pijplijn zeer geschikt is voor gedrags- en neurale opnamestudies op lange termijn.

Deze studie hanteert een volledig datagestuurde benadering om de neurale codering van spontaan gedrag te onderzoeken, en ziet daarom opzettelijk af van het toekennen van vooraf gedefinieerde semantische labels aan geclusterde gedragsmotieven. Deze beslissing is geworteld in het doel om de generaliseerbaarheid van het raamwerk voor het in kaart brengen van neuraal gedrag te behouden, waardoor het onafhankelijk kan opereren van door de onderzoeker opgelegde gedragscategorieën. Lezers die geïnteresseerd zijn in de biologische interpreteerbaarheid en gesuperviseerde classificatie van gedragsmotieven kunnen verwijzen naar eerdere werken ^1,10, evenals een recente studie⁴², waarin systematisch niet-gesuperviseerde motiefclustering werd vergeleken met handmatig gelabeld gedrag met behulp van hetzelfde onderliggende Behavior Atlas-raamwerk. Deze studies bieden ook uitgebreide visualisaties, waaronder 3D-posesequenties, trajecten en inbeddingen op motiefniveau, beschikbaar via openbare repositories. Samen bieden deze bronnen complementaire inzichten in de semantische structuur van gedrag en ondersteunen ze de flexibele, generaliseerbare neurale decoderingsbenadering die hier wordt toegepast.

Deze gegevensverwerkingspijplijn is ontworpen met het oog op modulariteit en flexibiliteit, waardoor aanpassing aan diverse experimentele omgevingen en gebruikersvoorkeuren mogelijk is. Elk belangrijk onderdeel van de pijplijn, variërend van 3D-poseschatting, clustering van gedragsmotieven zonder toezicht, voorverwerking van neurale signalen tot gezamenlijke neuro-ethologische inbedding, wordt geïmplementeerd als een onafhankelijke module met duidelijk gedefinieerde invoer- en uitvoerinterfaces. Deze architectuur stelt gebruikers in staat om in elke fase alternatieve tools of algoritmen te vervangen (bijv. verschillende pose-schattingskaders ^6,22, gedragsclustering-algoritmen^43,44 of neurale decoders^45,46) zonder de algehele workflow te verstoren. Hoewel deze componenten zijn ontworpen om interoperabel te zijn, zijn in deze studie niet alle mogelijke combinaties van alternatieve methoden uitputtend getest en moeten gebruikers mogelijk extra afstemming uitvoeren om compatibiliteit in hun specifieke toepassingen te garanderen. Een dergelijke modulariteit vergemakkelijkt zowel reproduceerbaarheid als uitbreidbaarheid, en maakt het mogelijk het raamwerk aan te passen aan soorten, registratiemodaliteiten of gedragsparadigma's die verder gaan dan die welke hier worden gedemonstreerd. Om een breder gebruik door de gemeenschap te ondersteunen, biedt deze studie een schematisch overzicht en een samenvattende tabel (Figuur 1, Materiaaltabel).

De parameterinstellingen die in deze pijplijn voor SBeA en CEBRA worden gebruikt, zijn gebaseerd op een combinatie van standaardwaarden en empirische afstemming die specifiek is voor deze experimentele context, waarbij muizen vrij kunnen bewegen onder natuurlijke sociale interactie. Deze parameters zijn gevalideerd om alle resultaten van dit onderzoek te reproduceren zonder dat verdere aanpassingen nodig zijn. Hoewel gebruikers bepaalde parameters mogelijk willen afstemmen op verschillende opname-instellingen of gedragstaken, zijn dergelijke wijzigingen niet nodig voor het repliceren van deze pijplijn. Voor gebruikers die in andere contexten werken, wordt aanbevolen de originele documentatie en literatuur voor SBeA en CEBRA te raadplegen, waar parameterbereiken en taakspecifieke richtlijnen worden gegeven. Deze implementatie dient als een robuuste referentieconfiguratie die direct kan worden toegepast of aangepast als dat nodig is.

De primaire vooruitgang van dit raamwerk ligt in de toepassing ervan op vrij bewegende dieren. Eerdere studies uitgevoerd met dieren die aan het hoofd zijn gefixeerd, kunnen binnen dit kader worden aangepast aan vrij bewegende omstandigheden. Taken zoals de Go/No-Go Task⁴⁷ en Two-Alternative Forced Choice⁴⁸ kunnen bijvoorbeeld worden aangepast en geïntegreerd in dit raamwerk op basis van natuurlijke gedragsparadigma's. Deze benadering elimineert artefacten veroorzaakt door hoofdbeperking, waardoor de relatie tussen taak- en natuurlijke gedragstoestanden kan worden bestudeerd. Dit kader geeft dieren meer autonomie bij het nemen van beslissingen. Het ondersteunt ook de studies van het ruggenmerg in naturalistische contexten, waarbij de mTPM-opnamemethode voor het ruggenmerg wordt gecombineerd⁴⁹. Bovendien vergemakkelijkt het de studie van vrij groepsgedrag, een fenomeen dat niet haalbaar is in hoofdgefixeerde opstellingen. De workflow voor gegevensanalyse maakt de interpretatie van neurale populatieactiviteit over meerdere variabelen mogelijk, met behulp van inbeddingen om de complexiteit van de hersenfunctie achter neurale populaties te ontrafelen.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3D gedragsregistratiesysteem	BayONE Scientific	BA-3D-Muis	Geïntegreerde synchronisatiemodule
Ballon	AliExpress	URL: https://tinyurl.com/3uex669s	Elke ballon die licht genoeg is om te vliegen wanneer gevuld met helium. De ballonnen zijn ronde folieballonnen, ongeveer 45 cm in diameter, en hebben zelfsluitende kleppen. De URL biedt een voorbeeld van de ballonnen.
Carbomer ooggel	Vidisic	Carbomer 980 gebaseerde smerende ooggel	10g
Katoenen touw	AliExpress	URL: https://tinyurl.com/ywu7u754	Dik en licht, 1-2 mm diameter. De URL biedt een voorbeeld van het katoenen touw.
Craniale boor	RWD	78001	0,8, 1,4 en 2,1 mm boor
Aangepaste cameramodule configureerbaar	Intel	RealSense D435	/
Hoogwaardig acryl structureel hechtmiddel	HUITIAN	1320	490ml
Muis voor beeldvorming	TRANSCEND VIVOSCOPE	URL: https://en.tv-scope.com/	De mannelijke muis met C57BL/6J achtergrond (10 weken oud) werd gehuisvest in 1 muis per kooi onder een 12 h licht-donker cyclus bij 22–25 °C met 40%–70% vochtigheid en kreeg vrij toegang tot water en voedsel ad libitum. AAV9-CaMKII-GCaMP6s virussen werden geïnjecteerd in zijn primaire somatosensorische cortex (AP, −0.60 mm; ML, −2.40 mm; DV, 2.00 mm). In ons onderzoek werden de muizen voorbereid door TRANSCEND VIVOSCOPE als onderdeel van hun professionele dierenvoorbereidingsdienst. Deze dienst omvat virusinjectie, craniale vensterimplantatie en basisplaatinstallatie specifiek afgestemd op hun miniatuur twee-foton microscopie systeem.
Muis voor interactie	BayONE LAC	URL: https://lac.bayonesci.com/	De mannelijke muizen met C57BL/6J achtergrond (10 weken oud) werden gehuisvest in 5 muizen per kooi onder een 12 h licht-donker cyclus bij 22–25 °C met 40–70% vochtigheid en kreeg vrij toegang tot water en voedsel ad libitum. Alle veehouderij- en experimentele procedures werden goedgekeurd door het Animal Care and Use Committee van het Shenzhen Institute of Advanced Technology, Chinese Academy of Sciences.
mTPM neurologische registratiesysteem	TRANSCEND VIVOSCOPE	SUPERNOVA-600	De SUPERNOVA-600 is een volledig geïntegreerd miniatuur twee-foton beeldvormingssysteem voor vrij bewegende knaagdieren, inclusief alle essentiële optische en registratiecomponenten, maar met uitsluiting van externe stimulatieapparaten. Het zou de geïntegreerde synchronisatiemodule moeten bevatten.