Gebruik van vmTracking om de nauwkeurigheid van het schatten van houdingen van meerdere dieren in onderzoeken naar sociaal gedrag bij knaagdieren te verbeteren

Summary

Dit protocol introduceert vmTracking, een methode die het mogelijk maakt om zeer nauwkeurige poses te volgen in video's van meerdere vrij bewegende, markerloze dieren, zelfs onder drukke omstandigheden waar dieren dicht op elkaar staan. Deze aanpak levert betrouwbare gegevens op voor het analyseren van sociale interacties die plaatsvinden in semi-natuurlijke omgevingen waar dieren vrij kunnen bewegen.

Abstract

In onderzoek naar sociaal gedrag met behulp van knaagdieren is er een groeiende vraag naar het evalueren van meer natuurlijk interactief gedrag onder vrij bewegende omstandigheden. Het nauwkeurig volgen van de pose van meerdere dieren is essentieel voor dit doel. De huidige markerloze tools voor het volgen van poses met meerdere dieren staan echter voor een grote uitdaging: de nauwkeurigheid van het volgen heeft de neiging af te nemen onder omstandigheden van occlusie en drukte. Dit probleem wordt vooral uitgesproken wanneer de dieren visueel niet van elkaar te onderscheiden zijn. Om dit probleem op te lossen, hebben we virtuele marker tracking (vmTracking) ontwikkeld, een methode die de nauwkeurigheid van het volgen van poses met meerdere dieren onder dergelijke uitdagende omstandigheden verbetert door de individuele identiteit over frames heen te behouden met behulp van virtuele markeringen. vmTracking kan ook worden toegepast op bestaande markerloze videogegevens met meerdere dieren door extra verwerkingsstappen op te nemen die individuele identiteitslabels toevoegen aan standaard trackingworkflows. Hier beschrijven we zowel de methode voor het toewijzen van virtuele markers als het protocol voor het volgen van dieren in de resulterende gelabelde video's. Zeer nauwkeurige tracking van meerdere dieren, mogelijk gemaakt door vmTracking, biedt een betrouwbare basis voor daaropvolgende kwantitatieve analyses van sociale interacties onder semi-natuurlijke omstandigheden.

Introduction

Onderzoek naar het sociale gedrag van knaagdieren heeft steeds meer de nadruk gelegd op de studie van interacties in meer naturalistische sociale contexten¹. Traditionele benaderingen, zoals de driekamertest, zijn op grote schaal gebruikt om gezelligheid en sociale voorkeur te evalueren², maar deze paradigma's omvatten alleen vereenvoudigde aspecten van sociale interactie³. Om aan deze behoefte te voldoen, zijn DeepLabCut (maDLC)⁴ en Social LEAP Estimates Animal Poses (SLEAP)⁵ onmisbare hulpmiddelen geworden voor het markerloos volgen van poses van meerdere dieren in vrij bewegende omstandigheden, en bieden ze geavanceerde op deep learning gebaseerde technologie voor het markerloos volgen van poses met meerdere dieren. In drukke omgevingen waar dieren dicht bij elkaar zijn, zijn deze tools echter gevoelig voor volgfouten, zoals voorspellingsfouten en identiteitswisselingen (ID). Het verkrijgen van betrouwbare gegevens onder dergelijke omstandigheden vereist vaak uitgebreide handmatige correctie.

Het nauwkeurig volgen van poses van meerdere vrij bewegende dieren opent de deur naar het onderzoeken van complexere sociale dynamieken. Gedetailleerde trackinggegevens maken bijvoorbeeld de evaluatie mogelijk van leider-volgerrelaties, benaderingsvermijdingsgedrag tijdens beweging en andere genuanceerde interactiepatronen die niet betrouwbaar kunnen worden beoordeeld met conventionele gedragstests. Dergelijke ontwikkelingen breiden het nut van het volgen van meerdere dieren uit tot meer dan relatief eenvoudige beschrijvende gedragsmetingen, waardoor analyses van complexere sociale interacties mogelijk worden.

Een manier om de nauwkeurigheid van het volgen te verbeteren, is door een duidelijk onderscheid te maken tussen individuele dieren. Bordes⁶ demonstreerde bijvoorbeeld het gelijktijdig volgen van een witte CD1-muis en een zwarte C57BL/6N-muis met behulp van DeepLabCut (saDLC)⁷ met één dier. Deze bevinding suggereert dat wanneer dieren visueel te onderscheiden zijn, nauwkeurige individuele tracking haalbaar is. Het gebruik van fysieke markers voor identificatie kan echter het natuurlijke gedrag veranderen. Zelfs minimaal invasieve methoden, zoals het implanteren van radiofrequentie-identificatietags⁸, geven aanleiding tot bezorgdheid over hun mogelijke effecten op het gedrag.

Hier presenteren we een methode voor het volgen van poses met meerdere dieren die gebruik maakt van virtuele markers (vmTracking)⁹ voor niet-invasieve individuele identificatie. Een nauwkeurige evaluatie van sociaal gedrag, rekening houdend met de sociale context, vereist zeer nauwkeurige gegevens over het volgen van poses van meerdere dieren. vmTracking is ontwikkeld om aan deze behoefte te voldoen door een betrouwbaar protocol te bieden - in plaats van een nieuwe software of algoritme - voor het verkrijgen van dergelijke hoogwaardige trackinggegevens met behulp van bestaande tools zoals DLC. Daarom valt sociale gedragsanalyse op basis van deze gegevens buiten het bestek van dit protocol. vmTracking omvat twee hoofdstappen: het toevoegen van virtuele markeringen aan markerloze video's en het volgen van de resulterende virtuele markeringsvideo's. Deze methode maakt het mogelijk om poses zeer nauwkeurig te volgen zonder dat er fysieke markeringen nodig zijn, zelfs in omstandigheden waarbij drie of meer visueel niet te onderscheiden dieren van dezelfde stam betrokken zijn. Door betrouwbare tracking onder semi-naturalistische omstandigheden mogelijk te maken, biedt vmTracking een effectief hulpmiddel voor het bevorderen van onderzoek naar complexe sociale interacties, met mogelijke toepassingen in de gedragswetenschappen, psychologie en neurowetenschappen.

Protocol

Alle experimentele procedures werden goedgekeurd door het Doshisha University Animal Care and Use Committee (goedkeuring nr. A23068). C57BL/6J-muizen (zie Materiaaltabel) werden gehuisvest in groepen van 2-3 per kooi onder gecontroleerde omstandigheden van 24-26 °C, een licht/donkercyclus van 12 uur, met ad libitum toegang tot voedsel en water. Alle gedragsopnames werden verzameld tijdens de lichtfase. De algemene workflow van het vmTracking-proces, samen met snapshots uit een voorbeeld, wordt weergegeven in Figuur 1.

OPMERKING: vmTracking is geen nieuwe software of algoritme, maar een protocol dat bestaande DLC-functies gebruikt om de nauwkeurigheid van het volgen van meerdere dieren te maximaliseren. Daarom worden in een aanzienlijk deel van de volgende stappen specifieke bewerkingen van de grafische gebruikersinterface (GUI) binnen DLC beschreven om de reproduceerbaarheid te garanderen.

1. Voorbereiding van markerloze videogegevens van meerdere dieren

OPMERKING: Experimentele parameters kunnen worden aangepast aan het specifieke onderzoek.

1. Plaats drie C57BL/6J-muizen in een cirkelvormig open veld met een witte vloer en transparante wanden (31 cm diameter × 17 cm hoogte; zie materiaaltabel) en laat ze vrij bewegen.
2. Neem de dieren met een top-down camerabeeld ongeveer 60 minuten op met een resolutie van 460 × 460 pixels en een framerate van 30 fps (zie materiaaltabel).

2. Creatie van een virtuele markervideo

1. Voer standaard markerloze pose-tracking uit met behulp van maDLC in DLC-versie 2.2.3 (Figuur 2; zie Materiaaltabel).
   OPMERKING: In de onderstaande stappen worden de namen en parameterinstellingen van het DLC-tabblad GUI vetgedruktweergegeven om de bewerkingen in DLC te verduidelijken. Alle procedures worden uitgevoerd met behulp van standaardinstellingen, tenzij anders aangegeven. Raadpleeg de officiële documentatie¹⁰ voor gedetailleerde instructies over het gebruik van DLC.
   1. Maak een project met meerdere dieren in Project beheren (aanvullende afbeelding 1) voor het bijhouden van video's zonder markeringen. Wijzig de velden voor personen en lichaamsdelen in het bestand config.yaml volgens de analysevereisten. In dit protocol worden individu1 tot individu3 en lichaamsdeel1 tot lichaamsdeel6 gebruikt. Alle andere instellingen zijn optioneel.
      OPMERKING: De parameters numframes2pick (aantal geëxtraheerde frames) en dotsize (markeringsgrootte) kunnen worden aangepast op basis van de videoomstandigheden en de werklast van de onderzoeker. Andere instellingen werden niet systematisch getest onder alle mogelijke omstandigheden; Succesvolle tracking is echter bevestigd met standaardconfiguraties.
   2. Extraheer frames uit de video in Frames extraheren (aanvullende afbeelding 1) voor latere labeling en training. Stel alle andere parameters in op de standaardwaarden.
   3. Label elk geëxtraheerd frame in Labelgegevens (aanvullende afbeelding 1) en wijs de juiste lichaamsdelen toe aan elk zichtbaar individu zonder consistente ID's tussen frames te behouden.
   4. Maak een trainingsdataset op basis van de geëxtraheerde frames in Trainingsdataset maken (aanvullende afbeelding 1). Stel in dit protocol het netwerk in op dlcrnet_ms5. Stel alle andere parameters in op de standaardwaarden.
   5. Begin met het trainen van het netwerk in Train (aanvullende figuur 1). In dit protocol is de parameter Maximum iteraties ingesteld op 200.000 voor training. Stel alle andere parameters in op de standaardwaarden.
   6. Evalueer het getrainde netwerk in Evalueren (aanvullende afbeelding 1). Stel alle andere parameters in op de standaardwaarden.
   7. Voer pose-schatting uit op de geselecteerde video's in Video's analyseren (aanvullende afbeelding 1), waarbij .h5-coördinaatgegevens en andere uitvoerbestanden worden gegenereerd in de videomap in de projectmap. Stel alle andere parameters in op de standaardwaarden.
      OPMERKING: Als de trainingsdataset ontoereikend is, kan de analyse er mogelijk niet in slagen .h5-coördinaatbestanden te genereren. Start in dat geval opnieuw op vanaf stap 2.1.2.
   8. Handmatige verificatie door de onderzoeker.
      1. Maak een gelabelde trackingvideo in Video's maken (aanvullende afbeelding 1). Selecteer de optie Video maken met gekleurde dier-ID? in de DLC-GUI en genereer een gelabelde trackingvideo (Afbeelding 2A, maDLC). Stel alle andere parameters in op de standaardwaarden.
      2. Inspecteer de gelabelde video's (Figuur 2A, maDLC) om te controleren op ID-schakelaars en ontbrekende voorspellingen. Als er merkbare fouten worden waargenomen, voer dan een hertraining uit (zie stap 2.1.8.3). Als er geen hertraining wordt uitgevoerd, ga dan verder met stap 2.2.
         OPMERKING: Omscholing is niet verplicht, maar het verbetert de nauwkeurigheid en vermindert de werkdruk in latere stappen.
      3. Voor hertraining extraheert en annoteert u uitschieters in Uitschieters extraheren/verfijnen (aanvullende afbeelding 1). Nadat de annotatie is voltooid, klikt u op de knop Gegevensset samenvoegen om automatisch door te gaan naar Trainingsgegevensset maken en herhaalt u dit vanaf stap 2.1.4.
2. Corrigeer de maDLC-resultaten om een virtuele markeringsvideo te maken (Afbeelding 3).
   1. Gebruik de aangepaste GUI¹¹ (Afbeelding 3B) om alleen de geselecteerde sleutelpunten voor virtuele markeringen te behouden en alle andere te vervangen door NaN in het .h5-bestand. Deze vermindering van het aantal kernpunten vermindert de werklast voor volgende correctiestappen (Figuur 3C,E). In dit protocol worden lichaamsdelen 2 en 4 gebruikt.
      OPMERKING: Het wordt aanbevolen om twee belangrijke punten te selecteren die de vector van de lichaamsas efficiënt definiëren. Het uitvoeren van de eerste maDLC-tracking met alleen de sleutelpunten die bedoeld zijn als virtuele markeringen, kan het .h5-bestand mogelijk niet genereren in stap 2.1.4. Daarom wordt aanbevolen om de eerste tracking uit te voeren met een grotere set keypoints.
   2. Gebruik tracklets verfijnen (aanvullende afbeelding 1) om het .h5-bestand uit de vorige stap te corrigeren, dat alleen de geselecteerde sleutelpunten bevat. Corrigeer de belangrijkste punten zodat elk individu gedurende de hele video een consistente ID behoudt (Afbeelding 3E,F). Sla het bestand op; Het .h5-bestand in de map Video's wordt automatisch bijgewerkt.
   3. Maak een gelabelde video met ID-kleurlabels op basis van de gecorrigeerde gegevens in Video's maken (aanvullende afbeelding 1, afbeelding 3A, virtuele markering). In DLC 2.2 voorkomt een bestaande gelabelde video in de map video's dat er een nieuwe video wordt gemaakt. Verwijder, hernoem of verplaats het bestand voordat u verdergaat. Stel hier de markeringsgrootte in op 2 in het configuratiebestand, met behulp van de kleinste grootte die identificatie mogelijk maakt zonder het dier in deze gegevensset te verhullen.
   4. Wijzig de naam van de gemaakte video naar een korte bestandsnaam om fouten tijdens DLC-verwerking te voorkomen wanneer u in de volgende stap opnieuw volgt met saDLC.

3. Voer pose-tracking uit van virtuele markervideo met behulp van saDLC (Figuur 4)

OPMERKING: Alle procedures worden uitgevoerd met behulp van de standaard DLC GUI-instellingen, tenzij anders aangegeven.

1. Maak een nieuw saDLC-project in Project beheren (aanvullende afbeelding 2) voor het volgen van virtuele markeringsvideo's. Maak in dit protocol een lijst van alle combinaties van personen en lichaamsdelen in het veld lichaamsdelen van het bestand config.yaml (bijv. individu1-lichaamsdeel1, individu2-lichaamsdeel1, ..., individu3-lichaamsdeel6). Alle andere instellingen zijn optioneel.
   OPMERKING: Net als in stap 2.1.1 kunnen de parameters numframes2pick en dotsize worden aangepast aan de videoomstandigheden en de werklast van de onderzoeker. Succesvolle tracking is bevestigd met standaardconfiguraties.
2. Extraheer frames uit de virtuele markeringsvideo in Frames extraheren (aanvullende afbeelding 2). Stel alle andere parameters in op de standaardwaarden.
3. Label elk geëxtraheerd frame in Labelgegevens (aanvullende afbeelding 2) en gebruik de virtuele markeringen om individuele ID's toe te wijzen, zodat zowel ID's als lichaamsdelen overeenkomen met verschillende frames (Afbeelding 3B-D). Wanneer de ID van een persoon bekend is en een lichaamsdeel gedeeltelijk verborgen is, schat u de positie ervan in en plaatst u het label dienovereenkomstig. Als individuele ID's niet eenduidig kunnen worden bepaald (er ontbreken bijvoorbeeld virtuele markeringen voor ≥2 personen ontbreken in het frame), label die lichaamsdelen dan niet.
4. Maak een trainingsdataset op basis van de geëxtraheerde frames in Trainingsdataset maken (aanvullende afbeelding 2). Stel in dit protocol het netwerk in op efficientnet-b0. Stel alle andere parameters in op de standaardwaarden.
5. Begin met het trainen van het netwerk in Train (aanvullende figuur 2). Stel in dit protocol de parameter Maximum iteraties in op 200.000 voor training. Stel alle andere parameters in op de standaardwaarden.
6. Evalueer het getrainde netwerk in Evalueren (aanvullende afbeelding 2). Stel alle andere parameters in op de standaardwaarden.
7. Voer pose-schatting uit op de geselecteerde video's in Video's analyseren (aanvullende afbeelding 2), waarbij .h5-coördinaatgegevens en andere uitvoerbestanden in de videomap worden gegenereerd. Stel alle andere parameters in op de standaardwaarden.
8. Handmatige verificatie door de onderzoeker.
   1. Maak een gelabelde trackingvideo in Video's maken (aanvullende afbeelding 2). Stel alle andere parameters in op de standaardwaarden.
   2. Inspecteer de gelabelde video's (Figuur 4A, vmTracking) om te controleren op inconsistenties in het volgen. Train opnieuw totdat de onderzoeker tevreden is met de resultaten. Als omscholing niet nodig is, is de procedure voltooid.
      OPMERKING: Nadat u bevredigende trackingresultaten hebt bevestigd, kunt u een video van presentatiekwaliteit maken zonder virtuele markeringen (Afbeelding 5), de trackingresultaten uitvoeren op de originele markerloze video in plaats van de virtuele markeringsvideo in Video's maken (aanvullende afbeelding 2). Vervang de video met virtuele markeringen in de map met video's door de video zonder markering en wijzig de naam zodat deze overeenkomt met de bestandsnaam van de virtuele markeringsvideo die eerder in de analyse is gebruikt. Zorg er voor DLC 2.2 voor dat er geen gelabelde video's in de map aanwezig zijn voordat je de nieuwe maakt (Afbeelding 5B,C).
   3. Voor hertraining extraheert en annoteert u uitschieters in Uitschieters extraheren/verfijnen (aanvullende afbeelding 2). Nadat de aantekening is voltooid, klikt u op de knop Gegevensset samenvoegen om automatisch door te gaan naar Trainingsgegevensset maken en herhaalt u dit vanaf stap 3.1.4.

Results

De nauwkeurigheid van het volgen werd geëvalueerd door vergelijking met een handmatig gegenereerde grondwaarheid (GT). Twintig scènes uit de jaren 5 of 10 werden geëxtraheerd en geclassificeerd als drukke (CR) scènes, met overlappingen zoals muizen die elkaar kruisen (12 scènes; in totaal 1.950 frames), of niet-drukke (nCR) scènes zonder overlappingen (8 scènes; totaal 1.350 frames). Trackingvoorspellingen binnen 10 pixels van de GT-positie werden geteld als overeenkomsten (Match); voorspellingen ≥10 pixels verwijderd werden geteld als valse positieven (FP); en ontbrekende voorspellingen werden geteld als vals-negatieven (FN). Als de voorspelde identiteit afweek van die in het onmiddellijk voorafgaande frame, werd deze bovendien geteld als een ID-switch.

Vergeleken met maDLC (Figuur 6) toonde vmTracking een significante verbetering in de Match in zowel CR- als nCR-scènes (Figuur 6A, CR: p < 0,001; Figuur 6E, nCR: p < 0,01). In beide scènetypen kwamen geen FN's voor en werd het aantal FN's significant verminderd met vmTracking (Figuur 6B, CR: p < 0,001; Figuur 6F, nCR: p < 0,05). De tellingen FP (Figuur 6C en 6G) en ID-schakelaar (Figuur 6D,H) vertoonden geen veranderingen in beide scènetypes. Er wordt een zij-aan-zij vergelijking gepresenteerd van trackingresultaten verkregen met vmTracking en conventionele maDLC, waarbij de verbeterde nauwkeurigheid en stabiliteit van vmTracking onder drukke omstandigheden wordt benadrukt (aanvullende video 1).

We hebben ook de relatie onderzocht tussen het aantal annotatieframes en zowel Match als FN voor CR-scènes in maDLC en vmTracking (Figuur 6I). In maDLC bleef de Match steken op ongeveer 85% met ongeveer 400 annotatieframes, met weinig verdere verbetering naarmate het aantal toenam. Het vergroten van de annotatiekaders voor training verminderde het aantal FN's niet. Daarentegen vertoonde vmTracking een gestage toename in Match met meer annotatieframes, tot ongeveer 95% bij ongeveer 1.000 frames.

Virtuele markers werden geclassificeerd in zes categorieën op basis van hun toewijzingspatronen, en het aandeel van elke categorie werd gebruikt als een index van de nauwkeurigheid van virtuele markers om de relatie met tracking Match te onderzoeken (Figuur 6J). Scènes met een hoger aandeel correct toegewezen virtuele markeringen hadden de neiging om een hogere overeenkomst te tonen. Sommige scènes waarin het aandeel correcte markeringen laag was, hetzij vanwege veel onjuiste toewijzingen of veel ontbrekende markeringen, vertoonden echter nog steeds een hoge overeenkomst (bijv. CR-scènes 3 en 11).

Figuur 1: Overzicht van de vmTracking workflow. (A) Schematisch schema van de vmTracking workflow. Voer eerst maDLC uit op de markerloze video (I). Corrigeer op basis van de resulterende maDLC-trackinggegevens de uitvoer zodat elk individu een consistente ID behoudt in de hele video en maak een gelabelde video die alleen een geselecteerde subset van sleutelpunten (II) weergeeft. Gebruik de labels in deze video als virtuele markeringen en volg de virtuele markeringsvideo met saDLC (III). (B) Twee voorbeelden van vmTracking worden getoond als snapshots van elke fase van het proces. De uiterst linkse afbeelding toont de volledige weergave en de afbeeldingen aan de rechterkant zijn vergrote weergaven van de gebieden die worden omsloten door gele vakken. De oranje balken in de rechterbenedenhoek van de afbeeldingen geven de schalen aan: 5 cm voor de afbeelding "Markerless (Overview)" en 1 cm voor alle andere. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Markerloze workflow voor het volgen van meerdere dieren met behulp van maDLC. Dit cijfer heeft betrekking op Protocol stap 2.1. (A) Panelen zijn aangepast van figuur 1B en illustreren proces I (markerloze tracking van meerdere dieren) zoals weergegeven in figuur 1A. Voor de duidelijkheid is elk dier omlijnd met een stippellijn. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 1 cm aan. (B-D) Momentopnamen van frames die worden gebruikt voor labeling tijdens de uitvoering van maDLC. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 5 cm aan. (B) Voorbeeldkader voordat labels worden toegepast. (C) Zelfde frame als in B, na labeling. (D) Voorbeeld van een ander gelabeld frame. De identiteit van individuen tussen frames C en D is onbekend, maar individuele identiteit hoeft niet in aanmerking te worden genomen bij het labelen. Zoals te zien is in de snapshots, is het voldoende om de houding van elk dier correct te labelen. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 3: Workflow voor het maken van een virtuele markervideo op basis van maDLC-resultaten. Dit cijfer heeft betrekking op Protocol stap 2.2. (A) Panelen zijn aangepast van Figuur 1B en illustreren Proces II (virtuele markeringscreatie) zoals weergegeven in Figuur 1A. Voor de duidelijkheid is elk dier omlijnd met een stippellijn. Witte pijlen geven de sleutelpunten aan die worden gebruikt als virtuele markeringen (de 2e en 4e sleutelpunten voor elke ID). In dit voorbeeld worden virtuele markeringen uitgevoerd in grijstinten: paarse, groene en rode maDLC-labels worden respectievelijk weergegeven als zwart, grijs en wit. In voorbeeld 1 werden maDLC-resultaten rechtstreeks uitgevoerd als virtuele markeringen zonder correctie. In voorbeeld 2 werden de paarse en rode ID's verwisseld en gecorrigeerd vóór de uitvoer, vanwege een ID-schakelaar in opeenvolgende frames. Een groene punt in het maDLC-resultaat dat gecorrigeerd had moeten worden, werd over het hoofd gezien en zonder wijzigingen uitgevoerd. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 1 cm aan. (B) Op Python gebaseerde GUI voor het bewerken van h5-coördinaatgegevensbestanden om alleen specifieke sleutelpunten te behouden en alle andere te vervangen door NaN¹¹. (b bis) Eerste menuvenster bij het starten van het programma. Selecteer het bestand dat u wilt bewerken via de knop Bestand h5 selecteren. (bb) Venster na het selecteren van het h5-bestand. Controleer de belangrijkste punten die moeten worden vervangen door NaN (weergegeven als individuele naam-hoofdstuknaam) en geef start-eindtijden (met framesnelheid) of framenummers op voor NaN-vervanging. Als u op Procesgegevens klikt, wordt het bewerkte bestand in dezelfde map opgeslagen en wordt er een back-up van het origineel gemaakt. (C) Opeenvolgende frames van een scène waarin een ID-switch plaatsvond. (D) Voorbeeld van het corrigeren van alle volgpunten van B. (E) Momentopname van het resultaat van B met alleen het 2e en 4e hoofdpunt behouden. (F) Voorbeeld van het corrigeren van het resultaat in E. Vergeleken met het corrigeren van alle belangrijke punten (C → D), vermindert het beperken van de correctie tot twee punten (C → E → F) het aantal vereiste bewerkingen. De oranje balk in de rechterbenedenhoek van elke afbeelding C-F geeft een schaalbalk van 5 cm aan. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 4: Workflow voor het volgen van de video van de virtuele markering. Dit cijfer heeft betrekking op stap 3 van het protocol. (A) Panelen zijn aangepast van Figuur 1B en illustreren Proces III (volgen van de virtuele markervideo) zoals weergegeven in Figuur 1A. Elk individu is ingesloten in een gestippelde omtrek voor duidelijkheid van het volgdoel. In dit voorbeeld worden personen met zwarte, grijze en witte virtuele markeringen bijgehouden als respectievelijk paarse, groene en rode labels. In voorbeeld 1 is de grijze virtuele markering afwezig, maar vmTracking handhaaft de juiste identiteitstracering. In voorbeeld 2 verschijnt de grijze markering op twee personen, maar de tracking blijft correct. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 1 cm aan. (B-D) Snapshots van frames die worden gebruikt voor labelen tijdens vmTracking. In deze stap wordt saDLC gebruikt, waarbij elk keypoint is gedefinieerd om zowel individuele als lichaamsdeelinformatie te bevatten. Etikettering geeft aan welk lichaamsdeel van welke persoon wordt weergegeven. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 5 cm aan. (B) Momentopname van een frame vóór het labelen. (C) Momentopname van het frame in B na het labelen. (D) Momentopname van een ander frame dan C na het labelen. Zelfs in verschillende frames (bijv. C en D) behoudt labeling de individuele identiteit met behulp van de virtuele markering als aanwijzing, zoals aangegeven door consistente labelkleuren. Klik hier om een grotere versie van deze figuur te bekijken.

Afbeelding 5: Workflow voor het samenvoegen van trackingresultaten met een markerloze video om een trackingvideo te produceren zonder virtuele markers. Dit is een optionele stap die verband houdt met de OPMERKING in stap 3.8.2. (A) Wanneer trackingresultaten worden toegepast op de video van de virtuele markering, behoudt de resulterende trackingvideo de virtuele markeringen (vmTracking^vm+). Gele pijlen geven de virtuele markeringen aan die zichtbaar zijn in de uitvoer. Als u de trackingresultaten toepast op de originele video zonder markering, wordt in plaats daarvan een trackingvideo zonder virtuele markeringen (vmTracking^vm-) geproduceerd, die geschikt is voor presentaties of andere doeleinden. De oranje balk in de rechterbenedenhoek van elke afbeelding geeft een schaalbalk van 1 cm aan. (B,C) Bestandsbeheer in de map "video's" van de projectmap bij het toepassen van vmTracking-resultaten op een video zonder markering. Het oranje vak illustreert schematisch de inhoud van de map. (B) De map "video's" na het genereren van een vmTracking-trackingvideo door de trackingresultaten uit te voeren naar de virtuele markervideo (schematisch weergegeven als '4. Labels op virtuele markervideo'). (C) Het voorbereiden van de map "video's" voor het uitvoeren van vmTracking-resultaten naar de markerloze video. Verplaats of hernoem de '1. Virtuele markervideo' en '4. Labels op virtuele markervideo'-bestanden van paneel B, zodat ze worden uitgesloten van de map. Het probleem is niet de bestanden zelf, maar dat hun oorspronkelijke bestandsnamen de verwerking verstoren. Plaats vervolgens de '5. Markerless video' in de map en hernoem deze zodat deze overeenkomt met de oorspronkelijke bestandsnaam van de virtuele markervideo (bijv. VMvideo.MP4). Als u in deze toestand Video's maken opnieuw uitvoert, wordt een trackingvideo geproduceerd waarbij de resultaten worden toegepast op de video zonder markering ('6. Labels op markerloze video'). Deze figuur is aangepast van Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 6: Evaluatie van de nauwkeurigheid van de tracking met vmTracking. (A-H) Vergelijking tussen maDLC en vmTracking voor het aandeel van wedstrijden. (A), fout-negatieven (B), fout-positieven (C) en ID-schakelaars (D) in 12 drukke (CR) scènes, en overeenkomsten (E), fout-negatieven (F), fout-positieven (G) en ID-schakelaars (H) in 8 niet-drukke (nCR) scènes. Grafieken vertegenwoordigen de gemeten waarden voor elke scène en balken vertegenwoordigen de gemiddelde waarden die op basis daarvan zijn berekend. Statistische vergelijkingen werden uitgevoerd met behulp van de Wilcoxon signed-rank test. (I) Relatie tussen het aantal geannoteerde frames in CR en de verhoudingen van matches en valse negatieven. Het groene vak aan de rechterkant toont een vergrote weergave van het gebied dat wordt omsloten door de groene stippellijnen in het linkerdeelvenster. Grafieken geven de gemiddelde waarden weer. (J) Relatie tussen de nauwkeurigheid van virtuele markeringen en het volgen van overeenkomsten in CR- en nCR-scènes. De nauwkeurigheid van virtuele markeringen werd voor elk paar markeringen gecategoriseerd in zes typen: beide punten correct toegewezen aan de juiste persoon, één correct en één ontbrekend, één correct en één onjuist, beide onjuist, één onjuist en één ontbrekend, en beide ontbrekend. Voor elke scène worden de verhoudingen van deze categorieën weergegeven als gestapelde balken, waarbij de bijbehorende trackingovereenkomst voor die scène boven elke balk wordt aangegeven. Scènes worden gerangschikt in oplopende volgorde van tracking Match van links naar rechts, afzonderlijk voor CR- en nCR-scènes. CR-scènes: n = 12; nCR-scènes: n = 8. P < 0,001, **p < 0,01, *p < 0,05. Dit cijfer is gewijzigd ten opzichte van Azechi en Takahashi (2025)⁹. Klik hier om een grotere versie van deze figuur te bekijken.

Aanvullende afbeelding 1: Momentopname van het hoofdvenster in DeepLabCut met meerdere dieren, met de locatie van elk bewerkingstabblad. De snapshots illustreren, met pijlen, de tabbladen die in elke stap van de vmTracking-procedure worden gebruikt. Afbeeldingen zijn vastgelegd vanuit de DeepLabCut GUI (versie 2.2.3). Klik hier om deze figuur te downloaden.

Aanvullende afbeelding 2: Momentopname van het hoofdvenster in DeepLabCut met één dier, met de locatie van elk bewerkingstabblad. De snapshots illustreren, met pijlen, de tabbladen die in elke stap van de vmTracking-procedure worden gebruikt. Afbeeldingen zijn vastgelegd vanuit de DeepLabCut GUI (versie 2.2.3). Klik hier om deze figuur te downloaden.

Aanvullende video 1: Vergelijking van DeepLabCut en vmTracking bij het volgen van drie muizen. Deze vergelijkende video toont de prestaties van DeepLabCut (maDLC; links) en vmTracking (rechts) tijdens het volgen van drie muizen. De vmTracking-video is gegenereerd door de virtuele markeringsvideo te vervangen door de originele markerloze video, volgens de procedure die wordt beschreven in de OPMERKING van stap 3.8.2, om de trackingresultaten zonder virtuele markeringen te presenteren. Voor elke trackingmethode worden individuele identiteiten aangegeven met behulp van kleurlabels van dezelfde kleurfamilie om vergelijking te vergemakkelijken. In de hele video toont vmTracking minder gevallen waarin lichaamsdelen van verschillende personen worden gedetecteerd, vergeleken met maDLC. Met name rond de 15-17 s identificeert maDLC de groen gelabelde en rood gelabelde personen verkeerd, wat resulteert in een omschakeling van hun toegewezen identiteiten. Klik hier om dit bestand te downloaden.

Discussion

Hoewel er een groeiende vraag is naar het bestuderen van naturalistische vormen van sociale interactie bij knaagdieren¹, blijft het verkrijgen van betrouwbare identiteit en pose-informatie voor meerdere vrij bewegende dieren, met name tijdens nauwe interacties of occlusies, een technische uitdaging. vmTracking overwint deze beperking, waardoor nauwkeurige tracking onder dergelijke omstandigheden mogelijk is. vmTracking bereikt op betrouwbare wijze een hoge volgnauwkeurigheid in diverse experimentele omstandigheden, waaronder drukke omgevingen⁹ waar conventionele trackers met meerdere dieren ^4,5 vaak falen. Deze robuustheid komt voort uit de combinatie van het maken van virtuele markers, gebaseerd op het volgen van meerdere dieren, met saDLC-tracking, waardoor een nauwkeurige schatting van identiteit en pose mogelijk is. Belangrijk is dat de methode hoge prestaties behield, zelfs wanneer de nauwkeurigheid van de virtuele marker suboptimaal was. Deze tolerantie voor een zekere mate van onvolkomenheid in de virtuele markeringen zorgt ervoor dat vmTracking praktisch blijft voor het betrouwbaar volgen van meerdere vrij bewegende individuen, waardoor het onderzoek naar sociale interacties bij knaagdieren onder semi-natuurlijke omstandigheden wordt bevorderd.

Een cruciale stap in vmTracking is het corrigeren van de resultaten van het volgen van meerdere dieren tijdens het maken van virtuele markers. In dit proces kan het over het hoofd zien van identiteitswisselingen of onjuiste labels ertoe leiden dat saDLC deze verkeerde identificaties handhaaft tijdens de daaropvolgende tracking. Als dergelijke fouten later worden ontdekt, kunnen ze worden gecorrigeerd door de getroffen segmenten te herzien, de virtuele markeringsvideo opnieuw te genereren en saDLC-tracking opnieuw uit te voeren. In sommige gevallen kunnen virtuele markeringen correct worden geplaatst, maar saDLC kan nog steeds individuen verkeerd identificeren wanneer markeringen op verschillende dieren in de buurt komen tijdens drukke interacties. Dergelijke fouten kunnen worden beperkt door de getroffen virtuele markeringen tijdens de creatiestap te herpositioneren om de afstanden tussen de markeringen te maximaliseren, waardoor de kans op verwarring in de volgende volgfase wordt verkleind.

Hoewel ons protocol DLC ^4,7 gebruikt voor beide stappen, kan het ook worden geïmplementeerd met SLEAP ^5,12. Onze ervaring is dat SLEAP in single-animal modus over het algemeen minder stabiel is dan saDLC, waarbij de prestaties meer afhankelijk zijn van de video⁹. Voor het maken van virtuele markeringen kan SLEAP of idtracker.ai¹³ echter even effectief zijn, en de optimale keuze kan variëren afhankelijk van de video. Daarom, als de eerste maDLC-tracking frequente ID-wisselingen of ernstig keypointverlies bij visuele inspectie vertoont, is een gemengde aanpak mogelijk, bijvoorbeeld het maken van virtuele markeringen met SLEAP of idtracker.ai en vervolgens het volgen van de resulterende video met saDLC.

Omdat vmTracking twee trackingstappen omvat, vinden sommigen het misschien omslachtig en vragen ze zich af waarom fysieke markers niet gewoon vanaf het begin worden bevestigd, waardoor het niet meer nodig is om virtuele markers te maken. Virtuele markeringen bieden echter duidelijke voordelen: ze kunnen post hoc worden toegepast op bestaande markerloze video's, waardoor gedragseffecten of ethische bezwaren in verband met het bevestigen van apparaten aan dieren worden vermeden. Ze kunnen overal worden geplaatst, vallen er nooit af en worden niet beïnvloed door houding of nauwe interacties, waardoor ze kunnen worden gepositioneerd en aangepast aan de specifieke video. Deze flexibiliteit maakt een betrouwbaardere individuele identificatie mogelijk en bijgevolg een betere volgnauwkeurigheid in vergelijking met fysieke markeringen. Als gevolg hiervan maakt vmTracking, dat gebruikmaakt van virtuele markeringen, zeer nauwkeurige tracking mogelijk in studies van vrij bewegende sociale interacties en bij de heranalyse van archiefvideogegevens, waar fysieke markeringen niet kunnen worden toegepast. De zeer nauwkeurige trackinggegevens die daardoor worden verkregen, zijn in het algemeen bruikbaar op gebieden die afhankelijk zijn van gedragsexperimenten, waaronder gedragswetenschappen, psychologie en neurowetenschappen.

vmTracking heeft verschillende beperkingen. Ten eerste, omdat individuele identificatie afhankelijk is van verschillen in markeringskleur, wordt het aantal traceerbare individuen beperkt door het eindige bereik van onderscheidbare kleuren. Tot op heden hebben we met succes een groep van tien vissen gevolgd⁹; Om dit aantal te vergroten, moet de verscheidenheid aan virtuele markeringen worden uitgebreid, bijvoorbeeld door markeringsvormen te wijzigen of het gebruik van skeletstructuren als aanvullende identificatiecodes te onderzoeken, hoewel deze benaderingen verdere validatie vereisen. Ten tweede omvat vmTracking noodzakelijkerwijs een extra stap van het toevoegen van virtuele markeringen aan elke markerloze video, wat arbeidsintensief kan zijn voor lange opnames of datasets met veel individuen. Hoewel deze methode in principe kan worden toegepast op verschillende soorten en registratieomstandigheden, kan de bruikbaarheid van het bereiken van zeer nauwkeurige tracking afnemen wanneer experimentele parameters niet kunnen worden geoptimaliseerd. Bij opnames van wilde of vrij bewegende dieren onder veldachtige omstandigheden, waar belichting, cameraresolutie of opnamehoeken moeilijk te regelen zijn, heeft de handmatige correctie die nodig is tijdens de toewijzing van virtuele markeringen bijvoorbeeld de neiging toe te nemen, waardoor het gemak van het verkrijgen van hoogwaardige volggegevens mogelijk wordt beperkt. In de toekomst zal het stroomlijnen en automatiseren van het virtuele markertoewijzingsproces de toepasbaarheid en bruikbaarheid van de methode verder verbeteren.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Acrylic pipe (helder, dikte 5 mm, binnendiameter 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Gekocht bij Hazaiya (een online acrylmaterialenretailer)
Acrylplak (wit, dikte 3 mm, diameter 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Gekocht bij Hazaiya (een online acrylmaterialenretailer)
C57BL/6J muis	Shimizu Laboratory Supplies, Co.LTD.	N/A
Camera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Mathis laboratorium aan Swiss Federal Institute of Technology in Lausanne	https://www.mackenziemathislab.org/deeplabcut
Pylon Camera Software Suite (Pylon Viewer)	Basler	N/A