Utilizzo di vmTracking per migliorare l'accuratezza della stima della posa multi-animale negli studi sul comportamento sociale dei roditori

Summary

Questo protocollo introduce vmTracking, un metodo che consente il tracciamento delle pose ad alta precisione nei video di più animali che si muovono liberamente e senza marcatori, anche in condizioni di affollamento in cui gli animali sono densamente raggruppati. Questo approccio fornisce dati affidabili per l'analisi delle interazioni sociali che si verificano in ambienti seminaturali dove gli animali possono muoversi liberamente.

Abstract

Nella ricerca sul comportamento sociale che utilizza i roditori, c'è una crescente domanda di valutazione di comportamenti interattivi più naturali in condizioni di libero movimento. A questo scopo è essenziale un accurato tracciamento della posa di più animali. Tuttavia, gli attuali strumenti di tracciamento delle pose multi-animale senza marcatori devono affrontare una sfida significativa: l'accuratezza del tracciamento tende a diminuire in condizioni di occlusione e affollamento. Questo problema diventa particolarmente pronunciato quando gli animali sono visivamente indistinguibili l'uno dall'altro. Per ovviare a questo problema, abbiamo sviluppato il tracciamento dei marcatori virtuali (vmTracking), un metodo che migliora l'accuratezza del tracciamento delle pose di più animali in condizioni così difficili, mantenendo l'identità individuale tra i fotogrammi utilizzando i marcatori virtuali. vmTracking può anche essere applicato ai dati video multi-animale senza marcatori esistenti incorporando ulteriori passaggi di elaborazione che aggiungono etichette di identità individuali nei flussi di lavoro di tracciamento standard. Qui, descriviamo sia il metodo per l'assegnazione di marcatori virtuali che il protocollo per il monitoraggio degli animali nei video etichettati risultanti. Il tracciamento multi-animale ad alta precisione abilitato da vmTracking fornisce una base affidabile per le successive analisi quantitative delle interazioni sociali in condizioni seminaturali.

Introduction

La ricerca sul comportamento sociale dei roditori ha sempre più enfatizzato lo studio delle interazioni in contesti sociali più naturalistici¹. Gli approcci tradizionali, come il test a tre camere, sono stati ampiamente utilizzati per valutare la socialità e la preferenza sociale², ma questi paradigmi catturano solo aspetti semplificati dell'interazione sociale³. Per rispondere a questa esigenza, DeepLabCut (maDLC)⁴ e Social LEAP Estimates Animal Poses (SLEAP)⁵ sono diventati strumenti indispensabili per il tracciamento delle pose di più animali in condizioni di movimento libero, fornendo una tecnologia avanzata basata sul deep learning per il tracciamento delle pose di più animali senza marcatori. Tuttavia, in ambienti affollati in cui gli animali sono molto vicini, questi strumenti sono soggetti a errori di tracciamento come errori di previsione e cambi di identità (ID). L'ottenimento di dati affidabili in tali condizioni richiede spesso un'ampia correzione manuale.

Il tracciamento accurato della posa di più animali che si muovono liberamente apre le porte allo studio di dinamiche sociali più complesse. Ad esempio, i dati di tracciamento dettagliati consentono la valutazione delle relazioni leader-follower, dei comportamenti di avvicinamento-evitamento durante il movimento e di altri modelli di interazione sfumati che non possono essere valutati in modo affidabile con i saggi comportamentali convenzionali. Tali progressi estendono l'utilità del tracciamento multi-animale oltre le misure descrittive relativamente semplici del comportamento, consentendo analisi di interazioni sociali più complesse.

Un approccio per migliorare l'accuratezza del tracciamento consiste nel differenziare chiaramente i singoli animali. Ad esempio, Bordes⁶ ha dimostrato il tracciamento simultaneo di un topo CD1 bianco e di un topo C57BL/6N nero utilizzando DeepLabCut (saDLC^{) su} un singolo animale7. Questa scoperta suggerisce che quando gli animali sono visivamente distinguibili, è possibile tracciare accuratamente l'individuo. Tuttavia, l'uso di marcatori fisici per l'identificazione può alterare i comportamenti naturali. Anche i metodi minimamente invasivi, come l'impianto di tag di identificazione a radiofrequenza⁸, sollevano preoccupazioni riguardo ai loro potenziali effetti sul comportamento.

Qui, presentiamo un metodo di tracciamento della posa multi-animale che utilizza marcatori virtuali (vmTracking)⁹ per l'identificazione individuale non invasiva. Una valutazione accurata del comportamento sociale, tenendo conto del suo contesto sociale, richiede dati di tracciamento delle pose multi-animale altamente precisi. vmTracking è stato sviluppato per soddisfare questa esigenza fornendo un protocollo affidabile, piuttosto che un nuovo software o algoritmo, per ottenere dati di tracciamento di alta qualità utilizzando strumenti esistenti come DLC. Pertanto, l'analisi comportamentale sociale basata su questi dati esula dall'ambito di questo protocollo. vmTracking prevede due passaggi principali: l'aggiunta di marcatori virtuali ai video senza marcatori e il monitoraggio dei video con marcatori virtuali risultanti. Questo metodo consente un tracciamento della posa ad alta precisione senza la necessità di marcatori fisici, anche in condizioni che coinvolgono tre o più animali visivamente indistinguibili dello stesso ceppo. Consentendo un tracciamento affidabile in condizioni semi-naturalistiche, vmTracking fornisce uno strumento efficace per far progredire la ricerca sulle interazioni sociali complesse, con potenziali applicazioni nelle scienze comportamentali, nella psicologia e nelle neuroscienze.

Protocol

Tutte le procedure sperimentali sono state approvate dal Comitato per la cura e l'uso degli animali dell'Università di Doshisha (approvazione n. A23068). I topi C57BL/6J (vedi Tabella dei materiali) sono stati alloggiati in gruppi di 2-3 per gabbia in condizioni controllate di 24-26 °C, un ciclo luce/buio di 12 ore, con accesso ad libitum a cibo e acqua. Tutte le registrazioni comportamentali sono state raccolte durante la fase di luce. Il flusso di lavoro complessivo del processo vmTracking, insieme agli snapshot di un esempio, è illustrato nella Figura 1.

NOTA: vmTracking non è un nuovo software o algoritmo, ma un protocollo che utilizza le funzioni DLC esistenti per massimizzare l'accuratezza del tracciamento di più animali. Di conseguenza, una parte sostanziale dei passaggi seguenti descrive specifiche operazioni dell'interfaccia utente grafica (GUI) all'interno di DLC per garantire la riproducibilità.

1. Preparazione di dati video multi-animale senza marcatori

NOTA: I parametri sperimentali possono essere regolati in base allo studio specifico.

1. Posiziona tre mouse C57BL/6J in un campo aperto circolare con un pavimento bianco e pareti trasparenti (31 cm di diametro × 17 cm di altezza; vedi Tabella dei materiali) e lasciali muovere liberamente.
2. Utilizzando una visuale dall'alto verso il basso, registra gli animali per circa 60 minuti con una risoluzione di 460 × 460 pixel e una frequenza fotogrammi di 30 fps (vedi Tabella dei materiali).

2. Creazione di un video marker virtuale

1. Esegui il tracciamento delle pose standard senza marcatori utilizzando maDLC nella versione DLC 2.2.3 (Figura 2; vedi Tabella dei materiali).
   NOTA: nei passaggi seguenti, i nomi dei menu della scheda GUI del DLC e le impostazioni dei parametri vengono visualizzati in grassettoper chiarire le operazioni nel DLC. Tutte le procedure vengono eseguite utilizzando le impostazioni predefinite, se non diversamente specificato. Per istruzioni dettagliate sull'utilizzo dei DLC, fare riferimento alla documentazione ufficiale¹⁰.
   1. Creare un progetto con più animali in Gestisci progetto (Figura 1 supplementare) per il tracciamento video senza marcatori. Modificare i campi delle persone e delle parti del corpo nel file config.yaml in base ai requisiti dell'analisi. In questo protocollo, vengono utilizzati da individuo1 a individuo3 e da bodypart1 a bodypart6. Tutte le altre impostazioni sono facoltative.
      NOTA: I parametri numframes2pick (numero di fotogrammi estratti) e dotsize (dimensione del marcatore) possono essere regolati in base alle condizioni del video e al carico di lavoro dello sperimentatore. Altre impostazioni non sono state testate sistematicamente in tutte le condizioni possibili; Tuttavia, il rilevamento riuscito è stato confermato con le configurazioni predefinite.
   2. Estrai i fotogrammi dal video in Estrai fotogrammi (Figura 1 supplementare) per l'etichettatura e la formazione successive. Impostate tutti gli altri parametri sui valori predefiniti.
   3. Etichettare ogni fotogramma estratto in Dati etichetta (Figura 1 supplementare), assegnando le parti del corpo appropriate a ciascun individuo visibile senza mantenere ID coerenti tra i fotogrammi.
   4. Creare un set di dati di training dai frame estratti in Creare set di dati di training (Figura 1 supplementare). In questo protocollo, impostare la rete su dlcrnet_ms5. Impostate tutti gli altri parametri sui valori predefiniti.
   5. Iniziare ad addestrare la rete in Train (Figura supplementare 1). In questo protocollo, il parametro Numero massimo di iterazioni è impostato su 200.000 per il training. Impostate tutti gli altri parametri sui valori predefiniti.
   6. Valutare la rete addestrata in Evaluate (Figura 1 supplementare). Impostate tutti gli altri parametri sui valori predefiniti.
   7. Esegui la stima della posa sui video selezionati in Analizza video (Figura 1 supplementare), generando dati di coordinate .h5 e altri file di output nella cartella video all'interno della cartella del progetto. Impostate tutti gli altri parametri sui valori predefiniti.
      NOTA: se il set di dati di addestramento è insufficiente, l'analisi potrebbe non riuscire a generare file di coordinate .h5. In tal caso, riavvia dal passaggio 2.1.2.
   8. Verifica manuale da parte dello sperimentatore.
      1. Creare un video di tracciamento con etichetta in Creare video (Figura 1 supplementare). Selezionare l'opzione Crea video con l'ID animale colorato? nell'interfaccia utente del DLC e generare un video di tracciamento con etichetta (Figura 2A, maDLC). Impostate tutti gli altri parametri sui valori predefiniti.
      2. Ispeziona i video etichettati (Figura 2A, maDLC) per verificare la presenza di interruttori ID e previsioni mancanti. Se si osservano errori evidenti, eseguire una nuova formazione (vedere il passaggio 2.1.8.3). Se non viene eseguito un nuovo training, procedere al passaggio 2.2.
         NOTA: il riaddestramento non è obbligatorio, ma migliora l'accuratezza e riduce il carico di lavoro nei passaggi successivi.
      3. Per la ripetizione del training, estrarre e annotare i frame outlier in Estrai/Perfeziona outlier (Figura 1 supplementare). Al termine dell'annotazione, fare clic sul pulsante Unisci set di dati per procedere automaticamente alla creazione di set di dati di addestramento, quindi ripetere dal passaggio 2.1.4 in poi.
2. Correggere i risultati del maDLC per creare un video marcatore virtuale (Figura 3).
   1. Utilizzando l'interfaccia grafica personalizzata¹¹ (Figura 3B), conservare solo i punti chiave selezionati per i marcatori virtuali e sostituire tutti gli altri con NaN nel file .h5. Questa riduzione dei punti chiave riduce il carico di lavoro per le successive fasi di correzione (Figura 3C, E). In questo protocollo, vengono utilizzate le parti del corpo 2 e 4.
      NOTA: Si consiglia di selezionare due punti chiave che definiscano in modo efficiente il vettore dell'asse del corpo. L'esecuzione del tracciamento maDLC iniziale utilizzando solo i punti chiave intesi come marcatori virtuali potrebbe non riuscire a generare il file .h5 nel passaggio 2.1.4. Pertanto, si consiglia di eseguire il rilevamento iniziale con un set più ampio di punti chiave.
   2. Utilizzando i tracklet di rifinitura (Figura 1 supplementare), correggere il file .h5 del passaggio precedente, contenente solo i punti chiave selezionati. Correggere i punti chiave in modo che ogni individuo mantenga un ID coerente per tutto il video (Figura 3E, F). Salvare il file; Il file .h5 nella cartella Video verrà aggiornato automaticamente.
   3. Creare un video etichettato con etichette colore ID dai dati corretti in Creare video (Figura 1 supplementare, Figura 3A, Marcatore virtuale). Nel DLC 2.2, un video con etichetta esistente nella cartella video impedirà la creazione di uno nuovo; Rimuovere, rinominare o spostare il file prima di procedere. Qui, imposta la dimensione del marcatore su 2 nel file di configurazione, utilizzando la dimensione più piccola che consente l'identificazione senza oscurare l'animale in questo set di dati.
   4. Rinomina il video creato con un nome file breve per evitare errori durante l'elaborazione del DLC durante il re-tracking nel passaggio successivo con saDLC.

3. Eseguire il tracciamento della posa del video del marcatore virtuale utilizzando saDLC (Figura 4)

NOTA: tutte le procedure vengono eseguite utilizzando le impostazioni predefinite dell'interfaccia grafica DLC, se non diversamente specificato.

1. Creare un nuovo progetto saDLC in Gestisci progetto (Figura 2 supplementare) per il tracciamento video del marker virtuale. In questo protocollo, elencare tutte le combinazioni di individui e parti del corpo nel campo bodyparts del file config.yaml (ad esempio, individual1-bodypart1, individual2-bodypart1, ..., individual3-bodypart6). Tutte le altre impostazioni sono facoltative.
   NOTA: Come nel passaggio 2.1.1, i parametri numframes2pick e dotsize possono essere regolati in base alle condizioni del video e al carico di lavoro dello sperimentatore. Il tracciamento riuscito è stato confermato con le configurazioni predefinite.
2. Estrarre i fotogrammi dal video del marcatore virtuale in Estrai fotogrammi (Figura 2 supplementare). Impostate tutti gli altri parametri sui valori predefiniti.
3. Etichettare ogni fotogramma estratto in Label Data (Figura 2 supplementare), utilizzando i marcatori virtuali per assegnare ID individuali in modo che sia gli ID che le parti del corpo corrispondano tra i frame (Figura 3B-D). Quando l'ID di un individuo è noto e una parte del corpo è parzialmente nascosta, stimare la sua posizione e posizionare l'etichetta di conseguenza. Se gli ID individuali non possono essere determinati in modo univoco (ad esempio, i marcatori virtuali per ≥mancano 2 individui nell'inquadratura), non etichettare quelle parti del corpo.
4. Creare un set di dati di training dai frame estratti in Creare set di dati di training (Figura 2 supplementare). In questo protocollo, impostare la rete su efficientnet-b0. Impostate tutti gli altri parametri sui valori predefiniti.
5. Iniziare ad addestrare la rete in Train (Figura 2 supplementare). In questo protocollo, impostare il parametro Numero massimo di iterazioni su 200.000 per il training. Impostate tutti gli altri parametri sui valori predefiniti.
6. Valutare la rete addestrata in Evaluate (Figura 2 supplementare). Impostate tutti gli altri parametri sui valori predefiniti.
7. Esegui la stima della posa sui video selezionati in Analizza video (Figura 2 supplementare), generando dati di coordinate .h5 e altri file di output nella cartella video. Impostate tutti gli altri parametri sui valori predefiniti.
8. Verifica manuale da parte dello sperimentatore.
   1. Creare un video di tracciamento con etichetta in Creare video (Figura 2 supplementare). Impostate tutti gli altri parametri sui valori predefiniti.
   2. Esaminare i video etichettati (Figura 4A, vmTracking) per verificare la presenza di incongruenze di tracciamento. Riaddestrare fino a quando lo sperimentatore non è soddisfatto dei risultati. Se non è necessario ripetere il training, la procedura è completa.
      NOTA: Dopo aver confermato risultati di tracciamento soddisfacenti, è possibile creare un video di qualità di presentazione senza marcatori virtuali (Figura 5), emettere i risultati del tracciamento sul video originale senza marcatori anziché sul video del marcatore virtuale in Crea video (Figura 2 supplementare). Sostituisci il video del marcatore virtuale nella cartella video con il video senza marcatore, rinominandolo in modo che corrisponda al nome del file video del marcatore virtuale utilizzato in precedenza nell'analisi. Per il DLC 2.2, assicurati che non siano presenti video etichettati nella cartella prima di creare quella nuova (Figura 5B, C).
   3. Per la riqualificazione, estrarre e annotare i frame outlier in Estrai/Perfeziona outlier (Figura 2 supplementare). Al termine dell'annotazione, fare clic sul pulsante Unisci set di dati per procedere automaticamente alla creazione di set di dati di addestramento, quindi ripetere dal passaggio 3.1.4 in poi.

Results

L'accuratezza dell'inseguimento è stata valutata confrontandola con una verità di base (GT) generata manualmente. Venti scene di 5 o 10 secondi sono state estratte e classificate come scene affollate (CR), che includevano sovrapposizioni come topi che incrociano i percorsi (12 scene; totale di 1.950 fotogrammi), o scene non affollate (nCR) senza sovrapposizioni (8 scene; totale di 1.350 fotogrammi). Le previsioni di tracciamento entro 10 pixel dalla posizione GT sono state conteggiate come corrispondenze (Match); le previsioni a ≥10 pixel di distanza sono state conteggiate come falsi positivi (FP); e le previsioni mancanti sono state conteggiate come falsi negativi (FN). Inoltre, se l'identità stimata differiva da quella del frame immediatamente precedente, veniva conteggiata come un cambio di ID.

Rispetto a maDLC (Figura 6), vmTracking ha mostrato un miglioramento significativo della corrispondenza in entrambe le scene CR e nCR (Figura 6A, CR: p < 0,001; Figura 6E, nCR: p < 0.01). In entrambi i tipi di scena, non si sono verificati FN e il numero di FN è stato significativamente ridotto con vmTracking (Figura 6B, CR: p < 0,001; Figura 6F, nCR: p < 0.05). I conteggi FP (Figura 6C e 6G) e ID switch (Figura 6D, H) non hanno mostrato cambiamenti in nessuno dei due tipi di scena. Viene presentato un confronto fianco a fianco dei risultati di tracciamento ottenuti utilizzando vmTracking e maDLC convenzionale, evidenziando la maggiore precisione e stabilità di vmTracking in condizioni di affollamento (Video supplementare 1).

Abbiamo anche esaminato la relazione tra il numero di fotogrammi di annotazione e Match e FN per le scene CR in maDLC e vmTracking (Figura 6I). In maDLC, la corrispondenza si è stabilizzata a circa l'85% con circa 400 fotogrammi di annotazione, con pochi ulteriori miglioramenti all'aumentare del numero. L'aumento dei frame di annotazione per l'addestramento non ha ridotto gli FN. Al contrario, vmTracking ha mostrato un aumento costante di Match con più frame di annotazione, raggiungendo circa il 95% a circa 1.000 frame.

I marcatori virtuali sono stati classificati in sei categorie in base ai loro modelli di assegnazione e la proporzione di ciascuna categoria è stata utilizzata come indice dell'accuratezza del marcatore virtuale per esaminare la sua relazione con il tracciamento della corrispondenza (Figura 6J). Le scene con una percentuale più alta di marcatori virtuali assegnati correttamente tendevano a mostrare una corrispondenza più alta. Tuttavia, alcune scene in cui la proporzione di marcatori corretti era bassa, a causa di molte assegnazioni errate o di molti marcatori mancanti, mostravano ancora un'alta corrispondenza (ad esempio, le scene CR 3 e 11).

Figura 1: Panoramica del flusso di lavoro vmTracking. (A) Diagramma schematico del flusso di lavoro vmTracking. Innanzitutto, eseguire il maDLC sul video senza marcatori (I). In base ai dati di tracciamento maDLC risultanti, correggi l'output in modo che ogni individuo mantenga un ID coerente per tutto il video e crea un video etichettato che visualizzi solo un sottoinsieme selezionato di punti chiave (II). Utilizzando le etichette in questo video come marcatori virtuali, traccia il video del marcatore virtuale con saDLC (III). (B) Due esempi di vmTracking vengono visualizzati come snapshot di ogni fase del processo. L'immagine all'estrema sinistra mostra la vista completa, mentre le immagini a destra sono viste ingrandite delle aree racchiuse da caselle gialle. Le barre arancioni negli angoli in basso a destra delle immagini indicano le scale: 5 cm per l'immagine "Markerless (Overview)" e 1 cm per tutte le altre. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 2: Flusso di lavoro di tracciamento multi-animale senza marcatori utilizzando maDLC. Questa cifra è correlata al passaggio 2.1 del protocollo. (A) I pannelli sono adattati dalla Figura 1B e illustrano il Processo I (tracciamento multi-animale senza marcatore) mostrato nella Figura 1A. Per chiarezza, ogni animale è delineato con una linea tratteggiata. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra di scala di 1 cm. (B-D) Snapshot dei frame utilizzati per l'etichettatura durante l'esecuzione di maDLC. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra della scala di 5 cm. (B) Esempio di cornice prima dell'applicazione delle etichette. (C) Stesso fotogramma di B, dopo l'etichettatura. (D) Esempio di un altro fotogramma etichettato. L'identità degli individui tra i fotogrammi C e D è sconosciuta, ma l'identità individuale non deve essere considerata durante l'etichettatura. Come mostrato nelle istantanee, è sufficiente etichettare correttamente la postura di ogni animale. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 3: Flusso di lavoro per la creazione di un video marker virtuale basato sui risultati del maDLC. Questa cifra è correlata al passaggio 2.2 del protocollo. (A) I pannelli sono adattati dalla Figura 1B e illustrano il Processo II (creazione di marcatori virtuali) mostrato nella Figura 1A. Per chiarezza, ogni animale è delineato con una linea tratteggiata. Le frecce bianche indicano i punti chiave utilizzati come marcatori virtuali (il 2° e il 4° punto chiave per ogni ID). In questo esempio, i marcatori virtuali vengono emessi in scala di grigi: le etichette maDLC viola, verdi e rosse vengono visualizzate rispettivamente come nero, grigio e bianco. Nell'esempio 1, i risultati di maDLC sono stati emessi direttamente come marcatori virtuali senza correzione. Nell'esempio 2, gli ID viola e rosso sono stati scambiati e corretti prima dell'output, a causa di un cambio ID in fotogrammi consecutivi. Un punto verde nel risultato del maDLC che avrebbe dovuto essere corretto è stato trascurato e l'output è stato emesso senza modifiche. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra di scala di 1 cm. (B) GUI basata su Python per la modifica di file di dati di coordinate h5 per mantenere solo punti chiave specifici e sostituire tutti gli altri con NaN¹¹. (Ba) Finestra del menu iniziale all'avvio del programma. Seleziona il file da modificare tramite il pulsante Seleziona file h5. (BB) Finestra dopo aver selezionato il file h5. Selezionare i punti chiave da sostituire con NaN (visualizzati come nome individuale-nome della parte del corpo) e specificare i tempi di inizio-fine (con frequenza dei fotogrammi) o i numeri di fotogramma per la sostituzione di NaN. Facendo clic su Elabora dati il file modificato viene salvato nella stessa cartella e viene creato un backup dell'originale. (C) Fotogrammi consecutivi di una scena in cui si è verificato un cambio di ID. (D) Esempio di correzione di tutti i punti di tracciamento da B. (E) Istantanea che mostra il risultato di B con solo il 2° e il 4° punto chiave mantenuti. (F) Esempio di correzione del risultato in E. Rispetto alla correzione di tutti i punti chiave (C → D), limitando la correzione a due punti (C → E → F) si riduce il numero di modifiche necessarie. La barra arancione nell'angolo in basso a destra di ogni immagine C-F indica una barra di scala di 5 cm. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 4: Flusso di lavoro per il tracciamento del video del marcatore virtuale. Questa cifra è correlata al passaggio 3 del protocollo. (A) I pannelli sono adattati dalla Figura 1B e illustrano il Processo III (tracciamento del video del marcatore virtuale) mostrato nella Figura 1A. Ogni individuo è racchiuso in un contorno tratteggiato per chiarezza dell'obiettivo di tracciamento. In questo esempio, gli individui con marcatori virtuali neri, grigi e bianchi vengono tracciati rispettivamente come etichette viola, verdi e rosse. Nell'esempio 1, l'indicatore virtuale grigio è assente, ma vmTracking mantiene il rilevamento dell'identità corretto. Nell'esempio 2, l'indicatore grigio viene visualizzato su due individui, ma il tracciamento rimane corretto. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra di scala di 1 cm. (B-D) Snapshot dai frame utilizzati per l'etichettatura durante vmTracking. In questo passaggio viene utilizzato saDLC, con ogni punto chiave definito in modo da includere informazioni sia individuali che sulle parti del corpo. L'etichettatura specifica quale parte del corpo di quale individuo è rappresentata. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra della scala di 5 cm. (B) Istantanea di un fotogramma prima dell'etichettatura. (C) Istantanea del fotogramma in B dopo l'etichettatura. (D) Istantanea di un fotogramma diverso da C dopo l'etichettatura. Anche in fotogrammi diversi (ad esempio, C e D), l'etichettatura mantiene l'identità individuale utilizzando il marcatore virtuale come spunto, come indicato dai colori coerenti dell'etichetta. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 5: Flusso di lavoro per l'unione dei risultati del tracciamento con un video senza marcatori per produrre un video di tracciamento senza marcatori virtuali. Si tratta di un passaggio facoltativo relativo alla NOTA nel passaggio 3.8.2. (A) Quando i risultati del tracciamento vengono applicati al video del marcatore virtuale, il video di tracciamento risultante mantiene i marcatori virtuali (vmTracking^vm+). Le frecce gialle indicano i marcatori virtuali visibili nell'output. L'applicazione dei risultati del tracciamento al video originale senza marker produce invece un video di tracciamento senza marker virtuali (vmTracking^vm-), adatto per la presentazione o per altri scopi. La barra arancione nell'angolo in basso a destra di ogni immagine indica una barra di scala di 1 cm. (B,C) Gestione dei file nella cartella "videos" della directory del progetto quando si applicano i risultati di vmTracking a un video senza marcatore. Il riquadro arancione illustra schematicamente il contenuto della cartella. (B) La cartella "videos" dopo aver generato un video di tracciamento vmTracking emettendo i risultati del tracciamento sul video del marcatore virtuale (mostrato schematicamente come '4. Etichette sul video del marcatore virtuale'). (C) Preparazione della cartella "videos" per l'output dei risultati di vmTracking sul video senza marcatori. Sposta o rinomina il '1. Video del marcatore virtuale" e "4. Etichetta i file video del marcatore virtuale dal pannello B in modo che vengano esclusi dalla cartella. Il problema non sono i file stessi, ma che i loro nomi di file originali interferiscono con l'elaborazione. Quindi, posiziona il '5. Markerless video" nella cartella, rinominandola in modo che corrisponda al nome del file video del marker virtuale originale (ad esempio, VMvideo.MP4). In questo stato, la riesecuzione di Crea video produce un video di tracciamento con i risultati applicati al video senza marcatori ('6. Etichette su video senza marcatore'). Questa cifra è stata modificata da Azechi & Takahashi, 2025, PLOS Biology (CC BY 4.0)⁷. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 6: Valutazione dell'accuratezza del rilevamento con vmTracking. (A-H) Confronto tra maDLC e vmTracking per le proporzioni delle corrispondenze. (A), falsi negativi (B), falsi positivi (C) e interruttori ID (D) in 12 scene affollate (CR) e corrispondenze (E), falsi negativi (F), falsi positivi (G) e interruttori ID (H) in 8 scene non affollate (nCR). I grafici rappresentano i valori misurati per ogni scena e le barre rappresentano i valori medi calcolati da essi. I confronti statistici sono stati condotti utilizzando il test del rango con segno di Wilcoxon. (I) Relazione tra il numero di fotogrammi annotati in CR e le proporzioni di Corrispondenze e falsi negativi. Il riquadro verde a destra mostra una vista ingrandita dell'area racchiusa dalle linee tratteggiate verdi nel pannello di sinistra. I grafici rappresentano i valori medi. (J) Relazione tra l'accuratezza del marcatore virtuale e il tracciamento delle corrispondenze nelle scene CR e nCR. L'accuratezza del marcatore virtuale è stata classificata per ogni coppia di marcatori in sei tipi: entrambi i punti assegnati correttamente all'individuo corretto, uno corretto e uno mancante, uno corretto e uno errato, entrambi errati, uno errato e uno mancante, ed entrambi mancanti. Per ogni scena, le proporzioni di queste categorie vengono mostrate come barre impilate, con la corrispondente corrispondenza di tracciamento per quella scena indicata sopra ogni barra. Le scene sono disposte in ordine crescente di tracciamento della corrispondenza da sinistra a destra, separatamente per le scene CR e nCR. Scene CR: n = 12; Scene nCR: n = 8. p < 0,001, **p < 0,01, *p < 0,05. Questa cifra è stata modificata da Azechi e Takahashi (2025)⁹. Clicca qui per visualizzare una versione più grande di questa figura.

Figura 1 supplementare: Istantanea della finestra principale in DeepLabCut multi-animale, che mostra la posizione di ogni scheda operativa. Gli snapshot illustrano, con frecce, le schede utilizzate in ogni passaggio della procedura vmTracking. Le immagini sono state acquisite dalla GUI di DeepLabCut (versione 2.2.3). Clicca qui per scaricare questa figura.

Figura 2 supplementare: Istantanea della finestra principale in DeepLabCut con un singolo animale, che mostra la posizione di ciascuna scheda dell'operazione. Gli snapshot illustrano, con frecce, le schede utilizzate in ogni passaggio della procedura vmTracking. Le immagini sono state acquisite dalla GUI di DeepLabCut (versione 2.2.3). Clicca qui per scaricare questa figura.

Video supplementare 1: Confronto tra DeepLabCut e vmTracking multi-animale nel monitoraggio di tre topi. Questo video comparativo mostra le prestazioni di DeepLabCut (maDLC; a sinistra) e vmTracking (a destra) durante il tracciamento di tre topi. Il video vmTracking è stato generato sostituendo il video del marker virtuale con il video originale senza marker, seguendo la procedura descritta nella NOTA del passaggio 3.8.2, per presentare i risultati del tracking senza marker virtuali. Per ogni metodo di tracciamento, le singole identità sono indicate utilizzando etichette colorate della stessa famiglia di colori per facilitare il confronto. In tutto il video, vmTracking mostra un minor numero di casi in cui vengono rilevate parti del corpo appartenenti a individui diversi, rispetto a maDLC. In particolare, intorno ai 15-17 anni, il maDLC identifica erroneamente gli individui con etichetta verde e rossa, con conseguente scambio delle loro identità assegnate. Clicca qui per scaricare questo file.

Discussion

Sebbene vi sia una crescente domanda di studiare forme naturalistiche di interazione sociale nei roditori¹, ottenere informazioni affidabili sull'identità e sulla posa di più animali che si muovono liberamente, in particolare durante interazioni ravvicinate o occlusioni, rimane una sfida tecnica. vmTracking supera questa limitazione, consentendo un tracciamento accurato in tali condizioni. vmTracking raggiunge in modo affidabile un'elevata precisione di tracciamento in diverse condizioni sperimentali, compresi gli ambienti affollati⁹ dove i tracciatori multi-animale convenzionali ^4,5 spesso falliscono. Questa robustezza deriva dalla combinazione della creazione di marcatori virtuali, basata sul tracciamento di più animali, con il tracciamento saDLC, che consente una stima precisa dell'identità e della posa. È importante sottolineare che il metodo ha mantenuto prestazioni elevate anche quando la precisione del marcatore virtuale non era ottimale. Questa tolleranza a un certo grado di imperfezione nei marcatori virtuali garantisce che vmTracking rimanga pratico per tracciare in modo affidabile più individui che si muovono liberamente, facendo così avanzare gli studi sulle interazioni sociali dei roditori in condizioni semi-naturali.

Un passaggio critico in vmTracking è la correzione dei risultati del tracciamento di più animali durante la creazione di marcatori virtuali. In questo processo, trascurare gli interruttori di identità o le etichette errate può causare il mantenimento di queste identificazioni errate durante il tracciamento successivo. Se in seguito vengono scoperti tali errori, è possibile correggerli rivedendo i segmenti interessati, rigenerando il video del marker virtuale ed eseguendo nuovamente il tracciamento saDLC. In alcuni casi, i marcatori virtuali possono essere posizionati correttamente, ma saDLC può ancora identificare erroneamente gli individui quando i marcatori su animali diversi si avvicinano durante le interazioni affollate. Tali errori possono essere mitigati riposizionando i marcatori virtuali interessati durante la fase di creazione per massimizzare le distanze tra i marcatori, riducendo così la probabilità di confusione nella successiva fase di tracciamento.

Sebbene il nostro protocollo utilizzi DLC ^4,7 per entrambi i passaggi, può essere implementato anche con SLEAP ^5,12. Nella nostra esperienza, SLEAP in modalità single-animal è generalmente meno stabile di saDLC, con prestazioni più dipendenti dal video⁹. Per la fase di creazione del marcatore virtuale, tuttavia, SLEAP o idtracker.ai¹³ possono essere altrettanto efficaci e la scelta ottimale può variare a seconda del video. Pertanto, se il tracciamento iniziale del maDLC mostra frequenti cambi di ID o una grave perdita di punti chiave durante l'ispezione visiva, è possibile un approccio misto, ad esempio la creazione di marcatori virtuali con SLEAP o idtracker.ai e quindi il tracciamento del video risultante con saDLC.

Poiché vmTracking prevede due passaggi di tracciamento, alcuni potrebbero considerarlo ingombrante e chiedersi perché i marcatori fisici non vengano semplicemente collegati fin dall'inizio, eliminando la necessità di creare marcatori virtuali. Tuttavia, i marcatori virtuali offrono chiari vantaggi: possono essere applicati post hoc a video senza marcatori esistenti, evitando qualsiasi effetto comportamentale o preoccupazione etica associata al fissaggio di dispositivi agli animali. Possono essere posizionati ovunque, non cadono mai e non sono influenzati dalla postura o dalle interazioni ravvicinate, consentendo loro di essere posizionati e regolati per adattarsi al video specifico. Questa flessibilità consente un'identificazione individuale più affidabile e, di conseguenza, una migliore precisione di tracciamento rispetto ai marcatori fisici. Di conseguenza, vmTracking, che utilizza marcatori virtuali, consente un tracciamento ad alta precisione negli studi sulle interazioni sociali in movimento libero e nella rianalisi dei dati video d'archivio, dove i marcatori fisici non possono essere applicati. I dati di tracciamento ad alta precisione così ottenuti sono ampiamente utili in tutti i campi che si basano su esperimenti comportamentali, tra cui le scienze comportamentali, la psicologia e le neuroscienze.

vmTracking presenta diverse limitazioni. In primo luogo, poiché l'identificazione individuale si basa sulle differenze nel colore del marcatore, il numero di individui tracciabili è limitato dalla gamma finita di colori distinguibili. Ad oggi, abbiamo rintracciato con successo un gruppo di dieci pesci⁹; Tuttavia, l'aumento di questo numero richiederà l'espansione della varietà di marcatori virtuali, ad esempio modificando le forme dei marcatori o esplorando l'uso di strutture scheletriche come identificatori aggiuntivi, sebbene questi approcci richiedano un'ulteriore convalida. In secondo luogo, vmTracking comporta necessariamente un passaggio aggiuntivo di aggiunta di marcatori virtuali a ciascun video senza marcatore, che può essere laborioso per lunghe registrazioni o set di dati con molti individui. Inoltre, mentre questo metodo può, in linea di principio, essere applicato a varie specie e condizioni di registrazione, la praticità di ottenere un tracciamento ad alta precisione può diminuire quando i parametri sperimentali non possono essere ottimizzati. Ad esempio, nelle registrazioni di animali selvatici o in movimento libero in condizioni simili a quelle del campo, dove l'illuminazione, la risoluzione della telecamera o gli angoli di registrazione sono difficili da controllare, la correzione manuale richiesta durante l'assegnazione del marcatore virtuale tende ad aumentare, limitando potenzialmente la facilità di ottenere dati di tracciamento di alta qualità. In futuro, la semplificazione e l'automazione del processo di assegnazione dei marcatori virtuali migliorerà ulteriormente l'applicabilità e l'usabilità del metodo.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Tubo acrilico (trasparente, spessore 5 mm, diametro interno 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Acquistato da Hazaiya (un rivenditore online di materiali acrilici)
Piastra acrilica (bianca, spessore 3 mm, diametro 31 cm)	Sugawarakougei Co., Ltd.	https://www.sugawarakougei.jp/	Acquistato da Hazaiya (un rivenditore online di materiali acrilici)
Mouse C57BL/6J	Forniture di laboratorio Shimizu, Co.LTD.	N/A
Fotocamera	Basler	acA3088-57uc
DeepLabCut 2.2.3	Laboratorio Mathis presso l'Istituto Tecnico Federale Svizzero di Losanna	https://www.mackenziemathislab.org/deeplabcut
Suite software per fotocamere Pylon (Pylon Viewer)	Basler	N/A