Een geautomatiseerde loensmethode voor tijdsynchroniserend gedrag en hersendynamiek in pijnstudies bij muizen

Summary

Dit protocol biedt een methode voor het volgen van geautomatiseerde oogloensen bij knaagdieren in de loop van de tijd op een manier die compatibel is met tijdvergrendeling voor neurofysiologische metingen. Dit protocol zal naar verwachting nuttig zijn voor onderzoekers die mechanismen van pijnstoornissen zoals migraine bestuderen.

Abstract

Spontane pijn is een uitdaging om in realtime te volgen en te kwantificeren op een manier die menselijke vooringenomenheid voorkomt. Dit geldt met name voor metrieken van hoofdpijn, zoals bij aandoeningen zoals migraine. Oogscheel kijken is naar voren gekomen als een continue variabele metriek die in de loop van de tijd kan worden gemeten en effectief is voor het voorspellen van pijntoestanden in dergelijke onderzoeken. Dit artikel biedt een protocol voor het gebruik van DeepLabCut (DLC) om oogscheelzien (Euclidische afstand tussen oogleden) te automatiseren en te kwantificeren bij ingetogen muizen met vrij roterende hoofdbewegingen. Dit protocol maakt het mogelijk om onbevooroordeelde kwantificering van oogscheel kijken te koppelen aan en direct te vergelijken met mechanistische metingen zoals neurofysiologie. We bieden een beoordeling van AI-trainingsparameters die nodig zijn voor het behalen van succes, zoals gedefinieerd door het onderscheiden van loensen en niet-scheelzien. We tonen het vermogen aan om scheelzien in een CGRP-geïnduceerd migraine-achtig fenotype betrouwbaar te volgen en te differentiëren met een resolutie van minder dan een seconde.

Introduction

Migraine is wereldwijd een van de meest voorkomende hersenaandoeningen en treft meer dan een miljard^mensen1. Preklinische muismodellen van migraine zijn naar voren gekomen als een informatieve manier om de mechanismen van migraine te bestuderen, aangezien deze onderzoeken gemakkelijker kunnen worden gecontroleerd dan studies bij mensen, waardoor causale studie van migraine-gerelateerd gedrag mogelijk wordt^. Dergelijke modellen hebben een sterke en herhaalbare fenotypische respons aangetoond op migraine-inducerende verbindingen, zoals calcitonine-gen-gerelateerd peptide (CGRP). De behoefte aan robuuste metingen van migraine-relevant gedrag in knaagdiermodellen blijft bestaan, vooral die welke kunnen worden gekoppeld aan mechanistische metrieken zoals beeldvorming en elektrofysiologische benaderingen.

Migraine-achtige hersentoestanden zijn fenotypisch gekenmerkt door de aanwezigheid van lichtaversie, pootallodynie, hyperalgesie van het gezicht voor schadelijke stimuli en gezichtsgrimas³. Dergelijk gedrag wordt gemeten aan de hand van de totale tijd die in licht wordt doorgebracht (lichtaversie) en gevoeligheidsdrempels voor poot- of gezichtsaanraking (pootallodynie en gezichtshyperalgesie) en is beperkt tot een enkele uitlezing gedurende lange perioden (minuten of langer). Migraine-achtig gedrag kan bij dieren worden uitgelokt door te doseren met migraine-inducerende verbindingen zoals CGRP, die de symptomen nabootsen die worden ervaren door menselijke patiënten met migraine³ (d.w.z. gezichtsvaliditeit aantonen). Dergelijke verbindingen veroorzaken ook migrainesymptomen wanneer ze bij mensen worden toegediend, wat de constructvaliditeit van^{deze modellen} aantoont. Studies waarin gedragsfenotypes farmacologisch werden verzwakt, hebben geleid tot ontdekkingen met betrekking tot de behandeling van migraine en bieden verdere onderbouwing van deze modellen (d.w.z. het aantonen van voorspellende validiteit)^5,6.

Van een monoklonaal anti-CGRP-antilichaam (ALD405) werd bijvoorbeeld aangetoond dat het lichtaversief gedrag⁵ en gezichtsgrimas vermindert bij muizen⁶ die met CGRP werden behandeld, en andere onderzoeken hebben aangetoond dat CGRP-antagonisten door lachgas geïnduceerd migraine-achtig gedrag bij dieren verminderen ^7,8. Recente klinische onderzoeken hebben succes aangetoond bij de behandeling van migraine door CGRP ^9,10 te blokkeren, wat heeft geleid tot meerdere door de FDA goedgekeurde geneesmiddelen die gericht zijn op CGRP of zijn receptor. Preklinische beoordeling van migraine-gerelateerde fenotypes heeft geleid tot doorbraken in klinische bevindingen en is daarom essentieel voor het begrijpen van enkele van de meer complexe aspecten van migraine die moeilijk direct bij mensen te testen zijn.

Ondanks tal van voordelen zijn experimenten met behulp van deze knaagdiergedragsuitlezingen van migraine vaak beperkt in hun vermogen om op het tijdstip te bemonsteren en kunnen ze subjectief zijn en vatbaar voor menselijke experimentele fouten. Veel gedragstesten zijn beperkt in het vermogen om activiteit vast te leggen met fijnere temporele resoluties, waardoor het vaak moeilijk is om meer dynamische elementen vast te leggen die zich voordoen op een tijdschaal van minder dan een seconde, zoals op het niveau van hersenactiviteit. Het is moeilijk gebleken om de meer spontane, natuurlijk voorkomende elementen van gedrag in de loop van de tijd te kwantificeren met een zinvolle temporele resolutie voor het bestuderen van neurofysiologische mechanismen. Het creëren van een manier om migraine-achtige activiteit op snellere tijdschalen te identificeren, zou het mogelijk maken om migraine-achtige hersentoestanden extern te valideren. Dit kan op zijn beurt worden gesynchroniseerd met hersenactiviteit om robuustere hersenactiviteitsprofielen van migraine te creëren.

Een van die migraine-gerelateerde fenotypes, gezichtsgrimas, wordt in verschillende contexten gebruikt als een meting van pijn bij dieren die onmiddellijk kan worden gemeten en in de loop van de tijd kan worden gevolgd^. Gezichtsgrimas wordt vaak gebruikt als een indicator van spontane pijn, gebaseerd op het idee dat mensen (vooral non-verbale mensen) en andere zoogdiersoorten natuurlijke veranderingen in gezichtsuitdrukking vertonen bij het ervaren^{van pijn.} Studies die gezichtsgrimas meten als een indicatie van pijn bij muizen in het afgelopen decennium hebben schalen zoals de Mouse Grimace Scale (MGS) gebruikt om de karakterisering van pijn bij knaagdieren te standaardiseren^. De gezichtsuitdrukkingsvariabelen van de MGS zijn onder meer orbitale verstrakking (scheelzien), neusuitstulping, wanguitstulping, oorpositie en verandering van snorharen. Hoewel is aangetoond dat de MGS pijn bij dieren betrouwbaar karakteriseert¹³, is het notoir subjectief en berust het op nauwkeurige scores, die kunnen variëren tussen experimentatoren. Bovendien is de MGS beperkt in die zin dat het een niet-continue schaal gebruikt en niet de temporele resolutie heeft die nodig is om natuurlijk voorkomend gedrag in de loop van de tijd te volgen.

Een manier om dit tegen te gaan is door een consistent gelaatskenmerk objectief te kwantificeren. Scheel kijken is het meest consistent traceerbare gelaatskenmerk⁶. Scheel kijken is verantwoordelijk voor het grootste deel van de totale variabiliteit in de gegevens wanneer rekening wordt gehouden met alle MGS-variabelen (scheelzien, neusuitstulping, wanguitstulping, oorpositie en verandering van snorharen)⁶. Omdat scheelzien het meest bijdraagt aan de algehele score die wordt verkregen met behulp van de MGS en de respons op CGRP ^6,14 betrouwbaar bijhoudt, is het de meest betrouwbare manier om spontane pijn in migrainemuismodellen te volgen. Dit maakt scheelzien een kwantificeerbaar niet-homeostatisch gedrag dat wordt geïnduceerd door CGRP. Verschillende laboratoria hebben gezichtsuitdrukkingskenmerken gebruikt, waaronder scheelzien, om mogelijke spontane pijn geassocieerd met migraine weer te geven ^6,15.

Er zijn nog verschillende uitdagingen met betrekking tot het uitvoeren van geautomatiseerde loensen op een manier die kan worden gekoppeld aan mechanistische studies van migraine. Het was bijvoorbeeld moeilijk om scheelzien betrouwbaar te volgen zonder te vertrouwen op een vaste positie die tijdens sessies op dezelfde manier moet worden gekalibreerd. Een andere uitdaging is de mogelijkheid om dit type analyse op continue schaal uit te voeren in plaats van discrete schalen zoals de MGS. Om deze uitdagingen het hoofd te bieden, wilden we machine learning, in de vorm van DeepLabCut (DLC), integreren in onze pijplijn voor data-analyse. DLC is een machine learning-model voor het schatten van poses, ontwikkeld door Mathis en collega's en is toegepast op een breed scala aan gedragingen¹⁶. Met behulp van hun software voor het schatten van poses konden we modellen trainen die punten op een muizenoog nauwkeurig konden voorspellen met bijna menselijke nauwkeurigheid. Dit lost de problemen van repetitief handmatig scoren op, terwijl ook de temporele resolutie drastisch wordt verhoogd. Verder hebben we, door het maken van deze modellen, een herhaalbare manier gemaakt om scheel te scoren en migraine-achtige hersenactiviteit te schatten over grotere experimentele groepen. Hier presenteren we de ontwikkeling en validatie van deze methode voor het volgen van scheelziend gedrag op een manier die kan worden gekoppeld aan andere mechanistische metingen zoals neurofysiologie. Het overkoepelende doel is om mechanistische studies te katalyseren die tijdgebonden loensengedrag in knaagdiermodellen vereisen.

Protocol

OPMERKING: Alle dieren die in deze experimenten werden gebruikt, werden behandeld volgens protocollen die zijn goedgekeurd door de Institutional Animal Care and Use Committee (IACUC) van de Universiteit van Iowa.

1. Bereid apparatuur voor op gegevensverzameling

1. Zorg voor de beschikbaarheid van alle benodigde apparatuur: zorg ervoor dat de aanbevolen hardware voor het uitvoeren van DLC ten minste 8 GB geheugen heeft. Zie de Tabel met materialen voor informatie met betrekking tot hardware en software.
   OPMERKING: Gegevens kunnen in elk formaat worden verzameld, maar moeten vóór de analyse worden geconverteerd naar een formaat dat door DLC kan worden gelezen. De meest voorkomende formaten zijn AVI en MP4.
2. Configureer ten minste één camera zodat één oog van een dier kan worden gedetecteerd. Als beide ogen zichtbaar zijn, voer dan extra filtering uit, omdat dit interferentie kan veroorzaken bij het volgen. Zie sectie 10 voor een voorbeeld van een dergelijke filtering voor de hier verstrekte gegevens.
3. Installeer DLC met behulp van het pakket dat je op Deeplabcut.github.io/DeepLabCut/docs/installation.
4. Neem in de camera-instellingen een enkele camera op in een zijhoek (~90°) ten opzichte van de muis. Om dit voorbeeld te volgen, neemt u een monster op 10 Hz, waarbij de muizen beperkt zijn maar vrij zijn om toegang te krijgen tot hun volledige scala aan hoofdbewegingen ten opzichte van het lichaam. Houd tussen de 2 en 4 inch van de camera tot het dier.

2. DLC instellen

1. Creëer na het installeren van DLC de omgeving om vanuit te werken. Om dit te doen, navigeert u naar de map waarin de DLC-software is gedownload met behulp van de wijzigingsmap met de volgende opdracht.
   cd folder_name
   OPMERKING: Dit is waar het bestand DEEPLABCUT.yaml zich bevindt.
2. Voer de eerste opdracht uit om de omgeving te maken en schakel deze in door de tweede opdracht te typen.
   conda env create -f DEEPLABCUT.yaml
   conda activeren Deeplabcut
   OPMERKING: Zorg ervoor dat de omgeving is geactiveerd voor elk gebruik van DLC.
   Nadat u de omgeving hebt geactiveerd, opent u de grafische gebruikersinterface (GUI) met de volgende opdracht en begint u met het maken van het model.
   python -m deeplabcut

3. Creëer het model

1. Nadat de GUI is geopend, begint u met het maken van een model door onderaan op Nieuw project maken te klikken.
2. Noem het project iets zinvols en unieks om het later te identificeren en voer een naam in als experimentator. Controleer het gedeelte Locatie om te zien waar het project wordt opgeslagen.
3. Selecteer Bladeren door mappen en zoek de video's om het model te trainen. Selecteer Video's naar projectmap kopiëren als de video's niet uit de oorspronkelijke map moeten worden verplaatst.
4. Selecteer Maken om een nieuw project op de computer te genereren.
   OPMERKING: De video's moeten het volledige bereik van het gedrag dat u zult waarnemen bestrijken (d.w.z. loensen, niet-scheelzien en al het gedrag daartussenin). Het model kan alleen gedrag herkennen dat lijkt op dat in de trainingsgegevens, en als sommige componenten van het gedrag ontbreken, kan het model moeite hebben om het te herkennen.

4. Configureer de instellingen

OPMERKING: Hier kunnen details worden gedefinieerd, zoals welke punten moeten worden bijgehouden, hoeveel frames uit elke trainingsvideo moeten worden geëxtraheerd, de standaard labelgrootte van de stippen en variabelen met betrekking tot de manier waarop het model zal trainen.

1. Nadat u het model hebt gemaakt, bewerkt u de configuratie-instellingen door Bewerken config.yml te selecteren. Selecteer bewerken om het bestand met configuratie-instellingen te openen om de belangrijkste instellingen met betrekking tot het model op te geven.
2. Wijzig lichaamsdelen om alle delen van het oog op te nemen om te volgen en wijzig vervolgens numframes2pick in het aantal frames dat nodig is per trainingsvideo om in totaal 400 frames te krijgen. Wijzig ten slotte de puntgrootte in zes , zodat de standaardgrootte bij het labelen klein genoeg is om nauwkeurig rond de randen van het oog te worden geplaatst.

5. Trainingsframes extraheren

1. Navigeer na de configuratie naar het tabblad Frames extraheren bovenaan de GUI en selecteer Frames extraheren rechtsonder op de pagina.
2. Bewaak de voortgang met behulp van de laadbalk onder aan de GUI.

6. Label trainingsframes

1. Navigeer naar het tabblad Label Frames in de GUI en selecteer Label Frames. Zoek het nieuwe venster met mappen voor elk van de geselecteerde trainingsvideo's. Selecteer de eerste map en er wordt een nieuwe labeling-GUI geopend.
2. Label de punten die tijdens de configuratie zijn gedefinieerd voor elk frame van de geselecteerde video. Nadat alle frames zijn gelabeld, slaat u ze op en herhaalt u het proces voor de volgende video.
3. Voor een adequate etikettering van scheelzien, gebruikt u twee punten zo dicht mogelijk bij de grootste piek van het oog (midden) en geeft u de omhoog/omlaag-posities voor elk punt aan. Squint bij benadering als het gemiddelde van deze twee lengtes.
   OPMERKING: Bij het labelen slaat DLC de voortgang niet automatisch op. Periodiek opslaan wordt aanbevolen om verlies van gelabelde gegevens te voorkomen.

7. Maak een trainingsdataset

1. Navigeer na het handmatig labelen naar het tabblad Treinnetwerk en selecteer Netwerk trainen om de software te vragen het model te trainen.
2. Bewaak de voortgang in het opdrachtvenster.

8. Evalueer het netwerk

1. Nadat de netwerktraining is voltooid, navigeert u naar het tabblad Netwerk evalueren en selecteert u Netwerk evalueren. Wacht even totdat de blauwe laadcirkel verdwijnt om aan te geven dat de zelfevaluatie is voltooid en het model klaar is voor gebruik.

9. Analyseer gegevens/genereer gelabelde video's

1. Als u video's wilt analyseren, navigeert u naar het tabblad Video's analyseren . Selecteer Meer video's toevoegen en selecteer de video's die u wilt analyseren.
2. Selecteer Resultaat(en) opslaan als csv als een csv-uitvoer van de gegevens voldoende is.
3. Wanneer de video's allemaal zijn verkregen, selecteert u onderaan Video's analyseren om de analyse van de video's te starten.
   OPMERKING: Deze stap moet worden voltooid voordat u gelabelde video's genereert in stap 9.5
4. Nadat de video's zijn geanalyseerd, navigeert u naar het tabblad Video's maken en selecteert u de geanalyseerde video's.
5. Selecteer Video's maken en de software begint met het genereren van gelabelde video's die de gegevens vertegenwoordigen die worden weergegeven in de bijbehorende .csv.

10. Eindgegevens verwerken

1. Pas de macro's toe die u https://research-git.uiowa.edu/rainbo-hultman/facial-grimace-dlc vindt om onbewerkte gegevens te converteren naar het formaat dat voor deze analyse wordt gebruikt (d.w.z. de Euclidische afstand).
2. Importeer macro's met het label Stap 1 en Stap 2 en pas ze toe op het csv om alle suboptimale gegevenspunten uit te filteren en de gegevens te converteren naar een gemiddelde Euclidische afstand voor de middelste punten aan de boven- en onderkant van het oog.
3. Voer een macro met de naam Stap 3 uit om elk punt te markeren als een 0 geen scheelzien en 1 scheelzien op basis van de drempelwaarde in het script, die is ingesteld op 75 pixels.
   OPMERKING: De parameters voor deze macro's moeten mogelijk worden aangepast, afhankelijk van de experimentele opstelling (zie discussie). De drempel voor scheelzien en het automatische filter voor de maximale waarde van het oog zijn parameters die kunnen worden gewijzigd afhankelijk van de grootte van het dier en de afstand tot de camera. U kunt ook de waarden aanpassen die worden gebruikt voor het verwijderen van suboptimale punten, afhankelijk van hoe selectief de gegevens moeten worden gefilterd.

Results

Hier bieden we een methode voor de betrouwbare detectie van scheelzien bij hoge temporele resolutie met behulp van DeepLabCut. We hebben de trainingsparameters geoptimaliseerd en we geven een evaluatie van de sterke en zwakke punten van deze methode (Figuur 1).

Nadat we onze modellen hadden getraind, hebben we geverifieerd dat ze in staat waren om de bovenste en onderste punten van het ooglid correct te schatten (Figuur 2), die dienen als de coördinaatpunten voor de Euclidische afstandsmeting. De Euclidische afstand wordt gedefinieerd als de gemiddelde lengte van de afstanden tussen de twee bovenste en onderste punten van het oog. Ons model was in staat om gevallen van niet-scheelzien (Figuur 2A) en scheelzien (Figuur 2B) te detecteren. De blauwe stippen geven de punten aan die worden gebruikt om de Euclidische afstand voor elk frame te bepalen. De groene, gele, oranje en paarse stippen werden gebruikt om het model te helpen de Euclidische afstand correct te schatten en de waarschijnlijkheidswaarde te verlagen wanneer het hoofd zich in een suboptimale positie bevindt (d.w.z. rekening houdend met hoofdbewegingen en positieveranderingen tijdens sessies). Vervolgens hebben we de nauwkeurigheid van het model gevalideerd met behulp van een aantal verschillende methoden.

Om het ideale aantal frames dat voor het model wordt gebruikt te valideren, hebben we vier modellen met verschillende voorbeeldframegroottes getraind en getest (Afbeelding 3). We hebben eerst de RMSE-waarden (Root Average Square Error) tussen de test- en trainingsgegevens vergeleken om te valideren hoe goed de modellen testgegevens nauwkeurig konden voorspellen waarop ze niet waren getraind. Uit deze vergelijking bleek dat de variabiliteit tussen de handmatig gelabelde punten en de modelgelabelde punten na 300 frames afvlakte. Deze trend correleerde met de gerapporteerde gemiddelden voor waarschijnlijkheid die ook leken af te vlakken na 300 gelabelde frames. We hebben deze gerapporteerde waarschijnlijkheidswaarden gebruikt om punten te filteren die kleiner waren dan 0,92. Deze waarschijnlijkheidswaarden geven aan hoe zeker het model is dat een bepaald punt correct is gelabeld op basis van de trainingsgegevens. We hebben het gemiddelde genomen van deze waarden voor de punten die bijdragen aan de Euclidische afstandsmetriek om te onderzoeken hoe goed de modellen ten opzichte van elkaar presteerden. Hoewel er geen significant verschil was tussen 300 en 400 frames, gebruikten we 400 frames omdat dit gemiddeld boven de waarschijnlijkheidswaarde van 0,95 lag, wat onze drempel voor handmatig filteren nadert en overeenkomt met de drempel die wordt gebruikt in vergelijkbare modellen voor pose-schatting¹⁶.

Een andere manier waarop we de nauwkeurigheid van het model hebben gevalideerd, was met een verwarringsmatrix waarin handmatig geannoteerde frames werden vergeleken met frames met DLC-labels. Twee geblindeerde personen annoteerden handmatig 300 frames van hetzelfde oog in acht video's. We gebruikten deze gegevens om een verwarringsmatrix te construeren om echte en onwaar-positieven en -negatieven te beoordelen (Figuur 4), waarbij handmatig gescoorde gegevens werden gebruikt als de grondwaarheid. Voor DLC werd een positieve scheelzienswaarde geregistreerd wanneer de Euclidische afstand werd geregistreerd als minder dan 75 pixels (d.w.z. het dier loenst) en een negatieve waarde werd geregistreerd voor waarden groter dan 75 pixels (d.w.z. het dier knijpt niet scheel). We vonden een positief voorspellende waarde van 96,96%, wat het percentage van de tijd is dat het model scheelzien nauwkeurig voorspelt ten opzichte van een handmatig geannoteerde scheelzien. We vonden een negatief voorspellende waarde van 99,66%, wat het percentage van de tijd is dat het model nauwkeurig geen scheelzien voorspelt ten opzichte van handmatig geannoteerde scheelzien. Deze tonen het aandeel negatieve en positieve waarden dat correct is gelabeld. We vonden ook een echt positief percentage van 98,1% en een echt negatief percentage van 99,46%, die de nauwkeurige voorspelling van het model van positieve en negatieve waarden vertegenwoordigen ten opzichte van respectievelijk alle positieve en negatieve waarden. Onze Matthews-correlatiecoëfficiënt, of MCC, was 93,8%, wat de correlatiecoëfficiënt aangeeft tussen waargenomen en voorspelde waarden.

Toen we er eenmaal zeker van waren dat ons model scheelzien op betrouwbare wijze volgt, vergeleken we deze DLC-methode met een eerder gepubliceerde methode voor het volgen van scheelzien met behulp van een preklinische migrainedataset¹⁴. We zullen naar deze andere methode verwijzen als het "area squint model (ASM)" omdat het is ontwikkeld met behulp van open ogen als de continue variabele die scheelheid¹⁴ meet. Het gebiedsloenschildmodel maakt gebruik van getrainde gezichtsdetectiesoftware in combinatie met een aangepast MATLAB-script om het gemiddelde pixelgebied van het oog te analyseren, terwijl frames met een volgfoutpercentage van >15%¹⁴ worden uitgesloten. Een belangrijke beperking is dat de "ASM" niet open source is en daarom niet algemeen toegankelijk. DLC zorgt voor meer optimalisatie en aanpasbaarheid zonder dat er een aanzienlijke aankoop van software en hardware nodig is.

We gebruikten een dataset van 10 vrouwelijke en 10 mannelijke CD1-muizen. Experimenteel werden alle dieren gedurende 30 minuten gedurende in totaal 3 dagen voorafgaand aan het begin van de opnames geacclimatiseerd in zachte beperkingen. Elk dier werd geregistreerd gedurende 5 minuten van de basislijn en vervolgens 5 minuten voor behandelingsopnames. Tijdens behandelingssessies werden dieren intraperitoneaal behandeld met PBS (medium) of 0,1 mg/kg CGRP (behandeling) om een migraine-achtige toestand op te wekken. Gegevens werden verzameld in een goed verlichte kamer met behulp van camera's uitgerust met infrarood licht om het gezicht te verlichten, waardoor een nauwkeurige herkenningspuntdetectie werd gegarandeerd. De infraroodcamera bevatte een Kowa LM35JC 2/3" 35 mm F1.6 handmatige iris C-mount lens met een brandpuntsafstand van 254 mm en een passend aangepast diafragma. Nadat we de gegevens hadden verzameld, gebruikten we de ASM en DLC om de gegevens te analyseren. Aangezien handmatig scoren in het veld conventioneel is gebruikt om gezichtsgrimas te kwantificeren, waarbij scheelzien een onderdeel is van de gezichtsgrimas¹⁴, hebben we onze gegevens ook vergeleken met handmatig gescoorde gegevens.

Op basis van eerdere bevindingen dat perifere injectie van CGRP een scheelziende respons bij muizen induceert, verwachtten we significante verschillen in scheelziende respons tussen vehiculeuze en CGRP-behandeling waar te nemen ^6,14. We vergeleken ASM-, handmatige- en DLC-methoden en ontdekten dat ons model robuust een scheelziend fenotype detecteerde, net als de handmatige en ASM-methoden (Figuur 5). Het is belangrijk op te merken dat het ASM-model werd gebruikt om door CGRP geïnduceerde pijn en scheelzien te beoordelen. In die studie vergeleken Rea et al. scheelziende respons na CGRP met scheelzienrespons na formaline-injectie van de achterpoot als een "meer traditionele" pijninductietest¹⁴. Bovendien is CGRP goed gedocumenteerd als het induceren van overgevoeligheid voor aanraking bij muizen door het gebruik van von Frey ^3,17. In overeenstemming met het veld normaliseerden we de gemiddelde scheelzien tijdens de behandelingssessie naar een basislijn van 5 minuten vóór de behandeling voor elk dier en vergeleken we PBS (n = 10) versus met CGRP behandelde (n = 11) dieren. Statistische analyses van de PBS- versus CGRP-behandelde groepen zijn als volgt. We ontdekten dat met CGRP behandelde dieren een verminderd gemiddeld pixelgebied vertoonden met behulp van de gebiedsloenstmethode voor het volgen (p = 0,012, figuur 5A) en een verminderde Euclidische afstand vertoonden wanneer ze handmatig werden gescoord (p = 0,0007, figuur 5B) en met behulp van ons DLC-model (p = 0,007, figuur 5C). Toen we elke methode in de loop van de tijd vergeleken in een enkel representatief dier, werd hetzelfde patroon waargenomen (Figuur 5). Dit dier vertoonde een zeer duidelijk scheelziend fenotype als reactie op CGRP-behandeling, maar niet op PBS. Alle modellen waren in staat om deze verschillen te detecteren, maar de gegevens waren het duidelijkst weergegeven in ons DLC-model (Figuur 5). Nauwkeurige en nauwkeurige statistieken zijn vooral belangrijk wanneer gegevens met fijnere resoluties moeten worden geanalyseerd waarbij het gemiddelde niet indicatief is voor de volledige gedragsuitlezing (bijv. hersenactiviteit). De DLC-methode voor het detecteren van scheelzien bij muizen stelt ons in staat om gegevens te verzamelen op een tijdschaal van milliseconden en deze te koppelen aan metingen van hersenactiviteit (bijv. Lokale veldpotentialen), die plaatsvindt op een tijdschaal van milliseconden. We kunnen deze techniek vervolgens gebruiken om een robuuster profiel op te bouwen van een hersentoestand die wijst op spontane pijn in de context van migraine en andere complexe hersenaandoeningen.

Figuur 1: Overzicht van de procedure voor het genereren van een getraind netwerk met DLC. Algemeen schema van het proces waarbij oogkenmerken van een dier worden gevolgd en vervolgens worden geanalyseerd met behulp van machine learning. Afkorting: DLC = DeepLabCut. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 2: Voorbeeld van geautomatiseerde scheel kijken in een representatieve CD1-muis. (A) Voorbeeld van een frame met DLC-tracking-loensen (gekleurde stippen) op de omtrek van het oog tijdens de behandelingsdag wanneer de muis niet loenst. (B) Voorbeeld van een frame met geautomatiseerde detectie van scheelzien op de behandelingsdag, met behulp van ons DLC-model. De Euclidische afstand werd gemeten aan de hand van de gemiddelde afstand tussen B en C, de blauwe stippen, aan de boven- en onderkant van het oog. De blauwe reeksen stippen aan de boven- en onderkant van het oog worden gebruikt bij het volgen van de Euclidische afstand. De andere punten (groen, geel, oranje, paars) zijn kaderoriëntatiepunten die worden gebruikt om het model te helpen bij het schatten van de Euclidische afstandspunten en om suboptimale hoofdpositionering na gegevensverzameling uit te filteren. Afkorting: DLC = DeepLabCut. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 3: Rechtvaardiging voor het aantal frames dat is gebruikt om het model te trainen. (A) Root-mean squared error-analyse geeft de gemiddelde afstand aan tussen voorspelde en waargenomen waarden voor test- en treindatasets. De trainingsgegevensset vertegenwoordigt de frames die zijn bemonsterd bij het trainen van het model en de testgegevensset vertegenwoordigt de niet-trainingsframes die worden gebruikt om te valideren hoe goed het model vergelijkbare maar verschillende afbeeldingen kan identificeren. We gebruikten vijf sets trainings- en testgegevens en ontdekten dat de RMSE-waarden voor de testgroep ongeveer 300 frames afvlakten. (B) De waarschijnlijkheid dat een bepaald punt correct is geëtiketteerd (gemiddelde + SEM). Hieruit bleek dat 400 handmatig gelabelde frames ideaal waren omdat de onbewerkte datasets gemiddeld meer dan 0,95 waarschijnlijkheid hadden, terwijl ze een RMSE-score hadden die het dichtst bij die van de trainingsgegevens lag. Dit betekende dat het model in staat was om de punten waarop het was getraind nauwkeurig te benaderen, terwijl het ook met een hoge waarschijnlijkheid over de meeste frames rapporteerde. Afkorting: RMSE = root-mean squared error. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 4: Verwarringsmatrix voor DLC-loensenmetingen. We hebben 300 s uit acht video's (vijf CGRP en drie PBS) gesampled en die punten vergeleken met een handmatig gelabelde binaire ja- of nee-score voor scheelzien. We hebben voorspelde waarden gekwantificeerd als die geïdentificeerd door DLC en werkelijke waarden als waarden die handmatig zijn gescoord door een mens. Vervolgens vergeleken we dit met de handmatig gescoorde gegevens om te zien hoe vaak scheelzien correct werd geïdentificeerd ten opzichte van dat handmatig gescoorde binaire ja of nee van scheelzien. Afkortingen: DLC = DeepLabCut; CGRP = calcitonine-gen-gerelateerd peptide; PBS = fosfaatgebufferde zoutoplossing; TP = echte positieven; FP = valse positieven; FN = valse negatieven; TN = echte negatieven; PPV = positief voorspellende waarde; NPV = negatief voorspellende waarde; TPR = echt positief percentage; TNR = echt negatief percentage; MCC = de correlatiecoëfficiënt van Mattheüs. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 5: Fenotype van scheelzien in drie verschillende modellen voor het detecteren van scheelzien. De bovenste twee rijen bevatten hetzelfde representatieve dier met elke aandoening (PBS of CGRP) in drie verschillende modellen voor het detecteren van scheelzien. De onderste rij geeft de gemiddelden van alle dieren weer. (A) Er was een afname van het gemiddelde pixeloppervlak (gemiddeld totaal pixelgebied/baseline) bij met CGRP behandelde versus PBS-behandelde muizen (t(18) = 2,805, p = 0,012) na verwerking van alle gegevens met behulp van het eerder gepubliceerde en gevalideerde gebiedsloenstmodel¹⁴. (B) Er was een vergelijkbare respons in handmatig gescoorde gegevens (t(18) = 4,064, p = 0,0007). (C) Met CGRP behandelde muizen vertoonden een verminderde gemiddelde afstand tussen ooglid en ooglid (Euclidische afstand van de behandeling/Euclidische afstand vóór de behandeling, baseline) dan met PBS behandelde muizen (t(18) = 3,040, p = 0,007 bij gebruik van DLC om alle gegevens te verwerken. N = 20 (10 vrouwen, 10 mannen). Foutbalken geven de gemiddelde ± SEM aan. Klik hier om een grotere versie van deze figuur te bekijken.

Discussion

Dit protocol biedt een gemakkelijk toegankelijke, diepgaande methode voor het gebruik van op machine learning gebaseerde tools die scheel kijken met bijna menselijke nauwkeurigheid kunnen differentiëren, terwijl dezelfde (of betere) temporele resolutie van eerdere benaderingen behouden blijft. In de eerste plaats maakt het de evaluatie van geautomatiseerd loensen gemakkelijker beschikbaar voor een breder publiek. Onze nieuwe methode voor het evalueren van geautomatiseerd scheelzien heeft verschillende verbeteringen ten opzichte van eerdere modellen. Ten eerste biedt het een robuustere metriek dan ASM door minder punten te gebruiken die daadwerkelijk bijdragen aan de kwantificering van scheelzien. Dit verkleint de kans op valse positieven en negatieven door de analyse te laten vertrouwen op minder punten bij het genereren van de waarden die loensen aanduiden. Met andere woorden, het DLC-model maakt elk punt rond het oog noodzakelijk, maar niet voldoende voor het opnemen van een tijdpunt. Dit stelt ons in staat om suboptimale gegevens te filteren met hetzelfde aantal punten als ASM zonder te hoeven vertrouwen op de grotere variabiliteit die voortkomt uit het vertrouwen op zoveel samenstellende punten. Bovendien hebben we de kans op menselijke fouten verminderd door modellen te ontwerpen die niet volledig afhankelijk zijn van de nauwkeurigheid van getrainde personen.

Bij het verwerken van gegevens ontdekten we dat onze methode nauwkeurig suboptimale punten en uitschieters filterde die groter waren dan wat mogelijk was, gegeven de maximale grootte van het muizenoog (protocolsectie 10). We gebruikten macro's die controleerden of elk van de 10 punten rond het oog afzonderlijk een waarschijnlijkheidswaarde van meer dan 0,92 had en filterden alles onder die waarde. In de toekomst kan dit worden aangepast om de verwerkte gegevens meer of minder selectief te maken. De macro's filterden ook alle Euclidische afstandswaarden groter dan 200 pixels, omdat we ontdekten dat de grootst mogelijke afstand tussen de boven- en onderkant van het oog 150 pixels was. Dit kan nodig zijn afhankelijk van de experimentele opzet. Als de camera zich niet op dezelfde afstand van het oog bevindt, kan de maximale waarde aanzienlijk meer of minder zijn. De kracht van deze macro's is dat ze ons in staat stelden om metingen tussen de boven- en onderkant van het oog te extraheren op een manier die afhankelijk was van het model dat een hogere waarschijnlijkheid rapporteerde voor alle samenstellende punten rond het oog.

DLC en de ASM zijn beide beperkt in die zin dat ze afhankelijk zijn van de muis om zich in een vaste positie op een vooraf bepaalde afstand van de camera te bevinden om een consistente vergrotingsschaling tussen de basislijn en de behandelingsomstandigheden mogelijk te maken. Dus beweging van het dier zelf, onjuiste positionering in het apparaat of een verandering in de experimentele procedure zou het vermogen van het model om de totale oppervlakte van het oog te detecteren in gevaar brengen. Ons model verbetert deze beperkingen enigszins door gebruik te maken van de Euclidische afstand, dat wil zeggen de op- en neergaande afstand van de lengte van het oog, waardoor een betere tracking mogelijk is ondanks verschillen in de hoeken van de camera, beweging van het dier en experimentele variatie over verschillende sessies zonder dat extra herkalibratie nodig is. We erkennen echter dat verbeteringen in de normalisatie om rekening te houden met hoofdbewegingen kunnen resulteren in een nog betere tracking van scheelzien bij bewegende dieren.

Een andere beperking van onze methode is dat het punten uitfilterde waar de Euclidische afstand nul naderde, wat het sluiten van het oog aangeeft. Ondanks het filteren van deze significante bijdragen aan scheelzien, waren we nog steeds in staat om een CGRP-geïnduceerde scheelziende respons robuuster te detecteren dan eerdere methoden (p = 0,007). Het verwijderen van dit onderdeel van scheelzien wordt vooral beperkend wanneer je probeert te vergelijken met andere aandachtspunten, zoals hersenactiviteit. We denken dat het vinden van betekenis bij het verwijderen van die punten de robuustheid van deze methode aantoont, maar we erkennen dat het verwijderen van deze componenten van scheelzien niet ideaal is. Toekomstige studies die deze methode gebruiken, zouden een groter aantal uitschieters moeten bevatten om de modellen beter te trainen in het herkennen van scheelzien als het nul nadert. Over het algemeen kan de ontwikkeling van een methode voor het betrouwbaar volgen van geautomatiseerde scheelzien studies mogelijk maken die gericht zijn op het associëren van belangrijke kenmerken van natuurlijk voorkomend gedrag met de hersentoestand, waardoor robuust onderzoek naar hersenactiviteitsprofielen mogelijk wordt, zoals in de context van migraine.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA toolkit 11.8
cuDNN SDK 8.6.0
Intel computers with Windows 11, 13th gen
LabFaceX 2D Eyelid Tracker Add-on Module for a Free Roaming Mouse:	FaceX LLC	NA	Any camera that can record an animal's eye is sufficient, but this is our eye tracking hardware.
NVIDIA GPU driver that is version 450.80.02 or higher
NVIDIA RTX A5500, 24 GB DDR6	NVIDIA	[490-BHXV]	Any GPU that meets the minimum requirements specified for your version of DLC, currently 8 GB, is sufficient. We used NVIDIA GeForce RTX 3080 Ti GPU
Python 3.9-3.11
TensorFlow version 2.10