Methodenartikel

IntelliSleepScorer, een softwarepakket met een grafische gebruikersinterface voor muizen Geautomatiseerde Sleep Stage Scoring

DOI:

10.3791/66950

⸱

8 november 2024

 ,  ,  , 
1Stanley Center for Psychiatric Research, Broad Institute of MIT and Harvard, 2Stanford University

In dit artikel

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We presenteren een softwarepakket met een grafische gebruikersinterface voor onderzoekers zonder codeerervaring om slaapstadia bij muizen te scoren met een eenvoudige download en bediening.

Samenvatting

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het scoren van de slaapfase bij knaagdieren is het proces van het identificeren van de drie fasen: slaap zonder snelle oogbewegingen (NREM), slaap met snelle oogbewegingen (REM) en waken. Het scoren van slaapfasen is cruciaal voor het bestuderen van slaapfasespecifieke maatregelen en effecten.

Slaappatronen bij knaagdieren verschillen van die bij mensen, gekenmerkt door kortere episodes van NREM en REM met tussenruimte tussen het ontwaken, en traditionele handmatige slaapfasescores door menselijke experts zijn tijdrovend. Om dit probleem aan te pakken, hebben eerdere studies op machine learning gebaseerde benaderingen gebruikt om algoritmen te ontwikkelen om slaapfasen automatisch te categoriseren, maar goed presterende modellen met een grote generaliseerbaarheid zijn vaak niet openbaar beschikbaar/gratis of gebruiksvriendelijk voor niet-opgeleide slaaponderzoekers.

Daarom hebben we een op machine learning gebaseerd LightGBM-algoritme ontwikkeld dat is getraind met een grote dataset. Om het model beschikbaar te maken voor slaaponderzoekers zonder codeerervaring, werd op basis van het model een softwaretool ontwikkeld met de naam IntelliSleepScorer (v1.2- nieuwste versie), die een gebruiksvriendelijke grafische gebruikersinterface heeft. In dit manuscript presenteren we stapsgewijze instructies voor het gebruik van de software om een handige en effectieve automatische tool voor het scoren van slaapfasen bij muizen voor slaaponderzoekers te demonstreren.

Inleiding

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Het scoren van slaapfasen bij knaagdieren is de procedure om de drie fasen te identificeren: slaap zonder snelle oogbewegingen (NREM), slaap met snelle oogbewegingen (REM) en wakkerworden 2. Bij knaagdieren wordt NREM gekenmerkt door verminderde spieractiviteit, langzame en regelmatige ademhaling, verlaagde hartslag en laagfrequente oscillaties van de hersengolven. REM bij knaagdieren, vergelijkbaar met mensen, vertoont spieratonie, EEG-activering en snelle oogbewegingen, hoewel het optreden van levendige dromen minder duidelijk is bij knaagdieren in vergelijking met mensen 2,3. De "waak"-toestand bij knaagdieren wordt gekenmerkt door gedesynchroniseerde hersenactiviteit met hoogfrequente golven met lage amplitude, verhoogde spierspanning en actief gedrag, zoals verzorging en verkenning4. Deze drie fasen kunnen worden geïdentificeerd door elektro-encefalogram (EEG) en elektromyogram (EMG) signalen te inspecteren5.

Er is grote behoefte aan de modellen voor het automatisch scoren van de slaapfase bij knaagdieren. Ten eerste is het handmatig scoren van de slaapfase door menselijke experts arbeidsintensief en tijdrovend. Ten tweede verschillen de slaappatronen bij knaagdieren van die bij mensen en hebben ze meer gefragmenteerde episodes van NREM en REM met tussenruimte tussen het ontwaken, ongeveer 10 minuten, in tegenstelling tot 60-120 minuten bij mensen6. Daarom is het een uitdaging om deze korte perioden tijdens handmatig scoren te identificeren. Sinds de jaren 60 zijn er veel pogingen gedaan om een automatisch scoresysteem van slaapgegevens van knaagdieren te ontwikkelen7. Hoewel er veel geautomatiseerde methoden voor het scoren van de slaap van knaagdieren bestaan, variëren hun prestaties 8,9,10,11,12,13,14,15,16,17,18. Belangrijk is dat de meeste goed presterende modellen met een hoge generaliseerbaarheid niet openbaar beschikbaar zijn (sommige hebben speciale verzoeken van ontwikkelaars nodig) of niet gratis zijn voor slaaponderzoekers.

Om de huidige technologische kloof op te vullen, hebben we daarom een op machine learning gebaseerd model ontwikkeld met behulp van een grote dataset van 5776 uur EEG- en EMG-signalen van 519 opnames op 124 muizen met het LightGBM-algoritme1. De lightGBM maakt gebruik van een gradiëntverhogende benadering om beslissingsbomen te construeren19. In Wang et al., 2023, behaalde het LightGBM-model (bestaande uit meer dan 8000 beslissingsbomen) een algehele nauwkeurigheid van 95,2% en een Cohen's kappa van 0,91, die beter presteerde dan twee veelgebruikte basismodellen, zoals het logistische regressiemodel (nauwkeurigheid = 93,3%) en het random forest-model (nauwkeurigheid = 94,3%, kappa = 0,89). De algehele prestaties van het model vertoonden ook een vergelijkbare prestatie als die van menselijke experts. Het belangrijkste is dat is bewezen dat het model generaliseerbaar is en niet te veel is afgestemd op de oorspronkelijke trainingsgegevens1: 1) Het presteerde goed (nauwkeurigheid > 89%) op twee andere openbaar beschikbare onafhankelijke datasets, van Miladinovic en collega's11, met verschillende bemonsteringsfrequenties en epoch-lengtes; 2) De prestaties van het model worden niet beïnvloed door de licht/donker-cyclus van muizen; 3) Een gemodificeerd LightGBM-model presteerde goed op gegevens die slechts één EEG- en één EMG-elektrode bevatten met kappa-≥ 0,89; 4) Zowel wildtype als gemuteerde muizen werden gebruikt voor het testen en de prestaties van het model waren beide nauwkeurig. Dit suggereert dat het model slaapstadia kan scoren voor muizen met verschillende genetische achtergronden.

Om dit model toegankelijk te maken voor slaaponderzoekers die misschien geen codeerexpertise hebben, ontwikkelden we IntelliSleepScorer, een gebruiksvriendelijke softwaretool met een visueel intuïtieve interface. De software kan de procedure voor het scoren van slaap bij muizen volledig automatiseren. Het produceert interactieve visualisaties van de signalen, hypnogrammen en Shapley Additieve uitlegingen (SHAP)-waarden van een Europees gegevensformaat (EDF)/EDF+ bestandsinvoer. De SHAP-waardebenadering, gebaseerd op coöperatieve speltheorie, verbetert de interpreteerbaarheid van machine learning-modellen20. Het model biedt SHAP-waarden op zowel globaal als epoch-niveau, waardoor wordt onthuld hoe verschillende functiewaarden bijdragen aan de scorebeslissing van het model in het algemeen en voor elk tijdperk. Dit geavanceerde programma vermindert de tijd en moeite die nodig is voor het scoren van de slaapfase bij muizen aanzienlijk, terwijl het ervoor zorgt dat stroomafwaartse analyse kan vertrouwen op zeer nauwkeurige resultaten. In dit manuscript presenteren we het stapsgewijze gebruik van IntelliSleepScorer (v1.2) met verschillende updates op versie 1.0, waaronder een optie om SHAP-analyse los van slaappatroonvoorspelling uit te voeren, een door de gebruiker instelbare epoch-lengte voor het scoren van slaapfasen en een handmatige correctiefunctie voor slaapfasen die is geïntegreerd in de GUI.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Deze studie maakte gebruik van gegevens die waren verzameld uit in vivo experimenten bij muizen. Er waren geen menselijke experimenten betrokken bij het onderzoek. Alle experimenten met dieren werden goedgekeurd door de Institutional Animal Care and Use Committee van het Broad Institute. Alle experimenten zijn uitgevoerd in overeenstemming met de relevante richtlijnen en voorschriften. De ARRIVE-richtlijnen zijn niet van toepassing op dit onderzoek, omdat de focus van dit onderzoek ligt op het ontwikkelen van machine learning-modellen in plaats van het vergelijken van verschillende behandelingsgroepen.

1. Voorbereiding van de gegevens

OPMERKING: Gegevenscompatibiliteit: de opgenomen gegevens kunnen een bemonsteringsfrequentie hebben die hoger is dan 40 Hz. Het is niet nodig om het signaal te filteren met een bandpass, omdat de softwarebandpass de EEG- en EMG-signalen bij de eerste stap filtert. De LightGBM-modellen zijn ontwikkeld en getest met behulp van gegevens van muizen. Er is geen bewijs beschikbaar met betrekking tot de prestaties van de LightGBM-modellen in andere soorten proefdieren. De opname-elektroden moeten op de frontale en de pariëtale cortex worden geplaatst, of op een van beide plaatsen als er slechts één EEG-kanaal is opgenomen.

  1. Indeling en vereisten van het EDF/EDF+-formaat
    OPMERKING: De software die in dit onderzoek wordt gebruikt, leest alleen EDF/EDF+-bestanden met behulp van het MNE-Python-pakket. De standaard EDF/EDF+-specificatie moet worden toegepast om de EDF/EDF+-bestanden te genereren. Zorg er naast de standaardspecificatie voor dat de EDF/EDF+-annotaties zijn gecodeerd in UTF-8. Anders crasht de softwaretoepassing.
    1. Converteer een ander bestandsformaat (niet-EDF/EDF+-bestand) naar EDF/EDF+-formaat met gratis online tools.
      NOTITIE: Er is geen vereiste voor het apparaatfilter bij het verkrijgen van EEG- en EMG-signalen. Zolang gebruikers hun EEG- en EMG-gegevens bemonsteren met een frequentie van 40 Hz of hoger, zal de software correct functioneren. Dit komt omdat de signalen in de eerste voorbewerkingsstap een banddoorlaatfiltering ondergaan tussen 1 Hz en 40 Hz. Deze bandpass-filtering is geïntegreerd in de voorverwerkingspijplijn van de software, waardoor gebruikers geen extra signaalverwerking hoeven uit te voeren.
  2. Er zijn twee modellen in de software voor het scoren. De ene is LightGBM-2EEG en de andere is LightGBM-1EEG. Het LightGBM-2EEG-model is bedoeld voor het opnemen van gegevens met 2 EEG-kanalen en 1 EMG-kanaal. Voer de volgende stappen uit, afhankelijk van het model.
    1. Organiseer gegevensbestanden voor LightGBM-2EEG specifiek in de volgende volgorde: 1) EEG-kanaal opgenomen in het pariëtale gebied; 2) EEG-kanaal opgenomen in het frontale gebied; 3) EMG-kanaal. De LightGBM-1EEG is bedoeld voor gegevens die slechts 1 EEG-kanaal bevatten (plaatsing van de elektrode op pariëtaal of frontaal gebied) en 1 EMG-kanaal.
    2. Organiseer de kanalen in EDF/EDF+-bestanden voor LightGBM-1EEG in de volgende volgorde: 1) EEG-kanaal; 2) EMG-kanaal.

2. IntelliSleepScorer downloaden voor Windows-, Mac- en Linux-gebruikers

  1. Voor Windows-gebruikers is een Windows-uitvoerbaar bestand voor de software beschikbaar met behulp van PyInstaller. Vind de downloadlink op de onderzoekspagina van de Pan-groep https://sites.broadinstitute.org/pan-lab/resources. Voor MacOS- of Linux-gebruikers gebruikt u de broncode op de GitHub-repository https://github.com/broadinstitute/IntelliSleepScorer om de software te starten.
  2. Krijg toegang tot twee opgenomen voorbeeldgegevens om het programma te testen dat is opgeslagen als EDF-bestanden door ze te downloaden via de GitHub-repository.
  3. De opslagplaats voor broncode bevat de map modellen niet vanwege groottelimieten. Download in plaats daarvan models.zip, pak het uit en kopieer de modellenmap in de opslagplaats om het programma uit te voeren. Anders crasht de software vanwege ontbrekende modelbestanden.

3. Workflow en lancering en werking van het programma

  1. Start IntelliSleepScorer
    1. Om de software in Windows te starten, dubbelklikt u op IntelliSleepScorer.exe in de hoofdmap. Om de software in MacOS of Linux te starten, opent u een terminalemulator, wijzigt u de map in de hoofdmap van de software en start u vervolgens de software met de opdracht: python3 IntelliSleepScorer.py.
  2. Zodra de software is geopend, klikt u op Selecteer EDF/EDF+-bestand(en) om de beoogde bestanden te selecteren om te scoren. Als bestanden per ongeluk zijn geselecteerd, klikt u op de knop Wissen om de lijst met geselecteerde bestanden te wissen.
    OPMERKING: Standaard codeert de software de slaapfasen als Wake:1, NREM:2 en REM:3 in de uitvoerscorebestanden. De standaard epoche lengte is ingesteld op 10 s. De huidige versie (v1.2) van de GUI stelt gebruikers in staat om fasecoderingen of epoch-lengtes te wijzigen in 4 s, 10 s of 20 s met het dropdown-menu.
  3. Selecteer de gewenste epoch lengte. Gebruik het meegeleverde vervolgkeuzemenu om de beoogde epoch-lengte te selecteren uit opties van 4 s, 10 s en 20 s voor het scoren van slaapfasen.
  4. Selecteer het model dat moet worden gebruikt voor het scoren van slaap. LightGBM-2EEG is bedoeld voor databestanden met twee EEG-kanalen en één EMG-kanaal, terwijl de LightGBM-1EEG is ontworpen voor data met één EEG-kanaal en één EMG-kanaal.
  5. Voordat u de voorspelling van de slaapfase uitvoert, neemt u de aanvullende SHAP-berekening op die helpt bij het verklaren van de resultaten van de voorspelling van de slaapfase. Als u de SHAP-berekening wilt verwerken, schakelt u het selectievakje SHAP uitvoeren/plotten in. De SHAP-berekening heeft ongeveer 5-10 minuten nodig om te verwerken.
  6. Klik op Score toevoegen aan alle bestanden. Het model scoort automatisch alle EDF/EDF+-bestanden en berekent de globale en epoch SHAP-waarden om de scorebeslissingen in de lijst te interpreteren als daarvoor wordt gekozen.
    OPMERKING: Tijdens het scoreproces genereert het model de volgende bestanden en slaat deze op in dezelfde map waar de EDF/EDF+-bestanden zich bevinden. Het model gebruikt deze bestanden om de globale SHAP-waarden en epoch SHAP-waarden te plotten.

    "EDF/EDF+ bestandsnaam}_{model_name}_features.csv"; In dit bestand worden alle geëxtraheerde functiewaarden opgeslagen.
    "EDF/EDF+ bestandsnaam}_{model_name}_scores.csv"; In dit bestand worden de voorspelde slaapfasen opgeslagen.
    "EDF/EDF+ bestandsnaam}_{model_name}_rs_100hz.npy"; In dit bestand wordt een kopie van de geresamplede/gedownsamplede signalen (100Hz) opgeslagen. Om de visualisatiesnelheid te verbeteren, gebruikt het model het gedownsamplede signaal in plaats van het oorspronkelijke signaal bij het plotten van het signaal.
    "EDF/EDF+ bestandsnaam}_{model_name}uitleg. augurk"; "{EDF/EDF+ bestandsnaam}{model_name}shap_500samples.pickle"; "{EDF/EDF+ bestandsnaam}{model_name}_indicies_500samples.npy";
  7. Nadat u het slaapscoreproces hebt voltooid, klikt u op de optie Het geselecteerde bestand visualiseren om de EEG/EMG-signalen en een hypnogram te visualiseren die op tijd is afgestemd op de signalen.
    1. Snijd het geselecteerde bestand opnieuw in voordat u het visualiseert als de epoche lengte wordt gewijzigd.

4. Navigeren door de gescoorde resultaten

  1. Klik op de meegeleverde navigatieknoppen om vooruit en achteruit te gaan om verschillende epoch-gegevens te zien.
  2. Als SHAP-berekening is gekozen om uit te voeren, bekijkt u zowel de globale SHAP-waarden als de SHAP-waarden op epoch-niveau. Klik met de rechtermuisknop op een tijdvak om de SHAP-waarden op epoch-niveau te plotten.
    OPMERKING: Het duurt een paar seconden om de SHAP-plot op epoch-niveau bij te werken. Figuur 1 toont het overzicht van de GUI-pagina na het uitvoeren van de voorspelling voor het EDF/EDF+-bestand van Example-1 met 1_LightBGM-2EEG-model.

5. Interpretatie van het hypnogram van de gescoorde slaapstadia

OPMERKING: Er zijn 4 rijen in het hypnogram (Figuur 2). De bovenste rij zijn de voorspelde resultaten. De onderste 3 rijen zijn onbewerkte gegevens van respectievelijk 2 EEG- en 1 EMG-kanalen. Op de bovenste rij suggereert oranje de Wake-fase , blauw de NREM-fase en rood de REM-fase in elk tijdperk.

  1. Om het aantal weer te geven epochs te wijzigen, klikt u op het menuvak rechts van Selecteer aantal weer te geven epochs en kiest u een gewenste waarde. In figuur 2 zijn 100 tijdperken gekozen. Daarom worden slechts 100 epochs weergegeven in de voorspellingsgrafiek van de slaapfase. Selecteer een kleiner getal in het vervolgkeuzemenu om in te zoomen op de plot.
  2. De roze transparante balk aan de linkerkant van figuur 2 geeft de huidige locatie van het tijdperk aan. Klik met de linkermuisknop op een willekeurige plaats op het hypnogram om naar een ander tijdperk te gaan, of klik gewoon op Ga naar tijdperk en voer een specifiek aantal epochs in dat moet worden waargenomen. Klik met de rechtermuisknop op de geselecteerde epoch om de epoch SHAP-plot te genereren als de gebruiker de SHAP-functie heeft ingeschakeld.

6. Handmatige correctie van de voorspelde slaapfasen op GUI (optioneel)

OPMERKING: als er geen anomalie wordt waargenomen of als er geen extreem hoge nauwkeurigheid vereist is voor de voorspelling van de REM-fase, is handmatige verificatie niet nodig.

  1. Klik met de linkermuisknop op een epoch in de voorspellingsplot van de slaapfase (bovenste plot) om een specifieke epoch te selecteren. Het door het model voorspelde stadium van het geselecteerde tijdperk wordt rechts in de tekst weergegeven. Om de voorspelde fase van dat tijdperk handmatig te wijzigen, klikt u op de widget en selecteert u een nieuwe fase uit de opties Wake, REM en REM in het vervolgkeuzemenu.
  2. De door de gebruiker gecorrigeerde fasen zijn gemarkeerd met stippellijnen bovenop de oorspronkelijke plot (Figuur 3). Sluit de GUI en er wordt automatisch een nieuw bestand met gecorrigeerde voorspellingsresultaten gegenereerd in dezelfde map.
    1. Om een opgeslagen scorebestand op de GUI opnieuw te openen, moet u ervoor zorgen dat de instelling voor de epoch-lengte en het geselecteerde model overeenkomen met het model dat is gebruikt toen het EDF-bestand voor het eerst werd verwerkt om het opnieuw te kunnen openen. Alle eerder gewijzigde/gescoorde informatie wordt snel geladen.

Resultaten

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Er zijn drie grafieken (alleen de bovenste grafiek als er geen SHAP-waarden zijn uitgevoerd) die in de GUI worden gegenereerd na het scoren van de slaapfase: de bovenste grafiek presenteert EEG- en EMG-kanalen met een hypnogram van de voorspelling van de slaapfase. De middelste grafiek geeft de SHAP-waarden van de epoch weer. De onderste grafiek geeft de globale SHAP-waarden weer (Figuur 1).

Er worden 4 soorten gegevens gepresenteerd in de hypnogramplot voor de voorspelling van de slaapfase (Figuur 2). De bovenste rij zijn de voorspelde resultaten. De onderste 3 rijen zijn onbewerkte gegevens van respectievelijk 2 EEG- en 1 EMG-kanalen. Op de bovenste rij suggereert oranje de "Wake"-fase, blauw suggereert de "NREM"-fase en rood suggereert de "REM"-fase in elk tijdperk. De huidige voorbeeldepoch is op 1305 en bevindt zich in een fase van "Wake" omdat de roze locatiebalk overlapt met een oranjekleurige lijn.

In afbeelding 3 is een door de gebruiker gecorrigeerde fase gemarkeerd met stippellijnen bovenop het origineel. De rode stippellijn geeft aan dat de slaapfase is gewijzigd van "Wake" naar "REM".

In Figuur 4 is een voorbeeldresultaat van epoch 1305 in het voorbeeldbestand 1 weergegeven. De Y-as van de Epoch SHAP-plot toont de top 10 objecten met de hoogste absolute SHAP-waarden voor de geselecteerde epoch. De x-as toont de SHAP-waarden, die de bijdrage van elk kenmerk aan de voorspelling aangeven ten opzichte van de gemiddelde voorspelling. De positieve SHAP-waarde geeft een positieve bijdrage aan de voorspelling aan, en vice versa. Functie "emg_abs_max" heeft een zeer positieve SHAP-waarde op epoch-niveau voor Wake, wat aangeeft dat "emg_abs_max" uit de geselecteerde epoch de kans vergroot dat de gekozen epoch wordt gescoord als "Wake" (Figuur 4). Dit is fysiologisch redelijk omdat een grote EMG-amplitude actieve bewegingen aangeeft, waardoor de "Wake"-fase wordt aangegeven.

In het voorbeeld van de Global SHAP-plot (Figuur 5) vertegenwoordigt elke stip in de p-zwermplot één steekproef met gegevens. De y-as van de grafieken toont de top 10 kenmerken met de hoogste absolute wereldwijde SHAP-waarden, berekend op basis van 500 willekeurig gesamplede epochs. De x-as toont de SHAP-waarden, die de bijdrage van elk kenmerk aan de voorspelling aangeven ten opzichte van de gemiddelde voorspelling. Anders dan de epoch SHAP-plot, heeft de globale SHAP-plot twee dimensies: de x-waarde van elke stip en de intensiteit van de puntkleur. De positieve x-as SHAP-waarde geeft een positieve bijdrage aan de voorspelling aan, en vice versa. Monsters met een donkerdere rode kleur hebben hogere functiewaarden. Door de correlaties van positie en de kleur van de 500 stippen voor elk kenmerk visueel te onderzoeken, kan men interpreteren hoe LightGBM beslissingen neemt op basis van de waarden van elk kenmerk. In de globale SHAP-plot 'Wake' wordt de kleur van de stippen donkerder naarmate de SHAP-waarden voor 'emg_abs_max toenemen van negatiever naar positiever. Het geeft aan dat de verhoogde kans om te worden voorspeld als "Wake" positief gecorreleerd is met de verhoogde waarde van "emg_abs_max". Het is ook vermeldenswaard dat functies met bredere verdelingen van SHAP-waarden (hogere absolute waarden) meer bijdragen aan de voorspelling door het model. De globale NREM-SHAP-plot (Figuur 5) heeft bijvoorbeeld een brede spreiding van stippen voor de functie "eeg2_gamma_delta_ratio". De zeer negatieve SHAP-waarde van het object verkleint de kans dat het model wordt gescoord als de "NREM"-fase.

figure-results-1
Figuur 1: Overzicht van de GUI-pagina na het uitvoeren van een voorspelling voor een Example-1 EDF/EDF+-bestand met 1_LightBGM-2EEG-model. Zowel de voorspelling van de slaapfase als de SHAP-berekening worden gescoord. De bovenste grafiek toont EEG- en EMG-kanalen met een hypnogram van de voorspelling van de slaapfase. De middelste grafiek toont epoch SHAP-waarden. De onderste grafiek toont wereldwijde SHAP-waarden. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-2
Figuur 2: Hypnogram voor de voorspelling van de slaapfase uit het EDF/EDF+-bestand van voorbeeld-1. Er zijn 4 gegevens gepresenteerd in de grafiek. De bovenste rij zijn de voorspelde resultaten. De onderste 3 rijen zijn onbewerkte gegevens van respectievelijk 2 EEG- en 1 EMG-kanalen. Op de bovenste rij suggereert oranje de "Wake"-fase, blauw suggereert de "NREM"-fase en rood suggereert de "REM"-fase in elk tijdperk. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-3
Figuur 3: Voorspelling van de slaapfase, hypnogram uit voorbeeld-1 EDF/EDF+-bestand met door de gebruiker aangepaste handmatige correctie. Epoch 1305 is veranderd van fase "Wake" naar fase "REM" als een demonstratie van handmatige correctie van de slaapfase in de GUI. De gestippelde rode lijn geeft de door de gebruiker gewijzigde slaapfase "REM" aan. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-4
Afbeelding 4: Wake-, NREM- en REM Epoch SHAP-waarden voor Example-1 EDF/EDF+-bestand op Epoch 1305. De y-as van de Epoch SHAP-plot toont de top 10 objecten met de hoogste absolute SHAP-waarden voor de geselecteerde epoch. De x-as toont de SHAP-waarden, die de bijdrage van elk kenmerk aan de voorspelling aangeven ten opzichte van de gemiddelde voorspelling. Klik hier om een grotere versie van deze figuur te bekijken.

figure-results-5
Afbeelding 5: Wake-, NREM- en REM Global SHAP-waarden voor voorbeeld-1 EDF/EDF+-bestand. Elke stip in de p-zwermplot vertegenwoordigt één steekproef van gegevens. De y-as van de grafieken toont de top 10 kenmerken met de hoogste absolute wereldwijde SHAP-waarden, berekend op basis van 500 willekeurig gesamplede epochs. De x-as toont de SHAP-waarden, die de bijdrage van elk kenmerk aan de voorspelling aangeven ten opzichte van de gemiddelde voorspelling. De x-as van de globale SHAP-waarde heeft twee dimensies: de x-waarde van elke stip en de intensiteit van de puntkleur. De positieve x-as SHAP-waarde geeft een positieve bijdrage aan de voorspelling aan, en vice versa. Monsters met een donkerdere rode kleur hebben hogere functiewaarden. Klik hier om een grotere versie van deze figuur te bekijken.

Discussie

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

In dit artikel wordt uitgelegd hoe u de grafische gebruikersinterface van IntelliSleepScorer (v1.2) kunt gebruiken om de slaapfasen van muizen automatisch te scoren en hoe u SHAP-waarden/grafieken kunt gebruiken om de slaapfasescores die door het model worden gegenereerd beter te begrijpen.

Een belangrijke overweging bij het gebruik van de software is de compatibiliteit van gegevens. De interne gegevens die in deze studie werden gebruikt, waren beperkt tot elektroden die in het frontale en pariëtale gebied werden geplaatst. In de onafhankelijke dataset van Miladinovic en collega's11 behield de software, ondanks verschillende elektrodecoördinaten voor deze regio's, bevredigende prestaties. Hoewel de software van toepassing kan zijn op andere hersengebieden, hebben we geen tests uitgevoerd om dit te bevestigen. Daarom kunnen we niet beweren dat er geen beperkingen zijn met betrekking tot de plaatsing van de elektrode. We raden gebruikers echter aan om het te testen als ze opnamen uit andere regio's hebben.

De duur van EEG/EMG-opnamesessies voor slaapfaseanalyse varieert afhankelijk van de specifieke doelen van het onderzoek. Doorgaans duren opnamesessies 12 uur, waarbij de lichte of donkere fase wordt bestrijkt, of 24 uur, waarbij beide fasen op één dag worden omvat. Zowel 12-uurs als 24-uurs opnames worden vaak gebruikt om verschillende slaap-waakpatronen en circadiane ritmes vast te leggen. De tests op het model tonen aan dat de score van de slaapfase betrouwbaar en nauwkeurig is voor zowel 12-uurs als 24-uurs opgenomen sessies. Er is geen bovengrens bekend voor de duur van de opnames.

Twee noemenswaardige stappen binnen het softwareprotocol zijn gegevensvoorverwerking en handmatige verificatie. Om de generaliseerbaarheid van de getrainde modellen te verbeteren, hebben we ruis en artefacten in de invoergegevens toegestaan en minimale kwaliteitscontrolemaatregelen geïmplementeerd. De kwaliteitscontrole die we hebben uitgevoerd, is erop gericht om slechte opnames als gevolg van signaalverlies uit te sluiten. Verlies van signalen wordt meestal veroorzaakt door verbindingsproblemen, zoals elektroden die losraken of eraf vallen. Verlies van signalen kan fouten veroorzaken in de slaapscores die door de software worden gegenereerd. Een platte lijn in het EMG-kanaal van een wakkere muis als gevolg van een losse EMG-elektrode kan bijvoorbeeld dezelfde functie hebben als de immobiele/slaapfase van de muizen, wat kan leiden tot de "NREM"- of "REM"-voorspelling door de LightGBM-modellen. Ter referentie hebben we de volgende criteria gebruikt om opnames met een aanzienlijke hoeveelheid signaalverlies automatisch uit te sluiten: 1) de amplitude van een EEG-signaal is minder dan 1 μV gedurende ten minste 50% van de opnameduur, of 2) de amplitude van het EMG-signaal is minder dan 1 pV gedurende ten minste 50% van de opnameduur. De gebruikers moeten hun eigen kwaliteitscontrolecriteria implementeren op basis van hun experimentele opzet en registratiesysteem. Lijnruis veroorzaakt door wisselstroom bevindt zich meestal op 50 Hz of 60 Hz. Deze lijnruis wordt verwijderd tijdens de stap van het banddoorlaatfilter (1-40 Hz) die in de software is geïmplementeerd. Daarom hoeven gebruikers de lijnruis niet voor te bewerken voordat ze de gegevens in de software invoeren. Bijde ontwikkeling van het model is rekening gehouden met kleine geluiden of storende factoren, zoals lichaamsbewegingen. De aanpak die in deze studie wordt gebruikt, zorgt ervoor dat de generaliseerbaarheid van het model deze kleine artefacten kan verdragen, die geen significante invloed hebben op de uiteindelijke resultaten van de slaapstadiëring. Het formaat, de kwaliteit van de opname en de organisatievolgorde van de EDF-gegevensbestanden zijn allemaal cruciale componenten om de prestaties van dit vooraf getrainde model te optimaliseren.

Voor handmatige verificatie raden we gebruikers aan om de door het model gegenereerde slaapfasen te verifiëren als een nauwkeurige REM-fasescore, aangezien het LightGBM-model slecht presteerde (REM F1-score < 0,6) op een paar opnamen. Voor studies die zich richten op de fysiologie van het kielzog- of NREM-stadium, ondersteunt het LightGBM-model nog steeds een zeer robuuste en volledig geautomatiseerde analytische pijplijn. Het interpreteren van SHAP-waarden zou een uitstekend hulpmiddel kunnen worden in combinatie met handmatige verificatie om de nauwkeurigheid van de door de software gegenereerde resultaten te bevestigen. SHAP is een benadering die speltheorie gebruikt om de output van machine learning-modellen te verklaren. Het verbindt optimale krediettoewijzing met lokale verklaringen met behulp van klassieke Shapley-waarden en de bijbehorende uitbreidingen20. Als er bijvoorbeeld in de grafiek van de Global NREM SHAP Values (Figuur 4) plotseling een donkerrode stip verschijnt aan de uiterst rechtse kant van de functie 'eeg2_gamma_delta_ratio', kan dit duiden op een anomalie in dat tijdperk. Dit komt omdat de geïsoleerde epoch-steekproefpunt afwijkt van de gehele dataset. Het interpreteren van SHAP-plots kan gebruikers ook een duidelijke en gebruiksvriendelijke uitleg geven over de score van de slaapfasen. De epoch SHAP-plots geven bijvoorbeeld informatie over welke kenmerken de belangrijkste doorslaggevende factor zijn voor de score van de slaapfase. Het hypnogram voor het voorspellen van resultaten (Figuur 2) geeft ook belangrijke informatie over de voorspellingsresultaten. In gevallen waarin de gescoorde slaapfasen in hypnogram frequente verschuivingen vertonen tussen "Wake" en "REM" -fasen, wat fysiologisch abnormaal is, wordt aanbevolen om een uitgebreide evaluatie van de score- en bijbehorende SHAP-waarden uit te voeren om de kwaliteit van de resultaten vast te stellen. Met SHAP- en hypnogramplots kunnen onderzoekers snel elke voorspellingsfout identificeren tijdens het scoren van slaapfasen. Hoewel SHAP-waarden verklaren hoe het model de voorspellingen doet, betekenen ze niet noodzakelijkerwijs dat de voorspellingen of de manier waarop het model bepaalde voorspellingen doet, correct zijn. Het doel van het presenteren van SHAP-waarden is om de gebruikers te helpen het scoreproces van de slaapfase te begrijpen en om gebruikers in staat te stellen eventuele fouten snel te identificeren door de logica van het LightGBM-model te onderzoeken.

Er zijn twee opvallende kenmerken in de huidige versie (v1.2) van het model. Ten eerste, na de vorige paragraaf, kan handmatige verificatie/correctie erg vervelend en onhandig zijn als gebruikers moeten terugkeren naar CSV-bestanden om wijzigingen aan te brengen, vooral voor lange opnames. Daarom bieden we een handmatige correctiefunctie die rechtstreeks in de GUI is geïntegreerd waarmee gebruikers de gescoorde slaapfase op elk tijdperk kunnen wijzigen. Nadat de gebruiker op een specifiek tijdperk heeft geklikt, wordt de gescoorde slaapfase van "Wake", "REM" of "NREM" weergegeven in het vervolgkeuzemenu bovenaan de GUI-balk. Als de gebruiker de fase van de ene naar de andere fase wil wijzigen, kan hij eenvoudig een andere fase selecteren in het vervolgkeuzemenu, en er wordt een nieuw scorebestand gegenereerd dat handmatig door de gebruikers is gecorrigeerd. Bovendien bieden we, in plaats van een standaard vaste epoch-lengte van 10 seconden voor analyse, een optie voor aanpassing van de epoch-lengte op GUI om tegemoet te komen aan de specifieke experimentele behoeften van verschillende slaaponderzoekers. De opties zijn nu 4-s, 10-s en 20-s tijdperken, die allemaal vaak worden gebruikt door slaaponderzoekers. Hoewel dit model is getraind met interne gegevens van 10-s tijdperken, waren de prestaties van het model op onafhankelijke tests van gegevens van 4-s tijdperken uit verschillende laboratoria vergelijkbaar met die van menselijke experts in alle slaapstadia1. Gebruikers moeten voorzichtig zijn bij het implementeren van tijdperken van 20 seconden, omdat 1) het scoren van muizen die slapen/waken met tijdperken van 20 seconden kunnen missen, zeer korte gebeurtenissen zoals voorbijgaande opwinding kunnen missen; 2) Tijdperken van de jaren 20 omvatten waarschijnlijk gemengde stadia in elk tijdperk8.

Het zal inzichtelijk zijn om dit model te vergelijken met andere bestaande geautomatiseerde methoden voor het scoren van slaapfasen voor de gebruikers. Naast IntelliSleepScorer zijn er nog enkele andere ontwikkelde modellen voor automatische slaapfasescores met verschillende mate van nauwkeurigheid, complexiteit en werkzaamheid 8,9,10,11,12,13,14,15,16,17,18 . Het model dat in deze studie wordt gebruikt, maakt gebruik van het LightGBM-algoritme om een hoge nauwkeurigheid te bereiken bij het scoren van slaapfasen, vergelijkbaar met bestaande modellen. In onze evaluatie toonde IntelliSleepScorer een algehele nauwkeurigheid van 95,2% aan, wat vergelijkbaar is met de prestatiestatistieken die worden gerapporteerd voor vergelijkbare modellen zoals MC-SleepNet8 en Sleep-Deep-Learner9. Het echte onderscheid van IntelliSleepScorer ligt echter niet alleen in de nauwkeurigheid, maar ook in de toegankelijkheid en het gebruiksgemak voor niet-getrainde onderzoekers met beperkte codeerervaring.

MC-SleepNet8, getraind met behulp van diepe neurale netwerken op een grote dataset van 4200 muizen, bereikt een hoge scorenauwkeurigheid van 96,4% en kappa-statistiek van 0,94, waarmee het de meeste bestaande methoden overtreft. Voor zover wij weten is er echter tot op heden geen software op basis van MC-SleepNet die openbaar/vrij beschikbaar is.

Sleep-Deep-Learner9, automatiseert het scoren bij muizen met een F1-score van 0,86 voor REM-slaap, 0,95 voor NREM-slaap en 0,97 voor waakzaamheid. De auteurs gingen er in het artikel echter op in dat Sleep-Deep-Learner niet geschikt is voor personen die niet goed thuis zijn in slaap-waakscores, omdat het een subset van handmatig gescoorde epochs vereist. IntelliSleepScorer, aan de andere kant, vereist geen verdere handmatige manipulatie tijdens het scoren van de slaapfase en heeft een zeer gebruiksvriendelijke GUI voor eventuele onderzoekers.

Somnivore10 is een veelzijdig, meerlagig systeem dat is ontworpen voor geautomatiseerde scores voor de waak-slaapfase, bedreven in het leren van beperkte trainingssets met complexe polysomnografie-invoer. Het werkt met snelle rekenefficiëntie en vertoont robuuste generalisatie over diverse onderwerpen, waaronder mensen, knaagdieren (wildtype en transgeen) en duiven. Somnivore is echter niet gratis.

SlumberNet11 en AccuSleep12 zijn beide gemakkelijk toegankelijk op respectievelijk Zenodo en GitHub en hebben een scorenauwkeurigheid van 97% en 96,8%. Beide modellen hebben echter relatief kleine trainingsgegevensgroottes van 9 of 10 muizen en bevatten geen onafhankelijke testvalidatie. Daarom blijven hun prestaties in de echte wereld onbekend.

SPINDLE13 is een ander webgebaseerd model dat is getraind met een kleinere dataset met 4-6 muizen/ratten die gebruikmaken van convolutionele neurale netwerken. Gevalideerd op basis van gegevens van drie onafhankelijke slaaplaboratoria, behaalde SPINDLE gemiddelde overeenkomstpercentages van 93%-99% met scores van menselijke experts uit verschillende laboratoria, een weerspiegeling van de menselijke capaciteiten.

Ten slotte vertoonde Somnotate14 een nauwkeurigheid van 0,97 ± 0,01 en een gewogen F1-score van 0,97 ± 0,01 bij evaluatie op interne datasets die zes 24-uurs opnames omvatten op basis van de consensus van ten minste drie handmatige annotaties. Bij tests op de dataset van Somnotate namen de prestaties van IntelliSleepScorer af, met een nauwkeurigheid van 0,75 ± 0,04 en een gewogen F1-score van 0,73 ± 0,0514. Deze verminderde prestaties kunnen worden toegeschreven aan verschillen in experimentele opstellingen of opnameomstandigheden tussen datasets. Gezien de verscheidenheid aan real-world use cases, moedigen we gebruikers aan om de prestaties van IntelliSleepScorer op hun datasets te evalueren, vooral als hun experimentele opstellingen of opnameomstandigheden aanzienlijk verschillen van de onze. Als de prestaties van de software niet aan de verwachtingen voldoen, hebben gebruikers de mogelijkheid om het vooraf getrainde model te verfijnen met hun gegevens, aangezien we de modellen en code die voor de ontwikkeling worden gebruikt, open source hebben gemaakt.

Naast de voorbeelden van bestaande modellen die hierboven zijn besproken, zijn er enkele andere ontwikkelde geautomatiseerde slaapstadiëringssystemen waaruit onderzoekers kunnen kiezen, afhankelijk van specifieke en verschillende behoeften voor hun onderzoeken 15,16,17,18.

In toekomstig werk willen we een nieuw model ontwikkelen/trainen dat de automatische scoringstijd van slaapfasen optimaliseert. Momenteel verwerkt de GUI 12 uur aan opnames gesampled op 1000 Hz in ongeveer 10 minuten op een Intel Core i7-8550U CPU @ 1,80 GHz. De verwerkingstijd neemt echter met ongeveer 2,5 keer toe bij het scoren van slaapfasen met 4-s epochs in vergelijking met de standaard 10-s epochs. Dit nieuwe model zou kunnen voldoen aan de behoeften van sommige gebruikers die een snellere automatische slaapfasescore bij muizen wensen. We luisteren ook altijd naar de feedback van de gebruikers en elke nieuwe functie kan op verzoek worden toegevoegd.

Samenvattend bieden we een gratis, openbaar beschikbare en gebruiksvriendelijke GUI-software, IntelliSleepScorer, om een handige geautomatiseerde pijplijn te creëren voor het scoren van de slaapfase van muizen. Daarnaast zijn we nog een stap verder gegaan door SHAP-waardevisualisaties aan te bieden die de scoringsbeslissing die het model neemt uitleggen. Ervaren gebruikers kunnen ons vooraf getrainde model ook verfijnen met hun gegevens, aangezien de modelbestanden en scripts voor het extraheren van de functies voor training/finetuning allemaal openbaar beschikbaar zijn in de GitHub-repository. We hopen dat dit openlijk beschikbare model de technologiekloof kan verkleinen en de voortgang van gegevensverzameling naar nieuwe bevindingen kan vergemakkelijken met behulp van muismodellen in slaaponderzoek, terwijl arbeidsintensief werk wordt verminderd.

Openbaarmakingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs verklaren dat er geen sprake is van belangenverstrengeling.

Dankbetuigingen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

We danken Kerena Yan en Jingwen Hu voor het handmatig scoren van slaapstadia en Eunah en Soonwiik voor de opnames.

Materialen

Lijst van materialen gebruikt in dit artikel
NaamBedrijfCatalogusnummerOpmerkingen
Canonical Unbuntu 18.04Canonicalhttps://releases.ubuntu.com/18.04/Ondersteunend besturingssysteem voor de software IntelliSleep Scorer: Windows, Mac of Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; RAM: 24 GB Intel Corphttps://www.intel.com/content/www/us/en/products/details/processors/core-ultra.htmlHardware vereiste voor de software: Beide Inte Core die hier zijn vermeld, zijn gebruikt om de gegevens te verwerken. Het duurt ongeveer 10 minuten om 12 uur opname te verwerken die met 1000 Hz is bemonsterd voor beide hardwares. Elk vergelijkbaar of superieur hardware zou vergelijkbare of betere prestaties opleveren.  
Intel Core i7-10610U CPU @1.80 GHz 2.30 GHz; RAM: 16 GBIntel Corphttps://www.intel.com/content/www/us/en/products/details/processors/core-ultra.htmlHardware vereiste voor de software: Beide Inte Core die hier zijn vermeld, zijn gebruikt om de gegevens te verwerken. Het duurt ongeveer 10 minuten om 12 uur opname te verwerken die met 1000 Hz is bemonsterd voor beide hardwares. Elk vergelijkbaar of superieur hardware zou vergelijkbare of betere prestaties opleveren.  
LightGBMMicrosofthttps://lightgbm.readthedocs.io/en/latest/index.htmlMachine learning-gebaseerd algoritme dat werd gebruikt om de software te trainen. 
MacBook ProApplehttps://www.apple.com/in/macbook-pro/Ondersteunend besturingssysteem voor de software IntelliSleep Scorer: Windows, Mac of Linux
WindowsMicrosofthttps://www.microsoft.com/en-in/windows/?r=1Ondersteunend besturingssysteem voor de software IntelliSleep Scorer: Windows, Mac of Linux

Referenties

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. A., Kern, R., Yu, E., Choi, S., Pan, J. Q. Intellisleepscorer, a software package with a graphic user interface for automated sleep stage scoring in mice based on a light gradient boosting machine algorithm. Sci Rep. 13 (1), 4275(2023).
  2. Astori, S., Wimmer, R. D., Luthi, A. Manipulating sleep spindles--expanding views on sleep, memory, and disease. Trends Neurosci. 36 (12), 738-748 (2013).
  3. Fraigne, J. J., Torontali, Z. A., Snow, M. B., Peever, J. H. Rem sleep at its core-circuits, neurotransmitters, and pathophysiology. Front Neurol. 6, 123(2015).
  4. Huber, R., Deboer, T., Tobler, I. Effects of sleep deprivation on sleep and sleep eeg in three mouse strains: Empirical data and simulations. Brain Res. 857 (1-2), 8-19 (2000).
  5. Brown, R. E., Basheer, R., Mckenna, J. T., Strecker, R. E., Mccarley, R. W. Control of sleep and wakefulness. Physiol Rev. 92 (3), 1087-1187 (2012).
  6. Lacroix, M. M., et al. Improved sleep scoring in mice reveals human-like stages. BioRxiv. 489005, (2018).
  7. Rayan, A., et al. Sleep scoring in rodents: Criteria, automatic approaches and outstanding issues. Eur J Neurosci. 59 (4), 526-553 (2024).
  8. Yamabe, M., et al. Mc-sleepnet: Large-scale sleep stage scoring in mice by deep neural networks. Sci Rep. 9 (1), 15793(2019).
  9. Katsuki, F., Spratt, T. J., Brown, R. E., Basheer, R., Uygun, D. S. Sleep-deep-learner is taught sleep-wake scoring by the end-user to complete each record in their style. Sleep Adv. 5 (1), zpae022(2024).
  10. Allocca, G., et al. Validation of 'somnivore', a machine learning algorithm for automated scoring and analysis of polysomnography data. Front Neurosci. 13, 207(2019).
  11. Jha, P. K., Valekunja, U. K., Reddy, A. B. Slumbernet: Deep learning classification of sleep stages using residual neural networks. Sci Rep. 14 (1), 4797(2024).
  12. Barger, Z., Frye, C. G., Liu, D., Dan, Y., Bouchard, K. E. Robust, automated sleep scoring by a compact neural network with distributional shift correction. PLoS One. 14 (12), e0224642(2019).
  13. Miladinovic, D., et al. Spindle: End-to-end learning from eeg/emg to extrapolate animal sleep scoring across experimental settings, labs and species. PLoS Comput Biol. 15 (4), e1006968(2019).
  14. Brodersen, P. J. N., et al. Somnotate: A probabilistic sleep stage classifier for studying vigilance state transitions. PLoS Comput Biol. 20 (1), e1011793(2024).
  15. Akada, K., et al. A deep learning algorithm for sleep stage scoring in mice based on a multimodal network with fine-tuning technique. Neurosci Res. 173, 99-105 (2021).
  16. Rytkonen, K. M., Zitting, J., Porkka-Heiskanen, T. Automated sleep scoring in rats and mice using the naive Bayes classifier. J Neurosci Methods. 202 (1), 60-64 (2011).
  17. Kam, K., Rapoport, D. M., Parekh, A., Ayappa, I., Varga, A. W. Wavesleepnet: An interpretable deep convolutional neural network for the continuous classification of mouse sleep and wake. J Neurosci Methods. 360, 109224(2021).
  18. Crisler, S., Morrissey, M. J., Anch, A. M., Barnett, D. W. Sleep-stage scoring in the rat using a support vector machine. J Neurosci Methods. 168 (2), 524-534 (2008).
  19. Ke, G., et al. Lightgbm: A highly efficient gradient boosting decision tree. Neural Information Processing Systems. , (2017).
  20. A unified approach to interpreting model predictions. Lundberg, S. M., Lee, S. I. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17), , Curran Associates Inc. Red Hook, NY. 4768-4777 (2017).

Herprints en machtigingen

Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken

Toestemming aanvragen

Trefwoorden

Automated Sleep ScoringMouse Sleep StagesLightGBM AlgorithmEEG EMG AnalysisSHAP Value VisualizationManual Sleep CorrectionSleep Research SoftwareSleep Stage Classification

Gerelateerde artikelen