IntelliSleepScorer, um pacote de software com uma interface gráfica de usuário para mouses Pontuação automatizada do estágio do sono

Resumo

Apresentamos um pacote de software com uma interface gráfica de usuário para pesquisadores sem experiência em codificação para pontuar os estágios do sono em camundongos com um simples download e operação.

Resumo

A pontuação do estágio do sono em roedores é o processo de identificação dos três estágios: sono sem movimento rápido dos olhos (NREM), sono de movimento rápido dos olhos (REM) e vigília. A pontuação do estágio do sono é crucial para estudar medidas e efeitos específicos do estágio do sono.

Os padrões de sono em roedores diferem daqueles em humanos, caracterizados por episódios mais curtos de NREM e REM intercalados pela vigília, e a pontuação manual tradicional do estágio do sono por especialistas humanos é demorada. Para resolver esse problema, estudos anteriores usaram abordagens baseadas em aprendizado de máquina para desenvolver algoritmos para categorizar automaticamente os estágios do sono, mas modelos de alto desempenho com grande generalização geralmente não estão disponíveis publicamente/gratuitos nem fáceis de usar para pesquisadores do sono não treinados.

Portanto, desenvolvemos um algoritmo LightGBM baseado em aprendizado de máquina treinado com um grande conjunto de dados. Para disponibilizar o modelo para pesquisadores do sono sem experiência em codificação, uma ferramenta de software chamada IntelliSleepScorer (v1.2 - versão mais recente) foi desenvolvida com base no modelo, que apresenta uma interface gráfica de usuário fácil de usar. Neste manuscrito, apresentamos instruções passo a passo para usar o software para demonstrar uma ferramenta de pontuação automática do estágio do sono conveniente e eficaz em camundongos para pesquisadores do sono.

Introdução

A pontuação do estágio do sono em roedores é o procedimento para identificar os três estágios: sono sem movimento rápido dos olhos (NREM), sono de movimento rápido dos olhos (REM) e vigília². Em roedores, o NREM é caracterizado por atividade muscular reduzida, respiração lenta e regular, diminuição da frequência cardíaca e oscilações de baixa frequência das ondas cerebrais. O REM em roedores, semelhante aos humanos, mostra atonia muscular, ativação do EEG e movimentos rápidos dos olhos, embora a ocorrência de sonhos vívidos seja menos clara em roedores em comparação com humanos ^2,3. O estado de "vigília" em roedores é marcado por atividade cerebral dessincronizada com ondas de alta frequência e baixa amplitude, aumento do tônus muscular e comportamento ativo, como higiene e exploração⁴. Esses três estágios podem ser identificados pela inspeção dos sinais de eletroencefalograma (EEG) e eletromiograma (EMG)⁵.

Os modelos automáticos de pontuação do estágio do sono em roedores são muito necessários. Primeiro, a pontuação manual do estágio do sono por especialistas humanos é trabalhosa e demorada. Em segundo lugar, os padrões de sono em roedores diferem daqueles em humanos e têm episódios mais fragmentados de NREM e REM intercalados ao acordar, em torno de 10 min, em contraste com 60-120 min em humanos⁶. Portanto, identificar esses breves períodos durante a pontuação manual é um desafio. Houve muitas tentativas desde os anos 60 de desenvolver um sistema de pontuação automática de dados de sono de roedores⁷. Embora existam muitos métodos automatizados de pontuação do sono de roedores, seus desempenhos variam 8,9,10,11,12,13,14,15,16,17,18. É importante ressaltar que a maioria dos modelos de alto desempenho com alta generalização não está disponível publicamente (alguns precisam de solicitações especiais dos desenvolvedores) ou não são gratuitos para pesquisadores do sono.

Portanto, para preencher a lacuna tecnológica atual, desenvolvemos um modelo baseado em aprendizado de máquina usando um grande conjunto de dados de 5776 h de sinais de EEG e EMG de 519 gravações em 124 camundongos com o algoritmo LightGBM¹. O lightGBM usa uma abordagem de aumento de gradiente para construir árvores de decisão¹⁹. Em Wang et al., 2023, o modelo LightGBM (composto por mais de 8000 árvores de decisão) alcançou uma precisão geral de 95,2% e um kappa de Cohen de 0,91, que superou dois modelos de linha de base amplamente utilizados, como o modelo de regressão logística (precisão = 93,3%) e o modelo de floresta aleatória (precisão = 94,3%, kappa = 0,89). O desempenho geral do modelo também exibiu um desempenho semelhante ao dos especialistas humanos. Mais importante ainda, o modelo provou ter generalização e não se sobreajustar aos dados de treinamento originais¹: 1) Ele teve um bom desempenho (precisão > 89%) em dois outros conjuntos de dados independentes disponíveis publicamente, de Miladinovic e colegas¹¹, com diferentes frequências de amostragem e comprimentos de época; 2) O desempenho do modelo não é afetado pelo ciclo claro/escuro dos camundongos; 3) Um modelo LightGBM modificado teve bom desempenho em dados contendo apenas um eletrodo de EEG e um eletrodo EMG com kappa ≥ 0,89; 4) Tanto os camundongos selvagens quanto os mutantes foram usados para o teste e o desempenho do modelo foi preciso. Isso sugere que o modelo pode pontuar os estágios do sono para camundongos com diferentes origens genéticas.

Para tornar esse modelo acessível aos pesquisadores do sono que podem não ter experiência em codificação, desenvolvemos o IntelliSleepScorer, uma ferramenta de software amigável com uma interface visualmente intuitiva. O software pode automatizar totalmente o procedimento de pontuação do sono em camundongos. Ele produz visualizações interativas dos valores de sinais, hipnograma e explicações aditivas de Shapley (SHAP) a partir de uma entrada de arquivo de formato de dados europeu (EDF)/EDF+. A abordagem de valor SHAP, baseada na teoria dos jogos cooperativos, aumenta a interpretabilidade dos modelos de aprendizado de máquina²⁰. O modelo oferece valores SHAP globais e de nível de época, revelando como diferentes valores de recursos contribuem para a decisão de pontuação do modelo geral e para cada época. Este programa avançado reduz significativamente o tempo e o esforço necessários para a pontuação do estágio do sono em camundongos, garantindo que a análise a jusante possa contar com resultados altamente precisos. Neste manuscrito, apresentamos o uso passo a passo do IntelliSleepScorer (v1.2) com várias atualizações sobre a versão 1.0, incluindo uma opção para executar a análise SHAP separadamente da previsão do padrão de sono, uma duração de época ajustável pelo usuário para pontuação do estágio do sono e um recurso de correção manual do estágio do sono integrado à GUI.

Protocolo

Este estudo utilizou dados coletados de experimentos in vivo em camundongos. Nenhum experimento humano foi envolvido no estudo. Todos os experimentos com animais foram aprovados pelo Comitê Institucional de Cuidados e Uso de Animais do Broad Institute. Todos os experimentos foram realizados de acordo com as diretrizes e regulamentos relevantes. As diretrizes ARRIVE não são aplicáveis a este estudo porque o foco deste estudo é desenvolver modelos de aprendizado de máquina em vez de comparar diferentes grupos de tratamento.

1. Preparação de dados

NOTA: Compatibilidade de dados: os dados gravados podem ter qualquer taxa de amostragem superior a 40 Hz. Não há necessidade de filtrar o sinal porque o passa-banda do software filtra os sinais EEG e EMG na primeira etapa. Os modelos LightGBM foram desenvolvidos e testados usando dados de camundongos. Nenhuma evidência sobre o desempenho dos modelos LightGBM em outros tipos de animais de laboratório está disponível. Os eletrodos de registro precisam ser colocados no córtex frontal e parietal, ou em qualquer lugar, se apenas um canal de EEG for registrado.

1. Arranjo e requisitos do formato EDF/EDF+
   NOTA: O software usado neste estudo lê apenas arquivos EDF/EDF+ usando o pacote MNE-Python. A especificação padrão EDF/EDF+ precisa ser aplicada para gerar os arquivos EDF/EDF+. Além da especificação padrão, certifique-se de que as anotações EDF/EDF+ estejam codificadas em UTF-8. Caso contrário, o aplicativo de software falhará.
   1. Converta outro formato de arquivo (arquivo não EDF/EDF+) para o formato EDF/EDF+ com ferramentas gratuitas online.
      NOTA: Não há necessidade do filtro do aparelho ao obter sinais de EEG e EMG. Desde que os usuários amostraram seus dados de EEG e EMG em uma frequência de 40 Hz ou superior, o software funcionará corretamente. Isso porque, na etapa inicial de pré-processamento, os sinais passam por filtragem de banda entre 1 Hz e 40 Hz. Essa filtragem passa-banda é integrada ao pipeline de pré-processamento do software, eliminando a necessidade de os usuários realizarem qualquer processamento de sinal adicional.
2. Existem dois modelos dentro do software para pontuação. Um é LightGBM-2EEG e o outro é LightGBM-1EEG. O modelo LightGBM-2EEG é designado para gravar dados que possuem 2 canais de EEG e 1 canal de EMG. Execute as etapas a seguir, dependendo do modelo.
   1. Organize os arquivos de dados para LightGBM-2EEG especificamente na seguinte ordem: 1) Canal de EEG gravado na área parietal; 2) canal de EEG registrado na área frontal; 3) Canal EMG. O LightGBM-1EEG é designado para dados que contêm apenas 1 canal de EEG (colocação do eletrodo na área parietal ou frontal) e 1 canal de EMG.
   2. Organize os canais em arquivos EDF/EDF+ para LightGBM-1EEG na seguinte ordem: 1) Canal EEG; 2) Canal EMG.

2. Baixando o IntelliSleepScorer para usuários de Windows, Mac e Linux

1. Para usuários do Windows, um executável do Windows para o software está disponível usando o PyInstaller. Encontre o link para download na página de pesquisa do grupo Pan https://sites.broadinstitute.org/pan-lab/resources. Para usuários do MacOS ou Linux, use o código-fonte no repositório GitHub https://github.com/broadinstitute/IntelliSleepScorer para iniciar o software.
2. Acesse dois dados de exemplo gravados para testar o programa salvo como arquivos EDF baixando-os por meio do repositório GitHub.
3. O repositório de código-fonte não inclui a pasta models devido a limites de tamanho. Em vez disso, baixe models.zip, descompacte-o e copie a pasta models dentro do repositório para que o programa seja executado. Caso contrário, o software falhará devido à falta de arquivos de modelo.

3. Fluxo de trabalho e lançamento e operação do programa

1. Inicie o IntelliSleepScorer
   1. Para iniciar o software no Windows, clique duas vezes em IntelliSleepScorer.exe localizado na pasta raiz. Para iniciar o software no MacOS ou Linux, abra um emulador de terminal, altere o diretório para a pasta raiz do software e inicie o software usando o comando: python3 IntelliSleepScorer.py.
2. Quando o software abrir, clique em Selecionar arquivo(s) EDF/EDF+ para selecionar o(s) arquivo(s) pretendido(s) a pontuar. Se os arquivos foram selecionados por engano, clique no botão Limpar para limpar a lista de arquivos selecionados.
   NOTA: Por padrão, o software codifica os estágios de suspensão como Wake:1, NREM:2 e REM:3 nos arquivos de pontuação de saída. A duração padrão da época é definida em 10 s. A versão atual (v1.2) da GUI permite que os usuários alterem as codificações de estágio ou a duração da época para 4 s, 10 s ou 20 s com o menu suspenso.
3. Selecione a duração da época desejada. Use o menu suspenso fornecido para selecionar a duração da época pretendida entre as opções de 4 s, 10 s e 20 s para a pontuação do estágio do sono.
4. Selecione o modelo que deve ser usado para a pontuação do sono. O LightGBM-2EEG destina-se a arquivos de dados com dois canais de EEG e um canal de EMG, enquanto o LightGBM-1EEG foi projetado para dados com um canal de EEG e um canal de EMG.
5. Antes de executar a previsão do estágio do sono, inclua o cálculo SHAP adicional que ajuda a explicar os resultados da previsão do estágio do sono. Para processar o cálculo do SHAP, marque a caixa de seleção Executar/Plotar SHAP . O cálculo SHAP requer cerca de 5 a 10 minutos para ser processado.
6. Clique em Pontuar todos os arquivos. O modelo pontua automaticamente todos os arquivos EDF/EDF+ e calcula os valores SHAP globais e de época para interpretar as decisões de pontuação na lista, se isso for escolhido.
   NOTA: Durante o processo de pontuação, o modelo gera os seguintes arquivos e os salva na mesma pasta onde os arquivos EDF/EDF+ estão localizados. O modelo usa esses arquivos para plotar os valores SHAP globais e os valores SHAP de época.
   
   "Nome do ficheiro EDF/EDF+}_{model_name}_features.csv"; Este arquivo armazena todos os valores de recursos extraídos.
   "Nome do ficheiro EDF/EDF+}_{model_name}_scores.csv"; Esse arquivo armazena os estágios de suspensão previstos.
   "Nome do arquivo EDF/EDF+}_{model_name}_rs_100hz.npy"; Este arquivo armazena uma cópia dos sinais reamostrados/reduzidos (100Hz). Para melhorar a velocidade de visualização, o modelo usa o sinal com resolução reduzida em vez do sinal original ao plotar o sinal.
   "Nome do arquivo EDF/EDF+}_{model_name}explicador. picles"; "{EDF/EDF+ nome do arquivo}{model_name}shap_500samples.pickle"; "{EDF/EDF+ nome do arquivo}{model_name}_indicies_500samples.npy";
7. Depois de terminar o processo de pontuação do sono, clique na opção Visualizar o arquivo selecionado para visualizar os sinais de EEG/EMG e um hipnograma alinhado ao tempo com os sinais.
   1. Pontue o arquivo selecionado novamente antes da visualização se a duração da época for alterada.

4. Navegando pelos resultados pontuados

1. Clique nos botões de navegação fornecidos para avançar e retroceder para ver diferentes dados de época.
2. Se o cálculo SHAP for escolhido para ser executado, exiba os valores SHAP globais e de nível de época. Clique com o botão direito do mouse em uma época para plotar os valores SHAP no nível da época.
   NOTA: Levará alguns segundos para atualizar o gráfico SHAP no nível da época. A Figura 1 mostra a visão geral da página GUI após executar a previsão para o arquivo EDF/EDF+ Example-1 com o modelo 1_LightBGM-2EEG.

5. Interpretação do hipnograma dos estágios do sono pontuados

NOTA: Existem 4 linhas no hipnograma (Figura 2). A linha superior são os resultados previstos. As 3 linhas inferiores são dados brutos de 2 canais de EEG e 1 EMG, respectivamente. Na linha superior, laranja sugere o estágio Wake , azul sugere o estágio NREM e vermelho sugere o estágio REM em cada época.

1. Para alterar o número de épocas a serem exibidas, clique na caixa de menu à direita de Selecionar Número de Épocas a serem exibidas e escolha um valor desejado. Na Figura 2, foram escolhidas 100 épocas. Portanto, apenas 100 épocas são exibidas no gráfico de previsão do estágio do sono. Selecione um número menor no menu suspenso para ampliar o gráfico.
2. A barra transparente rosa à esquerda da Figura 2 indica a localização atual da época. Clique com o botão esquerdo do mouse em qualquer lugar do hipnograma para mudar para outra época, ou simplesmente clique em Ir para a época e insira um número específico de épocas a serem observadas. Clique com o botão direito do mouse na época selecionada para gerar seu gráfico SHAP de época se o usuário tiver habilitado a função SHAP.

6. Correção manual dos estágios de sono previstos na GUI (opcional)

NOTA: se nenhuma anomalia for observada ou uma precisão extremamente alta não for necessária para a previsão do estágio REM, a verificação manual não será necessária.

1. Clique com o botão esquerdo do mouse em uma época no gráfico de previsão do estágio do sono (gráfico superior) para selecionar uma época específica. O modelo previsto Estágio da Época Selecionada é mostrado à direita do texto. Para alterar manualmente o estágio previsto nessa época, clique no widget e selecione um novo estágio nas opções Wake, NREM e REM no menu suspenso.
2. Os estágios corrigidos pelo usuário são marcados com linhas tracejadas no topo do gráfico original (Figura 3). Feche a GUI e um novo arquivo com os resultados de previsão corrigidos será gerado automaticamente na mesma pasta.
   1. Para abrir um arquivo pontuado salvo na GUI novamente, certifique-se de que a configuração de duração da época e o modelo selecionado correspondam ao usado quando o arquivo EDF foi processado inicialmente para poder reabri-lo. Todas as informações modificadas/pontuadas anteriormente serão carregadas rapidamente.

Resultados

Existem três gráficos (apenas o gráfico superior se os valores SHAP não forem executados) gerados na GUI após a pontuação do estágio do sono: o gráfico superior apresenta canais de EEG e EMG com um hipnograma de previsão do estágio do sono. O gráfico do meio apresenta valores SHAP de época. O gráfico inferior apresenta valores de SHAP Global (Figura 1).

Existem 4 tipos de dados apresentados no gráfico do hipnograma de previsão do estágio do sono (Figura 2). A linha superior são os resultados previstos. As 3 linhas inferiores são dados brutos de 2 canais de EEG e 1 EMG, respectivamente. Na linha superior, laranja sugere o estágio "Wake", azul sugere o estágio "NREM" e vermelho sugere o estágio "REM" em cada época. A época de exemplo atual é em 1305 e está em um estágio de "Wake" porque a barra de localização rosa se sobrepõe a uma linha de cor laranja.

Na Figura 3, um estágio corrigido pelo usuário é marcado com linhas tracejadas na parte superior do original. A linha tracejada vermelha indica que o estágio de sono foi alterado de "Wake" para "REM".

Na Figura 4, um exemplo de resultado da época 1305 no arquivo de exemplo 1 é mostrado. O eixo Y do gráfico SHAP de época mostra os 10 principais recursos com os valores SHAP absolutos mais altos para a época selecionada. O eixo x mostra os valores SHAP, que indicam a contribuição de cada recurso para a previsão em comparação com a previsão média. O valor SHAP positivo indica uma contribuição positiva para a previsão e vice-versa. O recurso "emg_abs_max" tem um valor SHAP de nível de época muito positivo para Wake, indicando que "emg_abs_max" da época selecionada aumenta a probabilidade de a época escolhida ser pontuada como "Wake" (Figura 4). Isso é fisiologicamente razoável porque uma grande amplitude EMG significa movimentos ativos, indicando assim o estágio "Wake".

No exemplo de gráfico SHAP global (Figura 5), cada ponto no gráfico p-swarm representa uma amostra de dados. O eixo y dos gráficos mostra as 10 principais características com os maiores valores absolutos globais de SHAP calculados a partir de 500 épocas amostradas aleatoriamente. O eixo x mostra os valores SHAP, que indicam a contribuição de cada recurso para a previsão em comparação com a previsão média. Diferente do gráfico SHAP de época, o gráfico SHAP global tem duas dimensões: o valor de x de cada ponto e a intensidade da cor do ponto. O valor SHAP positivo do eixo x indica uma contribuição positiva para a previsão e vice-versa. Amostras com uma cor vermelha mais escura têm valores de recursos mais altos. Ao examinar visualmente as correlações de posição e a cor dos 500 pontos para cada recurso, pode-se interpretar como o LightGBM toma decisões com base nos valores de cada recurso. No gráfico SHAP global "Wake", à medida que os valores SHAP para "emg_abs_max" aumentam de mais negativos para mais positivos, a cor dos pontos fica mais escura. Isso indica que o aumento da probabilidade de ser previsto como "Wake" está positivamente correlacionado com o aumento do valor de "emg_abs_max". Também vale ressaltar que características com distribuições mais amplas de valores SHAP (valores absolutos mais altos) contribuem mais para a previsão pelo modelo. Por exemplo, o gráfico global NREM SHAP (Figura 5) tem uma ampla distribuição de pontos para o recurso "eeg2_gamma_delta_ratio". O valor SHAP altamente negativo do recurso diminui a probabilidade de o modelo ser pontuado como o estágio "NREM".

Figura 1: Visão geral da página GUI após a execução da previsão para o arquivo EDF/EDF+ Example-1 com o modelo 1_LightBGM-2EEG. Tanto a previsão do estágio do sono quanto o cálculo do SHAP são pontuados. O gráfico superior mostra os canais de EEG e EMG com um hipnograma de previsão do estágio do sono. O gráfico do meio mostra os valores SHAP da época. O gráfico inferior mostra os valores SHAP globais. Clique aqui para ver uma versão maior desta figura.

Figura 2: Hipnograma de previsão do estágio do sono do arquivo Example-1 EDF / EDF +. Existem 4 dados apresentados no gráfico. A linha superior são os resultados previstos. As 3 linhas inferiores são dados brutos de 2 canais de EEG e 1 EMG, respectivamente. Na linha superior, laranja sugere o estágio "Wake", azul sugere o estágio "NREM" e vermelho sugere o estágio "REM" em cada época. Clique aqui para ver uma versão maior desta figura.

Figura 3: Hipnograma de previsão do estágio do sono do arquivo EDF / EDF + do Exemplo-1 com correção manual modificada pelo usuário. A época 1305 foi alterada do estágio "Wake" para o estágio "REM" como uma demonstração da correção manual do estágio do sono dentro da GUI. A linha vermelha tracejada indica o estágio de sono modificado pelo usuário "REM". Clique aqui para ver uma versão maior desta figura.

Figura 4: Valores SHAP de Wake, NREM e REM Epoch para o arquivo EDF/EDF+ Example-1 na Epoch 1305. O eixo y do gráfico SHAP de época mostra os 10 principais recursos com os valores SHAP absolutos mais altos para a época selecionada. O eixo x mostra os valores SHAP, que indicam a contribuição de cada recurso para a previsão em comparação com a previsão média. Clique aqui para ver uma versão maior desta figura.

Figura 5: Valores SHAP globais de ativação, NREM e REM para o arquivo EDF/EDF+ Example-1. Cada ponto no gráfico p-swarm representa uma amostra de dados. O eixo y dos gráficos mostra as 10 principais características com os maiores valores absolutos globais de SHAP calculados a partir de 500 épocas amostradas aleatoriamente. O eixo x mostra os valores SHAP, que indicam a contribuição de cada recurso para a previsão em comparação com a previsão média. O eixo x do valor SHAP global tem duas dimensões: o valor x de cada ponto e a intensidade da cor do ponto. O valor SHAP positivo do eixo x indica uma contribuição positiva para a previsão e vice-versa. Amostras com uma cor vermelha mais escura têm valores de recursos mais altos. Clique aqui para ver uma versão maior desta figura.

Discussão

Este artigo apresenta como usar a interface gráfica do usuário IntelliSleepScorer (v1.2) para pontuar automaticamente os estágios do sono dos mouses e como aproveitar os valores/gráficos SHAP para entender melhor as pontuações do estágio do sono geradas pelo modelo.

Uma consideração importante ao usar o software é a compatibilidade de dados. Os dados internos utilizados neste estudo limitaram-se a eletrodos colocados nas regiões frontal e parietal. No conjunto de dados independente de Miladinovic e colegas¹¹, apesar das diferentes coordenadas dos eletrodos para essas regiões, o software manteve desempenho satisfatório. Embora o software possa ser aplicável a outras regiões do cérebro, não realizamos testes para confirmar isso. Portanto, não podemos afirmar que não há limitações quanto à colocação dos eletrodos. No entanto, incentivamos os usuários a testá-lo se tiverem gravações de outras regiões.

A duração das sessões de gravação de EEG/EMG para análise do estágio do sono varia de acordo com os objetivos específicos do estudo. Normalmente, as sessões de gravação duram 12 horas, cobrindo a fase clara ou escura, ou 24 horas, abrangendo ambas as fases em um único dia. As gravações de 12 e 24 horas são comumente usadas para capturar padrões distintos de sono-vigília e ritmos circadianos. Os testes no modelo mostram que a pontuação do estágio do sono é confiável e precisa para sessões gravadas de 12 e 24 horas. Não há limite superior conhecido para a duração das gravações.

Duas etapas dignas de nota dentro do protocolo de software são o pré-processamento de dados e a verificação manual. Para melhorar a generalização dos modelos treinados, permitimos ruídos e artefatos nos dados de entrada e implementamos medidas mínimas de controle de qualidade. O controle de qualidade que realizamos tem como objetivo excluir gravações ruins devido à perda de sinais. A perda de sinais geralmente é causada por problemas de conexão, como eletrodos se soltando ou caindo. A perda de sinais pode causar erros nas pontuações de sono geradas pelo software. Por exemplo, uma linha plana no canal EMG de um camundongo acordado devido a um eletrodo EMG solto pode compartilhar a mesma característica da fase imóvel / sono dos camundongos, o que pode levar à previsão "NREM" ou "REM" pelos modelos LightGBM. Para referência, usamos os seguintes critérios para excluir automaticamente as gravações que tiveram uma quantidade significativa de perda de sinal: 1) a amplitude de qualquer sinal de EEG é inferior a 1 μV por pelo menos 50% da duração da gravação, ou 2) a amplitude do sinal EMG é inferior a 1 pV por pelo menos 50% da duração da gravação. Os usuários precisam implementar seus próprios critérios de controle de qualidade com base em sua configuração experimental e sistema de gravação. Os ruídos de linha causados pela corrente alternada geralmente estão localizados em 50 Hz ou 60 Hz. Esses ruídos de linha serão removidos durante a etapa do filtro passa-banda (1-40 Hz) implementada no software. Portanto, não há necessidade de os usuários pré-processarem os ruídos da linha antes de inserir os dados no software. Ruídos menores ou fatores interferentes, como movimentos corporais, foram considerados durante o desenvolvimento do modelo¹. A abordagem usada neste estudo garante que a generalização do modelo possa tolerar esses artefatos menores que não influenciam significativamente os resultados finais do estadiamento do sono. O formato, a qualidade da gravação e a sequência de organização dos arquivos de dados EDF são componentes críticos para otimizar o desempenho desse modelo pré-treinado.

Para verificação manual, dado que o modelo LightGBM teve um desempenho ruim (pontuação REM F1 < 0,6) em algumas gravações, recomendamos que os usuários verifiquem os estágios do sono gerados pelo modelo se a pontuação precisa do estágio REM for crítica. Para estudos com foco na fisiologia do estágio de vigília ou NREM, o modelo LightGBM ainda suporta um pipeline analítico muito robusto e totalmente automatizado. A interpretação dos valores SHAP pode se tornar uma excelente ferramenta em conjunto com a verificação manual para confirmar a precisão dos resultados gerados pelo software. SHAP é uma abordagem que usa a teoria dos jogos para explicar a saída de modelos de aprendizado de máquina. Ele conecta a alocação de crédito ideal com explicações locais usando valores clássicos de Shapley e suas extensões relacionadas²⁰. Por exemplo, no gráfico de valores globais de NREM SHAP (Figura 4), se um ponto vermelho escuro aparecer repentinamente no lado direito do recurso 'eeg2_gamma_delta_ratio", isso pode indicar uma anomalia nessa época. Isso ocorre porque o ponto de amostra de época isolado se desvia de todo o conjunto de dados. A interpretação dos gráficos SHAP também pode fornecer aos usuários uma explicação clara e fácil de usar sobre a pontuação dos estágios do sono. Por exemplo, os gráficos SHAP de época fornecem informações sobre quais recursos são o principal fator decisivo para a pontuação do estágio do sono. O hipnograma de previsão de resultados (Figura 2) também fornece informações significativas sobre os resultados da previsão. Nos casos em que os estágios do sono pontuados no hipnograma exibem mudanças frequentes entre os estágios "Wake" e "REM", o que é fisiologicamente anormal, recomenda-se realizar uma avaliação abrangente da pontuação e dos valores SHAP correspondentes para verificar a qualidade dos resultados. Com SHAP e gráficos de hipnograma, os pesquisadores podem identificar rapidamente qualquer erro de previsão durante a pontuação dos estágios do sono. No entanto, embora os valores SHAP expliquem como o modelo faz as previsões, eles não significam necessariamente que as previsões ou a maneira como o modelo faz certas previsões estão corretas. O objetivo de apresentar valores SHAP é ajudar os usuários a entender o processo de pontuação do estágio de sono e permitir que os usuários identifiquem rapidamente qualquer erro examinando a lógica do modelo LightGBM.

Existem dois recursos excelentes na versão atual (v1.2) do modelo. Primeiro, seguindo o parágrafo anterior, a verificação/correção manual pode ser muito tediosa e inconveniente se os usuários precisarem retornar aos arquivos CSV para fazer modificações, especialmente para gravações longas. Portanto, oferecemos um recurso de correção manual integrado diretamente à GUI para que os usuários alterem o estágio de sono pontuado em qualquer época. Depois que o usuário clica em uma época específica, o estágio de sono pontuado de "Wake", "REM" ou "NREM" será mostrado no menu suspenso na parte superior da barra da GUI. Se o usuário desejar alterar o estágio de um para outro, ele pode simplesmente selecionar outro estágio no menu suspenso e um novo arquivo pontuado corrigido manualmente pelos usuários será gerado. Além disso, em vez de uma duração de época fixa padrão de 10 segundos fornecida para análise, oferecemos uma opção para ajuste da duração da época na GUI para atender às necessidades experimentais específicas de diferentes pesquisadores do sono. As opções agora são épocas de 4, 10 e 20 segundos, que são comumente usadas entre os pesquisadores do sono. Embora este modelo tenha sido treinado com dados internos de épocas de 10 segundos, o desempenho do modelo em testes independentes de dados de épocas de 4 segundos de diferentes laboratórios foi comparável ao de especialistas humanos em todos os estágios do sono¹. Os usuários devem ter cuidado ao implementar épocas de 20 segundos porque 1) marcar o sono/vigília dos camundongos com épocas de 20 segundos pode perder eventos muito curtos, como despertares transitórios; 2) As épocas dos anos 20 são mais propensas a abranger estágios mistos em cada época⁸.

Será perspicaz comparar este modelo com outros métodos automatizados de pontuação de estágio do sono existentes para os usuários. Além do IntelliSleepScorer, existem alguns outros modelos desenvolvidos para pontuação automática do estágio do sono com vários graus de precisão, complexidades e eficácia8,9,10,11,12,13,14,15,16,17,18 . O modelo usado neste estudo emprega o algoritmo LightGBM para obter alta precisão na pontuação do estágio do sono, comparável aos modelos existentes. Em nossa avaliação, o IntelliSleepScorer demonstrou uma precisão geral de 95,2%, o que está no mesmo nível das métricas de desempenho relatadas para modelos semelhantes, como MC-SleepNet⁸ e Sleep-Deep-Learner⁹. No entanto, a verdadeira distinção do IntelliSleepScorer reside não apenas em sua precisão, mas também em sua acessibilidade e facilidade de uso para pesquisadores não treinados com experiência limitada em codificação.

O MC-SleepNet⁸, treinado usando redes neurais profundas em um grande conjunto de dados de 4200 camundongos, atinge uma alta precisão de pontuação de 96,4% e estatística kappa de 0,94, superando a maioria dos métodos existentes. No entanto, até onde sabemos, não há nenhum software baseado no MC-SleepNet que esteja disponível publicamente/gratuitamente até o momento.

O Sleep-Deep-Learner⁹ automatiza a pontuação em camundongos com uma pontuação F1 de 0,86 para sono REM, 0,95 para sono NREM e 0,97 para vigília. No entanto, os autores abordaram no artigo que o Sleep-Deep-Learner não é adequado para indivíduos que não são bem versados na pontuação sono-vigília, pois requer um subconjunto de épocas pontuadas manualmente. O IntelliSleepScorer, por outro lado, não requer nenhuma manipulação manual adicional durante a pontuação do estágio do sono e possui uma GUI muito fácil de usar para qualquer pesquisador.

O Somnivore¹⁰ é um sistema versátil e multicamadas projetado para pontuação automatizada do estágio de vigília-sono, adepto de aprender com conjuntos de treinamento limitados com entradas complexas de polissonografia. Ele opera com rápida eficiência computacional e demonstra generalização robusta em diversos assuntos, incluindo humanos, roedores (selvagens e transgênicos) e pombos. No entanto, o Somnivore não é gratuito.

O SlumberNet¹¹ e o AccuSleep¹² são facilmente acessíveis no Zenodo e no GitHub, respectivamente, e têm uma precisão de pontuação de 97% e 96,8%. No entanto, ambos os modelos têm tamanhos de dados de treinamento relativamente pequenos de 9 ou 10 camundongos e não incluíram validação de teste independente. Portanto, seu desempenho no mundo real permanece desconhecido.

O SPINDLE¹³ é outro modelo baseado na web treinado com um conjunto de dados menor com 4-6 camundongos/ratos aproveitando redes neurais convolucionais. Validado em dados de três laboratórios do sono independentes, o SPINDLE alcançou taxas médias de concordância de 93% a 99% com pontuação de especialistas humanos de diferentes laboratórios, refletindo a capacidade humana.

Finalmente, o Somnotate¹⁴ demonstrou uma precisão de 0,97 ± 0,01 e uma pontuação F1 ponderada de 0,97 ± 0,01 quando avaliado em conjuntos de dados internos que incluíram seis gravações de 24 horas com base no consenso de pelo menos três anotações manuais. Quando testado no conjunto de dados do Somnotate, o desempenho do IntelliSleepScorer diminuiu, com uma precisão de 0,75 ± 0,04 e uma pontuação F1 ponderada de 0,73 ± 0,05¹⁴. Esse desempenho reduzido pode ser atribuído a diferenças nas configurações experimentais ou nas condições de registro entre os conjuntos de dados. Dada a variedade de casos de uso do mundo real, incentivamos os usuários a avaliar o desempenho do IntelliSleepScorer em seus conjuntos de dados, especialmente se suas configurações experimentais ou condições de gravação diferirem significativamente das nossas. Se o desempenho do software não atender às expectativas, os usuários têm a opção de ajustar o modelo pré-treinado com seus dados, pois tornamos os modelos e o código usados para o desenvolvimento de código aberto.

Além dos exemplos de modelos existentes discutidos acima, existem alguns outros sistemas automatizados de estadiamento do sono desenvolvidos entre os quais os investigadores podem escolher dependendo das necessidades específicas e diferentes de seus estudos 15,16,17,18.

Em trabalhos futuros, pretendemos desenvolver/treinar um novo modelo que otimize o tempo de pontuação automática dos estágios do sono. Atualmente, a GUI processa 12 h de gravações amostradas a 1000 Hz em aproximadamente 10 min em uma CPU Intel Core i7-8550U @ 1,80 GHz. No entanto, o tempo de processamento aumenta em aproximadamente 2,5 vezes ao pontuar os estágios do sono com épocas de 4 s em comparação com as épocas padrão de 10 s. Este novo modelo pode atender às necessidades de alguns usuários que desejam uma pontuação automática mais rápida do estágio do sono em camundongos. Também estamos sempre ouvindo o feedback dos usuários e qualquer novo recurso pode ser adicionado mediante solicitação.

Em resumo, fornecemos um software GUI gratuito, disponível publicamente e fácil de usar, o IntelliSleepScorer, para criar um pipeline automatizado conveniente para a pontuação do estágio de sono dos mouses. Além disso, demos um passo adiante ao oferecer visualizações de valor SHAP que explicam a decisão de pontuação que o modelo toma. Usuários experientes também podem ajustar nosso modelo pré-treinado com seus dados, já que os arquivos de modelo e scripts para extrair os recursos para treinamento/ajuste fino estão disponíveis publicamente no repositório GitHub. Esperamos que este modelo disponível abertamente possa reduzir a lacuna tecnológica e facilitar a progressão da coleta de dados para novas descobertas usando modelos de camundongos na pesquisa do sono, reduzindo o trabalho intensivo em mão de obra.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Canonical Unbuntu 18.04	Canonical	https://releases.ubuntu.com/18.04/	Sistema operacional de suporte para o software IntelliSleep Scorer: Windows, Mac ou Linux
CPU Intel Core i7-8550U @ 1,80 GHz 1,99 GHz; Memória RAM: 24 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Requisito de hardware para o software: Ambos os Inte Core listados aqui foram usados para processar os dados. Leva cerca de 10 minutos para processar 12 h de gravação amostrada a 1000 Hz para ambos os hardwares. Qualquer hardware semelhante ou superior produziria desempenho comparável ou melhor.
CPU Intel Core i7-10610U @1.80 GHz 2.30 GHz; RAM: 16 GB	Intel Corp	https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html	Requisito de hardware para o software: Ambos os Inte Core listados aqui foram usados para processar os dados. Leva cerca de 10 minutos para processar 12 h de gravação amostrada a 1000 Hz para ambos os hardwares. Qualquer hardware semelhante ou superior produziria desempenho comparável ou melhor.
LightGBM	Microsoft	https://lightgbm.readthedocs.io/en/latest/index.html	algoritmo baseado em aprendizado de máquina que foi usado para treinar o software.
MacBook Pro	Apple	https://www.apple.com/in/macbook-pro/	Sistema operacional compatível com o software IntelliSleep Scorer: Windows, Mac ou Linux
Windows	Microsoft	https://www.microsoft.com/en-in/windows/?r=1	Sistema operacional compatível com o software IntelliSleep Scorer: Windows, Mac ou Linux