Методическая статья

IntelliSleepScorer, программный комплекс с графическим пользовательским интерфейсом для автоматизированной оценки стадий сна мышей

DOI:

10.3791/66950

⸱

8 ноября 2024 г.

 ,  ,  , 
1Stanley Center for Psychiatric Research, Broad Institute of MIT and Harvard, 2Stanford University

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы представляем пакет программного обеспечения с графическим пользовательским интерфейсом для исследователей без опыта программирования для оценки стадий сна у мышей с помощью простой загрузки и эксплуатации.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Оценка стадии сна у грызунов — это процесс определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и бодрствование. Оценка стадии сна имеет решающее значение для изучения показателей и эффектов, специфичных для стадии сна.

Режим сна у грызунов отличается от такового у человека, характеризуясь более короткими эпизодами NREM и REM, чередующимися с пробуждением, а традиционная ручная оценка стадии сна экспертами занимает много времени. Чтобы решить эту проблему, в предыдущих исследованиях использовались подходы, основанные на машинном обучении, для разработки алгоритмов для автоматической категоризации стадий сна, но высокопроизводительные модели с большой обобщенностью часто не являются общедоступными/бесплатными или удобными для необученных исследователей сна.

Поэтому мы разработали алгоритм LightGBM на основе машинного обучения, обученный на большом наборе данных. Чтобы сделать модель доступной для исследователей сна, не имеющих опыта программирования, на основе модели был разработан программный инструмент под названием IntelliSleepScorer (v1.2 - последняя версия), который отличается простым в использовании графическим пользовательским интерфейсом. В этой рукописи мы представляем пошаговую инструкцию по использованию программного обеспечения, чтобы продемонстрировать удобный и эффективный инструмент автоматической оценки стадий сна у мышей для исследователей сна.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Оценка стадии сна у грызунов — это процедура для определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и пробуждение2. У грызунов NREM характеризуется снижением мышечной активности, медленным и регулярным дыханием, снижением частоты сердечных сокращений и низкочастотными колебаниями мозговых волн. REM у грызунов, как и у человека, проявляется мышечной атонией, активацией ЭЭГ, быстрыми движениями глаз, хотя возникновение ярких сновидений у грызунов менее выражено по сравнению с человеком 2,3. Состояние «пробуждения» у грызунов характеризуется десинхронизированной мозговой активностью с высокочастотными волнами с низкой амплитудой, повышенным мышечным тонусом и активным поведением, таким как груминги исследование. Эти три стадии могут быть идентифицированы путем проверки сигналов электроэнцефалограммы (ЭЭГ) и электромиограммы (ЭМГ)5.

Модели автоматической оценки стадии сна у грызунов пользуются большой потребностью. Во-первых, ручная оценка стадий сна экспертами является трудоемкой и длительной. Во-вторых, паттерны сна у грызунов отличаются от таковых у человека и имеют более фрагментированные эпизоды NREM и REM, чередующиеся при пробуждении, около 10 минут, в отличие от 60-120 минуту людей. Поэтому выявление этих коротких периодов во время ручной оценки является сложной задачей. Начиная с 60-х годов, было много попыток разработать автоматическую систему оценки данных о сне грызунов7. Несмотря на то, что существует множество автоматизированных методов оценки сна грызунов, их производительность варьируется 8,9,10,11,12,13,14,15,16,17,18. Важно отметить, что большинство высокопроизводительных моделей с высокой обобщаемостью не являются общедоступными (некоторые требуют специальных запросов от разработчиков) или не являются бесплатными для исследователей сна.

Поэтому, чтобы восполнить существующий технологический пробел, мы разработали модель на основе машинного обучения, используя большой набор данных из 5776 часов сигналов ЭЭГ и ЭМГ из 519 записей на 124 мышах с алгоритмом LightGBM1. LightGBM использует подход градиентного усиления для построения деревьев решений19. В работе Wang et al., 2023 модель LightGBM (состоящая из более чем 8000 деревьев решений) достигла общей точности 95,2% и каппы Коэна 0,91, что превзошло две широко используемые базовые модели, такие как модель логистической регрессии (точность = 93,3%) и модель случайного леса (точность = 94,3%, каппа = 0,89). Общая производительность модели также показала производительность, аналогичную производительности экспертов-людей. Самое главное, что было доказано, что модель обладает обобщаемостью и не переподгоняется к исходным обучающим данным1: 1) Она хорошо показала себя (точность > 89%) на двух других общедоступных независимых наборах данных, от Миладиновича и коллег11, с разными частотами выборки и продолжительностью эпох; 2) На производительность модели не влияет цикл света/темноты мышей; 3) Модифицированная модель LightGBM показала хорошие результаты на данных, содержащих только один электрод ЭЭГ и один электрод ЭМГ с каппа ≥ 0,89; 4) Для тестирования использовались мыши дикого типа и мутантные мыши, и характеристики модели оказались точными. Это говорит о том, что модель может оценить стадии сна для мышей с разным генетическим фоном.

Чтобы сделать эту модель доступной для исследователей сна, которые могут не иметь опыта программирования, мы разработали IntelliSleepScorer, удобный программный инструмент с визуально интуитивно понятным интерфейсом. Программное обеспечение может полностью автоматизировать процедуру оценки сна у мышей. Он производит интерактивную визуализацию сигналов, гипнограммы и значений аддитивных экспланаций Шепли (SHAP) из входного файла в европейском формате данных (EDF)/EDF+. Ценностный подход SHAP, основанный на кооперативной теории игр, улучшает интерпретируемость моделей машинного обучения20. Модель предлагает как глобальные, так и эпохальные значения SHAP, показывая, как различные значения признаков влияют на решение о оценке модели в целом и для каждой эпохи. Эта усовершенствованная программа значительно сокращает время и усилия, необходимые для оценки стадии сна у мышей, гарантируя, что последующий анализ может полагаться на высокоточные результаты. В этой рукописи мы представляем пошаговое использование IntelliSleepScorer (v1.2) с несколькими обновлениями по сравнению с версией 1.0, включая возможность запуска анализа SHAP отдельно от прогнозирования паттерна сна, настраиваемую пользователем длину эпохи для оценки стадии сна и функцию ручной коррекции стадии сна, интегрированную в графический интерфейс.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом исследовании использовались данные, собранные в ходе экспериментов in vivo на мышах. В исследовании не проводилось никаких экспериментов на людях. Все эксперименты с животными были одобрены Комитетом по институциональному уходу за животными и их использованию в Институте Броуда. Все эксперименты проводились в соответствии с соответствующими инструкциями и регламентами. Рекомендации ARRIVE, которые не применимы к данному исследованию, поскольку основное внимание в этом исследовании уделяется разработке моделей машинного обучения, а не сравнению различных групп лечения.

1. Подготовка данных

ПРИМЕЧАНИЕ: Совместимость данных: записанные данные могут иметь любую частоту дискретизации выше 40 Гц. Нет необходимости фильтровать сигнал полосой пропускания, потому что программное обеспечение фильтрует сигналы ЭЭГ и ЭМГ на первом этапе. Модели LightGBM были разработаны и протестированы с использованием данных мышей. Нет никаких доказательств относительно производительности моделей LightGBM на других типах лабораторных животных. Записывающие электроды должны быть размещены на лобной и теменной коре или в любом месте, если регистрируется только один канал ЭЭГ.

  1. Расположение форматов EDF/EDF+ и требования к ним
    ПРИМЕЧАНИЕ: Программное обеспечение, используемое в этом исследовании, считывает только файлы EDF/EDF+ с использованием пакета MNE-Python. Для создания файлов EDF/EDF+ необходимо применять стандартную спецификацию EDF/EDF+. В дополнение к стандартной спецификации убедитесь, что аннотации EDF/EDF+ закодированы в кодировке UTF-8. В противном случае произойдет сбой программного приложения.
    1. Конвертируйте другой формат файла (не файл EDF/EDF+) в формат EDF/EDF+ с помощью бесплатных онлайн-инструментов.
      ПРИМЕЧАНИЕ: При приеме сигналов ЭЭГ и ЭМГ нет необходимости в фильтре аппарата. До тех пор, пока пользователи берут образцы данных ЭЭГ и ЭМГ с частотой 40 Гц или выше, программное обеспечение будет функционировать корректно. Это связано с тем, что на начальном этапе предварительной обработки сигналы проходят полосовую фильтрацию в диапазоне от 1 Гц до 40 Гц. Эта полосовая фильтрация интегрирована в конвейер предварительной обработки программного обеспечения, избавляя пользователей от необходимости выполнять какую-либо дополнительную обработку сигнала.
  2. Внутри программного обеспечения есть две модели для подсчета очков. Один из них — LightGBM-2EEG, а другой — LightGBM-1EEG. Модель LightGBM-2EEG предназначена для записи данных, которые имеют 2 канала ЭЭГ и 1 канал ЭМГ. Выполните следующие действия в зависимости от модели.
    1. Организуйте файлы данных для LightGBM-2EEG конкретно в следующем порядке: 1) канал ЭЭГ, записанный в теменной области; 2) ЭЭГ-канал, регистрируемый в лобной области; 3) ЭМГ-канал. LightGBM-1EEG предназначен для данных, которые содержат только 1 канал ЭЭГ (размещение электрода в теменной или лобной области) и 1 канал ЭМГ.
    2. Организуйте каналы в файлах EDF/EDF+ для LightGBM-1EEG в следующем порядке: 1) канал ЭЭГ; 2) ЭМГ-канал.

2. Загрузка IntelliSleepScorer для пользователей Windows, Mac и Linux

  1. Для пользователей Windows исполняемый файл Windows для программного обеспечения доступен с помощью PyInstaller. Найдите ссылку для скачивания на странице исследований группы Pan https://sites.broadinstitute.org/pan-lab/resources. Для пользователей MacOS или Linux используйте исходный код в репозитории GitHub https://github.com/broadinstitute/IntelliSleepScorer запуска программного обеспечения.
  2. Получите доступ к двум записанным примерам данных для тестирования программы, сохраненных в виде файлов EDF, загрузив их через репозиторий GitHub.
  3. Репозиторий исходного кода не включает папку models из-за ограничений по размеру. Вместо этого загрузите models.zip, распакуйте его и скопируйте папку models в репозиторий для запуска программы. В противном случае программное обеспечение выйдет из строя из-за отсутствующих файлов модели.

3. Запуск и функционирование рабочего процесса и программы

  1. Запустите IntelliSleepScorer
    1. Чтобы запустить программу в Windows, дважды щелкните IntelliSleepScorer.exe , расположенную в корневой папке. Чтобы запустить программу в MacOS или Linux, откройте эмулятор терминала, измените директорию на корневую папку программы, а затем запустите программу с помощью команды: python3 IntelliSleepScorer.py.
  2. Как только программное обеспечение откроется, нажмите «Выбрать файлы EDF/EDF+», чтобы выбрать нужные файлы для оценки. Если файлы были выбраны по ошибке, нажмите кнопку «Очистить », чтобы очистить список выбранных файлов.
    ПРИМЕЧАНИЕ: По умолчанию программное обеспечение кодирует стадии сна как Wake:1, NREM:2 и REM:3 в выходных файлах оценки. Длина эпохи по умолчанию установлена равной 10 с. Текущая версия (v1.2) графического интерфейса позволяет пользователям изменять кодировки сцен или продолжительность эпох на 4 с, 10 с или 20 с с помощью выпадающего меню.
  3. Выберите желаемую длину эпохи. Используйте предоставленное раскрывающееся меню, чтобы выбрать предполагаемую продолжительность эпохи среди вариантов 4 с, 10 с и 20 с для оценки стадии сна.
  4. Выберите модель, которая будет использоваться для оценки сна. LightGBM-2EEG предназначен для файлов данных с двумя каналами ЭЭГ и одним каналом ЭМГ, в то время как LightGBM-1EEG предназначен для данных с одним каналом ЭЭГ и одним каналом ЭМГ.
  5. Прежде чем запускать прогнозирование стадии сна, включите дополнительное вычисление SHAP, которое поможет объяснить результаты прогнозирования стадии сна. Чтобы выполнить расчет SHAP, установите флажок Выполнить/Построить SHAP . Расчет SHAP занимает около 5-10 минут.
  6. Нажмите «Оценить все файлы». Модель автоматически оценивает все файлы EDF/EDF+ и вычисляет глобальные значения и значения SHAP эпохи, чтобы интерпретировать решения по оценке в списке, если это будет выбрано.
    ПРИМЕЧАНИЕ: В процессе подсчета баллов модель создает следующие файлы и сохраняет их в той же папке, где находятся файлы EDF/EDF+. Модель использует эти файлы для построения графиков глобальных значений SHAP и значений SHAP эпохи.

    "Имя файла EDF/EDF+}_{model_name}_features.csv"; В этом файле хранятся все извлеченные значения признаков.
    "Имя файла EDF/EDF+}_{model_name}_scores.csv"; В этом файле хранятся прогнозируемые стадии сна.
    "Имя файла EDF/EDF+}_{model_name}_rs_100hz.npy"; В этом файле хранится копия сигналов с измененной/пониженной дискретизацией (100 Гц). Для повышения скорости визуализации при построении графика сигнала модель использует сигнал с пониженной дискретизацией вместо исходного.
    "Имя файла EDF/EDF+}_{model_name}explainer. соленый огурец"; "{Имя файла EDF/EDF+}{model_name}shap_500samples.pickle"; "{Имя файла EDF/EDF+}{model_name}_indicies_500samples.npy";
  7. После завершения процесса оценки сна нажмите на опцию «Визуализировать выбранный файл », чтобы визуализировать сигналы ЭЭГ/ЭМГ и гипнограмму, выровненную по времени с сигналами.
    1. Повторите оценку выбранного файла перед визуализацией, если длина эпохи изменилась.

4. Навигация по набранным результатам

  1. Нажимайте на предоставленные кнопки навигации , чтобы перемещаться вперед и назад и просматривать различные данные об эпохах.
  2. Если выбрано вычисление SHAP, просмотрите значения SHAP на уровне глобализации и эпохи. Щелкните правой кнопкой мыши по эпохе, чтобы построить график значений SHAP на уровне эпохи.
    ПРИМЕЧАНИЕ: Обновление графика SHAP на уровне эпохи займет несколько секунд. На рисунке 1 показан обзор страницы графического интерфейса пользователя после запуска прогноза для файла Example-1 EDF/EDF+ с моделью 1_LightBGM-2EEG.

5. Интерпретация гипнограммы засчитанных стадий сна

ПРИМЕЧАНИЕ: В гипнограмме 4 строки (Рисунок 2). В верхней строке указаны прогнозируемые результаты. В нижних 3 строках находятся исходные данные 2 каналов ЭЭГ и 1 канала ЭМГ соответственно. В верхнем ряду оранжевый цвет указывает на стадию пробуждения , синий — на стадию NREM , а красный — на стадию быстрого сна в каждой эпохе.

  1. Чтобы изменить количество отображаемых эпох, нажмите на поле меню справа от пункта «Выбрать количество эпох для отображения » и выберите нужное значение. На рисунке 2 выбрано 100 эпох. Таким образом, на графике прогнозирования стадии сна отображается только 100 эпох. Выберите меньшее число в раскрывающемся меню, чтобы увеличить масштаб графика.
  2. Розовая прозрачная полоса слева на рисунке 2 указывает на текущее местоположение эпохи. Щелкните левой кнопкой мыши по любому месту гипнограммы, чтобы переключиться на другую эпоху, или просто нажмите « Перейти к эпохе » и введите определенное количество эпох, которые будут наблюдаться. Щелкните правой кнопкой мыши выбранную эпоху, чтобы сгенерировать ее график SHAP, если пользователь включил функцию SHAP.

6. Ручная коррекция прогнозируемых стадий сна в графическом интерфейсе (опционально)

ПРИМЕЧАНИЕ: если аномалий не наблюдается или для прогнозирования стадии REM не требуется чрезвычайно высокая точность, ручная верификация не требуется.

  1. Щелкните левой кнопкой мыши по эпохе на графике прогнозирования стадии сна (верхний график), чтобы выбрать конкретную эпоху. Предсказанная моделью стадия выбранной эпохи показана в правой части текста. Чтобы вручную изменить прогнозируемый этап в эту эпоху, нажмите на виджет и выберите новый этап из опций Wake, NREM и REM в раскрывающемся меню.
  2. Скорректированные пользователем этапы помечаются пунктирными линиями поверх исходного графика (рис. 3). Закройте графический интерфейс, и в той же папке автоматически будет сгенерирован новый файл с исправленными результатами прогноза.
    1. Чтобы снова открыть сохраненный файл оценки в графическом интерфейсе, убедитесь, что настройка длины эпохи и выбранная модель совпадают с теми, которые использовались при первоначальной обработке файла EDF, чтобы иметь возможность его повторного открытия. Вся ранее измененная/оцененная информация будет быстро загружена.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Существует три графика (только верхний график, если значения SHAP не были запущены) генерируются в графическом интерфейсе оценки после стадии сна: верхний график представляет каналы ЭЭГ и ЭМГ с гипнограммой предсказания стадии сна. На среднем графике представлены значения SHAP эпохи. На нижнем графике представлены глобальные значения SHAP (рисунок 1).

Существует 4 типа данных, представленных на графике гипнограммы прогнозирования стадии сна (рис. 2). В верхней строке указаны прогнозируемые результаты. В нижних 3 строках находятся исходные данные 2 каналов ЭЭГ и 1 канала ЭМГ соответственно. В верхнем ряду оранжевый цвет указывает на стадию «Пробуждение», синий — на стадию «NREM», а красный — на стадию «REM» в каждой эпохе. Текущий пример эпохи находится на 1305 и находится в стадии «Пробуждения», потому что розовая строка местоположения перекрывается оранжевой линией.

На рисунке 3 исправленный пользователем этап отмечен пунктирными линиями поверх исходного. Красная пунктирная линия указывает на то, что стадия сна была изменена с «Пробуждения» на «Быстрый сон».

На рисунке 4 показан пример результата эпохи 1305 в файле примера 1. По оси Y графика SHAP эпохи показаны 10 основных объектов с наибольшими абсолютными значениями SHAP для выбранной эпохи. По оси X отображаются значения SHAP, которые указывают на вклад каждого признака в прогноз по сравнению со средним прогнозом. Положительное значение SHAP указывает на положительный вклад в прогноз, и наоборот. Функция "emg_abs_max" имеет очень положительное значение SHAP на уровне эпохи для Wake, указывая на то, что "emg_abs_max" от выбранной эпохи увеличивает вероятность того, что выбранная эпоха будет оценена как "Wake" (рис. 4). Это физиологически обосновано, потому что большая амплитуда ЭМГ обозначает активные движения, тем самым указывая на стадию «Пробуждение».

В примере графика Global SHAP (рисунок 5) каждая точка на графике p-роя представляет одну выборку данных. На оси Y графиков показаны 10 основных объектов с наибольшими абсолютными глобальными значениями SHAP, вычисленными на основе 500 случайно выбранных эпох. По оси X отображаются значения SHAP, которые указывают на вклад каждого признака в прогноз по сравнению со средним прогнозом. В отличие от графика SHAP эпохи, глобальный график SHAP имеет два измерения: x-значение каждой точки и интенсивность цвета точки. Положительное значение SHAP по оси X указывает на положительный вклад в прогнозирование, и наоборот. Образцы с более темно-красным цветом имеют более высокие значения признаков. Визуально изучив корреляции положения и цвета 500 точек для каждого объекта, можно интерпретировать, как LightGBM принимает решения на основе значений каждого объекта. На глобальном графике SHAP "Wake", по мере того как значения SHAP для "emg_abs_max" увеличиваются от более отрицательных до более положительных, цвет точек становится темнее. Это указывает на то, что повышенная вероятность быть предсказанным как «Пробуждение» положительно коррелирует с увеличением значения «emg_abs_max». Также стоит отметить, что признаки с более широким распределением значений SHAP (более высокими абсолютными значениями) вносят больший вклад в прогнозирование моделью. Например, глобальный график NREM SHAP (рис. 5) имеет широкий разброс точек для признака «eeg2_gamma_delta_ratio». Крайне отрицательное значение SHAP признака снижает вероятность того, что модель будет оценена как стадия "NREM".

figure-results-1
Рисунок 1: Обзор страницы графического интерфейса после запуска прогноза для файла Example-1 EDF/EDF+ с моделью 1_LightBGM-2EEG. Оценивается как прогноз стадии сна, так и расчет SHAP. На верхнем графике показаны каналы ЭЭГ и ЭМГ с гипнограммой прогнозирования стадии сна. На среднем графике показаны значения SHAP эпохи. На нижнем графике показаны глобальные значения SHAP. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-2
Рисунок 2: Гипнограмма предсказания стадии сна из файла Example-1 EDF/EDF+. На графике представлено 4 данных. В верхней строке указаны прогнозируемые результаты. В нижних 3 строках находятся исходные данные 2 каналов ЭЭГ и 1 канала ЭМГ соответственно. В верхнем ряду оранжевый цвет указывает на стадию «Пробуждение», синий — на стадию «NREM», а красный — на стадию «REM» в каждой эпохе. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-3
Рисунок 3: Гипнограмма предсказания стадии сна из файла Example-1 EDF/EDF+ с измененной пользователем ручной коррекцией. Эпоха 1305 была изменена со стадии "Пробуждение" на стадию "REM" в качестве демонстрации ручной коррекции стадии сна внутри графического интерфейса. Пунктирная красная линия указывает на измененную пользователем стадию сна «REM». Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-4
Рисунок 4: Значения SHAP Wake, NREM и REM Epoch для файла Example-1 EDF/EDF+ в Epoch 1305. Ось Y графика SHAP эпохи показывает 10 основных объектов с наибольшими абсолютными значениями SHAP для выбранной эпохи. По оси X отображаются значения SHAP, которые указывают на вклад каждого признака в прогноз по сравнению со средним прогнозом. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

figure-results-5
Рисунок 5: Значения Wake, NREM и REM Global SHAP для файла Example-1 EDF/EDF+. Каждая точка на графике p-роя представляет собой одну выборку данных. На оси Y графиков показаны 10 основных объектов с наибольшими абсолютными глобальными значениями SHAP, вычисленными на основе 500 случайно выбранных эпох. По оси X отображаются значения SHAP, которые указывают на вклад каждого признака в прогноз по сравнению со средним прогнозом. Ось x глобального значения SHAP имеет два измерения: значение x каждой точки и интенсивность цвета точки. Положительное значение SHAP по оси X указывает на положительный вклад в прогнозирование, и наоборот. Образцы с более темно-красным цветом имеют более высокие значения признаков. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В этом документе показано, как использовать графический пользовательский интерфейс IntelliSleepScorer (v1.2) для автоматической оценки стадий сна мышей, а также как использовать значения/графики SHAP для лучшего понимания оценок стадий сна, генерируемых моделью.

Важным фактором при использовании программного обеспечения является совместимость данных. Внутренние данные, использованные в этом исследовании, были ограничены электродами, размещенными в лобной и теменной областях. В независимом наборе данных Миладиновича и коллег11, несмотря на различия в координатах электродов для этих областей, программное обеспечение сохранило удовлетворительную производительность. Хотя программное обеспечение может быть применимо к другим областям мозга, мы не проводили тестов, чтобы подтвердить это. Таким образом, мы не можем утверждать, что нет никаких ограничений по размещению электродов. Тем не менее, мы рекомендуем пользователям протестировать его, если у них есть записи из других регионов.

Продолжительность сеансов записи ЭЭГ/ЭМГ для анализа стадии сна варьируется в зависимости от конкретных целей исследования. Как правило, сеансы записи длятся либо 12 часов, охватывая либо светлую или темную фазу, либо 24 часа, охватывающие обе фазы в течение одного дня. Как 12-часовые, так и 24-часовые записи обычно используются для фиксации четких паттернов сна-бодрствования и циркадных ритмов. Тестирование модели показало, что оценка стадий сна надежна и точна как для 12-часовых, так и для 24-часовых записанных сеансов. Верхний предел продолжительности записи неизвестен.

Два важных шага в рамках программного протокола — это предварительная обработка данных и ручная проверка. Для повышения обобщаемости обученных моделей мы учли шумы и артефакты во входных данных и реализовали минимальные меры контроля качества. Контроль качества, который мы проводили, направлен на исключение плохих записей из-за потери сигналов. Потеря сигналов обычно вызвана проблемами с подключением, такими как ослабление или отпадение электродов. Потеря сигналов может привести к ошибкам в оценках сна, генерируемых программным обеспечением. Например, плоская линия в канале ЭМГ бодрствующей мыши из-за ослабленного электрода ЭМГ может иметь ту же особенность, что и неподвижная/спящая фаза мышей, что может привести к предсказанию "NREM" или "REM" моделями LightGBM. Для справки мы использовали следующие критерии для автоматического исключения записей, которые имели значительную потерю сигнала: 1) амплитуда любого сигнала ЭЭГ составляет менее 1 мкВ в течение не менее 50% длительности записи или 2) амплитуда сигнала ЭМГ составляет менее 1 пВ в течение не менее 50% длительности записи. Пользователи должны внедрить свои собственные критерии контроля качества, основанные на их экспериментальной настройке и системе записи. Линейные шумы, вызванные переменным током, обычно располагаются на частоте 50 Гц или 60 Гц. Эти линейные шумы будут удалены на этапе полосового фильтра (1-40 Гц), реализованного в программном обеспечении. Таким образом, пользователям не нужно предварительно обрабатывать линейные шумы перед вводом данных в программное обеспечение. Незначительные шумы или мешающие факторы, такие как движения тела, были учтены при разработке модели1. Подход, использованный в данном исследовании, гарантирует, что обобщаемость модели может допускать эти незначительные артефакты, которые не оказывают существенного влияния на окончательные результаты определения стадии сна. Формат, качество записи и последовательность организации файлов данных EDF являются критически важными компонентами для оптимизации производительности этой предварительно обученной модели.

Учитывая, что модель LightGBM показала плохие результаты (оценка REM F1 < 0,6) на нескольких записях, мы рекомендуем пользователям проверить сгенерированные моделью стадии сна, если точная оценка стадий быстрого сна имеет решающее значение. Для исследований, посвященных физиологии следа или стадии NREM, модель LightGBM по-прежнему поддерживает очень надежный и полностью автоматизированный аналитический конвейер. Интерпретация значений SHAP может стать отличным инструментом в сочетании с ручной проверкой для подтверждения точности результатов, сгенерированных программным обеспечением. SHAP — это подход, который использует теорию игр для объяснения выходных данных моделей машинного обучения. Он связывает оптимальное распределение кредитов с локальными объяснениями с использованием классических значений Шепли и связанных с ними расширений20. Например, на графике значений Global NREM SHAP (рис. 4), если темно-красная точка внезапно появляется в правой части объекта «eeg2_gamma_delta_ratio», это может указывать на аномалию в этой эпохе. Это связано с тем, что изолированная точка выборки эпохи отклоняется от всего набора данных. Интерпретация графиков SHAP также может предоставить пользователям четкое и понятное объяснение оценки стадий сна. Например, графики SHAP эпохи предоставляют информацию о том, какие признаки являются главным решающим фактором для оценки стадии сна. Гипнограмма с прогнозом результата (рисунок 2) также предоставляет важную информацию о результатах прогноза. В тех случаях, когда оцененные стадии сна на гипнограмме демонстрируют частые сдвиги между стадиями «пробуждения» и «быстрого сна», что является физиологически ненормальным, рекомендуется провести всестороннюю оценку баллов и соответствующих значений SHAP для выяснения качества результатов. С помощью графиков SHAP и гипнограммы исследователи могут быстро выявить любую ошибку прогнозирования во время оценки стадий сна. Однако, хотя значения SHAP объясняют, как модель делает прогнозы, они не обязательно означают, что прогнозы или способ, которым модель делает определенные прогнозы, верны. Цель представления значений SHAP состоит в том, чтобы помочь пользователям понять процесс оценки на стадии сна и дать возможность пользователям быстро идентифицировать любые ошибки, изучая логику модели LightGBM.

В текущей версии модели (v1.2) есть две выдающиеся особенности. Во-первых, следуя предыдущему абзацу, ручная проверка/исправление может быть очень утомительной и неудобной, если пользователям нужно вернуться к файлам CSV для внесения изменений, особенно для длинных записей. Поэтому мы предлагаем функцию ручной коррекции, непосредственно интегрированную в графический интерфейс, чтобы пользователи могли изменить оцененную стадию сна в любую эпоху. После того как пользователь нажмет на определенную эпоху, в выпадающем меню в верхней части панели графического интерфейса будет показана оцененная стадия сна «Пробуждение», «REM» или «NREM». Если пользователь хочет изменить уровень с одного на другой, он может просто выбрать другой этап из выпадающего меню, и будет сгенерирован новый файл с оценками, вручную исправленный пользователями. Кроме того, вместо стандартной фиксированной 10-секундной длины эпохи, предоставляемой для анализа, мы предоставляем возможность корректировки длины эпохи в графическом интерфейсе для удовлетворения конкретных экспериментальных потребностей различных исследователей сна. В настоящее время существуют 4-с, 10-е и 20-е эпохи, которые обычно используются среди исследователей сна. Несмотря на то, что эта модель была обучена на собственных данных 10-х эпох, производительность модели при независимых тестах данных 4-х эпох из разных лабораторий была сопоставима с производительностью экспертов на всех стадиях сна1. Пользователи должны быть осторожны при реализации 20-х эпох, потому что: 1) оценка сна/пробуждения мышей с 20-секундными эпохами может пропустить очень короткие события, такие как переходные пробуждения; 2) Эпохи 20-х годов с большей вероятностью охватывают смешанные стадии в каждой эпохе8.

Будет полезно сравнить эту модель с другими существующими автоматизированными методами оценки стадий сна для пользователей. Помимо IntelliSleepScorer, существуют и другие разработанные модели для автоматической оценки стадий сна с различной степенью точности, сложности и эффективности 8,9,10,11,12,13,14,15,16,17,18 . Модель, используемая в данном исследовании, использует алгоритм LightGBM для достижения высокой точности оценки стадий сна, сравнимой с существующими моделями. В нашей оценке IntelliSleepScorer продемонстрировал общую точность в 95,2%, что соответствует показателям производительности, зарегистрированным для аналогичных моделей, таких как MC-SleepNet8 и Sleep-Deep-Learner9. Тем не менее, истинное отличие IntelliSleepScorer заключается не только в его точности, но и в его доступности и простоте использования для необученных исследователей с ограниченным опытом программирования.

MC-SleepNet8, обученный с помощью глубоких нейронных сетей на большом наборе данных из 4200 мышей, достигает высокой точности оценки 96,4% и каппа-статистики 0,94, превосходя большинство существующих методов. Однако, насколько нам известно, на сегодняшний день не существует программного обеспечения, основанного на MC-SleepNet, которое было бы общедоступным.

Sleep-Deep-Learner9 автоматизирует оценку у мышей с оценкой F1 0,86 для быстрого сна, 0,95 для быстрого сна и 0,97 для бодрствования. Тем не менее, авторы отметили в статье, что Sleep-Deep-Learner не подходит для людей, которые не очень хорошо разбираются в оценке сна и бодрствования, поскольку для этого требуется подмножество эпох, оцененных вручную. IntelliSleepScorer, с другой стороны, не требует каких-либо дополнительных ручных манипуляций во время оценки стадии сна и имеет очень удобный графический интерфейс для любых исследователей.

Somnivore10 — это универсальная многоуровневая система, предназначенная для автоматизированной оценки стадий бодрствования и сна, способная обучаться на ограниченных обучающих наборах со сложными полисомнографическими входами. Он работает с высокой вычислительной эффективностью и демонстрирует надежное обобщение для различных субъектов, включая людей, грызунов (диких и трансгенных) и голубей. Тем не менее, Somnivore не является бесплатным.

SlumberNet11 и AccuSleep12 легко доступны на Zenodo и GitHub соответственно и имеют точность оценки 97% и 96,8%. Тем не менее, обе модели имеют относительно небольшие размеры обучающих данных (9 или 10 мышей) и не включают независимую тестовую валидацию. Поэтому их реальные характеристики остаются неизвестными.

SPINDLE13 — это еще одна веб-модель, обученная на меньшем наборе данных с 4-6 мышами/крысами с использованием сверточных нейронных сетей. Проверенный на основе данных трех независимых лабораторий сна, SPINDLE достиг среднего показателя совпадения 93–99% с оценками экспертов из разных лабораторий, что отражает человеческие возможности.

Наконец, Somnotate14 продемонстрировал точность 0,97 ± 0,01 и взвешенный балл F1 0,97 ± 0,01 при оценке на внутренних наборах данных, которые включали шесть 24-часовых записей, основанных на консенсусе по крайней мере трех ручных аннотаций. При тестировании на наборе данных Somnotate производительность IntelliSleepScorer снизилась с точностью 0,75 ± 0,04 и взвешенной оценкой F1 0,73 ± 0,0514. Такое снижение производительности может быть связано с различиями в экспериментальных установках или условиях записи в разных наборах данных. Учитывая разнообразие реальных сценариев использования, мы рекомендуем пользователям оценить производительность IntelliSleepScorer на своих наборах данных, особенно если их экспериментальные настройки или условия записи значительно отличаются от наших. Если производительность программного обеспечения не соответствует ожиданиям, у пользователей есть возможность тонко настроить предварительно обученную модель с помощью своих данных, поскольку мы сделали модели и код, используемые для разработки, открытым исходным кодом.

Помимо примеров существующих моделей, рассмотренных выше, существуют некоторые другие разработанные автоматизированные системы определения стадии сна, из которых исследователи могут выбирать в зависимости от конкретных и различных потребностей длясвоих исследований.

В будущей работе мы планируем разработать/обучить новую модель, которая оптимизирует автоматическую оценку времени фаз сна. В настоящее время графический интерфейс обрабатывает 12 часов записей, сэмплированных с частотой 1000 Гц, примерно за 10 минут на процессоре Intel Core i7-8550U @ 1.80 GHz. Однако время обработки увеличивается примерно в 2,5 раза при оценке стадий сна с 4-секундными эпохами по сравнению со стандартными 10-секундными эпохами. Эта новая модель может удовлетворить потребности некоторых пользователей, которые хотят более быстрой автоматической оценки стадии сна у мышей. Мы также всегда прислушиваемся к отзывам пользователей, и любая новая функция может быть добавлена по запросу.

Таким образом, мы предоставляем бесплатное, общедоступное и удобное программное обеспечение с графическим интерфейсом, IntelliSleepScorer, чтобы создать удобный автоматизированный конвейер для оценки стадии сна мышей. Кроме того, мы пошли еще дальше, предложив визуализацию значений SHAP, которая объясняет решение о подсчете баллов, которое принимает модель. Опытные пользователи также могут тонко настроить нашу предварительно обученную модель с помощью своих данных, учитывая, что файлы модели и скрипты для извлечения функций для обучения/тонкой настройки находятся в открытом доступе в репозитории GitHub. Мы надеемся, что эта общедоступная модель сможет сократить технологический разрыв и облегчить переход от сбора данных к новым выводам с использованием мышиных моделей в исследованиях сна, сократив при этом трудоемкую работу.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Авторы заявляют об отсутствии конфликта интересов.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Мы благодарим Керену Ян и Цзинвэнь Ху за ручное озвучивание спящих этапов, а также Ыну и Сунвик за записи.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Canonical Unbuntu 18.04Canonicalhttps://releases.ubuntu.com/18.04/Поддержка операционной системы для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux
Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; Оперативная память: 24 ГБ Intel Corphttps://www.intel.com/content/www/us/en/products/details/processors/core-ultra.htmlТребования к аппаратному обеспечению для программного обеспечения: Оба ядра Inte Core, перечисленные здесь, использовались для обработки данных. Обработка 12 часов записи, сэмплированной с частотой 1000 Гц для обоих аппаратных средств, занимает около 10 минут. Любое аналогичное или более качественное оборудование обеспечит сопоставимую или лучшую производительность.  
Процессор Intel Core i7-10610U @1.80 ГГц 2.30 ГГц; Оперативная память: 16 ГБIntel Corphttps://www.intel.com/content/www/us/en/products/details/processors/core-ultra.htmlТребования к аппаратному обеспечению для программного обеспечения: Оба перечисленных здесь ядра Inte Core использовались для обработки данных. Обработка 12 часов записи, сэмплированной с частотой 1000 Гц для обоих аппаратных средств, занимает около 10 минут. Любое аналогичное или более качественное оборудование обеспечит сопоставимую или лучшую производительность.  
LightGBMMicrosoft https://lightgbm.readthedocs.io/en/latest/index.htmlалгоритм на основе машинного обучения, который использовался для обучения программного обеспечения.
MacBook ProApplehttps://www.apple.com/in/macbook-pro/Поддерживаемая операционная система для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux
WindowsMicrosoft https://www.microsoft.com/en-in/windows/?r=1Поддерживаемая операционная система для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Wang, L. A., Kern, R., Yu, E., Choi, S., Pan, J. Q. Intellisleepscorer, a software package with a graphic user interface for automated sleep stage scoring in mice based on a light gradient boosting machine algorithm. Sci Rep. 13 (1), 4275(2023).
  2. Astori, S., Wimmer, R. D., Luthi, A. Manipulating sleep spindles--expanding views on sleep, memory, and disease. Trends Neurosci. 36 (12), 738-748 (2013).
  3. Fraigne, J. J., Torontali, Z. A., Snow, M. B., Peever, J. H. Rem sleep at its core-circuits, neurotransmitters, and pathophysiology. Front Neurol. 6, 123(2015).
  4. Huber, R., Deboer, T., Tobler, I. Effects of sleep deprivation on sleep and sleep eeg in three mouse strains: Empirical data and simulations. Brain Res. 857 (1-2), 8-19 (2000).
  5. Brown, R. E., Basheer, R., Mckenna, J. T., Strecker, R. E., Mccarley, R. W. Control of sleep and wakefulness. Physiol Rev. 92 (3), 1087-1187 (2012).
  6. Lacroix, M. M., et al. Improved sleep scoring in mice reveals human-like stages. BioRxiv. 489005, (2018).
  7. Rayan, A., et al. Sleep scoring in rodents: Criteria, automatic approaches and outstanding issues. Eur J Neurosci. 59 (4), 526-553 (2024).
  8. Yamabe, M., et al. Mc-sleepnet: Large-scale sleep stage scoring in mice by deep neural networks. Sci Rep. 9 (1), 15793(2019).
  9. Katsuki, F., Spratt, T. J., Brown, R. E., Basheer, R., Uygun, D. S. Sleep-deep-learner is taught sleep-wake scoring by the end-user to complete each record in their style. Sleep Adv. 5 (1), zpae022(2024).
  10. Allocca, G., et al. Validation of 'somnivore', a machine learning algorithm for automated scoring and analysis of polysomnography data. Front Neurosci. 13, 207(2019).
  11. Jha, P. K., Valekunja, U. K., Reddy, A. B. Slumbernet: Deep learning classification of sleep stages using residual neural networks. Sci Rep. 14 (1), 4797(2024).
  12. Barger, Z., Frye, C. G., Liu, D., Dan, Y., Bouchard, K. E. Robust, automated sleep scoring by a compact neural network with distributional shift correction. PLoS One. 14 (12), e0224642(2019).
  13. Miladinovic, D., et al. Spindle: End-to-end learning from eeg/emg to extrapolate animal sleep scoring across experimental settings, labs and species. PLoS Comput Biol. 15 (4), e1006968(2019).
  14. Brodersen, P. J. N., et al. Somnotate: A probabilistic sleep stage classifier for studying vigilance state transitions. PLoS Comput Biol. 20 (1), e1011793(2024).
  15. Akada, K., et al. A deep learning algorithm for sleep stage scoring in mice based on a multimodal network with fine-tuning technique. Neurosci Res. 173, 99-105 (2021).
  16. Rytkonen, K. M., Zitting, J., Porkka-Heiskanen, T. Automated sleep scoring in rats and mice using the naive Bayes classifier. J Neurosci Methods. 202 (1), 60-64 (2011).
  17. Kam, K., Rapoport, D. M., Parekh, A., Ayappa, I., Varga, A. W. Wavesleepnet: An interpretable deep convolutional neural network for the continuous classification of mouse sleep and wake. J Neurosci Methods. 360, 109224(2021).
  18. Crisler, S., Morrissey, M. J., Anch, A. M., Barnett, D. W. Sleep-stage scoring in the rat using a support vector machine. J Neurosci Methods. 168 (2), 524-534 (2008).
  19. Ke, G., et al. Lightgbm: A highly efficient gradient boosting decision tree. Neural Information Processing Systems. , (2017).
  20. A unified approach to interpreting model predictions. Lundberg, S. M., Lee, S. I. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17), , Curran Associates Inc. Red Hook, NY. 4768-4777 (2017).

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

Automated Sleep ScoringMouse Sleep StagesLightGBM AlgorithmEEG EMG AnalysisSHAP Value VisualizationManual Sleep CorrectionSleep Research SoftwareSleep Stage Classification

Похожие статьи