Мы представляем пакет программного обеспечения с графическим пользовательским интерфейсом для исследователей без опыта программирования для оценки стадий сна у мышей с помощью простой загрузки и эксплуатации.
Для просмотра этого контента требуется подписка на JoVE. Войдите или начните свой бесплатный пробный период.
Методическая статья
IntelliSleepScorer, программный комплекс с графическим пользовательским интерфейсом для автоматизированной оценки стадий сна мышей
В этой статье
Краткое содержание
Аннотация
Оценка стадии сна у грызунов — это процесс определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и бодрствование. Оценка стадии сна имеет решающее значение для изучения показателей и эффектов, специфичных для стадии сна.
Режим сна у грызунов отличается от такового у человека, характеризуясь более короткими эпизодами NREM и REM, чередующимися с пробуждением, а традиционная ручная оценка стадии сна экспертами занимает много времени. Чтобы решить эту проблему, в предыдущих исследованиях использовались подходы, основанные на машинном обучении, для разработки алгоритмов для автоматической категоризации стадий сна, но высокопроизводительные модели с большой обобщенностью часто не являются общедоступными/бесплатными или удобными для необученных исследователей сна.
Поэтому мы разработали алгоритм LightGBM на основе машинного обучения, обученный на большом наборе данных. Чтобы сделать модель доступной для исследователей сна, не имеющих опыта программирования, на основе модели был разработан программный инструмент под названием IntelliSleepScorer (v1.2 - последняя версия), который отличается простым в использовании графическим пользовательским интерфейсом. В этой рукописи мы представляем пошаговую инструкцию по использованию программного обеспечения, чтобы продемонстрировать удобный и эффективный инструмент автоматической оценки стадий сна у мышей для исследователей сна.
Введение
Оценка стадии сна у грызунов — это процедура для определения трех стадий: сон без быстрого движения глаз (NREM), сон с быстрым движением глаз (REM) и пробуждение2. У грызунов NREM характеризуется снижением мышечной активности, медленным и регулярным дыханием, снижением частоты сердечных сокращений и низкочастотными колебаниями мозговых волн. REM у грызунов, как и у человека, проявляется мышечной атонией, активацией ЭЭГ, быстрыми движениями глаз, хотя возникновение ярких сновидений у грызунов менее выражено по сравнению с человеком 2,3. Состояние «пробуждения» у грызунов характеризуется десинхронизированной мозговой активностью с высокочастотными волнами с низкой амплитудой, повышенным мышечным тонусом и активным поведением, таким как груминги исследование. Эти три стадии могут быть идентифицированы путем проверки сигналов электроэнцефалограммы (ЭЭГ) и электромиограммы (ЭМГ)5.
Модели автоматической оценки стадии сна у грызунов пользуются большой потребностью. Во-первых, ручная оценка стадий сна экспертами является трудоемкой и длительной. Во-вторых, паттерны сна у грызунов отличаются от таковых у человека и имеют более фрагментированные эпизоды NREM и REM, чередующиеся при пробуждении, около 10 минут, в отличие от 60-120 минуту людей. Поэтому выявление этих коротких периодов во время ручной оценки является сложной задачей. Начиная с 60-х годов, было много попыток разработать автоматическую систему оценки данных о сне грызунов7. Несмотря на то, что существует множество автоматизированных методов оценки сна грызунов, их производительность варьируется 8,9,10,11,12,13,14,15,16,17,18. Важно отметить, что большинство высокопроизводительных моделей с высокой обобщаемостью не являются общедоступными (некоторые требуют специальных запросов от разработчиков) или не являются бесплатными для исследователей сна.
Поэтому, чтобы восполнить существующий технологический пробел, мы разработали модель на основе машинного обучения, используя большой набор данных из 5776 часов сигналов ЭЭГ и ЭМГ из 519 записей на 124 мышах с алгоритмом LightGBM1. LightGBM использует подход градиентного усиления для построения деревьев решений19. В работе Wang et al., 2023 модель LightGBM (состоящая из более чем 8000 деревьев решений) достигла общей точности 95,2% и каппы Коэна 0,91, что превзошло две широко используемые базовые модели, такие как модель логистической регрессии (точность = 93,3%) и модель случайного леса (точность = 94,3%, каппа = 0,89). Общая производительность модели также показала производительность, аналогичную производительности экспертов-людей. Самое главное, что было доказано, что модель обладает обобщаемостью и не переподгоняется к исходным обучающим данным1: 1) Она хорошо показала себя (точность > 89%) на двух других общедоступных независимых наборах данных, от Миладиновича и коллег11, с разными частотами выборки и продолжительностью эпох; 2) На производительность модели не влияет цикл света/темноты мышей; 3) Модифицированная модель LightGBM показала хорошие результаты на данных, содержащих только один электрод ЭЭГ и один электрод ЭМГ с каппа ≥ 0,89; 4) Для тестирования использовались мыши дикого типа и мутантные мыши, и характеристики модели оказались точными. Это говорит о том, что модель может оценить стадии сна для мышей с разным генетическим фоном.
Чтобы сделать эту модель доступной для исследователей сна, которые могут не иметь опыта программирования, мы разработали IntelliSleepScorer, удобный программный инструмент с визуально интуитивно понятным интерфейсом. Программное обеспечение может полностью автоматизировать процедуру оценки сна у мышей. Он производит интерактивную визуализацию сигналов, гипнограммы и значений аддитивных экспланаций Шепли (SHAP) из входного файла в европейском формате данных (EDF)/EDF+. Ценностный подход SHAP, основанный на кооперативной теории игр, улучшает интерпретируемость моделей машинного обучения20. Модель предлагает как глобальные, так и эпохальные значения SHAP, показывая, как различные значения признаков влияют на решение о оценке модели в целом и для каждой эпохи. Эта усовершенствованная программа значительно сокращает время и усилия, необходимые для оценки стадии сна у мышей, гарантируя, что последующий анализ может полагаться на высокоточные результаты. В этой рукописи мы представляем пошаговое использование IntelliSleepScorer (v1.2) с несколькими обновлениями по сравнению с версией 1.0, включая возможность запуска анализа SHAP отдельно от прогнозирования паттерна сна, настраиваемую пользователем длину эпохи для оценки стадии сна и функцию ручной коррекции стадии сна, интегрированную в графический интерфейс.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Протокол
В этом исследовании использовались данные, собранные в ходе экспериментов in vivo на мышах. В исследовании не проводилось никаких экспериментов на людях. Все эксперименты с животными были одобрены Комитетом по институциональному уходу за животными и их использованию в Институте Броуда. Все эксперименты проводились в соответствии с соответствующими инструкциями и регламентами. Рекомендации ARRIVE, которые не применимы к данному исследованию, поскольку основное внимание в этом исследовании уделяется разработке моделей машинного обучения, а не сравнению различных групп лечения.
1. Подготовка данных
ПРИМЕЧАНИЕ: Совместимость данных: записанные данные могут иметь любую частоту дискретизации выше 40 Гц. Нет необходимости фильтровать сигнал полосой пропускания, потому что программное обеспечение фильтрует сигналы ЭЭГ и ЭМГ на первом этапе. Модели LightGBM были разработаны и протестированы с использованием данных мышей. Нет никаких доказательств относительно производительности моделей LightGBM на других типах лабораторных животных. Записывающие электроды должны быть размещены на лобной и теменной коре или в любом месте, если регистрируется только один канал ЭЭГ.
- Расположение форматов EDF/EDF+ и требования к ним
ПРИМЕЧАНИЕ: Программное обеспечение, используемое в этом исследовании, считывает только файлы EDF/EDF+ с использованием пакета MNE-Python. Для создания файлов EDF/EDF+ необходимо применять стандартную спецификацию EDF/EDF+. В дополнение к стандартной спецификации убедитесь, что аннотации EDF/EDF+ закодированы в кодировке UTF-8. В противном случае произойдет сбой программного приложения.- Конвертируйте другой формат файла (не файл EDF/EDF+) в формат EDF/EDF+ с помощью бесплатных онлайн-инструментов.
ПРИМЕЧАНИЕ: При приеме сигналов ЭЭГ и ЭМГ нет необходимости в фильтре аппарата. До тех пор, пока пользователи берут образцы данных ЭЭГ и ЭМГ с частотой 40 Гц или выше, программное обеспечение будет функционировать корректно. Это связано с тем, что на начальном этапе предварительной обработки сигналы проходят полосовую фильтрацию в диапазоне от 1 Гц до 40 Гц. Эта полосовая фильтрация интегрирована в конвейер предварительной обработки программного обеспечения, избавляя пользователей от необходимости выполнять какую-либо дополнительную обработку сигнала.
- Конвертируйте другой формат файла (не файл EDF/EDF+) в формат EDF/EDF+ с помощью бесплатных онлайн-инструментов.
- Внутри программного обеспечения есть две модели для подсчета очков. Один из них — LightGBM-2EEG, а другой — LightGBM-1EEG. Модель LightGBM-2EEG предназначена для записи данных, которые имеют 2 канала ЭЭГ и 1 канал ЭМГ. Выполните следующие действия в зависимости от модели.
- Организуйте файлы данных для LightGBM-2EEG конкретно в следующем порядке: 1) канал ЭЭГ, записанный в теменной области; 2) ЭЭГ-канал, регистрируемый в лобной области; 3) ЭМГ-канал. LightGBM-1EEG предназначен для данных, которые содержат только 1 канал ЭЭГ (размещение электрода в теменной или лобной области) и 1 канал ЭМГ.
- Организуйте каналы в файлах EDF/EDF+ для LightGBM-1EEG в следующем порядке: 1) канал ЭЭГ; 2) ЭМГ-канал.
2. Загрузка IntelliSleepScorer для пользователей Windows, Mac и Linux
- Для пользователей Windows исполняемый файл Windows для программного обеспечения доступен с помощью PyInstaller. Найдите ссылку для скачивания на странице исследований группы Pan https://sites.broadinstitute.org/pan-lab/resources. Для пользователей MacOS или Linux используйте исходный код в репозитории GitHub https://github.com/broadinstitute/IntelliSleepScorer запуска программного обеспечения.
- Получите доступ к двум записанным примерам данных для тестирования программы, сохраненных в виде файлов EDF, загрузив их через репозиторий GitHub.
- Репозиторий исходного кода не включает папку models из-за ограничений по размеру. Вместо этого загрузите models.zip, распакуйте его и скопируйте папку models в репозиторий для запуска программы. В противном случае программное обеспечение выйдет из строя из-за отсутствующих файлов модели.
3. Запуск и функционирование рабочего процесса и программы
- Запустите IntelliSleepScorer
- Чтобы запустить программу в Windows, дважды щелкните IntelliSleepScorer.exe , расположенную в корневой папке. Чтобы запустить программу в MacOS или Linux, откройте эмулятор терминала, измените директорию на корневую папку программы, а затем запустите программу с помощью команды: python3 IntelliSleepScorer.py.
- Как только программное обеспечение откроется, нажмите «Выбрать файлы EDF/EDF+», чтобы выбрать нужные файлы для оценки. Если файлы были выбраны по ошибке, нажмите кнопку «Очистить », чтобы очистить список выбранных файлов.
ПРИМЕЧАНИЕ: По умолчанию программное обеспечение кодирует стадии сна как Wake:1, NREM:2 и REM:3 в выходных файлах оценки. Длина эпохи по умолчанию установлена равной 10 с. Текущая версия (v1.2) графического интерфейса позволяет пользователям изменять кодировки сцен или продолжительность эпох на 4 с, 10 с или 20 с с помощью выпадающего меню. - Выберите желаемую длину эпохи. Используйте предоставленное раскрывающееся меню, чтобы выбрать предполагаемую продолжительность эпохи среди вариантов 4 с, 10 с и 20 с для оценки стадии сна.
- Выберите модель, которая будет использоваться для оценки сна. LightGBM-2EEG предназначен для файлов данных с двумя каналами ЭЭГ и одним каналом ЭМГ, в то время как LightGBM-1EEG предназначен для данных с одним каналом ЭЭГ и одним каналом ЭМГ.
- Прежде чем запускать прогнозирование стадии сна, включите дополнительное вычисление SHAP, которое поможет объяснить результаты прогнозирования стадии сна. Чтобы выполнить расчет SHAP, установите флажок Выполнить/Построить SHAP . Расчет SHAP занимает около 5-10 минут.
- Нажмите «Оценить все файлы». Модель автоматически оценивает все файлы EDF/EDF+ и вычисляет глобальные значения и значения SHAP эпохи, чтобы интерпретировать решения по оценке в списке, если это будет выбрано.
ПРИМЕЧАНИЕ: В процессе подсчета баллов модель создает следующие файлы и сохраняет их в той же папке, где находятся файлы EDF/EDF+. Модель использует эти файлы для построения графиков глобальных значений SHAP и значений SHAP эпохи.
"Имя файла EDF/EDF+}_{model_name}_features.csv"; В этом файле хранятся все извлеченные значения признаков.
"Имя файла EDF/EDF+}_{model_name}_scores.csv"; В этом файле хранятся прогнозируемые стадии сна.
"Имя файла EDF/EDF+}_{model_name}_rs_100hz.npy"; В этом файле хранится копия сигналов с измененной/пониженной дискретизацией (100 Гц). Для повышения скорости визуализации при построении графика сигнала модель использует сигнал с пониженной дискретизацией вместо исходного.
"Имя файла EDF/EDF+}_{model_name}explainer. соленый огурец"; "{Имя файла EDF/EDF+}{model_name}shap_500samples.pickle"; "{Имя файла EDF/EDF+}{model_name}_indicies_500samples.npy"; - После завершения процесса оценки сна нажмите на опцию «Визуализировать выбранный файл », чтобы визуализировать сигналы ЭЭГ/ЭМГ и гипнограмму, выровненную по времени с сигналами.
- Повторите оценку выбранного файла перед визуализацией, если длина эпохи изменилась.
4. Навигация по набранным результатам
- Нажимайте на предоставленные кнопки навигации , чтобы перемещаться вперед и назад и просматривать различные данные об эпохах.
- Если выбрано вычисление SHAP, просмотрите значения SHAP на уровне глобализации и эпохи. Щелкните правой кнопкой мыши по эпохе, чтобы построить график значений SHAP на уровне эпохи.
ПРИМЕЧАНИЕ: Обновление графика SHAP на уровне эпохи займет несколько секунд. На рисунке 1 показан обзор страницы графического интерфейса пользователя после запуска прогноза для файла Example-1 EDF/EDF+ с моделью 1_LightBGM-2EEG.
5. Интерпретация гипнограммы засчитанных стадий сна
ПРИМЕЧАНИЕ: В гипнограмме 4 строки (Рисунок 2). В верхней строке указаны прогнозируемые результаты. В нижних 3 строках находятся исходные данные 2 каналов ЭЭГ и 1 канала ЭМГ соответственно. В верхнем ряду оранжевый цвет указывает на стадию пробуждения , синий — на стадию NREM , а красный — на стадию быстрого сна в каждой эпохе.
- Чтобы изменить количество отображаемых эпох, нажмите на поле меню справа от пункта «Выбрать количество эпох для отображения » и выберите нужное значение. На рисунке 2 выбрано 100 эпох. Таким образом, на графике прогнозирования стадии сна отображается только 100 эпох. Выберите меньшее число в раскрывающемся меню, чтобы увеличить масштаб графика.
- Розовая прозрачная полоса слева на рисунке 2 указывает на текущее местоположение эпохи. Щелкните левой кнопкой мыши по любому месту гипнограммы, чтобы переключиться на другую эпоху, или просто нажмите « Перейти к эпохе » и введите определенное количество эпох, которые будут наблюдаться. Щелкните правой кнопкой мыши выбранную эпоху, чтобы сгенерировать ее график SHAP, если пользователь включил функцию SHAP.
6. Ручная коррекция прогнозируемых стадий сна в графическом интерфейсе (опционально)
ПРИМЕЧАНИЕ: если аномалий не наблюдается или для прогнозирования стадии REM не требуется чрезвычайно высокая точность, ручная верификация не требуется.
- Щелкните левой кнопкой мыши по эпохе на графике прогнозирования стадии сна (верхний график), чтобы выбрать конкретную эпоху. Предсказанная моделью стадия выбранной эпохи показана в правой части текста. Чтобы вручную изменить прогнозируемый этап в эту эпоху, нажмите на виджет и выберите новый этап из опций Wake, NREM и REM в раскрывающемся меню.
- Скорректированные пользователем этапы помечаются пунктирными линиями поверх исходного графика (рис. 3). Закройте графический интерфейс, и в той же папке автоматически будет сгенерирован новый файл с исправленными результатами прогноза.
- Чтобы снова открыть сохраненный файл оценки в графическом интерфейсе, убедитесь, что настройка длины эпохи и выбранная модель совпадают с теми, которые использовались при первоначальной обработке файла EDF, чтобы иметь возможность его повторного открытия. Вся ранее измененная/оцененная информация будет быстро загружена.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Результаты
Существует три графика (только верхний график, если значения SHAP не были запущены) генерируются в графическом интерфейсе оценки после стадии сна: верхний график представляет каналы ЭЭГ и ЭМГ с гипнограммой предсказания стадии сна. На среднем графике представлены значения SHAP эпохи. На нижнем графике представлены глобальные значения SHAP (рисунок 1).
Существует 4 типа данных, представленных на графике гипнограммы прогнозирования стадии сна (р...
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Обсуждение
В этом документе показано, как использовать графический пользовательский интерфейс IntelliSleepScorer (v1.2) для автоматической оценки стадий сна мышей, а также как использовать значения/графики SHAP для лучшего понимания оценок стадий сна, генерируемых моделью.
Важным фактором при использовании программного обеспечения является совместимость данных. Внутренние данные, использованные в этом исследовании, были ограничены электродами, размещенными в лобной и тем...
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Раскрытие информации
Авторы заявляют об отсутствии конфликта интересов.
Благодарности
Мы благодарим Керену Ян и Цзинвэнь Ху за ручное озвучивание спящих этапов, а также Ыну и Сунвик за записи.
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Материалы
| Имя | Компания | Каталожный номер | Комментарии |
|---|---|---|---|
| Canonical Unbuntu 18.04 | Canonical | https://releases.ubuntu.com/18.04/ | Поддержка операционной системы для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux |
| Intel Core i7-8550U CPU @ 1.80 GHz 1.99 GHz; Оперативная память: 24 ГБ | Intel Corp | https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html | Требования к аппаратному обеспечению для программного обеспечения: Оба ядра Inte Core, перечисленные здесь, использовались для обработки данных. Обработка 12 часов записи, сэмплированной с частотой 1000 Гц для обоих аппаратных средств, занимает около 10 минут. Любое аналогичное или более качественное оборудование обеспечит сопоставимую или лучшую производительность. |
| Процессор Intel Core i7-10610U @1.80 ГГц 2.30 ГГц; Оперативная память: 16 ГБ | Intel Corp | https://www.intel.com/content/www/us/en/products/details/processors/core-ultra.html | Требования к аппаратному обеспечению для программного обеспечения: Оба перечисленных здесь ядра Inte Core использовались для обработки данных. Обработка 12 часов записи, сэмплированной с частотой 1000 Гц для обоих аппаратных средств, занимает около 10 минут. Любое аналогичное или более качественное оборудование обеспечит сопоставимую или лучшую производительность. |
| LightGBM | Microsoft https://lightgbm.readthedocs.io/en/latest/index.html | алгоритм на основе машинного обучения, который использовался для обучения программного обеспечения. | |
| MacBook Pro | Apple | https://www.apple.com/in/macbook-pro/ | Поддерживаемая операционная система для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux |
| Windows | Microsoft https://www.microsoft.com/en-in/windows/?r=1 | Поддерживаемая операционная система для программного обеспечения IntelliSleep Scorer: Windows, Mac или Linux |
Ссылки
- Wang, L. A., Kern, R., Yu, E., Choi, S., Pan, J. Q. Intellisleepscorer, a software package with a graphic user interface for automated sleep stage scoring in mice based on a light gradient boosting machine algorithm. Sci Rep. 13 (1), 4275(2023).
- Astori, S., Wimmer, R. D., Luthi, A. Manipulating sleep spindles--expanding views on sleep, memory, and disease. Trends Neurosci. 36 (12), 738-748 (2013).
- Fraigne, J. J., Torontali, Z. A., Snow, M. B., Peever, J. H. Rem sleep at its core-circuits, neurotransmitters, and pathophysiology. Front Neurol. 6, 123(2015).
- Huber, R., Deboer, T., Tobler, I. Effects of sleep deprivation on sleep and sleep eeg in three mouse strains: Empirical data and simulations. Brain Res. 857 (1-2), 8-19 (2000).
- Brown, R. E., Basheer, R., Mckenna, J. T., Strecker, R. E., Mccarley, R. W. Control of sleep and wakefulness. Physiol Rev. 92 (3), 1087-1187 (2012).
- Lacroix, M. M., et al. Improved sleep scoring in mice reveals human-like stages. BioRxiv. 489005, (2018).
- Rayan, A., et al. Sleep scoring in rodents: Criteria, automatic approaches and outstanding issues. Eur J Neurosci. 59 (4), 526-553 (2024).
- Yamabe, M., et al. Mc-sleepnet: Large-scale sleep stage scoring in mice by deep neural networks. Sci Rep. 9 (1), 15793(2019).
- Katsuki, F., Spratt, T. J., Brown, R. E., Basheer, R., Uygun, D. S. Sleep-deep-learner is taught sleep-wake scoring by the end-user to complete each record in their style. Sleep Adv. 5 (1), zpae022(2024).
- Allocca, G., et al. Validation of 'somnivore', a machine learning algorithm for automated scoring and analysis of polysomnography data. Front Neurosci. 13, 207(2019).
- Jha, P. K., Valekunja, U. K., Reddy, A. B. Slumbernet: Deep learning classification of sleep stages using residual neural networks. Sci Rep. 14 (1), 4797(2024).
- Barger, Z., Frye, C. G., Liu, D., Dan, Y., Bouchard, K. E. Robust, automated sleep scoring by a compact neural network with distributional shift correction. PLoS One. 14 (12), e0224642(2019).
- Miladinovic, D., et al. Spindle: End-to-end learning from eeg/emg to extrapolate animal sleep scoring across experimental settings, labs and species. PLoS Comput Biol. 15 (4), e1006968(2019).
- Brodersen, P. J. N., et al. Somnotate: A probabilistic sleep stage classifier for studying vigilance state transitions. PLoS Comput Biol. 20 (1), e1011793(2024).
- Akada, K., et al. A deep learning algorithm for sleep stage scoring in mice based on a multimodal network with fine-tuning technique. Neurosci Res. 173, 99-105 (2021).
- Rytkonen, K. M., Zitting, J., Porkka-Heiskanen, T. Automated sleep scoring in rats and mice using the naive Bayes classifier. J Neurosci Methods. 202 (1), 60-64 (2011).
- Kam, K., Rapoport, D. M., Parekh, A., Ayappa, I., Varga, A. W. Wavesleepnet: An interpretable deep convolutional neural network for the continuous classification of mouse sleep and wake. J Neurosci Methods. 360, 109224(2021).
- Crisler, S., Morrissey, M. J., Anch, A. M., Barnett, D. W. Sleep-stage scoring in the rat using a support vector machine. J Neurosci Methods. 168 (2), 524-534 (2008).
- Ke, G., et al. Lightgbm: A highly efficient gradient boosting decision tree. Neural Information Processing Systems. , (2017).
- A unified approach to interpreting model predictions. Lundberg, S. M., Lee, S. I. In Proceedings of the 31st International Conference on Neural Information Processing Systems (NIPS'17), , Curran Associates Inc. Red Hook, NY. 4768-4777 (2017).
Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.
Перепечатки и разрешения
