Автоматизированный метод косоглазия для синхронизации поведения и динамики мозга в исследованиях боли у мышей

Summary

Этот протокол обеспечивает метод автоматического отслеживания косоглазия у грызунов с течением времени способом, совместимым с привязкой времени к нейрофизиологическим измерениям. Ожидается, что этот протокол будет полезен исследователям, изучающим механизмы болевых расстройств, таких как мигрень.

Abstract

Спонтанную боль было сложно отследить в режиме реального времени и количественно оценить таким образом, чтобы предотвратить человеческую предвзятость. Это особенно верно для метрик головной боли, как при таких расстройствах, как мигрень. Косоглазие стало непрерывной переменной метрикой, которая может быть измерена с течением времени и эффективна для прогнозирования болевых состояний в таких анализах. В данной статье представлен протокол использования DeepLabCut (DLC) для автоматизации и количественной оценки косоглазия (евклидова расстояния между веками) у мышей со свободно вращающимися движениями головы. Этот протокол позволяет непредвзято количественно оценивать косоглазие и напрямую сравнивать его с механистическими измерениями, такими как нейрофизиология. Мы предоставляем оценку параметров обучения ИИ, необходимых для достижения успеха, которые определяются периодами различения косоглазия и без него. Мы демонстрируем способность надежно отслеживать и дифференцировать косоглазие при CGRP-индуцированном мигрень-подобном фенотипе с разрешением менее секунды.

Introduction

Мигрень является одним из наиболее распространенных заболеваний мозга во всем мире, поражающим более одного миллиарда человек¹. Доклинические мышиные модели мигрени появились как информативный способ изучения механизмов мигрени, поскольку эти исследования легче контролировать, чем исследования на людях, что позволяет изучать причинно-следственную^{связь поведения}, связанного с мигренью. Такие модели продемонстрировали сильный и повторяемый фенотипический ответ на соединения, вызывающие мигрень, такие как пептид, связанный с геном кальцитонина (CGRP). Потребность в надежных измерениях поведения, связанного с мигренью, в моделях грызунов сохраняется, особенно в сочетании с механистическими метриками, такими как визуализация и электрофизиологические подходы.

Мигреноподобные состояния мозга фенотипически характеризуются наличием отвращения к свету, аллодинией по лапам, гипералгезией лица на вредные раздражители и^{гримасой на} лице. Такое поведение измеряется общим временем, проведенным в свете (отвращение к свету) и пороговыми значениями чувствительности к прикосновениям лап или лица (аллодиния лап и гипералгезия лица) и ограничивается одним считыванием в течение больших периодов времени (минуты или дольше). Мигреноподобное поведение может быть вызвано у животных путем дозирования соединений, вызывающих мигрень, таких как CGRP, имитируя симптомы, испытываемые пациентами с мигренью³ (т.е. демонстрируя валидность лица). Такие соединения также вызывают симптомы мигрени при введении у людей, демонстрируя конструктивную валидность^{этих моделей.} Исследования, в которых поведенческие фенотипы были ослаблены фармакологически, привели к открытиям, связанным с лечением мигрени, и обеспечивают дальнейшее обоснование этих моделей (т.е. демонстрируют прогностическую валидность)^5,6.

Например, было показано, что моноклональное антитело против CGRP (ALD405) снижает светоотталкивающее поведение⁵ и гримасу на лице у^мышей, получавших CGRP, а другие исследования продемонстрировали, что препараты-антагонисты CGRP снижают индуцированное закисью азота мигреноподобное поведение у животных ^7,8. Недавние клинические испытания показали успех в лечении мигрени путем блокирования CGRP ^9,10, что привело к получению нескольких одобренных FDA препаратов, нацеленных на CGRP или его рецептор. Доклиническая оценка фенотипов, связанных с мигренью, привела к прорыву в клинических результатах и, следовательно, имеет важное значение для понимания некоторых из более сложных аспектов мигрени, которые трудно напрямую проверить на людях.

Несмотря на многочисленные преимущества, эксперименты с использованием этих поведенческих показаний мигрени у грызунов часто ограничены в их возможностях выборки во временной точке и могут быть субъективными и подверженными экспериментальным ошибкам на людях. Многие поведенческие анализы ограничены в способности фиксировать активность с более тонким временным разрешением, что часто затрудняет захват более динамичных элементов, которые происходят в масштабе менее секунды, например, на уровне активности мозга. Оказалось трудно количественно оценить более спонтанные, естественные элементы поведения с течением времени при значимом временном разрешении для изучения нейрофизиологических механизмов. Создание способа идентификации мигреноподобной активности в более быстрых временных масштабах позволило бы внешне проверять мигреноподобные состояния мозга. Это, в свою очередь, может быть синхронизировано с активностью мозга для создания более надежных профилей активности мозга при мигрени.

Один из таких фенотипов, связанных с мигренью, гримаса на лице, используется в различных контекстах в качестве измерения боли у животных, которое можно измерить мгновенно и отследить^{с течением} времени. Гримаса на лице часто используется в качестве индикатора спонтанной боли, основанной на идее о том, что люди (особенно невербальные люди) и другие виды млекопитающих демонстрируют естественные изменения в выражении лица при испытании^боли. В исследованиях, измеряющих гримасу лица как признак боли у мышей в последнее десятилетие, использовались такие шкалы, как шкала гримасы мыши (MGS) для стандартизации характеристики боли у грызунов^. Переменные мимики MGS включают сжатие орбиты (косоглазие), выпуклость носа, выпячивание щек, положение ушей и изменение усов. Несмотря на^{то, что} было показано, что MGS надежно характеризует боль у животных, он, как известно, субъективен и основан на точной оценке, которая может варьироваться у разных экспериментаторов. Кроме того, MGS ограничен тем, что он использует ненепрерывную шкалу и не имеет временного разрешения, необходимого для отслеживания естественного поведения во времени.

Одним из способов борьбы с этим является объективная количественная оценка устойчивой черты лица. Косоглазие является наиболее последовательно отслеживаемой чертой лица⁶. Косоглазие отвечает за большую часть общей вариабельности данных при учете всех переменных MGS (косоглазие, выпуклость носа, выпуклость щек, положение ушей и изменение усов)⁶. Поскольку косоглазие вносит наибольший вклад в общую оценку, полученную с помощью MGS, и надежно отслеживает реакцию на CGRP ^6,14, это наиболее надежный способ отслеживания спонтанной боли у мышей с мигренью. Это делает косоглазие поддающимся количественной оценке негомеостатическим поведением, индуцированным CGRP. Несколько лабораторий использовали черты мимики, в том числе косоглазие, для представления потенциальной спонтанной боли, связанной с мигренью ^6,15.

Остается несколько проблем, связанных с проведением автоматизированных косоглазий таким образом, чтобы это можно было сочетать с механистическими исследованиями мигрени. Например, было трудно надежно отслеживать косоглазие, не полагаясь на фиксированное положение, которое должно быть откалибровано одинаково на протяжении сеанса. Еще одной проблемой является возможность проведения этого типа анализа в непрерывном масштабе, а не в дискретных масштабах, как в MGS. Чтобы смягчить эти проблемы, мы стремились интегрировать машинное обучение в форме DeepLabCut (DLC) в наш конвейер анализа данных. DLC представляет собой модель машинного обучения для оценки позы, разработанную Матисом и его коллегами и применяемую к широкому спектру моделей^{поведения.} Используя их программное обеспечение для оценки позы, мы смогли обучить модели, которые могли точно предсказывать точки на глазу мыши с точностью, близкой к человеческой. Это решает проблемы повторяющегося ручного подсчета очков, а также значительно увеличивает временное разрешение. Кроме того, создав эти модели, мы создали воспроизводимые средства для оценки косоглазия и мигреноподобной активности мозга в больших экспериментальных группах. В этой статье мы представляем разработку и валидацию этого метода отслеживания поведения косоглазия таким образом, чтобы его можно было привязать по времени к другим механистическим измерениям, таким как нейрофизиология. Всеобъемлющая цель состоит в том, чтобы стимулировать механистические исследования, требующие фиксированного по времени косоглазия в моделях грызунов.

Protocol

ПРИМЕЧАНИЕ: Все животные, используемые в этих экспериментах, обрабатывались в соответствии с протоколами, утвержденными Комитетом по уходу за животными и их использованию (IACUC) Университета Айовы.

1. Подготовьте оборудование для сбора данных

1. Обеспечьте наличие всего необходимого оборудования: убедитесь, что рекомендуемое оборудование для запуска DLC имеет не менее 8 ГБ памяти. Информацию об аппаратном и программном обеспечении см. в Таблице материалов .
   ПРИМЕЧАНИЕ: Данные могут быть собраны в любом формате, но перед анализом должны быть преобразованы в формат, читаемый DLC. Наиболее распространенными форматами являются AVI и MP4.
2. Настройте хотя бы одну камеру так, чтобы можно было обнаружить один глаз животного. Если видны оба глаза, проведите дополнительную фильтрацию, так как это может вызвать помехи в отслеживании. Пример такой фильтрации данных приведен в разделе 10.
3. Установите DLC с помощью пакета, найденного в Deeplabcut.github.io/DeepLabCut/docs/installation.
4. При настройке камеры включите одну камеру под боковым углом (~90°) к мыши. Чтобы следовать этому примеру, сделайте выборку с частотой 10 Гц, где мыши ограничены, но свободны в доступе к полному диапазону движений головы относительно тела. Держитесь на расстоянии от 2 до 4 дюймов от камеры до животного.

2. Настройка DLC

1. После установки DLC создайте среду для работы. Для этого перейдите в папку, в которую было загружено программное обеспечение DLC, с помощью команды change directory.
   CD folder_name
   ПРИМЕЧАНИЕ: Именно здесь будет находиться файл DEEPLABCUT.yaml.
2. Выполните первую команду, чтобы создать среду, и включите ее, введя вторую команду.
   conda env create -f DEEPLABCUT.yaml
   conda активировать Deeplabcut
   ПРИМЕЧАНИЕ: Убедитесь, что окружающая среда активирована перед каждым использованием DLC.
   После активации среды откройте графический интерфейс пользователя (GUI) с помощью следующей команды и начните создание модели.
   python -m deeplabcut

3. Создание модели

1. После того, как графический интерфейс будет открыт, начните создание модели, нажав на кнопку «Создать новый проект » внизу.
2. Назовите проект чем-то значимым и уникальным, чтобы позже идентифицировать его и ввести имя в качестве экспериментатора. Проверьте раздел Местоположение , чтобы узнать, куда будет сохранен проект.
3. Выберите Обзор папок и найдите видео для обучения модели. Выберите Копировать видео в папку проекта , если видео не будут перемещены из исходного каталога.
4. Нажмите кнопку Создать , чтобы создать новый проект на компьютере.
   ПРИМЕЧАНИЕ: Видео должно охватывать весь спектр поведения, которое вы будете наблюдать (т. е. косоглазие, не косоглазие и все промежуточные действия). Модель сможет распознавать только поведение, аналогичное тому, которое присутствует в обучающих данных, и если некоторые компоненты поведения отсутствуют, у модели могут возникнуть проблемы с его распознаванием.

4. Настройте параметры

ПРИМЕЧАНИЕ: Здесь можно определить такие детали, как то, какие точки отслеживать, сколько кадров извлекать из каждого обучающего видео, размер точек маркировки по умолчанию и переменные, относящиеся к тому, как модель будет обучаться.

1. После создания модели измените параметры конфигурации, выбрав Edit config.yaml. Нажмите кнопку «Изменить», чтобы открыть файл настроек конфигурации и указать ключевые параметры, относящиеся к модели.
2. Измените части тела , включив в них все части глаза для отслеживания, а затем измените numframes2pick на количество кадров, необходимое для каждого обучающего видео, чтобы получить всего 400 кадров. Наконец, измените размер точки на шесть , чтобы размер по умолчанию при маркировке был достаточно маленьким, чтобы его можно было точно разместить по краям глаза.

5. Извлечение тренировочных кадров

1. После настройки перейдите на вкладку «Извлечь кадры » в верхней части графического интерфейса и выберите «Извлечь кадры » в правом нижнем углу страницы.
2. Отслеживайте прогресс с помощью панели загрузки в нижней части графического интерфейса.

6. Маркировка тренировочных рамок

1. Перейдите на вкладку «Рамки меток » в графическом интерфейсе пользователя и выберите «Рамки меток». Найдите новое окно, в котором отображаются папки для каждого из выбранных обучающих видео. Выберите первую папку, и откроется новый графический интерфейс маркировки.
2. Пометьте точки, определенные во время настройки, для каждого кадра выбранного видео. После того, как все кадры будут помечены, сохраните их и повторите процесс для следующего видео.
3. Для адекватной маркировки косоглазия используйте две точки как можно ближе к самому большому пику глаза (центру) и обозначьте положения вверх/вниз для каждой точки. Приблизительное прищур можно определить как среднее из этих двух значений длины.
   ПРИМЕЧАНИЕ: При маркировке DLC не сохраняет прогресс автоматически. Во избежание потери помеченных данных рекомендуется периодически сохранять данные.

7. Создание обучающего набора данных

1. После ручной маркировки перейдите на вкладку Обучение сети и выберите Обучить сеть , чтобы предложить программному обеспечению начать обучение модели.
2. Отслеживайте ход выполнения в командном окне.

8. Оцените сеть

1. После завершения обучения сети перейдите на вкладку Оценка сети и выберите Оценить сеть. Подождите несколько секунд, пока синий загрузочный круг не исчезнет, указывая на то, что самооценка завершена и модель готова к использованию.

9. Анализируйте данные/создавайте видео с маркировкой

1. Чтобы проанализировать видео, перейдите на вкладку Анализ видео . Выберите Добавить больше видео и выберите видео для анализа.
2. Выберите Сохранить результаты как CSV, если достаточно вывода данных в формате CSV.
3. Когда все видео будут собраны, выберите «Анализировать видео » внизу, чтобы начать их анализ.
   ПРИМЕЧАНИЕ: Этот шаг должен быть выполнен перед созданием видео с метками на шаге 9.5
4. После того, как видео будут проанализированы, перейдите на вкладку « Создать видео » и выберите проанализированные видео.
5. Выберите Создать видео, и программное обеспечение начнет создавать видео с метками, представляющие данные, отображаемые в соответствующем .csv.

10. Обработка итоговых данных

1. Примените макросы, найденные в https://research-git.uiowa.edu/rainbo-hultman/facial-grimace-dlc, чтобы преобразовать необработанные данные в формат, используемый для этого анализа (т. е. евклидово расстояние).
2. Импортируйте и примените макросы с метками Step1 и Step 2 к CSV, чтобы отфильтровать все неоптимальные точки данных и преобразовать данные в усредненное евклидово расстояние для самых центральных точек в верхней и нижней части глаза.
3. Запустите макрос с именем Step3, чтобы отметить каждую точку как 0 без косоглазия и 1 косоглазие на основе порогового значения в скрипте, которое установлено на уровне 75 пикселей.
   ПРИМЕЧАНИЕ: Параметры для этих макросов могут потребовать корректировки в зависимости от экспериментальной настройки (см. обсуждение). Порог для косоглазия и автоматический фильтр для максимального значения глаза — это параметры, которые могут быть изменены в зависимости от размера животного и расстояния до камеры. Вы также можете настроить значения, используемые для удаления неоптимальных точек, в зависимости от того, насколько избирательно должны быть отфильтрованы данные.

Results

В этой статье мы предлагаем метод надежного обнаружения косоглазия с высоким временным разрешением с помощью DeepLabCut. Мы оптимизировали параметры обучения и дали оценку сильных и слабых сторон этого метода (рис. 1).

После обучения наших моделей мы убедились, что они способны правильно оценить верхнюю и нижнюю точки века (рис. 2), которые служат координатными точками для евклидовой меры расстояния. Евклидово расстояние определяется как средняя длина расстояний между двумя верхними и нижними точками глаза. Наша модель смогла обнаружить случаи отсутствия косоглазия (рисунок 2A) и косоглазия (рисунок 2B). Синими точками обозначены точки, используемые для определения евклидова расстояния для каждого кадра. Зеленая, желтая, оранжевая и фиолетовая точки были использованы, чтобы помочь модели правильно оценить евклидово расстояние и уменьшить значение вероятности, когда голова находится в неоптимальном положении (т.е. с учетом движения головы и изменений положения между сеансами). Затем мы проверили точность модели с помощью ряда различных методов.

Чтобы проверить идеальное количество кадров, используемых для модели, мы обучили и протестировали четыре модели с различным размером выборки кадров (рис. 3). Сначала мы сравнили значения среднеквадратичной ошибки (RMSE) между тестовыми и обучающими данными, чтобы проверить, насколько хорошо модели могут точно прогнозировать тестовые данные, на которых они не были обучены. Это сравнение показало, что вариативность между точками, помеченными вручную, и точками, помеченными моделью, выровнялась после 300 кадров. Эта тенденция коррелировала со средними значениями вероятности, которые также выровнялись после 300 помеченных кадров. Мы использовали эти значения вероятности для фильтрации точек, которые были меньше 0,92. Эти значения вероятности показывают, насколько модель уверена в том, что данная точка была правильно помечена на основе обучающих данных. Мы усреднили эти значения для точек, которые вносят вклад в метрику евклидова расстояния, чтобы проверить, насколько хорошо модели работают относительно друг друга. Несмотря на то, что существенной разницы между 300 и 400 кадрами не было, мы использовали 400 кадров, потому что их среднее значение превышало значение правдоподобия 0,95, которое приближается к нашему пороговому значению для ручной фильтрации и соответствует пороговому значению, используемому в аналогичных моделях для оценки позы¹⁶.

Еще одним способом проверки точности модели была матрица несоответствий, сравнивающая вручную аннотированные кадры с кадрами, помеченными DLC. Двое слепых вручную аннотировали 300 кадров одного и того же глаза в восьми видеороликах. Мы использовали эти данные для построения матрицы неточностей для оценки истинных и ложных положительных и отрицательных результатов (рис. 4), где данные, полученные вручную, использовались в качестве исходной истины. Для DLC положительное значение косоглазия регистрировалось, когда евклидово расстояние было записано как менее 75 пикселей (т.е. животное косоглазо), и отрицательное значение регистрировалось при значениях больше 75 пикселей (т.е. животное не щурится). Мы обнаружили положительное прогностическое значение, равное 96,96%, что представляет собой процент времени, в течение которого модель точно предсказывает косоглазие относительно косоглазия, аннотированного вручную. Мы обнаружили отрицательную прогностическую ценность в 99,66%, которая представляет собой процент времени, в течение которого модель точно предсказывает отсутствие косоглазия по сравнению с аннотированным вручную косоглазием. Они показывают соотношение отрицательных и положительных значений, которые были правильно помечены. Мы также обнаружили истинно положительный уровень 98,1% и истинно отрицательный уровень 99,46%, которые представляют собой точное предсказание модели положительных и отрицательных значений относительно всех положительных и отрицательных значений соответственно. Наш коэффициент корреляции Мэтьюса, или MCC, составил 93,8%, что указывает на коэффициент корреляции между наблюдаемыми и прогнозируемыми значениями.

Убедившись, что наша модель надежно отслеживает косоглазие, мы сравнили этот метод DLC с ранее опубликованным методом отслеживания косоглазия с использованием доклинического набора данных о мигрени14. Мы будем называть этот другой метод «моделью площадного косоглазия (ASM)», потому что он был разработан с использованием области открытого глаза в качестве непрерывной переменной измерения косоглазия¹⁴. Модель косоглазия использует обученное программное обеспечение для распознавания лиц в сочетании с пользовательским скриптом MATLAB для анализа средней площади глаза в пикселях, исключая кадры с коэффициентом ошибок отслеживания >15%¹⁴. Одним из основных ограничений является то, что «ASM» не является открытым исходным кодом и, следовательно, не широко доступен. DLC обеспечивает повышенную оптимизацию и адаптивность, не требуя значительной покупки программного и аппаратного обеспечения.

Мы использовали набор данных из 10 самок и 10 самцов мышей CD1. Экспериментально все животные были акклиматизированы в щадящих фиксаторах в течение 30 минут в общей сложности за 3 дня до начала записи. Каждое животное записывалось в течение 5 минут исходного уровня, а затем 5 минут для записи лечения. Во время сеансов лечения животных вводили либо PBS (носитель), либо 0,1 мг/кг CGRP (лечение) внутрибрюшинно, чтобы вызвать мигреньподобное состояние. Данные собирались в хорошо освещенном помещении с помощью камер, оснащенных инфракрасным светом для освещения лица, обеспечивая точное обнаружение ориентиров. Инфракрасная камера включала в себя объектив Kowa LM35JC 2/3" 35 mm F1.6 с ручной диафрагмой C-mount и фокусным расстоянием 254 мм и соответствующим образом отрегулированной диафрагмой. После того, как мы собрали данные, мы использовали ASM и DLC для их анализа. Поскольку ручная оценка традиционно используется в полевых условиях для количественной оценки гримасы лица, а косоглазие является одним из компонентов гримасы лица¹⁴, мы также сравнили наши данные с данными, полученными вручную.

Основываясь на предыдущих выводах о том, что периферическая инъекция CGRP вызывает косоглазие у мышей, мы ожидали наблюдать значительные различия в реакции косоглазия между носителем и лечением CGRP ^6,14. Мы сравнили методы ASM, ручные методы и методы DLC и обнаружили, что наша модель надежно обнаруживает фенотип косоглазия, как и ручные методы и методы ASM (рис. 5). Важно отметить, что модель ASM использовалась для оценки боли и косоглазия, вызванных CGRP. В этом исследовании Rea et al. сравнили реакцию косоглазия после CGRP с реакцией на косоглазие после инъекции формалина в заднюю лапу в качестве «более традиционного» метода индукции боли¹⁴. Кроме того, хорошо известно, что CGRP вызывает гиперчувствительность к прикосновениям у мышей при использовании метода фон Фрея ^3,17. В соответствии с полевыми условиями, мы нормализовали среднее косоглазие во время сеанса лечения до 5 минут до начала обработки для каждого животного и сравнили PBS (n = 10) с животными, получавшими CGRP (n = 11). Статистический анализ групп PBS в сравнении с группами, получавшими CGRP, выглядит следующим образом. Мы обнаружили, что животные, получавшие CGRP, демонстрировали уменьшение средней площади пикселя при использовании метода отслеживания с использованием площадного косоглазия (p = 0,012, рисунок 5A) и уменьшение евклидова расстояния при ручной оценке (p = 0,0007, рисунок 5B) и использовании нашей модели DLC (p = 0,007, рисунок 5C). Когда мы сравнивали каждый метод с течением времени на одном репрезентативном животном, наблюдалась та же закономерность (рис. 5). У этого животного наблюдался очень четкий фенотип косоглазия в ответ на лечение CGRP, но не на PBS. Все модели смогли обнаружить эти различия, но наиболее четко данные были представлены в нашей модели DLC (рис. 5). Точные и достоверные метрики особенно важны, когда данные должны анализироваться с более высоким разрешением, где усреднение не указывает на полное поведенческое считывание (например, активность мозга). Метод DLC для обнаружения косоглазия у мышей позволяет нам собирать данные в миллисекундном масштабе времени и привязывать их к измерениям активности мозга (например, потенциалов локального поля), которая происходит в миллисекундном масштабе времени. Затем мы можем использовать эту технику для построения более надежного профиля состояния мозга, свидетельствующего о спонтанной боли в контексте мигрени и других сложных расстройств мозга.

Рисунок 1: Обзор процедуры генерации обученной сети с помощью DLC. Общая схема процесса, с помощью которого отслеживаются особенности глаз животного, а затем анализируются с помощью машинного обучения. Аббревиатура: DLC = DeepLabCut. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 2: Пример автоматического отслеживания косоглазия у репрезентативной мыши CD1. (A) Пример кадра, показывающего косоглазие DLC (цветные точки) на контуре глаза в день лечения, когда мышь не щурит. (B) Пример кадра, показывающего автоматическое обнаружение косоглазия в день лечения с использованием нашей модели DLC. Евклидово расстояние измерялось с использованием среднего расстояния между B и C, синими точками, в верхней и нижней части глаза. Синие наборы точек в верхней и нижней части глаза используются при отслеживании евклидова расстояния. Другие точки (зеленая, желтая, оранжевая, фиолетовая) являются обрамляющими ориентирами, используемыми как для оценки моделью точек евклидова расстояния, так и для фильтрации неоптимального положения головы после сбора данных. Аббревиатура: DLC = DeepLabCut. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 3: Обоснование количества кадров, используемых для обучения модели. (A) Анализ среднеквадратичной ошибки показывает среднее расстояние между прогнозируемыми и наблюдаемыми значениями для тестовых и обучающих наборов данных. Набор обучающих данных представляет кадры, отобранные при обучении модели, а набор тестовых данных представляет необучающие кадры, используемые для проверки того, насколько хорошо модель может идентифицировать похожие, но разные изображения. Мы использовали пять наборов обучающих и тестовых данных и обнаружили, что значения RMSE выровнялись примерно на 300 кадров для тестовой группы. (B) Вероятность того, что данная точка правильно обозначена (среднее + SEM). Это показало, что 400 помеченных вручную кадров были идеальными, потому что исходные наборы данных в среднем имели вероятность выше 0,95, при этом показатель RMSE был наиболее близок к индексу обучающих данных. Это означало, что модель могла точно приблизиться к точкам, на которых она была обучена, а также сообщать о большинстве кадров с высокой вероятностью. Сокращение: RMSE = среднеквадратичная ошибка. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 4: Матрица нерезкости для измерений косоглазия DLC. Мы сэмплировали 300 секунд из восьми видео (пять CGRP и три PBS) и сравнили эти точки с вручную помеченной двоичной оценкой «да» или «нет» для косоглазия. Мы количественно оценили прогнозируемые значения как те, которые были идентифицированы DLC, а фактические значения — как те, которые были оценены вручную человеком. Затем мы сравнили их с данными, полученными вручную, чтобы увидеть, как часто косоглазие было правильно идентифицировано по сравнению с двоичным значением «да» или «нет» косоглазия, оцененным вручную. Сокращения: DLC = DeepLabCut; CGRP = пептид, связанный с геном кальцитонина; PBS = фосфатно-солевой буфер; TP = истинные положительные результаты; FP = ложные срабатывания; FN = ложноотрицательные результаты; TN = истинные отрицательные значения; PPV = положительная прогностическая ценность; NPV = отрицательная прогностическая ценность; TPR = истинно положительный процент; TNR = истинно отрицательный показатель; MCC = коэффициент корреляции Мэтью. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этой цифры.

Рисунок 5: Фенотип косоглазия в трех различных моделях для обнаружения косоглазия. Верхние две строки содержат одно и то же репрезентативное животное с каждым условием (PBS или CGRP) в трех разных моделях обнаружения косоглазия. Нижняя строка отражает средние значения по всем животным. (A) Наблюдалось уменьшение средней площади пикселя (средняя общая площадь пикселя/исходный уровень) у мышей, получавших CGRP, по сравнению с мышами, получавшими PBS (t(18) = 2,805, p = 0,012) после обработки всех данных с использованием ранее опубликованной и валидированной модели косоглазия¹⁴. (B) Аналогичная реакция наблюдалась в данных, полученных вручную (t(18) = 4,064, p = 0,0007). (C) У мышей, получавших CGRP, наблюдалось снижение среднего расстояния от века до века (евклидово расстояние/евклидово расстояние до обработки, исходный уровень) по сравнению с мышами, получавшими PBS (t(18) = 3,040, p = 0,007 при использовании DLC для обработки всех данных. N = 20 (10 самок, 10 самцов). Полосы погрешностей указывают среднее значение ± SEM. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Discussion

Этот протокол предоставляет легкодоступный углубленный метод использования инструментов на основе машинного обучения, которые могут дифференцировать косоглазие с точностью, близкой к человеческой, сохраняя при этом то же (или лучшее) временное разрешение, что и в предыдущих подходах. В первую очередь, это делает оценку автоматического косоглазия более доступной для более широкой аудитории. Наш новый метод оценки автоматического косоглазия имеет ряд улучшений по сравнению с предыдущими моделями. Во-первых, он обеспечивает более надежную метрику, чем ASM, за счет использования меньшего количества точек, которые на самом деле вносят вклад в количественную оценку косоглазия. Это снижает вероятность ложноположительных и отрицательных результатов, заставляя анализ полагаться на меньшее количество точек при создании значений, обозначающих косоглазие. Другими словами, модель DLC делает каждую точку вокруг глаза необходимой, но недостаточной для включения точки времени. Это позволяет нам фильтровать неоптимальные данные, используя то же количество точек, что и ASM, не полагаясь на большую вариативность, возникающую из-за зависимости от большого количества составляющих точек. Кроме того, мы сократили вероятность человеческой ошибки, разработав модели, которые не полностью полагаются на точность обученных людей.

При обработке данных мы обнаружили, что наш метод точно фильтрует субоптимальные точки и точки выбросов, которые были больше, чем было возможно, учитывая максимальный размер глаза мыши (раздел 10 протокола). Мы использовали макросы, которые проверяли, имеет ли каждая из 10 точек, окружающих глаз, значение правдоподобия больше 0,92, и фильтровали любые точки ниже этого значения. В дальнейшем это можно будет скорректировать, чтобы сделать обрабатываемые данные более или менее избирательными. Макросы также отфильтровали любые значения евклидова расстояния, превышающие 200 пикселей, поскольку мы обнаружили, что максимально возможное расстояние между верхней и нижней частями глаза составляет 150 пикселей. Это может потребоваться изменить в зависимости от экспериментальной установки. Если фотоаппарат находится на разном расстоянии от глаза, то максимальное значение может быть значительно больше или меньше. Сила этих макросов заключается в том, что они позволили нам извлечь измерения между верхней и нижней частями глаза таким образом, что это зависело от того, сообщала ли модель о более высокой вероятности для всех составляющих точек, окружающих глаз.

DLC и ASM ограничены тем, что они полагаются на то, что мышь находится в фиксированном положении на заданном расстоянии от камеры, чтобы обеспечить постоянное масштабирование увеличения между базовым уровнем и условиями лечения. Таким образом, движение самого животного, неправильное расположение в устройстве или изменение экспериментальной процедуры могут поставить под угрозу способность модели обнаруживать общую площадь глаза. Наша модель несколько улучшает эти ограничения, используя евклидово расстояние, то есть расстояние вверх и вниз длины глаза, что позволяет улучшить отслеживание, несмотря на различия в углах наклона камеры, движении животного и экспериментальных вариациях в разных сеансах без необходимости дополнительной повторной калибровки. Тем не менее, мы признаем, что улучшение нормализации для учета движений головы может привести к еще лучшему отслеживанию косоглазия у движущихся животных.

Еще одно ограничение нашего метода заключается в том, что он отфильтровывает точки, где евклидово расстояние приближается к нулю, обозначая закрытие глаза. Несмотря на фильтрацию этих значимых факторов косоглазия, мы все же смогли обнаружить реакцию косоглазия, вызванную CGRP, более надежно, чем предыдущие методы (p = 0,007). Удаление этого компонента косоглазия становится особенно ограничивающим при попытке сравнения с дополнительными точками интереса, такими как активность мозга. Мы считаем, что обнаружение значимости при удалении этих точек показывает надежность этого метода, но мы признаем, что удаление этих компонентов косоглазия не является идеальным. Будущие исследования, использующие этот метод, должны включать большее количество кадров выбросов, чтобы лучше обучать модели распознаванию косоглазия, когда оно приближается к нулю. В целом, разработка метода надежного отслеживания автоматического косоглазия может позволить провести исследования, направленные на установление связи важных особенностей естественного поведения с состоянием мозга, что позволит проводить тщательное исследование профилей активности мозга, например, в контексте мигрени.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
CUDA toolkit 11.8
cuDNN SDK 8.6.0
Компьютеры Intel с Windows 11, 13-го поколения;
Дополнительный модуль LabFaceX 2D Eyelid Tracker для бесплатной блуждающей мыши:	FaceX LLC	Na	Любая камера, которая может записывать глаз животного, достаточна, но это наше оборудование для отслеживания глаз.
Драйвер графического процессора NVIDIA версии 450.80.02 или выше
NVIDIA RTX A5500, 24 ГБ DDR6	NVIDIA	[490-BHXV]	Любой графический процессор, который соответствует минимальным требованиям, указанным для вашей версии DLC, в настоящее время 8 ГБ, достаточен. Мы использовали NVIDIA GeForce RTX 3080 Ti GPU
Python 3.9-3.11
TensorFlow версии 2.10