Summary
Этот протокол описывает, как построить небольшую и универсальную видеокамеру, и как использовать видео, полученные от него, чтобы обучить нейронную сеть для отслеживания положения животного внутри оперных камер кондиционирования. Это ценное дополнение к стандартному анализу журналов данных, полученных в результате оперативных испытаний кондиционирования.
Abstract
Оперативные камеры кондиционирования используются для выполнения широкого спектра поведенческих тестов в области неврологии. Записанные данные, как правило, основаны на срабатывании рычага и датчиков нос-тыкать, присутствующих внутри камер. Хотя это дает подробное представление о том, когда и как животные выполняют определенные ответы, он не может быть использован для оценки поведения, которые не вызывают никаких датчиков. Таким образом, оценка того, как животные позиционируют себя и перемещаются внутри камеры, редко возможна. Чтобы получить эту информацию, исследователи, как правило, должны записывать и анализировать видео. Производители оперных кондиционирования камер, как правило, могут поставлять своим клиентам высококачественные установки камеры. Тем не менее, они могут быть очень дорогостоящими и не обязательно подходят камеры от других производителей или других поведенческих установок теста. Текущий протокол описывает, как построить недорогую и универсальную видеокамеру с использованием компонентов электроники хобби. В нем далее описывается, как использовать пакет программного обеспечения для анализа изображений DeepLabCut для отслеживания состояния сильного светового сигнала, а также положения крысы, в видео, собранных из оперной камеры кондиционирования. Первый является большим подспорьем при выборе коротких сегментов интереса к видео, которые охватывают все тестовые сессии, а второй позволяет анализировать параметры, которые не могут быть получены из журналов данных, производимых оперных камер.
Introduction
В области поведенческой нейронауки исследователи обычно используют оперные камеры кондиционирования для оценки широкого спектра различных когнитивных и психиатрических особенностей у грызунов. Хотя Есть несколько различных производителей таких систем, они, как правило, разделяют определенные атрибуты и имеют почти стандартизированный дизайн1,2,3. Камеры, как правило, квадратной или прямоугольной формы, с одной стеной, которая может быть открыта для размещения животных внутри, и один или два из оставшихся стен, содержащих компоненты, такие как рычаги, нос-тыкать отверстия, награды лотки, ответ колеса и огни различных видов1,2,3. Свет и датчики, присутствующие в камерах, используются как для контроля протоколатестирования,так и для отслеживания поведения животных1,2,,3,,4,,5. Типичные оперные системы кондиционирования позволяют очень подробный анализ того, как животные взаимодействуют с различными operanda и отверстия, присутствующие в камерах. В целом, любые случаи, когда датчики срабатывают, могут быть записаны системой, и из этих данных пользователи могут получить подробные файлы журнала, описывающие, что животное сделало во время конкретных шагов теста4,5. Хотя это обеспечивает широкое представление о производительности животного, он может быть использован только для описания поведения, которые непосредственно вызвать один или несколько датчиков4,,5. Таким образом, аспекты, связанные с тем, как животное позиционирует себя и движется внутри камеры во время различных фаз теста не очень хорошо описаны6,7,8,9,10. Это прискорбно, так как такая информация может быть полезной для полного понимания поведения животного. Например, он может быть использован для уточнения, почему некоторые животные выполняют плохо на данномтесте 6, чтобы описать стратегии, которые животные могут развиваться для обработки сложных задач6,7,8,9,10, или оценить истинную сложность якобы простое поведение11,12. Чтобы получить такую сформулировать информацию, исследователи обычно обращаются к ручному анализу видео6,,7,8,9,10,11.
При записи видео из оперных камер кондиционирования, выбор камеры имеет решающее значение. Камеры обычно расположены в изоляционных кабинах, с протоколами часто используют шаги, где нет видимого света светит3,,6,7,8,9. Поэтому необходимо использовать инфракрасное (ИК) освещение в сочетании с ИК-чувствительной камерой, так как позволяет видимость даже в полной темноте. Кроме того, пространство, доступное для размещения камеры внутри изоляционной кабины, часто очень ограничено, а это означает, что один выгоды сильно от наличия небольших камер, которые используют линзы с широким полем зрения (например, рыбий глаз линзы)9. В то время как производители систем кондиционирования оперы часто могут поставлять высококачественные установки камеры своим клиентам, эти системы могут быть дорогими и не обязательно подходят камеры от других производителей или установок для других поведенческих тестов. Тем не менее, заметное преимущество по сравнению с использованием автономных видеокамер является то, что эти установки часто могут взаимодействовать непосредственно с оперентных систем кондиционирования13,14. Благодаря этому они могут быть настроены только для записи конкретных событий, а не для проведения полных тестовых сессий, что может в значительной степени помочь в последующем анализе.
Текущий протокол описывает, как построить недорогую и универсальную видеокамеру с использованием компонентов электроники хобби. Камера использует объектив fisheye, чувствительна к ИК-освещению и имеет набор ИК-светоизлучающих диодов (ИК-светодиодов), прикрепленных к нему. Кроме того, он построен, чтобы иметь плоский и тонкий профиль. Вместе эти аспекты делают его идеальным для записи видео из самых коммерчески доступных оперных камер кондиционирования, а также других поведенческих тестовых установок. Протокол далее описывает, как обрабатывать видео, полученные с камерой и как использовать пакет программного обеспечения DeepLabCut15,16, чтобы помочь в извлечении видео последовательностей интереса, а также отслеживания движений животного в нем. Это частично обходит откат от использования автономной камеры над интегрированными решениями, предоставляемыми оперными производителями систем кондиционирования, и предлагает дополнение к ручному скорингу поведения.
Были предприняты усилия для написания протокола в общем формате, чтобы подчеркнуть, что общий процесс может быть адаптирован к видео из различных оперентных тестов кондиционирования. Чтобы проиллюстрировать некоторые ключевые понятия, видео крыс, выполняющих 5-выбор серийный тест времени реакции (5CSRTT)17 используются в качестве примеров.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Все процедуры, включающие обращение с животными, были одобрены комитетом по этике Мальмё-Лунда по исследованиям в области животных.
1. Создание видеокамеры
ПРИМЕЧАНИЕ: Список компонентов, необходимых для создания камеры, приведен в таблице материалов. Также относятся к рисунку 1, Рисунок 2, Рисунок 3, Рисунок 4, Рисунок 5.
- Прикрепите магнитное металлическое кольцо (которое сопровождает пакет объектива fisheye) вокруг открытия стенда камеры(Рисунок 2A). Это позволит объектив fisheye быть помещены перед камерой.
- Прикрепите модуль камеры к подставе камеры(рисунок 2B). Это даст некоторую стабильность в модуль камеры и предложить некоторую защиту для электронных схем.
- Откройте порты камеры на модуле камеры и микрокомпьютере(рисунок 1) мягко потянув по краям своих пластиковых клипов (Рисунок 2C).
- Поместите ленточный кабель в порты камеры, так что серебряные разъемы сталкиваются с печатными платами(Figure2C). Блокировка кабеля на месте, нажав в пластиковые клипы камеры портов.
- Поместите микрокомпьютер в пластиковый корпус и вставьте указанную микроС-карту(рисунок 2D).
ПРИМЕЧАНИЕ: Микро SD-карта будет функционировать как жесткий диск микрокомпьютера и содержит полную операционную систему. Перечисленные микро SD-карты поставляется с менеджером установки предустановленной на нем (Новый из box Software (NOOBS). В качестве альтернативы можно написать изображение последней версии операционной системы микрокомпьютера (Raspbian или Rasberry Pi OS) на универсальную микроС-карту. Для оказания помощи с этим, пожалуйста, обратитесь к официальным веб-ресурсов18. Предпочтительно использовать класс 10 микро SD-карты с 32 Гб места для хранения. Большие SD-карты могут быть не полностью совместимы с указанным микрокомпьютером. - Подключите монитор, клавиатуру и мышь к микрокомпьютеру, а затем подключите его блок питания.
- Следуйте инструкциям, как это было предложено руководством по установке для выполнения полной установки операционной системы микрокомпьютера (Raspbian или Rasberry Pi OS). Когда микрокомпьютер загружается, убедитесь, что он подключен к Интернету либо через кабель Ethernet или Wi-Fi.
- Следуйте инструкциям, изложенным ниже, чтобы обновить предустановленные пакеты программного обеспечения микрокомпьютера.
- Открыть окно терминала(рисунок 3A).
- Введите "sudo apt-get update" (за исключением кавычек) и нажмите клавишу Enter(рисунок 3B). Подождите, пока процесс завершится.
- Введите "sudo apt full-upgrade" (за исключением кавычек) и нажмите введите. Составьте кнопки ответов, когда предложено, и ждать завершения процесса.
- В меню «Пуск» выберите конфигурации Предпочтения и Raspberry Pi (рисунок 3C). В открытом окне перейдите на вкладку Интерфейсы и нажмите кнопку «Включить камеру» и I2C. Это необходимо для работы микрокомпьютера с камерой и ИК-модулями.
- Переименуй дополнительный файл 1 на "Pi_video_camera_Clemensson_2019.py". Копировать его на USB-флешку, а затем в папку микрокомпьютера /home/pi (Рисунок 3D). Этот файл представляет собой скрипт Python, который позволяет записывать видео с помощью кнопочных переключателей, которые прилагаются в шаге 1.13.
- Следуйте инструкциям, изложенным ниже, чтобы отредактировать файл микрокомпьютера rc.local. Это делает компьютер начать сценарий скопирован в шаге 1.10 и начать ИК-светодиоды прилагается в шаге 1.13, когда он загружается.
ВНИМАНИЕ: Эта функция автоматического запуска не надежно работает с микрокомпьютерными досками, кроме перечисленной модели.- Откройте окно терминала, введите "sudo nano /etc/rc.local" (без учета кавычек) и нажмите на вход. Это открывает текстовый файл(Рисунок 4A).
- Используйте клавиши стрелки клавиатуры, чтобы переместить курсор вниз в пространство между "fi" и "выход 0"(рисунок 4A).
- Добавьте следующий текст, показанный на рисунке 4B,написав каждую строку текста на новой строке:
судо i2cset -y 1 0x70 0x00 0xa5 и
sudo i2cset -y 1 0x70 0x09 0x0f и
судо i2cset -y 1 0x70 0x01 0x32 и
судо i2cset -y 1 0x70 0x03 0x32 и
судо i2cset -y 1 0x70 0x06 0x32 и
судо i2cset -y 1 0x70 0x08 0x32 и
sudo питон /дом/pi/Pi_video_camera_Clemensson_2019.py и - Сохранить изменения, нажав Ctrl х х следуют у и введите.
- Солдер вместе необходимые компоненты, как указано на рисунке 5A, и, как описано ниже.
- Для двух цветных светодиодов, приложите резистор и женский кабель перемычки на одну ногу, и женский кабель перемычки к другой (Рисунок 5A). Старайтесь держать кабели как можно короче. Принять к сведению, какие из электродов светодиода является отрицательным (как правило, короткий), так как это должно быть подключено к земле на микрокомпьютере общего назначения ввода / выход (GPIO) булавки.
- Для двух переключателей кнопки, прикрепите женский кабель перемычки к каждой ноге (Рисунок 5A). Сделайте кабели длинными для одного из выключателей, а короткие для других.
- Чтобы собрать ИК светодиодный модуль, следуйте инструкциям, доступным на его официальных веб-ресурсов19.
- Обложка припоях суставов с сокращением трубки, чтобы ограничить риск короткого замыкания компонентов.
- Выключите микрокомпьютер и подключите выключатели и светодиоды к его контактам GPIO, как указано на рисунке 5B,и описано ниже.
ВНИМАНИЕ: Проводка компонентов к неправильным контактам GPIO может повредить их и/или микрокомпьютер при включении камеры.- Подключите один светодиод так, чтобы его отрицательный конец подключается к #14 pin и его положительный конец подключается к контактным #12. Этот светодиод будет светить, когда микрокомпьютер загружается и камера готова к использованию.
- Подключите переключатель кнопки с длинными кабелями, чтобы один кабель подключается к #9, а другой, чтобы закрепить #11. Эта кнопка используется для запуска и остановки видеозаписей.
ПРИМЕЧАНИЕ: Скрипт, который управляет камерой, был написан так, что эта кнопка не реагирует в течение нескольких секунд сразу после начала или остановки видеозаписи. - Подключите один светодиод так, чтобы его отрицательный конец подключается к контакту #20 и его положительный конец подключается к pin #13. Этот светодиод будет светить, когда камера записывает видео.
- Подключите переключатель кнопки с короткими кабелями, чтобы один кабель подключается к #37, а другой, чтобы закрепить #39. Этот переключатель используется для выключения камеры.
- Подключите ИК светодиодный модуль, как описано в его официальных веб-ресурсов19.
2. Разработка оперного протокола кондиционирования интересов
ПРИМЕЧАНИЕ: Для использования DeepLabCut для отслеживания прогрессирования протокола в видео, записанных из оперных камер, поведенческие протоколы должны быть структурированы определенным образом, как описано ниже.
- Установите протокол для использования света дома камеры, или другого сильного сигнала света, в качестве индикатора конкретного шага в протоколе (например, начало индивидуальных испытаний, или тестовой сессии)(Рисунок 6A). Этот сигнал будет называться "индикатором шага протокола" в оставшейся части этого протокола. Наличие этого сигнала позволит отслеживать прогрессию протокола в записанных видео.
- Установите протокол для записи всех ответов, представляющих интерес, с отдельными метки времени по отношению к тому, когда индикатор шага протокола становится активным.
3. Запись видео животных, выполняющих поведенческий тест интереса
- Поместите камеру на верхней части оперных камер, так что он записывает вид сверху области внутри (Рисунок 7).
ПРИМЕЧАНИЕ: Это особенно подходит для захвата общего положения животных и осанки внутри камеры. Избегайте размещения индикатора камеры и ИК-модуль светодиода рядом с объективом камеры. - Запустите камеру, подключив ее к электрической розетке через кабель питания.
ПРИМЕЧАНИЕ: До первого использования, полезно установить фокус камеры, используя небольшой инструмент, который сопровождает модуль камеры. - Используйте кнопку, подключенную в шаге 1.13.2, чтобы начать и остановить видеозаписи.
- Выключите камеру, следуя этим шагам.
- Нажмите и удерживайте кнопку, подключенную в шаге 1.13.4, пока светодиод, подключенный в шаге 1.13.1, не выключится. Это инициирует процесс выключения камеры.
- Подождите, пока зеленый светодиод, видимый поверх микрокомпьютера(рисунок 1)перестал мигать.
- Удалите блок питания камеры.
ВНИМАНИЕ: Отключение питания во время работы микрокомпьютера может привести к повреждению данных на микро-SD-карте.
- Подключите камеру к монитору, клавиатуре, устройству хранения мыши и USB и извлеките видеофайлы со своего рабочего стола.
ПРИМЕЧАНИЕ: Файлы называются в зависимости от даты и времени начала видеозаписи. Тем не менее, микрокомпьютер не имеет внутренних часов и только обновляет свое время настройки при подключении к Интернету. - Преобразуйте записанные видео с .h264 на . MP4, как последний хорошо работает с DeepLabCut и большинство медиа-плееров.
ПРИМЕЧАНИЕ: Есть несколько способов для достижения этой цели. Один из них описан в дополнительном файле 2.
4. Анализ видео с Помощью DeepLabCut
ПРИМЕЧАНИЕ: DeepLabCut это пакет программного обеспечения, которое позволяет пользователям определить любой объект, представляющий интерес в наборе видеорамок, а затем использовать их для обучения нейронной сети в отслеживании позиций объектов в полнометражных видео15,16. В этом разделе приводится примерное описание того, как использовать DeepLabCut для отслеживания состояния индикатора шага протокола и положения головы крысы. Установка и использование DeepLabCut хорошо описаны в других опубликованных протоколах15,16. Каждый шаг может быть сделан с помощью конкретных команд Python или графического пользовательского интерфейса DeepLabCut, как описано в других местах15,,16.
- Создайте и настройте новый проект DeepLabCut, следуя шагам, изложенным в16.
- Используйте функцию захвата кадров DeepLabCut для извлечения видеокадров 700'u2012900 из одного или нескольких видео, записанных в разделе 3.
ПРИМЕЧАНИЕ: Если животные значительно отличаются в пигментации меха или других визуальных характеристик, желательно, чтобы 700'u2012900 извлеченных видеорамки разделены на видео различных животных. Благодаря этому, одна обученная сеть может быть использована для отслеживания различных людей.- Убедитесь в том, чтобы включить видеорамки, которые отображают как активные(рисунок 8A) и неактивные(Рисунок 8B) состояние индикатора шаг протокола.
- Убедитесь в том, чтобы включить видео кадры, которые охватывают диапазон различных позиций, позы и движения головы, что крыса может показать во время теста. Это должно включать в себя видео кадры, где крыса стоит на месте в различных областях камеры, с головой, указывая в разных направлениях, а также видео кадры, где крыса активно движется, ввод нос тыкать отверстия и ввода гранулы корыта.
- Используйте инструменты для маркировки DeepLabCut, чтобы вручную обозначить положение головы крысы в каждом видеорамке, извлеченном в шаге 4.2. Используйте курсор мыши, чтобы поместить ярлык "голова" в центральном положении между ушами крысы(рисунок 8A,B). Кроме того, отметьте положение света дома камеры (или другого индикатора шага протокола) в каждом video frame где оно активно светит(рисунок 8A). Оставьте дом свет без маркировки в кадрах, где он неактивен(рисунок 8B).
- Используйте функции DeepLabCut "создать набор обучающих данных" и "поезд сети" для создания набора обучающих данных из видеокадров, помеченных в шаге 4.3, и начать обучение нейронной сети. Обязательно выберите "resnet_101" для выбранного типа сети.
- Прекратите обучение сети, когда потери обучения опустились ниже 0,01. Это может занять до 500 000 обучающих итераций.
ПРИМЕЧАНИЕ: При использовании машины GPU с примерно 8 ГБ памяти и учебный набор около 900 видеорамок (разрешение: 1640 х 1232 пикселей), учебный процесс был найден, чтобы занять около 72 ч. - Используйте функцию анализа видео DeepLabCut для анализа видео, собранных в шаге 3, с помощью нейронной сети, обученной шагу 4.4. Это обеспечит файл .csv с указанием гусеничных позиций головы крысы и индикатора шага протокола в каждом видеораме проанализированных видео. Кроме того, он будет создавать размечаемые видеофайлы, где отслеживаемые позиции отображаются визуально(видео 1-8).
- Оцените точность отслеживания, следуя следующим шагам, изложенным ниже.
- Используйте встроенную функцию оценки DeepLabCut для получения автоматизированной оценки точности отслеживания сети. Это основано на видеорамках, которые были помечены в шаге 4.3 и описывает, как далеко в среднем позиция отслеживается сетью от ручного размещения этикетки.
- Выберите одну или несколько кратких видеосечерок (по 100-ю2012200 видеокадров каждый) в размеченных видео, полученных в шаге 4.6. Пройдите видеоряды, кадры за кадром и обратите внимание на то, сколько кадров этикетки правильно указывают положение головы крысы, хвоста и т.д., а также в том, в скольких кадрах этикетки размещаются в ошибочных положениях или не показаны.
- Если метка части или объекта тела часто теряется или помещается в ошибочное положение, определите ситуации, когда отслеживание завершается неудачей. Извлеките и добавьте помеченные кадры этих случаев, повторяя шаги 4.2. и 4,3. Затем переобучивайте сеть и повторно анализую видео повторяя шаги 4.4-4.7. В конечном счете, точность отслеживания точности в размере 90% должна быть достигнута.
5. Получение координат для достопримечательностей в оперных камерах
- Используйте DeepLabCut, как описано в шаге 4.3 вручную маркировать точки интереса в оперных камерах (таких как нос тыкать отверстия, рычаги и т.д.) в одном видео кадре (Рисунок 8C). Они выбираются вручную в зависимости от интересов, связанных с изучением, хотя позиция индикатора шага протокола всегда должна быть включена.
- Извлеките координаты отмеченных достопримечательностей из файла .csv, который DeepLabCut автоматически хранит под "помеченными данными" в папке проекта.
6. Определение сегментов видео, в которых активен индикатор шага протокола
- Загрузите файлы .csv, полученные в результате анализа видео DeepLabCut в шаге 4.6, в программное обеспечение для управления данными по выбору.
ПРИМЕЧАНИЕ: Из-за количества и сложности данных, полученных от DeepLabCut и оперентных систем кондиционирования, управление данными лучше всего делать с помощью автоматизированных сценариев анализа. Чтобы начать работу с этим, пожалуйста, обратитесь к начального уровня руководства доступны в другом месте20,,21,22. - Обратите внимание, в каких сегментах видео индикатор шаг протокола отслеживается в пределах 60 пикселей позиции, полученной в разделе 5. Это будут периоды, когда индикатор шаг протокола активен(рисунок 6B).
ПРИМЕЧАНИЕ: Во время сегментов видео, где индикатор шага протокола не светит, размечеющее видео может показаться, что DeepLabCut не отслеживает его в любой позиции. Тем не менее, это редко бывает, и вместо этого, как правило, отслеживается в нескольких разбросанных местах. - Извлеките точную отправную точку для каждого периода, где индикатор шага протокола активен(Рисунок 6C: 1).
7. Определение сегментов видео, представляющих интерес
- Рассмотрим точки, в которых индикатор шаг протокола становится активным(рисунок 6C: 1) и метки времени ответов, записанные оперными камерами (раздел 2, Рисунок 6C: 2).
- Используйте эту информацию, чтобы определить, какие сегменты видео охватывают конкретные интересные события, такие как межпроверовые интервалы, ответы, извлечения вознаграждения и т.д.(Рисунок 6C: 3, Рисунок 6D).
ПРИМЕЧАНИЕ: Для этого, имейте в виду, что камера, описанная здесь записывает видео на 30 кадров в секунду. - Обратите внимание на конкретные видеокадры, которые охватывают эти события, представляющие интерес.
- (Необязательно) Редактировать видеофайлы полных тестовых сессий, чтобы включать только конкретные сегменты интереса.
ПРИМЕЧАНИЕ: Есть несколько способов для достижения этой цели. Один из них описан в дополнительном файле 2 и 3. Это значительно помогает при хранении большого количества видео, а также может сделать обзор и представление результатов более удобным.
8. Анализ положения и движений животного во время конкретных видеосегментов
- Подмножество полных данных отслеживания положения головы, полученных от DeepLabCut в шаге 4.6, чтобы включить только видео-сегменты, отмеченные в разделе 7.
- Рассчитайте положение головы животного по отношению к одному или более из ориентиров, выбранных в разделе 5(рисунок 8C). Это позволяет сравнивать отслеживание и положение различных видео.
- Выполните соответствующий углубленный анализ положения и движений животного.
ПРИМЕЧАНИЕ: Конкретный анализ будет сильно специфичен для исследования. Ниже приведены некоторые примеры параметров, которые могут быть проанализированы.- Визуализируйте следы пути, набирая все координаты, обнаруженные в течение выбранного периода в пределах одного графика.
- Проанализируйте близость к заданной точке интереса, используя следующую формулу:
- Проанализируйте изменения скорости во время движения, вычислив расстояние между гусеничными координатами в последовательных кадрах и разделите на 1/fps камеры.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Производительность видеокамеры
Репрезентативные результаты были собраны в оперных кондиционных камерах для крыс с площадью 28,5 см х 25,5 см, а высота - 28,5 см. С объективом fisheye прикрепленным, камера захватывает полную площадь пола и большие части окружающих стен, когда помещено над камерой(рисунок 7A). Таким образом, хороший вид может быть получен, даже если камера находится вне центра на верхней части камеры. Это должно иметь дело в сопоставимых оперных камерах. ИК-светодиоды способны осветить всю камеру(рисунок 7B, C), что позволяет хороший вид, даже когда все другие огни внутри камеры выключены (Рисунок 7C). Тем не менее, освещение в таких ситуациях не совсем ровно, и может привести к некоторым трудностям в получении точного отслеживания. Если такой анализ представляет интерес, могут потребоваться дополнительные источники ИК-освещения. Стоит также отметить, что некоторые камеры используют металлические опускные кастрюли для сбора мочи и кала. Если камера находится прямо над такими поверхностями, сильные отражения света ИК-светодиодов будут видны в записанных видео(рисунок 7B). Этого можно, однако, избежать, поместив бумажные полотенца в опуская кастрюлю, давая значительно улучшенное изображение(Рисунок 7C). Размещение ИК-иК камеры или цветные светодиоды слишком близко к объективу камеры может привести к их видимым на периферии изображения(рисунок 7B). Поскольку камера ИК-чувствительна, любые источники ИК-света, которые присутствуют внутри камер, могут быть видны на видео. Для многих установок, это будет включать в себя непрерывное сияние ИК-лучей перерыв датчиков (Рисунок 7C). Непрерывное освещение от ИК-светодиодов камеры не нарушает качество изображения хорошо освещенных камер(рисунок 7D). Размер видео, записанных с камерой составляет около 77 Мб / мин. Если для камеры используется карта 32 Gb micro SD, после установки операционной системы должно быть доступно около 20 Гб. Это оставляет место для приблизительно 260 минут записанных кадров.
Объектив fisheye вызывает камеру иметь немного неравномерный фокус, будучи острым в центре изображения, но снижение резкости по отношению к краям. Это, по-видимому, не влияет на точность отслеживания. Кроме того, объектив рыбьего глаза приводит к искажению записанного изображения. Например, расстояния между одинаково расположенными точками вдоль прямых линий покажут искусственно уменьшенное расстояние к периферии изображения(рисунок 9A,B). Если камера используется для приложений, где большая часть поля зрения или абсолютные измерения расстояния и скорости представляют интерес, стоит рассмотреть вопрос о коррекции данных для этого искажения23 (Дополнительный файл 4). Искажение, однако, относительно мягкий в центре изображения(рисунок 9B). Для видео, собранных в нашей оперной камере, область интереса ограничена центральным 25% поля зрения камеры. В этой области эффект искажения рыбьего глаза минимален(рисунок 9C'u2012F).
Точность отслеживания с помощью DeepLabCut
Основными факторами, определяющими точность отслеживания обученной сети, являются i) количество помеченных кадров в наборе обучающих данных(ii) то, насколько хорошо эти помеченные кадры отражают поведение интереса, и (iii) количество используемых обучающих итераций. DeepLabCut включает в себя функцию оценки, которая сообщает оценку того, как далеко (в количестве пикселей) его отслеживание можно ожидать от фактического местоположения объекта. Это, однако, не обязательно дает хорошее описание количества кадров, где объект теряется и /или неправильно помечен(рисунок 10A),что вызывает необходимость дополнительной ручной оценки точности отслеживания.
Для анализа поведения внутри оперной камеры хорошо обученная сеть должна позволить точно идентифицировать все события, где индикатор шага протокола активен. В противном случае может потребоваться переподготовка сети или выбор другого индикатора. Несмотря на наличие хорошо обученной сети, отслеживание индикатора шага протокола иногда может быть нарушено животными, блокирующими вид камеры(рисунок 10B). Это приведет к перерывам в отслеживании, напоминающим эпизоды, в которых индикатор неактивен. Частота этого происходит будет зависеть от напряжения животных, тип поведенческого протокола и выбор индикатора шага протокола. В примере данных из 5CSRTT, который используется здесь, это произошло на четырех из 400 испытаний (данные не показаны). Все случаи были легко идентифицировать, так как их продолжительность не соответствовала продолжительности перерыва, который был включен в проект протокола(рисунок 6A). В конечном счете, выбирая индикатор, который находится высоко в камере и вдали от компонентов, с которыми взаимодействуют животные, скорее всего, будет полезно.
Хорошо обученная сеть должна позволить точностью в 90% при отслеживании головы животного во время видео сегментов интереса(Видео 1). При этом лишь небольшое подмножество видеокадров необходимо будет исключить из последующего анализа, а пригодные для использования данные отслеживания будут получены практически во всех испытаниях в течение тестовой сессии. Точное отслеживание четко идентифицируется маркерами после животного на протяжении всего его движения (Видео 2) и построения путей появляются гладкие (Рисунок 10C). В отличие от этого, неточное отслеживание характеризуется маркерами, не надежно оставающимися на цели(Видео 3)и построением путей, появляющихся зубчатыми(Рисунок 10D). Последнее вызвано тем, что объект отслеживается в отдаленных ошибочных положениях в отдельных видеоказах в последовательностях точного отслеживания. В результате этого неточное отслеживание обычно приводит к резким сдвигам в расчетной скорости движения(рисунок 10E). Это может быть использовано для определения видеокадров, где отслеживание является неточным, чтобы исключить их из последующего анализа. Если есть существенные проблемы с точностью отслеживания, случаи, когда отслеживание не удается должны быть определены и сеть должна быть переподготовка с помощью расширенного набора обучения, содержащего помечены видео кадры этих событий (Рисунок 10A, E).
Использование видео слежения в дополнение к анализу оперного поведения
Анализ того, как животное движется и позиционирует себя во время оперных испытаний, даст много представление о сложном и многогранном характере их поведения. Отслеживая, где животное находится на протяжении всего тестового сеанса, можно оценить, насколько различные модели движения соотносятся с производительностью(рисунок 11A,B). Путем более добавочно исследовать движения головы во время специфически шагов протокола, одно может обнаружить и охарактеризовать пользу по-разному стратегий(рисунок 11C'u2012E).
Чтобы иллюстрировать, рассмотрим репрезентативные данные, представленные для крыс, выполняющих тест 5CSRTT(Рисунок 6A, Рисунок 11). В этом тесте, животные представлены с несколькими испытаниями, что каждый старт с 5 s ожидания шаг (межпрочокоум интервалом - ITI)(Рисунок 6A: 1). В конце этого, свет будет светить внутри одного из нос тыкать отверстия (случайно выбранное положение на каждом испытании, Рисунок 6A: 2). Нос-тыкать в отверстие cued считается правильным ответом и вознаграждается(Рисунок 6A: 3). Ответ на другое отверстие считается неправильным. Неспособность ответить в течение 5 с после представления света считается упущением. Отслеживание движений головы во время ITI этого теста показало, что на испытаниях, где крысы выполняют ответ, они быстро на движение в направлении области вокруг носа тыкать отверстия (Рисунок 11A, B, Видео 4). В отличие от большинства испытаний бездействия, крысы не в состоянии приблизиться к области вокруг отверстия (Рисунок 11B, Видео 5). Такое поведение соответствует общей интерпретации упущений, тесно связанных с низкой мотивацией для выполнения теста3,16. Тем не менее, на подмножестве упущения испытаний (примерно 20% от текущего набора данных), крысы показали четкое внимание к отверстиям (Рисунок 11B, Видео 6), но не отметить точное местоположение cued открытия. Таким образом, данные указывают на то, что существует по крайней мере два различных типа упущений, один из которых связан с возможным незаинтересованность в текущем испытании, а другой, который в большей степени зависит от недостаточного visuospatial внимание3. Отслеживание головы также может быть использовано для разграничения очевидных стратегий. В качестве примера, два различных стратегий внимания были выявлены при анализе, как крысы двигаться, когда они находятся в непосредственной близости от носа тыкать отверстия во время 5CSRTT (Рисунок 11C'u2012E). В первой стратегии крысы показали чрезвычайно целенаправленный подход, поддерживая центральное положение на протяжении большей части ITI (Рисунок 11C, Видео 7). В отличие от этого, крысы принятия другой стратегии постоянно двигали головами между различными отверстиями в поиске, как образом (Рисунок 11D, Видео 8). Этот тип поведенческих различий можно удобно количественно, вычисляя количество времени, проведенного в непосредственной близости от различных отверстий(Рисунок 11E). Наконец, анализируя, что открытие крысы ближе всего к во время презентации биток света (Рисунок 11F), можно демонстрировать, что находясь в центральном положении (Рисунок 11G) и / или в непосредственной близости от расположения cued открытия (Рисунок 11H) , как представляется, выгодно для точной работы на тесте.
Рисунок 1: Эскиз указанного микрокомпьютера. Схема показывает положение нескольких компонентов, представляющих интерес на материнской плате микрокомпьютера. Они отмечены круговыми числами следующим образом: 1: Разъем для камеры ленточного кабеля; 2: светодиодный свет, указывающий, когда компьютер работает; 3: Micro USB для силового кабеля; 4: Micro USB для мыши/клавиатуры; 5: контакты ввода/вывода общего назначения (gpIO pins), эти контакты используются для подключения микрокомпьютера к светодиодам, коммутаторам и ИК-светодиоду; 6: Выход Mini HDMI; 7: Слот для карт Micro SD. В нижней части рисунка обрезанная и увеличенная часть булавок GPIO показывает, как считать вдоль них, чтобы правильно определить положение конкретного контакта. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 2: Строительство основного корпуса камеры. Цифры иллюстрировали основные шаги для построения корпуса камеры. (A) Прикрепите магнитное металлическое кольцо к подставе камеры. (B)Прикрепите модуль камеры к подставе камеры. (C) Подключите модуль камеры к микрокомпьютеру через плоский кабель ленты. Обратите внимание на белые стрелки, указывающие, как открыть и закрыть порты камеры, присутствующие как на микрокомпьютере, так и на модуле камеры. (D) Поместите микрокомпьютер в пластиковый корпус и вставьте микро-карту SD. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 3: Обновление операционной системы микрокомпьютера и включение периферийных устройств. На рисунке показаны четыре различных скриншота, изображающих пользовательский интерфейс микрокомпьютера. (A) Окна терминала могут быть открыты, нажав на значок "терминал" в верхнем левом углу экрана. (B)В терминале можно вводить различные виды команд, как описано в тексте протокола. На скриншоте отображается команда для обновления пакетов программного обеспечения системы. (C) Скриншот отображает, как перейти к меню конфигураций, где можно включить использование модуля камеры и I2C GPIO булавки. (D) Скриншот отображает /дом / pi папку, где сценарий камеры должны быть скопированы в шаге 1.10 протокола. Окно открывается нажатием указанного значка в левом верхнем углу экрана. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 4: Настройка файла микрокомпьютера rc.local. На рисунке отображаются два скриншота файла rc.local микрокомпьютера, когда он доступен через терминал, описанный в шаге 1.11.1. (A) Скриншот файла rc.local в его первоначальном формате. Стрелка указывает пространство, в которое необходимо ввести текст, чтобы включить функцию автоматического запуска камеры. (B) Скриншот файла rc.local после того, как он был отредактирован, чтобы сиять ИК-светодиоды и начать питон сценарий управления камерой при запуске микрокомпьютера. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 5: Подключение выключателей и светодиодов к микрокомпьютерным контактам GPIO. ( A )Схемас изображением переключателя кнопки с женскими кабелями перемычки (вверху) и СИД с резистором и женскими кабелями перемычки (внизу). (1) Переключатель кнопки, (2) женские кабели перемычки, (3) СИД, (4) резистор. (B) Схематическое изображение, показывающее, как две кнопки переключатели, цветные светодиоды и ИК-светодиодная доска соединены с GPIO булавки микрокомпьютера. Синие кабели и булавки GPIO указывают на землю. Положение двух булавок GPIO указано на рисунке (gpIO pins #2 и #40): (1) Кнопка для начала/остановки видеозаписи. (2) светодиод, указывающий, когда записывается видео. (3) Кнопка для выключения камеры. (4) светодиод, указывающий, когда камера загружается и готова к использованию. (5) ИК светодиодный модуль. Обратите внимание, что схемы со светодиодами также содержат 330 Ω резисторов. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 6: Использование DeepLabCut отслеживания индикатора шаг протокола для выявления последовательностей интереса в полнометражных видео. (A) Схема шагов одного испытания в 5-выбор серийный тест времени реакции (5CSRTT): (1) Во-первых, есть краткий период ожидания (ITI). Стрелка указывает на активно сияющий свет дома. (2) В конце ITI, свет будет светить в одном из пяти нос тыкать отверстия (стрелка). (3) Если крыса точно реагирует, выполняя нос тыкать в отверстие cued, награда доставляется (стрелка). (4) Крыса может получить награду. (5) Для включения в использование света дома в качестве индикатора шага протокола, до начала следующего испытания выполняется краткая пауза, при которой выключен домашний свет (стрелка). Обратите внимание, что свет дома светит во время последующих шагов судебного разбирательства. (B) Пример графика, изображающего x-координаты активного света дома, как отслеживается DeepLabCut, во время видео-сегмента теста 5CSRTT. Во время сегментов, где светит свет дома (индикатор активный - 1), положение отслеживается до последовательной и стабильной точки (также обратите внимание на красный маркер (указанный стрелкой) в примере видеорамки), сравнимое с положением домашнего света на рисунке 8C (x, y: 163, 503). Во время сегментов, где домашний свет не светит (индикатор неактивный - 2, обратите внимание на белую стрелку в примере видеорамки), гусеничное положение не является стабильным, а далеко от фактической координаты домашнего света. (C) Таблица 1 показывает пример обработанного вывода, полученного от отслеживания DeepLabCut индикатора шага протокола. В этом выводе указана отправная точка для каждого случая, когда индикатор активен. В таблице 2 приводится пример данных, полученных из системы кондиционирования, в которых приводятся соответствующие сведения об отдельных испытаниях. В этом примере были записаны продолжительность ИТ-МТИ, положение открытия cued и задержки для выполнения ответа и получения вознаграждения. В таблице 3 приведен пример данных, полученных путем слияния результатов отслеживания от DeepLabCut и данных, записанных из системы кондиционирования. Благодаря этому были получены видеорамки для отправной точки ITI (шаг 1 в A), отправная точка презентации сигнала света (шаг 2 в А), ответ (шаг 3 в А) и извлечение (шаг 4 в А) для примера пробной версии. (D) Пример графика, изображающего x-координаты света дома, как отслеживается DeepLabCut, во время снятого 5CSRTT суда. Указаны различные этапы протокола: (1) ITI; (2) представление сигнала света (положение, указанное белой стрелкой); (3) ответ; (4) извлечение вознаграждения. Идентификация видеокадров, изображающих начало и остановку этих различных шагов протокола, была проведена в процессе, сопоставимом с процессом, указанным в D. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 7: Характеристики изображения камеры. () Необрезанныйобраз, полученный от камеры, размещенной на верхней части оперной камеры кондиционирования. Изображение было запечатлено в то время как камера была помещена в ярко освещенной комнате. Обратите внимание на (1) свет дома и (2) вознаграждение гранулы корыта вдоль левой стены камеры и (3) ряд из пяти нос тыкать отверстия вдоль правой стены камеры. Каждый нос тыкать отверстие содержит небольшой биток света. (B) Необрезаемое изображение, отображающее сильное отражение, вызванное (1) металлической опускающей кастрюлей, а также отражения, вызванные субоптимальным расположением светодиодов индикатора камеры (2) и (3) ИК-LED-модуля. (C) Обрезанное изображение камеры в полной темноте. Обратите внимание, что огни от детекторов ИК-луча в пяти нос тыкать отверстия вдоль правой стены камеры хорошо видны (стрелка). (D) Обрезанное изображение камеры, когда ярко освещены. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 8: Позициое отслеживание индикатора шага протокола и части тела, представляющие интерес. (A) На рисунке показано положение индикатора шага протокола (красный), а также головы (желтый) и хвоста (зеленого) крысы, как отслеживается DeepLabCut. Как указывается на отслеживание освещенного света дома, видео кадр взят из снимка активного испытания. (B) На рисунке показано положение головы (желтый) и хвост (зеленый) в том виде, в каком он отслеживается DeepLabCut в момент, когда пробная версия не активна. Обратите внимание на отсутствие отслеживания света дома. (C) Позиции точек интереса, используемые в анализе данных, показанных на рисунке 6 и рисунке 11; (1) Дом свет, в данном случае используется в качестве индикатора шаг протокола, (2'u20126) Нос тыкать отверстия #1'u20125. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 9: Искажение изображения из объектива рыбьего глаза. ( A )Изображениешаблона шашек-доски с одинаково размера и расположенных черно-белых квадратов, снятых с камерой, описанной в этом протоколе. Изображение было снималось на высоте, сопоставимой с той, которая использовалась при записи видео из оперных камер кондиционирования. Черные квадраты вдоль центральной горизонтальной и вертикальной линий были отмечены DeepLabCut. (B) График, изображающий, как интервал отмеченных квадратов в (A) изменяется с близостью к центру изображения. (C) Изображение, изображающее измерения, принятые для оценки воздействия эффекта искажения рыбьего глаза на видео, собранные из оперных камер. Углы и средние точки вдоль края площади пола, центральное положение каждого отдельного пола и положение пяти нос тыкать отверстия были указаны с DeepLabCut (цветные точки); (1) расстояние от пола ступеньки, (2) ширина камерного пола вдоль середины камеры, (3) расстояние от носа тыкать отверстия. (D) Расстояние напольных ступеней (в среднем для каждого набора из трех последовательных ступеней), пронумерованных слева направо в (C). Существует небольшой эффект искажения рыбьего глаза, в результате чего центральные ступеньки расположены примерно 3 пикселей (8%) дальше друг от друга, чем ступеньки, которые расположены по краям камерного пола. (E) Ширина пола камеры в (C) измеряется в левом и правом краях, а также средней точке. Существует небольшой эффект искажения рыбьего глаза, в результате чего ширина измеряется в середине точки составляет примерно 29 пикселей (5%) больше, чем другие измерения. (F) Расстояние нос тыкать отверстия в (C), пронумерованные из верхней части изображения. Существует небольшой эффект искажения рыбьего глаза, в результате чего расстояние между центральными тремя отверстиями (H2, H3, H5) составляет примерно 5 пикселей (4%) более широкий, чем расстояние между H1-H2 и H4-H5. Для D-F данные были собраны из четырех видео, а на графиках показана группа средних и стандартных ошибок. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 10: Обзор точности отслеживания DeepLabCut. (A) Таблица список учебной информации для двух нейронных сетей, обученных отслеживать крыс в оперных камерах. Сетевые #1 использовали меньший набор обучающих данных, но большое количество обучающих итераций по сравнению с сетевыми #2. Обе сети достигли низкого балла по ошибке от функции оценки DeepLabCut (ошибка теста DLC) и показали низкую потерю обучения к концу обучения. Несмотря на это, Network #1 показали очень плохую точность отслеживания при ручной оценке отмеченных видеокадров (измеренная точность, оцениваемая из 150 видеокадров, охватывающих сегмент видео, сопоставимый с теми, которые есть в Video 2 и Video 3). Сетевой #2 представляет собой улучшенную версию Network #1, после включения дополнительных видеокадров активно движущихся крыс в набор обучающих данных, как описано в (E). (B) Изображение, изображающее крысу, воспитывающую и покрывающую свет дома камеры(Рисунок 7A)с головой, нарушая отслеживание его. (C) Видео кадр захвата ответ, сделанный во время 5CSRTT суда(Рисунок 6A: 3). Путь движения головы во время ответа и предшествующий ITI был наложен на изображение желтым цветом. Отслеживание считается точным. Обратите внимание на плавное отслеживание во время движений (белая стрелка). Соответствующее видео доступно как Видео 2. Для отслеживания использовалась сетевая #2 (см. A). (D) Видео кадр захвата ответ, сделанный во время 5CSRTT суда(Рисунок 6A: 3). Путь движения головы во время ответа и предшествующий ITI был наложен на изображение желтым цветом. Данные касаться того же исследования, что и показано в (C), но анализируются с помощью #1 сети (см. А). Отслеживание считается неточным. Обратите внимание на неровный внешний вид пути с несколькими прямыми линиями (белыми стрелками), вызванным случайным отслеживанием головы в отдаленные ошибочные позиции (черные стрелки). Соответствующее видео доступно как Видео 3. (E) График, изображающий динамические изменения в скорости движения головы отслеживания в (C) и (D). Определяемые на графике три основных движения видели в видео 2 и 3 , гдекрыса сначала поворачивается лицом нос тыкать отверстия (первоначальный поворот), делает небольшую корректировку для дальнейшего подхода к ним (регулировка), и, наконец, выполняет ответ. Профиль скорости для хорошего отслеживания, полученного Network #2 (A), отображает плавные кривые изменений скорости движения (синие стрелки), что указывает на точное отслеживание. Профиль скорости для плохого отслеживания, полученного Network #1 (A), показывает несколько внезапных скачков скорости движения (красные стрелки), свидетельствующие о случайных ошибках отслеживания в отдельных видеокам. Стоит отметить, что эти проблемы слежения особенно возникают во время движений. Чтобы исправить это, первоначальный набор учебных данных, используемый для обучения Сети #1 был расширен с большим количеством видео кадров, изображающих активно движущихся крыс. Впоследствии это было использовано для обучения network #2, которые эффективно устранили эту проблему отслеживания. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Рисунок 11: Использование позиционного отслеживания через DeepLabCut в дополнение к поведенческому анализу оперентных тестов кондиционирования. (A) Вид сверху на внутреннюю часть оперной камеры кондиционирования. Указаны три области камеры. Область близко к отверстию гранулы корыта (Пеллет), центральная область камеры (центр) и область вокруг носа тыкать отверстия (Отверстия). (B) График, изображающий относительное количество времени, которое крысы проводят в трех различных областях оперной камеры, изложенной в (A) во время шага ITI 5CSRTT. Обратите внимание, что на испытаниях с ответом, крысы первоначально, как правило, расположены близко к гранулы корыта (черный) и камерный центр (серый), но, как ITI прогрессирует, они сдвиг в сторону позиционирования себя вокруг носа тыкать отверстия (белый). В отличие от этого, на типичных испытаний упущения, крысы остаются расположены вокруг гранул корыта и камерного центра. На подмножестве испытаний бездействия (приблизительно 20%) крысы четко сместить свое внимание на нос тыкать отверстия, но до сих пор не в состоянии выполнить ответ, когда побудило. Двусторонний анализ ANOVA времени, затухав вокруг носового тыкать отверстиями, используя пробный тип как между субъектом и время, как в пределах предмета фактор выявить значительное время (p < 0.001, F(4,8) = 35.13), trial type (p < 0.01, F(2,4) = 57.33) and time x trial type interaction (p < 0.001, F(8,16) = 15.3) effects. Data gathered from four animals performing 100 trials each. Graph displays mean + standard error. (C) Тепло карта отображения всех позиций головы отслеживается в непосредственной близости от носа тыкать отверстия, на одну конкретную крысу во время 50 ITIs 5CSRT испытаний сессии. Обратите внимание, что крыса имеет сильную тенденцию держать голову в одном месте рядом с центральным носом тыкать открытия. (D) Тепло карта отображения всех позиций головы отслеживается в непосредственной близости от носа тыкать отверстия, на одну конкретную крысу в течение 50 ITIs 5-CSRTT тестовой сессии. Обратите внимание, что крыса не проявляет четкого предпочтения для какого-либо конкретного открытия. (E) График, изображающий относительное количество времени, что две крысы отображаются в (C) и (D) тратить быть ближе всего к различным носом тыкать отверстия во время 50 ITIs 5CSRTT. Крыса отображения целенаправленной стратегии (C) (черный) показывает сильное предпочтение для того, чтобы быть ближе всего к центральному открытию в то время как крыса с поиском, как стратегия (D) (белый) не показывает предпочтения для любого конкретного открытия. На графике показана средняя стандартная ошибка. (F) Изображение крысы во время презентации битика на пробе 5CSRTT (Рисунок 6A). Обратите внимание, что крыса расположила свою голову ближе всего к центральному открытию (белая стрелка), будучи в двух отверстиях от отверстия cued (черная стрелка). (Г) График, отражающий точность производительности на 5CSRTT (т.е. частота выполнения правильных ответов) в связи с тем, голова крыс была ближе всего к центральному открытию или одному из других отверстий во время презентации битка (Рисунок 6A2). Данные, собранные от четырех животных, выполняющих примерно 70 ответов каждый. Диаграмма отображает среднее значение группы и стандартную ошибку (соответствует t-тесту: p < 0.05). (H) График, отражающий точность производительности на 5CSRT по отношению к расстоянию между положением отверстия жвачку и положением головы крысы, в точке представления сигнала. Расстояние связано с количеством отверстий между положением головы крыс и положением сигнального открытия. Данные, собранные от четырех животных, выполняющих примерно 70 ответов каждый. График отображает среднее значение и стандартную ошибку (соответствует односторонней ANOVA: p < 0.01). For the presented analysis, Network #2 described in Рисунок 10A был использован. Полный анализируемый набор данных включал около 160 000 видеокадров и 400 испытаний. Из них 2,5% видеорамок были исключены из-за того, что отмеченная скорость движения животного превышала 3000 пикселей/с, что указывает на ошибочное отслеживание (Рисунок 10E). Никакие полные испытания не были исключены. Пожалуйста, нажмите здесь, чтобы просмотреть большую версию этой фигуры.
Видео 1: Представитель отслеживания производительности хорошо обученной нейронной сети. На видео показан монтаж крысы, выполняющей 45 испытаний с правильными ответами во время тестового сеанса 5CSRTT (см. рисунок 6A для деталей протокола). Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Обучение сети (Сеть #2 на рисунке 10A) подчеркнул точность движений, сделанных вдоль пола камеры в непосредственной близости от нос тыкать отверстия (правая стена, рисунок 7A). Отслеживание этих сегментов показывает в среднем точность 90%. Отслеживание эпизодов воспитания и ухода являются неточными, так как учебный набор не включает в себя кадры такого поведения. Обратите внимание, что видео было сжато, чтобы уменьшить размер файла и не может представлять качество видео, полученное с помощью камеры. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 2: Пример точно отслеживаемого животного. Видео показывает одно хорошо отслеживаемое испытание крысы, выполняющей правильный ответ во время 5CSRTT. Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Нейронная сеть #2, описанная на рисунке 10A, использовалась для отслеживания. Обратите внимание, как маркеры точно следят за движениями животного. Также обратитесь к рисунку 10C,E для построения пути и скорости движения для отслеживания головы в этом видеоклипе. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 3: Пример плохо отслеживаемого животного. Видео показывает один плохо отслеживается испытание крысы выполнения правильного ответа во время 5CSRTT. Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Нейронная сеть #1, описанная на рисунке 10A, использовалась для отслеживания. Видеоклип такой же, как тот, который используется в видео 2. Обратите внимание, что маркер для головы не надежно помещается на верхней части головы крысы. Также обратитесь к рисунку 10D,E для построения пути и скорости движения для отслеживания головы в этом видеоклипе. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 4: Пример движений, сделанных во время испытания 5CSRTT с ответом. Видео показывает один хорошо отслеживается испытание крысы выполнения правильного ответа во время 5-CSRTT. Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Обратите внимание, как крыса сначала расположена в явной близости к сосуду гранул (левая стена, рисунок 7A),а затем переходит, чтобы сосредоточить свое внимание на ряд нос тыкать отверстия. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 5: Пример типичного испытания упущения во время 5CSRTT. Видео показывает один хорошо отслеживается испытание крысы выполнения типичных упущение во время 5CSRTT. Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Обратите внимание, как крыса сохраняет свое положение вокруг сосуда гранулы (левая стена, рисунок 7A) и камерный центр, а не оборачиваясь лицом к носу тыкать отверстия (правая стена, рисунок 7A). Можно утверждать, что отображаемое поведение и причина упущения отражают низкий интерес к проведению теста. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 6: Пример нетипичного судебного разбирательства бездействия во время 5CSRTT. Видео показывает одно хорошо отслеживаемое испытание крысы, выполняющей нетипичное упущение во время 5CSRTT. Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Обратите внимание, как крыса позиционирует себя к носу тыкать отверстия вдоль правой стены камеры(Рисунок 7A). Это можно утверждать, чтобы указать, что животное заинтересовано в выполнении теста. Тем не менее, крыса лица от cued открытия (центральное положение), когда кий представлен (5 с в клип). В отличие от упущения отображается в видео 4, один видел здесь, вероятно, связаны с субоптимальным visuospatial процессов внимания. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 7: Пример животного, поддерживая сфокусированное центральное положение во время ITI 5CSRTT. Видео показывает один хорошо отслеживается испытание крысы выполнения правильного ответа на пробу 5CSRTT. Обратите внимание, как крыса поддерживает центральное положение во время ITI, сохраняя голову устойчивым в непосредственной близости от центрального носа тыкать открытия вдоль камер правой стены (Рисунок 7A). Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Видео 8: Пример животного, отображающего поисковую стратегию внимания во время ITI 5CSRTT. Видео показывает один хорошо отслеживается испытание крысы выполнения правильного ответа на пробу 5CSRTT. Обратите внимание, как крыса часто перемещает голову к лицу различных нос тыкать отверстия вдоль правой стены камеры(Рисунок 7A). Отслеживание света дома (красный маркер), хвостовой базы (зеленый маркер) и головы (синий маркер) указаны в видео. Пожалуйста, нажмите здесь, чтобы скачать это видео.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Этот протокол описывает, как построить недорогую и гибкую видеокамеру, которая может быть использована для записи видео из оперентных камер кондиционирования и других поведенческих тестовых установок. Он также демонстрирует, как использовать DeepLabCut для отслеживания сильного светового сигнала в этих видео, и как это может быть использовано для выявления кратких сегментов видео интерес к видеофайл, которые охватывают полный тестовых сессий. Наконец, он описывает, как использовать отслеживание головы крысы в дополнение к анализу поведения во время оперных испытаний кондиционирования.
Протокол представляет собой альтернативу коммерчески доступным решениям для записи видео для оперных камер кондиционирования. Как отмечалось, главное преимущество этих заключается в том, что они интегрируются с оперными камерами, позволяя видеозаписи конкретных событий. Подход к выявлению сегментов видео, представляющих интерес, описанный в настоящем протоколе, является более трудоемким и трудоемким по сравнению с использованием полностью интегрированной системы для записи конкретных событий. Это, однако, значительно дешевле (недавняя смета расходов на оборудование для видеонаблюдения для 6 оперных камер была установлена примерно на 13000 долларов США. Для сравнения, строительство шести камер, перечисленных здесь будет стоить около 720 долларов США). Кроме того, камеры могут быть использованы для нескольких других поведенческих тестовых установок. При работе с камерой важно помнить о областях открытой электроники (задняя часть компонента камеры, а также ИК-светодиодная составляющая), чтобы они не соприкасались с жидкостями. Кроме того, ленточный кабель, прикрепляющий модуль камеры к микрокомпьютеру, и кабели, соединяющие светодиоды и переключатели к контактам GPIO, могут оторваться, если камера часто перемещается. Таким образом, регулировка конструкции корпуса камеры может быть полезна для некоторых приложений.
Использование DeepLabCut для определения сегментов видео, представляющих интерес, и отслеживания движений животных является дополнением и/или альтернативой ручному видеоанализу. В то время как первый не аннулирует второй, мы обнаружили, что он обеспечивает удобный способ анализа движений и поведения внутри оперных камер. В частности, он предоставляет позиционные данные животного, которые содержат более подробную информацию, чем то, что обычно извлекается с помощью ручного скоринга (т.е. фактические координаты по сравнению с качественной позиционной информацией, такой как "перед", "рядом" и т.д.).
При выборе индикатора шага протокола важно выбрать индикатор, который последовательно указывает на данный шаг поведенческого протокола, и который вряд ли будет заблокирован животным. Если последнее проблематично, можно рассмотреть вопрос о размещении лампы за пределами оперной камеры и снимать ее через камерные стены. Многие оперные камеры кондиционирования являются модульными и позволяют пользователям свободно перемещать огни, датчики и другие компоненты вокруг. Следует отметить, что существуют и другие пакеты программного обеспечения, которые также позволяют пользователям обучать нейронные сети распознавания и отслеживания пользовательских объектов в видео24,,25,26. Они, вероятно, могут быть использованы в качестве альтернативы DeepLabCut в текущем протоколе.
Протокол описывает, как отслеживать центральную часть головы крысы, чтобы измерить движения внутри оперных камер. Поскольку DeepLabCut предлагает полную свободу в выборе частей тела или объектов, представляющих интерес, это может с удобством быть изменено в соответствии с конкретными интересами. Естественным продолжением отслеживания, описанного в настоящем ею, является также отслеживание положения ушей и носа крыс, чтобы лучше судить не только положение головы, но и ориентацию. Репрезентативные данные, приведенные здесь, были перекодированы крысами Лонг Эванс. Эти крысы отображают значительные межучрежденийные изменения в их пигментации картины, особенно к их хвостовой базы. Это может привести к некоторым трудностям применения одной обученной нейронной сети для отслеживания различных людей. Чтобы ограничить эти вопросы, лучше всего включить видеорамки от всех животных, представляющих интерес в учебном наборе для сети. Черная голова крысы Лонг Эванс обеспечивает достаточно сильный контраст с металлическими поверхностями камеры, используемой здесь. Таким образом, получение точного отслеживания их головы, вероятно, требует меньше усилий, чем при штаммах альбиносов. Наиболее важным этапом получения точного отслеживания с Помощью DeepLabCut или сопоставимых пакетов программного обеспечения является выбор большого количества разнообразных видеорамок для обучения нейронной сети. Таким образом, если отслеживание объекта, представляющих интерес, считается неоптимальным, увеличение набора учебных кадров всегда должно быть первым шагом на пути к улучшению результатов.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
В то время как материалы и ресурсы из фонда Raspberry Pi были использованы и процитированы в этой рукописи, фонд не принимал активного участия в подготовке или использовании оборудования и данных в этой рукописи. То же самое относится и к Pi-Supply. Авторам нечего раскрывать.
Acknowledgments
Эта работа была поддержана грантами Шведского фонда мозга, Шведского фонда Паркинсона и Шведских государственных фондов клинических исследований (M.A.C.), а также фондов Веннера-Грена (M.A.C., E.K.H.C), фонда Элена (M.A.C.) и фонда Blanceflor Boncompagni Ludovisi, n.F.
Materials
| Name | Company | Catalog Number | Comments |
| 32 Gb micro SD card with New Our Of Box Software (NOOBS) preinstalled | The Pi hut (https://thpihut.com) | 32GB | |
| 330-Ohm resistor | The Pi hut (https://thpihut.com) | 100287 | This article is for a package with mixed resistors, where 330-ohm resistors are included. |
| Camera module (Raspberry Pi NoIR camera v.2) | The Pi hut (https://thpihut.com) | 100004 | |
| Camera ribbon cable (Raspberry Pi Zero camera cable stub) | The Pi hut (https://thpihut.com) | MMP-1294 | This is only needed if a Raspberry Pi zero is used. If another Raspberry Pi board is used, a suitable camera ribbon cable accompanies the camera component |
| Colored LEDs | The Pi hut (https://thpihut.com) | ADA4203 | This article is for a package with mixed colors of LEDs. Any color can be used. |
| Female-Female jumper cables | The Pi hut (https://thpihut.com) | ADA266 | |
| IR LED module (Bright Pi) | Pi Supply (https://uk.pi-supply.com) | PIS-0027 | |
| microcomputer motherboard (Raspberry Pi Zero board with presoldered headers) | The Pi hut (https://thpihut.com) | 102373 | Other Raspberry Pi boards can also be used, although the method for automatically starting the Python script only works with Raspberry Pi zero. If using other models, the python script needs to be started manually. |
| Push button switch | The Pi hut (https://thpihut.com) | ADA367 | |
| Raspberry Pi power supply cable | The Pi hut (https://thpihut.com) | 102032 | |
| Raspberry Pi Zero case | The Pi hut (https://thpihut.com) | 102118 | |
| Raspberry Pi, Mod my pi, camera stand with magnetic fish eye lens and magnetic metal ring attachment | The Pi hut (https://thpihut.com) | MMP-0310-KIT |
References
- Pritchett, K., Mulder, G. B.
- Clemensson, E. K. H., Novati, A., Clemensson, L. E., Riess, O., Nguyen, H. P. The BACHD rat model of Huntington disease shows slowed learning in a Go/No-Go-like test of visual discrimination. Behavioural Brain Research. 359, 116-126 (2019).
- Asinof, S. K., Paine, T. A. The 5-choice serial reaction time task: a task of attention and impulse control for rodents. Journal of Visualized Experiments. (90), e51574 (2014).
- Coulbourn instruments. Graphic State: Graphic State 4 user's manual. Coulbourn instruments. , Holliston, Massachusetts. 12-17 (2013).
- Med Associates Inc. Med-PC IV: Med-PC IV programmer's manual. Med Associates Inc. , St. Albans, Vermont. 21-44 (2006).
- Clemensson, E. K. H., Clemensson, L. E., Riess, O., Nguyen, H. P. The BACHD rat model of Huntingon disease shows signs of fronto-striatal dysfunction in two operant conditioning tests of short-term memory. PloS One. 12 (1), (2017).
- Herremans, A. H. J., Hijzen, T. H., Welborn, P. F. E., Olivier, B., Slangen, J. L. Effect of infusion of cholinergic drugs into the prefrontal cortex area on delayed matching to position performance in the rat. Brain Research. 711 (1-2), 102-111 (1996).
- Chudasama, Y., Muir, J. L. A behavioral analysis of the delayed non-matching to position task: the effects of scopolamine, lesions of the fornix and of the prelimbic region on mediating behaviours by rats. Psychopharmacology. 134 (1), 73-82 (1997).
- Talpos, J. C., McTighe, S. M., Dias, R., Saksida, L. M., Bussey, T. J. Trial-unique, delayed nonmatching-to-location (TUNL): A novel, highly hippocampus-dependent automated touchscreen test of location memory and pattern separation. Neurobiology of Learning and Memory. 94 (3), 341 (2010).
- Rayburn-Reeves, R. M., Moore, M. K., Smith, T. E., Crafton, D. A., Marden, K. L. Spatial midsession reversal learning in rats: Effects of egocentric cue use and memory. Behavioural Processes. 152, 10-17 (2018).
- Gallo, A., Duchatelle, E., Elkhessaimi, A., Le Pape, G., Desportes, J. Topographic analysis of the rat's behavior in the Skinner box. Behavioural Processes. 33 (3), 318-328 (1995).
- Iversen, I. H. Response-initiated imaging of operant behavior using a digital camera. Journal of the Experimental Analysis of Behavior. 77 (3), 283-300 (2002).
- Med Associates Inc. Video monitor: Video monitor SOF-842 user's manual. Med Associates Inc. , St. Albans, Vermont. 26-30 (2004).
- Coulbourn Instruments. Coulbourn Instruments. , Available from: https://www.coulbourn.com/product_p/h39-16.htm (2020).
- Mathis, A., et al. DeepLabCut: markerless pose estimation of user-defined body parts with deep learning. Nature Neuroscience. 21 (9), 1281-1289 (2018).
- Nath, T., Mathis, A., Chen, A. C., Patel, A., Bethge, M., Mathis, M. W. Using DeepLabCut for 3D markerless pose estimation across species and behaviors. Nature Protocols. 14 (7), 2152-2176 (2019).
- Bari, A., Dalley, J. W., Robbins, T. W. The application of the 5-chopice serial reaction time task for the assessment of visual attentional processes and impulse control in rats. Nature Protocols. 3 (5), 759-767 (2008).
- Raspberry Pi foundation. Raspberry Pi foundation. , Available from: https://thepi.io/how-to-install-raspbian-on-the-raspberry-pi/ (2020).
- Pi-supply. Pi-supply. , Available from: https://learn.pi-supply.com/make/bright-pi-quickstart-faq/ (2018).
- Python. Python. , Available from: https://wiki.python.org/moin/BeginnersGuide/NonProgrammers (2020).
- MathWorks. MathWorks. , Available from: https://mathworks.com/academia/highschool/ (2020).
- Cran.R-Project.org. Cran.R-Project.org. , Available from: https://cran.r-project.org/manuals.html (2020).
- Liu, Y., Tian, C., Huang, Y. Critical assessment of correction methods for fisheye lens distortion. The international archives of the photogrammetry, remote sensing and spatial information sciences. , (2016).
- Pereira, T. D., et al. Fast animal pose estimation using deep neural networks. Nature Methods. 16 (1), 117-125 (2019).
- Graving, J. M., et al. DeepPoseKit, a software toolkit for fast and robust animal pose estimation using deep learning. Elife. 8 (47994), (2019).
- Geuther, B. Q., et al. Robust mouse tracking in complex environments using neural networks. Communications Biology. 2 (124), (2019).
