Протокол отслеживания и автоматизированной поведенческой количественной оценки у Drosophila melanogaster

Summary

Этот протокол использует оценку позы с помощью Python для отслеживания ключевых точек тела у парных дрозофил, что облегчает автоматическую количественную оценку тонких социальных поведений, особенно в социальном взаимодействии, а также тепловых карт и траекторий движения.

Abstract

Для разработки открытого аналитического инструмента, преодолевающего ограничения традиционных методов отслеживания на основе центроидов, мы представляем протокол для точного анализа социальных взаимодействий у свободно ведущих себя пар дрозофил . В частности, этот протокол вдохновлён системой высокоразрешающей сети (HRNet), позволяющей одновременно отслеживать пять ключевых анатомических точек — голову, грудную клетку, живот, а также кончики левого и правого крыла — с целью генерации координат высокого разрешения для последующего количественного анализа социальных поведенчений. Этот протокол обеспечивает полноценный рабочий процесс на основе Python и графического интерфейса пользователя (GUI), который мы разработали, включая создание наборов данных, обучение моделей и автоматизированное извлечение координат, а также интегрированные модули для создания тепловых карт пространственной занятости, траекторий движения и соотношения социальных взаимодействий у мух. Для проверки этого фреймворка была протестирована с использованием двух широко используемых штаммов — w1118 и Canton-S (CS). Наши результаты продемонстрировали устойчивость обнаружения ключевых точек и выявили генотип-специфические различия в пространственном использовании и структуре локомотива. Эта методология обеспечивает масштабируемую основу для количественной этологии и автоматизированного анализа социальных взаимодействий у Drosophila, одновременно снижая усилия по ручному аннотированию и улучшая воспроизводимость.

Introduction

Drosophila melanogaster — широко используемый модельный организм с мощными генетическими инструментами и хорошо проработаными нейронными цепями, позволяющими механистически анализировать поведение¹. У него широкий спектр социальных проявлений поведения, включая ухаживание и агрессию, а также высокие способности к^{обучению 2,3,4,5,6,7,8}. Каждый из них состоит из отдельных моторных элементов, управляемых компактной, но чрезвычайно хорошо организованной нервной системой. Важно, что точное измерение осанки тела крайне важно для понимания неврологических основ выбора действий, поскольку многие из этих поведенчений содержат тонко прописанные отуральные мотивы, кодирующие контекстуальную и внутреннюю информацию ^9,10.

Несмотря на необходимость одноразового разрешения для фиксации индивидуальных различий, многие поведенческие тесты с высокой пропускной способностью у Drosophila по-прежнему опираются на групповые^{индексы 11}. Высокопроизводительные поведенческие анализы включают T-лабиринты тесты на социальные^{предпочтения 12,13}, анализы социального расстояния, количественно определяющие расстояние между мухами, или парадигмы агрегации/избегания под сенсорной^{стимуляцией 14} могут эффективно фиксировать тенденции популяции. Однако они по своей сути связаны с усреднением между индивидами, тем самым скрывая гетерогенность последовательностей действий и временную структуру социальных обменов. С годами попытки перейти к идентификации на мушку опирались на функционально ограниченные методы, такие как обнаружение событий на основе правил с использованием кинематических порогов, фоновый вычитание с отслеживанием центроидов и ручная^{видеоаннотация} 15,16,17,18. В результате отдельные действия, такие как рывки, постукивание или угрозы крылом, часто игнорируются или неправильно обозначаются, что требует значительной ручной коррекции. Такие ограничения ограничивали механистические исследования, требующие точного временного согласования нейронной активности и индивидуальных действий.

Революционное решение теперь доступно благодаря недавним достижениям в области компьютерного зрения и оценки поз на основе машинного обучения. Открытые фреймворки, такие как^{DeepLabCut 19} и^{SLEAP 20} , позволяют обнаруживать части тела без маркеров, масштабируемую классификацию отдельных действий и сохранять индивидуальную идентичность даже при тесных взаимодействиях. Эти особенности преодолевают недостатки прежних групповых и правилоориентированных подходов и позволяют повторяемую количественную оценку сложных социальных поведенчений.

Индивидуальные взаимодействия у Drosophila характеризуются уникальными моторными особенностями, указывающими на прогрессирование социальных взаимодействий. Агрессия, например, включает типичные поведения, такие как рывки, угрозы крыльями и захват, все из которых представляют собой растущие стадии^{конфликта 21,22}. Ухаживание аналогично определяется ориентацией, односторонним выдвижением крыльев с постановкой песни, постукиванием и попыткой спаривания, которые вместе образуют временную последовательность брачных^{взаимодействий 23}. Запечатлеть эти мотивы зависит от точного распознавания позы тела и движений^{суставов 24,25}. На практике выборка требует высокого пространственного и временного разрешения на протяжении длительных периодов записи, чтобы тонкие моторные паттерны могли быть точно обнаружены и согласованы с нейронной^{активностью 25,26}.

Здесь мы представляем открытую, основанную на видении фреймворк для автоматизированной идентификации пяти анатомических ключевых точек — головы, грудной клетки, живота, левого и правого^{крыла 27}. Система включает полный рабочий процесс по созданию наборов данных, обучению модели и извлечению координат, а также выводит высокоразрешающие временные ряды, подходящие для настраиваемой классификации поведения. Автоматизируя процессы ручной аннотации и стандартизируя аналитические рабочие процессы, наш метод позволяет проводить тонко масштабный количественный анализ поведения в социальном взаимодействии, повышая эффективность и воспроизводимость, а также значительно сокращая время и труд, необходимые для анализа.

Для проверки надёжности системы мы применили её к двум широко используемым лабораторным штаммам — w1118 и Canton-S (CS), и наблюдали стабильное обнаружение ключевых точек между кадрами, а также генотип-специфические различия в пространственной заполнености, траектории и показателях социального взаимодействия на основе расстояния до головы и угла ориентации. Исследователи могут оценить пригодность этого протокола на основе необходимого пространственно-временного разрешения (≥30 кадров в секунду, ≤0,5 мм/пиксель) и условий видеозаписи (освещение и контраст). Размер пикселя можно напрямую определить по настройкам камеры. Плодовая мушка с измеренной длиной тела может быть размещена внутри поля зрения для калибровки. Этот протокол особенно подходит для следующих сценариев: необходимость одновременно отслеживать две свободно взаимодействующие дрозофилы и различать их индивидуальные идентичности; сосредотачиваться на тонких позах (например, угол головы и расстояние), а не только на центроидах; продолжительность записи превышающая 10 минут, когда ручная аннотация невозможна; требующая временного согласования на миллисекундном уровне между поведенческими событиями и нейронной активностью (например, кальциевой визуализацией или электрофизиологией) в последующих анализах.

Protocol

1. Подготовка мухи

1. Собирайте и полуйте мух в возрасте примерно 3–4 дней под кратковременным наркозом CO₂ перед экспериментами.
   ПРИМЕЧАНИЕ: Продолжительность анестезии и скорость потока CO₂ могут варьироваться в зависимости от технических характеристик и давления баллона с углекислым газом, используемого в каждой лаборатории. Мух следует постоянно контролировать во время анестезии, а воздействие CO₂ — только до полной анестезии и полного прекращения движения.
2. Поместите каждую муху по отдельности в трубку Falcon объёмом 50 мл, содержащую стандартную среду кукурузной муки–агар–глюкозы–дрожжей.
3. Поддерживайте мухи при 25 °C в рамках 12-часового цикла свет/тьма до использования.

2. Строительство арены

1. Подготовьте две прозрачные акриловые пластины диаметром 3 мм и одну полиэтиленовую пластину толщиной 3 мм.
2. Вырежьте четыре круглые камеры (диаметром 35 мм каждая) в центре полиэтиленовой пластины.
3. С помощью клипсов соединяют одну акриловую пластину с полиэтиленовой пластиной, чтобы сформировать основание камеры; Вторую акриловую пластину оставьте как съемную крышку.

Рисунок 1: Схема поведенческой арены и установки визуализации. (A) На схеме изображено строительство индивидуальной наблюдательной камеры. Камера состоит из трёх основных слоёв: прозрачной акриловой основы толщиной 3 мм; полиэтиленовая пластина диаметром 3 мм с четырьмя круглыми вырезами диаметром 35 мм, служащие в качестве отдельных камерных ямак; и вторая акриловая пластина, которая служит съемной крышкой. (B) Для вертикальной установки камеры на оптический столб диаметром 40 см используется адаптерный зажим под углом 90°. Для сверху вниз камера располагается непосредственно над многослойной ареной для наблюдения, оптическая ось перпендикулярна поверхности камеры. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

3. Установка визуализации

1. Соберите два оптических столба диаметром 20 см и один 40 см с адаптерными зажимами под углом 90°.
2. Установите камеру (1280 × 1024 пикселей) вертикально на столбе диаметром 40 см, перпендикулярно поверхности арены, и установите частоту кадров на 150 кадров в секунду.
3. Разместите арену на 25 см × 25 см диммируемую белоснежную светодиодную панель, покрытую диффузионным слоем.
4. Настройте освещение примерно до 1500 люксов на поверхности арены.
   ПРИМЕЧАНИЕ: Убедитесь, что края крыльев остаются видимыми в бинарном предварительном просмотре. Избегайте >2000 люкс, чтобы предотвратить появление тепловых артефактов, так как мухи могут изменить своё естественное передвижение или распределение из-за теплового напряжения от источника света.

4. Процедура записи

1. Положите пенопластовые подушки диаметром 3 см под каждый угол арены для стабилизации.
2. Пересадить пары мух под анестезией CO₂ в камеры; Герметизация с верхней акриловой пластиной.
3. Дайте мухам акклиматизироваться в течение 40 минут перед записью.
4. Начните запись видеозаписи с помощью MIAS.exe²⁷: нажмите q для начала и c для остановки.
   ПРИМЕЧАНИЕ: Это приводит к непрерывной видеозаписи свободно взаимодействующих пар мух в стандартизированных условиях.

5. Определите панель социальной активности

1. Запустите скрипт предварительной обработки: python SoAL_PreProcess.py [video_file_path]
   ПРИМЕЧАНИЕ: Все скрипты для программирования размещены в Дополнительном файле 1.
2. Аннотировать площадь камеры и присваивать метаданные в виде Genotype_age (дней) × 1 (количество камер). (например, CS_3 × 1)
3. Отрегулировать ползунок порога обнаружения так, чтобы крылья стали почти невидимыми на бинарном изображении, чтобы обеспечить оптимальное фоновое вычитание и видимость крыла.

6. Подготовка наборов данных

1. Создайте новую папку с набором данных, запустив:
   python tools/SoAL_DatasetGen.py DATASETNAME 10 (интервал выборки кадров)
   ПРИМЕЧАНИЕ: Параметр интервала дискретизации кадров ("10") был адаптирован из ранее опубликованного^{протокола 27}. Более низкие значения увеличивают плотность выборки и вычислительную нагрузку, тогда как более высокие значения снижают вычислительные нагрузки и могут корректироваться в зависимости от доступной аппаратной производительности и экспериментальных требований.
2. Настройте путь видео и путь набора данных в разделе 'tools/SoAL_DatasetUtils.py'
3. Интерфейс ручной маркировки запуска:
   >python tools/SoAL_LabelUI.py DATASETNAME
   1. Навигация по кадру: нажмите клавишу Space или Z для перехода к следующему или предыдущему кадру соответственно. В качестве альтернативы используйте ползунок временной линии для навигации.
   2. Маркировка ключевых точек: Нажмите на правильное положение мухи на каждом изображении (в определённой последовательности: голова, грудь, живот, левое крыло и правое крыло), чтобы отметить 5 ключевых точек.
   3. Выбор ключевой точки: нажмите цифровые клавиши, чтобы выбрать ключевую точку (обозначенную белым кругом). Следующий клик переназначает новый номер выбранной ключевой точке.
   4. Сохранение: Закройте окно или нажмите клавишу D, чтобы сохранить результаты аннотаций.
      ПРИМЕЧАНИЕ: Полный архив обучающего набора состоит из двух компонентов: каталога изображений и файла annotation.json.

7. Обучение моделям

1. Разделите набор данных на обучающие и валидационные наборы:
   python tools/SoAL_DatasetGen.py разделить DATASETNAME
   В 'dataset/' будут созданы две новые папки.
2. Настройка параметров обучения в hrnet/fly_w32.yaml:
   Коэффициент поворота: 15°
   Коэффициент масштаба: 0,35
   Коэффициент яркости: 0,25
   Размер партии: 24
   Эпохи: 200
3. Проведите программу обучения:
   Python hrnet/tools/train.py --cfg hrnet/fly_w32.yaml
   Завершать тренировочные наборы, когда средняя точность (AP) достигает плато; сохранять лучшую модель (AP > 90%).
4. Валидируйте модель с помощью следующих методов:
   Python hrnet/tools/test.py --cfg hrnet/fly_w32.yaml
   Результат: Надежная модель на основе HRNet для обнаружения ключевых точек между несколькими элементами.

8. Запустить программу обнаружения

1. Скопируйте новые видеофайлы в видеопапку.
2. Аннотировать метаданные, как показано на шаге 5.
3. Запустите программу обнаружения: python SoAL_KptDetect.py all
4. Проверьте результаты обнаружения:
   Python Tools/SoAL_ViewKptUI.py excel_file_path (.cvs/xslx)
   Результат: Двумерные координаты пяти анатомических ориентиров на каждом пролете через кадры.

9. Поведенческая количественная оценка

1. Запустите отдельное GUI-приложение для анализа (Дополнительный файл 2) и импортируйте координаты в интерфейс.
2. Генерируйте тепловые карты пространственного заселения (вероятностную плотность позиций арены).
3. Реконструировать траектории локомотивов по координатным временным рядам.
4. Создавайте данные о социальном взаимодействии, включая расстояние до головы, ориентацию и производное социальное состояние.
   Результат: стандартизированная визуализация генотип-специфического пространственного использования и динамики движения.

Results

Рисунок 1 иллюстрирует геометрию арены, конфигурацию освещения и расположение камеры, используемые для записи естественных социальных взаимодействий у дрозофилы. Система обеспечивает равномерное освещение и стабильные условия изображения, подходящие для оценки позы и выделения координат.

Автоматизированная оценка позы применялась ко всем записанным видео для извлечения двумерных координат для заранее заданных анатомических ключевых точек каждой мухи. Модель стабильно идентифицировала суставы головы, груди, брюшной и крыльев по всему корпусу, даже при ближнем взаимодействии. На рисунке 2 показан представительный кадр с наложенной ключевыми точками, демонстрируя точное многолетное отслеживание и стабильное обнаружение ключевых точек на протяжении всей записи. Надёжность этого шага гарантирует, что извлеченные временные ряды координат могут служить надёжной основой для дальнейших количественных анализов. Рисунок 3 иллюстрирует аналитический рабочий процесс.

Используя извлеченные координаты и пропорцию кадров для каждой координаты, мы создали тепловые карты пространственного заселения, чтобы визуализировать совокупное распределение позиций мух внутри арены. Эти тепловые карты суммируют вероятностную плотность расположения мух во времени и выделяют области с предпочтительной заселением. На рисунках 4 и 5 представлены репрезентативные тепловые карты для мушек w1118 и Canton-S (CS). Различия в пространственных паттернах использования между центральной и периферийной зонами в двух генотипах легко заметны, отражая различия в исследовании арен и предпочтениях зон.

Помимо паттернов заселения, мы реконструировали траектории локомотивов из координатных временных рядов, чтобы зафиксировать динамику движения в тонком масштабе. Траектории генерировались путём соединения двумерных координат мух из каждого последовательного кадра без сглаживания. Траектории, показанные на рисунках 4 и рисунке 5 , иллюстрируют индивидуальные траектории движения для мух w1118 и CS, показывая генотип-специфические различия в диапазоне передвижения, сложности пути и переходах между зонами высокой населённости. Вместе результаты обнаружения ключевых точек, тепловые карты и реконструкция траекторий показывают, что совместный конвейер оценки поз и анализа на основе координат эффективно фиксирует и дифференцирует поведенческую структуру свободно взаимодействующих дрозофил между генотипами.

Мы также определили социальное взаимодействие в каждом кадре на основе двумерных координат пяти анатомических ключевых точек. Пара считалась социально вовлечённой, если оба критерия были выполнены одновременно: расстояние головы к лицу более 0,5 мм, но менее 20 мм, и разница ориентации более 30°^28,29,30,31. Соответственно, мы измерили долю времени, проведённого в социальном взаимодействии для каждой пары (шесть пар на генотип). Наш метод может надёжно измерять социальное поведение мух, как показано на рисунке 6. Средние социальные коэффициенты для мушек W1118 и CS составляли 0,270 ± 0,001 и 0,252 ± 0,005 соответственно в шести независимых экспериментах с репликацией, что свидетельствует о высокой воспроизводимости между различными экспериментальными группами. Также это согласуется с результатом, что нет значительной разницы в социальном соотношении между двумя дикими типами мух.

Рисунок 2: Репрезентативные результаты обнаружения ключевых точек. Автоматическая оценка позы определяла все заранее заданные анатомические ключевые точки для каждой перелёты через кадры. Наложенные маркеры иллюстрируют точное отслеживание нескольких мух во время естественных социальных взаимодействий. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 3: Рабочий процесс анализа. Основной рабочий процесс включает предобработку, подготовку данных, обучение модели и валидацию, и в конечном итоге даёт двумерные координаты Drosophila, за которыми следует анализ на основе графического интерфейса. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Рисунок 4: Репрезентативная тепловая карта активности и траектории движения мух w1118. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Тепловая карта показывает совокупную пространственную заполненость арены более 10 минут, показывая предпочтительные зоны активности для каждой мухи w1118. Наложенные траектории иллюстрируют индивидуальные траектории движения, восстановленные по координатным временным рядам.

Рисунок 5: Репрезентативная тепловая карта активности и движущие траектории мух Canton-S (CS). Пожалуйста, нажмите здесь, чтобы посмотреть увеличенную версию этого рисунка.

Тепловая карта показывает распределение пространственной занятости каждой мухи CS во время свободного взаимодействия в течение 10 минут. Реконструированные траектории подчёркивают диапазон движения и структуру пути, что позволяет сравнивать с поведенческими паттернами w1118.

Рисунок 6: Социальное соотношение у диких мух .Количественная оценка социального поведения после 10 минут в камере. Для шести пар каждого генотипа в небольшой арене, чтобы определить процент социальных контактов. Социальные коэффициенты для мушек W1118 и CS составляли соответственно 0,270 ± 0,001 и 0,252 ± 0,005. Данные представлены в виде среднего ± SD. Статистические сравнения проводились с использованием непарного двухстороннего t-теста Студента. Пожалуйста, нажмите здесь, чтобы увидеть увеличенную версию этой фигуры.

Дополнительный файл 1. Все кодовые файлы, необходимые для выполнения протокола.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 2. Отдельное GUI-приложениеПожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 3. Требования к PythonПожалуйста, нажмите здесь, чтобы скачать этот файл.

Discussion

Наше исследование показывает, что оценка позы на основе машинного обучения предоставляет масштабируемый и надёжный метод измерения тонких социальных взаимодействий у дрозофил. Он преодолевает ограничения центроидных^{подходов} 15,16,17,18, отслеживая пять анатомических ключевых точек в свободно взаимодействующих парах, что позволяет получать угловую информацию, предоставляемую осью тела и расстояние головы к голове, выведенную из головных точек. Наша техника позволяет воссоздавать пространственные паттерны занятости и траектории движения, отслеживая центроидные координаты мух в каждом видеокадре для определения маршрутов движения и используя пятиточечные ориентиры для оценки ориентации головы. Стабильное обнаружение ключевых точек, наблюдаемое как для штаммов w1118, так и у штаммов Canton-S, свидетельствует о том, что конвейер устойчив к естественным изменениям динамики движения, что обеспечивает воспроизводимую основу для последующей поведенческой классификации. Эти возможности необходимы для анализа тонких моторных элементов, кодирующего внутренние состояния и контекстуальную информацию в социальном поведении ^8,9.

Для обеспечения стабильных результатов оказалось необходимо несколько методологических факторов. Тепло и интенсивность освещения системы освещения значительно влияли на поведенческое выражение, что соответствует более ранним данным о влиянии факторов окружающей среды на социальную и двигательную активность мух^32,33. Параметры изображения, включая фокусное расстояние, контраст и гамма, которые эмпирически корректируются в наших экспериментах, также влияли на точность оценки позы, что соответствует предыдущим данным о том, что высокоскоростные поведенческие записи требуют тщательной оптической калибровки для фиксации быстрых^{движений 34,35}. Поведенческая вариабельность также зависела от процедур обращения: анестезия CO₂ приводила к количественным изменениям в социальном взаимодействии и передвижении, что соответствует предыдущим публикациям, показывавшим поведенческие изменения, вызванные^{анестезией 36,37,38}. Этот шаг особенно важен, потому что при недостаточной анестезии мухи могут прийти в сознание и сбежать после помещения в камеру; Напротив, при достаточной анестезии мухам нужно дать достаточно времени на восстановление, так как недостаточная акклиматизация снижает их мотивацию двигаться позже, что серьёзно скажется на дальнейшем анализе.

Несмотря на силу трубопровода, остаются некоторые ограничения. Точность оценки позы чувствительна к качеству аннотаций, поэтому даже небольшие ошибки маркировки могут распространяться в искажения на восстановленных траекториях. Эта проблема ранее наблюдалась в других системах оценки поз^20,34. Смещения домена, вызванные изменениями освещения, текстуры фона или напругой мухи, могут снизить производительность модели, что требует периодической переобучения или расширения набора данных. Кроме того, эксперименты, в которых не удаётся обнаружить более 5% кадров ключевых точек, следует исключить или включить в итеративную доработку модели. Строгий контроль версий (как указано в дополнительном файле 3) также необходим для вычислительной воспроизводимости, поскольку несогласованные выходы могут возникать из-за различий в зависимости программ.

Будущие улучшения могут включать автоматизированные процедуры калибровки, стратегии адаптации доменов для улучшения обобщения моделей в экспериментальных условиях и интеграцию самостоятельного обучения для снижения необходимости ручного аннотирования. Воспроизводимость между лабораториями будет дополнительно улучшена за счёт стандартизации отчётности параметров изображения, факторов окружающей среды и параметров обучения моделей. В целом эти факторы подчёркивают преимущества и недостатки количественной оценки поведения на основе машинного обучения и служат дорожной картой для дальнейшего совершенствования подходов к оценке осанки в исследованиях социального поведения Drosophila .

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Агар	BioFroxx	8211GR500
камера(MV-CU013-A0UC)	Hikvision	MV-CU013-A0UC
Двуокись углерода	Messer	124-38-9
D(+)-Глюкоза безводная	BioFroxx	1179GR500
Дрозофила в узких пробирках (трубка Falcon)	Biolgix	51-0500
Этанол	Chron Chemicals	64-17-5
Панель светодиодов	/	/	на заказ
Метилпарабен	Sigma	99-76-3
полиэтиленовая пластина	/	/	на заказ
Python	/	версия 3.6
Сахароз	DaMao	57-50-1
прозрачные акриловые пластины	/	/	на заказ
Дрожжи	Angel	100004237033