Summary
Мы используем замкнутый летать-машинного интерфейса для исследования общих принципов нейронной контроля.
Abstract
Нестационарного характера и изменчивость нейронных сигналов фундаментальную проблему в мозг-машина взаимодействия. Мы разработали мозг-машинного интерфейса оценить надежность различных контрольно-законы применяются к замкнутой задачи стабилизации изображения. Воспользовавшись тем, что хорошо характеризуется летать visuomotor пути мы записываем электрической активности от определили, движение чувствительных нейронов, H1, для контроля рыскания вращения двухколесного робота. Робот оснащен 2 высокоскоростные видеокамеры обеспечения визуального ввода движение летать, расположенной перед 2 ЭЛТ-мониторов компьютера. Активности нейрона H1 указывает направление и относительная скорость вращения робота. Нейронной активности фильтруется и подается обратно в рулевой системе робота с помощью пропорциональной и пропорциональная / адаптивного управления. Нашей целью является проверка и оптимизация производительности различных законов управления при замкнутой условия для более широкого применения и в других машинный интерфейс мозг.
Protocol
1. Подготовка Fly
- Первый шаг в постановке эксперимента включает в себя подготовку летать так, что никакой принудительной развращает движения устойчивость нейронов записей и, что глава летать правильно ориентированы видеотехника стимуляции. Чтобы начать подготовку летать, охладить его на льду, а затем использовать притупляются палочки коктейль держать опущенными крыльями, и исправить задней лететь в части двусторонней ленты на предметном стекле микроскопа.
- Затем с помощью электро-прижигание иглу применять пчелиный воск, чтобы прикрепить крылья к слайду, а также блокируют действие полета двигателя. Этот шаг требует быстрой и точной обработки, так что летать не нагревается во время процедуры.
- Теперь под микроскопом, удерживая каждую ногу с щипцами и использовать пару маленьких ножницы, чтобы отрезать их на стыках ближе к телу. Повторите эту процедуру для хоботком. Для предотвращения летать от высыхания, отверстия должны быть запечатаны воском.
- Затем вырезать одну крылья, а затем включите летать на свою сторону. Удалите все оставшиеся части крыла, оставляя calyptra покрытие жужжальцами, и печатью отверстие воском. Повторите эту процедуру для других крыла.
- Для стимулирования целевого нейрона в установленном порядке, руководитель мухи должны быть должным образом увязаны с компьютерных мониторов. Чтобы сделать это, вам нужно настроить держатель, который имеет широкое пространство для тела мухи и придатка на одном конце с выемкой вырезать, где шея мухи будет размещен.
- Место летать на держателе с его шеи в паз, прижимая его вниз, а склейка живота на месте. Теперь поместите летать держатель стоять так, что вы можете видеть перед головой летают через микроскоп.
- Просмотр летать с красным светом, оптические явления, называемого псевдо-ученик можно увидеть в каждый глаз. Псевдо-ученик обеспечивает отсчета, которая может быть использована для выравнивания головы мухи с раздражителем (Franceschini 1975). Если псевдо-ученик берет на себя определенную форму, как показано на изображении ниже вставить, то ориентация головой мухи вполне определены.
- Использование микроманипулятора правильно ориентироваться головой мухи, а затем с помощью воска, чтобы приклеить ее к держателю.
- Далее пресс грудной клетки плашмя и воска его владельца. Это позволяет задней капсулы голове должен быть открыт, так что электроды могут быть вставлены в лету мозга.
- Использование микро скальпелем или тонкой иглой тщательно вырезать окно в кутикулу право головной капсулой. Будьте осторожны, чтобы не порезать нейронных право ткани под кутикулой. Как только кусок кутикулу удаляют, добавить несколько капель раствор Рингера.
- Используйте пинцет, чтобы удалить любые плавающие волосы, жировые отложения, или мышечной ткани, которая может охватывать lobula пластины. Пластины lobula можно определить по характерным ветвления серебристого трахею, которая охватывает его задней поверхности.
- Вырезать маленькое отверстие в кутикулу левой задней капсулы голову для позиционирования электрода сравнения. С лету подготовлены, давайте посмотрим, как позиционировать записи электрода.
2. Позиционирование Запись Электрод
- С лету подготовлены, давайте перейдем к поиску и записи сигналов от нейрона H1. Запись электрод должен быть размещен в непосредственной близости от H1 нейрона. H1 нейрона главным образом реагирует на горизонтальной спиной к передней движения представил своим рецептивного поля (Крапп и соавт. 2001).
- Чтобы разместить запись электрода, используйте трахеи, как визуальный ориентир. Первоначально место электрода между верхней трахеи.
- Это позволяет использовать аудио усилитель для преобразования записанных электрических потенциалов в акустические сигналы. Каждый шип превращается в характерный щелкающий звук. Чем ближе электрод попадает в отдельный нейрон, тем яснее становится щелкающий звук.
- Чтобы определить H1 нейрона с помощью его движения предпочтения, стимулировать его движение в горизонтальном направлении. При записи электрода на месте, давайте перейдем к визуальной стимуляции и записи.
3. Визуальной стимуляции и записи
- Замкнутой эксперименты установки, что такие, что стимуляция нейронов Н1 приводит к роботу компенсируя движение под столом. Во-первых, место летать в присутствии двух ЭЛТ-мониторов компьютера. Потому что летать зрительной системы в 10 раз быстрее, чем человека, в мониторах должен отображать 200 кадров в секунду. Мониторов и другого электрического оборудования должны быть электромагнитно экранированными, чтобы минимизировать внешние помехи в измеряемом нейронных сигналов.
- Позиция центров мониторов на + / - 45 градусов по отношению к ориентации мухи. Как видно из глаз экватора мухи на каждом мониторе виден угол + / -25 градусов по горизонтали и +/ -19 Градусов в вертикальной плоскости.
- Синхронизированная вклад в компьютерных мониторов обеспечивают два видео-камер, установленных на малых, двухколесный робот ASURO, которые были изменены для эксперимента.
- Установите робота на стол свою очередь в цилиндрической области, стены которого выложены с узором из вертикально ориентированных, черные и белые полосы. При вращении под стол в горизонтальной плоскости, движения робота ограничиваются только одну степень свободы.
- Первоначально оба под столом и робота находятся в покое. Когда под стол начинает двигаться, его вращение осуществляет робот, в том же направлении и видео камеры записывают относительное движение между роботом и полосатый рисунок на арене.
- Батарейное питание видеокамеры на робота установлены в ориентации + / - 45 градусов. Они захвата 200 изображений в секунду, чтобы соответствовать частоте кадров компьютерных мониторов перед летать.
- Вход изображения представлены компьютерные мониторы со скоростью 200 кадров в секунду при разрешении 640 х 480 (серого).
- В то время как муха следить за движениями полосатый рисунок, запись полоса прошла фильтром (например, от 300 до 2 кГц) электрических сигналов с цифровой борту Приобретение использовании частоты дискретизации не менее 10 кГц.
- Порог применяется к полосе прошли фильтруется электрические сигналы отдельных шипами от фоновой активности. Причинные, наполовину гауссовского фильтра свертывается с шипами для получения гладкой оценку деятельности пики для H1 клетки.
- Чтобы закрыть петлю-машинный интерфейс мозг, алгоритм управления используется для преобразования шип скорость H1 ячейки робота скорости, которая подается обратно через Bluetooth интерфейс для управления двумя двигателями постоянного тока вождения колес робота.
- Чистый синус волны выбрана в качестве профилей скорости в свою очередь, стол. Синус волны DC-смещения, что под стол только вращается в направлении, которое стимулирует H1 нейрона по его выделенного направления. Стимуляция нейронов Н1 приводит к роботу компенсируя движение под столом.
Рисунок 1: Закрытая установка петли. В нашей установке, пики активности левой ячейке H1 используется для управления движением робота установлена на поворотном столе. Визуальный образ движения, образующихся в результате относительного движения между роботом и под стол фиксируется с помощью высокоскоростных камер и отображаться на двух мониторах CRT перед летать. H1 пики активности левого полушария используется для оценки в режиме реального времени шип ставке, которая затем использует закон управления для расчета компенсации скорость робота. Робот контр-вращение стабилизирует движение визуального изображения наблюдали лету во время управления с обратной связью.
4. Результат представителя и результаты
- Когда настроено правильно, визуальные стабилизация достигается, когда контр-вращение робота матчей вращения под стол, в результате чего практически не картина движения на компьютерных мониторах. Общую производительность системы зависит от алгоритма управления используется, чтобы закрыть петли.
- Первый алгоритм мы тест пропорционального контроллера (рис. 2), где обновленный робот скорость пропорциональна разнице в угловых скоростях между роботом, ωr, и под столом, ωp. Различные значения для статического усиления, Кр, и ввод частоты под стол сигнал, ωp, выбраны для тестирования производительности контроллера.
Рисунок 2: Пропорциональный контроллер. (А) относительное движение между роботом и под столом в выделенное направление стимулирует H1 ячейки, чтобы дать скорость шип, Ф. Этот показатель шип превращается в скорости ошибку, Е и пропорциональный контроллер используется для оценки обновленный робот скорость, VR (т +1). Скорость шип, Ж, преобразуется в скорости ошибку, Е, исходя из того, оно меньше или больше скорости спонтанного спайка, Fspont. Скорость шип для ускорения ошибки преобразование выполняется путем проецирования Р на косинус (интервал [π, 0]) с учетом нелинейности пики скорости порог. Константы 70 и 150 используются для матча 8-бит на входе скорость робота минимальные и максимальные угловые скорости под столом. (Б) блок-схема замкнутой системы с помощью пропорционального регулятора. Вход системы sinosuidal модуляции под стол угловой скорости, ωp (т), а соответствующий ответ робота ωr (T +1) записывается. - Пример следов для ω ω р и т приведены здесь для К р = 1 и входной частоте 0,6 Гц для ω р (см. рисунок 3). Робот (зеленый) следует под столом (в синем) с лагоми меньше пиковой амплитуды. Горизонтальной составляющей картину движения, которая стимулирует H1 ячейке показано ниже (красным цветом).
Рисунок 3: Закрытая ответы цикла. () Угловая скорость для поворота стола (синий), ωp, и телемеханики (зеленый), ωr, при вводе частоты = 0,6 Гц. (Б) Горизонтальный оптического потока показано, рассчитанной по системе изображения (красного цвета). Пирамидальная Лукас Kanade метод (3 уровня пирамиды) используется для вычисления оптического поля течения между двумя последовательными кадрами изображения. Горизонтальная угловая скорость рассчитывается путем суммирования прогнозы отдельных векторов поля течения на горизонтальную единичный вектор i. Горизонтальное спиной к передней движения, которые возбуждают H1 клетка называется PD (выделенное направление), а горизонтальные вперед-назад, что тормозит движение H1 клетка называется ND (нулевое направление). - Входные частоты под стол сигнал, ωp, выбирают между 0.03-3 Гц и соответствующий сигнал робота, ωr, записывается. Оба сигнала преобразуются в частотной области путем быстрого преобразования Фурье (см. рисунок 4) и амплитуды и фазы значения рассчитываются на входе частоты.
Рисунок 4: Частотный диапазон угловых скоростей сигналы для поворота стола, ωp, и робот, ωr, превращаются в частотной области с помощью быстрого преобразования Фурье (БПФ) метод расчета амплитуды и фазы компоненты на входе частоты.. Фазы компоненты БПФ не показаны на рисунке. - Боде величины участка для пропорционального контроллера с К р = 1 показывает отклик системы на протестированных частотах входе (см. рисунок 5-а). Производительность контроллера как правило, уменьшается с увеличением частоты. Несколько увеличился прирост на 1 Гц в результате колебаний в робота сигнала за счет использования только одного H1-ячейку, динамические (выход) диапазон охватывает главным образом горизонтальной спиной к передней движения.
Рисунок 5: Пропорциональная производительность контроллера. Боде амплитуды и фазы участков для пропорционального контроллера (в среднем за 8 мух), статический коэффициент усиления Kp = 1,0 () сулит ничего величине участок примерно следующим фильтра нижних частот характеристика. Несколько увеличился прирост на 1 Гц в результате колебаний в робота сигнал, ωr, в связи с использованием только одного H1-ячейку, динамические (выход) диапазон охватывает главным образом горизонтальные задом наперед движения. Число колебаний в сигнале робота, ωr, уменьшается с ростом частоты входного приводит к несколько повышенным усилением на этих частотах. (Б) Боде фазы участка составляет менее 180 ° для ввода частоты ≤ 1 Гц и подходы нестабильность с частотой 3 Гц. За определенную частоту ввода, контроллер становится нестабильным из-за кинематики робота. Эта неустойчивость возникает только за пределы известных оптимальный диапазон отклика системы летать визуального (Warzecha и соавт. 1999). - Боде фазы участка (см. рисунок 5-б) показывает, контроллер фазовой задержки менее Π для ввода частоты <0,6 Гц. Это показывает, что контроллер стабильным для частот <0,6 Гц и неустойчиво при входных частотах ≥ 1 Гц.
- Производительность пропорциональна контроллер со статическим Кр (в синем) была по сравнению с контроллером адаптивных (в красном), где значение К р обновляется каждые 50 мс на основе пиковой скорости шип, F макс, рассчитывается за промежуток времени [T-500 мс - т] (см. рисунок 6). В результате большое окно времени интегрирования, пропорциональная контроллер работает лучше, чем адаптивный контроллер для параметра Диапазон испытания (см. рисунок 7-а). Начальное окно времени интеграции 500 мс был выбран по техническим причинам, связанным с роботом платформы мы используем. Контроллер адаптивного была подобная характеристика фазы пропорциональна контроллера (см. рисунок 7-б).
Рисунок 6: адаптивный регулятор усиления. Пропорциональный контроллер использует статический коэффициент усиления, Kp, в то время как адаптивный контроллер оценкам усиления непрерывно во время управления с обратной связью. Динамического усиления, Кр, обратно пропорциональна максимальной скоростью шип, Fmax, в интервале т-500 мс ≤ τ ≤ t. На рисунке показан трех инстанций, где Fmax оценивается с течением времени. На основе оценочных значений Fmax, Кр является самым высоким в течение временного окна 2 (зеленый) и самый низкий в течение временного окна 3 (оранжевый).
Рисунок 7: Пропорциональный против адаптивного регулятора. Боде амплитуды и фазы участков для пропорционального (Кр = 1) и адаптивный контроллер() Адаптивного обновления контроллера значения Kp каждые 50 мс на основе пика Fmax скорость оценкам шип в течение последних 500 мс. Пропорционального участка получить контроллер (синий) выше, чем у контроллера адаптивного (красный) о том, что она выполняет лучше всех входных частот. (Б) Боде фазы участков для обоих контроллеров схожи с значимое отличие при F = 0,3 Гц. Оба контроллера подход нестабильность с частотой 3 Гц. Значительно различные усиления и фазы значения отмечены звездочкой (суммы рангов Вилкоксона метод, р = 0,05). - Решетка картина вокруг поворотного стола был удален и лабораторных условиях была использована в качестве приближения натуралистических визуальный вход для летают H1-клетки. В среднем, Боде величина участка (см. рисунок 8-а) для натуралистического визуальной информации (в синем) показал немного выше доходы, чем тот, с решеткой визуальной информации (в красном), вероятно, потому, что широкий спектр пространственных частот в натуралистической визуальные образы эксплуатируется. Боде фазы участок характеристики решетки против натуралистического визуальные входы были сходными (см. рисунок 8-б).
Рисунок 8: Stripped картина по сравнению с лабораторной среде. Боде амплитуды и фазы участков для пропорционального контроллера при предъявлении раздели моделей (красная) в сравнении с лабораторной среде (синий) визуальные образы в замкнутом контуре () Боде величине участок, когда изображения лабораторных условиях используются несколько выше, чем когда лишил картину используется (за исключением F = 0,1 Гц), с указанием более высокую производительность при такой стимул. (Б) Боде фазы участка под визуальные условия следуют той же схеме, как с приближающейся нестабильность с частотой 3 Гц. Значительно различные усиления и фазы значения отмечены звездочкой (суммы рангов Вилкоксона метод, р = 0,05).
Discussion
- Fly вскрытие должно проводиться тщательно убедившись, что мы правильно ориентироваться летать в отношении компьютерных мониторов.
- Разделение шипы от H1 нейрона с шипами от всех других нейронов, чтобы получить хорошее соотношение сигнал-шум, который затем может быть использован для управления роботом надежно.
- Следует проявлять осторожность, чтобы предотвратить любую нервную ткань от высыхания в ходе эксперимента.
- Камеры подключены к компьютерам с помощью кабеля Ethernet. Необходимо следить, чтобы они были не слишком рано в ходе эксперимента, поскольку это будет влиять на вращение робота.
- В настоящее время мы используем всплеска активности одного H1 для установки стабилизации задачу только в одном направлении рыскания вращения. Мы можем добавить второй электрод, чтобы получить сигналы от левого и правого H1 так, что мы можем изучать алгоритмы стабилизации контроля в обоих направлениях рыскания вращения.
- Мы можем удалить арене содержащих вертикально ориентированных черные и белые полосы и использования лабораторных условиях, как визуальный стимул летать. Это позволит нам изучить замкнутой производительность с натуралистическим изображениям.
- Робот может быть удалена из под стола и разрешено передвигаться лабораторной среде, а в замкнутом контуре. Это позволит нам исследовать алгоритмы управления, участвующих в предупреждения столкновений.
- Проводов, соединяющих камеры компьютеры могут быть удалены путем внедрения беспроводных систем передачи, что дает нам совершенно безудержной роботов установки.
- Показатели эффективности различных алгоритмов управления даст нам понимание того, как различные стратегии в состоянии справиться с нестационарных и переменных нейронных сигналов. Эти знания могут быть применены различные клинические и доклинические мозг-машинных интерфейсов.
- Это экспериментальная установка является первым шагом на пути к записи нейронные сигналы от поведения животных. Нашей целью является местом летать на робота и использовать его нейронной активности для управления с обратной связью. В такой системе было бы в состоянии сделать запись нейронной активности с лету, когда он получает мультисенсорной стимуляции в результате движения робота.
- Запись только сигналы от одной клетки. В конфигурации мы должны вас, наиболее подходящую ячейку будет H1-клетки. Изоляция ответы H1 нейрона от других нейронов с аналогичными рецептивных полей, например, H2, важно поддерживать хорошие отношения сигнал-шум для нейронных записей. Ответы H1 и H2 нейроны могут подвергаться дискриминации, отметив, что H2 имеет характерный ниже спонтанной и среднего пики темпами, чем H1 нейрона. Нейронов также может быть подвергнут дискриминации на основе их морфологии (Крапп и соавт. 2001).
- Наша система позволяет сравнивать замкнутой прибыли, полученной в наших мух робот интерфейс задача стабилизации изображения, а также сравнить его производительность с замкнутой оптомоторных доходы наблюдали в предыдущих экспериментах на мух (Бендер и Дикинсон 2006 года Warzecha и др. . 1996, Гейзенберг и Вольф, 1990). Кроме того, он позволяет исследовать состояние зависит от изменений в обработке зрительной информации в рамках замкнутой условиях (Chiappe и соавт. 2010, Маймон и соавт. 2010, Лонгден & Крапп 2009, Лонгден & Крапп 2010).
Acknowledgments
К. Петерсон был поддержан студенческие доктора департамента биоинженерии и финансирование из ВВС США Research Labs.
Н. Эджаз при поддержке студенчества кандидат от высшего образования комиссии Пакистана и финансирование из ВВС США Research Labs.
Materials
| Name | Company | Catalog Number | Comments |
| RosetteSep® human T cell enrichment cocktail | Stem Cell Technologies | 15061 | |
| RosetteSep® density medium | Stem Cell Technologies | 15705 | |
| RPMI 1640 medium w/glutamine/HEPES | Fisher Scientific | SH3025501 | |
| Fetal calf serum | Omega Scientific | FB-01 | |
| GlutaMAX™-I | Invitrogen | 35050 | |
| RPMI 1640 vitamin solution | Sigma-Aldrich | 7256 | |
| RPMI 1640 amino acids solution | Sigma-Aldrich | R7131 | |
| Sodium pyruvate | Sigma-Aldrich | S8636 | |
| β-Mercapt–thanol | Sigma-Aldrich | M7522 | |
| BAPTA | Sigma-Aldrich | A4926 | |
| Poly-l-lysine hydrobromide | Sigma-Aldrich | P2636 | |
| Thapsigargin | Calbiochem | 586005 | |
| Sylgard® 184 silicon elastomer kit | Dow Corning | 3097358-1004 | |
| HIPEC® R6101 semiconductor protective coating | Dow Corning | ||
| EPC 10 patch clamp amplifier | HEKA Instruments | ||
| Motorized micromanipulator | Sutter Instrument Co. | MP-285 | |
| Olympus 1X71 inverted microscope with 40X oil immersion objective | Olympus Corporation | 1X71 | |
| Patch pipette puller | Sutter Instrument Co. | P-97 | |
| Borosilicate tubing with filament (O.D.: 1.5 mm and I.D.: 1.10 mm) | Sutter Instrument Co. | BF150-110-7.5 | |
| Microforge | Narishige International | MF-830 | |
| Silicon O-rings | McMaster-Carr | 111 S70 | |
| Microscope cover glass | Fisher Scientific | 12-545-102 25 mm 25CIR-1 | |
| Pulse software | HEKA Instruments | ||
| Origin scientific graphing and analysis software | OriginLab | ||
|
|||
References
- Chiappe, E. M., Seelig, J. D., Reiser, M. B., Jayaraman, V. Walking modulates speed sensitivity in Drosophila motion vision. Curr. Biol. 20, 1470-1475 (2010).
- Franceschini, N. Sampling of the visual environment by the compound eye of the fly: fundamentals and applications. Photoreceptor optics. Snyder, A. W., Menzel, R. , Springer. Berlin Heidelberg New York. 98-125 (1975).
- Karmeier, K., Tabor, R., Egelhaaf, M., Krapp, H. G. Early visual experience and the receptive-field organization of optic flow processing interneurons in the fly motion pathway. Vis. Neurosci. 18, 1-8 (2001).
- Krapp, H. G., Hengstenberg, B., Hengstenberg, R. Dendritic structure and receptive-field organization of optic flow processing interneurons in the fly. Jour. of Neurophys. 79, 1902-1917 (1998).
- Krapp, H. G., Hengstenberg, R., Egelhaaf, M. Binocular contributions to optic flow processing in the fly visual system. Jour. of Neurophys. 85, 724-734 (2001).
- Longden, K. D., Krapp, H. G. Octopaminergic modulation of temporal frequency coding in an identified optic-flow processing interneuron. Frontiers in Systems Neuroscience. 4, 153-153 (2010).
- Bender, J. A., Dickinson, M. H. A comparison of visual and haltere-mediated feedback in the control of body saccades in Drosophila melanogaster. J. Exp. Bio. 209, 4597-4606 (2006).
- Longden, K. D., Krapp, H. G. State-dependent performance of optic flow-processing interneurons. J. Neurophysiol. 102, 3606-3618 (2009).
- Maimon, G., Straw, A. D., Dickinson, M. H. Active flight increases the gain of visual motion processing in. 13, 393-399 (2010).
- Petrovitz, R., Dahmen, H., Egelhaaf, M., Krapp, H. G. Arrangement of optical axes and spatial resolution in the compound eye of the female blowfly Calliphora. J Comp Physiol A. 186, 737-746 (2000).
- Warzecha, A. K., Horstmann, W., Egelhaaf, M. Temperature-dependence of neuronal performance in the motion pathway of the blowfly Calliphora Erythrocephala. J Exp Biology. 202, 3161-3170 (1999).
