Методическая статья

Проектирование и характеристика мультимодальной гибкой электронной кожи с использованием сбора данных на основе CPLD для тактильной интенсивности и распознавания жестов

DOI:

10.3791/70096

⸱

27 января 2026 г.

 ,  , 
1School of Computer and Information Engineering, Shanghai Polytechnic University, 2School of Intelligent Manufacturing and Control Engineering, Shanghai Polytechnic University

В этой статье

Краткое содержание

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол описывает изготовление и эксплуатацию гибкой, мультимодальной электронной системы кожи. Он использует бэкенд на базе CPLD для обеспечения синхронизированного гибридного сбора данных с 36 сенсорных каналов, что позволяет количественно анализировать сложные тактильные жесты для продвинутого роботизированного восприятия и взаимодействия человека и робота.

Аннотация

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

В данной работе представлена разработка и характеристика гибкой мультимодальной платформы электронной кожи (e-skin), поддерживающей высокоразрешённое тактильное сенсорное распознавание и распознавание жестов с помощью системы сбора данных на основе CPLD. Система интегрирует 36-канальную, 14-битную гибридную архитектуру дискретизации с частотой (2 кГц, 1 кГц, 100 Гц), с аппаратной поддержкой давления, ускорения, освещения, температуры и сигналов окружающей среды. Гибкая подложка FPC позволяет конформную интеграцию на изогнутых роботизированных поверхностях при сохранении механической стабильности. Для демонстрации тактильного восприятия данное исследование сосредоточено на канале датчика давления, который служит основным методом оценки контактной силы и динамики жестов. Были проанализированы четыре типичных человеческих взаимодействия: мягкое прикосновение, тап, лёгкое щипывание и сильное щипение. Для различения категорий интенсивности силы и жестов были введены двумерные метрики — эквивалентная аскортность формы волны и эквивалентная нагрузка. Экспериментальные результаты показывают, что система обеспечивает чёткое разделение жестов и кожную вязкоэластичную реакцию, со средним временем разгрузки 0,4 с ± 0,2 с. Поддерживается беспроводная передача данных в реальном времени со скоростью 1,5 Мбит/с, а модульная конструкция обеспечивает масштабируемую основу для будущей интеграции дополнительных модальностей. Эта работа создаёт аппаратную основу для тактильного взаимодействия человека и робота на основе силы и жестов с расширяемой способностью для мультимодальных восприятительных систем.

Введение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Тактильные сенсоры были широко изучены для роботизированноговосприятия 1,2, однако большинство электронных систем кожи (e-skin) по-прежнему полагаются на одномодальные, низкоплотные конфигурации, которые могут ограничивать интерпретацию сложного человеческого прикосновения. Несмотря на значительный прогресс в области гибких тактильных материалов и архитектур устройств3, системная интеграция мультимодального и многоканального тактильного сенсора с высокоточным и в реальном времени получением представляет собой постоянные техническиевызовы 4. Следовательно, ключевые вопросы, такие как синхронизация сигналов, координация времени и оптимизация пропускной способности данных, требуют систематического решения в крупномасштабных или тактильных системах с большим количествомканалов 5. Для удовлетворения этих требований необходима высокополосная фронтенд-архитектура, способная управлять синхронизированными многоканальными потоками данных, сохранять целостность сигнала и поддерживать количественную характеристику жестов и сил6,7,8.

Мультимодальные системы e-skin стали значительным достижением, позволяющим роботизированным платформам имитировать сложные тактильные возможности чувствительности человеческой кожи. Традиционные одномодальные датчики, которые фиксируют только нормальное давление или температуру, могут не полностью отражать сложную и динамичную природу реальных тактильных взаимодействий. В отличие от этого, мультимодальные системы, вдохновлённые человеком, предназначены для обнаружения различных типов тактильных стимулов в реальном времени, включая сдвиговую силу, вибрацию и тепловые сигналы. Например, Ли и др. разработали биоинспирированную тактильную систему восприятия, способную обнаруживать в реальном времени через четыре различных сенсорных канала, что улучшило распознавание текстуры, режима контакта и состояний взаимодействияобъектов 9.

Недавние достижения в области гибкой электроники ещё больше расширили горизонты этих мультимодальных систем, особенно за счёт создания сложной электронной кожи (e-skin), имитирующей механическую подчинённость и высокую чувствительность биологических тканей. Например, изучение новых активных материалов и иерархических структурных проектов привело к появлению платформ нового поколения e-skin с беспрецедентной тактильной чувствительностью имногофункциональностью 10. Помимо инноваций в области материалов, переход к крупномасштабному применению требует надёжных и масштабируемых методов изготовления. Печатная электроника стала ключевым решением, обеспечивающим точную и экономичную интеграцию высокоплотных сенсорных массив на различные эластомерные подложки, сохраняя при этом производительностьустройства. 11.

Для обеспечения надёжности этих систем в практических случаях исследователи всё больше сосредотачиваются на оптимизации электромеханических свойств и механизмов обнаружения гибких датчиков для снижения перекрёстных помех сигналов и помех окружающейсреды 12. В конечном итоге нынешняя парадигма в этой области смещается от изолированных компонентов сенсора к полностью интегрированным, интеллектуальным, гибким платформам, которые объединяют современные материалы с высокоэффективными системами обработкисигналов 13.

Однако интеграция множественных методов сенсора в единый массив создаёт значительные трудности в связи сигналов, синхронизации и интерпретации данных. Конг и соавторы подчеркнули необходимость надёжной интеграции и разъединения стратегий в мультимодальных сенсорных массивах высокой плотности для обеспечения точной изоляции сигнала и минимизации перекрёстныхразговоров 14. Кроме того, механическое поведение мягкой сенсорной подложки существенно влияет на точность сигнала. Мью и др. показали, что вязкоупругая природа проводящих полимерных композитов может вызывать дрейф сигнала и гистерезис, подчёркивая роль моделирования материалов и стратегий компенсации на уровне системы в мультимодальных сенсорных платформах 15. В совокупности эти результаты свидетельствуют о том, что разработка систем с высокой пропускной способностью, вязкостью и разъединённых мультимодальных e-skin систем необходима для развития интеллектуального тактильного восприятия в робототехнике и интерфейсахчеловек-машина 16 .

Для обеспечения приёма многоканальных тактильных сигналов в реальном времени с минимальной задержкой и высокой целостностью сигнала была принята сложная платформа на основе программируемого логического устройства (CPLD). Предыдущие исследования показали, что CPLD подходят для управления высокоскоростными конвейерами данных и критически важными для времени сигналами в сенсорныхсистемах 17,18.

По сравнению с традиционными архитектурами сбора данных, этот синхронизированный гибридный подход на основе CPLD обладает несколькими явными преимуществами. Хотя системы на базе микроконтроллеров (MCU) часто полагаются на синхронизацию на уровне программного обеспечения или последовательное опросы, они подвержены недетерминированному временному дрожению и задержке прерывания, что может нарушить фазовое выравнивание сигнала при высоких количествахканалов 19. В отличие от этого, аппаратно-логическая архитектура CPLD обеспечивает строго параллельное выполнение и детерминированное тайминг на уровне наносекунд для всех 36 каналов. Кроме того, в то время как полевые программируемые вентильные массивы (FPGA) обеспечивают большую вычислительную мощность, CPLD предлагают более экономичное и энергоэффективное решение для логической глубины, необходимой в гибридных автоматах, обеспечивая долгосрочную стабильность в носимых электронных системах. Кроме того, в отличие от методов мультиплексирования с низкими каналами, которые жертвуют эффективной пропускной способностью выборки на канал, предлагаемая синхронизированная архитектура поддерживает стабильную частоту 2 кГц для тактильных модальностей, преодолевая узкие места гетерогенного слияния данных, выявленные в недавнейлитературе 19.

В данном исследовании представлен мультимодальный гибкий электронный скин, интегрированный с системой на основе CPLD. Система поддерживает 36 каналов 14-битной гибридной частотной дискретизации, работая на 2 кГц для динамических тактильных каналов и 100 Гц для вспомогательных методов, включая ускорение, температуру, влажность, освещение и звуковые датчики (см. рисунок 1). Система интегрирует эти гетерогенные датчики на гибкую печатную схему (FPC), обеспечивая как механическую адаптивность, так и электрическую стабильность. Был внедрён более гибкий слой вязкоупругойинкапсуляции 15, сегментированный на небольшие прямоугольные единицы, для улучшения адаптивности к локальной деформации и стабильности контакта во время тактильных взаимодействий.

Что касается практической пригодности, архитектура высокоскоростного параллельного отбора проб оптимизирована для фиксации быстрых, импульсивных тактильных событий, таких как тапинг или скольжение текстуры в контролируемой лаборатории. Однако рабочие ограничения включают потенциальное ухудшение точности сигнала из-за вязкоупругого дрейфа и гистерезис мягкой подложки, что требует периодической калибровки или программной компенсации. Кроме того, хотя система масштабируема для увеличения количества каналов, текущая реализация ограничена пропускной способностью беспроводной передачи для визуализации в реальном времени.

CPLD управляет синхронизированным многоканальным приёмом и беспроводной передачей данных, обеспечивая стабильную работу в реальном времени. Этот подход обеспечивает высокоплотный мультимодальный сбор сигналов и обеспечивает масштабируемую аппаратную основу для роботизированного тактильного восприятия. Для оценки тактильной дискриминации экспериментально анализировали четыре характерных жеста: нежное прикосновение, постукивание, лёгкое щипывание и сильное щипение.

Эта работа сосредоточена на демонстрации целесообразности и целостности сигнала мультимодальной архитектуры e-skin с высокой пропускной способностью. Датчик давления реализуется с помощью пьезористивного механизма, основанного на вязкоупругом сенсорном материале — проводящем полимерном композите, характеризующемся объемным сопротивлением <500 Омсм. В этой конфигурации механическое давление изменяет сопротивление контакта внутри материала, которое впоследствии захватывается системой захвата. Были выбраны каналы давления в качестве репрезентативной модальности для проверки качества сбора и данных в реальном времени. Хотя система поддерживает дополнительные методы, такие как ускорение и температура, их реализация и анализ предназначены для будущих специализированных исследований.

Для решения проблем высокоплотного тактильного сбора данных в этой работе используется аппаратная архитектура на основе CPLD, интегрированная с модулем Wi-Fi 6. Как показано на рисунке 2, система спроектирована для управления 36 каналами с разрешением 14 бит при высокой частоте дискретизации 2 кГц, генерируя сырую пропускную способность примерно 1,01 Мбит/с. Используя протокол 802.11ax, платформа достигает стабильной эффективной скорости передачи 1,5 Мбит/с, сохраняя потерю пакетов менее 0,2% в типичных лабораторных условиях. Этот аппаратно-логический подход устраняет недетерминированный временной джиттер и задержку прерывания, характерные для традиционных архитектур MCU, предлагая при этом более энергоэффективную и экономичную альтернативу решениям на базе FPGA. Такой надёжный конвейер данных обеспечивает точную синхронизацию в реальном времени и целостность сигнала, необходимые для сложного распознавания жестов и мультимодального тактильного сенсора.

Были определены двухмерные индикаторы: эквивалентная смещение формы волны (EWS) и эквивалентная нагрузка (EL). EWS количественно определяет временную асимметрию тактильной волны отклика, а EL — общую интенсивность сил, интегрированную в течение длительности контакта. Анализ этих индикаторов выявил отдельные механические сигнатуры для каждого жеста со средним временем разгрузки 0,4 с ± 0,2 с, что свидетельствует о том, что вязкоупругий отклик субстрата влияет на временные характеристики, захваченные системой.

Эти результаты демонстрируют возможность точного распознавания тактильной интенсивности и жестов с помощью синхронизированного мультимодального приёма. Предлагаемая система, таким образом, предоставляет функциональную фронтенд-платформу для количественного тактильного анализа и закладывает основу для будущих разработок в аффективном или эмоционально-связанном взаимодействии человека и робота.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Протокол

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Все описанные здесь экспериментальные процедуры были неинвазивными и не включали животных или людей; поэтому для этого исследования не требовалось этическое одобрение. Реагенты и используемое оборудование перечислены в Таблице материалов.

1. Изготовление датчиков

  1. Подготовка и интеграция вязкоупругого датчика
    1. Отметьте размеры цели [например, 5 мм x 5 мм] на материале с помощью прецизионной линейки и тонкой перманентной маркировки для обеспечения точности размеров. Разрежьте материал по отмеченным линиям с помощью острыми тонкими ножницами. Выполняйте разрезы одним непрерывным движением, где это возможно, чтобы обеспечить чистые края и минимизировать механическую деформацию или износ на границах.
    2. Очистите поверхностные площадки гибкой печатной схемы (FPC) с помощью [например, изопропилового спирта и салфетки без ворса] для удаления загрязнений и обеспечения оптимальной адгезии (см. рисунок 1).
    3. Соедините детали вязкоупругого материала на поверхностные площадки FPC с помощью проводящего клея.
    4. Нанесите тонкий слой ультрафиолет-отверждаемой смолы вокруг основания сенсорного материала, чтобы покрыть клеевой шов. Отверждайте смолу с помощью источника ультрафиолетового света на длине волны 365 нм с интенсивностью 100 мВт/см² в течение 5 минут.
    5. Проверьте электрическую целостность собранного датчика с помощью цифрового мультиметра.
      ПРИМЕЧАНИЕ: Значения сопротивления должны находиться в диапазоне от 5 кОм до 20 кОм при условиях нулевой нагрузки.
    6. Примените внешнее давление и измерите соответствующее изменение сопротивления для характеристики чувствительных к давлению свойств собранного устройства.

2. Внедрение совета по сбору данных

  1. Конфигурация многоскоростной системы сбора данных
    1. Интегрировать аналоговый фронтенд и схемы преобразования данных на одну гибкую подложку FPC (рисунок 3).
    2. Используйте пять 8-канальных аналоговых переключателей (рисунок 4A) для выбора канала датчика. Соедините их с тремя параллельными 14-битными аналого-цифровыми преобразователями (ADC) с последовательным аппроксимационным регистром (SAR) (рисунок 4B) для оцифровки сигнала.
    3. Подключите АЦП и коммутаторную сеть к сложному программируемому логическому устройству (CPLD) для управления адресацией каналов, таймингом и синхронизацией.
    4. Надёжно подключите датчик FPC к плате захвата с помощью 40-контактного разъёма FPC. Убедитесь, что механизм запирания полностью включен, чтобы предотвратить нестабильность сигнала.
  2. Управление системой и обработка данных на основе CPLD
    1. Запрограммировать логику CPLD так, чтобы синхронно приводить все АЦП, генерируя точные тайминговые сигналы в соответствии с необходимыми интервалами дискретизации.
    2. Настройте внутренние логические элементы CPLD для координации высокоскоростного переключения каналов и объединения параллельных потоков данных от трёх АЦП в единый пакет данных.
    3. Передавать объединённые данные через последовательный интерфейс со скоростью 1,5 Мбит/с на Wi-Fi модуль для беспроводной связи в реальном времени с хост-компьютером.
  3. Интерфейс с АЦП для дискретизации на гибридных частотах
    1. Управление каждым из трёх независимых 14-битных SAR-АЦП осуществляется через выделенный трёхпроводной последовательный интерфейс, состоящий из линий Chip Select (CS#), Serial Clock (SCLK) и Serial Data (SDATA), управляемых CPLD.
    2. Реализовать разделители тактового сигнала, специфичные для канала, в архитектуре CPLD для генерации различных частот дискретизации, необходимых для модальностей 2 кГц, 1 кГц и 100 Гц (рисунок 5).
    3. Храните каждый выборочный кадр в временном буфере относительно общей временной ссылки на временную базу. Зафиксируйте однократный флаг валидности данных в логике, чтобы сигнализировать, что данные готовы к передаче последующим потоком.
  4. Реализация синхронизации дискретизации на основе временных срезов
    1. Определите глобальную систему дискретизации длиной 10 мс в CPLD как базовый период планирования и разделите его на десять равномерных временных срезов по 1 мс.
    2. Назначьте один или несколько фиксированных временных слотов внутри этого 10 мс кадра каждому из 36 сенсорных каналов в зависимости от заданной частоты дискретизации.
    3. Отслеживайте детерминированную схему планирования для строгого фазового выравнивания между всеми группами и кадрами АЦП, обеспечивая синхронный сбор данных на гибридной частоте.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Результаты

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Этот протокол позволяет количественно охарактеризовать и дифференцировать различные тактильные жесты, применяемые к электронной коже (e-skin). Исправьте образец e-skin на тестовой платформе. Один оператор выполняет четыре определённых тактильных действия: мягкое прикосновение, постукивание, лёгкое защипывание и сильное защемление — согласно параметрам, указанным в таблице 1. Жест «нежное прикосновение» заключался в многократном лёгком наложении пальца на один e-skin в течение примерно 1 минуты, чтобы обе...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Обсуждение

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Механизм чувствительности e-skin фундаментально основан на вязкоупругих свойствах её составногополимера 6,15. Этот материал проявляет как упругую деформацию, так и вязкий поток при воздействии внешнего воздействия. Вязкий компонент вводит характерную задержку при восстановлении материала; то есть он не возвращается мгновенно в исходное состояние после снятия силы, а требует конечного времени для восстановления. Эти вязкоупругие характеристики тесно связаны с таки...

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Раскрытие информации

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

У авторов нет конфликтующих интересов.

Благодарности

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ни одного.

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Материалы

Список материалов, использованных в этой статье
ИмяКомпанияКаталожный номерКомментарии
Гибкая печатная платаJLCPCBлюбойИспользуется для получения данных о давлении
Аналоговые переключатели TITMUX1108PWR Используется для выбора различных каналов
Аналогово-цифровой преобразовательАналоговые устройстваAD7940BRMZ-REEL7Преобразование аналоговых сигналов в цифровые
CPLDIntelMAX 10M02Блок обработки данных
ОсциллографTektronixTBS2000Этот осциллограф используется для измерения сигнальных сигналов.
Квартус IIIntelлюбойПрограммирование IDE для CPLD
Вязкоупругий сенсорный материаллюбойлюбойЭтот материал используется для генерации сигналов давления.
Wi-Fi 6 модуль и bbsp;ИИ-МЫСЛИТЕЛЬAD-M62-CBSМодуль передачи данных

Ссылки

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Jiang, Y., et al. A multifunctional tactile sensory system for robotic intelligent identification and manipulation perception. Adv Sci. 11 (41), 2402705(2024).
  2. Wang, Y., et al. Human-inspired robotic tactile perception for fluid. IEEE Sens J. 24 (14), 23336-23348 (2024).
  3. Shepherd, D. R., Husbands, P., Philippides, A., Johnson, C. Versatility of Low-Resolution Tactile Sensing for Edge and Pose Detection. Proc AIRC. , 7-12 (2024).
  4. Liu, X. The more and less of electronic-skin sensors. Science. 370, 910-911 (2020).
  5. Shao, Y., Hu, H., Visell, Y. A wearable tactile sensor array for large area remote vibration sensing in the hand. IEEE Sens J. 20 (12), 6612-6623 (2020).
  6. Jeon, S., Lim, S. -C., Trung, T. Q., Jung, M., Lee, N. -E. Flexible multimodal sensors for electronic skin: principle, materials, device, array architecture, and data acquisition method. Proc IEEE. 107 (10), 2065-2083 (2019).
  7. Li, Y., et al. Large-area high-resolution skin-inspired flexible tactile sensor for robotic electronic skin. ACS Appl Electron Mater. 7 (19), 8861-8870 (2025).
  8. Zuqing, Y., Guozhen, S. Materials and device architecture towards a multimodal electronic skin. Mater Today. 64, 165-179 (2023).
  9. Lee, B. -Y., et al. Human-inspired tactile perception system for real-time and multimodal detection of tactile stimuli. Soft Robot. 11 (2), 270-281 (2024).
  10. Zhong, S., et al. Passive isothermal flexible sensor enabled by smart thermal-regulating aerogels. Adv Mater. 37 (8), 2415386(2025).
  11. Pan, Y., et al. Flexible and printed electronics. 10 (4), (2025).
  12. Xiong, W., et al. Multifunctional tactile feedbacks towards compliant robot manipulations via 3D-shaped electronic skin. IEEE Sens J. 22 (9), 9046-9056 (2022).
  13. Yuan, J., Zhao, W., Zhou, Y., Huang, Y. Flexible sensor-driven smart vehicles: Opportunities and prospects. CHAIN. 2 (3), 227-235 (2025).
  14. Kong, H., Li, W., Song, Z., Niu, L. Recent advances in multimodal sensing integration and decoupling strategies for tactile perception. Mater Futures. 3 (2), 022501(2024).
  15. Mu, Q., Wang, J., Kuang, X. Modeling the resistive viscoelasticity of conductive polymer composite for sensor usage. Soft Matter. 19, 1025-1033 (2023).
  16. Shaker, J. H., Yasmeena, A., Zoltán, A. D., Husam, A. N. Recent advances in tactile sensing technologies for human-robot interaction: current trends and future perspectives. Biosens Bioelectron X. 26, 100669(2025).
  17. Implementation of a continuous high-speed data acquisition system based on FPGA. Dong, Z., He, W., Wang, Y., Liu, J., He, K. Proc 2023 6th Int Conf Artif Intell Pattern Recognit, Xiamen, China, , 1440-1445 (2024).
  18. Oballe-Peinado, Ó, et al. FPGA-based tactile sensor suite electronics for real-time embedded processing. IEEE Trans Ind Electron. 64 (12), 9657-9665 (2017).
  19. Wang, Z., Yang, Z., Dou, X. System-level integration and multimodal signal acquisition in electronic skin: a review and demonstration. J Vis Exp. (227), e70286(2026).
  20. Slavka, V., et al. Waveform skewness: Parameter for timed up & go turn assessment. Biomed Signal Process Control. 52, 347-352 (2019).

Доступ ограничен. Войдите в систему или начните пробный период, чтобы просмотреть этот контент.

Перепечатки и разрешения

Запросить разрешение на повторное использование текста или иллюстраций этой статьи JoVE

Запросить разрешение

Теги

CPLD

Похожие статьи