Design und Charakterisierung einer multimodalen, flexiblen elektronischen Haut mit CPLD-basierter Datenerfassung für taktile Intensität und Gestenerkennung

Zusammenfassung

Dieses Protokoll beschreibt die Herstellung und den Betrieb eines flexiblen, multimodalen elektronischen Hautsystems. Es nutzt ein CPLD-basiertes Backend, um eine synchronisierte, hybride Frequenzdatenerfassung von 36 Sensorkanälen zu erreichen, was die quantitative Analyse komplexer takttiler Gesten für fortschrittliche robotische Wahrnehmung und Mensch-Roboter-Interaktion ermöglicht.

Zusammenfassung

Diese Arbeit präsentiert das Design und die Charakterisierung einer flexiblen multimodalen elektronischen Hautplattform (E-Skin), die hochauflösende taktile Erkennung und Gestenerkennung über ein CPLD-basiertes Datenerfassungssystem unterstützt. Das System integriert eine 36-Kanal-, 14-Bit-Hybridfrequenz-Abtastarchitektur (2 kHz, 1 kHz, 100 Hz) mit hardwarebasierter Unterstützung für Druck-, Beschleunigungs-, Licht-, Temperatur- und Umweltsignale. Ein flexibles FPC-Substrat ermöglicht eine konforme Integration auf gekrümmten Roboteroberflächen bei gleichzeitiger mechanischer Stabilität. Um die taktile Wahrnehmungsfähigkeit zu demonstrieren, konzentriert sich diese Studie auf den Drucksensorkanal, der als primäres Modal zur Schätzung der Kontaktkraft und der Gestendynamik dient. Vier repräsentative menschliche Interaktionen: sanfte Berührung, Klopfen, leichtes Kniffen und starkes Kniffen, wurden analysiert. Zwei dimensionslose Metriken, die äquivalente Wellenformverrägheit und die äquivalente Last, wurden eingeführt, um Kraftintensitäts- und Gestenkategorien zu unterscheiden. Experimentelle Ergebnisse zeigen, dass das System eine klare Gestentrennung und eine hautähnliche viskoelastische Reaktion erreicht, mit einer durchschnittlichen Entladezeit von 0,4 s ± 0,2 s. Drahtlose Echtzeit-Datenübertragung mit 1,5 Mbit/s wird unterstützt, und das modulare Design bietet eine skalierbare Grundlage für zukünftige Integration zusätzlicher Modalitäten. Diese Arbeit etabliert ein Hardware-Framework für die auf Kraft und Gesten basierende Mensch-Roboter-Taktile Interaktion mit erweiterbarer Kapazität für multimodale Wahrnehmungssysteme.

Einleitung

Taktile Wahrnehmung wurde umfassend für robotische Wahrnehmung ^1,2 untersucht, jedoch verlassen sich die meisten elektronischen Hautsysteme (E-Haut) weiterhin auf einmodale, dichtearme Konfigurationen, die die Interpretation komplexer menschlicher Berührung einschränken können. Trotz bedeutender Fortschritte bei flexiblen taktilen Materialien und Gerätearchitekturen³ stellt die systemweite Integration von multimodaler und multikanaliger taktiler Sensorik mit hoher Präzision und Echtzeiterfassung weiterhin technische Herausforderungen^mit sich 4. Daher erfordern zentrale Fragen wie Signalsynchronisation, Zeitkoordination und Datendurchsatzoptimierung eine systematische Adressierung in großflächigen oder taktilen Systemen mit hoher Kanalanzahl⁵. Um diese Anforderungen zu erfüllen, ist eine Hochbandbreiten-Frontend-Architektur^{erforderlich,} die synchronisierte Mehrkanal-Datenströme verwalten, die Signalintegrität wahrt und quantitative Gesten- und Kraftcharakterisierung unterstützt.

Multimodale E-Skin-Systeme haben sich als bedeutende Entwicklung herauskristallisiert, um robotische Plattformen zu ermöglichen, die komplexen taktilen Sensorfähigkeiten menschlicher Haut nachzuahmen. Traditionelle Einmodalitätssensoren, die nur normalen Druck oder Temperatur erfassen, erfassen möglicherweise nicht vollständig die komplexe und dynamische Natur realer taktiler Interaktionen. Im Gegensatz dazu sind von Menschen inspirierte multimodale Systeme darauf ausgelegt, mehrere Arten takttiler Reize in Echtzeit zu erkennen, darunter Scherkraft, Vibration und thermische Hinweise. So entwickelten Lee et al. ein bioinspiriertes taktiles Wahrnehmungssystem, das in der Lage ist, in Echtzeit über vier verschiedene Sinneskanäle zu detektieren, was die Erkennung von Textur, Kontaktmodus und Objektinteraktionszuständen^{verbesserte 9}.

Jüngste Fortschritte in der flexiblen Elektronik haben den Horizont dieser multimodalen Systeme weiter erweitert, insbesondere durch die Entwicklung ausgefeilter elektronischer Haut (e-Skin), die die mechanische Compliance und hohe Empfindlichkeit biologischen Gewebes nachahmt. So hat beispielsweise die Erforschung neuartiger aktiver Materialien und hierarchischer Strukturdesigns zu E-Skin-Plattformen der nächsten Generation mit beispielloser taktiler Empfindlichkeit und Multifunktionalität^geführt. Über die Materialinnovation hinaus erfordert der Übergang hin zu großflächigen Anwendungen robuste und skalierbare Fertigungstechniken. Druckgedruckte Elektronik hat sich als zentrale Lösung etabliert, die die präzise und kosteneffiziente Integration von hochdichten Sensorarrays auf verschiedene elastomere Substrate ermöglicht, während die Geräteleistung^{erhalten bleibt}.

Um die Zuverlässigkeit dieser Systeme in praktischen Szenarien zu gewährleisten, konzentrieren sich Forscher zunehmend darauf, die elektromechanischen Eigenschaften und Sensormechanismen flexibler Sensoren zu optimieren, um Signalübersprechen und Umweltstörungen^zu mindern. Letztlich verschiebt sich das aktuelle Paradigma in diesem Bereich von isolierten Sensorkomponenten hin zu vollständig integrierten, intelligenten und flexiblen Plattformen, die fortschrittliche Materialien mit hocheffizienten Signalverarbeitungs-Frameworks synergieren¹³.

Die Integration mehrerer Sensormodalitäten in ein einheitliches Array stellt jedoch erhebliche Herausforderungen bei der Signalkopplung, Synchronisation und Dateninterpretation dar. Kong et al. hoben die Notwendigkeit robuster Integrations- und Entkopplungsstrategien in hochdichten multimodalen Sensorarrays hervor, um eine genaue Signalisolierung sicherzustellen und Crosstalk¹⁴ zu minimieren. Darüber hinaus beeinflusst das mechanische Verhalten des weichen Sensorsubstrats die Signaltreue erheblich. Mu et al. zeigten, dass die viskoelastische Natur leitfähiger Polymerverbundstoffe Signaldrift und Hysterese induzieren kann, wobei sie die Rolle von Materialmodellierung und systembasierten Kompensationsstrategien in multimodalen ^{Sensorplattformen} betonten. Zusammenfassend deuten diese Ergebnisse darauf hin, dass die Entwicklung von hochbandbreiten, viskoelastizitätsbewussten und entkoppelten multimodalen E-Skin-Systemen unerlässlich ist, um die intelligente taktile Wahrnehmung in Robotik- und Mensch-Maschine-Schnittstellen voranzutreiben¹⁶ .

Um eine Echtzeitaufnahme von Mehrkanal-Taktile Signale mit minimaler Latenz und hoher Signalintegrität sicherzustellen, wurde ein komplexes programmierbares Logikgerät (CPLD)-basiertes Erfassungsframework eingeführt. Frühere Studien haben gezeigt, dass CPLDs für die Verwaltung von Hochgeschwindigkeits-Datenpipelines und zeitkritischen Signalströmen in Sensorsystemen^{geeignet sind 17,18}.

Im Vergleich zu traditionellen Datenerfassungsarchitekturen bietet dieser CPLD-basierte synchronisierte Hybridfrequenzansatz mehrere deutliche Vorteile. Während auf Mikrocontroller-Einheiten (MCU)-basierte Systeme oft auf Software-Synchronisation oder sequentieller Abfrage setzen, neigen sie zu nicht-deterministischen Timing-Jitters und Interrupt-Latenz, die die Signalphasenausrichtung über hohe Kanalzahlen¹⁹ beeinträchtigen können. Im Gegensatz dazu gewährleistet die hardware-logische Architektur eines CPLD eine strikt parallele Ausführung und deterministische Timing auf nanosekundenebene für alle 36 Kanäle. Darüber hinaus bieten feldprogrammierbare Gate-Arrays (FPGAs) eine höhere Rechenleistung, während CPLDs eine kostengünstigere und energieeffizientere Lösung für die in Hybridfrequenz-Zustandsautomaten benötigte Logiktiefe bieten und so langfristige Stabilität in wearablen Eskin-Anwendungen ermöglichen. Zusätzlich hält die vorgeschlagene synchronisierte Architektur im Gegensatz zu Methoden des unteren Kanals, die die effektive Abtastbandbreite pro Kanal opfern, eine konstante 2-kHz-Rate für taktile Modalitäten und überwindet so die in der aktuellen Literatur identifizierten Engpässe der heterogenen Datenfusion¹⁹.

Diese Studie präsentiert eine multimodale, flexible elektronische Haut, die mit einem CPLD-basierten Aufnahmesystem integriert ist. Das System unterstützt 36 Kanäle mit 14-Bit-Hybridfrequenz-Abtastung und arbeitet mit 2 kHz für dynamische taktile Kanäle und 100 Hz für Hilfsmodalitäten, einschließlich Beschleunigung, Temperatur, Luftfeuchtigkeit, Beleuchtung und Schallsensoren (Abbildung 1). Das System integriert diese heterogenen Sensoren auf einem flexiblen Leiterplattensubstrat (FPC), was sowohl mechanische Anpassungsfähigkeit als auch elektrische Stabilität gewährleistet. Eine konforme viskoelastische Kapselschicht¹⁵, die in kleine rechteckige Einheiten unterteilt ist, wurde verwendet, um die Anpassungsfähigkeit der lokalen Verformung und die Kontaktstabilität während taktile Wechselwirkungen zu verbessern.

Bezüglich der praktischen Eignung ist die Hochgeschwindigkeits-Parallelsampling-Architektur darauf optimiert, schnelle, impulsive taktile Ereignisse wie Tapping oder Texturgliederung in einer kontrollierten Laborumgebung zu erfassen. Zu den Betriebsbedingungen gehören jedoch eine potenzielle Verschlechterung der Signaltreue durch viskoelastische Drift und Hysterese des weichen Substrats, was periodische Kalibrierung oder softwarebasierte Kompensation erfordert. Außerdem ist das System zwar auf höhere Kanäle skalierbar, aber die aktuelle Implementierung ist durch die drahtlose Übertragungsbandbreite für die Echtzeitvisualisierung begrenzt.

Das CPLD verwaltet synchronisierte Multikanalerfassung und drahtlose Datenübertragung und gewährleistet so eine stabile Echtzeitleistung. Dieser Ansatz ermöglicht die hochdichte multimodale Signalerfassung und bietet eine skalierbare Hardware-Grundlage für die robotische taktile Wahrnehmung. Zur Bewertung der taktile Diskriminierung wurden vier repräsentative Gesten experimentell analysiert: sanfte Berührung, Klopfen, leichtes Kniffen und starkes Kniffen.

Diese Arbeit konzentriert sich darauf, die Machbarkeit und Signalintegrität der hochbandbreiten multimodalen E-Skin-Architektur zu demonstrieren. Die Druckempfindlichkeit wird mit einem piezoresistiven Mechanismus auf Basis von viskoelastischem Sensormaterial realisiert, einem leitfähigen Polymerverbundwerkstoff, der durch einen Volumenwiderstand von <500 Ωcm gekennzeichnet ist. In dieser Konfiguration verändert der mechanische Druck den Kontaktwiderstand im Material, der anschließend vom Aufnahmesystem erfasst wird. Druckkanäle wurden als repräsentative Modalität ausgewählt, um die Echtzeiterfassung und Datenqualität zu validieren. Während das System zusätzliche Modalitäten wie Beschleunigung und Temperatur unterstützt, sind deren Implementierung und Analyse für zukünftige anwendungsspezifische Studien reserviert.

Um die Herausforderungen der taktilen Datenerfassung mit hoher Dichte zu bewältigen, verwendet diese Arbeit eine CPLD-basierte Hardwarearchitektur, die mit einem Wi-Fi-6-Modul integriert ist. Wie in Abbildung 2 gezeigt, ist das System so ausgelegt, dass es 36 Kanäle mit 14-Bit-Auflösung bei einer Hochgeschwindigkeits-Abtastrate von 2 kHz verwaltet, was einen Rohdatendurchsatz von etwa 1,01 Mbit/s erzeugt. Durch die Nutzung des 802.11ax-Protokolls erreicht die Plattform eine stabile, effektive Übertragungsrate von 1,5 Mbit/s und hält in typischen Laborumgebungen eine Paketverlustrate von weniger als 0,2 %. Dieser hardware-logische Ansatz eliminiert den nicht-deterministischen Timing-Jitter und die Interrupt-Latenz, die in traditionellen MCU-basierten Architekturen üblich sind, und bietet gleichzeitig eine energieeffizientere und kostengünstigere Alternative zu FPGA-basierten Lösungen. Eine so robuste Datenpipeline gewährleistet die präzise Echtzeit-Synchronisation und Signalintegrität, die für komplexe Gestenerkennung und multimodale taktile Erkennung erforderlich sind.

Es wurden zwei dimensionslose Indikatoren definiert: äquivalente Wellenform-Schiefigkeit (EWS) und äquivalente Last (EL). Das EWS quantifiziert die zeitliche Asymmetrie der taktile Antwortwellenform, während das EL die Gesamtkraftintensität über die Kontaktdauer repräsentiert. Die Analyse dieser Indikatoren zeigte für jede Geste unterschiedliche mechanische Signaturen, mit einer durchschnittlichen Entladezeit von 0,4 s ± 0,2 s, was darauf hindeutet, dass die viskoelastische Antwort des Substrats zu den vom System erfassten zeitlichen Eigenschaften beiträgt.

Diese Ergebnisse zeigen die Machbarkeit einer genauen taktilen Intensität und Gestenerkennung unter Verwendung synchronisierter, multimodaler Erfassung. Das vorgeschlagene System bietet somit eine funktionale Frontend-Plattform für quantitative taktile Analysen und legt eine Grundlage für zukünftige Entwicklungen in der affektiven oder emotionsbezogenen Mensch-Roboter-Interaktion.

Protokoll

Alle hier beschriebenen experimentellen Verfahren waren nicht-invasiv und betrafen weder Tier- noch menschliche klinische Proben; Daher war für diese Studie keine ethische Genehmigung erforderlich. Die Reagenzien und die verwendeten Geräte sind in der Materialtabelle aufgeführt.

1. Herstellung von Sensoren

1. Vorbereitung und Integration des viskoelastischen Sensors
   1. Markieren Sie die Zielmaße [z. B. 5 mm x 5 mm] auf dem viskoelastischen Sensormaterial mit einem Präzisionslineal und einem feinen permanenten Marker, um die Maßgenauigkeit sicherzustellen. Schneiden Sie das Material entlang der markierten Linien mit einer scharfen, feinen Schere. Führen Sie die Schnitte möglichst in einer einzigen, kontinuierlichen Bewegung aus, um saubere Kanten zu gewährleisten und mechanische Verformungen oder Ausfransungen an den Rändern zu minimieren.
   2. Reinigen Sie die oberflächenmontierten Pads des Flexible Printed Circuit (FPC) mit [z. B. Isopropylalkohol und einem fusselfreien Tuch), um Schadstoffe zu entfernen und eine optimale Haftung sicherzustellen (Abbildung 1).
   3. Klebe die viskoelastischen Materialteile mit einem leitfähigen Klebstoff auf die oberflächenmontierten Polster des FPC an.
   4. Tragen Sie eine dünne Schicht UV-aushärtendes Harz um die Basis des Sensormaterials auf, um die Klebeverbindung zu verkapseln. Härte das Harz mit einer UV-Lichtquelle mit einer Wellenlänge von 365 nm und einer Intensität von 100 mW/cm² für 5 Minuten aus.
   5. Überprüfen Sie die elektrische Kontinuität des montierten Sensors mit einem digitalen Multimeter.
      HINWEIS: Widerstandswerte sollten unter Nulllastbedingungen im Bereich von 5 kΩ bis 20 kΩ liegen.
   6. Üben Sie externen Druck aus und messen Sie die entsprechende Widerstandsänderung, um die druckempfindlichen Eigenschaften des montierten Bauteils zu charakterisieren.

2. Implementierung der Datenerfassungstafel

1. Konfiguration des Multi-Rate-Datenerfassungssystems
   1. Integration des analogen Frontend- und Datenkonvertierungsschaltkreises auf ein einziges flexibles FPC-Substrat (Abbildung 3).
   2. Verwenden Sie fünf 8-Kanal-Analogschalter (Abbildung 4A) zur Kanalauswahl der Sensoren. Verbinden Sie diese mit drei parallelen 14-Bit-Analog-Digital-Wandlern (ADCs) (Abbildung 4B) für die Signaldigitalisierung.
   3. Verbinden Sie das ADC- und Switch-Netzwerk mit einem Complex Programmable Logic Device (CPLD), um Kanaladressierung, Zeitsteuerung und Synchronisation zu verwalten.
   4. Befestigen Sie den Sensor-FPC sicher mit einem 40-poligen FPC-Stecker an der Erfassungsplatine. Stellen Sie sicher, dass der Verriegelungsmechanismus vollständig aktiviert ist, um Signalinstabilität zu vermeiden.
2. CPLD-basierte Systemsteuerung und Datenverarbeitung
   1. Programmieren Sie die CPLD-Logik so, dass sie alle ADCs synchron ansteuert, indem präzise Zeitsignale gemäß den erforderlichen Abtastintervallen erzeugt werden.
   2. Konfigurieren Sie die internen Logikgatter des CPLD, um Hochgeschwindigkeits-Kanalwechsel zu koordinieren und die parallelen Datenströme der drei ADCs zu einem einheitlichen Datenpaket zusammenzuführen.
   3. Übertragen Sie die zusammengeführten Daten über eine serielle Schnittstelle mit einer Baudrate von 1,5 Mbit/s an ein Wi-Fi-Modul für die Echtzeit-Kommunikation mit einem Hostcomputer.
3. ADC-Schnittstelle für hybride Frequenzabtastung
   1. Jeder der drei unabhängigen 14-Bit-SAR-ADCs wird über eine dedizierte 3-Draht-Seriellschnittstelle bestehend, bestehend aus Chip Select (CS#), Serial Clock (SCLK) und Serial Data (SDATA)-Leitungen, die vom CPLD verwaltet werden.
   2. Implementieren Sie kanalspezifische Taktteiler innerhalb der CPLD-Architektur, um die für die 2-kHz-, 1-kHz- und 100-Hz-Modalitäten erforderlichen unterschiedlichen Abtastraten zu erzeugen (Abbildung 5).
   3. Speichern Sie jedes abgetastete Frame in einem temporären Puffer relativ zu einer gemeinsamen Zeitbasisreferenz. Aktivieren Sie eine einmalige datenvalide Flagge innerhalb der Logik, um anzuzeigen, dass die Daten für die nachgeschaltete Übertragung bereit sind.
4. Implementierung der zeit-slice-basierten Abtastsynchronisation
   1. Definiere ein 10 ms globales Sampling-Frame im CPLD als Basis-Planungsperiode und teile es in zehn gleichmäßige 1-ms-Zeitabschnitte.
   2. Weisen Sie jedem der 36 Sensorkanäle basierend auf der zugewiesenen Abtastfrequenz ein oder mehrere feste Zeitschlitze innerhalb dieses 10-ms-Rahmens zu.
   3. Überwachen Sie das deterministische Planungsschema, um eine strikte Phasenausrichtung über alle ADC-Gruppen und -Frames hinweg aufrechtzuerhalten und so eine synchrone Hybridfrequenz-Datenerfassung sicherzustellen.

Ergebnisse

Dieses Protokoll ermöglicht die quantitative Charakterisierung und Differenzierung unterschiedlicher taktiler Gesten, die auf die elektronische Haut (e-Haut) angewendet werden. Beheben Sie das E-Skin-Muster auf der Testplattform. Ein einzelner Operator führt dann vier definierte taktile Aktionen aus: sanftes Tasten, Klopfen, leichtes Kneifen und starkes Kniffen, gemäß den in Tabelle 1 aufgeführten Parametern. Die "sanfte Berührung"-Geste bestand darin, einen Finger etwa 1 Minute lang leicht auf eine einz...

Diskussion

Der Sensormechanismus der E-Haut basiert grundlegend auf den viskoelastischen Eigenschaften seines Bestandteils^{Polymers 6,15}. Dieses Material zeigt sowohl elastische Verformung als auch viskose Strömung, wenn es einer äußeren Kraft ausgesetzt ist. Die viskose Komponente führt zu einer charakteristischen Latenz in der Materialrückgewinnung; das heißt, sie kehrt nicht sofort in ihren ursprünglichen Zustand zurück, wenn die Kraft entfernt wird, sondern benötigt eine...

Materialien

Liste der in diesem Artikel verwendeten Materialien

Name	Unternehmen	Katalognummer	Kommentare
Flexible Leiterplatten	JLCPCB	Irgendeine	Verwendet zur Gewinnung von Druckdaten
Analoge Schalter	TI	TMUX1108PWR	Verwendung zur Auswahl verschiedener Kanäle
Analog-Digital-Wandler	Analoge Geräte	AD7940BRMZ-REEL7	Analoge Signale in digitale Signale umwandeln
CPLD	Intel	MAX 10M02	Datenverarbeitungseinheit
Oszilloskop	Tektronix	TBS2000	Dieses Oszilloskop wird verwendet, um Signalwellenformen zu messen.
Quartus II	Intel	Irgendeine	Programmier-IDE für CPLD
Viskoelastisches Sensormaterial	Irgendeine	Irgendeine	Dieses Material wird verwendet, um Drucksignale zu erzeugen.
Wi-Fi 6 Modul	KI-DENKER	AD-M62-CBS	Datenübertragungsmodul