$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Tactiele waarneming is uitgebreid onderzocht voor robotperceptie 1,2, maar de meeste elektronische huidsystemen (e-huid) zijn nog steeds afhankelijk van enkelmodaliteit, laag-dichtheid configuraties die de interpretatie van complexe menselijke aanraking kunnen beperken. Ondanks aanzienlijke vooruitgang in flexibele tactiele materialen en apparaatarchitecturen3, brengt systeemintegratie van multimodale en multikanaals tactiele sensing met hoge precisie realtime acquisitie voortdurende technische uitdagingenmet zich mee 4. Belangrijke kwesties zoals signaalsynchronisatie, timingcoördinatie en optimalisatie van datadoorvoer vereisen daarom systematische adressering in grootschalige of tactiele systemen met een hoog kanaalaantal5. Om aan deze eisen te voldoen, is een front-end architectuur met hoge bandbreedte die in staat is gesynchroniseerde multikanaals datastromen te beheren, signaalintegriteit te behouden en kwantitatieve gebaren en krachtkarakterisering te ondersteunen, noodzakelijk 6,7,8.
Multimodale e-skin systemen zijn naar voren gekomen als een belangrijke ontwikkeling om robotplatforms in staat te stellen de complexe tactiele sensormogelijkheden van menselijke huid na te bootsen. Traditionele single-modality sensoren, die alleen normale druk of temperatuur detecteren, vangen mogelijk niet volledig de complexe en dynamische aard van tactiele interacties in de echte wereld. Daarentegen zijn door mensen geïnspireerde multimodale systemen ontworpen om meerdere soorten tactiele prikkels in realtime te detecteren, waaronder schuifkracht, trillingen en thermische signalen. Zo ontwikkelden Lee et al. een bio-geïnspireerd tactiele waarnemingssysteem dat realtime detectie kan doen via vier verschillende zintuiglijke kanalen, wat de herkenning van textuur, contactmodus en objectinteractietoestandenverbeterde.
Recente ontwikkelingen in flexibele elektronica hebben de horizon van deze multimodale systemen verder verbreed, met name door de ontwikkeling van geavanceerde elektronische huid (e-skin) die de mechanische compliance en hoge gevoeligheid van biologisch weefsel nabootst. Zo heeft de verkenning van nieuwe actieve materialen en hiërarchische structurele ontwerpen geleid tot de volgende generatie e-skin platforms met ongekende tastbare gevoeligheid enmultifunctionaliteit. Naast materiaalinnovatie vereist de overgang naar grootschalige toepassingen robuuste en schaalbare fabricagetechnieken. Gedrukte elektronica is uitgegroeid tot een cruciale oplossing, die de precieze en kosteneffectieve integratie van hoogdichte sensorarrays op diverse elastomere substraten mogelijk maakt, terwijl de apparaatprestatiesbehouden blijven.
Om de betrouwbaarheid van deze systemen in praktische situaties te waarborgen, richten onderzoekers zich steeds meer op het optimaliseren van de elektromechanische eigenschappen en sensormechanismen van flexibele sensoren om signaaloverspraak en omgevingsinterferentiete verminderen. Uiteindelijk verschuift het huidige paradigma in het veld van geïsoleerde sensorcomponenten naar volledig geïntegreerde, intelligente, flexibele platforms die geavanceerde materialen samenbrengen met hoogefficiënte signaalverwerkingskaders13.
Het integreren van meerdere detectiemodaliteiten in een uniforme array brengt echter aanzienlijke uitdagingen met zich mee op het gebied van signaalkoppeling, synchronisatie en data-interpretatie. Kong et al. benadrukten de noodzaak van robuuste integratie- en ontkoppelingsstrategieën in multimodale sensorarrays met hoge dichtheid om nauwkeurige signaalisolatie te waarborgen en crosstalkte minimaliseren. Bovendien beïnvloedt het mechanische gedrag van het soft sensing-substraat de signaalkwaliteit significant. Mu et al. toonden aan dat de visco-elastische aard van geleidende polymeercomposieten signaaldrift en hysterese kon induceren, waarbij ze de rol van materiaalmodellering en systeemniveau-compensatiestrategieën in multimodale sensorplatforms benadrukten 15. Gezamenlijk suggereren deze bevindingen dat het ontwikkelen van hoogbandbreedte, visco-elasticiteitsbewuste en ontkoppelde multimodale e-skin systemen essentieel is voor het bevorderen van intelligente tactiele waarneming in robotica en mens-machine interfaces16 .
Om realtime acquisitie van multikanaals tactiele signalen met minimale latentie en hoge signaalintegriteit te waarborgen, werd een complex op programmeerbaar logisch apparaat (CPLD) gebaseerd acquisitiekader toegepast. Eerdere studies hebben aangetoond dat CPLD's geschikt zijn voor het beheren van hogesnelheidsdatapijplijnen en timingkritische signaalstromen in sensorsystemen17,18.
In vergelijking met traditionele data-acquisitiearchitecturen biedt deze CPLD-gebaseerde gesynchroniseerde hybride frequentiebenadering verschillende duidelijke voordelen. Hoewel systemen op microcontroller-units (MCU) vaak afhankelijk zijn van software-niveau synchronisatie of sequentiële polling, zijn ze gevoelig voor niet-deterministische timingjitter en interruptlatency, wat de signaalfase-uitlijning over hoge kanaalaantallenkan verstoren. Daarentegen zorgt de hardware-logica architectuur van een CPLD voor strikte parallelle uitvoering en nanoseconde-niveau deterministische timing voor alle 36 kanalen. Bovendien bieden veldprogrammeerbare gate arrays (FPGA's) hogere rekenkracht, terwijl CPLD's een kosteneffectievere en energiezuinigere oplossing bieden voor de logische diepte die nodig is in hybride-frequentietoestandsmachines, wat langdurige stabiliteit in draagbare e-skin toepassingen bevordert. Bovendien handhaaft de voorgestelde gesynchroniseerde architectuur, in tegenstelling tot multiplexmethoden voor lagere kanalen die effectieve samplebandbreedte per kanaal opofferen, een consistente 2 kHz-snelheid voor tactiele modaliteiten, waarmee de bottlenecks van heterogene datafusie die in recente literatuur zijn geïdentificeerdworden overwonnen.
Deze studie presenteert een multimodale, flexibele elektronische huid geïntegreerd met een CPLD-gebaseerd acquisitiesysteem. Het systeem ondersteunt 36 kanalen van 14-bits hybride frequentiebemonstering, werkend op 2 kHz voor dynamische tactiele kanalen en 100 Hz voor hulpmodaliteiten, waaronder versnelling, temperatuur, vochtigheid, verlichting en geluidssensoren (Figuur 1). Het systeem integreert deze heterogene sensoren op een flexibel printcircuit (FPC) substraat, wat zowel mechanische aanpassingsvermogen als elektrische stabiliteit waarborgt. Een meegaande visco-elastische inkapselingslaag15, gesegmenteerd in kleine rechthoekige eenheden, werd toegepast om de lokale vervormingsaanpassingsvermogen en contactstabiliteit tijdens tactiele interacties te verbeteren.
Wat betreft praktische geschiktheid is de hogesnelheidsarchitectuur voor parallel bemonstering geoptimaliseerd voor het vastleggen van snelle, impulsieve tactiele gebeurtenissen zoals tapping of texture sliding binnen een gecontroleerde laboratoriumomgeving. Operationele beperkingen omvatten echter mogelijke verslechtering van de signaalkwaliteit door visco-elastische drift en hysterese van het zachte substraat, wat periodieke kalibratie of softwarematige compensatie vereist. Bovendien is het systeem wel schaalbaar voor hogere kanaalaantallen, maar de huidige implementatie wordt begrensd door de draadloze transmissiebandbreedte voor realtime visualisatie.
De CPLD beheert gesynchroniseerde multikanaalsacquisitie en draadloze datatransmissie, wat zorgt voor stabiele realtime prestaties. Deze aanpak maakt het mogelijk om hoge dichtheid multimodale signalen te verzamelen en biedt een schaalbare hardwarebasis voor de tactiele perceptie van robot. Om tactiele discriminatie te evalueren, werden vier representatieve gebaren onderzocht: zachte aanraking, tik, lichte knelling en sterke knijpen.
Dit werk richt zich op het aantonen van de haalbaarheid en signaalintegriteit van de multimodale e-skin architectuur met hoge bandbreedte. Drukdetectie wordt uitgevoerd met een piëzoresistief mechanisme gebaseerd op visco-elastisch sensormateriaal, een geleidend polymeercomposiet met een volumeweerstand van <500 Ωcm. In deze configuratie verandert mechanische druk de contactweerstand binnen het materiaal, die vervolgens wordt opgevangen door het opnamesysteem. Drukkanalen werden geselecteerd als de representatieve modaliteit om realtime acquisitie en datakwaliteit te valideren. Hoewel het systeem aanvullende modaliteiten ondersteunt zoals versnelling en temperatuur, zijn hun implementatie en analyse voorbehouden aan toekomstige toepassingspecifieke studies.
Om de uitdagingen van high-density tactiele data-acquisitie aan te pakken, maakt dit werk gebruik van een CPLD-gebaseerde hardwarearchitectuur geïntegreerd met een Wi-Fi 6-module. Zoals weergegeven in Figuur 2, is het systeem ontworpen om 36 kanalen met 14-bits resolutie te beheren bij een hogesnelheidssamplefrequentie van 2 kHz, wat een ruwe datadoorvoer van ongeveer 1,01 Mbps oplevert. Door gebruik te maken van het 802.11ax-protocol bereikt het platform een stabiele, effectieve transmissiesnelheid van 1,5 Mbps, waarbij een pakketverliespercentage van minder dan 0,2% wordt gehandhaafd in typische laboratoriumomgevingen. Deze op hardware gebaseerde aanpak elimineert de niet-deterministische timingjitter en interruptlatentie die gebruikelijk zijn in traditionele MCU-gebaseerde architecturen, terwijl het een energiezuiniger en kosteneffectiever alternatief biedt voor FPGA-gebaseerde oplossingen. Zo'n robuuste datapijplijn zorgt voor de precieze realtime synchronisatie en signaalintegriteit die nodig zijn voor complexe gebarenherkenning en multimodale tactiele detectie.
Er werden twee dimensieloze indicatoren gedefinieerd: equivalente golfvormskewness (EWS) en equivalente belasting (EL). De EWS kwantificeert de temporele asymmetrie van de tactiele responsgolfvorm, terwijl de EL de totale krachtintensiteit over de contactduur weergeeft. Analyse van deze indicatoren toonde voor elk gebaar verschillende mechanische signaturen, met een gemiddelde laadtijd van 0,4 s ± 0,2s, wat suggereert dat de visco-elastische respons van het substraat bijdraagt aan de temporele kenmerken die door het systeem worden vastgelegd.
Deze resultaten tonen de haalbaarheid aan van nauwkeurige tactiele intensiteit en gebarenherkenning met behulp van gesynchroniseerde, multimodale acquisitie. Het voorgestelde systeem biedt daarmee een functioneel front-end platform voor kwantitatieve tactiele analyse en legt een basis voor toekomstige ontwikkelingen in affectieve of emotiegerelateerde mens-robot interactie.