$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Czujniki dotykowe były szeroko badane dla percepcji robotycznej 1,2, jednak większość elektronicznych systemów skóry (e-skin) nadal opiera się na konfiguracjach jednomodalnych, o niskiej gęstości, które mogą ograniczać interpretację złożonego ludzkiego dotyku. Pomimo znaczących postępów w elastycznych materiałach dotykowych i architekturach urządzeń3, integracja na poziomie systemowym multimodalnego i wielokanałowego wykrywania dotykowego z wysoką precyzją, akwizycja w czasie rzeczywistym stanowi ciągłe wyzwania techniczne4. W konsekwencji kluczowe kwestie, takie jak synchronizacja sygnałów, koordynacja czasowa i optymalizacja przepustowości danych, wymagają systematycznego rozwiązywania w systemach dotykowych na dużą skalę lub o dużej liczbie kanałów5. Aby sprostać tym wymaganiom, konieczna jest architektura front-end o dużej przepustowości, zdolna zarządzać zsynchronizowanymi strumieniami wielokanałowymi danych, zachować integralność sygnału oraz wspierać ilościową charakteryzację gestów i sił 6,7,8.
Wielomodalne systemy e-skin stały się istotnym krokiem umożliwiającym platformom robotycznym emulację złożonych zdolności dotykowego ludzkiej skóry. Tradycyjne czujniki jedno-modalne, które wykrywają jedynie normalne ciśnienie lub temperaturę, mogą nie oddawać w pełni złożonego i dynamicznego charakteru rzeczywistych interakcji dotykowych. Natomiast systemy multimodalne inspirowane przez człowieka zostały zaprojektowane tak, aby wykrywać różne rodzaje bodźców dotykowych w czasie rzeczywistym, w tym siłę ścinania, drgania i sygnały termiczne. Na przykład Lee i in. opracowali bioinspirowany system percepcji dotykowej zdolny do wykrywania w czasie rzeczywistym na czterech odrębnych kanałach sensorycznych, co poprawiło rozpoznawanie tekstury, trybu kontaktu i stanów interakcji z obiektem9.
Najnowsze osiągnięcia w elektronice elastycznej jeszcze bardziej poszerzyły horyzonty tych systemów multimodalnych, szczególnie poprzez rozwój zaawansowanej elektronicznej skóry (e-skin), która naśladuje mechaniczną podatność i wysoką czułość tkanek biologicznych. Na przykład eksploracja nowatorskich aktywnych materiałów i hierarchicznych projektów strukturalnych doprowadziła do powstania platform e-skin nowej generacji o bezprecedensowej czułości dotykowej i wielofunkcyjności. Poza innowacjami materiałowymi, przejście do zastosowań na dużą skalę wymaga solidnych i skalowalnych technik produkcji. Elektronika drukowana stała się kluczowym rozwiązaniem, umożliwiającym precyzyjną i opłacalną integrację matryc czujników o wysokiej gęstości na różnych podłożach elastomerowych, przy jednoczesnym zachowaniuwydajności urządzenia.
Aby zapewnić niezawodność tych systemów w praktycznych sytuacjach, naukowcy coraz częściej koncentrują się na optymalizacji właściwości elektromechanicznych i mechanizmów detekcji elastycznych czujników, aby ograniczyć przesłuchy sygnałów i zakłócenia środowiskowe12. Ostatecznie obecny paradygmat w tej dziedzinie przesuwa się od izolowanych komponentów detekcji ku w pełni zintegrowanym, inteligentnym i elastycznym platformom, które łączą zaawansowane materiały z wysokowydajnymi ramami przetwarzania sygnałów13.
Jednak integracja wielu metod detekcji w jednolitą matrycję stanowi poważne wyzwania w zakresie sprzężenia sygnałów, synchronizacji i interpretacji danych. Kong i in. podkreślili konieczność solidnych strategii integracji i rozdzielania w matrycach sensorów multimodalnych o wysokiej gęstości, aby zapewnić dokładną izolację sygnału i zminimalizować przesłuchy14. Ponadto mechaniczne zachowanie substratu miękkiego czujnika znacząco wpływa na wierność sygnału. Mu i in. wykazali, że lepkoelastyczna natura przewodzących kompozytów polimerowych może wywoływać dryf sygnału i histerezę, podkreślając rolę modelowania materiałowego i strategii kompensacji na poziomie systemowym w multimodalnych platformach detekcji 15. Łącznie te wyniki sugerują, że opracowanie systemów e-skin o dużej szerokości pasma, świadomych wiskoelastyczność i odłączonych multimodalnych jest niezbędne dla rozwoju inteligentnej percepcji dotykowej w robotyce i interfejsach człowiek-maszyna16 .
Aby zapewnić akwizycję sygnałów dotykowych w czasie rzeczywistym przy minimalnym opóźnieniu i wysokiej integralności sygnału, zastosowano złożone ramy akwizycyjne oparte na programowalnych urządzeniach logicznych (CPLD). Wcześniejsze badania wykazały, że CPLD nadają się do zarządzania szybkimi potokami danych oraz strumieniami sygnałów krytycznymi dla czasów w systemach sensorów17,18.
W porównaniu z tradycyjnymi architekturami akwizycji danych, to podejście oparte na CPLD z synchronizacją hybrydową częstotliwością oferuje kilka wyraźnych zalet. Chociaż systemy oparte na mikrokontrolerach (MCU) często polegają na synchronizacji na poziomie oprogramowania lub sekwencyjnych ankietach, są podatne na niedeterministyczne drganie czasowe i opóźnienia przerwania, które mogą zakłócać wyrównanie fazy sygnału na wysokich liczbach kanałów19. Dla porównania, architektura CPLD oparta na logice sprzętowej zapewnia ściśle równoległe wykonywanie i deterministyczne tempo na poziomie nanosekund dla wszystkich 36 kanałów. Ponadto, podczas gdy polowe programowalne matryce bramkowe (FPGA) zapewniają wyższą moc obliczeniową, CPLD oferują bardziej opłacalne i energooszczędne rozwiązanie dla głębokości logicznej wymaganej w automatach stanów o hybrydowej częstotliwości, co ułatwia długoterminową stabilność w aplikacjach noszonych na e-skin. Dodatkowo, w przeciwieństwie do metod multipleksowania na niższych kanałach, które poświęcają efektywną przepustowość próbkowania na kanał, proponowana architektura synchronizacji utrzymuje stałą częstotliwość 2 kHz dla modalności dotykowych, pokonując wąskie gardła heterogenicznej fuzji danych wskazane w najnowszej literaturze19.
Badanie to prezentuje multimodalną, elastyczną elektroniczną powłokę zintegrowaną z systemem akwizycji opartym na CPLD. System obsługuje 36 kanałów 14-bitowego próbkowania hybrydowego, pracując pod częstotliwością 2 kHz dla dynamicznych kanałów dotykowych oraz 100 Hz dla modalności pomocniczych, w tym czujników przyspieszenia, temperatury, wilgotności, oświetlenia i dźwięku (Rysunek 1). System integruje te heterogeniczne czujniki na elastycznym podłożu z układu drukowanego (FPC), zapewniając zarówno mechaniczną adaptacyjność, jak i stabilność elektryczną. Zastosowano podatną warstwę plastycznej kapsułki15, podzieloną na małe, prostokątne jednostki, aby poprawić lokalną adaptowalność odkształceń i stabilność kontaktu podczas interakcji dotykowych.
Jeśli chodzi o praktyczną przydatność, szybka równoległa architektura próbkowania jest zoptymalizowana do rejestrowania szybkich, impulsywnych zdarzeń dotykowych, takich jak stuknięcia czy przesuwanie tekstur, w kontrolowanym środowisku laboratoryjnym. Jednak ograniczenia operacyjne obejmują potencjalne pogorszenie jakości sygnału spowodowane dryfem lepkoelastycznym i histerezą miękkiego podłoża, co wymaga okresowej kalibracji lub kompensacji programowej. Ponadto, choć system jest skalowalny do większej liczby kanałów, obecna implementacja jest ograniczona przez pasmo transmisji bezprzewodowej dla wizualizacji w czasie rzeczywistym.
CPLD zarządza zsynchronizowanym wielokanałowym pozyskiwaniem i bezprzewodową transmisją danych, zapewniając stabilną wydajność w czasie rzeczywistym. Takie podejście umożliwia zbieranie sygnałów multimodalnych o wysokiej gęstości i zapewnia skalowalną podstawę sprzętową dla robotycznej percepcji dotykowej. Aby ocenić dyskryminację dotykową, eksperymentalnie przeanalizowano cztery reprezentatywne gesty: delikatny dotyk, stuknięcie, lekkie szczypanie i silne szczypnięcie.
Prace te koncentrują się na wykazaniu wykonalności i integralności sygnału architektury e-skin o dużej przepustowości. Czujnik ciśnienia realizowany jest za pomocą mechanizmu piezorezystancyjnego opartego na materiale do wykrywania wiskoelastycznym, czyli przewodzącym kompozycie polimerowym charakteryzującym się rezystancją objętościową <500 Ωcm. W tej konfiguracji ciśnienie mechaniczne zmienia opór stykowy w materiale, który następnie jest rejestrowany przez system akwizycji. Kanały ciśnienia zostały wybrane jako reprezentatywna metoda weryfikacji akwizycji w czasie rzeczywistym i jakości danych. Chociaż system obsługuje dodatkowe modalności, takie jak przyspieszenie i temperatura, ich wdrożenie i analiza są zarezerwowane na przyszłe badania specyficzne dla zastosowań.
Aby sprostać wyzwaniom związane z pozyskiwaniem danych dotykowych o wysokiej gęstości, praca ta wykorzystuje architekturę sprzętową opartą na CPLD zintegrowaną z modułem Wi-Fi 6. Jak pokazano na Rysunku 2, system został zaprojektowany do obsługi 36 kanałów o rozdzielczości 14-bitowej przy wysokiej częstotliwości próbkowania 2 kHz, generując przepustowość surowych danych około 1,01 Mbps. Dzięki wykorzystaniu protokołu 802.11ax platforma osiąga stabilną, efektywną szybkość transmisji 1,5 Mbps, utrzymując wskaźnik utraty pakietów poniżej 0,2% w typowych warunkach laboratoryjnych. To podejście oparte na logice sprzętowej eliminuje niedeterministyczne drgania czasowe i opóźnienia przerwania, typowe dla tradycyjnych architektur opartych na MCU, oferując jednocześnie bardziej energooszczędną i opłacalną alternatywę dla rozwiązań opartych na FPGA. Taki solidny potok danych zapewnia precyzyjną synchronizację w czasie rzeczywistym i integralność sygnału niezbędną do złożonego rozpoznawania gestów i wielometodowego wykrywania dotykowego.
Zdefiniowano dwa bezwymiarowe wskaźniki: równoważną przekłuczność przebiegu (EWS) oraz równoważne obciążenie (EL). EWS ilościowo określa asymetrię czasową przebiegu reakcji dotykowej, natomiast EL reprezentuje całkowitą intensywność siły zintegrowaną na cały czas trwania kontaktu. Analiza tych wskaźników ujawniła odrębne sygnatury mechaniczne dla każdego gestu, ze średnim czasem rozładowania wynoszącym 0,4 s ± 0,2 s, co sugeruje, że lepkoelasystyczna odpowiedź substratu wpływa na cechy czasowe rejestrowane przez system.
Wyniki te pokazują wykonalność precyzyjnego rozpoznawania intensywności dotykowej i gestów przy użyciu zsynchronizowanego, multimodalnego pozyskiwania. Proponowany system zapewnia zatem funkcjonalną platformę front-end do ilościowej analizy dotykowej i stanowi podstawę dla przyszłego rozwoju interakcji człowieka-robot emocjonalnego lub emocjonalnego.