촉각 강도 및 제스처 인식을 위한 CPLD 기반 데이터 획득을 통한 다중 모달 유연한 전자 스킨의 설계 및 특성화

요약

이 프로토콜은 유연하고 다중 모달 전자 스킨 시스템의 제작 및 작동을 설명합니다. CPLD 기반 백엔드를 활용하여 36개의 센서 채널에서 동기화된 하이브리드 주파수 데이터 수집을 가능하게 하여, 첨단 로봇 인식과 인간-로봇 상호작용을 위한 복잡한 촉각 제스처의 정량적 분석을 가능하게 합니다.

초록

이 연구는 CPLD 기반 데이터 수집 시스템을 통해 고해상도 촉각 감지와 제스처 인식을 지원하는 유연한 다중 모달 전자 스킨(e-skin) 플랫폼의 설계 및 특성화를 제시합니다. 이 시스템은 36채널, 14비트 하이브리드 주파수 샘플링 아키텍처(2 kHz, 1 kHz, 100 Hz)를 통합하며, 압력, 가속도, 빛, 온도, 환경 신호에 대한 하드웨어 수준의 지원을 제공합니다. 유연한 FPC 기판은 기계적 안정성을 유지하면서 곡면 로봇 표면에서 공각 적분을 가능하게 합니다. 촉각 지각 능력을 입증하기 위해, 본 연구는 접촉력 추정과 제스처 역학의 주요 방식인 압력 감지 채널에 초점을 맞춥니다. 네 가지 대표적인 인간 상호작용, 부드러운 접촉, 톡톡, 가벼운 꼬집기, 강한 꼬집기를 분석하였습니다. 힘의 강도와 제스처 범주를 구분하기 위해 동등한 파형 왜곡도와 등가 부하라는 두 가지 무차원 지표가 도입되었습니다. 실험 결과는 이 시스템이 명확한 제스처 분리와 피부와 유사한 점탄성 반응을 달성하며, 평균 하약 시간은 0.4초± 0.2초임을 보여줍니다. 1.5 Mbps의 실시간 무선 데이터 전송을 지원하며, 모듈식 설계는 향후 추가 모달리티의 통합을 위한 확장 가능한 기반을 제공합니다. 이 연구는 다중 모드 지각 시스템을 위한 확장 가능한 기능을 갖춘 힘 및 제스처 기반 인간-로봇 촉각 상호작용을 위한 하드웨어 프레임워크를 확립합니다.

서론

촉각 감지는 로봇 지각에 대해 광범위하게 연구되었^으나, 대부분의 전자 피부(e-skin) 시스템은 여전히 단일 모달리티, 저밀도 구성에 의존하여 복잡한 인간 촉각 해석을 제한할 수 있습니다. 유연한 촉각 소재와 장치 아키텍처의 큰 발전에도 불구하고,³, 다중 모드 및 다중 채널 촉각 감지와 고정밀 실시간 획득의 시스템 수준 통합은 지속적인 기술^{적 도전 과제}를 제시합니다. 따라서 신호 동기화, 타이밍 조정, 데이터 처리량 최적화와 같은 핵심 이슈는 대규모 또는 고채널 수의 촉^{각 시스템에서 체계}적인 주소 지정 작업이 필요합니다. 이러한 요구사항을 해결하기 위해, 동기화된 다중 채널 데이터 스트림을 관리하고, 신호 무결성을 유지하며, 정량적 제스처 및 힘 특성화를 지원하는 고대역폭 프론트엔드 아키텍처가 필요하다 ^6,7,8.

다중 모달 e-스킨 시스템은 로봇 플랫폼이 인간 피부의 복잡한 촉각 감지 능력을 모방할 수 있도록 하는 중요한 발전으로 부상했습니다. 기존의 단일 모달리티 센서는 정상압이나 온도만 감지하기 때문에 실제 촉각 상호작용의 복잡하고 역동적인 특성을 완전히 포착하지 못할 수 있습니다. 반면, 인간 주도 멀티모달 시스템은 전단력, 진동, 열 신호 등 다양한 촉각 자극을 실시간으로 감지하도록 설계되었습니다. 예를 들어, Lee 등은 네 개의 서로 다른 감각 채널에서 실시간 감지가 가능한 생체 모방 촉각 지각 시스템을 개발하여 질감, 접촉 모드, 객체 상호작용 상태 인식을 향상시켰습니다⁹.

최근 유연한 전자기기의 발전은 이러한 다중 모달 시스템의 지평을 더욱 확장했으며, 특히 생체 조직의 기계적 순응성과 높은 민감도를 모방하는 정교한 전자 피부(e-skin) 개발이 이루어졌습니다. 예를 들어, 새로운 능동 소재와 계층적 구조 설계의 탐구는 전례 없는 촉각 민감성과 다기능 기능을 갖춘 차세대 전자피부 플랫폼으로 이어^{졌습니다.} 재료 혁신을 넘어, 대규모 적용으로의 전환은 견고하고 확장 가능한 제조 기술을 필요로 합니다. 인쇄 전자장치는 고밀도 센서 배열을 다양한 탄성 기재에 정밀하고 비용 효율적으로 통합하면서^{장치 성능을 유지하는} 데 중요한 해결책으로 부상했습니다.

이러한 시스템의 신뢰성을 실용적인 시나리오에서 보장하기 위해, 연구자들은 신호 크로스토킹과 환경 간섭을 완화하기 위해 유연한 센서의 전기기계적 특성과 감지 메커니즘을 최적화하는 데 점점 더 집중하고 있습니다^. 궁극적으로 이 분야의 현재 패러다임은 고립된 센싱 부품에서 첨단 소재와 고효율 신호 처리 프레임워크를 시너지 내는 완전 통합되고 지능적이며 유연한 플랫폼으로 전환되고^{있습니다.}

그러나 여러 센싱 방식을 통합 배열에 통합하는 것은 신호 결합, 동기화, 데이터 해석에 상당한 도전 과제를 안겨줍니다. Kong 등은 고밀도 다중 모드 센서 배열에서 정확한 신호 격리와 교차 토크 최소화를 위해 견고한 적분 및 분리 전략의 필요성을 강조했다¹⁴. 더불어, 소프트 센서 기판의 기계적 거동은 신호 충실도에 큰 영향을 미칩니다. Mu 등은 전도성 고분자 복합재료의 점탄성 특성이 신호 드리프트와 히스테리시스를 유발할 수 있음을 입증하며, 다중 모드 감지 플랫폼에서 재료 모델링과 시스템 수준 보상 전략의 역할을 강조했습니다 ¹⁵. 종합적으로 이 결과들은 고대역폭, 점탄성 인식 및 분리된 다중 모달 e-스킨 시스템 개발이 로봇공학과 인간-기계 인터페이스에서 지능형 촉각 인식을 발전시키는 데 필수적임을 시사합니다¹⁶ .

최소한의 지연과 높은 신호 무결성을 가진 다중 채널 촉각 신호의 실시간 획득을 보장하기 위해, 복잡한 프로그래머블 로직 디바이스(CPLD) 기반 획득 프레임워크가 채택되었습니다. 이전 연구들은 CPLD가 센서 시스템에서 고속 데이터 파이프라인과 타이밍에 민감한 신호 스트림 관리에 적합하다는 것을 입증했습니다^17,18.

전통적인 데이터 수집 아키텍처와 비교할 때, 이 CPLD 기반 동기화 하이브리드 주파수 접근법은 여러 가지 뚜렷한 장점을 제공합니다. 마이크로컨트롤러 유닛(MCU) 기반 시스템은 종종 소프트웨어 수준의 동기화나 순차 폴링에 의존하지만, 비결정적 타이밍 지터와 인터럽트 지연 시간이 발생하기 쉬워 고채널 수에서 신호 위상 정렬에 영향을 줄 수 있습니다¹⁹. 반면, CPLD의 하드웨어-논리 기반 아키텍처는 36개 채널 모두에 대해 엄격한 병렬 실행과 나노초 수준의 결정론적 타이밍을 보장합니다. 더불어, 현장 프로그래머블 게이트 어레이(FPGA)가 더 높은 계산 능력을 제공하는 반면, CPLD는 하이브리드 주파수 상태 기계에서 요구되는 논리 깊이에 대해 비용 효율적이고 전력 효율적인 솔루션을 제공하여 웨어러블 e-스킨 응용에서 장기적인 안정성을 촉진합니다. 또한, 채널당 효과적인 샘플링 대역폭을 희생하는 저채널 다중화 방법과 달리, 제안된 동기화 아키텍처는 촉각 방식에 대해 일관된 2 kHz 속도를 유지하여 최근 문헌¹⁹에서 지적된 이기종 데이터 융합의 병목 현상을 극복합니다.

본 연구는 CPLD 기반 획득 시스템과 통합된 다중 모달 유연한 전자 스킨을 제시합니다. 시스템은 36채널의 14비트 하이브리드 주파수 샘플링을 지원하며, 동적 촉각 채널은 2 kHz, 가속, 온도, 습도, 조명, 음향 센서 등 보조 모드는 100 Hz로 동작합니다(그림 1). 이 시스템은 이러한 이기종 센서들을 유연한 인쇄회로(FPC) 기판 위에 통합하여 기계적 적응성과 전기적 안정성을 모두 보장합니다. 국소 변형 적응성과 촉각 상호작용 시 접촉 안정성을 높이기 위해 소형 직사각형 단위로 분할된 순응 점탄성 캡슐화 층¹⁵가 채택되었습니다.

실용적 적합성 측면에서 고속 병렬 샘플링 아키텍처는 통제된 실험실 환경에서 탭핑이나 텍스처 슬라이딩과 같은 빠르고 충동적인 촉각 이벤트를 포착하는 데 최적화되어 있습니다. 하지만 작동 제약 조건으로는 점탄성 드리프트와 연질 기판의 히스테리시스로 인한 신호 품질 저하가 있어 주기적인 보정이나 소프트웨어 기반 보상이 필요합니다. 또한, 시스템은 더 많은 채널 수로 확장할 수 있지만, 실시간 시각화를 위한 무선 전송 대역폭에 의해 제한되어 있습니다.

CPLD는 동기화된 다채널 획득 및 무선 데이터 전송을 관리하여 안정적인 실시간 성능을 보장합니다. 이 접근법은 고밀도 다중 모드 신호 수집을 가능하게 하며, 로봇 촉각 인식을 위한 확장 가능한 하드웨어 기반을 제공합니다. 촉각 식별을 평가하기 위해 네 가지 대표적인 제스처인 부드러운 터치, 두드림, 가벼운 꼬집기, 강한 꼬집기를 실험적으로 분석하였습니다.

이 연구는 고대역폭 멀티모달 e-스킨 아키텍처의 실현 가능성과 신호 무결성을 입증하는 데 중점을 둡니다. 압력 감지는 점탄성 감지 재료인 전도성 고분자 복합재를 기반으로 한 압저항 메커니즘을 사용하여 구현되며, 이 복합재는 부피 저항성이 <500 Ωcm입니다. 이 구성에서는 기계적 압력이 재료 내 접촉 저항을 변화시키며, 이는 이후 획득 시스템에 의해 포착됩니다. 압력 채널이 실시간 획득 및 데이터 품질을 검증하는 대표 모달리티로 선정되었습니다. 시스템은 가속도나 온도와 같은 추가 모달리티를 지원하지만, 그 구현과 분석은 향후 응용 특화 연구를 위해 예약되어 있습니다.

고밀도 촉각 데이터 수집의 문제를 해결하기 위해 이 연구는 Wi-Fi 6 모듈과 통합된 CPLD 기반 하드웨어 아키텍처를 사용합니다. 그림 2에서 볼 수 있듯이, 시스템은 14비트 해상도로 36개 채널을 2kHz의 고속 샘플링 속도로 관리하도록 설계되어 약 1.01 Mbps의 원시 데이터 처리량을 생성합니다. 802.11ax 프로토콜을 활용하여 플랫폼은 안정적이고 효과적인 전송 속도인 1.5 Mbps를 달성하며, 일반적인 실험실 환경에서 0.2% 미만의 패킷 손실률을 유지합니다. 이 하드웨어-로직 기반 접근법은 전통적인 MCU 기반 아키텍처에서 흔히 발생하는 비결정적 타이밍 지터와 인터럽트 지연을 제거하고, FPGA 기반 솔루션보다 전력 효율적이고 비용 효율적인 대안을 제공합니다. 이러한 견고한 데이터 파이프라인은 복잡한 제스처 인식과 다중 모달 촉각 감지에 필요한 정확한 실시간 동기화와 신호 무결성을 보장합니다.

두 가지 무차원 지표가 정의되었는데, 동등파형 왜도(EWS)와 등가 부하(EL)입니다. EWS는 촉각 반응 파형의 시간적 비대칭성을 정량화하며, EL은 접촉 지속 시간 동안 통합된 전체 힘의 강도를 나타냅니다. 이 지표들 분석 결과, 각 제스처마다 뚜렷한 기계적 신호가 나타나며, 평균 하하 시간이 0.4초± 0.2초로 나타나, 기판의 점탄성 반응이 시스템이 포착하는 시간적 특성에 기여함을 시사합니다.

이 결과는 동기화된 다중 모달 획득을 통한 정확한 촉각 강도와 제스처 인식의 실현 가능성을 보여줍니다. 따라서 제안된 시스템은 정량적 촉각 분석을 위한 기능적 프론트엔드 플랫폼을 제공하며, 정서 또는 감정 관련 인간-로봇 상호작용의 미래 발전을 위한 기반을 마련합니다.

프로토콜

여기서 설명된 모든 실험 절차는 비침습적이었으며 동물이나 인간 임상 대상자를 포함하지 않았으며; 따라서 이 연구에는 윤리적 승인이 필요하지 않았습니다. 시약과 사용된 장비는 재료표에 나열되어 있습니다.

1. 센서 제작

1. 점탄성 센서의 준비 및 통합
   1. 정밀 자와 미세한 끝 영구 마커를 사용해 점탄성 감지 재료에 목표 치수(예: 5 mm x 5 mm)를 표시하여 치수 정확도를 보장합니다. 표시된 선을 따라 날카롭고 가는 가위로 재료를 자릅니다. 가능한 한 한 번에 연속적인 동작으로 절단하여 가장자리를 깨끗하게 유지하고 경계의 기계적 변형이나 마모를 최소화하세요.
   2. 플렉시브 프린트 회로(FPC)의 표면 장착 패드를 [예: 이소프로필 알코올과 보풀 없는 물티슈]로 청소하여 오염물질을 제거하고 최적의 접착력을 보장합니다(그림 1).
   3. 점탄성 재료 조각을 전도성 접착제를 사용해 FPC의 표면 장착 패드에 접착합니다.
   4. 감지 재료 바닥 주변에 얇은 UV 경화 수지 층을 발라 접착 이음부를 캡슐화합니다. 365nm 파장의 UV 광원을 사용해 100 mW/cm² 강도로 5분간 수지를 경화합니다.
   5. 조립된 센서의 전기적 연속성은 디지털 멀티미터를 사용해 검증합니다.
      참고: 저항값은 부하 제로 상태에서 5 kΩ에서 20 kΩ 범위 내에 있어야 합니다.
   6. 외부 압력을 가하고 이에 따른 저항 변화를 측정하여 조립된 장치의 압력 민감 특성을 특성화합니다.

2. 데이터 수집 보드의 구현

1. 다중 속도 데이터 수집 시스템의 구성
   1. 아날로그 프론트엔드 및 데이터 변환 회로를 하나의 유연한 FPC 기판에 통합합니다(그림 3).
   2. 센서 채널 선택을 위해 5개의 8채널 아날로그 스위치(그림 4A)를 활용하세요. 이들을 세 개의 병렬 14비트 연속 근사 레지스터(SAR) 아날로그-디지털 변환기(ADC)와 인터페이스하여 신호 디지털화를 수행합니다.
   3. ADC와 스위치 네트워크를 복잡한 프로그래머블 로직 장치(CPLD)에 연결하여 채널 주소 지정, 타이밍 제어, 동기화를 관리합니다.
   4. 40핀 FPC 커넥터를 사용해 센서 FPC를 획득 보드에 안전하게 부착하세요. 신호 불안정을 방지하기 위해 잠금 메커니즘이 완전히 작동하도록 하세요.
2. CPLD 기반 시스템 제어 및 데이터 처리
   1. CPLD 로직을 프로그래밍하여 필요한 샘플링 간격에 따라 정확한 타이밍 신호를 생성하여 모든 ADC를 동기식으로 구동합니다.
   2. CPLD의 내부 논리 게이트를 구성하여 고속 채널 스위칭을 조정하고, 세 개의 ADC에서 나오는 병렬 데이터 스트림을 통합된 데이터 패킷으로 합칩니다.
   3. 병합된 데이터를 직렬 인터페이스를 통해 1.5 Mbps의 보트 속도로 Wi-Fi 모듈로 전송하여 호스트 컴퓨터와 실시간 무선 통신을 수행합니다.
3. 하이브리드 주파수 샘플링을 위한 ADC 인터페이스
   1. CPLD가 관리하는 칩 셀렉트(CS#), 직렬 클럭(SCLK), 직렬 데이터(SDATA) 라인으로 구성된 전용 3선 직렬 인터페이스를 통해 세 개의 독립적인 14비트 SAR ADC 각각을 제어합니다.
   2. CPLD 아키텍처 내에서 2 kHz, 1 kHz, 100 Hz 모달리티에 필요한 뚜렷한 샘플링 속도를 생성하기 위해 채널별 클럭 분배기를 구현합니다(그림 5).
   3. 샘플링된 각 프레임을 공통 타임베이스 참조에 상대적으로 임시 버퍼에 저장합니다. 로직 내에 데이터가 하위 전송 준비가 되었음을 알리는 원샷 데이터 유효 플래그를 주장합니다.
4. 시간 슬라이스 기반 샘플링 동기화 구현
   1. CPLD에서 10ms 전역 샘플링 프레임을 기본 스케줄링 기간으로 정의하고, 이를 10개의 균일한 1ms 시간 슬라이스로 나누세요.
   2. 이 10ms 프레임 내에서 지정된 샘플링 주파수에 따라 36개의 센서 채널 각각에 하나 이상의 고정 시간 슬롯을 할당합니다.
   3. 모든 ADC 그룹과 프레임에서 엄격한 위상 정렬을 유지하기 위해 결정론적 스케줄링 방식을 모니터링하여 동기식 하이브리드 주파수 데이터 수집을 보장합니다.

결과

이 프로토콜은 전자 피부(e-skin)에 적용되는 독특한 촉각 제스처를 정량적으로 특성화하고 구분할 수 있게 합니다. 전자 피부 샘플을 테스트 플랫폼에 고정하세요. 한 명의 조작자는 표 1에 나열된 매개변수에 따라 부드러운 터치, 탭핑, 가벼운 꼬집기, 강한 꼬집기 등 네 가지 정의된 촉각 동작을 수행합니다. "부드러운 터치" 제스처는 안정적이고 일관된 반복을 보장하기 위해 약 1분 동안 단일 e-스킨 장치에 손가락을 가볍게 올려놓는 것이었습니다.

"두드리기" 제스처는 약 1분 동안 거의 일정한 주파수로 한 손가락으로 기기를 계속 두드리는 것이었습니다. "가벼운 꼬집기"와 "강한 꼬집기"의 경우, 실험자는 1분 동안 엄지와 검지 사이에 가볍고 강한 압력으로 장치를 반복적으로 쥐어 일관된 제스처 주기를 유지했습니다.

CPLD가 수집한 원시 시계열 데이터는 그림 6<...

토론

e-스킨의 감지 메커니즘은 근본적으로 그 구성 성분인 폴리머의 점탄성 특성에 뿌리를 두고 있습니다 ^6,15. 이 재료는 외부 힘에 의해 탄성 변형과 점성 흐름을 모두 보입니다. 점성 성분은 재료 회수에 특징적인 지연을 유발합니다; 즉, 힘이 제거되자 즉시 원래 상태로 돌아가지 않고, 회복하는 데 유한한 시간이 필요하다. 이러한 점탄성 특성은 고분자의 분자 사슬 구조, 분자량 분포, 작동 온도와 같은 요인과 본질적으로 연관되어 있습니다. 무엇보다도, 재료 계수는 인간 피부와 유사하도록 설계되었다.

이 시간적 거동을 정량화하기 위해 '하역 시간'은 외부 힘이 제거된 후 재료가 초기 상태의 90%로 회복하는 데 필요한 기간으로 정의됩니다. 이 회복 과정은 비선형적입니다. 실험 데이터에 따르면 평균 하약 시간은 약 0.4초이며, 일반적인 손가락 압력 범위보다 ±0.2초의 편차가 나타...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
유연한 인쇄회로기판	JLCPCB	누구든	압력 데이터를 얻는 데 사용됩니다
아날로그 스위치	TI	TMUX1108PWR	채널 선택에 사용됩니다
아날로그-디지털 변환기	아날로그 디바이스	AD7940BRMZ-릴7	아날로그 신호를 디지털 신호로 변환하기
CPLD	인텔	맥스 10M02	데이터 처리 장치
오실로스코프	텍트로닉스	TBS2000	이 오실로스코프는 신호 파형을 측정하는 데 사용됩니다.
쿼터스 II	인텔	누구든	CPLD용 프로그래밍 IDE
점탄성 감지 재료	누구든	누구든	이 물질은 압력 신호를 생성하는 데 사용됩니다.
Wi-Fi 6 모듈	AI-씽커	AD-M62-CBS	데이터 전송 모듈