Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama
28 Mart 2025
Makale, doğal parmak hareketi sırasında el elektromiyografisi (EMG) ve görsel parmak takibini aynı anda kaydetmek için kapsamlı bir protokol sunmaktadır. Görsel veriler, parmak hareketi tanıma için doğru EMG tabanlı hesaplama modellerinin geliştirilmesi için temel gerçek olarak hizmet etmek üzere tasarlanmıştır.
Araştırmamız, senkronize EMG ve görsel verileri kullanarak dinamik el hareketi tanımayı geliştirmeye odaklanmaktadır. Kas aktivitesinin farklı el pozisyonlarında parmak hareketiyle ne kadar doğru bir şekilde eşleştiğini ve bunun protez rehabilitasyonu ve insan-bilgisayar etkileşiminde uygulamayı nasıl geliştirebileceğini belirlemeyi amaçlıyoruz. Protokolümüz, çeşitli dinamik el pozisyonlarında kas aktivitesinin parmak hareketiyle eşlenmesini sağlayarak el hareketi tanımadaki boşluğu giderir.
Yaklaşımımız, dinamik hareketler sırasında DMG ve görsel verileri toplayıp senkronize ederek sağlam hareket tanıma modelleri geliştirmek için zemin hazırlar. Statik kurulumlu geleneksel yöntemlerin aksine, protokolümüz dinamik hareketler sırasında kablosuz bir EMGRA ve el izleme sistemi kullanır ve hareket tanıma çalışmaları için esneklik ve daha gerçekçi veri toplama sağlar. Başlamak için GitHub deposunu açın ve kurulum bölümündeki ayrıntılı talimatları izleyin.
Birincil Python dosyasını bulun data_collection. py, klasörüne yerleştirin ve denemeyi çalıştırmak için hazırlayın. Komut dosyası spektrogramını kullanın.
Elektromiyografiyi, kısaca EMG sinyal kalitesini değerlendirmek için py ve sinyal filtreleme ve segmentasyon için veri analizi komut dosyası. EMG veri toplama ünitesinin, kısaca DAU'nun her seanstan önce tam olarak şarj edildiğinden emin olun. Ardından DAU'yu açın.
Özel uygulamayı kullanarak DAU'yu Bluetooth aracılığıyla PC'ye bağlayın. Bluetooth iletişim hızını saniyede 500 örnek olarak ayarlayın. El izleme kamerası yazılımını PC'ye kurun ve açın. El izleme kamerasını bir kablo kullanarak PC'ye bağlayın.
El izleme kamera yazılımını her zaman görüntülemek için bir ekran kullanın. Başlamak için, katılımcıya sağ elini güçlü bir yumruk haline getirmesini söyleyin. Katılımcı esnerken, kası palpe etmek ve en belirgin aktivasyonun olduğu noktayı belirlemek için ön koluna hafifçe bastırın.
EMG elektrot dizisinden beyaz koruyucu tabakayı soyun ve elektrotları belirlenen önkol bölgesine dikkatlice takın. Yapışkan bandı avuç içine yakın bir yere yerleştirin ve elektrot dizisini cilde sabitlemek için hafifçe vurun. Elektrot dizisi cilde bağlandıktan sonra, şeffaf destek tabakasını soyun.
Ardından, elektrot dizisi konektör kartını DAU konektör soketine takın. DAU'yu elektrotların yanındaki yapışkan banda takın. Gerçek zamanlı sinyal kalitesini doğrulamak için özel Python spektrogram komut dosyasını çalıştırın.
Tüm elektrotlar için solda ham verileri ve sağda frekans alanı verilerini gösteren görüntülenen pencereyi gözlemleyin. Tüm elektrotların algılandığını ve düzgün çalıştığını ve sinyalin aşırı gürültü ve 50 hertz gürültüden temiz olduğunu doğrulayın. Gerekirse, gürültüyü azaltmak için gereksiz ekipman cihazlarının fişini prizden çekin ve elektronik cihazlardan uzaklaşın, böylece sinyalin dengelenmesi için zaman tanıyın.
Ardından, katılımcıya koltuğa dirsek koymasını ve parmaklarını hareket ettirmesini söyleyin, ardından rahatlamasını isteyin. Net bir EMG sinyalinin görüntülendiğinden ve ardından statik temel gürültünün görüntülendiğinden emin olun. Sinyal doğrulaması tamamlandıktan sonra komut dosyasını kapatın.
Konumu gözden geçirmek için, görüntüler klasörünü açmak için parmak pozu tahminine ve ardından veri toplamaya tıklayın. Hareket görüntülerini katılımcıyla birlikte gözden geçirin. Forehand pozisyonlarını katılımcıya net bir şekilde açıklayın.
Her seanstan önce ellerini nasıl tutacakları konusunda onlara talimat verin, uygun duruş ve pozisyon almalarını sağlayın. Birinci el pozisyonu için, katılımcıdan masadan yaklaşık bir metre uzakta düz durmasını isteyin. Ardından, katılımcıya sağ elini aşağıda, düz ve rahat bir şekilde, avuç içi el izleme kamerasına bakacak şekilde tutmasını söyleyin.
El izleme kamerasını bir selfie çubuğu kullanarak masaya sabitleyin ve katılımcının eline bakacak şekilde yönlendirin. Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun. İkinci el pozisyonu için, katılımcıya monitörlerden 40 ila 70 santimetre uzakta bulunan bir koltuğa rahatça oturmasını söyleyin.
Ardından, katılımcıdan sağ elini, avuç içi rahat ve el izleme kamerasına bakacak şekilde 90 derecelik bir açıyla öne doğru uzatmasını isteyin. Elinizi sabit tutmak için gerekirse bir destek cihazı kullanın. El izleme kamerasını yukarı bakacak şekilde masanın üzerine yerleştirin.
Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun. Üçüncü el pozisyonu için, katılımcıdan dirseğini koltuğa dayayarak elini yukarı doğru katlamasını isteyin. Avucunuzun rahat olduğundan ve el izleme kamerasına baktığından emin olun.
El izleme kamerasını katılımcının eline bakacak şekilde masaya sabitleyin. Katılımcının konumunun hem ekranları görüntülemek hem de kameranın görüş alanı içinde olmak için en uygun olduğundan emin olun. Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun.
Dördüncü el pozisyonu için, katılımcıdan elini serbestçe hareket ettirirken parmak hareketlerini gerçekleştirmesini isteyin, dinamik el pozisyonu bir, dinamik el pozisyonu iki veya dinamik el pozisyonu üç'ü seçin. Bilgisayarı açın, Python'u açın ve betiği data_collection.py yükleyin. El izleme kamerasının konumunu ve açısını katılımcının el konumuyla hizalayacak şekilde ayarlayın.
data_collection çalıştırın. py komut dosyası. Katılımcının ayrıntılarını girmek için bir pencere açılacaktır.
Gerekli bilgileri doldurun ve deneyi otomatik olarak başlatmak için tamam'a basın. Her seans için, otomatik olarak kaydedilen EMG ve el izleme verilerini kaydedin. Deney sona erdiğinde, verilerin otomatik olarak katılımcı seri numarasıyla etiketlenmiş bir klasöre kaydedildiğinden emin olun.
Her oturumun, her el konumu için P numarası olarak etiketlenmiş dört alt klasör içeren S numarası adlı bir alt klasörde saklandığını doğrulayın. Bir katılımcı birden fazla oturumu tamamlarsa, tüm verilerin ilgili oturum klasörüne kaydedildiğini onaylayın. Her el pozisyonu klasörünün bir EDF dosyasına kaydedilmiş EMG verilerini, bir CSV dosyasına kaydedilmiş el izleme verilerini ve oturumla ilgili meta verileri içeren bir günlük dosyasını içerdiğinden emin olun.
EMG kanalları, tüm kanallardaki daha yüksek genlikli sinyallerde açıkça görüldüğü gibi, abdüksiyon fazları sırasında dinlenme fazlarına kıyasla daha fazla elektriksel aktivite gösterdi ve mekanik artefaktlar keskin sivri uçlarla işaretlendi. El kinematik verileri, engellenmemiş izleme sırasında kararlı sinyal yörüngeleri ve yanlış hizalanmış bölümlerde görünür sapma ile talimat verilen kaçırma hareketlerine karşılık gelen senkronize parmak açısı değişikliklerini gösterdi.
Genel Bakış
Bu çalışma, doğal parmak hareketleri sırasında el elektromiyografı (EMG) ve görsel parmak takibi eşzamanlı kaydı için bir protokol sunar. Görsel veriler, jest tanıma için doğru EMG tabanlı modeller geliştirmek için temel gerçeği oluşturur.
Çalışmanın Temel Bileşenleri
Bilim Alanı
- Sinirbilim
- Elektromiyografi
- Jest Tanıma
Arka Plan
- Dinamik el jesti tanıma, protez rehabilitasyonundaki uygulamalar için kritik öneme sahiptir.
- Kasın aktivitesinin parmak hareketlerine eşlenmesi, insan-bilgisayar etkileşimini geliştirir.
- Mevcut yöntemler genellikle statik kurulumlara dayanır ve veri gerçekliğini sınırlar.
- Bu çalışma, EMG ve görsel verilerin dinamik hareketler sırasında senkronize edilmesiyle bu boşluğu kapatmaktadır.
Çalışmanın Amacı
- Dinamik el jesti tanıma doğruluğunu artırmak.
- Parmak hareketi tanıma için güçlü hesaplama modelleri geliştirmek.
- Çeşitli el pozisyonlarında kas aktivitesinin eşlenmesini sağlamak.
Kullanılan Yöntemler
- Kablosuz EMG ve el takip sistemleri kullanıldı.
- Katılımcılar çoklu el pozisyonlarında hareketler gerçekleştirdi.
- Veri toplama ve analiz için özel Python komut dosyaları kullanıldı.
- Deney boyunca gerçek zamanlı sinyal kalitesi doğrulama yapıldı.
Ana Sonuçlar
- EMG ve görsel verilerin başarılı bir şekilde senkronize edilmesi sağlandı.
- Dinamik el pozisyonları için veri toplama tamamlandı.
- EMG veri kalitesinin doğrulandığı ve gürültüden arındırıldığı sağlandı.
- Veri, katılımcı oturumlarına göre analiz için sistematik olarak düzenlendi.
Sonuçlar
- Protokol, kas aktivitesinin parmak hareketlerine etkili bir şekilde eşlenmesini sağlar.
- Sonuçlar, doğru jest tanıma modellerinin geliştirilmesini destekler.
- Bu yaklaşım, rehabilitasyon ve etkileşim teknolojilerindeki uygulama potansiyelini artırır.
Sıkça Sorulan Sorular
Executive Industry Relevance
Dynamic finger gesture capture using synchronized high-resolution surface EMG and computer vision addresses a critical gap in translational neurotechnology for prosthetics and rehabilitation. This protocol enables robust mapping of muscle activity to gesture outputs across variable hand positions, supporting predictive confidence in gesture recognition models. The approach enhances early-stage technology evaluation and informs portfolio decisions for next-generation human-computer interface solutions.
Strategic Applications in Biopharma R&D
Early Discovery & Target Validation
- Enables quantitative mapping of muscle activation patterns to functional outputs for mechanistic de-risking.
- Supports validation of neuromuscular targets relevant to prosthetic and rehabilitation device development.
- Facilitates hypothesis testing on gesture encoding across dynamic conditions.
Screening & Assay Development
- Provides standardized, reproducible acquisition of synchronized EMG and kinematic data for downstream model training.
- Enables quantitative assessment of gesture recognition accuracy across multiple hand positions.
- Supports scalable data collection for algorithm benchmarking and comparative evaluation.
Translational & Preclinical Research
- Aligns with translational biomarker development for neuromuscular function in assistive technologies.
- Ensures continuity from discovery-stage signal mapping to preclinical validation of gesture recognition systems.
- Reduces risk in advancing candidate algorithms to device integration phases.
Pipeline & Workflow Integration
This protocol integrates into the discovery-to-preclinical continuum for neurotechnology and rehabilitation device R&D, bridging early signal mapping with translational model validation.
- Discovery Biology: Supports hypothesis-driven mapping of EMG signals to gesture outputs for target validation.
- Screening: Delivers reproducible, quantitative datasets for model training and performance benchmarking.
- Analytics: Enables synchronized analysis of muscle activity and finger kinematics for robust statistical comparison.
- Translational Research: Provides a foundation for biomarker alignment and preclinical system evaluation.
- Enterprise Reuse: Establishes a reusable workflow for gesture recognition studies across device and algorithm portfolios.
Operational & Enterprise Impact
- Scientific Value: Increases predictive confidence in gesture recognition model development and target validation.
- Operational Value: Standardizes data acquisition and analysis for reproducibility and scalability.
- Strategic Value: Informs go/no-go decisions for candidate algorithms and device concepts.
- Portfolio Impact: Supports risk-adjusted prioritization of neuromuscular interface technologies.
Implementation Considerations
- Requires expertise in EMG signal acquisition, computer vision, and data synchronization.
- Needs access to high-resolution EMG arrays, hand tracking cameras, and analytical software infrastructure.
- Demands cross-team standardization of data formats and acquisition protocols.
- Adaptable to various hand positions and dynamic movement paradigms with protocol adjustments.
- Signal quality and noise management are critical for reliable downstream analysis.
