Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama

Araştırmamız, senkronize EMG ve görsel verileri kullanarak dinamik el hareketi tanımayı geliştirmeye odaklanmaktadır. Kas aktivitesinin farklı el pozisyonlarında parmak hareketiyle ne kadar doğru bir şekilde eşleştiğini ve bunun protez rehabilitasyonu ve insan-bilgisayar etkileşiminde uygulamayı nasıl geliştirebileceğini belirlemeyi amaçlıyoruz. Protokolümüz, çeşitli dinamik el pozisyonlarında kas aktivitesinin parmak hareketiyle eşlenmesini sağlayarak el hareketi tanımadaki boşluğu giderir.

Yaklaşımımız, dinamik hareketler sırasında DMG ve görsel verileri toplayıp senkronize ederek sağlam hareket tanıma modelleri geliştirmek için zemin hazırlar. Statik kurulumlu geleneksel yöntemlerin aksine, protokolümüz dinamik hareketler sırasında kablosuz bir EMGRA ve el izleme sistemi kullanır ve hareket tanıma çalışmaları için esneklik ve daha gerçekçi veri toplama sağlar. Başlamak için GitHub deposunu açın ve kurulum bölümündeki ayrıntılı talimatları izleyin.

Birincil Python dosyasını bulun data_collection. py, klasörüne yerleştirin ve denemeyi çalıştırmak için hazırlayın. Komut dosyası spektrogramını kullanın.

Elektromiyografiyi, kısaca EMG sinyal kalitesini değerlendirmek için py ve sinyal filtreleme ve segmentasyon için veri analizi komut dosyası. EMG veri toplama ünitesinin, kısaca DAU'nun her seanstan önce tam olarak şarj edildiğinden emin olun. Ardından DAU'yu açın.

Özel uygulamayı kullanarak DAU'yu Bluetooth aracılığıyla PC'ye bağlayın. Bluetooth iletişim hızını saniyede 500 örnek olarak ayarlayın. El izleme kamerası yazılımını PC'ye kurun ve açın. El izleme kamerasını bir kablo kullanarak PC'ye bağlayın.

El izleme kamera yazılımını her zaman görüntülemek için bir ekran kullanın. Başlamak için, katılımcıya sağ elini güçlü bir yumruk haline getirmesini söyleyin. Katılımcı esnerken, kası palpe etmek ve en belirgin aktivasyonun olduğu noktayı belirlemek için ön koluna hafifçe bastırın.

EMG elektrot dizisinden beyaz koruyucu tabakayı soyun ve elektrotları belirlenen önkol bölgesine dikkatlice takın. Yapışkan bandı avuç içine yakın bir yere yerleştirin ve elektrot dizisini cilde sabitlemek için hafifçe vurun. Elektrot dizisi cilde bağlandıktan sonra, şeffaf destek tabakasını soyun.

Ardından, elektrot dizisi konektör kartını DAU konektör soketine takın. DAU'yu elektrotların yanındaki yapışkan banda takın. Gerçek zamanlı sinyal kalitesini doğrulamak için özel Python spektrogram komut dosyasını çalıştırın.

Tüm elektrotlar için solda ham verileri ve sağda frekans alanı verilerini gösteren görüntülenen pencereyi gözlemleyin. Tüm elektrotların algılandığını ve düzgün çalıştığını ve sinyalin aşırı gürültü ve 50 hertz gürültüden temiz olduğunu doğrulayın. Gerekirse, gürültüyü azaltmak için gereksiz ekipman cihazlarının fişini prizden çekin ve elektronik cihazlardan uzaklaşın, böylece sinyalin dengelenmesi için zaman tanıyın.

Ardından, katılımcıya koltuğa dirsek koymasını ve parmaklarını hareket ettirmesini söyleyin, ardından rahatlamasını isteyin. Net bir EMG sinyalinin görüntülendiğinden ve ardından statik temel gürültünün görüntülendiğinden emin olun. Sinyal doğrulaması tamamlandıktan sonra komut dosyasını kapatın.

Konumu gözden geçirmek için, görüntüler klasörünü açmak için parmak pozu tahminine ve ardından veri toplamaya tıklayın. Hareket görüntülerini katılımcıyla birlikte gözden geçirin. Forehand pozisyonlarını katılımcıya net bir şekilde açıklayın.

Her seanstan önce ellerini nasıl tutacakları konusunda onlara talimat verin, uygun duruş ve pozisyon almalarını sağlayın. Birinci el pozisyonu için, katılımcıdan masadan yaklaşık bir metre uzakta düz durmasını isteyin. Ardından, katılımcıya sağ elini aşağıda, düz ve rahat bir şekilde, avuç içi el izleme kamerasına bakacak şekilde tutmasını söyleyin.

El izleme kamerasını bir selfie çubuğu kullanarak masaya sabitleyin ve katılımcının eline bakacak şekilde yönlendirin. Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun. İkinci el pozisyonu için, katılımcıya monitörlerden 40 ila 70 santimetre uzakta bulunan bir koltuğa rahatça oturmasını söyleyin.

Ardından, katılımcıdan sağ elini, avuç içi rahat ve el izleme kamerasına bakacak şekilde 90 derecelik bir açıyla öne doğru uzatmasını isteyin. Elinizi sabit tutmak için gerekirse bir destek cihazı kullanın. El izleme kamerasını yukarı bakacak şekilde masanın üzerine yerleştirin.

Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun. Üçüncü el pozisyonu için, katılımcıdan dirseğini koltuğa dayayarak elini yukarı doğru katlamasını isteyin. Avucunuzun rahat olduğundan ve el izleme kamerasına baktığından emin olun.

El izleme kamerasını katılımcının eline bakacak şekilde masaya sabitleyin. Katılımcının konumunun hem ekranları görüntülemek hem de kameranın görüş alanı içinde olmak için en uygun olduğundan emin olun. Katılımcının bip sesinin başlangıcında sert hareketler yaptığından ve ardından dinlenme süresi boyunca avuç içi rahatladığından emin olun.

Dördüncü el pozisyonu için, katılımcıdan elini serbestçe hareket ettirirken parmak hareketlerini gerçekleştirmesini isteyin, dinamik el pozisyonu bir, dinamik el pozisyonu iki veya dinamik el pozisyonu üç'ü seçin. Bilgisayarı açın, Python'u açın ve betiği data_collection.py yükleyin. El izleme kamerasının konumunu ve açısını katılımcının el konumuyla hizalayacak şekilde ayarlayın.

data_collection çalıştırın. py komut dosyası. Katılımcının ayrıntılarını girmek için bir pencere açılacaktır.

Gerekli bilgileri doldurun ve deneyi otomatik olarak başlatmak için tamam'a basın. Her seans için, otomatik olarak kaydedilen EMG ve el izleme verilerini kaydedin. Deney sona erdiğinde, verilerin otomatik olarak katılımcı seri numarasıyla etiketlenmiş bir klasöre kaydedildiğinden emin olun.

Her oturumun, her el konumu için P numarası olarak etiketlenmiş dört alt klasör içeren S numarası adlı bir alt klasörde saklandığını doğrulayın. Bir katılımcı birden fazla oturumu tamamlarsa, tüm verilerin ilgili oturum klasörüne kaydedildiğini onaylayın. Her el pozisyonu klasörünün bir EDF dosyasına kaydedilmiş EMG verilerini, bir CSV dosyasına kaydedilmiş el izleme verilerini ve oturumla ilgili meta verileri içeren bir günlük dosyasını içerdiğinden emin olun.

EMG kanalları, tüm kanallardaki daha yüksek genlikli sinyallerde açıkça görüldüğü gibi, abdüksiyon fazları sırasında dinlenme fazlarına kıyasla daha fazla elektriksel aktivite gösterdi ve mekanik artefaktlar keskin sivri uçlarla işaretlendi. El kinematik verileri, engellenmemiş izleme sırasında kararlı sinyal yörüngeleri ve yanlış hizalanmış bölümlerde görünür sapma ile talimat verilen kaçırma hareketlerine karşılık gelen senkronize parmak açısı değişikliklerini gösterdi.