Name: Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama (Video) | JoVE Journal
Uploaded: 2025-03-28T14:05:00.000+00:00
Duration: 8 min 15 s
Description: Keşfedin dinamik parmak hareketlerini yüksek çözünürlüklü yüzey elektromiyografisi ve bilgisayarlı görü ile eşzamanlı kaydetme yöntemini. Bu protokol kas aktivitesi ile jest tanıma arasındaki ilişkiyi güçlendirerek protez rehabilitasyonu uygulamalarına katkı sağlar.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

Tel Aviv Üniversitesi Etik İnceleme Kurulu tarafından onaylanan bu çalışma için sağlıklı katılımcılar (n = 18, 18-32 yaş, hem erkek hem de kadın) işe alındı (Onay No. 0004877-3). Protokol, insan katılımcıları içeren araştırmalar için kurulun yönergelerine bağlıdır. Tüm katılımcılardan kurumsal gerekliliklere uygun olarak bilgilendirilmiş onam alındı.
1. Deneyci brifingi
<ol>
	<li>Katılımcılardan bir dizi 14 farklı parmak hareketi gerçekleştirmelerini isteyin (bkz. Şekil 1) ve her hareketi rastgele bir sırayla 7 kez tekrarlayın. Her hareketi 5 saniye boyunca sıkıca sürdürmelerini ve ardından 3 saniye dinlenmelerini isteyin. Her seans için toplam süre 13:04 dk'dır.</li>
	<li>Bir bilgisayar ekranında görüntülenen hareketin büyük bir görüntüsüne, hareket performansını belirtmek için bir geri sayım sayacı eşlik eder. Dinlenme süresi boyunca, katılımcıdan kalan dinlenme süresini gösteren bir zamanlayıcı ile birlikte gösterilen yaklaşan hareketin küçük resmine bakmasını isteyin. İki farklı bip sesi, her hareketin başlangıcını ve bitişini işaret ederek katılımcıların bir sonraki harekete hazırlanmalarına yardımcı olur.</li>
	<li>Her katılımcıdan, daha önce sunulan22'ye benzer şekilde prosedürü dört farklı pozisyonda yürütmesini isteyin: Pozisyon 1: Katılımcı ayakta. Eller aşağı, düz ve rahat. Pozisyon 2: Koltukta oturan katılımcı. El 90° öne doğru uzatılmış, avuç içi rahat (bir destek cihazı kullanılabilir). Pozisyon 3: El yukarı doğru katlanmış (dirsek koltuğa dayanmış durumda), avuç içi rahat. Konum 4: Katılımcı önceki konumlardan birini seçer ve elini kameranın algılama aralığı içinde serbestçe hareket ettirebilir, bu da bir PC ekranında gerçek zamanlı olarak izlenir (daha fazla ayrıntı için bkz. adım 1.4).</li>
	<li>Her seans için katılımcının koluna bir elektromiyografi cihazı takmasını sağlayın ve onlara doğru bir el izleme kamerası yerleştirin. Katılımcılardan avuçlarının her zaman kameraya dönük olduğundan emin olmalarını isteyin. El izleme yazılımı ayrı bir ekranda görüntülenir, böylece hem katılımcı hem de orkestra şefi elin doğru bir şekilde tanındığını doğrulayabilir.</li>
	<li>Her konum için, doğru el tanımayı sağlamak için el izleme kamerasının konumunu ve açısını ayarlayın. Ek olarak, spektrogram komut dosyasını kullanarak elektrotlardan gelen sinyallerin kalitesini değerlendirin.</li>
</ol>
<img alt="Figure 1" class="xfigimg" src="/files/ftp_upload/67766/67766fig01.jpg"> 
Şekil 1: Veri toplama sürecinin şematik gösterimi. Denek, hareket performansı sırasında yüksek çözünürlüklü yüzey elektromiyografisi (sEMG) sinyallerini yakalayan ön kol (3) üzerine yerleştirilmiş yumuşak bir elektrot dizisi ile donatılmıştır. Denek, bir bilgisayar ekranında rastgele sırayla sunulan 14 farklı parmak hareketi gerçekleştirir (4). EMG verileri, veri toplama ünitesinden (DAU; 1) kablosuz olarak bir kişisel bilgisayara (PC) aktarılır. Eşzamanlı olarak, parmak eklem açılarını temsil eden el kinematik verileri (HKD) bir el izleme kamerası (2) kullanılarak yakalanır. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig01large.jpg" target="_blank">Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.</a>
2. Veri toplama birimlerinin kurulması
<ol>
	<li>Github deposunu https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git açın ve Kurulum bölümündeki ayrıntılı talimatları izleyin. finger_pose_estimation/data_acquisition klasöründe data_collection.py birincil Python dosyasını bulun. Deneyi çalıştırmak için bunu kullanın, deney başlamadan önce EMG sinyal kalitesini değerlendirmek için komut dosyası spectrogram.py kullanın ve komut dosyası sinyal filtreleme ve segmentasyon için data_analysis.py.</li>
	<li>EMG Veri Toplama Ünitesinin (DAU) her seanstan önce tam olarak şarj olduğundan emin olun ve açın.</li>
	<li>Özel uygulamayı kullanarak DAU'yu Bluetooth aracılığıyla PC'ye bağlayın. Bluetooth iletişim hızını saniyede 500 örnek (S/s) olarak ayarlayın.</li>
	<li>El izleme kamerasının yazılımını PC'ye kurun ve açın. El izleme kamerasını bir kablo kullanarak PC'ye bağlayın.</li>
	<li>El izleme kamera yazılımını her zaman görüntülemek için tek bir ekran kullanın. Bu şekilde, orkestra şefi ve katılımcı, deney sırasında kameranın eli doğru bir şekilde tanıdığından emin olabilecektir.</li>
</ol>
3. Katılımcı hazırlığı
<ol>
	<li>Giriş ve onay<ol>
		<li>Çalışmanın alaka düzeyini ve deneysel prosedürü katılımcıya kısaca açıklayın. İnsanları içeren araştırmalar için kurumsal yönergeleri izleyerek bilgilendirilmiş onay alın.</li>
	</ol>
	</li>
	<li>Elektrot yerleştirme<ol>
		<li>Katılımcıya güçlü bir yumruk oluşturarak sağ elini esnetmesini söyleyin. Katılımcı esnerken, kas aktivasyonunun en belirgin olduğu noktayı belirlemek için kas boyunca hafifçe bastırarak ön kolu palpe edin. Bu konum, kasılma sırasında kasın şiştiği bölgeyi hissederek kolayca tanımlanabilir.</li>
		<li>İsteğe bağlı: Tanımlanan cilt bölgesini alkol lifsiz bir bez, hazırlık jeli veya su ve sabunla temizleyerek hazırlayın. Alanın kurumasına izin verin. Cildi kurutabileceği için alkolle aşırı temizlikten kaçının. Bu adım isteğe bağlıdır; Tartışma bölümüne bakın.</li>
		<li>EMG elektrot dizisinden beyaz koruyucu tabakayı soyun ve elektrotları adım 3.2.1'de belirtildiği gibi belirlenen ön kol bölgesine dikkatlice takın. (bkz. Şekil 1). Yapışkan bandın avuç içine daha yakın olduğundan emin olun. Hafifçe vurarak elektrot dizisini cilde sabitleyin.</li>
		<li>Elektrot dizisi cilde bağlandıktan sonra, şeffaf destek tabakasını soyun.</li>
		<li>Elektrot dizisi konektör kartını DAU'nun konektör soketine takın. DAU'yu elektrotların yanındaki yapışkan banda takın.</li>
		<li>Gerçek zamanlı sinyal kalitesini doğrulamak için özel Python spektrogram komut dosyası Spectrogram.py çalıştırın. Tüm elektrotlar için ham verileri (solda) ve frekans alanını (sağda) gösteren bir pencere açılacaktır (referans için Ek Şekil 1'e bakın).<ol>
			<li>Tüm elektrotların algılandığını ve düzgün çalıştığını ve sinyalin aşırı gürültü ve 50 Hz gürültüden temiz olduğunu doğrulayın.</li>
			<li>Gerekirse, parazite neden olabilecek elektronik cihazlardan uzaklaşarak ve gereksiz cihazların fişini çekerek 50 Hz gürültüyü azaltın. Sinyalin stabilize olması için zaman tanıyın.</li>
			<li>EMG sinyalinin yakalandığını doğrulayın: katılımcıya koltuğa dirsek koymasını ve parmaklarını hareket ettirmesini söyleyin, ardından rahatlayın. Net bir EMG sinyalinin ve ardından statik temel gürültünün görüntülendiğinden emin olun.</li>
			<li>Sinyal doğrulaması tamamlandıktan sonra komut dosyasını kapatın.</li>
		</ol>
		</li>
	</ol>
	</li>
	<li>Hareket ve el pozisyonu incelemesi<ol>
		<li>Finger_pose_estimation &gt; Data_acquisition tıklayarak Görüntüler klasörünü açın. Katılımcılarla birlikte hareket görüntülerini gözden geçirin.</li>
		<li>Her hareketi anladıklarından ve doğru bir şekilde gerçekleştirebildiklerinden emin olun. Dört el pozisyonunu katılımcıya net bir şekilde açıklayın.</li>
		<li>Katılımcıya her seanstan önce elini nasıl tutması gerektiği konusunda talimat verin, uygun duruş ve konumlandırmayı sağlayın.</li>
	</ol>
	</li>
	<li>Katılımcı ve kamera konumlandırma<ol>
		<li>El pozisyonu 1 için, katılımcıya masadan yaklaşık 1 m uzakta düz durmasını söyleyin. Katılımcıya sağ elini aşağıda, düz ve rahat bir şekilde, avuç içi el izleme kamerasına bakacak şekilde tutmasını söyleyin. El izleme kamerasını bir selfie çubuğu ile masanın üzerine sabitleyin ve katılımcının eline bakacak şekilde yönlendirin.</li>
		<li>El pozisyonu 2 için, katılımcıya monitörlerden 40-70 cm uzakta bulunan bir koltuğa rahatça oturmasını söyleyin. Katılımcıya, rahat bir avuç içi el izleme kamerasına bakacak şekilde sağ elini 90° öne doğru uzatmasını söyleyin. Gerekirse elinizi sabit tutmak için bir destek cihazı kullanın. El izleme kamerasını yukarı bakacak şekilde masanın üzerine yerleştirin. NOT: Katılımcının sabit bir duruşta kalması istendiğinden, seans boyunca koruyabilecekleri rahat bir pozisyon bulmak önemlidir.</li>
		<li>El pozisyonu 3 için, katılımcıya adım 3.4.2'de açıklandığı gibi oturmasını söyleyin. Katılımcıya, dirseğini koltuğa dayayarak elini yukarı doğru katlamasını söyleyin. Avuç içi rahat olmalı ve katılımcı el izleme kamerasına bakmalıdır. El izleme kamerasını masanın üzerine, katılımcının eline bakacak şekilde sabitleyin (gerekirse bir selfie çubuğu kullanın). Katılımcının konumunun hem ekranları görüntülemek hem de kameranın görüş alanı içinde olmak için en uygun olduğundan emin olun.</li>
		<li>Kameranın deney boyunca eli ve parmakları algıladığından emin olmak için el izleme verilerini görüntüleyen ekranı sürekli olarak izleyin. İsteğe bağlı: deneye başlamadan önce her el pozisyonunda EMG sinyal kalitesini (adım 3.2.6.) doğrulayın.</li>
	</ol>
	</li>
</ol>
4. Veri toplama
<ol>
	<li>Denemeyi çalıştırma<ol>
		<li>Python'u açın ve data_collection.py yükleyin. num_repetition, gesture_duration rest_duration parametrelerinin istediğiniz gibi ayarlandığını doğrulayın.<ol>
			<li>num_repetition: Her bir hareket görüntüsünün kaç kez gösterileceğini tanımlayın. Bu deney için 7'ye ayarlayın, yani her görüntü 7 kez gösterilir. gesture_duration: Katılımcının el hareketini gerçekleştireceği süreyi (s cinsinden) belirtin. Bu deney için, her bir hareket görüntüsünün ne kadar süreyle görüntüleneceğini belirleyerek 5 s'ye ayarlayın. Rest_duration: Katılımcının hareketler arasında avucunu gevşetme süresini (s cinsinden) belirtin. Bu deney için 3 s'ye ayarlayın.</li>
		</ol>
		</li>
		<li>El izleme kamerasının konumunu ve açısını katılımcının el konumuna göre ayarlayın.</li>
		<li>data_collection.py betiğini çalıştırın. Katılımcının ayrıntılarını (seri numarası, yaş, cinsiyet, oturum numarası ve el pozisyonu) girmek için bir pencere açılacaktır. Bu bilgileri doldurun ve deneyi otomatik olarak başlatmak için Tamam'a basın.</li>
	</ol>
	</li>
	<li>Veri toplama<ol>
		<li>Her seans için, otomatik olarak kaydedilen EMG ve el izleme verilerini kaydedin. Deneyi her katılımcı için her el pozisyonu için bir kez olmak üzere 4 kez tekrarlayın.</li>
	</ol>
	</li>
</ol>
5. Deney sonu ve deney sonrası veri işleme
<ol>
	<li>Deney tamamlandığında veriler otomatik olarak kaydedilir. Verilerin, katılımcının seri numarasıyla etiketlenmiş bir klasöre kaydedildiğinden emin olun. Her oturum, S# (örneğin, S1) adlı bir alt klasörde depolanır ve her el konumu için P# (P1, P2, P3 ve P4) için dört alt klasör bulunur. Tek bir oturum için klasör boyutu yaklaşık 160 MB'tır.</li>
	<li>Bir katılımcı birden fazla oturumu tamamlarsa, tüm verilerin ilgili oturum klasörüne kaydedildiğinden emin olun (ör. S1, S2).</li>
	<li>Veri dosyaları Her el konumu klasörünün (P#) aşağıdaki dosyaları içerdiğinden emin olun: Aşağıdaki gibi adlandırılan bir EDF dosyasına kaydedilen EMG verileri: fpe_pos{pozisyon numarası}_{konu numarası}_S{oturum numarası}_rep0_BT; fpe_pos{pozisyon numarası}_{konu numarası}_S{oturum numarası}_rep0_BT_full adlı bir CSV dosyasına kaydedilen el izleme verileri; ve oturumla ilgili meta verileri içeren bir günlük dosyası (log.txt.</li>
	<li>Bilgi işlem NOT: Bir kullanıcı, sinyal analizine nasıl devam edileceğini ve hangi araçların kullanılacağını seçebilir. Burada, Python'da sinyal filtreleme ve veri segmentasyonu gerçekleştirmek için bir komut dosyası sağlıyoruz. Python kullanırken, tüm bağımlılıkların (ör. Numpy, Pandas, SciPy, MNE, Sklearn) kurulu olduğundan emin olun.<ol>
		<li>Python'u açın, data_analysis.py yükleyin ve betiği çalıştırın.</li>
		<li>Veri işleme için gerekli parametreleri sağlamak üzere konsolda istek görünecektir: EMG dosyasına giden yol, el kinematik verilerine giden yol, işlenen verilerin kaydedileceği yol, Hz cinsinden örnekleme hızı, ms cinsinden pencere süresi ve ms cinsinden adım aralığı.</li>
		<li>Bu adımın ardından komut dosyası veri işlemeyi gerçekleştirecektir.</li>
		<li>EMG sinyal filtreleme: Komut dosyasını yukarıdaki gibi çalıştırın. Komut dosyası önce EMG olmayan sinyalleri çıkarmak için 20 Hz'lik bir kesmeye sahip 4. dereceden bir Butterworth yüksek geçiren filtre, ardından 50 Hz ve 100 Hz harmonikleri çıkarmak için bir çentik filtresi uygulayarak sEMG sinyalini filtreler. Ek olarak, komut dosyası EMG sinyalinin normalizasyonunu uygular.</li>
		<li>EMG, HKD verileri ve talimatlı hareket segmentasyonu: Komut dosyasını yukarıdaki gibi çalıştırın. Komut dosyası, belirtilen pencere süresi ve adım aralığı tarafından tanımlanan bir yuvarlanan pencere tekniğini kullanarak segmentasyon uygular. Bu deneyde, bunları sırasıyla 512 ve 2 ms'ye ayarlayın. Komut dosyası daha sonra elektrot dizisi düzenini korurken sEMG kanal organizasyonunu 4 x 4 uzamsal ızgara konfigürasyonuna dönüştürür. Son olarak, komut dosyası, turşu dosyası olarak meta verileri içeren bir sözlük oluşturur.</li>
		<li>Veri temizleme ve doğrulama adımları<ol>
			<li>Yapıtlar, gürültü veya tutarsız hareket etiketleri içeren segmentleri tanımlayın ve veri kümesinden hariç tutun.</li>
			<li>Veri güvenilirliğini korumak için pencereler arasında segment eksiksizliği ve zamansal süreklilik sağlayın.</li>
			<li>Tutarlılık için hareket verilerini HKD'ye göre çapraz kontrol edin. HKD oturum standartlarından sapan hareket desenlerini görüntüleyen pencereleri kaldırın.</li>
			<li>Oturum için beklenen kinematik desenlere uymayan aykırı değer segmentlerini algılayın ve atın.</li>
			<li>Gelişmiş algoritmaları kullanarak daha fazla veri analizi gerçekleştirin. Bunlar mevcut protokolde sağlanmamıştır.</li>
		</ol>
		</li>
	</ol>
	</li>
</ol>

<ol><li>Fang, B., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Simultaneous+sEMG+recognition+of+gestures+and+force+levels+for+interaction+with+prosthetic+hand%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Simultaneous sEMG recognition of gestures and force levels for interaction with prosthetic hand.</a> IEEE Trans Neural Sys Rehabilitation Eng. 30, 2426-2436 (2022).</li>
<li>Yadav, D., Veer, K. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Recent+trends+and+challenges+of+surface+electromyography+in+prosthetic+applications%5BTitle%5D)+AND+%22Biomed+Eng+Lett%22%5BJournal%5D)">Recent trends and challenges of surface electromyography in prosthetic applications.</a> Biomed Eng Lett. 13 (3), 353-373 (2023).</li>
<li>EMG based classification of basic hand movements based on time-frequency features. Sapsanis, C., Georgoulas, G., Tzes, A. 21st Mediterranean Conf Control and Automation, , 716-722 (2013).</li>
<li>sEMG signal based hand gesture recognition by using selective subbands coefficients and machine learning. Qaisar, S. M., Lopez, A., Dallet, D., Ferrero, F. J. 2022 IEEE Int Instrument Measurement Technol Conf, , 1-6 (2022).</li>
<li>Zhang, X., Zhou, P. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((High-density+myoelectric+pattern+recognition+toward+improved+stroke+rehabilitation%5BTitle%5D)+AND+%22IEEE+Trans+Biomed+Eng%22%5BJournal%5D)">High-density myoelectric pattern recognition toward improved stroke rehabilitation.</a> IEEE Trans Biomed Eng. 59 (6), 1649-1657 (2012).</li>
<li>Guo, K., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Empowering+hand+rehabilitation+with+AI-powered+gesture+recognition%3A+a+study+of+an+sEMG-based+system%5BTitle%5D)+AND+%22Bioengineering%22%5BJournal%5D)">Empowering hand rehabilitation with AI-powered gesture recognition: a study of an sEMG-based system.</a> Bioengineering. 10 (5), 557(2023).</li>
<li>Sun, T., Hu, Q., Libby, J., Atashzar, S. F. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+heterogeneous+dilation+of+LSTM+for+transient-phase+gesture+prediction+through+high-density+electromyography%3A+towards+application+in+neurorobotics%5BTitle%5D)+AND+%22IEEE+Robot+Autom+Lett%22%5BJournal%5D)">Deep heterogeneous dilation of LSTM for transient-phase gesture prediction through high-density electromyography: towards application in neurorobotics.</a> IEEE Robot Autom Lett. 7 (2), 2851-2858 (2022).</li>
<li>Atzori, M., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Characterization+of+a+benchmark+database+for+myoelectric+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitat+Eng%22%5BJournal%5D)">Characterization of a benchmark database for myoelectric movement classification.</a> IEEE Trans Neural Sys Rehabilitat Eng. 23 (1), 73-83 (2015).</li>
<li>Advancing muscle-computer interfaces with high-density electromyography. Amma, C., Krings, T., Schultz, T. Proc 33rd Ann ACM Conf Human Factors Computing Sys, , 929-938 (2015).</li>
<li>Geng, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Gesture+recognition+by+instantaneous+surface+EMG+images%5BTitle%5D)+AND+%22Sci+Rep%22%5BJournal%5D)">Gesture recognition by instantaneous surface EMG images.</a> Sci Rep. 6 (1), 36571(2016).</li>
<li>Wei, W., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+multi-stream+convolutional+neural+network+for+sEMG-based+gesture+recognition+in+muscle-computer+interface%5BTitle%5D)+AND+%22Pattern+Recognit+Lett%22%5BJournal%5D)">A multi-stream convolutional neural network for sEMG-based gesture recognition in muscle-computer interface.</a> Pattern Recognit Lett. 119, 131-138 (2019).</li>
<li>Padhy, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+tensor-based+approach+using+multilinear+SVD+for+hand+gesture+recognition+from+sEMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">A tensor-based approach using multilinear SVD for hand gesture recognition from sEMG signals.</a> IEEE Sens J. 21 (5), 6634-6642 (2021).</li>
<li>Moin, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+wearable+biosensing+system+with+in-sensor+adaptive+machine+learning+for+hand+gesture+recognition%5BTitle%5D)+AND+%22Nat+Electron%22%5BJournal%5D)">A wearable biosensing system with in-sensor adaptive machine learning for hand gesture recognition.</a> Nat Electron. 4 (1), 54-63 (2021).</li>
<li>Côté-Allard, U., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Deep+learning+for+electromyographic+hand+gesture+signal+classification+using+transfer+learning%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilita+Eng%22%5BJournal%5D)">Deep learning for electromyographic hand gesture signal classification using transfer learning.</a> IEEE Trans Neural Sys Rehabilita Eng. 27 (4), 760-771 (2019).</li>
<li>NeuroPose: 3D hand pose tracking using EMG wearables. Liu, Y., Zhang, S., Gowda, M. Web Conference 2021 Proc World Wide Web Conf, , 1471-1482 (2021).</li>
<li>Dere, M. D., Lee, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+approach+to+surface+EMG-based+gesture+classification+using+a+vision+transformer+integrated+with+convolutive+blind+source+separation%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">A novel approach to surface EMG-based gesture classification using a vision transformer integrated with convolutive blind source separation.</a> IEEE J Biomed Health Inform. 28 (1), 181-192 (2024).</li>
<li>Chen, X., Li, Y., Hu, R., Zhang, X., Chen, X. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Hand+gesture+recognition+based+on+surface+electromyography+using+convolutional+neural+network+with+transfer+learning+method%5BTitle%5D)+AND+%22IEEE+J+Biomed+Health+Inform%22%5BJournal%5D)">Hand gesture recognition based on surface electromyography using convolutional neural network with transfer learning method.</a> IEEE J Biomed Health Inform. 25 (4), 1292-1304 (2021).</li>
<li>Lee, K. H., Min, J. Y., Byun, S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Electromyogram-based+classification+of+hand+and+finger+gestures+using+artificial+neural+networks%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Electromyogram-based classification of hand and finger gestures using artificial neural networks.</a> Sensors. 22 (1), 225(2022).</li>
<li>Zhou, X., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+novel+muscle-computer+interface+for+hand+gesture+recognition+using+depth+vision%5BTitle%5D)+AND+%22J+Ambient+Intell+Humaniz+Comput%22%5BJournal%5D)">A novel muscle-computer interface for hand gesture recognition using depth vision.</a> J Ambient Intell Humaniz Comput. 11 (11), 5569-5580 (2020).</li>
<li>Zhang, Z., Yang, K., Qian, J., Zhang, L. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Real-time+surface+EMG+pattern+recognition+for+hand+gestures+based+on+an+artificial+neural+network%5BTitle%5D)+AND+%22Sensors%22%5BJournal%5D)">Real-time surface EMG pattern recognition for hand gestures based on an artificial neural network.</a> Sensors. 19 (14), 3170(2019).</li>
<li>Nieuwoudt, L., Fisher, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Investigation+of+real-time+control+of+finger+movements+utilizing+surface+EMG+signals%5BTitle%5D)+AND+%22IEEE+Sens+J%22%5BJournal%5D)">Investigation of real-time control of finger movements utilizing surface EMG signals.</a> IEEE Sens J. 23 (18), 21989-21997 (2023).</li>
<li>Ben-Ari, L., Ben-Ari, A., Hermon, C., Hanein, Y. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Finger+gesture+recognition+with+smart+skin+technology+and+deep+learning%5BTitle%5D)+AND+%22Flexible+Printed+Electron%22%5BJournal%5D)">Finger gesture recognition with smart skin technology and deep learning.</a> Flexible Printed Electron. 8 (2), 25012(2023).</li>
<li>Yang, C., Xie, L. Gesture recognition method based on computer vision and surface electromyography: implementing intention recognition of the healthy side in the hand assessment process. 2024 4th Int Conf Neural Network Info Comm Eng, , 663-668 (2024).</li>
<li>Lin, J., Wu, Y., Huang, T. S. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Modeling+the+constraints+of+human+hand+motion%5BTitle%5D)+AND+%22Proc+Workshop+Human+Motion%22%5BJournal%5D)">Modeling the constraints of human hand motion.</a> Proc Workshop Human Motion. , 121-126 (2000).</li>
<li>Arché-Núñez, A., et al. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Bio-potential+noise+of+dry+printed+electrodes%3A+physiology+versus+the+skin-electrode+impedance%5BTitle%5D)+AND+%22Physiol+Meas%22%5BJournal%5D)">Bio-potential noise of dry printed electrodes: physiology versus the skin-electrode impedance.</a> Physiol Meas. 44 (9), 95006(2023).</li>
<li>Gracia-Ibáñez, V., Vergara, M., Sancho-Bru, J. L., Mora, M. C., Piqueras, C. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Functional+range+of+motion+of+the+hand+joints+in+activities+of+the+International+Classification+of+Functioning%2C+Disability+and+Health%5BTitle%5D)+AND+%22J+Hand+Ther%22%5BJournal%5D)">Functional range of motion of the hand joints in activities of the International Classification of Functioning, Disability and Health.</a> J Hand Ther. 30 (3), 337-347 (2017).</li>
<li>Exploring arm posture and temporal variability in myoelectric hand gesture recognition. Milosevic, B., Farella, F., Benatti, S. 2018 7th IEEE Int Conf Biomed Robotics Biomech, , 1032-1037 (2018).</li>
<li>Gijsberts, A., Atzori, M., Castellini, C., Müller, H., Caputo, B. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((Movement+error+rate+for+evaluation+of+machine+learning+methods+for+sEMG-based+hand+movement+classification%5BTitle%5D)+AND+%22IEEE+Trans+Neural+Sys+Rehabilitation+Eng%22%5BJournal%5D)">Movement error rate for evaluation of machine learning methods for sEMG-based hand movement classification.</a> IEEE Trans Neural Sys Rehabilitation Eng. 22 (4), 735-744 (2014).</li>
<li>Armitano-Lago, C., Willoughby, D., Kiefer, A. W. <a target="_blank" href="http://www.ncbi.nlm.nih.gov/pubmed?term=((A+SWOT+analysis+of+portable+and+low-cost+markerless+motion+capture+systems+to+assess+lower-limb+musculoskeletal+kinematics+in+sport%5BTitle%5D)+AND+%22Front+Sports+Act+Living%22%5BJournal%5D)">A SWOT analysis of portable and low-cost markerless motion capture systems to assess lower-limb musculoskeletal kinematics in sport.</a> Front Sports Act Living. 3, 809898(2022).</li>
</ol>

<table><tbody><tr><td>Ayarlanabilir Selfie Çubuğu</td><td></td><td></td><td>: Deney sırasında optimum veri yakalama için el izleme kamerasını istenen yönde konumlandırmak ve açılandırmak için kullanılır.</td></tr><tr><td>Alkol pedi</td><td></td><td></td><td>Elektrot yerleştirme alanını temizlemek için.</td></tr><tr><td>Veri toplama birimi (DAU)</td><td>X-trodes Ltd.</td><td>&nbsp; XTR-BT V1.3</td><td>Gerçek zamanlı uyumlu DAU 2.0.17 veya 4.0.1</td></tr><tr><td>Parmak Hareketleri Tanıma kitaplığı</td><td></td><td></td><td>https://github.com/NeuroEngLabTAU/Fingers_Gestures_Recognition.git</td></tr><tr><td>Leap Hareket Kontrolörü 2</td><td>Ultraleap</td><td>129-SP4-00005-03</td><td>El izleme kamerası</td></tr><tr><td>Uzun Type-C - Type-C kablosu</td><td></td><td></td><td>El izleme kamerasının PC'ye bağlanması.</td></tr><tr><td>PC Monitörleri Biri</td><td></td><td></td><td>yönergeler için, diğeri el izleme kamerası verilerini görüntülemek için&nbsp;</td></tr><tr><td>Kişisel Bilgisayar (PC)</td><td>Windows</td><td></td><td>Windows 10+; İşlemciler: Inteli7 işlemci. BT alıcısı.</td></tr><tr><td>Python kodu</td><td></td><td></td>: DAU, Bluetooth Ultraleap Kamera, Python API, Ultraleap <td>Python API ve Ultraleap'ten talimatlar aracılığıyla PC'ye bağlandığında 500 S/s'ye kadar kesintisiz veri akışı ve kayıt sağlayan bir komut dosyası</td></tr><tr><td></td><td></td><td></td><td> Deney sırasında Ultraleap ünitesinden veri toplamak için kullanılan GitHub deposu (https://github.com/ultraleap/leapc-python-bindings)</td></tr><tr><td>Ultraleap Hyperion</td><td>Ultraleap</td><td></td><td>İzleme yazılımı</td></tr><tr><td>XTR EXG16</td><td>X-trodes Ltd.</td><td>XTELC0003405RM</td><td>EMG, EKG izleme için 16 kanallı giyilebilir kuru elektrot dizisi yaması,</td></tr><tr><td>X-trodes PC Uygulaması</td><td>, X-trodes Ltd.</td><td>1.1.35.0</td><td>X-trodes DAU'yu BT üzerinden PC'ye bağlamak için bir uygulama</td></tr></tbody></table>

yüksek Çözünürlüklü yüzey elektromiyografisi ve bilgisayarlı görü ile dinamik parmak hareketlerini yakalama

Capturing Dynamic Finger Gesturing with High-resolution Surface Electromyography and Computer Vision

Veri seti, zamanla senkronize edilmiş iki bileşenden oluşur: 16 kanallı bir EMG veri seti ve bir el izleme kamera sisteminden gelen veriler. 16 kanallı EMG verileri, zaman içinde farklı kaslardan gelen elektrik sinyallerini kaydederek kas aktivitesini yakalar. El izleme sistemi, elin iskelet modelindeki kilit noktalara karşılık gelen 16 kanal veri sağlar. Modelde bilek hariç 21 nokta bulunurken, hareket kısıtlamaları nedeniyle bu sayı 16'ya düşürüldü24. EMG ve görsel veriler, kayıt sırasında aynı bilgisayarda iki ayrı işlem yapılarak senkron oluşturularak toplandı. Her işlemin başlangıcını işaretlemek için bir zaman damgası kullanıldı ve veri analiz kodunun kaydın sonunda kas aktivitesini ve el hareketi verilerini hizalamasına izin verildi. Zaman damgası ek açıklamaları hem EDF hem de CSV dosyalarında otomatik olarak kaydedildi, bu da belirli parmak hareketlerine talimat verildiği tam zamanı işaretledi ve veri analizi sırasında hizalamayı kolaylaştırdı. Filtrelenmiş EMG sinyali (20 Hz 4. dereceden Butterworth yüksek geçiren filtre), tipik olarak 3-9 μV25 aralığında olan düşük bir taban çizgisi (gri gölgeli alanlar) ile karakterize edilir. Bu taban çizgisi, deneğin eli sabit ve kaslar hareketsiz durumdayken gözlenir. Bununla birlikte, dinlenme pozisyonunda bile kas tonusu varsa, belirgin bir EMG sinyali tespit edilebilir. Hareketin neden olduğu mekanik artefaktlar genellikle 10-20 Hz aralığında ortaya çıkar ve buna göre filtrelenmelidir. Önemli ölçüde yükseltilmiş temel değerler, 50 Hz hat girişimini gösterebilir ve deney kurulum aşamasında kaçınılmalıdır. Orta derecede 50 Hz gürültünün devam ettiği durumlarda; Bir çentik filtresi uygulanır. Çıkarılması daha zor olan keskin hareket artefaktları, genellikle sinyalde belirgin yüksek genlikli ani artışlar olarak görünür ( Şekil 2A'daki yıldız işaretine bakın). EMG sinyalinin 16 elektrot dizisi boyunca genliği, ölçülen bölge üzerindeki kas aktivitesinin uzamsal dağılımını yansıtacak şekilde değişir. Bu varyans, el hareketleri sırasında kas kasılmasının heterojenliği hakkında değerli bilgiler sağlar.
El izleme kamerası, kaydedilen EMG sinyalleriyle yakından ilişkili olması beklenen parmak açıları (el kinematik verileri, HKD) hakkında doğrudan bilgi sağlar. Hareketler sırasında, belirli harekete bağlı olarak normal aralıkta26 parmak açıları. El izleme kamerası ile el arasındaki görsel yol engellenmediğinde, ortaya çıkan sinyal, Şekil 2'de gösterildiği gibi kararlı ve doğrudur. Ancak, görsel temasın kaybolduğu veya sistemin teknik sınırlamalarla karşılaştığı durumlarda, HKD düzensiz hale gelebilir ve yanlış değerler arasında atlamalar gösterebilir. Bu tür aykırı veriler, veri toplama sırasında en aza indirilmeli ve sonuçların bütünlüğünü korumak için son analizde atılmalıdır.
HKD sezgiseldir ve gerçekleştirilen gerçek hareketlerle doğrudan bir karşılaştırma sağlar. Konular arasında ve farklı el pozisyonlarında düşük değişkenlik sergiler. Buna karşılık, EMG verileri, el büyüklüğü ve kas gelişimi gibi anatomik farklılıklar nedeniyle bireyler arasında önemli ölçüde farklılık gösterme eğilimindedir27. Ek olarak, baskın ve baskın olmayan eller arasında değişkenlik gözlenebilir. Bu konuya özgü değişkenlik, çevrimdışı analiz sırasında ele alınabilir.
Şekil 2'de, hem EMG hem de HKD'nin talimat verilen hareket tetikleyicisine göre dengelendiği açıktır. Bu tutarsızlık, tepki süresi ve doğal hareket yürütme nedeniyle ortaya çıkar28. Regresyon görevlerinde, bu tür bir değişkenlik verilerin zenginliğine katkıda bulunabilirken, sınıflandırma görevlerinde, benzer senaryolarda uygulandığı gibi genelleştirilmiş bir olabilirlik oranı yaklaşımı kullanılarak yönetilebilir28.
<img alt="Figure 2" class="xfigimg" src="/files/ftp_upload/67766/67766fig02.jpg"> 
Resim 2: Parmak kaçırma sırasında temsili sEMG ve HKD. Tek bir katılımcı tarafından el pozisyonu 1 (el aşağı, düz ve rahat) sırasında gerçekleştirilen dinamik parmak abdüksiyonu ve dinlenme sırasında kaydedilen yüzey elektromiyografisi (sEMG) sinyalleri ve el kinematik verileri (HKD). (A) Zamanın bir fonksiyonu olarak 16 kanaldan filtrelenmiş EMG sinyalleri. Yıldız işareti (*), Kanal 5'in EMG kaydında tespit edilen mekanik bir artefaktı belirtir. (B) Eklem açılarını zamanın bir fonksiyonu olarak gösteren HKD. Eklem açıları çeşitli eklemlerde ölçülür: trapeziometakarpal (TMC), metakarpofalangeal (MCP) ve proksimal interfalangeal (PIP). Deneyin aşamaları (dinlenme ve kaçırma) x ekseni boyunca gösterilir. <a href="https://www.jove.com/files/ftp_upload/67766/67766fig02large.jpg" target="_blank">Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.</a>
Bu temsili sonuçlar, senkronize EMG ve HKD verilerinin el hareketlerini yakalamada faydasını göstermiştir. EMG sinyallerinin karşılık gelen HKD ile hizalanması, kas aktivitesinin belirli parmak hareketlerine haritalandırılmasına izin verir. Tahmine dayalı bir model oluştururken, araştırmacılar HKD'yi temel gerçek olarak kullanabilir, EMG tabanlı jest tahminlerini yinelemeli olarak doğrulayabilir ve iyileştirebilir. Bu yaklaşım, protokolün pratik uygulanabilirliğini vurgulamakta ve daha doğal ortamlarda daha fazla araştırmaya ihtiyaç olduğunu göstermektedir.
Ek Şekil 1: Sinyal doğrulama adımı sırasında görüntülenen spektrogram pencereleri. Soldaki paneller ham EMG verilerini gösterirken, sağdaki paneller tespit edilen frekans alanlarını gösterir. (A) Güçlü 50 Hz ve 100 Hz parazite sahip çok gürültülü bir EMG sinyali örneği. (B) Katılımcıyı elektrikli cihazlardan daha uzağa taşıdıktan sonra aynı EMG sinyali kaydının örneği, minimum parazitle temiz bir EMG sinyali ile sonuçlanır. <a href="https://www.jove.com/files/ftp_upload/67766/S1_R1.jpg" target="_blank">Bu dosyayı indirmek için lütfen buraya tıklayın.</a>

Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama

Finger gestures are a critical element in human communication, and as such, finger gesture recognition is widely studied as a human-computer interface for ...

capturing-dynamic-finger-gesturing-with-high-resolution-surface

Research

JoVE Journal

Bioengineering

Biyomühendislik

Kaynak:Hila Man1, Paul F. Funk2, Ieva Vebraite-Adereth3, Christoph Anders4, Orlando Guntinas-Lichius2, Yael Hanein1,3,51Sagol Sinirbilim Okulu, Tel Aviv Üniversitesi, 2Kulak Burun Boğaz Anabilim Dalı, Jena Üniversite Hastanesi, Friedrich-Schiller-Üniversitesi Jena, 3Elektrik Mühendisliği Okulu, Tel Aviv Üniversitesi, 4Anabilim Dalı Motor Araştırma, Patofizyoloji ve Biyomekanik, Travma, El ve Rekonstrüktif Cerrahi Anabilim Dalı, Jena Üniversite Hastanesi, Friedrich-Schiller-Üniversitesi Jena,...

İfadeler sırasında yüz kası aktivitesinin kablosuz yüzey elektromiyografisi kaydı

Dik motor görevler sırasında beyin aktivitesini izlemek, hareket bozukluklarının nöral kaynağını araştırırken çok değerlidir. Burada, 4 tip motor görev sırasında kas ve kinematik aktivitenin sürekli izlenmesi ile fonksiyonel yakın kızılötesi spektroskopiyi birleştiren bir protokol gösteriyoruz.

Motorlu Görevler sırasında Eşzamanlı Kinematik ve EMG İzleme ile Duyusal ve Motor Beyin Bölgeleri Fonksiyonel Yakın Kızılötesi Spektroskopisi

İnme sonrası etkileşimli denge rehabilitasyon sistemi için yeni bir düşük maliyetli insan-makine arayüzü bu makalede sunulmuştur. Sistem, kullanıma hazır düşük maliyetli sensörleri gönüllü olarak yönlendirilen elektroterapi paradigmasına entegre eder. Kavram kanıtı yazılım arayüzü, sağlıklı gönüllüler üzerinde gösterilmiştir.

İnme sonrası Denge Rehabilitasyon bir Nöromüsküler Elektriksel Stimülasyon Sistemi ile düşük maliyetli Sensörler entegre bir İnsan-makine arayüzü

Transkraniyal manyetik stimülasyon, elektromiyografi ve 3D hareket yakalama, insanlarda nöromüsküler fonksiyonu araştırmak için yaygın olarak kullanılan non-invaziv tekniklerdir. Bu yazıda, sanal gerçeklik uyaran sunumu ve geri bildiriminin benzersiz bir şekilde eklenmesiyle birlikte bu araçların üçü tarafından oluşturulan verileri eşzamanlı olarak örnekleyen bir protokolü açıklıyoruz.

Transkraniyal Manyetik Uyarım, Elektromiyografi, Hareket Yakalama ve Sanal Gerçeklik kullanma İnsan Motor Kontrol incelenmesi için çok fonksiyonlu Kur

Burada sunulan görsel güdümlü ulaşır sırasında insan üst ekstremite kasları üzerinde sağlam hızlı visuomotor tepkiler ortaya çıkarır bir davranış paradigmasıdır.

İnsan Üst Ekstremite Kaslarında Hızlı Visuomotor Tepkiler uyandırmak için Yükselen Bir Hedef Paradigma

Bir nesneyi kavradığımızda, parmakların ve elin birden fazla bölgesi tipik olarak nesnenin yüzeyiyle temas eder. Bu tür temas bölgelerini yeniden inşa etmek zordur. Burada, işaretleyici tabanlı hareket yakalamayı mevcut derin öğrenme tabanlı el ağı rekonstrüksiyonu ile birleştirerek temas bölgelerini yaklaşık olarak tahmin etmek için bir yöntem sunuyoruz.

İnsanın Çok Haneli Kavraması Sırasında Eller ve Nesneler Arasındaki Temas Bölgelerinin Tahmini

Manyetoensefalografi (MEG) ve yüksek yoğunluklu elektroensefalografi (HD-EEG), doğrulayıcı ve tamamlayıcı bilgiler vermelerine rağmen nadiren aynı anda kaydedilir. Burada, ilaca dirençli epilepsili çocuklarda epileptojenik ve anlamlı beyin alanlarını lokalize etmeyi amaçlayan eşzamanlı MEG ve HD-EEG'nin kaydedilmesi için deney düzeneğini ve bu verileri analiz etme metodolojisini gösteriyoruz.

İlaca Dirençli Epilepsili Çocukların Precerrahi Değerlendirmesinde Elektromanyetik Kaynak Görüntüleme

Onlar kendi ana mikroçevresinin geliştikçe birçok biyolojik ve klinik durumlarda hücresel süreçleri incelemek için avantajlıdır. Burada montaj ve hücre kültürü, hayvan çalışmaları ve klinik hasta çalışmaları, gerçek zamanlı görüntüleme sağlayacak bir düşük maliyetli, fiber-optik mikroskop kullanımını tanımlamak.

Yüksek çözünürlüklü Fiber-optik Mikroendoskopi In situ Hücresel Görüntüleme

Tahribatsız ses görselleştirme sadece x-ray mikro bilgisayarlı tomografi (BT) en verimli olduğu tomografi teknikleri ile elde edilebilir.

Yüksek Çözünürlüklü 3D Görüntüleme Ex-Vivo Biyolojik örnekler Micro CT

Biz burada onların tam replikatif ve / veya kronolojik ömrü boyunca tek tomurcuklanan maya hücreleri sürekli ve yüksek çözünürlüklü mikroskopik görüntüleme sağlayan bir mikroakışkan cihazın çalışmasını gösterir.

Replikatif sürekli yüksek çözünürlüklü Mikroskobik Gözlem geliştirici Maya Yaşlanma

Keşfedin dinamik parmak hareketlerini yüksek çözünürlüklü yüzey elektromiyografisi ve bilgisayarlı görü ile eşzamanlı kaydetme yöntemini. Bu protokol kas aktivitesi ile jest tanıma arasındaki ilişkiyi güçlendirerek protez rehabilitasyonu uygulamalarına katkı sağlar.

Yüksek Çözünürlüklü Yüzey Elektromiyografisi ve Bilgisayarlı Görü ile Dinamik Parmak Hareketlerini Yakalama

Daha fazla video keşfet