Önerilen MSCNN-LSTM çerçevesi, spor videolarında aksiyon tanıma için çok ölçekli uzamsal öznitelik çıkarımını zamansal dizi modelleme ile entegre ederek, ince taneli uzamsal öznitelikleri ve zamansal hareket kalıplarını yakalarken standart spor aksiyon veri kümelerinde rekabetçi bir sınıflandırma performansı sergilemektedir.
Araştırma makalesi
Uzun Kısa Süreli Bellek (LSTM) Tabanlı Zamansal Modellemeye Sahip Çok Ölçekli Evrişimli Ağlar Kullanılarak Spor Videolarında Eylem Tanıma
Bu makalede
Özet
Özet
Spor videolarında eylem tanıma; karmaşık hareket dinamikleri, kapanmalar (oklüzyon) ve yüksek sınıf içi değişkenlik nedeniyle zorlayıcı olmaya devam etmektedir. CNN-BiLSTM ve transfer öğrenme tabanlı modeller dahil olmak üzere mevcut derin öğrenme yaklaşımları, insan aktivitesi tanımada etkinlik göstermiş olsa da, hızlı ve çeşitli hareketlerin olduğu spor senaryolarında performansları sınırlı kalabilmektedir. Mevcut birçok yöntem, hem ince taneli hem de kaba hareket özelliklerini aynı anda etkili bir şekilde yakalayamayan tek ölçekli evrişimli filtrelere dayanmaktadır. Bu kısıtlamayı gidermek amacıyla bu çalışma, spor videolarında eylem tanıma için Uzun Kısa Süreli Bellek (LSTM) ağı ile entegre edilmiş bir Çok Ölçekli Evrişimli Sinir Ağı (MSCNN) önermektedir. MSCNN, paralel evrişimli çekirdekler aracılığıyla birden fazla alıcı alanda uzamsal temsiller çıkararak hem ayrıntılı hem de bağlamsal hareket özelliklerinin öğrenilmesini sağlar. Bu özellikler, ardından ardışık kareler arasındaki zamansal bağımlılıkları ve hareket sürekliliğini yakalamak için LSTM tarafından işlenir. Deneysel değerlendirme UCF11, UCF Sports ve JHMDB karşılaştırma veri setleri üzerinde gerçekleştirilmiştir. Önerilen MSCNN-LSTM modeli, sırasıyla %98,3, %95,4 ve %81,7'lik sınıflandırma doğruluklarına ulaşarak bu çalışmada değerlendirilen karşılaştırmalı yaklaşımlardan daha yüksek performans göstermiştir. Bir ablasyon çalışması, çok ölçekli özellik çıkarımının ve zamansal modellemenin genel performansa olan katkısını daha ayrıntılı olarak ortaya koymuştur. Bu bulgular, önerilen çerçevenin spor videolarında eylem tanıma için uzamsal ve zamansal bilgileri birleştirme potansiyelini kanıtlamaktadır.
Giriş
İnsan aktivite tanıma; akıllı gözetleme, anomali tespiti, eylem tabanlı görsel-işitsel geri çağırma ve sağlık hizmetlerinde hasta izleme dahil olmak üzere çeşitli gerçek dünya alanlarında kapsamlı uygulama alanlarına sahiptir1,2. Özellikle gözetleme sistemlerinden ve sosyal medya platformlarından gelen video akışlarındaki eylem tanıma, anomali tespiti ve olay anlamlandırma açısından önemli bir potansiyele sahiptir3. Video analizinde insan eylemleri; eller ve bacaklar gibi farklı vücut bölümlerinin gözlemlenmesi yoluyla tanımlanır. Statik görüntülerin aksine, tek bir kare genellikle bir eylemi temsil etmek için yetersizdir4. Örneğin, futbol ve ip atlama aktivitelerinin başlangıç pozları tek bir karede benzer görünebilir. Bu eylemler arasındaki farklar, insan vücudunun hareket kalıplarını ve çevresiyle etkileşimlerini yakalayan bir dizi kare boyunca gözlemlendiklerinde belirginleşir5,6,7. Okunabilirliği artırmak ve terminolojide tutarlılığı sağlamak amacıyla, bu makale boyunca kullanılan kısaltmalar Tablo 1'de özetlenmiştir.
| Kısaltma | Tam Form |
| Yapay Zeka | Yapay Zeka |
| AUC (Eğri Altındaki Alan) | Eğri Altında Kalan Alan |
| Çift Yönlü Uzun Kısa Süreli Bellek (BiLSTM) | Çift Yönlü Uzun Kısa Süreli Bellek |
| Evrişimli Sinir Ağları | Evrişimli Sinir Ağı |
| CUDA | Hesaplama Birleşik Cihaz Mimarisi |
| F1-skoru | Kesinlik ve Duyarlılığın Harmonik Ortalaması |
| Grafik İşleme Birimi | Grafik İşlem Birimi |
| HAR | İnsan Aktivite Tanıma |
| JHMDB | Ortak İnsan Hareket Veri Tabanı |
| Uzun Kısa Süreli Bellek (LSTM) | Uzun Kısa Süreli Bellek |
| mAP-T | Zamansal Ortalama Ortalama Keskinlik |
| Mikrokristalin Selüloz | Matthews Korelasyon Katsayısı |
| MSCNN | Çok Ölçekli Evrişimli Sinir Ağı |
| ROC (Alıcı İşletme Karakteristiği) | Alıcı İşletim Karakteristiği |
| TSI | Zamansal Stabilite İndeksi |
| UCF | Central Florida Üniversitesi |
| VRAM | Video Rastgele Erişimli Bellek |
Tablo 1: Makalede kullanılan kısaltmalar listesi. Çalışma boyunca kullanılan yaygın kısaltmalar ve akronimler ile bunların karşılık geldiği tam formlar.
Hızlı ve doğru spor videosu sınıflandırması; spor analitiği, olay tespiti, içeriğe dayalı geri çağırma ve öneri sistemleri11,12,13 dahil olmak üzere çok çeşitli uygulamalar için önemlidir8,9,10. Sporla ilgili video içeriğinin hızla artmasıyla birlikte, önceki analitik çerçevelerin sınırlamaları giderek daha belirgin hale gelmiştir14. Sonuç olarak, spor aktivitelerinin karmaşıklığını ve dinamik doğasını ele alabilen sağlam yaklaşımlara yönelik artan bir talep vardır. Geleneksel spor videosu sınıflandırma yöntemleri, spor videolarındaki hareket modellerini ve aktiviteleri karakterize etmek için büyük ölçüde optik akış ve Yönlendirilmiş Gradyan Histogramı (HOG) gibi el yapımı tanımlayıcılara dayanmıştır15.
Statik görüntü sınıflandırmada dikkat çekici başarılar elde eden ConvNet'ler, video analizine de uygulanmıştır. Ancak, videolar dinamik uzay-zamansal bilgiler içerdiği için eylem tanıma daha zorlayıcı olmaya devam etmektedir. Güncel derin öğrenme tabanlı yaklaşımlar genel olarak üç gruba ayrılabilir: iki akışlı ağlar16, 3D evrişimli ağlar ve hesaplama açısından verimli mimariler. Optik akıştan zamansal bilgi öğrenmek için iki akışlı ağlar ek bir ConvNet17,18 kullansa da bu yaklaşım hesaplama açısından maliyetlidir. C3D, I3D ve R3D gibi 3D evrişimli mimariler zamansal bilgileri doğrudan modelleyebilse de parametre sayısını önemli ölçüde artırarak optimizasyonu daha zor hale getirirler. Hesaplama açısından verimli yöntemler ise ayrıştırılmış 3D işlemleri araştırarak model karmaşıklığını azaltmaya çalışır.
Ayrıca, CNN'ler yerel uzamsal özellikleri çıkarabildiği ve LSTM'ler zamansal bağlam bilgilerini yakalayabildiği için, hibrit modeller sensör girişlerinden uzamsal-zamansal hareket paternlerini etkili bir şekilde öğrenebilir. CNN ve tekrarlayan sinir ağı mimarilerini birleştiren güncel çalışmalar teşvik edici sonuçlar vermiştir18,19,20. Ancak, LSTM'ler dizi işleme sırasında bilgileri sıkıştırdığı için, özellik çıkarımı sırasında oluşan gürültüler tanıma performansını etkileyebilir. Bu sorunu gidermek için çeşitli çalışmalara dikkat mekanizmaları eklenmiştir21,22. Dikkat mekanizmaları, modelin tanıma göreviyle en ilgili özelliklere odaklanmasını sağlayarak sınıflandırma performansını artırır.
CNN tabanlı özellik çıkarımı ile birleştirilmiş derin çift yönlü LSTM modelleri, insan aktivite tanıma konusunda gelecek vaat eden sonuçlar elde etmiş olsa da, bu çerçevelerin spor videosu aksiyon tanımasına genişletilmesinde bazı zorluklar devam etmektedir. İlk olarak, mevcut CNN-LSTM mimarileri genellikle tek ölçekli konvolüsyonel özellik çıkarımı kullanmaktadır; bu durum, spor sahnelerindeki oyuncu ve nesne hareketlerinin eş zamanlı gerçekleşmesi gibi, birden fazla mekansal ve zamansal çözünürlükte meydana gelen aksiyonları yakalama yeteneklerini sınırlayabilir. 3D CNN'ler23 ve iki akışlı CNN'ler dahil olmak üzere çok ölçekli konvolüsyonel ağlar, farklı ölçeklerdeki mekansal ve hareket ipuçlarını yakalamanın önemini ortaya koymuştur, ancak bu kavram LSTM tabanlı hibrit sistemlerde daha az araştırılmıştır. İkinci olarak, önceki çoğu CNN-BiLSTM modeli24 öncelikle kısa vadeli zamansal bağımlılıklara odaklanırken, takım sporlarında yaygın olan uzun vadeli hareket sürekliliği ve nesneler arası etkileşimler yeterince temsil edilmeyebilir. MobileNetV2 ve ResNet gibi transfer öğrenme tabanlı birçok yaklaşım, statik kare özelliklerine dayanmakta ve zamansal dikkat mekanizmalarını veya adaptif çok ölçekli özellik füzyonunu tam olarak kullanmamaktadır25. Ayrıca, mevcut modellerin çoğu temel olarak UCF11 ve JHMDB gibi kıyaslama veri kümeleri üzerinde değerlendirilmiştir. SoccerNet ve FineGym gibi karmaşık kamera hareketlerini ve aktivite kalıplarını yakalayan daha güncel spora özgü veri kümeleri ise yeterince araştırılmamıştır. Bu sınırlamalar, spor videosu aksiyon tanımasında hem ince taneli mekansal temsilleri hem de uzun vadeli zamansal bağımlılıkları daha iyi yakalayabilmek için LSTM veya BiLSTM ağları gibi zamansal bellek modülleriyle entegre edilmiş çok ölçekli bir konvolüsyonel özellik çıkarımı çerçevesine duyulan ihtiyacı vurgulamaktadır.
Ek olarak, CNN'ler yerel uzamsal özellikleri çıkarabilirken, LSTM'ler zamansal bağlamı modelleyebilir. Bu nedenle, hibrit CNN-RNN mimarileri insan aktivite tanıma konusunda gelecek vaat eden performanslar sergilemiştir26,27. Yakın tarihli çalışmalar, insan aktivite tanımayı iyileştirmek için tamamlayıcı öğrenme stratejilerini dahil ederek geleneksel CNN–LSTM çerçevelerini genişletmiştir. Örneğin, görevle ilgili özellikleri vurgulamak ve daha az bilgilendirici temsilleri baskılamak, böylece tanıma performansını artırmak için dikkat mekanizmaları tanıtılmıştır28. Diğer yaklaşımlar, öğrenme verimliliğini ve özellik temsilini geliştirerek eylem tanıma ve zamansal segmentasyon görevlerini ortaklaşa optimize etmek için çok görevli öğrenmeyi benimsemiştir29. Bu ilerlemelere rağmen, ince taneli uzamsal ve zamansal özellikler her zaman etkili bir şekilde yakalanamadığı için, mevcut yöntemler görsel olarak benzer eylemleri ayırt etme konusunda hâlâ sınırlı bir yeteneğe sahip olabilir. Tablo 2, mevcut yaklaşımların güçlü yönlerini ve sınırlamalarını özetlemektedir30.
| Referans / Yıl | Kullanılan Yöntem | Veri kümesi(leri) | Performans Metrikleri | Temel Güçlü Yönler | Kısıtlamalar |
| Hassan ve ark. (2024)1 | KFDI (Anahtar Kare Dinamik Görüntü) | UCF11 | Doğruluk: %85,3 | Verimli anahtar kare seçimi ve geliştirilmiş dinamik görüntü temsili. | Kare seçim hatalarına karşı duyarlıdır; sınırlı zamansal modellemeye sahiptir. |
| Zhou ve ark. (2023)24 | Genişletilmiş CNN + BiLSTM + Artık Blok | UCF11, UCF Sporları | Doğruluk: UCF11: %89 ve UCF Spor: %92,2 | Mekansal ve zamansal öğrenmeyi entegre eder; çok ölçekli bilgileri yakalar. | Hesaplama açısından yoğun; küçük veri setlerinde aşırı öğrenme (overfitting) riski. |
| Ullah ve ark. (2025)34 | Yerel-Küresel Öznitelik + QSVM | UCF11 | Doğruluk: %82,6 | Sağlam bir tanıma için el yapımı ve derin özellikleri birleştirir. | Manuel ayar gerektirir; ölçeklenebilirliği sınırlıdır. |
| Shin ve ark. (2025)25 | ViT-ReT (Vision Transformer + Recurrent Transformer) | UCF11, UCF50, UCF101 ve JHMDB | Doğruluk: UCF11: %97,73; UCF50: %98,81; UCF101: %98,46; JHMDB: %83,38 | Uzun menzilli mekansal ve zamansal bağımlılıkları yakalar. | Yüksek hesaplama maliyeti ve veri gereksinimleri. |
| Su ve ark. (2024)23 | 3 Boyutlu Evrişimli Sinir Ağları (3D-CNN) | UCF11 | Doğruluk: %85,1 | Uçtan uca spatiotemporal öznitelik öğrenimi. | Yüksek bellek ve GPU gereksinimleri. |
| Karuppannan ve ark. (2024)35 | Derin Oto Kodlayıcı + CNN | UCF11 | Doğruluk: %96,2 | Kompakt öznitelik temsilleri öğrenir. | Sınırlı uzun vadeli zamansal modelleme. |
| Sahoo ve ark. (2020)36 | HAR-Derinlik | KTH, UCF sporları, JHMDB, UCF101 ve HMDB51 | Doğruluk: KTH: %97,67; UCF Sports: %95,00; JHMDB: %73,13; UCF101: %92,97; HMDB51: %69,74 | Etkin derinlik tabanlı zamansal öğrenme. | Doğru derinlik tahmini ve kapsamlı ön işleme gerektirir. |
Tablo 2: Spor videosu aksiyon tanıma için mevcut derin öğrenme yöntemlerinin karşılaştırılması. Önerilen MSCNN-LSTM çerçevesi tarafından ele alınan araştırma boşluklarını vurgulayan; veri setleri, metodolojik özellikler, avantajlar ve sınırlamalar dahil olmak üzere temsilci derin öğrenme yaklaşımlarının özeti.
Duygusal olarak ifadeleyici yüz animasyonları oluşturmak için bir Yüz Gürültü Giderici Model (Facial Denoiser Model - FDM) ile Yerelden Küreselle Latent Difüzyon Modelini (Local-to-global Latent Diffusion Model - LG-LDM) birleştiren, ses senkronizasyonu ile yönlendirilen bir yüz animasyon çerçevesi önerilmiştir. Detaylı üç boyutlu yüz geometrisini ve ince ifade varyasyonlarını yeniden oluşturmak için Duygu Merkezli Vektör Kuantize Varyasyonel Otokodlayıcı (Emotion-centric Vector Quantized Variational Autoencoder - EVQ-VAE) kullanılmıştır31. Ayrıca, tıkanıklık olan koşullar altında hedef segmentasyonu, yerelleştirme, tıkanıklık çıkarımı ve çoklu hedef kavrama pozu tahmini gerçekleştirmek için binoküler stereo görme kullanan, tıkanıklık farkındalıklı bir robotik kavrama çerçevesi geliştirilmiştir32. Ek olarak, ızgara projeksiyonu ve adaptif kutu bölme kullanan, nokta bulutlarından zemin çıkarımı için iki aşamalı bir çerçeve tanıtılmıştır; burada, ızgara tabanlı özellik analizi yoluyla yapılan kaba çıkarımın ardından zemin-engel sınırlarını iyileştirmek için yükselti ve eğrilik olasılıkları kullanılmıştır33.
Derin öğrenme tabanlı hareket tanımadaki önemli ilerlemelere rağmen, mevcut yöntemler; hızlı hareketler, kamera hareketleri ve birden fazla oyuncu arasındaki etkileşimler dahil olmak üzere spor videolarının yüksek değişkenliği ve karmaşıklığını yönetmekte hâlâ zorluk çekmektedir. Geleneksel CNN veya LSTM tabanlı modellerin çoğu tek bir uzamsal ölçekte çalışır ve bu nedenle hem yerel hem de küresel hareket modellerini etkili bir şekilde yakalamakta zorlanabilir. Ayrıca, uzun süreli dizilerde veya örtüşen hareketlerde zamansal tutarlılığın sürdürülmesi zorlu olmaya devam etmektedir. Transfer öğrenme yöntemleri özellik çıkarımını geliştirmiş olsa da, bu yöntemlerin spora özgü veri setlerine adaptasyonu nispeten yeterince araştırılmamıştır.
Bu çalışma, hem ince taneli mekansal özellikleri hem de uzun süreli zamansal bağımlılıkları yakalamak amacıyla çok ölçekli mekansal özellik çıkarımını LSTM tabanlı zamansal modelleme ile entegre ederek, spor videolarında aksiyon tanıma için bir Çok Ölçekli Evrişimli Sinir Ağı–Uzun Kısa Süreli Bellek (MSCNN-LSTM) çerçevesi geliştirmeyi ve değerlendirmeyi amaçlamaktadır. Önerilen çerçeve, zorlayıcı koşullar altında karmaşık spor aksiyonlarının temsilini iyileştirmek için tamamlayıcı evrişimli çekirdekler ve çok seviyeli özellik füzyonunu kullanmaktadır. Çerçevenin performansı; doğruluk, kesinlik, geri çağırma, F1-skoru, zaman üzerinden ortalama Ortalama Hassasiyet (mAP-T), Zamansal Kararlılık İndeksi (TSI), Cohen's kappa katsayısı (κ), Matthews Korelasyon Katsayısı (MCC) ve ROC Eğrisi Altındaki Alan (AUC) kullanılarak UCF11, UCF Sports ve JHMDB kıyaslama veri kümeleri üzerinde değerlendirilmiştir. Deneysel sonuçlar, bu çalışmada değerlendirilen yöntemlerle karşılaştırıldığında rekabetçi bir performans sergilemiş; çerçevenin spor analitiği, sporcu performans izleme, otomatik olay tespiti ve spor videolarını anlama konusundaki potansiyelini ortaya koymuştur.
Protokol
Bu çalışma, spor videolarındaki eylem tanıma için Çok Ölçekli Konvolüsyonel Sinir Ağını (MSCNN) Uzun Kısa Süreli Bellek (LSTM) ağıyla entegre eden iki aşamalı bir derin öğrenme çerçevesi kullanmıştır. Model geliştirme ve değerlendirme süreçlerinde UCF11, UCF Sports ve JHMDB gibi halka açık kıyaslama veri setlerinden yararlanılmıştır. İnsan katılımcılardan herhangi bir yeni veri toplanmamış; kişisel olarak tanımlanabilir hiçbir bilgiye erişilmemiş veya işlenmemiştir. Çalışma, halka açık ve anonimleştirilmiş veri setlerinin ikincil analizini içerdiği ve doğrudan insan katılımı gerektirmediği için kurumsal etik onay ve bilgilendirilmiş onam alınmasına gerek duyulmamıştır.
İş akışı, kare örnekleme ve zamansal normalizasyonun ardından MSCNN modülü kullanılarak gerçekleştirilen özellik çıkarımından oluşmuştur. Çıkarılan özellikler, daha sonra zamansal modelleme için bir LSTM ağı kullanılarak işlenmiş ve ardından çok sınıflı bir sınıflandırma katmanına aktarılmıştır. Son olarak, model seçilen karşılaştırma veri setleri kullanılarak eğitilmiş ve değerlendirilmiştir. Şekil 1 önerilen çerçevenin genel mimarisini göstermektedir.
Şekil 1: Spor videosu aksiyon tanıma için önerilen MSCNN-LSTM çerçevesi. Video ön işleme, çok ölçekli uzamsal öznitelik çıkarımı, zamansal dizi öğrenimi ve aksiyon sınıflandırmasını gösteren genel iş akışı. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 1, hibrit bir MSCNN-LSTM mimarisine dayalı önerilen spor videosu eylem tanıma çerçevesinin iş akışını göstermektedir. Süreç; tekmeleme, binicilik ve golf vuruşu dahil olmak üzere çeşitli atletik eylemler içeren spor videosu klipleriyle başlar. Ham videolar, ön işleme aşamasında tekil karelere ayrılmış; burada kareler kırpılmış, standartlaştırılmış ve model girişi için hazırlanmıştır. Ön işlemeden geçen kareler daha sonra özellik çıkarımı için MSCNN modülüne aktarılmıştır. Çok ölçekli evrişimli mimari, farklı alıcı alanlardaki uzamsal özellikleri yakalayarak spor videosu karelerinden hem yerel hem de bağlamsal bilgilerin çıkarılmasını sağlar. Çıkarılan özellik vektörleri, ardışık kareler arasındaki zamansal bağımlılıkları ve hareketin gelişimini modellemek için LSTM ağı tarafından işlenmiştir. Son olarak, sınıflandırma ve eğitim modülü, her video klibi için eylem kategorisini tahmin etmek amacıyla öğrenilen uzay-zamansal temsilleri kullanmıştır. Önerilen çerçeve; UCF11 (YouTube Actions), UCF Sports ve JHMDB karşılaştırma veri kümeleri kullanılarak yapılan veri toplama ve ön işleme ile başlayan dört ardışık adımdan oluşmuştur. Her spor videosu, çevresel varyasyonlara karşı dayanıklılığı artırmak amacıyla yeniden boyutlandırılan, normalize edilen ve döndürme, çevirme ve kırpma yoluyla zenginleştirilen bir kare dizisine dönüştürülmüştür. Ön işlemeden geçen kareler daha sonra, 3 × 3, 5 × 5 ve 7 × 7 çekirdeklere sahip paralel evrişimli kolların tamamlayıcı yerel ve bağlamsal uzamsal özellikleri çıkardığı önerilen Çok Ölçekli Evrişimli Sinir Ağı (MSCNN) tarafından işlenmiştir. Bu çok ölçekli özellikler, kompakt özellik temsilleri oluşturmak için toplu normalleştirme (batch normalization) ve maksimum havuzlama (max pooling) kullanılarak birleştirilmiş ve iyileştirilmiştir. Elde edilen kare düzeyindeki özellikler, ardından ardışık kareler arasındaki zamansal bağımlılıkları modellemek için bir Uzun Kısa Süreli Bellek (LSTM) ağına sağlanmıştır. Nihai LSTM çıktıları düzleştirilmiş ve ReLU aktivasyonuna sahip tam bağlantılı katmanlardan geçirilmiş, ardından eylem kategorisini tahmin etmek için bir Softmax sınıflandırıcıya aktarılmıştır. Ağ; aşırı öğrenmeyi (overfitting) azaltmak için çapraz entropi kayıp fonksiyonu ve dropout düzenlileştirmesi ile Adam optimizasyon yöntemi kullanılarak eğitilmiştir. Model performansı son olarak UCF11, UCF Sports ve JHMDB karşılaştırma veri kümeleri üzerinde doğruluk, kesinlik, duyarlılık ve F1-skoru kullanılarak değerlendirilmiştir.
1. Veri toplama ve ön işleme
Bu çalışmada spor ve insan hareketleri için herkese açık üç karşılaştırma veri seti kullanılmıştır. Bu veri setleri, değişken kamera hareketleri, bakış açıları ve arka plan karmaşıklığına sahip gerçek dünya spor görüntülerini içermektedir. Spesifik olarak çalışma; yaklaşık 25 kişiden kaydedilen 1.168 YouTube videosundan toplanan, her hareket için birden fazla örnek içeren 11 hareket kategorisine sahip UCF11 (YouTube Actions) (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php) veri setini kullanmıştır. Joint-Annotated Human Motion Database (JHMDB)34,35 21 hareket sınıfı ve 928 açıklama eklenmiş video içermektedir. UCF Sports veri seti ise, yayın kaynaklarından 720 × 480 piksel çözünürlükte kaydedilmiş 10 hareket sınıfı ve 150 video dizisinden oluşmaktadır (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php).
Kolektif olarak bu veri kümeleri, hem bireysel hem de takım sporlarını kapsamakta ve önerilen MSCNN-LSTM eylem tanıma çerçevesini değerlendirmek için zamansal süre ve görsel ölçek açısından çeşitlilik sağlamaktadır. Veri kalitesi tarama sürecinin bir parçası olarak UCF11, UCF Sports ve JHMDB veri kümeleri; bozuk videolar, yinelenen dosyalar ve eksik açıklamalı klipler açısından incelenmiştir. Bu dışlama kriterlerini karşılayan herhangi bir örneğe rastlanmamış; bu nedenle, mevcut tüm videolar sonraki analizler için saklanmıştır. Veri kümeleri daha sonra, tutarlı bir rastgele bölme stratejisi kullanılarak eğitim (%70), doğrulama (%15) ve test (%15) alt kümelerine ayrılmıştır. Şekil 2, eğitim ve değerlendirme için kullanılan temsili görüntüleri sunmaktadır.
Şekil 2: Karşılaştırmalı spor eylemi tanıma veri kümelerinden temsilci kareler. Paneller (A–D) UCF11 (YouTube Actions) veri kümesinden, paneller (E–H) UCF Sports veri kümesinden ve paneller (I–L) JHMDB veri kümesinden örnekler göstermektedir. Kareler; eylem sınıflarındaki, bakış açılarındaki, arka planlardaki, aydınlatma koşullarındaki ve hareket karmaşıklığındaki varyasyonları örneklendirmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Önerilen eylem tanıma modeli, Tablo 3'te özetlendiği üzere UCF11, UCF Sports ve JHMDB kıyaslama veri setleri üzerinde değerlendirilmiştir. Bu veri setleri, çeşitli hareket modellerini ve zorlu çevresel koşulları temsil etmektedir. UCF11 (YouTube Actions) veri seti, değişken aydınlatma, bakış açısı ve arka plan koşulları altında elde edilmiş 11 sınıfa ait spor eylemlerini içermektedir. UCF Sports veri seti, profesyonel yayınlardan alınan ve gerçekçi hareket dizileri içeren 150 saha sporu videosundan oluşmaktadır. JHMDB veri seti ise 21 ince taneli eylem kategorisi için ayrıntılı insan hareketi açıklamaları sağlamakta ve uzay-zamansal eylem tanıma için bir kıyaslama veri seti olarak hizmet etmektedir. Bu veri setleri birlikte, model performansını spor ve insan eylemi senaryoları genelinde değerlendirmek için kullanılmıştır. Ağ; 32'lik bir yığın boyutu, 0.001 başlangıç öğrenme hızı ve çapraz entropi kayıp fonksiyonu ile Adam optimize edici kullanılarak 100 epok boyunca eğitilmiştir. Nihai değerlendirme için en düşük doğrulama kaybına sahip model seçilmiştir. Tüm deneylerde 42 sabit rastgele tohumu kullanılmıştır. Yakınsamayı iyileştirmek için erken durdurma ve platoda öğrenme hızı azaltma yöntemleri uygulanmış ve LSTM eğitimi sırasında gradyan patlamasını önlemek için 5.0 eşikli gradyan kırpma işlemi kullanılmıştır. Önerilen MSCNN-LSTM modeli yaklaşık 15 milyon eğitilebilir parametre içermektedir. Uygulama için kullanılan donanım ve yazılım konfigürasyonu Tablo 4'te özetlenmiştir. Sınıf dağılımları yeterince dengeli olduğu için ek bir sınıf ağırlıklandırma veya yeniden örnekleme işlemi uygulanmamıştır. Karşılaştırma modelleri, orijinal çalışmalarında bildirilen hiperparametreler kullanılarak uygulanmış ve eğitim ayarları mümkün olan yerlerde uyumlu hale getirilmiştir. Performans değerleri, farklı rastgele başlatmalarla gerçekleştirilen beş bağımsız çalışmanın ortalaması ± standart sapması olarak bildirilmiştir. Önerilen model ile karşılaştırma modelleri arasındaki farklar, p < 0.05 anlamlılık eşiğinde eşleştirilmiş t-testleri kullanılarak değerlendirilmiştir.
| Veri Seti | Sınıf Sayısı | Video Sayısı | Çözünürlük (px) | Kaynak | Açıklama |
| UCF11 (YouTube Actions) | 11 | 1168 | Değişken (≈ 320×240) | University of Central Florida | Sporlardan (örneğin basketbol şutu, dalış, golf vuruşu, futbolla sektirme) 11 insan eylemini içerir. Videolar, aydınlatma, bakış açısı ve arka planda yüksek varyasyonlar içeren YouTube'dan toplanmıştır. |
| UCF Sports | 10 | 150 | 720×480 | UCF Sports Action Dataset | Gerçek TV yayın görüntülerinden (BBC, ESPN) kaydedilmiş dalış, binicilik, golf vuruşu, koşu ve halter gibi spor aktivitelerini içerir. |
| JHMDB | 21 | 928 | 320×240 | Max Planck Institute for Intelligent Systems | Hareket ve poz analizi için eklem anotasyonlarıyla birlikte yakalama, zıplama, saç tarama, şut çekme ve koşma gibi günlük ve sportif aktiviteleri içerir. |
Tablo 3: Eğitim ve değerlendirme için kullanılan kıyaslama veri setlerinin özellikleri. Aksiyon sınıflarının sayısı, video örnekleri, veri seti özellikleri ve model eğitimi, doğrulama ve testindeki rollerini içeren UCF11, UCF Sports ve JHMDB veri setlerinin genel görünümü.
| Kullanılan Parametreler | Açıklama |
| Programlama Dili | Python 3.8.18 [4] |
| Derin Öğrenme Çerçevesi | TensorFlow 2.15.0 [1] |
| GPU Hızlandırıcı | NVIDIA GeForce RTX 3090 (24 GB VRAM) [1] |
| Merkezi İşlem Birimi | Intel Core i9 @ 3,5 GHz × 16 Çekirdek |
| İşletim Sistemi | Windows 11 |
| Bellek (RAM) | 64 GB DDR4 |
| Optimize Edici | Adam (öğrenme oranı = 0,001) |
| Parti Boyutu | 32 |
| Epok Sayısı | 100 |
| Aktivasyon Fonksiyonları | ReLU (CNN katmanları), Softmax (çıktı katmanı) |
| Yıpranma Oranı | 0.5 |
Tablo 4: Önerilen MSCNN-LSTM modelinin simülasyon ortamı ve hiperparametre yapılandırması. Model eğitimi ve değerlendirmesi sırasında kullanılan donanım özellikleri, yazılım ortamı, optimizasyon ayarları, öğrenme hızı, grup boyutu, epok sayısı, giriş boyutları ve diğer hiperparametreler.
2. Ön işleme
Eğitimden önce, her bir ham video zaman sıralı kare dizilerine dönüştürülmüş; ardından normalize edilmiş, zamansal olarak örneklenmiş ve zenginleştirilmiştir. Her bir giriş videosu V önce bir kare dizisine dönüştürülmüş ve 4B bir tensör olarak temsil edilmiştir V ∈ RT×H×W×C, burada T kare sayısıdır, H × W i kare dizinini ifade eder ve C renk kanallarının sayısını ifade eder (RGB için 3). Ön işleme hattı; kare çıkarma, mekansal yeniden boyutlandırma ve ardından sabit bir çözünürlüğe merkezden veya rastgele kırpma işlemlerinden oluşmuştur (H′, W′), piksel başına yoğunluk normalizasyonu ve özellik çıkarımı öncesinde rastgele çevirme, ölçeklendirme ve renk titremesini (color jittering) içeren isteğe bağlı veri artırımı uygulanmıştır. Somut olarak yoğunluk normalizasyonu, Denklem (1)'de olduğu gibi standart skor normalizasyonu şeklinde uygulanmıştır.
(1)
burada μ, σ eğitim seti üzerinden hesaplanan kanal ortalamaları ve standart sapmalarıdır veya Denklem (2)'de olduğu gibi min–max ölçeklemesidir.
(2)
Normalizasyondan sonra, her kare F̃t ∈ RH′×W′×C′ olarak ve sonuçtaki video tensörü V′ ∈ RT×H′×W′×C olarak temsil edildi. Çok ölçekli konvolüsyonel ön uçta, farklı çekirdek boyutlarına sahip birkaç 2-D (veya erken uzaysal-zamansal konvolüsyonlar için 3-D) konvolüsyon uygulanarak birden fazla alıcı alan uzaysal özellik haritası elde edildi; ardından her kare veya kısa video klip için bir zamansal özellik temsili oluşturulup LSTM modülüne iletildi. Orijinal makalede zamansal modelleme için önce MobileNetV2 ve ardından Deep BiLSTM uygulanmıştır; yukarıdaki ön işleme hattının tamamı, çok ölçekli konv + LSTM değişimi ile tamamen uyumludur.
3. Örnekleme ve zamansal normalizasyon
Video uzunlukları T veri kümeleri arasında ve kendi içinde farklılık gösterdiğinden, çok ölçekli konvolüsyon + LSTM'ye kareler veya kısa parçalar cinsinden sabit bir girdi uzunluğu N sağlamak için kareleri tekdüze örnekliyoruz veya zamansal olarak yeniden örnekliyoruz. Tekdüze kare indeksleri Denklem (3)'te olduğu gibi hesaplanabilir,
(3)
Böylece, örneklenen kare dizisi Vs = {F̃t0, …, F̃tN−1} şeklindedir. Daha hassas bir zamansal sadakat gerektiğinde, doğrusal zamansal interpolasyon gerçekleştiririz: Denklem (4)'te hesaplandığı gibi, yeniden örneklenen herhangi bir kesirli zaman τ ∈ [0, T−1] için.
(4)
böylece yeniden örneklenen Vs dizisi tam olarak N kareye sahip olur ve akıcı hareketi korur. Alternatif olarak, kısa ardışık kliplerle örnekleme (adım s ile zamansal pencere uzunluğu w), her bir klibin Cj ∈ RT×H′×W′×C ve j = 0, …, ⌊(T − w)/s⌋ olduğu bir klip tensörleri seti üretir. Ağ içindeki zamansal normalizasyon için, çoklu ölçeklerde basit bir zamansal havuzlama etkilidir: çok ölçekli konvolüsyonlar tarafından üretilen bir zamansal özellik dizisi X = {x1, …, xN} verildiğinde, havuzlanmış özellikleri Denklem (5)'te olduğu gibi uygulayın.
(5)
burada Sk, k ölçeği için zamansal destektir (örneğin, Sk örtüşmeyen bloklar veya genişletilmiş indeksler olabilir) ve mk = |Sk|'dir.
Öznitelik çıkarımı öncesinde, tüm videolar 224 × 224 piksel boyutuna ölçeklendi ve saniyede 25 kare hızında örneklemesi yapıldı. Her deneyde 32 karelik sabit bir dizi uzunluğu kullanıldı. Veri artırma teknikleri arasında rastgele kırpma (ölçek = 0.8–1.0), rastgele döndürme (±15°), rastgele yatay çevirme (olasılık = 0.5) ve parlaklık modifikasyonu (±20%) yer aldı. Piksel değerlerini standardize etmek için ImageNet ortalama değerleri [0.485, 0.456, 0.406] ve standart sapmalar [0.229, 0.224, 0.225] kullanıldı. Her video dizisi için zamansal örneklemede tekdüze kare seçimi uygulandı. Daha uzun videolar, tutarlı bir dizi uzunluğunu korumak için tekdüze olarak kırpıldı veya örneklendi; 32 kareden az olan videolar ise sıfır ile dolduruldu. Eğitim ve değerlendirme süreçleri boyunca bu ayarlar tutarlı bir şekilde kullanıldı.
4. MSCNN kullanılarak özellik çıkarma
Spor videolarındaki hareketlerin mekansal temsilini geliştirmek için Çok Ölçekli Evrişimli Sinir Ağı (MSCNN) kullanılmıştır. Tek bir çekirdek boyutuna dayanan geleneksel evrişimli sinir ağları, çoklu mekansal ölçeklerdeki özellikleri yakalamada sınırlı kapasiteye sahip olabilir. Bazı spor hareketleri benzer görsel özellikler sergilediğinden, tek ölçekli bir evrişimli mimarinin hem yerel hem de küresel özellikleri aynı anda yakalaması zor olabilir. Bu sınırlamayı gidermek için, önerilen çerçeve, çok ölçekli özellik çıkarımı ve özellik füzyonu gerçekleştirmek amacıyla farklı boyutlardaki evrişimli çekirdekleri kullanmaktadır.
Önerilen ağ mimarisinde, kanallar arası bilgileri düzenlemek ve giriş özellik haritalarının boyutunu azaltmak için 1 × 1 konvolüsyon çekirdekleri kullanılmıştır. Ayrıca bu katmanlar, ek özellik dönüşümleri ve lineer olmayan temsiller sunarak ağın ifade yeteneğini artırmaktadır. Farklı boyutlardaki konvolüsyon çekirdekleri, uzamsal bilgilerin çoklu ölçeklerde çıkarılmasını sağlar. Eğitim kararlılığını artırmak için ağırlıklı çok ölçekli özellik füzyonunun ardından ardışık normalizasyon gerçekleştirilir. Derin ağ eğitimi sırasında gradyan yok olması ve gradyan patlaması sorunlarını azaltmak için önerilen mimari, rezidüel bağlantılar ve LSTM tabanlı zamansal modelleme kullanmaktadır.
Çok ölçekli tasarım, ağın farklı uzamsal çözünürlüklerdeki özellikleri yakalama yeteneğini artırır ve özellik temsil kapasitesini geliştirir. Ayrıca, geleneksel N × N evrişim çekirdeği, N × 1 ve 1 × N evrişim işlemlerine ayrıştırılmıştır. MSCNN modülünde kullanılan N × 1 ve 1 × N evrişimleri, tekil video karelerinden tamamlayıcı yönsel ve çok ölçekli uzamsal özellikleri yakalamak için tasarlanmıştır. Bu evrişim işlemleri, farklı alıcı alan ölçeklerinde paternler çıkararak uzamsal özellik temsilini güçlendirir. Ardından, ardışık kareler arasındaki zamansal ilişkiler, eylem tanıma için uzun vadeli zamansal bağımlılıkları öğrenmek amacıyla MSCNN tarafından çıkarılan özellik dizisini işleyen LSTM modülü tarafından modellenir.
Her bir spor videosu V = {F1, F2, …, FT}, T kareye ayrıştırılır. Örneğin oyuncu pozu, hareket bulanıklığı ve top yörüngesi gibi mekansal varyasyonları kodlamak için, 3 × 3, 5 × 5 ve 7 × 7 çekirdek boyutlarına karşılık gelen s ∈ {1, 2, 3} üç farklı ölçekteki evrişimli dallar çalıştırılır. Her bir dal, Denklem (6)'daki gibi özellik haritalarını çıkarır:
(6)
Ws ve bs sırasıyla s ölçeğindeki konvolüsyon ağırlıkları ve sapmaları, σ ise ReLU aktivasyonudur. Çok ölçekli füzyon katmanı, özellikleri Denklem (7)'de olduğu gibi toplar:
(7)
Bu birleştirilmiş öznitelik tensörü, hem ince taneli hareket ipuçlarını hem de grup etkinlikleri gibi geniş alanlı bağlamsal bilgileri gömer. Şekil 3 yalnızca MSCNN öznitelik çıkarma modülünü göstermektedir. Zamansal modelleme ve sınıflandırma için kullanılan LSTM katmanı (256 gizli birim), yoğun katman (128 nöron) ve dropout katmanı (0,5), Şekil 4'te ayrı olarak sunulmuştur.
Şekil 3: Önerilen Çok Ölçekli Konvolüsyonel Sinir Ağı (MSCNN) özellik çıkarma modülü. 3 × 3, 5 × 5 ve 7 × 7 çekirdek boyutlarına sahip üç paralel konvolüsyonel dal, LSTM ağı tarafından gerçekleştirilen zamansal modellemeden önce birleştirilen tamamlayıcı çok ölçekli uzamsal özellikleri çıkarır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.
Şekil 4: Spor videolarında aksiyon tanıma için önerilen LSTM mimarisi. LSTM modülü, ardışık video kareleri boyunca giriş, unutma ve çıkış kapısı işlemleri aracılığıyla zamansal bağımlılıkları modeller. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 3 spor videosu aksiyon tanıma için önerilen Çok Ölçekli Evrişimli Sinir Ağı (MSCNN) öznitelik çıkarma modülünü göstermektedir. Giriş video kareleri, 3 boyutlu çekirdek boyutlarına sahip üç evrişimli dal aracılığıyla paralel olarak işlenmiştir × 3, 5 × 5 ve 7 × 7 adet, her biri tamamlayıcı ince ve kaba taneli uzamsal özellikleri yakalamak için 64 filtre içeren; çıktılar ise Toplu Normalizasyon, ReLU aktivasyonu ve 2 kullanılarak iyileştirilmiştir × 2 max pooling, ardından 1 tarafından birleştirilmiş ve kaynaştırılmış × 128 filtreli 1 konvolüsyon. Bir rezidüel atlama bağlantısı, düşük seviyeli uzamsal bilgileri korumuş ve gradyan akışını iyileştirmiştir. Birleştirilmiş özellik haritaları düzleştirilmiş ve zamansal modelleme için 256 gizli birimli bir LSTM katmanına, ardından 128 nöronlu tam bağlantılı bir katmana, ReLU aktivasyonuna ve 0,5'lik bir dropout oranına aktarılmış; sonrasında ise bir Softmax katmanı kullanılarak nihai sınıflandırma yapılmıştır. Çok ölçekli özellik haritaları (Lütfen çevirmemi istediğiniz metni sağlayın.1l, f2Lve f3l) birleştirilerek füzyon temsili oluşturulmuştur (FLütfen çevirisini yapmamı istediğiniz metni sağlayın.), 3 ile daha da geliştirilmiştir × sonraki katman için çıktı özellik haritasını oluşturmak üzere 3 konvolüsyon kullanılır. Bu hiyerarşik mimari, birden fazla alıcı alanda tamamlayıcı mekânsal özelliklerin öğrenilmesini sağlayarak spor eylemi tanıma performansını artırmıştır.
5. LSTM kullanarak zamansal modelleme
Video kenarları boyunca zamana dayalı evrimi modellemek amacıyla, dinamik bağımlılıkları ve hareket sürekliliğini yakalamak için birleştirilmiş öznitelik dizisi LSTM sistemine sunulmuştur. Her bir giriş videosu için öncelikle kare başına çok ölçekli CNN öznitelikleri çıkarılmıştır. Video kareleri I1, …, IT olsun. Her t karesi ve her s ölçeği için çok ölçekli konvolüsyonel kodlayıcı, bir ft(s) ∈ Rd öznitelik vektörü üretir. Ardından, ölçekler, Denklem (8)'de olduğu gibi projeksiyon + birleştirme veya ağırlıklı toplam yoluyla tek bir kare tanımlayıcısında birleştirilir:
(8)
Ardından, zamansal dinamikleri modellemek için {xt}tT=1 dizisini bir LSTM'ye besleyin. Standart LSTM gösteriminde, t zamanındaki kapılar ve durumlar Denklem (9) ile (13) arasındadır:
(9)
(10)
(11)
(12)
(13)
Burada σ sigmoid aktivasyonunu, ⊙ ise eleman bazlı çarpımı temsil eder.) Çift yönlü LSTM mimarileri hem geçmiş hem de gelecek zamansal bağlamı yakalamak için kullanılabilse de, önerilen çerçeve, ardışık video kareleri boyunca zamansal bağımlılıkları modellemek için standart bir LSTM kullanmaktadır. Bu tasarım tercihi, bu çalışmada sunulan MSCNN-LSTM mimarisi ile tutarlıdır. Klip işlendikten sonra, bir klip temsili elde edilmiştir (örneğin, son gizli durum veya zamansal havuzlama): z = Poolt(vt).
Şekil 4, spor eylemi tanıma için önerilen LSTM mimarisinin iş akışını göstermektedir. Ağ, bir dizi video karesi veya CNN ile çıkarılmış özellikleri almış ve bunları ardışık zaman adımları (t−2, t−1 ve t) boyunca işlemiştir. Her bir LSTM hücresi; ağ üzerindeki bilgi akışını düzenleyen bir giriş kapısı, bir unutma kapısı ve bir çıkış kapısından oluşmaktadır. Giriş kapısı yeni bilgileri hücre durumuna dahil etmiş, unutma kapısı ilgisiz zamansal bilgileri atmış ve çıkış kapısı sonraki zaman adımına aktarılan gizli durumu üretmiştir. Hücre durumu uzun vadeli zamansal bağımlılıkları korurken, gizli durum kısa vadeli zamansal bilgileri yakalamıştır. Ardışık işlemenin ardından, ilgili spor eylemini tahmin etmek amacıyla tam bağlantılı bir katmana ve bir Softmax sınıflandırıcıya aktarılan zamansal bir özellik temsili oluşturmak için LSTM çıktıları havuzlanmıştır. Ağ; 32'lik bir grup boyutu, 0.001 başlangıç öğrenme oranı ve bir çapraz entropi kayıp fonksiyonu ile Adam optimizatörü kullanılarak 100 epok boyunca eğitilmiştir. Final değerlendirmesi için en düşük doğrulama kaybına sahip model seçilmiştir. Tekrarlanabilirliği sağlamak adına tüm deneyler 42 sabit rastgele tohumu kullanılarak yürütülmüştür. Yakınsamayı artırmak için erken durdurma ve platoda öğrenme oranı azaltma yöntemleri uygulanmış, LSTM eğitimi sırasında gradyan patlamalarını önlemek için 5.0 eşiğiyle gradyan kırpma işlemi yapılmıştır. Önerilen MSCNN-LSTM modeli yaklaşık 15 milyon eğitilebilir parametre içermektedir.
Nihai sınıf puanları ve olasılığı, Denklem (14)'te olduğu gibi bir doğrusal katman + softmax kullanır:
(14)
Denklem (15)'te olduğu gibi, etiketli klipler üzerindeki çapraz entropi kaybını minimize ederek eğitin:
(15)
nerede Nb parti boyutu, C sınıf sayısı ve y(n) one-hot gerçek değerdir. Düzenleme (dropout açık Lütfen tercüme edilmesini istediğiniz metni sağlayın.Lütfen çevirmemi istediğiniz metni buraya ekleyin. Metni paylaştığınızda, belirttiğiniz tüm akademik standartlara, bilimsel terminolojiye ve JoVE formatına uygun olarak profesyonelce Türkçe'ye çevireceğim./LSTM çıktıları, ağırlık azalması) Uzun spor sekanslarında stabiliteyi sağlamak için gradyan kırpma uygulanır.
Sonuçlar
Önerilen MSCNN-LSTM modeli; çeşitli spor hareketlerini, bakış açılarını ve hareket kalıplarını içeren UCF11 (YouTube Actions), UCF Sports ve JHMDB veri setleri üzerinde eğitilmiş ve değerlendirilmiştir. Sınıf dağılımları yeterince dengeli olduğu için ek bir sınıf ağırlıklandırma veya yeniden örnekleme prosedürü uygulanmamıştır. Karşılaştırma modelleri, orijinal çalışmalarında bildirilen hiperparametreler kullanılarak uygulanmış ve eğitim ayarları mümkün olan yerlerde uyumlu hale getirilmiştir. Sonuçlar, farklı rastgele başlangıçlara sahip beş bağımsız çalıştırmadan elde edilen ortalama ± standart sapma olarak bildirilmiştir. Önerilen model ile karşılaştırma modelleri arasındaki farklar, p < 0.05 anlamlılık eşiğinde eşleştirilmiş t-testleri kullanılarak değerlendirilmiştir.
Şekil 5, üç veri seti genelindeki sınıflandırma doğruluğunu karşılaştırmaktadır. MSCNN-LSTM modeli; UCF11'de %98,3, UCF Sports'ta %95,4 ve JHMDB'de %81,7 ile en yüksek doğruluğa ulaşmıştır. Bu değerler, Dilated CNN–BiLSTM, Two-Stream LSTM ve ViT-ReT modelleri tarafından elde edilen değerleri aşmıştır. JHMDB'deki daha düşük doğruluk oranı, düşük çözünürlüklü videolarda ince taneli eylemleri tanımanın daha zor olduğunu yansıtmaktadır.
Şekil 5: Farklı derin öğrenme modellerinin spor videosu veri setlerindeki sınıflandırma doğruluğunun (%) karşılaştırılması. MSCNN-LSTM, ViT-ReT, Two-Stream LSTM ve Dilated CNN + BiLSTM modellerinin UCF11, UCF Sports ve JHMDB veri setlerindeki sınıflandırma doğruluğu. Sonuçlar, beş bağımsız çalıştırmanın (n = 5) ortalaması ± SD olarak raporlanmıştır. Hata çubukları bir standart sapmayı temsil etmektedir. İstatistiksel anlamlılık, iki kuyruklu eşleştirilmiş t-testleri (p < 0.05) kullanılarak değerlendirilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Önerilen model, UCF11'de yaklaşık %96, UCF Sports'ta %93 ve JHMDB'de %78 değerleriyle tüm veri kümelerinde en yüksek kesinliğe ulaşmıştır (Şekil 6). Duyarlılık değerleri sırasıyla yaklaşık %95, %94 ve %77 olurken (Şekil 7), karşılık gelen F1 skorları yaklaşık %95,5, %93,5 ve %77,5 olarak belirlenmiştir (Şekil 8). Bu bulgular, modelin aksiyon sınıflarını doğru tanımlama ile yanlış pozitif tahminleri sınırlama arasında uygun bir denge kurduğunu göstermiştir.
Şekil 6: Farklı derin öğrenme modellerinin spor videosu veri setleri üzerindeki kesinlik (%) karşılaştırması. Kesinlik değerleri, beş bağımsız çalıştırmadan (n = 5) elde edilen ortalama ± SD olarak raporlanmıştır. Hata çubukları bir standart sapmayı temsil etmektedir. İstatistiksel anlamlılık, çift yönlü eşleştirilmiş t-testleri (p < 0.05) kullanılarak değerlendirilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 7: Spor videosu veri setlerinde farklı derin öğrenme modellerinin geri çağırma (recall) (%) oranlarının karşılaştırması. Geri çağırma değerleri, beş bağımsız çalıştırmanın (n = 5) ortalaması ± standart sapma (SD) olarak bildirilmiştir. Hata çubukları bir standart sapmayı temsil etmektedir. İstatistiksel anlamlılık, çift kuyruklu eşleştirilmiş t-testleri (p < 0.05) kullanılarak değerlendirilmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 8: Spor videosu veri kümelerinde farklı derin öğrenme modellerinin F1-skorlarının (%) karşılaştırılması.F1-skorları beş bağımsız çalışmanın ortalaması ± standart sapması (n = 5) olarak bildirilmiştir. Hata çubukları bir standart sapmayı temsil etmektedir. İstatistiki anlamlılık, çift kuyruklu eşleştirilmiş t-testleri kullanılarak değerlendirilmiştir (p < 0.05). Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Tablo 5, Cohen's kappa ve Matthews korelasyon katsayısı sonuçlarını sunmaktadır. UCF11 üzerinde, önerilen model κ = 0,96 ve MCC = 0,96 değerlerine ulaşırken; ViT-ReT için 0,92/0,92, Two-Stream LSTM için 0,90/0,90 ve Dilated CNN–BiLSTM için 0,87/0,87 κ/MCC değerleri elde edilmiştir. UCF Sports üzerinde, MSCNN-LSTM κ = 0,95 ve MCC = 0,94 değerlerine ulaşarak; ViT-ReT (0,90/0,90), Two-Stream LSTM (0,88/0,89) ve Dilated CNN–BiLSTM (0,84/0,85) tarafından elde edilen karşılık gelen değerleri aşmıştır. JHMDB üzerinde, önerilen model κ = 0,83 ve MCC = 0,84 değerlerine ulaşırken; ViT-ReT için 0,74/0,75, Two-Stream LSTM için 0,70/0,71 ve Dilated CNN–BiLSTM için 0,71/0,72 değerleri elde edilmiştir. Bu sonuçlar, önerilen model için tahmin edilen etiketler ile gerçek etiketler arasında daha güçlü bir uyum olduğunu göstermiştir.
| Model | Veri Seti | Cohen Kappa (κ) | Matthews Korelasyon Katsayısı (MCC) |
| Genişletilmiş CNN + BiLSTM [4] | UCF11 (YouTube İşlemleri) | 0.87 ± 0.01 | 0.88 ± 0.01 |
| UCF Sporları | 0.84 ± 0.02 | 0.85 ± 0.02 | |
| JHMDB | 0.71 ± 0.03 | 0.72 ± 0.03 | |
| İki Akışlı LSTM [38] | UCF11 (YouTube Eylemleri) | 0.90 ± 0.01 | 0.91 ± 0.01 |
| UCF Sporları | 0.88 ± 0.02 | 0.89 ± 0.02 | |
| JHMDB | 0.70 ± 0.03 | 0.71 ± 0.03 | |
| ViT-ReT (Vision Transformer + Recurrent Transformer) [6] | UCF11 (YouTube Eylemleri) | 0.92 ± 0.01 | 0.92 ± 0.01 |
| UCF Sporları | 0.90 ± 0.01 | 0.90 ± 0.01 | |
| JHMDB | 0.74 ± 0.02 | 0.75 ± 0.02 | |
| Önerilen MSCNN–LSTM | UCF11 (YouTube İşlemleri) | 0.96 ± 0.01 | 0.96 ± 0.01 |
| UCF Sporları | 0.95 ± 0.01 | 0.94 ± 0.01 | |
| JHMDB | 0.83 ± 0.02 | 0.84 ± 0.02 |
Tablo 5: Farklı derin öğrenme modelleri genelinde Cohen's kappa (κ) ve Matthews korelasyon katsayısının (MCC) karşılaştırılması. MSCNN-LSTM, ViT-ReT, Two-Stream LSTM ve Dilated CNN + BiLSTM modellerinin UCF11, UCF Sports ve JHMDB veri setleri üzerindeki performans karşılaştırması. Daha yüksek değerler, tahmin edilen ve gerçek etiketler arasında daha güçlü bir uyuma ve daha yüksek sınıflandırma güvenilirliğine işaret eder. Değerler, beş bağımsız çalıştırmanın (n = 5) ortalaması ± standart sapma (SD) olarak rapor edilmiştir.
Şekil 9, alıcı işletim karakteristik eğrilerini sunmaktadır. Önerilen MSCNN-LSTM; UCF11'de 0,975, UCF Sports'da 0,961 ve JHMDB'de 0,937 AUC değerleri elde etmiştir. Sürekli olarak yüksek seyreden AUC değerleri, farklı karmaşıklıktaki veri setleri genelinde eylem sınıfları arasında güçlü bir ayrım yapıldığını göstermiştir.
Şekil 9: Önerilen MSCNN-LSTM modelinin alıcı işletim karakteristiği (ROC) eğrileri. Doğru pozitif oran ile yanlış pozitif oran arasındaki dengeyi gösteren UCF11, UCF Sports ve JHMDB veri setlerine ait ROC eğrileri. Eğri altındaki alan (AUC), modelin farklı sınıflandırma eşikleri genelindeki ayırt edici performansını özetler. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Zamansal performans sonuçları Tablo 6'da özetlenmiştir. UCF11 üzerinde, önerilen model %98,3 mAP-T, %96,5 kare düzeyinde doğruluk ve 0,95 TSI elde etmiştir. UCF Sports üzerinde karşılık gelen değerler %95,4, %94,0 ve 0,93 olmuştur. JHMDB üzerinde ise model %81,7 mAP-T, %78,9 kare düzeyinde doğruluk ve 0,88 TSI elde etmiştir (Tablo 7). Bu değerler, karşılaştırma modelleri tarafından elde edilenlerden daha yüksek çıkmış olup hem kısa hem de uzun süreli aksiyon dizilerinde gelişmiş zamansal tutarlılık ve tahmin kararlılığına işaret etmiştir.
| Yöntem | Veri Seti | mAP-T (%) | Kare Düzeyinde Doğruluk (%) | Temporal Stabilite İndeksi (TSI) |
| Dilated CNN + BiLSTM4 | UCF11 (YouTube Actions) | 93.6 ± 0.8 | 91.8 ± 0.9 | 0.87 ± 0.01 |
| UCF Sports | 90.2 ± 1.0 | 89.1 ± 1.1 | 0.83 ± 0.02 | |
| JHMDB | 72.4 ± 1.5 | 70.3 ± 1.7 | 0.78 ± 0.03 | |
| Two-Stream LSTM38 | UCF11 (YouTube Actions) | 94.8 ± 0.7 | 92.6 ± 0.8 | 0.89 ± 0.01 |
| UCF Sports | 91.3 ± 0.9 | 90.0 ± 1.0 | 0.85 ± 0.02 | |
| JHMDB | 73.8 ± 1.4 | 71.5 ± 1.6 | 0.79 ± 0.03 | |
| ViT-ReT (Vision Transformer + Recurrent Transformer)6 | UCF11 (YouTube Actions) | 95.5 ± 0.6 | 93.4 ± 0.7 | 0.90 ± 0.01 |
| UCF Sports | 92.4 ± 0.8 | 91.2 ± 0.9 | 0.87 ± 0.01 | |
| JHMDB | 74.6 ± 1.3 | 72.8 ± 1.4 | 0.81 ± 0.02 | |
| . | UCF11 (YouTube Actions) | 98.3 ± 0.5 | 96.5 ± 0.6 | 0.95 ± 0.01 |
| UCF Sports | 95.4 ± 0.7 | 94.0 ± 0.8 | 0.93 ± 0.01 | |
| JHMDB | 81.7 ± 1.1 | 78.9 ± 1.3 | 0.88 ± 0.02 |
Tablo 6: Spor videolarında aksiyon tanıma için zamansal performans metriklerinin karşılaştırılması. Farklı derin öğrenme modellerinin kıyaslama veri setleri genelindeki zamansal segmentler üzerinden ortalama Ortalama Hassasiyet (mAP-T), kare düzeyinde doğruluk ve Zamansal Kararlılık İndeksi (TSI) deneysel sonuçları. Değerler, beş bağımsız çalışmadan elde edilen ortalama ± SD (n = 5) olarak rapor edilmiştir.
| Konfigürasyon | Çok Ölçekli CNN (MSCNN) | LSTM | Doğruluk (%) | F1-Skoru (%) | mAP-T (%) |
| Sadece CNN Temel Hat | ✗ | ✗ | 90.4 ± 1.2 | 89.8 ± 1.3 | 88.9 ± 1.4 |
| CNN + LSTM | ✗ | ✓ | 93.1 ± 0.9 | 92.4 ± 1.0 | 91.7 ± 1.1 |
| Sadece MSCNN | ✓ | ✗ | 94.2 ± 0.8 | 93.6 ± 0.9 | 92.8 ± 1.0 |
| Önerilen MSCNN-LSTM | ✓ | ✓ | 98.3 ± 0.5 | 97.8 ± 0.6 | 97.1 ± 0.6 |
Tablo 7: Önerilen MSCNN-LSTM çerçevesinin ablasyon çalışması. Aynı eğitim ve değerlendirme ayarları altında MSCNN ve LSTM bileşenlerinin performans katkıları. Değerler, beş bağımsız çalışmadan (n = 5) elde edilen ortalama ± SD olarak rapor edilmiştir.
Şekil 10, Şekil 11, Şekil 12 sırasıyla UCF11, UCF Sports ve JHMDB için satırla normalize edilmiş hata matrislerini sunmaktadır. Her üç matris de, çoğu aksiyon sınıfının doğru şekilde tanımlandığını gösteren belirgin bir diyagonal baskınlık sergilemiştir. Diyagonal dışındaki sınırlı hatalar, öncelikle benzer görsel veya hareket özelliklerine sahip aksiyonlar arasında meydana gelmiştir. JHMDB matrisi, bu daha zorlu veri setinde gözlemlenen daha düşük nicel performansla tutarlı olarak, karşılaştırmalı olarak daha fazla sınıf karmaşası göstermiştir.
Şekil 10: Önerilen MSCNN-LSTM modelinin UCF11 veri seti üzerindeki satır-normalize edilmiş karmaşıklık matrisi. Her satır bire normalize edilmiştir ve köşegen girişleri, ayrı olarak raporlanan genel sınıflandırma doğruluğundan ziyade sınıfa özgü geri çağırma (recall) değerlerini temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 11: Önerilen MSCNN-LSTM modelinin UCF Sports veri seti üzerindeki satıra göre normalize edilmiş konfüzyon matrisi.Her bir satır birime normalize edilmiştir ve köşegen girişleri, ayrı olarak rapor edilen genel sınıflandırma doğruluğundan ziyade sınıf bazlı duyarlılığı (recall) temsil etmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Şekil 12: JHMDB veri kümesi üzerinde önerilen MSCNN-LSTM modelinin satırla normalize edilmiş hata matrisi. Her satır birime normalize edilmiştir ve köşegen girdiler, ayrı olarak raporlanan genel sınıflandırma doğruluğu yerine sınıf bazlı duyarlılığı (recall) temsil eder. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.
Genel olarak, önerilen MSCNN-LSTM çerçevesi; sınıflandırma, uyum, ayırt etme ve zamansal kararlılık ölçütlerinde değerlendirilen karşılaştırıcı modellerden tutarlı bir şekilde daha iyi performans göstermiştir. Bulgular, çok ölçekli uzamsal özellik çıkarımının LSTM tabanlı zamansal modelleme ile birleştirilmesinin; farklı hareket karmaşıklığına, görüntü kalitesine ve bakış açısı koşullarına sahip veri kümelerinde spor aksiyonu tanıma performansını artırdığı hipotezini desteklemiştir.
VERİ KULLANILABİLİRLİĞİ:
Mevcut çalışma sırasında analiz edilen veri setlerine şu kaynaklardan herkese açık olarak erişilebilir: UCF11 (YouTube Actions) veri seti (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php) ve UCF Sports veri seti (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php). Bu çalışmanın tekrarlanabilirliğini desteklemek amacıyla, deneylerde kullanılan ön işleme hattı, veri seti bölümleme (eğitim/doğrulama/test ayrımı oluşturma), uygulama dosyaları, yapılandırma dosyaları ve destekleyici belgeler Zenodo deposuna aktarılmış olup https://doi.org/10.5281/zenodo.21020947 adresinden herkese açık olarak erişilebilmektedir.
Tartışma
Önerilen MSCNN-LSTM çerçevesi; UCF11, UCF Sports ve JHMDB kıyaslama veri kümelerinde değerlendirilen yaklaşımlardan tutarlı bir şekilde daha iyi performans göstermiştir. Dilated CNN–BiLSTM, Vision Transformer mimarileri ve 3D CNN'lere dayanan önceki yöntemler, etkili uzaysal-zamansal özellik öğrenimi sergilemiş ancak yüksek hesaplama karmaşıklığı, önemli eğitim gereksinimleri veya ince taneli hareket modellerinin yetersiz temsili nedeniyle sınırlı kalmış olabilirler23,24,25. Buna karşılık, önerilen çerçeve, çok ölçekli uzaysal özellik çıkarımını LSTM tabanlı zamansal modelleme ile entegre ederek hem yerel hareket detaylarının hem de uzun menzilli zamansal bağımlılıkların yakalanmasını sağlamıştır. Bu entegrasyon, özellikle daha zorlayıcı olan JHMDB veri kümesinde, karmaşık spor eylemlerinin tanınmasını iyileştirmiş, sınıflar arası karışıklığı azaltmış ve zamansal tutarlılığı artırmıştır. Bu bulgular, önerilen çerçevenin; değerlendirilen CNN, özyinelemeli ve transformer tabanlı yaklaşımlara kıyasla uzaysal ve zamansal bilgilerin dengeli bir temsilini sunduğunu göstermektedir.
Teorik açıdan, MSCNN-LSTM çerçevesi, çok ölçekli özellik füzyonu ve ardışık zamansal öğrenme için birleşik bir yaklaşım sağlamıştır36,37. Hiyerarşik alıcı alanların kullanımı, farklı ölçeklerdeki uzamsal bilgilerin çıkarılmasını sağlarken, LSTM ardışık video kareleri arasındaki bağımlılıkları modellemiştir. Bu tasarım, zamansal modelleme öncesinde yerel ve bağlamsal uzamsal bilgileri koruyarak geleneksel CNN-LSTM hattını genişletmiştir. Çeşitli eylem sınıfları, hareket paternleri ve kamera bakış açılarını içeren veri kümelerindeki tutarlı performans, önerilen mimarinin dayanıklılığını daha da desteklemiştir.
Pratik bir perspektiften bakıldığında, çerçeve; otomatik spor analitiği, sporcu performans değerlendirmesi, olay tespiti ve spor videolarının anlaşılması konularında potansiyel göstermiştir. Bununla birlikte, uygulamaya konulmadan önce gerçek dünya çalışma koşulları altında daha fazla doğrulama yapılması gerekmektedir. Mimari güçlü bir tanıma performansı sergilemiş olsa da, kaynak kısıtlı cihazlar veya bulut tabanlı analitik platformlar için uygunluğu; hesaplama maliyeti, çıkarım süresi, bellek gereksinimleri ve enerji tüketiminin ek değerlendirmeleriyle onaylanmalıdır.
Ablasyon çalışması, MSCNN ve LSTM bileşenlerinin tamamlayıcı katkılarını ortaya koymuştur. MSCNN, birden fazla alıcı alan ölçeğinde temsiller öğrenerek uzamsal özellik çıkarımını geliştirirken; LSTM, ardışık kareler arasındaki hareket bağımlılıklarını yakalayarak zamansal modellemeyi iyileştirmiştir. Tam MSCNN-LSTM konfigürasyonu en iyi performansı sergilemiş olup, bu durum çok ölçekli uzamsal özellik çıkarımının ve zamansal dizi modellemesinin, aksiyon tanımada gözlemlenen iyileşmeye ortaklaşa katkıda bulunduğunu göstermiştir.
Genel olarak, önerilen MSCNN-LSTM çerçevesi, spor videolarında aksiyon tanıma için mekansal ve zamansal temsil öğrenimini etkili bir şekilde birleştirmiştir. UCF11, UCF Sports ve JHMDB veri kümeleri üzerinde yapılan değerlendirmeler, değerlendirilen derin öğrenme yaklaşımlarına kıyasla performansın arttığını göstermiştir. Bu sonuçlar, çok ölçekli konvolüsyonel özelliklerin LSTM tabanlı zamansal modelleme ile entegre edilmesinin, karmaşık spor aksiyonlarının tanınmasını iyileştirdiği hipotezini desteklemiştir. Bununla birlikte, genellenebilirliği ve gerçek dünya uygulanabilirliğini belirlemek için daha büyük, daha çeşitli ve çapraz alanlı veri kümeleri üzerinde doğrulama yapılması gerekmektedir.
Çeşitli kısıtlamalar göz önünde bulundurulmalıdır. İlk olarak, değerlendirme halka açık kıyaslama veri setleri ile sınırlandırılmıştır ve gerçek dünya spor ortamlarının çeşitliliğini ve karmaşıklığını tam olarak temsil etmeyebilir. İkinci olarak, sabit eğitim, doğrulama ve test bölümleri kullanılmış olsa da, veri seti yanlılığı ve istenmeyen veri sızıntısı tamamen dışlanamamıştır. Üçüncü olarak, bildirilen performans; veri seti bileşimine, model başlatmasına, ön işleme prosedürlerine ve eğitim ayarlarına göre değişiklik gösterebilir. Ayrıca, çok ölçekli konvolüsyonel ve zamansal modelleme bileşenleri, hesaplama gereksinimlerini artırmıştır ve bu durum kısıtlı kaynaklara sahip cihazlardaki uygulamayı etkileyebilir. Çerçeve ayrıca dış veri setleri veya gerçek zamanlı üretim senaryoları kullanılarak değerlendirilmemiştir.
Transformer tabanlı video modelleri, büyük ölçekli hareket tanıma veri kümelerinde güçlü performans göstermiştir; ancak genellikle önemli miktarda hesaplama kaynağı ve kapsamlı eğitim verisi gerektirirler. Önerilen MSCNN-LSTM çerçevesi, çok ölçekli mekansal özellik çıkarımını tekrarlayan zamansal modelleme ile birleştirerek alternatif bir yaklaşım sunmaktadır. Gelecekteki çalışmalar; veri kümeleri arası doğrulamayı, gerçek zamanlı çıkarımı, hesaplama optimizasyonunu, belirsizlik tahminini ve Transformer tabanlı dikkat mekanizmalarını önerilen çok ölçekli CNN-LSTM çerçevesiyle entegre eden hibrit mimarileri araştırmalıdır38.
Açıklamalar
Yazarlar herhangi bir çıkar çatışması beyan etmemektedir.
Teşekkürler
Bu araştırma, Malezya Ulusal Üniversitesi, Bilgi Bilimi ve Teknoloji Fakültesi, Yapay Zeka Teknoloji Merkezi'nde (CAIT) yürütülmüştür. Yazarlar, sağlanan kurumsal destek ve araştırma olanakları için teşekkürlerini sunarlar. Bu çalışma, herhangi bir kamu, ticari veya kâr amacı gütmeyen finansman kuruluşundan özel bir destek almamıştır.
Malzemeler
| Ad | Şirket | Katalog numarası | Yorumlar |
|---|---|---|---|
| GeForce RTX 3090 GPU | NVIDIA Corporation | RTX 3090, 24 GB VRAM | Derin öğrenme model eğitimi ve çıkarımı için kullanılır |
| Intel Core i9 İşlemci | Intel Corporation | 16 Çekirdekli, 3,5 GHz | Veri ön işleme ve hesaplama için kullanılır |
| Sistem Belleği | Genel | 64 GB DDR4 RAM | Yüksek ölçekli video işlemeyi destekler |
| Python Programlama Dili | Python Software Foundation | Sürüm 3.8.18 | Uygulama için kullanılan temel programlama dili |
| TensorFlow | Sürüm 2.15 | Model geliştirme için kullanılan derin öğrenme çerçevesi | |
| İşletim Sistemi | Microsoft Corporation | Windows 11 | Model geliştirme ve deneyleme |
| CUDA Toolkit | NVIDIA Corporation | CUDA 11.8 | Model eğitimi için GPU hızlandırma |
| cuDNN | NVIDIA Corporation | cuDNN 8.9.7 | Derin sinir ağı hızlandırma kütüphanesi |
| OpenCV | Açık Kaynak | Sürüm 4.8.1 | Video karesi çıkarma ve ön işleme |
| NumPy | Açık Kaynak | Sürüm 1.24.4 | Sayısal hesaplama ve dizi işleme |
| Scikit-learn | Açık Kaynak | Sürüm 1.3.2 | Performans değerlendirmesi ve istatistiksel analiz |
| Matplotlib | Açık Kaynak | Sürüm 3.7.5 | Deneysel sonuçların görselleştirilmesi |
| UCF11 Veri Kümesi | Central Florida Üniversitesi | Kamuya Açık Veri Seti | Spor aksiyonu tanıma kıyaslama veri seti |
| UCF Spor Veri Seti | Central Florida Üniversitesi | Kamuya Açık Veri Seti | Spor aksiyon tanıma karşılaştırmalı veri seti |
| JHMDB Veri Seti | Max Planck Bilişim Enstitüsü | Kamuya Açık Veri Seti | İnsan hareketi ve eylem tanıma karşılaştırma veri seti |
Kaynaklar
- Hassan N, Miah ASM, Shin J. A deep bidirectional LSTM model enhanced by transfer-learning-based feature extraction for dynamic human activity recognition. Appl Sci. 2024;14:603. https://doi.org/10.3390/app14020603
- Egawa R, et al. Dynamic fall detection using graph-based spatial temporal convolution and attention network. Electronics. 2023;12:3234. https://doi.org/10.3390/electronics12153234
- Riahi M, Eslami M, Safavi SH, Torkamani Azar F. Human activity recognition using improved dynamic image. IET Image Process. 2020;14:3223–3231. https://doi.org/10.1049/iet-ipr.2020.0372
- Muhammad K, et al. Human action recognition using attention-based LSTM network with dilated CNN features. Future Gener Comput Syst. 2021;125:820–830. https://doi.org/10.1016/j.future.2021.06.017
- Al-Obaidi S, Al-Khafaji H, Abhayaratne C. Making sense of neuromorphic event data for human action recognition. IEEE Access. 2021;9:82686–82700. https://doi.org/10.1109/ACCESS.2021.3085769
- Wensel J, Ullah H, Munir A. ViT-ReT: Vision and recurrent transformer neural networks for human activity recognition in videos. IEEE Access. 2023;11:72227–72249. https://doi.org/10.1109/ACCESS.2023.3293445
- Vrskova R, Hudec R, Kamencay P, Sykora P. Human activity classification using the 3DCNN architecture. Appl Sci. 2022;12:931. https://doi.org/10.3390/app12020931
- Ullah A, et al. Action recognition using optimized deep autoencoder and CNN for surveillance data streams of non-stationary environments. Future Gener Comput Syst. 2019;96:386–397. https://doi.org/10.1016/j.future.2019.01.041
- Jaouedi N, Boujnah N, Bouhlel MS. A new hybrid deep learning model for human action recognition. J King Saud Univ Comput Inf Sci. 2020;32:447–453. https://doi.org/10.1016/j.jksuci.2018.08.001
- Zebhi S, Al-Modarresi SMT, Abootalebi V. Converting video classification problem to image classification with global descriptors and pre-trained network. IET Comput Vis. 2020;14:614–624. https://doi.org/10.1049/iet-cvi.2020.0023
- Cust E, Sweeting AJ, Ball K, Robertson S. Machine and deep learning for sport-specific movement recognition: A systematic review. J Sports Sci. 2019;37:568–600. https://doi.org/10.1080/02640414.2018.1504613
- Cao S, Wang B, Zhang W, Ma L. Visual consensus modeling for video-text retrieval. In Proc AAAI Conf Artif Intell. 2022:167–175. https://doi.org/10.1609/aaai.v36i1.19890
- Yu H, et al. Fine-grained video captioning for sports narrative. In Proc IEEE Conf Comput Vis Pattern Recognit (CVPR). 2018:6006–6015. https://doi.org/10.1109/CVPR.2018.00628
- Browne P, Sweeting AJ, Woods CT, Robertson S. Methodological considerations for furthering the understanding of constraints in applied sports. Sports Med Open. 2021;7:22. https://doi.org/10.1186/s40798-021-00307-9
- Gao T, et al. Sports video classification method based on improved deep learning. Appl Sci. 2024;14:948. https://doi.org/10.3390/app14020948
- Dong Z, Xie M, Li X. Multi-scale receptive fields convolutional network for action recognition. Appl Sci. 2023;13:3403. https://doi.org/10.3390/app13063403
- Liu S, et al. Human memory update strategy: A multi-layer template update mechanism for remote visual monitoring. IEEE Trans Multimed. 2021;23:2188–2198. https://doi.org/10.1109/TMM.2020.3009234
- Liu S, Liu D, Muhammad K, Ding W. Effective template update mechanism in visual tracking with background clutter. Neurocomputing. 2021;458:615–625. https://doi.org/10.1016/j.neucom.2021.05.032
- Haque MN, et al. GRU-based attention mechanism for human activity recognition. In Proc ICASERT. 2019:1–6. https://doi.org/10.1109/ICASERT.2019.8934521
- Al-qaness MA, Dahou A, AbdElaziz M, Helmi A. Multi-ResAtt: Multilevel residual network with attention for human activity recognition using wearable sensors. IEEE Trans Ind Inform. 2022;19:144–152. https://doi.org/10.1109/TII.2022.3147850
- Duan F, et al. A multi-task deep learning approach for sensor-based human activity recognition and segmentation. IEEE Trans Instrum Meas. 2023;72:2514012. https://doi.org/10.1109/TIM.2023.3264512
- Gomes E, et al. Machine learning algorithms for activity-intensity recognition using accelerometer data. Sensors. 2021;21:1214. https://doi.org/10.3390/s21041214
- Su C, et al. A novel model for fall detection and action recognition combining lightweight 3D-CNN and ConvLSTM networks. Pattern Anal Appl. 2024;27:3. https://doi.org/10.1007/s10044-023-01234-5
- Zhou T, et al. Behavior recognition based on improved density clustering and context-guided Bi-LSTM model. Multimed Tools Appl. 2023;82:45471–45488. https://doi.org/10.1007/s11042-023-14678-9
- Shin J, et al. Video-based human activity recognition using hybrid deep learning model. Comput Model Eng Sci. 2025;143:3615. https://doi.org/10.32604/cmes.2025.058341
- Vrskova R, Hudec R, Kamencay P, Sykora P. A new approach for abnormal human activities recognition based on ConvLSTM architecture. Sensors. 2022;22:2946. https://doi.org/10.3390/s22082946
- Vijeikis R, Raudonis V, Dervinis G. Efficient violence detection in surveillance. Sensors. 2022;22:2216. https://doi.org/10.3390/s22062216
- Rendón-Segador F, et al. ViolenceNet: Dense multi-head self-attention with bidirectional ConvLSTM for detecting violence. Electronics. 2021;10:1601. https://doi.org/10.3390/electronics10131601
- Kalfaoglu E, Kalkan S, Alatan A. Late temporal modeling in 3D CNN architectures with BERT for action recognition. In Proc ECCV Workshops. 2020. https://doi.org/10.1007/978-3-030-66823-5_43
- Moaaz M, Mohamed E. Violence detection in surveillance videos using deep learning. Inf Bull Fac Comput Artif Intell. 2020;2:6.
- Song W, et al. Expressive 3D facial animation generation based on local-to-global latent diffusion. IEEE Trans Vis Comput Graph. 2024;30:7397–7407. https://doi.org/10.1109/TVCG.2024.3456213
- Li L, Cherouat A, Snoussi H, Wang T. Grasping with occlusion-aware ally method in complex scenes. IEEE Trans Autom Sci Eng. 2025;22:5944–5954. https://doi.org/10.1109/TASE.2024.3434610
- Li R, et al. UE-Extractor: A grid-to-point ground extraction framework for unstructured environments. IEEE Robot Autom Lett. 2025;10:5991–5998. https://doi.org/10.1109/LRA.2025.3563127
- Jhuang, H., Gall, J., Zuffi, S., Schmid, C., Black, M. J. Towards understanding action recognition. Proceedings of the IEEE International Conference on Computer Vision. 3192–3199, doi:10.1109/ICCV.2013.396 (2013).
- OpenMMLab. MMAction2: JHMDB dataset preparation. GitHub. https://github.com/open-mmlab/mmaction2/tree/main/tools/data/jhmdb (2026).
- Ullah W, Khalid YN, Khan SH. A novel deep hybrid framework with ensemble-based feature optimization for HAR. arXiv preprint arXiv:2508.18695. 2025. https://arxiv.org/abs/2508.18695
- Karuppannan K, Darmanayagam SE, Cyril SR. Human action recognition using fusion-based discriminative features and LSTM classification. Concurr Comput Pract Exp. 2022;34:e7250. https://doi.org/10.1002/cpe.7250
- Sahoo SP, et al. HAR-depth: A novel framework for human action recognition using sequential learning and depth estimated history images. IEEE Trans Emerg Top Comput Intell. 2020;5:813–825. https://doi.org/10.1109/TETCI.2020.3006543