Rozpoznawanie czynności w materiałach wideo z dyscyplin sportowych przy użyciu wieloskalowych sieci konwolucyjnych z modelowaniem czasowym opartym na długiej krótkotrwałej pamięci (LSTM)

Podsumowanie

Zaproponowany framework MSCNN-LSTM integruje wielkoskalową ekstrakcję cech przestrzennych z modelowaniem sekwencji czasowych w celu rozpoznawania akcji w nagraniach wideo ze sportu, przechwytując precyzyjne cechy przestrzenne oraz czasowe wzorce ruchu, przy jednoczesnym osiągnięciu konkurencyjnej wydajności klasyfikacji na benchmarkowych zbiorach danych dotyczących akcji sportowych.

Streszczenie

Rozpoznawanie czynności w filmach sportowych pozostaje wyzwaniem ze względu na złożoną dynamikę ruchu, przesłonięcia oraz wysoką zmienność wewnątrzklasową. Choć istniejące podejścia oparte na głębokim uczeniu, w tym modele CNN-BiLSTM oraz modele bazujące na uczeniu transferowym, wykazały skuteczność w rozpoznawaniu ludzkiej aktywności, ich wydajność może być ograniczona w scenariuszach sportowych charakteryzujących się szybkimi i zróżnicowanymi ruchami. Wiele istniejących metod opiera się na jednoskalowych filtrach splotowych, które mogą nie uchwycić efektywnie jednoczesnych szczegółowych i ogólnych cech ruchu. Aby rozwiązać to ograniczenie, w niniejszym badaniu zaproponowano wieloskalową konwolucyjną sieć neuronową (MSCNN) zintegrowaną z siecią Long Short-Term Memory (LSTM) do rozpoznawania czynności w filmach sportowych. Sieć MSCNN wyodrębnia reprezentacje przestrzenne w wielu polach recepcyjnych za pomocą równoległych jąder splotowych, co umożliwia naukę zarówno szczegółowych, jak i kontekstowych cech ruchu. Cechy te są następnie przetwarzane przez sieć LSTM w celu uchwycenia zależności czasowych i ciągłości ruchu w kolejnych klatkach. Ocena eksperymentalna została przeprowadzona na zestawach danych referencyjnych UCF11, UCF Sports oraz JHMDB. Zaproponowany model MSCNN-LSTM osiągnął dokładność klasyfikacji wynoszącą odpowiednio 98,3%, 95,4% i 81,7%, przewyższając podejścia porównawcze ocenione w tym badaniu. Analiza ablacyjna dodatkowo wykazała wkład wieloskalowego wyodrębniania cech oraz modelowania czasowego w ogólną wydajność. Wyniki te potwierdzają potencjał zaproponowanego rozwiązania w zakresie łączenia informacji przestrzennych i czasowych do rozpoznawania czynności w filmach sportowych.

Wprowadzenie

Rozpoznawanie aktywności człowieka ma szerokie zastosowanie w różnych dziedzinach świata rzeczywistego, w tym w inteligentnym nadzorze, wykrywaniu anomalii, audiowizualnym wyszukiwaniu opartym na akcjach oraz monitorowaniu pacjentów w opiece zdrowotnej^1,2. Rozpoznawanie akcji, szczególnie w strumieniach wideo z systemów nadzoru i platform mediów społecznościowych, posiada znaczący potencjał w zakresie wykrywania anomalii i rozumienia zdarzeń³. Akcje ludzkie są identyfikowane w analizie wideo poprzez obserwację różnych części ciała, takich jak dłonie i nogi. W przeciwieństwie do obrazów statycznych, pojedyncza klatka jest często niewystarczająca do reprezentacji akcji⁴. Na przykład początkowa poza podczas gry w piłkę nożną i skakania przez skakankę może wydawać się podobna na pojedynczej klatce. Różnice między tymi akcjami stają się widoczne, gdy są one obserwowane w sekwencji klatek, które rejestrują wzorce ruchu i interakcje ludzkiego ciała z otoczeniem^5,6,7. Skróty użyte w całym tekście zostały zestawione w Tabeli 1 w celu poprawy czytelności i zapewnienia spójności terminologicznej.

Skrót	Pełna forma
Sztuczna inteligencja	Sztuczna inteligencja
AUC	Pole pod krzywą
BiLSTM (dwukierunkowa długa krótkoterminowa pamięć)	Dwukierunkowa pamięć długo- i krótkotrwała
CNN (konwolucyjna sieć neuronowa)	Splotowa sieć neuronowa
CUDA	Compute Unified Device Architecture
miara F1	Średnia harmoniczna precyzji i pełności
GPU (procesor graficzny)	Karta graficzna (GPU)
HAR	Rozpoznawanie aktywności ludzkiej
JHMDB	Wspólna baza danych ruchu człowieka
LSTM (długo-krótkoterminowa pamięć)	Długa krótkotrwała pamięć
mAP-T	Średnia precyzja czasowa (Temporal Mean Average Precision)
MCC	Współczynnik korelacji Matthewsa
MSCNN	Wieloskalowa splotowa sieć neuronowa
Krzywa ROC	Charakterystyka Operacyjna Odbiornika
TSI	Wskaźnik stabilności czasowej
UCF	University of Central Florida
VRAM	Pamięć VRAM (Video Random Access Memory)

Tabela 1: Lista skrótów użytych w manuskrypcie. Powszechne skróty i akronimy używane w całym badaniu wraz z ich pełnymi formami.

Szybka i dokładna klasyfikacja filmów sportowych jest istotna dla szerokiego zakresu zastosowań^8,9,10, w tym dla analityki sportowej, detekcji zdarzeń, wyszukiwania treści oraz systemów rekomendacji^11,12,13. Wraz z szybkim wzrostem ilości treści wideo związanych ze sportem, ograniczenia wcześniejszych ram analitycznych stały się coraz bardziej widoczne¹⁴. W związku z tym rośnie zapotrzebowanie na solidne podejścia zdolne do radzenia sobie ze złożonością i dynamicznym charakterem aktywności sportowych. Tradycyjne metody klasyfikacji filmów sportowych w dużej mierze opierały się na deskryptorach tworzonych ręcznie, takich jak przepływ optyczny i histogramy orientacji gradientów (HOG), aby charakteryzować wzorce ruchu i aktywności w filmach sportowych¹⁵.

Sieci ConvNet, które odniosły spektakularne sukcesy w klasyfikacji statycznych obrazów, zostały również zastosowane w analizie wideo. Jednak rozpoznawanie czynności pozostaje większym wyzwaniem, ponieważ filmy zawierają dynamiczne informacje czasoprzestrzenne. Obecne podejścia oparte na głębokim uczeniu można ogólnie podzielić na trzy grupy: sieci dwustrumieniowe¹⁶, sieci splotowe 3D oraz architektury wydajne obliczeniowo. Aby nauczyć się informacji temporalnych z przepływu optycznego, sieci dwustrumieniowe wykorzystują dodatkową sieć ConvNet^17,18, choć podejście to jest kosztowne obliczeniowo. Podczas gdy architektury splotowe 3D, takie jak C3D, I3D i R3D, potrafią bezpośrednio modelować informacje czasowe, znacznie zwiększają one liczbę parametrów, co utrudnia optymalizację. Metody wydajne obliczeniowo próbują zmniejszyć złożoność modelu poprzez badanie dekomponowanych operacji 3D.

Ponadto, ponieważ sieci CNN potrafią ekstrahować lokalne cechy przestrzenne, a sieci LSTM mogą przechwytywać informacje o kontekście czasowym, modele hybrydowe mogą skutecznie uczyć się czasoprzestrzennych wzorców ruchu z danych wejściowych czujników. Niedawne badania łączące architektury CNN i rekurencyjnych sieci neuronowych przyniosły obiecujące wyniki^18,19,20. Jednak ze względu na to, że sieci LSTM kompresują informacje podczas przetwarzania sekwencji, szum wprowadzony podczas ekstrakcji cech może wpływać na wydajność rozpoznawania. Aby rozwiązać ten problem, w kilku badaniach zastosowano mechanizmy uwagi^21,22. Mechanizmy uwagi umożliwiają modelowi skupienie się na cechach najistotniejszych dla zadania rozpoznawania, co tym samym poprawia wydajność klasyfikacji.

Chociaż głębokie dwukierunkowe modele LSTM połączone z ekstrakcją cech opartą na CNN przyniosły obiecujące wyniki w rozpoznawaniu aktywności ludzkiej, wciąż istnieje kilka wyzwań przy rozszerzaniu tych ram na rozpoznawanie akcji w nagraniach wideo ze sportu. Po pierwsze, istniejące architektury CNN-LSTM często wykorzystują jednoskalową ekstrakcję cech splotowych, co może ograniczać ich zdolność do przechwytywania akcji występujących w wielu rozdzielczościach przestrzennych i czasowych, takich jak jednoczesny ruch zawodnika i obiektu w scenach sportowych. Wieloskalowe sieci splotowe, w tym 3D CNN²³ oraz dwustrumieniowe sieci CNN, wykazały znaczenie przechwytywania wskazówek przestrzennych i ruchowych w różnych skalach, choć koncepcja ta pozostaje słabiej zbadana w hybrydowych systemach opartych na LSTM. Po drugie, większość wcześniejszych modeli CNN-BiLSTM²⁴ skupia się przede wszystkim na krótkoterminowych zależnościach czasowych, podczas gdy długodystansowa ciągłość ruchu i interakcje między obiektami, powszechne w sportach drużynowych, mogą nie być odpowiednio reprezentowane. Wiele podejść opartych na uczeniu transferowym, takich jak MobileNetV2 i ResNet, opiera się na statycznych cechach klatek i nie w pełni wykorzystuje mechanizmy uwagi czasowej lub adaptacyjną wieloskalową fuzję cech²⁵. Ponadto większość istniejących modeli była oceniana głównie na zbiorach referencyjnych, takich jak UCF11 i JHMDB. Nowsze zbiory danych specyficzne dla sportu, które rejestrują złożony ruch kamery i wzorce aktywności, takie jak SoccerNet i FineGym, pozostają niedostatecznie zbadane. Ograniczenia te podkreślają potrzebę opracowania wieloskalowego frameworku ekstrakcji cech splotowych zintegrowanego z modułami pamięci czasowej, takimi jak sieci LSTM lub BiLSTM, aby lepiej przechwytywać zarówno szczegółowe reprezentacje przestrzenne, jak i długodystansowe zależności czasowe w rozpoznawaniu akcji w wideo sportowym.

Dodatkowo sieci CNN potrafią wyodrębniać lokalne cechy przestrzenne, podczas gdy sieci LSTM mogą modelować kontekst czasowy. Hybrydowe architektury CNN-RNN wykazały zatem obiecującą skuteczność w rozpoznawaniu aktywności ludzkiej^26,27. Niedawne badania rozszerzyły konwencjonalne struktury CNN–LSTM poprzez włączenie komplementarnych strategii uczenia w celu poprawy rozpoznawania aktywności ludzkiej. Na przykład wprowadzono mechanizmy uwagi, aby uwypuklić cechy istotne dla zadania i stłumić reprezentacje mniej informacyjne, co poprawia wydajność rozpoznawania²⁸. Inne podejścia zastosowały uczenie wielozadaniowe w celu wspólnej optymalizacji zadań rozpoznawania akcji i segmentacji czasowej, zwiększając efektywność uczenia i reprezentację cech²⁹. Mimo tych postępów istniejące metody mogą nadal mieć ograniczoną zdolność do rozróżniania wizualnie podobnych akcji, ponieważ precyzyjne cechy przestrzenne i czasowe nie zawsze są skutecznie przechwytywane. Tabela 2 podsumowuje zalety i ograniczenia istniejących podejść³⁰.

Referencja / Rok	Zastosowana metoda	Zbiór(y) danych	Metryki wydajności	Kluczowe zalety	Ograniczenia
Hassan et al. (2024)1	KFDI (Key Frame Dynamic Image)	UCF11	Dokładność: 85.3%	Efektywny wybór klatek kluczowych i ulepszona reprezentacja obrazu dynamicznego.	Wrażliwość na błędy wyboru klatek; ograniczone modelowanie czasowe.
Zhou et al. (2023)24	Dilated CNN + BiLSTM + Residual Block	UCF11, UCF Sports	Dokładność: UCF11: 89 i UCF Sports: 92.2%	Integruje uczenie przestrzenne i czasowe; przechwytuje informacje wieloskalowe.	Wysokie wymagania obliczeniowe; ryzyko przeuczenia na małych zbiorach danych.
Ullah et al. (2025)34	Local–Global Feature + QSVM	UCF11	Dokładność: 82.6%	Łączy cechy ręcznie projektowane i głębokie w celu zapewnienia niezawodnego rozpoznawania.	Wymaga ręcznego dostrajania; ograniczona skalowalność.
Shin et al. (2025)25	ViT-ReT (Vision Transformer + Recurrent Transformer)	UCF11, UCF50, UCF101 i JHMDB	Dokładność: UCF11: 97.73%; UCF50: 98.81%; UCF101: 98.46%; JHMDB: 83.38%	Przechwytuje dalekosiężne zależności przestrzenne i czasowe.	Wysoki koszt obliczeniowy i duże wymagania dotyczące danych.
Su et al. (2024)23	3D-CNN	UCF11	Dokładność: 85.1%	Uczenie cech czasoprzestrzennych w modelu end-to-end.	Wysokie wymagania dotyczące pamięci i jednostek GPU.
Karuppannan et al. (2024)35	Deep Autoencoder + CNN	UCF11	Dokładność: 96.2%	Uczy zwarte reprezentacje cech.	Ograniczone długoterminowe modelowanie czasowe.
Sahoo et al. (2020)36	HAR-Depth	KTH, UCF sports, JHMDB, UCF101 i HMDB51	Dokładność: KTH: 97.67%; UCF Sports: 95.00%; JHMDB: 73.13%; UCF101: 92.97%; HMDB51: 69.74%	Efektywne uczenie czasowe oparte na głębi.	Wymaga dokładnej estymacji głębi i rozległego wstępnego przetwarzania.

Tabela 2: Porównanie istniejących metod głębokiego uczenia w rozpoznawaniu akcji w nagraniach wideo ze sportu.Podsumowanie reprezentatywnych podejść opartych na głębokim uczeniu, w tym zestawów danych, charakterystyki metodologicznej, zalet i ograniczeń, z uwzględnieniem luk badawczych, które wypełnia proponowany model MSCNN-LSTM.

Zaproponowano strukturę animacji twarzy sterowanej synchronizacją audio, łączącą model odszumiania twarzy (Facial Denoiser Model, FDM) z lokalno-globalnym modelem dyfuzyjnym w przestrzeni ukrytej (Local-to-global Latent Diffusion Model, LG-LDM) w celu generowania emocjonalnie ekspresyjnych animacji twarzy. Do rekonstrukcji szczegółowej trójwymiarowej geometrii twarzy oraz subtelnych wariacji ekspresji wykorzystano zorientowany na emocje wektorowy kwantyzowany wariacyjny autoenkoder (Emotion-centric Vector Quantized Variational Autoencoder, EVQ-VAE)³¹. Opracowano również strukturę robotycznego chwytania z uwzględnieniem przesłonięć, wykorzystującą binokularny wzrok stereoskopowy do segmentacji celu, lokalizacji, wnioskowania o przesłonięciach oraz szacowania pozy chwytu dla wielu celów w warunkach przesłonięcia³². Dodatkowo wprowadzono dwuetapową strukturę ekstrakcji terenu z chmur punktów z wykorzystaniem projekcji siatki i adaptacyjnego podziału na koszyki, w której prawdopodobieństwa wysokości i krzywizny służyły do doprecyzowania granic między terenem a przeszkodami po wstępnej ekstrakcji opartej na analizie cech w siatce³³.

Pomimo znaczących postępów w rozpoznawaniu czynności w oparciu o głębokie uczenie, istniejące metody wciąż mają trudności z radzeniem sobie z wysoką zmiennością i złożonością filmów sportowych, w tym z gwałtownym ruchem, ruchami kamery oraz interakcjami między wieloma zawodnikami. Wiele tradycyjnych modeli opartych na sieciach CNN lub LSTM działa w jednej skali przestrzennej, przez co mogą one mieć trudności z efektywnym uchwyceniem zarówno lokalnych, jak i globalnych wzorców ruchu. Ponadto wyzwaniem pozostaje utrzymanie spójności czasowej w sekwencjach o długim czasie trwania lub w przypadku nakładających się czynności. Chociaż metody uczenia transferowego poprawiły ekstrakcję cech, ich adaptacja do specyficznych dla sportu zbiorów danych pozostaje stosunkowo słabo zbadana.

Celem niniejszego badania jest opracowanie i ocena struktury wieloskalowej splotowej sieci neuronowej z długą krótkotrwałą pamięcią (MSCNN-LSTM) do rozpoznawania akcji w nagraniach wideo ze sportu, poprzez integrację wieloskalowej ekstrakcji cech przestrzennych z modelowaniem czasowym opartym na LSTM w celu uchwycenia zarówno szczegółowych cech przestrzennych, jak i długoterminowych zależności czasowych. Proponowana struktura wykorzystuje komplementarne jądra splotowe oraz wielopoziomową fuzję cech, aby poprawić reprezentację złożonych akcji sportowych w trudnych warunkach. Jej wydajność została oceniona na zestawach danych referencyjnych UCF11, UCF Sports i JHMDB przy użyciu wskaźników takich jak dokładność, precyzja, czułość, wynik F1-score, średnia precyzja w czasie (mAP-T), wskaźnik stabilności czasowej (TSI), współczynnik kappa Cohen’a (κ), współczynnik korelacji Matthewsa (MCC) oraz powierzchnia pod krzywą ROC (AUC). Wyniki eksperymentalne wykazały konkurencyjną wydajność w porównaniu z metodami ocenianymi w tym badaniu, co podkreśla potencjał tej struktury w analityce sportowej, monitorowaniu wyników sportowców, automatycznym wykrywaniu zdarzeń oraz analizie wideo z dziedziny sportu.

Protokół

W niniejszym badaniu zastosowano dwuetapowy model głębokiego uczenia do rozpoznawania akcji w filmach sportowych, który integruje wieloskalową splotową sieć neuronową (MSCNN) z siecią pamięci długo- i krótkotrwałej (LSTM). Do opracowania i oceny modelu wykorzystano ogólnodostępne zestawy danych referencyjnych, mianowicie UCF11, UCF Sports oraz JHMDB. Nie gromadzono nowych danych od uczestników będących ludźmi, a do żadnych danych osobowych nie uzyskano dostępu ani nie przetwarzano ich. Ponieważ badanie obejmowało wtórną analizę ogólnodostępnych, zanonimizowanych zbiorów danych i nie wiązało się z bezpośrednim udziałem ludzi, nie wymagano instytucjonalnej zgody komisji etycznej ani świadomej zgody uczestników.

Przebieg pracy obejmował próbkowanie klatek i normalizację czasową, a następnie ekstrakcję cech przy użyciu modułu MSCNN. Wyekstrahowane cechy były następnie przetwarzane przez sieć LSTM w celu modelowania czasowego, a następnie przekazywane do warstwy klasyfikacji wieloklasowej. Ostatecznie model został wytrenowany i oceniony z wykorzystaniem wybranych zbiorów danych referencyjnych. Rysunek 1 przedstawia ogólną architekturę proponowanego schematu.

Rysunek 1: Proponowana architektura MSCNN-LSTM do rozpoznawania akcji w filmach sportowych. Ogólny schemat przepływu pracy ilustrujący wstępne przetwarzanie wideo, wieloskalową ekstrakcję cech przestrzennych, uczenie sekwencji czasowych oraz klasyfikację akcji. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rycina 1 przedstawia schemat działania proponowanego frameworku do rozpoznawania akcji w filmach sportowych, opartego na hybrydowej architekturze MSCNN-LSTM. Proces rozpoczyna się od klipów wideo z dyscyplin sportowych zawierających różne działania atletyczne, w tym kopanie, jazdę konną i zamach w golfie. W etapie preprocessingu surowe filmy zostały rozbite na poszczególne klatki, które następnie przycięto, ustandaryzowano i przygotowano do wprowadzenia do modelu. Przetworzone klatki zostały następnie przekazane do modułu MSCNN w celu ekstrakcji cech. Wieloskalowa architektura splotowa przechwytuje cechy przestrzenne w różnych polach recepcyjnych, co umożliwia ekstrakcję informacji zarówno lokalnych, jak i kontekstowych z klatek wideo sportowego. Wyekstrahowane wektory cech zostały następnie przetworzone przez sieć LSTM w celu zamodelowania zależności czasowych i ewolucji ruchu w kolejnych klatkach. Na koniec moduł klasyfikacji i treningu wykorzystał wyuczone reprezentacje czasowo-przestrzenne do przewidzenia kategorii akcji dla każdego klipu wideo. Proponowany framework składał się z czterech sekwencyjnych kroków, rozpoczynając od zbierania danych i preprocessingu z wykorzystaniem zestawów danych referencyjnych UCF11 (YouTube Actions), UCF Sports oraz JHMDB. Każdy film sportowy został przekształcony w sekwencję klatek, które zostały przeskalowane, znormalizowane i wzbogacone poprzez rotację, odwracanie i przycinanie w celu zwiększenia odporności na zmienność środowiskową. Przetworzone klatki zostały następnie przetworzone przez proponowaną wieloskalową splotową sieć neuronową (MSCNN), w której równoległe gałęzie splotowe z jądrami 3 × 3, 5 × 5 i 7 × 7 ekstrahowały dopełniające się lokalne i kontekstowe cechy przestrzenne. Cechy wieloskalowe zostały skoncatenowane i doprecyzowane za pomocą normalizacji wsadowej (batch normalization) oraz maksymalnego próbkowania (max pooling) w celu wygenerowania kompaktowych reprezentacji cech. Uzyskane cechy na poziomie klatek zostały następnie przekazane do sieci Long Short-Term Memory (LSTM) w celu zamodelowania zależności czasowych między kolejnymi klatkami. Końcowe wyjścia LSTM zostały spłaszczone i przekazane przez warstwy w pełni połączone z aktywacją ReLU, a następnie do klasyfikatora Softmax w celu przewidzenia kategorii akcji. Sieć była trenowana przy użyciu optymalizatora Adam z funkcją straty entropii krzyżowej oraz regularyzacją dropout w celu ograniczenia przeuczenia. Wydajność modelu została ostatecznie oceniona na zbiorach danych referencyjnych UCF11, UCF Sports i JHMDB przy użyciu wskaźników dokładności (accuracy), precyzji (precision), czułości (recall) oraz miary F1-score.

1. Gromadzenie i wstępne przetwarzanie danych

W badaniu tym wykorzystano trzy ogólnodostępne zestawy danych referencyjnych dla sportu i ludzkich działań. Zbiory te zawierają rzeczywiste nagrania sportowe z różnym ruchem kamery, punktami widzenia oraz różną złożonością tła. W szczególności w badaniu wykorzystano zestaw UCF11 (YouTube Actions) (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php), który obejmuje 11 kategorii działań zebranych z 1 168 filmów z serwisu YouTube, nagranych z udziałem około 25 osób, z wieloma próbkami dla każdego działania. Joint-Annotated Human Motion Database (JHMDB)^34,35 zawiera 21 klas działań i 928 adnotowanych filmów. Zestaw danych UCF Sports składa się z 10 klas działań i 150 sekwencji wideo zarejestrowanych z transmisji telewizyjnych o rozdzielczości 720 × 480 pixels (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php).

Wspólnie zbiory danych te obejmują zarówno sporty indywidualne, jak i drużynowe, zapewniając zróżnicowanie pod kątem czasu trwania oraz skali wizualnej do oceny proponowanego frameworka rozpoznawania czynności MSCNN-LSTM. W ramach procesu kontroli jakości danych zbiory UCF11, UCF Sports oraz JHMDB zostały sprawdzone pod kątem uszkodzonych filmów, zduplikowanych plików oraz klipów z niekompletnymi adnotacjami. Nie zidentyfikowano próbek spełniających te kryteria wykluczenia, w związku z czym wszystkie dostępne filmy zachowano do dalszej analizy. Następnie zbiory danych podzielono na podzbiory treningowe (70%), walidacyjne (15%) i testowe (15%), stosując spójną strategię losowego podziału. Rycina 2 przedstawia reprezentatywne obrazy wykorzystane do trenowania i oceny.

Rysunek 2: Reprezentatywne klatki z referencyjnych zbiorów danych do rozpoznawania czynności sportowych.Panele (A–D) przedstawiają przykłady ze zbioru danych UCF11 (YouTube Actions), panele (E–H) ze zbioru danych UCF Sports, a panele (I–L) ze zbioru danych JHMDB. Klatki ilustrują zmienność klas czynności, punktów widzenia, tła, warunków oświetlenia oraz złożoności ruchu. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Zaproponowany model rozpoznawania akcji został oceniony na zbiorach danych benchmarkowych UCF11, UCF Sports oraz JHMDB, co podsumowano w Tabeli 3. Zbiory te reprezentują różnorodne wzorce ruchu oraz wymagające warunki środowiskowe. Zbiór UCF11 (YouTube Actions) zawiera akcje sportowe z 11 klas, zarejestrowane przy zmiennym oświetleniu, punkcie widzenia i warunkach tła. Zbiór UCF Sports składa się ze 150 filmów z dyscyplin sportów terenowych pochodzących z profesjonalnych transmisji, zawierających realistyczne sekwencje ruchu. Zbiór JHMDB dostarcza szczegółowych adnotacji ruchu ludzkiego dla 21 precyzyjnych kategorii akcji i służy jako zbiór benchmarkowy dla czasoprzestrzennego rozpoznawania akcji. Razem zbiory te zostały wykorzystane do oceny wydajności modelu w scenariuszach sportowych i ludzkich aktywności. Sieć była trenowana przy użyciu optymalizatora Adam przez 100 epok z wielkością partii (batch size) 32, początkową szybkością uczenia 0,001 oraz funkcją straty entropii krzyżowej (cross-entropy loss). Do końcowej oceny wybrano model z najniższą stratą walidacyjną. We wszystkich eksperymentach zastosowano stałe ziarno losowości (random seed) wynoszące 42. W celu poprawy zbieżności zastosowano wczesne zatrzymanie (early stopping) oraz redukcję szybkości uczenia przy osiągnięciu plateau, a podczas trenowania LSTM wykorzystano przycinanie gradientów (gradient clipping) z progiem 5,0, aby zapobiec eksplozji gradientów. Zaproponowany model MSCNN-LSTM zawierał około 15 milionów trenowalnych parametrów. Konfiguracja sprzętowa i programowa wykorzystana do implementacji została podsumowana w Tabeli 4. Ze względu na wystarczająco zrównoważone rozkłady klas, nie zastosowano dodatkowych procedur ważenia klas ani resamplingu. Modele porównawcze zostały zaimplementowane z wykorzystaniem hiperparametrów raportowanych w ich oryginalnych badaniach, przy czym ustawienia trenowania zharmonizowano tam, gdzie było to możliwe. Wartości wydajności podano jako średnią ± odchylenie standardowe z pięciu niezależnych uruchomień z różnymi losowymi inicjalizacjami. Różnice między zaproponowanym modelem a modelami porównawczymi oceniono za pomocą sparowanych testów t przy progu istotności p < 0,05.

Zbiór danych	Liczba klas	Liczba filmów	Rozdzielczość (px)	Proszę podać tekst źródłowy do przetłumaczenia.	Opis
UCF11 (Działania w serwisie YouTube)	11	1168	Zmienna (≈ 320×240)	University of Central Florida	Obejmuje 11 ludzkich czynności z obszaru sportu (np. rzut do kosza w koszykówce, nurkowanie, zamach w golfie, żonglowanie piłką w piłce nożnej). Filmy zostały pobrane z serwisu YouTube i charakteryzują się dużą zmiennością oświetlenia, punktu widzenia oraz tła.
Sporty UCF	10	150	720×480	Zbiór danych czynności sportowych UCF (UCF Sports Action Dataset)	Zawiera aktywności sportowe, takie jak nurkowanie, jazda konna, zamach w golfie, bieganie i podnoszenie ciężarów, zarejestrowane z rzeczywistych materiałów z transmisji telewizyjnych (BBC, ESPN).
JHMDB	21	928	320×240	Instytut Inteligentnych Systemów Maxa Plancka	Obejmuje codzienne aktywności oraz zajęcia sportowe, takie jak chwytanie, skakanie, czesanie włosów, strzelanie i bieganie, wraz z adnotacjami stawowymi do analizy ruchu i pozy.

Tabela 3: Charakterystyka zestawów danych referencyjnych wykorzystanych do uczenia i ewaluacji. Przegląd zbiorów danych UCF11, UCF Sports oraz JHMDB, obejmujący liczbę klas czynności, próbek wideo, charakterystykę zestawów danych oraz ich role w uczeniu, walidacji i testowaniu modelu.

Parametry	Opis
Język programowania	Python 3.8.18 [4]
Framework do głębokiego uczenia	TensorFlow 2.15.0 [1]
Akcelerator GPU	NVIDIA GeForce RTX 3090 (24 GB VRAM) [1]
Procesor (CPU)	Intel Core i9 @ 3.5 GHz × 16 Cores
System operacyjny	Windows 11
Pamięć (RAM)	64 GB DDR4
Optymalizator	Adam (learning rate = 0.001)
Wielkość partii (Batch Size)	32
Liczba epok	100
Funkcje aktywacji	ReLU (warstwy CNN), Softmax (warstwa wyjściowa)
Współczynnik dropout	0.5

Tabela 4: Środowisko symulacyjne i konfiguracja hiperparametrów proponowanego modelu MSCNN-LSTM. Specyfikacja sprzętowa, środowisko programowe, ustawienia optymalizatora, szybkość uczenia, rozmiar partii, liczba epok, wymiary wejściowe oraz inne hiperparametry wykorzystane podczas trenowania i ewaluacji modelu.

2. Przetwarzanie wstępne

Przed rozpoczęciem trenowania każdy surowy film został przekształcony w uporządkowany chronologicznie ciąg klatek, a następnie poddany normalizacji, próbkowaniu czasowemu i augmentacji. Każdy film wejściowy V został najpierw przekonwertowany na sekwencję klatek i przedstawiony jako tensor 4D V ∈ R^T×H×W×C, gdzie T oznacza liczbę klatek, H × W i oznacza indeks klatki, a C oznacza liczbę kanałów kolorów (3 dla RGB). Potok przetwarzania wstępnego obejmował ekstrakcję klatek, zmianę rozmiaru przestrzennego, a następnie przycinanie centralne lub losowe do stałej rozdzielczości (H′, W′), normalizację intensywności każdego piksela oraz opcjonalną augmentację danych, w tym losowe odbicia lustrzane, skalowanie i zmianę odcieni kolorów (color jittering), przed ekstrakcją cech. Konkretnie, normalizacja intensywności została zaimplementowana jako standardowa normalizacja wyników (z-score), zgodnie z równaniem (1).

    (1)

gdzie μ, σ to średnie i odchylenia standardowe kanałów obliczone dla zbioru treningowego, lub w formie skalowania min–max, zgodnie z równaniem (2).

    (2)

Po normalizacji każda klatka była reprezentowana jako F̃_t ∈ R^{H′×W′×C′}, a wynikający tensor wideo był reprezentowany jako V′ ∈ R^{T×H′×W′×C}. W wieloskalowym froncie splotowym (convolutional frontend) uzyskano wiele przestrzennych map cech o różnych polach recepcyjnych poprzez zastosowanie kilku splotów 2-D (lub 3-D w przypadku wczesnych splotów czasoprzestrzennych) o różnych rozmiarach jądra; następnie dla każdej klatki lub krótkiego klipu wideo wygenerowano reprezentację cech czasowych i przekazano ją do modułu LSTM. W oryginalnej pracy zastosowano MobileNetV2, a następnie Deep BiLSTM do modelowania czasowego; powyższy potok przetwarzania wstępnego jest w pełni kompatybilny z zamiennikiem w postaci splotu wieloskalowego i modułu LSTM.

3. Pobieranie próbek i normalizacja czasowa

Ponieważ długości filmów T różnią się pomiędzy zbiorami danych oraz w obrębie jednego zbioru, stosujemy jednorodne próbkowanie lub czasowe przepróbkowanie klatek, aby dostarczyć do wieloskalowej splotowej sieci neuronowej + LSTM stałą długość wejściową N wyrażoną w klatkach lub krótkich fragmentach. Jednorodne indeksy klatek można obliczyć zgodnie z równaniem (3),

(3)

zatem próbkowana sekwencja klatek to V_s = {F̃_t0, …, F̃_tN−1}. Gdy wymagana jest wyższa rozdzielczość czasowa, wykonujemy liniową interpolację czasową: dla dowolnego przepróbkowanego ułamkowego czasu τ ∈ [0, T−1] obliczonego zgodnie z równaniem (4).

(4)

aby przepróbkowana sekwencja V_s posiadała dokładnie N klatek i zachowywała płynność ruchu. Alternatywnie, próbkowanie za pomocą krótkich, ciągłych klipów (długość okna czasowego w z krokiem s) daje zbiór tensorów klipów, gdzie każdy klip C_j ∈ R^{T×H′×W′×C} i j = 0, …, ⌊(T − w)/s⌋. W celu normalizacji czasowej wewnątrz sieci skuteczne jest proste pulowanie czasowe w wielu skalach: dla sekwencji cech czasowych X = {x₁, …, x_N} wygenerowanej przez sploty wieloskalowe, należy zastosować cechy pulowane zgodnie z równaniem (5).

(5)

gdzie S_k czy wsparcie czasowe jest odpowiednie dla skali k (np. S_k mogą to być bloki niepokrywające się lub indeksy rozszerzone) i m_k = |S_k|.

Przed ekstrakcją cech wszystkie filmy zostały przeskalowane do rozmiaru 224 × 224 pikseli i próbkowane z częstotliwością 25 klatek na sekundę. W każdym eksperymencie zastosowano stałą długość sekwencji wynoszącą 32 klatki. Techniki augmentacji danych obejmowały m.in. losowe przycinanie (skala = 0.8–1.0), losową rotację (±15°), losowe odbicie poziome (prawdopodobieństwo = 0.5) oraz modyfikację jasności (±20%). Do standaryzacji wartości pikseli wykorzystano średnie wartości ImageNet [0.485, 0.456, 0.406] oraz odchylenia standardowe [0.229, 0.224, 0.225]. W przypadku każdej sekwencji wideo do próbkowania czasowego zastosowano jednolity wybór klatek. Dłuższe filmy zostały jednolicie przycięte lub próbkowane w celu zachowania spójnej długości sekwencji, natomiast filmy zawierające mniej niż 32 klatki zostały uzupełnione zerami (zero-padding). Ustawienia te były stosowane konsekwentnie podczas całego procesu trenowania i oceny.

4. Ekstrakcja cech przy użyciu MSCNN

W celu usprawnienia reprezentacji przestrzennej czynności w filmach sportowych zastosowano wieloskalową konwolucyjną sieć neuronową (Multi-Scale Convolutional Neural Network, MSCNN). Tradycyjne konwolucyjne sieci neuronowe, opierające się na pojedynczym rozmiarze jądra, mogą wykazywać ograniczoną zdolność do przechwytywania cech w wielu skalach przestrzennych. Ze względu na to, że niektóre czynności sportowe wykazują podobne cechy wizualne, jednoskalowa architektura konwolucyjna może mieć trudności z jednoczesnym wychwytywaniem cech lokalnych i globalnych. Aby rozwiązać ten problem, zaproponowana struktura wykorzystuje jądra konwolucyjne o różnych rozmiarach do przeprowadzania wieloskalowej ekstrakcji oraz fuzji cech.

W proponowanej architekturze sieci wykorzystano jądra splotu 1 × 1 w celu organizacji informacji między kanałami oraz redukcji wymiarowości map cech wejściowych. Ponadto warstwy te zwiększają zdolność ekspresyjną sieci poprzez wprowadzenie dodatkowych transformacji cech i reprezentacji nieliniowych. Jądra splotu o różnych rozmiarach umożliwiają ekstrakcję informacji przestrzennych w wielu skalach. Po ważonej fuzji cech wieloskalowych przeprowadzana jest sekwencyjna normalizacja w celu poprawy stabilności treningu. Aby złagodzić problemy zanikania i eksplozji gradientu podczas trenowania głębokiej sieci, sugerowana architektura wykorzystuje połączenia rezydualne oraz modelowanie czasowe oparte na sieciach LSTM.

Projekt wielkoskalowy zwiększa zdolność sieci do przechwytywania cech o różnych rozdzielczościach przestrzennych i poprawia zdolność reprezentacji cech. Ponadto konwencjonalny jądro splotu N × N jest rozkładane na operacje splotu N × 1 i 1 × N. Sploty N × 1 i 1 × N zastosowane w module MSCNN są zaprojektowane w celu przechwytywania komplementarnych cech kierunkowych i wielkoskalowych przestrzennych z poszczególnych klatek wideo. Operacje splotowe te wzmacniają reprezentację cech przestrzennych poprzez wyodrębnianie wzorców w różnych skalach pola recepcyjnego. Relacje czasowe między kolejnymi klatkami są następnie modelowane przez moduł LSTM, który przetwarza sekwencję cech wyekstrahowanych przez MSCNN, aby nauczyć się długoterminowych zależności czasowych niezbędnych do rozpoznawania czynności.

Każdy film sportowy V = {F₁, F₂, …, F_T} jest rozkładany na T klatek. Aby zakodować zmienności przestrzenne, na przykład pozę zawodnika, rozmycie ruchu czy trajektorię piłki, gałęzie konwolucyjne w trzech różnych skalach operują na s ∈ {1, 2, 3}, co odpowiada rozmiarom jądra 3 × 3, 5 × 5 i 7 × 7. Każda gałąź ekstrahuje mapy cech zgodnie z równaniem (6):

    (6)

Gdzie W_s i b_s to wagi i obciążenia splotowe w skali s, a σ to funkcja aktywacji ReLU. Warstwa fuzji wieloskalowej agreguje cechy zgodnie z równaniem (7):

    (7)

Ten połączony tensor cech osadza zarówno drobnoziarniste wskazówki dotyczące ruchu, jak i szerokozakresowe informacje kontekstowe, takie jak aktywności grupowe. Rysunek 3 przedstawia wyłącznie moduł ekstrakcji cech MSCNN. Warstwa LSTM (256 jednostek ukrytych), warstwa gęsta (128 neuronów) oraz warstwa dropout (0,5) wykorzystywane do modelowania czasowego i klasyfikacji są przedstawione oddzielnie na Rysunku 4.

Rysunek 3: Zaproponowany moduł ekstrakcji cech wieloskalowej splotowej sieci neuronowej (MSCNN). Trzy równoległe gałęzie splotowe o rozmiarach jąder 3 × 3, 5 × 5 i 7 × 7 ekstrahują komplementarne wieloskalowe cechy przestrzenne, które są łączone przed modelowaniem czasowym przez sieć LSTM. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 4: Proponowana architektura LSTM do rozpoznawania akcji w filmach sportowych. Moduł LSTM modeluje zależności czasowe poprzez operacje bramki wejściowej, zapominania i wyjściowej w kolejnych klatkach wideo. Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 3 przedstawia proponowany moduł ekstrakcji cech wieloskalowej splotowej sieci neuronowej (MSCNN) do rozpoznawania czynności w nagraniach wideo ze sportu. Klatki wejściowe wideo były przetwarzane równolegle przez trzy gałęzie splotowe z jądrami o rozmiarach 3 × 3, 5 × 5 i 7 × 7, z których każda zawierała 64 filtry w celu uchwycenia komplementarnych drobno- i gruboziarnistych cech przestrzennych. Wyniki zostały ulepszone za pomocą normalizacji wsadowej (Batch Normalization), aktywacji ReLU i maksymalnego próbkowania (max pooling) 2 × 2, a następnie skonkatenowane i połączone przez splot 1 × 1 ze 128 filtrami. Rezydualne połączenie pomijające (residual skip connection) pozwoliło zachować niskopoziomowe informacje przestrzenne i poprawić przepływ gradientu. Połączone mapy cech zostały spłaszczone i przekazane do warstwy LSTM z 256 jednostkami ukrytymi w celu modelowania czasowego, a następnie do warstwy w pełni połączonej ze 128 neuronami, aktywacją ReLU i współczynnikiem dropout wynoszącym 0,5 przed końcową klasyfikacją przy użyciu warstwy Softmax. Wieloskalowe mapy cech (f₁^l, f₂^l oraz f₃^l) zostały skonkatenowane w celu utworzenia reprezentacji połączonej (F^l), która została następnie ulepszona za pomocą splotu 3 × 3 w celu wygenerowania mapy cech wyjściowych dla następnej warstwy. Ta hierarchiczna architektura umożliwiła naukę komplementarnych cech przestrzennych w wielu polach recepcyjnych, co poprawiło wydajność rozpoznawania czynności sportowych.

5. Modelowanie czasowe przy użyciu LSTM

W celu zamodelowania ewolucji czasowej krawędzi wideo, zagregowana sekwencja cech została przekazana do systemu LSTM, aby uchwycić dynamiczne zależności oraz ciągłość ruchu. Dla każdego wejściowego wideo najpierw wyekstrahowano wieloskalowe cechy CNN dla każdej klatki. Przyjmijmy, że klatki wideo to I₁, …, I_T. Dla każdej klatki t i każdej skali s wieloskalowy koder splotowy generuje wektor cech f_t^(s) ∈ R^d. Następnie skale są łączone w jeden deskryptor klatki poprzez rzutowanie + konkatenację lub sumę ważoną, zgodnie z równaniem (8):

     (8)

Następnie wprowadź sekwencję {x_t}_t^T=1 do sieci LSTM w celu zamodelowania dynamiki czasowej. W standardowej notacji LSTM, w czasie t bramki i stany opisane są w równaniach (9) do (13):

(9)

(10)

(11)

(12)

(13)

Tutaj σ oznacza funkcję aktywacji sigmoid, a ⊙ mnożenie element po elemencie.) Chociaż architektury dwukierunkowe LSTM mogą być wykorzystywane do przechwytywania kontekstu czasowego zarówno z przeszłości, jak i przyszłości, proponowany schemat wykorzystuje standardowy LSTM do modelowania zależności czasowych między sekwencyjnymi klatkami wideo. Ten wybór projektowy jest spójny z architekturą MSCNN-LSTM przedstawioną w niniejszym badaniu. Po przetworzeniu klipu uzyskano reprezentację klipu (np. ostatni stan ukryty lub pooling czasowy): z = Pool_t(v_t).

Rysunek 4 przedstawia schemat działania proponowanej architektury LSTM do rozpoznawania czynności sportowych. Sieć otrzymywała sekwencję klatek wideo lub cech wyekstrahowanych przez CNN i przetwarzała je w kolejnych krokach czasowych (t−2, t−1 oraz t). Każda komórka LSTM składała się z bramki wejściowej, bramki zapominania i bramki wyjściowej, które regulowały przepływ informacji przez sieć. Bramka wejściowa wprowadzała nowe informacje do stanu komórki, bramka zapominania odrzucała nieistotne informacje czasowe, a bramka wyjściowa generowała stan ukryty przekazywany do następnego kroku czasowego. Stan komórki zachowywał długoterminowe zależności czasowe, podczas gdy stan ukryty przechwytywał krótkoterminowe informacje czasowe. Po przetwarzaniu sekwencyjnym wyjścia LSTM zostały poddane poolingowi w celu wygenerowania czasowej reprezentacji cech, która została przekazana do warstwy w pełni połączonej i klasyfikatora Softmax w celu przewidzenia odpowiadającej czynności sportowej. Sieć była trenowana przy użyciu optymalizatora Adam przez 100 epok z rozmiarem partii 32, początkową szybkością uczenia 0.001 i funkcją straty entropii krzyżowej. Do końcowej oceny wybrano model z najniższą stratą walidacyjną. Aby zapewnić powtarzalność, wszystkie eksperymenty przeprowadzono z wykorzystaniem stałego ziarna losowego 42. W celu poprawy zbieżności zastosowano wczesne zatrzymanie (early stopping) oraz redukcję szybkości uczenia przy osiągnięciu plateau, a podczas trenowania LSTM zastosowano przycinanie gradientów (gradient clipping) z progiem 5.0, aby zapobiec eksplozji gradientów. Zaproponowany model MSCNN-LSTM zawierał około 15 milionów trenowalnych parametrów.

Końcowe wyniki klas i prawdopodobieństwa są wyliczane przy użyciu warstwy liniowej + funkcji softmax, zgodnie z Równaniem (14):

(14)

Przeprowadź trening poprzez minimalizację straty entropii krzyżowej dla podpisanych klipów, zgodnie z równaniem (15):

(15)

gdzie Nb to rozmiar partii, C liczba klas, a y⁽ⁿ⁾ to zakodowana w systemie one-hot prawda terenowa. Regularyzacja (dropout na wyjściach x_t/LSTM, rozkład wag). Zastosowano przycinanie gradientu, aby pomóc w stabilizacji długich sekwencji sportowych.

Wyniki

Zaproponowany model MSCNN-LSTM został przeszkolony i oceniony na zbiorach danych UCF11 (YouTube Actions), UCF Sports oraz JHMDB, które obejmowały różnorodne akcje sportowe, punkty widzenia i wzorce ruchu. Ze względu na wystarczająco zbalansowany rozkład klas nie zastosowano dodatkowych procedur ważenia klas ani ponownego próbkowania. Modele porównawcze zaimplementowano z wykorzystaniem hiperparametrów opisanych w oryginalnych badaniach, harmonizując ustawienia treningowe tam, gdzie było to możliwe. Wyniki przedstawiono jako średnią ± odchylenie standardowe z pięciu niezależnych uruchomień z różnymi randomizacjami początkowymi. Różnice między zaproponowanym modelem a modelami porównawczymi oceniano za pomocą parowych testów t przy progu istotności p < 0,05.

Rysunek 5 porównuje dokładność klasyfikacji dla trzech zbiorów danych. Model MSCNN-LSTM osiągnął najwyższą dokładność, wynoszącą 98,3% dla UCF11, 95,4% dla UCF Sports oraz 81,7% dla JHMDB. Wartości te przewyższyły wyniki uzyskane przez modele Dilated CNN–BiLSTM, Two-Stream LSTM oraz ViT-ReT. Niższa dokładność dla JHMDB odzwierciedlała większą trudność w rozpoznawaniu precyzyjnych działań w materiałach wideo o niższej rozdzielczości.

Rycina 5: Porównanie dokładności klasyfikacji (%) różnych modeli głębokiego uczenia na zbiorach danych z nagraniami sportowymi. Dokładność klasyfikacji modeli MSCNN-LSTM, ViT-ReT, Two-Stream LSTM oraz Dilated CNN + BiLSTM na zbiorach danych UCF11, UCF Sports i JHMDB. Wyniki przedstawiono jako średnia ± SD z pięciu niezależnych uruchomień (n = 5). Słupki błędów reprezentują jedno odchylenie standardowe. Istotność statystyczną oceniono za pomocą obustronnych sparowanych testów t (p < 0,05). Proszę kliknąć tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Zaproponowany model osiągnął również najwyższą precyzję we wszystkich zbiorach danych, z wartościami wynoszącymi około 96% dla UCF11, 93% dla UCF Sports i 78% dla JHMDB (Rysunek 6). Wartości czułości (recall) wyniosły odpowiednio około 95%, 94% i 77% (Rysunek 7), natomiast odpowiadające im wyniki F1-score wynosiły około 95,5%, 93,5% i 77,5% (Rysunek 8). Wyniki te wskazują, że model zachował korzystną równowagę między poprawną identyfikacją klas czynności a ograniczaniem fałszywie dodatnich predykcji.

Rycina 6: Porównanie precyzji (%) różnych modeli głębokiego uczenia na zbiorach danych z filmami sportowymi. Wartości precyzji przedstawiono jako średnią ± SD z pięciu niezależnych uruchomień (n = 5). Słupki błędów reprezentują jedno odchylenie standardowe. Istotność statystyczną oceniono za pomocą dwustronnych sparowanych testów t (p < 0.05). Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rysunek 7: Porównanie pełności (recall, %) różnych modeli głębokiego uczenia na zbiorach danych z filmów sportowych. Wartości pełności przedstawiono jako średnią ± SD z pięciu niezależnych uruchomień (n = 5). Słupki błędów reprezentują jedno odchylenie standardowe. Istotność statystyczną oceniono za pomocą dwustronnych parzystych testów t (p < 0.05). Kliknij tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Rysunek 8: Porównanie wartości F1-score (%) dla różnych modeli głębokiego uczenia na zbiorach danych z nagraniami wideo ze sportu. Wartości F1-score przedstawiono jako średnia ± SD z pięciu niezależnych uruchomień (n = 5). Słupki błędów reprezentują jedno odchylenie standardowe. Istotność statystyczną oceniono za pomocą dwustronnych parzystych testów t (p < 0,05). Aby wyświetlić powiększoną wersję tego rysunku, kliknij tutaj.

Tabela 5 przedstawia wyniki dla kappa Cohena oraz współczynnika korelacji Matthewsa. W zbiorze UCF11 zaproponowany model osiągnął κ = 0.96 i MCC = 0.96, w porównaniu do wartości κ/MCC wynoszących odpowiednio 0.92/0.92 dla ViT-ReT, 0.90/0.90 dla Two-Stream LSTM oraz 0.87/0.87 dla Dilated CNN–BiLSTM. W zbiorze UCF Sports model MSCNN-LSTM osiągnął κ = 0.95 i MCC = 0.94, przewyższając odpowiadające im wartości uzyskane przez ViT-ReT (0.90/0.90), Two-Stream LSTM (0.88/0.89) oraz Dilated CNN–BiLSTM (0.84/0.85). W zbiorze JHMDB zaproponowany model osiągnął κ = 0.83 i MCC = 0.84, w porównaniu do 0.74/0.75 dla ViT-ReT, 0.70/0.71 dla Two-Stream LSTM oraz 0.71/0.72 dla Dilated CNN–BiLSTM. Wyniki te wykazały silniejszą zgodność między etykietami przewidywanymi a rzeczywistymi dla zaproponowanego modelu.

Model	Zbiór danych	Kappa Cohena (κ)	Współczynnik korelacji Matthewsa (MCC)
Dilated CNN + BiLSTM [4]	UCF11 (YouTube Actions)	0.87 ± 0.01	0.88 ± 0.01
	UCF Sports	0.84 ± 0.02	0.85 ± 0.02
	JHMDB	0.71 ± 0.03	0.72 ± 0.03
Two-Stream LSTM [38]	UCF11 (YouTube Actions)	0.90 ± 0.01	0.91 ± 0.01
	UCF Sports	0.88 ± 0.02	0.89 ± 0.02
	JHMDB	0.70 ± 0.03	0.71 ± 0.03
ViT-ReT (Vision Transformer + Recurrent Transformer) [6]	UCF11 (YouTube Actions)	0.92 ± 0.01	0.92 ± 0.01
	UCF Sports	0.90 ± 0.01	0.90 ± 0.01
	JHMDB	0.74 ± 0.02	0.75 ± 0.02
Proponowany MSCNN–LSTM	UCF11 (YouTube Actions)	0.96 ± 0.01	0.96 ± 0.01
	UCF Sports	0.95 ± 0.01	0.94 ± 0.01
	JHMDB	0.83 ± 0.02	0.84 ± 0.02

Tabela 5: Porównanie współczynnika kappa Cohena (κ) i współczynnika korelacji Matthewsa (MCC) dla różnych modeli głębokiego uczenia. Porównanie wydajności modeli MSCNN-LSTM, ViT-ReT, Two-Stream LSTM oraz Dilated CNN + BiLSTM na zbiorach danych UCF11, UCF Sports i JHMDB. Wyższe wartości wskazują na silniejszą zgodność między etykietami przewidywanymi a rzeczywistymi oraz większą niezawodność klasyfikacji. Wartości podano jako średnia ± SD z pięciu niezależnych uruchomień (n = 5).

Rycina 9 przedstawia krzywe charakterystyki operacyjnej odbiornika. Zaproponowany model MSCNN-LSTM osiągnął wartości AUC wynoszące 0,975 dla zbioru UCF11, 0,961 dla UCF Sports oraz 0,937 dla JHMDB. Spójnie wysokie wartości AUC wskazują na silną dyskryminację między klasami czynności w zbiorach danych o różnym stopniu złożoności.

Rysunek 9: Krzywe charakterystyki operacyjnej odbiornika (ROC) dla proponowanego modelu MSCNN-LSTM. Krzywe ROC dla zbiorów danych UCF11, UCF Sports oraz JHMDB przedstawiające kompromis między współczynnikiem prawdziwie dodatnich a współczynnikiem fałszywie dodatnich. Pole powierzchni pod krzywą (AUC) podsumowuje zdolność dyskryminacyjną modelu w zależności od progów klasyfikacji. Prosimy kliknąć tutaj, aby wyświetlić powiększoną wersję tego rysunku.

Wyniki wydajności czasowej podsumowano w Tabeli 6. W zbiorze UCF11 proponowany model osiągnął mAP-T na poziomie 98,3%, dokładność na poziomie klatek wynoszącą 96,5% oraz TSI równy 0,95. W zbiorze UCF Sports odpowiadające im wartości wyniosły odpowiednio 95,4%, 94,0% i 0,93. W zbiorze JHMDB model osiągnął mAP-T na poziomie 81,7%, dokładność na poziomie klatek wynoszącą 78,9% oraz TSI równy 0,88 (Tabela 7). Wartości te były wyższe niż uzyskane przez modele porównawcze i wskazały na poprawioną spójność czasową oraz stabilność predykcji zarówno dla krótkich, jak i długich sekwencji działań.

Metoda	Zbiór danych	mAP-T (%)	Dokładność na poziomie klatki (%)	Wskaźnik stabilności czasowej (TSI)
Dilated CNN + BiLSTM4	UCF11 (YouTube Actions)	93.6 ± 0.8	91.8 ± 0.9	0.87 ± 0.01
	UCF Sports	90.2 ± 1.0	89.1 ± 1.1	0.83 ± 0.02
	JHMDB	72.4 ± 1.5	70.3 ± 1.7	0.78 ± 0.03
Two-Stream LSTM38	UCF11 (YouTube Actions)	94.8 ± 0.7	92.6 ± 0.8	0.89 ± 0.01
	UCF Sports	91.3 ± 0.9	90.0 ± 1.0	0.85 ± 0.02
	JHMDB	73.8 ± 1.4	71.5 ± 1.6	0.79 ± 0.03
ViT-ReT (Vision Transformer + Recurrent Transformer)6	UCF11 (YouTube Actions)	95.5 ± 0.6	93.4 ± 0.7	0.90 ± 0.01
	UCF Sports	92.4 ± 0.8	91.2 ± 0.9	0.87 ± 0.01
	JHMDB	74.6 ± 1.3	72.8 ± 1.4	0.81 ± 0.02
.	UCF11 (YouTube Actions)	98.3 ± 0.5	96.5 ± 0.6	0.95 ± 0.01
	UCF Sports	95.4 ± 0.7	94.0 ± 0.8	0.93 ± 0.01
	JHMDB	81.7 ± 1.1	78.9 ± 1.3	0.88 ± 0.02

Tabela 6: Porównanie wskaźników wydajności czasowej dla rozpoznawania akcji w filmach sportowych. Wyniki eksperymentalne średniej precyzji uśrednionej w segmentach czasowych (mAP-T), dokładności na poziomie klatek oraz indeksu stabilności czasowej (TSI) dla różnych modeli głębokiego uczenia w zestawach danych referencyjnych. Wartości przedstawiono jako średnia ± SD z pięciu niezależnych uruchomień (n = 5).

Konfiguracja	Wieloskalowa sieć CNN (MSCNN)	LSTM	Dokładność (%)	Wskaźnik F1 (%)	mAP-T (%)
Baseline tylko CNN	✗	✗	90.4 ± 1.2	89.8 ± 1.3	88.9 ± 1.4
CNN + LSTM	✗	✓	93.1 ± 0.9	92.4 ± 1.0	91.7 ± 1.1
Tylko MSCNN	✓	✗	94.2 ± 0.8	93.6 ± 0.9	92.8 ± 1.0
Proponowane MSCNN-LSTM	✓	✓	98.3 ± 0.5	97.8 ± 0.6	97.1 ± 0.6

Tabela 7: Badanie ablacyjne proponowanego frameworka MSCNN-LSTM. Wkład w wydajność komponentów MSCNN i LSTM przy identycznych ustawieniach szkolenia i ewaluacji. Wartości przedstawiono jako średnia ± SD z pięciu niezależnych uruchomień (n = 5).

Rysunek 10, Rysunek 11, Rysunek 12 przedstawiają odpowiednio macierze pomyłek z normalizacją wierszy dla zbiorów UCF11, UCF Sports i JHMDB. Wszystkie trzy macierze wykazały wyraźną dominację przekątnej, co wskazuje na poprawną identyfikację większości klas czynności. Ograniczona liczba błędów poza przekątną występowała głównie pomiędzy czynnościami o podobnych charakterystykach wizualnych lub ruchowych. Macierz JHMDB wykazała stosunkowo większą pomyłkę klas, co jest zgodne z niższymi wynikami ilościowymi odnotowanymi dla tego bardziej wymagającego zbioru danych.

Rycina 10: Macierz pomyłek z normalizacją wierszy dla proponowanego modelu MSCNN-LSTM na zbiorze danych UCF11. Każdy wiersz został znormalizowany do jedności, a wpisy na przekątnej reprezentują czułość (recall) dla poszczególnych klas, a nie ogólną dokładność klasyfikacji, która jest raportowana osobno. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Rycina 11: Normalizowana wierszowo macierz pomyłek proponowanego modelu MSCNN-LSTM na zbiorze danych UCF Sports.Każdy wiersz został znormalizowany do jedności, a wartości na przekątnej reprezentują czułość (recall) dla poszczególnych klas, a nie ogólną dokładność klasyfikacji, która jest raportowana osobno. Kliknij tutaj, aby wyświetlić większą wersję tej ryciny.

Rycina 12: Znormalizowana wierszowo macierz pomyłek proponowanego modelu MSCNN-LSTM na zbiorze danych JHMDB. Każdy wiersz został znormalizowany do jedności, a wpisy na przekątnej reprezentują czułość (recall) dla poszczególnych klas, a nie ogólną dokładność klasyfikacji, która jest raportowana osobno. Kliknij tutaj, aby wyświetlić powiększoną wersję tej ryciny.

Ogólnie rzecz biorąc, zaproponowana struktura MSCNN-LSTM konsekwentnie przewyższała analizowane modele porównawcze w zakresie klasyfikacji, zgodności, dyskryminacji oraz miar stabilności czasowej. Wyniki potwierdziły hipotezę, że połączenie wieloskalowej ekstrakcji cech przestrzennych z modelowaniem czasowym opartym na LSTM poprawia rozpoznawanie akcji sportowych w zbiorach danych o różnym stopniu złożoności ruchu, jakości obrazu i warunkach kąta widzenia.

DOSTĘPNOŚĆ DANYCH:

Zbiory danych analizowane w niniejszym badaniu są publicznie dostępne z następujących źródeł: zbiór danych UCF11 (YouTube Actions) (https://www.crcv.ucf.edu/data/UCF_YouTube_Action.php) oraz zbiór danych UCF Sports (https://www.crcv.ucf.edu/data/UCF_Sports_Action.php). Aby wesprzeć powtarzalność niniejszego badania, potok przetwarzania wstępnego, podział zbiorów danych (generowanie podziału na zbiory treningowy/walidacyjny/testowy), pliki implementacyjne, pliki konfiguracyjne oraz dokumentacja pomocnicza wykorzystana w eksperymentach zostały złożone w repozytorium Zenodo i są publicznie dostępne pod adresem https://doi.org/10.5281/zenodo.21020947.

Dyskusja

Zaproponowana struktura MSCNN-LSTM konsekwentnie przewyższała oceniane podejścia we wszystkich analizowanych zestawach danych referencyjnych: UCF11, UCF Sports oraz JHMDB. Poprzednie metody oparte na Dilated CNN–BiLSTM, architekturach Vision Transformer oraz 3D CNN wykazały się skutecznością w uczeniu cech czasoprzestrzennych, lecz mogą być ograniczone przez wysoką złożoność obliczeniową, znaczne wymagania treningowe lub niewystarczającą reprezentację drobnoziarnistych wzorców ruchu^23,24,25. W przeciwieństwie do nich, zaproponowana struktura zintegrowała wieloskalową ekstrakcję cech przestrzennych z modelowaniem czasowym opartym na LSTM, co umożliwiło uchwycenie zarówno lokalnych szczegółów ruchu, jak i długodystansowych zależności czasowych. Integracja ta poprawiła rozpoznawanie złożonych czynności sportowych, zmniejszyła pomyłki międzyklasowe i zwiększyła spójność czasową, szczególnie w przypadku bardziej wymagającego zbioru danych JHMDB. Wyniki te wskazują, że zaproponowana struktura zapewniła zrównoważoną reprezentację informacji przestrzennych i czasowych w porównaniu z ocenianymi podejściami opartymi na sieciach CNN, sieciach rekurencyjnych i transformerach.

Z perspektywy teoretycznej framework MSCNN-LSTM zapewnił ujednolicone podejście do fuzji cech wieloskalowych oraz sekwencyjnego uczenia temporalnego^36,37. Zastosowanie hierarchicznych pól recepcyjnych umożliwiło ekstrakcję informacji przestrzennych w różnych skalach, podczas gdy LSTM modelowała zależności pomiędzy następującymi po sobie klatkami wideo. Konstrukcja ta rozszerzyła konwencjonalny rurociąg CNN-LSTM poprzez zachowanie lokalnych i kontekstowych informacji przestrzennych przed modelowaniem temporalnym. Stabilna wydajność w obrębie zbiorów danych zawierających zróżnicowane klasy działań, wzorce ruchu i punkty widzenia kamery dodatkowo potwierdziła odporność proponowanej architektury.

Z praktycznego punktu widzenia opracowany model wykazał potencjał w zakresie zautomatyzowanej analityki sportowej, oceny wyników sportowców, detekcji zdarzeń oraz analizy wideo z dyscyplin sportowych. Przed wdrożeniem konieczna jest jednak dalsza walidacja w rzeczywistych warunkach operacyjnych. Mimo że architektura ta osiągnęła wysoką skuteczność rozpoznawania, jej przydatność dla urządzeń o ograniczonych zasobach lub chmurowych platform analitycznych powinna zostać potwierdzona poprzez dodatkową ocenę kosztów obliczeniowych, czasu wnioskowania, zapotrzebowania na pamięć oraz zużycia energii.

Analiza ablacyjna wykazała komplementarny wkład komponentów MSCNN i LSTM. MSCNN poprawiła ekstrakcję cech przestrzennych poprzez naukę reprezentacji w wielu skalach pola recepcyjnego, podczas gdy LSTM usprawniło modelowanie czasowe poprzez przechwytywanie zależności ruchu pomiędzy następującymi po sobie klatkami. Pełna konfiguracja MSCNN-LSTM osiągnęła najlepsze wyniki, co wskazuje na to, że wieloskalowa ekstrakcja cech przestrzennych i modelowanie sekwencji czasowych wspólnie przyczyniły się do zaobserwowanej poprawy w rozpoznawaniu czynności.

Podsumowując, zaproponowany model MSCNN-LSTM skutecznie połączył naukę reprezentacji przestrzennych i czasowych w celu rozpoznawania akcji w filmach sportowych. Ewaluacja na zbiorach danych UCF11, UCF Sports oraz JHMDB wykazała poprawę wydajności w porównaniu z analizowanymi podejściami opartymi na głębokim uczeniu. Wyniki te potwierdziły hipotezę, że integracja wieloskalowych cech splotowych z modelowaniem czasowym opartym na LSTM poprawia rozpoznawanie złożonych czynności sportowych. Niemniej jednak, wymagana jest walidacja na większych, bardziej zróżnicowanych i międzydomenowych zbiorach danych, aby ustalić możliwość generalizacji oraz zastosowanie w rzeczywistych warunkach.

Należy wziąć pod uwagę kilka ograniczeń. Po pierwsze, ewaluacja została ograniczona do publicznie dostępnych zestawów danych referencyjnych i może nie w pełni odzwierciedlać różnorodność oraz złożoność rzeczywistych środowisk sportowych. Po drugie, mimo zastosowania stałych podziałów na zbiory treningowe, walidacyjne i testowe, nie można całkowicie wykluczyć błędu systematycznego zestawu danych oraz niezamierzonego wycieku danych. Po trzecie, raportowana wydajność może się różnić w zależności od składu zestawu danych, inicjalizacji modelu, procedur preprocessingu oraz ustawień treningowych. Ponadto komponenty splotowe wieloskalowe i modelowania czasowego zwiększyły wymagania obliczeniowe, co może wpływać na wdrożenie na urządzeniach o ograniczonych zasobach. Struktura nie została również oceniona z wykorzystaniem zewnętrznych zestawów danych ani w rzeczywistych scenariuszach produkcyjnych w czasie rzeczywistym.

Modele wideo oparte na transformatorach wykazują wysoką skuteczność w dużych zbiorach danych do rozpoznawania czynności, lecz często wymagają znacznych zasobów obliczeniowych oraz obszernych danych treningowych. Zaproponowany schemat MSCNN-LSTM oferuje alternatywne podejście, łącząc wieloskalową ekstrakcję cech przestrzennych z rekurencyjnym modelowaniem czasowym. Przyszłe badania powinny dotyczyć walidacji międzyzbiorowej, wnioskowania w czasie rzeczywistym, optymalizacji obliczeń, szacowania niepewności oraz architektur hybrydowych integrujących mechanizmy uwagi oparte na transformatorach z proponowanym schematem wieloskalowym CNN-LSTM³⁸.

Materiały

Lista materiałów użytych w tym artykule

Nazwa	Firma	Numer katalogowy	Komentarze
Karta graficzna GeForce RTX 3090 GPU	NVIDIA Corporation	RTX 3090, 24 GB VRAM	Wykorzystywane do trenowania i wnioskowania w modelach głębokiego uczenia
Procesor Intel Core i9	Intel Corporation	16-rdzeniowy, 3,5 GHz	Wykorzystywany do przetwarzania wstępnego danych i obliczeń
Pamięć systemowa	Ogólny	64 GB pamięci RAM DDR4	Obsługuje przetwarzanie wideo na wielką skalę
Język programowania Python	Python Software Foundation	Wersja 3.8.18	Podstawowy język programowania użyty do implementacji
TensorFlow	Google	Wersja 2.15	Framework głębokiego uczenia wykorzystany do opracowania modelu
System operacyjny	Microsoft Corporation	Windows 11	Opracowanie i eksperymentacja nad modelem
Zestaw narzędzi CUDA (CUDA Toolkit)	NVIDIA Corporation	CUDA 11.8	Akceleracja GPU w trenowaniu modeli
cuDNN	NVIDIA Corporation	cuDNN 8.9.7	Biblioteka akceleracji głębokich sieci neuronowych
OpenCV	Otwarte oprogramowanie	Wersja 4.8.1	Ekstrakcja i przetwarzanie wstępne klatek wideo
NumPy	Otwarty kod źródłowy	Wersja 1.24.4	Obliczenia numeryczne i przetwarzanie tablic
Scikit-learn	Otwarte oprogramowanie	Wersja 1.3.2	Ocena wydajności i analiza statystyczna
Matplotlib	Otwarte oprogramowanie	Wersja 3.7.5	Wizualizacja wyników eksperymentalnych
Zbiór danych UCF11	University of Central Florida	Publiczny zbiór danych	Benchmarkowy zbiór danych do rozpoznawania akcji sportowych
Zbiór danych sportowych UCF	University of Central Florida	Publiczny zestaw danych	Benchmarkowy zestaw danych do rozpoznawania aktywności sportowych
Zbiór danych JHMDB	Instytut Informatyki Maxa Plancka	Publiczny zbiór danych	Zestaw danych referencyjnych do rozpoznawania ruchu i czynności człowieka