Research Article

Ein transformatorbasiertes multimodales Framework für taktische Entscheidungsanalyse im Teamsport mit Anwendung im Fußball

DOI:

10.3791/69806

January 27th, 2026

In This Article

Summary

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Um die taktische Entscheidungskategorisierung im Fußball zu verbessern, schlägt diese Studie ein Transformer-basiertes multimodales Fusionsmodell vor, das visuelle, standortbezogene, akustische und kontextbezogene Daten einbezieht. Das Modell erreicht nahezu Echtzeit-Performance auf einem multimodalen Datensatz mit 500 Sequenzen und übertrifft CNN-LSTM, BiLSTM-Attention und GNN-Baselines hinsichtlich Genauigkeit und druckbedingter Fehlklassifikation.

Abstract

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Schnelle und präzise taktische Entscheidungen sind im modernen Fußball erforderlich. Traditionelle Ansätze zur Bewertung taktischer Entscheidungsfindung haben jedoch eine schlechte ökologische Validität und lassen sich nicht leicht skalieren. Um diese Herausforderungen anzugehen, stellt dieser Artikel ein Transformer-basiertes Multimodal-Fusion-Modell vor, das Spielerpositionierung, Video, Audio und kontextuelle Metadaten integriert, um Echtzeit-taktische Entscheidungen zu klassifizieren. Experimente wurden mit 40 männlichen Spielern und einem Datensatz aus 500 Sequenzen multimodaler Spiele durchgeführt. Der 40-Spieler-Datensatz bezieht sich auf kontrollierte, laborartige Entscheidungsexperimente, die für die erste Validierung und eine Zuverlässigkeitsbewertung verwendet werden. Anschließend wurden 500 multimodale Sequenzen aus erweiterten Match-Simulationen und realen Spielaufnahmen extrahiert, um den größeren Datensatz bereitzustellen, der für das Training und Testen des multimodalen Transformatormodells verwendet wird.

Es verarbeitet Eingaben in fünf Stufen: Datenerfassung, Vorverarbeitung, Merkmalextraktion, transformatorbasierte Fusion und Entscheidungsklassifikation. Im Vergleich zu den Baselines von CNN-LSTM, BiLSTM-Attention und GNN verbessert der vorgeschlagene Ansatz die Genauigkeit der Entscheidungsvorhersage um 28 % und reduziert die durch Druck verursachte Fehlklassifikation um 41 %, mit einer niedrigen Inferenzlatenz von 52,6 ms, was ihn für nahezu Echtzeitanwendungen geeignet macht. Die Verallgemeinerbarkeit der Ergebnisse über vielfältigere taktische Kontexte und auf breitere Athletendemografien ist ebenfalls durch die relativ geringe Größe und Homogenität innerhalb der Stichprobenpopulation junger männlicher Spieler aus einer Region begrenzt. Diese Ergebnisse betonen den Beitrag der transformatorbasierten multimodalen Fusion zur automatisierten taktischen Entscheidungsanalyse und weisen auf die Notwendigkeit ihrer weiteren Validierung in vielfältigeren und groß angelegten Match-Situationen hin.

Introduction

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Mannschaftssportarten wie Fußball erfordern schnelle taktische Entscheidungen in dynamischen und unsicheren Umgebungen. Spieler müssen ständig visuelle Informationen vom Ball, von Teamkollegen und Gegnern lesen und innerhalb von Sekundenbruchteilen reagieren, um sich einen Wettbewerbsvorteil zu sichern. Taktische Entscheidungen im Fußball hängen stark von der schnellen Wahrnehmung von Spielerbewegungen, Ballbahn und situativen Hinweisen ab. Obwohl allgemeine Wahrnehmungs-kognitive Fähigkeiten wie Reaktionszeit und selektive Aufmerksamkeit tatsächlich die Leistung beeinflussen, betonen neuere Forschungen datenbasierte, kontextbewusste Modelle, die reale Ingame-taktische Kognition 1,2,3,4,5 annähern können. Reaktionszeit und Wahrnehmungsfähigkeiten, wie kognitive Fähigkeiten, spielen ebenfalls eine entscheidende Rolle bei der Leistung 6,7,8. Jüngste Forschungen zur Sportkognition haben gezeigt, dass taktische Entscheidungsfindung nicht nur auf Wahrnehmungsfähigkeiten basiert, sondern auch auf der Fähigkeit des Athleten, dynamische räumliche Informationen, Gegnerdruck und kontextuelle Spielhinweise in Echtzeit zu integrieren. Forschungen zur perzeptuellen-kognitiven Expertise legen nahe, dass taktisch gebildetere Spieler Hinweise schneller erkennen, Informationen effizienter aufnehmen und unter Druck stabilere Entscheidungsmuster zeigen. Solche Ergebnisse unterstützen die Notwendigkeit rechnergestützter Modelle, die die komplexe, vielschichtige Natur sportlicher Entscheidungsprozesse erfassen können.

Klassische Methoden zur Bewertung taktischer Entscheidungsfindung verwenden oft kontrollierte Laboraufgaben und subjektive Expertenurteile, die erhebliche Einschränkungen für ökologische Validität und Skalierbarkeit auferlegen. Jüngste Fortschritte im Deep Learning bieten das Potenzial, den Prozess durch den Einsatz multimodaler Datenquellen – wie Video, Positionsverfolgung und kontextuelle Match-Metadaten – innerhalb temporaler und intermodaler Abhängigkeitserfassungsarchitekturen zu automatisieren. Trotz dieses Fortschritts basieren die meisten aktuellen Modelle weiterhin auf Convolutional Neural Networks-Long-Short Term Memory oder Bidirektional Long-Short Term Memory (CNN-LSTM oder BiLSTM) Modellen, die nur begrenzt in der Lage sind, Langstreckenabhängigkeiten zwischen Modalitäten zu modellieren. Dieser Mangel ist die treibende Kraft hinter der Entwicklung transformatorbasierter multimodaler Fusionsmodelle, die besser geeignet sind, taktische Entscheidungsfindung umfassender und stabiler in Fußballszenarien zu modellieren. Im gegnerischen Mannschaftssport Fußball müssen die Spieler beispielsweise schnell Informationen über den Ball einschätzen, einschließlich ihrer Mitspieler, Gegner und ihrer Position auf dem Spielfeld. Bevor er den besten Weg basierend auf ihren Fähigkeiten, den Anweisungen des Trainers und den Spielumständen 9,10 festlegt. Aufgrund der Zugänglichkeit organisierter Datensätze und definierter taktischer Komponenten konzentriert sich diese Studie ausschließlich auf Fußball; Taktische Prinzipien für Entscheidungen sind jedoch auf zahlreiche Mannschaftssportarten anwendbar.

Tatsächlich zeigen frühere Studien, dass CNN-LSTM und BiLSTM keine sehr langfristigen zeitlichen Abhängigkeiten durch die Verwendung eines festen rezeptiven Feldes oder durch sequentielle Gating 11,12,13 erfassen können. Ebenso zeigen grundlegende Benchmark-Arbeiten in der Aktionserkennung und multimodaler temporaler Modellierung, dass die LSTM-basierte Modellleistung mit zunehmender Sequenzlänge oder wenn kontextuelle Hinweise mehrere Frames auseinander liegen, abnimmt, was die ökologische Validität in dynamischen Sportkontexten einschränken kann. Darüber hinaus sind Graph Neural Network (GNN)-basierte Modelle leistungsstarke Werkzeuge zur Modellierung räumlicher Interaktionen, aber sie haben in Szenarien, die feinkörnige zeitliche Argumentation erfordern, oder in Fällen, in denen sich kontextuelle Druckhinweise über die Zeit schnell verschieben,konsequent unterdurchschnittlich abgeschnitten. Im Gegensatz zu diesen Ansätzen zeigen neuere transformerbasierte Frameworks ihre Leistungsüberlegenheit in Sportanalytik, menschlicher Aktivitätserkennung und Videosprachaufgaben durch die gemeinsame Integration von Langstrecken-Zeitsignalen, räumlichen Beziehungen und kontextuellen Signalen in einem einzigen Vorwärtspass, ermöglicht durch globale Selbstaufmerksamkeit. Solche Benchmark-Ergebnisse rechtfertigen die Wahl einer transformatorbasierten Architektur als Rückgrat für das vorgeschlagene Modell in der aktuellen Studie.

Die Verbesserung taktischen Wissens und das Verständnis taktischer Prinzipien haben sich als entscheidend erwiesen, um Spielbeschränkungen und -problemezu lösen 16,17. Footballspieler lernen durch technisch-taktisches Trainingeine Vielzahl von Spielelementen, darunter Durchschlag, Offensivschutz, Bewegung, Zeit, Begrenzung, Verteidigungsschutz, Balancierung und Fokus. Mit zunehmender Fußballerfahrung sollte ihr Verständnis technischer und taktischer Grundlagen steigen. Spieler können daher relevante Signale leichter erkennen, was eine angemessene Entscheidungsfindung für jede Spielregel in einem bestimmten Szenarioermöglicht. Dadurch können Spieler ihre motorische Effizienz und Entscheidungsfähigkeit nutzen, um Bewegungsmuster mit spezialisierten Talenten zu ergänzen.

Der Autor nutzte Entscheidungsfindung mit mehreren Attributen, um die Fitnessvorteile von Bewegung und Gewohnheiten zu analysieren und so die Wirksamkeit qualifizierter Trainingskapazitäten im Sportunterricht bei Studenten zu veranschaulichen. Effektive körperliche Aktivität, die Entwicklung gesunder Fitnessgewohnheiten und das Eintreten für Reformen in der Darstellung von Sport in Bildungseinrichtungen werden alle beträchtlich gewichtet. Der Intuitionistic Fuzzy Weighted Heronian Mean (IFWHM) mit Fuzzy-Zahlen-Unterstützung wird für effektive Entscheidungsfindung verwendet. Das Ergebnis unterstützte den kognitiven Erfolg der Studierenden und zeigte eine genauere Bewertung ihrer körperlichen Wohlbefindensprobleme. Um die latenten Verbindungen in den Daten zu erkennen, verwendete der Forscher20 die augmentierte Apriori-Methode. Die Schlussfolgerungen der Forschung sind relevant für die Bewertung der körperlichen Gesundheit der Studierenden im Hochschulbereich. Das erste Ergebnis wird ermittelt, indem die Ermüdung verschiedener Orientierungen entsprechend ihrer Auftretenshäufigkeit bewertet wird.

Frühere KI-basierte Forschung in der Sportanalytik konzentrierte sich auf Computer-Vision-Aufgaben, einschließlich Spielererkennung, Tracking und Erkennung von Gruppenaktivitäten. Jüngste schwach überwachte und detektorfreie Architekturen haben die Bedeutung multimodaler und kontextbewusster Modellierung zum Verständnis taktischer Verhaltensweisen aufgezeigt. Diese Fortschritte erfordern die Integration von multimodalem Deep Learning, um taktische Entscheidungen im Fußball zu klassifizieren. Mit latenten Merkmalsvektoren, die aus der Nutzenmatrix mittels Matrixfaktorisierung erzeugt werden, berechnet es die Kosinusähnlichkeit zwischen Benutzern und Benutzern oder Elementen und Elementen in diesem Artikel.

Neuere Forschung in der Sportanalytik hat sich hin zu multimodalen und kontextbewussten Deep-Learning-Frameworks verlagert, die Video, Positionsdaten und kontextuelle Hinweise kombinieren, um taktisches Verhalten zu interpretieren. Verschiedene transformatorbasierte Ansätze haben eine starke Fähigkeit zur Modellierung langfristiger zeitlicher Strukturen und intermodaler Beziehungen in Sportumgebungen gezeigt, darunter die folgenden: MM-ViT für multimodale Aktionserkennung, einheitliche kontrastive Fusionstransformatoren für sportliches Kontext-Denken und aufmerksamkeitsgesteuerte Ereignisdetektoren21,22. Diese Ansätze zeigen deutlich, dass taktische Entscheidungen am besten durch Architekturen dargestellt werden, die die Interaktionen zwischen Spielern, Raum, Bewegungshinweisen und kontextuellen Informationen erfassen, anstatt einmodale CNN-LSTM-Modelle. Vor diesem Hintergrund wird die vorgeschlagene Studie auch ein transformatorbasiertes multimodales Fusions-Framework nutzen, um visuelle, positionsbezogene und kontextuelle Signale für nahezu Echtzeitmodellierung von Fußballtaktikentscheidungen gemeinsam zu verarbeiten.

Frühere Modelle für die Football-Analyse basierten typischerweise auf der CNN-LSTM- oder BiLSTM-Architektur, die lokale zeitliche Muster erfassen, aber mit langfristigen Abhängigkeiten zwischen Modalitäten zu kämpfen haben. Transformers schließen diese Lücke, indem sie globale Selbstaufmerksamkeit anwenden, sodass ein Modell Spielerbewegungen, Ballbahnen und situative Hinweise über erweiterte Zeitfenster-Schlüsselfunktionen für eine robuste taktische Entscheidungsanalyse verknüpfen kann. Um das Problem der Sparsität bei Bewertungsdaten für Empfehlungssysteme zu lösen, schlug der Autor23,24 eine Review-Based Matrix Factorization-Technik vor, die reviewbasiertes kollaboratives Filtern und Bewertungsimputation kombiniert.

Dennoch sind ihre Wirksamkeit, die Skalierbarkeit und Anwendbarkeit dieser Methoden stark eingeschränkt durch ihre Abhängigkeit von Begrenzungsboxen zur Schlussfolgerung und den enormen Bedarf an Datenkennzeichnung. Eine Methode zur Lösung dieses Problems ist die Verwendung von Begrenzungsbox-Labels, um gleichzeitig Spielererkennung und Gruppenaktivitätserkennung zu trainieren 25,26,27,28. Obwohl für Trainingsdaten weiterhin Begrenzungsbox-Annotationen auf Akteurebene benötigt werden, berechnet die vorgeschlagene Methode die Begrenzungsboxen der Spieler während der Inferenz. Der Ansatz der Weakly Supervised Group Activity Recognition (WSGAR), der keine Akteur-Level-Labels für Training oder Schlussfolgerung benötigt, zielt darauf ab, die Annotationsbelastung zu verringern. Nachdem sie Begrenzungsboxvorschläge mit einem vortrainierten Detektor auf einem externen Datensatz generiert hatten, lernten sie, irrelevante Erkennungen herauszufiltern. Kürzlich29 stellten die Forscher einen detektorfreien Ansatz für die WSGAR-Herausforderung vor, der Token-Embeddings verwendet, um Teilkontexte zu erzeugen, die Spielerinformationen sammeln.

Innerhalb der Sportanalytik haben multimodale und transformerbasierte Architekturen kürzlich an Bedeutung gewonnen, da sie langfristige Muster erfassen und heterogene Datenströmeintegrieren können. Varianten von Transformatoren wurden eingesetzt, um die Bewegungen der Spieler vorherzusagen, Multi-View-Taktikanalysen durchzuführen und Aktionsabsicht zu erkennen, was im Vergleich zum CNN-LSTM-Modell eine herausragende zeitliche Logik zeigt. Multimodale Fusionsstrategien, die Video-, Positions- und kontextuelle Hinweise kombinieren, haben ermutigende frühe Ergebnisse im Echtzeit-Taktikmodellieren geliefert und die Bedeutung von Cross-Attention- und Sequenz-zu-Sequenz-Lernen für das Verständnis von Entscheidungsdynamiken im Spiel hervorgehoben.

Transformatorbasierte multimodale Frameworks haben kürzlich herausragende Leistung in verschiedenen Bereichen gezeigt, in denen die Integration verschiedener Datenströme notwendig ist. Beispielsweise wurden ViT-basierte multimodale Fusionsmodelle verwendet, um gemeinsam Video-, Pose- und Audioinformationen mithilfe von Cross-Attention-Prozessen für kontextbewusste Ereignisvorhersage, Spielerverfolgung und Aktionserkennung zu interpretieren32,33. Darüber hinaus hat die MM-Former- und Perceiver-basierte Architektur rekurrente und konvolutionale Modelle bei der Verschmelzung räumlich-zeitlicher Hinweise sowie im langfristigen zeitlichen Denken in Sportanalytik und Human Activity Analysis34 übertroffen. Diese Ergebnisse stützen die Verwendung einer transformatorbasierten multimodalen Fusionsarchitektur in dieser Studie, indem sie zeigen, dass Transformatoren in der Lage sind, feinkörnige Wechselwirkungen zwischen Modalitäten durch globale Aufmerksamkeit zu erfassen35. Transformatoren eignen sich besonders für taktische Analysen, da ihre globale Aufmerksamkeit es dem Modell ermöglicht, visuelle Hinweise, Positionsdaten und kontextuelle Signale über längere Zeitfenster hinweg zu verknüpfen – Fähigkeiten, die CNN-LSTM- und BiLSTM-Modelle nicht haben.

Frühere Studien haben hauptsächlich manuell geformte und authentifizierte Bewertungen verwendet, um Leistungsgeschwindigkeit und Entscheidungsgenauigkeit bei vorgeplanten Aktivitäten wie Autofahren und Überholen zu bewerten, trotz des wachsenden Interesses an der Bewertung taktischer Entscheidungsfindung in Teamsportarten 36,37,38. Diese Frameworks haben Grenzen hinsichtlich Skalierbarkeit, Objektivität und Angemessenheit für dynamische, reale Umstände, obwohl sie aufschlussreiche Daten über Spielerverhalten und Entscheidungsfindung liefern39. Computerisierte, datengetriebene Ansätze, die die multimodale Natur taktischer Entscheidungsfindung, die komplexe Assoziationen zwischen Spieleraktionen, visuellen Signalen, akustischen Hinweisen und Spieleinstellungen umfasst, aufzeichnen und verstehen können, werden nicht in den aktuellen Methoden 40,41,42 kombiniert. Darüber hinaus werden vielschichtige KI-Strukturen, die zwischen Hintergrund- und Zeitbeziehungen wechseln können, von diesen Methoden oft übersehen. Das Wachstum eines auf Transformer basierenden multimodalen Fusions-Frameworks, das reichhaltige, Echtzeit-Datenquellen wie Videoaufnahmen und Positionsverfolgung nutzt und Entscheidungsprozesse im Mannschaftssport einbezieht, fehlt eindeutig. Das Schließen dieser Lücke kann die taktische Durchdringung, Skalierbarkeit und Entscheidungsfreiheit in Hochleistungssportumgebungen erheblich verbessern. Im Gegensatz zu aktuellen CNN-LSTM- und BiLSTM-Methodologien modelliert diese transformatorbasierte Fusion bewusst die intermodale Aufmerksamkeit zwischen visuellen, räumlichen und kontextuellen Informationen. Diese Neuheit fördert eine dichtere taktische Darstellung und hilft, Fehlklassifizierungen in Drucksituationen um mehr als 40 % zu minimieren.

Das Hauptziel dieser Studie ist die Entwicklung eines Transformer-basierten Multimodal-Fusion-Rahmens zur Bewertung taktischer Entscheidungsfindung im Fußball. Während der vorgeschlagene Rahmen auf andere Mannschaftssportarten verallgemeinert werden kann, konzentriert sich diese Studie aufgrund seiner taktischen Komplexität und der Verfügbarkeit strukturierter Datensätze auf Fußball. Das System ermöglicht eine strukturierte Bewertung taktischer Genauigkeit und Reaktionszeiten bei kontrollierten, isolierten Fußballaufgaben, basierend auf Expertenbewertungen. Diese Arbeit adressiert die Einschränkungen manueller Evaluations- und statischer Testumgebungen durch die Integration multimodaler Datenquellen, darunter Positionsverfolgung, Videoaufnahmen, Audiosignale und kontextuelle Spielinformationen.

Durch den Einsatz transformatorbasierter Aufmerksamkeitsprozesse lernt das vorgeschlagene Framework kontinuierlich multimodale Verbindungen, was eine einheitliche und kontextbewusste Interpretation der Echtzeit-Entscheidungsmethoden der Spieler ermöglicht.

Das Hauptziel dieser Bestimmung ist es, eine intelligente Leistungsbewertung im Sport zu fördern, indem Trainer und Analysten durch datenbasierte Erkenntnisse ein tieferes Verständnis des Spielerdenkens und der Teamdynamik erhalten.

Das vorgeschlagene Framework wird kontinuierlich intermodale Beziehungen lernen, indem es die Aufmerksamkeitsmechanismen der Transformers nutzt, wodurch ein einheitliches Verständnis der Entscheidungsstrategien der Spieler in Echtzeitspielen erhalten wird.

Dadurch kann das System umsetzbare Einblicke in taktisches Verhalten liefern, das sonst schwer mit standardisierten Bewertungsmethoden zu charakterisieren ist.

Das Ziel ist es, die Interpretierbarkeit zu verbessern und Trainern sowie Analysten nützlichere Informationen zu bieten.

Der Hauptbeitrag dieser Arbeit ist im Folgenden aufgeführt:

Diese Studie verwendet ein Transformer-basiertes multimodales Fusionsdesign, um ein neuartiges Deep-Learning-Modell für taktische Entscheidungsfindungsanalysen im Teamsport zu präsentieren.

Durch die Integration visueller, positionsbezogener und kontextueller Datenströme, die aus realen Spielaufnahmen extrahiert wurden, erweitert dieser Ansatz den Umfang der einfachen Bewertungsmethoden, die in der Basisstudie eingeführt wurden, die sich auf Solo-Pass- und Drive-Aktionen konzentrierten.

Der multimodale Encoder sammelt komplexe raumzeitliche Beziehungen, indem er Spieler-Tracking-Daten, visuelle Rahmen und kontextuelle Match-Events mithilfe von Aufmerksamkeitsmechanismen integriert.

Experimente an einem Benchmark-Football-Datensatz zeigten, dass dieses Modell traditionelle Baselines wie CNN-basierte Fusionsmethoden und LSTM übertraf.

Im Vergleich zu CNN-LSTM-, BiLSTM-Attention- und GNN-Baselines zeigt die vorgeschlagene transformatorbasierte multimodale Fusionsarchitektur signifikante Fortschritte.

Access restricted. Please log in or start a trial to view this content.

Protocol

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Studie umfasste 40 männliche Fußballspieler im Alter von 18 bis 24 Jahren (Mittelwert = 20,1 ± 1,2), die aus vier Amateur- und semiprofessionellen Vereinen innerhalb einer regionalen Liga rekrutiert wurden. Alle Teilnehmer hatten mindestens drei Jahre Wettkampferfahrung und trainierten derzeit in einer strukturierten Umgebung. Die Datenerhebung erfolgte in zwei kontrollierten Umgebungen: erstens in standardisierten Übungsgelände-Übungen, die taktische Pass-/Drive-Entscheidungsszenarien simulierten; zweitens in längeren Sitzungen der Match-Simulation, aus denen multimodale Sequenzen extrahiert wurden. Alle Verfahren wurden vom Institutional Ethics Committee der Beibu Gulf University genehmigt (Genehmigungsnummer: BG-PE-2023-117), und vor der Datenerhebung wurde von allen Teilnehmern eine schriftliche informierte Zustimmung eingeholt. Bei der Durchführung dieser Untersuchung wurden internationale und institutionelle ethische Standards eingehalten. Das Ethikkomitee für Institutionen der Beibu Gulf University prüfte und genehmigte alle Verfahren mit menschlichen Probanden (Genehmigungsnummer: BG-PE-2023-117). Vor der Datenerhebung gab jeder Teilnehmer eine schriftliche informierte Einwilligung, und alle gesammelten Daten wurden vor der Analyse anonymisiert.

Diese Arbeit zielt darauf ab, die Untersuchung der taktischen Entscheidungen im Teamsport durch eine Transformer-basierte Multimodale Fusion-Architektur zu automatisieren und zu verbessern. Es nutzt eine Vielzahl von Datenquellen, darunter Video, Audio, räumliche Position und Spielermetadaten, um ein robustes Echtzeit-Vorhersagemodell zu erstellen. Abbildung 1 zeigt die Architektur der vorgeschlagenen Methode. Die vorgeschlagene Arbeit besteht aus fünf Phasen. Die Stadien werden im Folgenden beschrieben:

Abbildung 1
Abbildung 1. Architektur der vorgeschlagenen Methode. Schaltplan des Modells, das multimodale Eingaben und Klassifikationskomponenten für taktische Entscheidungsfindung kombiniert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datenerfassung und Vorverarbeitung

Daten aus verschiedenen Modalitäten werden aus Aufzeichnungen von Matches gesammelt, wie Videoaufnahmen, Audiokommentaren, GPS-/Positionsinformationen und Leistungsindikatoren der Spieler. Jede Modalität wird in Form von Techniken wie Frame-Extraktion (für Video), Rauschfilterung (für Audio) und Normalisierung (für Sensormessungen) vorbearbeitet, um die Synchronisation in Zeitschritten sicherzustellen.

Videoframes wurden mit 25 fps extrahiert und auf 224 × 224 Auflösung reduziert. Audiosignale wurden mit einem Bandpassfilter von 300 bis 3.400 Hz verarbeitet, um den Großteil des Umweltrauschens zu eliminieren. Positionsverfolgungsdaten von GPS-Sensoren wurden bei 10 Hz aufgezeichnet und mittels linearer, zeitstempelbasierter Interpolation interpoliert, um sicherzustellen, dass sie mit der 25-Hz-Video-Zeitleiste übereinstimmen. Alle Eingaben wurden zeitlich mittels gemeinsamer Zeitstempel ausgerichtet, und ihre Skalen wurden mit z-Scoring normalisiert.

Merkmalsextraktion

Um die raumzeitlichen Informationen der Videodaten zu sammeln, werden 3D-CNNs verwendet. Die 3D-CNNs verarbeiten sowohl räumliche als auch zeitliche Informationen über Videoframes hinweg, wodurch das Modell in der Lage ist, Bewegungsmuster zu erkennen, Gruppenverhalten zu verstehen und bewegungsbasierte Merkmale zu extrahieren. Diese Operation erzeugt eine dichte Merkmalsrepräsentation pro Aktionssequenz, die als visuelle Eingabe für das Modell verwendet wird. Jeder Video-Eingabeclip enthielt 16 aufeinanderfolgende Frames, die mit einem Schritt von 2 gesampelt wurden. Zufälliges Zuschneiden, horizontales Umdrehen und Helligkeitsnormalisierung wurden während des Trainings angewendet. Der 3D-CNN wurde mit Adam (lr = 0,0001), Chargengröße 16 und Kreuzentropieverlust optimiert.

Einbettung und Ausrichtung multimodaler Eingaben

Danach werden Embeddings aus verschiedenen Modalitäten in die 3D-CNN-Ausgaben integriert. Es wird eine multimodale Transformatormodellarchitektur verwendet, wobei verschiedene Encoder-Zweige jede Modalität verwalten. Cross-Attention-Schichten werden für die Modalitätsfusion und -ausrichtung eingesetzt, sodass das Modell gegenseitige Abhängigkeiten erfassen kann (z. B. zwischen Spielerstandorten und Ballbewegung sowie Kontext aus dem Kommentar). Diese Verschmelzung ermöglicht ein bereichertes kontextuelles Verständnis aktueller taktischer Entscheidungen. Ich habe auch alle Embeddings in PyTorch implementiert. Videomerkmale wurden linear von 1.024 bis 512 Dimensionen projiziert, Audio- und Positionsmerkmale auf 256 bzw. 128 Dimensionen, vereinheitlicht auf 512 Dimensionen vor der zeitlichen Ausrichtung.

Transformatorbasierte multimodale Fusion

Ein multimodaler Transformator wird eingesetzt, um die aus allen Quellen extrahierten Merkmale zu kombinieren. Selbstaufmerksamkeitsmechanismen im Transformer ermöglichen es dem Modell, Wechselwirkungen zwischen Modalitäten (z. B. Bild + Audio) zu erlernen, zeitlichen Fluss und Kontext zu erfassen sowie taktisch wichtige Frames und Ereignisse hervorzuheben. Das Ergebnis dieses Schrittes ist eine kombinierte Darstellung, die die taktische Absicht und den situativen Kontext jeder getroffenen Entscheidung erfasst. Der multimodale Transformator bestand aus sechs Encoderschichten, jede mit acht Aufmerksamkeitsköpfen. Aufmerksamkeitsmatrizen wurden mit skalierter Punktprodukt-Aufmerksamkeit berechnet. Aufmerksamkeits- und Vorwärtsschichten beinhalteten außerdem Dropout mit p = 0,1, um Überanpassungen zu vermeiden.

Taktische Entscheidungsklassifikation und -bewertung

Schließlich wird die fusionierte Darstellung als Eingabe in eine Klassifikationsschicht oder Entscheidungsanalyse-Block eingespeist, die verwendet wird, um den taktischen Entscheidungstyp vorherzusagen, die Entscheidungsqualität zu bewerten und optional erklärbare Erkenntnisse für Coaches anhand von Aufmerksamkeits-Heatmaps oder Aktivierungskarten zu generieren. Die Ergebnisse dieser Phase bieten eine quantitative und qualitative Bewertung der Entscheidungsfähigkeiten eines Teams oder Spielers während des Matchplays.

Der Klassifikationskopf verwendete ein dreischichtiges MLP mit ReLU-Aktivierung gefolgt von einer Softmax-Schicht. Das Modell wurde mit einer 70/15/15-Aufteilung und 10-facher Kreuzvalidierung trainiert. Verwendete Kennzahlen waren Genauigkeit, Präzision, Rückruf, F1-Wert, Latenz und AUC.

Ein vereinfachtes Flussdiagramm, das die fünf Stufen zusammenfasst, bietet einen unmittelbaren visuellen Überblick über den sequentiellen Prozess, wie in Abbildung 2 dargestellt. Diese Abbildung stellt die gesamte Forschungspipeline prägnant dar, bestehend aus Datenerfassung, Vorverarbeitung, Merkmalextraktion, multimodaler Fusion und taktischer Entscheidungsklassifikation, gefolgt von detaillierten Beschreibungen jeder Phase.

Abbildung 2
Abbildung 2. Gesamtablauf des Forschungsprozesses. Überblick über die Forschungspipeline, von der Datenerhebung und -vorverarbeitung bis hin zur Feature-Extraktion, Modelltraining und Evaluation. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 3 zeigt den gesamten Arbeitsablauf des vorgeschlagenen Forschungsprozesses. Der Prozess beginnt durch Stufe 1: Datenerfassung und Vorverarbeitung, bei der multimodale Datenquellen wie Video, Audio, Positionsverfolgung und kontextuelle Metadaten gesammelt und synchronisiert werden. Während Phase 2: Feature Extraction, werden 3D-Konvolutionelle Neuralnetzwerke (3D-CNNs) verwendet, um raumzeitliche Informationen aus Videoströmen zu extrahieren, was zu dichten visuellen Darstellungen von Spieleraktionen und taktischen Fluss führt. Phase 3: Einbettung und Ausrichtung multimodaler Eingaben Kombiniert Audio-, Video- und Positionsmerkmale in einem gemeinsamen latenten Raum mit zeitlicher Ausrichtung und intermodaler Ausrichtung. Diese Darstellungen werden anschließend in Stufe 4: Transformer-basierte multimodale Fusion aggregiert, wo crossmodale und Selbstaufmerksamkeitsmechanismen es dem Modell ermöglichen, Interdependenzen zwischen Modalitäten zu erlernen und tiefere kontextuelle Einblicke in taktische Entscheidungen zu gewinnen. Schließlich werden in Stufe 5: Taktische Entscheidungsklassifikation und -bewertung die kombinierten Darstellungen in eine Klassifikationsschicht eingespeist, um taktische Entscheidungen wie Pass, Drive oder Hold zu erkennen. Gleichzeitig werden Leistungskennzahlen verwendet, um die Entscheidungsgenauigkeit und Reaktionszeit zu schätzen. Dieses Flussdiagramm gibt einen klaren Überblick über den Schritt-für-Schritt-Ansatz, ergänzt durch die ausführlichen Textbeschreibungen in den folgenden Abschnitten.

Abbildung 3
Abbildung 3. Sequentielle Verarbeitungspipeline. Darstellt den Schritt-für-Schritt-Fluss von der Datenerfassung bis zur taktischen Entscheidungsklassifikation und Modellausgabe. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Datenerfassung und Vorverarbeitung

Um eine hochrangige taktische Entscheidungsanalyse im Mannschaftssport über eine multimodale Fusionspipeline mit Transformer zu ermöglichen, wurde ein strukturiertes und hochauflösendes Datenerfassungs- und Vorverarbeitungssystem eingerichtet. Das Setup beinhaltet das Zusammenführen mehrerer Datenmodalitäten, darunter Videoaufnahmen, Spielerpositionsverfolgung, Audiosignale aus Spieler-Trainer-Interaktionen sowie kontextuelle Metadaten wie Spielphase, Teamstruktur und Ballbesitzbereiche.

Die Stichprobe bestand aus 40 Männern im Alter von 20 Jahren und älter, die alle aktiv an regionalen Amateur- und semiprofessionellen Fußballligen beteiligt waren. Jeder von ihnen wurde aus vier wettbewerbsorientierten Vereinen rekrutiert, die ein strukturiertes Trainingsprogramm hatten. Das Durchschnittsalter der Athleten betrug 20,1 ± 1,2 Jahre, eine durchschnittliche Körpergröße von 177,5 ± 3,1 cm und ein durchschnittliches Gewicht von 72,6 ± 2,9 kg. Sie spielten im Durchschnitt 6,8 ± 1,5 Jahre für ihre jeweiligen Vereine. Alle Teilnehmer hatten zudem mindestens drei Jahre Wettkampferfahrung und wurden als taktisch kompetent eingestuft.

Um die statistische Stärke zu gewährleisten, wurde die Stichprobengröße anhand einer 95%igen Zuverlässigkeit (Z = 1,96) und einer Signifikanz von 5% mit einem erwarteten Intraclass-Korrelationskoeffizienten (ICC) von 0,96 und einem 95%-Konfidenzintervall für nahezu perfekte Übereinstimmung ermittelt. Dies entspricht dem Ziel, die Zuverlässigkeit und Konsistenz der gesammelten multimodalen Entscheidungsdaten zu validieren27.

Um die Reproduzierbarkeit zu gewährleisten, wurden Erwerbseinstellungen und technische Spezifikationen über die Sitzungen hinweg standardisiert. Videodaten wurden mit 1.080p-Auflösung und 25 Bildern pro Sekunde mit GoPro Hero4-Kameras mit einer Weitwinkeleinstellung aufgenommen, um den gesamten taktischen Raum einzufangen. Jede Aufnahme wurde stabilisiert und auf einer festen Höhe von 2,5 m montiert. Audiosignale wurden mit einem externen Feldmikrofon mit einer Abtastrate von 44,1 kHz (Mono) aufgenommen und anschließend mit einem 300–3.400-Hz-Bandpassfilter gefiltert, um Umgebungsrauschen zu entfernen. Positionsverfolgungsdaten wurden mit tragbaren GPS-Sensoren mit 10 Hz erfasst, mit einer durchschnittlichen vom Hersteller berichteten Positionsgenauigkeit von ±0,5 m. Alle Modalitäten wurden mit gemeinsamen Zeitstempeln synchronisiert und durch lineare Interpolation auf eine gemeinsame 25-Hz-Zeitleiste umgesampelt.

Die Vorverarbeitung umfasste dann Folgendes: Video-Downsampling auf 224 × 224 Auflösung, Bildauswahl von 16 aufeinanderfolgenden Bildern mit einem Schritt von 2, zufälliges Zuschneiden, horizontales Umdrehen, Helligkeitsnormalisierung, Audionormalisierung und das Ausfiltern von Rauschen sowie positionelle und kontextuelle Z-Score-Normalisierung.

Das Preprocessing-Skript ist in folgender Reihenfolge zur Reproduzierbarkeit angeordnet: (i) Frame-Extraktion; (ii) Audiofilterung; (iii) GPS-Interpolation; (iv) Modalitäts-Resampling auf 25 Hz; (v) Z-Score-Normalisierung; und (vi) Integritätstests auf Korruption, Okklusion und Aussetz. Batch-Verarbeitungsskripte werden verwendet, um jede Stufe automatisch abzuschließen.

Um die Daten zuverlässig zu halten, umfassten die Kriterien für Qualitätskontrolle und Ausschluss: i) Sequenzen mit >20 % Spielerabschluss, ii) GPS-Ausfälle von mehr als 200 ms, iii) beschädigter oder abgeschnittener Ton und iv) starke Bewegungsunschärfe oder Desynchronisation zwischen Modalitäten. Insgesamt wurden 17 Sequenzen (3,4 %) für diese Erkrankungen ausgeschlossen. Tabelle 1 zeigt die Beschreibung des Datensatzes.

EigenschaftenDetails
SportFußball (Soccer)
Teilnehmer40 männliche Fußballspieler
SpielniveauFederated Football-Spieler mit ≥5 Jahren Erfahrung
TesttypPass- und Drive-Tests (Ballkontrolle), Entscheidungsfindung und Ausführung
TestsettingStandardisierte Fußballplatzanordnung, markierte Zonen, feste Positionen
MesswerkzeugeGoPro Hero4-Kameras, Kinovea-Software, Stoppuhr-Timing
Gesammelte DatenAusführungszeit (ET), Entscheidungsgenauigkeit (DM), Anzahl der korrekten Aktionen
TestverfahrenDie Spieler reagierten auf visuelle Reize von Trainern und führten Pässe oder Drives aus
Prozesswiederholungen10 Trials pro Spieler (5 Pässe, 5 Drives)
BewertungExperten bewerteten DM; ET gemessen mit Zeitstempeln/Video
ErgebnisvariablenReaktionszeit, korrekte Entscheidungsanzahl, technische Ausführungswertung

Tabelle 1: Beschreibung des Datensatzes. Details zu Teilnehmerdemografien, Testverfahren, Messinstrumenten und Ergebnisvariablen.

In der vorliegenden Studie wurden zwei verwandte, aber unterschiedliche Datensätze verwendet. Der erste Datensatz bestand aus 40 Spielern, die an kontrollierten Pass-/Drive-Entscheidungsaufgaben teilnahmen, hauptsächlich zur Feststellung der Grundzuverlässigkeit und zur Validierung des grundlegenden Entscheidungsmessverfahrens. Der zweite Datensatz enthält 500 multimodale taktische Sequenzen, die aus erweiterten Spielsimulationen und realen Spielaufnahmen gesammelt wurden. Diese Sequenzen bildeten den wichtigsten Trainings- und Testdatensatz für das transformatorbasierte Fusionsmodell und ermöglichten eine Bewertung unter ökologisch gültigeren Bedingungen.

Obwohl der Datensatz 500 multimodale Sequenzen umfasst, sorgte stratifizierte Stichprobe für eine ausgewogene Darstellung über taktische Aktionen hinweg (Pass, Drive, Hold). Datenaugmentationsansätze wie temporales Cropping und Sequence Shuffling wurden ebenfalls eingesetzt, um die Variabilität zu erhöhen und Modellverzerrungen während des Trainings zu mindern.

Es ist erwähnenswert, dass der 40-Spieler-kontrollierte Datensatz für die anfängliche Modellvalidierung und Prüfung der Zuverlässigkeit verwendet wurde, während die größere Sammlung von 500 multimodalen Sequenzen aus längeren Match-Aufnahmen und organisierten Trainingssitzungen zur Bewertung der Skalierbarkeit und ökologischen Validität des Frameworks zusammengestellt wurde. Die Basiszuverlässigkeit wurde mit dem kleineren Datensatz hergestellt, während der größere Datensatz das Training und Testen von groß angelegten Modellen erleichterte.

Datensatzbeschreibung

Das Experiment rekrutierte 40 männliche Footballspieler, jeder mit mindestens fünf Jahren federaler Spielerfahrung, um sicherzustellen, dass die Stichprobe über grundlegende technische und taktische Kompetenzen verfügte. Die Datenerhebung erfolgte in einer standardisierten Fußballplatzanordnung, bei der vorgegebene Zonen und Spielpositionen zugewiesen wurden, um identische Testbedingungen zu gewährleisten. Während des Experiments mussten die Teilnehmer auf visuelle Hinweise eines Trainers reagieren, entweder um zu passen oder den Ball zu schlagen, wodurch taktische Entscheidungen im echten Spiel nachgeahmt wurden. Jeder Teilnehmer absolvierte insgesamt 10 Versuche, fünf bestande und fünf fuhr durch. Diese Bewegungen wurden mit GoPro Hero4-Kameras aufgenommen, und Leistungsdaten wurden mit der Kinovea-Videoanalyse-Software sowie manueller Stoppuhrzeit zur Erfassung der Ausführungszeit (ET) gemessen. Die wichtigste Datenquelle war: die Ausführungszeit, die Qualität des DMs, bewertet von erfahrenen Coaches, und die Menge der korrekt durchgeführten Aktionen. Diese Faktoren bildeten eine quantitative Grundlage zur Analyse der Schnelligkeit und Effektivität der Spieler bei der Treffen und Durchführung taktischer Entscheidungen unter kontrollierten Stimulus-Response-Bedingungen. Der erstellte Datensatz ist eine strukturierte und beschriftete Ressource, die sich gut eignet, Benchmarks zu erstellen oder intelligente Systeme zu trainieren, mit dem Ziel, taktisches Denken und motorische Reaktionen in Teamsportkontexten zu modellieren.

Die Stichprobe ist auf junge männliche Spieler aus einer Regionalliga beschränkt, was ihre Generalisierung auf Altersgruppen, weibliche Athletinnen oder andere Kulturen einschränken kann. Zukünftige Studien werden versuchen, repräsentativere und vielfältigere Stichproben zu ziehen.

Eine weitere Einschränkung ist die Stichprobe von 40 jungen männlichen Spielern aus einer einzelnen regionalen Liga. Während die homogene Stichprobe zur internen Validität und zur geringeren Leistungsvariation aufgrund von Alter, Geschlecht und taktischen Hintergründen beitrug, begrenzt sie auch die Verallgemeinerbarkeit der Ergebnisse auf eine größere Population. Die taktischen Muster, die das Modell lernt, spiegeln daher regionsspezifische oder geschlechtsspezifische Spielstile wider, statt universelles Entscheidungsverhalten. Für diese Studie wurden stratifizierte Stichproben und Datenaugmentation eingesetzt, um die Variabilität des vorliegenden Datensatzes zu erhöhen; größer angelegte Forschungsstudien mit Athletinnen, Jugendspielerinnen, Profispielerinnen und Teilnehmern aus verschiedenen taktischen Kulturen sind jedoch erforderlich, um die Robustheit des Modells in unterschiedlichen Fußballumgebungen zu bestätigen. Diese Ergebnisse zeigen großes Potenzial, benötigen aber weitere Validierung bei vielfältigeren und größeren Datensätzen, bevor eine breitere Verallgemeinerung beansprucht werden kann.

Um die Subjektivität zu verringern, kommentierten drei Profifußballtrainer unabhängig voneinander die taktischen Entscheidungen. Die Inter-Rater-Zuverlässigkeit wurde anhand des intraklassigen Korrelationskoeffizienten (ICC = 0,96, KI 0,94–0,98) geschätzt, was auf nahezu perfekte Übereinstimmung hindeutet. Konsensdiskussion löste den Streit. Für multimodale Daten beinhaltete die Vorverarbeitung zeitliche Synchronisation zwischen Modalitäten (25 fps Video und 10 Hz Sensordaten) sowie Z-Score-Normalisierung der Merkmale, um Vergleichbarkeit zwischen Modalitäten zu ermöglichen.

Die Inter-Rater-Zuverlässigkeit wurde mittels eines zweiseitigen Random-Effects-Intraklassenkorrelationskoeffizienten (ICC [2,3]) quantifiziert, da er sich eignet für die Bewertung absoluter Übereinstimmung zwischen mehreren Bewertern. Der ICC von 0,96 (95%-KI: 0,94–0,98) zeigt nahezu perfekte Übereinstimmung gemäß den üblichen Schwellenwerten und stellt außerdem fest, dass die taktischen Entscheidungsbezeichnungen für die Ausbildung sehr zuverlässig waren. Die Zuverlässigkeit wurde über alle 500 multimodalen Sequenzen hinweg berechnet, sodass sowohl kontrollierte als auch Match-Simulationskontexte ordnungsgemäß und konsistent annotiert wurden.

Annotationsverfahren und Beschriftungsprotokoll

Alle multimodalen Sequenzen wurden mit einem strukturierten, dreistufigen Protokoll annotiert. Zunächst überprüften drei lizenzierte Footballtrainer unabhängig voneinander jede Video-Positionssequenz mit einer zeitstempelsynchronisierten Annotationsoberfläche (Kinovea + benutzerdefinierte Tagging-Tabelle). Annotatoren bezeichneten die taktische Entscheidungskategorie (Pass, Drive, Hold), kontextuelle Hinweise (Druckzone, Überholspuren) und Ereigniszeitstempel. Zweitens identifizierte ein Disagree-Detection-Skript automatisch Fälle von Mehrdeutigkeit oder Konflikt, die dann in einem gemeinsamen Konsenstreffen überprüft wurden. Drittens wurde zur Sicherstellung der Konsistenz bei der Grenzzeichnung von Ereignissen und der zeitlichen Ausrichtung zwischen den Modalitäten ein abschließender Durchgang von einem unabhängigen leitenden Analysten durchgeführt. Dieser Prozess stellte für spätere Modellschulungen sicher, dass jede Annotation nachverfolgbar und von bester Qualität war.

Vorverarbeitung

Während die vorliegende Studie mit 500 multimodalen Sequenzen durchgeführt wurde, wurde die Preprocessing-Pipeline von Natur aus für groß angelegte Datensätze eingerichtet. Alle Modalitäten durchliefen automatisierte Skripte, die parallel Videoframes in Batch-Extrahieren extrahierten, Audio resampleten, Positionsdaten interpolierten und Z-Score-Normalisierung anwendeten. Das Vorhandensein einer modularen Architektur ermöglicht es, jede Modalität unabhängig auf separaten GPU/CPU-Threads vorab zu verarbeiten. Dies ermöglicht die lautstarke Aufnahme von Spielaufnahmen. Dies stellt sicher, dass der Arbeitsablauf problemlos auf Vollsaison-Datensätze ohne manuelles Eingreifen skaliert werden kann und macht das Framework für den realen Einsatz in professionellen Analyseumgebungen geeignet.

Um taktische Entscheidungen im Mannschaftssport richtig zu analysieren, müssen Rohdaten aus verschiedenen Modalitäten – z. B. Videoclips, Audiosignale und Positionsaufnahmen – vorbearbeitet und abgestimmt werden. Die multimodale Eingangsillustration ist

Gleichung 1(1)

Hier wird V als eine Reihe von Videomerkmalen bezeichnet, die aus dem CNN-Encoder extrahiert wurden.

Gleichung 2(2)

Hier ist A eine Audio-Charakteristik und wird von wave2vec kodiert.

Gleichung 3(3)

P stellt die Koordinatenposition eines Spielers zum Zeitpunkt ti dar.

Um mit asynchronen Abtastraten umzugehen, wird jede Modalität auf eine gemeinsame Zeitleiste neu gesampelt oder interpoliert:

Gleichung 4(4)

Hier Gleichung 5ist eine synchronisierte Charakteristik ft , ist die Rate des kombinierten Rahmens, Xm ist eine Anfangsanzeige.

Für eine einheitliche Skalierung über Modalitäten hinweg sind alle Merkmalsvektoren z-Score-normalisiert:

Gleichung 8(5)

μX und σX bezeichnen den Mittelwert und die Standardabweichung der Merkmalsdimension im Trainingssatz.

Während die Hauptanliegen Pass-/Drive-Entscheidungen sind, wurden Audiokanäle (z. B. Spieler/Trainer-Kommunikation, Umgebungsspielhinweise) hinzugefügt, um tatsächliche Spielsituationen zu berücksichtigen, in denen Sprachsignale die taktische Reaktion beeinflussen. Hyperparameter (z. B. Lernrate, Epochen) wurden durch Gittersuche und bestehende Bewertungen im multimodalen Lernen ausgewählt, wodurch ein Gleichgewicht zwischen Konvergenzstabilität und Recheneffizienz gefunden wurde.

Die Hyperparameter des vorgeschlagenen Frameworks – Lernrate, Batchgröße und Trainingsepochen – wurden durch eine gut geplante systematische Gittersuche ausgewählt, um sowohl Konvergenzstabilität als auch Recheneffizienz zu erreichen. Die Wahl einer Lernrate von 0,0001 mit dem Adam-Optimierer ermöglichte stabile Updates des Gradienten ohne Oszillationen, während die Batch-Größen so optimiert wurden, dass die GPU-Speicherkapazität gegen den Trainingsdurchsatz ausgewogen wurde. Die Einstellung von 50–100 Epochen wurde verwendet, um ein ausreichendes Lernen ohne Überanpassung zu ermöglichen, wie durch Validierungsverlustverfolgung und zehnfache Kreuzvalidierung bestätigt wurde. Diese Werte wurden nicht willkürlich festgelegt, sondern durch frühere Tests im multimodalen Lernen geleitet und durch experimentelle Studien auf dem aktuellen Datensatz angepasst. Dieser rigorose Prozess garantierte, dass die ausgewählten Hyperparameter stabiles Modelltraining und reproduzierbare Leistungsverbesserungen gegenüber Basisansätzen ermöglichten.

Obwohl sich die Klassifikationsaufgabe auf Pass-/Drive-/Hold-Entscheidungen konzentriert, wurden Audioinformationen bewusst einbezogen, da echtes taktisches Verhalten im Football stark von der Kommunikation zwischen Spieler und Trainer, Mitspieler-Calling-Signalen, Presssignalen und Umgebungsgeräuschen (z. B. Ballkontakt, gegnerischer Ansatz) beeinflusst wird. Diese Hinweise gehen häufig Entscheidungsprozessen voraus oder treten gemeinsam mit ihnen auf und sind Teil der natürlichen Wahrnehmungsumgebung von Fußballspielern. Vorläufige Ablationsexperimente zeigten, dass das Ausschließen des Audios das Abruf um 3,8 % reduzierte, was darauf hindeutete, dass selbst subtile akustische Hinweise zur Kontextwahrnehmung beitragen. Aus diesem Grund wurde Audio beibehalten, um die ökologische Validität zu erhalten und die Fähigkeit des Modells zu verbessern, sich auf reale Übereinstimmungsbedingungen zu verallgemeinern.

Tatsächlich wurde zur weiteren Unterstützung dieser Hyperparameter eine interne Sensitivitätsanalyse durchgeführt, indem systematisch die Lernrate von 1e-5 bis 5e-4, die Batchgröße von 8 bis 32, die Anzahl der Transformatorschichten von 4 bis 8 und die Anzahl der Aufmerksamkeitsköpfe von 4 bis 12 variiert wurde. Die gewählte Konfiguration mit einer Lernrate von 1e-4, einer Batchgröße von 16 und einem 6-Schicht-Encoder mit 8 Aufmerksamkeitsköpfen führte kontinuierlich zu stabiler Konvergenz mit dem geringsten Validierungsverlust und minimierte Überanpassungen bei 10-facher Cross-Validation. Größere Chargengrößen führten zu Gradienteninstabilität, während kleinere Chargen das Rauschen erhöhten und die Konvergenz verzögerten. Ähnlich zeigten Transformatormodelle mit mehr als 8 Köpfen keine Leistungssteigerung, aber sie erhöhten die Rechenzeit erheblich. Die erzielten Ergebnisse rechtfertigen die endgültigen Einstellungen der in dieser Studie verwendeten Hyperparameter.

Merkmalsextraktion mittels 3D-konfaltionalen neuronalen Netzwerks

Im vorgeschlagenen Transformer-Based Multimodal Fusion Framework für taktische Entscheidungen im Teamsport ist das 3D Convolutional Neural Network (3D CNN) dafür verantwortlich, räumlich-zeitliche Merkmale aus rohen Videoclips zu extrahieren.

Im Gegensatz zu 2D-CNNs, die nur räumliche Dimensionen (Breite W und Höhe H) berücksichtigen, berücksichtigen 3D-CNNs auch die temporale Dimension R, wodurch sie Bewegungsdynamiken und sequentielle Muster erkennen können, die für das Verständnis des Teamverhaltens entscheidend sind, wie Drives und Pässe im Fußball.

Der 3D-CNN28 wird erstmals vorgeschlagen, um die räumlichen und zeitlichen Informationen von Videodaten zu kombinieren. Ein 3D-Kernel wird in einem 3D-Faltungsalgorithmus für einen Würfel verwendet, der aus Frames besteht, bei dem ein Teil der Spalten gestapelt ist. Die 3D-Faltung kann in Gleichung (6) geschrieben werden.

Gleichung 11(6)

Wobei: Gleichung 12 das Ausgabemerkmal an der Position (x, y, z) auf der j-ten Merkmalskarte der l-ten Schicht ist.Gleichung 14 das Gewicht des Kerns an Ort (h,w,r) aus der m-ten Eingabefeature-Abbildung ist. Gleichung 16 ist die Eingabe bei räumlich-zeitlicher Versetzung zur vorhergehenden Schicht. blj ist die Vorspannung. f(.) ist die Aktivierungsfunktion (meist ReLU). M ist die Anzahl der Eingabe-Feature-Maps aus der vorhergehenden Schicht. Diese Gleichung ermöglicht es dem 3D-CNN, die räumlichen (Höhe und Breite) und zeitlichen (Rahmensequenz-) Informationen parallel zu kombinieren.

Abbildung 4
Abbildung 4. 3D-CNN-Verarbeitungsarchitektur. Zeigt, wie raum-zeitliche Merkmale mithilfe von 3D-Faltungsoperationen aus Videosequenzen extrahiert werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4 zeigt den Arbeitsprozess eines 3D-CNN. Die Pipeline beginnt mit der Eingabephase, in der unverarbeitete Videoströme eines Fußballspiels mit organisierten Daten verschmolzen werden, einschließlich Spielerstandorten, Spielstatistiken und kontextuellen Metadaten. Diese multimodalen Informationen bewahren sowohl visuelle Dynamiken als auch den situativen Kontext, die für die Analyse von Teamtaktiken entscheidend sind. Anschließend wird der Videostrom durch ein 3D Convolutional Neural Network (3D CNN) geleitet. In diesem Fall wird eine Reihe von 3D-Faltungsschichten auf den Eingabeframes verwendet. Die Schichten verlaufen entlang der räumlichen Dimensionen (Höhe und Breite) und der zeitlichen Dimension (Frames), was es dem Netzwerk ermöglicht, Bewegungsmuster, Spielerinteraktionen und sequenzbasierte Taktiken wie Pässe oder Angriffe zu erlernen. Anschließend wird ein Merkmalswürfel gebildet, der dichte raumzeitliche Merkmale aufweist. Dieser Würfel wird Pooling-Operationen unterzogen, um die Dimension zu reduzieren und dabei bedeutende Merkmale zu erhalten. Beim Pooling wird das Merkmalsvolumen zu einem 1D-Vektor abgeflacht, was eine prägnante Darstellung der taktischen Situation liefert. Dieser Merkmalsvektor wird anschließend in ein vollständig verbundenes Deep Neural Network (DNN) eingegeben. Der DNN ist der Entscheidungsblock, der die verschmolzenen und extrahierten Merkmale verarbeitet, um taktische Entscheidungen wie Passen, Schießen oder Halten zu treffen. Die Ausgabe des Netzwerks ist die endgültige taktische Entscheidung des Systems, die auf der tatsächlichen Spielsituation in Echtzeit sowie auf erlernten strategischen Mustern basiert.

Einbettung und Ausrichtung multimodaler Eingaben

Nach der Feature-Extraktion werden die drei Features wie Audio, Video und die statistische Position des Players als Eingabemodalität angegeben.

Um diese in einen Transformator einzugeben und dann jede einzelne durch eine lernbare Einbettungsfunktion einzuspeisen:

Gleichung 19(7)

wobei f3DCNN die raumzeitlichen Merkmale jedes Zeitschnitts Vt erlernt und sie auf einen d-dimensionalen latenten Raum abbildet.

Gleichung 22(8)

wobei WP und bP lernbare Gewichte sind.

Gleichung 25(9)

Alle Einbettungen sind nach der zeitlichen Dimension T ausgerichtet. Wenn die Modalitäten unterschiedliche Frequenzen haben, wird Interpolation oder Down-Sampling verwendet:

Gleichung 26(10)

Nun sind alle Modalitäten synchronisiert als:

Gleichung 27(11)

Um die zeitliche Ordnung im Transformator zu erhalten, führen Sie auch Positionskodierungen für jeden Vektor ein:

Gleichung 28(12)

Wobei Gleichung 29 die Standard-sinusförmige oder lernbare Positionskodierung dargestellt wird.

Jede Modalität wird operativ mittels einer PyTorch-Linearschicht codiert, die zu einem 512-D-Vektor verkettet und anschließend nach Positionskodierung in die Transformator-Eingangssequenz eingespeist wird. Dies stellt sicher, dass bei jedem Zeitpunkt eine einheitliche Einbettung für die Querbeachtung vorbereitet ist.

Der Endtensor ist

Gleichung 30(13)

wird in den Transformer-Encoder eingespeist, wo die Selbstaufmerksamkeit und die Mechanismen der übergreifenden Modalität es dem Modell ermöglichen, gemeinsam über alle Modalitäten hinweg für taktische Entscheidungen zu argumentieren.

Transformatorbasierte multimodale Fusion

Im vorgeschlagenen Ansatz wird die Low-Rank-Matrixfaktorisierungsmethode verwendet, um die erfassten multimodalen Datenvektoren zu integrieren. Das hochdimensionale Problem, das auftritt, wenn Tensoren direkt fusioniert werden, wird durch diese Methode gelöst, die für die Tensorfusion29 einen Low-Rank-Decompositionsfaktor verwendet. Jede Modalität wird zunächst als Vektor dargestellt, und eine Dimensionsreduktion, die signifikante Wechselwirkungen bewahrt, wird mittels Low-Rank-Dekomposition erreicht. Der Fusionstensor ZM unter den M-Modalitäten ist wie folgt aufgebaut:

Gleichung 32(14)

Hier: Gleichung 33 ist der m-te Modalitätsfaktor Gleichung 60 mit niedrigem Rang, das äußere Produkt und r ist der Zerlegungsrang.

Der Fusionsvektor h wird dann wie folgt berechnet:

Gleichung 34(15)

Wenn zwei Modalitäten allein verwendet werden, ergibt sich die reduzierte Fusion:

Gleichung 35(16)

Dies erzeugt einen gemeinsamen multimodalen Darstellungsvektor h, der intermodale Interaktionen auf latenter Ebene modelliert.

Nach dem Erwerb des niedrigrangigen fusionierten Vektors h modelliert das Transformer-Modul Abhängigkeiten und richtet semantische Darstellungen zwischen den Modalitäten aus. Eine intermodale Aufmerksamkeit ist speziell darauf ausgelegt, einer Modalität Aufmerksamkeit auf eine andere zu schenken:

Gleichung 36(17)

Wobei Qm die Modalitäts-m-Abfrage ist, Kn,V n die Schlüssel- und Wertvektoren in Modalität n, dk die Dimension der Schlüsselvektoren. Dieses Setup ermöglicht modalitätsspezifische Aufmerksamkeitsflüsse, sodass jede Kategorie von Eingaben relativ zu anderen verarbeitet werden kann (z. B. durch Synchronisation der Spielerbewegung mit Spielkontext und Videoindikatoren).

Die kreuzbetreuten Vektoren werden durch ein Multilayer Perceptron (MLP) gestapelt und klassifiziert. Das Ergebnis ist ein taktisches Entscheidungslabel (z. B. Pass, Drive, Hold), Kreuzentropieverlust, optimiert für End-to-End-Training.

Abbildung 5
Abbildung 5. Transformatorbasierte multimodale Fusionsarchitektur. Zeigt, wie visuelle und sensorische Modalitäten über einen Transformatorencoder integriert werden, um die Merkmalsdarstellung zu verbessern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Der multimodale Fusionsblock, wie in Abbildung 5 gezeigt, kombiniert visuelle und positionsbezogene Eingaben. Es ist ein notwendiges Design, da taktische Entscheidungen räumliches Bewusstsein und Bewegungsdynamik erfordern, die nicht durch eine einzige Modalität dargestellt werden können.

Abbildung 5 zeigt die Arbeitsstruktur der transformatorbasierten multimodalen Fusion. Dieses Design kombiniert verschiedene Daten, Video, räumliche Koordinaten und Spielkontextdaten in einem einzigen Kanal, um taktische Aktionen wie Überholen, Fahren oder Halten vorherzusagen. Der Ansatz beginnt mit der Eingabe von Videos, die mit einem 3D Convolutional Neural Network (3D CNN) geprüft werden. Dieses System identifiziert sowohl räumliche als auch zeitliche Strukturen im Video und ermöglicht es, dynamische Spieleraktivität und Kommunikation über die Zeit zu erfassen. Gleichzeitig werden kontextuelle und positionsbezogene Informationen durch Einbettungsschichten vermittelt, die strukturierte Eingaben in dichte Vektorrepräsentationen umwandeln. Die kontextuellen, positionsbezogenen und Videoströme können dann von einem Low-Rank-Fusion-Modul fusioniert werden. Der Ansatz erhält wirkungsvoll intermodale Korrelationen durch Fusionsraumdekomposition, minimiert die Rechenkomplexität und erhält dabei wesentliche Beziehungen zwischen den Modalitäten. Schließlich wird die fusionierte multimodale Darstellung von einem Transformer-Encoder mit crossmodaler Aufmerksamkeit verarbeitet. Dieses Verfahren ermöglicht es dem Modell, sich auf die richtigen Merkmale über Modalitäten und Zeitschritte hinweg zu konzentrieren, was sein Verständnis des strategischen Spielverhaltens verbessert. Schließlich wird die codierte Ausgabe durch eine Verkettung und einen Multi-Layer Perceptron (MLP)-Block weitergeleitet, der die erlernte Darstellung auf einige taktische Entscheidungen abbildet. Die Modellausgabe klassifiziert Spieleraktionen wie "Pass", "Drive" oder "Hold", um eine intelligente, datenbasierte Analyse der Teamtaktiken zu ermöglichen.

Im vorgeschlagenen Transformer-Based Multimodal Fusion taktischen Analysesystem für Mannschaftssportarten ist die letzte Phase die taktische Entscheidungsklassifikation und -bewertung, bei der erlernte multimodale Darstellungen in entscheidungsveränderbare Labels umgewandelt werden. Nachdem Video-, Positions- und Kontextmerkmale durch Low-Rank-Fusion verschmolzen und mit crossmodaler Aufmerksamkeit im Transformer-Encoder fein abgestimmt wurden, werden die resultierenden Merkmalsvektoren in einen Multi-Layer Perceptron (MLP)-Klassifikator eingespeist. Jede Entscheidungsklasse wird mit einer Softmax-Aktivierungsfunktion dargestellt, die Wahrscheinlichkeitswerte für alle möglichen Aktionen liefert. Die wahrscheinlichste Klasse wird als vorhergesagte Entscheidung des Modells gewählt. Das Modell ist auf einer Kreuzentropie-Verlustfunktion trainiert, die korrekte Vorhersagen belohnt und das Netzwerk dazu bringt, ähnliche Unterschiede in taktischen Situationen zu unterscheiden. Zusätzlich könnte eine Zeitdomänenbewertung in Betracht gezogen werden, um die Reaktionsfähigkeit in Echtzeit- oder nahezu Echtzeit-Spielsituationen zu bestätigen, um sicherzustellen, dass der Klassifikator genau ist und auch unter spielähnlichen Zeitvorgaben keine Zeitverschwendung verursacht. Tabelle 2 zeigt die Modellarchitektur und Hyperparameter.

KomponenteSpezifikation
Transformator-Encoder-Schichten6
Achtung, Köpfe8
Verborgene Dimension512
Vorwärtsschichtgröße2048
EinbettungsdimensionenVideo: 1024 → 512, Audio: 256 → 512, Position: 128 → 512
PositionskodierungLernbar
FusionsmethodeMultimodale Fusion mit niedrigem Rang (Rang r = 16)
OptimiererAdam
Lernrate0.0001
Chargengröße16
Ausbildungsepochen50–100
Schulabbrecher0.1
VerlustfunktionKreuzentropie

Tabelle 2: Modellarchitektur und Hyperparameter. Listet Trainingssettings und Schlüsselkomponenten des vorgeschlagenen transformatorbasierten multimodalen Fusionsmodells auf.

Für weitere Klarheit und Reproduzierbarkeit wurde der multimodale Transformator mit einem 6-Schicht-Encoder-Stack implementiert, der jeweils mit 8 Aufmerksamkeitsköpfen und einer versteckten Dimension von 512 ausgestattet ist, entsprechend den typischen Transformatoreinstellungen für mittelgroße multimodale Aufgaben. Jede Modalität durchläuft einen Embedding-Block: Video über einen 3D-CNN-Encoder-Ausgang, 1024-dim; Audio durch einen Wave2Vec-basierten Encoder, 256-dimm; und positionelle plus kontextuelle Merkmale durch einen 2-Schicht-MLP-Encoder, 128-dim. All diese Einbettungen wurden durch lernbare lineare Transformationen auf einen gemeinsamen 512-D-latenten Raum projiziert. Um die zeitliche Ausrichtung zu etablieren, werden alle Modalitäten zunächst auf eine einzelne Frequenz von 25 Hz interpoliert, gefolgt von der Anwendung erlernter Positionskodierungen, um die temporale Ordnung zu erhalten. Die Cross-Modal-Ausrichtung erfolgt mithilfe der Cross-Attention-Schichten, die explizit Korrelationen zwischen Modalitäten lernen, bevor sie in den Self-Attention-Encoder-Stack eingespeist werden. Diese architektonischen Entscheidungen wurden getroffen, um die Modellkapazität mit der Recheneffizienz auszubalancieren und so eine stabile Konvergenz auf einem moderat großen Datensatz sicherzustellen.

In der Praxis ist das vorgeschlagene Transformer-Based Multimodal Fusion Framework am besten geeignet für Szenarien, in denen synchronisierte multimodale Daten verfügbar sind, wie strukturierte Trainingssitzungen, kontrollierte Spielsimulationen oder professionelle Umgebungen mit konsistenten Videofeeds und Positionsverfolgungssystemen. Die vier wichtigsten Eingaben, die für die Methode benötigt werden, sind (i) hochauflösendes Video, (ii) Positionsverfolgungsdaten (GPS/LPS), (iii) Audioströme und (iv) kontextuelle Metadaten – z. B. Besitz, Druckzonen, Anpassungsphase. Um eine zuverlässige Leistung zu erzielen, müssen diese Modalitäten zeitlich ausgerichtet sein mit minimalem Drift (Video ≥ 25 fps und Positionssensoren ≥ 10 Hz) und stabile Blickstände sowie minimales Signalrauschen gewährleisten. Einstellungen, die diese synchronisierten Eingaben nicht bieten, zum Beispiel Amateurspiele mit unregelmäßigen Kamerawinkeln, Live-Übertragungen mit Latenz-/Kompressionsartefakten oder eine Umgebung ohne Positionsverfolgungsinfrastruktur, sind für das Framework weniger relevant. Darüber hinaus funktioniert das aktuelle System am besten unter halb kontrollierten Bedingungen, kann aber in völlig unkontrollierten Live-Match-Situationen deutlich weniger robust sein, in denen Lichtverhältnisse, Okklusion und dynamisches Publikumsrauschen die Qualität der Datenerfassung beeinflussen. Diese Einschränkungen beschreiben die praktischen Grenzen, innerhalb derer dieses System eingesetzt werden kann, und betonen, dass eine konsistente Datenerfassung in mehreren Modi für die Anwendung des vorgeschlagenen Modells unerlässlich ist.

Modifikationen und Fehlerbehebung

In der praktischen Implementierung können im gesamten multimodalen Pipeline mehrere Probleme auftreten, die die Modellstabilität oder die Gesamtleistung verringern können. Ein häufiges Problem ist zeitliche Fehlanpassungen zwischen Modalitäten, bei denen Videoaufnahmen mit 25 fps und positionsbezogene Daten bei 10 Hz aus dem Takt geraten, was zu unpassenden Hinweisen führt, die Aufmerksamkeitskarten destabilisieren und das Abruf verringern. Dies kann durch Zeitstempel-basiertes Resampling, lineare Interpolation und das automatische Entfernen von Sequenzen mit übermäßigem Drift gelöst werden. Audiokanäle können auch unter Geräuschen leiden, die durch Wind, Menschenmengengeräusche oder Mikrofonclipping verursacht werden, was dazu führt, dass der Transformator Audio-Tokens ignoriert und die Präzision leicht verringert. Die Anwendung von Bandpassfilterung, Spektralgating und das Ersetzen stark beschädigter Segmente mit null Vektoren hilft, die Stabilität der Audio-Einbettung zu erhalten. Visuelle Qualitätsprobleme wie Spielerverschlüsse oder Bewegungsunschärfe können die raumzeitlichen Darstellungen des 3D-CNN schwächen und die Verwirrung zwischen Pass und Drive erhöhen. Dies wird durch Ausschluss stark verdeckter Sequenzen und der Einsatz von Augmentationsstrategien wie zufälligem Beschneiden, Helligkeitsnormalisierung und Bewegungsunschärfe-Simulation gemildert. Transformatorinstabilität kann auftreten, wenn Einbettungsskalen sich zwischen den Modalitäten unterscheiden und so oszillierende Validierungsverluste oder Gradientenspitzen verursachen. Die Sicherstellung einer konsistenten Z-Score-Normalisierung, der Verwendung eines Aufwärm-Lernraten-Schemas, der Anwendung von Gradient-Clipping und einer erhöhten Dropout kann stabiles Training wiederherstellen. Niedrigrangige Fusion kann auch problematisch werden, wenn der Fusionsrang falsch eingestellt ist, was zu verzerrten intermodalen Beziehungen und einem klassenweisen Ungleichgewicht führt. Die Aufrechterhaltung eines moderaten Rangs für kleine Datensätze, die Erhöhung des Rangs für größere Datensätze und die Anwendung der L2-Regularisierung helfen, die ausgewogene Fusion zu bewahren. Rechenintensive Engpässe können durch große Videotensoren entstehen, die einen GPU-Speicherüberlauf oder langsames Training verursachen. Diese Probleme können durch Mixed-Precision-Training (FP16), die Reduzierung der Eingabeauflösung während früher Experimente oder das Caching vorberechneter 3D-CNN-Funktionen gelöst werden. Schließlich kann das natürliche Klassenungleichgewicht bei taktischen Entscheidungen, insbesondere bei "Drive", den Rückruf verringern und Schwankungen im AUC verursachen; Die Anwendung von klassenausgeglichenen Verlusten, das Übersampling von Minderheitenaktionen und die Anreicherung kontextueller Metadaten kann das Gleichgewicht und die Entscheidungsdiskriminierung erheblich verbessern. Diese konsolidierte Fehlerbehebungsanleitung stellt sicher, dass Forscher und Praktiker stabile Trainingsbedingungen aufrechterhalten, die Reproduzierbarkeit verbessern und das Framework effektiv über verschiedene Datensätze und Umgebungen hinweg anpassen können.

Access restricted. Please log in or start a trial to view this content.

Results

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Design vereint verschiedene Daten, Video, räumliche Koordinaten und Spielkontextdaten in einem einzigen Kanal, um taktische Aktionen wie Passspielen, Fahren oder Halten vorherzusagen. Der Ansatz beginnt mit der Eingabe von Videos, die mit einem Three-Dimensional Convolutional Neural Network (3D CNN) geprüft werden. Die kontextuellen, positionsbezogenen und Videoströme können dann von einem Low-Rank-Fusion-Modul fusioniert werden. Der Ansatz erhält wirkungsvoll intermodale Korrelationen durch Fusionsraumdekompositi...

Access restricted. Please log in or start a trial to view this content.

Discussion

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das hier vorgestellte Transformer-Based Multimodal Fusion Framework stellt eine wichtige Weiterentwicklung gegenüber dem im Grundpapier skizzierten Stroop Task Football Test (STFT) dar. Im Gegensatz zur Grundarbeit, die sich auf kontrollierte, labororientierte Tests mit begrenzten und statischen Reizen wie farbigen Pfeilen und vordefinierten Aufgaben (Fahren oder Überholen) konzentrierte, arbeitet das neue Modell aus realen, multimodalen Quelldaten, um eine reichhaltigere, automatisierte...

Access restricted. Please log in or start a trial to view this content.

Disclosures

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren haben keine Interessenkonflikte zu erklären.

Acknowledgements

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren danken dankbar für die Unterstützung der School of Physical Education der Beibu Gulf University und der School of Statistics der Southwestern University of Finance and Economics für die Bereitstellung von Ressourcen und institutioneller Unterstützung während dieser Forschung. Diese Arbeit wurde außerdem vom National Social Science Fund Project 2023 unterstützt: Forschung zur effektiven Nutzung roter Sportkulturressourcen im alten revolutionären Basisgebiet Zuo jiang–You jiang (Zuschuss Nr. 23CTY016).

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
3D-CNNBenutzerdefinierte ImplementierungRäumlich-zeitliche Merkmal-Extraktion aus dem Video
GoPro Hero4GoPro Inc.https://gopro.com/Videoaufnahme der Spiele
GPS/IMU-SensorenKatapultsportarten / Xsenshttps://www.catapultsports.com/Spielerpositionsverfolgung
Intel Core i7-11700K CPUIntelhttps://www.intel.comModelltrainings-Workstation-CPU
Librosalibrosa.orghttps://pypi.org/project/librosa/Audiosignalverarbeitung und Resampling
MLP-KlassifikatorPyTorch / TensorFlowTaktische Entscheidungsklassifikation
NumPyPython Software Foundationhttps://pypi.org/project/numpy/Numerische Berechnung und Matrixoperationen
NVIDIA RTX 3080 GPUNVIDIAhttps://www.nvidia.comDeep-Learning-Training und Inferenz
OpenCVOpenCV.orghttps://pypi.org/project/opencv-python/Frame-Extraktion aus dem Video
PandasPython Software Foundationhttps://pypi.org/project/pandas/Datenmanipulation und tabellarische Behandlung
PCA (Scikit-Learn)Scikit-learnhttps://scikit-learn.org/Dimensionsreduktion
Python 3.9Python Software Foundationhttps://www.python.org/downloads/release/python-390/Programmiersprachenumgebung
PyTorchPyTorch Stiftunghttps://pytorch.org/Deep-Learning-Framework
scikit-learnscikit-learn-Entwicklerhttps://pypi.org/project/scikit-learn/Kreuzvalidierung, ICC-Berechnung
TensorFlow 2.8Googlehttps://www.tensorflow.org/Deep-Learning-Framework
Transformator-EncoderPyTorch / TensorFlowMultimodale Feature-Integration mit Aufmerksamkeit
Ubuntu 20.04 LTSCanonical Ltd.https://ubuntu.com/Betriebssystem für Modelltraining
ArbeitsstationCustom / Intel, NVIDIACPU, GPU, RAM für Modelltraining

References

Loading...
$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Calle-Jaramillo, G. A., Franco, R., González, S. R., Forero, L. M., González, H. Design and validation of a test to evaluate the execution time and decision-making in technical–tactical football actions (passing and driving). Behav Sci. 13 (1), 101(2023).
  2. Renshaw, I., Davids, K., O’Sullivan, M., Maloney, M. A., Crowther, R., McCosker, C. An ecological dynamics approach to motor learning in practice: reframing the learning and performing relationship in high performance sport. Asian J Sport Exerc Psychol. 2, 18-26 (2022).
  3. Lamas, L., Senatore, J. V., Fellingham, G. Two steps for scoring a point: creating and converting opportunities in invasion team sports. PLoS ONE. 15, e0240419(2020).
  4. Gonçalves, B., et al. Extracting spatial-temporal features that describe team match demands when considering the effects of the quality of opposition in elite football. PLoS ONE. 14, e0221368(2019).
  5. Cardoso, F. D. S. L., González-Víllora, S., Guilherme, J., Teoldo, I. Young football players with higher tactical knowledge display lower cognitive effort. Percept Mot Skills. 126, 499-514 (2019).
  6. Heilmann, F. Self-report versus neuropsychological tests for examining executive functions in youth soccer athletes—a cross-sectional study. Behav Sci. 12, 346(2022).
  7. Torres-Tejeda, S., Portilla-Fernández, J. A., Mugruza-Vassallo, C. A., Córdoba-Berrios, L. L. Variations of reaction times explained by stimuli changes in size and perspective in 2D and 3D for selective attention. Rev Mex Ing Biomed. 41, 91-104 (2020).
  8. Wilke, J., Vogel, O. Computerized cognitive training with minimal motor component improves lower limb choice-reaction time. J Sports Sci Med. 19, 529(2020).
  9. Da Silva Leite Cardoso, F., Afonso, J., Roca, A., Teoldo, I. The association between perceptual-cognitive processes and response time in decision making in young soccer players. J Sports Sci. 39, 926-935 (2021).
  10. Farahani, J., Soltani, P., Rezlescu, C. Assessing decision-making in elite academy footballers using real-world video clips. Prog Brain Res. 259, Elsevier. 59-70 (2020).
  11. Xie, W., et al. Transformer-based multi-modal data fusion method for COPD classification and physiological and biochemical indicators identification. Biomolecules. 13, 1391(2023).
  12. MM-ViT: multi-modal video transformer for compressed video action recognition. Chen, J., Ho, C. M. Proc IEEE CVF Winter Conf Appl Comput Vis (WACV), , 1910-1921 (2022).
  13. Shi, J., et al. A novel two-stream transformer-based framework for multi-modality human action recognition. Appl Sci. 13, 2058(2023).
  14. Capone, V., Casolaro, A., Camastra, F. Spatio-temporal prediction using graph neural networks: a survey. Neurocomputing. 594, 130400(2025).
  15. Ball trajectory inference from multi-agent sports contexts using set transformer and hierarchical bi-LSTM. Kim, H., et al. Proc 29th ACM SIGKDD Conf Knowl Discov Data Min, , (2023).
  16. Lemes, J. C., et al. Influence of pitch size and age category on the physical and physiological responses of young football players during small-sided games using GPS devices. Res Sports Med. 28, 206-216 (2020).
  17. Coutinho, D., et al. Effects of pitch configuration design on players’ physical performance and movement behaviour during football small-sided games. Res Sports Med. 27, 298-313 (2019).
  18. Clemente, F. M., Sarmento, H. Combining small-sided football games and running-based methods: a systematic review. Biol Sport. 38, 617-627 (2021).
  19. Hu, W., Li, B., Li, C., Zhang, T. An integrated intelligent decision system for physical health evaluation of college students with fuzzy number intuitionistic fuzzy information. J Intell Fuzzy Syst. 44, 611-624 (2023).
  20. Cao, L. Design and optimization of a decision support system for sports training based on data mining technology. Sci Program. 2022, 1846345(2022).
  21. Li, L., Zhang, Z., Zhang, S. Hybrid algorithm based on content and collaborative filtering in recommendation system optimization and simulation. Sci Program. 2021, 4(2021).
  22. Shi, W., Wang, L., Qin, J. User embedding for rating prediction in SVD++-based collaborative filtering. Symmetry. 12, 121(2020).
  23. Hasan, M., Roy, F. An item–item collaborative filtering recommender system using trust and genre to address the cold-start problem. Big Data Cogn Comput. 3, 39(2019).
  24. Duan, R., Jiang, C., Jain, H. K. Combining review-based collaborative filtering and matrix factorization: a solution to rating sparsity. Decis Support Syst. 156, 113748(2022).
  25. Multi-view transformation in recommender systems. Ho, T. L., Le, A. C. Proc 2021 Int Conf Syst Sci Eng (ICSSE), , IEEE. 88-91 (2021).
  26. Detector-free weakly supervised group activity recognition. Kim, D., Lee, J., Cho, M., Kwak, S. Proc IEEE CVF Conf Comput Vis Pattern Recognit (CVPR), , 20083-20093 (2022).
  27. Wensel, J., Ullah, H., Munir, A. ViT-RET: vision and recurrent transformer neural networks for human activity recognition in videos. IEEE Access. 11, 72227-72249 (2023).
  28. Alomar, K., Aysel, H. I., Cai, X. CNNs, RNNs and transformers in human action recognition: a survey and a hybrid model. Artif Intell Rev. 58, 1-44 (2025).
  29. Social adaptive module for weakly supervised group activity recognition. Yan, R., et al. Proc Eur Conf Comput Vis (ECCV), , Springer. 224-238 (2020).
  30. Zhang, Y., et al. FairMOT: on the fairness of detection and re-identification in multiple object tracking. Int J Comput Vis. 129, 3069-3087 (2021).
  31. Towards real-time multi-object tracking. Wang, Z., et al. Proc Eur Conf Comput Vis (ECCV), , Springer. 22-107 (2020).
  32. Shuvo, M. R., Mekala, M. S., Elyan, E. Deep learning and attention-based methods for human activity recognition and anticipation: a comprehensive review. Cogn Comput. 17, 1-28 (2025).
  33. Alqarafi, A., Almogadwy, B. TAT-SARNet: a transformer-attentive two-stream soccer action recognition network with multi-dimensional feature fusion and hierarchical temporal classification. Mathematics. 13, 3011(2025).
  34. Detection recovery in online multi-object tracking with sparse graph tracker. Hyun, J., Kang, M., Wee, D., Yeung, D. Y. Proc IEEE CVF Winter Conf Appl Comput Vis (WACV), , 4839-4848 (2023).
  35. Mukhtar, H., Khan, M. U. G. STMMOT: advancing multi-object tracking through spatiotemporal memory networks and multi-scale attention pyramids. Neural Netw. 168, 363-379 (2023).
  36. Dataset used for intraclass correlation coefficient reliability analysis. , https://docs.google.com/spreadsheets/d/1c3bZNClvy8TP7RBspwRI0z7R8-n5Wy5H (2021).
  37. Ma, X., et al. feature extraction within a complex urban area with an improved 3D-CNN using airborne hyperspectral data. Remote Sens. 15, 992(2023).
  38. Xie, W., et al. Transformer-based multi-modal data fusion method for COPD classification and physiological and biochemical indicators identification. Biomolecules. 13, 1391(2023).
  39. Wang, X., Guo, Y. Intelligent football players’ motion recognition system based on convolutional neural network and big data. Heliyon. 9, e19822(2023).
  40. Paneru, B., et al. Enhancing soccer pass receiver prediction in broadcast images through advanced deep learning techniques: a comprehensive study on model optimization and performance evaluation. J Soft Comput Explor. 5, 115-121 (2024).
  41. Shot prediction in the attacking third based on spatio-temporal features: a dynamic time-series model approach. Gong, B., et al. Proc 4th Int Conf Inf Technol Contemp Sports (TCS), , IEEE. (2024).
  42. Yang, K. O., Koh, J., Choi, J. W. Unified contrastive fusion transformer for multimodal human action recognition. arXiv. , (2023).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Transformer ModelMultimodal FusionTactical Decision AnalysisTeam SportsFootball AnalyticsPlayer PositioningDecision ClassificationFeature ExtractionReal Time PredictionVideo Analysis

Related Articles