$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Die Studie umfasste 40 männliche Fußballspieler im Alter von 18 bis 24 Jahren (Mittelwert = 20,1 ± 1,2), die aus vier Amateur- und semiprofessionellen Vereinen innerhalb einer regionalen Liga rekrutiert wurden. Alle Teilnehmer hatten mindestens drei Jahre Wettkampferfahrung und trainierten derzeit in einer strukturierten Umgebung. Die Datenerhebung erfolgte in zwei kontrollierten Umgebungen: erstens in standardisierten Übungsgelände-Übungen, die taktische Pass-/Drive-Entscheidungsszenarien simulierten; zweitens in längeren Sitzungen der Match-Simulation, aus denen multimodale Sequenzen extrahiert wurden. Alle Verfahren wurden vom Institutional Ethics Committee der Beibu Gulf University genehmigt (Genehmigungsnummer: BG-PE-2023-117), und vor der Datenerhebung wurde von allen Teilnehmern eine schriftliche informierte Zustimmung eingeholt. Bei der Durchführung dieser Untersuchung wurden internationale und institutionelle ethische Standards eingehalten. Das Ethikkomitee für Institutionen der Beibu Gulf University prüfte und genehmigte alle Verfahren mit menschlichen Probanden (Genehmigungsnummer: BG-PE-2023-117). Vor der Datenerhebung gab jeder Teilnehmer eine schriftliche informierte Einwilligung, und alle gesammelten Daten wurden vor der Analyse anonymisiert.
Diese Arbeit zielt darauf ab, die Untersuchung der taktischen Entscheidungen im Teamsport durch eine Transformer-basierte Multimodale Fusion-Architektur zu automatisieren und zu verbessern. Es nutzt eine Vielzahl von Datenquellen, darunter Video, Audio, räumliche Position und Spielermetadaten, um ein robustes Echtzeit-Vorhersagemodell zu erstellen. Abbildung 1 zeigt die Architektur der vorgeschlagenen Methode. Die vorgeschlagene Arbeit besteht aus fünf Phasen. Die Stadien werden im Folgenden beschrieben:

Abbildung 1. Architektur der vorgeschlagenen Methode. Schaltplan des Modells, das multimodale Eingaben und Klassifikationskomponenten für taktische Entscheidungsfindung kombiniert. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Datenerfassung und Vorverarbeitung
Daten aus verschiedenen Modalitäten werden aus Aufzeichnungen von Matches gesammelt, wie Videoaufnahmen, Audiokommentaren, GPS-/Positionsinformationen und Leistungsindikatoren der Spieler. Jede Modalität wird in Form von Techniken wie Frame-Extraktion (für Video), Rauschfilterung (für Audio) und Normalisierung (für Sensormessungen) vorbearbeitet, um die Synchronisation in Zeitschritten sicherzustellen.
Videoframes wurden mit 25 fps extrahiert und auf 224 × 224 Auflösung reduziert. Audiosignale wurden mit einem Bandpassfilter von 300 bis 3.400 Hz verarbeitet, um den Großteil des Umweltrauschens zu eliminieren. Positionsverfolgungsdaten von GPS-Sensoren wurden bei 10 Hz aufgezeichnet und mittels linearer, zeitstempelbasierter Interpolation interpoliert, um sicherzustellen, dass sie mit der 25-Hz-Video-Zeitleiste übereinstimmen. Alle Eingaben wurden zeitlich mittels gemeinsamer Zeitstempel ausgerichtet, und ihre Skalen wurden mit z-Scoring normalisiert.
Merkmalsextraktion
Um die raumzeitlichen Informationen der Videodaten zu sammeln, werden 3D-CNNs verwendet. Die 3D-CNNs verarbeiten sowohl räumliche als auch zeitliche Informationen über Videoframes hinweg, wodurch das Modell in der Lage ist, Bewegungsmuster zu erkennen, Gruppenverhalten zu verstehen und bewegungsbasierte Merkmale zu extrahieren. Diese Operation erzeugt eine dichte Merkmalsrepräsentation pro Aktionssequenz, die als visuelle Eingabe für das Modell verwendet wird. Jeder Video-Eingabeclip enthielt 16 aufeinanderfolgende Frames, die mit einem Schritt von 2 gesampelt wurden. Zufälliges Zuschneiden, horizontales Umdrehen und Helligkeitsnormalisierung wurden während des Trainings angewendet. Der 3D-CNN wurde mit Adam (lr = 0,0001), Chargengröße 16 und Kreuzentropieverlust optimiert.
Einbettung und Ausrichtung multimodaler Eingaben
Danach werden Embeddings aus verschiedenen Modalitäten in die 3D-CNN-Ausgaben integriert. Es wird eine multimodale Transformatormodellarchitektur verwendet, wobei verschiedene Encoder-Zweige jede Modalität verwalten. Cross-Attention-Schichten werden für die Modalitätsfusion und -ausrichtung eingesetzt, sodass das Modell gegenseitige Abhängigkeiten erfassen kann (z. B. zwischen Spielerstandorten und Ballbewegung sowie Kontext aus dem Kommentar). Diese Verschmelzung ermöglicht ein bereichertes kontextuelles Verständnis aktueller taktischer Entscheidungen. Ich habe auch alle Embeddings in PyTorch implementiert. Videomerkmale wurden linear von 1.024 bis 512 Dimensionen projiziert, Audio- und Positionsmerkmale auf 256 bzw. 128 Dimensionen, vereinheitlicht auf 512 Dimensionen vor der zeitlichen Ausrichtung.
Transformatorbasierte multimodale Fusion
Ein multimodaler Transformator wird eingesetzt, um die aus allen Quellen extrahierten Merkmale zu kombinieren. Selbstaufmerksamkeitsmechanismen im Transformer ermöglichen es dem Modell, Wechselwirkungen zwischen Modalitäten (z. B. Bild + Audio) zu erlernen, zeitlichen Fluss und Kontext zu erfassen sowie taktisch wichtige Frames und Ereignisse hervorzuheben. Das Ergebnis dieses Schrittes ist eine kombinierte Darstellung, die die taktische Absicht und den situativen Kontext jeder getroffenen Entscheidung erfasst. Der multimodale Transformator bestand aus sechs Encoderschichten, jede mit acht Aufmerksamkeitsköpfen. Aufmerksamkeitsmatrizen wurden mit skalierter Punktprodukt-Aufmerksamkeit berechnet. Aufmerksamkeits- und Vorwärtsschichten beinhalteten außerdem Dropout mit p = 0,1, um Überanpassungen zu vermeiden.
Taktische Entscheidungsklassifikation und -bewertung
Schließlich wird die fusionierte Darstellung als Eingabe in eine Klassifikationsschicht oder Entscheidungsanalyse-Block eingespeist, die verwendet wird, um den taktischen Entscheidungstyp vorherzusagen, die Entscheidungsqualität zu bewerten und optional erklärbare Erkenntnisse für Coaches anhand von Aufmerksamkeits-Heatmaps oder Aktivierungskarten zu generieren. Die Ergebnisse dieser Phase bieten eine quantitative und qualitative Bewertung der Entscheidungsfähigkeiten eines Teams oder Spielers während des Matchplays.
Der Klassifikationskopf verwendete ein dreischichtiges MLP mit ReLU-Aktivierung gefolgt von einer Softmax-Schicht. Das Modell wurde mit einer 70/15/15-Aufteilung und 10-facher Kreuzvalidierung trainiert. Verwendete Kennzahlen waren Genauigkeit, Präzision, Rückruf, F1-Wert, Latenz und AUC.
Ein vereinfachtes Flussdiagramm, das die fünf Stufen zusammenfasst, bietet einen unmittelbaren visuellen Überblick über den sequentiellen Prozess, wie in Abbildung 2 dargestellt. Diese Abbildung stellt die gesamte Forschungspipeline prägnant dar, bestehend aus Datenerfassung, Vorverarbeitung, Merkmalextraktion, multimodaler Fusion und taktischer Entscheidungsklassifikation, gefolgt von detaillierten Beschreibungen jeder Phase.

Abbildung 2. Gesamtablauf des Forschungsprozesses. Überblick über die Forschungspipeline, von der Datenerhebung und -vorverarbeitung bis hin zur Feature-Extraktion, Modelltraining und Evaluation. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 3 zeigt den gesamten Arbeitsablauf des vorgeschlagenen Forschungsprozesses. Der Prozess beginnt durch Stufe 1: Datenerfassung und Vorverarbeitung, bei der multimodale Datenquellen wie Video, Audio, Positionsverfolgung und kontextuelle Metadaten gesammelt und synchronisiert werden. Während Phase 2: Feature Extraction, werden 3D-Konvolutionelle Neuralnetzwerke (3D-CNNs) verwendet, um raumzeitliche Informationen aus Videoströmen zu extrahieren, was zu dichten visuellen Darstellungen von Spieleraktionen und taktischen Fluss führt. Phase 3: Einbettung und Ausrichtung multimodaler Eingaben Kombiniert Audio-, Video- und Positionsmerkmale in einem gemeinsamen latenten Raum mit zeitlicher Ausrichtung und intermodaler Ausrichtung. Diese Darstellungen werden anschließend in Stufe 4: Transformer-basierte multimodale Fusion aggregiert, wo crossmodale und Selbstaufmerksamkeitsmechanismen es dem Modell ermöglichen, Interdependenzen zwischen Modalitäten zu erlernen und tiefere kontextuelle Einblicke in taktische Entscheidungen zu gewinnen. Schließlich werden in Stufe 5: Taktische Entscheidungsklassifikation und -bewertung die kombinierten Darstellungen in eine Klassifikationsschicht eingespeist, um taktische Entscheidungen wie Pass, Drive oder Hold zu erkennen. Gleichzeitig werden Leistungskennzahlen verwendet, um die Entscheidungsgenauigkeit und Reaktionszeit zu schätzen. Dieses Flussdiagramm gibt einen klaren Überblick über den Schritt-für-Schritt-Ansatz, ergänzt durch die ausführlichen Textbeschreibungen in den folgenden Abschnitten.

Abbildung 3. Sequentielle Verarbeitungspipeline. Darstellt den Schritt-für-Schritt-Fluss von der Datenerfassung bis zur taktischen Entscheidungsklassifikation und Modellausgabe. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Datenerfassung und Vorverarbeitung
Um eine hochrangige taktische Entscheidungsanalyse im Mannschaftssport über eine multimodale Fusionspipeline mit Transformer zu ermöglichen, wurde ein strukturiertes und hochauflösendes Datenerfassungs- und Vorverarbeitungssystem eingerichtet. Das Setup beinhaltet das Zusammenführen mehrerer Datenmodalitäten, darunter Videoaufnahmen, Spielerpositionsverfolgung, Audiosignale aus Spieler-Trainer-Interaktionen sowie kontextuelle Metadaten wie Spielphase, Teamstruktur und Ballbesitzbereiche.
Die Stichprobe bestand aus 40 Männern im Alter von 20 Jahren und älter, die alle aktiv an regionalen Amateur- und semiprofessionellen Fußballligen beteiligt waren. Jeder von ihnen wurde aus vier wettbewerbsorientierten Vereinen rekrutiert, die ein strukturiertes Trainingsprogramm hatten. Das Durchschnittsalter der Athleten betrug 20,1 ± 1,2 Jahre, eine durchschnittliche Körpergröße von 177,5 ± 3,1 cm und ein durchschnittliches Gewicht von 72,6 ± 2,9 kg. Sie spielten im Durchschnitt 6,8 ± 1,5 Jahre für ihre jeweiligen Vereine. Alle Teilnehmer hatten zudem mindestens drei Jahre Wettkampferfahrung und wurden als taktisch kompetent eingestuft.
Um die statistische Stärke zu gewährleisten, wurde die Stichprobengröße anhand einer 95%igen Zuverlässigkeit (Z = 1,96) und einer Signifikanz von 5% mit einem erwarteten Intraclass-Korrelationskoeffizienten (ICC) von 0,96 und einem 95%-Konfidenzintervall für nahezu perfekte Übereinstimmung ermittelt. Dies entspricht dem Ziel, die Zuverlässigkeit und Konsistenz der gesammelten multimodalen Entscheidungsdaten zu validieren27.
Um die Reproduzierbarkeit zu gewährleisten, wurden Erwerbseinstellungen und technische Spezifikationen über die Sitzungen hinweg standardisiert. Videodaten wurden mit 1.080p-Auflösung und 25 Bildern pro Sekunde mit GoPro Hero4-Kameras mit einer Weitwinkeleinstellung aufgenommen, um den gesamten taktischen Raum einzufangen. Jede Aufnahme wurde stabilisiert und auf einer festen Höhe von 2,5 m montiert. Audiosignale wurden mit einem externen Feldmikrofon mit einer Abtastrate von 44,1 kHz (Mono) aufgenommen und anschließend mit einem 300–3.400-Hz-Bandpassfilter gefiltert, um Umgebungsrauschen zu entfernen. Positionsverfolgungsdaten wurden mit tragbaren GPS-Sensoren mit 10 Hz erfasst, mit einer durchschnittlichen vom Hersteller berichteten Positionsgenauigkeit von ±0,5 m. Alle Modalitäten wurden mit gemeinsamen Zeitstempeln synchronisiert und durch lineare Interpolation auf eine gemeinsame 25-Hz-Zeitleiste umgesampelt.
Die Vorverarbeitung umfasste dann Folgendes: Video-Downsampling auf 224 × 224 Auflösung, Bildauswahl von 16 aufeinanderfolgenden Bildern mit einem Schritt von 2, zufälliges Zuschneiden, horizontales Umdrehen, Helligkeitsnormalisierung, Audionormalisierung und das Ausfiltern von Rauschen sowie positionelle und kontextuelle Z-Score-Normalisierung.
Das Preprocessing-Skript ist in folgender Reihenfolge zur Reproduzierbarkeit angeordnet: (i) Frame-Extraktion; (ii) Audiofilterung; (iii) GPS-Interpolation; (iv) Modalitäts-Resampling auf 25 Hz; (v) Z-Score-Normalisierung; und (vi) Integritätstests auf Korruption, Okklusion und Aussetz. Batch-Verarbeitungsskripte werden verwendet, um jede Stufe automatisch abzuschließen.
Um die Daten zuverlässig zu halten, umfassten die Kriterien für Qualitätskontrolle und Ausschluss: i) Sequenzen mit >20 % Spielerabschluss, ii) GPS-Ausfälle von mehr als 200 ms, iii) beschädigter oder abgeschnittener Ton und iv) starke Bewegungsunschärfe oder Desynchronisation zwischen Modalitäten. Insgesamt wurden 17 Sequenzen (3,4 %) für diese Erkrankungen ausgeschlossen. Tabelle 1 zeigt die Beschreibung des Datensatzes.
| Eigenschaften | Details |
| Sport | Fußball (Soccer) |
| Teilnehmer | 40 männliche Fußballspieler |
| Spielniveau | Federated Football-Spieler mit ≥5 Jahren Erfahrung |
| Testtyp | Pass- und Drive-Tests (Ballkontrolle), Entscheidungsfindung und Ausführung |
| Testsetting | Standardisierte Fußballplatzanordnung, markierte Zonen, feste Positionen |
| Messwerkzeuge | GoPro Hero4-Kameras, Kinovea-Software, Stoppuhr-Timing |
| Gesammelte Daten | Ausführungszeit (ET), Entscheidungsgenauigkeit (DM), Anzahl der korrekten Aktionen |
| Testverfahren | Die Spieler reagierten auf visuelle Reize von Trainern und führten Pässe oder Drives aus |
| Prozesswiederholungen | 10 Trials pro Spieler (5 Pässe, 5 Drives) |
| Bewertung | Experten bewerteten DM; ET gemessen mit Zeitstempeln/Video |
| Ergebnisvariablen | Reaktionszeit, korrekte Entscheidungsanzahl, technische Ausführungswertung |
Tabelle 1: Beschreibung des Datensatzes. Details zu Teilnehmerdemografien, Testverfahren, Messinstrumenten und Ergebnisvariablen.
In der vorliegenden Studie wurden zwei verwandte, aber unterschiedliche Datensätze verwendet. Der erste Datensatz bestand aus 40 Spielern, die an kontrollierten Pass-/Drive-Entscheidungsaufgaben teilnahmen, hauptsächlich zur Feststellung der Grundzuverlässigkeit und zur Validierung des grundlegenden Entscheidungsmessverfahrens. Der zweite Datensatz enthält 500 multimodale taktische Sequenzen, die aus erweiterten Spielsimulationen und realen Spielaufnahmen gesammelt wurden. Diese Sequenzen bildeten den wichtigsten Trainings- und Testdatensatz für das transformatorbasierte Fusionsmodell und ermöglichten eine Bewertung unter ökologisch gültigeren Bedingungen.
Obwohl der Datensatz 500 multimodale Sequenzen umfasst, sorgte stratifizierte Stichprobe für eine ausgewogene Darstellung über taktische Aktionen hinweg (Pass, Drive, Hold). Datenaugmentationsansätze wie temporales Cropping und Sequence Shuffling wurden ebenfalls eingesetzt, um die Variabilität zu erhöhen und Modellverzerrungen während des Trainings zu mindern.
Es ist erwähnenswert, dass der 40-Spieler-kontrollierte Datensatz für die anfängliche Modellvalidierung und Prüfung der Zuverlässigkeit verwendet wurde, während die größere Sammlung von 500 multimodalen Sequenzen aus längeren Match-Aufnahmen und organisierten Trainingssitzungen zur Bewertung der Skalierbarkeit und ökologischen Validität des Frameworks zusammengestellt wurde. Die Basiszuverlässigkeit wurde mit dem kleineren Datensatz hergestellt, während der größere Datensatz das Training und Testen von groß angelegten Modellen erleichterte.
Datensatzbeschreibung
Das Experiment rekrutierte 40 männliche Footballspieler, jeder mit mindestens fünf Jahren federaler Spielerfahrung, um sicherzustellen, dass die Stichprobe über grundlegende technische und taktische Kompetenzen verfügte. Die Datenerhebung erfolgte in einer standardisierten Fußballplatzanordnung, bei der vorgegebene Zonen und Spielpositionen zugewiesen wurden, um identische Testbedingungen zu gewährleisten. Während des Experiments mussten die Teilnehmer auf visuelle Hinweise eines Trainers reagieren, entweder um zu passen oder den Ball zu schlagen, wodurch taktische Entscheidungen im echten Spiel nachgeahmt wurden. Jeder Teilnehmer absolvierte insgesamt 10 Versuche, fünf bestande und fünf fuhr durch. Diese Bewegungen wurden mit GoPro Hero4-Kameras aufgenommen, und Leistungsdaten wurden mit der Kinovea-Videoanalyse-Software sowie manueller Stoppuhrzeit zur Erfassung der Ausführungszeit (ET) gemessen. Die wichtigste Datenquelle war: die Ausführungszeit, die Qualität des DMs, bewertet von erfahrenen Coaches, und die Menge der korrekt durchgeführten Aktionen. Diese Faktoren bildeten eine quantitative Grundlage zur Analyse der Schnelligkeit und Effektivität der Spieler bei der Treffen und Durchführung taktischer Entscheidungen unter kontrollierten Stimulus-Response-Bedingungen. Der erstellte Datensatz ist eine strukturierte und beschriftete Ressource, die sich gut eignet, Benchmarks zu erstellen oder intelligente Systeme zu trainieren, mit dem Ziel, taktisches Denken und motorische Reaktionen in Teamsportkontexten zu modellieren.
Die Stichprobe ist auf junge männliche Spieler aus einer Regionalliga beschränkt, was ihre Generalisierung auf Altersgruppen, weibliche Athletinnen oder andere Kulturen einschränken kann. Zukünftige Studien werden versuchen, repräsentativere und vielfältigere Stichproben zu ziehen.
Eine weitere Einschränkung ist die Stichprobe von 40 jungen männlichen Spielern aus einer einzelnen regionalen Liga. Während die homogene Stichprobe zur internen Validität und zur geringeren Leistungsvariation aufgrund von Alter, Geschlecht und taktischen Hintergründen beitrug, begrenzt sie auch die Verallgemeinerbarkeit der Ergebnisse auf eine größere Population. Die taktischen Muster, die das Modell lernt, spiegeln daher regionsspezifische oder geschlechtsspezifische Spielstile wider, statt universelles Entscheidungsverhalten. Für diese Studie wurden stratifizierte Stichproben und Datenaugmentation eingesetzt, um die Variabilität des vorliegenden Datensatzes zu erhöhen; größer angelegte Forschungsstudien mit Athletinnen, Jugendspielerinnen, Profispielerinnen und Teilnehmern aus verschiedenen taktischen Kulturen sind jedoch erforderlich, um die Robustheit des Modells in unterschiedlichen Fußballumgebungen zu bestätigen. Diese Ergebnisse zeigen großes Potenzial, benötigen aber weitere Validierung bei vielfältigeren und größeren Datensätzen, bevor eine breitere Verallgemeinerung beansprucht werden kann.
Um die Subjektivität zu verringern, kommentierten drei Profifußballtrainer unabhängig voneinander die taktischen Entscheidungen. Die Inter-Rater-Zuverlässigkeit wurde anhand des intraklassigen Korrelationskoeffizienten (ICC = 0,96, KI 0,94–0,98) geschätzt, was auf nahezu perfekte Übereinstimmung hindeutet. Konsensdiskussion löste den Streit. Für multimodale Daten beinhaltete die Vorverarbeitung zeitliche Synchronisation zwischen Modalitäten (25 fps Video und 10 Hz Sensordaten) sowie Z-Score-Normalisierung der Merkmale, um Vergleichbarkeit zwischen Modalitäten zu ermöglichen.
Die Inter-Rater-Zuverlässigkeit wurde mittels eines zweiseitigen Random-Effects-Intraklassenkorrelationskoeffizienten (ICC [2,3]) quantifiziert, da er sich eignet für die Bewertung absoluter Übereinstimmung zwischen mehreren Bewertern. Der ICC von 0,96 (95%-KI: 0,94–0,98) zeigt nahezu perfekte Übereinstimmung gemäß den üblichen Schwellenwerten und stellt außerdem fest, dass die taktischen Entscheidungsbezeichnungen für die Ausbildung sehr zuverlässig waren. Die Zuverlässigkeit wurde über alle 500 multimodalen Sequenzen hinweg berechnet, sodass sowohl kontrollierte als auch Match-Simulationskontexte ordnungsgemäß und konsistent annotiert wurden.
Annotationsverfahren und Beschriftungsprotokoll
Alle multimodalen Sequenzen wurden mit einem strukturierten, dreistufigen Protokoll annotiert. Zunächst überprüften drei lizenzierte Footballtrainer unabhängig voneinander jede Video-Positionssequenz mit einer zeitstempelsynchronisierten Annotationsoberfläche (Kinovea + benutzerdefinierte Tagging-Tabelle). Annotatoren bezeichneten die taktische Entscheidungskategorie (Pass, Drive, Hold), kontextuelle Hinweise (Druckzone, Überholspuren) und Ereigniszeitstempel. Zweitens identifizierte ein Disagree-Detection-Skript automatisch Fälle von Mehrdeutigkeit oder Konflikt, die dann in einem gemeinsamen Konsenstreffen überprüft wurden. Drittens wurde zur Sicherstellung der Konsistenz bei der Grenzzeichnung von Ereignissen und der zeitlichen Ausrichtung zwischen den Modalitäten ein abschließender Durchgang von einem unabhängigen leitenden Analysten durchgeführt. Dieser Prozess stellte für spätere Modellschulungen sicher, dass jede Annotation nachverfolgbar und von bester Qualität war.
Vorverarbeitung
Während die vorliegende Studie mit 500 multimodalen Sequenzen durchgeführt wurde, wurde die Preprocessing-Pipeline von Natur aus für groß angelegte Datensätze eingerichtet. Alle Modalitäten durchliefen automatisierte Skripte, die parallel Videoframes in Batch-Extrahieren extrahierten, Audio resampleten, Positionsdaten interpolierten und Z-Score-Normalisierung anwendeten. Das Vorhandensein einer modularen Architektur ermöglicht es, jede Modalität unabhängig auf separaten GPU/CPU-Threads vorab zu verarbeiten. Dies ermöglicht die lautstarke Aufnahme von Spielaufnahmen. Dies stellt sicher, dass der Arbeitsablauf problemlos auf Vollsaison-Datensätze ohne manuelles Eingreifen skaliert werden kann und macht das Framework für den realen Einsatz in professionellen Analyseumgebungen geeignet.
Um taktische Entscheidungen im Mannschaftssport richtig zu analysieren, müssen Rohdaten aus verschiedenen Modalitäten – z. B. Videoclips, Audiosignale und Positionsaufnahmen – vorbearbeitet und abgestimmt werden. Die multimodale Eingangsillustration ist
(1)
Hier wird V als eine Reihe von Videomerkmalen bezeichnet, die aus dem CNN-Encoder extrahiert wurden.
(2)
Hier ist A eine Audio-Charakteristik und wird von wave2vec kodiert.
(3)
P stellt die Koordinatenposition eines Spielers zum Zeitpunkt ti dar.
Um mit asynchronen Abtastraten umzugehen, wird jede Modalität auf eine gemeinsame Zeitleiste neu gesampelt oder interpoliert:
(4)
Hier
ist eine synchronisierte Charakteristik ft , ist die Rate des kombinierten Rahmens, Xm ist eine Anfangsanzeige.
Für eine einheitliche Skalierung über Modalitäten hinweg sind alle Merkmalsvektoren z-Score-normalisiert:
(5)
μX und σX bezeichnen den Mittelwert und die Standardabweichung der Merkmalsdimension im Trainingssatz.
Während die Hauptanliegen Pass-/Drive-Entscheidungen sind, wurden Audiokanäle (z. B. Spieler/Trainer-Kommunikation, Umgebungsspielhinweise) hinzugefügt, um tatsächliche Spielsituationen zu berücksichtigen, in denen Sprachsignale die taktische Reaktion beeinflussen. Hyperparameter (z. B. Lernrate, Epochen) wurden durch Gittersuche und bestehende Bewertungen im multimodalen Lernen ausgewählt, wodurch ein Gleichgewicht zwischen Konvergenzstabilität und Recheneffizienz gefunden wurde.
Die Hyperparameter des vorgeschlagenen Frameworks – Lernrate, Batchgröße und Trainingsepochen – wurden durch eine gut geplante systematische Gittersuche ausgewählt, um sowohl Konvergenzstabilität als auch Recheneffizienz zu erreichen. Die Wahl einer Lernrate von 0,0001 mit dem Adam-Optimierer ermöglichte stabile Updates des Gradienten ohne Oszillationen, während die Batch-Größen so optimiert wurden, dass die GPU-Speicherkapazität gegen den Trainingsdurchsatz ausgewogen wurde. Die Einstellung von 50–100 Epochen wurde verwendet, um ein ausreichendes Lernen ohne Überanpassung zu ermöglichen, wie durch Validierungsverlustverfolgung und zehnfache Kreuzvalidierung bestätigt wurde. Diese Werte wurden nicht willkürlich festgelegt, sondern durch frühere Tests im multimodalen Lernen geleitet und durch experimentelle Studien auf dem aktuellen Datensatz angepasst. Dieser rigorose Prozess garantierte, dass die ausgewählten Hyperparameter stabiles Modelltraining und reproduzierbare Leistungsverbesserungen gegenüber Basisansätzen ermöglichten.
Obwohl sich die Klassifikationsaufgabe auf Pass-/Drive-/Hold-Entscheidungen konzentriert, wurden Audioinformationen bewusst einbezogen, da echtes taktisches Verhalten im Football stark von der Kommunikation zwischen Spieler und Trainer, Mitspieler-Calling-Signalen, Presssignalen und Umgebungsgeräuschen (z. B. Ballkontakt, gegnerischer Ansatz) beeinflusst wird. Diese Hinweise gehen häufig Entscheidungsprozessen voraus oder treten gemeinsam mit ihnen auf und sind Teil der natürlichen Wahrnehmungsumgebung von Fußballspielern. Vorläufige Ablationsexperimente zeigten, dass das Ausschließen des Audios das Abruf um 3,8 % reduzierte, was darauf hindeutete, dass selbst subtile akustische Hinweise zur Kontextwahrnehmung beitragen. Aus diesem Grund wurde Audio beibehalten, um die ökologische Validität zu erhalten und die Fähigkeit des Modells zu verbessern, sich auf reale Übereinstimmungsbedingungen zu verallgemeinern.
Tatsächlich wurde zur weiteren Unterstützung dieser Hyperparameter eine interne Sensitivitätsanalyse durchgeführt, indem systematisch die Lernrate von 1e-5 bis 5e-4, die Batchgröße von 8 bis 32, die Anzahl der Transformatorschichten von 4 bis 8 und die Anzahl der Aufmerksamkeitsköpfe von 4 bis 12 variiert wurde. Die gewählte Konfiguration mit einer Lernrate von 1e-4, einer Batchgröße von 16 und einem 6-Schicht-Encoder mit 8 Aufmerksamkeitsköpfen führte kontinuierlich zu stabiler Konvergenz mit dem geringsten Validierungsverlust und minimierte Überanpassungen bei 10-facher Cross-Validation. Größere Chargengrößen führten zu Gradienteninstabilität, während kleinere Chargen das Rauschen erhöhten und die Konvergenz verzögerten. Ähnlich zeigten Transformatormodelle mit mehr als 8 Köpfen keine Leistungssteigerung, aber sie erhöhten die Rechenzeit erheblich. Die erzielten Ergebnisse rechtfertigen die endgültigen Einstellungen der in dieser Studie verwendeten Hyperparameter.
Merkmalsextraktion mittels 3D-konfaltionalen neuronalen Netzwerks
Im vorgeschlagenen Transformer-Based Multimodal Fusion Framework für taktische Entscheidungen im Teamsport ist das 3D Convolutional Neural Network (3D CNN) dafür verantwortlich, räumlich-zeitliche Merkmale aus rohen Videoclips zu extrahieren.
Im Gegensatz zu 2D-CNNs, die nur räumliche Dimensionen (Breite W und Höhe H) berücksichtigen, berücksichtigen 3D-CNNs auch die temporale Dimension R, wodurch sie Bewegungsdynamiken und sequentielle Muster erkennen können, die für das Verständnis des Teamverhaltens entscheidend sind, wie Drives und Pässe im Fußball.
Der 3D-CNN28 wird erstmals vorgeschlagen, um die räumlichen und zeitlichen Informationen von Videodaten zu kombinieren. Ein 3D-Kernel wird in einem 3D-Faltungsalgorithmus für einen Würfel verwendet, der aus Frames besteht, bei dem ein Teil der Spalten gestapelt ist. Die 3D-Faltung kann in Gleichung (6) geschrieben werden.
(6)
Wobei:
das Ausgabemerkmal an der Position (x, y, z) auf der j-ten Merkmalskarte der l-ten Schicht ist.
das Gewicht des Kerns an Ort (h,w,r) aus der m-ten Eingabefeature-Abbildung ist.
ist die Eingabe bei räumlich-zeitlicher Versetzung zur vorhergehenden Schicht. blj ist die Vorspannung. f(.) ist die Aktivierungsfunktion (meist ReLU). M ist die Anzahl der Eingabe-Feature-Maps aus der vorhergehenden Schicht. Diese Gleichung ermöglicht es dem 3D-CNN, die räumlichen (Höhe und Breite) und zeitlichen (Rahmensequenz-) Informationen parallel zu kombinieren.

Abbildung 4. 3D-CNN-Verarbeitungsarchitektur. Zeigt, wie raum-zeitliche Merkmale mithilfe von 3D-Faltungsoperationen aus Videosequenzen extrahiert werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Abbildung 4 zeigt den Arbeitsprozess eines 3D-CNN. Die Pipeline beginnt mit der Eingabephase, in der unverarbeitete Videoströme eines Fußballspiels mit organisierten Daten verschmolzen werden, einschließlich Spielerstandorten, Spielstatistiken und kontextuellen Metadaten. Diese multimodalen Informationen bewahren sowohl visuelle Dynamiken als auch den situativen Kontext, die für die Analyse von Teamtaktiken entscheidend sind. Anschließend wird der Videostrom durch ein 3D Convolutional Neural Network (3D CNN) geleitet. In diesem Fall wird eine Reihe von 3D-Faltungsschichten auf den Eingabeframes verwendet. Die Schichten verlaufen entlang der räumlichen Dimensionen (Höhe und Breite) und der zeitlichen Dimension (Frames), was es dem Netzwerk ermöglicht, Bewegungsmuster, Spielerinteraktionen und sequenzbasierte Taktiken wie Pässe oder Angriffe zu erlernen. Anschließend wird ein Merkmalswürfel gebildet, der dichte raumzeitliche Merkmale aufweist. Dieser Würfel wird Pooling-Operationen unterzogen, um die Dimension zu reduzieren und dabei bedeutende Merkmale zu erhalten. Beim Pooling wird das Merkmalsvolumen zu einem 1D-Vektor abgeflacht, was eine prägnante Darstellung der taktischen Situation liefert. Dieser Merkmalsvektor wird anschließend in ein vollständig verbundenes Deep Neural Network (DNN) eingegeben. Der DNN ist der Entscheidungsblock, der die verschmolzenen und extrahierten Merkmale verarbeitet, um taktische Entscheidungen wie Passen, Schießen oder Halten zu treffen. Die Ausgabe des Netzwerks ist die endgültige taktische Entscheidung des Systems, die auf der tatsächlichen Spielsituation in Echtzeit sowie auf erlernten strategischen Mustern basiert.
Einbettung und Ausrichtung multimodaler Eingaben
Nach der Feature-Extraktion werden die drei Features wie Audio, Video und die statistische Position des Players als Eingabemodalität angegeben.
Um diese in einen Transformator einzugeben und dann jede einzelne durch eine lernbare Einbettungsfunktion einzuspeisen:
(7)
wobei f3DCNN die raumzeitlichen Merkmale jedes Zeitschnitts Vt erlernt und sie auf einen d-dimensionalen latenten Raum abbildet.
(8)
wobei WP und bP lernbare Gewichte sind.
(9)
Alle Einbettungen sind nach der zeitlichen Dimension T ausgerichtet. Wenn die Modalitäten unterschiedliche Frequenzen haben, wird Interpolation oder Down-Sampling verwendet:
(10)
Nun sind alle Modalitäten synchronisiert als:
(11)
Um die zeitliche Ordnung im Transformator zu erhalten, führen Sie auch Positionskodierungen für jeden Vektor ein:
(12)
Wobei
die Standard-sinusförmige oder lernbare Positionskodierung dargestellt wird.
Jede Modalität wird operativ mittels einer PyTorch-Linearschicht codiert, die zu einem 512-D-Vektor verkettet und anschließend nach Positionskodierung in die Transformator-Eingangssequenz eingespeist wird. Dies stellt sicher, dass bei jedem Zeitpunkt eine einheitliche Einbettung für die Querbeachtung vorbereitet ist.
Der Endtensor ist
(13)
wird in den Transformer-Encoder eingespeist, wo die Selbstaufmerksamkeit und die Mechanismen der übergreifenden Modalität es dem Modell ermöglichen, gemeinsam über alle Modalitäten hinweg für taktische Entscheidungen zu argumentieren.
Transformatorbasierte multimodale Fusion
Im vorgeschlagenen Ansatz wird die Low-Rank-Matrixfaktorisierungsmethode verwendet, um die erfassten multimodalen Datenvektoren zu integrieren. Das hochdimensionale Problem, das auftritt, wenn Tensoren direkt fusioniert werden, wird durch diese Methode gelöst, die für die Tensorfusion29 einen Low-Rank-Decompositionsfaktor verwendet. Jede Modalität wird zunächst als Vektor dargestellt, und eine Dimensionsreduktion, die signifikante Wechselwirkungen bewahrt, wird mittels Low-Rank-Dekomposition erreicht. Der Fusionstensor ZM unter den M-Modalitäten ist wie folgt aufgebaut:
(14)
Hier:
ist der m-te Modalitätsfaktor
mit niedrigem Rang, das äußere Produkt und r ist der Zerlegungsrang.
Der Fusionsvektor h wird dann wie folgt berechnet:
(15)
Wenn zwei Modalitäten allein verwendet werden, ergibt sich die reduzierte Fusion:
(16)
Dies erzeugt einen gemeinsamen multimodalen Darstellungsvektor h, der intermodale Interaktionen auf latenter Ebene modelliert.
Nach dem Erwerb des niedrigrangigen fusionierten Vektors h modelliert das Transformer-Modul Abhängigkeiten und richtet semantische Darstellungen zwischen den Modalitäten aus. Eine intermodale Aufmerksamkeit ist speziell darauf ausgelegt, einer Modalität Aufmerksamkeit auf eine andere zu schenken:
(17)
Wobei Qm die Modalitäts-m-Abfrage ist, Kn,V n die Schlüssel- und Wertvektoren in Modalität n, dk die Dimension der Schlüsselvektoren. Dieses Setup ermöglicht modalitätsspezifische Aufmerksamkeitsflüsse, sodass jede Kategorie von Eingaben relativ zu anderen verarbeitet werden kann (z. B. durch Synchronisation der Spielerbewegung mit Spielkontext und Videoindikatoren).
Die kreuzbetreuten Vektoren werden durch ein Multilayer Perceptron (MLP) gestapelt und klassifiziert. Das Ergebnis ist ein taktisches Entscheidungslabel (z. B. Pass, Drive, Hold), Kreuzentropieverlust, optimiert für End-to-End-Training.

Abbildung 5. Transformatorbasierte multimodale Fusionsarchitektur. Zeigt, wie visuelle und sensorische Modalitäten über einen Transformatorencoder integriert werden, um die Merkmalsdarstellung zu verbessern. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.
Der multimodale Fusionsblock, wie in Abbildung 5 gezeigt, kombiniert visuelle und positionsbezogene Eingaben. Es ist ein notwendiges Design, da taktische Entscheidungen räumliches Bewusstsein und Bewegungsdynamik erfordern, die nicht durch eine einzige Modalität dargestellt werden können.
Abbildung 5 zeigt die Arbeitsstruktur der transformatorbasierten multimodalen Fusion. Dieses Design kombiniert verschiedene Daten, Video, räumliche Koordinaten und Spielkontextdaten in einem einzigen Kanal, um taktische Aktionen wie Überholen, Fahren oder Halten vorherzusagen. Der Ansatz beginnt mit der Eingabe von Videos, die mit einem 3D Convolutional Neural Network (3D CNN) geprüft werden. Dieses System identifiziert sowohl räumliche als auch zeitliche Strukturen im Video und ermöglicht es, dynamische Spieleraktivität und Kommunikation über die Zeit zu erfassen. Gleichzeitig werden kontextuelle und positionsbezogene Informationen durch Einbettungsschichten vermittelt, die strukturierte Eingaben in dichte Vektorrepräsentationen umwandeln. Die kontextuellen, positionsbezogenen und Videoströme können dann von einem Low-Rank-Fusion-Modul fusioniert werden. Der Ansatz erhält wirkungsvoll intermodale Korrelationen durch Fusionsraumdekomposition, minimiert die Rechenkomplexität und erhält dabei wesentliche Beziehungen zwischen den Modalitäten. Schließlich wird die fusionierte multimodale Darstellung von einem Transformer-Encoder mit crossmodaler Aufmerksamkeit verarbeitet. Dieses Verfahren ermöglicht es dem Modell, sich auf die richtigen Merkmale über Modalitäten und Zeitschritte hinweg zu konzentrieren, was sein Verständnis des strategischen Spielverhaltens verbessert. Schließlich wird die codierte Ausgabe durch eine Verkettung und einen Multi-Layer Perceptron (MLP)-Block weitergeleitet, der die erlernte Darstellung auf einige taktische Entscheidungen abbildet. Die Modellausgabe klassifiziert Spieleraktionen wie "Pass", "Drive" oder "Hold", um eine intelligente, datenbasierte Analyse der Teamtaktiken zu ermöglichen.
Im vorgeschlagenen Transformer-Based Multimodal Fusion taktischen Analysesystem für Mannschaftssportarten ist die letzte Phase die taktische Entscheidungsklassifikation und -bewertung, bei der erlernte multimodale Darstellungen in entscheidungsveränderbare Labels umgewandelt werden. Nachdem Video-, Positions- und Kontextmerkmale durch Low-Rank-Fusion verschmolzen und mit crossmodaler Aufmerksamkeit im Transformer-Encoder fein abgestimmt wurden, werden die resultierenden Merkmalsvektoren in einen Multi-Layer Perceptron (MLP)-Klassifikator eingespeist. Jede Entscheidungsklasse wird mit einer Softmax-Aktivierungsfunktion dargestellt, die Wahrscheinlichkeitswerte für alle möglichen Aktionen liefert. Die wahrscheinlichste Klasse wird als vorhergesagte Entscheidung des Modells gewählt. Das Modell ist auf einer Kreuzentropie-Verlustfunktion trainiert, die korrekte Vorhersagen belohnt und das Netzwerk dazu bringt, ähnliche Unterschiede in taktischen Situationen zu unterscheiden. Zusätzlich könnte eine Zeitdomänenbewertung in Betracht gezogen werden, um die Reaktionsfähigkeit in Echtzeit- oder nahezu Echtzeit-Spielsituationen zu bestätigen, um sicherzustellen, dass der Klassifikator genau ist und auch unter spielähnlichen Zeitvorgaben keine Zeitverschwendung verursacht. Tabelle 2 zeigt die Modellarchitektur und Hyperparameter.
| Komponente | Spezifikation |
| Transformator-Encoder-Schichten | 6 |
| Achtung, Köpfe | 8 |
| Verborgene Dimension | 512 |
| Vorwärtsschichtgröße | 2048 |
| Einbettungsdimensionen | Video: 1024 → 512, Audio: 256 → 512, Position: 128 → 512 |
| Positionskodierung | Lernbar |
| Fusionsmethode | Multimodale Fusion mit niedrigem Rang (Rang r = 16) |
| Optimierer | Adam |
| Lernrate | 0.0001 |
| Chargengröße | 16 |
| Ausbildungsepochen | 50–100 |
| Schulabbrecher | 0.1 |
| Verlustfunktion | Kreuzentropie |
Tabelle 2: Modellarchitektur und Hyperparameter. Listet Trainingssettings und Schlüsselkomponenten des vorgeschlagenen transformatorbasierten multimodalen Fusionsmodells auf.
Für weitere Klarheit und Reproduzierbarkeit wurde der multimodale Transformator mit einem 6-Schicht-Encoder-Stack implementiert, der jeweils mit 8 Aufmerksamkeitsköpfen und einer versteckten Dimension von 512 ausgestattet ist, entsprechend den typischen Transformatoreinstellungen für mittelgroße multimodale Aufgaben. Jede Modalität durchläuft einen Embedding-Block: Video über einen 3D-CNN-Encoder-Ausgang, 1024-dim; Audio durch einen Wave2Vec-basierten Encoder, 256-dimm; und positionelle plus kontextuelle Merkmale durch einen 2-Schicht-MLP-Encoder, 128-dim. All diese Einbettungen wurden durch lernbare lineare Transformationen auf einen gemeinsamen 512-D-latenten Raum projiziert. Um die zeitliche Ausrichtung zu etablieren, werden alle Modalitäten zunächst auf eine einzelne Frequenz von 25 Hz interpoliert, gefolgt von der Anwendung erlernter Positionskodierungen, um die temporale Ordnung zu erhalten. Die Cross-Modal-Ausrichtung erfolgt mithilfe der Cross-Attention-Schichten, die explizit Korrelationen zwischen Modalitäten lernen, bevor sie in den Self-Attention-Encoder-Stack eingespeist werden. Diese architektonischen Entscheidungen wurden getroffen, um die Modellkapazität mit der Recheneffizienz auszubalancieren und so eine stabile Konvergenz auf einem moderat großen Datensatz sicherzustellen.
In der Praxis ist das vorgeschlagene Transformer-Based Multimodal Fusion Framework am besten geeignet für Szenarien, in denen synchronisierte multimodale Daten verfügbar sind, wie strukturierte Trainingssitzungen, kontrollierte Spielsimulationen oder professionelle Umgebungen mit konsistenten Videofeeds und Positionsverfolgungssystemen. Die vier wichtigsten Eingaben, die für die Methode benötigt werden, sind (i) hochauflösendes Video, (ii) Positionsverfolgungsdaten (GPS/LPS), (iii) Audioströme und (iv) kontextuelle Metadaten – z. B. Besitz, Druckzonen, Anpassungsphase. Um eine zuverlässige Leistung zu erzielen, müssen diese Modalitäten zeitlich ausgerichtet sein mit minimalem Drift (Video ≥ 25 fps und Positionssensoren ≥ 10 Hz) und stabile Blickstände sowie minimales Signalrauschen gewährleisten. Einstellungen, die diese synchronisierten Eingaben nicht bieten, zum Beispiel Amateurspiele mit unregelmäßigen Kamerawinkeln, Live-Übertragungen mit Latenz-/Kompressionsartefakten oder eine Umgebung ohne Positionsverfolgungsinfrastruktur, sind für das Framework weniger relevant. Darüber hinaus funktioniert das aktuelle System am besten unter halb kontrollierten Bedingungen, kann aber in völlig unkontrollierten Live-Match-Situationen deutlich weniger robust sein, in denen Lichtverhältnisse, Okklusion und dynamisches Publikumsrauschen die Qualität der Datenerfassung beeinflussen. Diese Einschränkungen beschreiben die praktischen Grenzen, innerhalb derer dieses System eingesetzt werden kann, und betonen, dass eine konsistente Datenerfassung in mehreren Modi für die Anwendung des vorgeschlagenen Modells unerlässlich ist.
Modifikationen und Fehlerbehebung
In der praktischen Implementierung können im gesamten multimodalen Pipeline mehrere Probleme auftreten, die die Modellstabilität oder die Gesamtleistung verringern können. Ein häufiges Problem ist zeitliche Fehlanpassungen zwischen Modalitäten, bei denen Videoaufnahmen mit 25 fps und positionsbezogene Daten bei 10 Hz aus dem Takt geraten, was zu unpassenden Hinweisen führt, die Aufmerksamkeitskarten destabilisieren und das Abruf verringern. Dies kann durch Zeitstempel-basiertes Resampling, lineare Interpolation und das automatische Entfernen von Sequenzen mit übermäßigem Drift gelöst werden. Audiokanäle können auch unter Geräuschen leiden, die durch Wind, Menschenmengengeräusche oder Mikrofonclipping verursacht werden, was dazu führt, dass der Transformator Audio-Tokens ignoriert und die Präzision leicht verringert. Die Anwendung von Bandpassfilterung, Spektralgating und das Ersetzen stark beschädigter Segmente mit null Vektoren hilft, die Stabilität der Audio-Einbettung zu erhalten. Visuelle Qualitätsprobleme wie Spielerverschlüsse oder Bewegungsunschärfe können die raumzeitlichen Darstellungen des 3D-CNN schwächen und die Verwirrung zwischen Pass und Drive erhöhen. Dies wird durch Ausschluss stark verdeckter Sequenzen und der Einsatz von Augmentationsstrategien wie zufälligem Beschneiden, Helligkeitsnormalisierung und Bewegungsunschärfe-Simulation gemildert. Transformatorinstabilität kann auftreten, wenn Einbettungsskalen sich zwischen den Modalitäten unterscheiden und so oszillierende Validierungsverluste oder Gradientenspitzen verursachen. Die Sicherstellung einer konsistenten Z-Score-Normalisierung, der Verwendung eines Aufwärm-Lernraten-Schemas, der Anwendung von Gradient-Clipping und einer erhöhten Dropout kann stabiles Training wiederherstellen. Niedrigrangige Fusion kann auch problematisch werden, wenn der Fusionsrang falsch eingestellt ist, was zu verzerrten intermodalen Beziehungen und einem klassenweisen Ungleichgewicht führt. Die Aufrechterhaltung eines moderaten Rangs für kleine Datensätze, die Erhöhung des Rangs für größere Datensätze und die Anwendung der L2-Regularisierung helfen, die ausgewogene Fusion zu bewahren. Rechenintensive Engpässe können durch große Videotensoren entstehen, die einen GPU-Speicherüberlauf oder langsames Training verursachen. Diese Probleme können durch Mixed-Precision-Training (FP16), die Reduzierung der Eingabeauflösung während früher Experimente oder das Caching vorberechneter 3D-CNN-Funktionen gelöst werden. Schließlich kann das natürliche Klassenungleichgewicht bei taktischen Entscheidungen, insbesondere bei "Drive", den Rückruf verringern und Schwankungen im AUC verursachen; Die Anwendung von klassenausgeglichenen Verlusten, das Übersampling von Minderheitenaktionen und die Anreicherung kontextueller Metadaten kann das Gleichgewicht und die Entscheidungsdiskriminierung erheblich verbessern. Diese konsolidierte Fehlerbehebungsanleitung stellt sicher, dass Forscher und Praktiker stabile Trainingsbedingungen aufrechterhalten, die Reproduzierbarkeit verbessern und das Framework effektiv über verschiedene Datensätze und Umgebungen hinweg anpassen können.