Szybkie i precyzyjne podejmowanie decyzji taktycznych jest wymagane we współczesnej piłce nożnej. Jednak tradycyjne podejścia do oceny podejmowania decyzji taktycznych mają słabą wartość ekologiczną i trudno się skalować. Aby sprostać tym wyzwaniom, artykuł wprowadza model multimodalnej fusion oparty na transformerach, który uwzględnia pozycjonowanie gracza, wideo, dźwięk oraz kontekstowe metadane do klasyfikacji decyzji taktycznych w czasie rzeczywistym. Przeprowadzono eksperymenty z 40 męskimi aktorami oraz zbiorem danych zawierającym 500 sekwencji multimodalnych rozgrywek. Zbiór danych obejmujący 40 graczy odnosi się do kontrolowanych eksperymentów laboratoryjnych z podejmowaniem decyzji, wykorzystywanych do wstępnej walidacji i oceny wiarygodności. Następnie wyodrębniono 500 sekwencji multimodalnych z rozszerzonych symulacji meczów i nagrań z rzeczywistych meczów, aby uzyskać większy zbiór danych wykorzystywany do trenowania i testowania modelu multimodalnego transformatora.
Przetwarza dane wejściowe w pięciu etapach: akwizycja danych, wstępne przetwarzanie, ekstrakcja cech, fuzja oparta na transformatorach oraz klasyfikacja decyzyjna. W porównaniu z bazowymi wartościami CNN-LSTM, BiLSTM-Attention i GNN, proponowane podejście poprawia dokładność predykcji decyzji o 28% i zmniejsza błędną klasyfikację spowodowaną ciśnieniem o 41%, przy niskim opóźnieniu wnioskowania wynoszącym 52,6 ms, co czyni je odpowiednim do zastosowań niemal w czasie rzeczywistym. Uogólnialność wyników w bardziej zróżnicowanych kontekstach taktycznych i na szerszą demografię sportowców jest również ograniczona przez stosunkowo niewielki rozmiar i jednorodność w populacji młodych, chłopców z jednego regionu. Wyniki te podkreślają wkład wielomodalnej fuzji opartej na transformatorach w zautomatyzowaną analizę decyzji taktycznych i wskazują na potrzebę jej dalszej weryfikacji w bardziej zróżnicowanych i dużych sytuacjach dopasowania.