基于变压器的多模态团队运动战术决策分析框架，并应用于足球

Summary

为了提升足球中的战术决策分类，本研究提出了基于变压器的多模态融合模型，结合视觉、位置、声学和上下文数据。该模型在500序列多模态数据集上实现了近实时性能，在准确性和压力误分类方面优于CNN-LSTM、BiLSTM-Attention和GNN基线。

Abstract

现代足球需要快速且准确的战术决策。然而，传统的战术决策评估方法生态效度较低，且难以推广。为了应对这些挑战，本文介绍了一个基于变压器的多模态融合模型，结合了球员位置、视频、音频和上下文元数据，以分类实时战术决策。实验对象为40名男性玩家，数据集包含500个多模态出牌序列。40人数据集指的是用于初步验证和信度评估的受控实验室式决策实验。随后，从扩展的匹配模拟和真实游戏录制中提取了500个多模态序列，以提供用于训练和测试多模态变换器模型的更大数据集。

它通过五个阶段处理输入：数据采集、预处理、特征提取、基于变压器的融合和决策分类。与CNN-LSTM、BiLSTM-Attention和GNN基线相比，该方法将决策预测的准确性提高了28%，并减少了因压力引起的错误分类41%，推断延迟低至52.6毫秒，适合近实时应用。研究结果在更多样化战术背景和更广泛运动员群体中的推广性也受限于样本人口中年轻男性球员的规模较小且同质性较大。这些结果强调了基于变压器的多模聚变对自动战术决策分析的贡献，并指出其在更多样化和大规模匹配情境中进一步验证的必要性。

Introduction

团队运动，如橄榄球，需要在动态且不确定的环境中快速做出战术决策。球员必须不断从球、队友和对手中读取视觉信息，并在几分之一秒内做出反应，以确保竞争优势。足球中的战术决策高度依赖于对球员动作、球的轨迹和情境提示的快速感知。尽管一般的感知-认知技能，如反应时间和选择性注意力，确实会影响表现，但最新研究强调了能够近似真实游戏内战术认知的数据驱动、情境感知模型 ^1,2,3,4,5。反应时间和感知能力，如认知能力，也^在表现中起关键作用，^6,7,8。体育认知的最新研究表明，战术决策不仅依赖感知技能，还依赖运动员实时整合动态空间信息、对手压力和比赛情境信号的能力。对感知-认知专长的研究表明，战术素养更高的球员更快识别线索，更高效地获取信息，并在压力下表现出更稳定的决策模式。这些发现支持了能够捕捉体育决策过程复杂多层次特性的计算模型的必要性。

传统评估战术决策的方法通常采用受控实验室任务和主观专家判断，这对生态有效性和可扩展性施加了显著限制。深度学习的最新进展为通过多模态数据源（如视频、位置跟踪和上下文匹配元数据）在时间和跨模态依赖捕获架构中实现自动化过程提供了潜力。尽管取得了这些进步，大多数当前模型仍基于卷积神经网络-长短期记忆或双向长短期记忆（CNN-LSTM 或 BiLSTM）模型，这些模型在建模模态间的长期依赖性方面能力有限。这一缺陷推动了基于变压器的多模态聚变模型的发展，这些模型更能在足球场景中更全面、更稳定地模拟战术决策。例如，在对抗性团队运动中，球员必须快速评估关于球的信息，包括队友、对手以及场上位置。在根据他们的能力、教练的指示以及比赛情况决定最佳行动方案之前，^9,10。由于有组织数据集和明确战术组成部分的可访问性，本研究专注于足球;然而，决策的战术原则适用于许多团队运动。

事实上，以往研究表明，CNN-LSTM和BiLSTM无法通过使用固定的感受野或通过序列门控^11、12、13的限制来捕捉非常长距离的时间依赖性。同样，动作识别和多模态时间建模的基础基准研究显示，基于LSTM的模型性能会随着序列长度增加或上下文线索相隔数帧而下降，这可能限制动态体育环境中的生态效度。此外，基于图神经网络（GNN）的模型是空间交互建模的强大工具，但在需要细粒度时间推理或上下文压力线索快速变化的场景中，表现一直不佳（^14,15）。与这些方法相比，基于Transformer的新框架通过将长距离时间线索、空间关系和上下文信号整合成单次前向传递，并借助全球自我关注，展示了其在体育分析、人类活动识别和视频语言任务中的性能优势。这些基准结果为本研究中采用基于变压器架构的模型骨干提供了合理性。

提升战术知识和理解战术原则已被证明对解决游戏限制和问题至关重要^16,17。橄榄球运动员通过技术战^{术训练学习}多种比赛元素，包括突破、进攻保护、移动、时间、限制、防守保护、平衡和专注。随着球员积累更多橄榄球经验，他们对技术和战术基础的理解也会有所提升。因此，玩家能够更容易识别相关信号，从而有助于在特定情景¹⁹中为每条游戏规则做出恰当决策。因此，球员可以利用他们的运动效率和决策能力，配合专业技能来补充运动模式。

作者利用多属性决策分析锻炼和习惯对健身的益处，展示了专业训练能力在大学生体育教育中的有效性。有效的体育活动、养成健康的健身习惯以及倡导教育机构中体育形象的改革都被赋予了相当重要的地位。直觉主义模糊加权赫罗尼安均值（IFWHM）配合模糊数辅助用于有效决策。结果支持了大学生的认知成功，并展示了对其身体健康问题更准确的评估。为了检测数据中的潜在联系，研究人员²⁰ 采用了增强先验法。该研究结论与高等教育中学生身体健康的评估密切相关。第一个结果是根据不同方向的出现频率评估其疲劳程度来确定的。

此前基于人工智能的体育分析研究主要集中在计算机视觉任务上，包括球员检测、跟踪和识别团队活动。近期的弱监督和无检测器架构揭示了多模态和上下文感知建模在理解战术行为中的重要性。这些进步需要整合多模态深度学习来分类足球中的战术决策。通过矩阵分解从效用矩阵生成的潜在特征向量，它计算了本文中用户与用户或项目与项目之间的余弦相似度。

近期体育分析研究转向多模态和情境感知深度学习框架，结合视频、位置数据和情境线索来解读战术行为。多种基于变换器的方法在建模运动环境中的长程时间结构和跨模态关系方面表现出强大能力，包括：用于多模态动作识别的MM-ViT、用于运动情境推理的统一对比融合变换器，以及交叉注意力驱动事件检测器^21,22.这些方法指出，战术决策最好采用能够捕捉玩家、空间、运动线索和上下文信息相互作用的架构，而非单一模态的CNN-LSTM模型。在此方向下，拟议研究还将利用基于变压器的多模融合框架，联合处理视觉、位置和上下文信号，实现近实时的足球战术决策建模。

以往的足球分析模型通常围绕CNN-LSTM或BiLSTM架构构建，这些结构捕捉局部时间模式，但在不同模态间的长期依赖性上存在困难。Transformers通过应用全局自关注填补这一空白，使模型能够跨越较长时间窗口的关键能力关联球员的移动、球轨迹和情境线索，从而实现稳健的战术决策分析。为了解决推荐系统评分数据稀疏性问题，作者^23,24提出了一种基于评审的矩阵分解技术，结合了基于评审的协作过滤和评分补补。

然而，这些方法的有效性、可扩展性和适用性受到其对推断边界框的依赖以及对数据标记的巨大需求所严重限制。解决该问题的一种方法是使用边界框标签同时训练玩家检测和群组活动识别 ^25,26,27,28。虽然训练数据仍需演员级边界框注释，但所提方法在推理过程中计算了玩家的边界框。弱监督组活动识别（WSGAR）方法无需演员级标签进行训练或推断，旨在减轻注释负担。在使用预训练的检测器对外部数据集生成边界框建议后，他们学会了过滤无关的检测结果。最近^，研究人员在WSGAR挑战中提出了一种无检测器的方法，利用令牌嵌入生成部分上下文，收集玩家信息。

在体育分析领域，多模态和基于变压器的架构近年来变得重要，因为它们能够捕捉长距离时间模式并整合异构数据流^30,31。变换器的变体已被应用于预测玩家移动、执行多视角战术分析以及识别行动意图，展现出相较于CNN-LSTM模型的卓越时间推理能力。多模态融合策略结合视频、位置和上下文线索，在实时战术建模中取得了令人鼓舞的早期成果，凸显了交叉注意力和序列间学习在理解游戏决策动态中的重要性。

基于Transformer的多模态框架最近在需要整合多元数据流的多个领域展现出卓越的性能。例如，基于ViT的多模态融合模型已被用于结合视频、姿态和音频信息，采用交叉注意力处理，实现情境感知事件预测、玩家追踪和动作识别^32,33。此外，基于MM-Forform和基于感知者的架构在融合时空线索以及在体育分析和人类活动分析中的长程时间推理方面表现优于循环模型和卷积模型³⁴。这些结果支持本研究采用基于变压器的多模融合架构，表明变换器能够通过全局关注捕捉模态间的细粒度相互作用³⁵。变换器特别适合战术分析，因其全局注意力使模型能够跨越较长的时间窗口关联视觉线索、位置数据和上下文信号，这是CNN-LSTM和BiLSTM模型所缺乏的能力。

此前的研究主要使用手动设计和认证的评估工具，用于评估预先安排的活动（如驾驶和超车）中的表现速度和决策准确性，尽管对团队运动中战术决策的评估兴趣日益增长，36,37,38。尽管这些框架提供了关于玩家行为和决策卓越性的重要数据，但在可扩展性、客观性和适用于动态现实环境方面存在边界³⁹。能够记录和理解战术决策多模态性质的计算机化数据驱动方法，这些方法涉及玩家动作、视觉信号、音频提示和游戏设置之间的复杂关联，但并未被纳入现有方法^40、41、42。此外，能够在背景和时间关系之间切换的多维人工智能结构，常被这些方法忽视。基于变形金刚的多模态融合框架，利用丰富的实时数据源，如视频素材和位置跟踪，并在团队运动中融入决策过程，显然缺乏发展。缩小这一差距可以显著提升高性能体育环境中的战术渗透力、可扩展性和决策独立性。与当前的CNN-LSTM和BiLSTM方法不同，这种基于变换器的融合有意识地模拟视觉、空间和上下文信息之间的跨模态注意力。这种新颖性促进了更密集的战术表征，并有助于在压力情景下减少40%以上的误分类。

本研究的主要目标是开发基于变压器（Transformer）的多模融合框架，用于评估足球中的战术决策。虽然该框架可推广至其他团队运动，但本研究重点关注足球，因其战术复杂性和结构化数据集的可用性。该系统能够基于专家评估，对受控、孤立的足球任务中的战术准确性和反应时机进行结构化评估。该工作通过整合多模态数据源，包括位置跟踪、视频素材、音频信号和上下文游戏信息，解决了人工评估和静态测试环境的局限性。

采用基于变换器的注意力过程，所提框架不断学习多模态链接，实现对玩家实时决策方法的统一且上下文感知的解释。

该评估的主要目标是通过数据驱动的洞察，为教练和分析师提供对球员思维和团队动态更深入理解，促进体育中的智能表现评估。

所提框架将通过利用变换器的注意力机制持续学习多模态关系，从而实现对实时博弈中玩家决策策略的统一理解。

因此，它使系统能够提供难以用标准评估方法描述的可作的战术行为洞察。

目标是提升可理解性，并为教练和分析师提供更多有用信息。

本研究的主要贡献如下：

本研究采用基于变压器的多模态融合设计，提出了一种用于团队运动战术决策分析的新型深度学习模型。

通过整合从真实比赛画面中提取的视觉、位置和上下文数据流，这种方法显著扩展了基础研究中引入的简单评估方法的范围，后者侧重于单人传球和推进动作。

多模编码器通过整合玩家追踪数据、视觉帧和上下文匹配事件，利用注意力机制收集复杂的时空关系。

在基准橄榄球数据集上的实验显示，该模型优于传统基线，如基于CNN的融合方法和LSTM。

与CNN-LSTM、BiLSTM-Attention和GNN基线相比，这些建议的基于变压器的多模聚变架构显示出显著的进步。

Protocol

该研究包括40名年龄在18至24岁的男性足球运动员（平均 = 20.1 ± 1.2），他们来自同一地区联赛内的四个业余和半职业俱乐部。所有参与者均具备至少三年的竞技经验，目前正在结构化的环境中进行训练。数据收集在两个受控环境中进行：首先，在模拟战术传球/驱动决策场景的标准化训练场演练中;第二种是在长时间的匹配模拟中提取多模态序列。所有程序均由北布湾大学机构伦理委员会批准（批准号：BG-PE-2023-117），并在数据收集前获得所有参与者的书面知情同意。在进行此次调查时，遵守了国际和机构的伦理标准。北部湾大学机构伦理委员会审查并批准了所有涉及人体受试者的程序（批准号：BG-PE-2023-117）。在收集数据前，每位参与者均提供了书面知情同意书，分析前所有收集的数据均进行匿名处理。

该工作旨在通过基于变形金刚的多模态聚变架构，自动化并增强团队运动战术决策的调查。它利用多种数据源，包括视频、音频、空间位置和球员元数据，构建了一个强大的实时预测模型。 图1 展示了该方法的架构。拟议的工作分为五个阶段。以下描述了各阶段：

图1。拟议方法的架构。 模型示意图，结合多模态输入和分类组件，用于战术决策。 请点击此处查看该图的放大版本。

数据采集与预处理

来自各种比赛模式的数据从比赛录像中收集，如视频信号、音频解说、GPS/站位信息以及球员表现指标。每种模态都通过帧提取（视频）、噪声滤波（音频）和归一化（传感器读数）等技术进行预处理，确保在时间步同步。

视频帧以25帧每秒提取，降采样至224×224分辨率。音频信号采用带通滤波器处理，频率范围为300至3400赫兹，以消除大部分环境噪声。GPS传感器的位置跟踪数据以10赫兹记录，并利用基于线性时间戳的插值进行插值，确保数据与25赫兹视频时间线对齐。所有输入通过共享时间戳进行时间对齐，并通过z评分进行归一化。

特征提取

为了收集视频数据的时空信息，使用了三维卷积神经网络（CNN）。3D CNN处理跨视频帧的空间和时间信息，使模型能够检测运动模式、理解群体行为并提取基于运动的特征。该作为每个动作序列生成密集特征表示，作为模型的视觉输入。每个视频输入片段包含16个连续帧，采样速度为2帧。训练过程中应用了随机裁剪、水平翻转和亮度归一化。3D CNN通过Adam（lr = 0.0001）、批次大小16和交叉熵损失进行了优化。

多模输入的嵌入与对齐

之后，不同模态的嵌入会与3D CNN的输出整合。采用多模态变换器模型架构，每个模态由多个编码分支处理。交叉注意力层用于模态融合和对齐，使模型能够捕捉相互依赖关系（例如球员位置与球的移动之间，以及解说中的上下文）。这种融合使得对当前战术选择的上下文理解更加丰富。我也在PyTorch中实现了所有嵌入。视频特征以线性方式从1024维投影到512维，音频和定位特征分别投影到256和128维，统一到512维后才实现时间对齐。

基于变压器的多模聚变

采用多模变换器将从所有来源提取的特征结合起来。变换器中的自注意机制使模型能够学习模态间的相互依赖关系（例如，视觉+音频），捕捉时间流和上下文，并突出显示战术上重要的帧和事件。这一步的结果是一个综合表示，捕捉了每个决策的战术意图和情境背景。多模变换器由六个编码层组成，每个编码层有八个注意力磁头。注意力矩阵采用缩放点积注意力计算。注意力层和前馈层还包括p = 0.1的dropout以避免过拟合。

战术决策分类与评估

最后，融合后的表示作为输入到分类层或决策分析块，用于预测战术决策类型、评估决策质量，并可选择通过注意力热图或激活图为教练生成可解释的洞见。该阶段的输出为球队或球员在对抗赛中的决策能力提供了定量和定性评估。

分类头采用三层MLP，先激活ReLU，后为softmax层。该模型采用70/15/15分割和10重交叉验证训练。所用指标包括准确性、精度、回忆率、F1评分、延迟和AUC。

简化流程图总结了五个阶段，直观地展示了顺序过程，如 图2所示。该图简明扼要地展示了完整的研究流程，包括数据采集、预处理、特征提取、多模态融合和战术决策分类，随后详细描述各阶段。

图2。研究流程的整体流程。研究流程概述， 从数据收集和预处理到特征提取、模型训练和评估。 请点击此处查看该图的放大版本。

图3 展示了建议研究流程的整体工作流程。该过程由第一阶段开始：数据采集与预处理，在此期间收集并同步多模态数据源，如视频、音频、位置追踪和上下文元数据。在第二阶段：特征提取阶段，利用三维卷积神经网络（3D CNN）从视频流中提取时空信息，从而生成玩家动作和战术流的密集视觉表现。第三阶段：多模输入的嵌入与对齐，将音频、视频和位置特征结合到共享的潜在空间中，同时实现时间对齐和跨模态对齐。这些表示随后在第四阶段：基于变压器的多模态融合中被汇总，跨模态和自我关注机制使模型能够学习不同模态之间的相互依赖关系，并获得更深层次的战术决策上下文洞见。最后，在第五阶段：战术决策分类与评估中，合并后的表示被输入分类层，以检测战术决策，如传球、驱动或持球。同时，绩效指标用于估算决策准确性和响应时间。该流程图清晰地概述了逐步方法，辅以后续章节中详尽的文本描述。

图3。顺序处理流程。 描绘了从数据采集到战术决策分类及模型输出的逐步流程。 请点击此处查看该图的放大版本。

数据采集与预处理

为了通过多模态融合管道利用Transformer实现团队运动中的高层次战术决策分析，建立了结构化且高保真度的数据采集与预处理装置。该设置融合了多种数据模式，包括视频录制、球员位置追踪、球员与教练互动的音频信号，以及比赛阶段、球队结构和控球区域等上下文元数据。

研究样本包括40名20岁及以上的男性，他们均积极参与地区业余和半职业足球联赛。他们各自来自四个有结构化训练计划的竞技俱乐部。运动员的平均年龄为20.1±1.2岁，平均身高177.5±3.1厘米，平均体重72.6±2.9公斤。他们为各自俱乐部效力的平均值为6.8±1年半。所有参赛者均具备至少三年的竞技经验，并被认定具备战术能力。

为确保统计效力，样本量采用95%信度水平（Z = 1.96）和5%显著水平，期望班内相关系数（ICC）为0.96,95%置信区间以反映近乎完全一致。这与验证多模态决策数据可靠性和一致性的目标一致，²⁷。

为确保可重复性，采集设置和技术规范在各会话间进行了标准化。视频数据采用GoPro Hero4摄像机，采用宽视场设置，以1080p分辨率、每秒25帧拍摄，以捕捉完整的战术空间。每个录音都经过稳定并安装在固定高度2.5米。音频信号通过外部场麦克风以44.1 kHz采样率（单声道）采集，随后使用300-3400赫兹的带通滤波器滤波以去除环境噪声。位置跟踪数据使用10赫兹的可穿戴GPS传感器收集，制造商报告的平均定位精度为±0.5米。所有模态通过共享时间戳同步，并通过线性插值重新采样到共同的25赫兹时间线。

预处理包括：视频下采样至224×224分辨率，连续16帧帧采样，步幅为2，随机裁剪、水平翻转、亮度归一化、音频归一化、噪声过滤，以及位置和上下文变量z分数归一化。

预处理脚本按以下顺序排列以保证可重复性：（i） 帧提取;（ii） 音频滤波;（iii） GPS插值;（iv）模态重采样至25 Hz;（v） z-分数归一化;以及（vi）损坏、遮挡和丢弃的完整性测试。批处理脚本用于自动完成每个阶段。

为保持数据可靠性，质量控制和排除标准包括：i）包含>20%播放器遮挡，ii）GPS中断超过200毫秒的序列，iii）音频损坏或剪辑，iv）两种模态间严重的运动模糊或不同步。共排除17条序列（3.4%）用于这些疾病。 表1 展示了数据集的描述。

属性	详情
体育	足球（足球）
参赛者	40名男足球运动员
比赛水平	拥有≥5年经验的联合会橄榄球运动员
测试类型	传球与驱动（控球）决策与执行测试
测试设置	标准化的足球场地配置、标记区域、固定位置
测量工具	GoPro Hero4摄像头，Kinovea软件，秒表计时
收集的数据	执行时间（ET）、决策（DM）准确性、正确动作次数
测试程序	球员会根据教练的视觉刺激做出反应，并执行传球或推进
审判重复	每名球员10次试炼（5次传球，5次推进）
评价	专家评级DM;ET是用时间戳/视频测量的
结果变量	反应时间、正确决策计数、技术执行分数

表1：数据集描述。 详细说明参与者的人口统计、测试程序、测量工具和结果变量。

本研究使用了两个相关但不同的数据集。第一个数据集包含40名参与受控传/突破决策任务的球员，主要用于建立基线可靠性和验证基本决策测量流程。第二个数据集包含500个多模态战术序列，这些序列来自扩展比赛模拟和真实比赛录制。这些序列构成了基于变压器的聚变模型的主要训练和测试数据集，使得在更生态有效条件下进行评估。

尽管数据集包含500个多模态序列，分层抽样确保了战术动作（传球、驱动、停稳）之间的平衡呈现。还采用了时间裁剪和序列洗牌等数据增强方法，以增强变异性并减轻训练中的模型偏差。

值得注意的是，最初的模型验证和可靠性测试中使用了40名玩家的对照数据集，而500个多模态序列的大型数据集则通过长时间的匹配记录和有组织的训练课程汇编而成，以评估框架的可扩展性和生态效度。基线信度通过较小数据集建立，而较大数据集则促进大规模模型训练和测试。

数据集描述

该实验招募了40名男性橄榄球运动员，每人至少有五年联邦比赛经验，以确保样本群体具备基本的技术和战术能力。数据收集在标准化的足球场地布局中进行，预先分配了区域和比赛位置，以确保测试条件一致。在实验过程中，参与者必须根据教练的视觉提示做出反应，无论是传球还是驱球，复制比赛中做出的战术决策。每位参与者共完成10项试验，其中5项通过，5项驾驶。这些动作由GoPro Hero4摄像机拍摄，性能数据则通过Kinovea视频分析软件和手动秒表计时器测量执行时间（ET）。主要收集的数据来源包括：执行时间、经验丰富教练评估的DM质量，以及执行正确动作的数量。这些因素为分析玩家在受控刺激-反应条件下做出和执行战术决策的速度和效率提供了定量基础。所生成的数据集是一个结构化且有标签的资源，非常适合创建基准测试或训练智能系统，目标是在团队运动环境中建模战术思维和运动反应。

样本仅限于来自某一地区联赛的年轻男性球员，这可能限制其在不同年龄组、女性运动员或其他文化中的推广性。未来的研究将尝试抽取更具代表性和多样性的样本。

另一个限制是样本量仅为40名来自单一地区联赛的年轻男球员。虽然同质样本有助于内部效度并减少因年龄、性别和战术背景差异导致的表现变异，但也限制了研究结果对更广泛人群的推广性。模型学习的战术模式可能反映地区特有或性别特有的游戏风格，而非普遍的决策行为。本研究采用分层抽样和数据补充以增强数据集的变异性;然而，需要更大规模的研究，涵盖女性运动员、青少年球员、职业球员以及跨越多种战术文化的参与者，以确认该模型在多样化足球环境中的稳健性。这些结果显示出强烈的前景，但在更广泛、更广泛的推广之前，还需要在更多样化、更大规模的数据集上进一步验证。

为了减少主观性，三位职业橄榄球教练独立注释了战术选择。利用班内相关系数（ICC = 0.96，置信区间0.94-0.98）估算了评级间信度，显示近乎完全一致。共识讨论解决了分歧。对于多模态数据，预处理涉及模态间的时间同步（25 fps视频和10赫兹传感器数据）以及特征的z分数归一化，以实现模态间的可比性。

评级间信度采用双向随机效应班内相关系数（ICC [2,3]）量化，该方法适合评估多评级者间的绝对一致性。ICC为0.96（95% CI：0.94-0.98），表明根据常用阈值几乎完全一致，进一步证明训练所用的战术决策标签高度可靠。在所有500个多模态序列中计算了可靠性，确保受控和匹配模拟上下文均得到适当且一致的注释。

注释程序与标记协议

所有多模序列均采用结构化的三阶段协议进行注释。首先，三位持证橄榄球教练独立使用时间同步注释界面（Kinovea + 自定义标签表格）审查了每个视频位置序列。标注者标注了战术决策类别（超车、驾驶、保持）、上下文线索（压力区、超车道可用性）和事件时间戳。其次，一个意见不合检测脚本会自动识别歧义或冲突案例，并在联合共识会议中进行审查。第三，为确保事件边界标记和时间对齐在不同模态间保持一致，最终检查由独立高级分析师完成。这一过程为后续模型训练提供了确保每个注释都可追溯且质量最佳。

预处理

本研究使用500条多模态序列进行，而预处理流程设计上是为大规模数据集设置的。所有模态都经过自动化脚本，这些脚本并行批量提取视频帧、重新采样音频、插值位置数据并应用z分数归一化。模块化架构的存在允许每种模态在不同的 GPU / CPU 线程上独立预处理。这使得大量比赛录像能够被摄取。这确保了工作流程可以轻松扩展到全季数据集，无需人工干预，并使该框架适合在专业分析环境中的实际部署。

为了正确研究团队运动中的战术决策，需要对不同模式的原始数据进行预处理和对齐——如视频片段、音频信号和位置记录。多模输入示例为

(1)

这里，V 表示为从 CNN 编码器提取的一系列视频特征。

(2)

这里，A 是由 wave2vec 编码的音频特征。

(3)

P 表示玩家在时间 ti 的坐标位置。

为处理异步采样率，每种模态都会被重新采样或插值到一个共享的时间线：

(4)

这里 ，是同步特征_f，t，是组合帧的速率，_Xm是初始指示。

对于各模态尺度的统一，所有特征向量均被归一化：

(5)

μ_X 和 σ_X 表示训练集中特征维度的均值和标准差。

虽然主要关注的是传球/突破决策，但增加了音频通道（如球员/教练沟通、环境比赛提示）以应对实际比赛中语音信号影响战术反应的情况。超参数（如学习率、历元）通过网格搜索和多模态学习中的现有评估选择，在收敛稳定性和计算效率之间取得平衡。

建议框架的超参数——学习率、批次大小和训练历元——通过精心规划的系统网格搜索选定，以实现收敛稳定性和计算效率。采用Adam优化器选择0.0001的学习率，有助于稳定地更新梯度且无振荡，同时批量大小优化以平衡GPU内存容量与训练吞吐量。采用50-100个时代设置，以实现充分学习且不过度拟合，这一点通过验证损失追踪和10折交叉验证得到确认。这些数值并非任意设定，而是基于早期多模态学习测试的指导，并通过当前数据集上的实验试验进行调整。这一严谨的过程确保所选超参数能够实现模型的稳定训练，并实现比基线方法性能的可重复性提升。

虽然分类任务侧重于传球/驱动/持球决策，但音频信息是有意加入的，因为足球中的真实战术行为深受球员-教练沟通、队友呼叫信号、逼抢信号和环境声音（如球接触声、对手接近声）的影响。这些线索常常在决策之前或同时出现，构成足球运动员自然感知环境的一部分。初步消融实验显示，排除音频后，回忆率降低了3.8%，这表明即使是细微的声学线索也有助于情境感知。因此，保留了音频以保持生态效度并提升模型推广到真实匹配条件的能力。

事实上，为了进一步支持这些超参数，进行了内部敏感度分析，通过系统地将学习率从1e-5调整到5e-4，批量大小从8到32，变压器层数从4到8，注意力中心数从4到12。所选配置的学习率为1e-4，批次大小为16，采用8个注意力头的6层编码器，持续实现稳定收敛，验证损失最小，最大限度地减少10重交叉验证的过拟合。批次越大导致梯度不稳定，而批次越小，噪声增加并延迟收敛。同样，超过8个磁头的变压器型号性能未提升，但显著增加了计算时间。所得结果支持本研究最终设置的超参数。

利用三维卷积神经网络进行特征提取

在提出的基于变压器的多模融合框架中，用于团队运动战术决策，三维卷积神经网络（3D CNN）负责从原始视频片段中提取时空特征。

与仅考虑空间维度（宽度W和高度H）的二维CNN不同，三维CNN还考虑了时间维度R，使其能够检测运动动力学和顺序模式，这些对于理解球队行为至关重要，比如足球中的推进和传球。

3D-CNN²⁸ 最初被提出结合视频数据的空间和时间信息。三维核用于三维卷积算法，映射为由部分列堆叠的帧组成的立方体。三维卷积可以用方程（6）表示

(6)

其中： 是第 l 层第 j 特征映射上位置 （x， y， z） 的输出特征。 是第 m 个输入特征映射中位置 （h， w， r） 的核权重。 是与前一层时空偏移的输入。b_lj 是偏置。f（.） 是激活函数（通常为 ReLU）。M 是来自前一层的输入特征映射数量。该方程使三维卷积神经网络能够并行结合空间（高度和宽度）和时间（帧序列）信息。

图4。三维CNN处理架构。 展示了如何利用三维卷积运算从视频序列中提取时空特征。 请点击此处查看该图的放大版本。

图4 展示了三维卷积神经网络的工作过程。流程从输入阶段开始，未处理的足球比赛视频流与有组织的数据融合，包括球员位置、比赛统计和上下文元数据。这种多模态信息既保留了视觉动态，也保持了情境上下文，这对团队战术分析至关重要。然后，视频流通过三维卷积神经网络（3D CNN）进行路由。在这种情况下，输入帧上使用了一系列三维卷积层。这些层沿着空间维度（高度和宽度）和时间维度（帧）展开，使网络能够学习运动模式、球员互动以及基于序列的战术，如传球或突破。随后形成一个具有密集时空特征的特征立方体。该立方体会进行池化作，以降低尺寸，同时保留重要特征。在合并时，特征体积被压平为一维矢量，从而简洁地表示战术形势。该特征向量随后被输入到完全连接的深度神经网络（DNN）。DNN是决策模块，负责处理融合和提取的特征，以做出战术决策，如传球、射门或持球。网络的输出是系统基于实时实际游戏情况以及已学习的战略模式做出的最终战术决策。

多模输入的嵌入与对齐

特征提取后，三个特征（如音频、视频和播放器的统计位置）作为输入模态给出。

要将这些输入变换器，然后通过可学习的嵌入函数分别输入：

(7)

其中 f_3DCNN 学习每个时间片 V_t 的时空特征，并将其映射到 d 维潜空间。

(8)

其中 W_P 和 b_P 是可学习的权重。

(9)

所有嵌入都按时间维数T对齐。如果模态频率不同，则采用插值或下采样：

(10)

现在，所有模态同步如下：

(11)

为了保持变换器中的时间顺序，还要为每个向量引入位置编码：

(12)

其中表示默认的正弦或可学习位置编码。

每种模态通过PyTorch线性层进行作编码，连接成512维向量，然后在位置编码后输入变压器输入序列。这保证了在每个时间步都为交叉关注准备统一嵌入。

最终张量为

(13)

输入到变换器编码器中，自关注和跨模态注意力机制使模型能够跨所有模态共同推理战术决策。

基于变压器的多模聚变

在所提方法中，采用低秩矩阵分解法对获得的多模数据向量进行积分。该方法解决了张量直接融合时出现的高维问题，该方法使用低阶分解因子进行张量融合²⁹。每种模态最初以向量表示，并通过低秩分解实现保持显著相互作用的降维。M模态中的融合张量Z_M 构建为：

(14)

其中： 是第m模态的低秩因子， 是外积，r是分解秩。

聚变矢量 h 随后计算为：

(15)

当单独使用两种模态时，约化融合为：

(16)

这会产生一个联合多模态表示矢量h，用于模拟潜在层次的跨模态相互作用。

在获得低秩融合向量 h 后，Transformer 模块建模了模态之间的依赖关系并对齐语义表示。跨模态注意力专门设计，使一种模态能够关注另一种模态：

(17)

其中Q_m是模态m查询，K_{n，V n}是模态n中的键和值向量，d_k是键向量的维数。这种设置促进了特定模态的注意力流，允许对每类输入进行相对处理（例如，将玩家动作与游戏上下文和视频指示同步）。

交叉关注的向量通过多层感知器（MLP）堆叠和分类。输出是一个战术决策标签（例如，传递、驱动、保持），针对端到端训练优化的交叉熵损失。

图5。基于变压器的多模态聚变架构。 展示了视觉和传感器模态如何通过变压器编码器整合以增强特征表现。 请点击此处查看该图的放大版本。

如 图5所示，多模融合块结合了视觉和位置输入。这是一项必要的设计，因为战术决策需要空间感知和运动动态，而这些无法用单一模态来表现。

图5 展示了基于变压器的多模态融合的工作结构。该设计将多种视频数据、空间坐标和比赛上下文数据整合到一个通道中，用于预测传球、突破或持球等战术动作。该方法从输入视频开始，这些视频通过3D卷积神经网络（3D CNN）进行审核。该系统能够识别视频中的空间和时间结构，从而捕捉玩家的动态活动和随时间变化的交流。同时，通过嵌入层传递上下文和位置信息，将结构化输入转化为密集的矢量表示。上下文流、定位流和视频流的输出可以通过低阶融合模块融合。该方法通过融合空间分解有效获得跨模态相关性，最大限度地降低计算复杂度，同时保持模态间的本质关系。最后，融合多模表示由变换器编码器处理，并对其进行跨模态关注。这一过程使模型能够聚焦于不同模态和时间步中的正确特征，增强了对战略博弈行为的理解。最后，编码输出通过串接和多层感知器（MLP）模块传递，将所学表示映射到某些战术决策。模型输出对球员动作如“传球”、“突破”或“持球”进行分类，从而实现智能、数据驱动的团队战术分析。

在建议的基于变压器的多模融合战术分析系统中，最后阶段是战术决策分类与评估，将学习到的多模态表示转换为可决策的标签。通过低秩融合融合视频、位置和上下文特征，并在Transformer编码器中通过跨模态注意力微调，所得特征向量被输入多层感知器（MLP）分类器。每个决策类都用软极大激活函数表示，给出所有可能动作的概率分数。模型选择最可能的类别作为预测的决定。该模型训练于交叉熵损失函数，该函数奖励正确预测，并使网络学会区分战术情境下的相似差异。此外，还可以考虑时域评估，以确认在实时或近实时博弈情况下的响应性，确保分类器准确且在类博弈时间约束下不浪费时间。表2展示了模型架构和超参数。

组成部分	规格
变换器编码层	6
注意点	8
隐藏的维度	512
前馈层尺寸	2048
嵌入维度	视频：1024 → 512，音频：256 → 512，位置：128 → 512
位置编码	可学习
融合方法	低阶多模融合（秩r = 16）
优化器	亚当
学习率	0.0001
批次大小	16
训练时期	50–100
退出	0.1
损失函数	交叉熵

表2：模型架构与超参数。 列出了基于变压器的多模聚变模型的训练设置和关键组件。

为了进一步清晰和可重复，多模变压器采用了6层编码堆栈，每个堆栈配备8个注意力磁头和隐藏维度512，遵循中档多模态任务的典型变压器设置。每种模态都经过一个嵌入块：视频通过3D卷积神经网络编码器输出，1024-dim;音频由基于Wave2Vec的编码器（256-dim）进行;以及通过2层MLP编码器（128-DIM）进行位置加上下文特征。所有这些嵌入都通过可学习的线性变换投影到共享的512维潜空间。为了建立时间对齐，所有模态首先插值到25 Hz的单一频率上，然后应用学习到的位置编码以保持时间顺序。跨模态比对通过交叉注意力层完成，这些层在输入自注意编码栈之前，显式学习模态间的相关性。这些架构选择旨在平衡模型容量与计算效率，从而确保在中等规模数据集上实现稳定收敛。

在实际作中，提出的基于变压器的多模态融合框架最适合拥有同步多模态数据的场景，如结构化训练、受控比赛模拟，或配备稳定视频流和位置跟踪系统的专业环境。该方法所需的四个主要输入是：（i）高分辨率视频，（ii）定位跟踪数据（GPS/LPS），（iii）音频流，以及（iv）上下文元数据——例如控球、压力区、比赛阶段。为了实现可靠性能，这些模态必须与漂移最小同步（视频≥25 fps，位置传感器≥10 Hz），并应保持稳定的视角和最小的信号噪声。那些无法提供同步输入的设置，例如业余比赛中摄像角度不规则、直播中出现延迟/压缩伪影，或缺乏位置跟踪基础设施的环境，这些设置对框架的相关性将较低。此外，现有系统在半可控条件下表现最佳，但在完全无控制的现场比赛环境中，光照、遮挡和动态观众噪音影响数据采集质量，稳定性可能明显下降。这些约束勾勒出该系统可部署的实际边界，并强调在多种模式下持续捕获数据对于应用所提模型至关重要。

改装与故障排除

在实际实现中，多模态流水线中可能出现多种问题，可能降低模型稳定性或整体性能。一个常见问题是模态间的时间错位，即以25帧每秒录制的视频和以10赫兹捕捉的位置数据不同步，导致线索不匹配，导致注意力图不稳定并降低回忆能力。这可以通过应用基于时间戳的重采样、线性插值以及自动移除漂移过大的序列来解决。音频通道还可能受到风声、人群声或麦克风削波引起的噪声影响，导致变压器忽略音频令牌，并略微降低精度。应用带通滤波、频谱门控以及用零矢量替换严重损坏的片段，有助于保持音频嵌入的稳定性。视觉质量问题，如球员遮挡或运动模糊，会削弱3D卷积神经网络的时空表现，增加传导混淆。通过排除严重遮挡的序列并采用增强策略，包括随机裁剪、亮度归一化和运动模糊模拟，这一问题得以缓解。如果不同模态的嵌入尺度不同，可能导致振荡验证损耗或梯度尖峰，就会发生变压器不稳定。确保Z分数归一一致、采用热身学习率计划、应用梯度削波以及增加掉频率，可以恢复训练的稳定。低秩融合在融合秩设置不当时也可能带来问题，导致跨模态关系扭曲和类别不平衡。对于小数据集保持适度秩，在较大数据集中增加秩，并应用L2正则化有助于保持融合的平衡。计算瓶颈可能因大视频张量导致GPU内存溢出或训练变慢而出现。这些问题可以通过混合精度（FP16）训练、在早期实验中降低输入分辨率，或缓存预计算的3D-CNN特征来解决。最后，战术决策中的自然职业不平衡，尤其是“驱动”，可能会减少回忆并导致AUC波动;应用类平衡损失、过度采样少数行为以及丰富上下文元数据，可以显著改善平衡和决策判断。这种整合的故障排除指导确保研究人员和从业者能够保持稳定的训练条件，提高可重复性，并有效适应不同数据集和环境的框架。

Results

该设计将多种数据、视频、空间坐标和比赛上下文数据整合到一个通道中，用于预测传球、突破或持球等战术动作。该方法从输入视频开始，这些视频通过三维卷积神经网络（3D CNN）进行审核。上下文流、定位流和视频流的输出可以通过低阶融合模块融合。该方法通过融合空间分解有效获得跨模态相关性，最大限度地降低计算复杂度，同时保持模态间的本质关系。最后，融合多模表示由变换器编码器处理，并对其进行跨模态关注。 表3 表示拟议方法的模拟环境。

...

模拟环境	规格
编程框架	Python 搭配 PyTorch/TensorFlow
硬件	NVIDIA RTX 3080 显卡，32 GB 内存

Discussion

本文提出的基于变压器的多模态融合框架，是对基础论文中介绍的Stroop任务足球测试（STFT）的一项重要进展。与基础论文专注于受控、实验室导向的测试，刺激有限且静态，如彩色箭头和预定义任务（驾驶或超车）不同，新模型基于真实多模态源数据，促进更丰富、自动化的战术分析流程。然而，尽管整合了实战多模态序列，受控传球/驱动任务的比例仍高于实现完整生态真实性的理想要求，因此部分限制了模型充分表现游戏战术多样性的能力。特别是，基础研究采用了手动视频标注、小规模测试环境和主观人类专家评级，以获得决策准确率（DMA）和执行时间（ET）。虽然该方法在基线测试中表现良好，但其可扩展性有限，生态效度有限，且对刺激依赖性较大。

对所呈现方案的批判性综述表明，多个阶段对所提多模态框架的成功和稳定性有显著影响。首先，多模态数据采集和时间对齐阶段非常敏感。25帧每秒视频与10赫兹位置数据之间的轻微不同步会导致时间错位，进而在后续融合层中传播误差。其次，基于3D卷积神经网络的这一阶段特征提取在捕捉运动和空间动力学方面起着关键作用。时空嵌入的质量因...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
3D CNN	自定义实现		从视频中提取时空特征
GoPro Hero4	GoPro公司	https://gopro.com/	比赛录像
GPS/IMU传感器	弹射运动 / Xsens	https://www.catapultsports.com/	球员位置追踪
英特尔 Core i7-11700K CPU	英特尔	https://www.intel.com	模型训练工作站 CPU
图书馆	librosa.org	https://pypi.org/project/librosa/	音频信号处理与重采样
MLP分类器	PyTorch / 张量流		战术决策分类
数字派	Python 软件基础	https://pypi.org/project/numpy/	数值计算与矩阵运算
NVIDIA RTX 3080 GPU	NVIDIA	https://www.nvidia.com	深度学习训练与推理
OpenCV	OpenCV.org	https://pypi.org/project/opencv-python/	从视频中提取帧
熊猫	Python 软件基础	https://pypi.org/project/pandas/	数据作与表格处理
PCA（Scikit-learn）	Scikit-learn	https://scikit-learn.org/	降维
Python 3.9	Python 软件基础	https://www.python.org/downloads/release/python-390/	编程语言环境
PyTorch	PyTorch基金会	https://pytorch.org/	深度学习框架
Scikit-Learn	Scikit-Learn 开发者	https://pypi.org/project/scikit-learn/	交叉验证，ICC计算
张量流 2.8	谷歌	https://www.tensorflow.org/	深度学习框架
变压器编码器	PyTorch / 张量流		多模态特征与注意力的积分
Ubuntu 20.04 LTS	佳能有限公司	https://ubuntu.com/	模型训练作系统
工作站	定制 / 英特尔，NVIDIA		用于模型训练的CPU、GPU、内存