使用通过UiPath抓取的数据和Transformer深度学习模型预测黄金期货价格

摘要

该研究开发了一种基于Transformer的深度学习模型，利用2014年至2024年的历史数据准确预测黄金价格。该模型准确率达到93%，通过捕捉复杂趋势和依赖关系，优于传统方法。该模型有助于投资者和政策制定者进行决策，并建议未来结合情感分析和全球因素进一步优化模型性能。

摘要

黄金是全球最具价值且交易最广泛的大宗商品之一，尤其在印度，它在经济和金融市场中发挥着重要作用。历史上，黄金一直是国际贸易和经济稳定的重要基石，各国央行通过持有黄金储备来应对通货膨胀和外债问题。黄金价格作为关键的经济指标，影响着市场趋势和投资策略。然而，由于金融市场的复杂性和非线性特征，准确预测黄金价格具有挑战性，其价格受到利率、经济衰退、油价波动以及地缘政治事件等多种因素的影响。本研究采用Transformer模型来预测每日黄金价格，数据通过使用UiPath从investing.com网站爬取获得。UiPath是一种机器人流程自动化（RPA）平台，用于保障数据完整性并提升模型性能。为提高数据质量，进行了缺失数据处理和MinMax归一化等预处理操作。该模型在关键性能指标上进行了训练与测试，最终达到均方误差（MSE）0.0224、均方根误差（RMSE）0.1496、决定系数（R-squared）0.93的优异表现，具备较高的预测精度。研究结果表明，Transformer模型能够有效识别短期价格波动和长期市场趋势，相比传统预测方法更具准确性与可靠性。本研究为投资者、金融分析师和政策制定者在黄金现货市场中做出科学决策提供了有价值的参考。未来的研究可通过引入新闻标题和社会媒体情绪等替代数据源，进一步提升模型性能，从而更深入地洞察市场动态。

引言

黄金是金融市场中最重要的商品之一，是一种关键的经济资源和价格调控工具。在许多国家，黄金构成了中央银行储备的重要组成部分¹。近年来，黄金作为对冲通货膨胀的工具而日益受到关注²。它是一种关键的避险资产，利用能够考虑非对称性、极端值和跳跃现象的广义自回归条件异方差-混合数据抽样（GARCH-MIDAS）模型，可提高其波动性预测的准确性³。印度和中国是全球最大的黄金进口国和消费国，占全球需求的约60%。在市场动态和商品关联关系的推动下，黄金价格持续上涨，使其成为追求未来回报的首选投资品⁴。在印度，居民持有的实物黄金数量巨大，家庭通常将黄金视为一种文化资产和财务保障手段。其对实物黄金的需求直接影响市场趋势，凸显了在黄金价格预测中考虑其相关性的重要性^5，6。投资者始终在寻求能够以最低风险获得最高回报的投资机会。在此背景下，黄金作为一种避险资产，在经济不确定性时期提供了财务安全保障。在印度，主要的投资选择包括股票、银行、存款、保险、黄金邮政储蓄以及其他储蓄和投资选项⁷。鉴于其稳定性，黄金被广泛认为是各类投资选项中最优的替代投资方式，是一种能够抵御通货膨胀和金融风险的宝贵资产^1，8。黄金价格的决定受到黄金供需、通货膨胀和汇率等因素的影响。一项令人意外的发现表明，美元升值与黄金价格上涨相关，这可能源于投机性投资行为⁹。由于黄金价格波动剧烈、不可预测、具有非线性和不可控的变动特征，因此其价格难以准确预测¹⁰。因此，准确预测黄金价格对于投资者、投资组合管理者和政策制定者至关重要，因为更优的预测能力可能带来显著的盈利机会¹¹。当前黄金价格趋势已是二十年前的四倍，加之人们希望持有黄金的意愿，吸引了投资者投资于相关资产¹²。因此，在投资黄金之前，每位投资者都必须了解影响其价格的关键因素¹³。在金融行业中，预测黄金价格走势的能力至关重要，即使在预测性能上取得微小的提升，也可能带来利润。金钱对于维持生活至关重要，而稳健的金融预测将有助于经济扩张¹⁴。

图1 探讨了2014年至2024年期间印度黄金价格的走势，以及黄金价格如何日益受到美元指数、联邦基金利率、消费者价格指数（CPI）、汇率、油价和标普500指数（S&P500）¹⁵等全球性因素的影响。其他影响因素还包括经济周期、名义利率、大宗商品价格、汇率和股票价格¹⁶。该图突显了黄金价格的显著变化、市场的波动性，以及近年来尤为明显的持续上涨阶段。2014年至2018年间价格波动较小，但在2019年出现了强劲的上升趋势，并伴随更大的价格波动。2020年，由于市场对通货膨胀和经济动荡的担忧加剧，黄金作为避险资产的地位得到显著增强。收盘价与开盘价走势高度一致，但2020年之后高低价格之间的差距扩大，显示出更大的波动性。在2023至2024年期间，黄金价格稳步攀升，达到历史最高水平。该图表展示了黄金随时间推移的升值过程，使其成为分析师和投资者的重要参考资产。

准确预测黄金价格对于科学决策至关重要，但由于经济和地缘政治状况等复杂因素的影响，这一任务极具挑战性¹⁷。传统的模型，如自回归积分滑动平均模型（ARIMA），往往难以捕捉这些复杂性，从而限制了其预测准确性^18,19。为了克服这些局限性，机器学习与深度学习的最新进展显著提升了金融预测的准确性。实验表明，深度学习模型（如长短期记忆网络，LSTM）能够更好地捕捉黄金价格中的序列关系和趋势，其表现明显优于传统统计模型²⁰。在大数据计算与经济学领域，混合预测模型在黄金价格预测中具有重要意义²¹。然而，无论其性能如何，循环神经网络模型（如长短期记忆网络LSTM和门控循环单元GRU）仍存在梯度消失问题、计算复杂度高以及难以捕捉长距离依赖关系等固有局限性，这可能影响其处理大规模金融时间序列数据的效率。

为了弥补这些不足并进一步提高预测准确性，与LSTM网络相比，Transformer模型在时间序列预测中正成为一个颇具吸引力的选择。Transformer利用自注意力机制，能够有效识别金融数据中的长期趋势和短期波动，并通过并行处理提升可扩展性。鉴于其在金融市场预测中的有效性，Transformer在提高黄金价格预测准确性方面具有巨大潜力。本研究旨在利用历史黄金价格和主要经济数据构建一种用于黄金价格预测的Transformer模型，从而为黄金价格预测提供一种更为稳健的方法。

早期研究曾使用多种技术预测金价，包括神经网络、算法、机器学习、深度学习和人工智能。以下是一些与金价预测相关的研究：

高斯过程回归（Gaussian process regression, GPR）已成为金属价格预测中一种稳健的工具，其在钢铁、铜和贵金属领域的应用凸显了其在处理高维金融数据方面的有效性，并通过贝叶斯方法优化模型，以更准确地预测黄金价格，均方根误差（RMSE）低至0.87²²。该研究提出了一种新颖的混合模型，将基于随机卷积核的神经网络（Random Convolutional Kernels-based Neural Network, RCK）与广义自回归条件异方差模型（Generalized Autoregressive Conditional Heteroskedasticity, GARCH）相结合，用于预测黄金、白银和铂金的价格波动。该方法的预测准确率比GARCH-LSTM模型高出53%²³。该研究采用自回归积分滑动平均模型（ARIMA）和Holt-Winters模型，结合消费者价格指数（CPI），对印度和美国未来的黄金价格及通货膨胀率进行预测。结果表明，黄金对印度和美国投资者而言均是抵御通货膨胀的良好对冲工具²⁴。该研究比较了深度学习与机器学习模型，分析比特币与黄金、石油、美元指数（DXY）以及利率等全球因素之间的关系。时间融合变换器（Temporal Fusion Transformer, TFT）表现最优，凸显在国际事件和监管背景下，黄金和DXY是影响比特币的关键因素²⁵。此外，该研究系统综述了影响黄金期货价格的因素，包括通货膨胀率、利率、原油价格和美元指数，并总结了三类主要预测方法：传统时间序列模型（如ARIMA、GARCH、ARDL）、混合模型（如MS-MIDAS-CJ、VMD-ICSS-BiGRU）以及深度学习方法（如SGRU-AM、DBN）²⁶。变换器（Transformer）架构在长期时间序列预测中展现出强大潜力，能够有效捕捉长距离依赖关系，并优于传统的基于循环神经网络（Recurrent Neural Network, RNN）的模型²⁷。该研究探讨了黄金价格与股票市场、原油、汇率、通货膨胀和利率等关键决定因素之间的关系，采用多种机器学习算法，发现梯度提升回归在预测黄金价格方面比随机森林回归更为准确¹⁴。该研究使用自回归分布滞后（Autoregressive Distributed Lag, ARDL）模型，以国库券利率、黄金需求和滞后的黄金价格作为协变量，预测年度黄金价格²⁸。所提出的卷积神经网络-长短期记忆网络（Convolutional Neural Network-Long Short-Term Memory, CNN-LSTM）模型在黄金价格预测中表现出优于传统方法的性能，具有更低的平均绝对误差（MAE）和均方根误差（RMSE）。在LSTM架构中引入卷积层，进一步增强了模型捕捉数据中短期模式和长期依赖关系的能力²⁹。

通过使用极限学习机（Extreme Learning Machine, ELM）模型，结合黄金价格、白银价格、原油价格、标准普尔500股票指数（S&P500）以及汇率这四种商品的历史数据，可对未来的黄金价格进行预测，预测准确率达到91.67%⁴。一项研究采用多层感知器（Multilayer Perceptron, MLP）神经网络模型，基于德黑兰证券交易所（Tehran Stock Exchange, TSE）的数据预测股价波动和黄金价格，结果表明，人工神经网络在预测准确性方面优于传统的预测模型³⁰。该研究还将长短期记忆网络（LSTM）与线性回归模型进行比较，发现在线性回归模型中，预测黄金价格日波动的准确率略高，达到53.02%，这表明即使较为简单的模型在预测黄金价格走势方面也可能有效，凸显了理解黄金价格与更广泛的经济因素之间关系的重要性³¹。在利用小波神经网络（Wavelet Neural Network, WNN）进行黄金价格预测的研究中，实验结果表明，改进的人工蜂群（Artificial Bee Colony, ABC）算法在结合小波神经网络进行黄金价格预测时，优于传统ABC算法³²。

已有多种先进的预测模型被提出用于黄金和金融市场的预测。其中一项研究开发了一种基于自适应神经模糊推理系统（ANFIS）的黄金价格预测模型，以历史黄金价格作为输入。该模型在均方根误差（RMSE）方面优于ARIMA和CNN模型，能够准确预测次日黄金价格。此外，该模型的投资回报率显著高于“买入并持有”策略，显示出在黄金价格预测方面的强大潜力³³。另一项研究将极限学习机（ELM）与模糊推理系统（FIS）相结合，并采用混沌量子交叉搜索算法（CQCSA）进行优化。该混合模型在黄金和石油价格预测中表现出更优的性能³⁴。一项研究在新冠疫情期间应用多种机器学习模型进行金融市场预测，结果表明， Vanilla Stacked LSTM 在时间序列预测中优于其他方法。研究结果强调，在短期市场预测中，除历史金融数据外，纳入非经济变量具有重要意义³⁵。另一项研究探讨了集成模型在黄金和白银股价走势预测中的应用。这些方法分别实现了85%的黄金预测准确率和79%的白银预测准确率，表明其具备捕捉复杂市场动态的能力³⁶。在另一项专注于深度学习架构用于黄金价格预测的研究中，双向长短期记忆（BiLSTM）模型优于标准LSTM模型，表现出更高的R²值以及更低的平均绝对误差（MAE）和均方根误差（RMSE）。通过有效捕捉归一化历史数据中的时间模式，BiLSTM展示了其提升金融预测准确性的潜力³⁷。

由于金融市场的波动性、非线性和多因素特性，黄金价格的准确预测长期以来一直是投资者、分析师和政策制定者面临的重要挑战¹⁰。传统的统计模型，如ARIMA模型和基于回归的方法，在捕捉黄金价格变动中固有的复杂动态关系方面表现出局限性，尤其是在宏观经济指标、地缘政治紧张局势和全球金融变化影响下尤为明显¹⁹。尽管ARIMA及类似模型在短期线性预测中具有一定效用，但它们难以捕捉非线性特征、结构突变以及长期依赖关系^18,38。虽然LSTM和GRU等深度学习模型通过学习序列模式提升了预测性能²⁰，但这些模型仍存在梯度消失等内在局限性，并且在建模时间序列数据中的长期依赖关系时面临困难²⁹。此外，尽管已有研究探索混合模型与集成模型，但它们在处理大规模金融数据集时通常面临可扩展性和计算效率的挑战²³。黄金作为一种对抗通货膨胀和经济不确定性的对冲工具，其重要性日益凸显，尤其在印度等国家，黄金具有重要的文化和金融意义，因此对高鲁棒性、高精度预测模型的需求变得尤为迫切²。近年来，深度学习领域取得了新进展，特别是以自注意力机制著称的Transformer架构，在金融领域的时序预测任务中展现出良好的应用前景¹⁷。然而，现有文献尚缺乏针对黄金价格预测的全面研究，特别是基于长期历史数据并融合多样化经济指标的Transformer模型的应用。大多数先前的研究要么聚焦于短期预测，要么使用有限的数据输入，未能充分挖掘Transformer模型在同时捕捉市场短期与长期趋势方面的潜力³¹。

因此，本研究通过提出并评估一种基于十年历史黄金价格数据（2014–2024年）训练的Transformer深度学习模型，填补了当前研究中的关键空白。这些数据通过使用UiPath的自动化且可重复的网络爬虫方法收集。该模型旨在提高预测准确性，优于现有的LSTM、CNN-LSTM和回归模型，为投资者和政策制定者在市场不确定性条件下做出科学决策提供可靠的工具²²。

黄金价格的持续上涨加剧了市场对预测的需求，这种需求对于投资者、金融分析师和政策制定者而言比以往任何时候都更加重要。黄金被广泛视为一种避险资产，在投资策略中发挥着关键作用，尤其是在印度等黄金具有经济和文化重要意义的国家。在市场波动日益加剧和全球不确定性上升的环境下，可靠的预测对于实现收益最大化、管理风险以及做出稳健的金融决策至关重要。本研究旨在构建一个准确且有效的黄金价格预测模型，以契合当今金融市场的复杂性。

方案

本研究的方法论是一个系统化流程，旨在开发一种用于黄金价格预测的Transformer模型。数据收集是第一步，通过收集历史黄金价格数据及相关金融指标，构建一个全面的数据集。随后，数据集将经过数据预处理、模型开发、评估、性能指标分析，最终实现黄金价格预测，后续章节将对此进行详细说明。

数据收集与可靠性：
本研究中使用 UiPath 机器人流程自动化（RPA）平台开发的自动化流程收集历史黄金价格数据。数据集来源于 Investing.com，这是一个广泛使用且备受认可的金融平台，以其结构化和准确的大宗商品及市场数据而著称³⁹。数据集包含从 2014 年 1 月 1 日至 2024 年 12 月 31 日的每日数据，字段包括日期、开盘价、最高价、最低价、收盘价、成交量和涨跌幅（补充表 1）。自动化程序被设定为自动访问相关的历史数据页面，指定预设的日期范围，并将数据集导出为 Excel 文件。为提高稳定性和执行速度，该流程避免使用日历选择器界面，并集成了验证程序、时间延迟和条件检查机制，以适应网页结构的变化。该方法实现了高效、可重复且准确的数据提取，无需人工干预。

为确保数据的完整性与可靠性，已引入多重验证步骤，例如 UiPath 的“元素是否存在”（Element Exists）、条件检查以及用于控制动态页面加载的延迟，以保障数据的完整性与可信度。从外部来源进行网络爬虫是高效获取大规模数据集的有效方法。然而，该方法也可能带来一些挑战，例如数据格式不一致、网页结构变化，或随着时间推移数据可获取性的波动。爬取工具具备错误处理机制，并已接受定期的可靠性测试，以降低上述风险。为验证数据准确性，还随机将获取的数据与其他来源（如 Yahoo Finance）的信息进行交叉核对。在预处理阶段，采用前向填充和插值法处理非交易日及缺失记录。该方法提供了一种既稳健又高效的方式，生成适用于深度学习模型的可信数据集。

数据预处理：
在本研究中，首先将黄金价格数据集加载到 pandas DataFrame 中，以创建用于分析的表格数据集，并使用 info、describe 和 unique 等方法检查数据类型、统计分布以及每列中唯一值的数量。随后，数据集根据其索引按升序排列，以确保时间序列分析中的时间顺序。通过 dropna 方法识别并删除缺失值，同时使用 duplicated 方法检测重复条目，并通过 drop_duplicates 方法将其移除，以保证数据完整性。为保持一致性，列名被标准化，例如将 Price 重命名为 Close，Volume 保持为 Volume，Change % 重命名为 Change，从而提高后续分析的清晰度。通过上述步骤，数据集得以清洗、结构化，并为后续建模与解释提供了准确可靠的基础。

模型开发：
该变换器模型依赖于自注意力机制，而非循环或卷积结构，从而实现高效的序列建模。在时间序列预测（如黄金价格预测）的背景下，该架构能够有效捕捉长距离依赖关系⁴⁰。因此，图2中的变换器模型通过利用先进的深度学习技术分析历史价格趋势，用于黄金价格预测。在数据预处理后，输入数据首先经过嵌入层，将数值特征转换为密集的向量表示，使数据在分析中更具意义。随后应用位置编码以保留时间信息。每个编码器模块包含一个多头注意力机制，设有4个注意力头，后接一个前馈神经网络。每个注意力头采用缩放点积注意力机制，聚焦于相关的历史数据点。该模型包含四个编码器层，每个层的前馈内层大小为512，模型维度（d_model）为128。每个子层后均采用 dropout 正则化，丢弃率为0.1，以防止过拟合。持续使用残差连接和层归一化可稳定训练过程并提升收敛性。模型的一个关键组成部分是注意力机制，它能够识别并优先关注最相关的过去数据点，而非对所有历史值一视同仁。这使得模型能够捕捉黄金价格变动中的重要模式和依赖关系。处理后的信息随后通过一个神经网络层，进一步优化模式和关系，以提高预测准确性。此外，模型引入了多个堆叠的变换器层，增强了其学习复杂趋势的能力，从而提升预测性能。最后，通过均方误差（MSE）、均方根误差（RMSE）和决定系数（R²）等性能指标评估模型准确性。该变换器方法能够高效捕捉金融时间序列数据中的短期和长期依赖关系，因而在精确预测黄金价格方面表现出色。

为了对输入特征进行归一化，采用了如下公式所示的最小-最大值缩放方法。

设 x 为特征值，x_min 和 x_max 分别为该特征的最小值和最大值⁴¹。

x：原始值（今日黄金价格）。
x_min，x_max：该特征在训练期的最小值和最大值。
[a, b]：目标范围（通常为 [0, 1]；有时为 [-1, 1]）。

Transformer 编码器的核心是缩放点积注意力机制⁴⁰，其定义如下：

均方误差（MSE）
该模型通过最小化预测值与实际值之间的均方误差（MSE）进行训练⁴²。

均方误差（MSE）=

均方根误差（RMSE）
采用均方根误差（RMSE）⁴³ 评估性能，计算公式如下：

均方根误差（RMSE）=

训练与验证
数据集被划分为三个子集，其中80%用于训练，10%用于测试，10%用于验证。模型采用Adam优化器⁴⁴进行优化，批量大小为64，学习率为0.001。为防止过拟合，训练过程共进行50个训练轮次，并根据验证损失提前停止训练。均方误差（MSE）作为损失函数。目标输出为t+30时刻的值，序列输入通过30天的回看窗口（L = 30）生成。在需要时，应用填充和掩码技术以保持序列长度恒定。模型使用TenSorFlow⁴⁵实现，确保其可扩展性和可重复性。这些详尽的规范支持结果的可重复性，同时有助于理解Transformer架构在金融预测任务中的适应性调整。

测试
使用占总数据剩余10%的测试数据集对变换器模型进行最终评估。将预测的黄金价格与实际值进行比较，并计算性能指标以衡量预测的准确性。

模型评估
采用均方误差（MSE）、均方根误差（RMSE）和决定系数（R²）等关键统计指标对模型的预测性能进行评估。结果将在下一节中展示。

结果

在研究中，通过历史数据评估了分析性能指标，这些指标用于全面反映变压器模型对未来黄金价格预测的准确性。

在图3中，黄金价格K线图全面直观地展示了价格波动，突出了不同时期的重要走势模式、市场回调以及价格稳定区间。为便于跟踪市场动向，每根K线代表一个独立的交易周期：红色K线表示价格下跌，绿色K线则表示价格上涨。2014年至2018年间，黄金价格基本保持稳定，波动极小，K线体短小，表明市场波动性较低。但从2018年开始，图表显示出更高的波动性，影线更长、K线实体更大，反映出交易活动增加以及投资者兴趣上升。2019年起呈现明显的上升趋势，并在2020年左右出现显著的价格飙升，这可能归因于地缘政治事件、通货膨胀问题以及全球经济困境。在此期间连续出现的绿色K线表明强劲的上涨动力，以及市场对黄金作为避险投资需求的持续增长。尽管在2021年至2024年间出现了零星的市场回调，红色K线反映出由于获利了结和宏观经济变化导致的短期价格下跌，但整体趋势仍保持强劲上行，进一步巩固了黄金作为明智长期投资的地位。该图表有助于分析价格走势，并支持交易者、分...

讨论

本研究提出了一种基于Transformer的深度学习模型，该模型利用UiPath这一自动化平台抓取的数据，确保及时、有序地获取金融数据，从而以更高的准确性和可靠性预测黄金期货价格。该模型整合了黄金价格数据以及重要的技术指标，如成交量指标、30日和100日移动平均线、趋势、黄金价格预测以及K线图形态。通过采用自注意力机制，Transformer模型能够有效捕捉复杂金融时间序列中的短期和长期关系，在性能上优于LSTM、CNN-LSTM和线性回归等传统模型。

本研究利用Transformer深度学习模型对黄金价格预测进行了详细分析，通过使用2014年至2024年的历史金融数据，证明了该模型相较于ARIMA、LSTM和基于回归的传统预测方法具有更优的性能。Transformer模型在预测准确性方面优于传统模型，其R²值达到0.93，均方误差（MSE）为0.0224，均方根误差（RMSE）为0.1496。如此高的预测精度凸显了该模型在捕捉短期价格波动和长期趋势方面的强大能力，使其成为金融预测中的有力工具。该模型对市场从业者、经济学家和政策分析师具有重要价值，有助于实现更有效的风险管理与科学的...

材料

本文使用的材料清单

姓名	公司	目录编号	评论
数据来源	Investing.com	https://in.investing.com/commodities/gold-historical-data	Investing.com 是一个金融市场平台，提供市场行情、股票、期货等金融信息。
Transformer 模型（在 Google Colab 中用 Python 实现）	Google	https://colab.research.google.com/	开发了用于数据分析的 Python 源代码，以从数据中提取洞察，该代码已在 Google Colab 虚拟环境中运行。
UiPath 机器人流程自动化	UiPath, Inc.	https://www.uipath.com	用于从源中提取数据，且代码已在 UiPath Studio 平台上执行。