PreventativeTestPro：一个可扩展的混合测试框架，利用可观察性和生成式人工智能实现主动软件质量工程

摘要

PreventativeTestPro 是一个由人工智能驱动的测试框架，利用可观测性数据和大型语言模型实现根因分析、测试生成和持续验证，旨在提升软件可靠性并优化前后端系统的质量保证，从而实现更高效的支持工单管理。

摘要

本文介绍了一套复杂且可扩展的测试系统，将可观测性驱动的自动化与AI增强的主动质量工程相结合，以应对当代软件交付的难题。建议系统通过引入创新的基于可观察性的测试编排层，增强了PreventativeTestPro——一个开源混合测试平台，结合了黑箱和白箱方法。该平台利用日志、指标、事件和追踪数据，配合浏览器和服务器端监控，迅速发现异常，优化测试用例选择，并自动化创建功能性、性能和安全测试套件。其显著特点是引入大型语言模型（LLMs），提供根因洞察，并基于生产行为和识别异常自主构建新测试用例，从而实现自适应回归覆盖和智能修复。

该系统通过即时的AI驱动日志分析，促进测试并发执行，促进操作与测试之间的持续反馈循环。它已在多个企业场景中得到验证，包括基于微服务的SaaS平台和SAP BTP生态系统。四次生产部署和49名工程师的测试组的实证结果显示，平均解决时间下降了最多30%，SLA合规率超过95%，测试覆盖率和缺陷可追溯性均有显著提升。与行业标准工具的无缝连接展示了其即插即用的能力。

本研究提出了一种全面、独立于工具且前瞻性的质量工程方法论，符合敏捷和DevOps原则。未来的工作包括通过机器学习进行动态异常分类、向移动和用户体验导向系统的扩展，以及增强大型语言模型能力，用于领域特定测试开发和失败预测。

引言

敏捷范式在软件业务中的日益流行，推动了对持续集成环境日益增长的兴趣。此类系统的优势在于能够无缝整合常规程序修改，从而实现加速且经济高效的软件演进。因此，它将高效管理诸如构建流程、测试执行和测试结果报告等任务。软件测试自软件工程诞生以来就已被实施。实施软件测试的实践是为了评估软件质量¹.测试涵盖了一系列旨在检测和解决软件在部署给终端用户之前潜在错误的行动。软件测试是^{开发过程中一个}成本高昂的阶段。软件测试和调试成本占总^{开发成本的}50%以上。回归测试的费用取决于应用的复杂程度和测试套件⁵的规模。

敏捷方法论导致生产环境中快速实施变更，进而导致大量因反馈而出现支持问题。管理支持问题是一项非常重要且关键的责任，正如68%的消费者表示愿意为一家以^{优质客户服务闻}名的企业的产品和服务支付溢价所证明的6.根据一项研究，86%的客户在获得卓越客户服务后，更有可能在长期内成为该业务的忠实^支持者。根据一项研究，89%的买家如果拥有良好的^{客户服务体....}

方案

系统架构与原型总结：

本研究提出了一个改进且可适应的原型系统PreventativeTestPro，体现了利用可观察性数据和大型语言模型（LLM）进行主动质量工程方法，进一步提升支持问题的解决。该系统通过自动化异常检测、根因分析，以及利用合成监控、可观测性数据和生成式人工智能集成智能执行和开发未解决覆盖范围的测试用例，来解决现代软件交付问题。该架构为模块化，包含三个核心组件：可观测性数据采集与分析器、生成式AI驱动智能层，以及测试编排与执行引擎，详见 图1。

图1：所提系统的输入输出。 可观测性数据、观察者输出、测试库和映射规则作为输入，同时提供BHRAMARI测试平台，后者构建AI驱动的测试平台以增强测试用例的稳健性。该系统生成异常检测、AI生成建议、相关测试用例执行、文档和报告，以及缺失测试用例的识别和....

结果

最初，我们实时分享了与各行业合作进行的案例研究成果。此外，我们还提供了使用该框架和算法的测试者得出的结果，以及对结果有效性潜在风险的最终观察。

行业案例研究结果：

基于我们的研究，重点关注实际应用并解决支持问题，我们与四家软件公司合作共享框架并获得实时结果。行业参与和结果展示了其实际应用的实用性和优势。

案例研究1：

GazonTech 是一家专注于网络、流媒体平台、在线游戏、视频会议和智能家居自动化的软件公司。我们开发的解决方案是专门为他们的流媒体平台实现的。它已被部署到特定模块，我们能够捕捉并分析该模块的发现。每家公司都有自己的一套流程来管理支持问题和提供解决方案。公司还提供多种交付模式，用于将变更发送到生产环境。这些包括每日剂量，即在每日生产窗口内快速补丁支持问题。每周剂量用于.......

讨论

本研究介绍了PreventativeTestPro，一个综合性的测试与可观测性平台，集成了合成监控、可观测性数据和生成式AI自动化，以提升软件质量保障。该系统由三个基本模块组成：可观测性数据收集和分析器、生成式AI驱动智能层，以及测试编排和执行引擎。这些组件共同建立了反馈循环，实时系统行为引导测试用例生成、故障检测和持续测试验证。该方法通过将智能、上下文敏感的测试生成直接融入软件开发过程中，整合了经典的黑盒和白盒测试技术。

本研究的科学贡献在于创新地应用大型语言模型（LLMs）分析复杂的可观测性数据，以获得可操作的洞察，包括根因分析（RCA）、测试用例生成以及系统行为建议。PreventativeTestPro 通过将日志、追踪、HAR 文件和 DOM 事件视为 AI 流水线的结构化输入，自动化将原始遥测数据转换为诊断和纠正输出。这拓展了人工智能增强软件工程的前沿，并为基于实时系统指标的持续验证和测试驱动开发创造了新机遇。表6 35,36,37,38,39,40,41展示了Prev.......

材料

本文使用的材料清单

姓名	公司	目录编号	评论
阿帕奇女王	Apache 软件基金会	3.9.6	Java 项目的依赖与项目管理工具
ChatGPT（GPT-3.5 Turbo API）	OpenAI	https://platform.openai.com/api-keys	用于从日志生成基于AI的测试推荐，生成手动测试用例，生成自动化测试用例并获得根本原因分析
计算机（开发/测试机）	标准台式机/笔记本	-	用于开发、执行和测试 PreventativeTestPro
磁盘空间	-	-	建议至少有10GB的空闲磁盘空间用于日志、报告和测试伪影
Docker	Docker 公司	27（https://docs.docker.com/desktop/setup/install/windows-install/）	用于容器化以确保跨环境的可重复性
Git	Git SCM	git 版本 2.45.2.windows.1	用于开发和协作的版本控制系统
GitHub仓库	GitHub	https://github.com/sohambpatel/PreventativeTests	包含源代码、文档、数据集和示例的公共仓库
谷歌浏览器	谷歌	140.0.7339.128	用于合成监测和测试的主要浏览器
爪哇	Oracle / OpenJDK	21.0.2	用于 PreventativeTestPro 的软件开发和执行
操作系统	平台无关	-	该工具可在任何安装了Java和Maven的操作系统上运行（Windows、Linux、macOS）。
黄蜂噼啪	OWASP基金会	2.14.0	安全扫描与漏洞检测工具
处理器	-	-	建议使用Intel i5或更高（或同等型号）进行并行执行和AI处理
内存	-	-	建议至少8GB内存用于运行测试和基于浏览器的监控