PreventativeTestPro 是一种由人工智能驱动的测试框架，利用可观测性数据和大语言模型来自动化根本原因分析、测试用例生成和持续验证，旨在提高软件可靠性，并优化前后端系统的质量保证，从而实现更高效的工单管理支持。
需要JoVE订阅才能观看此内容。 请登录或开始免费试用
本文内容
摘要
摘要
本文介绍了一种复杂且可扩展的测试系统，该系统通过集成以可观测性驱动的自动化与人工智能增强的主动质量工程，以应对当前软件交付中的挑战。该系统通过引入一种基于可观测性的测试编排层，对开源混合测试平台 PreventativeTestPro 进行了增强。该平台结合了黑盒与白盒测试方法，利用日志、指标、事件和链路追踪，并结合浏览器端与服务器端监控，快速识别异常，优化测试用例选择，并自动生成功能、性能和安全测试套件。其显著特点是引入大语言模型（LLMs），以提供根本原因分析，并基于生产环境行为及已识别的异常自主构建新的测试用例，从而实现自适应的回归测试覆盖和智能化的修复响应。
该系统支持并发测试执行，并结合即时的AI驱动日志分析，促进运维与测试之间的持续反馈循环。已在多个企业场景中得到验证，包括基于微服务的SaaS平台和SAP BTP生态系统。来自四次生产环境部署及49名工程师组成的测试小组的实证结果表明，平均故障解决时间最多减少30%，SLA合规率超过95%，测试覆盖率和缺陷可追溯性均有显著提升。与行业标准工具的无缝集成体现了其即插即用的能力。
本研究提出了一种全面、独立于工具且具有前瞻性的质量工程方法，该方法与敏捷和DevOps原则保持一致。未来的研究方向包括通过机器学习实现动态异常分类，将方法扩展至移动设备及以用户体验为导向的系统，以及增强大语言模型的能力，以支持领域特定的测试开发和故障预测。
引言
敏捷范式在软件企业中的日益普及，引发了人们对持续集成环境的浓厚兴趣。此类系统的优势包括能够无缝整合常规的程序修改，从而加快软件演进速度并降低成本。因此，它能够高效地管理构建流程、测试执行以及测试结果报告等任务。软件测试自软件工程诞生之初便已实施，其目的在于评估软件质量1。软件测试涵盖一系列旨在发现并解决软件在交付给最终用户前可能存在的各种错误的操作。软件测试是开发过程中成本较高的阶段2，其测试与调试成本占总开发成本的50%以上3,4。回归测试的开销取决于应用程序的复杂程度以及测试套件的规模5。
敏捷方法导致生产环境中快速实施变更，进而由于反馈而引发大量支持问题。管理支持难题是一项极为重要且关键的职责，这一点从以下事实可见一斑：68%的消费者表示，他们愿意为以提供优质客户服务著称的企业的产品和服务支付溢价6。一项研究表明，获得卓越客户服务的客户中，有86%更有可能长期成为企业的忠实拥护者7。另一项研究表明，89%的买家如果拥有良好的客户服务体验，则更倾向于重复购买8。还有研究表明....
访问受限。请登录或开始试用以查看此内容。
方案
系统架构与原型概述：
本研究提出了一种改进且可灵活适应的原型系统——PreventativeTestPro，该系统通过利用可观测性数据和大语言模型（LLMs），体现了主动式质量工程方法，进一步提升了支持问题的解决效率。该系统旨在通过合成监控、可观测性数据与生成式人工智能（GenAI）的集成，实现异常检测、根因分析的自动化，并智能执行和开发针对未覆盖场景的测试用例，以应对现代软件交付中的挑战。该架构具有模块化特点，包含三个核心组件：可观测性数据采集与分析器、由生成式人工智能驱动的智能层，以及测试编排与执行引擎，具体结构详见图1。
图1：所提出系统的输入与输出。 观测数据、观察器输出、测试仓库以及映射规则作为输入，与BHRAMARI测试平台一同提供，用于构建由....
访问受限。请登录或开始试用以查看此内容。
结果
首先，我们分享了与多个行业合作开展的案例研究的实时成果。此外，我们还提供了使用该框架和算法的测试人员所获得的结果，以及关于结果有效性潜在风险的最终观察结论。
行业案例研究结果：
根据我们的研究，该研究侧重于实际应用并解决支持性问题，我们已与四家软件公司合作，共享该框架并获取实时结果。产业界的参与及成果证明了其在现实应用中的实用性与优势。
案例研究 1：
GazonTech 是一家专注于网络技术、流媒体平台、在线游戏、视频会议和智能家居自动化的软件企业。我们开发的解决方案已专门应用于其流媒体平台，并部署于特定模块，使我们能够采集并分析该模块的运行结果。每家公司都有各自的一套流程用于管理支持性问题并交付修复方案，同时具备多种将变更推送至生产环境的交付模式。其中包括“每日推送”（daily doses），即在每日的生产窗口期内快速修复支持性问题；“每周推送.......
访问受限。请登录或开始试用以查看此内容。
讨论
本研究介绍了PreventativeTestPro，这是一个综合性的测试与可观测性平台，通过整合合成监控、可观测性数据以及由生成式人工智能驱动的自动化技术，提升软件质量保证水平。该系统包含三个核心模块：可观测性数据采集与分析模块、由生成式人工智能驱动的智能层，以及测试编排与执行引擎。这些组件共同构建了一个反馈闭环，其中实时系统行为指导测试用例的生成、故障检测以及持续的测试验证。该方法通过将智能化、上下文敏感的测试生成技术直接嵌入软件开发流程，融合了传统的黑盒测试与白盒测试技术。
本研究的科学贡献在于创新性地应用大语言模型（LLMs）分析复杂的可观测性数据，以获得可操作的洞察，包括根本原因分析（RCA）、测试用例生成以及系统行为优化建议。PreventativeTestPro 通过将日志、链路追踪、HAR 文件和 DOM 事件作为 AI 流程的结构化输入，实现了从原始遥测数据到诊断与纠正输出的自动化转换。这拓展了人工智能增强型软件工程的前沿，并为基于实时系统指标的持续验证和测试驱动开发创造了新的机遇。表635
访问受限。请登录或开始试用以查看此内容。
披露
作者声明，他们不存在已知的可能影响本文报道工作的竞争性财务利益或个人关系。我们申明，Gemini 仅被用于语法润色和句子重述，以提高可读性。为确保准确性和符合伦理规范，作者仔细审阅并修订了人工智能建议的所有修改，以保持原始科学内涵的准确性。
致谢
作者对以下机构在整个研究过程中提供的大力支持与合作表示衷心感谢。这些企业参与的协作性实验案例研究对于验证所提出的工具与方法至关重要。感谢GazonTech、Lopa Engineering、Afour Technologies、QJ Technologies和SecureLayer7在实验阶段提供了实践环境的访问权限、技术见解以及宝贵的建议。他们的积极参与极大地提升了研究成果的实际意义与可用性。作者对他们积极参与学术研究的意愿，以及在软件工程与网络安全领域致力于创新和持续改进的精神表示诚挚的谢意。
....访问受限。请登录或开始试用以查看此内容。
材料
| 姓名 | 公司 | 目录编号 | 评论 |
|---|---|---|---|
| Apache Maven | Apache 软件基金会 | 3.9.6 | 用于 Java 项目的依赖和项目管理工具 |
| ChatGPT (GPT-3.5 Turbo API) | OpenAI | https://platform.openai.com/api-keys | 用于从日志中生成基于 AI 的测试建议、生成手动测试用例、生成自动化测试用例以及获取根本原因分析 |
| 计算机（开发/测试机器） | 标准台式机/笔记本电脑 | - | 用于开发、执行和测试 PreventativeTestPro |
| 磁盘空间 | - | - | 建议至少保留 10 GB 的可用磁盘空间，用于存储日志、报告和测试产物 |
| Docker | Docker 公司 | 27 (https://docs.docker.com/desktop/setup/install/windows-install/) | 用于容器化，以确保在不同环境中具有可重复性 |
| Git | Git SCM | git version 2.45.2.windows.1 | 用于开发与协作的版本控制系统 |
| GitHub 仓库 | GitHub | https://github.com/sohambpatel/PreventativeTests | 包含源代码、文档、数据集和示例的公开仓库 |
| Google Chrome | 140.0.7339.128 | 用于合成监控和测试的主要浏览器 | |
| Java | Oracle / OpenJDK | 21.0.2 | 用于 PreventativeTestPro 的软件开发与执行 |
| 操作系统 | 平台无关 | - | 该工具可在任何安装了 Java 和 Maven 的操作系统上运行（Windows、Linux、macOS） |
| OWASP ZAP | OWASP 基金会 | 2.14.0 | 安全扫描与漏洞检测工具 |
| 处理器 | - | - | 建议使用 Intel i5 或更高版本（或同等性能处理器），以支持并行执行和 AI 处理 |
| 内存 | - | - | 建议至少配备 8 GB 内存，以支持测试运行和基于浏览器的监控 |
参考文献
- A novel approach to multiple criteria based test case prioritization. Abid, R., Nadeem, A. 2017 13th International Conference on Emerging Technologies (ICET), Islamabad, Pakistan, , (2017).
- Khatibsyarbini, M., Isa, M. A., Jawawi, D. N., Tumeng, R. Test case prioritization approaches in regression testing: A systematic literature review. Inf Softw Technol. 93, 74-93 (2017).
- Enhanced weighted method for test case priori....
访问受限。请登录或开始试用以查看此内容。