PreventativeTestPro: Ein skalierbares hybrides Testframework, das Observabilität und generative KI für proaktives Software-Qualitätsengineering nutzt

Summary

PreventativeTestPro ist ein KI-gesteuertes Testframework, das Observabilitätsdaten und große Sprachmodelle nutzt, um die Ursachenanalyse, Testgenerierung und kontinuierliche Validierung zu automatisieren, mit dem Ziel, die Zuverlässigkeit der Software zu verbessern und die Qualitätssicherung sowohl für Frontend- als auch für Backend-Systeme zu optimieren, um ein effizienteres Ticketmanagement zu ermöglichen.

Abstract

Dieses Papier stellt ein ausgeklügeltes, skalierbares Testsystem vor, das beobachtbarkeitsgesteuerte Automatisierung mit KI-gesteigertem proaktivem Qualitätsengineering integriert, um aktuelle Herausforderungen bei der Softwarebereitstellung zu bewältigen. Das vorgeschlagene System verbessert PreventativeTestPro, eine Open-Source-Hybrid-Testplattform, die Black-Box- und White-Box-Methoden kombiniert, indem es eine innovative, beobachtbarkeitsbasierte Testorchestrierungsschicht integriert. Die Plattform nutzt Protokolle, Metriken, Ereignisse und Traces zusammen mit Browser- und Serverüberwachung, um Anomalien schnell zu erkennen, die Auswahl von Testfällen zu verbessern und die Erstellung funktionaler, leistungs- und sicherheitsrelevanter Testpakete zu automatisieren. Ein charakteristisches Merkmal ist die Integration großer Sprachmodelle (LLMs), um Ursachen-Einblicke zu liefern und autonom neue Testfälle auf Basis von Produktionsverhalten und identifizierten Anomalien zu konstruieren, wodurch adaptive Regressionsabdeckung und intelligente Sanierung ermöglicht werden.

Das System ermöglicht die gleichzeitige Testausführung mit sofortiger KI-gesteuerter Loganalyse und fördert so eine kontinuierliche Rückkopplungsschleife zwischen Betrieb und Test. Es wurde in mehreren Unternehmensszenarien validiert, darunter microservices-basierte SaaS-Plattformen und SAP-BTP-Ökosysteme. Empirische Ergebnisse aus vier Produktionseinsätzen und einer Beta-Gruppe von 49 Ingenieuren zeigen eine Verringerung der mittleren Lösungszeit um bis zu 30 %, die Einhaltung von SLAs um über 95 % und erhebliche Verbesserungen sowohl bei der Testabdeckung als auch bei der Rückverfolgbarkeit von Fehlern. Die mühelose Verbindung zu branchenüblichen Tools verdeutlicht seine Plug-and-Play-Fähigkeit.

Diese Forschung präsentiert eine umfassende, werkzeugunabhängige und zukunftsorientierte Qualitätsingenieurmethodik, die mit agilen und DevOps-Prinzipien übereinstimmt. Zukünftige Projekte umfassen die dynamische Anomalieklassifikation durch maschinelles Lernen, die Erweiterung auf mobile und benutzerorientierte Systeme sowie erweiterte Fähigkeiten großer Sprachmodelle für domänenspezifische Testentwicklung und Fehlerprognose.

Introduction

Die zunehmende Beliebtheit des agilen Paradigmas in Softwareunternehmen hat zu einem wachsenden Interesse an kontinuierlichen Integrationsumgebungen geführt. Die Vorteile solcher Systeme umfassen die nahtlose Integration regelmäßiger Programmänderungen, was zu einer beschleunigten und kosteneffizienten Softwareentwicklung führt. Daher wird es Aufgaben wie Bauverfahren, Testdurchführung und Testergebnisberichterstattung effizient verwalten. Softwaretests werden seit Beginn der Softwareentwicklung implementiert. Die Praxis des Softwaretests wurde eingeführt, um die Qualität der Software^{zu bewerten 1}. Tests umfass....

Protocol

Systemarchitektur und Prototyp-Zusammenfassung:

Diese Forschung präsentiert ein verbessertes und anpassungsfähiges Prototypsystem, PreventativeTestPro, das einen proaktiven Qualitätsingenieuransatz mit Observabilitätsdaten und großen Sprachmodellen (LLMs) veranschaulicht, um die Problemlösung weiter zu verbessern. Das System zielt darauf ab, moderne Softwarelieferprobleme anzugehen, indem es Anomalieerkennung, Ursachenanalyse sowie die intelligente Ausführung und Entwicklung von Testfällen für unbehandelte Abdeckungen mithilfe synthetischer Überwachung, Beobachtbarkeitsdaten und GenAI-Integration automatisier....

Results

Anfangs teilten wir die Ergebnisse der Fallstudien, die in Zusammenarbeit mit verschiedenen Branchen durchgeführt wurden, in Echtzeit. Darüber hinaus haben wir die Ergebnisse der Betatester bereitgestellt, die dieses Framework und diesen Algorithmus verwendet haben, zusammen mit den abschließenden Beobachtungen zu potenziellen Risiken für die Validität der Ergebnisse.

Ergebnisse der Fallstudie aus der Branche:

Basie.......

Discussion

Diese Forschung präsentiert PreventativeTestPro, eine umfassende Test- und Beobachtbarkeitsplattform, die synthetisches Monitoring, Observabilitätsdaten und generative KI-gesteuerte Automatisierung integriert, um die Qualitätssicherung von Software zu verbessern. Das System besteht aus drei grundlegenden Modulen: einem Observabilitätsdaten-Sammler und -Analysator, einer generativen, KI-gesteuerten Intelligenzschicht sowie einer Testorchestrierungs- und Ausführungs-Engine. Gemeinsam schaf.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Apache Maven	Apache Software Foundation	3.9.6	Abhängigkeits- und Projektmanagement-Tool für Java-Projekte
ChatGPT (GPT-3.5 Turbo API)	OpenAI	https://platform.openai.com/api-keys	Für die Erstellung KI-basierter Testempfehlungen aus Logs, die Erstellung manueller Testfälle, die Erstellung automatisierter Testfälle und die Ermittlung der Ursachenanalyse
Computer (Entwicklungs-/Testmaschine)	Standard-Desktop/Laptop	-	Verwendet zur Entwicklung, Ausführung und Prüfung von PreventativeTestPro
Festplattenspeicher	-	-	Mindestens 10 GB freier Festplattenspeicher werden für Logs, Berichte und Testartefakte empfohlen
Docker	Docker Inc.	27 (https://docs.docker.com/desktop/setup/install/windows-install/)	Verwendet für die Containerisierung, um die Reproduzierbarkeit über verschiedene Umgebungen hinweg sicherzustellen
Git	Git SCM	Git Version 2.45.2.windows.1	Versionskontrollsystem für Entwicklung und Zusammenarbeit
GitHub-Repository	GitHub	https://github.com/sohambpatel/PreventativeTests	Öffentliches Repository mit Quellcode, Dokumentation, Datensätzen und Beispielen
Google Chrome	Google	140.0.7339.128	Hauptbrowser für synthetisches Monitoring und Testen
Java	Oracle / OpenJDK	21.0.2	Verwendet für Softwareentwicklung und Ausführung von PreventativeTestPro
Betriebssystem	Plattform unabhängig	-	Das Tool funktioniert auf jedem Betriebssystem mit installiertem Java und Maven (Windows, Linux, macOS).
OWASP ZAP	OWASP Stiftung	2.14.0	Sicherheits-Scan- und Schwachstellenerkennungstool
Prozessor	-	-	Intel i5 oder höher (oder gleichwertig) wird für parallele Ausführung und KI-Verarbeitung empfohlen
RAM	-	-	Mindestens 8 GB RAM werden für Tests und browserbasierte Überwachung empfohlen