Research Article

PreventativeTestPro: Ein skalierbares hybrides Testframework, das Observabilität und generative KI für proaktives Software-Qualitätsengineering nutzt

DOI:

10.3791/69316

⸱

March 24th, 2026

 ,  ,  , 
1Vishwakarma University, 2Kasetsart University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

PreventativeTestPro ist ein KI-gesteuertes Testframework, das Observabilitätsdaten und große Sprachmodelle nutzt, um die Ursachenanalyse, Testgenerierung und kontinuierliche Validierung zu automatisieren, mit dem Ziel, die Zuverlässigkeit der Software zu verbessern und die Qualitätssicherung sowohl für Frontend- als auch für Backend-Systeme zu optimieren, um ein effizienteres Ticketmanagement zu ermöglichen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Papier stellt ein ausgeklügeltes, skalierbares Testsystem vor, das beobachtbarkeitsgesteuerte Automatisierung mit KI-gesteigertem proaktivem Qualitätsengineering integriert, um aktuelle Herausforderungen bei der Softwarebereitstellung zu bewältigen. Das vorgeschlagene System verbessert PreventativeTestPro, eine Open-Source-Hybrid-Testplattform, die Black-Box- und White-Box-Methoden kombiniert, indem es eine innovative, beobachtbarkeitsbasierte Testorchestrierungsschicht integriert. Die Plattform nutzt Protokolle, Metriken, Ereignisse und Traces zusammen mit Browser- und Serverüberwachung, um Anomalien schnell zu erkennen, die Auswahl von Testfällen zu verbessern und die Erstellung funktionaler, leistungs- und sicherheitsrelevanter Testpakete zu automatisieren. Ein charakteristisches Merkmal ist die Integration großer Sprachmodelle (LLMs), um Ursachen-Einblicke zu liefern und autonom neue Testfälle auf Basis von Produktionsverhalten und identifizierten Anomalien zu konstruieren, wodurch adaptive Regressionsabdeckung und intelligente Sanierung ermöglicht werden.

Das System ermöglicht die gleichzeitige Testausführung mit sofortiger KI-gesteuerter Loganalyse und fördert so eine kontinuierliche Rückkopplungsschleife zwischen Betrieb und Test. Es wurde in mehreren Unternehmensszenarien validiert, darunter microservices-basierte SaaS-Plattformen und SAP-BTP-Ökosysteme. Empirische Ergebnisse aus vier Produktionseinsätzen und einer Beta-Gruppe von 49 Ingenieuren zeigen eine Verringerung der mittleren Lösungszeit um bis zu 30 %, die Einhaltung von SLAs um über 95 % und erhebliche Verbesserungen sowohl bei der Testabdeckung als auch bei der Rückverfolgbarkeit von Fehlern. Die mühelose Verbindung zu branchenüblichen Tools verdeutlicht seine Plug-and-Play-Fähigkeit.

Diese Forschung präsentiert eine umfassende, werkzeugunabhängige und zukunftsorientierte Qualitätsingenieurmethodik, die mit agilen und DevOps-Prinzipien übereinstimmt. Zukünftige Projekte umfassen die dynamische Anomalieklassifikation durch maschinelles Lernen, die Erweiterung auf mobile und benutzerorientierte Systeme sowie erweiterte Fähigkeiten großer Sprachmodelle für domänenspezifische Testentwicklung und Fehlerprognose.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die zunehmende Beliebtheit des agilen Paradigmas in Softwareunternehmen hat zu einem wachsenden Interesse an kontinuierlichen Integrationsumgebungen geführt. Die Vorteile solcher Systeme umfassen die nahtlose Integration regelmäßiger Programmänderungen, was zu einer beschleunigten und kosteneffizienten Softwareentwicklung führt. Daher wird es Aufgaben wie Bauverfahren, Testdurchführung und Testergebnisberichterstattung effizient verwalten. Softwaretests werden seit Beginn der Softwareentwicklung implementiert. Die Praxis des Softwaretests wurde eingeführt, um die Qualität der Softwarezu bewerten 1. Tests umfassen eine Reihe von Maßnahmen, die darauf abzielen, potenzielle Fehler in der Software vor deren Bereitstellung für Endnutzer zu erkennen und zu beheben. Softwaretests sind eine kostspielige Phase im Entwicklungsprozess2. Die Kosten für Softwaretests und Debugging machen mehr als 50 Prozent der gesamten Entwicklungskostenaus: 3,4. Die Kosten für Regressionstests hängen von der Komplexität der Anwendung und dem Umfang der Testreihe5 ab.

Die agile Methodik führt zu schnellen Änderungen in der Produktion, was wiederum zu einer hohen Anzahl von Supportproblemen aufgrund von Rückmeldungen führt. Das Management von Supportproblemen ist eine sehr bedeutende und kritische Verantwortung, wie sich daran zeigt, dass 68 % der Verbraucher bereit sind, einen Aufpreis für Produkte und Dienstleistungen eines Unternehmens zu zahlen, das für exzellenten Kundenservice bekannt ist6. Einer Studie zufolge werden 86 % der Kunden, die hervorragenden Kundenservice erhalten, langfristig eher zu loyalen Fürsprechern des Geschäfts7. Einer Studie zufolge sind 89 % der Käufer eher geneigt, Wiederholungen zu tätigen, wenn sie ein günstiges Kundenserviceerlebnis hatten8. Einer Studie zufolge neigen 93 % der Kunden dazu, Wiederholungskäufe bei Unternehmen zu tätigen, die außergewöhnlichenKundenservice bieten. Um exzellenten Kundenservice zu bieten, ist es unerlässlich, Supportanfragen mit hoher Qualität schnell und effektiv zu bearbeiten. Der Qualitätsaspekt ist entscheidend, um eine schnellere Lieferung anzustreben, da die Kosten für die Lösung von Supportproblemen mit der Zeit und der Eskalationsstufe10 steigen.

Um eine hohe Qualität zu erhalten, ist es notwendig, Support-Probleme zu finden und zu beheben sowie eine umfassende Testabdeckung für Regressionstests auf dem Ticket sicherzustellen. Diese Aufgabe ist komplex und hat zu zunehmenden operativen Schwierigkeiten geführt, insbesondere bei der schnellen Erkennung und Lösung von Supportproblemen. Unterstützungsprobleme, die eine Vielzahl von Problemen wie verminderte Systemleistung oder unvorhergesehene Fehlfunktionen umfassen, treten häufig während der Betriebsphase von Softwaresystemen auf. Wenn diese Probleme nicht schnell entdeckt und behoben werden, können sie zu erheblichen Phasen der Inaktivität, Unzufriedenheit der Verbraucher und finanziellen Rückschlägen führen. Die derzeitigen Methoden zur Nutzung von Beobachtbarkeitsinformationen für Testbedürfnisse sind häufig durch manuelle Verfahren, reaktionsschnelle statt proaktive Taktiken und eine Schwäche bei der Integration von Anomalieerkennung mit Testdurchführung eingeschränkt. Es fehlt offensichtlich an der proaktiven Erkennung von Supportproblemen mittels Echtzeit-Observabilitätsdaten und der automatischen Ausführung geeigneter Testfälle, um wahrscheinliche Fehler im Voraus zu verhindern.

Das Fehlen einer umfassenden, einheitlichen Lösung hat viele nachteilige Folgen für die Wartung und Zuverlässigkeit der Software. Diese Faktoren umfassen längere Phasen der Systeminaktivität durch verzögerte Identifizierung von Problemen, erhöhte manuelle Arbeit bei der Suche relevanter Testfälle und vermindertes Vertrauen in die Zuverlässigkeit des Systems. Darüber hinaus führt das Versäumnis, identifizierte Anomalien genau mit Testfällen zu verknüpfen, zu Defiziten in der Testabdeckung, was zu ungelösten wichtigen Problemen führen kann.

Der grundlegende Grund für diese Ungleichheit liegt möglicherweise an der fragmentierten Struktur bestehender Überwachungs- und Testsysteme. Viele aktuelle Systeme verfügen nicht über die Kapazität, die Analyse von Observabilitätsdaten reibungslos mit der Ausführung relevanter Testfälle zu integrieren. Darüber hinaus behindert die Abhängigkeit von festen Vorschriften und menschlichen Verfahren zur Assoziation von Unregelmäßigkeiten mit Testfällen die Fähigkeit, neue Probleme schnell und präzise zu lösen.

Um Einblicke darin zu gewinnen, wie die Branche mit Support-Themen umgeht und präventive Tests durchführt, führten wir eine beschreibende Forschungsstudie durch, indem wir Fachleute aus dem Bereich11 interviewten. Basierend auf den Interviewdaten wurde betont, dass das größte Hindernis bei der Umsetzung jeder Lösung die unzureichende Zeit zur Qualitätsgarantie ist. Während des Interviews wurden mehrere Bedenken festgestellt, darunter die Weiterbildung von Einzelpersonen, Wartungskosten, geringe Rendite sowie Werkzeugauswahl und -integration11. Diese Informationen wurden auch in Katalons "The State of Quality Report 2024" bestätigt. Bevor wir Lösungen für die in den Interviews genannten Probleme bereitstellten, führten wir eine vergleichende Bewertung der Werkzeuge durch, um festzustellen, ob es bereits Werkzeuge oder Algorithmen gibt, die die genannten Bedenken adressieren13,14. Uns fehlen nun die notwendigen Werkzeuge oder Algorithmen, die speziell entwickelt wurden, um die in den Interviews besprochenen Schwierigkeiten anzugehen.

Diese Arbeit führt eine innovative Methode ein, die Observabilitätsdaten nutzt, um Support-Probleme frühzeitig (noch bevor sie gemeldet werden) zu erkennen und geeignete Testfälle durchzuführen, wodurch die Zuverlässigkeit und Robustheit von Softwaresystemen verbessert werden. Diese Strategie basiert auf der Nutzung von Observabilitätsdaten, um Anomalien zu identifizieren, Verbindungen zu wahrscheinlichen Problemen herzustellen und gezielte Testfälle durchzuführen, die mit hoher Wahrscheinlichkeit die zugrunde liegende Ursache des Problems aufdecken. Die vorgeschlagene Lösung zielt darauf ab, die Kluft zwischen Softwarebetrieb und Testing zu schließen, um eine proaktive und schnelle Reaktion auf Support-Bedenken zu ermöglichen. Die vorgeschlagene Lösung ermöglicht die Erstellung neuer Testfälle, falls diese in der Suite fehlen, wodurch die Testabdeckung verbessert wird. Die vorgeschlagene Strategie zielt auch darauf ab, die in den Interviews und im Bericht von Katalon 11,12,13,14 geäußerten Bedenken zu adressieren.

Beobachtbarkeit bezieht sich im Kontext der Regelungstheorie darauf, inwieweit die inneren Zustände eines Systems aus seinen äußeren Ausgaben abgeleitet werden können. Im Bereich der Softwareentwicklung bezieht sich die Idee der Beobachtbarkeit auf die Fähigkeit, den Zustand eines Softwaresystems zu überwachen und zu verstehen, indem Ausgaben wie Protokolle, Metriken, Spuren und Ereignisse 15,16,17 verwendet werden. Unsere Literaturanalyse umfasst eine Untersuchung der Observabilität und deren Anwendung im Softwaretest. Wir fanden jedoch nur begrenzte verfügbare Literatur zu diesem Thema. Daher haben wir auch Diskussionen über innovative präventive Tests und verwandte Forschung aufgenommen. Unsere Literaturübersicht ist weiter in drei verschiedene Gruppen unterteilt.

Bogatinovski et al.18 präsentieren CLog, ein kontextbewusstes neuronales Netzwerk und eine Clustering-Technik, die darauf ausgelegt ist, instabile Logdaten und unzureichende Ausfallabdeckung zu beheben, indem bedeutende Teilprozesse identifiziert und Fehler bei plötzlichen Kontextübergängen erkannt werden. Busby et al.19 schlagen eine log-basierte Methodik zur Generierung anonymisierter Testfälle vor, die Benutzersequenzen für Replikation ohne personenbezogene Daten vorhersagt; Gleichzeitig bestehen jedoch weiterhin Nebenlauf- und Logger-Level-Variationen als bedeutende Einschränkungen. Lee und Kang20 schlagen vor, eine Testarchitektur für Softwareproduktlinientests zu implementieren, um die Beobachtbarkeit und Kontrollierbarkeit im Vorhandensein von Variabilitätsmechanismen zu verbessern. Das QEX-Modell21 kombiniert Daten aus verschiedenen Testquellen, um klare und nützliche Informationen während der Tests zu liefern. Lal und Kumar,22, betonen die Bedeutung, intelligente Tests sehen und kontrollieren zu können. Sie schlagen vor, KI-gestützte Automatisierung einzusetzen, um das Testen schneller, effizienter und gründlicher zu machen. Briand et al.23 veranschaulichen die Anwendung aspektorientierter Programmierung in Java zur effektiven Instrumentierung von Verträgen und Invarianten, während Baral und Offutt24 das Problem fehlerhafter Testbehauptungen hervorheben, die zu "Blindtests" führen, die kein falsches Verhalten identifizieren.

Rott25 erläutert, dass die modernen Analysen und Visualisierungen innerhalb von Teamscale den Softwaretestprozess betonen, indem sie den Tester ermöglichen, auf die verarbeiteten Artefakte zuzugreifen, die spezifisch für die benötigten Probleme und Situationen sind. Collins und Lucena26 betonen die Bedeutung, viele Tests in der CI-Pipeline durchzuführen, bevor sie in die Produktion gehen. Sie sagen, dass Layered Testing eine gute Möglichkeit ist, sicherzustellen, dass das Produkt von hoher Qualität ist und Supportprobleme zu vermeiden.

BugSwarm27 bietet eine Methode zur Untersuchung von CI-Testfehlern, indem die Ursachen mit deren jeweiligen Lösungen korreliert werden. Dudila und Letia28 untersuchen White-Box- und Black-Box-Testmethoden und schlagen eine kohärente Strategie vor, um Debugging-Bemühungen während des Entwicklungsprozesses zu mindern. Fushihara et al.29 untersuchten "Testgerüche" in Python-Anwendungen und analysierten deren Entwicklung durch Codeänderungen, um das Testcode-Management zu verbessern. SUPERNOVA30 ist ein System zur Auswahl von Tests und zur Vermeidung von Fehlern, das Daten, Automatisierung und maschinelles Lernen nutzt, um die Qualitätssicherung zu verbessern. Araujo31 schlägt eine Wartungsstrategie vor, die sich auf Software-Alterung konzentriert. Diese Strategie verwendet korrigierende Wartung, wenn Codeänderungen möglich sind, und präventive Strategien, wenn Änderungen Systemausfall verursachen könnten, was die Anzahl der Serviceausfälle senkt. Andrew et al.32 untersuchen parallelisierte Mutationstests, einen Prozess, bei dem Klassen wiederholt mutiert, getestet und neu geladen werden, bis alle Varianten bewertet wurden. Dunn et al.33 schlagen Sicherheitsschwachstellmetriken vor, die Gewichte auf Komponenten vergeben, um die Bedeutung gründlicher Tests zu betonen. Abschließend verwenden Huo et al.34 einen sequentiellen Set-Index, um Defektorte zu finden und Probleme zu bestätigen. Dies zeigt, dass die Ursachen oft mit den meisten fehlgeschlagenen Testfällen in Softwareanwendungen zusammenhängen.

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Systemarchitektur und Prototyp-Zusammenfassung:

Diese Forschung präsentiert ein verbessertes und anpassungsfähiges Prototypsystem, PreventativeTestPro, das einen proaktiven Qualitätsingenieuransatz mit Observabilitätsdaten und großen Sprachmodellen (LLMs) veranschaulicht, um die Problemlösung weiter zu verbessern. Das System zielt darauf ab, moderne Softwarelieferprobleme anzugehen, indem es Anomalieerkennung, Ursachenanalyse sowie die intelligente Ausführung und Entwicklung von Testfällen für unbehandelte Abdeckungen mithilfe synthetischer Überwachung, Beobachtbarkeitsdaten und GenAI-Integration automatisiert. Die Architektur ist modular und besteht aus drei Kernkomponenten: Observability Data Collector and Analyzer, GenAI-Driven Intelligence Layer sowie Test Orchestration and Execution Engine, wie in Abbildung 1 detailliert beschrieben.

figure-protocol-1
Abbildung 1: Das Ein- und Ausgabesystem des vorgeschlagenen Systems. Beobachtbarkeitsdaten sowie Beobachterausgaben, Testrepository und Mapping-Regeln werden als Eingabe zusammen mit BHRAMARI Testbeds bereitgestellt, die KI-gesteuerte Testbestände erstellen, um die Robustheit von Testfällen zu erhöhen. Das vorgeschlagene System erzeugt Instrumentierung von Anomalien, KI-generierte Empfehlungen, Durchführung relevanter Testfälle, Dokumentation und Berichterstattung sowie die Identifikation und Erstellung fehlender Testfälle. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 2 zeigt die Architektur des vorgeschlagenen Ansatzes. Die Abbildung zeigt die Eingabe, Verarbeitung und Ausgabe des Systems. Sie bietet außerdem eine umfassende Darstellung des Systems, die dann in eine Erklärung übersetzt wird, um das Verständnis der zugrunde liegenden Merkmale zu verbessern.

figure-protocol-2
Abbildung 2: Systemarchitektur des vorgeschlagenen Systems mit Observability-Daten-Sammler und -Analysator, GenAI-gesteuerter Intelligenzschicht sowie Testorchestrierungs- und Ausführungs-Engine. Diese Abbildung zeigt die interne Architektur des PreventativeTestPro-Systems, die in drei Schichten unterteilt ist: Die Observability Collector Layer aggregiert Daten aus mehreren Quellen, darunter Browser-Ereignisse, Protokolle, HAR-Dateien, Backend-Logs, Metriken und Traces. Die Generative AI Intelligence Layer nutzt diese Daten, um Ursachenanalysen durchzuführen, Anomalien zu priorisieren und autonom Testfälle (UI, API, Handbuch) sowie Dokumentation mithilfe von LLMs zu erstellen. Das BHARAMARI-Modul richtet außerdem neue Testumgebungen ein. Test Orchestration and Execution Engine ordnet Abweichungen mit Testfällen zu, führt Tests gleichzeitig aus, bewertet Ergebnisse und informiert Engineering-Teams, Ticketing-Systeme und Dashboards für Echtzeit-Überwachung und Lösungsüberwachung. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das Observability Data Collector and Analyzer-Modul dient als sensorisches System der Plattform und sammelt kontinuierlich Daten der zu bewertenden Anwendung in großem Maßstab mit mehreren Aspekten. Im Fall der Frontend-Überwachung werden synthetische Monitoring-Agenten eingesetzt, um browserseitige Ereignisse zu überwachen, wie Document Object Model (DOM)-Strukturen, Benutzeraktionen wie Klicks, Hovers und Eingaben sowie HAR-Dateien, die Netzwerk- und API-Anfragen und -Antwortinformationen erfassen. PreventativeTestPro ist ebenfalls in OBSERVER integriert, um die Funktionalität von Browsern zu erhöhen. Die Backend-Überwachung zielt auf die Loganalyse ab, bei der serverseitige Beobachtbarkeitsinformationen angefordert und verarbeitet werden, darunter Anwendungsprotokolle, Fehler-, Informations- und Debug-Nachrichten, Stack-Trace- und Ausnahmeprotokolle, Leistungskennzahlen wie Antwortzeiten und Tracing mit Technologien wie OpenTelemetry oder New Relic. Das System arbeitet mit synthetischen Agenten, die den Nutzerverkehr und die Interaktion simulieren, und Log-Sammler kondensieren eingehende Echtzeitdaten. Die gesammelten Daten werden dann in strukturierte Formate normalisiert und an andere Verarbeitungseinheiten zur weiteren Analyse weitergegeben.

Das Wesentliche von PreventativeTestPro ist eine GenAI-gesteuerte Intelligenzschicht, die große Sprachmodelle (LLMs) wie GPT verwendet, um Observabilitätsdaten zu lesen und zu analysieren sowie Antworten zu kontextualisieren und zu generieren. Das Modul führt eine Wurzelursachenanalyse durch: der Prozess der Interpretation von Root-Cause-Logs und Spuren, um technische Fehler in verständlichen Begriffen zu erklären, wie etwa eine NullPointerException auf einer bestimmten Codezeile und die angenommene Ursache des Problems, wie etwa eine nicht initialisierte Variable. Bei der Testfallgenerierung verwendet das System Autotests, die durch Umwandlung von Ausnahmemustern oder einer Ereignisfolge in ausführbare Testskripte, z. B. Selenium- oder API-Tests, generiert werden, erstellt aber auch menschenlesbare Testverfahren, die Qualitätssicherungsmitarbeiter ausführen können. Die API-Tests haben sich durch die Umwandlung von HAR- und Trace-Logs in eine Folge von API-Anfragen mit den erwarteten Behauptungen weiterentwickelt, und alle generierten Testfälle werden durch die Integration mit BHRAMARI durch effektive Testumgebungen weiter verbessert. Weitere Verbesserungen, Verbesserungen der Testabdeckung und CI/CD-Integrationsmöglichkeiten werden im Empfehlungssystem vorgeschlagen, abhängig vom analysierten Systemverhalten. Die KI-Engine verwendet strukturierte Observabilitätsdaten mittels Prompt-Engineering und Kontextanreicherung, um Log-Kontext mit Prompt-Vorlagen zu präsentieren, die strukturierte Abfragen an das LLM weiterleiten, und generiert schließlich Ausgaben in funktionaler Form wie Codeschnippel, Testfallspezifikationen und Dokumentation natürlicher Sprache.

Das Modul Test Orchestration and Execution Engine übernimmt Testpriorität, Planung und Ausführung und ermöglicht eine automatisierte Validierung basierend auf Details zur Codeänderungsabdeckung, Tags und Anomalie-Mapping. Die Abbildung und Auswahl des Tests beinhaltet das Verknüpfen von Anomalien in Karten oder Instrumentierungsmustern mit bekannten Testfällen mittels einer Mapping Rules Engine und anschließend das Ausführen der Testfälle gemäß der etablierten Mapping. Die Funktionen der gleichzeitigen Testausführung ermöglichen es, zahlreiche Testarten gleichzeitig durchzuführen, wie funktionale, Performance- oder Sicherheitstests in verschiedenen Umgebungen und die Koordination der Nutzung von Selenium, JMeter und ZAP als Instrumente in den Automatisierungspipelines. Die Rückkopplungsschleifen-Implementierung stellt sicher, dass die Ergebnisse der Ausführungen protokolliert werden, und im Falle eines Testfehlers werden Änderungen an Support-Systeme, einschließlich Jira und Azure DevOps, kommuniziert, um diese zu verfolgen und zu beheben.

Hypothese:

H1 (Operative Effizienz): Es wird angenommen, dass die Verschmelzung von Observabilitätsdaten und KI-gesteuerter Intelligenz die operativen Kennzahlen verbessert, insbesondere durch Verkürzung der mittleren Lösungszeit (H1a), der mittleren Analysezeit (H1b), der mittleren Zeit zur Erkennung von Produktionsproblemen (H1c) und der mittleren Zeit zur Implementierung von Fixes in der Produktion (H1d). Diese Änderungen sollten es erleichtern, die Service Level Agreement (SLA)-Anforderungen (H1e) zu erfüllen, indem sie Erkennung, Analyse und Bereitstellung beschleunigen und gleichzeitig Systemausfallzeiten minimieren.

H2 (Testwirksamkeit): Es wird außerdem angenommen, dass sich die Effektivität von Softwaretests mit mehr Testabdeckung (H2a), paralleler Durchführung von Testfällen (H2b) und intelligenter Testpriorisierung (H2c) verbessern wird. KI-generierte Empfehlungen (H2D) sollen ebenfalls sowohl bei Test- als auch bei operativen Arbeitsabläufen helfen. Dies hilft, Fehler schneller zu finden, Rückkopplungsschleifen zu beschleunigen und Qualitätssicherungspraktiken zu unterstützen, die präventiv und langanhaltend sind.

Umfang und Zielgruppe:

Dieser Prototyp zeigt das Gesamtdesign, die Hauptidee und wie man das PreventativeTestPro-Framework Schritt für Schritt einrichtet und betreibt. Es geht auch ausführlich darauf ein, wie man die richtigen Testumgebungen/Sample-Eingaben einrichtet und gibt Tipps, wie man Probleme behebt. Der Inhalt richtet sich an Software-Qualitätsingenieure, die bereits die Grundlagen von Java kennen und lernen möchten, wie man präventives Testen einsetzt, um Software zuverlässiger und effizienter zu machen.

Umgebungsaufbau:

Ergänzende Datei 1 enthält eine Schritt-für-Schritt-Beschreibung und ein Programm, das für die Kommunikation mit PreventativeTestPro erforderlich ist. Dazu gehören Anweisungen zur Installation der notwendigen Umgebung, wie man die Dienste des Tools startet und beendet sowie eine klare Erklärung der grundlegenden Nutzung des Werkzeugs. Um eine detailliertere Dokumentation sowie Anleitungen zur Nutzung fortgeschrittener Werkzeuge, Einrichtungsanweisungen und anderen organisatorischen Details zu erhalten, konsultieren Sie die offiziellen GitHub-Quellen, die dem Projekt gewidmet sind: die spezifische Wiki-Seite am Standort des https://github.com/sohambpatel/PreventativeTests/wiki und die Haupt-README bei https://github.com/sohambpatel/PreventativeTests?tab=readme-ov-file/readme.

Beispieleingaben:

Die Beispiel-Eingabedateien finden Sie im GitHub-Repository: https://github.com/sohambpatel/PreventativeTests/tree/main/preventativetestframework/Inputs. Das Framework kann die voreingestellten Testfälle und Datensätze dieser Dateien sofort ausführen. Sie dienen als Referenzeingänge, um die Umgebung zu überprüfen und die gleichen Ergebnisse zu erhalten, die in diesem Protokoll beschrieben sind.

Beispielausgaben:

Das GitHub-Repository (https://github.com/sohambpatel/PreventativeTests/tree/main/preventativetestframework/SampleOutputs) enthält konkrete Beispiele der Ausgabedaten des präventiven Testframeworks in Rohformat. Durch diese Dateien können Nutzer das Layout und die Details der generierten Berichte und Kennzahlen direkt einsehen und die Ergebnisse des Tools während seines Betriebs demonstrieren. Dieser Leitfaden ist relevant, um die Datenpipeline zu kennen und das erwartete Rahmenverhalten bei der Rekonstruktion des experimentellen Prozesses zu bestätigen.

Ausführungsprototyp:

Dieser Abschnitt bietet eine detaillierte, schrittweise Anleitung, wie man das PreventativeTestPro-Framework verwendet. Um den Nutzern beim Reproduzieren des Workflows zu helfen, wird jede Stufe in der richtigen Reihenfolge beschrieben. Dieser Abschnitt präsentiert die Ausführungsschritte in einem strukturierten Format, um die Reproduktion von Ergebnissen zu erleichtern, wichtige Kontrollpunkte zu markieren und sicherzustellen, dass das PreventativeTestPro-Framework konsistent in verschiedenen experimentellen oder operativen Umgebungen verwendet werden kann.

In diesem Schritt kann die PreventativeTestPro-GUI verwendet werden, um den besten präventiven Test-Workflow auszuwählen. Abbildung 3 zeigt fünf Möglichkeiten, von denen jede für einen anderen Schritt im Testprozess steht: parallele Tests durchführen, die Testsuite aus Überwachungsergebnissen durch Priorisierung bestehender Testfälle erstellen, manuelle Testfälle erstellen, automatisierte Testfälle erstellen und die Ursache finden. Wenn der Nutzer eine Entscheidung trifft, beginnt der festgelegte Workflow. Danach können in späteren Phasen zusätzliche Modi hinzugefügt werden (wie KI-gesteuerte Testfallgenerierung oder Ursachenanalyse). Diese gut organisierte Schnittstelle bietet eine Möglichkeit, präventive Teststudien durchzuführen, die wiederholt und in kleinere Teile zerlegt werden können.

figure-protocol-3
Abbildung 3: Benutzeroberfläche 1 des Systems. Diese Abbildung zeigt die Benutzeroberfläche von PreventativeTestPro, mit der man aus fünf verschiedenen Methoden für präventive Tests wählen kann: 1. Präventiver Test, parallele Ausführung: Start des Tests, 2. Präventiver Test, Finalisierung der Testsuite basierend auf synthetischer App-Überwachung, 3. Präventiver Test, Erstellung manueller Testfälle mit GenAI, 4. Präventiver Test, Generierung automatisierter Testfälle mit GenAI, 5. Präventiver Test, Ursachenanalyse mit GenAI. Es kann immer nur eine Option gleichzeitig gewählt werden. Das modulare Design erleichtert die Durchführung präventiver Tests und fügt KI-gestützte Testerstellung und Diagnostik hinzu. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 4 zeigt die parallele Ausführungsoberfläche des Frameworks. In diesem Schritt gibt der Nutzer die URL der zu testen Anwendung sowie den absoluten Pfad zur Eigenschaftendatei ein, die die Konfigurationseinstellungen enthält. Nachdem die Eingaben gesetzt wurden, kann der Benutzer gleichzeitig Tests durchführen, indem er auf die Schaltfläche Start Testing klickt, der auch die getestete Website überwacht und die Sicherheits-, Performance-, Konsolen- und JavaScript-Logs generiert. Man kann die laufende Ausführung stoppen, indem man auf die Schaltfläche Testen stoppen klickt. Der Button "Empfehlung abrufen" ermöglicht es Ihnen, KI-gesteuerte Erkenntnisse aus den aufgezeichneten Protokollen zu erhalten. Dieses Design stellt sicher, dass mehrere Testkategorien (funktional, performance und sicherheit) gleichzeitig laufen, was es erleichtert, Probleme schneller zu finden.

figure-protocol-4
Abbildung 4: Benutzeroberfläche 2 des Systems. Diese Abbildung zeigt den Parallelausführungsmodus des PreventativeTestPro-Frameworks. Der Benutzer gibt die URL der Zielanwendung und den Pfad zu einer Eigenschaftendatei mit Konfigurationsdetails an. Zu den Optionen gehören Start Testing (um funktionale, Sicherheits- und Performance-Tests parallel durchzuführen und die Logs aufzuzeichnen), Stop Testing (um die Ausführung zu stoppen) und Get Recommendation (um KI-gesteuerte Erkenntnisse aus Logs und Metriken zu erhalten). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 5 zeigt die Monitoring-basierte Testfinalisierungsschnittstelle des PreventativeTestPro-Frameworks. In diesem Schritt legt der Benutzer den Pfad für die Überwachungsausgabedatei fest, die JSON-Pfadabfrage, um Fehler- oder Ausnahmeknoten zu erhalten, und den Test-Repository-Pfad, um die erstellten Fälle zu speichern. Nachdem die Eingaben gesetzt wurden, kann der Benutzer zunächst die Namen der Klasse und der Methode erhalten, die dazugehören, und dann die Testfälle aus dem Testpull basierend auf der gefundenen Klasse und Methode sortieren. Dieser Priorisierungsschritt zeigt, wie Überwachungsdaten genutzt werden können, um die Testfälle effektiv zu bewerten.

figure-protocol-5
Abbildung 5: Benutzeroberfläche 3 des Systems. Diese Abbildung zeigt, wie man eine Testsuite im PreventativeTestPro-Framework mit synthetischen Monitoring-Ausgaben priorisieren kann. Der Benutzer gibt den Pfad zur Überwachungsausgabedatei, den JSON-Pfad zur Erzeugung von Ausnahmen/Fehlern und den Pfad zum Test-Repository (offline) ein. Die Optionen "Klasse abrufen/Methodenname" und "Testfälle abrufen" können verwendet werden, um Kartierungsanomalien in Testfälle umzuwandeln, die man ausführen kann. Dies stellt sicher, dass Laufzeitprobleme in den Testprozess einbezogen werden. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 6 zeigt die manuelle Testfall-Generierungsschnittstelle von PreventativeTestPro. In diesem Schritt teilt der Benutzer dem Programm an, wo es die Stack-Trace-Datei finden kann, die die Anomalie zeigt, indem er den absoluten Pfad zur Stack-Trace-Datei und den Pfad zur Konfigurations-Eigenschaften-Datei bereitstellt. Sobald die Eingaben gesetzt sind, kann man die Option Testfälle generieren, die die Anomalie in strukturierte manuelle Testfälle umwandelt. Dies stellt sicher, dass bereits vorherige Laufzeitfehler immer in den Testprozess einbezogen werden. Das Framework erleichtert die Erstellung von Testfällen durch Automatisierung des Prozesses. Das reduziert manuelle Arbeit, verbessert die Testabdeckung, macht die Tests zuverlässiger und verhindert, dass das gleiche Problem erneut auftritt. Dieser Schritt ist eine sehr wichtige Verbindung zwischen der Problemfindung und der sichergestellten Qualität, dass sie gut ist, bevor sie eintritt.

figure-protocol-6
Abbildung 6: Benutzeroberfläche 3 des Systems. Diese Abbildung zeigt die Testfall-Generierungsschnittstelle von PreventativeTestPro. Es verwandelt Anomalie-Stack-Spuren in manuelle Testfälle im Behavior Driven Development (BDD), die verwendet werden können. Der Benutzer gibt die Pfade zur Stack-Trace-Datei und zur Eigenschaftendatei an und klickt dann auf "Testfälle generieren", um automatisch Fälle zu erstellen, die mit dem gefundenen Fehler übereinstimmen. Dies stellt sicher, dass Laufzeitprobleme immer in Regressionstests umgewandelt werden, die wiederholt werden können. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 7 zeigt die automatisierte Testfall-Generierungsschnittstelle von PreventativeTestPro. In diesem Schritt gibt der Benutzer den absoluten Pfad zur Observability-JSON-Ausgabedatei und den Pfad zur Konfigurationsdatei der Eigenschaft an. Wenn der Button "Generiere automatisierte Testfälle" angeklickt wird, verarbeitet das System die Überwachungsdaten und erstellt Testfälle, die ausgeführt werden können, um dieselben Probleme aufzuzeigen, die bereits festgestellt wurden.

figure-protocol-7
Abbildung 7: Benutzeroberfläche 4 des Systems. Diese Abbildung zeigt die automatisierte Testfall-Generierungsschnittstelle von PreventativeTestPro, die Tests erstellt, die mit Observabilitätsdaten ausgeführt werden können. Der Benutzer gibt den Pfad zur Eigenschaftendatei und die Observability-JSON-Ausgabedatei an. Dann klicken sie auf "Automatisierte Testfälle generieren", um Skripte zu erstellen, die ausgeführt werden können (im Selenium- und TestNG-Format). Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

figure-protocol-8
Abbildung 8: Benutzeroberfläche 5 des Systems. Diese Abbildung zeigt die Anomalie-Instrumentierungsschnittstelle von PreventativeTestPro für die Root Cause Analysis (RCA). Der Benutzer gibt den Pfad zur Properties-Datei und zur Stack-Trace-Datei an und wählt dann RCA, um die KI-gesteuerte Analyse zu starten. Dieser Schritt wandelt erkannte Anomalien in strukturierte diagnostische Erkenntnisse um, die sicherstellen, dass Fehler auf eine Weise behoben werden können, die wiederholt werden kann und spezifisch für das Problem ist. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Fehlerbehebung:

Tabelle 1 zeigt die wichtigsten Fehlerbehebungspunkte, die sich ausschließlich auf den Anwendungscode beziehen. Diese Punkte sind eine schnelle Möglichkeit, sich daran zu erinnern, wie man Code-Level-Probleme behebt, die beim Betrieb des PreventativeTestPro-Frameworks auftreten. Die Projektdokumentation bietet weitere Informationen und Schritt-für-Schritt-Anleitungen für Leser, die mehr Hilfe bei der Fehlerbehebung der Gesamtfunktionalität der Anwendung wünschen. Die vollständige Ressource ist über den Link: https://github.com/sohambpatel/PreventativeTests/wiki/How-to-use%3F. Diese zusätzliche Referenz stellt sicher, dass Nutzer nicht nur Programmierprobleme beheben, sondern auch lernen, wie man Funktionen behebt, wodurch sie das Framework effektiver nutzen können.

FehlerverhaltenUrsacheWie kann man das beheben?
Die Bewerbung beginnt nichtJava-Pfad ist nicht festgelegtSetzen Sie in der Environment-Variable die JAVA_HOME
Der Server fällt beim Start fehlPort 8080/9090 in Gebrauch (insbesondere bei Verwendung von Docker)Update der Docker-Portzuordnung
GenAI-Inhalte sind nullDas Token könnte abgelaufen seinGeneriere das Token und aktualisiere die config.properties, bevor du das als Eingabe eingibst
Die vom Framework generierte Browser-Instanz verbindet sich nicht mit dem NetzwerkEntweder läuft der ZAP-Server nicht oder die ZAP-Zugangsdaten sind falschSchalte den ZAP EIN, bevor du die Anwendung startest; falls er läuft und das Problem weiterhin besteht, aktualisiere die ZAP-Zugangsdaten in der config.properties, bevor du diese als Eingabe eingibst

Tabelle 1: Häufige vorgeschlagene Systemfehler und schnelle Lösungen. Diese Tabelle zeigt die häufigsten anwendungsspezifischen Fehler, Fehlersuche und schnelle Lösungen, die zur Behebung der Probleme angewendet werden können.

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Anfangs teilten wir die Ergebnisse der Fallstudien, die in Zusammenarbeit mit verschiedenen Branchen durchgeführt wurden, in Echtzeit. Darüber hinaus haben wir die Ergebnisse der Betatester bereitgestellt, die dieses Framework und diesen Algorithmus verwendet haben, zusammen mit den abschließenden Beobachtungen zu potenziellen Risiken für die Validität der Ergebnisse.

Ergebnisse der Fallstudie aus der Branche:

Basie...

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Diese Forschung präsentiert PreventativeTestPro, eine umfassende Test- und Beobachtbarkeitsplattform, die synthetisches Monitoring, Observabilitätsdaten und generative KI-gesteuerte Automatisierung integriert, um die Qualitätssicherung von Software zu verbessern. Das System besteht aus drei grundlegenden Modulen: einem Observabilitätsdaten-Sammler und -Analysator, einer generativen, KI-gesteuerten Intelligenzschicht sowie einer Testorchestrierungs- und Ausführungs-Engine. Gemeinsam schaf...

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren geben an, dass sie keine bekannten konkurrierenden finanziellen Interessen oder persönlichen Beziehungen haben, die die in diesem Artikel berichtete Arbeit beeinflusst haben könnten. Wir bestätigen, dass Zwillinge nur zur grammatikalischen Verfeinerung und Umformulierung von Sätzen verwendet wurden, um sie lesbarer zu machen. Um korrekt und ethisch richtig zu sein, überarbeiteten die Autoren alle von der KI vorgeschlagenen Änderungen sorgfältig, um die ursprüngliche wissenschaftliche Konnotation zu bewahren.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der Autor drückt seine Dankbarkeit für die bedeutende Unterstützung und Zusammenarbeit der folgenden Organisationen während dieser Forschung aus. Die kollaborativen experimentellen Fallstudien mit diesen Unternehmen waren entscheidend für die Untermauerung des vorgeschlagenen Werkzeugs und der Methode. Der Dank gilt GazonTech, Lopa Engineering, Afour Technologies, QJ Technologies und SecureLayer7 für den Zugang zu praktischen Umgebungen, technischen Erkenntnissen und wertvollen Beiträgen während der experimentellen Phase. Ihre aktive Beteiligung steigerte die praktische Bedeutung und Nutzbarkeit der Forschungsergebnisse erheblich. Der Autor drückt seine tiefe Dankbarkeit für seine Bereitschaft aus, sich an akademischer Forschung zu beteiligen, sowie für sein Engagement für Innovation und kontinuierliche Weiterentwicklung in den Bereichen Softwareentwicklung und Cybersicherheit.

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Apache MavenApache Software Foundation3.9.6Abhängigkeits- und Projektmanagement-Tool für Java-Projekte
ChatGPT (GPT-3.5 Turbo API)OpenAIhttps://platform.openai.com/api-keysFür die Erstellung KI-basierter Testempfehlungen aus Logs, die Erstellung manueller Testfälle, die Erstellung automatisierter Testfälle und die Ermittlung der Ursachenanalyse
Computer (Entwicklungs-/Testmaschine)Standard-Desktop/Laptop-Verwendet zur Entwicklung, Ausführung und Prüfung von PreventativeTestPro
Festplattenspeicher--Mindestens 10 GB freier Festplattenspeicher werden für Logs, Berichte und Testartefakte empfohlen
DockerDocker Inc.27 (https://docs.docker.com/desktop/setup/install/windows-install/) Verwendet für die Containerisierung, um die Reproduzierbarkeit über verschiedene Umgebungen hinweg sicherzustellen
GitGit SCMGit Version 2.45.2.windows.1Versionskontrollsystem für Entwicklung und Zusammenarbeit
GitHub-RepositoryGitHubhttps://github.com/sohambpatel/PreventativeTestsÖffentliches Repository mit Quellcode, Dokumentation, Datensätzen und Beispielen
Google ChromeGoogle140.0.7339.128Hauptbrowser für synthetisches Monitoring und Testen
JavaOracle / OpenJDK21.0.2Verwendet für Softwareentwicklung und Ausführung von PreventativeTestPro
BetriebssystemPlattform unabhängig-Das Tool funktioniert auf jedem Betriebssystem mit installiertem Java und Maven (Windows, Linux, macOS).
OWASP ZAPOWASP Stiftung2.14.0Sicherheits-Scan- und Schwachstellenerkennungstool
Prozessor--Intel i5 oder höher (oder gleichwertig) wird für parallele Ausführung und KI-Verarbeitung empfohlen
RAM--Mindestens 8 GB RAM werden für Tests und browserbasierte Überwachung empfohlen

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. A novel approach to multiple criteria based test case prioritization. Abid, R., Nadeem, A. 2017 13th International Conference on Emerging Technologies (ICET), Islamabad, Pakistan, , (2017).
  2. Khatibsyarbini, M., Isa, M. A., Jawawi, D. N., Tumeng, R. Test case prioritization approaches in regression testing: A systematic literature review. Inf Softw Technol. 93, 74-93 (2017).
  3. Enhanced weighted method for test case prioritization in regression testing using unique priority value. Ammar, A., Baharom, S., Ghani, A. A. A., Din, J. 2016 International Conference on Information Science and Security (ICISS), Pattaya, Thailand, , (1109).
  4. Using artificial bee colony for code coverage based test suite prioritization. Konsaard, P., Ramingwong, L. 2015 2nd International Conference on Information Science and Security (ICISS), Seoul, Korea, 10, Forthcoming.
  5. Rosero, R. H., Gómez, O. S., Rodríguez, G. Regression testing of database applications under an incremental software development setting. IEEE Access. 5, 18419-18428 (2017).
  6. Customer Service Expectations 2018. , Gladly. Available at: https://www.gladly.com/blog/2018-customer-service-expectations-survey/ (2018).
  7. Must-Know Customer Service Statistics. , Khoros. Available at: https://khoros.com/blog/must-know-customer-service-statistics (2025).
  8. State of the Connected Customer, 4th Ed. , Salesforce. Available at: https://c1.sfdcstatic.com/content/dam/web/en_us/www/documents/research/salesforce-state-of-the-connected-customer-4th-ed.pdf (2025).
  9. Customer Acquisition Study. , HubSpot. Available at: https://blog.hubspot.com/service/customer-acquisition-study (2025).
  10. IT Ticket Handling Best Practices. , Ivanti. Available at: https://www.ivanti.com/blog/it-ticket-handling-best-practices (2025).
  11. Patel, S., Patil, K., Chumchu, P. Quantitative data set on test prioritization and preventative tests. Mendeley Data. V2, (2023).
  12. State of Software Quality Report 2024. , Katalon. Available at: https://katalon.info/hubfs/download-content/ebook/State%20of%20Software%20Quality%20Report%202024.pdf (2025).
  13. Patel, S., Patil, K., Chumchu, P. OBSERVER: Observing Browser Synthetic Environments for Robotization, Verification, Efficiency, and Resilience. Softw Impacts. 24, 100752(2025).
  14. Patel, S., Patil, K., Chumchu, P. Comparative analysis of software solutions for preventative testing and test prioritization. Mendeley Data. V2, (2024).
  15. Intro to Synthetic Monitoring . , New Relic. Available at: https://docs.newrelic.com/docs/synthetics/synthetic-monitoring/using-monitors/intro-synthetic-monitoring (2025).
  16. Observability Glossary. , SolarWinds. Available at: https://www.solarwinds.com/resources/it-glossary/observability (2025).
  17. Patel, S., Patil, K., Chumchu, P. BHRAMARI: Bug driven highly reusable automated model for automated test bed generation and integration. Softw Impacts. 21, 100687(2024).
  18. Failure identification from unstable log data using deep learning. Bogatinovski, J., Nedelkoski, S., Wu, L., Cardoso, J., Kao, O. 2022 22nd IEEE International Symposium on Cluster, Cloud and Internet Computing (CCGrid), Taormina, Italy, , (2022).
  19. Creating test cases for testing software using anonymized log data. U.S. Patent. , US11709764B2. USPTO (2023).
  20. Towards test architecture based software product line testing. Lee, J., Kang, S. 2014 IEEE 38th Annual Computer Software and Applications Conference (COMPSAC), Vasteras, Sweden, , (2014).
  21. QEX: Automated testing observability and QA developer experience framework. Locke, H. L., Ting Keshia, Y. K., Yu, J. C. K., Chua, H. Y. 2023 IEEE Conference on Software Testing, Verification and Validation (ICST), Dublin, Ireland, , (1109).
  22. Intelligent testing in software industry. Lal, A., Kumar, G. 2021 12th International Conference on Computing Communication and Networking Technologies (ICCCNT), Kharagpur, India, , (2021).
  23. Instrumenting contracts with aspect-oriented programming to increase observability and support debugging. Briand, L. C., Dzidek, W. J., Labiche, Y. 2005 21st IEEE International Conference on Software Maintenance (ICSM), Budapest, Hungary, , (1109).
  24. An empirical analysis of blind tests. Baral, K., Offutt, J. 2020 IEEE 13th International Conference on Software Testing, Validation and Verification (ICST), Porto, Portugal, , (1109).
  25. Rott, J. Test intelligence: How modern analyses and visualizations in Teamscale support software testing. 2022 1st International Workshop on Visualization in Testing of Hardware, Software, and Manufacturing (TestVis), Oklahoma City, OK, USA, , (2022).
  26. Collins, E. F., de Lucena, V. F. Software test automation practices in agile development environment: An industry experience report. 2012 7th International Workshop on Automation of Software Test (AST), Zurich, Switzerland, , (2012).
  27. BugSwarm: Mining and continuously growing a dataset of reproducible failures and fixes. Tomassi, D. A., Dmeiri, N., Wang, Y., Bhowmick, A., Liu, Y. C., Devan, P. T. 2019 IEEE/ACM International Conference on Software Engineering (ICSE), Montreal, Canada, , (2019).
  28. Towards combining functional requirements tests and unit tests as a preventive practice against software defects. Dudila, R., Letia, I. A. 2013 International Conference on Control Systems and Computer Science (ICCP), Sinaia, Romania, , (2013).
  29. Fushihara, Y., Aman, H., Amasaki, S., Yokogawa, T., Kawahara, M. A trend analysis of test smells in Python test code over commit history. 2023 49th Euromicro Conference on Software Engineering and Advanced Applications (SEAA), Durres, Albania, , (2023).
  30. SUPERNOVA: Automating test selection and defect prevention in AAA video games using risk-based testing and machine learning. Senchenko, A., Patterson, N., Samuel, H., Ispir, D. 2022 IEEE Conference on Software Testing, Verification and Validation (ICST), Valencia, Spain, , (2022).
  31. A software maintenance methodology: An approach applied to software aging. Araujo, J., Melo, C., Oliveira, F., Pereira, P., Matos, R. 2021 IEEE International Systems Conference (SysCon), Vancouver, BC, Canada, , Forthcoming.
  32. Mutual Automobile Insurance Company. Mutation Testing in Parallel Threads. U.S. Patent. , US11163675B1. USPTO (2021).
  33. Machine learning-based decision-making for autonomous systems communication. U.S. Patent. , US11366748B1. USPTO (2022).
  34. Use sequential set index for root cause location and problem detection. U.S. Patent. Huo, Z. P., et al. , US11645142B1. USPTO (2023).
  35. Selenium WebDriver. , Selenium. https://www.selenium.dev (2025).
  36. The Katalon Platform. , Katalon. Available from: https://katalon.com (2025).
  37. Apache JMeter. , Apache Software Foundation. Available from: https://jmeter.apache.org (2024).
  38. OWASP ZAP (Zed Attack Proxy). , OWASP Foundation. Available from: https://www.zaproxy.org/ (2025).
  39. Xray by Xpand IT. Xray - Test Management for Jira. , Xray. Available from: https://www.getxray.app (2025).
  40. Tricentis Copilot. , Tricentis. Available from: https://www.tricentis.com/products/copilot/ (2025).
  41. SmartQ Tech Products. , SmartQ Technologies. Available from: https://www.thesmartq.com/smartq-tech-products/ (2025).

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Hybrid TestingObservability AutomationGenerative AI TestingSoftware Quality EngineeringTest OrchestrationBlack Box TestingWhite Box TestingLog AnalysisRegression CoverageAnomaly Detection

Related Articles