Research Article

PreventativeTestPro: Een schaalbaar hybride testframework dat gebruikmaakt van observability en generatieve AI voor proactieve softwarekwaliteitsengineering

DOI:

10.3791/69316

⸱

March 24th, 2026

 ,  ,  , 
1Vishwakarma University, 2Kasetsart University

In This Article

Summary

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

PreventativeTestPro is een AI-gedreven testframework dat gebruikmaakt van observabiliteitsdata en grote taalmodellen om rootcause-analyse, testgeneratie en continue validatie te automatiseren, met als doel de betrouwbaarheid van software te verbeteren en kwaliteitsborging voor zowel frontend als backend systemen te optimaliseren om efficiënter beheer van supporttickets te bevorderen.

Abstract

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit artikel introduceert een geavanceerd, schaalbaar testsysteem dat observability-gedreven automatisering integreert met AI-versterkte proactieve kwaliteitsengineering om hedendaagse softwareleveringsproblemen aan te pakken. Het voorgestelde systeem versterkt PreventativeTestPro, een open-source, hybride testplatform dat black-box en white-box methodologieën combineert, door een innovatieve, observabiliteitsgebaseerde testorkestratielaag te integreren. Het platform maakt gebruik van logs, metrics, gebeurtenissen en traces naast browser- en server-side monitoring om afwijkingen snel te identificeren, de selectie van testgevallen te verbeteren en de creatie van functionele, prestatie- en beveiligingstestsuites te automatiseren. Een onderscheidend kenmerk is de integratie van grote taalmodellen (LLM's) om inzichten in de worteloorzaak te bieden en autonoom nieuwe testcases te construeren op basis van productiegedrag en geïdentificeerde afwijkingen, waardoor adaptieve regressiedekking en intelligente remediatie worden geboden.

Het systeem faciliteert gelijktijdige testuitvoering met onmiddellijke, door AI aangestuurde loganalyse, wat een continue feedbackloop tussen operaties en testen bevordert. Het is gevalideerd in verschillende bedrijfsscenario's, waaronder microservices-gebaseerde SaaS-platforms en SAP BTP-ecosystemen. Empirische bevindingen van vier productie-implementaties en een bètagroep van 49 ingenieurs wijzen op een daling van tot 30% in gemiddelde tijd tot oplossing, meer dan 95% naleving van SLA's en aanzienlijke verbeteringen in zowel testdekking als defecttraceerbaarheid. De moeiteloze verbinding met industriestandaardtools illustreert de plug-and-play mogelijkheden.

Dit onderzoek presenteert een uitgebreide, tool-onafhankelijke en vooruitstrevende kwaliteitsengineeringmethodologie die consistent is met agile en DevOps-principes. Toekomstige initiatieven omvatten dynamische anomalieclassificatie via machine learning, uitbreiding naar mobiele en gebruikerservaringsgerichte systemen, en uitgebreide mogelijkheden voor grote taalmodellen voor domeinspecifieke testontwikkeling en foutvoorspelling.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De toenemende populariteit van het agile paradigma in softwarebedrijven heeft geleid tot een groeiende interesse in continue integratieomgevingen. De voordelen van dergelijke systemen omvatten de naadloze integratie van regelmatige programmawijzigingen, wat resulteert in versnelde en kosteneffectieve softwareontwikkeling. Daardoor zal het taken als bouwprocedures, testuitvoering en rapportage van testresultaten efficiënt beheren. Softwaretesten wordt al geïmplementeerd sinds het ontstaan van software engineering. De praktijk van softwaretesten werd toegepast om de kwaliteit van software te beoordelen1. Testen o....

Access restricted. Please log in or start a trial to view this content.

Protocol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Samenvatting van systeemarchitectuur en prototype:

Dit onderzoek presenteert een verbeterd en aanpasbaar prototypesysteem, PreventativeTestPro, dat een proactieve kwaliteitsengineeringbenadering illustreert door gebruik te maken van observabiliteitsdata en grote taalmodellen (LLM's) om de oplossing van supportproblemen verder te verbeteren. Het systeem streeft ernaar moderne softwareleveringsproblemen aan te pakken door het automatiseren van anomaliedetectie, analyse van de worteloorzaken en de intelligente uitvoering en ontwikkeling van testgevallen voor onopgeloste dekking met behulp van synthetische monito....

Access restricted. Please log in or start a trial to view this content.

Results

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Aanvankelijk deelden we de resultaten uit de casestudy's die in samenwerking met verschillende industrieën werden uitgevoerd in realtime. Daarnaast hebben we de uitkomsten geleverd van de bètatesters die dit kader en algoritme hebben gebruikt, samen met de laatste observaties over potentiële risico's voor de validiteit van de resultaten.

Resultaten van de casestudy uit de industrie:

Op basis van ons onderzoek, dat z.......

Access restricted. Please log in or start a trial to view this content.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dit onderzoek presenteert PreventativeTestPro, een uitgebreid test- en observabiliteitsplatform dat synthetische monitoring, observabiliteitsdata en generatieve AI-gedreven automatisering integreert om de kwaliteitsborging van software te verbeteren. Het systeem bestaat uit drie fundamentele modules: een observability data collector en analyzer, een generatieve, AI-gedreven intelligentielaag en een testorkestratie- en uitvoeringsengine. Gezamenlijk creëren deze componenten een feedbacklu.......

Access restricted. Please log in or start a trial to view this content.

Disclosures

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteurs geven aan dat zij geen bekende concurrerende financiële belangen of persoonlijke relaties hebben die het werk in dit artikel zouden kunnen beïnvloeden. Wij bevestigen dat Tweelingen alleen werden toegepast op het gebied van grammaticale polijsting en herformulering van zinnen om ze makkelijker leesbaar te maken. Om correct en ethisch correct te zijn, hebben de auteurs alle door AI voorgestelde veranderingen zorgvuldig herzien om de oorspronkelijke wetenschappelijke connotatie te behouden.

Acknowledgements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

De auteur spreekt zijn dank uit voor de aanzienlijke steun en samenwerking die de volgende organisaties gedurende dit onderzoek hebben geboden. De gezamenlijke experimentele casestudy's met deze bedrijven waren cruciaal voor het onderbouwen van het voorgestelde hulpmiddel en de methode. Dankbaarheid gaat uit naar GazonTech, Lopa Engineering, Afour Technologies, QJ Technologies en SecureLayer7 voor het verlenen van toegang tot praktische omgevingen, technische inzichten en waardevolle input tijdens de experimentele fase. Hun actieve betrokkenheid vergrootte de praktische betekenis en bruikbaarheid van de onderzoeksresultaten aanzienlij....

Access restricted. Please log in or start a trial to view this content.

Materials

List of materials used in this article
NameCompanyCatalog NumberComments
Apache MavenApache Software Foundation3.9.6Dependency and project management tool for Java projects
ChatGPT (GPT-3.5 Turbo API)OpenAIhttps://platform.openai.com/api-keysFor generating AI-based test recommendations from logs, generating the manual test cases, generating the automated test cases and getting the root cause analysis
Computer (Development/Test Machine)Standard Desktop/Laptop-Used for developing, executing, and testing PreventativeTestPro
Disk Space--At least 10 GB of free disk space recommended for logs, reports, and test artifacts
DockerDocker Inc.27 (https://docs.docker.com/desktop/setup/install/windows-install/) Used for containerization to ensure reproducibility across environments
GitGit SCMgit version 2.45.2.windows.1Version control system used for development and collaboration
GitHub RepositoryGitHubhttps://github.com/sohambpatel/PreventativeTestsPublic repository containing source code, documentation, datasets, and examples
Google ChromeGoogle140.0.7339.128Primary browser used for synthetic monitoring and testing
JavaOracle / OpenJDK21.0.2Used for software development and execution of PreventativeTestPro
Operating SystemPlatform Independent-Tool works on any OS with Java and Maven installed (Windows, Linux, macOS)
OWASP ZAPOWASP Foundation2.14.0Security scanning and vulnerability detection tool
Processor--Intel i5 or higher (or equivalent) recommended for parallel execution and AI processing
RAM--Minimum 8 GB RAM recommended for running tests and browser-based monitoring

References

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. A novel approach to multiple criteria based test case prioritization. Abid, R., Nadeem, A. 2017 13th International Conference on Emerging Technologies (ICET), Islamabad, Pakistan, , (2017).
  2. Khatibsyarbini, M., Isa, M. A., Jawawi, D. N., Tumeng, R. Test case prioritization approaches in regression testing: A systematic literature review. Inf Softw Technol. 93, 74-93 (2017).
  3. Enhanced weighted method for test case priori....

Access restricted. Please log in or start a trial to view this content.

Reprints and Permissions

Request permission to reuse the text or figures of this JoVE article

Request Permission

Tags

Hybrid TestingObservability AutomationGenerative AI TestingSoftware Quality EngineeringTest OrchestrationBlack Box TestingWhite Box TestingLog AnalysisRegression CoverageAnomaly Detection

Related Articles