PreventativeTestPro : Un cadre de tests hybrides évolutif utilisant l’observabilité et l’IA générative pour une ingénierie proactive de la qualité logicielle

Summary

PreventativeTestPro est un cadre de test piloté par l’IA qui utilise des données d’observabilité et de grands modèles de langage pour automatiser l’analyse des causes profondes, la génération de tests et la validation continue, dans le but d’améliorer la fiabilité logicielle et d’optimiser l’assurance qualité pour les systèmes frontend et backend afin de faciliter une gestion plus efficace des tickets de support.

Abstract

Cet article présente un système de test sophistiqué et évolutif qui intègre une automatisation pilotée par l’observabilité avec une ingénierie qualitative proactive augmentée par l’IA afin de relever les difficultés contemporaines de livraison logicielle. Le système suggéré améliore PreventivTestPro, une plateforme de test hybride open source qui combine méthodologies boîte noire et boîte blanche, en incorporant une couche innovante d’orchestration de tests basée sur l’observabilité. La plateforme utilise des journaux, des métriques, des événements et des traces en plus de la surveillance côté navigateur et côté serveur pour identifier rapidement les anomalies, améliorer la sélection des cas de test et automatiser la création de suites de tests fonctionnelles, de performance et de sécurité. Une caractéristique distinctive est l’intégration de grands modèles de langage (LLM) pour fournir des informations sur la cause profonde et construire de manière autonome de nouveaux cas de test basés sur les comportements de production et les anomalies identifiées, offrant ainsi une couverture de régression adaptative et une remédiation intelligente.

Le système facilite l’exécution simultanée de tests grâce à une analyse instantanée de journaux pilotée par l’IA, favorisant une boucle de rétroaction continue entre les opérations et les tests. Il a été validé dans plusieurs scénarios d’entreprise, notamment sur des plateformes SaaS basées sur des microservices et des écosystèmes SAP BTP. Les résultats empiriques de quatre déploiements en production et d’un groupe bêta de 49 ingénieurs indiquent une diminution allant jusqu’à 30 % du temps moyen jusqu’à la résolution, plus de 95 % de conformité aux SLA, et des améliorations substantielles à la fois de la couverture des tests et de la traçabilité des défauts. La connexion sans effort avec des outils standards de l’industrie illustre sa capacité plug-and-play.

Cette recherche présente une méthodologie d’ingénierie de qualité complète, indépendante des outils et tournée vers l’avenir, conforme aux principes de l’agilité et du DevOps. Les projets futurs incluent la classification dynamique des anomalies par apprentissage automatique, l’extension aux systèmes mobiles et orientés expérience utilisateur, ainsi qu’un renforcement des capacités de grands modèles de langage pour le développement de tests spécifiques à un domaine et la prévision des pannes.

Introduction

La popularité croissante du paradigme agile dans les entreprises du logiciel a suscité un intérêt croissant pour les environnements d’intégration continue. Les avantages de tels systèmes incluent l’intégration fluide de modifications régulières des programmes, ce qui permet une évolution logicielle accélérée et rentable. Par conséquent, il gérera efficacement des tâches telles que les procédures de construction, l’exécution des tests et le rapport des résultats des tests. Les tests logiciels sont mis en œuvre depuis les débuts de l’ingénierie logicielle. La pratique des tests logiciels a été mise en œuvre pour évaluer la qualité du lo....

Protocol

Architecture système et résumé du prototype :

Cette recherche présente un système prototype amélioré et adaptable, PreventivtativeTestPro, qui illustre une approche proactive d’ingénierie qualité utilisant des données d’observabilité et de grands modèles de langage (LLM) pour améliorer davantage la résolution des problèmes. Le système vise à résoudre les problèmes modernes de livraison de logiciels en automatisant la détection d’anomalies, l’analyse des causes profondes, ainsi que l’exécution et le développement intelligents de cas de test pour une couverture non traitée en utilisant la surveillance synthétiq....

Results

Au départ, nous avons partagé en temps réel les résultats issus des études de cas menées en collaboration avec divers secteurs. De plus, nous avons fourni les résultats issus des testeurs bêta ayant utilisé ce cadre et cet algorithme, ainsi que les observations finales sur les risques potentiels pour la validité des résultats.

Résultats d’études de cas sectorielles :

Sur la base de nos recherches, qui se concentrent.......

Discussion

Cette recherche présente PreventativeTestPro, une plateforme complète de tests et d’observabilité qui intègre la surveillance synthétique, les données d’observabilité et l’automatisation pilotée par l’IA générative pour améliorer l’assurance qualité logicielle. Le système se compose de trois modules fondamentaux : un collecteur et un analyseur de données d’observabilité, une couche d’intelligence générative pilotée par l’IA, et un moteur d’orchestration et d’exécution de tests. Ensemble,.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Apache Maven	Fondation Apache Software	3.9.6	Outil de gestion de dépendances et de projet pour les projets Java
ChatGPT (API GPT-3.5 Turbo)	OpenAI	https://platform.openai.com/api-keys	Pour générer des recommandations de test basées sur l’IA à partir de journaux, générer les cas de test manuels, générer les cas automatisés et obtenir l’analyse de cause profonde
Ordinateur (machine de développement/test)	Ordinateur de bureau/portable standard	-	Utilisé pour développer, exécuter et tester PreventativeTestPro
Espace disque	-	-	Au moins 10 Go d’espace disque libre recommandés pour les journaux, rapports et artefacts de test
Docker	Docker Inc.	27 (https://docs.docker.com/desktop/setup/install/windows-install/)  ;	Utilisé pour la conteneurisation afin d’assurer la reproductibilité à travers les environnements
Git	Git SCM	git version 2.45.2.windows.1	Système de contrôle de versions utilisé pour le développement et la collaboration
Dépôt GitHub	GitHub	https://github.com/sohambpatel/PreventativeTests	Dépôt public contenant le code source, la documentation, les jeux de données et les exemples
Google Chrome	Google	140.0.7339.128	Navigateur principal utilisé pour la surveillance et les tests synthétiques
Java	Oracle / OpenJDK	21.0.2	Utilisé pour le développement logiciel et l’exécution de PreventivTestPro
Système d’exploitation	Plateforme indépendante	-	L’outil fonctionne sur n’importe quel système d’exploitation avec Java et Maven installés (Windows, Linux, macOS)
OWASP ZAP	Fondation OWASP	2.14.0	Outil de balayage de sécurité et de détection de vulnérabilités
Processeur	-	-	Intel i5 ou supérieur (ou équivalent) recommandé pour l’exécution parallèle et le traitement par IA
RAM	-	-	Minimum 8 Go de RAM recommandés pour effectuer des tests et la surveillance via navigateur