PreventivatativeTestPro: Un marco escalable de pruebas híbridas que utiliza observabilidad e inteligencia artificial generativa para una ingeniería proactiva de calidad de software

Summary

PreventivtativeTestPro es un marco de pruebas impulsado por IA que utiliza datos de observabilidad y grandes modelos de lenguaje para automatizar el análisis de causas raíz, la generación de pruebas y la validación continua, con el objetivo de mejorar la fiabilidad del software y optimizar el aseguramiento de calidad tanto para sistemas frontend como backend, facilitando así una gestión más eficiente de tickets de soporte.

Abstract

Este artículo presenta un sistema de pruebas sofisticado y escalable que integra la automatización basada en observabilidad con ingeniería de calidad proactiva aumentada por IA para abordar las dificultades contemporáneas en la entrega de software. El sistema sugerido mejora PreventivatTestPro, una plataforma de pruebas híbrida de código abierto que combina metodologías de caja negra y caja blanca, incorporando una capa innovadora de orquestación de pruebas basada en observabilidad. La plataforma utiliza registros, métricas, eventos y trazas junto con la monitorización del navegador y del servidor para identificar rápidamente anomalías, mejorar la selección de casos de prueba y automatizar la creación de suites de pruebas funcionales, de rendimiento y de seguridad. Una característica distintiva es la incorporación de grandes modelos de lenguaje (LLMs) para proporcionar información sobre la causa raíz y construir de forma autónoma nuevos casos de prueba basados en comportamientos de producción y anomalías identificadas, proporcionando así una cobertura de regresión adaptativa y remediación inteligente.

El sistema facilita la ejecución concurrente de pruebas mediante análisis instantáneo de registros impulsado por IA, fomentando un bucle de retroalimentación continuo entre operaciones y pruebas. Ha sido validado en varios escenarios empresariales, incluyendo plataformas SaaS basadas en microservicios y ecosistemas SAP BTP. Los hallazgos empíricos de cuatro despliegues en producción y un grupo beta de 49 ingenieros indican una disminución de hasta un 30% en el tiempo medio hasta la resolución, más del 95% de cumplimiento de los SLA y mejoras sustanciales tanto en la cobertura de pruebas como en la trazabilidad de defectos. La conexión sencilla con herramientas estándar de la industria ilustra su capacidad plug-and-play.

Esta investigación presenta una metodología de ingeniería de calidad integral, independiente de las herramientas y con visión de futuro, coherente con los principios ágiles y DevOps. Los futuros proyectos incluyen la clasificación dinámica de anomalías mediante aprendizaje automático, la extensión a sistemas móviles y orientados a la experiencia del usuario, y el aumento de capacidades de grandes modelos de lenguaje para el desarrollo de pruebas específicas de dominio y la predicción de fallos.

Introduction

La creciente popularidad del paradigma ágil en los negocios de software ha llevado a un interés creciente en entornos de integración continua. Las ventajas de estos sistemas incluyen la integración fluida de modificaciones regulares del programa, lo que resulta en una evolución acelerada y rentable del software. En consecuencia, gestionará eficientemente tareas como los procedimientos de construcción, la ejecución de pruebas y la elaboración de informes de resultados de pruebas. Las pruebas de software se han implementado desde los inicios de la ingeniería de software. Se implementó la práctica de pruebas de software para evaluar la c....

Protocol

Arquitectura del sistema y resumen del prototipo:

Esta investigación presenta un sistema prototipo mejorado y adaptable, PreventivtativeTestPro, que ejemplifica un enfoque proactivo de ingeniería de calidad utilizando datos de observabilidad y grandes modelos de lenguaje (LLMs) para mejorar aún más la resolución de problemas de apoyo. El sistema busca abordar los problemas modernos de entrega de software automatizando la detección de anomalías, el análisis de causas raíz y la ejecución y desarrollo inteligente de casos de prueba para cobertura no abordada utilizando monitorización sintética, datos de observab....

Results

Inicialmente, compartimos en tiempo real los resultados derivados de los estudios de caso realizados en colaboración con diversas industrias. Además, hemos proporcionado los resultados derivados de los beta testers que han utilizado este marco y algoritmo, junto con las observaciones finales sobre los posibles riesgos para la validez de los resultados.

Resultados de estudios de caso del sector:

Basándonos en nuestra.......

Discussion

Esta investigación presenta PreventivtativeTestPro, una plataforma integral de pruebas y observabilidad que integra monitorización sintética, datos de observabilidad y automatización impulsada por IA generativa para mejorar el aseguramiento de la calidad del software. El sistema consta de tres módulos fundamentales: un recopilador y analizador de datos de observabilidad, una capa de inteligencia impulsada por IA generativa y un motor de orquestación y ejecución de pruebas. En conjunto, e.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Apache Maven	Fundación de Software Apache	3.9.6	Herramienta de gestión de dependencias y proyectos para proyectos Java
ChatGPT (API GPT-3.5 Turbo)	OpenAI	https://platform.openai.com/api-keys	Para generar recomendaciones de pruebas basadas en IA a partir de registros, generar casos de prueba manuales, generar casos de prueba automatizados y obtener el análisis de causa raíz
Ordenador (Máquina de desarrollo/prueba)	Ordenador de sobremesa/portátil estándar	-	Utilizado para desarrollar, ejecutar y probar PreventivTestPro
Espacio en disco	-	-	Se recomienda al menos 10 GB de espacio libre en disco para registros, informes y artefactos de prueba
Docker	Docker Inc.	27 (https://docs.docker.com/desktop/setup/install/windows-install/)	Utilizado para la contenedorización para asegurar la reproducibilidad en entornos
Git	Git SCM	git versión 2.45.2.windows.1	Sistema de control de versiones utilizado para el desarrollo y la colaboración
Repositorio GitHub	GitHub	https://github.com/sohambpatel/PreventativeTests	Repositorio público que contiene código fuente, documentación, conjuntos de datos y ejemplos
Google Chrome	Google	140.0.7339.128	Navegador principal utilizado para monitorización y pruebas sintéticas
Java	Oracle / OpenJDK	21.0.2	Utilizado para el desarrollo de software y la ejecución de PreventivTestPro
Sistema operativo	Plataforma independiente	-	La herramienta funciona en cualquier sistema operativo con Java y Maven instalados (Windows, Linux, macOS)
OWASP ZAP	Fundación OWASP	2.14.0	Herramienta de escaneo de seguridad y detección de vulnerabilidades
Procesador	-	-	Se recomienda Intel i5 o superior (o equivalente) para ejecución paralela y procesamiento de IA
RAM	-	-	Se recomienda un mínimo de 8 GB de RAM para realizar pruebas y monitorización mediante navegador