PreventativeTestPro: Skalowalny hybrydowy framework testowy wykorzystujący obserwowalność i generatywną sztuczną inteligencję do proaktywnej inżynierii jakości oprogramowania

Summary

PreventativeTestPro to oparte na AI ramy testowe, które wykorzystują dane obserwowalności oraz duże modele językowe do automatyzacji analizy przyczyn źródłowych, generowania testów i ciągłej walidacji, z celem poprawy niezawodności oprogramowania oraz optymalizacji zapewnienia jakości zarówno dla systemów frontendowych, jak i backendowych, aby ułatwić bardziej efektywne zarządzanie zgłoszeniami wsparcia.

Abstract

Niniejszy artykuł wprowadza zaawansowany, skalowalny system testowania, który integruje automatyzację opartą na obserwowalności z proaktywną inżynierią jakości wspieraną przez AI, aby sprostać współczesnym wyzwaniom dostarczania oprogramowania. Sugerowany system ulepsza PreventativePro, otwartoźródłową, hybrydową platformę testową łączącą metodologie black-box i white-box, poprzez innowacyjną warstwę orkiestracji testów opartą na obserwowalności. Platforma wykorzystuje logi, metryki, zdarzenia i śledzenia wraz z monitorowaniem po stronie przeglądarki i serwera, aby szybko identyfikować anomalie, ulepszać wybór przypadków testowych oraz automatyzować tworzenie funkcjonalnych, wydajnościowych i testowych zestawów bezpieczeństwa. Charakterystyczną cechą jest włączenie dużych modeli językowych (LLM), które dostarczają wglądu w przyczyny źródłowe i autonomicznie konstruują nowe przypadki testowe na podstawie zachowań produkcyjnych i zidentyfikowanych nieprawidłowości, zapewniając tym samym pokrycie regresją adaptacyjną i inteligentną remediację.

System umożliwia jednoczesne wykonywanie testów z natychmiastową analizą logów opartą na AI, tworząc ciągłą pętlę zwrotną między operacjami a testami. Został zweryfikowany w kilku scenariuszach korporacyjnych, w tym na platformach SaaS opartych na mikroserwisach oraz ekosystemach SAP BTP. Wyniki empiryczne z czterech wdrożeń produkcyjnych oraz grupy beta liczącej 49 inżynierów wskazują na spadek średniego czasu do rozwiązania o nawet 30%, ponad 95% zgodności z SLA oraz znaczącą poprawę zarówno w zakresie pokrycia testów, jak i śledzenia wad. Bezwysiłkowe połączenie z narzędziami standardowymi w branży ilustruje jego zdolność do podłączania i używania.

Badania te przedstawiają kompleksową, niezależną od narzędzi i perspektywiczną metodologię inżynierii jakości, zgodną z zasadami agile i DevOps. Przyszłe przedsięwzięcia obejmują dynamiczną klasyfikację anomalii poprzez uczenie maszynowe, rozszerzenie na systemy mobilne i zorientowane na doświadczenie użytkownika oraz rozszerzone możliwości dużych modeli językowych do opracowywania testów specyficznych dla dziedziny i prognozowania awarii.

Introduction

Rosnąca popularność paradygmatu agile w firmach programistycznych doprowadziła do rosnącego zainteresowania środowiskami ciągłej integracji. Zaletą takich systemów jest płynna integracja regularnych modyfikacji programów, co skutkuje przyspieszoną i opłacalną ewolucją oprogramowania. W konsekwencji będzie efektywnie zarządzać zadaniami takimi jak budowa procedur, realizacja testów oraz raportowanie wyników testów. Testowanie oprogramowania jest wdrażane od początku inżynierii oprogramowania. Praktyka testowania oprogramowania została wprowadzona w celu oceny jakości oprogramowania¹. Testowanie obejmuje szereg działań mających na celu wykrycie i....

Protocol

Architektura systemu i podsumowanie prototypu:

Badania te przedstawiają ulepszony i elastyczny system prototypowy PreventativeTestPro, który jest przykładem proaktywnego podejścia inżynieryjnego jakości, wykorzystującego dane obserwacji i duże modele językowe (LLM) do dalszego rozwiązywania problemów ze wsparciem. System dąży do rozwiązania nowoczesnych problemów dostarczania oprogramowania poprzez automatyzację wykrywania anomalii, analizy przyczyn źródłowych oraz inteligentnego wykonywania i opracowywania przypadków testowych dla nierozwiązanego pokrycia, wykorzystując syntetyczne monitorowanie, dane obserwacji oraz integrację z GenAI. Arch....

Results

Początkowo dzieliliśmy się wynikami uzyskanymi z badań przypadków przeprowadzonych we współpracy z różnymi branżami w czasie rzeczywistym. Ponadto przedstawiliśmy wyniki uzyskane przez testerów beta, którzy wykorzystali ten framework i algorytm, wraz z końcowymi obserwacjami potencjalnych ryzyk dla ważności wyników.

Wyniki studiów przypadków branży:

Na podstawie naszych badań, które koncentrują się na praktycznych zastosowaniach i odpowiadają na pot.......

Discussion

Badania te prezentują PreventativeTestPro, kompleksową platformę testową i obserwacyjną, która integruje syntetyczne monitorowanie, dane obserwowalności oraz automatyzację opartą na generatywnej sztucznej inteligencji w celu poprawy zapewnienia jakości oprogramowania. System składa się z trzech podstawowych modułów: zbieracza i analizatora danych obserwowalności, generatywnej warstwy inteligencji opartej na AI oraz silnika orkiestracji i wykonywania testów. Łącznie te komponenty tworzą pętlę zwrotną, w której zachowania .......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Apache Maven	Fundacja Oprogramowania Apache	3.9.6	Narzędzie do zarządzania zależnościami i projektami dla projektów Java
ChatGPT (GPT-3.5 Turbo API)	OpenAI	https://platform.openai.com/api-keys	Do generowania rekomendacji testowych opartych na AI na podstawie logów, generowania ręcznych przypadków testowych, generowania zautomatyzowanych przypadków testowych oraz analizy przyczyn podstawowych
Komputer (maszyna rozwojowa/testowa)	Standardowy komputer stacjonarny/laptop	-	Używany do tworzenia, wykonywania i testowania PreventativeTestPro
Miejsce na dysku	-	-	Zalecane jest co najmniej 10 GB wolnej przestrzeni na dysku na logi, raporty i artefakty testowe
Docker	Docker Inc.	27 (https://docs.docker.com/desktop/setup/install/windows-install/)	Wykorzystywane do konteneryzacji w celu zapewnienia powtarzalności w różnych środowiskach
Git	Git SCM	git version 2.45.2.windows.1	System kontroli wersji używany do tworzenia i współpracy
Repozytorium GitHub	GitHub	https://github.com/sohambpatel/PreventativeTests	Publiczne repozytorium zawierające kod źródłowy, dokumentację, zbiory danych i przykłady
Google Chrome	Google	140.0.7339.128	Główna przeglądarka używana do syntetycznego monitorowania i testowania
Java	Oracle / OpenJDK	21.0.2	Wykorzystywane do tworzenia oprogramowania i wdrażania PreventativeTestPro
System operacyjny	Niezależna platforma	-	Narzędzie działa na dowolnym systemie operacyjnym z zainstalowanymi Java i Maven (Windows, Linux, macOS)
OWASP ZAP	Fundacja OWASP	2.14.0	Narzędzie do skanowania i wykrywania luk bezpieczeństwa
Procesor	-	-	Intel i5 lub nowszy (lub równoważny) zalecany do wykonywania równoległego i przetwarzania AI
RAM	-	-	Minimalne 8 GB RAM zalecane do przeprowadzania testów i monitorowania w przeglądarce