PreventativeTestPro: 관찰 가능성과 생성형 AI를 활용한 확장 가능한 하이브리드 테스트 프레임워크, 선제적인 소프트웨어 품질 엔지니어링

Summary

PreventativeTestPro는 AI 기반 테스트 프레임워크로, 관측 가능성 데이터와 대규모 언어 모델을 활용해 근본 원인 분석, 테스트 생성, 지속적 검증을 자동화하며, 소프트웨어 신뢰성을 향상시키고 프론트엔드 및 백엔드 시스템 모두에서 품질 보증을 최적화하여 보다 효율적인 지원 티켓 관리를 가능하게 하는 것을 목표로 합니다.

Abstract

본 논문은 현대의 소프트웨어 전달 문제를 해결하기 위해 관측성 기반 자동화와 AI 보조 선제적 품질 엔지니어링을 통합한 정교하고 확장 가능한 테스트 시스템을 소개합니다. 제안된 시스템은 혁신적인 관측성 기반 테스트 오케스트레이션 계층을 통합하여 블랙박스와 화이트박스 방법론을 결합한 오픈 소스 하이브리드 테스트 플랫폼인 PreventativeTestPro를 강화합니다. 이 플랫폼은 로그, 지표, 이벤트, 추적 데이터를 브라우저 및 서버 측 모니터링과 함께 활용하여 이상 현상을 신속히 식별하고, 테스트 케이스 선택을 강화하며, 기능, 성능, 보안 테스트 스위트를 자동화합니다. 특징적인 점은 대규모 언어 모델(LLM)을 도입하여 근본 원인 인사이트를 제공하고 생산 동작과 식별된 이상 현상을 바탕으로 자율적으로 새로운 테스트 케이스를 구성함으로써 적응형 회귀 커버리지와 지능적 복원을 가능하게 한다는 점입니다.

이 시스템은 AI 기반 로그 분석을 통한 실시간 테스트 실행을 촉진하여 운영과 테스트 간의 지속적인 피드백 루프를 촉진합니다. 마이크로서비스 기반 SaaS 플랫폼과 SAP BTP 생태계 등 여러 기업 시나리오에서 검증되었습니다. 4회의 생산 배포와 49명의 엔지니어로 구성된 베타 그룹의 실증적 결과에 따르면, 해결까지 최대 30% 감소, SLA 준수율은 95% 이상, 테스트 커버리지와 결함 추적성에서 상당한 개선이 이루어졌습니다. 업계 표준 도구와의 손쉬운 연계는 플러그 앤 플레이 기능을 잘 보여줍니다.

이 연구는 애자일 및 DevOps 원칙에 부합하는 포괄적이고 도구 독립적이며 미래지향적인 품질 엔지니어링 방법론을 제시합니다. 향후 사업으로는 머신러닝을 통한 동적 이상 분류, 모바일 및 사용자 경험 지향 시스템으로의 확장, 도메인별 테스트 개발 및 실패 예측을 위한 대규모 언어 모델 기능 강화가 포함됩니다.

Introduction

소프트웨어 비즈니스에서 애자일 패러다임의 인기가 높아지면서 지속적 통합 환경에 대한 관심이 커지고 있습니다. 이러한 시스템의 장점은 정기적인 프로그램 수정을 원활하게 통합하여 소프트웨어 진화가 가속화되고 비용 효율적인 데 있다는 점입니다. 따라서 구축 절차, 테스트 실행, 테스트 결과 보고와 같은 업무를 효율적으로 관리할 수 있습니다. 소프트웨어 테스트는 소프트웨어 공학이 시작된 이래로 도입되어 왔습니다. 소프트웨어 테스트 실천^{은 소프트웨어 품질을} 평가하기 위해 도입되었습니다. 테스트는 소프트웨어 내 잠재적 오류를 최종 사용자에게 배포하기 전에 감지하고 해결하는 다양한 작업을 포함합니다. 소프트웨어 테스트는 개발 과정에서 비용이 많이 드는 단계입니다^. 소프트웨어 테스트 및 디버깅 비용이 전체 개발 비용의 50% 이상을 차지합니다 ^3,4. 회귀 테스트의 비용은 애플리케이션의 복잡성과 테스트 스위트⁵의 규모에 따라 달라집니다.

애자일 방법론은 생산 환경에서....

Protocol

시스템 아키텍처 및 프로토타입 요약:

본 연구는 관찰 데이터와 대형 언어 모델(LLM)을 활용하여 지원 문제 해결을 더욱 향상시키기 위해 능동적이고 유연한 프로토타입 시스템인 PreventativeTestPro를 제시합니다. 이 시스템은 통합 모니터링, 관측 가능성 데이터, 생성형 AI 통합을 활용한 미해결 보장에 대한 테스트 케이스의 지능형 실행 및 개발을 자동화하여 현대 소프트웨어 제공 문제를 해결하고자 합니다. 이 아키텍처는 모듈식이며, 세 가지 핵심 구성 요소로 구성되어 있습니다: 관측성 데이터 수집기 및 분석기, 생성 AI 기반 인텔리전스 계층, 그리고 테스트 오케스트레이션 및 실행 엔진으로, 이는 그림 1에 자세히 명시되어 있습니다.

그림 1

Results

초기에는 다양한 산업과 협력하여 진행한 사례 연구에서 도출된 결과를 실시간으로 공유했습니다. 또한, 이 프레임워크와 알고리즘을 사용한 베타 테스터들의 결과와 결과의 타당성에 대한 잠재적 위험에 대한 최종 관찰도 함께 제공했습니다.

업계 사례 연구 결과:

실용적 응용에 초점을 맞추고 지원 문제를 해결하는 연구를 바탕으로, 우리는 네 개의 소프트웨어 회사와 협력하여 프레임워크를 공유하고 실시간 결과를 얻었습니다. 산업 참여와 결과는 실제 사용 환경의 실용성과 장점을 보여줍니다.

사례 연구 1:

GazonTech는 네트워킹, 스트리밍 플랫폼, 온라인 게임, 화상 회의, 스마트 홈 자동화를 전문으로 하는 소프트웨어 기업.......

Discussion

이 연구는 합성 모니터링, 관측 데이터, 생성형 AI 기반 자동화를 통합하여 소프트웨어 품질 보증을 향상시키는 종합적인 테스트 및 관측 플랫폼인 PreventativeTestPro를 소개합니다. 이 시스템은 세 가지 기본 모듈로 구성되어 있습니다: 관측성 데이터 수집기 및 분석기, 생성형 AI 기반 인텔리전스 계층, 그리고 테스트 오케스트레이션 및 실행 엔진. 이 구성 요소들은 실시간 시스템 동작이 테스트 케이스 생성, 결함 감지, 지속적인 테스트 검증을 이끄는 피드백 루프를 형성합니다. 이 방법은 지능형 맥락 민감 테스트 생성을 소프트웨어 개발 과정에 직접 통합하여 고전적인 블랙박스 및 화이트박스 테스트 기법을 통합합니다.

이 연구의 과학적 기여는 대규모 언어 모델(LLM)을 혁신적으로 적용하여 복잡한 관측 데이터를 분석하여 근본 원인 분석(RCA), 테스트 케이스 생성, 시스템 동작에 대한 제안 등 실행 가능한 인사.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
아파치 메이븐	아파치 소프트웨어 재단	3.9.6	Java 프로젝트를 위한 의존성 및 프로젝트 관리 도구
ChatGPT (GPT-3.5 터보 API)	오픈AI	https://platform.openai.com/api-keys	로그에서 AI 기반 테스트 권고를 생성하고, 수동 테스트 케이스를 생성하고, 자동화된 테스트 케이스를 생성하며, 근본 원인 분석을 얻는 데 사용됩니다
컴퓨터(개발/테스트 머신)	표준 데스크톱/노트북	-	PreventativeTestPro 개발, 실행 및 테스트에 사용됩니다
디스크 공간	-	-	로그, 보고서, 테스트 아티팩트를 위해 최소 10GB의 여유 디스크 공간이 권장됩니다
도커	도커 주식회사	27 (https://docs.docker.com/desktop/setup/install/windows-install/)	환경 간 재현성을 보장하기 위해 컨테이너화에 사용됩니다
잇	Git SCM	git 버전 2.45.2.windows.1	개발 및 협업에 사용되는 버전 관리 시스템
GitHub 저장소	깃허브	https://github.com/sohambpatel/PreventativeTests	소스 코드, 문서, 데이터셋 및 예제를 포함하는 공개 저장소
구글 크롬	구글	140.0.7339.128	합성 모니터링 및 테스트에 사용되는 주요 브라우저
자바	오라클 / OpenJDK	21.0.2	PreventativeTestPro의 소프트웨어 개발 및 실행에 사용됩니다
운영 체제	플랫폼 독립	-	Tool은 Java와 Maven이 설치된 모든 운영체제(Windows, Linux, macOS)에서 작동합니다.
오와스프 삐	OWASP 재단	2.14.0	보안 스캔 및 취약점 탐지 도구
프로세서	-	-	병렬 실행 및 AI 처리에는 Intel i5 이상(또는 동등한 제품)이 권장됩니다
램	-	-	테스트 실행과 브라우저 기반 모니터링을 위해 최소 8GB RAM이 권장됩니다