PreventativeTestPro:可観測性と生成AIを活用したスケーラブルなハイブリッドテストフレームワークで、ソフトウェア品質をプロアクティブに実現します

Summary

PreventativeTestProは、AI駆動のテストフレームワークであり、観測可能性データと大規模言語モデルを活用して根本原因分析、テスト生成、継続的検証を自動化し、フロントエンドおよびバックエンドシステムの両方のソフトウェア信頼性向上と品質保証の最適化を目的とし、より効率的なサポートチケット管理を促進します。

Abstract

本論文では、観察可能性駆動型の自動化とAIを活用した積極的な品質エンジニアリングを統合し、現代のソフトウェア提供の課題に取り組む高度でスケーラブルなテストシステムを紹介します。提案されたシステムは、ブラックボックスとホワイトボックス手法を組み合わせたオープンソースのハイブリッドテストプラットフォームであるPreventativeTestProを、革新的な観察可能性ベースのテストオーケストレーションレイヤーを組み込むことで強化しています。このプラットフォームは、ログ、メトリクス、イベント、トレースとブラウザおよびサーバーサイドの監視を組み合わせて、異常を迅速に特定し、テストケースの選択を強化し、機能的、パフォーマンス的、セキュリティのテストスイートの作成を自動化します。特徴的な点は、大規模言語モデル(LLM)を導入し、根本原因の洞察を提供し、生産行動や特定された異常に基づいて自律的に新しいテストケースを構築し、適応回帰カバレッジと知能的な修復を実現していることです。

このシステムは、AI駆動の即時ログ解析による同時テスト実行を促進し、運用とテスト間の継続的なフィードバックループを促進します。マイクロサービスベースのSaaSプラットフォームやSAP BTPエコシステムなど、複数のエンタープライズシナリオで検証されています。4回の本番展開と49人のベータエンジニアによる実証結果によると、平均解決までの時間は最大30%減少し、SLA遵守率は95%以上、テストカバレッジと欠陥トレーサビリティの大幅な改善が見られます。業界標準のツールとの簡単な連携が、プラグアンドプレイの能力を示しています。

本研究は、アジャイルおよびDevOpsの原則に沿った、包括的でツールに依存しない、かつ先見的な品質工学手法を提示します。今後の取り組みには、機械学習による動的異常分類、モバイルおよびユーザー体験指向システムへの拡張、ドメイン固有のテスト開発や失敗予測のための大規模言語モデルの拡張が含まれます。

Introduction

ソフトウェアビジネスにおけるアジャイルパラダイムの人気が高まる中、継続的統合環境への関心も高まっています。このようなシステムの利点は、定期的なプログラム修正をシームレスに統合できることであり、ソフトウェアの進化が加速かつコスト効率の高いものとなっています。その結果、ビルド手順、テスト実行、テスト結果報告などの業務を効率的に管理します。ソフトウェアテストはソフトウェア工学の始まり以来、実施されています。ソフトウェアテストの実践は、ソフトウェアの品質を評価するために実施されました^。1.テストは、エンドユーザーに導入される前にソフトウェアの潜在的なエラーを検出し解決することを目的としたさまざまな作業を含みます。ソフトウェアテストは開発プロセスのコストのかかる段階です^。ソフトウェアのテストとデバッグのコストは、総^{開発コストの}50%以上を占めます^。回帰分析にかかる費用は、アプリケーションの複雑さやテストスイート⁵の規模に依存します。

アジャイル手法は本番環境での迅速な変更を生み出し、その結果、フィードバックによるサポート問題が増加します。サポートの問題を管理する....

Protocol

システムアーキテクチャとプロトタイプ概要:

本研究は、可観測性データと大規模言語モデル(LLM)を活用し、支援の問題解決をさらに改善するために、積極的な品質工学アプローチを示す改良され適応可能なプロトタイプシステム「PreventativeTestPro」を提示します。このシステムは、異常検出、根本原因分析、合成モニタリング、観測可能性データ、生成AI統合を用いて未解決カバレッジのテストケースのインテリジェント実行と開発を自動化することで、現代のソフトウェア提供課題に取り組もうとしています。アーキテクチャはモジュール式で、図 1に詳細に示されているように、3つのコアコンポーネントから構成されています:オブザーバビリティデータ収集器およびアナライザー、GenAI駆動インテリジェンス層、テストオーケストレーションおよび実行エンジンです。

図1<....

Results

当初は、さまざまな業界と協力して実施されたケーススタディから得られた成果をリアルタイムで共有しました。さらに、このフレームワークとアルゴリズムを用いたベータテスターから導き出された結果と、結果の妥当性に対する潜在的なリスクに関する最終的な観察も提供しています。

業界のケーススタディ結果:

実用的な応用に焦点を当て、サポートに関する懸念に対応する研究に基づき、4つのソフトウェア企業と提携し、フレームワークを共有しリアルタイムの結果を得ています。業界への参加と成果は、その実用性と実際の利用の利点を示しています。

ケーススタディ1:

GazonTechは、ネットワーキング、ストリーミングプラットフォーム、オンラインゲーム、ビデオ会議、スマートホームオートメーションを専門とするソフトウェア企.......

Discussion

本研究では、合成監視、観測可能性データ、生成AI駆動の自動化を統合し、ソフトウェア品質保証を向上させる包括的なテストおよび観測可能性プラットフォーム「PreventativeTestPro」を紹介します。システムは、観測データ収集器とアナライザー、生成AI駆動の知能層、テストオーケストレーションおよび実行エンジンの3つの基本モジュールで構成されています。これらのコンポーネントは、リアルタイムのシステム動作がテストケースの作成、故障検出、継続的なテスト検証を導くフィードバックループを形成します。この手法は、知的で文脈に敏感なテスト生成をソフトウェア開発プロセスに直接組み込むことで、古典的なブラックボックスおよびホワイトボックステスト技術を統合しています。

本研究の科学的貢献は、大規模言語モデル(LLM)を革新的に応用し、複雑な観察可能性データを分析し、根本原因分析(RCA)、テストケース生成、システム挙動の提案など、実行可能な洞察を得ることです。PreventativeTestProは、ログ、トレース、HARファイル.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
アパッチ・メイヴン	アパッチソフトウェア財団	3.9.6	Javaプロジェクト向けの依存関係およびプロジェクト管理ツール
ChatGPT(GPT-3.5 Turbo API)	OpenAI	https://platform.openai.com/api-keys	ログからAIベースのテスト推奨を作成し、手動テストケースを作成し、自動化テストケースを作成し、根本原因分析を得るために
コンピュータ(開発/テストマシン)	標準デスクトップ/ノートパソコン	-	PreventativeTestProの開発、実行、テストに使用されます
ディスクスペース	-	-	ログ、レポート、テストアーティファクト用に推奨される空きディスク容量は少なくとも10GBです
Docker	Docker Inc.	27(https://docs.docker.com/desktop/setup/install/windows-install/)	環境間での再現性を確保するためのコンテナ化に使用されます
ギット	Git SCM	git バージョン 2.45.2.windows.1	開発およびコラボレーションに使用されるバージョン管理システム
GitHubリポジトリ	GitHub	https://github.com/sohambpatel/PreventativeTests	ソースコード、ドキュメント、データセット、例を含む公開リポジトリ
Google Chrome	グーグル	140.0.7339.128	合成監視およびテストに使用される主要ブラウザ
ジャワ	Oracle / OpenJDK	21.0.2	PreventativeTestProのソフトウェア開発および実行に使用されます
オペレーティングシステム	プラットフォーム独立	-	ToolはJavaとMavenがインストールされているすべてのOS(Windows、Linux、macOS)で動作します
オワスプ・ザップ	OWASP財団	2.14.0	セキュリティスキャンおよび脆弱性検出ツール
プロセッサ	-	-	並列実行およびAI処理にはIntel i5以上(または同等)が推奨されています
RAM	-	-	テストおよびブラウザベースの監視には最低8GBのRAMが推奨されています