MAS4SysML: 자연어를 통한 SysML v2 모델 생성을 위한 다중 에이전트 프레임워크

Summary

이 프로토콜은 MAS4SysML을 제시하는데, 이는 조정된 작업 분할을 통해 자동으로 SysML v2 코드를 생성하는 다중 에이전트 접근법으로, 수리 반복이 적고 수동 모델링 시간을 크게 줄이면서 시스템 모델링 효율성을 향상시킵니다.

Abstract

자연어 요구사항으로부터 정확한 SysML 모델을 자동으로 생성하면 복잡한 시스템 개발에서 모델 기반 시스템 엔지니어링(MBSE) 도입이 크게 가속화될 수 있습니다. 하지만 대형 언어 모델(LLM)을 사용해 모델 코드를 생성하는 것은 형식 모델링 언어의 엄격한 구문 제약을 충족하지 못하는 경우가 많으며, 생성된 모델과 요구사항 간의 의미적 정렬을 지속적으로 보장하는 것은 여전히 어렵습니다. 이러한 도전 과제를 해결하기 위해, 본 논문은 제한된 수리 예산 내에서 구문 정확성과 의미 일관성을 향상시키는 다중 에이전트 협업 프레임워크인 MAS4SysML을 소개합니다. 이 프레임워크는 모델링 작업을 계층적 하위 작업으로 분해하고, 이를 구조화된 작업 카드로 형식화하며, 상향식 방식으로 모델 코드를 생성합니다. 생성 과정에는 구문 진단을 위해 공식 검증 환경이 사용됩니다; 완료 후, 프레임워크는 코드와 작업 카드 간의 의미적 일관성을 검증합니다. 문법이나 의미 검증이 실패하면, 프레임워크는 진단 피드백에 따라 미리 정의된 복구 예산 내에서 코드를 반복적으로 복구하고 재검증하여 검증 기준이 충족되거나 예산이 소진될 때까지 반복합니다. 제안된 방법을 평가하기 위해, 요구사항, 사용 사례, 구조, 파라메트릭, 상태 기계라는 다섯 가지 핵심 작업 유형을 아우르는 SysML v2 데이터셋을 구성하고 비교 실험을 수행했습니다. 결과는 MAS4SysML이 평균 문법 오류율을 2.63으로 낮추고, 의미 유사도를 0.91로 높이며, 기존 코드 생성 방법보다 전반적으로 우수한 성능을 보입니다.

Introduction

MBSE는 항공 및 항공우주¹과 같은 분야에서 복잡한 장비 개발에서 요구사항 분석, 시스템 아키텍처 설계, 검증 계획의 핵심 방법론이 되었습니다. SysML과 같은 통합 모델링 언어를 모델링 백본으로 사용하여 요구사항, 구조, 동작, 제약 조건 등 정보를 일관된 모델 프레임워크로 조직하여 프로세스 구조를 개선하고 학제 간 협업의 효율성을 높일 수 있습니다^. 하지만 시스템 규모가 계속 커질수록 개발해야 할 모델의 수가 증가하여 수동 SysML 모델링 작업 부담이 지속적으로 증가합니다. 더불어, 모델러는 엄격한 구문 및 방법론적 제약 하에서 작업해야 하며, 이는 상당한 전문성과 강력한 추상화 능력을 요구합니다. 이러한 요인들은 MBSE³의 엔지니어링 도입에서 주요 병목 현상이 되었습니다.

최근 몇 년간 LLM은 자연어 이해, 구조화된 정보 표현, 코드 생성 분야에서 강력한 능력을 보여주어 자연어에서 모델 코드⁴로 MBSE 모델링을 자동화하는 새로운 기회를 열어주었습니다. 이전 연구들은 LLM

Protocol

MAS4SysML 프레임워크의 코드 생성 과정은 보충 파일 1에 요약되어 있습니다. 이 연구는 요구사항, 구조, 매개변수, 행동 등 엄격한 교차 관점 일관성을 가진 자연어에서 완전한 시스템 모델을 일회에 생성하는 것을 목표로 하지 않는다는 점을 유의해야 합니다. 대신 프로토콜은 여러 대표적인 SysML v2 뷰 코드 유형을 생성하는 데 중점을 둡니다.

1단계: 과제 분석
작업 흐름은 작업 구문화에서 시작됩니다. 이 시스템은 작업 구조 생성 에이전트(Task Structure Generation Agent)에 자연어 모델링 의도를 제공하며, 에이전트는 작업 카드 세트를 출력합니다. 후속 세대가 실행 가능하고 재현 가능하도록 하기 위해, 각 작업 카드는 최소한 (i) 작업 식별자, (ii) 의존성 관계, (iii) 모델링 목표, 제약 조건/경계 조건, 매개변수 슬롯, 인스턴스화 값, 예상 출력 등 검증을 위한 주요 모델링 정보를 포함해야 합니다. 이 단계는 task_card_set를 출력하며, 이는 이후 모델 코드 생성의 통합 기반이 됩니다.

Results

기저 모델 평가
먼저 여러 주류 LLM을 선정하여 CodeX(175B)¹⁹, CodeGen-Mono(16.1B)²⁰, PaLM Coder(62B)²¹, Alphacode(1.1B)²², Incoder(6.7B)²³, code-davinci-002(175B)²⁴ 등 직접 모델-코드 생성을 이용한 예비 성능 테스트를 수행했습니다. 표 2에 나타난 대로, code-davinci-002(175B)²⁴ 는 SER와 SCS 지표 모두에서 최고의 성능을 보였습니다. 따라서 code-davinci-002(175B)는 본 .......

Discussion

우리는 반자동화된 SysML v2 모델 코드 생성을 위한 다중 에이전트 협업 프레임워크인 MAS4SysML을 제안합니다. 이 프레임워크는 네 가지 기능적으로 상보적인 에이전트로 구성되어 있습니다. 생성 과정에서 (i) 작업 트리 기반 구조를 사용하여 자연어 모델링 요구사항을 계층적으로 분해하여 구조화된 작업 카드로 형식화하고, (ii) 이 카드들에 명시된 제약 조건과 의존 관계에 따라 하향식으로 SysML v2 모델 코드를 생성합니다. 생성 과정 전반에 걸쳐 공식 SysML v2 검증 환경 기반 구문 검증 모듈이 구문 진단을 수행하고 수리 지향 피드백을 반환합니다. 코드 생성 후, 프레임워크는 주요 작업 카드 필드와의 의미적 일관성을 추가로 점검하여 생성된 코드의 실행 가능성과 의도된 요구사항과의 정렬을 모두 향상시킵니다.

MAS4SysML은 자연어 모델링 의도를 SysML v2 모델 코드로 변환하는 실용적인 경로를 제.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
랭체인	LangChain (오픈 소스 프로젝트)	v1.0.8; https://github.com/langchain-ai/langchain	LLM 상호작용 및 에이전트 오케스트레이션을 위한 프레임워크
랭그래프	LangChain (오픈 소스 프로젝트)	v1.0.3; https://github.com/langchain-ai/langgraph	다중 에이전트 워크플로우 실행 프레임워크
파이썬	파이썬 소프트웨어 재단	3.10.x; https://www.python.org/downloads/release/python-3100/	MAS4SysML 구현의 주요 프로그래밍 언어
SysML v2 파일럿 구현	객체 관리 그룹(OMG)	(출시/태그 버전 제공); https://github.com/Systems-Modeling/SysML-v2-Pilot-Implementation	구문 검증 및 모델 파싱에 사용됩니다