MAS4SysML: 자연어를 통한 SysML v2 모델 생성을 위한 다중 에이전트 프레임워크

Summary

이 프로토콜은 MAS4SysML을 제시하는데, 이는 조정된 작업 분할을 통해 자동으로 SysML v2 코드를 생성하는 다중 에이전트 접근법으로, 수리 반복이 적고 수동 모델링 시간을 크게 줄이면서 시스템 모델링 효율성을 향상시킵니다.

Abstract

자연어 요구사항으로부터 정확한 SysML 모델을 자동으로 생성하면 복잡한 시스템 개발에서 모델 기반 시스템 엔지니어링(MBSE) 도입이 크게 가속화될 수 있습니다. 하지만 대형 언어 모델(LLM)을 사용해 모델 코드를 생성하는 것은 형식 모델링 언어의 엄격한 구문 제약을 충족하지 못하는 경우가 많으며, 생성된 모델과 요구사항 간의 의미적 정렬을 지속적으로 보장하는 것은 여전히 어렵습니다. 이러한 도전 과제를 해결하기 위해, 본 논문은 제한된 수리 예산 내에서 구문 정확성과 의미 일관성을 향상시키는 다중 에이전트 협업 프레임워크인 MAS4SysML을 소개합니다. 이 프레임워크는 모델링 작업을 계층적 하위 작업으로 분해하고, 이를 구조화된 작업 카드로 형식화하며, 상향식 방식으로 모델 코드를 생성합니다. 생성 과정에는 구문 진단을 위해 공식 검증 환경이 사용됩니다; 완료 후, 프레임워크는 코드와 작업 카드 간의 의미적 일관성을 검증합니다. 문법이나 의미 검증이 실패하면, 프레임워크는 진단 피드백에 따라 미리 정의된 복구 예산 내에서 코드를 반복적으로 복구하고 재검증하여 검증 기준이 충족되거나 예산이 소진될 때까지 반복합니다. 제안된 방법을 평가하기 위해, 요구사항, 사용 사례, 구조, 파라메트릭, 상태 기계라는 다섯 가지 핵심 작업 유형을 아우르는 SysML v2 데이터셋을 구성하고 비교 실험을 수행했습니다. 결과는 MAS4SysML이 평균 문법 오류율을 2.63으로 낮추고, 의미 유사도를 0.91로 높이며, 기존 코드 생성 방법보다 전반적으로 우수한 성능을 보입니다.

Introduction

MBSE는 항공 및 항공우주¹과 같은 분야에서 복잡한 장비 개발에서 요구사항 분석, 시스템 아키텍처 설계, 검증 계획의 핵심 방법론이 되었습니다. SysML과 같은 통합 모델링 언어를 모델링 백본으로 사용하여 요구사항, 구조, 동작, 제약 조건 등 정보를 일관된 모델 프레임워크로 조직하여 프로세스 구조를 개선하고 학제 간 협업의 효율성을 높일 수 있습니다^. 하지만 시스템 규모가 계속 커질수록 개발해야 할 모델의 수가 증가하여 수동 SysML 모델링 작업 부담이 지속적으로 증가합니다. 더불어, 모델러는 엄격한 구문 및 방법론적 제약 하에서 작업해야 하며, 이는 상당한 전문성과 강력한 추상화 능력을 요구합니다. 이러한 요인들은 MBSE³의 엔지니어링 도입에서 주요 병목 현상이 되었습니다.

최근 몇 년간 LLM은 자연어 이해, 구조화된 정보 표현, 코드 생성 분야에서 강력한 능력을 보여주어 자연어에서 모델 코드⁴로 MBSE 모델링을 자동화하는 새로운 기회를 열어주었습니다. 이전 연구들은 LLM⁵를 이용한 SysML 모델 코드를 직접 생성하는 방법을 탐구한 바 있습니다. 그럼에도 불구하고 여전히 상당한 도전 과제가 남아 있습니다. 구문적으로 SysML의 타입 시스템, 범위 설정 메커니즘, 참조 의미론은 엄격한 형식적 제약 조건에 의해 규율되며, 범용 프로그래밍 언어보다 더 복잡한 경우가^{많습니다.} 의미론적으로 LLM은 행동 논리, 구조적 관계, 계층 간 제약 조건을 완전히 포착하지 못해 관계 누락, 논리적 불일치, 또는 불^{완전한 모델 결과를} 초래할 수 있습니다. 이러한 한계는 직접 생성 방식의 신뢰성, 제어 가능성, 해석 가능성을 저해합니다.

이러한 도전 과제를 해결하기 위해, 본 논문은 네 가지 에이전트 역할로 구성된 SysML v2 코드 생성 프레임워크인 MAS4SysML을 제시합니다. 완전한 교차 뷰 시스템 모델의 단발 생성에 직접 초점을 맞추기보다는, 여러 대표적인 SysML v2 모델링 작업을 생성하고 반복적으로 복구하는 데 중점을 둡니다. 작업 분해와 구조화된 작업 카드에 의해 구동되며, 코드 생성, 도구 수준의 구문 진단, 의미 일관성 검증을 통합하여 MAS4SysML은 생성, 검증, 복구의 폐쇄 루프 워크플로우를 구축합니다. 이 설계는 제한된 수리 예산 내에서 생성된 코드의 구문 정확성, 의미적 일관성, 구조적 완전성을 향상시킵니다.

주요 기여는 다음과 같이 요약됩니다: (1) MAS4SysML 프레임워크. 우리는 자연어 요구사항부터 실행 가능한 SysML v2 모델 코드까지 종단 간 생성을 가능하게 하는 다중 에이전트 LLM 기반 프레임워크인 MAS4SysML을 제안하며, 모델링 비용을 줄이고 모델링 효율성을 향상시키는 실용적인 경로를 제공합니다. (2) 작업 파싱과 이중 검증. 우리는 작업-구조-트리 구문 분석(parsing) 메커니즘과 이중 검증 체계(구문 및 의미론)를 도입합니다. 작업 파싱에서는 모델링 목표가 계층적으로 분해되어 구조화된 작업 카드로 형식화됩니다. 검증을 위해 구문 진단은 공식 검증 환경⁸ 을 활용하여 생성된 코드를 확인하고 복구 지향 진단을 반환하며, 의미 검증은 작업 카드의 핵심 필드를 참조 자료로 사용하여 생성된 모델과 모델링 목표 간의 전반적인 일관성을 평가합니다. (3) 실험적 평가. 우리는 구문 오류율과 의미 일관성 점수를 주요 지표로 사용하여 비교 실험을 수행합니다. 결과는 MAS4SysML이 평균 문법 오류율을 2.63으로 낮추고 의미 유사도를 0.91로 높여 생성 정확도와 자동화 면에서 기본 방법을 능가하는 것으로 나타났습니다.

Protocol

MAS4SysML 프레임워크의 코드 생성 과정은 보충 파일 1에 요약되어 있습니다. 이 연구는 요구사항, 구조, 매개변수, 행동 등 엄격한 교차 관점 일관성을 가진 자연어에서 완전한 시스템 모델을 일회에 생성하는 것을 목표로 하지 않는다는 점을 유의해야 합니다. 대신 프로토콜은 여러 대표적인 SysML v2 뷰 코드 유형을 생성하는 데 중점을 둡니다.

1단계: 과제 분석
작업 흐름은 작업 구문화에서 시작됩니다. 이 시스템은 작업 구조 생성 에이전트(Task Structure Generation Agent)에 자연어 모델링 의도를 제공하며, 에이전트는 작업 카드 세트를 출력합니다. 후속 세대가 실행 가능하고 재현 가능하도록 하기 위해, 각 작업 카드는 최소한 (i) 작업 식별자, (ii) 의존성 관계, (iii) 모델링 목표, 제약 조건/경계 조건, 매개변수 슬롯, 인스턴스화 값, 예상 출력 등 검증을 위한 주요 모델링 정보를 포함해야 합니다. 이 단계는 task_card_set를 출력하며, 이는 이후 모델 코드 생성의 통합 기반이 됩니다.

2단계: 반복적 코드 생성
반복 생성에서는 시스템이 코드 컨텍스트 prev_code 을 빈 상태로 초기화하고, 의존성 필드에 의해 결정된 순서에 따라 각 작업 카드에 대해 순차적으로 코드를 생성합니다. 각 작업 카드에 대해 코드 생성 에이전트는 현재 작업 카드와 컨텍스트 코드를 입력으로 받아 candidate_code 을 생성한 후 즉시 구문 검증 모듈을 호출하여 검사합니다. 모듈은 공식 SysML v2 검증 환경을 사용하여 코드를 검증하고 진단 결과를 반환합니다. 검증이 성공하면 candidate_code 를 사용해 prev_code 업데이트하고 후속 세대를 지원합니다. 검증이 실패하면 코드 복구 에이전트가 트리거되어 반환된 진단에 따라 최소한의 목표 편집을 수행하고, 복구 된 코드를 재검증을 위해 다시 제출합니다. 이 수리 재검증 루프는 최대 수리 예산 K_max에 의해 제한됩니다. 검증이 예산 내에서 성공적으로 진행되면, 통과된 버전은 prev_code; 그렇지 않으면 K_max 시도 후 시스템은 실패를 기록하고 마지막으로 복구된 버전을 prev_code 으로 사용하여 작업 흐름을 막지 않으면서도 맥락적 연속성을 유지하기 위해 후속 작업 카드 생성을 계속합니다.

3단계: 의미론적 검증
모든 작업 카드에 대한 코드가 생성된 후, 워크플로우는 의미론적 검증으로 진행됩니다. 의미 검증 에이전트는 task_card_set 내 핵심 필드를 참조로 사용하여 최종 코드와 모델링 의도 간의 일관성을 평가하고 의미 검증 결과를 출력합니다. 검증이 성공하면 prev_code 최종 SysML v2 모델 코드로 받아들여집니다. 그렇지 않으면 시스템은 미충족 작업 카드 필드와 필요한 수정 범위를 식별하는 의미 편차 보고서를 생성합니다. 코드 복구 에이전트는 이에 따라 코드를 수정하여 최종 결과물로 수정된 모델 코드를 출력합니다.

모델 아키텍처 및 방법론
모델 아키텍처
그림 1에 나타난 MAS4SysML 프레임워크는 작업 구조 생성 에이전트, 코드 생성 에이전트, 코드 복구 에이전트, 그리고 의미 검증 에이전트 등 네 가지 협업 에이전트로 구성되어 있습니다. 해당 프롬프트 템플릿은 그림 2에 제시되어 있습니다.

작업 구조 생성 에이전트는 입력 모델링 의도에 대한 의미론적 분석을 수행하고, 실행 가능한 구조화된 작업 카드를 생성합니다. 먼저 계층적 작업 분해 메커니즘(계층적 작업 분해 메커니즘 참조)을 적용하여 전체 모델링 목표를 명확한 의미 경계를 가진 작업 노드로 분해한 후, 각 노드에 대해 구조화된 작업 카드를 생성합니다. 그 후, 작업 카드는 모델링 종속성 필드에 따라 정렬되어 실행 순서가 최종 코드 구조와 일치하도록 하여, 글로벌 모델링 목표에 기반한 하향식 코드 생성의 토대를 마련합니다.

코드 생성 에이전트는 모델링 의존성에 따라 SysML v2 호환 모델 코드를 점진적으로 생성합니다. 상위 작업에서 생성된 코드 산출물을 기반으로 하여, 에이전트는 각 작업 카드에 명시된 요구사항에 따라 해당 코드 생성 작업을 수행하여, 로컬 컴포넌트부터 전체 모델까지 단계별 구성 과정을 가능하게 합니다.

코드 복구 에이전트는 구문 검증 모듈(구문 검증 모듈 참조)과 의미론적 검증 결과를 바탕으로 생성된 코드의 오류를 수정합니다. 구문 수리의 경우, 구문 검증기가 반환하는 오류 유형, 위치, 맥락 정보를 활용하여 목표 수리 전략을 종합하고 수정된 코드를 생성합니다. 의미 수리의 경우, 의미 검증 결과에 따라 구조적 및 논리적 관계를 조정하여 최종 모델에서 의미적 일관성과 구조적 완전성을 보장합니다.

의미 검증 에이전트는 전용 의미 검증 메커니즘(의미 검증 메커니즘 참조)을 사용하여 완전히 생성된 코드와 작업 카드 간의 의미적 일관성을 평가합니다. 정량적 평가를 통해 생성된 코드가 원래 모델링 의도를 정확히 반영하는지, 모델 코드와 지정된 모델링 요구사항 간의 정확한 정렬을 달성합니다.

계층적 작업 분해 메커니즘
복잡한 시스템을 위한 형식 모델링 언어로서, SysML v2는 밀접하게 결합된 구문, 깊이 중첩된 계층 구조, 그리고 교차 수준의 의미론적 제약을 특징으로 합니다. 예를 들어, 시스템 구조 블록은 여러 하위 부품, 속성, 포트를 포함하면서 동시에 크로스 레이어 제약을 통해 성능 또는 동작 요구사항을 표현할 수 있습니다. 이러한 구조와 제약은 상향식 구조적 의존성과 하향식 의미론적 피드백 관계를 만듭니다. 평면적이고 원샷 생성 방식에서는 이러한 계층적 의존성을 정확히 매핑하는 것이 어려워지며, 종종 관계 누락, 의미 불일치, 제약 정보 손실로 이어집니다.

이 문제를 해결하기 위해 우리는 자연어 모델링 요구사항을 계층적으로 분해하는 태스크트리 기반 모델링 의도 구문 분석 방법을 개발했습니다. 그림 3에서 볼 수 있듯이, 복잡한 모델링 목표는 구조화되고 추적 가능한 작업 노드로 분해되어, 시스템이 모델링 의미론을 상향식으로 해석하고 의존성 관계를 식별할 수 있습니다. 구체적으로, 작업 구조 생성 에이전트가 사용자 입력을 받으면 먼저 LLM의 의미 파싱 기능을 활용해 핵심 모델링 목표, 핵심 엔터티, 그리고 그 의존성을 식별합니다. 그 후 최상위 목표를 의미적으로 독립적인 하위 작업으로 재귀적으로 분해하고, 이를 SysML v2 모델링 연산에 직접 매핑할 수 있는 원자 작업으로 더 세분화하여 궁극적으로 완전한 작업 구조 트리를 형성합니다. 작업 트리가 구축된 후, 에이전트는 미리 정의된 템플릿을 기반으로 각 작업 노드에 대해 구조화된 작업 카드를 생성합니다. 작업 카드의 형식은 다음과 같이 정의됩니다:

TC = {ID,O,N,K,P,V,C,D} (1)

id는 작업 노드의 고유 식별자, O는 작업 목표, N은 작업의 자연어 설명이며, K는 작업에 포함될 수 있는 핵심 SysML v2 의미 요소들을 나타내며, 주로 요구사항 def/requirement, part def/part, port def/port, item def, attribute def/attribute, state/transition 등이 포함됩니다. 이 요소들 간의 관계는 주로 연결(구조적 연결), 포트의 입출력 항목(정보/자재 흐름), 상태 기계 전이의 트리거/가드 조건(예: 명령, 상태 상태, 임계값 제약 조건)을 통해 표현됩니다. C는 의미 규칙 또는 경계 조건, P는 속성 이름, 데이터 유형 또는 복합 타입과 같은 작업 내 매개변수화 가능한 슬롯입니다. V는 각 슬롯의 인스턴스화된 값이고, D는 작업 간 모델링 의존성으로, depend_on는 현재 작업 코드를 생성하기 전에 다른 작업의 요구되는 출력을 지정하고, 제공은 작업 완료 후 생성된 출력을 나타내며, 소비는 작업에서 요구하는 외부 입력을 나타냅니다.

구문 검증 모듈
구문 검증 모듈은 SysML v2 파일럿 구현을 기반으로 구축되었습니다. 파서와 검증기 인터페이스를 호출하여 생성된 SysML v2 모델 코드의 구문 정확성을 파싱하고 검증합니다. 모듈의 검증 기준은 주로 SysML v2 언어 명세와 Pilot 도구에 구현된 문법 규칙, 범위 해석 규칙 및 관련 제약 검사 메커니즘에서 파생되었습니다. 구체적으로, 검증은 요소 선언이 잘 구성되어 있는지, 블록 구조가 완전한지, 타입 주석이 유효한지, 이름과 참조가 성공적으로 해결될 수 있는지, 그리고 포트, 연결, 상태, 전이와 같은 모델링 구성이 언어의 요구사항을 충족하는지 등을 살펴봅니다.

코드 생성 에이전트가 현재 작업에 대한 코드 조각을 생성한 후, 출력은 구문 검증 모듈로 전달되며, 검증 스크립트가 코드를 분석하고 구조화된 진단 정보 형태로 결과를 반환합니다. 검증 결과는 다음과 같이 보고됩니다:

E₁ = (유형_i, pos_i, msg_i) (2)

여기서 e_i는 현재 모델링 작업에서 감지된 문제 목록을 나타내며, 각 항목에는 오류 유형_i, 오류 위치_{위치 i}, 진단 메시지 _i 가 포함되어 있습니다.

예를 들어, 생성된 코드에 "속성이 속성 정의에 의해 타입이 지정되지 않았다"와 같은 문법 오류가 포함되어 있다면, 검증 모듈은 다음과 같은 진단 메시지를 반환합니다:

'type' : 'error'
'message' : 'ERROR: 속성은 속성 정의에 따라 타입을 부여해야 합니다.' (3)
'위치' : '7행: 3'

검증 결과 e_{i ≠} 0이 되면, 수집된 오류 정보 e_i 는 추가 수정을 위해 코드 복구 에이전트로 전달됩니다. 따라서 코드 복구 과정은 제한 없는 수정 절차가 아니라, 파서와 검증기가 반환하는 명시적 진단 정보에 따라 표적이 된 수정 과정입니다.

의미 검증 메커니즘
의미 검증 메커니즘은 모델 코드와 명시적이고 추적 가능한 대응을 가진 핵심 작업 카드 필드를 의미론적 앵커로 사용합니다. 모델 수준에서 의미적 일관성을 평가하여 이후 모델 수리를 위한 명확하고 실행 가능한 기준을 제공합니다. 구체적으로, 각 작업 카드 TC_i에 대해 다음 필드가 주요 의미 참조로 사용됩니다: (i) 모델링 목표 O_i, (ii) 의미 제약 조건 및 경계_{조건 C i}, (iii) 인스턴스화된 매개변수 슬롯 값 V_i, (iv) 작업 완료 후 기대되는 출력 D_i['제공']. 이 필드들은 모델링 의도 실현, 제약 조건 충족, 매개변수 구현의 일관성, 모델 출력의 완전성 등 여러 관점에서 생성된 모델에 상호 보완적인 의미론적 제약을 부과하여, 추가 가정 없이 모델 코드가 모델링 요구사항을 충족하는지 원칙적으로 판단할 수 있게 합니다.

이 주요 필드들을 바탕으로 다중 필드 의미 일관성 결정 함수를 정의합니다:

(4)

여기서 I(·)는 괄호 안의 모든 하위 결정 함수가 성립하면 1이고, 그렇지 않으면 0을 나타냅니다. 이 이진 결정은 모델링 요구사항을 충족하는 상태와 추가 수리가 필요한 상태를 명확히 구분하여 후속 의미 수리 과정을 위한 결정론적 트리거 조건을 제공합니다. 전체 결정은 다음 네 가지 하위 결정 함수에 의해 공동으로 결정됩니다:

(1) 객관적 일관성 모델링:

Φ₀ (TC_{i,c f}) = I(consist(c_{f,0 i})) (5)

여기서 Consist(c_{f,0 i})는 모델 코드 c_f가 작업 카드에서 지정한 모델링 목표 _{0 i}와 의미적으로 일치하는지 여부를 나타냅니다.

(2) 의미적 제약 만족:

Φ_c (TC_{i,c f}) = I(Satisfy(c_{f,C i})) (6)

여기서 Satisfy(c_{f,C i})는 모델 코드 c_f가 작업 카드에 명시된 의미적 제약 조건 C_i를 만족하는지 여부를 나타냅니다.

(3) 매개변수 일관성:

Φ_c (TC_{i,c f}) = I(Instant(c_{f,V i})) (7)

여기서 Instant(c_{f,V i})는 작업 카드에 인스턴스화된 매개변수 값 V_i가 모델 코드에 일관되게 반영되는지 여부를 나타냅니다.

(4) 출력 일관성:

(8)

여기서 Artifacts(c_j)는 작업 카드에서 예상되는 출력이 최종 모델 코드에 포함되어 있는지 여부를 나타내며, 생성된 결과의 완전성을 측정하는 척도입니다.

이러한 일관성 판단은 LLM의 의미 이해 능력을 활용하여 의미 검증 에이전트에 의해 구현됩니다; 에이전트의 내부 추론 과정은 일관성 함수의 공식적 정의나 사용법을 변경하지 않습니다.

이 다중 필드 의미 일관성 검사를 통해 생성된 모델은 필드별로 검증되어 각 모델링 목표, 제약 조건, 매개변수 구성, 기대 출력이 적절히 충족되는지 확인할 수 있습니다. 이 과정은 이후 의미 수리를 명시적으로 유발할 뿐만 아니라, 생성 파이프라인 전반에 걸쳐 추적 가능한 의미 증거를 제공하여 생성된 모델의 신뢰성과 일관성을 향상시킵니다.

실험 데이터 및 평가
실험 데이터
SysML v2 모델 코드는 일반적인 소프트웨어 코드가 아닙니다; 생성된 산출물들은 형식적 모델링의 독특한 특징을 보입니다. 서로 다른 뷰는 일반적으로 요구사항, 부품, 포트, 속성, 상태, 전이 등 선언 스타일, 조직 형식, 구성 구조에서 상당히 다른 핵심 모델링 요소 범주를 포함합니다. 또한, 모델 코드는 타입 참조, 계층적 중첩, 연결 제약 조건, 요소 간 의미적 재사용 등 여러 제약 조건을 충족해야 합니다.

제안된 방법의 다양한 모델링 복잡성 하에서의 성능을 포괄적으로 평가하기 위해, 요구사항, 사용 사례, 구조, 매개변수, 상태 기계를 포함하는 다섯 가지 대표적인 모델 뷰 유형을 포함하는 코드 데이터셋이 구성됩니다. 이 모델 뷰는 각각 시스템 모델링에서 요구사항 명세, 기능 상호작용, 구조 구성, 매개변수적 제약 표현, 행동 논리 설명에 해당합니다. 서로 다른 모델 뷰 유형에 대해 프레임워크를 별도로 평가하면 다양한 코드 구조, 특성 및 모델링 제약 조건 하에서 적용 가능성을 세밀하게 분석할 수 있습니다.

각 모델 뷰 유형은 15개의 수동 생성 모델 인스턴스를 포함하며, 이를 통해 N = 75개의 SysML v2 모델 데이터셋이 됩니다. 이 데이터셋은 항공우주, 자동차, 의료, 스마트 홈 시스템 등 여러 공학 분야에 걸쳐 있으며, 모든 모델이 공식 SysML v2 검증 환경을 성공적으로 통과하여 엄격한 구문 준수를 보장합니다.

이후 각 모델에 대응하는 자연어 모델링 의도 설명을 생성했습니다. 제작 효율성을 높이기 위해 보충 파일 2 에 나온 프롬프트 템플릿을 사용하고 GPT-4o를 사용해 초기 설명을 작성했습니다. GPT-4o는 강력한 의미 이해와 정보 추출 능력으로 선정되었으며, 환각 없이 핵심 모델 요소를 정확히 캡처하고 인간과 유사한 모델링 의도 설명을 생성할 수 있기 때문입니다⁹. 정확성을 보장하고 모호함을 없애기 위해 생성된 모든 설명은 시스템 엔지니어링 배경을 가진 연구자들이 수작업으로 검토하고 다듬었습니다. 다양한 모델 유형에 대한 대표적인 예시는 표 1에 나와 있습니다.

평가 지표
생성된 SysML v2 모델 코드의 품질을 평가하기 위해 다음 세 가지 주요 지표를 사용합니다:

평균 구문 오류율(SER)
이 지표는 생성된 모델 코드가 공식 SysML v2 구문 규칙에 대해 검증될 때 감지되는 구문 오류 비율을 정량화합니다. 계산은 다음과 같습니다:

(9)

여기서 E_i 는 i번째 생성된 모델에서 확인된 통사 오류 수를 나타냅니다. 이 지표는 생성된 모델 코드가 공식적인 SysML v2 문법 명세를 얼마나 준수하는지를 반영합니다.

의미 일관성 점수(의미 일관성 점수)
이 지표는 생성된 모델 코드가 자연어 모델링 명세서에 표현된 의미적 의도를 얼마나 정확하고 포괄적으로 포착하는지를 평가합니다. 구체적으로, 우리는 모델링 의도에서 시스템 엔터티, 참여 구성 요소, 핵심 함수 또는 행동 시나리오, 주요 조건 또는 제약 조건 등 의미 단위를 추출하여 생성된 모델 코드에 포함된 의미 단위와 비교합니다. 의미 일관성은 다음과 같이 계산됩니다:

(10)

여기서 U 는 모델링 의도에서 추출한 의미 단위 집합을 , 생성된 코드에서 식별된 의미 단위 집합을 나타냅니다. 는 생성된 모델 코드가 올바르게 포착한 단위의 수를 나타냅니다. SCS 값이 높을수록 의미론적 범위와 정렬이 더 강함을 나타냅니다.

인간 질 평가
전통적인 자동화 지표인 BLEU, CodeBLEU는 주로 표면적인 유사성이나 코드 실행 가능성을 평가하지만, 모델이 의도된 모델링 의미론을 진정으로 이해하거나 올바르게 표현했는지는 포착하지 못합니다. 이 지표들은 의미적 일관성, 핵심 요소의 완전성, 모델링 의도와의 일치 평가에 제한^{적입니다.} 반면, 인간 평가는 누락된 의미 요소, 논리적 모순, 구조적 중복, 근거 없는 환각 등의 문제를 보다 정확하게 식별하여 더 신뢰할 수 있는 평가를 제공합니다. 이러한 한계에 기반하여, 우리는 생성된 SysML v2 모델에 대해 세 가지 기준으로 이루어진 인간 평가 프레임워크를 설계합니다: (1) 정확성: 생성된 모델은 모델링 의도를 정확히 반영하고, 작업 목표와 구조적·논리적으로 일관성을 유지하며, 의미적 모호성, 누락된 요소, 잘못된 확장이 없어야 합니다. (2) 가독성: 모델 코드는 명확하고 이해하기 쉬워야 하며, 일관된 명명, 일관된 구조, 그리고 점검 및 후속 유지보수를 지원하는 잘 조직된 계층 구조를 가져야 합니다. (3) 무결성: 모델은 완전한 구조 논리, 일관된 요소 간 참조, 불정의 타입이나 끊어진 의존 사슬이 없어야 하여, 하위 분석 및 통합에 대한 활용성을 보장해야 합니다. SysML 모델링 경험이 있는 연구자들을 초청하여 생성된 각 모델을 3점 척도로 점수를 매기도록 요청했는데, 1은 최저 품질, 3은 최고 품질을 나타냅니다. 평가 과정에서 평가자들은 생성된 모델 코드를 현장 진실 모델과 비교하여 보다 정확하고 포괄적인 평가를 할 수 있었습니다.

기준선
우리는 제안된 방법과 비교할 여러 평가 기준선을 선정했으며, 다음과 같습니다:
CodeCoT¹²: 사고 연쇄 추론과 자기 검사 메커니즘을 결합하여, 모델이 생성 중에 명시적으로 추론하고 구문 오류를 스스로 수정하여 코드 품질과 의미적 일관성을 향상시킵니다.

자기 계획¹³: 모델이 먼저 해결 단계를 계획한 후 계획에 따라 코드를 생성하는 2단계 코드 생성 파이프라인을 도입하여 복잡한 작업에 대한 논리적 일관성과 해석 가능성을 효과적으로 향상시킵니다.

셀프 에디트¹⁴: 생성된 코드를 실행하고 실행 피드백에 따라 오류를 자동으로 수정하는 반복적 생성 및 편집 패러다임을 채택하며, 출력물을 지속적으로 다듬습니다.
코드체인¹⁵: 복잡한 작업을 독립적인 기능 모듈로 분해하고 여러 차례 최적화를 통해 구조적 건전성과 전반적인 품질을 향상시키는 모듈러 생성과 반복 수정을 사용합니다.

자가 디버깅¹⁶: 모델에 자율적인 디버깅 및 설명 기능을 부여합니다. 생성, 실행, 디버깅의 폐쇄 루프 과정을 통해 복잡한 프로그래밍 작업의 정확성을 인간의 개입 없이도 크게 향상시킵니다.

MapCoder¹⁷: 검색, 계획, 코딩, 디버깅 등 네 가지 에이전트로 구성된 다단계 협업 프레임워크를 구축하여 인간 프로그래밍 워크플로우를 밀접하게 시뮬레이션하고 작업 이해부터 결과 검증까지 폐쇄 루프 생성을 가능하게 합니다.

자기 협업¹⁸: 분석을 분석가, 프로그래머, 테스터 등 역할로 수행하는 가상 프로그래밍 팀으로 시스템을 조직하며, 역할 기반 협업과 반복적 피드백을 통해 복잡한 코드 생성 전반의 성능을 향상시킵니다.

실험 장치
실험 간 공정성과 비교 가능성을 보장하기 위해, 우리는 먼저 직접 코드 생성 방식을 사용해 여러 주류 LLM을 평가하여 기본 성능을 확립했습니다. 이 초기 결과를 바탕으로 가장 우수한 LLM이 이후 모든 실험의 통합 백본 모델로 선정되었습니다. 이후 제안된 MAS4SysML 프레임워크를 여러 대표적인 코드 생성 방법과 비교했습니다. 모든 LLM 상호작용은 생성 중 무작위성을 최소화하기 위해 고정된 온도 설정(T = 0.2)을 사용하여 수행되었습니다. 각 모델링 작업에 대해 MAS4SysML의 최대 수리 반복 횟수는 K max = 3으로 설정되었습니다. 모든 기본 방법은 결과 일관성과 실험 공정성을 보장하기 위해 MAS4SysML과 동일한 실험 구성 하에서 실행되었습니다. MAS4SysML 메서드의 파이썬 스크립트는 보조 파일 3으로 제공됩니다.

Results

기저 모델 평가
먼저 여러 주류 LLM을 선정하여 CodeX(175B)¹⁹, CodeGen-Mono(16.1B)²⁰, PaLM Coder(62B)²¹, Alphacode(1.1B)²², Incoder(6.7B)²³, code-davinci-002(175B)²⁴ 등 직접 모델-코드 생성을 이용한 예비 성능 테스트를 수행했습니다. 표 2에 나타난 대로, code-davinci-002(175B)²⁴ 는 SER와 SCS 지표 모두에서 최고의 성능을 보였습니다. 따라서 code-davinci-002(175B)는 본 ...

Discussion

우리는 반자동화된 SysML v2 모델 코드 생성을 위한 다중 에이전트 협업 프레임워크인 MAS4SysML을 제안합니다. 이 프레임워크는 네 가지 기능적으로 상보적인 에이전트로 구성되어 있습니다. 생성 과정에서 (i) 작업 트리 기반 구조를 사용하여 자연어 모델링 요구사항을 계층적으로 분해하여 구조화된 작업 카드로 형식화하고, (ii) 이 카드들에 명시된 제약 조건과 의존 관계에 따라 하향식으로 SysML v2 모델 코드를 생성합니다. 생성 과정 전반에 걸쳐 공식 SysML v2 검증 환경 기반 구문 검증 모듈이 구문 진단을 수행하고 수리 지향 피드백을 반환합니다. 코드 생성 후, 프레임워크는 주요 작업 카드 필드와의 의미적 일관성을 추가로 점검하여 생성된 코드의 실행 가능성과 의도된 요구사항과의 정렬을 모두 향상시킵니다.

MAS4SysML은 자연어 모델링 의도를 SysML v2 모델 코드로 변환하는 실용적인 경로를 제...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
랭체인	LangChain (오픈 소스 프로젝트)	v1.0.8; https://github.com/langchain-ai/langchain	LLM 상호작용 및 에이전트 오케스트레이션을 위한 프레임워크
랭그래프	LangChain (오픈 소스 프로젝트)	v1.0.3; https://github.com/langchain-ai/langgraph	다중 에이전트 워크플로우 실행 프레임워크
파이썬	파이썬 소프트웨어 재단	3.10.x; https://www.python.org/downloads/release/python-3100/	MAS4SysML 구현의 주요 프로그래밍 언어
SysML v2 파일럿 구현	객체 관리 그룹(OMG)	(출시/태그 버전 제공); https://github.com/Systems-Modeling/SysML-v2-Pilot-Implementation	구문 검증 및 모델 파싱에 사용됩니다