MAS4SysML: Doğal Dilden SysML v2 Model Üretimi için Çok Ajanlı Bir Çerçeve

Summary

Bu protokol, çok ajanlı bir yaklaşım olan MAS4SysML'yi sunar; koordineli görev bölmesi yoluyla otomatik olarak SysML v2 kodu üretir; az sayıda onarım iterasyonu gerektirir ve manuel modelleme süresini önemli ölçüde azaltırken sistem modelleme verimliliğini artırır.

Abstract

Doğal dil gereksinimlerinden otomatik olarak doğru SysML modelleri oluşturmak, karmaşık sistem geliştirmede Model Tabanlı Sistem Mühendisliği'nin (MBSE) benimsenmesini önemli ölçüde hızlandırabilir. Ancak, model kodu oluşturmak için büyük dil modelleri (LLM'ler) kullanmak genellikle biçimsel modelleme dillerinin katı sözdizimi kısıtlamalarını karşılamaz ve üretilen modeller ile gereksinimler arasında tutarlı anlamsal uyumu sağlamak zordur. Bu zorlukları ele almak için, bu makale SysML v2 kod üretimi için çok ajanlı işbirlikçi bir çerçeve olan MAS4SysML'yi sunuyor; bu çerçeve, sınırlı bir onarım bütçesi altında sözdizimselliğini ve anlamsal tutarlılığı iyileştiriyor. Çerçeve, bir modelleme görevini hiyerarşik alt görevlere ayırır, bunları yapılandırılmış görev kartları olarak biçimselleştirir ve model kodu aşağıdan yukarıya doğru oluşturur. Üretim sırasında, sözdizimi teşhisi için resmi bir doğrulama ortamı kullanılır; tamamlandıktan sonra, çerçeve kod ile görev kartları arasındaki anlamsal tutarlılığı doğrular. Eğer sözdizimi veya anlamsal doğrulama başarısız olursa, çerçeve tanı geri bildirimiyle yönlendirilen önceden tanımlanmış bir onarım bütçesi içinde kodu tekrar eder ve doğrulama kriterleri sağlanana veya bütçe tükenene kadar yeniden doğrular. Önerilen yöntemi değerlendirmek için, beş temel görev türünü—gereksinimler, kullanım senaryoları, yapı, parametrikler ve durum makineleri—kapsayan bir SysML v2 veri seti oluşturuyoruz ve karşılaştırmalı deneyler yapıyoruz. Sonuçlar, MAS4SysML'nin ortalama sözdizimi hata oranını 2.63'e düşürdüğünü, anlamsal benzerliği 0.91'e yükselttiğini ve genel olarak mevcut kod oluşturma yöntemlerinin daha iyi olduğunu gösteriyor.

Introduction

MBSE, havacılık ve havacılık gibi alanlarda karmaşık ekipmanların geliştirilmesinde gereksinim analizi, sistem mimarisi tasarımı ve doğrulama planlaması için kilit bir^{metodoloji haline gelmiştir.} SysML gibi birleşik modelleme dilleri kullanılarak gereksinimler, yapı, davranış ve kısıtlamalar dahil olmak üzere bilgiler tutarlı bir model çerçevesine organize edilebilir, bu da süreç yapısını ve disiplinlerarası iş birliğinin verimliliğini^{artırır 2}. Ancak, sistem ölçeği büyümeye devam ettikçe, geliştirilmesi gereken model sayısı buna göre artar ve bu da manuel SysML modellemenin iş yükünde sürekli bir artışa yol açar. Ayrıca, modelleyiciler katı sözdizimi ve metodolojik kısıtlamalar altında çalışmalıdır; bu da önemli uzmanlık ve güçlü soyutlama yetenekleri gerektirir. Bu faktörler, MBSE^3'ün mühendislik kabulünde büyük bir darboğaz haline geldi.

Son yıllarda, LLM'ler doğal dil anlama, yapılandırılmış bilgi temsili ve kod oluşturma alanlarında güçlü yetenekler göstererek, doğal dilden model kodu^4'e MBSE modellemesinin otomatikleştirilmesi için yeni fırsatlar sunmaktadır. Önceki çalışmalar,^{LLMs 5} kullanılarak SysML model kodunun doğrudan oluşturulmasını araştırmıştır. Buna rağmen, önemli zorluklar hâlâ devam ediyor. Sözdizimsel olarak, SysML'nin tip sistemi, kapsam mekanizmaları ve referans anlamanlamı katı biçimsel kısıtlamalarla yönetilir ve genellikle genel amaçlı programlama dillerinden daha karmaşıktır⁶. Anlamsal olarak, LLM'ler davranışsal mantığı, yapısal ilişkileri ve katmanlar arası kısıtlamaları tam olarak yakalayamayabilir; bu da eksik ilişkilere, mantıksal tutarsızlıklara veya eksik modellere^{yol açabilir 7}. Bu sınırlamalar, doğrudan üretim yaklaşımlarının güvenilirliğini, kontrol edilebilirliğini ve yorumlanabilirliğini engeller.

Bu zorlukları ele almak için, bu makale dört ajan rolünden oluşan bir SysML v2 kod üretim çerçevesi olan MAS4SysML'yi sunmaktadır. Tam çapraz görünüm sistem modelinin tek bir atış üretimini doğrudan hedeflemek yerine, bu çalışma birden fazla temsilli SysML v2 modelleme görevini üretme ve yineleme olarak onarmaya odaklanmaktadır. Görev ayrıştırması ve yapılandırılmış görev kartlarıyla yönlendirilen ve kod üretimi, araç düzeyinde sözdizimi teşhisi ve anlamsal tutarlılık doğrulamasını entegre eden MAS4SysML, üretim, doğrulama ve onarımdan oluşan kapalı döngü iş akışı kurar. Bu tasarım, sınırlı bir onarım bütçesi altında oluşturulan kodun sözdizimsel doğruluğunu, anlamsal tutarlılığını ve yapısal bütünlüğünü iyileştirir.

Ana katkılar şu şekilde özetlenmiştir: (1) MAS4SysML çerçevesi. MAS4SysML öneriyoruz; bu, doğal dil gereksinimlerinden çalıştırılabilir SysML v2 model koduna uçtan uca üretimi mümkün kılan, modelleme maliyetini azaltmak ve modelleme verimliliğini artırmak için pratik bir yol sunan çok ajanlı, LLM tabanlı bir çerçevedir. (2) Görev ayrıştırma ve çift doğrulama. Bir görev yapısı-ağacı ayrıştırma mekanizması ve çift doğrulama şeması (sözdizimi ve anlamsal) sunuyoruz. Görev ayrıştırmada, modelleme hedefleri hiyerarşik olarak ayrılır ve yapılandırılmış görev kartlarına biçimlendirilir. Doğrulama için, sözdizimi tanılaması oluşturulan kodu kontrol etmek ve onarım odaklı tanılamaları geri getirmek için resmi bir doğrulama^{ortamı 8'i} kullanırken, semantik doğrulama ise görev kartlarındaki anahtar alanları referans olarak kullanarak oluşturulan model ile modelleme hedefleri arasındaki genel tutarlılığı değerlendirir. (3) Deneysel değerlendirme. Karşılaştırmalı deneyler yapıyoruz, ana ölçütler olarak sözdizimi hata oranı ve anlamsal tutarlılık puanı kullanıyoruz. Sonuçlar, MAS4SysML'nin ortalama sözdizimi hata oranını 2.63'e düşürdüğünü ve anlamsal benzerliği 0.91'e yükselttiğini, üretim doğruluğu ve otomasyonda temel yöntemleri geride bıraktığını göstermektedir.

Protocol

MAS4SysML çerçevesinin kod oluşturma süreci, Ek Dosya 1'de özetlenmiştir. Bu çalışmanın, gereksinimler, yapı, parametrik ve davranış dahil olmak üzere katı çapraz görünüm tutarlılığı olan doğal dilden tam bir sistem modeli tek seferde oluşturulmasını amaçlamadığı belirtilmelidir. Bunun yerine, protokol birkaç temsilci SysML v2 görünüm kodu türü üretmeye odaklanır.

Aşama I: Görev analizi
İş akışı görev ayrıştırmasıyla başlar. Sistem, Görev Yapısı Oluşturma Ajanına doğal dil modelleme amacını sağlar ve bu ajan, bir görev kartı seti çıkarır. Sonraki nesillerin yürütülebilir ve tekrarlanabilir olmasını sağlamak için, her görev kartı en azından (i) bir görev tanımlayıcısı, (ii) bağımlılık ilişkileri ve (iii) doğrulama için anahtar modelleme bilgilerini, örneğin modelleme amacı, kısıtlamalar/sınır koşulları, parametre yuvaları, örnekleme değerleri ve beklenen çıktılar gibi anahtar modelleme bilgilerini içermelidir. Bu aşama, sonraki model kodu üretimi için birleşik temel olan task_card_set üretir.

Aşama II: Yinelemeli kod üretimi
Yinelemeli üretimde, sistem kod bağlamını boş bir duruma prev_code başlatır ve her görev kartı için bağımlılık alanları tarafından belirlenen sıraya göre ardışık olarak kod üretir. Her görev kartı için, Kod Oluşturma Ajanı mevcut görev kartını ve bağlamsal kodu girdi olarak alır ve candidate_code üretir ve ardından hemen kontrol için Sözdizimi Doğrulama Modülünü çağırır. Modül, resmi SysML v2 doğrulama ortamı kullanarak kodu doğrular ve tanı sonuçlarını döndürür. Doğrulama başarılı olursa, candidate_code prev_code güncellemek için kullanılır ve sonraki nesli destekler. Doğrulama başarısız olursa, Code Repair Agent tetiklenir ve geri dönen tanı verileriyle yönlendirilen minimum, hedefli düzenlemeler yapar; ardından tamir edilen kod yeniden doğrulama için gönderilir. Bu onarım yeniden doğrulama döngüsü, maksimum onarım bütçesi K_max ile sınırlıdır. Doğrulama bütçe içinde başarılıysa, geçiş sürümü prev_code güncellenir; aksi takdirde, K_max denemelerinden sonra sistem hatayı kaydeder ve iş akışını engellemek için bağlamsal sürekliliği korumak için son tamir edilen sürümü prev_code olarak kullanarak görev kartı üretimine devam eder.

Aşama III: Anlamsal doğrulama
Tüm görev kartları için kod oluşturulduktan sonra, iş akışı anlamsal doğrulamaya geçer. Anlamsal Doğrulama Ajanı, task_card_set'daki anahtar alanları referans olarak kullanarak nihai kod ile modelleme amacı arasındaki tutarlılığı değerlendirir ve anlamsal doğrulama sonuçlarını çıkarır. Doğrulama başarılı olursa, prev_code nihai SysML v2 model kodu olarak kabul edilir. Aksi takdirde, sistem karşılanmamış görev kartı alanlarını ve gerekli revizyon kapsamını belirleyen bir Anlamsal Sapma Raporu oluşturur. Code Repair Agent daha sonra kodu buna göre revize eder ve nihai sonuç olarak revize edilen model kodunu çıkarır.

Model mimarisi ve metodolojisi
Model mimarisi
Şekil 1'de gösterilen MAS4SysML çerçevesi, dört işbirlikçi ajandan oluşur: görev yapısı oluşturma ajanı, kod oluşturma ajanı, kod onarım ajanı ve anlamsal doğrulama ajanı. İlgili prompt şablonları Şekil 2'de sunulmaktadır.

Görev yapısı oluşturma ajanı, girdi modelleme amacının semantik analizini yapar ve yürütülebilir, yapılandırılmış görev kartları oluşturur. Öncelikle, genel modelleme amacını iyi tanımlanmış anlamsal sınırlara sahip görev düğümlerine ayırmak için hiyerarşik bir görev ayrıştırma mekanizması (bkz. hiyerarşik görev ayrıştırma mekanizması) uygular ve ardından her düğüm için yapılandırılmış bir görev kartı oluşturur. Daha sonra, görev kartları, yürütme dizisinin nihai kod yapısıyla uyumlu olmasını sağlamak için modelleme bağımlılık alanlarına göre sıralanır ve böylece küresel modelleme hedefiyle yönlendirilen aşağıdan yukarıya kod üretiminin temelini oluşturur.

Kod oluşturma ajanı, modelleme bağımlılıklarına göre SysML v2 uyumlu model kodu aşamalı olarak üretir. Ebeveyn görevler tarafından üretilen kod eserleri üzerine inşa edilen ajan, her görev kartında belirtilen gereksinimlere göre ilgili kod oluşturma işlemlerini gerçekleştirir; böylece yerel bileşenlerden tam modele kadar adımlı bir yapım süreci mümkün olur.

Kod onarım ajanı, oluşturulan koddaki hataları sentaksis doğrulama modülünün (bkz. sözdizimi doğrulama modülü) ve anlamsal doğrulama sonuçlarına göre düzeltir. Sözdizimi onarımı için, sözdizimi doğrulayıcısının geri dönen hata türü, konumu ve bağlamsal bilgilerini kullanarak hedefli onarım stratejilerini sentezler ve düzeltilmiş kod oluşturur. Anlamsal onarım için, anlamsal doğrulama sonuçlarına göre yapısal ve mantıksal ilişkileri ayarlar, böylece nihai modelde anlamsal tutarlılık ve yapısal tamlık sağlanır.

Anlamsal doğrulama ajanı, tam oluşturulan kod ile görev kartları arasındaki anlamsal tutarlılığı özel bir anlamsal doğrulama mekanizması kullanarak değerlendirir (bkz. anlamsal doğrulama mekanizması). Nicel değerlendirme sayesinde, oluşturulan kodun orijinal modelleme amacını doğru şekilde yansıtmasını sağlar ve böylece model kodu ile belirlenen modelleme gereksinimleri arasında kesin uyum sağlanır.

Hiyerarşik görev ayrıştırma mekanizması
Karmaşık sistemler için resmi bir modelleme dili olarak SysML v2, sıkı bağlantılı sözdizimi, derin iç içe hiyerarşik yapılar ve katmanlar arası anlamsal kısıtlamalar içerir. Örneğin, bir sistem yapı bloğu birden fazla alt bölüm, öznitelik ve port içerebilirken, katmanlar arası kısıtlamalar aracılığıyla performans veya davranış gereksinimlerini aynı anda ifade edebilir. Bu yapılar ve kısıtlamalar, yukarıdan aşağıya yapısal bağımlılıklar ve aşağıdan yukarıya anlamsal geri bildirim ilişkileri yaratır. Düz, tek bir atışlık üretim yaklaşımıyla, bu tür hiyerarşik bağımlılıkları doğru şekilde haritalamak zorlaştırıcı hale gelir ve genellikle eksik ilişkilere, anlamsal tutarsızlıklara veya kısıtlayıcı bilginin kaybına yol açar.

Bu zorluğu ele almak için, doğal dil modelleme gereksinimlerini hiyerarşik olarak parçalayan görev ağacı tabanlı modelleme niyet ayrıştırma yöntemi geliştiriyoruz. Şekil 3'te gösterildiği gibi, karmaşık modelleme hedefleri yapılandırılmış ve izlenebilir görev düğümlerine ayrılır; böylece sistem modelleme anlamsalını yukarıdan aşağıya yorumlayabilir ve bağımlılık ilişkilerini tespit eder. Özellikle, görev yapısı oluşturma ajanı kullanıcı girdisini aldığında, önce LLM'lerin anlamsal ayrıştırma yeteneklerinden yararlanarak temel modelleme hedeflerini, anahtar varlıkları ve bağımlılıklarını belirler. Daha sonra üst düzey hedefi semantik olarak bağımsız alt görevlere ayırır ve bunları doğrudan SysML v2 modelleme işlemlerine eşlenebilen atomik görevlere dönüştürür; böylece nihayetinde tam bir görev yapısı ağacı oluşturulur. Görev ağacı oluşturulduktan sonra, ajan her görev düğümü için önceden tanımlanmış bir şablona dayalı yapılandırılmış bir görev kartı oluşturur. Görev kartının formatı şu şekilde tanımlanmıştır:

TC = {id,O,N,K,P,V,C,D} (1)

Görev düğümünün benzersiz tanımlayıcısı olarak id olarak, O görev amacı olarak, N görevin doğal dil tanımı olarak, K ise görevde yer alabilecek temel SysML v2 anlamsal öğelerini gösterir; özellikle gereksinim def/gereksinim, parça def/parça, port def/port, öğe def, öznitelik def/attribute ve durum/geçiş dahildir. Bu elemanlar arasındaki ilişkiler öncelikle bağlantı (yapısal bağlantılar), portlardaki giriş/çıkış öğeleri (bilgi/malzeme akışları) ve durum makinesi geçişlerinin tetikleyici/koruma koşulları (örneğin, komutlar, sağlık durumu ve eşik kısıtlamaları) aracılığıyla ifade edilir; C anlamsal kurallar veya sınır koşulları olarak, P ise görev içindeki parametreleştirilebilir slotlar olarak (örneğin öznitelik adları, veri tipleri veya bileşik tipler) olarak ifade edilir. V, her slot için örneklenmiş değerler olarak, D ise görevler arasındaki modelleme bağımlılıkları olarak; depend_on, mevcut görev kodunu oluşturmadan önce diğer görevlerden gerekli çıktıları belirtir, görev tamamlandıktan sonra üretilen çıktıları belirtir ve görevin gerektirdiği harici girdileri tüketir.

Sözdizimi doğrulama modülü
SysML v2 Pilot Uygulaması temelinde bir sözdizimi doğrulama modülü oluşturulmuştur. Modül, ayrıştırıcı ve validatör arayüzlerini çağırarak, oluşturulan SysML v2 model kodunun sözdizimsel doğruluğunu ayrıştırır ve doğrular. Modülün doğrulama kriterleri esas olarak SysML v2 dil spesifikasyonundan ve Pilot aracında uygulanan dilbilgisi kuralları, kapsam çözümleme kuralları ve ilgili kısıtlama kontrol mekanizmalarından türetilmiştir. Özellikle, doğrulama eleman bildirimlerinin iyi oluşturulup oluşturulmadığını, blok yapılarının tamamlanıp tamamlanmadığını, tür açıklamalarının geçerli olup olmadığını, isimlerin ve referansların başarıyla çözülüp çözülemeyeceğini ve portlar, bağlantılar, durumlar ve geçişler gibi modelleme yapılarının dilin gereksinimlerine uygun olup olmadığını inceler.

Kod oluşturma ajanı mevcut görev için kod parçasını ürettikten sonra, çıktı sözdizimi doğrulama modülüne iletilir; burada doğrulama betiği kodu analiz eder ve sonuçları yapılandırılmış tanı bilgisi şeklinde döndürür. Doğrulama sonuçları aşağıdaki şekilde bildirilmiştir:

e₁ = (tip_{i,pos i,msg i}) (2)

Burada e_, mevcut modelleme görevi için tespit edilen sorunların listesini gösterir; her bir giriş hata _{tipi i} tipi, hata konumu pos_i ve tanı _{mesajı mesajı} i içerir.

Örneğin, oluşturulan kodda "bir öznitelik öznitelik tanımıyla yazılmaz" gibi bir sözdizimi hatası içeriyorsa, doğrulama modülü aşağıdaki tanı mesajını döndürür:

'type' : 'hata'
'message' : 'HATA: Bir öznitelik öznitelik tanımıyla yazılmalıdır.' (3)
'pozisyon' : '7. satır: sütun: 3'

Doğrulama sonucu e_i i ≠ 0 olduğunda, toplanan hata bilgisi e_i daha fazla düzeltme için kod tamir ajanına iletilir. Bu nedenle, kod onarım süreci kısıtlamamış bir değişiklik prosedürü değildir; ayrıştırıcı ve doğrulayıcı tarafından sağlanan açık tanı bilgisiyle yönlendirilen hedefli bir revizyondur.

Anlamsal doğrulama mekanizması
Anlamsal doğrulama mekanizması, model koduna açık ve izlenebilir karşılıkları olan anahtar görev kartı alanlarını anlamsal çapalar olarak kullanır. Model düzeyinde anlamsal tutarlılığı değerlendirir ve böylece sonraki model onarımı için açık, uygulanabilir kriterler sağlar. Özellikle, her görev kartı TC_i için aşağıdaki alanlar temel anlamsal referans olarak kullanılır: (i) modelleme amacı O_i, (ii) anlamsal kısıtlamalar ve sınır koşulları C_i, (iii) örneklenmiş parametre yuvası değerleri V_i ve (iv) görev tamamlandıktan sonra beklenen çıktılar D_i['sağlamak']. Bu alanlar, üretilen modele çoklu bakış açılarından tamamlayıcı anlamsal kısıtlamalar getirir: modelleme niyetinin gerçekleşmesi, kısıtlamaların sağlanması, parametre örneklemesinin tutarlılığı ve model çıktılarının tamlığı—böylece model kodunun modelleme gereksinimlerini karşılayıp karşılamadığına dair ilkeli bir karar ekstra varsayımlar gerektirmeden karar verilebilir.

Bu anahtar alanlara dayanarak, çok alanlı bir anlamsal tutarlılık karar fonksiyonu tanımlarız:

(4)

burada I(·), parantez içindeki tüm alt karar fonksiyonları geçerliyse 1'e eşit olan bir gösterge fonksiyonunu gösterir ve aksi takdirde 0'ı gösterir. Bu ikili karar, modelleme gereksinimlerinin sağlanması ile daha fazla onarım gerektiren durumlar arasında açıkça ayrım yapar ve sonraki anlamsal onarım süreci için deterministik bir tetikleyici koşul sağlar. Genel karar, aşağıdaki dört alt karar fonksiyonu tarafından ortaklaşa belirlenir:

(1) Nesnel tutarlılığı modelleme:

Φ₀ (TC_{i,c f}) = I(consist(c_{, f,0 i})) (5)

burada Consist(_{c f,0 i}), model kodunun c_f'nin görev kartında belirtilen modelleme amacı 0_i ile anlamsal olarak uyumlu olup olmadığını gösterir.

(2) Anlamsal kısıtlama tatminini:

Φ_c (TC_{i,c f}) = I(Tatisfy(c_{f,C i})) (6)

burada Satisfy(_{c f,C i}), model kodunun c_f'nin görev kartında belirtilen C i anlamsal kısıtlamalarını ve sınır koşullarını karşılayıp karşılamadığını gösterir.

(3) Parametre tutarlılığı:

Φ_c (TC_{i,c f}) = I(Anlık(c_{f,V i})) (7)

burada Anlık (_{c, f}, V_i), görev kartındaki örneklenmiş V i parametre değerlerinin model kodunda tutarlı şekilde yansıtılıp yansıtılmadığını gösterir.

(4) Çıktı tutarlılığı:

(8)

burada Artifacts(c_j), görev kartının beklediği çıktıların nihai model kodunda olup olmadığını gösterir ve üretilen sonucun tamlığını ölçer.

Bu tutarlılık yargıları, Anlamsal Doğrulama Ajanı tarafından LLM'nin anlamsal anlama yeteneğinden yararlanarak uygulanır; Ajanın iç akıl yürütme süreci, tutarlılık fonksiyonunun biçimsel tanımını veya kullanımını değiştirmez.

Bu çok alanlı anlamsal tutarlılık kontrolü sayesinde, oluşturulan model alan alan doğrulanabilir ve her modelleme amacı, kısıtlama koşunu, parametre yapılandırması ve beklenen çıktının yeterli şekilde karşılandığından emin olabilir. Bu süreç, sonraki anlamsal onarım için açık bir tetikleyici sağlamakla kalmaz, aynı zamanda üretim hattı boyunca izlenebilir anlamsal kanıtlar sağlar ve böylece üretilen modelin güvenilirliğini ve tutarlılığını artırır.

Deneysel veriler ve değerlendirme
Deneysel veriler
SysML v2 model kodu sıradan yazılım kodu değildir; Üretilen eserleri, resmi modellemenin ayırt edici özelliklerini sergiler. Farklı görüşler genellikle gereksinimler, parçalar, portlar, nitelikler, durumlar ve geçişler gibi temel modelleme öğelerinin farklı kategorilerini içerir; bunlar bildirme stilleri, organizasyon biçimleri ve bileşim yapıları açısından önemli ölçüde farklılık gösterir. Ayrıca, model kodu tür referansı, hiyerarşik iç içleme, bağlantı kısıtlamaları ve öğeler arasında anlamsal yeniden kullanım dahil olmak üzere birden fazla kısıtlamayı karşılamalıdır.

Önerilen yöntemin performansını değişken modelleme karmaşıklıkları altında kapsamlı şekilde değerlendirmek için, beş temsil model görünüm türünü kapsayan bir kod veri seti oluşturulur—gereksinimler, kullanım senaryoları, yapı, parametrikler ve durum makineleri. Bu model görünümleri, sistem modellemesinde gereksinim tanımı, fonksiyonel etkileşim, yapısal bileşim, parametrik kısıtlama temsili ve davranışsal mantık tanımına karşılık gelir. Çerçevenin farklı model görünüm tiplerinde ayrı ayrı değerlendirilmesi, farklı kod yapısı özellikleri ve modelleme kısıtlama koşulları altında uygulanabilirliğinin daha ayrıntılı bir analizini mümkün kılar.

Her model görünüm türü, 15 manuel oluşturulmuş model örneği içerir ve bu da N = 75 SysML v2 modelinden oluşan bir veri seti oluşturur. Veri seti, havacılık, otomotiv, tıbbi ve akıllı ev sistemleri dahil olmak üzere birden fazla mühendislik alanını kapsar ve tüm modeller resmi SysML v2 doğrulama ortamını başarıyla geçerek sıkı sözdizimi uyumunu garanti altına almıştır.

Daha sonra, her model için karşılık gelen bir doğal dil modelleme niyet tanımı oluşturduk. Yapı verimliliğini artırmak için, Ek Dosya 2'de gösterilen prompt şablonunu kullandık ve ilk açıklamalar için GPT-4o kullandık. GPT-4o, güçlü anlamsal anlayışı ve bilgi çıkarma yetenekleri nedeniyle seçildi; bu özellikler, halüsinasyon olmadan temel model öğelerini doğru şekilde yakalayabiliyor ve insan benzeri modelleme niyeti tanımları^{oluşturabiliyor 9}. Doğruluğu sağlamak ve belirsizliği ortadan kaldırmak için, oluşturulan tüm açıklamalar sistem mühendisliği geçmişine sahip araştırmacılar tarafından manuel olarak incelenip geliştirilmiştir. Farklı model türleri için temsil eden örnekler Tablo 1'de gösterilmiştir.

Değerlendirme metrikleri
Oluşturulan SysML v2 model kodunun kalitesini değerlendirmek için aşağıdaki üç temel ölçütü kullanıyoruz:

Ortalama sözdizimsel hata oranı (SER)
Bu metrik, oluşturulan model kodu resmi SysML v2 sözdizimi kurallarına göre doğrulandığında tespit edilen sözdizimi hatalarının oranını nicelikle ölçür. Hesaplandığı şekilde hesaplanır:

(9)

burada _{E i}, i-ci üretilen modelde tanımlanan sözdizimi hatalarının sayısını gösterir. Bu metrik, oluşturulan model kodunun resmi SysML v2 sözdizimi spesifikasyonuna ne ölçüde uyduğunu yansıtır.

Anlamsal tutarlılık puanı (SCS)
Bu metrik, oluşturulan model kodunun doğal dil modelleme spesifikasyonlarında ifade edilen anlamsal niyeti ne kadar doğru ve kapsamlı bir şekilde yakaladığını değerlendirir. Özellikle, modelleme amacından sistem varlıkları, katılımcı bileşenler, temel fonksiyonlar veya davranışsal senaryolar ve temel koşullar veya kısıtlamalar gibi anlamsal birimler çıkarır ve bunları oluşturulan model kodundaki anlamsal birimlerle karşılaştırırız. Anlamsal tutarlılık şu şekilde hesaplanır:

(10)

burada U , modelleme amacından çıkarılan anlamsal birimler kümesini temsil eder ve oluşturulan kodda tanımlanan anlamsal birimler kümesini temsil eder. oluşturulan model kodunun doğru şekilde yakalanan birim sayısını gösterir. Daha yüksek SCS değeri, daha güçlü anlamsal kapsama ve hizalanmayı gösterir.

İnsan kalitesi değerlendirmesi
BLEU ve CodeBLEU gibi geleneksel otomatik metrikler öncelikle yüzeysel benzerlik veya kod yürütülebilirliğini değerlendirir, ancak modelin amaçlanan modelleme anlamını gerçekten anlayıp anlamadığını veya doğru ifade edip etmediğini yakalamazlar. Bu metrikler, anlamsal tutarlılığı, ana unsurların tamlığını ve modelleme amacı ile uyumu değerlendirmede^{sınırlıdır 10}. Buna karşılık, insan değerlendirmesi eksik anlamsal unsurlar, mantıksal tutarsızlıklar, yapısal gereksizlik veya desteklenmeyen halüsinasyonlar gibi sorunları daha doğru tespit edebilir ve böylece daha güvenilir bir değerlendirme^{sağlar 11}. Bu sınırlamalar nedeniyle, oluşturulan SysML v2 modelleri için üç kriterden oluşan bir insan değerlendirme çerçevesi tasarıyoruz: (1) Doğruluk: oluşturulan model, modelleme amacını doğru yansıtmalı, görev amaçlarıyla yapısal ve mantıksal tutarlılığı korumalı ve anlamsal belirsizlik, eksik unsurlar veya hatalı uzantılar içermemelidir. (2) Okunabilirlik: Model kodu açık ve anlaşılması kolay olmalı, tutarlı adlandırma, tutarlı yapı ve denetim ile sonraki bakımı destekleyen iyi organize edilmiş bir hiyerarşi olmalıdır. (3) Bütünlük: model tam yapısal mantık, tutarlı çapraz eleman referansları ve tanımlanmamış tipler veya bozuk bağımlılık zincirleri olmamalı, böylece analizi ve entegrasyonu için kullanılabilirliği sağlanmalıdır. SysML modelleme deneyimine sahip araştırmacıları, oluşturulan her modeli üç puanlık bir ölçekte puanlamaları için davet ettik; burada 1 en düşük kaliteyi, 3 ise en yüksek kaliteyi gösterir. Değerlendirme sırasında, değerlendiricilerin oluşturulan model kodu ile yer-gerçeklik modeli karşılaştırmasına izin verildi; böylece daha doğru ve kapsamlı bir değerlendirme sağlandı.

Temel çizgi
Önerilen yönteme göre karşılaştırmalı testler için birden fazla değerlendirme temeli seçtik, bunlar arasında:
CodeCoT¹²: Düşünce zinciri akıl yürütmeyi kendi kendine kontrol mekanizmasıyla birleştirir; böylece model üretim sırasında açıkça akıl yürütebilir ve sözdizimi hatalarını kendi kendine düzeltebilir, böylece kod kalitesini ve anlamsal tutarlılığı artırır.

Kendi Planlama¹³: Modelin önce çözüm adımlarını planladığı ve ardından plana göre kod oluşturduğu iki aşamalı kod üretim boru hattı tanıtıyor; böylece karmaşık görevler için mantıksal tutarlılık ve yorumlanabilirliği etkili bir şekilde artırıyor.

Kendi Düzenleme¹⁴: Üretilen kodu çalıştıran ve çalışma zamanı geri bildirimine dayalı hataları otomatik olarak düzelten, çıktıyı sürekli geliştiren yinelemeli bir üret ve düzenleme paradigması benimser.
CodeChain¹⁵: Modüler üretim ve yineleme yöntemini kullanarak karmaşık görevleri bağımsız fonksiyonel modüllere ayırır ve birden fazla optimizasyon turu ile yapısal sağlamlığı ve genel kaliteyi artırır.

Kendi kendine hata^{ayıklama 16}: Modele otonom hata ayıklama ve açıklama yetenekleri kazandırıyor. Kapalı döngü üretimi, yürütme ve hata ayıklama süreciyle, insan müdahalesi olmadan karmaşık programlama görevlerinde doğruluğu önemli ölçüde artırır.

MapCoder¹⁷: Dört ajandan oluşan çok aşamalı işbirlikçi bir çerçeve oluşturur; bu çerçeve insan programlama iş akışını yakından simüle eder ve görev anlayışından sonuç doğrulamasına kadar kapalı döngü üretimini mümkün kılar.

Kendi İşbirliği¹⁸: Sistemi analist, programcı ve test yapıcı gibi rollerde sanal bir programlama ekibi olarak organize eder, rol tabanlı iş birliği ve yinelemeli geri bildirim yoluyla karmaşık kod üretiminde genel performansı artırır.

Deneysel kurulum
Deneyler arasında adalet ve karşılaştırılabilirliği sağlamak için, önce birkaç ana akım LLM'yi doğrudan kod oluşturma yaklaşımıyla değerlendirerek temel performansı belirledik. Bu ilk sonuçlara dayanarak, en iyi performanslı LLM, sonraki tüm deneyler için birleşik omurga modeli olarak seçildi. Daha sonra önerilen MAS4SysML çerçevesini birden fazla temsilci kod üretim yöntemiyle karşılaştırdık. Tüm LLM etkileşimleri, üretim sırasında rastgeleliği en aza indirmek için sabit bir sıcaklık ayarı (T = 0.2) kullanılarak gerçekleştirildi. Her modelleme görevi için, MAS4SysML'deki maksimum onarım iterasyonları sayısı K_max = 3 olarak ayarlandı. Tüm temel yöntemler, sonuç tutarlılığı ve deneysel adaleti sağlamak için MAS4SysML ile aynı deneysel konfigürasyonda yürütülmüştür. MAS4SysML metodunun Python betiği Ek Dosya 3 olarak sağlanır.

Results

Temel model değerlendirmesi
Önce birkaç ana akım LLM'yi seçtik ve CodeX(175B)¹⁹, CodeGen-Mono(16.1B)²⁰, PaLM Coder(62B)²¹, Alphacode(1.1B)²², Incoder(6.7B)²³ ve code-davinci-002(175B)²⁴ gibi doğrudan model-kod üretimi kullanarak ön performans testleri yaptık. Tablo 2'de gösterildiği gibi, code-davinci-002(175...

Discussion

Yarı otomatik SysML v2 model kodu üretimi için çok ajanlı işbirlikçi bir çerçeve olan MAS4SysML'yi öneriyoruz. Çerçeve, işlevsel olarak tamamlayıcı dört ajandan oluşur. Üretim sırasında, (i) doğal dil modelleme gereksinimlerini görev ağacı tabanlı bir yapı kullanarak hiyerarşik olarak parçalar ve bunları yapılandırılmış görev kartlarına biçimselleştirir ve (ii) bu kartlarda belirtilen kısıtlamalar ve bağımlılık ilişkileriyle yönlendirilerek SysML v2 model kodunu aşağıdan yukarıya doğru o...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
LangChain	LangChain (açık kaynak projesi)	v1.0.8; https://github.com/langchain-ai/langchain	LLM etkileşimi ve ajan orkestrasyonu için çerçeve
LangGraph	LangChain (açık kaynak projesi)	v1.0.3; https://github.com/langchain-ai/langgraph	Çok ajanlı iş akışı yürütme çerçevesi
Python	Python Yazılım Vakfı	3.10.x; https://www.python.org/downloads/release/python-3100/	MAS4SysML uygulaması için ana programlama dili
SysML v2 Pilot Uygulaması	Nesne Yönetim Grubu (OMG)	(sürüm/etiket versiyonunu sağla); https://github.com/Systems-Modeling/SysML-v2-Pilot-Implementation	Sözdizimi doğrulama ve model ayrıştırma için kullanılır