Bir Derin Öğrenme Çerçevesi Kullanarak Somut Olmayan Kültürel Miras Desenlerinin Semantik Segmentasyon Rehberliğinde Yeniden Yapılandırılması ve Sanatsal Stil Sentezi

Zhi Zhan; Guang Luo

doi:10.3791/71577

Araştırma makalesi

Bir Derin Öğrenme Çerçevesi Kullanarak Somut Olmayan Kültürel Miras Desenlerinin Semantik Segmentasyon Rehberliğinde Yeniden Yapılandırılması ve Sanatsal Stil Sentezi

DOI:

10.3791/71577

⸱

14 Ağustos 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

Bu makalede

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Bu protokol; dijital koruma ve yaratıcı miras uygulamalarını desteklemek amacıyla, transformer tabanlı özellik çıkarımı, adversaryal yeniden yapılandırma ve uzamsal olarak uyarlanabilir görüntü oluşturma yöntemlerini kullanarak somut olmayan kültürel miras desenlerinin semantik segmentasyonu, yeniden yapılandırılması ve sanatsal stil sentezi için bir derin öğrenme iş akışını açıklamaktadır.

Özet

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Derin öğrenme tabanlı görüntü sentezleme tekniklerinin ilerlemesiyle birlikte, somut olmayan kültürel miras (SOKM) desenlerinin dijital olarak korunması ve yeniden yapılandırılması giderek daha fazla dikkat çekmektedir. Mevcut SegCycle-SPADE tabanlı yaklaşımlar, geleneksel zanaat desenlerinin yapısal segmentasyonu ve sanatsal yeniden yapılandırılması konusunda potansiyel göstermiştir; ancak, sınırlı veri seti çeşitliliği, kültürel semantiğin yetersiz entegrasyonu ve yeniden yapılandırma sırasında yapısal desen özelliklerinin yetersiz korunması gibi kısıtlamalar devam etmektedir. Bu zorlukları aşmak için bu çalışma, SOKM desen türlerinin semantik segmentasyonu ve sanatsal yeniden yapılandırılması için geliştirilmiş bir SegCycle-SPADE çerçevesi önermektedir. Motif sınırlarını ve desen bölgelerini doğru bir şekilde belirlemek için Transformer tabanlı bir segmentasyon modeli olan SegFormer kullanılmıştır. Ayrıca, kültürel açıdan anlamlı motifleri güçlendirmek ve özellik temsilini iyileştirmek için bir Çapraz-Dikkat Kültürel Özellik Füzyon Modülü tanıtılmıştır. Desen çevirisi ve yeniden yapılandırma CycleGAN kullanılarak gerçekleştirilirken, segmentasyon haritaları ile üretilen görüntüler arasında semantik tutarlılığı sağlamak için sanatsal stil sentezinde Mekansal-Adaptif Denormalizasyon (SPADE) kullanılmıştır. Model genellemesini ve sanatsal çeşitliliği artırmak için çerçeve, hem Miao Batik kültürel motif veri seti hem de WikiArt veri seti kullanılarak eğitilmiştir. Deneysel sonuçlar, önerilen dikkat yönlendirmeli SegCycle-SPADE çerçevesinin, mevcut üretken çekişmeli ağ (GAN) tabanlı yeniden yapılandırma yöntemlerine kıyasla segmentasyon doğruluğunu ve miras deseni yeniden yapılandırma performansını artırdığını göstermektedir. Önerilen çerçeve, yapay zeka destekli kültürel miras belgeleme, yeniden yapılandırma ve geleneksel desen tasarımlarının sanatsal olarak canlandırılması için ölçeklenebilir bir çözüm sunmaktadır.

Giriş

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Gelenekler, diller ve inançlar gibi somut olmayan unsurların yanı sıra sanat eserleri, binalar ve yazılı kayıtlar gibi somut unsurları da kapsayan kültürel miras; insan tarihinin, yaratıcılığının ve kimliğinin temel bir tezahürüdür¹. Miras korumacılığı, toplulukların kökenleriyle yeniden bağ kurmalarını sağlamayı amaçlar ve gelecek nesillerin kolektif kültürel belleklerinden faydalanmalarına olanak tanır. Ayrıca kültürlerarası anlayışı, çeşitli gelenek ve göreneklerin takdir edilmesini ve farklı tarihsel anlatıların tanınmasını teşvik eder. Bu kültürel varlıklar, önceki nesillerin değerlerini, bakış açılarını ve deneyimlerini anlamamıza yardımcı olur; çağdaş sosyal kimliklerin oluşumuna ve kültürel sürekliliğe katkıda bulunur. Kültürel mirasın korunmasının temel ilkeleri Şekil 1'de gösterilmiştir.

figure-introduction-1
Şekil 1. SegCycle-SPADE Çerçevesi Kullanılarak Kültürel Miras Desen Rekonstrüksiyonunun Kavramsal Genel Bakışı. Somut olmayan kültürel miras desenlerini yeniden oluşturmak ve geliştirmek için önerilen yaklaşımın şematik gösterimi. İş akışı; Miao Batik ve WikiArt veri kümelerinden veri seti toplama, görüntü ön işleme, SegFormer-B2 kullanılarak semantik segmentasyon, Cross-Attention Cultural Feature Fusion Module (CAFFM) kullanılarak özellik füzyonu, CycleGAN kullanılarak desen rekonstrüksiyonu, SPADE kullanılarak sanatsal stil sentezi ve segmentasyon ve rekonstrüksiyon metrikleri kullanılarak yapılan final değerlendirmeyi içerir. Oklar, çerçeve boyunca veri ve özellik temsillerinin akışını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

İnsan toplumunun kolektif belleği ve kültürel mirası, sanatsal ifade ve kültürel kimlik için önemli bir araç görevi gören somut olmayan kültürel miras (SOKÜM) içinde vücut bulur. Ancak SOKÜM, küreselleşme ve dijitalleşmenin etkileri nedeniyle önemli zorluklarla karşı karşıyadır²^,³^,⁴. Tehlike altındaki birçok SOKÜM uygulaması, becerikli zanaatkarların sayısındaki azalma ve modern pazarlara sınırlı uyum yeteneği nedeniyle koruma ve geliştirme konusunda yeni yaklaşımlara ihtiyaç duymaktadır⁵^,⁶. SOKÜM araştırmalarının önemli bir alanı olan sürdürülebilir tasarım; kültürün, toplumun ve çevrenin entegre gelişimini vurgular ve SOKÜM'ün korunmaya devam etmesi için pratik bir yol sunar. Sürdürülebilir tasarım yaklaşımları aracılığıyla SOKÜM, çağdaş toplumun ihtiyaçlarına uyum sağlarken yeniden canlandırılabilir⁷^,⁸.

Bu çalışmada, “somut olmayan kültürel miras desenleri” terimi, temelindeki somut olmayan kültürel değerleri aktaran ve koruyan görsel motif temsillerini ifade etmektedir. Sonuç olarak, önerilen çerçeve, bu motiflerin görsel formlarını yeniden oluştururken, onlarla ilişkili kültürel bilgilerin korunmasını ve belgelenmesini amaçlamaktadır.

Miao nakışı ve batikleri, kuşlar, kelebekler ve ata totemleri gibi sembolik motifler aracılığıyla Miao topluluğunun tarihini, inançlarını ve geleneklerini yansıtan Çin Somut Olmayan Kültürel Mirasının (SOKÜM) önemli biçimleridir⁹. Ritüel kıyafetlerine ve festival uygulamalarına derinlemesine yerleşmiş olan bu motifler, yerel kültürel ve ekonomik gelişime katkıda bulunmaktadır¹⁰^,¹¹. Dijital teknolojilerdeki, özellikle yapay zeka (AI) ve derin öğrenme (DL) alanındaki ilerlemeler; kültürel mirasın korunması, analizi, yeniden yapılandırılması ve belgelenmesi için yeni fırsatlar yaratmıştır. Çin'in en iyi korunmuş batik geleneklerinden biri olan Guizhou Miao batiki, Miao halkının kültürel bilgilerini, inançlarını, adetlerini ve ritüellerini aktarmak için önemli bir araç görevi görmektedir¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Güncel çalışmalar, derin öğrenmenin (DL) kültürel mirasın korunması ve desen yeniden yapılandırması konusundaki potansiyelini ortaya koymuş; U-Net ve DeepLabV3+1 ile karşılaştırıldığında daha yüksek segmentasyon doğruluğu (piksel doğruluğu = %88,6, ortalama birlik üzerinden kesişim [IoU] = %78,1) ve yeniden yapılandırma performansı elde edilmiştir. Ancak, bazı zorluklar devam etmektedir. Mevcut üretici çekişmeli ağ (GAN) tabanlı yaklaşımlar, karmaşık desenlerdeki ince yapısal detayları korumakta sıklıkla zorlanırken¹⁷, sınırlı veri seti çeşitliliği modellerin farklı kültürel alanlar genelindeki genelleme yeteneğini kısıtlamaktadır¹⁸. Ayrıca, CycleGAN gibi görüntüden görüntüye çeviri modelleri, segmentasyon haritaları ile üretilen görüntüler arasındaki anlamsal tutarlılığı koruyamayabilir¹⁹ ve dikkat mekanizmalarının eksikliği, yeniden yapılandırma sırasında kültürel açıdan önemli motif detaylarının kaybına yol açabilir²⁰. Bu nedenle, etkili bir somut olmayan kültürel miras (ICH) desen yeniden yapılandırması için transformer tabanlı segmentasyon, dikkat yönlendirmeli özellik öğrenimi ve çoklu veri seti eğitimini entegre eden geliştirilmiş bir çerçeveye ihtiyaç duyulmaktadır.

Miao nakışının dijitalleştirilmesi ve üretken yapay zekanın hızla ilerlemesi sayesinde kültürel mirasın korunması için yeni fırsatlar ortaya çıkmıştır. Yeni nesil derin üretken modellerden olan difüzyon modelleri, güçlü içerik oluşturma yetenekleri nedeniyle bilgisayarlı görü görevlerinde dikkat çekici bir performans sergilemişlerdir²¹^,²²^,²³^,²⁴^,²⁵. Ters difüzyon işlemi sırasında model, gürültülü temsillerden orijinal giriş verilerini yeniden oluşturmayı kademeli olarak öğrenir²⁶^,²⁷^,²⁸. Önceki çalışmalar, kültürel mirasın korunması ve yaygınlaştırılması için üç boyutlu yeniden yapılandırma ve bilgisayar destekli tasarım (CAD) teknolojilerinin uygulanmasını da araştırmıştır.

Konvolüsyonel sinir ağları (CNN'ler) ve GAN'lar görüntü oluşturma ve özellik koruma konularında iyi performans gösterseler de, hala sınırlı alıcı alanlar, mod çökmesi ve eğitim istikrarsızlığı ile ilgili zorluklarla karşı karşıyadırlar²⁹. SegFormer ve Segmenter gibi Transformer tabanlı mimariler, küresel bağlamı ve semantik ilişkileri yakalamada mükemmeldir; ancak hesaplama açısından yoğundurlar ve ince ayrıntılarda zorlanabilirler. Stable Diffusion gibi difüzyon modelleri güçlü görüntü oluşturma yetenekleri sergilese de, oluşturulan tasarımların yapısal ve sanatsal özellikleri üzerinde genellikle hassas kontrole sahip değildirler. Ayrıca, mevcut yaklaşımların çoğu, segmentasyon ve oluşturma bileşenleri arasında etkili bilgi paylaşımını ve ortak optimizasyonu sınırlayan bağımsız eğitim stratejileri kullanmakta, bu da yapısal doğruluk ile sanatsal özgünlük arasında bir ödünleşime neden olmaktadır³⁰.

Latent difüzyon ve Stable Diffusion gibi güncel difüzyon tabanlı modeller, yüksek kaliteli görüntü sentezi gerçekleştirmektedir; ancak yinelemeli gürültü giderme işlemi gerektirdikleri için hesaplama maliyetini ve çıkarım süresini artırmaktadırlar. Dahası, özel koşullandırma mekanizmaları olmadan ince kültürel motiflerin ve yapısal tutarlılığın korunması zor olmaya devam etmektedir. Transformer tabanlı üretici modeller, küresel bağlamsal ilişkileri etkili bir şekilde yakalamaktadır; ancak genellikle büyük ölçekli veri setlerine ve önemli miktarda hesaplama kaynağına ihtiyaç duymaktadırlar. Buna karşın, önerilen SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE) çerçevesi; açık yapısal rehberlik sağlamak amacıyla SegFormer tabanlı segmentasyonu, çapraz dikkat özellik füzyonunu, CycleGAN yeniden yapılandırmasını ve SPADE kılavuzlu sentezi birleştirerek motif korumasını, semantik tutarlılığı ve kültürel miras desenlerinin kontrol edilebilir yeniden yapılandırmasını geliştirmektedir.

Modern semantik segmentasyon tekniklerinin çoğunluğu, U şekilli mimarilere sahip tam evrişimli sinir ağlarına (FCNN'ler) dayanmaktadır³¹. Kodlama aşamasında, bir dizi evrişim ve alt örnekleme işlemi aracılığıyla geniş alıcı alanlara sahip derin özellikler çıkarılır. Kod çözme aşaması, üst örnekleme yoluyla mekânsal çözünürlüğü kademeli olarak geri getirerek nihayetinde piksel düzeyinde semantik tahmine olanak tanır. Atlamalı bağlantılar, farklı kodlayıcı seviyelerinden gelen yüksek çözünürlüklü bilgilerin doğrudan kod çözücüye entegre edilmesini sağlayarak, alt örnekleme sırasındaki mekânsal bilgi kaybını telafi eder ve geniş bir uygulama yelpazesinde segmentasyon performansını artırır³².

Güncel GAN tabanlı, CNN tabanlı ve difüzyon tabanlı yöntemler görüntü oluşturma ve kültürel miras restorasyonunda gelecek vaat eden sonuçlar göstermiş olsa da, genellikle semantik tutarlılığı korumakta, ince yapısal motifleri muhafaza etmekte ve çeşitli kültürel desenler genelinde tekrarlanabilir rekonstrüksiyon sağlamakta zorlanmaktadır. Mevcut yaklaşımların çoğu segmentasyon, rekonstrüksiyon ve stil sentezini ayrı süreçler olarak ele almaktadır; bu durum, kültürel açıdan önemli unsurların kaybına ve tutarsız çıktılara yol açabilmektedir. Bu metodolojik boşluğu doldurmak amacıyla, bu çalışma SegFormer tabanlı semantik segmentasyonu, yeni bir Çapraz Dikkatli Kültürel Özellik Füzyon Modülünü (CAFFM), CycleGAN tabanlı rekonstrüksiyonu ve SPADE güdümlü stil sentezini entegre eden birleşik bir SegCycle-SPADE çerçevesi önermektedir. Yapısal segmentasyon bilgilerini üretici özellik öğrenimi ile açıkça entegre eden önerilen çerçeve, hem kültürel özgünlüğü hem de sanatsal kaliteyi korurken, somut olmayan kültürel miras (ICH) motiflerinin daha güvenilir, semantik olarak tutarlı ve tekrarlanabilir rekonstrüksiyonunu mümkün kılmaktadır.

Bu çalışmada, mevcut kültürel miras yeniden yapılandırma yaklaşımlarının üç temel sınırlılığı belirlenmiştir: (i) GAN tabanlı yeniden yapılandırma yöntemlerinde ince yapısal motiflerin yetersiz korunması; (ii) küçük veya alana özgü veri setleri üzerinde eğitim yapılması sonucunda ortaya çıkan sınırlı genelleme yeteneği; ve (iii) görüntüden görüntüye çeviri çerçevelerinde segmentasyon çıktıları ile oluşturulan görüntüler arasındaki yetersiz semantik tutarlılık. Ek olarak; segmentasyon, yeniden yapılandırma ve stil sentezi genellikle ayrı süreçler olarak ele alınmakta, bu da yeniden yapılandırma sırasında kültürel açıdan önemli öğelerin kaybına yol açmaktadır. Transformer tabanlı semantik segmentasyon, çapraz dikkat (cross-attention) özellik füzyonu, CycleGAN yeniden yapılandırması ve SPADE kılavuzlu sanatsal sentezi birleşik bir mimari içinde birleştiren önerilen SegCycle-SPADE çerçevesi, bu sınırlılıkları gidermekte; somut olmayan kültürel miras (SOK) desenlerinin yeniden yapılandırılmasında motif korumasını, semantik tutarlılığı ve sanatsal özgünlüğü artırmaktadır.

Bu çalışmanın temel amacı, Somut Olmayan Kültürel Miras (SOKM) desenlerinin anlamsal segmentasyon kılavuzluğunda sanatsal rekonstrüksiyonu için geliştirilmiş bir SegCycle-SPADE çerçevesi oluşturmaktır. Çerçeve; doğru kültürel motif segmentasyonu için SegFormer'ı, desen rekonstrüksiyonu için CycleGAN'ı ve stile uygun sanatsal sentezleme için SPADE'i entegre eder. Öznitelik temsilimini iyileştirmek ve ince yapısal detayları korumak amacıyla, segmentasyon ve üretken öznitelikler arasında etkili bir etkileşim sağlamak için bir CAFFM tanıtılmıştır. Miao Batik ve WikiArt veri kümeleri üzerinde eğitilen önerilen çerçeve; rekonstrüksiyon özgünlüğünü, stil tutarlılığını ve kültürel açıdan önemli motiflerin korunmasını artırmaktadır.

Bu çalışma; semantik segmentasyon, dikkat rehberli özellik füzyonu, desen yeniden yapılandırması ve stil sentezini birleşik bir mimari içinde birleştirerek, Somut Olmayan Kültürel Miras (SOKÜM) desenlerinin sanatsal yeniden yapılandırması için özgün bir SegCycle-SPADE çerçevesi sunmaktadır. Bu çalışmanın temel katkıları şunlardır. İlk olarak, SegFormer entegrasyonu aracılığıyla, karmaşık kültürel motiflerin ve yapısal unsurların doğru bir şekilde çıkarılmasını ve korunmasını sağlayan yeni bir semantik segmentasyon rehberli yeniden yapılandırma çerçevesi geliştirilmiştir. İkinci olarak, segmentasyon özelliklerini generatif temsillerle etkili bir şekilde birleştiren ve modelin kültürel motifler ile sanatsal stil desenleri arasındaki uzun menzilli ilişkileri yakalamasına olanak tanıyan yeni bir CAFFM sunulmuştur. Üçüncü olarak, önerilen CAFFM, yeniden yapılandırılan miras desenlerinin görsel gerçekçiliğini ve yapısal tutarlılığını artırırken, kültürel açıdan anlamlı unsurların korunmasını da güçlendirmektedir. Dördüncü olarak, kültürel desen yeniden yapılandırması için CycleGAN ve segmentasyon rehberli sanatsal sentez için SPADE entegre edilerek, çerçeve üretilen çıktılarda hem semantik doğruluğu hem de stilistik özgünlüğü sağlamaktadır. Beşinci olarak, genelleştirme yeteneğini ve sanatsal çeşitliliği artırmak amacıyla model, kültürel desen öğrenimi için Miao Batik kültürel motif veri seti ve sanatsal stil temsili için WikiArt veri seti kullanılarak eğitilmiştir. WikiArt, Miao kültürel miras ürünlerinde doğrudan uygulama için bir hedef stil olarak değil, çerçevenin farklı görsel bağlamlardaki genelleme kapasitesini, özellik öğrenme dayanıklılığını ve stil kontrol etkinliğini değerlendirmek için yardımcı bir veri seti olarak hizmet etmektedir. Son olarak, mevcut GAN tabanlı kültürel miras yeniden yapılandırma yöntemleriyle karşılaştırıldığında, deneysel sonuçlar önerilen SegCycle-SPADE çerçevesinin gelişmiş segmentasyon doğruluğu, yeniden yapılandırma kalitesi ve stilistik tutarlılık sağladığını göstermektedir.

Protokol

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önerilen SegCycle-SPADE çerçevesi; semantik segmentasyon, dikkat mekanizmasıyla özellik iyileştirme, üretici yeniden yapılandırma ve sanatsal stil sentezi aracılığıyla geleneksel kültürel miras desenlerini yeniden yapılandırmak ve iyileştirmek için tasarlanmıştır. Bu çalışmada, Miao Batik veri seti ve WikiArt veri seti dahil olmak üzere halka açık kültürel miras ve sanatsal görüntü veri setleri kullanılmıştır. Araştırmada insan katılımcı, hasta verisi, kişisel bilgi, hayvan denek veya klinik kayıt yer almadığından, kurumsal etik kurul onayı ve bilgilendirilmiş onam gerekmemiştir. İlk olarak, değerlendirme için Miao Batik kültürel motif veri seti ve WikiArt veri seti kullanılmıştır. Quan et al. (2024)32 tarafından tanımlanan Miao Batik veri seti, geleneksel Miao batik motiflerinin 15.148 adet açıklanmış görüntüsünü içermektedir. Veri setini oluşturanlar tarafından sağlanan mevcut açıklamalar doğrudan kullanılmış ve bu çalışmada ek manuel açıklamalar oluşturulmamıştır. Ardından, görüntülerin ön işlemesi boyutlandırma, normalleştirme, gürültü giderme ve bir segmentasyon maskesi oluşturma işlemleriyle gerçekleştirilmiştir. Kesin ön işleme parametreleri Veri Ön İşleme alt bölümünde açıklanmıştır. Önerilen çerçeve, verilerin semantik segmentasyonu için SegFormer-B2 adlı transformer tabanlı bir model kullanmaktadır. Yöntem, kültürel motiflerin anahtar bölgelerini tespit etmek ve yapılarını öğrenmek için tasarlanmıştır. Segmentlere ayrılmış özellikler daha sonra, kültürel motiflerle ilgili önemli bilgilerin vurgulandığı ve ilgisiz bilgilerin elendiği bir dikkat mekanizması aracılığıyla iyileştirilmiştir. Dikkat mekanizması konfigürasyonu CAFFM alt bölümünde açıklanmıştır. İyileştirilen özellikler daha sonra, hasarlı yapıların döngüsel öğrenme yoluyla yeniden yapılandırıldığı CycleGAN'den geçirilmiştir. Eğitim sırasında, orijinal Miao Batik görüntülerine rastgele maskeleme ve kısmi kapatma işlemleri uygulanarak yapay olarak eksik motif örnekleri oluşturulmuştur. Bu bozulma prosedürleri, yıpranmış kültürel miras eserlerinde yaygın olarak gözlemlenen eksik motif bölgelerini ve yapısal hasarları simüle etmiştir. Ortaya çıkan eksik görüntüler CycleGAN yeniden yapılandırma modülüne girdi olarak verilmiş, karşılık gelen orijinal görüntüler ise yeniden yapılandırma hedefleri olarak kullanılmıştır. Yeniden yapılandırılan kültürel miras desenleri daha sonra, üretilen segmentasyon haritalarına dayalı olarak sanatsal iyileştirmenin gerçekleştirildiği SPADE aracılığıyla geliştirilmiştir. Önerilen çerçevenin performansı, kantitatif segmentasyon ve görüntü kalitesi metrikleri kullanılarak değerlendirilmiş; yeniden yapılandırılan kültürel motiflerin görsel özgünlüğü ise kalitatif olarak değerlendirilmiştir. Görsel özgünlük, üretilen kültürel desenlerin görsel incelemesi yoluyla değerlendirilmiş ve bağımsız bir kantitatif metrik olarak kullanılmamıştır. Değerlendirme; motif korunumu, semantik tutarlılık, kültürel özellikler, yapısal uyum ve ilgili referans kültürel motiflere göre sanatsal görünüme odaklanmıştır. Model performansının kantitatif değerlendirmesi; Segmentasyon Doğruluğu, IoU, Dice Katsayısı, Yapısal Benzerlik İndeksi (SSIM), Pik Sinyal-Gürültü Oranı (PSNR) ve Fréchet Inception Distance (FID) kullanılarak gerçekleştirilmiştir. Şekil 2, önerilen SegCycle-SPADE çerçevesinin genel iş akışını göstermekte ve bu çalışmada kullanılan değerlendirme metriklerini özetlemektedir.

figure-protocol-1
Şekil 2. Önerilen SegCycle-SPADE Çerçevesinin Genel Mimari İş Akışı. SegCycle-SPADE iş akışının tamamına genel bakış. Miao Batik ve WikiArt veri setlerinden alınan görüntüler; SegFormer-B2 kullanılarak semantik segmentasyon, CAFFM kullanılarak özellik iyileştirme, CycleGAN kullanılarak desen yeniden yapılandırma ve SPADE kullanılarak sanatsal stil üretimi işlemlerinden geçmeden önce ön işlemlere tabi tutulur. Model performansı Segmentasyon Doğruluğu, Intersection over Union (IoU), Dice Katsayısı, Yapısal Benzerlik Endeksi Ölçümü (SSIM), PSNR ve Fréchet Inception Distance (FID) kullanılarak değerlendirilirken, görsel özgünlük nitel olarak analiz edilir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Kültürel miras desen rekonstrüksiyonu için geliştirilen SegCycle-SPADE çerçevesi, Şekil 2'de gösterildiği üzere, motiflerin doğru segmentasyonu, rekonstrüksiyonu ve sanatsal iyileştirmesi için birden fazla DL bileşenini entegre edecek şekilde tasarlanmıştır. Çeşitli kültürel desenler ve sanatsal stiller sağlamak amacıyla Miao Batik kültürel motif veri kümesi ve WikiArt veri kümesinden alınan görüntüler kullanılmıştır. Başlangıçta görüntüler, kültürel motifleri arka plandan ayırt etmek ve sınırlarını belirlemek için SegFormer tabanlı bir semantik segmentasyon modülü kullanılarak işlenir. Genel mimari dört ana aşamadan oluşmaktadır. İlk olarak, SegFormer modeli kültürel desen görüntülerinden semantik segmentasyon haritaları çıkarır. İkinci olarak, CAFFM, özellik öğrenimini geliştirmek için segmentasyon özelliklerini üretken temsillerle entegre eder. Üçüncü olarak, CycleGAN modülü, birleştirilmiş özellik temsillerini kullanarak kültürel desenleri yeniden yapılandırır. Son olarak, SPADE modülü, segmentasyon kılavuzlu sentez yoluyla yapısal tutarlılığı korurken stilistik olarak iyileştirilmiş çıktılar üretir. İyileştirilmiş özellik haritaları, daha sonra bozulmuş desenleri karşılık gelen tam formlarına eşleyerek eksik kültürel motifleri geri yüklemeyi öğrenen CycleGAN rekonstrüksiyon modülü tarafından işlenir. Eksik motif örnekleri, orijinal Miao Batik görüntülerine rastgele maskeleme ve kısmi oklüzyon işlemleri uygulanarak oluşturulmuş, böylece hasarlı kültürel eserlerde yaygın olarak gözlemlenen eksik desen bölgeleri ve yapısal bozulmalar simüle edilmiştir. Her bozulmuş görüntü, eğitim sırasında rekonstrüksiyon hedefi olarak hizmet eden karşılık gelen orijinal görüntüsüyle eşleştirilmiştir. Bu strateji, CycleGAN modülünün semantik tutarlılığı ve kültürel açıdan önemli özellikleri korurken eksik motif yapılarının restorasyonunu öğrenmesini sağlamıştır. Son olarak, SPADE üreteci, görüntü sentezini üretilen segmentasyon haritalarına koşullandırarak görsel olarak iyileştirilmiş sanatsal çıktılar üretir ve böylece sanatsal iyileştirme süreci boyunca kültürel motiflerin yapısal bütünlüğünü korur.

Önerilen SegCycle-SPADE çerçevesinde aşağıdaki adımlar yer almaktadır.

Adım 1: Veri Seti Toplama
Kültürel desen öğrenimi ve sanatsal stil oluşturma hedeflerine ulaşmak için iki veri seti kullanılmıştır. Geleneksel kültürel desen bilgilerini sağlamak amacıyla Miao Batik Kültürel Motif Veri Seti kullanılmıştır. Bu veri setine Zenodo (https://doi.org/10.5281/zenodo.20807658) üzerinden herkese açık olarak erişilebilmekte olup, geleneksel Miao batik motiflerine ait 15.148 adet etiketlenmiş görüntü içermektedir. Veri setini oluşturanlar tarafından sağlanan mevcut etiketlemeler doğrudan kullanılmış ve bu çalışmada ek bir manuel etiketleme yapılmamıştır. Sanatsal stil oluşturma için çeşitli sanatsal stil bilgilerini sağlamak amacıyla kullanılan WikiArt veri seti ise herkese açık olan WikiArt deposundan (https://www.wikiart.org/) temin edilmiştir.

Adım 2: Veri Ön İşleme
Tüm görüntüler yeniden boyutlandırma, normalizasyon ve gürültü azaltma işlemleriyle ön işlemeden geçirilmiştir. Semantik segmentasyon aşamasını desteklemek amacıyla, orijinal veri seti kaynaklarından elde edilen mevcut kültürel motif açıklamaları kullanılmıştır. Bu çalışmanın bir parçası olarak herhangi bir ek açıklama veya yeniden etiketleme prosedürü uygulanmamıştır.

Adım 3: SegFormer Kullanarak Semantik Desen Segmentasyonu
Kültürel motif segmentasyonu için SegFormer modeli kullanılmıştır. Tam SegFormer omurgası ve başlatma stratejisi, SegFormer Kullanarak Semantik Desen Segmentasyonu alt bölümünde açıklanmıştır. Özellikle, semantik motif segmentasyonu için ImageNet-ön eğitimli MIT-B2 omurgasına sahip SegFormer-B2 mimarisi kullanılmıştır. Bu model, geleneksel kültürel desenlerin karmaşık yapısal detaylarını korurken küresel bağlamsal bilgileri etkili bir şekilde yakalar.

Adım 4: CAFFM
CAFFM, anlamsal segmentasyon özelliklerini üretici temsillerle birleştirerek, çerçevenin hem yapısal motif özelliklerini hem de sanatsal stil bilgilerini öğrenmesini sağlar. CAFFM'nin entegrasyon ayrıntıları CAFFM alt bölümünde verilmiştir. Modül, SegFormer tabanlı anlamsal segmentasyon aşaması ile üretici yeniden yapılandırma aşaması arasına yerleştirilmiştir ve burada segmentasyondan türetilen yapısal özellikleri, çok kafalı çapraz dikkat (multi-head cross-attention) aracılığıyla yeniden yapılandırma özellikleriyle kaynaştırır. Bu işlem, kültürel motiflerin korunmasını iyileştirir ve yeniden yapılandırılan çıktıların gerçekçiliğini artırır.

Adım 5: Desen Yeniden Yapılandırma (CycleGAN)
Birleştirilmiş özellikler, kültürel desen yapılarını yeniden oluşturmak için ardından CycleGAN modülü tarafından işlenir. CycleGAN mimarisi ve eğitim konfigürasyonu, CycleGAN Kullanarak Desen Yeniden Yapılandırma alt bölümünde açıklanmıştır. Yeniden yapılandırma modülü, iki jeneratör ve iki diskriminatörden oluşur; dokuz rezidüel blok içeren bir rezidüel ağ jeneratör mimarisi kullanır, bir PatchGAN diskriminatörü uygular ve adverseryal ile döngü tutarlılığı kayıpları kullanılarak eğitilir. Bu konfigürasyon, çift yönlü alan eşlemesine olanak tanır ve eksik kültürel desen yapılarının yeniden yapılandırılmasını kolaylaştırır.

Adım 6: Artistik Stil Üretimi (SPADE)
Yeniden yapılandırılan desenler, ardından segmentasyon rehberliğinde artistik stil sentezi gerçekleştirmek amacıyla SPADE modülünden geçirilir. SPADE jeneratör yapılandırması, SPADE Kullanılarak Artistik Stil Üretimi alt bölümünde açıklanmıştır. Modül; SPADE rezidüel bloklar, mekansal olarak uyarlanabilir normalizasyon katmanları ve SegFormer segmentasyon haritaları ile CAFFM öznitelik temsillerinden türetilen semantik koşullandırmayı kullanır. Görüntü üretimi segmentasyon haritalarına koşullandırılarak, sentezlenen çıktıların orijinal kültürel motiflerle yapısal hizalanmasının korunması ve aynı zamanda artistik stil özelliklerinin dahil edilmesi sağlanır.

Adım 7: Performans Tahmini
Önerilen çerçeve; Segmentasyon Doğruluğu, IoU, Dice Benzerlik Katsayısı (Dice), SSIM, PSNR ve FID dahil olmak üzere birden fazla segmentasyon ve görüntü kalitesi değerlendirme metriği kullanılarak değerlendirilmiştir. Deneysel tutarlılığı değerlendirmek için tüm deneyler farklı rastgele tohumlar kullanılarak beş kez tekrarlanmış ve sonuçlar ortalama ± standart sapma olarak raporlanmıştır. İstatistiksel anlamlılık, p < 0.05 anlamlılık eşiği ile eşleştirilmiş t-testleri kullanılarak değerlendirilmiştir.

Veri Kümesi Toplama
Önerilen SegCycle-SPADE çerçevesinde, kültürel desen anlayışı ve stil öğrenimi için iki veri kümesi kullanılmaktadır. Önerilen çerçevede kullanılan ilk veri kümesi, Miao Batik kültürel motif veri kümesidir. Bu veri kümesi, Miao etnik sanatında kullanılan hayvanlar, bitkiler ve geometrik şekiller gibi motifler içeren geleneksel Miao Batik görüntülerinden oluşan kültürel motifleri içermektedir. Bu veri kümesi, kültürel mirasın korunması için genellikle önemli olan zengin doku bilgilerine sahip görüntüler içermektedir. SegCycle-SPADE'in önerilen çerçevesinde kullanılan ikinci veri kümesi ise WikiArt veri kümesidir. Bu veri kümesi, genellikle farklı stillerde olan çok sayıda sanat eseri içermektedir. Bu veri kümesi, sanat eserlerini geliştirmek için genellikle yararlı olan karmaşık stil öğrenimi için kullanılmaktadır. Bu veri kümesi, DL tabanlı stil oluşturma veya dönüştürme görevleri için onu daha kullanışlı kılan, 27 farklı tasarımda HD çözünürlüğünde 80.000 sanat eseri içermektedir.

Miao Batik Veri Seti:
Miao Batik veri seti (https://doi.org/10.5281/zenodo.20807658), kültürel açıdan anlamlı motifler içeren 15.148 batik desen imajından oluşmaktadır. İmajlar; hayvan motifleri (örneğin kelebekler ve balıklar), bitki tabanlı desenler ve kültürel sembolizm taşıyan geometrik motifler gibi çeşitli geleneksel tasarımları içermektedir. Bu veri seti, segmentasyon modülünün desen yeniden yapılandırması sırasında motif sınırlarını doğru bir şekilde tanımlamasını ve korumasını sağlayan özgün kültürel yapılar sunduğu için önerilen çerçevenin önemli bir bileşenidir (Tablo 1). Bu çalışmada, kültürel açıdan önemli motifler; kuşlar, kelebekler, floral desenler ve ata totemleri dahil olmak üzere, Miao kültürel miras literatüründe yaygın olarak belgelenen ve veri seti açıklamalarında temsil edilen sembolik görsel öğeleri ifade etmektedir. Bu motifler, yalnızca görülme sıklıklarına veya mekansal kompozisyonlarına göre değil, belgelenmiş kültürel önemleri ve geleneksel Miao batik ile nakış tasarımlarındaki tekrarlayan varlıklarına göre seçilmiştir. Uzman rehberliğindeki motif açıklamaları ve segmentasyon etiketleri, orijinal Miao Batik veri seti kaynağından alınmış ve bu çalışmada doğrudan kullanılmıştır. Yazarlar tarafından ek bir manuel açıklama, yeniden etiketleme veya uzman rehberliğinde açıklama prosedürü gerçekleştirilmemiştir. Veri seti oluşturucuları tarafından sağlanan mevcut açıklamalar, semantik segmentasyon eğitimi ve değerlendirmesi için kullanılmıştır.

Parametre	Açıklama
Veri Seti Adı	Miao Batik Kültürel Desen Veri Seti
Veri Seti Kaynağı	Zenodo Deposu (DOI: 10.5281/zenodo.20807658)
Alan	Somut Olmayan Kültürel Miras (SOKM) / Tekstil Desen Analizi
Toplam Görüntü Sayısı	15.148 görüntü
Görüntü Türü	Geleneksel Miao batik tekstil desenlerinin dijital görüntüleri
Desen Kategorileri	Hayvan motifleri, bitki motifleri ve geometrik motifler
Kültürel Köken	Miao etnik kültürü, Guizhou Eyaleti, Çin
Orijinal Görüntü Çözünürlüğü	Ön işlemden önce ham taramalar veya fotoğraflar olarak yakalanmış yüksek çözünürlüklü görüntüler (genellikle kısa kenarı ≥ 1.000 piksel)
Eğitim Çözünürlüğü	Görüntüler 256 boyutuna getirildi × ön işleme sırasında 256 piksel
Anotasyon Kullanılabilirliği	Veri seti oluşturucuları tarafından sağlanan mevcut segmentasyon anotasyonları, eğitim ve değerlendirme için herhangi bir değişiklik yapılmadan kullanılmıştır. Bu çalışmada ek bir manuel anotasyon, yeniden etiketleme veya uzman onay prosedürü uygulanmamıştır.
Bu Çalışmadaki Uygulama	Kültürel motif bölütleme, öznitelik çıkarma, motif koruma ve desen yeniden yapılandırma

Tablo 1: Miao Batik Kültürel Desen Veri Setinin Özellikleri. Semantik segmentasyon, kültürel desen analizi ve motif rekonstrüksiyonu için kullanılan Miao Batik kültürel motif veri setinin özeti. Tablo; veri seti kaynağını, görüntü özelliklerini, motif kategorilerini, kültürel kökeni, görüntü çözünürlüğünü ve önerilen SegCycle-SPADE çerçevesindeki rolünü tanımlamaktadır.

WikiArt Veri Seti:
WikiArt veri seti [https://www.wikiart.org/], Tablo 2'de belirtilen 27 farklı sanatsal stilden 80.000'den fazla görüntüyü içeren popüler ve geniş ölçekli bir dijital sanat deposudur. Stiller arasında Rönesans sanatı, Empresyonizm, Kübizm ve Sürrealizm yer almaktadır. Veri seti, SPADE modülünün segmentasyon sürecinden elde edilen yapısal bilgileri korurken kültürel açıdan zengin desenler oluşturmasına olanak tanıyan bilgiler sunduğu için önerilen çerçevede oldukça önemlidir. Veri seti, eğitim için 56.000 ve hem doğrulama hem de test için 12.000 görüntüden oluşmaktadır. Veri setindeki görüntüler, DL modelinin etkili bir şekilde eğitilmesine yardımcı olur.

Parametre	Açıklama
Veri Seti Adı	WikiArt Veri Seti
Veri Seti Kaynağı	WikiArt Deposu (https://www.wikiart.org/)
Alan	Dijital Sanat ve Tablolar
Toplam Görüntü Sayısı	Yaklaşık 80,000 sanat eseri
Eğitim Görüntüleri	56,000
Doğrulama Görüntüleri	12,000
Test Görüntüleri	12,000
Sanatsal Stiller	Rönesans, İzlenimcilik, Kübizm, Sürrealizm, Ekspresyonizm, Realizm ve Soyut Sanat dahil olmak üzere 27 sanatsal stil
Orijinal Görüntü Çözünürlüğü	Orijinal görüntü çözünürlükleri sanat eserlerine ve kaynaklara göre değişiklik göstermektedir. Görüntüler, ön işleme sırasında 256 × 256 piksel standart çözünürlüğe yeniden boyutlandırılmıştır.
Eğitim Çözünürlüğü	Görüntüler, sanatsal stil öğrenimi ve segmentasyon güdümlü görüntü sentezi öncesindeki ön işleme aşamasında 256 × 256 piksele yeniden boyutlandırılmıştır.
Veri Seti Bölümleme	42 sabit rastgele tohumu kullanılarak tabakalı rastgele bölümleme (%70 eğitim, %15 doğrulama ve %15 test)
Stil Örnekleme Stratejisi	27 sanatsal stilin eğitim, doğrulama ve test alt kümeleri arasındaki dağılımını korumak için tabakalı orantılı örnekleme uygulanmıştır
Bu Çalışmadaki Uygulaması	Sanatsal stil öğrenimi, stil temsili ve segmentasyon güdümlü sanatsal sentez

Tablo 2: WikiArt Veri Kümesinin Özellikleri. Sanatsal stil öğrenimi ve stil rehberli görüntü sentezi için kullanılan WikiArt veri kümesinin özeti. Tablo; veri kümesi kaynağını, görüntü dağılımını, sanatsal stil kapsamını, veri kümesi bölümlendirmesini, görüntü çözünürlüğünü ve önerilen SegCycle-SPADE çerçevesi içindeki uygulamasını açıklamaktadır.

Miao Batik veri seti, geleneksel Miao kültürel motiflerini temsil eden 15.148 görüntü içermektedir.32 Veri seti Zenodo (https://doi.org/10.5281/zenodo.20807658) üzerinden kamuya açık olarak sunulmaktadır. Model eğitimi öncesinde tüm görüntüler görsel olarak incelenmiş, 256 × 256 piksel boyutuna getirilmiş, normalize edilmiş ve bozuk veya kopya örnekler için taranmıştır. Kalite kontrol taraması sonucunda herhangi bir görüntünün çıkarılmasına gerek duyulmamış; bu nedenle, sonraki analizler için tüm 15.148 görüntü korunmuştur. Veri seti bölümlerinin tekrarlanabilirliğini sağlamak amacıyla, 42 sabit rastgele tohum (seed) kullanılarak eğitim (%70), doğrulama (%15) ve test (%15) alt kümelerine rastgele ayrılmıştır. WikiArt veri setine resmi WikiArt deposu (https://www.wikiart.org/) aracılığıyla erişilmiş olup, bu set 27 farklı sanatsal stili kapsayan 80.000'den fazla sanat eseri içermektedir. Stil öğrenme deneyleri için 56.000 görüntü eğitim, 12.000 görüntü doğrulama ve 12.000 görüntü test amacıyla kullanılmıştır.

Veri Ön İşleme
Önerilen SegCycle-SPADE çerçevesi eğitilmeden önce, tutarlı görüntü kalitesi ve doğru özellik temsili sağlamak amacıyla Miao Batik kültürel motif veri seti ve WikiArt veri seti birkaç ön işleme adımına tabi tutulmuştur. Gauss gürültü giderme, normalizasyon, tutarlı bir giriş çözünürlüğüne yeniden boyutlandırma ve görüntü kalitesi doğrulamasını içeren aynı temel ön işleme hattı her iki veri setine de uygulanmıştır. Bununla birlikte, veri setleri çerçeve içerisinde farklı roller üstlenmiştir. WikiArt veri seti sanatsal stil öğrenimi ve sentezi için kullanılırken, Miao Batik veri seti öncelikle kültürel motif segmentasyonu ve yeniden yapılandırma için kullanılmıştır. Bu göreve özel roller dışında, veri setine özgü herhangi bir ön işleme değişikliği yapılmamıştır. DL modelinin tutarlı bir şekilde işlem yapmasını sağlamak için görüntüler önce sabit bir çözünürlüğe yeniden boyutlandırılmıştır. Her iki veri setindeki görüntülerin kaynaklarına bağlı olarak çözünürlüklerinin farklılık göstermesi nedeniyle bu adım gerekli olmuştur. Yeniden boyutlandırma, hesaplama verimliliğini artırmış ve boyut tutarsızlıklarının eğitimi etkilemesini önlemiştir. İkinci ön işleme adımı, eğitim sırasında gradyan güncellemelerini stabilize etmek için piksel değerlerinin standart bir aralığa ölçeklendiği normalizasyon işlemi olmuştur. Ardından görüntüler, kültürel motif yapılarını bozabilecek gürültüyü azaltmak için Gauss filtreleme kullanılarak işlenmiştir. Miao Batik veri seti için, orijinal veri seti kaynağından doğrudan elde edilen mevcut kültürel motif segmentasyon maskeleri, semantik segmentasyon eğitimi ve değerlendirmesi için herhangi bir değişiklik yapılmadan kullanılmıştır. Bu çalışma için özel olarak yeni segmentasyon maskeleri oluşturulmamıştır.

Aksi belirtilmedikçe, yerleşik yöntemleri tanımlayan denklemler önceki çalışmalardan uyarlanmış ve buna göre atıfta bulunulmuştur. Önerilen CAFFM ve kompozit SegCycle-SPADE optimizasyon çerçevesini tanımlayan denklemler, yazarlar tarafından bu çalışma için geliştirilmiştir.

Veri kümesinden gelen bir giriş görüntüsünün Denklem 1 ile temsil edildiğini varsayalım:

figure-protocol-2 (1)

Burada H, W ve C sırasıyla görüntü yüksekliğini, genişliğini ve renk kanallarının sayısını ifade eder. Tüm görüntüler, Denklem 2'de gösterildiği gibi sabit bir H′ × W′ boyutuna yeniden boyutlandırılır:

figure-protocol-3

Burada, I_r yeniden boyutlandırılmış görüntüdür. Normalize edilmiş piksel değerleri Denklem 3'e göre hesaplanır:

figure-protocol-4 (3)

Bu, eğitim prosedürünün stabilize edilmesine yardımcı olur. Gürültü filtreleme, Denklem 4'te gösterildiği gibi bir Gauss filtresi kullanılarak gerçekleştirilir:

figure-protocol-5

Burada, G(σ) bir Gauss filtresidir ve * konvolüsyonu temsil eder. Standart sapması σ = 1.0 olan 5 × 5 çekirdekli bir Gauss filtresi kullanılmıştır. Kenar artefaktlarını azaltmak için sınır piksellerine yansıtmalı dolgu (reflective padding) uygulanmıştır. Gürültü giderme işlemi, ölçeklendirme ve normalizasyondan önce, görüntüler yüklendikten hemen sonra gerçekleştirilmiştir. Çalışma boyunca tekdüze bir ön işleme sağlamak amacıyla, Miao Batik ve WikiArt veri setlerindeki her görüntüye aynı filtre yapılandırması uygulanmıştır. Miao Batik veri seti için segmentasyon maskeleri Denklem 5'e göre oluşturulur:

figure-protocol-6

Burada, M, SegFormer modeline rehberlik etmek için kullanılan bir segmentasyon maskesidir.

Önişleme hattı, Şekil 3'te gösterildiği gibi, Miao Batik veri setinden ve WikiArt veri setinden görüntülerin elde edilmesiyle başlar. Eğitim sırasında herhangi bir veri artırma tekniği uygulanmamıştır. Yeniden boyutlandırma, normalleştirme, Gauss gürültü giderme ve segmentasyon maskesi hazırlama işlemlerini içeren önişlemeden sonra görüntüler; önerilen SegCycle-SPADE çerçevesinin eğitimi, doğrulanması ve test edilmesi için doğrudan kullanılmıştır. Önişleme hattının ilk adımı, DL modelinin görüntüleri daha verimli işlemesini sağlamak amacıyla görüntülerin sabit bir boyuta yeniden boyutlandırılmasını içerir. İkinci adım, piksel değerlerini standartlaştırılmış bir sayısal aralığa dönüştüren ve model yakınsamasını kolaylaştıran normalleştirmeyi kapsar. Üçüncü adım, örüntü tanımayı geliştirmek için görüntülerin istenmeyen gürültülerden arındırıldığı gürültü giderme işlemini içerir. Ayrıca, Miao Batik veri seti için kültürel motif bölgeleri işaretlenerek, önerilen modelin segmentasyon modülünde kullanılan maskelerin oluşturulması sağlanmış ve böylece üretim sırasında kültürel motiflerin korunması garanti altına alınmıştır. Bu aşamanın nihai çıktısı, önerilen modelin segmentasyon ve üretim modüllerini eğitmek için hazır, temiz bir veri setidir.

figure-protocol-7
Şekil 3. Kültürel Miras Görüntüleri için Veri Ön İşleme Hattı. Model eğitimi öncesinde uygulanan görüntü ön işleme prosedürlerini gösteren iş akışı. Hat; veri seti edinimi, görüntü boyutlandırma, normalizasyon, Gaussian gürültü giderme, mevcut kültürel motif anotasyonları ve segmentasyon maskesi hazırlama adımlarını içerir. Elde edilen işlenmiş görüntüler ve maskeler, semantik segmentasyon ve desen yeniden yapılandırma için girdi olarak kullanılır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Model eğitimi öncesinde her görüntü bir kalite kontrol sürecinden geçirilmiştir. Miao Batik veri seti 15.148 görüntü içermekteydi. Bozuk, kopya ve düşük kaliteli örnekler orijinal veri seti oluşturucuları tarafından halihazırda ele alınmıştı; bu nedenle, bu çalışmadaki kalite kontrol taraması sırasında ek herhangi bir görüntü hariç tutulmamıştır. Sonuç olarak, tüm 15.148 görüntü analiz için saklanmıştır. Görüntüler ön işleme sırasında RGB formatında yüklenmiş ve bilinear interpolasyon kullanılarak 256 × 256 piksel boyutuna getirilmiştir. Piksel değerleri, 255'e bölünerek [0, 255] aralığından [0, 1] aralığına ölçeklendirilmiştir. Ardından, sırasıyla kırmızı, yeşil ve mavi kanallar için [0.485, 0.456, 0.406] ortalama değerleri ve [0.229, 0.224, 0.225] standart sapma değerleri kullanılarak kanal bazlı normalizasyon uygulanmıştır. Ön işleme hattı; görüntü yükleme, RGB dönüşümü, yeniden boyutlandırma, piksel değeri ölçeklendirme, normalizasyon ve tensör dönüşümünü içermiştir. Gerektiğinde, DL modelleriyle uyumluluğu korumak için gri tonlamalı görüntüler üç kanallı RGB formatına dönüştürülmüştür. Ön işlemenin ardından görüntüler eğitim, doğrulama ve test alt kümelerine ayrılmıştır. Semantik segmentasyon, öznitelik füzyonu, motif yeniden yapılandırması ve SPADE tabanlı sanatsal sentez dahil olmak üzere SegCycle-SPADE çerçevesinin tüm aşamalarında 256 × 256 piksellik tutarlı bir giriş çözünürlüğü kullanılmıştır.

SegFormer Kullanarak Semantik Desen Segmentasyonu
Bu ön işleme adımından sonra, Miao Batik kültürel motif veri setinin ve WikiArt veri setinin temizlenmiş ve normalize edilmiş görüntüleri, önerilen SegFormer-B2 çerçevesine dayalı semantik segmentasyon modülüne aktarılır. Bu adımın amacı, miras desenlerinde bulunan kültürel motifleri doğru bir şekilde tanımlamak ve ayırmaktır. Önerilen SegFormer çerçevesi, karmaşık miras desenlerinden hem küresel bağlamsal bilgileri hem de detaylı yapısal bilgileri doğru bir şekilde yakalamak için hiyerarşik bir Transformer kodlayıcı ve hafif bir MLP kod çözücü içeren bir transformer mimarisine dayanmaktadır. Model, öncelikle giriş görüntüsünden çoklu ölçeklerde özellik temsilleri çıkarır ve ardından bu temsilleri kod çözücü aracılığıyla birleştirerek doğru segmentlere ayrılmış desenler oluşturur. Bu işlem, miras görüntüsündeki desenlerin geometrik desenler, floral desenler ve sembolik desenler gibi motiflere doğru şekilde segmentlere ayrılmasını sağlar; böylece yapısal bütünlüklerini korurken onları arka plandan ayırır. Bu yapısal bilgiler, daha sonra SegCycle-SPADE çerçevesi içindeki desen oluşturma aşamalarında kullanılır.

Ön işlemeden geçmiş giriş görüntüsü Denklem 6 ile temsil edilsin:

figure-protocol-8 (6)

SegFormer kodlayıcısı, görüntüyü yamalara ayırır ve Denklem 7'de¹ gösterildiği gibi transformer katmanlarını kullanarak hiyerarşik özellikleri çıkarır:

figure-protocol-9

Burada, F transformer kodlayıcıdan elde edilen çok ölçekli özellik haritalarını ifade eder. Bu özellikler, hem yerel doku desenlerini hem de motif bölgeleri arasındaki küresel bağlamsal ilişkileri kodlar. SegFormer modeli, Denklem 8'de tanımlandığı şekilde farklı ölçeklerde özellik haritaları çıkarır:

figure-protocol-10

Çok ölçekli temsillerin kullanımı, kültürel motifler içindeki farklı boyutlardaki desenlerin tespit edilmesini kolaylaştırır. Son olarak, özellikler Denklem 9'da¹ gösterildiği gibi MLP kod çözücü kullanılarak birleştirilir:
figure-protocol-11

Burada, S nihai öngörülen segmentasyon haritasını belirtir.

SegFormer-B2 omurgası, ImageNet ön eğitimli ağırlıklar kullanılarak başlatılmış ve ardından kültürel motif segmentasyonu için Miao Batik veri kümesi üzerinde ince ayar yapılmıştır. Ön eğitimli kontrol noktası, resmi SegFormer uygulamasından temin edilmiştir. Özellikle, ince ayar öncesinde SegFormer-B2 omurgasını başlatmak için resmi SegFormer deposu tarafından sağlanan ImageNet-1K ön eğitimli MIT-B2 kontrol noktası (mit_b2.pth) kullanılmıştır. Ön eğitimli ağırlıklar, SegFormer yazarları tarafından yayınlanan MIT-B2 omurgasına karşılık gelmektedir ve semantik segmentasyon eğitimi için başlangıç modeli olarak hizmet etmiştir. Kalan göreve özgü katmanlar, eğitimden önce varsayılan PyTorch ağırlık başlatma prosedürleri kullanılarak başlatılmıştır.

Mimaride, örtüşen yama gömmelerine (patch embeddings) sahip dört aşamalı hiyerarşik bir Transformer kodlayıcı kullanılmıştır. İlk aşamada, yama boyutu 4 adım aralığıyla (stride) 7 × 7 olarak belirlenmiştir. Dört kodlayıcı aşamasının her biri için gömme boyutları sırasıyla 64, 128, 320 ve 512'dir. Dört aşama boyunca 1, 2, 5 ve 8 çok başlı öz-dikkat (multihead self-attention) başlığı kullanılmış ve karşılık gelen kodlayıcı derinlikleri 3, 4, 6 ve 3 katman olarak ayarlanmıştır. Kodlayıcıdan elde edilen çok ölçekli özellikler, hafif bir tamamı-MLP çözücü (decoder) kullanılarak birleştirilmiştir. Nihai segmentasyon haritası oluşturulmadan önce çözücü, her kodlayıcı aşamasından gelen özellikleri tek bir gömme alanına yansıtmıştır. Tüm Transformer bloklarında Gaussian Hata Doğrusal Birimi (GELU) aktivasyon fonksiyonu kullanılmıştır. Genelleştirmeyi artırmak ve aşırı öğrenmeyi (overfitting) azaltmak için eğitim sırasında 0,1'lik bir dropout oranı uygulanmıştır.

Eğitim aşamasında, SegFormer çerçevesi her iki veri setinden ön işlemesi yapılmış görüntüleri alır. Miao Batik veri setinden gelen görüntüler, segmentasyon modelinin denetimli öğrenimi için etiket görevi gören motif bölgelerini içerir. Transformer kodlayıcı, görüntünün tamamını işleyerek görüntü bileşenleri arasındaki uzun menzilli ilişkileri yakalar; bu durum, özellikle mekansal olarak dağılmış motifler içeren geleneksel batik desenleri için önemlidir. Hiyerarşik özellik çıkarma mekanizması, tekrarlayan geometrik dokular gibi yerel yapıları eş zamanlı olarak yakalar. MLP kod çözücü, bu çıkarılan özellikleri işler ve motif bölgelerini vurgulayan bir segmentasyon maskesi üretir. Bu aşamada oluşturulan segmentasyon haritaları, daha sonra dikkat modülü ve desen yeniden yapılandırma aşaması için yapısal girdiler olarak kullanılır ve böylece oluşturulan desenlerin özgünlüğünün korunmasına yardımcı olur.

Kültürel motifler, görsel ve kültürel özelliklerine göre semantik segmentasyon için farklı sınıflara ayrılmıştır. Segmentasyon taksonomisi; hayvan motifleri (örneğin kelebekler, balıklar, kuşlar ve diğer sembolik fauna), bitki motifleri (örneğin çiçekler, yapraklar, asmalar ve botanik desenler), geometrik motifler (örneğin tekrarlayan şekiller, bordürler ve soyut geometrik yapılar) ve motif dışı alanları temsil eden arka plan bölgelerinden oluşmuştur. Her pikseli önceden tanımlanmış sınıflardan birine atamak için piksel düzeyinde segmentasyon maskeleri kullanılmıştır. Tam sayı etiketleri şu şekilde kodlanmıştır: Etiket 0 = arka plan, Etiket 1 = hayvan motifleri, Etiket 2 = bitki motifleri ve Etiket 3 = geometrik motifler. Segmentasyon açıklamaları ve motif etiketleri doğrudan orijinal Miao Batik veri seti kaynağından alınmıştır. Bu çalışmada ek bir manuel açıklama, yeniden etiketleme, sınır doğrulama veya uzman onay prosedürü uygulanmamıştır. Veri seti oluşturucuları tarafından sağlanan mevcut açıklamalar, eğitim ve değerlendirme için herhangi bir değişiklik yapılmadan kullanılmıştır.

Kültürel motif segmentasyonu için kullanılan SegFormer modeli, Şekil 4'te gösterildiği üzere, kültürel desen bölgelerinin doğru tespiti için transformer tabanlı bir mekanizma kullanarak Miao Batik veri kümesinden ve WikiArt veri kümesinden gelen ön işlemlere tabi tutulmuş görüntüleri işler. İlk olarak, geleneksel kültürel motifler içeren giriş görüntüsü SegFormer modeline sunulur. Transformer kodlayıcı, görüntü yamalarından hem küresel bağlamsal bilgileri hem de yerel yapısal özellikleri çıkarır. Elde edilen çok ölçekli özellikler, özellik temsillerini geliştirmek ve motif tespitini iyileştirmek için Karma İleri Beslemeli Ağ (Mix Feed-Forward Network) kullanan segmentasyon kod çözücüye aktarılır. SegFormer modelinin çıktısı, ilgisiz arka plan bilgilerini bastırırken kültürel desenlere karşılık gelen pikselleri vurgulayan bir segmentasyon maskesidir. Ayrıştırılan kültürel desenler daha sonra SegCycle-SPADE çerçevesinin sonraki aşamaları için yapısal rehberlik görevi görür.

figure-protocol-12
Şekil 4. SegFormer-B2 Tabanlı Kültürel Motiflerin Semantik Segmentasyonu. Kültürel motif çıkarımı için kullanılan ve yalnızca Miao Batik veri seti üzerinde eğitilen SegFormer-B2 semantik segmentasyon modülünün mimarisi. Çerçeve, çok ölçekli öznitelik çıkarımı için Transformer tabanlı bir kodlayıcı ve motif maskeleri oluşturmak için hafif bir segmentasyon kod çözücüden oluşur. Model; hayvan, bitki, geometrik ve arka plan olmak üzere dört semantik sınıf tahmin eder; burada elde edilen segmentasyon maskeleri, ilgisiz arka plan bilgilerini bastırırken kültürel açıdan anlamlı motif bölgelerini belirler. Bu segmentasyon çıktıları, önerilen SegCycle-SPADE çerçevesinin sonraki öznitelik birleştirme, yeniden yapılandırma ve sanatsal sentez aşamaları için yapısal rehberlik sağlar. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Önerilen çerçevede yeni segmentasyon anotasyonları oluşturmaya gerek yoktur. Miao Batik veri seti, halihazırda mevcut olan halka açık bir kaynaktan edinilmiş ve model, veri seti oluşturucuları tarafından sağlanan ilgili motif bilgileri kullanılarak eğitilmiştir. Öğrenme sürecinde SegFormer modeli semantik segmentasyon haritaları üretmiştir. Sonuç olarak, mevcut çalışma herhangi bir ek manuel anotasyon yazılımı, anotasyon kılavuzu veya anotasyon kalite kontrol prosedürü gerektirmemiştir.

CAFFM
Semantik segmentasyon özelliklerinin üretken yeniden yapılandırma temsilleriyle etkileşimini geliştirmek için çalışma aynı zamanda bir CAFFM önermiştir. SegFormer-B2 kodlayıcı, CAFFM modülüne semantik özellik haritaları sağlarken, CycleGAN yeniden yapılandırma adımı üretken özellik haritaları sağlar. İlk olarak, her iki özellik akışını ortak bir gömme alanına yansıtmak için doğrusal projeksiyon katmanları kullanılır. Çapraz dikkat hesaplaması için, üretilen özellik tensörleri kullanılarak sorgu (Q), anahtar (K) ve değer (V) temsilleri oluşturulur. Ardından, yapısal motif bilgileri ile sanatsal stil unsurları arasındaki ilişkiler çok başlı çapraz dikkat kullanılarak modellenir. Daha sonra, birleştirilmiş özellik temsillerine katman normalizasyonu, artık bağlantılar ve GELU aktivasyonlu ileri besleme katmanları uygulanır. SPADE tabanlı sentez aşaması, CAFFM modülünün çıktısını alarak sanatsal tutarlılıktan ödün vermeden kültürel açıdan anlamlı temaların korunmasını sağlar.

Özellik uyumluluğunu garanti etmek için, giriş özellikleri önce doğrusal projeksiyon katmanları kullanılarak 256 gömme boyutuna sahip ortak bir gömme uzayına projekte edilir. Ardından, anlamsal yapısal bilgiler ile üretken stil temsilleri arasındaki karşılıklı bağlantılar, sekiz dikkat başlığına sahip bir Çok Başlı Çapraz Dikkat (MultiHead Cross-Attention) mekanizması kullanılarak modellenir. Çapraz dikkat hesaplaması, spesifik doğrusal dönüşüm katmanları tarafından üretilen Sorgu (Q), Anahtar (K) ve Değer (V) vektörlerini kullanır. Eğitim kararlılığını artırmak ve özellik bütünlüğünü korumak için, birleştirilmiş özellik temsillerini daha da geliştirmek amacıyla artık bağlantılar ve Katman Normalizasyonu (Layer Normalization) uygulanır. Daha sonra, Gaussian Hata Doğrusal Birimi (GELU) aktivasyon fonksiyonuna sahip bir ileri beslemeli ağ uygulanarak doğrusal olmayan özellik öğrenimi geliştirilir. Modül tarafından 256 boyutunda bir çıktı özellik temsili oluşturulur ve yaratıcı sentez için diğer aşamalara gönderilir. CAFFM, çapraz dikkat tabanlı bir birleştirme tekniği kullanarak sanatsal stil verilerini kültürel motif yapılarıyla başarıyla birleştirir; bu da yeniden yapılandırılan kültürel miras desenlerinde motif korunumunu ve görsel tutarlılığı artırır.

Önerilen sistemde, yapısal özellikler Miao Batik veri setinden türetilirken, stilistik özellikler WikiArt veri setinden öğrenilmektedir. Miao Batik veri setindeki görüntüler kullanılarak SegFormer segmentasyon ağından türetilen özellik haritası F_s ile, WikiArt görüntülerini kullanan stil-özellik çıkarma dalından türetilen özellik haritası ise F_a ile gösterilsin. Önerilen CAFFM, kültürel desenlerin hem yapısal hem de stilistik bağımlılıklarını öğrenmek için bir çapraz dikkat (cross-attention) mekanizması kullanarak iki özellik alanını birleştirir. Tablo 3; gömme boyutları, normalizasyon katmanları, aktivasyon fonksiyonları ve dikkat başlığı yapılandırması dahil olmak üzere tüm mimari özellikleri rapor etmektedir. 256 × 256 piksel boyutundaki bir giriş görüntüsü için, SegFormer-B2 kodlayıcı 64 × 64 × 128 boyutunda semantik özellik haritaları üretirken, stil-özellik çıkarma dalı 64 × 64 × 128 boyutunda özellik haritaları üretmiştir. Her iki özellik haritası da çapraz dikkat füzyonu öncesinde, öğrenilebilir doğrusal katmanlar aracılığıyla 256 boyutlu ortak bir gömme alanına yansıtılmıştır.

Parametre	Konfigürasyon
Önerilen Çerçeve	SegCycle-SPADE
Semantik Segmentasyon Modeli	SegFormer-B2
SegFormer Kodlayıcı Aşamaları	4
Ağırlık Başlatma	ImageNet-1K Ön Eğitimli SegFormer-B2 (MIT-B2 Omurgası)
Kontrol Noktası Kaynağı	Resmi NVIDIA SegFormer Deposu (https://github.com/NVlabs/SegFormer); kontrol noktası: segformer.b2.512x512.ade.160k
İnce Ayar Stratejisi	Miao Batik veri kümesi üzerinde uçtan uca ince ayar
Yama Gömme Boyutu	7 × 7
Yama Adımı	4
Gömme Boyutları	64, 128, 320 ve 512
Kodlayıcı Derinlikleri	3, 4, 6 ve 3
Dikkat Başlıkları	1, 2, 5 ve 8
Kod Çözücü Tipi	Tamamı MLP'den Oluşan Dekoder
Aktivasyon Fonksiyonu	GELU
Yıpranma Oranı	0.1
Özellik İyileştirme Modülü	Çapraz-Dikkat Kültürel Özellik Füzyon Modülü (CAFFM)
CAFFM Gömme Boyutu	256
CAFFM Dikkat Başlıkları	8
CAFFM Füzyon Ölçekleri	4
Yeniden Yapılandırma Modeli	CycleGAN
Stil Oluşturma Modeli	SPADE
Kültürel Veri Seti	Miao Batik Veri Seti
Stil Veri Seti	WikiArt Veri Seti
Miao Batik Görüntüleri	15,148
WikiArt Görselleri	Yaklaşık 80.000
Giriş Görüntü Çözünürlüğü	256 × 256 piksel
Renk Formatı	RGB
İnterpolasyon Yöntemi	Bilineer İnterpolasyon
Gürültü Giderme Yöntemi	Gauss Filtreleme
Gauss Çekirdek Boyutu	5 × 5
Gaussian Sigma (σ)	1
Normalizasyon Aralığı	[0, 1]
Yığın Boyutu	16
Epok Sayısı	100
Optimize Edici	Adam
Öğrenme Oranı	0.0002
Adam Parametreleri	β₁ = 0.5, β₂ = 0.999, ε = 1 × 10⁻⁸, ağırlık azalması = 0
Kayıp Fonksiyonları	Segmentasyon Kaybı, Adversaryal Kayıp, Döngüsel Tutarlılık Kaybı, Rekonstrüksiyon Kaybı, Motif Koruma Kaybı ve Stil Tutarlılığı Kaybı
Veri Kümesi Bölme Stratejisi	Eğitim / Doğrulama / Test
Eğitim Seti	70%
Doğrulama Seti	15%
Test Seti	15%
Rastgele Tohum	42
Değerlendirme Metrikleri	Segmentasyon Doğruluğu, IoU, Dice Katsayısı, SSIM, PSNR ve FID
Programlama Dili	Python 3.8.10
Derin Öğrenme Çerçevesi	PyTorch 1.10.0
Donanım Platformu	NVIDIA RTX 3090 GPU (24 GB VRAM), Intel Core i7 (11. Nesil), 32 GB RAM
Çalışma Ortamı	Ubuntu 20.04 LTS

Tablo 3: Deneysel Kurulum ve Model Yapılandırması. Önerilen SegCycle-SPADE çerçevesinin uygulanması ve değerlendirilmesi için kullanılan mimari bileşenlerin, eğitim yapılandırmasının, ön işleme ayarlarının, veri kümelerinin, optimizasyon parametrelerinin, değerlendirme metriklerinin ve hesaplama ortamının özeti.

Dikkat modülü, öncelikle özellik haritasını Denklem 10'u kullanarak sorgu, anahtar ve değer temsillerine dönüştürür:

figure-protocol-13

Burada W_q, W_k ve W_v öğrenilebilir ağırlık matrisleridir. Dikkat ağırlıkları, sorgu vektörü ile anahtar vektörü arasındaki benzerliğe dayalı olarak Denklem 11¹⁷ kullanılarak hesaplanır:

figure-protocol-14

Burada, d_k anahtar vektörünün boyutudur. Geliştirilmiş özellik temsili, dikkat ağırlıklarının değer matrisi ile Denklem 12 kullanılarak çarpılmasıyla hesaplanır:

figure-protocol-15

Burada, F_a özellik haritasının geliştirilmiş özellik temsilidir. Geliştirilmiş özellik temsili, orijinal segmentasyon özellikleri ile dikkat mekanizması kullanılarak elde edilen geliştirilmiş özelliklerin Denklem 13 kullanılarak birleştirilmesiyle hesaplanır:

figure-protocol-16

Burada, F_e desen yeniden yapılandırması için kullanılan geliştirilmiş özellik haritasıdır. CAFFM, farklı ölçeklerdeki kültürel motifler için özellikler çıkarmak amacıyla çok ölçekli bir çapraz dikkat mekanizmasıyla genişletilmiştir. F_sⁱ ölçek i'deki segmentasyon özelliklerini, F_a^j ise aynı ölçekteki sanatsal stil özelliklerini temsil etsin. Nihai özellik temsili Denklem 14 kullanılarak tanımlanır:

figure-protocol-17

Burada Q_i, K_i ve V_i sırasıyla i ölçeğindeki sorgu (query), anahtar (key) ve değer (value) matrislerini temsil eder ve N özellik ölçeklerinin sayısını belirtir. Bu çalışmada, giriş görüntüsü boyutunun 1/4, 1/8, 1/16 ve 1/32 mekansal çözünürlüklerinde çıkarılan özellik haritalarına karşılık gelen N = 4 olarak belirlenmiştir. Bu çok ölçekli özellik temsilleri, yeniden yapılandırma ve sanatsal sentez öncesinde öğrenilebilir dikkat ağırlıkları kullanılarak birleştirilmiştir. Yukarıdaki genişletme, yöntemin kültürel desenleri yeniden yapılandırmak için küresel kültürel motifleri ve dokuları çıkarmasını sağlar. CAFFM, önerilen SegCycle-SPADE sisteminde SegFormer tabanlı segmentasyon aşaması ile SPADE tabanlı yaratıcı sentez aşaması arasında yer almaktadır. İlk olarak, CycleGAN stilsel ve desenle ilgili bilgileri içeren yeniden yapılandırma özelliklerini eş zamanlı olarak oluştururken, SegFormer-B2 kültürel motiflerin yapısal özelliklerini betimleyen semantik özellik haritalarını geri kazanır. CAFFM modülü bu iki özellik akışını alır ve yapısal ve sanatsal temsiller arasındaki ilişkileri belirlemek için çapraz dikkat tabanlı birleştirme (cross-attention-based fusion) kullanır. Semantik tutarlılığı ve yapısal özellikleri korurken kültürel olarak özgün desenler oluşturmak amacıyla, sonuçta ortaya çıkan birleştirilmiş özellik haritaları daha sonra segmentasyon yönlendirmeli yaratıcı sentez için SPADE modülüne gönderilir.

CycleGAN kullanarak Desen Yeniden Yapılandırma
Dikkat tabanlı özellik geliştirme aşaması tamamlandığında, özellik haritaları geliştirilmiş kültürel motif yapılarını içerecektir. Bununla birlikte, özellik haritaları hâlâ eksik veya hasarlı desen bölgeleri içerebilir. Bu nedenle, desenlerin yeniden yapılandırılması sorununu çözmek için önerilen çerçeve CycleGAN modelinden yararlanacaktır. Önerilen çerçevede iki alan, orijinal kültürel motif desenleri ve yeniden yapılandırılmış kültürel motif desenleri olacaktır. Önceki aşamalardan gelen geliştirilmiş özellikleri kullanan CycleGAN modeli, yapısal tutarlılığı koruyarak kültürel desenleri yeniden yapılandıracaktır. Bu durum; geometrik desenler, çiçeksi desenler ve sembolik desenler gibi kültürel desenlerin uzamsal düzenlerini korumalarını sağlayacaktır. Eksik veya hasarlı kültürel motifler oluşturmak için orijinal Miao Batik görüntüleri rastgele maskeleme ve kısmi örtme işlemlerine tabi tutulmuştur. Bu bozulma prosedürleri, yıpranmış kültürel miras eserlerinde yaygın olarak gözlemlenen eksik desen bölgelerini ve yapısal hasarları simüle etmiştir. Bozulmuş görüntüler yeniden yapılandırma modülüne girdi olarak kullanılırken, karşılık gelen orijinal görüntüler performans değerlendirmesi ve yeniden yapılandırma kalitesi değerlendirmesi için referans görüntüler olarak hizmet etmiştir. Bu strateji, modelin anlamsal tutarlılığı ve kültürel özellikleri korurken eksik motif yapılarının restorasyonunu öğrenmesini sağlamıştır.

X, tamamlanmamış kültürel kalıpların alanı ve Y, yeniden yapılandırılmış kültürel kalıpların alanı olsun. İki üreteç, Denklem 15'i kullanarak çift yönlü eşleme yapmayı öğrenir:

figure-protocol-18

Burada, motif yapılarını yeniden oluşturmak için G_E ve desenleri orijinal domaine geri eşlemek için F_M kullanılır. Yeniden oluşturulan desenlerin gerçekçi olduğundan emin olmak için adversariyal kayıp kullanılır (Denklem 16)³⁰

figure-protocol-19

Burada, D_Y gerçek ve yeniden yapılandırılmış desenleri ayırt etmek için kullanılan ayırıcıdır ve G_E(x) üretilen yeniden yapılandırılmış deseni ifade eder. CycleGAN, kültürel motiflerin yapısal düzenini korumak için döngüsel tutarlılığı da uygular (Denklem 17)³⁰.

figure-protocol-20

Nihai kayıp fonksiyonu Denklem 18³⁰ kullanılarak tanımlanmıştır:

figure-protocol-21

Burada λ_i, döngü tutarlılığı kaybı için ağırlıklandırma katsayısını temsil eder ve orijinal CycleGAN formülasyonuyla tutarlı olarak eğitim sırasında 10 olarak ayarlanmıştır. Bu değer, adversaryal öğrenme ile kaynak ve hedef alanlar arasındaki yeniden yapılandırma tutarlılığı arasında bir denge kurmak için seçilmiştir.

CycleGAN yeniden yapılandırma modülü, çift yönlü görüntü çevirisi için iki jeneratör ve iki diskriminatörden oluşur. Her jeneratör; başlangıçta bir 7 × 7 konvolüsyon katmanı, ardından iki alt örnekleme konvolüsyon katmanı, dokuz rezidüel blok ve iki üst örnekleme katmanından oluşan bir rezidüel ağ mimarisini takip eder. Geliştirilmiş özellik çıkarımı için 7 × 7 çekirdek kullanan giriş katmanı hariç, tüm konvolüsyon işlemleri 3 × 3 boyutunda bir çekirdek boyutu kullanır. Eğitim kararlılığını artırmak için her konvolüsyon katmanından sonra Örnek Normalizasyonu (Instance Normalization) uygulanırken, jeneratör ağının genelinde ReLU aktivasyonu kullanılır. Çıkış katmanı, normalize edilmiş görüntü çıktıları üretmek için Tanh aktivasyon fonksiyonunu kullanır. Diskriminatör, 4 × 4 çekirdek boyutlarına ve kademeli olarak artan özellik kanallarına sahip bir dizi konvolüsyonel katmandan oluşan 70 × 70 PatchGAN mimarisini takip eder. Özellik ayrımını ve çekişmeli öğrenmeyi (adversarial learning) geliştirmek için diskriminatörde Örnek Normalizasyonu ve LeakyReLU aktivasyonu (negatif eğim = 0.2) kullanılır. CycleGAN modülü, girdi olarak ön işlemden geçirilmiş kültürel motif görüntülerini alır ve daha sonra segmentasyon özellikleriyle entegrasyon için CAFFM'ye iletilen yeniden yapılandırılmış desen temsilleri oluşturur. CycleGAN eğitimi, 0.0002 başlangıç öğrenme hızıyla Adam optimize edici (β₁ = 0.5, β₂ = 0.999) kullanılarak gerçekleştirilmiştir. Öğrenme hızı ilk 100 epok boyunca sabit tutulmuş ve ardından kalan eğitim süresi boyunca lineer olarak sıfıra düşürülmüştür. Diskriminatör eğitimini stabilize etmek için önceden oluşturulmuş 50 görüntü içeren bir tekrar tamponu (replay buffer) kullanılmıştır. Jeneratörler ve diskriminatörler, her eğitim iterasyonunda bir jeneratör güncellemesini takip eden bir diskriminatör güncellemesi şeklinde, 1:1 güncelleme oranı kullanılarak güncellenmiştir.

CycleGAN'in yeniden yapılandırma süreci, Şekil 5'teki CAFFM mekanizması kullanılarak elde edilen geliştirilmiş özellik haritalarına dayanmaktadır. Özellik haritaları, önceki segmentasyon ve CAFFM aşamalarından elde edilen geliştirilmiş kültürel motifleri içerir. Özellik haritaları, ilk jeneratör G_E için girdi olarak kullanılır. İlk jeneratör G_E, kültürel desenleri yeniden yapılandırmak için gereken eşlemeyi öğrenir. Çıktılar daha sonra, gerçek kültürel desenler ile yeniden yapılandırılmış desenler arasındaki ayrımı yapmak üzere diskriminatör D_Y'ye aktarılır. Diskriminatör D_Y, jeneratör G_E'nin gerçekçi çıktılar üretmesine yardımcı olur. Yeniden yapılandırma sırasında kültürel desenlerin bozulmamasını sağlamak için, ikinci jeneratör F_M döngü tutarlılığı eşlemesi gerçekleştirir. İkinci jeneratör F_M, çıktıları orijinal alana geri eşler. Çıktılar daha sonra gerçekçiliği sağlamak amacıyla diskriminatör tarafından değerlendirilir. Nihai çıktılar, önerilen SegCycle-SPADE çerçevesinin bir sonraki aşamasındaki sanatsal stil üretimi için SPADE modülüne iletilir.

figure-protocol-22
Şekil 5. CycleGAN Tabanlı Desen Rekonstrüksiyon İş Akışı. CycleGAN rekonstrüksiyon modülünün iş akışı. Eksik kültürel motifleri rekonstrükt etmek için jeneratör ağına girdi olarak dikkatle güçlendirilmiş öznitelik temsilleri sağlanır. Diskriminatör, rekonstrükt edilmiş çıktıları referans desenlerle karşılaştırarak değerlendirirken, döngüsel tutarlılık eşlemesi çift yönlü görüntü çevirisi sırasında yapısal bütünlüğü korur. Rekonstrükt edilen motifler daha sonra sanatsal stil sentezi için SPADE modülüne iletilir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

SPADE kullanılarak Sanatsal Stil Üretimi
Ardından, yeniden oluşturulan kültürel motifler, sanatsal stil üretimi için SPADE modülüne tabi tutulur. SPADE modülünün temel amacı, motiflerin yapısal düzeninden ödün vermeden, yeniden oluşturulan kültürel motiflere sanatsal stile ait görsel olarak daha zengin dokular eklemektir. SPADE modülü, görüntü üretimi için görüntü segmentasyonu kavramından yararlanan koşullu bir görüntü üretme tekniğidir. Önceden belirlenmiş motif sınıflarına karşılık gelen çok kanallı semantik haritalar, SegFormer-B2 tarafından üretilen semantik segmentasyon maskelerinden kodlanmıştır. SPADE oluşturucusu, bu kodlanmış haritaları koşullandırma girişleri olarak almıştır. Uzamsal olarak uyarlamalı ölçekleme (γ) ve sapma (β) parametreleri, semantik haritaların her bir SPADE katmanı içindeki evrişimli katmanlar aracılığıyla işlenmesiyle üretilmiştir. Böylece oluşturucu, bu parametreleri normalize edilmiş öznitelik aktivasyonlarına uygulayarak sanatsal sentez sırasında motif sınırlarını, yapısal düzenleri ve semantik bilgileri koruyabilmiştir. Koşullandırma işlemi SPADE oluşturucusunun birkaç katmanında gerçekleştirildiği için semantik yönlendirme, hem üst düzey yapısal yeniden oluşturmayı hem de alt düzey doku sentezini etkileyebilmiştir. Sonuç olarak, oluşturulan sanatsal desenler, segmentasyon aşamasında bulunan kültürel motif yapılarını korurken WikiArt veri setinden elde edilen stilistik özellikleri bünyesine katmıştır.

Sanatsal stilleri anlamak için temel kaynak olarak; Rönesans, İzlenimcilik, Kübizm, Ekspresyonizm, Sürrealizm, Realizm ve Soyut Sanat gibi 27 farklı sanatsal kategoriye ait eserleri içeren WikiArt veri seti kullanılmıştır. Modelin çeşitli yaratıcı özelliklere maruz kalması ve stil genellemesinin artırılması amacıyla, eğitim sırasında çeşitli kategorilerden rastgele stil görüntüleri seçilmiştir. Stil yanlılığını azaltmak için veri seti; eğitim, doğrulama ve test alt kümelerine, sanatsal kategorilerin dengeli bir temsiliyle bölünmüştür. Tüm 27 sanatsal kategorinin dengeli bir şekilde temsil edilmesini sağlamak için tabakalı örnekleme yöntemi kullanılmıştır. Orijinal sınıf dağılımı korunarak, her kategoriden örnekler eğitim, doğrulama ve test alt kümelerine orantılı olarak dağıtılmıştır. WikiArt görüntülerinden türetilen stil özellikleri ile CycleGAN tarafından üretilen yeniden yapılandırma özelliklerini birleştirmek için CAFFM modülü kullanılmıştır. Sentez ağının, segmentasyon haritalarından türetilen semantik yapıyı ve kültürel motif sınırlarını korurken sanatsal özellikleri aktarabilmesi için, ortaya çıkan füzyon temsilleri SPADE üretecine koşullandırma bilgisi olarak sağlanmıştır. Önerilen çerçeve, bu stil-koşullandırma tekniği sayesinde tutarlı yapısal ve stilsel temsillere sahip, kültürel açıdan otantik sanatsal desenler üretebilmiştir.

SPADE ayrıca segmentasyon haritasına bağlı olan uzamsal adaptif parametreler sunar. Parametreler Denklem 19¹'de gösterildiği gibi tanımlanabilir:

figure-protocol-23

Burada, γ(S) mekansal olarak değişen ölçek parametresini ve β(S) mekansal olarak değişen sapma parametresini temsil eder. Parametreler, üretecin görüntülerdeki semantik bölgeye bağlı olarak farklı dokular ve stiller oluşturmasına yardımcı olabilir. Nihai kültürel sanat eseri, Denklem 20'de gösterildiği gibi tanımlanabilir:

figure-protocol-24

Burada, G_E SPADE üreteci, X_r^P yeniden yapılandırılmış desen ve SM segmentasyon haritasıdır. Nihai sanat eseri, sanatsal görünümü geliştirirken kültürel motiflerin yapısal bütünlüğünü korur. Önerilen SegCycle-SPADE mimarisini optimize etmek için semantik segmentasyon doğruluğunu, kültürel motif korunmasını, desen yeniden yapılandırma kalitesini ve sanatsal stil tutarlılığını dengeleyen bileşik bir kayıp fonksiyonu kullanılmıştır. Genel eğitim amacını belirlemek için segmentasyon kaybı (L_seg), adversariyal kayıp (L_adv), döngüsel tutarlılık kaybı (L_cycle), yeniden yapılandırma kaybı (L_recon), motif koruma kaybı (L_motif) ve stil tutarlılığı kaybının (L_style) ağırlıklı bir karışımı kullanılmıştır. Toplam kayıp fonksiyonu Denklem 21'de tanımlanmıştır:

figure-protocol-25 (21)

Giriş ve yeniden yapılandırılmış kültürel motifler arasında yapısal tutarlılığı garanti etmek için döngüsel tutarlılık kaybı katsayısı 10 olarak belirlenmiştir. İnce detaylı motif özelliklerini korumak ve görsel doğruluğu artırmak için yeniden yapılandırma kaybı katsayısı 5 olarak ayarlanmıştır. Sanatsal sentez sırasında kültürel açıdan temel yapısal kalıpların korunmasını vurgulamak amacıyla, motif koruma kaybı için 2 katsayısı kullanılmıştır. Semantik motif yapılarını aşırı bozmadan sanatsal stil transferini teşvik etmek için stil tutarlılığı kaybı katsayısı 1'e ayarlanmıştır. Gerçekçi görüntü üretimi ile hassas motif segmentasyonu arasında dengeli bir katkı sağlamak için segmentasyon ve adversariyal kayıplara eşit ağırlıklar verilmiştir. Stil tutarlılığı kaybını hesaplamak için WikiArt veri setinin özellik tabanlı stil temsilleri kullanılmıştır. Özellikle sanatsal stil özellikleri, derin özellik haritalarından alınan Gram matrisi korelasyonları kullanılarak yakalanmıştır. Denklem 22'de gösterildiği gibi, hedef stil görüntüsünün ve üretilen görüntünün Gram matrisleri arasındaki Frobenius norm farkı, stil kaybını hesaplamak için kullanılmıştır:

figure-protocol-26

Burada, G_{Lütfen çevirmemi istediğiniz metni paylaşın.} Gram matrisi şundan hesaplanır mı Lütfen çevirmemi istediğiniz metni sağlayın.^th özellik katmanı, I_{Lütfen çevirmemi istediğiniz metni sağlayın.} oluşturulan sanatsal görüntüyü ifade eder, I_stil WikiArt veri setinden alınan hedef stil görüntüsünü ifade eder ve F Frobenius normunu ifade eder. Bu formülasyon, önerilen çerçevenin kültürel motiflerin yapısal ve semantik bütünlüğünü korurken sanatsal özellikleri muhafaza etmesini sağlar.

CAFFM modülü tarafından üretilen birleştirilmiş öznitelik temsilleri, önerilen çerçevenin sanatsal sentez bileşeni olarak görev yapan SPADE modülüne koşullandırma girişleri olarak kullanılır. SPADE üreteci, 256 kanallık gizli öznitelik boyutuna sahip yedi SPADE artık bloğundan oluşur ve 256 × 256 piksel çözünürlüğünde çıktı görüntüleri üretir. SegFormer–CAFFM modülünden elde edilen semantik segmentasyon haritaları, SPADE artık katmanları boyunca koşullandırma girişleri olarak kullanılır. SPADE katmanları, her bir artık blok içerisindeki aktivasyon fonksiyonlarından önce uygulanarak segmentasyon güdümlü semantik koşullandırma sağlar. Ardışık üstörnekleme ve evrişim işlemleri aracılığıyla, semantik tutarlılığı ve motif yapısını korurken yüksek çözünürlüklü sanatsal desenler üretmek için gizli öznitelik temsili aşamalı olarak geliştirilir. Üreteci boyunca LeakyReLU aktivasyon fonksiyonları kullanılır ve normalize edilmiş görüntüler üretmek için çıktı katmanında bir Tanh aktivasyon fonksiyonu uygulanır.

Algoritma ve İş Akışı
SegCycle-SPADE çerçevesi; semantik segmentasyon, öznitelik füzyonu, desen yeniden yapılandırma ve sanatsal stil sentezini birleşik bir eğitim hattı içerisinde entegre eder. İş akışı; görüntü boyutlandırma, normalizasyon, gürültü giderme ve segmentasyon maskesi hazırlama dahil olmak üzere veri seti edinimi ve ön işleme ile başlar. Ön işlemeden geçmiş görüntüler, semantik motif temsillerini çıkarmak için SegFormer-B2 segmentasyon ağı kullanılarak işlenir. Elde edilen segmentasyon öznitelikleri, CAFFM aracılığıyla yeniden yapılandırma öznitelikleriyle birleştirilerek yapısal motif bilgileri ile sanatsal öznitelik temsilleri arasında etkileşim sağlanır. Birleştirilmiş öznitelik haritaları daha sonra, semantik tutarlılığı korurken eksik kültürel motif yapılarını restore eden CycleGAN yeniden yapılandırma modülüne aktarılır. Yeniden yapılandırılan desenler, motif sınırlarını ve yapısal özgünlüğü korurken stilistik iyileştirmeye olanak tanıyan segmentasyon güdümlü sanatsal sentez için SPADE üretecine sunulur. Eğitim sırasında model parametreleri; segmentasyon doğruluğunu, motif korunumunu, yeniden yapılandırma kalitesini ve sanatsal stil tutarlılığını dengeleyen Denklem 21 ve 22'de açıklanan bileşik kayıp fonksiyonu kullanılarak optimize edilir. Veri seti yükleme, ön işleme, model başlatma, eğitim yinelemeleri, doğrulama prosedürleri, kontrol noktası seçimi ve final değerlendirmesini içeren ayrıntılı adım adım uygulama iş akışı, Ek Dosya 1 (Algoritma 1)'de sunulmuştur. Tüm algoritmik iş akışı; 16'lık bir grup boyutu (batch size), 0.0002 öğrenme hızı ve 100 eğitim epoku kullanılarak uygulanmıştır. Veri seti bölümlendirme, model başlatma ve tüm eğitim deneyleri için 42 sabit rastgele tohum (seed) kullanılmıştır. Tekrarlanabilirliği sağlamak amacıyla tohum; Python, NumPy ve PyTorch rastgele sayı üreteçlerine tutarlı bir şekilde uygulanmıştır. Adam optimize edici β₁ = 0.5, β₂ = 0.999 ve ağırlık azalması olmaksızın (weight decay = 0) yapılandırılmıştır. Model kontrol noktaları, doğrulama veri setinde elde edilen en yüksek doğrulama IoU skoruna göre seçilmiştir.

Kayıp Fonksiyonu Optimizasyonu
Yeniden yapılandırma ve sanatsal sentez sırasında kültürel motif yapılarını korumak için önerilen çerçeve; segmentasyon, adversariyal (çekişmeli), döngüsel tutarlılık, yeniden yapılandırma, motif koruma ve stil tutarlılığı kayıplarını birleştiren kompozit bir optimizasyon hedefi kullanır. Tam matematiksel formülasyon, ağırlıklandırma katsayıları ve stil kaybı tanımı, SPADE kullanılarak Sanatsal Stil Üretimi alt bölümündeki Denklem 21 ve 22'de sunulmuştur. Motif koruma bileşeni, tahmin edilen motif bölgeleri ile karşılık gelen gerçek (ground-truth) segmentasyon maskeleri arasındaki yapısal sapmaları cezalandırarak, yeniden yapılandırma süreci boyunca kültürel açıdan anlamlı desen yapılarının korunmasını teşvik eder.

Sonuçlar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Önerilen SegCycle-SPADE çerçevesi, iki veri seti kullanılarak değerlendirilmiştir: Miao Batik kültürel motif veri seti ve WikiArt veri seti. Miao Batik veri seti, geleneksel kültürel miras görüntülerini içermekte olup öncelikle semantik segmentasyon ve yapısal yeniden yapılandırma görevleri için kullanılmıştır; WikiArt veri seti ise çeşitli sanatsal stiller içermekte olup sanatsal stil öğrenimi ve üretimi için kullanılmıştır. Her iki veri setinden alınan görüntüler; semantik segmentasyon, CAFFM, desen yeniden yapılandırma ve SPADE tabanlı sanatsal stil üretimi dahil olmak üzere tüm SegCycle-SPADE hattı üzerinden işlenmiştir. Kültürel motif bilgilerinin ve sanatsal stil temsillerinin entegrasyonu, çerçevenin kültürel açıdan anlamlı ve görsel olarak tutarlı çıktılar üretmesini sağlamıştır.

Tüm deneyler, Intel Core i7 işlemci ve bir NVIDIA GPU ile donatılmış, GPU destekli bir iş istasyonunda yürütülmüştür. Spesifik olarak deneyler; Intel Core i7 (11. Nesil) CPU, 24 GB VRAM'e sahip bir NVIDIA RTX 3090 GPU ve 32 GB sistem belleği ile donatılmış bir iş istasyonunda gerçekleştirilmiştir. Modeller, Python 3.8 ve CUDA hızlandırmalı PyTorch 1.10 kullanılarak uygulanmıştır. Eğitim, dağıtık eğitim olmadan, tek GPU'lu bir kurulum kullanılarak yapılmıştır. Tüm deneyler boyunca standart FP32 hassasiyeti kullanılmış ve karma hassasiyetli (mixed-precision) eğitim uygulanmamıştır. 100 eğitim epoku boyunca, 16'lık paket boyutu (batch size) ile Adam optimize edici kullanılmıştır. Tablo 3, bu çalışmada kullanılan uygulama parametrelerini ve hesaplama ortamını özetlemektedir.

Önerilen mimari dört ana bileşenden oluşmaktadır: semantik segmentasyon için SegFormer-B2, özellik füzyonu için CAFFM, motif rekonstrüksiyonu için CycleGAN ve sanatsal stil sentezi için SPADE. Her iki veri setinden alınan görüntüler, eğitim öncesinde 256 × 256 piksel boyutuna yeniden boyutlandırılmıştır. Bu standartlaştırılmış çözünürlük, önemli motif ayrıntılarını korurken hesaplama verimliliğini sağlamış ve hem CycleGAN hem de SPADE modüllerinin stabil adversaryal eğitimine katkıda bulunmuştur.

Önerilen çerçevenin performansı; Segmentasyon Doğruluğu, IoU, Dice Benzerlik Katsayısı (Dice), SSIM, PSNR ve FID dahil olmak üzere segmentasyon ve görüntü kalitesi değerlendirme metrikleri kullanılarak değerlendirilmiştir. Görsel özgünlük, üretilen kültürel desenlerin görsel incelemesi yoluyla nitel olarak değerlendirilmiştir. Nitel değerlendirme; motif korunumu, anlamsal tutarlılık, kültürel özellikler ve referans kültürel motiflere göre sanatsal görünüme odaklanmıştır. Görsel özgünlük, bağımsız bir nicel değerlendirme metriği olarak kullanılmamıştır.

Önerilen çerçevenin nicel değerlendirmesi aşağıdaki metrikler kullanılarak gerçekleştirilmiştir.

Segmentasyon Doğruluğu, Denklem 23 kullanılarak hesaplanmıştır:

figure-results-1

Burada TP, TN, FP ve FN sırasıyla doğru pozitifleri, doğru negatifleri, yanlış pozitifleri ve yanlış negatifleri ifade eder.

IoU, Denklem 24 kullanılarak hesaplanmıştır:

figure-results-2

Dice Benzerlik Katsayısı (Dice), Denklem 25 kullanılarak hesaplanmıştır:

figure-results-3

Algısal görüntü benzerliğini değerlendirmek için SSIM kullanılmıştır ve Denklem 26³³ ile tanımlanmıştır:

figure-results-4 (26)

Burada μ ortalama yoğunluğu, σ varyansı, σ_xy görüntüler arasındaki kovaryansı ve C₁ ile C₂ ise stabilize edici sabitleri temsil eder.

PSNR, oluşturulan görüntülerin kalitesini değerlendirmek için yaygın olarak kullanılan bir metriktir ve Denklem 27³³'de tanımlanmıştır:

figure-results-5

Burada, Max_I görüntünün mümkün olan maksimum piksel değerini, MSE ise orijinal görüntü ile yeniden oluşturulan görüntü arasındaki ortalama kare hatayı ifade eder.

FID, Denklem 28'de³³ olduğu gibi ortalamalar ve kovaryans matrisleri kullanılarak hesaplanabilir:

figure-results-6 (28)

Burada, μ_r gerçek görüntünün ortalama değerini, μ_g üretilen görüntünün ortalama değerini, Σ_r ve Σ_g ise sırasıyla gerçek ve üretilen görüntülerin kovaryans matrislerini temsil eder.

Performans karşılaştırması için, önerilen çerçeve; semantik segmentasyon, görüntü yeniden yapılandırma ve sanatsal görüntü oluşturma için yaygın olarak kullanılan temsili yöntemlere karşı değerlendirilmiştir. Segmentasyon temel çizgileri olarak U-Net ve DeepLabV3+ dahil edilirken, yeniden yapılandırma temel çizgileri olarak Pix2Pix ve CycleGAN dahil edilmiştir. Temsili sanatsal görüntü oluşturma yöntemleri olarak StyleGAN ve AttentionGAN kullanılmıştır. Bu karşılaştırmalar, SegCycle-SPADE'in sanatsal kaliteyi artırırken aynı zamanda yapısal motif bilgisini korumadaki etkinliğini değerlendirmek amacıyla gerçekleştirilmiştir.

Performans kararlılığını ve tekrarlanabilirliğini değerlendirmek için her deney beş kez tekrarlanmıştır. Tüm deneylerde tutarlı eğitim, doğrulama ve test alt kümeleri sağlamak amacıyla veri kümesi bölümlendirmesi için 42 sabit rastgele tohumu (random seed) kullanılmıştır. Sonuçlar ortalama ± standart sapma olarak bildirilmiştir. Accuracy, IoU, Dice, SSIM, PSNR ve FID değerlerinde gözlemlenen düşük standart sapma değerleri, önerilen çerçevenin tekrarlanan deneysel çalışmalar boyunca kararlı bir performans sergilediğini göstermektedir. İstatistiksel anlamlılık eşleştirilmiş t-testleri kullanılarak değerlendirilmiş ve farklar p < 0.05 olduğunda istatistiksel olarak anlamlı kabul edilmiştir. Tüm modeller aynı veri kümesi bölümleri üzerinde değerlendirildiği için, tekrarlanan çalışmalar arasında eşleştirilmiş performans ölçümleri elde edilmiş ve bu durum eşleştirilmiş t-testlerinin kullanımını gerekçelendirmiştir. Çoklu ikili karşılaştırmalarla ilişkili aile bazlı hata oranını kontrol etmek için Bonferroni düzeltmesi uygulanmış ve istatistiksel anlamlılık, n'nin ikili karşılaştırma sayısını belirttiği α/n şeklinde düzeltilmiş bir eşik kullanılarak belirlenmiştir.

Deneysel bulgular, önerilen SegCycle-SPADE çerçevesinin etkinliğini güçlü bir şekilde desteklemektedir. SegFormer-B2 tarafından elde edilen üstün segmentasyon performansı, kültürel açıdan anlamlı motif sınırlarını doğru bir şekilde tanımlama ve koruma yeteneğini kanıtlamaktadır. IoU ve Dice skorlarındaki iyileşmeler, işlem hattı boyunca semantik motif yapılarının etkili bir şekilde korunduğuna işaret etmektedir. CycleGAN ve SPADE entegrasyonu, iyileşen SSIM ve PSNR değerlerinin de yansıttığı üzere, ince taneli görsel detayları korurken eksik motif yapılarını başarıyla yeniden oluşturmuştur. Ayrıca, daha düşük FID skorları, üretilen sanatsal desenlerin otantik kültürel ve sanatsal görüntülere daha fazla benzerlik gösterdiğini ortaya koyarak, gelişmiş stilistik tutarlılık ve görsel gerçekçiliğe işaret etmektedir.

CAFFM, segmentasyon kaynaklı yapısal bilgiler ile üretken stil temsilleri arasında etkili bir etkileşim sağlayarak bu iyileştirmelere önemli katkıda bulunmuştur. Çapraz dikkat tabanlı özellik füzyonu aracılığıyla CAFFM, kültürel motifler arasındaki uzun menzilli ilişkileri korurken hem yapısal sadakati hem de sanatsal özgünlüğü artırmıştır.

Şekil 6, önerilen SegCycle-SPADE çerçevesi ile mevcut yöntemlerin Miao Batik ve WikiArt veri setleri üzerindeki segmentasyon doğruluğu karşılaştırmasını sunmaktadır. U-Net ve DeepLabV3+ gibi geleneksel segmentasyon yaklaşımları, uzamsal temsilleri öğrenme yetenekleri sayesinde rekabetçi bir performans sergilemiştir. Ancak, Pix2Pix ve CycleGAN, özellikle segmentasyon görevleri için tasarlanmadıkları için daha düşük segmentasyon doğruluğu göstermiştir. Önerilen SegCycle-SPADE çerçevesi, SegFormer-B2 ve CAFFM tabanlı özellik geliştirme entegrasyonu sayesinde her iki veri setinde de en yüksek segmentasyon doğruluğuna ulaşmıştır.

figure-results-7
Şekil 6. Farklı Yöntemler Arasındaki Segmentasyon Doğruluğunun Karşılaştırılması. Miao Batik ve WikiArt veri kümeleri üzerinde U-Net, DeepLabV3+, Pix2Pix, CycleGAN ve önerilen SegCycle-SPADE çerçevesi kullanılarak elde edilen segmentasyon doğruluğunun karşılaştırılması. Sonuçlar, beş bağımsız çalıştırmadan (n = 5) elde edilen ortalama ± standart sapma (SD) olarak sunulmuştur. Hata çubukları bir standart sapmayı temsil etmektedir. Daha yüksek değerler, iyileştirilmiş segmentasyon performansını gösterir. Önerilen SegCycle-SPADE çerçevesi, her iki veri kümesinde de en yüksek segmentasyon doğruluğunu sağlamıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7, değerlendirilen yöntemler arasındaki IoU karşılaştırmasını sunmaktadır. U-Net ve DeepLabV3+, segmentasyon odaklı mimarileri sayesinde güçlü örtüşme performansı sergilemiştir. Buna karşılık, Pix2Pix ve CycleGAN, temel amaçlarının semantik segmentasyondan ziyade görüntü çevirisi olması nedeniyle daha düşük IoU değerleri üretmiştir. Önerilen SegCycle-SPADE çerçevesi, her iki veri setinde de en yüksek IoU değerlerine ulaşarak kültürel motif bölgelerinin lokalizasyonunda ve korunmasında iyileşme sağladığını göstermiştir.

figure-results-8
Şekil 7. Kültürel Motif Segmentasyonu için Kesişim üzerinden Birleşim (IoU) Skorlarının Karşılaştırılması. Miao Batik ve WikiArt veri kümeleri üzerinde segmentasyon yöntemleri arasındaki IoU performansının karşılaştırılması. Sonuçlar, beş bağımsız çalıştırmadan (n = 5) elde edilen ortalama ± standart sapma (SD) olarak sunulmuştur. Hata çubukları bir standart sapmayı göstermektedir. Daha yüksek IoU değerleri, tahmin edilen ve referans motif bölgeleri arasında daha iyi bir örtüşme ve motif sınırlarının daha iyi korunduğunu gösterir. Önerilen SegCycle-SPADE çerçevesi her iki veri kümesinde de en yüksek IoU skorlarını elde etmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 8, Dice Benzerlik Katsayısı karşılaştırmasını sunmaktadır. Dice, tahmin edilen segmentasyon maskeleri ile gerçek motif bölgeleri arasındaki örtüşmeyi ölçer. Geleneksel segmentasyon yaklaşımları, uzamsal yapıları öğrenmedeki etkinlikleri nedeniyle nispeten yüksek Dice skorları elde etmiştir. Bununla birlikte, önerilen SegCycle-SPADE çerçevesi, her iki veri setinde de en yüksek Dice skorlarını elde ederek iyileştirilmiş segmentasyon tutarlılığı ve motif koruması sergilemiştir.

figure-results-9
Şekil 8. Kültürel Motif Segmentasyonu için Dice Katsayısının Karşılaştırılması. Miao Batik ve WikiArt veri kümeleri üzerinde farklı segmentasyon yaklaşımları kullanılarak elde edilen Dice katsayısı değerlerinin karşılaştırılması. Dice katsayısı, tahmin edilen segmentasyon maskeleri ile referans maskeler arasındaki örtüşmeyi değerlendirir; daha yüksek değerler, geliştirilmiş segmentasyon performansını ve motif bölgesi tanımlamasını gösterir. Önerilen SegCycle-SPADE çerçevesi, her iki veri kümesinde de en yüksek Dice katsayısı değerlerini elde etmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Şekil 9, yeniden oluşturulan kültürel desenler arasındaki SSIM karşılaştırmasını sunmaktadır. Pix2Pix, CycleGAN ve StyleGAN gibi GAN tabanlı yöntemler, görüntü oluşturma için tasarlanmış olduklarından geleneksel segmentasyon yöntemlerinden daha yüksek SSIM değerleri elde etmiştir. Buna rağmen, önerilen SegCycle-SPADE çerçevesi her iki veri setinde de en yüksek SSIM değerlerine ulaşarak yapısal detayların ve sanatsal tutarlılığın üstün düzeyde korunduğunu göstermiştir. figure-results-10

Şekil 9. Yapısal Benzerlik İndeksinin (SSIM) karşılaştırılması.Miao Batik ve WikiArt veri kümelerinde farklı yeniden yapılandırma yöntemleri kullanılarak elde edilen Yapısal Benzerlik İndeksi (SSIM) değerlerinin karşılaştırılması. Sonuçlar, beş bağımsız çalışmadan (n = 5) elde edilen ortalama ± standart sapma (SD) olarak sunulmuştur. Hata çubukları bir standart sapmayı göstermektedir. Daha yüksek SSIM değerleri, yeniden yapılandırılan ve referans desenler arasında daha büyük bir yapısal benzerlik olduğunu gösterir. Önerilen SegCycle-SPADE çerçevesi, her iki veri kümesinde de en yüksek SSIM puanlarını elde etmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Oluşturulan sanatsal desenlerin gerçekçiliğini ve dağılımsal benzerliğini değerlendirmek için FID kullanılmıştır. FID hesaplaması, pool3 katmanından özellik vektörlerinin çıkarılmasıyla 2048 boyutlu özellik temsilleri elde edilerek, önceden eğitilmiş bir Inception-v3 ağı kullanılarak gerçekleştirilmiştir. Özellik çıkarımı öncesinde, oluşturulan görüntüler ve referans görüntüler, bilinear interpolasyon kullanılarak 299 × 299 piksele yeniden boyutlandırılmış ve standart Inception-v3 ön işleme protokolüne göre normalize edilmiştir. FID, bağımsız test veri setinden çıkarılan özellik dağılımları kullanılarak hesaplanmıştır. Ortalama ve kovaryans istatistikleri, özellik gömmelerinden tahmin edilmiş ve standart FID formülasyonu dahilinde kullanılmıştır.

Tablo 4'te gösterildiği gibi, Pix2Pix ve CycleGAN gibi geleneksel görüntü oluşturma yaklaşımları, açık yapısal rehberlikten yoksun oldukları için nispeten yüksek FID skorları üretmiştir. StyleGAN ve AttentionGAN, geliştirilmiş özellik öğrenme yetenekleri sayesinde daha düşük FID skorları elde etmiştir. Bununla birlikte, önerilen SegCycle-SPADE çerçevesi her iki veri setinde de en düşük FID skorlarını elde ederek üstün görüntü gerçekçiliği, stilistik tutarlılık ve kültürel motif koruması sergilemiştir.

Yöntem	Miao Batik Veri Kümesi (FID)	WikiArt Veri Seti (FID)
Pix2Pix	48.6	52.3
CycleGAN	42.8	46.5
StyleGAN	39.7	43.1
AttentionGAN	36.9	40.4
SegCycle-SPADE (Önerilen)	28.5	31.2

Tablo 4: Kültürel Desen Rekonstrüksiyonu için Frechet Inception Distance (FID) Sonuçları. Önerilen SegCycle-SPADE çerçevesi ve temel üretici modeller tarafından Miao Batik ve WikiArt veri kümeleri üzerinde elde edilen Frechet Inception Distance (FID) skorlarının karşılaştırılması. Daha düşük FID değerleri, üretilen ve gerçek görüntü özellik dağılımları arasındaki benzerliğin daha fazla olduğunu gösterir ve dolayısıyla rekonstrükte edilen kültürel desenlerin görsel gerçekliğinin arttığını yansıtır.

Şekil 10, farklı yöntemlerle elde edilen rekonstrüksiyon kalitesini karşılaştırmaktadır. Rekonstrüksiyon Kalitesi (%), rekonstrükte edilen görüntü ile ilgili referans görüntü arasındaki SSIM değerinin yüzde ölçeğine dönüştürülmesiyle (SSIM × 100) hesaplanmıştır. Daha yüksek yüzdeler, orijinal kültürel motife karşı daha yüksek yapısal sadakat ve görsel benzerliğe işaret eder. Pix2Pix ve CycleGAN gibi geleneksel üretici modeller orta düzeyde rekonstrüksiyon performansı sergilemiştir. StyleGAN ve AttentionGAN dahil olmak üzere daha gelişmiş mimariler, gelişmiş özellik öğrenme yetenekleri sayesinde daha iyi rekonstrüksiyon kalitesi elde etmiştir. Bununla birlikte, önerilen SegCycle-SPADE çerçevesi; semantik segmentasyon rehberliği, çapraz dikkat özellik füzyonu, rekonstrüksiyon öğrenimi ve sanatsal sentez entegrasyonu sayesinde en yüksek rekonstrüksiyon kalitesine ulaşmıştır.

figure-results-11
Şekil 10. Desen Rekonstrüksiyon Kalitesinin Karşılaştırılması. Miao Batik ve WikiArt veri kümeleri üzerinde Pix2Pix, CycleGAN, StyleGAN, AttentionGAN ve önerilen SegCycle-SPADE çerçevesi kullanılarak elde edilen rekonstrüksiyon kalitesinin karşılaştırılması. Sonuçlar, beş bağımsız çalıştırmadan (n = 5) elde edilen ortalama ± standart sapma (SD) olarak sunulmuştur. Hata çubukları bir standart sapmayı göstermektedir. Daha yüksek değerler; yapısal detayların, semantik tutarlılığın ve görsel sadakatin daha iyi korunduğunu belirtir. Önerilen SegCycle-SPADE çerçevesi, her iki veri kümesinde de en yüksek rekonstrüksiyon kalitesi puanlarını elde etmiştir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Yeniden yapılandırma doğruluğunu değerlendirmek için, yeniden yapılandırılan görüntüler ile ilgili referans görüntüler arasındaki piksel düzeyindeki benzerliği ölçen PSNR kullanılmıştır. PSNR, her bir yeniden yapılandırılan görüntü ile temel gerçeklik (ground-truth) referansı olarak kullanılan ilgili orijinal Miao Batik görüntüsü arasında hesaplanmıştır. Daha yüksek PSNR değerleri, daha düşük yeniden yapılandırma hatasını gösterir. Tablo 5'te gösterildiği gibi, Pix2Pix ve CycleGAN, açık bir yapısal yönlendirme olmaksızın desenleri yeniden yapılandırdıkları için orta düzeyde PSNR değerleri elde etmiştir. StyleGAN ve AttentionGAN, daha derin özellik öğrenimi yoluyla daha yüksek PSNR değerlerine ulaşmıştır. Önerilen SegCycle-SPADE çerçevesi, her iki veri kümesinde de en yüksek PSNR değerlerini elde ederek üstün yeniden yapılandırma doğruluğu ve kültürel motif yapılarının korunmasını kanıtlamıştır.

Yöntem	Miao Batik Veri Kümesi (PSNR, dB)	WikiArt Veri Kümesi (PSNR, dB)
Pix2Pix	25.8	24.6
CycleGAN	27.3	26.1
StyleGAN	28.7	27.5
AttentionGAN	29.9	28.6
SegCycle-SPADE (Önerilen)	32.4	31.2

Tablo 5: Kültürel Desen Rekonstrüksiyonu için Tepe Sinyal-Gürültü Oranı (PSNR) Sonuçları. Önerilen SegCycle-SPADE çerçevesi ve temel yöntemler tarafından Miao Batik ve WikiArt veri kümeleri üzerinde elde edilen Tepe Sinyal-Gürültü Oranı (PSNR) değerlerinin karşılaştırılması. Daha yüksek PSNR değerleri, ilgili referans görüntülere kıyasla iyileştirilmiş rekonstrüksiyon sadakatini ve azalmış bozulmayı gösterir.

Şekil 11 Önerilen SegCycle-SPADE çerçevesinin eğitim sırasındaki yakınsama davranışını göstermektedir. Kayıp eğrileri, beş bağımsız eğitim çalışması üzerinden ortalaması alınan ortalama eğitim kayıplarını temsil etmektedir. Stokastik değişkenliği azaltmak ve eğitim yakınsamasının daha sağlam bir temsilini sunmak için kayıp değerleri, tüm çalışmalar genelinde her epokta ortalanmıştır. İlk eğitim epokları sırasında, model girdi verilerinden özellik temsillerini hâlâ öğrendiği için kayıp değerleri nispeten yüksek seyretmiştir. Eğitim ilerledikçe, tüm kayıp bileşenleri kademeli olarak azalmış ve stabilize olmuştur; bu durum segmentasyon, rekonstrüksiyon ve sanatsal sentez hedeflerinin başarıyla optimize edildiğini göstermektedir. Gözlemlenen yakınsama davranışı, önerilen çerçevenin eğitim sırasındaki etkinliğini, stabilitesini ve tekrarlanabilirliğini kanıtlamaktadır.

figure-results-12
Şekil 11. Önerilen SegCycle-SPADE Çerçevesinin Eğitim Yakınsaması. Önerilen SegCycle-SPADE çerçevesinin 100 eğitim epoku boyunca, beş bağımsız eğitim çalışmasının ortalaması alınmış (n = 5) eğitim kaybı eğrileri. Şekil; eğitim sırasında toplam kaybın (LTotal), segmentasyon kaybının (LSeg), jeneratör kaybının (LG) ve diskriminatör kaybının (LD) gelişimini göstermektedir. Tüm kayıp bileşenlerinin kademeli olarak azalması ve ardından stabilize olması, önerilen çerçevenin başarılı bir yakınsama gösterdiğini ve kararlı bir optimizasyon gerçekleştiğini belirtmektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Ablasyon Çalışması
Önerilen SegCycle-SPADE çerçevesindeki her bir bileşenin katkısını değerlendirmek için, birden fazla kontrollü model konfigürasyonu kullanılarak bir ablasyon çalışması yürütülmüştür. Sonuçlar Tablo 6 ve 7'de özetlenmiştir.

Model Konfigürasyonu	Segmentasyon Doğruluğu (%)	IoU (Kesişim Üzerinden Birleşim)	SSIM
Sadece SegFormer	87.3	0.76	0.82
SegFormer + CAFFM	89.6	0.79	0.86
SegFormer + CAFFM + CycleGAN	91.4	0.82	0.89
SegFormer + CAFFM + CycleGAN + SPADE (Önerilen)	93.8	0.86	0.93

Tablo 6: SegCycle-SPADE Bileşenlerinin Ablasyon Çalışması. Bireysel çerçeve bileşenlerinin katkısını değerlendirmek için kademeli olarak geliştirilmiş model konfigürasyonlarının performans karşılaştırması. Çalışma; semantik segmentasyonun, Çapraz Dikkatli Kültürel Özellik Füzyon Modülü'nün (CAFFM), CycleGAN tabanlı yeniden yapılandırmanın ve SPADE tabanlı sanatsal sentezin segmentasyon doğruluğu, Kesişim üzerinden Birleşim (IoU) ve Yapısal Benzerlik İndeksi (SSIM) üzerindeki etkilerini incelemektedir. Daha yüksek değerler, iyileştirilmiş motif segmentasyonu, yeniden yapılandırma kalitesi ve yapısal korumayı göstermektedir.

Varyant	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Yalnızca SegFormer	84.2 ± 0.4	88.5 ± 0.3	0.82 ± 0.01	24.8 ± 0.2	31.8 ± 0.6
SegFormer + CycleGAN	86.7 ± 0.3	90.2 ± 0.2	0.85 ± 0.01	26.3 ± 0.2	27.5 ± 0.5
SegFormer + SPADE	87.0 ± 0.3	90.5 ± 0.2	0.88 ± 0.01	27.8 ± 0.2	23.4 ± 0.4
SegFormer + CAFFM	90.0 ± 0.2	93.1 ± 0.2	0.90 ± 0.01	29.6 ± 0.1	20.3 ± 0.3
SegCycle-SPADE (Tam Model)	93.0 ± 0.2	95.4 ± 0.1	0.92 ± 0.01	31.2 ± 0.1	17.6 ± 0.2

Tablo 7: Önerilen SegCycle-SPADE Çerçevesinin Bileşen Katkı Analizi. CAFFM, CycleGAN, SPADE ve tam SegCycle-SPADE mimarisinin katkısını değerlendirmek için kullanılan bireysel çerçeve varyantlarının performans karşılaştırması. Sonuçlar; Kesişim üzerinden Birleşim (IoU), Dice katsayısı, Yapısal Benzerlik İndeksi (SSIM), Tepe Sinyal-Gürültü Oranı (PSNR) ve Frechet Inception Uzaklığı (FID) kullanılarak raporlanmıştır. Daha yüksek IoU, Dice, SSIM ve PSNR değerleri iyileştirilmiş segmentasyon ve yeniden yapılandırma kalitesini gösterirken, daha düşük FID değerleri üretilen kültürel desenlerin daha yüksek görsel gerçekçiliğe sahip olduğunu gösterir.

Tablo 6; (i) yalnızca SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN ve (iv) SegFormer + CAFFM + CycleGAN + SPADE (önerilen çerçeve) olmak üzere dört konfigürasyonu kullanarak ana çerçeve bileşenlerinin kümülatif katkısını değerlendirmektedir. Temel SegFormer modeli %87,3 segmentasyon doğruluğu, 0,76 IoU skoru ve 0,82 SSIM değeri elde etmiştir. CAFFM modülünün dahil edilmesi tüm değerlendirme metriklerinde performansı artırarak segmentasyon doğruluğunu %89,6'ya, IoU'yu 0,79'a ve SSIM'i 0,86'ya yükseltmiştir. CycleGAN'ın eklenmesi yapısal yeniden yapılandırma kapasitesini daha da geliştirmiş ve sonuç olarak 0,82 IoU ile 0,89 SSIM değeri sağlanmıştır. Tam SegCycle-SPADE çerçevesi; %93,8 segmentasyon doğruluğu, 0,86 IoU ve 0,93 SSIM değeri ile genel olarak en iyi performansı göstermiştir. Bu sonuçlar, her bir bileşenin segmentasyon doğruluğunun artmasına, yapısal korunuma ve görüntü yeniden yapılandırma kalitesine kademeli olarak katkıda bulunduğunu kanıtlamaktadır.

Tablo 7; (i) sadece SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM ve (v) SegFormer, CAFFM, CycleGAN, SPADE ve motif koruma kaybını içeren tam model olmak üzere beş model varyantı kullanarak bireysel çerçeve bileşenlerinin katkısını daha ayrıntılı olarak incelemektedir. Performans; IoU, Dice katsayısı, SSIM, PSNR ve FID metrikleri kullanılarak değerlendirilmiştir.

Temel SegFormer-yalnız konfigürasyonu %84,2 IoU, %88,5 Dice katsayısı, 0,82 SSIM değeri, 24,8 dB PSNR ve 31,8 FID skoru elde etmiştir. CycleGAN eklenmesi rekonstrüksiyon kalitesini artırmış ve FID skorunu 27,5'e düşürerek görüntü gerçekçiliğinin geliştiğini göstermiştir. SPADE'nin dahil edilmesi yapısal benzerliği ve görüntü kalitesini daha da iyileştirerek 0,88 SSIM değeri ve 23,4 FID skoru ile sonuçlanmıştır. Önerilen CAFFM modülünün eklenmesi tüm metriklerde önemli kazanımlar sağlayarak IoU'yu %90,0'a, Dice katsayısını %93,1'e, SSIM'i 0,90'a ve PSNR'ı 29,6 dB'ye yükseltirken, FID skorunu 20,3'e düşürmüştür. Ek olarak motif koruma kaybını (motif-preservation loss) içeren tam model; %93,0 IoU, %95,4 Dice katsayısı, 0,92 SSIM değeri, 31,2 dB PSNR ve 17,6 FID skoru ile en iyi genel performansı sergilemiştir.

Tablo 8, kültürel miras desen rekonstrüksiyonu ve korunması için kullanılan temsilci derin öğrenme (DL) yaklaşımlarının karşılaştırmalı bir genel görünümünü sunmaktadır. Geleneksel CNN tabanlı yöntemler, etkili yerel özellik öğrenimi ve segmentasyon performansı sağlasa da, sınırlı uzun menzilli bağımlılık modellemesi nedeniyle genellikle karmaşık motif yapılarını korumakta zorlanmaktadır. GAN tabanlı yaklaşımlar, görüntü sentezi ve stil aktarımı yeteneklerini geliştirmektedir; ancak, semantik tutarsızlıklardan ve ince yapısal detayların kaybından muzdarip olabilirler. Transformer tabanlı yöntemler küresel bağlamsal anlamayı geliştirmekle birlikte genellikle üretken rekonstrüksiyon yeteneklerinden yoksundur; öte yandan, difüzyon tabanlı yöntemler artan hesaplama karmaşıklığı pahasına yüksek görsel gerçekçilik sunar. Hibrit Transformer-GAN yaklaşımları, özellik çıkarma ve görüntü oluşturma mekanizmalarını birleştirerek bu sınırlamaları kısmen giderir. Buna karşın, önerilen SegCycle-SPADE çerçevesi; Transformer tabanlı segmentasyonu, çapraz dikkat (cross-attention) özellik füzyonunu, üretken rekonstrüksiyonu ve segmentasyon güdümlü sanatsal sentezi birleşik bir mimari içinde entegre ederek yapısal sadakati, semantik tutarlılığı ve kültürel motif korunumunu geliştirmektedir. Karşılaştırma Tablo 8'de özetlenmiştir.

Yaklaşım	Temel Metodoloji	Güçlü Yönler	Sınırlamalar	Kültürel Mirasla İlgililik
CNN Tabanlı Yöntemler (örn. U-Net, DeepLabV3+)	Konvolüsyonel özellik çıkarma ve semantik segmentasyon	Etkili yerel özellik öğrenimi ve doğru segmentasyon	Sınırlı uzun menzilli bağımlılık modellemesi; karmaşık motif yapılarını korumada zorluk	Motif segmentasyonu için uygun ancak sanatsal rekonstrüksiyon için daha az etkili
GAN Tabanlı Yöntemler (örn. Pix2Pix, CycleGAN)	Çekişmeli görüntü üretimi ve görüntüden görüntüye çeviri	Yüksek kaliteli görüntü sentezi ve stil transferi	Eğitim kararsızlığı; semantik tutarsızlık; ince yapısal detayların potansiyel kaybı	Desen restorasyonu için yararlı ancak kültürel motifleri doğru şekilde korumayabilir
Transformer Tabanlı Yöntemler	Öz-dikkat ve küresel bağlam modellemesi	Uzun menzilli bağımlılıkları ve karmaşık görsel ilişkileri yakalar	Yüksek hesaplama maliyeti; geniş eğitim veri setleri gerektirir	Karmaşık desen analizi için etkili ancak tek başına kullanıldığında sınırlı üretici kapasite
Difüzyon Tabanlı Yöntemler	Yinelemeli gürültü giderme tabanlı görüntü üretimi	Yüksek görsel realizm ve görüntü çeşitliliği	Yavaş çıkarım hızı; yüksek hesaplama gereksinimleri; sınırlı yapısal kontrol	Miras görüntüsü üretimi için gelecek vaat eden ancak hesaplama açısından yoğun
Hibrit Transformer-GAN Yöntemleri	Transformer tabanlı özellik çıkarma ve GAN tabanlı üretimin kombinasyonu	İyileştirilmiş küresel özellik temsili ve görüntü kalitesi	Genellikle motif koruma için açık semantik yönlendirmeden yoksundur	Üretim kalitesini artırır ancak özel olarak kültürel miras motifleri için tasarlanmamıştır
Önerilen SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Transformer tabanlı segmentasyon, dikkat yönlendirmeli özellik füzyonu, semantik tutarlılık, motif koruma ve kontrol edilebilir sanatsal rekonstrüksiyon	Bağımsız CNN tabanlı yaklaşımlardan daha yüksek hesaplama karmaşıklığı	Geliştirilmiş yapısal sadakat ve semantik tutarlılık ile kültürel miras desenlerinin rekonstrüksiyonu ve korunması için özel olarak tasarlanmıştır

Tablo 8: Kültürel Miras Desen Rekonstrüksiyonu ve Korunması için Temsili Derin Öğrenme Yaklaşımlarının Karşılaştırılması. Görüntü segmentasyonu, desen rekonstrüksiyonu, stil üretimi ve kültürel miras korunması için kullanılan temsili derin öğrenme yaklaşımlarının kalitatif karşılaştırması. Tablo; her bir yaklaşımın temel metodolojisini, güçlü yönlerini, sınırlamalarını ve uygulanabilirliğini özetlemekte ve önerilen SegCycle-SPADE çerçevesinin, kültürel miras desenlerindeki yapısal koruma ve semantik tutarlılıkla ilgili zorlukları gidermek için semantik segmentasyon, özellik füzyonu, rekonstrüksiyon ve stil sentezini nasıl birleştirdiğini vurgulamaktadır.

Gözlemlenen iyileştirmeler, CAFFM modülünün, çapraz dikkat tabanlı öznitelik füzyonu aracılığıyla segmentasyondan türetilen yapısal öznitelikler ile sanatsal stil temsilleri arasındaki etkileşimi etkili bir şekilde artırdığını göstermektedir. Ayrıca, motif koruma kaybı, yeniden yapılandırma ve sanatsal sentez sırasında kültürel açıdan önemli motif yapılarının korunmasına katkıda bulunarak daha iyi segmentasyon tutarlılığı, yapısal sadakat ve görsel gerçekçilik sağlamaktadır. Toplu olarak, ablasyon sonuçları; SegFormer-B2, CAFFM, CycleGAN, SPADE ve motif koruma kaybı entegrasyonunun, önerilen SegCycle-SPADE çerçevesinin üstün performansından sorumlu olduğunu doğrulamaktadır.

Veri Kullanılabilirliği:
Artistik stil öğrenimi için kullanılan WikiArt veri seti, Kaggle WikiArt deposu (https://www.kaggle.com/datasets/steubk/wikiart) üzerinden kamuya açıktır. Bu çalışmada kullanılan Miao Batik veri seti, Zenodo (https://doi.org/10.5281/zenodo.20807658) aracılığıyla kamuya açıktır. Önerilen SegCycle-SPADE çerçevesi ile ilişkili işlenmiş veri setleri, segmentasyon maskeleri, önceden eğitilmiş model ağırlıkları, üretilen çıktılar ve Python uygulama dosyaları da aynı Zenodo deposu üzerinden erişilebilirdir.

EK DOSYA:
Ek Dosya 1. Algoritma 1: Önerilen SegCycle-SPADE Çerçevesinin Uygulama İş Akışı. Veri seti yükleme, ön işleme, SegFormer-B2 kullanılarak anlamsal segmentasyon, Çapraz Dikkat Kültürel Özellik Füzyon Modülü (CAFFM) kullanılarak özellik füzyonu, CycleGAN kullanılarak kültürel motif yeniden yapılandırması, SPADE kullanılarak sanatsal stil sentezi, model eğitimi, doğrulama, kontrol noktası seçimi ve nihai performans değerlendirmesi dahil olmak üzere, önerilen SegCycle-SPADE çerçevesinin eksiksiz uygulama hattını açıklayan adım adım sözde kod. Lütfen bu dosyayı indirmek için buraya tıklayın.

Tartışma

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Geleneksel zanaatların kademeli olarak yok olması nedeniyle, Somut Olmayan Kültürel Miras (SOKÜM) desenlerinin korunması ve dijital rekonstrüksiyonu son yıllarda artan bir ilgi görmüştür. Önceki çalışmalar, DL tabanlı görüntü işleme teknikleri aracılığıyla kültürel miras kaybını gidermeye çalışmıştır. Örneğin, Quan ve ark.³², Guizhou Miao batik kültürü için bilgi grafikleri ve DL tabanlı bir kültürel miras koruma çerçevesi önermiştir. Çalışma kültürel desenlerin dijital rekonstrüksiyonuna odaklanmış olsa da, metodolojisi temel olarak bilgi grafiği temsillerine dayanmaktaydı. Benzer şekilde, Fu ve Razmjooy¹⁶, kültürel miras görüntülerinin iyileştirilmesi ve restorasyonu için özellik piramidi ağına (FPN) dayalı bir çerçeve önermişlerdir. Bu yöntem, görüntü iyileştirme için etkili özellik çıkarımı sağlamış olsa da, eksik kültürel desenler için görüntü segmentasyon kılavuzluğu veya üretken rekonstrüksiyon mekanizmaları içermiyordu. Buna karşın, önerilen SegCycle-SPADE çerçevesi, bu zorlukların üstesinden gelmek için birden fazla DL bileşenini birleştirir. İlk olarak, kültürel miras desenleri içindeki motif bölgelerinin doğru şekilde tanımlanması için SegFormer modeli kullanılarak semantik segmentasyon uygulanır. Ardından, CAFFM tabanlı bir özellik iyileştirme modülü, ince taneli motif yapıları için özellik temsillerini geliştirir. Daha sonra, karşıt öğrenme yoluyla kültürel desenler içindeki eksik veya tamamlanmamış bölgeleri yeniden oluşturmak için bir CycleGAN rekonstrüksiyon modülü kullanılır. Son olarak, bir SPADE modülü, segmentasyon haritalarıyla yapısal hizalamayı korurken stilistik iyileştirme gerçekleştirir. Mevcut CNN-, GAN-, transformer- ve difüzyon tabanlı yöntemlerin¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ her biri kendine özgü avantajlar sunmakta; ancak Tablo 8'de özetlendiği üzere, semantik tutarlılığın korunması, yapısal özelliklerin sürdürülmesi veya hesaplama verimliliğinin sağlanması konularında sınırlamalar barındırmaktadır. Önerilen SegCycle-SPADE mimarisi; SegFormer tabanlı segmentasyon, çapraz dikkat özellik füzyonu, CycleGAN rekonstrüksiyonu ve SPADE kılavuzlu sentezin güçlü yönlerini, bu sınırlamaları gidererek birleştirir. Sonuç olarak çerçeve, geliştirilmiş rekonstrüksiyon kalitesi ve kültürel açıdan anlamlı motiflerin daha iyi korunmasını sağlar.

Teşvik edici performansına rağmen, önerilen SegCycle-SPADE çerçevesi hâlâ çeşitli kısıtlamalar sunmaktadır. İlk olarak, değerlendirme yalnızca Miao Batik ve WikiArt veri kümeleri kullanılarak gerçekleştirilmiştir; bu durum, çerçevenin diğer kültürel miras alanlarına genelleştirilebilirliğini sınırlayabilir. İkinci olarak, SegFormer, CAFFM, CycleGAN ve SPADE'in entegrasyonu hesaplama karmaşıklığını ve bellek gereksinimlerini artırdığı için kaynak kısıtlı platformlarda kurulum zorlayıcı olabilir. Üçüncü olarak, segmentasyon performansı büyük ölçüde motif açıklamalarının kalitesine ve tutarlılığına bağlıdır ve açıklama yanlılığı, kültürel açıdan anlamlı yapıların korunmasını etkileyebilir. Son olarak, çerçeve yalnızca iki veri kümesi kullanılarak değerlendirildiği için, farklı kültürel miras koleksiyonları genelinde uygulanabilirliği sağlamak amacıyla ek eğitim verileri ve alana özgü adaptasyonlar gerekli olabilir. Bu nedenle gelecek çalışmalar; daha sağlam eğitim stratejilerini, hafif mimarileri, iyileştirilmiş açıklama prosedürlerini ve ek kültürel miras veri kümeleri kullanılarak yapılan alanlar arası değerlendirmeleri araştırmalıdır.

SegCycle-SPADE çerçevesinin daha geniş ve daha çeşitli kültürel miras veri setlerine ölçeklenebilirliği, gelecekteki araştırmaların temel odak noktası olacaktır. Modelin genelleştirme yeteneğini ve kültürel uyumluluğunu artırmak için farklı bölgelerden ve sanatsal geleneklerden gelen miras motiflerinin kültürler arası değerlendirmesi incelenecektir. Ayrıca, metinsel açıklamaları, tarihi kayıtları ve kültürel üst verileri içeren çok modlu genişletmeler, yeniden yapılandırma sırasında daha güçlü semantik rehberlik sağlayabilir. Çerçeve, görüntü tabanlı yeniden yapılandırmayı 3D modelleme teknikleriyle entegre ederek üç boyutlu kültürel miras yeniden yapılandırmasını destekleyecek şekilde de genişletilebilir. Ek olarak, yapay zeka destekli miras koruma ve belgelemenin pratik uygulamalarını kolaylaştırmak amacıyla dijital arşivler, müzeler, sanal sergiler ve kültürel miras koruma platformlarındaki kullanımı araştırılacaktır. Yorumlanabilirliği ve kültürel özgünlüğü daha da artırmak için gelecek çalışmalar; kültürel olarak bilgilendirilmiş motif analizi ve yeniden yapılandırmayı mümkün kılmak adına kültürel bilgi grafiklerinin, etnografik belgelerin, tarihi üst verilerin ve uzmanlar tarafından kürate edilmiş bilgi tabanlarının entegrasyonunu inceleyecektir³².

Önerilen SegCycle-SPADE çerçevesi uygulanırken birkaç pratik husus göz önünde bulundurulmalıdır. CycleGAN eğitimi sırasında, jeneratör ve diskriminatör kayıpları arasında yüksek bir dengesizlik oluşursa, kararsız adversariyel yakınsama meydana gelebilir. Bu gibi durumlarda, öğrenme hızının düşürülmesi, döngü tutarlılığı (cycle-consistency) kaybı ağırlığının artırılması veya diskriminatör baskınlığının izlenmesi eğitim stabilitesini artırabilir. Jeneratörün tekrar tekrar görsel olarak benzer çıktılar üretmesi durumunda mod çökmesi (mode collapse) yaşanabilir; bu sorun, dengeli adversariyel eğitim, replay-buffer kullanımı ve jeneratör ile diskriminatör kaybı trendlerinin dikkatle izlenmesi yoluyla hafifletilebilir. Kültürel motiflerin karmaşık dokular, düşük kontrast veya belirsiz sınırlar sergilediği durumlarda segmentasyon hataları da ortaya çıkabilir. Bu sorunu gidermek için eğitimden önce görüntü kalitesi doğrulanmalı ve anotasyon tutarlılığını sağlamak amacıyla segmentasyon maskeleri görsel olarak incelenmelidir. Güvenilir SegFormer performansı elde etmek için önerilen giriş çözünürlüğünün ve normalizasyon ayarlarının korunması da önemlidir. Eğitim kararsızlığı ayrıca uygun olmayan öğrenme hızı ayarları, yetersiz eğitim verileri veya donanım kaynaklı sayısal varyasyonlardan kaynaklanabilir. Tekrarlanabilirliği artırmak için NumPy, PyTorch, CUDA ve veri seti karıştırma işlemleri için sabit rastgele tohumlar (random seeds) kullanılmalıdır. Ayrıca, tüm deneysel çalışmalar boyunca aynı ön işleme hattı, veri seti bölümleri, model hiperparametreleri ve yazılım ortamı korunmalıdır. Performans düşüşünü önlemek ve yarıda kalan eğitim oturumlarından geri dönmeyi kolaylaştırmak için periyodik kontrol noktası (checkpoint) kaydı ve doğrulama kaybı izlemesi de önerilir.

Önerilen çalışma, yapay zeka tabanlı kültürel miras yeniden yapılandırma çerçevelerinin teorik ilerlemesine katkıda bulunmaktadır. Geleneksel görüntü restorasyon yaklaşımları genellikle görüntü segmentasyonu, yeniden yapılandırma ve stil üretimini bağımsız süreçler olarak ele alır¹⁷^,¹⁹^,²⁰^,³⁰. Buna karşılık, bu çalışma, bu süreçleri segmentasyon rehberliğinde üretken bir yeniden yapılandırma stratejisi aracılığıyla entegre eden bir çerçeve önermektedir. Sonuç olarak çalışma; segmentasyonun, yeniden yapılandırmanın ve stil üretiminin tek bir çerçeve içinde nasıl birleştirilebileceğini göstererek yapay zeka destekli kültürel miras yeniden yapılandırmasının teorik gelişimine katkı sağlamaktadır. Bu tür bir entegrasyon, motif yapısının ve anlamsal anlamın korunmasının kritik olduğu kültürel miras uygulamalarında özellikle önemlidir. Pratik bir perspektiften bakıldığında, önerilen çerçeve, geleneksel kültürel desenlerin dijital olarak korunması, restorasyonu ve sanatsal olarak geliştirilmesi için etkili bir çözüm sunmaktadır. Kültürel miras kurumları, müzeler ve tasarımcılar; motif bölgelerini otomatik olarak tanımlamak, hasarlı veya eksik desenleri yeniden yapılandırmak ve geleneksel tasarımların görsel olarak geliştirilmiş sanatsal temsillerini üretmek için SegCycle-SPADE'i kullanabilirler. Bu yetenek, tarihi eserlerin kısmen hasarlı veya eksik olabildiği Miao batik tekstil desenleri dahil olmak üzere, tehlike altındaki zanaat gelenekleri için özellikle değerlidir. Ayrıca, üretken stil sentezinin dahil edilmesiyle çerçeve; tekstil tasarımı, dijital sanatsal üretim ve miras eğitimi gibi modern kültürel tasarım uygulamalarını destekleyebilir. Bu şekilde, önerilen çerçeve, kültürel miras koruma ile çağdaş kültürel tasarım uygulamaları arasındaki boşluğu doldurmaktadır.

Buna rağmen, önerilen SegCycle-SPADE çerçevesi ile elde edilen gelecek vaat eden sonuçlara karşın, bazı kısıtlamalar mevcuttur. İlk olarak, değerlendirme yalnızca Miao Batik ve WikiArt veri kümeleri kullanılarak gerçekleştirilmiştir; bu durum, çerçevenin diğer kültürel miras desenlerini yeniden oluşturma konusundaki genelleme yeteneğini etkileyebilir. İkinci olarak, yeniden oluşturma süreci GAN tabanlı modellere dayandığı için, oldukça karmaşık motif yapılarıyla karşılaşıldığında üretilen çıktılar zaman zaman artefaktlar veya doğal olmayan dokular içerebilir. Üçüncü olarak, çerçeve şu anda iki boyutlu desenlerin yeniden oluşturulmasına odaklanmaktadır, oysa bazı kültürel miras eserleri doğası gereği üç boyutlu yapılar içerir. Genel olarak, deneysel bulgular, önerilen SegCycle-SPADE çerçevesinin somut olmayan kültürel miras (SOK) desenlerinin sanatsal yeniden oluşturulmasındaki etkinliğini kanıtlamaktadır. SegFormer tabanlı semantik segmentasyon, CAFFM, CycleGAN tabanlı motif yeniden oluşturma ve SPADE tabanlı sanatsal sentezin entegrasyonu; segmentasyon, yeniden oluşturma ve görüntü kalitesi performans metriklerini tutarlı bir şekilde iyileştirmiştir. Ablasyon çalışmaları, her bir çerçeve bileşeninin katkısını daha da doğrulamış; CAFFM ve motif koruma kaybının yapısal sadakati ve görsel özgünlüğü önemli ölçüde artırdığını göstermiştir. Bu bulgular, semantik segmentasyon kılavuzluğundaki yeniden oluşturmanın çapraz dikkat özellik füzyonu ile birleştirilmesinin, sanatsal açıdan zengin çıktılar üretirken kültürel açıdan anlamlı motifleri etkili bir şekilde koruyabileceği yönündeki temel hipotezi desteklemektedir. Bu nedenle, önerilen çerçeve, SOK desenlerinin dijital olarak korunması, restorasyonu ve yaratıcı şekilde canlandırılması için güvenilir ve tekrarlanabilir bir hesaplama yaklaşımı sunmaktadır.

Açıklamalar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Çıkar Çatışması:
Yazarlar herhangi bir çıkar çatışması olmadığını beyan ederler.

Teşekkürler

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Yazarlar, bu araştırmanın tamamlanması sırasında Guangdong Mühendislik Politeknik Üniversitesi ve Güney Çin Normal Üniversitesi tarafından sağlanan akademik ve kurumsal desteği kabul ederler. Bu araştırma, “Dijital Yeniden Canlandırma Müzesi: Çin Klasik Kaligrafi ve Resim Kültürel Kalıntılarının Aktivasyonu ve İletişimi Üzerine Araştırmalar” başlıklı 2023 Ulusal Sosyal Bilimler Fonu Genel Projesi (No. 23BH161) tarafından desteklenmiştir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
Ad	Şirket	Katalog numarası	Yorumlar
Adam Optimizer	PyTorch Optimizer Kütüphanesi	Adam	Model eğitimi sırasında kullanılan optimizasyon algoritması.
CUDA Toolkit	NVIDIA Corporation	CUDA 11.3	Derin öğrenme hesaplamaları için GPU hızlandırması.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Eğitimi ve çıkarımı hızlandırmak için kullanılan derin sinir ağı hızlandırma kütüphanesi.
CycleGAN	University of California, Berkeley / Açık Kaynak	Resmî PyTorch Uygulaması (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Kültürel motif yeniden yapılandırması için kullanılan üretken çekişmeli ağ.
ImageNet Ön Eğitimli Ağırlıklar	ImageNet / Açık Kaynak	mit_b2.pth (ImageNet-1K Ön Eğitimli Kontrol Noktası)	Miao Batik veri seti üzerinde ince ayar yapmadan önce SegFormer-B2 omurgasını başlatmak için kullanılır.
Intel İşlemci	Intel Corporation	Intel Core i7 (11. Nesil)	Görüntü ön işleme, model eğitimi desteği ve çıkarım için kullanılan CPU.
Matplotlib	Matplotlib Geliştirme Ekibi	Matplotlib 3.5.1	Eğitim eğrilerinin ve değerlendirme sonuçlarının görselleştirilmesi.
Miao Batik Veri Seti	Zenodo Deposu	DOI: 10.5281/zenodo.20807658	Semantik segmentasyon ve desen yeniden yapılandırması için kullanılan 15.148 görüntü içeren kültürel motif veri seti.
NumPy	NumPy Geliştiricileri	NumPy 1.21.5	Sayısal hesaplama ve veri seti işleme.
NVIDIA GPU	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Model eğitimi ve çıkarımı için kullanılan donanım platformu.
OpenCV	OpenCV Vakfı	OpenCV 4.5.5	Görüntü ön işleme, yeniden boyutlandırma, interpolasyon ve Gauss gürültü giderme.
İşletim Sistemi	Canonical Ltd.	Ubuntu 20.04 LTS	Deneysel yürütme ortamı.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Görüntü yükleme ve manipülasyonu.
Python	Python Software Foundation	Python 3.8.10	Uygulama ve deneyleme için kullanılan programlama dili.
PyTorch	Meta AI	PyTorch 1.10.0	Model eğitimi ve çıkarımı için kullanılan derin öğrenme çerçevesi.
Rastgele Tohum	Deneysel Ayar	42	Veri seti bölümlendirme, model başlatma ve deneysel tekrarlanabilirlik için kullanılan sabit tohum.
Scikit-learn	Scikit-learn Geliştiricileri	Scikit-learn 1.0.2	Veri seti bölümlendirme, istatistiksel analiz ve değerlendirme metrikleri.
Seaborn	Açık Kaynak Topluluğu	Seaborn 0.11.2	İstatistiksel veri görselleştirme.
SegFormer-B2	NVIDIA Research / Açık Kaynak	SegFormer-B2 (MIT-B2 Omurgası)	Kültürel motif segmentasyonu için kullanılan Transformer tabanlı semantik segmentasyon modeli.
Segmentasyon Maskeleri / Açıklamalar	Miao Batik Veri Seti	Veri Seti ile Birlikte Verilmiştir	Motif sınıflandırması ve eğitimi için kullanılan piksel düzeyinde semantik segmentasyon etiketleri.
SPADE	NVIDIA Research / Açık Kaynak	Resmî PyTorch Uygulaması (https://github.com/NVlabs/SPADE)	Artistik desen üretimi için kullanılan segmentasyon güdümlü görüntü sentezleme modeli.
TorchVision	Meta AI	TorchVision 0.11.1	PyTorch ile kullanılan görüntü işleme yardımcıları ve veri seti dönüşümleri.
WikiArt Veri Seti	WikiArt	https://www.wikiart.org/	Stil öğrenimi ve sentezi için kullanılan, 27 artistik stilde 80.000'den fazla sanat eseri içeren artistik stil veri seti.

Kaynaklar

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Yeniden basım ve izinler

Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste

İzin iste

Etiketler

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Bir Derin Öğrenme Çerçevesi Kullanarak Somut Olmayan Kültürel Miras Desenlerinin Semantik Segmentasyon Rehberliğinde Yeniden Yapılandırılması ve Sanatsal Stil Sentezi

Bu makalede

Özet

Özet

Giriş

Protokol

Sonuçlar

Tartışma

Açıklamalar

Teşekkürler

Malzemeler

Kaynaklar

Yeniden basım ve izinler

Etiketler

İlgili makaleler