Reconstructie en artistieke stijlsynthese van patronen van immaterieel cultureel erfgoed, gestuurd door semantische segmentatie, met behulp van een deep learning-framework

Samenvatting

Dit protocol beschrijft een deep learning-workflow voor semantische segmentatie, reconstructie en artistieke stijlsynthese van patronen uit immaterieel cultureel erfgoed, gebruikmakend van transformer-gebaseerde kenmerkextractie, adversariële reconstructie en ruimtelijk adaptieve beeldgeneratie ter ondersteuning van digitale preservering en creatieve erfgoedtoepassingen.

Samenvatting

De digitale preservatie en reconstructie van patronen van immaterieel cultureel erfgoed (ICE) hebben toenemende aandacht gekregen door de vooruitgang in beeldsynthesetechnieken op basis van deep learning. Bestaande benaderingen op basis van SegCycle-SPADE hebben potentieel getoond voor de structurele segmentatie en artistieke reconstructie van traditionele ambachtelijke patronen; er blijven echter beperkingen bestaan, waaronder een beperkte diversiteit van datasets, onvoldoende integratie van culturele semantiek en inadequate preservatie van structurele patrooneigenschappen tijdens de reconstructie. Om deze uitdagingen aan te pakken, stelt deze studie een verbeterd SegCycle-SPADE-raamwerk voor voor de semantische segmentatie en artistieke reconstructie van ICE-patroontypen. Een Transformer-gebaseerd segmentatiemodel, SegFormer, wordt ingezet om motiefgrenzen en patroonregio's nauwkeurig te identificeren. Daarnaast wordt een Cross-Attention Cultural Feature Fusion Module geïntroduceerd om cultureel significante motieven te versterken en de kenmerkrepresentatie te verbeteren. Patroontranslatie en reconstructie worden uitgevoerd met CycleGAN, terwijl Spatially-Adaptive Denormalization (SPADE) wordt gebruikt voor artistieke stylesynthese om de semantische consistentie tussen segmentatiekaarten en gegenereerde beelden te behouden. Om de generalisatie van het model en de artistieke diversiteit te verbeteren, is het raamwerk getraind met zowel de Miao Batik culturele motiefdataset als de WikiArt-dataset. Experimentele resultaten tonen aan dat het voorgestelde attention-guided SegCycle-SPADE-raamwerk de segmentatienauwkeurigheid en de prestaties bij de reconstructie van erfgoedpatronen verbetert in vergelijking met bestaande reconstructiemethoden op basis van generative adversarial networks (GAN). Het voorgestelde raamwerk biedt een schaalbare oplossing voor door kunstmatige intelligentie ondersteunde documentatie van cultureel erfgoed, reconstructie en artistieke revitalisering van traditionele patroonontwerpen.

Inleiding

Cultureel erfgoed, dat zowel immateriële elementen zoals gebruiken, talen en overtuigingen als materiële elementen zoals kunstwerken, gebouwen en geschreven verslagen omvat, is een fundamentele manifestatie van de menselijke geschiedenis, creativiteit en identiteit¹. De conservatie van erfgoed streeft ernaar gemeenschappen in staat te stellen opnieuw contact te leggen met hun oorsprong en stelt toekomstige generaties in staat om te profiteren van hun collectieve culturele geheugen. Het bevordert daarnaast intercultureel begrip, waardering voor diverse tradities en gebruiken, en erkenning van verschillende historische narratieven. Deze culturele activa helpen ons de waarden, perspectieven en ervaringen van vorige generaties te begrijpen en dragen bij aan de vorming van hedendaagse sociale identiteiten en culturele continuïteit. De basisprincipes van het behoud van cultureel erfgoed worden geïllustreerd in Figuur 1.

Figuur 1. Conceptueel overzicht van de reconstructie van culturele erfgoedpatronen met behulp van het SegCycle-SPADE-raamwerk. Schematische illustratie van de voorgestelde aanpak voor het reconstrueren en verbeteren van patronen van immaterieel cultureel erfgoed. De workflow omvat datasetverzameling uit de Miao Batik- en WikiArt-datasets, beeldvoorbewerking, semantische segmentatie met SegFormer-B2, feature-fusie met de Cross-Attention Cultural Feature Fusion Module (CAFFM), patroonreconstructie met CycleGAN, artistieke stijlsynthese met SPADE en de uiteindelijke evaluatie met segmentatie- en reconstructiemetrieken. Pijlen geven de stroom van data en feature-representaties door het raamwerk aan. Klik hier om een grotere versie van deze figuur te bekijken.

Het collectieve geheugen en het culturele erfgoed van de menselijke samenleving zijn belichaamd in immaterieel cultureel erfgoed (ICE), dat dient als een belangrijk medium voor artistieke expressie en culturele identiteit. ICE staat echter voor aanzienlijke uitdagingen door de effecten van globalisering en digitalisering^2,3,4. Veel bedreigde ICE-praktijken vereisen nieuwe benaderingen voor behoud en ontwikkeling vanwege het dalende aantal bekwame ambachtslieden en een beperkte aanpassingscapaciteit aan moderne markten^5,6. Als een belangrijk gebied binnen het ICE-onderzoek benadrukt duurzaam ontwerp de geïntegreerde ontwikkeling van cultuur, samenleving en milieu, en biedt het een praktisch pad voor het voortdurende behoud van ICE. Door middel van duurzame ontwerpmethoden kan ICE worden gerevitaliseerd terwijl het zich aanpast aan de behoeften van de hedendaagse samenleving^7,8.

In deze studie verwijst de term “immateriële culturele erfgoedpatronen” naar visuele motiefrepresentaties die onderliggende immateriële culturele waarden communiceren en bewaren. Bijgevolg beoogt het voorgestelde kader de culturele informatie die aan deze motieven is gekoppeld te bewaren en te documenteren, terwijl hun visuele vormen worden gereconstrueerd.

Miao-borduurwerk en batik zijn belangrijke vormen van Chinees immaterieel cultureel erfgoed (ICE), die de geschiedenis, overtuigingen en tradities van de Miao-gemeenschap weerspiegelen via symbolische motieven zoals vogels, vlinders en voorouderlijke totems⁹. Deze motieven zijn diep verankerd in rituele kleding en festivalgebruiken en dragen bij aan de lokale culturele en economische ontwikkeling^10,11. Vooruitgang in digitale technologieën, in het bijzonder kunstmatige intelligentie (AI) en deep learning (DL), heeft nieuwe mogelijkheden gecreëerd voor het behoud, de analyse, de reconstructie en de documentatie van cultureel erfgoed. Guizhou Miao-batik, een van de best bewaard gebleven batiktradities in China, dient als een belangrijk medium voor het overdragen van de culturele kennis, overtuigingen, gewoonten en rituelen van het Miao-volk^{12,13,14,15,16}.

Recente studies hebben het potentieel van DL aangetoond voor het behoud van cultureel erfgoed en patroonreconstructie, waarbij een verbeterde segmentatienauwkeurigheid (pixelnauwkeurigheid = 88,6%, gemiddelde intersection over union [IoU] = 78,1%) en reconstructieprestaties werden behaald in vergelijking met U-Net en DeepLabV3+1. Er blijven echter verschillende uitdagingen bestaan. Bestaande benaderingen op basis van generative adversarial networks (GAN) hebben vaak moeite om fijne structurele details in complexe patronen te behouden¹⁷, terwijl een beperkte diversiteit aan datasets de generalisatie van modellen over culturele domeinen heen beperkt¹⁸. Daarnaast kunnen image-to-image vertalingsmodellen zoals CycleGAN erin falen om de semantische consistentie tussen segmentatiekaarten en gegenereerde beelden te handhaven¹⁹, en kan de afwezigheid van attention-mechanismen leiden tot het verlies van cultureel significante motiefdetails tijdens de reconstructie²⁰. Daarom is een verbeterd raamwerk nodig dat transformer-gebaseerde segmentatie, attention-gestuurd feature-leren en training met meerdere datasets integreert voor een effectieve reconstructie van ICH-patronen.

Nieuwe mogelijkheden voor het behoud van cultureel erfgoed zijn ontstaan door de digitalisering van Miao-borduurwerk en de snelle vooruitgang van generatieve AI. Diffusiemodellen, een opkomende klasse van diepe generatieve modellen, hebben een opmerkelijke prestatie getoond bij computervisietaken dankzij hun krachtige mogelijkheden voor contentgeneratie^{21,22,23,24,25}. Tijdens het omgekeerde diffusieproces leert het model geleidelijk om de oorspronkelijke inputgegevens te reconstrueren vanuit ruisachtige representaties^26,27,28. Eerdere studies hebben ook de toepassing van driedimensionale reconstructie en computergestuurd ontwerp (CAD) technologieën onderzocht voor het behoud en de verspreiding van cultureel erfgoed.

Hoewel convolutionele neurale netwerken (CNN's) en GAN's goed presteren bij beeldgeneratie en behoud van kenmerken, kampen ze nog steeds met uitdagingen met betrekking tot beperkte receptieve velden, mode collapse en trainingsinstabiliteit²⁹. Transformer-gebaseerde architecturen, zoals SegFormer en Segmenter, blinken uit in het vastleggen van globale context en semantische relaties; ze zijn echter rekenintensief en kunnen moeite hebben met fijne details. Hoewel diffusiemodellen zoals Stable Diffusion sterke mogelijkheden voor beeldgeneratie vertonen, missen ze vaak precieze controle over de structurele en artistieke kenmerken van de gegenereerde ontwerpen. Bovendien maken de meeste bestaande benaderingen gebruik van onafhankelijke trainingsstrategieën, wat de effectieve informatie-uitwisseling en collaboratieve optimalisatie tussen segmentatie- en generatiecomponenten beperkt, wat resulteert in een afweging tussen structurele nauwkeurigheid en artistieke authenticiteit³⁰.

Recente diffusiemodellen, zoals latent diffusion en Stable Diffusion, bereiken hoogwaardige beeldsynthese maar vereisen iteratieve ruisonderdrukking, wat leidt tot hogere computationele kosten en een langere inferentietijd. Bovendien blijft het behoud van fijne culturele motieven en structurele consistentie uitdagend zonder gespecialiseerde conditioneringsmechanismen. Generatieve modellen op basis van Transformers vangen globale contextuele relaties effectief op, maar vereisen vaak grootschalige datasets en aanzienlijke computationele middelen. In tegenstelling hiermee combineert het voorgestelde SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE) raamwerk SegFormer-gebaseerde segmentatie, cross-attention feature-fusie, CycleGAN-reconstructie en SPADE-gestuurde synthese om expliciete structurele sturing te bieden, waardoor het behoud van motieven, de semantische consistentie en de controleerbare reconstructie van culturele erfgoedpatronen worden verbeterd.

De meeste geavanceerde technieken voor semantische segmentatie vertrouwen op volledige CNN's (FCNN's) met U-vormige architecturen³¹. Tijdens de encoderingsfase worden diepe kenmerken met grote receptieve velden geëxtraheerd via een reeks convolutie- en downsampling-operaties. De decoderingsfase herstelt geleidelijk de ruimtelijke resolutie via upsampling, wat uiteindelijk semantische voorspelling op pixelniveau mogelijk maakt. Door het verlies van ruimtelijke informatie tijdens het downsamplen te compenseren en de segmentatieprestaties in een breed scala aan toepassingen te verbeteren, maken skip-verbindingen het mogelijk om informatie met een hoge resolutie van verschillende encoder-niveaus direct in de decoder te integreren³².

Hoewel recente methoden op basis van GAN, CNN en diffusie veelbelovende resultaten hebben laten zien bij beeldgeneratie en het herstel van cultureel erfgoed, hebben ze vaak moeite om de semantische consistentie te handhaven, fijne structurele motieven te behouden en een reproduceerbare reconstructie over diverse culturele patronen heen te waarborgen. De meeste bestaande benaderingen behandelen segmentatie, reconstructie en stijlsynthese als afzonderlijke processen, wat kan leiden tot het verlies van cultureel significante elementen en inconsistente resultaten. Om dit methodologische hiaat te overbruggen, stelt deze studie een geunified SegCycle-SPADE-raamwerk voor dat SegFormer-gebaseerde semantische segmentatie, een nieuwe Cross-Attention Cultural Feature Fusion Module (CAFFM), CycleGAN-gebaseerde reconstructie en SPADE-gestuurde stijlsynthese integreert. Door structurele segmentatie-informatie expliciet te integreren met generatieve kenlerlering, maakt het voorgestelde raamwerk een betrouwbaardere, semantisch consistente en reproduceerbare reconstructie van ICH-motieven mogelijk, terwijl zowel de culturele authenticiteit als de artistieke kwaliteit behouden blijven.

In deze studie worden drie belangrijke beperkingen van huidige benaderingen voor de reconstructie van cultureel erfgoed geïdentificeerd: (i) onvoldoende behoud van fijne structurele motieven in GAN-gebaseerde reconstructiemethoden; (ii) beperkte generalisatie als gevolg van training op kleine of domeinspecifieke datasets; en (iii) inadequate semantische consistentie tussen segmentatie-outputs en gegenereerde beelden in image-to-image translation-frameworks. Daarnaast worden segmentatie, reconstructie en stijlsynthese doorgaans als afzonderlijke processen behandeld, wat leidt tot het verlies van cultureel belangrijke elementen tijdens de reconstructie. Door transformer-gebaseerde semantische segmentatie, cross-attention feature fusion, CycleGAN-reconstructie en SPADE-gestuurde artistieke synthese te combineren binnen één gunified architectuur, pakt het voorgestelde SegCycle-SPADE-framework deze beperkingen aan en verbetert het het behoud van motieven, de semantische consistentie en de artistieke authenticiteit bij de reconstructie van ICH-patronen.

Het hoofddoel van deze studie is het ontwikkelen van een verbeterd SegCycle-SPADE-framework voor semantische segmentatie-gestuurde artistieke reconstructie van ICH-patronen. Het framework integreert SegFormer voor nauwkeurige segmentatie van culturele motieven, CycleGAN voor patroonreconstructie en SPADE voor stijlconsistente artistieke synthese. Om de kenmerkrepresentatie te verbeteren en fijne structurele details te behouden, is een CAFFM geïntroduceerd om effectieve interactie tussen segmentatiekenmerken en generatieve kenmerken te faciliteren. Getraind op de Miao Batik- en WikiArt-datasets, verbetert het voorgestelde framework de authenticiteit van de reconstructie, de stijlconsistentie en het behoud van cultureel significante motieven.

Door semantische segmentatie, aandachtgestuurde feature-fusie, patroonreconstructie en stijlsynthese te combineren binnen een uniforme architectuur, presenteert deze studie een nieuw SegCycle-SPADE-framework voor de artistieke reconstructie van ICH-patronen. De belangrijkste bijdragen van dit werk zijn als volgt. Ten eerste is er een nieuw, door semantische segmentatie gestuurd reconstructie-framework ontwikkeld via de integratie van SegFormer, waardoor nauwkeurige extractie en behoud van complexe culturele motieven en structurele elementen mogelijk wordt. Ten tweede is er een nieuwe CAFFM geïntroduceerd om segmentatiekenmerken effectief te fuseren met generatieve representaties, zodat het model langeafstandsrelaties tussen culturele motieven en artistieke stijlpaternen kan vastleggen. Ten derde verbetert de voorgestelde CAFFM het behoud van cultureel significante elementen, terwijl het visuele realisme en de structurele coherentie van gereconstrueerde erfgoedpatronen worden verbeterd. Ten vierde zorgt het framework, door de integratie van CycleGAN voor de reconstructie van culturele patronen en SPADE voor segmentatiegestuurde artistieke synthese, voor zowel semantische nauwkeurigheid als stilistische authenticiteit in de gegenereerde resultaten. Ten vijfde wordt het model, om de generalisatie en artistieke diversiteit te verbeteren, getraind met de Miao Batik-dataset voor culturele motieven voor het leren van culturele patronen en de WikiArt-dataset voor artistieke stijlbeschrijvingen. WikiArt dient als een hulpdataset om het generalisatievermogen, de robuustheid van het feature-leren en de effectiviteit van de stijlbesturing van het framework in diverse visuele contexten te evalueren, in plaats van als een doelstijl voor directe toepassing in Miao-culturele erfgoedproducten. Tot slot tonen experimentele resultaten aan dat het voorgestelde SegCycle-SPADE-framework, in vergelijking met bestaande GAN-gebaseerde methoden voor de reconstructie van cultureel erfgoed, een verbeterde segmentatienauwkeurigheid, reconstructiekwaliteit en stilistische consistentie behaalt.

Protocol

Het voorgestelde framework van SegCycle-SPADE is ontworpen om traditionele culturele erfgoedpatronen te reconstrueren en te verbeteren door middel van semantische segmentatie, kenmerkverbetering met aandacht (attention), generatieve reconstructie en artistieke stijlsynthese. Deze studie maakte gebruik van publiek beschikbare datasets van cultureel erfgoed en artistieke beelden, waaronder de Miao Batik-dataset en de WikiArt-dataset. Er waren geen menselijke proefpersonen, patiëntgegevens, persoonlijke informatie, proefdieren of klinische dossiers betrokken bij het onderzoek; daarom waren goedkeuring van een institutionele ethische commissie en geïnformeerde toestemming niet vereist. Om te beginnen worden de Miao Batik culturele motief-dataset en de WikiArt-dataset gebruikt voor de evaluatie. De Miao Batik-dataset werd beschreven door Quan et al. (2024)32 en bevat 15.148 geannoteerde afbeeldingen van traditionele Miao batik-motieven. Bestaande annotaties verstrekt door de makers van de dataset werden direct gebruikt, en er werden in deze studie geen extra handmatige annotaties gegenereerd. Vervolgens wordt de voorbewerking van de beelden uitgevoerd door middel van schalen, normaliseren, ruisonderdrukking en het maken van een segmentatiemasker. De exacte parameters voor de voorbewerking worden beschreven in de subsectie Data Preprocessing. Het voorgestelde framework maakt gebruik van een transformer-gebaseerd model genaamd SegFormer-B2 voor de semantische segmentatie van de gegevens. De methode is ontworpen om sleutelregio's van culturele motieven te detecteren en hun structuren te leren. De gesegmenteerde kenmerken worden vervolgens verbeterd via een aandachtmechanisme, waarbij belangrijke informatie gerelateerd aan culturele motieven wordt benadrukt en irrelevante informatie wordt verworpen. De configuratie van het aandachtmechanisme wordt beschreven in de subsectie CAFFM. De verbeterde kenmerken worden vervolgens door CycleGAN geleid, waarbij beschadigde structuren worden gereconstrueerd via cyclisch leren. Tijdens de training werden incomplete motieefmonsters kunstmatig gecreëerd door willekeurige maskering en gedeeltelijke occlusie-operaties toe te passen op de originele Miao Batik-beelden. Deze degradatieprocedures simuleerden ontbrekende motiefregio's en structurele schade die gewoonlijk worden waargenomen bij verslechterde culturele erfgoedartefacten. De resulterende incomplete beelden werden gebruikt als inputs voor de CycleGAN-reconstructiemodule, terwijl de overeenkomstige originele beelden dienden als reconstructiedoelen. De gereconstrueerde culturele erfgoedpatronen worden vervolgens verbeterd via SPADE, waarbij artistieke verbetering wordt uitgevoerd op basis van de gegenereerde segmentatiekaarten. De prestaties van het voorgestelde framework worden geëvalueerd met behulp van kwantitatieve segmentatie- en beeldkwaliteitsmetrieken, terwijl de visuele authenticiteit van de gereconstrueerde culturele motieven kwalitatief wordt beoordeeld. Visuele authenticiteit werd beoordeeld door middel van visuele inspectie van de gegenereerde culturele patronen en werd niet gebruikt als een onafhankelijke kwantitatieve metriek. De beoordeling richtte zich op het behoud van motieven, semantische consistentie, culturele kenmerken, structurele coherentie en artistieke verschijning ten opzichte van de overeenkomstige referentie-culturele motieven. De kwantitatieve evaluatie van de modelprestaties werd uitgevoerd met behulp van Segmentation Accuracy, IoU, Dice Coefficient, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR) en Fréchet Inception Distance (FID). Figuur 2 illustreert de algemene workflow van het voorgestelde SegCycle-SPADE framework en vat de evaluatiemetrieken samen die in deze studie zijn gebruikt.

Figuur 2. Algemene architectuur workflow van het voorgestelde SegCycle-SPADE framework.Overzicht van de volledige SegCycle-SPADE workflow. Beelden uit de Miao Batik en WikiArt datasets ondergaan voorbewerking alvorens ze worden verwerkt via semantische segmentatie met SegFormer-B2, kenmerkverbetering met CAFFM, patroonreconstructie via CycleGAN en artistieke stijlgeneratie met SPADE. Modelprestaties worden geëvalueerd aan de hand van Segmentation Accuracy, Intersection over Union (IoU), Dice Coefficient, Structural Similarity Index Measure (SSIM), PSNR en Fréchet Inception Distance (FID), terwijl de visuele authenticiteit kwalitatief wordt beoordeeld. Klik hier om een grotere versie van deze figuur te bekijken.

Het SegCycle-SPADE-framework voor de reconstructie van patronen uit cultureel erfgoed is ontworpen om meerdere DL-componenten te integreren voor nauwkeurige segmentatie, reconstructie en artistieke verbetering van motieven, zoals geïllustreerd in Figuur 2. Afbeeldingen uit de Miao Batik-dataset van culturele motieven en de WikiArt-dataset worden gebruikt om diverse culturele patronen en artistieke stijlen te bieden. Aanvankelijk worden de afbeeldingen verwerkt met een op SegFormer gebaseerde semantische segmentatiemodule om culturele motieven te identificeren en af te bakenen van de achtergrond. De algemene architectuur bestaat uit vier hoofdfasen. Ten eerste extraheert het SegFormer-model semantische segmentatiekaarten uit de afbeeldingen van de culturele patronen. Ten tweede integreert de CAFFM segmentatiekenmerken met generatieve representaties om het kenmerkleren te verbeteren. Ten derde reconstrueert de CycleGAN-module culturele patronen met behulp van de gefuseerde kenmerkrepresentaties. Tot slot genereert de SPADE-module stilistisch verbeterde outputs, terwijl de structurele consistentie behouden blijft door middel van segmentatiegestuurde synthese. De verfijnde kenmerkkaarten worden vervolgens verwerkt door de CycleGAN-reconstructiemodule, die leert om onvolledige culturele motieven te herstellen door gedegradeerde patronen te mappen naar hun overeenkomstige volledige vormen. Onvolledige motiefformen werden gegenereerd door willekeurige maskering en gedeeltelijke occlusie-operaties toe te passen op de originele Miao Batik-afbeeldingen, waardoor ontbrekende patroonregio's en structurele degradatie werden gesimuleerd zoals die vaak worden waargenomen bij beschadigde culturele artefacten. Elke gedegradeerde afbeelding werd gekoppeld aan de bijbehorende originele afbeelding, die diende als reconstructiedoel tijdens de training. Deze strategie stelde de CycleGAN-module in staat om het herstel van ontbrekende motiefstructuren te leren, terwijl de semantische consistentie en cultureel significante kenmerken behouden bleven. Ten slotte produceert de SPADE-generator visueel verbeterde artistieke outputs door de beeldsynthese afhankelijk te maken van de gegenereerde segmentatiekaarten, waardoor de structurele integriteit van de culturele motieven gedurende het proces van artistieke verbetering behouden blijft.

De volgende stappen maken deel uit van het voorgestelde SegCycle-SPADE-framework.

Stap 1: Datasetverzameling
Twee datasets werden gebruikt om de doelstellingen van cultureel patroonleren en artistieke stijlgeneratie te bereiken. De Miao Batik Cultural Motif Dataset werd gebruikt om traditionele culturele patrooninformatie te verschaffen. De dataset is openbaar beschikbaar via Zenodo (https://doi.org/10.5281/zenodo.20807658) en bevat 15.148 geannoteerde afbeeldingen van traditionele Miao batik-motieven. De bestaande annotaties die door de makers van de dataset waren verstrekt, werden direct gebruikt, en er werden in deze studie geen aanvullende handmatige annotaties gegenereerd. De WikiArt-dataset werd gebruikt om diverse artistieke stijlinformatie te leveren voor de generatie van artistieke stijlen en werd verkregen uit het openbaar beschikbare WikiArt-repository (https://www.wikiart.org/).

Stap 2: Gegevensvoorbewerking
Alle afbeeldingen werden voorbewerkt door middel van schaling, normalisatie en ruisonderdrukking. Bestaande annotaties van culturele motieven, verkregen uit de originele datasetbronnen, werden gebruikt ter ondersteuning van de fase van semantische segmentatie. In het kader van deze studie zijn geen aanvullende annotatie- of heretiketteringsprocedures uitgevoerd.

Stap 3: Semantische patroonsegmentatie met SegFormer
Het SegFormer-model werd gebruikt voor de segmentatie van culturele motieven. De exacte SegFormer-backbone en initialisatiestrategie worden beschreven in de paragraaf Semantic Pattern Segmentation Using SegFormer. Specifiek werd de SegFormer-B2-architectuur met een op ImageNet gepretrainde MIT-B2-backbone ingezet voor de semantische motiefsegmentatie. Dit model legt effectief globale contextuele informatie vast, terwijl de complexe structurele details van traditionele culturele patronen behouden blijven.

Stap 4: CAFFM
De CAFFM combineert kenmerken van semantische segmentatie met generatieve representaties, waardoor het framework zowel structurele motiefkenmerken als informatie over de artistieke stijl kan leren. De details van de integratie van CAFFM worden beschreven in de subsectie CAFFM. De module is geplaatst tussen de op SegFormer gebaseerde fase van semantische segmentatie en de generatieve reconstructiefase, waarbij het segmentatie-afgeleide structurele kenmerken fuseert met reconstructiekenmerken via multi-head cross-attention. Dit proces verbetert het behoud van culturele motieven en verhoogt het realisme van de gereconstrueerde resultaten.

Stap 5: Patroonreconstructie (CycleGAN)
De gefuseerde kenmerken worden vervolgens verwerkt door de CycleGAN-module om culturele patroonstructuren te reconstrueren. De CycleGAN-architectuur en trainingsconfiguratie worden beschreven in de subsectie Patroonreconstructie met behulp van CycleGAN. De reconstructiemodule bestaat uit twee generatoren en twee discriminatoren, maakt gebruik van een residual-network generatorarchitectuur met negen residual-blocks, hanteert een PatchGAN-discriminator en wordt getraind met behulp van adversarial- en cycle-consistency-verliezen. Deze configuratie maakt bidirectionele domeinmapping mogelijk en faciliteert de reconstructie van onvolledige culturele patroonstructuren.

Stap 6: Genereren van artistieke stijl (SPADE)
De gereconstrueerde patronen worden vervolgens via de SPADE-module verwerkt om segmentatie-gestuurde artistieke stijlsynthese uit te voeren. De configuratie van de SPADE-generator wordt beschreven in de paragraaf Artistic Style Generation Using SPADE. De module maakt gebruik van SPADE-residuele blokken, ruimtelijk adaptieve normalisatielagen en semantische conditionering afgeleid van SegFormer-segmentatiekaarten en CAFFM-kenmerkrepresentaties. Door de beeldgeneratie te conditioneren op segmentatiekaarten, behouden de gesynthetiseerde resultaten de structurele uitlijning met de oorspronkelijke culturele motieven, terwijl ze artistieke stijlkenmerken integreren.

Stap 7: Prestatieschatting
Het voorgestelde raamwerk werd geëvalueerd aan de hand van meerdere metrieken voor segmentatie en beeldkwaliteitsbeoordeling, waaronder Segmentatie-nauwkeurigheid, IoU, de Dice Similarity Coefficient (Dice), SSIM, PSNR en FID. Om de experimentele consistentie te beoordelen, werden alle experimenten vijf keer herhaald met verschillende random seeds, en de resultaten worden gerapporteerd als gemiddelde ± standaarddeviatie. De statistische significantie werd geëvalueerd met gepaarde t-toetsen, met een significantiedrempel van p < 0,05.

Datasetverzameling
In het voorgestelde framework van SegCycle-SPADE worden twee datasets gebruikt voor het begrijpen van culturele patronen en het leren van stijlen. De eerste dataset die in het voorgestelde framework wordt gebruikt, is de dataset met culturele motieven van Miao Batik. Deze dataset bevat culturele motieven van Miao Batik, wat over het algemeen afbeeldingen zijn van traditionele Miao Batik met motieven zoals dieren, planten en geometrische vormen, die worden gebruikt in de kunst van de Miao-etniciteit. Deze dataset bevat afbeeldingen met rijke textuurinformatie, wat over het algemeen belangrijk is voor het behoud van cultureel erfgoed. De tweede dataset die in het voorgestelde framework van SegCycle-SPADE wordt gebruikt, is de WikiArt-dataset. Deze dataset bevat een groot aantal kunstwerken, die over het algemeen uit verschillende stijlen komen. Deze dataset wordt gebruikt voor complex stijlleren, wat over het algemeen nuttig is voor het verbeteren van kunstwerken. Deze dataset bevat 80.000 kunstwerken in HD, met 27 verschillende ontwerpen, waardoor deze geschikter is voor DL-gebaseerde taken voor stijlgeneratie of -transformatie.

Miao Batik Dataset:
De Miao Batik-dataset (https://doi.org/10.5281/zenodo.20807658) bestaat uit 15.148 afbeeldingen van batikpatronen met cultureel significante motieven. De afbeeldingen bevatten diverse traditionele ontwerpen, zoals dierlijke motieven (bijv. vlinders en vissen), plantaardige patronen en geometrische motieven met culturele symboliek. Deze dataset is een belangrijk onderdeel van het voorgestelde raamwerk, omdat het authentieke culturele structuren biedt waarmee de segmentatiemodule de grenzen van motieven nauwkeurig kan identificeren en behouden tijdens de reconstructie van patronen (Tabel 1). In deze studie verwijzen cultureel belangrijke motieven naar symbolische visuele elementen die algemeen zijn gedocumenteerd in de literatuur over het culturele erfgoed van de Miao en zijn vertegenwoordigd in de annotaties van de dataset, waaronder vogels, vlinders, bloemmotieven en voorouderlijke totems. Deze motieven zijn geselecteerd op basis van hun gedocumenteerde culturele betekenis en hun terugkerende aanwezigheid in traditionele Miao-batik en borduurontwerpen, en niet enkel op basis van hun frequentie of ruimtelijke compositie. De door experts begeleide motiefannotaties en segmentatielabels zijn verkregen uit de oorspronkelijke bron van de Miao Batik-dataset en zijn direct in deze studie gebruikt. De auteurs hebben geen aanvullende handmatige annotaties, herlabeling of door experts begeleide annotatieprocedures uitgevoerd. De bestaande annotaties van de makers van de dataset werden gebruikt voor de training en evaluatie van de semantische segmentatie.

Parameter	Beschrijving
Naam dataset	Miao Batik Cultural Pattern Dataset
Bron dataset	Zenodo Repository (DOI: 10.5281/zenodo.20807658)
Domein	Immaterieel Cultureel Erfgoed (ICE) / Analyse van textielpatronen
Totaal aantal afbeeldingen	15.148 afbeeldingen
Afbeeldingstype	Digitale afbeeldingen van traditionele Miao-batiktextielpatronen
Patrooncategorieën	Dierlijke motieven, plantaardige motieven en geometrische motieven
Culturele herkomst	Miao-etnische cultuur, provincie Guizhou, China
Originele beeldresolutie	Hoge resolutie afbeeldingen (doorgaans ≥ 1.000 pixels aan de korte zijde) vastgelegd als ruwe scans of foto's voorafgaand aan de voorbewerking
Trainingsresolutie	Afbeeldingen resized naar 256 × 256 pixels tijdens de voorbewerking
Beschikbaarheid annotaties	Bestaande segmentatie-annotaties verstrekt door de makers van de dataset werden zonder wijziging gebruikt voor training en evaluatie. In deze studie zijn geen aanvullende handmatige annotaties, herlabelingen of expertbevestigingsprocedures uitgevoerd.
Toepassing in deze studie	Segmentatie van culturele motieven, kenmerkextractie, behoud van motieven en patroonreconstructie

Tabel 1: Kenmerken van de dataset met culturele patronen van Miao-batik. Samenvatting van de dataset met culturele motieven van Miao-batik die is gebruikt voor semantische segmentatie, analyse van culturele patronen en reconstructie van motieven. De tabel beschrijft de bron van de dataset, beeldkenmerken, motiefcategorieën, culturele oorsprong, beeldresolutie en de rol ervan binnen het voorgestelde SegCycle-SPADE-framework.

WikiArt-dataset:
De WikiArt-dataset [https://www.wikiart.org/] is een populaire digitale kunstrepository op grote schaal die meer dan 80.000 afbeeldingen uit 27 verschillende artistieke stijlen bevat, zoals weergegeven in Tabel 2. De stijlen omvatten onder andere renaissancekunst, impressionisme, kubisme en surrealisme. Deze dataset is van groot belang in het voorgestelde raamwerk, aangezien deze kennis biedt waarmee de SPADE-module cultureel verrijkte patronen kan creëren, terwijl de structurele informatie uit het segmentatieproces behouden blijft. De dataset bestaat uit 56.000 afbeeldingen voor training en 12.000 afbeeldingen voor zowel validatie als testen. De afbeeldingen in de dataset dragen bij aan een effectieve training van het DL-model.

Parameter	Beschrijving
Naam van de dataset	WikiArt-dataset
Bron van de dataset	WikiArt-repository (https://www.wikiart.org/)
Domein	Digitale Kunst en Schilderkunst
Totaal aantal afbeeldingen	Ongeveer 80.000 kunstwerken
Trainingsbeelden	56,000
Validatiebeelden	12,000
Testafbeeldingen	12,000
Artistieke stijlen	27 artistieke stijlen, waaronder Renaissance, Impressionisme, Cubisme, Surrealisme, Expressionisme, Realisme en Abstracte Kunst
Originele afbeeldingsresolutie	De oorspronkelijke beeldresoluties variëren per kunstwerk en bron. De afbeeldingen zijn aangepast naar een uniforme resolutie van 256. × 256 pixels tijdens de voorbewerking.
Trainingsresolutie	Afbeeldingen herschaald naar 256 × 256 pixels tijdens de preprocessing voorafgaand aan het leren van de artistieke stijl en segmentatie-gestuurde beeldsynthese.
Datasetpartitionering	Gelaagde willekeurige partitionering (70% training, 15% validatie en 15% testen) met een vast random seed van 42
Stijl-samplingstrategie	Er werd gebruikgemaakt van gestratificeerde proportionele steekproeftrekking om de distributie van de 27 artistieke stijlen over de trainings-, validatie- en testsubsets te behouden.
Toepassing in deze studie	Het leren van artistieke stijlen, stijlrepresentatie en segmentatie-gestuurde artistieke synthese

Tabel 2: Kenmerken van de WikiArt-dataset. Samenvatting van de WikiArt-dataset die is gebruikt voor het leren van artistieke stijlen en stijlgestuurde beeldsynthese. De tabel beschrijft de bron van de dataset, de beeldverdeling, de dekking van artistieke stijlen, de partitionering van de dataset, de beeldresolutie en de toepassing ervan binnen het voorgestelde SegCycle-SPADE-raamwerk.

De Miao Batik-dataset bevat 15.148 afbeeldingen die traditionele culturele motieven van de Miao vertegenwoordigen.32 De dataset is openbaar beschikbaar via Zenodo (https://doi.org/10.5281/zenodo.20807658). Voorafgaand aan de modeltraining werden alle afbeeldingen visueel geïnspecteerd, resized naar 256 × 256 pixels, genormaliseerd en gescreend op beschadigde of dubbele monsters. De kwaliteitscontrole leidde niet tot het uitsluiten van afbeeldingen; daarom werden alle 15.148 afbeeldingen behouden voor verdere analyse. De dataset werd willekeurig onderverdeeld in trainings- (70%), validatie- (15%) en testsubsets (15%) met een vast random seed van 42 om de reproduceerbaarheid van de datasetverdelingen te waarborgen. De WikiArt-dataset werd benaderd via de officiële WikiArt-repository (https://www.wikiart.org/) en bevat meer dan 80.000 kunstwerken verspreid over 27 artistieke stijlen. Voor de experimenten naar stijlleerproces werden 56.000 afbeeldingen gebruikt voor training, 12.000 voor validatie en 12.000 voor testen.

Gegevensvoorbewerking
Voordat het voorgestelde SegCycle-SPADE-raamwerk werd getraind, werden de Miao Batik-culturele motiefdataset en de WikiArt-dataset onderworpen aan verschillende voorbewerkingsstappen om een consistente beeldkwaliteit en een nauwkeurige kenmerkrepresentatie te waarborgen. Dezelfde fundamentele voorbewerkingspijplijn, inclusief Gaussische ruisonderdrukking, normalisatie, schaling naar een consistente inputresolutie en verificatie van de beeldkwaliteit, werd op beide datasets toegepast. De datasets vervulden echter verschillende rollen binnen het raamwerk. De WikiArt-dataset werd gebruikt voor het leren en synthetiseren van artistieke stijlen, terwijl de Miao Batik-dataset primair werd gebruikt voor de segmentatie en reconstructie van culturele motieven. Er werden geen dataset-specifieke wijzigingen in de voorbewerking aangebracht buiten deze taakspecifieke rollen. Om consistente verwerking door het DL-model te garanderen, werden de afbeeldingen eerst geschaald naar een vaste resolutie. Deze stap was noodzakelijk omdat de afbeeldingen in beide datasets varieerden in resolutie, afhankelijk van hun bron. Schaling verbeterde de computationele efficiëntie en voorkwam dat dimensionale inconsistenties de training beïnvloedden. De tweede voorbewerkingsstap was normalisatie, waarbij pixelwaarden werden geschaald naar een gestandaardiseerd bereik om gradiëntupdates tijdens de training te stabiliseren. De afbeeldingen werden vervolgens verwerkt met Gaussische filtering om ruis te verminderen die de structuren van de culturele motieven zou kunnen verstoren. Voor de Miao Batik-dataset werden bestaande segmentatiemaskers van culturele motieven, die rechtstreeks uit de bron van de oorspronkelijke dataset waren verkregen, zonder wijzigingen gebruikt voor de training en evaluatie van de semantische segmentatie. Er werden geen nieuwe segmentatiemaskers specifiek voor deze studie gegenereerd.

Tenzij anders aangegeven, zijn vergelijkingen die gevestigde methoden beschrijven aangepast uit eerdere studies en worden deze dienovereenkomstig geciteerd. Vergelijkingen die de voorgestelde CAFFM en het samengestelde SegCycle-SPADE optimalisatiekader beschrijven, zijn door de auteurs voor deze studie ontwikkeld.

Stel dat een invoerbeeld uit de dataset wordt weergegeven als Vergelijking 1:

  (1)

Hier verwijzen H, W en C respectievelijk naar de hoogte, breedte en het aantal kleurkanalen van de afbeelding. Alle afbeeldingen worden geschaald naar een vaste dimensie H′ × W′, zoals weergegeven in Vergelijking 2:

Hier is I_r de herschale afbeelding. De genormaliseerde pixelwaarden worden berekend volgens Vergelijking 3:

   (3)

Dit helpt om de trainingsprocedure te stabiliseren. Ruisfiltering wordt uitgevoerd met een Gaussisch filter, zoals weergegeven in Vergelijking 4:

Hier is G(σ) een Gaussisch filter en * staat voor convolutie. Er werd gebruikgemaakt van een 5 × 5 kernel Gaussisch filter met een standaarddeviatie van σ = 1.0. Om randartefacten te verminderen, werd reflectieve padding toegepast op de randpixels. Het ruisonderdrukkingsproces werd direct na het laden van de afbeeldingen uitgevoerd, voorafgaand aan de schaling en normalisatie. Om een uniforme voorbewerking gedurende de gehele studie te garanderen, werd dezelfde filterconfiguratie toegepast op elke afbeelding in de Miao Batik- en WikiArt-datasets. Voor de Miao Batik-dataset worden de segmentatiemaskers aangemaakt volgens Vergelijking 5:

Hier is M een segmentatiemasker dat wordt gebruikt om het SegFormer-model te sturen.

De preprocessing-pipeline begint met de acquisitie van beelden uit de Miao Batik-dataset en de WikiArt-dataset, zoals weergegeven in Figuur 3. Tijdens de training zijn geen dataugmentatietechnieken toegepast. Na de preprocessing, die bestond uit herschalen, normalisatie, Gaussische ruisonderdrukking en het voorbereiden van segmentatiemaskers, werden de beelden direct gebruikt voor de training, validatie en het testen van het voorgestelde SegCycle-SPADE-raamwerk. De eerste stap van de preprocessing-pipeline omvat het herschalen van de beelden naar een vaste grootte, waardoor het DL-model de beelden efficiënter kan verwerken. De tweede stap omvat normalisatie, waarbij pixelwaarden worden omgezet naar een gestandaardiseerd numeriek bereik om de convergentie van het model te vergemakkelijken. De derde stap omvat ruisonderdrukking, waarbij ongewenste ruis uit de beelden wordt verwijderd om de patroonherkenning te verbeteren. Daarnaast worden voor de Miao Batik-dataset de regio's van culturele motieven geannoteerd, wat de generatie van maskers mogelijk maakt die worden gebruikt in de segmentatiemodule van het voorgestelde model, om ervoor te zorgen dat culturele motieven tijdens de generatie behouden blijven. De uiteindelijke output van deze fase is een schone dataset die klaar is voor de training van de segmentatie- en generatiemodules van het voorgestelde model.

Figuur 3. Data-voorbehandelingspijplijn voor beelden van cultureel erfgoed. Workflow die de beeldvoorbehandelingsprocedures illustreert die worden toegepast voorafgaand aan de modeltraining. De pijplijn omvat datasetverwerving, het aanpassen van de beeldgrootte, normalisatie, Gaussische ruisonderdrukking, bestaande annotaties van culturele motieven en het voorbereiden van segmentatiemaskers. De resulterende bewerkte beelden en maskers worden gebruikt als inputs voor semantische segmentatie en patroonreconstructie. Klik hier om een grotere versie van deze figuur te bekijken.

Elke afbeelding werd onderworpen aan een kwaliteitscontroleproces voorafgaand aan de modeltraining. De Miao Batik-dataset bevatte 15.148 afbeeldingen. Corrupte, dubbele en kwalitatief slechte monsters waren al aangepakt door de oorspronkelijke makers van de dataset; daarom werden er tijdens de kwaliteitscontrolescreening in deze studie geen extra afbeeldingen uitgesloten. Bijgevolg werden alle 15.148 afbeeldingen behouden voor analyse. Afbeeldingen werden tijdens de preprocessing in RGB-formaat geladen en via bilinaire interpolatie vergroot of verkleind naar 256 × 256 pixels. Pixelwaarden werden geschaald van het bereik [0, 255] naar [0, 1] door te delen door 255. Vervolgens werd kanaalgewijze normalisatie toegepast met gemiddelde waarden van [0,485, 0,456, 0,406] en standaarddeviatiewaarden van [0,229, 0,224, 0,225] voor respectievelijk de rode, groene en blauwe kanalen. De preprocessing-pipeline omvatte het laden van afbeeldingen, RGB-conversie, herschalen, pixelwaarde-schaling, normalisatie en tensorconversie. Indien nodig werden grijswaardenafbeeldingen geconverteerd naar een RGB-formaat met drie kanalen om de compatibiliteit met de DL-modellen te behouden. Na de preprocessing werden de afbeeldingen verdeeld in trainings-, validatie- en testsubsets. Alle fasen van het SegCycle-SPADE-framework — inclusief semantische segmentatie, feature-fusie, motiefreconstructie en SPADE-gebaseerde artistieke synthese — maakten gebruik van een consistente inputresolutie van 256 × 256 pixels.

Semantische patroonsegmentatie met behulp van SegFormer
Na deze voorbewerkingsstap worden de gereinigde en genormaliseerde afbeeldingen van de Miao Batik culturele motiefdataset en de WikiArt-dataset ingevoerd in de semantische segmentatiemodule op basis van het voorgestelde SegFormer-B2-raamwerk. Het doel van deze stap is om culturele motieven die aanwezig zijn in erfgoedpatronen correct te identificeren en te scheiden. Het voorgestelde SegFormer-raamwerk is gebaseerd op een transformer-architectuur die een hiërarchische Transformer-encoder en een lichtgewicht MLP-decoder integreert om zowel globale contextuele informatie als gedetailleerde structurele informatie uit complexe erfgoedpatronen nauwkeurig vast te leggen. Het model extraheert eerst kenmerkrepresentaties op meerdere schalen uit de invoerafbeelding, gevolgd door de fusie van deze representaties via de decoder om nauwkeurig gesegmenteerde patronen te genereren. Dit zorgt ervoor dat de patronen in de erfgoedafbeelding correct worden gesegmenteerd in motieven zoals geometrische patronen, florale patronen en symbolische patronen, waardoor ze van de achtergrond worden gescheiden terwijl hun structurele integriteit behouden blijft. Deze structurele informatie wordt vervolgens gebruikt tijdens de latere stadia van patroongeneratie binnen het SegCycle-SPADE-raamwerk.

Laat de voorbewerkte invoerafbeelding worden weergegeven als Vergelijking 6:

    (6)

De SegFormer-encoder splitst de afbeelding in patches en extraheert hiërarchische kenmerken met behulp van transformer-lagen, zoals weergegeven in Vergelijking 7¹:

Hier staat F voor de multiscale feature maps die zijn verkregen uit de transformer-encoder. Deze features coderen zowel lokale textuurpatronen als globale contextuele relaties tussen motiefregio's. Het SegFormer-model extraheert feature maps op verschillende schalen zoals gedefinieerd in Vergelijking 8:

Het gebruik van multiscale-representaties vergemakkelijkt de detectie van patronen van verschillende grootten binnen culturele motieven. Ten slotte worden de kenmerken gecombineerd met behulp van de MLP-decoder, zoals weergegeven in Vergelijking 9¹:
 

Hier staat S voor de uiteindelijke voorspelde segmentatiekaart.

De SegFormer-B2 backbone werd geïnitieerd met ImageNet-voorgetrainde gewichten en vervolgens gefinetuned op de Miao Batik-dataset voor de segmentatie van culturele motieven. Het voorgetrainde checkpoint werd verkregen uit de officiële SegFormer-implementatie. Specifiek werd het ImageNet-1K voorgetrainde MIT-B2 checkpoint (mit_b2.pth), geleverd door de officiële SegFormer-repository, gebruikt om de SegFormer-B2 backbone te initiëren voorafgaand aan het finetunen. De voorgetrainde gewichten komen overeen met de MIT-B2 backbone die door de SegFormer-auteurs is uitgebracht en dienden als het initiële model voor de training van de semantische segmentatie. De overige taakspecifieke lagen werden vóór de training geïnitieerd met de standaard gewichtsinitialisatieprocedures van PyTorch.

In de architectuur wordt een vierfasige hiërarchische Transformer-encoder met overlappende patch-embeddings gebruikt. In de beginfase werd de patchgrootte ingesteld op 7 × 7 met een stapgrootte (stride) van 4. Voor elk van de vier encoderfasen waren de embedding-dimensies 64, 128, 320 en 512. Over de vier fasen verspreid waren er 1, 2, 5 en 8 multihead self-attention heads, en de overeenkomstige encoderdieptes waren 3, 4, 6 en 3 lagen. Meerschalige kenmerken die uit de encoder werden opgehaald, werden geaggregeerd met behulp van een lichtgewicht all-MLP-decoder. Voordat de definitieve segmentatiekaart werd gemaakt, projecteerde de decoder kenmerken van elke encoderfase naar een enkele embedding-ruimte. Alle Transformer-blokken maakten gebruik van de Gaussian Error Linear Unit (GELU) activatiefunctie. Tijdens de training werd een dropout-rate van 0,1 gebruikt om de generalisatie te verbeteren en overfitting te verminderen.

Tijdens de trainingsfase ontvangt het SegFormer-framework de voorbewerkte beelden van beide datasets. De beelden uit de Miao Batik-dataset bevatten motiefregio's die dienen als labels voor het gesuperviseerde leren van het segmentatiemodel. De Transformer-encoder verwerkt het volledige beeld en legt lange-afstandsrelaties tussen beeldcomponenten vast, wat bijzonder belangrijk is voor traditionele batikpatronen met ruimtelijk verspreide motieven. Het hiërarchische kenmerkenextractiemechanisme legt gelijktijdig lokale structuren vast, zoals herhaalde geometrische texturen. De MLP-decoder verwerkt deze geëxtraheerde kenmerken en produceert een segmentatiemasker waarin de motiefregio's worden geaccentueerd. De segmentatiekaarten die in deze fase worden gegenereerd, dienen vervolgens als structurele inputs voor de attention-module en de fase van patroonreconstructie, waardoor wordt bijgedragen aan het behoud van de authenticiteit van de gegenereerde patronen.

Culturele motieven werden voor semantische segmentatie ingedeeld in verschillende klassen op basis van hun visuele en culturele kenmerken. De segmentatietaxonomie bestond uit diermotieven (bijv. vlinders, vissen, vogels en andere symbolische fauna), plantmotieven (bijv. bloemen, bladeren, ranken en botanische patronen), geometrische motieven (bijv. repeterende vormen, randen en abstracte geometrische structuren) en achtergrondregio's die niet-motiefgebieden vertegenwoordigen. Segmentatiemaskers op pixelniveau werden gebruikt om elke pixel aan een van de vooraf gedefinieerde klassen toe te wijzen. Gehele getallen als labels werden als volgt gecodeerd: Label 0 = achtergrond, Label 1 = diermotieven, Label 2 = plantmotieven en Label 3 = geometrische motieven. De segmentatie-annotaties en motieflabels werden rechtstreeks verkregen uit de bron van de oorspronkelijke Miao Batik-dataset. In dit onderzoek zijn geen aanvullende handmatige annotaties, herlabelingen, grensverificaties of procedures voor expertbevestiging uitgevoerd. De bestaande annotaties die door de makers van de dataset waren verstrekt, werden zonder wijzigingen gebruikt voor training en evaluatie.

Het SegFormer-model voor segmentatie van culturele motieven verwerkt de voorbewerkte afbeeldingen van de Miao Batik-dataset en de WikiArt-dataset met behulp van een transformer-gebaseerd mechanisme voor een nauwkeurige detectie van gebieden met culturele patronen, zoals getoond in Figuur 4. Eerst wordt de invoerafbeelding met traditionele culturele motieven aan het SegFormer-model geleverd. De Transformer-encoder extraheert zowel globale contextuele informatie als lokale structurele kenmerken uit afbeeldingsfragmenten. De resulterende multiscale-kenmerken worden doorgegeven aan de segmentatiedecoder, die een Mix Feed-Forward Network gebruikt om de kenmerkrepresentaties te verfijnen en de motiefdetectie te verbeteren. De output van het SegFormer-model is een segmentatiemasker dat pixels markeert die overeenkomen met culturele patronen, terwijl irrelevante achtergrondinformatie wordt onderdrukt. De geïsoleerde culturele patronen dienen vervolgens als structurele richtlijn voor de volgende stadia van het SegCycle-SPADE-framework.

Figuur 4. Semantische segmentatie van culturele motieven op basis van SegFormer-B2. Architectuur van de SegFormer-B2 semantische segmentatiemodule die is gebruikt voor de extractie van culturele motieven en uitsluitend is getraind op de Miao Batik-dataset. Het raamwerk bestaat uit een Transformer-gebaseerde encoder voor multiscale feature-extractie en een lichtgewicht segmentatiedecoder voor het genereren van motiefmaskers. Het model voorspelt vier semantische klassen — dier, plant, geometrisch en achtergrond — waarbij de resulterende segmentatiemaskers cultureel significante motiefregio's identificeren terwijl irrelevante achtergrondinformatie wordt onderdrukt. Deze segmentatie-outputs bieden structurele richtlijnen voor de daaropvolgende fasen van feature-fusie, reconstructie en artistieke synthese van het voorgestelde SegCycle-SPADE raamwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Binnen het voorgestelde framework is het niet nodig om nieuwe segmentatie-annotaties te maken. De Miao Batik-dataset is verkregen uit een reeds bestaande openbare bron, en het model is getraind met behulp van de bijbehorende motiefinformatie die door de makers van de dataset is verstrekt. Tijdens het leerproces genereerde het SegFormer-model semantische segmentatiekaarten. Bijgevolg waren voor de huidige studie geen aanvullende handmatige annotatiesoftware, annotatierichtlijnen of kwaliteitscontroleprocedures voor annotaties vereist.

CAFFM
Om de interactie tussen de kenmerken van semantische segmentatie en de representaties van generatieve reconstructie te verbeteren, stelde de studie ook een CAFFM voor. De SegFormer-B2 encoder levert semantische feature maps aan de CAFFM-module, terwijl de CycleGAN-reconstructiestap generatieve feature maps levert. Eerst worden lineaire projectielagen gebruikt om beide feature-stromen naar een gemeenschappelijke embedding-ruimte te projecteren. Voor de berekening van de cross-attention worden query (Q), key (K) en value (V) representaties gemaakt met behulp van de gegenereerde feature-tensoren. De relaties tussen structurele motiefinformatie en artistieke stilelementen worden vervolgens gemodelleerd met behulp van multihead cross-attention. Laagnormalisatie, residuele verbindingen en feed-forward lagen met GELU-activering worden vervolgens toegepast op de gefuseerde feature-representaties. De SPADE-gebaseerde synthesefase ontvangt de output van de CAFFM-module, waardoor cultureel betekenisvolle thema's behouden blijven zonder dat dit ten koste gaat van de artistieke coherentie.

Om de compatibiliteit van kenmerken te garanderen, worden de invoerkenmerken eerst via lineaire projectielagen geprojecteerd op een gedeelde embeddingruimte met een embeddingdimensie van 256. De onderlinge verbindingen tussen semantische structurele informatie en generatieve stylerepresentaties worden vervolgens gemodelleerd met een MultiHead Cross-Attention-mechanisme met acht attention-heads. De berekening van de cross-attention maakt gebruik van de Query (Q), Key (K) en Value (V) vectoren die worden gegenereerd door specifieke lineaire transformatielagen. Om de trainingsstabiliteit te verhogen en de integriteit van de kenmerken te behouden, worden residuele verbindingen en Layer Normalization ingezet om de gefuseerde kenmerkrepresentaties verder te verbeteren. Het niet-lineaire leren van kenmerken wordt vervolgens geoptimaliseerd door een feed-forward netwerk toe te passen met de Gaussian Error Linear Unit (GELU) activatiefunctie. De module genereert een outputkenmerkrepresentatie van dimensie 256, die naar andere stadia wordt gestuurd voor creatieve synthese. De CAFFM combineert succesvol artistieke stijldata met culturele motiefstructuren door middel van een cross-attention-gebaseerde fusietechniek, wat de behoud van motieven en de visuele coherentie in de gereconstrueerde culturele erfgoedpatronen versterkt.

In het voorgestelde systeem zijn de structurele kenmerken afgeleid van de Miao Batik-dataset, terwijl de stilistische kenmerken worden geleerd van de WikiArt-dataset. Laat de feature map, afgeleid van het SegFormer-segmentatienetwerk met behulp van afbeeldingen uit de Miao Batik-dataset, worden aangeduid als F_s, terwijl de feature map, afgeleid van de tak voor stilistische kenmerkextractie met behulp van WikiArt-afbeeldingen, wordt aangeduid als F_a. De voorgestelde CAFFM combineert de twee kenmerkdomeinen met behulp van een cross-attention-mechanisme om zowel structurele als stilistische afhankelijkheden van culturele patronen te leren. Tabel 3 vermeldt alle architectonische kenmerken, waaronder embedding-dimensies, normalisatielagen, activeringsfuncties en de configuratie van de attention-heads. Voor een invoerafbeeldingsgrootte van 256 × 256 pixels produceerde de SegFormer-B2-encoder semantische feature maps van 64 × 64 × 128, terwijl de tak voor stilistische kenmerkextractie feature maps van 64 × 64 × 128 produceerde. Beide feature maps werden via leerbare lineaire lagen geprojecteerd naar een gedeelde embedding-ruimte van dimensie 256 voorafgaand aan de cross-attention-fusie.

Parameter	Configuratie
Voorgesteld kader	SegCycle-SPADE
Model voor semantische segmentatie	SegFormer-B2
SegFormer Encoder-stadia	4
Gewichtsinitialisatie	Op ImageNet-1K vooraf getrainde SegFormer-B2 (MIT-B2 backbone)
Controlepuntbron	Officiële NVIDIA SegFormer-repository (https://github.com/NVlabs/SegFormer); checkpoint: segformer.b2.512x512.ade.160k
Strategie voor fijnafstemming	End-to-end fine-tuning op de Miao Batik-dataset
Patch-embeddinggrootte	7 × 7
Patch-stapgrootte	4
Inbeddingsdimensies	64, 128, 320 en 512
Dieptes van de encoder	3, 4, 6 en 3
Attention-koppen	1, 2, 5 en 8
Decoder-type	All-MLP-decoder
Activeringsfunctie	GELU
Uitvalpercentage	0.1
Module voor kenmerkverbetering	Cross-Attention Culturele Kenmerken Fusie Module (CAFFM)
Inbeddingsdimensie van CAFFM	256
CAFFM Attention Heads	8
CAFFM-fusieschalen	4
Reconstructiemodel	CycleGAN
Stijlgeneratiemodel	SPADE
Culturele dataset	Miao-batikdataset
Stijldataset	WikiArt-dataset
Miao-batikafbeeldingen	15,148
WikiArt-afbeeldingen	Ongeveer 80.000
Resolutie van de invoerbeelden	256 × 256 pixels
Kleurformaat	RGB
Interpolatiemethode	Bilinaire interpolatie
Ontruisingsmethode	Gaussiaanse filtering
Grootte van de Gaussische kernel	5 × 5
Gaussische sigma (σ)	1
Normalisatiebereik	[0, 1]
Batchgrootte	16
Aantal epochs	100
Optimizer	Adam
Leersnelheid	0.0002
Adam-parameters	β₁ = 0.5, β₂ = 0.999, ε = 1 × 10⁻⁸, weight decay = 0
Verliesfuncties	segmentatieverlies, adversarial verlies, cycle-consistency verlies, reconstructieverlies, motiefbehoudverlies en stijlconsistentieverlies
Strategie voor dataset-splitsing	Training / Validatie / Testen
Trainingsset	70%
Validatieset	15%
Testset	15%
Willekeurige seed	42
Evaluatiemetrieken	Segmentatienauwkeurigheid, IoU, Dice-coëfficiënt, SSIM, PSNR en FID
Programmeertaal	Python 3.8.10
Deep Learning-framework	PyTorch 1.10.0
Hardwareplatform	NVIDIA RTX 3090 GPU (24 GB VRAM), Intel Core i7 (11e generatie), 32 GB RAM
Bedrijfsomgeving	Ubuntu 20.04 LTS

Tabel 3: Experimentele Opstelling en Modelconfiguratie. Overzicht van de architecturale componenten, trainingsconfiguratie, voorbehandelingsinstellingen, datasets, optimalisatieparameters, evaluatiemetrieken en de computationele omgeving die zijn gebruikt voor de implementatie en evaluatie van het voorgestelde SegCycle-SPADE-framework.

De attentiemodule brengt de feature map eerst in kaart naar query-, key- en value-representaties met behulp van Vergelijking 10:

Hier zijn W_q, W_k en W_v leerbare gewichtsmatrices. De attentiegewichten worden berekend op basis van de gelijkenis tussen de query-vector en de key-vector met behulp van Vergelijking 11¹⁷: 

Hier is d_k de dimensie van de key-vector. De verbeterde kenmerkrepresentatie wordt berekend door de attention-gewichten te vermenigvuldigen met de value-matrix met behulp van Vergelijking 12:

Hier is F_a de verbeterde kenmerkrepresentatie van de kenmerkmap. De verbeterde kenmerkrepresentatie wordt berekend door de oorspronkelijke segmentatiekenmerken te combineren met de verbeterde kenmerken verkregen via het aandachtsmeganisme met behulp van Vergelijking 13:

                                

Hier is F_e de verbeterde feature map die wordt gebruikt voor patroonreconstructie. De CAFFM wordt uitgebreid met een multiscale cross-attention-mechanisme om kenmerken voor culturele motieven op verschillende schalen te extraheren. Laat F_sⁱ de segmentatiekenmerken op schaal i aanduiden, terwijl F_a^j de artistieke-stijlkenmerken op dezelfde schaal aanduidt. De uiteindelijke feature-representatie wordt gedefinieerd met behulp van Vergelijking 14:

  

Hier representeren Q_i, K_i en V_i respectievelijk de query-, key- en value-matrices op schaal i, en N duidt het aantal kenschaalniveaus aan. In deze studie is N = 4, wat overeenkomt met feature maps die zijn geëxtraheerd bij ruimtelijke resoluties van 1/4, 1/8, 1/16 en 1/32 van de grootte van de inputafbeelding. Deze multiscale feature-representaties werden gefuseerd met behulp van leerbare attention-gewichten voorafgaand aan de reconstructie en artistieke synthese. De bovenstaande uitbreiding stelt de methode in staat om globale culturele motieven en texturen te extraheren voor de reconstructie van culturele patronen. CAFFM is in het voorgestelde SegCycle-SPADE-systeem gepositioneerd tussen de op SegFormer gebaseerde segmentatiefase en de op SPADE gebaseerde creatieve synthesefase. Allereerst herstelt SegFormer-B2 semantische feature maps die de structurele eigenschappen van culturele motieven beschrijven, terwijl CycleGAN gelijktijdig reconstructie-features met stilistische en patroongerelateerde informatie genereert. De CAFFM-module ontvangt deze twee feature-stromen en maakt gebruik van cross-attention-gebaseerde fusie om relaties tussen structurele en artistieke representaties te identificeren. Om cultureel authentieke patronen te creëren met behoud van semantische consistentie en structurele kenmerken, worden de resulterende gefuseerde feature maps vervolgens naar de SPADE-module gestuurd voor segmentatie-gestuurde creatieve synthese.

Patroonreconstructie met behulp van CycleGAN
Zodra de fase van feature-verbetering op basis van attention is voltooid, bevatten de feature-maps de verbeterde structuren van de culturele motieven. De feature-maps kunnen echter nog steeds onvolledige of beschadigde patroonregio's bevatten. Om het probleem van de patroonreconstructie aan te pakken, maakt het voorgestelde raamwerk daarom gebruik van het CycleGAN-model. In het voorgestelde raamwerk zijn de twee domeinen de oorspronkelijke culturele motiefpatronen en de gereconstrueerde culturele motiefpatronen. Met behulp van de verbeterde features uit de vorige fasen zal het CycleGAN-model de culturele patronen reconstrueren terwijl de structurele consistentie behouden blijft. Dit zorgt ervoor dat culturele patronen, zoals geometrische patronen, bloemmotieven en symbolische patronen, hun ruimtelijke ordening behouden. De originele Miao Batik-afbeeldingen werden onderworpen aan willekeurige maskering en gedeeltelijke occlusie-operaties om onvolledige of beschadigde culturele motieven te genereren. Deze degradatieprocedures simuleerden ontbrekende patroonregio's en structurele schade die veelvuldig worden waargenomen bij verslechterde culturele erfgoedartefacten. De gedegradeerde afbeeldingen werden als input voor de reconstructiemodule gebruikt, terwijl de overeenkomstige originele afbeeldingen dienden als referentiebeelden voor prestatie-evaluatie en kwaliteitsbeoordeling van de reconstructie. Deze strategie stelde het model in staat om het herstel van ontbrekende motiefstructuren te leren terwijl de semantische consistentie en culturele kenmerken behouden bleven.

Laat X het domein van onvolledige culturele patronen zijn en Y het domein van gereconstrueerde culturele patronen. De twee generatoren leren een bidirectionele mapping uit te voeren met behulp van Vergelijking 15:

 

Hier wordt G_E gebruikt om motiefstructuren te reconstrueren en F_M om de patronen terug te brengen naar het oorspronkelijke domein. Het adversariële verlies wordt gebruikt om te garanderen dat de gereconstrueerde patronen realistisch zijn (Vergelijking 16)³⁰

Hier is D_Y de discriminator die wordt gebruikt om echte en gereconstrueerde patronen te onderscheiden, en G_E(x) duidt het gegenereerde gereconstrueerde patroon aan. De CycleGAN dwingt daarnaast cyclusconsistentie af om de structurele indeling van culturele motieven te behouden (Vergelijking 17)³⁰.

De uiteindelijke verliesfunctie wordt gedefinieerd aan de hand van Vergelijking 18³⁰:

Hierbij staat λ_i voor de wegingscoëfficiënt voor het cycle-consistency-verlies, welke tijdens de training op 10 is ingesteld, in overeenstemming met de oorspronkelijke CycleGAN-formulering. Deze waarde is gekozen om een balans te vinden tussen adversarial learning en reconstructieconsistentie tussen de bron- en doeldomeinen.

De CycleGAN-reconstructiemodule bestaat uit twee generatoren en twee discriminatoren voor bidirectionele beeldvertaling. Elke generator volgt een residual-network architectuur bestaande uit een initiële 7 × 7 convolutielaag, gevolgd door twee downsampling-convolutielagen, negen residual blocks en twee upsampling-lagen. Alle convolutiebewerkingen maken gebruik van een kernelgrootte van 3 × 3, behalve de inputlaag, die een 7 × 7 kernel gebruikt voor verbeterde feature-extractie. Instance Normalization wordt toegepast na elke convolutielaag om de trainingsstabiliteit te verbeteren, terwijl ReLU-activatie in het gehele generatornetwerk wordt gebruikt. De outputlaag maakt gebruik van een Tanh-activatiefunctie om genormaliseerde beeldoutputs te genereren. De discriminator volgt een 70 × 70 PatchGAN-architectuur bestaande uit een reeks convolutielagen met kernelgroottes van 4 × 4 en progressief toenemende feature-kanalen. Instance Normalization en LeakyReLU-activatie (negatieve helling = 0,2) worden in de discriminator ingezet om de feature-discriminatie en het adversarial learning te verbeteren. De CycleGAN-module ontvangt gepreprocessede afbeeldingen van culturele motieven als input en genereert gereconstrueerde patroonrepresentaties, die vervolgens naar de CAFFM worden gestuurd voor integratie met segmentatie-features. De CycleGAN-training werd uitgevoerd met de Adam-optimizer (β₁ = 0,5, β₂ = 0,999) met een initiële learning rate van 0,0002. De learning rate werd gehandhaafd gedurende de eerste 100 epochs en daarna lineair afgebouwd naar nul over de resterende trainingsperiode. Een replay-buffer met 50 eerder gegenereerde afbeeldingen werd gebruikt om de training van de discriminator te stabiliseren. De generatoren en discriminatoren werden bijgewerkt met een update-ratio van 1:1, waarbij elke generator-update werd gevolgd door één discriminator-update tijdens elke trainingsiteratie.

Het reconstructieproces van de CycleGAN is gebaseerd op de verbeterde feature maps die zijn verkregen met behulp van het CAFFM-mechanisme in Figuur 5. De feature maps bevatten verbeterde culturele motieven die zijn verkregen uit de voorgaande fasen van segmentatie en CAFFM. De feature maps worden gebruikt als input voor de eerste generator G_E. De eerste generator G_E leert de mapping die nodig is om culturele patronen te reconstrueren. De outputs worden vervolgens gevoed aan de discriminator D_Y om onderscheid te maken tussen echte culturele patronen en gereconstrueerde patronen. De discriminator D_Y helpt de generator G_E om realistische outputs te produceren. Om ervoor te zorgen dat culturele patronen niet worden vervormd tijdens de reconstructie, voert de tweede generator F_M een cycle-consistency mapping uit. De tweede generator F_M mapt de outputs terug naar het oorspronkelijke domein. De outputs worden vervolgens geëvalueerd door de discriminator om het realisme te waarborgen. De uiteindelijke outputs worden vervolgens doorgestuurd naar de SPADE-module voor artistieke stijlgeneratie in de volgende fase van het voorgestelde SegCycle-SPADE-framework.

Figuur 5. Workflow voor patroonreconstructie op basis van CycleGAN. Workflow van de CycleGAN-reconstructiemodule. Aandachtsversterkte feature-representaties worden als input aan het generatornetwerk geleverd om onvolledige culturele motieven te reconstrueren. De discriminator evalueert de gereconstrueerde outputs ten opzichte van referentiepatronen, terwijl cycle-consistency mapping de structurele integriteit bewaart tijdens bidirectionele beeldvertaling. Gereconstrueerde motieven worden vervolgens doorgestuurd naar de SPADE-module voor artistieke stijlsynthese. Klik hier om een grotere versie van deze figuur te bekijken.

Generatie van artistieke stijl met behulp van SPADE
Vervolgens worden de gereconstrueerde culturele motieven onderworpen aan de SPADE-module voor de generatie van artistieke stijl. Het hoofddoel van de SPADE-module is om visueel rijkere texturen van artistieke stijl aan de gereconstrueerde culturele motieven toe te voegen zonder de structurele lay-out van de motieven in gevaar te brengen. De SPADE-module is een techniek voor conditionele beeldgeneratie die gebruikmaakt van het concept van beeldsegmentatie voor het genereren van beelden. Meerkanaals semantische kaarten die correspondeerden met de vooraf bepaalde motiefklassen werden gecodeerd vanuit de semantische segmentatiemaskers die door SegFormer-B2 waren geproduceerd. De SPADE-generator ontving deze gecodeerde kaarten als conditionele inputs. De ruimtelijk adaptieve schalingsparameters (γ) en bias-parameters (β) werden gegenereerd door de semantische kaarten via convolutionele lagen binnen elke SPADE-laag te verwerken. De generator was hierdoor in staat om motiefgrenzen, structurele lay-outs en semantische informatie tijdens de artistieke synthese te behouden door deze parameters toe te passen op de genormaliseerde feature-activaties. Semantische sturing kon zowel de hoogwaardige structurele reconstructie als de laagwaardige texturesynthese beïnvloeden, aangezien het conditionele proces werd uitgevoerd op verschillende lagen van de SPADE-generator. Als resultaat bevatten de gecreëerde artistieke patronen stilistische kenmerken verkregen uit de WikiArt-dataset, terwijl de culturele motiefstructuren uit de segmentatiefase behouden bleven.

De WikiArt-dataset, die werken uit 27 verschillende artistieke categorieën omvat—zoals Renaissance, Impressionisme, Cubisme, Expressionisme, Surrealisme, Realisme en Abstracte Kunst—werd gebruikt als belangrijkste bron voor het begrijpen van artistieke stijlen. Om het model bloot te stellen aan een verscheidenheid aan creatieve kenmerken en de generalisatie van stijlen te verbeteren, werden tijdens de training willekeurig stijlafbeeldingen geselecteerd uit de verschillende categorieën. De dataset werd onderverdeeld in trainings-, validatie- en testsubsets met een gebalanceerde vertegenwoordiging van artistieke categorieën om stijlbias te verminderen. Om een gebalanceerde vertegenwoordiging van alle 27 artistieke categorieën te garanderen, werd gestratificeerde steekproefname toegepast. Steekproeven uit elke categorie werden proportioneel toegewezen aan de trainings-, validatie- en testsubsets, waarbij de oorspronkelijke klassendistributie behouden bleef. De CAFFM-module werd gebruikt om de stijlaspecten die uit de WikiArt-afbeeldingen waren afgeleid, te fuseren met de reconstructiekenmerken die door CycleGAN waren gegenereerd. Om het synthesenetwerk in staat te stellen artistieke kwaliteiten over te dragen terwijl de semantische structuur en de grenzen van culturele motieven uit de segmentatiekaarten behouden bleven, werden de resulterende gefuseerde representaties als conditioneringsinformatie aan de SPADE-generator geleverd. Dankzij deze techniek voor stijlconditionering was het voorgestelde raamwerk in staat om cultureel authentieke artistieke patronen te produceren met consistente structurele en stilistische representaties.

SPADE introduceert daarnaast ruimtelijk adaptieve parameters die afhankelijk zijn van de segmentatiekaart. De parameters kunnen worden gedefinieerd zoals weergegeven in Vergelijking 19¹:

Hier is γ(S) de ruimtelijk variërende schaalparameter en β(S) de ruimtelijk variërende biasparameter. De parameters kunnen de generator helpen om verschillende texturen en stijlen te creëren, afhankelijk van de semantische regio in de afbeeldingen. Het uiteindelijke culturele kunstwerk kan worden gedefinieerd zoals weergegeven in Vergelijking 20:

 

Hierbij is G_E de SPADE-generator, X_r^P het gereconstrueerde patroon en SM de segmentatiekaart. Het uiteindelijke kunstwerk behoudt de structurele integriteit van culturele motieven terwijl het artistieke uiterlijk wordt verbeterd. Om de voorgestelde SegCycle-SPADE-architectuur te optimaliseren, werd een samengestelde verliesfunctie gebruikt die de nauwkeurigheid van de semantische segmentatie, het behoud van culturele motieven, de kwaliteit van de patroonreconstructie en de consistentie van de artistieke stijl in balans brengt. De algemene trainingsdoelstelling werd vastgesteld met een gewogen mengsel van segmentatieverlies (L_seg), adversarieel verlies (L_adv), cycle-consistency verlies (L_cycle), reconstructieverlies (L_recon), motiefbehoudverlies (L_motif) en stijlconsistentieverlies (L_style). De totale verliesfunctie is gedefinieerd in Vergelijking 21:

  (21)

Om structurele consistentie tussen de invoer en de gereconstrueerde culturele motieven te garanderen, werd de coëfficiënt voor het cycle-consistency-verlies ingesteld op 10. Om fijnmazige motiefkenmerken te behouden en de visuele nauwkeurigheid te verbeteren, werd de coëfficiënt voor het reconstructieverlies ingesteld op 5. Om de bewaring van cultureel essentiële structurele patronen tijdens artistieke synthese te benadrukken, werd een coëfficiënt van 2 gebruikt voor het motiefbewaring-verlies. Om artistieke stijltransfer te bevorderen zonder semantische motiefstructuren onnodig te vervormen, werd de coëfficiënt voor het style-consistency-verlies aangepast naar 1. Om een gebalanceerde bijdrage tussen de productie van realistische beelden en nauwkeurige motiefsegmentatie te behouden, kregen het segmentatieverlies en het adversariaal verlies gelijke gewichten. De op kenmerken gebaseerde stijlrepresentaties van de WikiArt-dataset werden gebruikt om het style-consistency-verlies te berekenen. In het bijzonder werden artistieke stijlkenmerken vastgelegd met behulp van Gram-matrixcorrelaties afgeleid van diepe feature maps. Het verschil in de Frobenius-norm tussen de Gram-matrices van het doelstijlbeeld en het gegenereerde beeld werd gebruikt om het stijlverlies te berekenen, zoals weergegeven in Vergelijking 22:

Hier is G_l de Gram-matrix berekend uit de l^e kenmerklaag, geeft I_gen de gegenereerde artistieke afbeelding aan, geeft I_style de doelstijlafbeelding uit de WikiArt-dataset aan, en geeft F de Frobenius-norm aan. Deze formulering stelt het voorgestelde raamwerk in staat om artistieke kenmerken te behouden terwijl de structurele en semantische integriteit van culturele motieven behouden blijft.

De gefuseerde kenmerkrepresentaties geproduceerd door de CAFFM-module worden gebruikt als conditioneringsinputs voor de SPADE-module, die dient als het component voor artistieke synthese van het voorgestelde raamwerk. De SPADE-generator bestaat uit zeven SPADE-residuele blokken met een latente kenmerkdimensie van 256 kanalen en genereert output-afbeeldingen met een resolutie van 256 × 256 pixels. Semantische segmentatiekaarten verkregen uit de SegFormer–CAFFM-module worden gebruikt als conditioneringsinputs gedurende de SPADE-residuele lagen. SPADE-lagen worden toegepast voorafgaand aan de activatiefuncties binnen elk residueel blok, waardoor semantische conditionering gestuurd door segmentatie mogelijk wordt. Door opeenvolgende upsampling- en convolutionele operaties wordt de latente kenmerkrepresentatie geleidelijk verfijnd om hoogresolutie artistieke patronen te genereren, terwijl de semantische consistentie en motiefstructuur behouden blijven. LeakyReLU-activatiefuncties worden in de gehele generator gebruikt, en een Tanh-activatiefunctie wordt toegepast op de outputlaag om genormaliseerde afbeeldingen te produceren.

Algoritme en workflow
Het SegCycle-SPADE-framework integreert semantische segmentatie, feature-fusie, patroonreconstructie en artistieke stijlsynthese binnen een uniforme trainingspijplijn. De workflow begint met datasetverwerving en preprocessing, inclusief het wijzigen van de beeldgrootte, normalisatie, ruisonderdrukking en het voorbereiden van segmentatiemaskers. De voorbewerkte beelden worden vervolgens verwerkt met het SegFormer-B2-segmentatienetwerk om semantische motiefrepresentaties te extraheren. De resulterende segmentatie-features worden via de CAFFM gefuseerd met reconstructie-features, waardoor interactie tussen structurele motiefinformatie en artistieke feature-representaties mogelijk wordt. De gefuseerde feature-maps worden vervolgens geleverd aan de CycleGAN-reconstructiemodule, die onvolledige culturele motiefstructuren herstelt terwijl de semantische consistentie behouden blijft. De gereconstrueerde patronen worden vervolgens doorgegeven aan de SPADE-generator voor segmentatie-gestuurde artistieke synthese, wat stijlaanpassingen mogelijk maakt terwijl de motiefgrenzen en structurele authenticiteit behouden blijven. Tijdens de training worden de modelparameters geoptimaliseerd met de samengestelde verliesfunctie beschreven in Vergelijkingen 21 en 22, die een balans vindt tussen segmentatienauwkeurigheid, motiefbehoud, reconstructiekwaliteit en consistentie van de artistieke stijl. Een gedetailleerde stapsgewijze implementatieworkflow, inclusief het laden van de dataset, preprocessing, modelinitialisatie, trainingsiteraties, validatieprocedures, selectie van checkpoints en de uiteindelijke evaluatie, wordt beschreven in Aanvullend bestand 1 (Algoritme 1). De volledige algoritmische workflow is geïmplementeerd met een batchgrootte van 16, een leerpercentage van 0.0002 en 100 training-epochs. Een vaste random seed van 42 is gebruikt voor de datasetpartitionering, modelinitialisatie en alle trainingsexperimenten. De seed is consistent toegepast over de willekeurige getalgeneratoren van Python, NumPy en PyTorch om reproduceerbaarheid te garanderen. De Adam-optimizer is geconfigureerd met β₁ = 0.5, β₂ = 0.999 en geen weight decay (weight decay = 0). Modelcheckpoints zijn geselecteerd op basis van de hoogste behaalde validatie-IoU-score op de validatiedataset.

Optimalisatie van de verliesfunctie
Om culturele motiefstructuren tijdens reconstructie en artistieke synthese te behouden, maakt het voorgestelde raamwerk gebruik van een samengesteld optimalisatiedoel dat segmentatie-, adversariële, cyclusconsistentie-, reconstructie-, motiefbehoud- en stylconsistentieverliezen combineert. De volledige wiskundige formulering, weegcoëfficiënten en de definitie van het stylverlies worden gegeven in Vergelijkingen 21 en 22 in de subsectie Artistic Style Generation using SPADE. De component voor motiefbehoud bestraft structurele afwijkingen tussen de voorspelde motiefregio's en de overeenkomstige ground-truth segmentatiemaskers, waardoor het behoud van cultureel significante patroonstructuren gedurende het reconstructieproces wordt gestimuleerd.

Resultaten

Het voorgestelde SegCycle-SPADE-framework werd geëvalueerd met behulp van twee datasets: de Miao Batik-dataset van culturele motieven en de WikiArt-dataset. De Miao Batik-dataset bevat afbeeldingen van traditioneel cultureel erfgoed en werd primair gebruikt voor semantische segmentatie en structurele reconstructietaken, terwijl de WikiArt-dataset diverse artistieke stijlen bevat en werd gebruikt voor het leren en genereren van artistieke stijlen. Afbeeldingen uit beide datasets werden verwerkt via de complete SegCycle-SPADE-pijplijn, inclusief semantische segmentatie, CAFFM, patroonreconstructie en SPADE-gebaseerde generatie van artistieke stijlen. De integratie van informatie over culturele motieven en representaties van artistieke stijlen stelde het framework in staat om cultureel betekenisvolle en visueel coherente resultaten te genereren.

Alle experimenten werden uitgevoerd op een GPU-compatibel werkstation uitgerust met een Intel Core i7-processor en een NVIDIA GPU. Specifiek werden de experimenten uitgevoerd op een werkstation voorzien van een Intel Core i7 (11e generatie) CPU, een NVIDIA RTX 3090 GPU met 24 GB VRAM en 32 GB systeemgeheugen. De modellen werden geïmplementeerd met Python 3.8 en PyTorch 1.10 met CUDA-acceleratie. De training werd uitgevoerd met een single-GPU-configuratie zonder gedistribueerde training. Gedurende alle experimenten werd standaard FP32-precisie gebruikt, en er werd geen gebruikgemaakt van mixed-precision training. De Adam-optimizer werd gebruikt met een batchgrootte van 16 gedurende 100 training-epochs. Tabel 3 vat de implementatieparameters en de computationele omgeving samen die in deze studie zijn gebruikt.

De voorgestelde architectuur bestaat uit vier hoofdcomponenten: SegFormer-B2 voor semantische segmentatie, CAFFM voor kenfusiemaat, CycleGAN voor motiefreconstructie en SPADE voor artistieke stylesynthese. Afbeeldingen uit beide datasets werden vóór de training herschaald naar 256 × 256 pixels. Deze gestandaardiseerde resolutie waarborgde de computationele efficiëntie terwijl belangrijke motiefdetails behouden bleven, en droeg bij aan een stabiele adversariële training van zowel de CycleGAN- als de SPADE-modules.

De prestaties van het voorgestelde raamwerk werden geëvalueerd met behulp van metrieken voor segmentatie en beeldkwaliteitsbeoordeling, waaronder Segmentatie-accuraatheid, IoU, Dice Similarity Coefficient (Dice), SSIM, PSNR en FID. De visuele authenticiteit werd kwalitatief beoordeeld door middel van visuele inspectie van de gegenereerde culturele patronen. De kwalitatieve beoordeling richtte zich op het behoud van motieven, semantische consistentie, culturele kenmerken en het artistieke uiterlijk ten opzichte van de referentie-culturele motieven. Visuele authenticiteit werd niet gebruikt als een onafhankelijke kwantitatieve evaluatiemetriek.

De kwantitatieve evaluatie van het voorgestelde raamwerk werd uitgevoerd met behulp van de volgende metrieken.

De segmentatienauwkeurigheid werd berekend met behulp van Vergelijking 23:

Hierbij staan TP, TN, FP en FN respectievelijk voor terecht-positieven, terecht-negatieven, onterecht-positieven en onterecht-negatieven.

De IoU werd berekend met behulp van Vergelijking 24:

 

De Dice Similarity Coefficient (Dice) werd berekend met behulp van Vergelijking 25:

De SSIM werd gebruikt om de perceptuele beeldgelijkenis te beoordelen en wordt gedefinieerd aan de hand van Vergelijking 26³³:

  (26)

Hierbij staat μ voor de gemiddelde intensiteit, σ voor de variantie, σ_xy voor de covariantie tussen beelden, en zijn C₁ en C₂ stabiliserende constanten.

PSNR is een maatstaf die veelvuldig wordt gebruikt om de kwaliteit van gegenereerde beelden te evalueren en deze is gedefinieerd in Vergelijking 27³³:

Hierbij staat Max_I voor de maximale mogelijke pixelwaarde van de afbeelding en MSE voor de gemiddelde kwadratische fout (mean square error) tussen de originele en de gereconstrueerde afbeelding.

FID kan worden berekend met behulp van gemiddelden en covariantiematrices, zoals beschreven in Vergelijking 28³³:

   (28)

Hier is μ_r de gemiddelde waarde van het reële beeld, μ_g de gemiddelde waarde van het gegenereerde beeld, en Σ_r en Σ_g respectievelijk de covariantiematrices van de reële en gegenereerde beelden.

Voor de prestatievergelijking werd het voorgestelde raamwerk geëvalueerd ten opzichte van representatieve methoden die gangbaar zijn voor semantische segmentatie, beeldreconstructie en artistieke beeldgeneratie. U-Net en DeepLabV3+ werden opgenomen als baselines voor segmentatie, terwijl Pix2Pix en CycleGAN werden opgenomen als baselines voor reconstructie. StyleGAN en AttentionGAN werden gebruikt als representatieve methoden voor artistieke beeldgeneratie. Deze vergelijkingen werden uitgevoerd om de effectiviteit van SegCycle-SPADE te beoordelen bij het behouden van structurele motiefinformatie en het gelijktijdig verbeteren van de artistieke kwaliteit.

Elk experiment werd vijf keer herhaald om de stabiliteit van de prestaties en de reproduceerbaarheid te evalueren. Voor de partitionering van de dataset werd een vaste random seed van 42 gebruikt om consistente trainings-, validatie- en testsets over alle experimenten heen te waarborgen. Resultaten worden weergegeven als gemiddelde ± standaarddeviatie. De lage waarden voor de standaarddeviatie die werden waargenomen voor Accuracy, IoU, Dice, SSIM, PSNR en FID geven aan dat het voorgestelde raamwerk een stabiele prestatie behaalde over de herhaalde experimentele runs. Statistische significantie werd geëvalueerd met gepaarde t-toetsen, en verschillen werden als statistisch significant beschouwd wanneer p < 0,05. Omdat alle modellen werden beoordeeld op dezelfde dataset-partities, werden gepaarde prestatiemetingen over herhaalde runs verkregen, wat het gebruik van gepaarde t-toetsen rechtvaardigt. Om de family-wise error rate geassocieerd met meerdere paarsgewijze vergelijkingen te beheersen, werd de Bonferroni-correctie toegepast, en statistische significantie werd bepaald met een aangepaste drempelwaarde van α/n, waarbij n het aantal paarsgewijze vergelijkingen aanduidt.

De experimentele resultaten ondersteunen sterk de effectiviteit van het voorgestelde SegCycle-SPADE-framework. De superieure segmentatieprestaties die zijn behaald door SegFormer-B2 tonen het vermogen aan om cultureel significante motiefgrenzen nauwkeurig te identificeren en te behouden. Verbeteringen in de IoU- en Dice-scores duiden verder op een effectieve bewaring van semantische motiefstructuren gedurende de gehele verwerkingspijplijn. De integratie van CycleGAN en SPADE heeft onvolledige motiefstructuren succesvol gereconstrueerd terwijl fijnmazige visuele details behouden bleven, zoals weerspiegeld door de verbeterde SSIM- en PSNR-waarden. Bovendien geven lagere FID-scores aan dat de gegenereerde artistieke patronen een grotere gelijkenis vertonen met authentieke culturele en artistieke beelden, wat wijst op een verbeterde stilistische coherentie en visueel realisme.

De CAFFM droeg aanzienlijk bij aan deze verbeteringen door een effectieve interactie tussen segmentatie-afgeleide structurele informatie en generatieve stijlrepresentaties te faciliteren. Door middel van kenmerkfusie op basis van cross-attention verbeterde de CAFFM zowel de structurele getrouwheid als de artistieke authenticiteit, terwijl langdurige relaties tussen culturele motieven behouden bleven.

Figuur 6 presenteert de vergelijking van de segmentatienauwkeurigheid tussen het voorgestelde SegCycle-SPADE-raamwerk en bestaande methoden op de Miao Batik- en WikiArt-datasets. Traditionele segmentatiebenaderingen zoals U-Net en DeepLabV3+ behaalden concurrerende prestaties vanwege hun vermogen om ruimtelijke representaties te leren. Echter, Pix2Pix en CycleGAN vertoonden een lagere segmentatienauwkeurigheid omdat ze niet specifiek waren ontworpen voor segmentatietaken. Het voorgestelde SegCycle-SPADE-raamwerk behaalde de hoogste segmentatienauwkeurigheid op beide datasets dankzij de integratie van SegFormer-B2 en CAFFM-gebaseerde kenmerkverbetering.

Figuur 6. Vergelijking van de segmentatienauwkeurigheid over verschillende methoden. Vergelijking van de segmentatienauwkeurigheid verkregen met U-Net, DeepLabV3+, Pix2Pix, CycleGAN en het voorgestelde SegCycle-SPADE-framework op de Miao Batik- en WikiArt-datasets. De resultaten worden weergegeven als gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). De foutenbalken vertegenwoordigen één standaarddeviatie. Hogere waarden duiden op een verbeterde segmentatieprestatie. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste segmentatienauwkeurigheid op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 7 presenteert de IoU-vergelijking tussen de geëvalueerde methoden. U-Net en DeepLabV3+ behaalden sterke overlap-prestaties dankzij hun op segmentatie gerichte architecturen. Daarentegen produceerden Pix2Pix en CycleGAN lagere IoU-waarden, omdat hun primaire doel beeldtranslatie is in plaats van semantische segmentatie. Het voorgestelde SegCycle-SPADE-raamwerk behaalde de hoogste IoU-waarden op beide datasets, wat duidt op een verbeterde lokalisatie en behoud van de regio's met culturele motieven.

Figuur 7. Vergelijking van Intersection over Union (IoU) scores voor segmentatie van culturele motieven. Vergelijking van de IoU-prestaties tussen segmentatiemethoden op de Miao Batik- en WikiArt-datasets. De resultaten worden weergegeven als gemiddelde ± standaarddeviatie (SD) over vijf onafhankelijke runs (n = 5). De foutenbalken geven één standaarddeviatie aan. Hogere IoU-waarden duiden op een betere overlap tussen de voorspelde en referentiemotiefregio's en een betere behouden weergave van de motiefgrenzen. Het voorgestelde SegCycle-SPADE-raamwerk behaalde de hoogste IoU-scores op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 8 presenteert de vergelijking van de Dice Similarity Coefficient. Dice meet de overlap tussen de voorspelde segmentatiemaskers en de ground-truth motiefregio's. Conventionele segmentatiebenaderingen behaalden relatief hoge Dice-scores vanwege hun effectiviteit bij het aanleren van ruimtelijke structuren. Echter, het voorgestelde SegCycle-SPADE-framework behaalde de hoogste Dice-scores op beide datasets, wat wijst op een verbeterde segmentatieconsistentie en motiefbehoud.

Figuur 8. Vergelijking van de Dice-coëfficiënt voor segmentatie van culturele motieven. Vergelijking van de Dice-coëfficiëntwaarden verkregen met verschillende segmentatiebenaderingen op de Miao Batik- en WikiArt-datasets. De Dice-coëfficiënt evalueert de overlap tussen voorspelde segmentatiemaskers en referentiemaskers, waarbij hogere waarden wijzen op een verbeterde segmentatieprestatie en motiefregio-identificatie. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste Dice-coëfficiëntwaarden in beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

Figuur 9 presenteert de SSIM-vergelijking tussen gereconstrueerde culturele patronen. GAN-gebaseerde methoden zoals Pix2Pix, CycleGAN en StyleGAN behaalden hogere SSIM-waarden dan traditionele segmentatiemethoden omdat ze zijn ontworpen voor beeldgeneratie. Desalniettemin behaalde het voorgestelde SegCycle-SPADE-framework de hoogste SSIM-waarden op beide datasets, wat wijst op een superieure bewaring van structurele details en artistieke coherentie.

Figuur 9. Vergelijking van de Structural Similarity Index (SSIM).Vergelijking van de waarden van de Structural Similarity Index (SSIM) verkregen met verschillende reconstructiemethoden op de Miao Batik- en WikiArt-datasets. Resultaten worden gepresenteerd als gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). Foutenbalken geven één standaarddeviatie aan. Hogere SSIM-waarden duiden op een grotere structurele gelijkenis tussen de gereconstrueerde en referentiepatronen. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste SSIM-scores voor beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

FID werd gebruikt om het realisme en de distributionele gelijkenis van de gegenereerde artistieke patronen te evalueren. De FID-berekening werd uitgevoerd met een vooraf getraind Inception-v3-netwerk, waarbij kenmerkvectoren werden geëxtraheerd uit de pool3-laag, wat resulteerde in 2048-dimensionale kenmerkrepresentaties. Voorafgaand aan de kenmerkextractie werden de gegenereerde en referentie-afbeeldingen via bilineaire interpolatie aangepast naar 299 × 299 pixels en genormaliseerd volgens het standaard Inception-v3-preprocessingprotocol. FID werd berekend met behulp van kenmerkdistributies die waren geëxtraheerd uit de onafhankelijke testdataset. De gemiddelde en covariantie-statistieken werden geschat op basis van de kenmerk-embeddings en toegepast binnen de standaard FID-formulering.

Zoals weergegeven in Tabel 4, leverden conventionele methoden voor beeldgeneratie, zoals Pix2Pix en CycleGAN, relatief hoge FID-scores op omdat zij geen expliciete structurele begeleiding hadden. StyleGAN en AttentionGAN behaalden lagere FID-scores dankzij verbeterde mogelijkheden voor het leren van kenmerken. Het voorgestelde SegCycle-SPADE-framework behaalde echter de laagste FID-scores op beide datasets, wat getuigt van superieur beeldrealisme, stilistische consistentie en het behoud van culturele motieven.

Methode	Miao Batik Dataset (FID)	WikiArt Dataset (FID)
Pix2Pix	48.6	52.3
CycleGAN	42.8	46.5
StyleGAN	39.7	43.1
AttentionGAN	36.9	40.4
SegCycle-SPADE (Voorgesteld)	28.5	31.2

Tabel 4: Resultaten van de Frechet Inception Distance (FID) voor de reconstructie van culturele patronen.Vergelijking van de Frechet Inception Distance (FID)-scores behaald door het voorgestelde SegCycle-SPADE-framework en baseline generatieve modellen op de Miao Batik- en WikiArt-datasets. Lagere FID-waarden duiden op een grotere gelijkenis tussen de kenmerkdistributies van gegenereerde en echte beelden en weerspiegelen derhalve een verbeterd visueel realisme van gereconstrueerde culturele patronen.

Figuur 10 vergelijkt de reconstructiekwaliteit die is bereikt met verschillende methoden. De reconstructiekwaliteit (%) werd berekend door de SSIM tussen de gereconstrueerde afbeelding en de overeenkomstige referentieafbeelding om te zetten naar een percentageschaal (SSIM × 100). Hogere percentages duiden op een grotere structurele getrouwheid en visuele gelijkenis met het oorspronkelijke culturele motief. Conventionele generatieve modellen zoals Pix2Pix en CycleGAN behaalden matige reconstructieprestaties. Geavanceerdere architecturen, waaronder StyleGAN en AttentionGAN, bereikten een verbeterde reconstructiekwaliteit dankzij hun verbeterde mogelijkheden voor kenleerproces (feature learning). Het voorgestelde SegCycle-SPADE-framework behaalde echter de hoogste reconstructiekwaliteit vanwege de integratie van semantische segmentatiebegeleiding, cross-attention feature-fusie, reconstructieleerproces en artistieke synthese.

Figuur 10. Vergelijking van de kwaliteit van patroonreconstructie. Vergelijking van de reconstructiekwaliteit behaald met Pix2Pix, CycleGAN, StyleGAN, AttentionGAN en het voorgestelde SegCycle-SPADE-framework op de Miao Batik- en WikiArt-datasets. De resultaten worden weergegeven als het gemiddelde ± standaarddeviatie (SD) van vijf onafhankelijke runs (n = 5). Foutbalken geven één standaarddeviatie aan. Hogere waarden duiden op een verbeterde bewaring van structurele details, semantische consistentie en visuele getrouwheid. Het voorgestelde SegCycle-SPADE-framework behaalde de hoogste scores voor reconstructiekwaliteit op beide datasets. Klik hier om een grotere versie van deze figuur te bekijken.

PSNR werd gebruikt om de getrouwheid van de reconstructie te evalueren door de gelijkenis op pixelniveau tussen gereconstrueerde beelden en de bijbehorende referentiebeelden te meten. PSNR werd berekend tussen elk gereconstrueerd beeld en het bijbehorende originele Miao Batik-beeld dat als grondwaarheidsreferentie diende. Hogere PSNR-waarden duiden op een lagere reconstructiefout. Zoals getoond in Tabel 5, behaalden Pix2Pix en CycleGAN matige PSNR-waarden omdat zij patronen reconstrueerden zonder expliciete structurele sturing. StyleGAN en AttentionGAN behaalden hogere PSNR-waarden door dieper kenmerkleren. Het voorgestelde SegCycle-SPADE-raamwerk behaalde de hoogste PSNR-waarden op beide datasets, wat duidt op een superieure reconstructiegetrouwheid en het behoud van culturele motiefstructuren.

Methode	Miao Batik Dataset (PSNR, dB)	WikiArt Dataset (PSNR, dB)
Pix2Pix	25.8	24.6
CycleGAN	27.3	26.1
StyleGAN	28.7	27.5
AttentionGAN	29.9	28.6
SegCycle-SPADE (Voorgesteld)	32.4	31.2

Tabel 5: Resultaten van de Peak Signal-to-Noise Ratio (PSNR) voor de reconstructie van culturele patronen. Vergelijking van de Peak Signal-to-Noise Ratio (PSNR)-waarden verkregen met het voorgestelde SegCycle-SPADE-framework en baseline-methoden op de Miao Batik- en WikiArt-datasets. Hogere PSNR-waarden duiden op een verbeterde reconstructietrouw en verminderde vervorming ten opzichte van de overeenkomstige referentiebeelden.

Figuur 11 illustreert het convergentiegedrag van het voorgestelde SegCycle-SPADE-raamwerk tijdens de training. De verliescurves vertegenwoordigen de gemiddelde trainingsverliezen, gemiddeld over vijf onafhankelijke trainingsruns. Om stochastische variabiliteit te verminderen en een robuustere weergave van de trainingsconvergentie te bieden, werden de verlieswaarden bij elke epoch over alle runs gemiddeld. Tijdens de initiële trainingsepochs waren de verlieswaarden relatief hoog omdat het model nog kenmerkrepresentaties uit de inputgegevens leerde. Naarmate de training vorderde, namen alle verliescomponenten geleidelijk af en stabiliseerden ze, wat wijst op een succesvolle optimalisatie van de doelstellingen voor segmentatie, reconstructie en artistieke synthese. Het waargenomen convergentiegedrag demonstreert de effectiviteit, stabiliteit en reproduceerbaarheid van het voorgestelde raamwerk tijdens de training.

Figuur 11. Trainingsconvergentie van het voorgestelde SegCycle-SPADE-raamwerk. Trainingsverliescurves van het voorgestelde SegCycle-SPADE-raamwerk over 100 trainingsepochen, gemiddeld over vijf onafhankelijke trainingsruns (n = 5). De figuur illustreert de evolutie van het totale verlies (LTotal), het segmentatieverlies (LSeg), het generatorverlies (LG) en het discriminatorverlies (LD) tijdens de training. De geleidelijke afname en daaropvolgende stabilisatie van alle verliescomponenten wijzen op een succesvolle convergentie en stabiele optimalisatie van het voorgestelde raamwerk. Klik hier om een grotere versie van deze figuur te bekijken.

Ablatiestudie
Om de bijdrage van elk onderdeel binnen het voorgestelde SegCycle-SPADE-framework te evalueren, is een ablatiestudie uitgevoerd met meerdere gecontroleerde modelconfiguraties. De resultaten zijn samengevat in Tabel 6 en 7.

Modelconfiguratie	Segmentatienauwkeurigheid (%)	IoU	SSIM
Alleen SegFormer	87.3	0.76	0.82
SegFormer + CAFFM	89.6	0.79	0.86
SegFormer + CAFFM + CycleGAN	91.4	0.82	0.89
SegFormer + CAFFM + CycleGAN + SPADE (Voorgesteld)	93.8	0.86	0.93

Tabel 6: Ablatiestudie van de SegCycle-SPADE Componenten. Prestatievergelijking van progressief verbeterde modelconfiguraties om de bijdrage van individuele raamwerkcomponenten te evalueren. De studie onderzoekt de effecten van semantische segmentatie, de Cross-Attention Cultural Feature Fusion Module (CAFFM), CycleGAN-gebaseerde reconstructie en SPADE-gebaseerde artistieke synthese op de segmentatienauwkeurigheid, Intersection over Union (IoU) en de Structural Similarity Index (SSIM). Hogere waarden duiden op een verbeterde motiefsegmentatie, reconstructiekwaliteit en structurele behoud.

Variant	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Alleen SegFormer	84.2 ± 0.4	88.5 ± 0.3	0.82 ± 0.01	24.8 ± 0.2	31.8 ± 0.6
SegFormer + CycleGAN	86.7 ± 0.3	90.2 ± 0.2	0.85 ± 0.01	26.3 ± 0.2	27.5 ± 0.5
SegFormer + SPADE	87.0 ± 0.3	90.5 ± 0.2	0.88 ± 0.01	27.8 ± 0.2	23.4 ± 0.4
SegFormer + CAFFM	90.0 ± 0.2	93.1 ± 0.2	0.90 ± 0.01	29.6 ± 0.1	20.3 ± 0.3
SegCycle-SPADE (volledig model)	93.0 ± 0.2	95.4 ± 0.1	0.92 ± 0.01	31.2 ± 0.1	17.6 ± 0.2

Tabel 7: Analyse van de bijdrage van componenten van het voorgestelde SegCycle-SPADE-framework. Prestatievergelijking van individuele framework-varianten die zijn gebruikt om de bijdrage van CAFFM, CycleGAN, SPADE en de volledige SegCycle-SPADE-architectuur te beoordelen. De resultaten worden gerapporteerd met behulp van Intersection over Union (IoU), de Dice-coëfficiënt, de Structural Similarity Index (SSIM), de Peak Signal-to-Noise Ratio (PSNR) en de Frechet Inception Distance (FID). Hogere IoU-, Dice-, SSIM- en PSNR-waarden duiden op een verbeterde segmentatie- en reconstructiekwaliteit, terwijl lagere FID-waarden duiden op een groter visueel realisme van de gegenereerde culturele patronen.

Tabel 6 evalueert de cumulatieve bijdrage van de belangrijkste raamwerkcomponenten met behulp van vier configuraties: (i) enkel SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN, en (iv) SegFormer + CAFFM + CycleGAN + SPADE (voorgesteld raamwerk). Het basismodel SegFormer behaalde een segmentatienauwkeurigheid van 87,3%, een IoU-score van 0,76 en een SSIM-waarde van 0,82. De integratie van de CAFFM-module verbeterde de prestaties over alle evaluatiemeters, waarbij de segmentatienauwkeurigheid steeg naar 89,6%, de IoU naar 0,79 en de SSIM naar 0,86. De toevoeging van CycleGAN verbeterde het vermogen tot structurele reconstructie verder, wat resulteerde in een IoU van 0,82 en een SSIM-waarde van 0,89. Het volledige SegCycle-SPADE-raamwerk behaalde de beste algehele prestaties, met een segmentatienauwkeurigheid van 93,8%, een IoU van 0,86 en een SSIM-waarde van 0,93. Deze resultaten tonen aan dat elke component incrementeel bijdraagt aan een verbeterde segmentatienauwkeurigheid, structurele behoud en beeldreconstructiekwaliteit.

Tabel 7 onderzoekt verder de bijdrage van individuele framework-componenten met behulp van vijf modelvarianten: (i) enkel SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM, en (v) het volledige model dat SegFormer, CAFFM, CycleGAN, SPADE en motiefbehoudverlies (motif-preservation loss) incorporeert. De prestaties werden geëvalueerd met behulp van IoU, de Dice-coëfficiënt, SSIM, PSNR en FID-metrieken.

De basisconfiguratie met alleen SegFormer behaalde een IoU van 84,2%, een Dice-coëfficiënt van 88,5%, een SSIM-waarde van 0,82, een PSNR van 24,8 dB en een FID-score van 31,8. De toevoeging van CycleGAN verbeterde de reconstructiekwaliteit en verlaagde de FID-score naar 27,5, wat wijst op een verhoogd image-realisme. De integratie van SPADE verbeterde de structurele gelijkenis en de beeldkwaliteit verder, wat resulteerde in een SSIM-waarde van 0,88 en een FID-score van 23,4. De inclusie van de voorgestelde CAFFM-module zorgde voor aanzienlijke verbeteringen in alle statistieken, waarbij de IoU steeg naar 90,0%, de Dice-coëfficiënt naar 93,1%, de SSIM naar 0,90 en de PSNR naar 29,6 dB, terwijl de FID-score werd verlaagd naar 20,3. Het volledige model, waarin daarnaast de motif-preservation loss is geïntegreerd, behaalde de beste totale prestaties met een IoU van 93,0%, een Dice-coëfficiënt van 95,4%, een SSIM-waarde van 0,92, een PSNR van 31,2 dB en een FID-score van 17,6.

Tabel 8 geeft een vergelijkend overzicht van representatieve DL-benaderingen die worden gebruikt voor de reconstructie en het behoud van patronen in cultureel erfgoed. Conventionele CNN-gebaseerde methoden bieden effectief lokaal kenlerleren en segmentatieprestaties, maar hebben vaak moeite met het behoud van complexe motiefstructuren vanwege de beperkte modellering van lange-afstandsafhankelijkheden. GAN-gebaseerde benaderingen verbeteren de mogelijkheden voor beeldsynthese en stijltransfer; ze kunnen echter lijden onder semantische inconsistenties en het verlies van fijne structurele details. Transformer-gebaseerde methoden verbeteren het globale contextuele begrip, maar missen doorgaans generatieve reconstructiemogelijkheden, terwijl diffusie-gebaseerde methoden een hoog visueel realisme bieden ten koste van een toegenomen computationele complexiteit. Hybride Transformer-GAN-benaderingen pakken deze beperkingen gedeeltelijk aan door kenmergextractie- en beeldgeneratiemechanismen te combineren. In tegenstelling hiermee integreert het voorgestelde SegCycle-SPADE-framework transformer-gebaseerde segmentatie, cross-attention kenmerkfusie, generatieve reconstructie en segmentatie-gestuurde artistieke synthese binnen een uniforme architectuur, waardoor de structurele getrouwheid, semantische consistentie en het behoud van culturele motieven worden verbeterd. De vergelijking is samengevat in Tabel 8.

Benadering	Kernmethodologie	Sterke punten	Beperkingen	Relevantie voor cultureel erfgoed
CNN-gebaseerde methoden (bijv. U-Net, DeepLabV3+)	Convolutionele kenmerkextractie en semantische segmentatie	Effectief leren van lokale kenmerken en nauwkeurige segmentatie	Beperkte modellering van langeafstandsafhankelijkheden; moeilijkheid bij het behouden van complexe motiefstructuren	Geschikt voor motiefsegmentatie, maar minder effectief voor artistieke reconstructie
GAN-gebaseerde methoden (bijv. Pix2Pix, CycleGAN)	Adversariële beeldgeneratie en image-to-image vertaling	Hoogwaardige beeldsynthese en stijltransfer	Instabiliteit tijdens training; semantische inconsistentie; potentieel verlies van fijne structurele details	Nuttig voor patroonrestauratie, maar bewaart culturele motieven mogelijk niet nauwkeurig
Transformer-gebaseerde methoden	Self-attention en modellering van globale context	Vangt langeafstandsafhankelijkheden en complexe visuele relaties op	Hoge computationele kosten; vereist grote trainingsdatasets	Effectief voor complexe patroonanalyse, maar beperkt generatief vermogen bij standalone gebruik
Diffusie-gebaseerde methoden	Iteratieve, op denoising gebaseerde beeldgeneratie	Hoge visuele realisme en beelddiversiteit	Trage inferentiesnelheid; hoge computationele vereisten; beperkte structurele controle	Veelbelovend voor de generatie van erfgoedbeelden, maar computationeel intensief
Hybride Transformer-GAN methoden	Combinatie van transformer-gebaseerde kenmerkextractie en GAN-gebaseerde generatie	Verbeterde globale kenmerkrepresentatie en beeldkwaliteit	Vaak een gebrek aan expliciete semantische sturing voor het behoud van motieven	Verbetert de generatiekwaliteit, maar is niet specifiek ontworpen voor culturele erfgoedmotieven
Voorgestelde SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Transformer-gebaseerde segmentatie, attention-gestuurde kenmerkfusie, semantische consistentie, behoud van motieven en controleerbare artistieke reconstructie	Hogere computationele complexiteit dan standalone CNN-gebaseerde benaderingen	Specifiek ontworpen voor de reconstructie en het behoud van culturele erfgoedpatronen met verbeterde structurele getrouwheid en semantische consistentie

Tabel 8: Vergelijking van representatieve deep-learningbenaderingen voor de reconstructie en preservering van patronen in cultureel erfgoed. Kwalitatieve vergelijking van representatieve deep-learningbenaderingen die worden gebruikt voor beeldsegmentatie, patroonreconstructie, stijlgeneratie en de preservering van cultureel erfgoed. De tabel vat de kernmethodologie, sterke punten, beperkingen en toepasbaarheid van elke benadering samen en benadrukt hoe het voorgestelde SegCycle-SPADE-framework semantische segmentatie, feature-fusie, reconstructie en stijlsynthese combineert om uitdagingen aan te pakken met betrekking tot structurele preservering en semantische consistentie in patronen van cultureel erfgoed.

De waargenomen verbeteringen tonen aan dat de CAFFM-module de interactie tussen structurele kenmerken afgeleid van segmentatie en artistieke stijlrepresentaties effectief versterkt via kenmerkfusie op basis van cross-attention. Bovendien draagt het verlies door motiefbehoud bij aan het behoud van cultureel significante motiefstructuren tijdens reconstructie en artistieke synthese, wat resulteert in een verbeterde segmentatieconsistentie, structurele getrouwheid en visueel realisme. Gezamenlijk bevestigen de ablatieresultaten dat de integratie van SegFormer-B2, CAFFM, CycleGAN, SPADE en het verlies door motiefbehoud verantwoordelijk is voor de superieure prestaties van het voorgestelde SegCycle-SPADE-raamwerk.

Beschikbaarheid van gegevens:
De WikiArt-dataset die is gebruikt voor het leren van artistieke stijlen is publiekelijk toegankelijk via de Kaggle WikiArt-repository (https://www.kaggle.com/datasets/steubk/wikiart). De Miao Batik-dataset die in deze studie is gebruikt, is publiekelijk toegankelijk via Zenodo (https://doi.org/10.5281/zenodo.20807658). De verwerkte datasets, segmentatiemaskers, vooraf getrainde modelgewichten, gegenereerde outputs en Python-implementatiebestanden die bij het voorgestelde SegCycle-SPADE-framework horen, zijn eveneens beschikbaar via dezelfde Zenodo-repository.

AANVULLEND BESTAND:
Aanvullend bestand 1. Algoritme 1: Implementatieworkflow van het voorgestelde SegCycle-SPADE-framework. Stapsgewijze pseudocode die de volledige implementatiepijplijn van het voorgestelde SegCycle-SPADE-framework beschrijft, inclusief het laden van de dataset, preprocessing, semantische segmentatie met SegFormer-B2, feature-fusie met de Cross-Attention Cultural Feature Fusion Module (CAFFM), reconstructie van culturele motieven met CycleGAN, synthese van artistieke stijl met SPADE, modeltraining, validatie, selectie van checkpoints en de uiteindelijke prestatie-evaluatie. Klik hier om dit bestand te downloaden.

Discussie

Het behoud en de digitale reconstructie van ICH-patronen hebben de afgelopen jaren steeds meer aandacht gekregen vanwege het geleidelijke verlies van traditionele ambachten. In eerdere studies is geprobeerd het verlies van cultureel erfgoed aan te pakken via DL-gebaseerde beeldverwerkingstechnieken. Zo stelden Quan et al.³² een raamwerk voor het behoud van cultureel erfgoed voor, gebaseerd op kennisgrafen en DL voor de batikcultuur van de Miao in Guizhou. Hoewel de studie gericht was op de digitale reconstructie van culturele patronen, was de methodologie primair afhankelijk van representaties via kennisgrafen. Op soortgelijke wijze stelden Fu en Razmjooy¹⁶ een raamwerk voor op basis van het feature pyramid network (FPN) voor de verbetering en restauratie van afbeeldingen van cultureel erfgoed. Hoewel deze methode een effectieve feature-extractie bood voor beeldverbetering, incorporeerde het geen begeleiding via beeldsegmentatie of generatieve reconstructiemechanismen voor onvolledige culturele patronen. In tegenstelling hiermee combineert het voorgestelde SegCycle-SPADE-raamwerk meerdere DL-componenten om deze uitdagingen te overwinnen. Ten eerste wordt semantische segmentatie met behulp van het SegFormer-model ingezet voor de nauwkeurige identificatie van motiefregio's binnen patronen van cultureel erfgoed. Vervolgens verbetert een op CAFFM gebaseerde feature-enhancementmodule de feature-representaties voor fijnmazige motiefstructuren. Daarna wordt een CycleGAN-reconstructiemodule gebruikt om ontbrekende of onvolledige regio's binnen culturele patronen te reconstrueren via adversarial learning. Tot slot voert een SPADE-module een stilistische verbetering uit, waarbij de structurele uitlijning met de segmentatiekaarten behouden blijft. Bestaande methoden op basis van CNN, GAN, transformers en diffusie^{17,19,20,21,22,23,24,25,30,34} bieden elk unieke voordelen; ze vertonen echter ook beperkingen in het behouden van semantische consistentie, het handhaven van structurele kenmerken of het bereiken van computationele efficiëntie, zoals samengevat in Tabel 8. De voorgestelde SegCycle-SPADE-architectuur combineert de sterke punten van SegFormer-gebaseerde segmentatie, cross-attention feature fusion, CycleGAN-reconstructie en SPADE-gestuurde synthese, terwijl deze beperkingen worden aangepakt. Bijgevolg bereikt het raamwerk een verbeterde reconstructiekwaliteit en een beter behoud van cultureel significante motieven.

Ondanks de bemoedigende prestaties vertoont het voorgestelde SegCycle-SPADE-framework nog steeds enkele beperkingen. Ten eerste is de evaluatie uitgevoerd met enkel de Miao Batik- en WikiArt-datasets, wat de generaliseerbaarheid van het framework naar andere domeinen van cultureel erfgoed kan beperken. Ten tweede kan implementatie op platforms met beperkte middelen uitdagend zijn, aangezien de integratie van SegFormer, CAFFM, CycleGAN en SPADE de computationele complexiteit en de geheugeneisen verhoogt. Ten derde is de segmentatieprestatie sterk afhankelijk van de kwaliteit en consistentie van de annotaties van motieven, en kan annotatiebias de bewaring van cultureel significante structuren beïnvloeden. Ten slotte, omdat het framework is geëvalueerd met slechts twee datasets, kunnen aanvullende trainingsgegevens en domeinspecifieke aanpassingen noodzakelijk zijn om de toepasbaarheid over diverse collecties van cultureel erfgoed te waarborgen. Toekomstige studies zouden daarom robuustere trainingsstrategieën, lichtgewicht architecturen, verbeterde annotatieprocedures en cross-domein evaluaties met aanvullende datasets van cultureel erfgoed moeten onderzoeken.

De schaalbaarheid van het SegCycle-SPADE-framework naar grotere en meer diverse datasets van cultureel erfgoed zal een belangrijk focuspunt zijn van toekomstig onderzoek. Er zal cross-culturele evaluatie van erfgoedmotieven uit verschillende regio's en artistieke tradities worden onderzocht om de generalisatie van het model en de culturele aanpassingscapaciteit te verbeteren. Bovendien kunnen multimodale uitbreidingen die tekstuele beschrijvingen, historische verslagen en culturele metadata bevatten, sterkere semantische sturing bieden tijdens de reconstructie. Het framework kan ook worden uitgebreid om driedimensionale reconstructie van cultureel erfgoed te ondersteunen door beeldgebaseerde reconstructie te integreren met 3D-modelleringstechnieken. Daarnaast zal de implementatie in digitale archieven, musea, virtuele tentoonstellingen en platforms voor het behoud van cultureel erfgoed worden verkend om praktische toepassingen van AI-ondersteunde conservering en documentatie van erfgoed te faciliteren. Om de interpreteerbaarheid en culturele authenticiteit verder te verbeteren, zal toekomstig werk de integratie van culturele kennisgrafieken, etnografische documentatie, historische metadata en door experts gecureerde kennisbanken onderzoeken om cultureel geïnformeerde motiefanalyse en reconstructie mogelijk te maken³².

Bij de implementatie van het voorgestelde SegCycle-SPADE-framework moeten verschillende praktische overwegingen in acht worden genomen. Tijdens de training van CycleGAN kan instabiele adversariële convergentie optreden als de verliezen van de generator en discriminator sterk uit balans raken. In dergelijke situaties kan het verlagen van de leerfrequentie, het verhogen van het gewicht van het cycle-consistency-verlies of het monitoren van de dominantie van de discriminator de stabiliteitsvorming van de training verbeteren. Mode collapse kan voorkomen wanneer de generator herhaaldelijk visueel vergelijkbare outputs produceert; dit probleem kan worden beperkt door gebalanceerde adversariële training, het gebruik van een replay-buffer en zorgvuldige monitoring van de verliestrends van de generator en discriminator. Segmentatiefouten kunnen daarnaast optreden wanneer culturele motieven complexe texturen, een laag contrast of ambigue grenzen vertonen. Om dit probleem aan te pakken, moet de beeldkwaliteit vóór de training worden geverifieerd en moeten segmentatiemaskers visueel worden geïnspecteerd om de consistentie van de annotaties te waarborgen. Het handhaven van de aanbevolen inputresolutie en normalisatie-instellingen is daarnaast essentieel voor het behalen van betrouwbare SegFormer-prestaties. Trainingsinstabiliteit kan verder het gevolg zijn van onjuiste leerfrequentie-instellingen, onvoldoende trainingsgegevens of hardware-gerelateerde numerieke variaties. Om de reproduceerbaarheid te verbeteren, moeten vaste random seeds worden gebruikt voor NumPy, PyTorch, CUDA en operaties voor het schudden van de dataset. Bovendien moeten dezelfde preprocessing-pipeline, dataset-partities, modelhyperparameters en softwareomgeving worden gehanteerd bij alle experimentele runs. Periodieke opslag van checkpoints en monitoring van het validatieverlies worden eveneens aanbevolen om prestatieverslechtering te voorkomen en herstel van onderbroken trainingssessies te vergemakkelijken.

Het voorgestelde werk draagt bij aan de theoretische vooruitgang van AI-gebaseerde kaders voor de reconstructie van cultureel erfgoed. Conventionele benaderingen voor beeldrestauratie behandelen beeldsegmentatie, reconstructie en stijlgeneratie over het algemeen als onafhankelijke processen^17,19,20,30. In tegenstelling hiermee stelt deze studie een kader voor dat deze processen integreert via een segmentatie-gestuurde generatieve reconstructiestrategie. Bijgevolg draagt de studie bij aan de theoretische ontwikkeling van AI-ondersteunde reconstructie van cultureel erfgoed door aan te tonen hoe segmentatie, reconstructie en stijlgeneratie kunnen worden verenigd binnen één enkel kader. Dergelijke integratie is bijzonder belangrijk bij toepassingen voor cultureel erfgoed, waarbij het behoud van motiefstructuur en semantische betekenis cruciaal is. Vanuit een praktisch perspectief biedt het voorgestelde kader een effectieve oplossing voor de digitale bewaring, restauratie en artistieke verbetering van traditionele culturele patronen. Instellingen voor cultureel erfgoed, musea en ontwerpers kunnen SegCycle-SPADE gebruiken om automatisch motiefregio's te identificeren, beschadigde of onvolledige patronen te reconstrueren en visueel verbeterde artistieke weergaven van traditionele ontwerpen te genereren. Deze mogelijkheid is vooral waardevol voor bedreigde ambachtelijke tradities, waaronder Miao batik textielpatronen, waarbij historische artefacten gedeeltelijk beschadigd of onvolledig kunnen zijn. Bovendien kan het kader, door de integratie van generatieve stijlsynthese, moderne culturele designtoepassingen ondersteunen, zoals textielontwerp, digitale artistieke creatie en erfgoededucatie. Op deze manier overbrugt het voorgestelde kader de kloof tussen het behoud van cultureel erfgoed en hedendaagse culturele designtoepassingen.

Desondanks blijven er, ondanks de veelbelovende resultaten die zijn behaald met het voorgestelde SegCycle-SPADE-framework, enkele beperkingen bestaan. Ten eerste is de evaluatie uitgevoerd met enkel de Miao Batik- en WikiArt-datasets, wat de generalisatiecapaciteit van het framework voor het reconstrueren van andere vormen van culturele erfgoedpatronen kan beïnvloeden. Ten tweede kunnen de gegenereerde outputs, omdat het reconstructieproces steunt op GAN-gebaseerde modellen, af en toe artefacten of onnatuurlijke texturen bevatten bij zeer complexe motiefstructuren. Ten derde richt het framework zich momenteel op de reconstructie van tweedimensionale patronen, terwijl sommige objecten van cultureel erfgoed inherent driedimensionale structuren bevatten. Over het algemeen tonen de experimentele bevindingen de effectiviteit aan van het voorgestelde SegCycle-SPADE-framework voor de artistieke reconstructie van ICH-patronen. De integratie van SegFormer-gebaseerde semantische segmentatie, CAFFM, CycleGAN-gebaseerde motiefreconstructie en SPADE-gebaseerde artistieke synthese verbeterde consistent de prestatie-metrieken voor segmentatie, reconstructie en beeldkwaliteit. Ablatiestudies valideerden verder de bijdrage van elk component van het framework, waarbij bleek dat CAFFM en het motiefbehoudverlies de structurele getrouwheid en visuele authenticiteit aanzienlijk verbeterden. Deze bevindingen ondersteunen de centrale hypothese dat door semantische segmentatie gestuurde reconstructie in combinatie met cross-attention feature fusion effectief cultureel significante motieven kan behouden terwijl er artistiek rijke outputs worden gegenereerd. Daarom biedt het voorgestelde framework een betrouwbare en reproduceerbare computationele aanpak voor het digitale behoud, de restauratie en de creatieve revitalisering van ICH-patronen.

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
Adam-optimizer	PyTorch Optimizer Library	Adam	Optimalisatiealgoritme gebruikt tijdens modeltraining.
CUDA Toolkit	NVIDIA Corporation	CUDA 11.3	GPU-acceleratie voor deep learning-berekeningen.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Acceleratiebibliotheek voor diepe neurale netwerken, gebruikt om training en inferentie te versnellen.
CycleGAN	University of California, Berkeley / Open Source	Officiële PyTorch-implementatie (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Generatief adversarieel netwerk gebruikt voor de reconstructie van culturele motieven.
Pretrained ImageNet-gewichten	ImageNet / Open Source	mit_b2.pth (ImageNet-1K Pretrained Checkpoint)	Gebruikt om de SegFormer-B2-backbone te initialiseren vóór fine-tuning op de Miao Batik-dataset.
Intel-processor	Intel Corporation	Intel Core i7 (11e generatie)	CPU gebruikt voor beeldvoorverwerking, ondersteuning van modeltraining en inferentie.
Matplotlib	Matplotlib Development Team	Matplotlib 3.5.1	Visualisatie van trainingscurven en evaluatieresultaten.
Miao Batik-dataset	Zenodo Repository	DOI: 10.5281/zenodo.20807658	Dataset van culturele motieven met 15.148 afbeeldingen, gebruikt voor semantische segmentatie en patroonreconstructie.
NumPy	NumPy Developers	NumPy 1.21.5	Numerieke berekeningen en datasetverwerking.
NVIDIA GPU	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Hardwareplatform gebruikt voor modeltraining en inferentie.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Beeldvoorverwerking, herschalen, interpolatie en Gaussische ruisonderdrukking.
Besturingssysteem	Canonical Ltd.	Ubuntu 20.04 LTS	Experimentele uitvoeringsomgeving.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Laden en manipuleren van afbeeldingen.
Python	Python Software Foundation	Python 3.8.10	Programmeertaal gebruikt voor implementatie en experimentatie.
PyTorch	Meta AI	PyTorch 1.10.0	Deep learning-framework gebruikt voor modeltraining en inferentie.
Random seed	Experimentele instelling	42	Vaste seed gebruikt voor datasetpartitionering, modelinitialisatie en experimentele reproduceerbaarheid.
Scikit-learn	Scikit-learn Developers	Scikit-learn 1.0.2	Datasetpartitionering, statistische analyse en evaluatiemetrieken.
Seaborn	Open Source Community	Seaborn 0.11.2	Statistische datavisualisatie.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (MIT-B2 Backbone)	Op Transformer gebaseerd semantisch segmentatiemodel gebruikt voor segmentatie van culturele motieven.
Segmentatiemaskers / annotaties	Miao Batik-dataset	Inbegrepen bij dataset	Semantische segmentatielabels op pixelniveau, gebruikt voor motiefclassificatie en training.
SPADE	NVIDIA Research / Open Source	Officiële PyTorch-implementatie (https://github.com/NVlabs/SPADE)	Segmentatie-gestuurd beeldsynthesemodel gebruikt voor het genereren van artistieke patronen.
TorchVision	Meta AI	TorchVision 0.11.1	Beeldverwerkingshulpmiddelen en datasettransformaties gebruikt met PyTorch.
WikiArt-dataset	WikiArt	https://www.wikiart.org/	Artistieke stijldataset met meer dan 80.000 kunstwerken verdeeld over 27 artistieke stijlen, gebruikt voor stijlerkenning en synthese.