Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

Zhi Zhan; Guang Luo

doi:10.3791/71577

Forschungsartikel

Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

DOI:

10.3791/71577

⸱

14. August 2026

Zhi Zhan¹ , Guang Luo²

¹School of Art and Design, Guangdong Engineering Polytechnic, ²School of Fine Arts, South China Normal University

In diesem Artikel

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Dieses Protokoll beschreibt einen Deep-Learning-Workflow zur semantischen Segmentierung, Rekonstruktion und künstlerischen Stilsynthese von Mustern des immateriellen Kulturerbes mithilfe einer auf Transformatoren basierenden Merkmalsextraktion, adversarialer Rekonstruktion und räumlich adaptiver Bilddarstellung, um die digitale Konservierung und kreative Anwendungen im Kulturerbe zu unterstützen.

Zusammenfassung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die digitale Bewahrung und Rekonstruktion immaterieller Kulturerbe-Muster (ICH) hat mit dem Fortschritt bildsynthetisierender Techniken auf Basis von Deep Learning zunehmend an Aufmerksamkeit gewonnen. Bestehende, auf SegCycle-SPADE basierende Ansätze haben Potenzial für die strukturelle Segmentierung und künstlerische Rekonstruktion traditioneller Handwerksmuster gezeigt; dennoch bestehen weiterhin Einschränkungen, darunter begrenzte Datensatzvielfalt, unzureichende Einbindung kultureller Semantik und mangelhafte Erhaltung struktureller Mustereigenschaften während der Rekonstruktion. Um diese Herausforderungen zu bewältigen, schlägt diese Studie einen verbesserten SegCycle-SPADE- Rahmen für die semantische Segmentierung und künstlerische Rekonstruktion von ICH-Musterarten vor. Ein auf Transformatoren basierendes Segmentierungsmodell, SegFormer, wird eingesetzt, um Motivgrenzen und Musterbereiche präzise zu identifizieren. Zusätzlich wird ein Modul zur kulturellen Merkmalsfusion mit Kreuz-Attention eingeführt, um kulturell bedeutungsvolle Motive zu verstärken und die Merkmalsrepräsentation zu verbessern. Die Musterverwandlung und -rekonstruktion erfolgt mithilfe von CycleGAN, während eine räumlich adaptive Denormalisierung (SPADE) für die künstlerische Stilsynthese genutzt wird, um die semantische Konsistenz zwischen Segmentierungskarten und generierten Bildern aufrechtzuerhalten. Um die Generalisierungsfähigkeit des Modells und die künstlerische Vielfalt zu verbessern, wird das Framework sowohl mit dem kulturellen Motivdatensatz Miao Batik als auch mit dem WikiArt-Datensatz trainiert. Die experimentellen Ergebnisse zeigen, dass der vorgeschlagene, auf Attention basierende SegCycle-SPADE-Ansatz die Segmentierungsgenauigkeit und die Leistung bei der Rekonstruktion von Kulturerbe-Mustern im Vergleich zu bestehenden, auf generativen adversariellen Netzwerken (GAN) basierenden Rekonstruktionsmethoden verbessert. Der vorgeschlagene Ansatz bietet eine skalierbare Lösung für die KI-gestützte Dokumentation, Rekonstruktion und künstlerische Wiederbelebung traditioneller Mustergestaltungen.

Einleitung

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Das kulturelle Erbe, zu dem immaterielle Elemente wie Bräuche, Sprachen und Glaubensvorstellungen sowie materielle Elemente wie Kunstwerke, Gebäude und schriftliche Aufzeichnungen gehören, ist eine grundlegende Erscheinungsform der menschlichen Geschichte, Kreativität und Identität¹. Der Erhalt des kulturellen Erbes zielt darauf ab, Gemeinschaften die Wiederverbindung mit ihren Ursprüngen zu ermöglichen und künftigen Generationen den Zugang zu ihrem kollektiven kulturellen Gedächtnis zu sichern. Er fördert zudem das interkulturelle Verständnis, die Wertschätzung vielfältiger Traditionen und Bräuche sowie die Anerkennung unterschiedlicher historischer Narrative. Diese kulturellen Güter helfen uns, die Werte, Sichtweisen und Erfahrungen vergangener Generationen zu verstehen, und tragen zur Bildung zeitgenössischer sozialer Identitäten und kultureller Kontinuität bei. Die grundlegenden Prinzipien der Bewahrung des kulturellen Erbes sind in Abbildung 1 dargestellt.

figure-introduction-1
Abbildung 1. Konzeptionelle Übersicht der Rekonstruktion kultureller Erbe-Muster mithilfe des SegCycle-SPADE-Frameworks. Schematische Darstellung des vorgeschlagenen Ansatzes zur Rekonstruktion und Verbesserung immaterieller Kulturerbe-Muster. Der Arbeitsablauf umfasst die Datensammlung aus den Miao-Batik- und WikiArt-Datensätzen, die Bildvorverarbeitung, die semantische Segmentierung mittels SegFormer-B2, die Merkmalsfusion unter Verwendung des Cross-Attention Cultural Feature Fusion Module (CAFFM), die Musterrekonstruktion mittels CycleGAN, die künstlerische Stilsynthese mittels SPADE sowie die abschließende Bewertung anhand von Segmentierungs- und Rekonstruktionsmetriken. Pfeile zeigen den Daten- und Merkmalsfluss innerhalb des Frameworks an. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das kollektive Gedächtnis und kulturelle Erbe der menschlichen Gesellschaft verkörpert sich im immateriellen Kulturerbe (IK), das als wichtiges Medium für künstlerischen Ausdruck und kulturelle Identität dient. Das IK steht jedoch vor erheblichen Herausforderungen aufgrund der Auswirkungen von Globalisierung und Digitalisierung²^,³^,⁴. Viele vom Aussterben bedrohte IK-Praktiken erfordern neue Ansätze zum Erhalt und zur Weiterentwicklung, da die Zahl erfahrener Handwerker*innen zurückgeht und eine begrenzte Anpassungsfähigkeit an moderne Märkte besteht⁵^,⁶. Als wichtiger Forschungsbereich im IK-Bereich betont das nachhaltige Design die integrierte Entwicklung von Kultur, Gesellschaft und Umwelt und bietet einen praktikablen Weg für die fortwährende Bewahrung des IK. Durch Ansätze des nachhaltigen Designs kann das IK revitalisiert und gleichzeitig an die Bedürfnisse der heutigen Gesellschaft angepasst werden⁷^,⁸.

In dieser Studie bezeichnet der Begriff „Muster des immateriellen Kulturerbes“ visuelle Motivdarstellungen, die zugrunde liegende immaterielle kulturelle Werte vermitteln und bewahren. Demzufolge zielt der vorgeschlagene Rahmen darauf ab, die mit diesen Motiven verbundenen kulturellen Informationen zu bewahren und zu dokumentieren, während ihre visuellen Formen rekonstruiert werden.

Die Miao-Stickerei und die Miao-Batik sind bedeutende Formen des chinesischen immateriellen Kulturerbes (ICH), die Geschichte, Glaubensvorstellungen und Traditionen der Miao-Gemeinschaft durch symbolische Motive wie Vögel, Schmetterlinge und Ahnentotems widerspiegeln⁹. Diese Motive sind tief in rituelle Kleidung und Festbräuche eingebettet und tragen zur lokalen kulturellen und wirtschaftlichen Entwicklung bei¹⁰^,¹¹. Fortschritte in der Digitaltechnologie, insbesondere im Bereich der künstlichen Intelligenz (AI) und des Deep Learning (DL), haben neue Möglichkeiten für die Erhaltung, Analyse, Rekonstruktion und Dokumentation von Kulturerbe geschaffen. Die Guizhou-Miao-Batik, eine der am besten erhaltenen Batik-Traditionen Chinas, dient als wichtiges Medium zur Weitergabe des kulturellen Wissens, der Glaubensinhalte, Bräuche und Rituale des Miao-Volkes¹²^,¹³^,¹⁴^,¹⁵^,¹⁶.

Jüngste Studien haben das Potenzial von Deep Learning (DL) für den Erhalt des kulturellen Erbes und die Rekonstruktion von Mustern aufgezeigt und dabei im Vergleich zu U-Net und DeepLabV3+1 eine verbesserte Segmentierungsgenauigkeit (Pixelgenauigkeit = 88,6 %, mittlerer Intersection over Union [IoU] = 78,1 %) sowie eine bessere Rekonstruktionsleistung erzielt. Dennoch bestehen mehrere Herausforderungen. Bestehende auf Generativen Adversariellen Netzwerken (GANs) basierende Ansätze haben häufig Schwierigkeiten, feine strukturelle Details in komplexen Mustern beizubehalten¹⁷, während eine begrenzte Datensatzvielfalt die Generalisierungsfähigkeit des Modells über verschiedene kulturelle Bereiche hinweg einschränkt¹⁸. Außerdem können Modelle zur Bild-zu-Bild-Übersetzung wie CycleGAN die semantische Konsistenz zwischen Segmentierungskarten und erzeugten Bildern nicht aufrechterhalten¹⁹, und das Fehlen von Attention-Mechanismen kann zum Verlust kulturell bedeutsamer Motivdetails während der Rekonstruktion führen²⁰. Daher ist ein erweitertes Framework erforderlich, das eine auf Transformatoren basierende Segmentierung, eine attention-gestützte Merkmalslernen und ein Training mit mehreren Datensätzen integriert, um eine effektive Rekonstruktion von Mustern im immateriellen Kulturerbe (ICH) zu ermöglichen.

Neue Möglichkeiten zur Erhaltung des kulturellen Erbes ergeben sich durch die Digitalisierung der Miao-Stickerei und den rasanten Fortschritt generativer KI-Technologien. Diffusionsmodelle, eine neuartige Klasse tiefer generativer Modelle, haben aufgrund ihrer leistungsstarken Inhaltsgenerierungsfähigkeiten bemerkenswerte Ergebnisse in Aufgaben der Computer Vision erzielt²¹^,²²^,²³^,²⁴^,²⁵. Im umgekehrten Diffusionsprozess lernt das Modell schrittweise, die ursprünglichen Eingabedaten aus verrauschten Darstellungen rekonstruieren²⁶^,²⁷^,²⁸. Frühere Studien haben außerdem die Anwendung von Technologien zur dreidimensionalen Rekonstruktion und computergestützten Konstruktion (CAD) zur Bewahrung und Verbreitung des kulturellen Erbes untersucht.

Obwohl faltungsneuronale Netze (CNNs) und GANs bei der Bildgenerierung und Merkmalsbewahrung gut abschneiden, stehen sie weiterhin vor Herausforderungen im Zusammenhang mit begrenzten Rezeptivfeldern, Modus-Kollaps und Instabilität beim Training²⁹. Auf Transformatoren basierende Architekturen wie SegFormer und Segmenter sind hervorragend darin, globale Kontexte und semantische Beziehungen zu erfassen; sie sind jedoch rechentechnisch anspruchsvoll und können bei feinkörnigen Details Schwierigkeiten haben. Obwohl Diffusionsmodelle wie Stable Diffusion starke Fähigkeiten bei der Bildgenerierung zeigen, fehlt ihnen oft die präzise Kontrolle über strukturelle und künstlerische Eigenschaften der generierten Designs. Darüber hinaus verwenden die meisten bestehenden Ansätze unabhängige Trainingsstrategien, die den effektiven Austausch von Informationen und die kooperative Optimierung zwischen Segmentierungs- und Generierungskomponenten einschränken, was zu einem Kompromiss zwischen struktureller Genauigkeit und künstlerischer Authentizität führt³⁰.

Aktuelle diffusionsbasierte Modelle wie latente Diffusion und Stable Diffusion erreichen eine hochwertige Bilderzeugung, erfordern jedoch eine iterative Rauschunterdrückung, was zu höheren Rechenkosten und längeren Inferenzzeiten führt. Darüber hinaus bleibt die Bewahrung feiner kultureller Motive und struktureller Konsistenz ohne spezialisierte Bedingungsmechanismen eine Herausforderung. Transformer-basierte generative Modelle erfassen globale kontextuelle Beziehungen effektiv, benötigen jedoch oft umfangreiche Datensätze und erhebliche Rechenressourcen. Im Gegensatz dazu kombiniert das vorgeschlagene SegCycle-Spatially Adaptive Denormalization (SegCycle-SPADE)-Framework die auf SegFormer basierende Segmentierung, die Fusion von Merkmalen mittels Cross-Attention, die Rekonstruktion mit CycleGAN und die SPADE-gesteuerte Synthese, um eine explizite strukturelle Steuerung zu ermöglichen, wodurch die Erhaltung von Motiven, die semantische Konsistenz sowie die kontrollierbare Rekonstruktion von Mustern des kulturellen Erbes verbessert werden.

Die Mehrheit der modernsten Techniken zur semantischen Segmentierung basiert auf vollständig faltenden neuronalen Netzen (FCNNs) mit U-förmigen Architekturen³¹. Während der Kodierungsphase werden durch eine Reihe von Faltungs- und Downsampling-Operationen tiefe Merkmale mit großen Rezeptivfeldern extrahiert. In der Dekodierungsphase wird die räumliche Auflösung schrittweise durch Upsampling wiederhergestellt, wodurch letztendlich die semantische Vorhersage auf Pixel-Ebene ermöglicht wird. Durch den Ausgleich des Verlusts räumlicher Informationen während des Downsamplings und die Verbesserung der Segmentierungsleistung über eine breite Palette von Anwendungen hinweg ermöglichen Skip-Verbindungen die direkte Integration hochauflösender Informationen aus verschiedenen Kodierer-Ebenen in den Dekodierer³².

Während neuere, auf GANs, CNNs und Diffusionsmethoden basierende Ansätze erfolgversprechende Ergebnisse bei der Bildgenerierung und der Restaurierung des kulturellen Erbes gezeigt haben, haben sie häufig Schwierigkeiten, die semantische Kohärenz aufrechtzuerhalten, feine strukturelle Motive zu bewahren und eine reproduzierbare Rekonstruktion über verschiedene kulturelle Muster hinweg sicherzustellen. Die meisten bestehenden Ansätze behandeln Segmentierung, Rekonstruktion und Stilsynthese als getrennte Prozesse, was zum Verlust kulturell bedeutsamer Elemente und zu inkonsistenten Ergebnissen führen kann. Um diese methodische Lücke zu schließen, schlägt diese Studie einen einheitlichen SegCycle-SPADE-Rahmen vor, der die auf SegFormer basierende semantische Segmentierung, ein neuartiges Modul zur kulturellen Merkmalsfusion mit Cross-Attention (CAFFM), die auf CycleGAN basierende Rekonstruktion und die SPADE-gesteuerte Stilsynthese integriert. Durch die explizite Integration struktureller Segmentierungsinformationen mit der generativen Merkmalslernung ermöglicht der vorgeschlagene Rahmen eine zuverlässigere, semantisch konsistente und reproduzierbare Rekonstruktion von ICH-Motiven, wobei sowohl die kulturelle Authentizität als auch die künstlerische Qualität erhalten bleiben.

In dieser Studie werden drei wesentliche Einschränkungen der derzeitigen Ansätze zur Rekonstruktion des kulturellen Erbes identifiziert: (i) unzureichende Erhaltung feiner struktureller Motive bei rekonstruktiven Verfahren auf Basis von Generativen Adversarialen Netzwerken (GAN); (ii) eingeschränkte Generalisierungsfähigkeit aufgrund des Trainings mit kleinen oder domänenspezifischen Datensätzen; und (iii) ungenügende semantische Konsistenz zwischen den Segmentierungsergebnissen und den erzeugten Bildern in Bild-zu-Bild-Übersetzungsverfahren. Zudem werden Segmentierung, Rekonstruktion und Stilsynthese üblicherweise als getrennte Prozesse behandelt, was zu einem Verlust kulturell bedeutsamer Elemente während der Rekonstruktion führt. Durch die Kombination einer transformerbasierten semantischen Segmentierung, einer Merkmalsfusion mittels Cross-Attention, einer CycleGAN-basierten Rekonstruktion und einer SPADE-gesteuerten künstlerischen Synthese innerhalb einer einheitlichen Architektur behebt das vorgeschlagene SegCycle-SPADE-Framework diese Einschränkungen und verbessert die Erhaltung von Motiven, die semantische Konsistenz sowie die künstlerische Authentizität bei der Rekonstruktion von Mustern im immateriellen kulturellen Erbe (ICH).

Das Hauptziel dieser Studie ist die Entwicklung eines verbesserten SegCycle-SPADE-Modells für die semantische Segmentierung gestützte künstlerische Rekonstruktion von ICH-Mustern. Das Modell kombiniert SegFormer für eine präzise Segmentierung kultureller Motive, CycleGAN für die Musterrekonstruktion und SPADE für eine stilistisch konsistente künstlerische Synthese. Um die Merkmalsdarstellung zu verbessern und feine strukturelle Details zu bewahren, wird ein CAFFM eingeführt, das eine effektive Interaktion zwischen Segmentierungs- und Generierungsmerkmalen ermöglicht. Das vorgeschlagene Modell wurde anhand der Datensätze Miao Batik und WikiArt trainiert und verbessert dadurch Authentizität der Rekonstruktion, Stilkonsistenz sowie die Bewahrung kulturell bedeutsamer Motive.

Durch die Kombination von semantischer Segmentierung, aufmerksamkeitsgeleiteter Merkmalsfusion, Mustervervollständigung und Stilsynthese in einer einheitlichen Architektur stellt diese Studie einen neuartigen SegCycle-SPADE-Ansatz für die künstlerische Rekonstruktion von ICH-Mustern vor. Die wichtigsten Beiträge dieser Arbeit sind wie folgt: Erstens wird ein neuartiger, durch semantische Segmentierung gesteuerter Rekonstruktionsansatz durch die Integration von SegFormer entwickelt, der eine präzise Extraktion und Erhaltung komplexer kultureller Motive und struktureller Elemente ermöglicht. Zweitens wird ein neues CAFFM eingeführt, um Segmentierungsmerkmale effektiv mit generativen Darstellungen zu verbinden, wodurch das Modell langreichweitige Beziehungen zwischen kulturellen Motiven und künstlerischen Stilmerkmalen erfassen kann. Drittens verbessert das vorgeschlagene CAFFM die Erhaltung kulturell bedeutender Elemente und steigert gleichzeitig die visuelle Realitätstreue und strukturelle Kohärenz der rekonstruierten Kulturerbemuster. Viertens gewährleistet das Framework durch die Integration von CycleGAN zur Rekonstruktion kultureller Muster und SPADE zur segmentierungsgesteuerten künstlerischen Synthese sowohl semantische Genauigkeit als auch stilistische Authentizität der erzeugten Ergebnisse. Fünftens wird zur Verbesserung der Generalisierungsfähigkeit und künstlerischen Vielfalt das Modell mit dem Miao-Batik-Kulturmotiv-Datensatz zum Erlernen kultureller Muster und dem WikiArt-Datensatz zur Darstellung künstlerischer Stile trainiert. WikiArt dient dabei als Hilfsdatensatz zur Bewertung der Generalisierungsfähigkeit, der Robustheit des Merkmalserlernens und der Wirksamkeit der Stilsteuerung in unterschiedlichen visuellen Kontexten, nicht jedoch als Zielstil für die direkte Anwendung in Produkten des Miao-Kulturerbes. Schließlich zeigen die experimentellen Ergebnisse im Vergleich zu bestehenden, auf GANs basierenden Methoden zur Rekonstruktion von Kulturerbe eine verbesserte Segmentierungsgenauigkeit, Rekonstruktionsqualität und stilistische Konsistenz des vorgeschlagenen SegCycle-SPADE-Frameworks.

Protokoll

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der vorgeschlagene Rahmen von SegCycle-SPADE ist darauf ausgelegt, traditionelle Kulturerbemuster durch semantische Segmentierung, Merkmalsverbesserung mittels Attention, generative Rekonstruktion und künstlerische Stilsynthese zu rekonstruieren und zu verbessern. In dieser Studie wurden öffentlich verfügbare Datensätze kulturellen Erbes und künstlerischer Bilder verwendet, darunter der Miao-Batik-Datensatz und der WikiArt-Datensatz. Es wurden keine menschlichen Probanden, Patientendaten, personenbezogenen Informationen, Tierexperimente oder klinische Aufzeichnungen verwendet; daher war eine Genehmigung durch einen institutionellen Ethikausschuss und eine informierte Einwilligung nicht erforderlich. Zunächst werden der kulturelle Motiv-Datensatz der Miao-Batik und der WikiArt-Datensatz zur Evaluierung herangezogen. Der Miao-Batik-Datensatz wurde von Quan et al. (2024)32 beschrieben und enthält 15.148 annotierte Bilder traditioneller Miao-Batik-Motive. Die vorhandenen Annotationen der Datensatzersteller wurden direkt verwendet, und in dieser Studie wurden keine zusätzlichen manuellen Annotationen erstellt. Anschließend erfolgt die Vorverarbeitung der Bilder durch Größenänderung, Normalisierung, Rauschunterdrückung und Erstellung einer Segmentierungsmaske. Die genauen Vorverarbeitungsparameter sind im Unterabschnitt „Daten-Vorverarbeitung“ beschrieben. Der vorgeschlagene Rahmen nutzt ein auf Transformatoren basierendes Modell namens SegFormer-B2 für die semantische Segmentierung der Daten. Das Verfahren ist darauf ausgelegt, Schlüsselbereiche kultureller Motive zu erkennen und deren Strukturen zu lernen. Die segmentierten Merkmale werden anschließend durch einen Attention-Mechanismus verbessert, bei dem wichtige Informationen im Zusammenhang mit kulturellen Motiven hervorgehoben und irrelevante Informationen verworfen werden. Die Konfiguration des Attention-Mechanismus ist im Unterabschnitt CAFFM beschrieben. Die verbesserten Merkmale werden dann durch CycleGAN geleitet, wobei beschädigte Strukturen durch zyklisches Lernen rekonstruiert werden. Während des Trainings wurden unvollständige Motivbeispiele künstlich erzeugt, indem auf die ursprünglichen Miao-Batik-Bilder zufällige Maskierungen und teilweise Verdeckungen angewendet wurden. Diese Degradationsverfahren simulierten fehlende Motivbereiche und strukturelle Schäden, wie sie häufig bei verfallenen Kulturerbeobjekten beobachtet werden. Die resultierenden unvollständigen Bilder dienten als Eingaben für das CycleGAN-Rekonstruktionsmodul, während die entsprechenden Originalbilder als Rekonstruktionsziele fungierten. Die rekonstruierten Kulturerbemuster werden anschließend durch SPADE verbessert, wobei eine künstlerische Verbesserung basierend auf den generierten Segmentierungskarten durchgeführt wird. Die Leistung des vorgeschlagenen Rahmens wird anhand quantitativer Segmentierungs- und Bildqualitätsmetriken bewertet, während die visuelle Authentizität der rekonstruierten kulturellen Motive qualitativ beurteilt wird. Die visuelle Authentizität wurde durch visuelle Inspektion der generierten kulturellen Muster beurteilt und nicht als unabhängige quantitative Metrik verwendet. Die Bewertung konzentrierte sich auf Motiverhaltung, semantische Konsistenz, kulturelle Merkmale, strukturelle Kohärenz und künstlerisches Erscheinungsbild im Vergleich zu den entsprechenden Referenzkulturmotiven. Die quantitative Bewertung der Modellleistung erfolgte anhand von Segmentierungsgenauigkeit, IoU, Dice-Koeffizient, Structural Similarity Index Measure (SSIM), Peak Signal-to-Noise Ratio (PSNR) und Fréchet Inception Distance (FID). Abbildung 2 veranschaulicht den gesamten Arbeitsablauf des vorgeschlagenen SegCycle-SPADE-Rahmens und fasst die in dieser Studie verwendeten Evaluierungsmetriken zusammen.

figure-protocol-1
Abbildung 2. Gesamtarchitektur-Workflow des vorgeschlagenen SegCycle-SPADE-Frameworks. Übersicht über den kompletten SegCycle-SPADE-Workflow. Bilder aus den Datensätzen Miao Batik und WikiArt werden vorverarbeitet und anschließend durch semantische Segmentierung mittels SegFormer-B2, Merkmalsverbesserung mittels CAFFM, Musterrückgewinnung mittels CycleGAN und künstlerische Stilgenerierung mittels SPADE verarbeitet. Die Modellleistung wird anhand von Segmentierungsgenauigkeit, Intersection over Union (IoU), Dice-Koeffizient, Structural Similarity Index Measure (SSIM), PSNR und Fréchet Inception Distance (FID) bewertet, während die visuelle Authentizität qualitativ beurteilt wird. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Das SegCycle-SPADE-Framework zur Rekonstruktion kultureller Muster wurde entwickelt, um mehrere Deep-Learning-Komponenten zur präzisen Segmentierung, Rekonstruktion und künstlerischen Verbesserung von Motiven zu integrieren, wie in Abbildung 2 dargestellt. Bilder aus dem Datensatz kultureller Muster der Miao-Batik sowie aus dem WikiArt-Datensatz dienen zur Bereitstellung vielfältiger kultureller Muster und künstlerischer Stile. Zunächst werden die Bilder mithilfe eines auf SegFormer basierenden semantischen Segmentierungsmoduls verarbeitet, um kulturelle Motive vom Hintergrund zu trennen und abzugrenzen. Die Gesamtarchitektur umfasst vier Hauptphasen. Zuerst extrahiert das SegFormer-Modell semantische Segmentierungskarten aus den Bildern kultureller Muster. Zweitens integriert CAFFM Segmentierungsmerkmale mit generativen Darstellungen, um das Merkmal-Lernen zu verbessern. Drittens rekonstruiert das CycleGAN-Modul kulturelle Muster unter Verwendung der fusionierten Merkmalsdarstellungen. Schließlich erzeugt das SPADE-Modul stilistisch verbesserte Ausgaben, wobei die strukturelle Konsistenz durch segmentierungsgesteuerte Synthese erhalten bleibt. Die verfeinerten Merkmalskarten werden anschließend vom CycleGAN-Rekonstruktionsmodul verarbeitet, das lernt, unvollständige kulturelle Motive wiederherzustellen, indem es degradierte Muster ihren jeweils vollständigen Formen zuordnet. Unvollständige Motivproben wurden erzeugt, indem auf die ursprünglichen Miao-Batik-Bilder zufällige Maskierungen und teilweise Verdeckungen angewendet wurden, um fehlende Musterbereiche und strukturelle Degradationen nachzuahmen, wie sie häufig bei beschädigten kulturellen Artefakten beobachtet werden. Jedes degradierte Bild wurde mit dem entsprechenden Originalbild gepaart, das während des Trainings als Rekonstruktionsziel diente. Diese Strategie ermöglichte es dem CycleGAN-Modul, die Wiederherstellung fehlender Motivstrukturen zu erlernen, während semantische Konsistenz und kulturell bedeutende Merkmale bewahrt blieben. Schließlich erzeugt der SPADE-Generator visuell verbesserte künstlerische Ausgaben, indem er die Bildsynthese auf den generierten Segmentierungskarten bedingt und so die strukturelle Integrität der kulturellen Motive während des gesamten künstlerischen Verbesserungsprozesses erhält.

Die folgenden Schritte sind im vorgeschlagenen SegCycle-SPADE-Framework enthalten.

Schritt 1: Datensammlung
Zwei Datensätze wurden verwendet, um die Ziele des kulturellen Musterverstehens und der Erzeugung künstlerischer Stile zu erreichen. Der Miao Batik Cultural Motif Dataset diente der Bereitstellung traditioneller kultureller Mustereinformationen. Der Datensatz ist öffentlich über Zenodo (https://doi.org/10.5281/zenodo.20807658) zugänglich und enthält 15.148 annotierte Bilder traditioneller Miao-Batik-Motive. Die vorhandenen Annotationen der Datensatz-Ersteller wurden direkt verwendet; in dieser Studie wurden keine zusätzlichen manuellen Annotationen erstellt. Der WikiArt-Datensatz wurde zur Bereitstellung vielfältiger künstlerischer Stilinformationen für die Generierung künstlerischer Stile genutzt und aus dem öffentlich zugänglichen WikiArt-Repository (https://www.wikiart.org/) bezogen.

Schritt 2: Datenpräprozessing
Alle Bilder wurden durch Größenanpassung, Normalisierung und Rauschunterdrückung vorverarbeitet. Vorhandene Anmerkungen zu kulturellen Motiven, die aus den ursprünglichen Datensatzquellen stammten, wurden zur Unterstützung der semantischen Segmentierungsphase verwendet. Im Rahmen dieser Studie wurden keine zusätzlichen Annotationen oder Umkennzeichnungsverfahren durchgeführt.

Schritt 3: Semantische Mustersegmentierung mithilfe von SegFormer
Das SegFormer-Modell wurde zur Segmentierung kultureller Motive verwendet. Der genaue SegFormer-Backbone und die Initialisierungsstrategie werden im Unterabschnitt Semantic Pattern Segmentation Using SegFormer beschrieben. Konkret kam die SegFormer-B2-Architektur mit einem auf ImageNet vortrainierten MIT-B2-Backbone für die semantische Motivsegmentierung zum Einsatz. Dieses Modell erfasst effektiv globale Kontextinformationen und bewahrt dabei gleichzeitig die komplexen strukturellen Details traditioneller kultureller Muster.

Schritt 4: CAFFM
Die CAFFM kombiniert semantische Segmentierungsmerkmale mit generativen Darstellungen, wodurch das Framework sowohl strukturelle Motivmerkmale als auch künstlerische Stilinformationen lernen kann. Die Integrationsdetails der CAFFM werden im Unterabschnitt CAFFM erläutert. Das Modul ist zwischen der auf SegFormer basierenden semantischen Segmentierungsstufe und der generativen Rekonstruktionsstufe positioniert, wo es segmentationsbasierte strukturelle Merkmale mit Rekonstruktionsmerkmalen über eine Multi-Head-Cross-Attention verbindet. Dieser Prozess verbessert die Erhaltung kultureller Motive und steigert die Realitätsnähe der rekonstruierten Ausgaben.

Schritt 5: Musterrekonstruktion (CycleGAN)
Die fusionierten Merkmale werden anschließend vom CycleGAN-Modul verarbeitet, um kulturelle Musterstrukturen zu rekonstruieren. Die Architektur und Trainingskonfiguration von CycleGAN werden im Unterabschnitt Pattern Reconstruction Using CycleGAN beschrieben. Das Rekonstruktionsmodul besteht aus zwei Generatoren und zwei Diskriminatoren, verwendet eine Residual-Netzwerk-Generatorarchitektur mit neun Residualblöcken, setzt einen PatchGAN-Diskriminator ein und wird mithilfe von adversarialen Verlusten und zyklischen Konsistenzverlusten trainiert. Diese Konfiguration ermöglicht eine bidirektionale Domänenzuordnung und erleichtert die Rekonstruktion unvollständiger kultureller Musterstrukturen.

Schritt 6: Künstlerische Stilerzeugung (SPADE)
Die rekonstruierten Muster werden anschließend über das SPADE-Modul geleitet, um eine segmentierungsgesteuerte, künstlerische Stilsynthese durchzuführen. Die Konfiguration des SPADE-Generators wird im Unterabschnitt Künstlerische Stilerzeugung mithilfe von SPADE beschrieben. Das Modul verwendet SPADE-Residualblöcke, räumlich adaptive Normalisierungsschichten sowie semantische Bedingungen, die aus SegFormer-Segmentierungskarten und CAFFM-Merkmalsdarstellungen abgeleitet sind. Durch die bedingte Bildgenerierung anhand von Segmentierungskarten behalten die synthetisierten Ausgaben eine strukturelle Übereinstimmung mit den ursprünglichen kulturellen Motiven bei, während gleichzeitig künstlerische Stilmerkmale integriert werden.

Schritt 7: Leistungsbewertung
Der vorgeschlagene Ansatz wurde anhand mehrerer Metriken zur Segmentierung und Bildqualitätsbewertung evaluiert, darunter Segmentierungsgenauigkeit, IoU, Dice-Ähnlichkeitskoeffizient (Dice), SSIM, PSNR und FID. Zur Beurteilung der experimentellen Konsistenz wurden alle Experimente fünfmal mit unterschiedlichen Zufallszahlen wiederholt, und die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben. Die statistische Signifikanz wurde mittels gepaarter t-Tests bewertet, wobei eine Signifikanzschwelle von p < 0,05 verwendet wurde.

Datensammlung
Im vorgeschlagenen Rahmenwerk von SegCycle-SPADE werden zwei Datensätze für das Verständnis kultureller Muster und das Erlernen von Stilen verwendet. Der erste im vorgeschlagenen Rahmenwerk verwendete Datensatz ist der Datensatz kultureller Motive der Miao-Batik. Dieser Datensatz enthält kulturelle Motive der Miao-Batik, die im Allgemeinen Bilder traditioneller Miao-Batik mit Motiven wie Tieren, Pflanzen und geometrischen Formen sind, wie sie in der Kunst der Miao-Ethnie verwendet werden. Der Datensatz umfasst Bilder mit reichhaltigen Texturinformationen, die im Allgemeinen wichtig für die Bewahrung des kulturellen Erbes sind. Der zweite im vorgeschlagenen Rahmenwerk von SegCycle-SPADE verwendete Datensatz ist der WikiArt-Datensatz. Dieser Datensatz enthält eine große Anzahl von Kunstwerken, die im Allgemeinen unterschiedlichen Stilen entstammen. Er wird für das Erlernen komplexer Stile verwendet, was sich im Allgemeinen zur Verbesserung von Kunstwerken eignet. Der Datensatz umfasst 80.000 Kunstwerke in HD mit 27 verschiedenen Stilrichtungen und ist daher besonders nützlich für auf Deep Learning basierende Aufgaben der Stilgenerierung oder -umwandlung.

Miao-Batik-Datensatz:
Der Miao-Batik-Datensatz (https://doi.org/10.5281/zenodo.20807658) umfasst 15.148 Bilder von Batikmustern mit kulturell bedeutsamen Motiven. Die Bilder enthalten eine Vielzahl traditioneller Gestaltungen, wie beispielsweise tierische Motive (z. B. Schmetterlinge und Fische), pflanzliche Muster und geometrische Motive, die kulturelle Symbolik tragen. Dieser Datensatz ist eine wichtige Komponente des vorgeschlagenen Frameworks, da er authentische kulturelle Strukturen bereitstellt, die es dem Segmentierungsmodul ermöglichen, Motivgrenzen während der Musterrekonstruktion genau zu identifizieren und zu bewahren (Tabelle 1). In dieser Studie beziehen sich kulturell bedeutende Motive auf symbolische visuelle Elemente, die in der Literatur zum kulturellen Erbe der Miao häufig dokumentiert sind und in den Datensatzannotationen enthalten sind, darunter Vögel, Schmetterlinge, florale Muster und Ahnentotems. Diese Motive wurden aufgrund ihrer dokumentierten kulturellen Bedeutung und ihres wiederkehrenden Auftretens in traditionellen Miao-Batik- und Stickereimustern ausgewählt, nicht allein aufgrund ihrer Häufigkeit oder räumlichen Zusammensetzung. Die durch Experten erstellten Motivannotationen und Segmentierungskennzeichnungen stammen aus der ursprünglichen Quelle des Miao-Batik-Datensatzes und wurden in dieser Studie direkt verwendet. Die Autoren führten keine zusätzlichen manuellen Annotationen, Neukennzeichnungen oder erneuten, durch Experten geleiteten Annotationen durch. Die vom Datensatz-Ersteller bereitgestellten Annotationen wurden für das Training und die Evaluierung der semantischen Segmentierung genutzt.

Parameter	Beschreibung
Datensatzname	Miao Batik Kultureller Mustersatz
Quelle des Datensatzes	Zenodo-Repository (DOI: 10.5281/zenodo.20807658)
Bereich	Immaterielles Kulturerbe (ICH) / Analyse textiler Muster
Gesamtanzahl der Bilder	15.148 Bilder
Bildtyp	Digitalbilder traditioneller textiler Miao-Batik-Muster
Musterkategorien	Tiermotiven, Pflanzenmotiven und geometrischen Motiven
Kultureller Ursprung	Kultur der Miao-Ethnie, Provinz Guizhou, China
Ursprüngliche Bildauflösung	Hochauflösende Bilder (typischerweise ≥ 1.000 Pixel auf der kürzeren Seite), erfasst als Rohscans oder Fotografien vor der Vorverarbeitung
Trainingsauflösung	Bilder wurden während der Vorverarbeitung auf 256 × 256 Pixel skaliert
Verfügbarkeit von Annotationen	Die vorhandenen Segmentierungsannotationen der Datensatz-Ersteller wurden ohne Änderung für Training und Evaluierung verwendet. In dieser Studie wurden keine zusätzlichen manuellen Annotationen, Umetikettierungen oder Bestätigungen durch Experten durchgeführt.
Anwendung in dieser Studie	Segmentierung kultureller Motive, Merkmalsextraktion, Motiverhaltung und Musterrekonstruktion

Tabelle 1: Merkmale des Kulturmuster-Datensatzes der Miao-Batik. Zusammenfassung des Datensatzes kultureller Motive der Miao-Batik, der für die semantische Segmentierung, die Analyse kultureller Muster und die Rekonstruktion von Motiven verwendet wurde. Die Tabelle beschreibt die Datenquelle, Bildmerkmale, Motivkategorien, kulturelle Herkunft, Bildauflösung und die Rolle des Datensatzes im Rahmen des vorgeschlagenen SegCycle-SPADE-Modells.

WikiArt-Datensatz:
Der WikiArt-Datensatz [https://www.wikiart.org/] ist ein beliebtes, großangelegtes digitales Kunstarxiv, das über 80.000 Bilder aus 27 verschiedenen künstlerischen Stilen umfasst, die in Tabelle 2 aufgeführt sind. Zu den Stilen gehören Renaissance-Kunst, Impressionismus, Kubismus und Surrealismus. Der Datensatz ist im vorgeschlagenen Framework von großer Bedeutung, da er Wissen bereitstellt, das es dem SPADE-Modul ermöglicht, kulturell angereicherte Muster zu erzeugen, während gleichzeitig die aus dem Segmentierungsprozess gewonnenen strukturellen Informationen erhalten bleiben. Der Datensatz besteht aus 56.000 Bildern für das Training sowie 12.000 Bildern für Validierung und Test. Die Bilder im Datensatz tragen wesentlich dazu bei, das Deep-Learning-Modell effektiv zu trainieren.

Parameter	Beschreibung
Dataset-Name	WikiArt-Datensatz
Datenquelle	WikiArt-Repository (https://www.wikiart.org/)
Bereich	Digitale Kunst und Gemälde
Gesamtanzahl Bilder	Ungefähr 80.000 Kunstwerke
Trainingsbilder	56.000
Validierungsbilder	12.000
Testbilder	12.000
Künstlerische Stile	27 künstlerische Stile, darunter Renaissance, Impressionismus, Kubismus, Surrealismus, Expressionismus, Realismus und Abstrakte Kunst
Ursprüngliche Bildauflösung	Die ursprünglichen Bildauflösungen variieren je nach Kunstwerk und Quelle. Während der Vorverarbeitung wurden die Bilder auf eine einheitliche Auflösung von 256 × 256 Pixeln skaliert.
Trainingsauflösung	Die Bilder wurden während der Vorverarbeitung vor dem Lernen künstlerischer Stile und der segmentierungsgesteuerten Bildsynthese auf 256 × 256 Pixel skaliert.
Datensatz-Aufteilung	Stratifizierte zufällige Aufteilung (70 % Training, 15 % Validierung, 15 % Test) unter Verwendung eines festen Zufallsstarts (Seed) von 42
Stichprobenstrategie für Stile	Es wurde eine stratifizierte proportionale Stichprobenziehung angewandt, um die Verteilung der 27 künstlerischen Stile in den Teilmengen für Training, Validierung und Test zu erhalten
Anwendung in dieser Studie	Lernen künstlerischer Stile, Darstellung von Stilmerkmalen und segmentierungsgesteuerte künstlerische Synthese

Tabelle 2: Merkmale des WikiArt-Datensatzes. Zusammenfassung des WikiArt-Datensatzes, der für das Lernen künstlerischer Stile und die stilgesteuerte Bildsynthese verwendet wird. Die Tabelle beschreibt die Datenquelle, die Bildverteilung, die Abdeckung künstlerischer Stile, die Aufteilung des Datensatzes, die Bildauflösung sowie die Anwendung im vorgeschlagenen SegCycle-SPADE-Framework.

Der Miao-Batik-Datensatz enthält 15.148 Bilder, die traditionelle kulturelle Miao-Motive darstellen.32 Der Datensatz ist öffentlich über Zenodo (https://doi.org/10.5281/zenodo.20807658) zugänglich. Vor dem Modelltraining wurden alle Bilder visuell überprüft, auf eine Größe von 256 × 256 Pixeln skaliert, normalisiert und auf beschädigte oder doppelte Proben hin untersucht. Die Qualitätskontrolle führte nicht zum Ausschluss von Bildern; daher wurden alle 15.148 Bilder für die anschließende Analyse beibehalten. Der Datensatz wurde zufällig in Trainings- (70 %), Validierungs- (15 %) und Testanteile (15 %) unter Verwendung eines festen Zufallsstarts von 42 unterteilt, um die Reproduzierbarkeit der Datensatz-Aufteilungen sicherzustellen. Auf den WikiArt-Datensatz wurde über das offizielle WikiArt-Repository (https://www.wikiart.org/) zugegriffen, der mehr als 80.000 Kunstwerke umfasst, die 27 künstlerische Stile repräsentieren. Für Experimente zum Stil-Lernen wurden 56.000 Bilder zum Training, 12.000 zur Validierung und 12.000 zum Testen verwendet.

Daten-Präprozessing
Bevor das vorgeschlagene SegCycle-SPADE-Framework trainiert wurde, wurden der Datensatz kultureller Motive der Miao-Batik und der WikiArt-Datensatz mehreren Präprozessing-Schritten unterzogen, um eine einheitliche Bildqualität und eine genaue Merkmalsrepräsentation sicherzustellen. Derselbe grundlegende Präprozessing-Pipeline, einschließlich Gaußscher Rauschunterdrückung, Normalisierung, Anpassung an eine einheitliche Eingabeauflösung und Überprüfung der Bildqualität, wurde auf beide Datensätze angewendet. Die Datensätze erfüllten jedoch unterschiedliche Aufgaben innerhalb des Frameworks. Der WikiArt-Datensatz diente dem Erlernen und der Synthese künstlerischer Stile, während der Miao-Batik-Datensatz hauptsächlich zur Segmentierung und Rekonstruktion kultureller Motive verwendet wurde. Abgesehen von diesen aufgabenbezogenen Rollen wurden keine datensatzspezifischen Änderungen im Präprozessing vorgenommen. Um eine konsistente Verarbeitung durch das Deep-Learning-Modell zu gewährleisten, wurden die Bilder zunächst auf eine feste Auflösung skaliert. Dieser Schritt war notwendig, da die Auflösung der Bilder in beiden Datensätzen je nach Quelle variierte. Die Größenanpassung verbesserte die Recheneffizienz und verhinderte, dass dimensionsbedingte Inkonsistenzen das Training beeinträchtigen. Der zweite Präprozessing-Schritt war die Normalisierung, bei der die Pixelwerte in einen standardisierten Bereich skaliert wurden, um die Stabilität der Gradientenaktualisierungen während des Trainings zu erhöhen. Anschließend wurden die Bilder mithilfe eines Gaußschen Filters bearbeitet, um Rauschen zu reduzieren, das die Struktur kultureller Motive stören könnte. Für den Miao-Batik-Datensatz wurden vorhandene Segmentierungsmasken für kulturelle Motive, die direkt aus der ursprünglichen Datenquelle stammten, ohne Änderungen für das Training und die Evaluierung der semantischen Segmentierung verwendet. Es wurden keine neuen Segmentierungsmasken speziell für diese Studie erstellt.

Sofern nicht anders angegeben, wurden Gleichungen, die etablierte Methoden beschreiben, aus früheren Studien übernommen und entsprechend zitiert. Gleichungen, die den vorgeschlagenen CAFFM und den zusammengesetzten SegCycle-SPADE-Optimierungsrahmen beschreiben, wurden von den Autoren für diese Studie entwickelt.

Es sei ein Eingabebild aus dem Datensatz dargestellt als Gleichung 1:

figure-protocol-2 (1)

Hier bezeichnen H, W und C die Höhe, Breite und die Anzahl der Farbkanäle des Bildes. Alle Bilder werden auf eine feste Dimension H′ × W′ skaliert, wie in Gleichung 2 dargestellt:

figure-protocol-3

Hier ist I_r das skalierte Bild. Die normalisierten Pixelwerte werden gemäß Gleichung 3 berechnet:

figure-protocol-4 (3)

Dies trägt zur Stabilisierung des Trainingsverfahrens bei. Die Rauschfilterung erfolgt mithilfe eines Gauß-Filters, wie in Gleichung 4 dargestellt:

figure-protocol-5

Hier ist G(σ) ein Gauß-Filter und * steht für Faltung. Ein Gauß-Filter mit einem 5 × 5-Kern und einer Standardabweichung von σ = 1.0 wurde verwendet. Um Randartefakte zu reduzieren, wurden die Randpixel mit reflektierender Auffüllung („reflective padding“) versehen. Vor der Skalierung und Normalisierung wurde der Rauschunterdrückungsprozess unmittelbar nach dem Laden des Bildes durchgeführt. Um eine einheitliche Vorverarbeitung während der gesamten Studie sicherzustellen, wurde die gleiche Filterkonfiguration auf alle Bilder der Datensätze Miao Batik und WikiArt angewendet. Für den Miao-Batik-Datensatz werden die Segmentierungsmasken gemäß Gleichung 5 erstellt:

figure-protocol-6

Hier ist M eine Segmentierungsmaske, die verwendet wird, um das SegFormer-Modell zu steuern.

Die Vorverarbeitungspipeline beginnt mit der Erfassung der Bilder aus dem Miao-Batik-Datensatz und dem WikiArt-Datensatz, wie in Abbildung 3 gezeigt. Während des Trainings kamen keine Techniken zur Datenaugmentierung zum Einsatz. Nach der Vorverarbeitung, zu der das Ändern der Bildgröße, die Normalisierung, die Entstörung mittels Gauß-Filter und die Vorbereitung der Segmentierungsmasken gehörten, wurden die Bilder direkt für das Training, die Validierung und die Testung des vorgeschlagenen SegCycle-SPADE-Frameworks verwendet. Der erste Schritt der Vorverarbeitungspipeline besteht darin, die Bilder auf eine feste Größe zu skalieren, wodurch das DL-Modell die Bilder effizienter verarbeiten kann. Der zweite Schritt umfasst die Normalisierung, bei der die Pixelwerte in einen standardisierten numerischen Bereich umgewandelt werden, um die Konvergenz des Modells zu erleichtern. Der dritte Schritt beinhaltet die Rauschunterdrückung, bei der unerwünschtes Rauschen aus den Bildern entfernt wird, um die Mustererkennung zu verbessern. Zusätzlich werden für den Miao-Batik-Datensatz die Bereiche kultureller Motive annotiert, wodurch Masken erzeugt werden können, die im Segmentierungsmodul des vorgeschlagenen Modells verwendet werden und sicherstellen, dass kulturelle Motive während der Generierung erhalten bleiben. Die endgültige Ausgabe dieses Schritts ist ein bereinigter Datensatz, der für das Training der Segmentierungs- und Generierungsmodule des vorgeschlagenen Modells bereitsteht.

figure-protocol-7
Abbildung 3. Datenverarbeitungspipeline für Bilder des kulturellen Erbes. Ein Workflow, der die Bildvorverarbeitungsschritte veranschaulicht, die vor dem Modelltraining durchgeführt werden. Die Pipeline umfasst die Datensammlung, die Größenänderung der Bilder, die Normalisierung, die Entstörung mittels Gaußschem Rauschfilter, vorhandene Annotationen kultureller Motive sowie die Vorbereitung der Segmentierungsmasken. Die resultierenden verarbeiteten Bilder und Masken dienen als Eingaben für die semantische Segmentierung und die Musterrekonstruktion. Bitte klicken Sie hier, um eine vergrößerte Darstellung dieser Abbildung anzusehen.

Jedes Bild wurde vor dem Modelltraining einem Qualitätskontrollprozess unterzogen. Der Miao-Batik-Datensatz enthielt 15.148 Bilder. Beschädigte, doppelte und minderwertige Proben waren bereits von den ursprünglichen Erstellern des Datensatzes bearbeitet worden; daher wurden im Rahmen der Qualitätskontrolle in dieser Studie keine weiteren Bilder ausgeschlossen. Folglich blieben alle 15.148 Bilder für die Analyse erhalten. Während der Vorverarbeitung wurden die Bilder im RGB-Format geladen und mittels bilinearer Interpolation auf 256 × 256 Pixel skaliert. Die Pixelewerte wurden durch Division durch 255 aus dem Bereich [0, 255] in den Bereich [0, 1] skaliert. Anschließend wurde eine kanalweise Normalisierung unter Verwendung der Mittelwerte [0,485, 0,456, 0,406] und der Standardabweichungen [0,229, 0,224, 0,225] für die roten, grünen und blauen Kanäle durchgeführt. Die Vorverarbeitungspipeline umfasste das Laden der Bilder, die Umwandlung in RGB, die Größenänderung, die Skalierung der Pixelewerte, die Normalisierung und die Umwandlung in Tensoren. Bei Bedarf wurden Graustufenbilder in das dreikanalige RGB-Format umgewandelt, um die Kompatibilität mit den DL-Modellen sicherzustellen. Nach der Vorverarbeitung wurden die Bilder in Trainings-, Validierungs- und Testteilmengen aufgeteilt. Alle Stufen des SegCycle-SPADE-Frameworks – einschließlich semantischer Segmentierung, Merkmalsfusion, Motivrekonstruktion und künstlerischer Synthese basierend auf SPADE – verwendeten eine einheitliche Eingabematrix von 256 × 256 Pixeln.

Semantische Mustersegmentierung mittels SegFormer
Nach diesem Vorverarbeitungsschritt werden die bereinigten und normalisierten Bilder des kulturellen Muster-Satzes der Miao-Batik sowie des WikiArt-Datensatzes in das semantische Segmentierungsmodul eingespeist, das auf dem vorgeschlagenen SegFormer-B2-Framework basiert. Ziel dieses Schritts ist es, kulturelle Motive innerhalb von Kulturmustern korrekt zu identifizieren und voneinander zu trennen. Das vorgeschlagene SegFormer-Framework beruht auf einer Transformer-Architektur, die einen hierarchischen Transformer-Encoder und einen leichten MLP-Decoder kombiniert, um sowohl globale Kontextinformationen als auch detaillierte strukturelle Informationen aus komplexen Kulturmustern präzise zu erfassen. Das Modell extrahiert zunächst Merkmalsdarstellungen in mehreren Maßstäben aus dem Eingabebild, die anschließend im Decoder fusioniert werden, um genaue segmentierte Muster zu erzeugen. Dadurch wird sichergestellt, dass die Muster im Kulturerbe-Bild korrekt in Motive wie geometrische, florale und symbolische Muster segmentiert werden, wodurch sie vom Hintergrund getrennt werden, während ihre strukturelle Integrität erhalten bleibt. Diese strukturelle Information wird anschließend in späteren Phasen der Mustergenerierung innerhalb des SegCycle-SPADE-Frameworks verwendet.

Das vorverarbeitete Eingangsbild sei dargestellt als Gleichung 6:

figure-protocol-8 (6)

Der SegFormer-Encoder teilt das Bild in Patches auf und extrahiert hierarchische Merkmale mithilfe von Transformer-Schichten, wie in Gleichung 7¹ dargestellt:

figure-protocol-9

Hier bezeichnet F die Multiskalen-Feature-Karten, die aus dem Transformer-Encoder gewonnen werden. Diese Merkmale kodieren sowohl lokale Texturmuster als auch globale kontextuelle Beziehungen zwischen Motivbereichen. Das SegFormer-Modell extrahiert Feature-Karten in verschiedenen Skalen, wie in Gleichung 8 definiert:

figure-protocol-10

Die Verwendung von Multiskalen-Darstellungen erleichtert die Erkennung von Mustern unterschiedlicher Größe innerhalb kultureller Motive. Abschließend werden die Merkmale mithilfe des MLP-Decoders kombiniert, wie in Gleichung 9¹ dargestellt:
figure-protocol-11

Hier bezeichnet S die endgültige vorhergesagte Segmentierungskarte.

Der SegFormer-B2-Backbone wurde mit ImageNet-vortrainierten Gewichten initialisiert und anschließend für die Segmentierung kultureller Motive am Miao-Batik-Datensatz feinabgestimmt. Der vortrainierte Checkpoint wurde aus der offiziellen SegFormer-Implementierung bezogen. Konkret wurde der MIT-B2-Checkpoint (mit_b2.pth) mit Vortraining auf ImageNet-1K, der vom offiziellen SegFormer-Repository bereitgestellt wird, zur Initialisierung des SegFormer-B2-Backbones vor der Feinabstimmung verwendet. Die vortrainierten Gewichte entsprechen dem vom SegFormer-Autorenteam veröffentlichten MIT-B2-Backbone und dienten als Initialisierungsmodell für das Training der semantischen Segmentierung. Die verbleibenden aufgaben-spezifischen Schichten wurden vor dem Training mit den standardmäßigen PyTorch-Verfahren zur Gewichtsinitialisierung initialisiert.

Ein vierstufiger hierarchischer Transformer-Encoder mit überlappenden Patch-Embeddings wird in der Architektur verwendet. In der ersten Stufe wurde die Patch-Größe auf 7 × 7 mit einer Schrittweite von 4 festgelegt. Für jede der vier Encoder-Stufen betrugen die Embedding-Dimensionen 64, 128, 320 und 512. Über die vier Stufen hinweg gab es 1, 2, 5 und 8 Multi-Head-Selbst-Aufmerksamkeitsköpfe, und die entsprechenden Encoder-Tiefen betrugen 3, 4, 6 und 3 Schichten. Multiskalige Merkmale, die vom Encoder extrahiert wurden, wurden mithilfe eines leichten, ausschließlich aus MLPs bestehenden Decoders aggregiert. Vor der Erstellung der endgültigen Segmentierungskarte projizierte der Decoder Merkmale aus jeder Encoder-Stufe in einen einzigen Embedding-Raum. Alle Transformer-Blöcke verwendeten die Aktivierungsfunktion Gaussian Error Linear Unit (GELU). Zur Verbesserung der Generalisierung und Verringerung von Überanpassung wurde während des Trainings eine Dropout-Rate von 0,1 verwendet.

Während der Trainingsphase erhält das SegFormer-Framework die vorverarbeiteten Bilder aus beiden Datensätzen. Die Bilder aus dem Miao-Batik-Datensatz enthalten Motivbereiche, die als Labels für das überwachte Lernen des Segmentierungsmodells dienen. Der Transformer-Encoder verarbeitet das gesamte Bild und erfasst langreichweitige Beziehungen zwischen Bildkomponenten, was besonders wichtig für traditionelle Batikmuster mit räumlich verteilten Motiven ist. Der hierarchische Mechanismus zur Merkmalsextraktion erfasst gleichzeitig lokale Strukturen wie sich wiederholende geometrische Texturen. Der MLP-Decoder verarbeitet diese extrahierten Merkmale und erzeugt eine Segmentierungsmaske, die die Motivbereiche hervorhebt. Die in diesem Schritt erzeugten Segmentierungskarten werden anschließend als strukturelle Eingaben für das Attention-Modul und die Musterrekonstruktion verwendet, wodurch die Authentizität der generierten Muster bewahrt bleibt.

Kulturelle Motive wurden gemäß ihren visuellen und kulturellen Merkmalen in verschiedene Klassen für die semantische Segmentierung unterteilt. Die Segmentierungstaxonomie umfasste Tiermotive (z. B. Schmetterlinge, Fische, Vögel und andere symbolische Tierarten), Pflanzenmotive (z. B. Blumen, Blätter, Ranken und botanische Muster), geometrische Motive (z. B. sich wiederholende Formen, Bordüren und abstrakte geometrische Strukturen) sowie Hintergrundbereiche, die nicht-motivische Flächen darstellen. Zur Zuordnung jedes Pixels zu einer der vordefinierten Klassen wurden Segmentierungsmasken auf Pixelebene verwendet. Ganzzahlig codierte Kennzeichnungen waren wie folgt festgelegt: Kennzeichnung 0 = Hintergrund, Kennzeichnung 1 = Tiermotive, Kennzeichnung 2 = Pflanzenmotive und Kennzeichnung 3 = geometrische Motive. Die Segmentierungsannotationen und Motivkennzeichnungen stammten direkt aus der ursprünglichen Datenquelle des Miao-Batik-Datensatzes. In dieser Studie wurden keine zusätzlichen manuellen Annotationen, Umetikettierungen, Grenzüberprüfungen oder bestätigenden Verfahren durch Experten durchgeführt. Die vom Datensatz-Ersteller bereitgestellten Annotationen wurden ohne Änderungen für Training und Evaluierung verwendet.

Das SegFormer-Modell zur Segmentierung kultureller Motive verarbeitet die vorverarbeiteten Bilder aus dem Miao-Batik-Datensatz und dem WikiArt-Datensatz mithilfe eines auf Transformatoren basierenden Verfahrens, um genaue Erkennung kultureller Musterbereiche zu ermöglichen, wie in Abbildung 4 gezeigt. Zunächst wird das Eingabebild, das traditionelle kulturelle Motive enthält, dem SegFormer-Modell zugeführt. Der Transformer-Encoder extrahiert sowohl globale Kontextinformationen als auch lokale strukturelle Merkmale aus Bildausschnitten. Die resultierenden mehrskaligen Merkmale werden an den Segmentierungs-Decoder übergeben, der ein gemischtes Feed-Forward-Netzwerk nutzt, um die Merkmalsdarstellungen zu verfeinern und die Motiverkennung zu verbessern. Die Ausgabe des SegFormer-Modells ist eine Segmentierungsmaske, die Pixel hervorhebt, die kulturellen Mustern entsprechen, und dabei irrelevante Hintergrundinformationen unterdrückt. Die isolierten kulturellen Muster dienen anschließend als strukturelle Vorgabe für die nachfolgenden Phasen des SegCycle-SPADE-Frameworks.

figure-protocol-12
Abbildung 4. Semantische Segmentierung kultureller Motive basierend auf SegFormer-B2. Architektur des für die Extraktion kultureller Motive verwendeten SegFormer-B2-Moduls zur semantischen Segmentierung, das ausschließlich anhand des Miao-Batik-Datensatzes trainiert wurde. Das Framework besteht aus einem auf dem Transformer basierenden Encoder zur mehrskaligen Merkmalsextraktion und einem leichtgewichtigen Segmentierungs-Decoder zur Erzeugung von Motivmasken. Das Modell prognostiziert vier semantische Klassen – Tier, Pflanze, geometrisch und Hintergrund –, wobei die resultierenden Segmentierungsmasken kulturell bedeutsame Motivbereiche identifizieren und irrelevante Hintergrundinformationen unterdrücken. Diese Segmentierungsergebnisse liefern strukturelle Vorgaben für die nachfolgenden Phasen der Merkmalsfusion, Rekonstruktion und künstlerischen Synthese im vorgeschlagenen SegCycle-SPADE-Framework. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Es ist nicht erforderlich, im vorgeschlagenen Rahmen neue Segmentierungsannotationen zu erstellen. Der Miao-Batik-Datensatz wurde aus einer bereits vorhandenen öffentlichen Quelle bezogen, und das Modell wurde mit den von den Datensatzerstellern bereitgestellten Informationen zu den zugehörigen Mustern trainiert. Während des Lernprozesses erzeugte das SegFormer-Modell semantische Segmentierungskarten. Daher benötigte die vorliegende Studie keine zusätzliche manuelle Annotationssoftware, keine Annotationsrichtlinien und keine Verfahren zur Qualitätssicherung der Annotationen.

CAFFM
Um die Interaktion zwischen den Merkmalen der semantischen Segmentierung und den Darstellungen der generativen Rekonstruktion zu verbessern, schlug die Studie außerdem eine CAFFM vor. Der SegFormer-B2-Encoder liefert der CAFFM-Modul semantische Merkmalskarten, während der CycleGAN-Rekonstruktionsschritt generative Merkmalskarten bereitstellt. Zunächst werden lineare Projektionsschichten verwendet, um beide Merkmalsströme in einen gemeinsamen Einbettungsraum zu projizieren. Für die Berechnung der Cross-Attention werden mittels der erzeugten Merkmalstensoren Abfrage- (Q), Schlüssel- (K) und Wert- (V) Darstellungen erstellt. Die Beziehungen zwischen strukturellen Motivinformationen und künstlerischen Stilelementen werden anschließend mithilfe einer Multi-Head-Cross-Attention modelliert. Anschließend werden Schichtnormalisierung, Residualverbindungen und Feed-Forward-Schichten mit GELU-Aktivierung auf die fusionierten Merkmalsdarstellungen angewendet. Die Ausgabe des CAFFM-Moduls gelangt in die auf SPADE basierende Synthese-Phase, wodurch kulturell bedeutsame Themen bewahrt werden, ohne die künstlerische Kohärenz zu beeinträchtigen.

Um die Kompatibilität der Merkmale sicherzustellen, werden die Eingabemerkmale zunächst mithilfe linearer Projektionsschichten in einen gemeinsamen Einbettungsraum mit einer Einbettungsdimension von 256 projiziert. Die Wechselwirkungen zwischen semantischen Strukturinformationen und generativen Stildarstellungen werden anschließend mittels eines MultiHead-Cross-Attention-Mechanismus mit acht Attention-Köpfen modelliert. Bei der Cross-Attention-Berechnung werden die Query- (Q), Key- (K) und Value-Vektoren (V) verwendet, die durch spezifische lineare Transformationsschichten erzeugt werden. Um die Stabilität des Trainings zu erhöhen und die Integrität der Merkmale zu bewahren, werden Residualverbindungen und Layer-Normalisierung eingesetzt, um die fusionierten Merkmalsdarstellungen weiter zu verbessern. Das nichtlineare Merkmalslernen wird anschließend durch Anwendung eines Feed-Forward-Netzwerks mit der Aktivierungsfunktion Gaussian Error Linear Unit (GELU) verbessert. Das Modul erzeugt eine Ausgabemerkmalsdarstellung der Dimension 256 und leitet sie an nachfolgende Stufen für die kreative Synthese weiter. Die CAFFM kombiniert mithilfe einer auf Cross-Attention basierenden Fusionstechnik erfolgreich künstlerische Stildaten mit kulturellen Motivstrukturen, wodurch die Erhaltung der Motive und die visuelle Kohärenz bei den rekonstruierten Mustern des kulturellen Erbes verbessert wird.

In dem vorgeschlagenen System werden die strukturellen Merkmale aus dem Miao-Batik-Datensatz abgeleitet, während die stilistischen Merkmale aus dem WikiArt-Datensatz gelernt werden. Sei die aus dem SegFormer-Segmentierungsnetzwerk unter Verwendung von Bildern des Miao-Batik-Datensatzes abgeleitete Merkmalskarte mit F_s bezeichnet, während die aus dem Stil-Merkmalsextraktionszweig unter Verwendung von WikiArt-Bildern abgeleitete Merkmalskarte mit F_a bezeichnet wird. Der vorgeschlagene CAFFM kombiniert die beiden Merkmalsbereiche mithilfe eines Cross-Attention-Mechanismus, um sowohl strukturelle als auch stilistische Abhängigkeiten kultureller Muster zu lernen. Tabelle 3 gibt alle architektonischen Eigenschaften an, einschließlich Einbettungsdimensionen, Normalisierungsschichten, Aktivierungsfunktionen und Konfiguration der Attention-Köpfe. Bei einer Eingabebildgröße von 256 × 256 Pixeln erzeugte der SegFormer-B2-Encoder semantische Merkmalskarten der Größe 64 × 64 × 128, während der Stil-Merkmalsextraktionszweig Merkmalskarten der Größe 64 × 64 × 128 erzeugte. Beide Merkmalskarten wurden vor der Fusion mittels Cross-Attention durch lernbare lineare Schichten in einen gemeinsamen Einbettungsraum der Dimension 256 projiziert.

Parameter	Konfiguration
Vorgeschlagenes Framework	SegCycle-SPADE
Semantisches Segmentierungsmodell	SegFormer-B2
SegFormer-Encoder-Stufen	4
Gewichtsinitialisierung	Imagenet-1K vortrainiertes SegFormer-B2 (MIT-B2-Backbone)
Checkpoint-Quelle	Offizielles NVIDIA SegFormer-Repository (https://github.com/NVlabs/SegFormer); Checkpoint: segformer.b2.512x512.ade.160k
Feinabstimmungsstrategie	End-to-End-Feinabstimmung auf dem Miao-Batik-Datensatz
Größe der Patch-Embeddings	7 × 7
Abstand zwischen Patches (Patch Stride)	4
Embedding-Dimensionen	64, 128, 320 und 512
Encoder-Tiefen	3, 4, 6 und 3
Attention-Heads	1, 2, 5 und 8
Decoder-Typ	All-MLP-Decoder
Aktivierungsfunktion	GELU
Dropout-Rate	0,1
Feature-Verbesserungsmodul	Cross-Attention Cultural Feature Fusion Module (CAFFM)
CAFFM-Embedding-Dimension	256
CAFFM-Attention-Heads	8
CAFFM-Fusionsskalen	4
Rekonstruktionsmodell	CycleGAN
Stilgenerierungsmodell	SPADE
Kultureller Datensatz	Miao-Batik-Datensatz
Stildatensatz	WikiArt-Datensatz
Miao-Batik-Bilder	15.148
WikiArt-Bilder	Ungefähr 80.000
Eingabebildauflösung	256 × 256 Pixel
Farbformat	RGB
Interpolationsmethode	Bilineare Interpolation
Rauschunterdrückungsmethode	Gaußsche Filterung
Gaußsche Kernelgröße	5 × 5
Gaußsche Standardabweichung (σ)	1
Normalisierungsbereich	[0, 1]
Batch-Größe	16
Anzahl der Epochen	100
Optimierer	Adam
Lernrate	0,0002
Adam-Parameter	β₁ = 0,5, β₂ = 0,999, ε = 1 × 10⁻⁸, Gewichtsverfall = 0
Verlustfunktionen	Segmentierungsverlust, Adversarial-Verlust, Zyklenkonsistenz-Verlust, Rekonstruktionsverlust, Motiverhaltungs-Verlust und Stilkonsistenz-Verlust
Datensatz-Aufteilungsstrategie	Training / Validierung / Test
Trainingsdatensatz	70 %
Validierungsdatensatz	15 %
Testdatensatz	15 %
Zufallsseed	42
Evaluierungsmetriken	Segmentierungsgenauigkeit, IoU, Dice-Koeffizient, SSIM, PSNR und FID
Programmiersprache	Python 3.8.10
Tiefenlern-Framework	PyTorch 1.10.0
Hardware-Plattform	NVIDIA RTX 3090 GPU (24 GB VRAM), Intel Core i7 (11. Generation), 32 GB RAM
Betriebsumgebung	Ubuntu 20.04 LTS

Tabelle 3: Experimentelle Anordnung und Modellkonfiguration. Zusammenfassung der architektonischen Komponenten, Trainingskonfiguration, Vorverarbeitungseinstellungen, Datensätze, Optimierungsparameter, Evaluierungsmetriken und rechnerischen Umgebung, die für die Implementierung und Bewertung des vorgeschlagenen SegCycle-SPADE-Frameworks verwendet wurden.

Das Aufmerksamkeitsmodul bildet die Merkmalskarte zunächst mithilfe von Gleichung 10 in Abfrage-, Schlüssel- und Wertdarstellungen ab:

figure-protocol-13

Hierbei handelt es sich bei W_q, W_k und W_v um lernbare Gewichtungsmatrizen. Die Attention-Gewichte werden basierend auf der Ähnlichkeit zwischen dem Query-Vektor und dem Key-Vektor unter Verwendung von Gleichung 11¹⁷:

figure-protocol-14

Hier ist d_k die Dimension des Schlüsselvektors. Die verbesserte Merkmalsdarstellung wird berechnet, indem die Attention-Gewichte mit der Wertematrix gemäß Gleichung 12 multipliziert werden:

figure-protocol-15

Hier ist F_a die verbesserte Merkmalsdarstellung der Merkmalskarte. Die verbesserte Merkmalsdarstellung wird berechnet, indem die ursprünglichen Segmentierungsmerkmale mit den unter Verwendung des Attention-Mechanismus gewonnenen verbesserten Merkmalen gemäß Gleichung 13 kombiniert werden:

figure-protocol-16

Hier ist F_e die verbesserte Merkmalskarte, die zur Musterrekonstruktion verwendet wird. Die CAFFM wird um einen mehrskaligen Cross-Attention-Mechanismus erweitert, um Merkmale für kulturelle Motive auf verschiedenen Skalen zu extrahieren. Sei F_sⁱ die Segmentierungsmerkmale auf der Skala i und F_a^j die Merkmale des künstlerischen Stils auf derselben Skala. Die endgültige Merkmalsdarstellung wird mithilfe von Gleichung 14 definiert:

figure-protocol-17

Hier repräsentieren Q_i, K_i und V_i jeweils die Query-, Key- und Value-Matrizen auf der Skala i, während N die Anzahl der Merkmalskalen bezeichnet. In dieser Studie beträgt N = 4, was den auf räumlichen Auflösungen von 1/4, 1/8, 1/16 und 1/32 der Eingabebildgröße extrahierten Merkmalskarten entspricht. Diese mehrskaligen Merkmalsdarstellungen wurden vor der Rekonstruktion und künstlerischen Synthese mithilfe lernbarer Aufmerksamkeitsgewichte fusioniert. Die oben genannte Erweiterung ermöglicht es der Methode, globale kulturelle Motive und Texturen zu extrahieren, um kulturelle Muster rekonstruieren zu können. CAFFM befindet sich zwischen der auf SegFormer basierenden Segmentierungsstufe und der auf SPADE basierenden kreativen Synthesestufe im vorgeschlagenen SegCycle-SPADE-System. Zunächst erzeugt CycleGAN gleichzeitig Rekonstruktionsmerkmale mit stilistischen und musterspezifischen Informationen, während SegFormer-B2 semantische Merkmalskarten rekonstruiert, die die strukturellen Eigenschaften kultureller Motive darstellen. Das CAFFM-Modul empfängt diese beiden Merkmalsströme und nutzt eine auf Cross-Attention basierende Fusion, um Beziehungen zwischen strukturellen und künstlerischen Darstellungen zu identifizieren. Um kulturell authentische Muster zu erzeugen, während semantische Konsistenz und strukturelle Merkmale erhalten bleiben, werden die resultierenden fusionierten Merkmalskarten anschließend an das SPADE-Modul zur segmentierungsgesteuerten kreativen Synthese weitergeleitet.

Mustervervollständigung mithilfe von CycleGAN
Nach Abschluss der stadienbasierten Merkmalsverstärkung enthalten die Merkmalskarten die verstärkten Strukturen der kulturellen Motive. Allerdings können in den Merkmalskarten noch unvollständige oder beschädigte Musterbereiche enthalten sein. Um das Problem der Mustervervollständigung zu lösen, nutzt das vorgeschlagene Verfahren daher das CycleGAN-Modell. In diesem Verfahren repräsentieren die beiden Domänen die ursprünglichen kulturellen Motivmuster und die rekonstruierten kulturellen Motivmuster. Basierend auf den verstärkten Merkmalen der vorherigen Stadien rekonstruiert das CycleGAN-Modell die kulturellen Muster, wobei die strukturelle Kohärenz erhalten bleibt. Dadurch wird sichergestellt, dass kulturelle Muster wie geometrische, florale oder symbolische Muster ihre räumliche Anordnung beibehalten. Die ursprünglichen Miao-Batik-Bilder wurden zufälligen Maskierungs- und teilweisen Verdeckungsoperationen unterzogen, um unvollständige oder beschädigte kulturelle Motive zu erzeugen. Diese Degradationsverfahren simulierten fehlende Musterbereiche und strukturelle Schäden, wie sie typischerweise bei verfallenen kulturellen Artefakten beobachtet werden. Die degradierten Bilder dienten als Eingaben für das Rekonstruktionsmodul, während die entsprechenden Originalbilder als Referenzbilder zur Leistungsbeurteilung und Qualitätsbewertung der Rekonstruktion fungierten. Diese Strategie ermöglichte es dem Modell, die Wiederherstellung fehlender Motivstrukturen zu erlernen, unter gleichzeitiger Bewahrung der semantischen Konsistenz und kulturellen Merkmale.

Sei X der Bereich unvollständiger kultureller Muster und Y der Bereich rekonstruierter kultureller Muster. Die beiden Generatoren lernen, eine bidirektionale Abbildung mithilfe von Gleichung 15 durchzuführen:

figure-protocol-18

Hier wird G_E zur Rekonstruktion von Motivstrukturen verwendet, und F_M dient dazu, die Muster dem ursprünglichen Bereich zuzuordnen. Der adversariale Verlust wird verwendet, um sicherzustellen, dass die rekonstruierten Muster realistisch sind (Gleichung 16)³⁰

figure-protocol-19

Hier ist D_Y der Diskriminator zur Unterscheidung echter und rekonstruierter Muster, und G_E(x) bezeichnet das erzeugte rekonstruierte Muster. CycleGAN erzwingt außerdem die zyklische Konsistenz, um das strukturelle Layout kultureller Motive beizubehalten (Gleichung 17)³⁰.

figure-protocol-20

Die endgültige Verlustfunktion wird mithilfe von Gleichung 18³⁰ definiert:

figure-protocol-21

Hier bezeichnet λ_i den Gewichtungskoeffizienten für den zyklischen Konsistenzverlust, der während des Trainings gemäß der ursprünglichen CycleGAN-Formulierung auf 10 festgelegt wurde. Dieser Wert wurde gewählt, um das gegnerische Lernen und die Rekonstruktionskonsistenz zwischen Quell- und Zielbereich auszugleichen.

Das CycleGAN-Rekonstruktionsmodul besteht aus zwei Generatoren und zwei Diskriminatoren für die bidirektionale Bildübersetzung. Jeder Generator folgt einer Residual-Netzwerk-Architektur, die aus einer initialen 7 × 7-Faltungsschicht besteht, gefolgt von zwei herunterskalierenden Faltungsschichten, neun Residualblöcken und zwei hochskalierenden Schichten. Alle Faltungsoperationen verwenden eine Kernelgröße von 3 × 3, mit Ausnahme der Eingangsschicht, die einen 7 × 7-Kernel zur verbesserten Merkmalsextraktion nutzt. Nach jeder Faltungsschicht wird eine Instanznormalisierung (Instance Normalization) angewendet, um die Stabilität des Trainings zu verbessern, während im gesamten Generatornetzwerk die ReLU-Aktivierungsfunktion verwendet wird. Die Ausgabeschicht verwendet eine Tanh-Aktivierungsfunktion, um normalisierte Bildausgaben zu erzeugen. Der Diskriminator folgt einer 70 × 70-PatchGAN-Architektur, die aus einer Reihe von Faltungsschichten mit Kernelgrößen von 4 × 4 und schrittweise zunehmenden Merkmalskanälen besteht. Im Diskriminator werden Instanznormalisierung und LeakyReLU-Aktivierung (negativer Anstieg = 0,2) eingesetzt, um die Merkmalsdiskriminierung und das antagonistische Lernen zu verbessern. Das CycleGAN-Modul erhält vorverarbeitete Bilder kultureller Motive als Eingabe und erzeugt rekonstruierte Musterdarstellungen, die anschließend zur Integration mit Segmentierungsmerkmalen an das CAFFM weitergeleitet werden. Das Training des CycleGAN wurde mit dem Adam-Optimierer (β₁ = 0,5, β₂ = 0,999) und einer anfänglichen Lernrate von 0,0002 durchgeführt. Die Lernrate wurde für die ersten 100 Epochen beibehalten und anschließend über den verbleibenden Trainingszeitraum linear auf null abgebaut. Zur Stabilisierung des Diskriminator-Trainings wurde ein Replay-Puffer verwendet, der 50 zuvor generierte Bilder enthielt. Die Generatoren und Diskriminatoren wurden mit einem Aktualisierungsverhältnis von 1:1 aktualisiert, wobei bei jeder Trainingsepoche eine Generatoraktualisierung einer Diskriminatoraktualisierung folgte.

Der Rekonstruktionsprozess des CycleGAN basiert auf den verbesserten Merkmalskarten, die mithilfe des CAFFM-Mechanismus in Abbildung 5 gewonnen werden. Die Merkmalskarten enthalten verstärkte kulturelle Motive, die aus den vorherigen Stufen der Segmentierung und des CAFFM stammen. Diese Merkmalskarten werden als Eingabe an den ersten Generator G_E übergeben. Der erste Generator G_E lernt die erforderliche Abbildung, um kulturelle Muster zu rekonstruieren. Die Ausgaben werden anschließend an den Diskriminator D_Y weitergeleitet, um zwischen echten kulturellen Mustern und rekonstruierten Mustern zu unterscheiden. Der Diskriminator D_Y unterstützt den Generator G_E dabei, realistische Ausgaben zu erzeugen. Um sicherzustellen, dass kulturelle Muster während der Rekonstruktion nicht verfälscht werden, führt der zweite Generator F_M eine zyklische Konsistenzabbildung durch. Der zweite Generator F_M bildet die Ausgaben zurück in die ursprüngliche Domäne ab. Die Ergebnisse werden dann vom Diskriminator hinsichtlich ihrer Realitätsnähe bewertet. Die endgültigen Ausgaben werden im nächsten Schritt des vorgeschlagenen SegCycle-SPADE-Modells an das SPADE-Modul zur Erzeugung künstlerischer Stile weitergeleitet.

figure-protocol-22
Abbildung 5. Ablauf der zyklischen Musterrekonstruktion mittels CycleGAN. Ablauf des CycleGAN-Rekonstruktionsmoduls. Die durch Aufmerksamkeitsmechanismen verbesserten Merkmalsdarstellungen werden als Eingaben an das Generator-Netzwerk übergeben, um unvollständige kulturelle Motive zu rekonstruieren. Der Diskriminator bewertet die rekonstruierten Ausgaben im Vergleich zu Referenzmustern, während die zyklische Konsistenzabbildung die strukturelle Integrität während der bidirektionalen Bildübersetzung erhält. Die rekonstruierten Motive werden anschließend an das SPADE-Modul zur künstlerischen Stilsynthese weitergeleitet. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Künstlerische Stilgenerierung mithilfe von SPADE
Anschließend werden die rekonstruierten kulturellen Motive dem SPADE-Modul zur Generierung eines künstlerischen Stils unterzogen. Das Hauptziel des SPADE-Moduls besteht darin, den rekonstruierten kulturellen Motiven reichhaltigere, visuell ansprechende Texturen künstlerischer Stile hinzuzufügen, ohne dabei das strukturelle Layout der Motive zu beeinträchtigen. Das SPADE-Modul ist eine bedingte Bildgenerierungstechnik, die das Konzept der Bildsegmentierung zur Erzeugung von Bildern nutzt. Mehrkanalige semantische Karten, die den vordefinierten Motivklassen entsprachen, wurden aus den durch SegFormer-B2 erzeugten semantischen Segmentierungsmasken kodiert. Diese kodierten Karten dienten als konditionierende Eingaben für den SPADE-Generator. Die räumlich adaptive Skalierung (γ) und die Verzerrung (β) wurden erzeugt, indem die semantischen Karten innerhalb jeder SPADE-Schicht durch Faltungsschichten verarbeitet wurden. Auf diese Weise konnte der Generator durch Anwendung dieser Parameter auf die normalisierten Merkmalsaktivierungen die Motivgrenzen, strukturellen Anordnungen und semantischen Informationen während der künstlerischen Synthese beibehalten. Da der Konditionierungsprozess in mehreren Schichten des SPADE-Generators durchgeführt wurde, konnte die semantische Steuerung sowohl die rekonstruierte Struktur auf hoher Ebene als auch die Textursynthese auf niedriger Ebene beeinflussen. Folglich enthielten die erzeugten künstlerischen Muster stilistische Merkmale, die aus dem WikiArt-Datensatz stammen, behielten jedoch die während des Segmentierungsschritts ermittelten Strukturen der kulturellen Motive bei.

Der WikiArt-Datensatz, der Werke aus 27 verschiedenen künstlerischen Kategorien umfasst – wie Renaissance, Impressionismus, Kubismus, Expressionismus, Surrealismus, Realismus und Abstrakte Kunst –, wurde als Hauptressource zur Untersuchung künstlerischer Stile verwendet. Um das Modell verschiedenen kreativen Merkmalen auszusetzen und die Verallgemeinerungsfähigkeit bezüglich der Stile zu verbessern, wurden während des Trainings Stilbilder zufällig aus den verschiedenen Kategorien ausgewählt. Der Datensatz wurde in Trainings-, Validierungs- und Testteilmengen unter Berücksichtigung einer ausgewogenen Repräsentation der künstlerischen Kategorien unterteilt, um stilbedingte Verzerrungen zu verringern. Um eine ausgewogene Repräsentation aller 27 künstlerischen Kategorien sicherzustellen, wurde eine stratifizierte Stichprobenziehung angewandt. Die Proben jeder Kategorie wurden anteilig den Trainings-, Validierungs- und Testteilmengen zugewiesen, wobei die ursprüngliche Klassenverteilung erhalten blieb. Das CAFFM-Modul diente dazu, die aus WikiArt-Bildern abgeleiteten Stilmerkmale mit den von CycleGAN erzeugten Rekonstruktionsmerkmalen zu verbinden. Um dem Synthesenetzwerk die Übertragung künstlerischer Eigenschaften zu ermöglichen, während gleichzeitig die semantische Struktur und die Grenzen kultureller Motive aus den Segmentierungskarten erhalten bleiben, wurden die resultierenden fusionierten Darstellungen als konditionierende Information an den SPADE-Generator übergeben. Dank dieser stilbasierten Konditionierungstechnik war der vorgeschlagene Ansatz in der Lage, kulturell authentische künstlerische Muster mit konsistenten strukturellen und stilistischen Repräsentationen zu erzeugen.

SPADE führt außerdem räumlich adaptive Parameter ein, die von der Segmentierungskarte abhängen. Die Parameter können wie in Gleichung 19¹ gezeigt definiert werden:

figure-protocol-23

Hier ist γ(S) der räumlich variable Skalenparameter und β(S) der räumlich variable Bias-Parameter. Die Parameter können dem Generator helfen, je nach semantischer Region in den Bildern unterschiedliche Texturen und Stile zu erzeugen. Das endgültige kulturelle Kunstwerk kann wie in Gleichung 20 dargestellt definiert werden:

figure-protocol-24

Hier ist G_E der SPADE-Generator, X_r^P das rekonstruierte Muster und SM die Segmentierungskarte. Das endgültige Kunstwerk bewahrt die strukturelle Integrität kultureller Motive, während es gleichzeitig das künstlerische Erscheinungsbild verbessert. Zur Optimierung der vorgeschlagenen SegCycle-SPADE-Architektur wurde eine zusammengesetzte Verlustfunktion verwendet, die eine Balance zwischen Genauigkeit der semantischen Segmentierung, Erhaltung kultureller Motive, Qualität der Musterrekonstruktion und konsistenter künstlerischer Stilistik herstellt. Zur Festlegung des gesamten Trainingsziels kam eine gewichtete Kombination aus Segmentierungsverlust (L_seg), adversarialem Verlust (L_adv), zyklischer Konsistenzverlust (L_cycle), Rekonstruktionsverlust (L_recon), Motiverhaltungsverlust (L_motif) und Stilkonsistenzverlust (L_style) zum Einsatz. Die gesamte Verlustfunktion ist in Gleichung 21 definiert:

figure-protocol-25 (21)

Um die strukturelle Konsistenz zwischen den Eingabe- und rekonstruierten kulturellen Motiven sicherzustellen, wurde der Koeffizient des zyklischen Konsistenzverlusts auf 10 festgelegt. Um feinkörnige Motivmerkmale beizubehalten und die visuelle Genauigkeit zu verbessern, wurde der Koeffizient des Rekonstruktionsverlusts auf 5 gesetzt. Um die Erhaltung kulturell wesentlicher Strukturmuster während der künstlerischen Synthese hervorzuheben, wurde ein Koeffizient von 2 für den Motiverhaltungsverlust verwendet. Um den künstlerischen Stiltransfer zu fördern, ohne die semantischen Motivstrukturen übermäßig zu verzerren, wurde der Koeffizient des Stilkonsistenzverlusts auf 1 angepasst. Um einen ausgewogenen Beitrag zwischen realistischer Bilderzeugung und präziser Motivsegmentierung sicherzustellen, erhielten die Segmentierungs- und die adversarielle Verlustfunktion gleiche Gewichtung. Die merkmalsbasierten Stildarstellungen des WikiArt-Datensatzes wurden zur Berechnung des Stilkonsistenzverlusts herangezogen. Insbesondere wurden künstlerische Stilmerkmale mithilfe von Gram-Matrix-Korrelationen erfasst, die aus tiefen Merkmalskarten abgeleitet wurden. Die Differenz der Frobenius-Norm zwischen den Gram-Matrizen des Zielstilbilds und des generierten Bilds wurde zur Berechnung des Stilverlusts verwendet, wie in Gleichung 22 dargestellt:

figure-protocol-26

Hier ist G_l die Gram-Matrix, die aus der l^ten Merkmalschicht berechnet wird, I_gen bezeichnet das generierte künstlerische Bild, I_style bezeichnet das Ziel-Stilbild aus dem WikiArt-Datensatz und F bezeichnet die Frobenius-Norm. Diese Formulierung ermöglicht es dem vorgeschlagenen Framework, künstlerische Merkmale zu bewahren, während gleichzeitig die strukturelle und semantische Integrität kultureller Motive erhalten bleibt.

Die vom CAFFM-Modul erzeugten fusionierten Merkmalsdarstellungen werden als konditionierende Eingaben für das SPADE-Modul verwendet, das die künstlerische Synthesekomponente des vorgeschlagenen Frameworks darstellt. Der SPADE-Generator besteht aus sieben SPADE-Residualblöcken mit einer latenten Merkmalsdimension von 256 Kanälen und erzeugt Ausgabebilder mit einer Auflösung von 256 × 256 Pixeln. Semantische Segmentierungskarten, die vom SegFormer–CAFFM-Modul erhalten wurden, dienen als konditionierende Eingaben in allen SPADE-Residualschichten. SPADE-Schichten werden vor den Aktivierungsfunktionen innerhalb jedes Residualblocks angewendet, wodurch eine segmentierungsgesteuerte semantische Konditionierung ermöglicht wird. Durch sukzessive Hochskalierungs- und faltungsoperationen wird die latente Merkmalsdarstellung schrittweise verfeinert, um hochauflösende künstlerische Muster zu erzeugen, wobei die semantische Konsistenz und die Motivstruktur erhalten bleiben. Im gesamten Generator werden LeakyReLU-Aktivierungsfunktionen verwendet, und im Ausgabeschicht wird eine Tanh-Aktivierungsfunktion angewendet, um normalisierte Bilder zu erzeugen.

Algorithmus und Arbeitsablauf
Das SegCycle-SPADE-Framework integriert semantische Segmentierung, Merkmalsfusion, Musterrückgewinnung und künstlerische Stilsynthese in einer einheitlichen Trainingspipeline. Der Arbeitsablauf beginnt mit der Datensammlung und Vorverarbeitung, einschließlich Größenänderung der Bilder, Normalisierung, Rauschunterdrückung und Vorbereitung der Segmentierungsmasken. Die vorverarbeiteten Bilder werden anschließend mit dem SegFormer-B2-Segmentierungsnetzwerk verarbeitet, um semantische Motivrepräsentationen zu extrahieren. Die resultierenden Segmentierungsmerkmale werden über das CAFFM mit Rückgewinnungsmerkmalen fusioniert, wodurch eine Interaktion zwischen strukturellen Motivinformationen und künstlerischen Merkmalsdarstellungen ermöglicht wird. Die fusionierten Merkmalskarten werden dann an das CycleGAN-Rückgewinnungsmodul übergeben, das unvollständige kulturelle Motivstrukturen wiederherstellt, während die semantische Konsistenz erhalten bleibt. Die rekonstruierten Muster werden anschließend an den SPADE-Generator zur segmentierungsgesteuerten künstlerischen Synthese weitergeleitet, wodurch eine stilistische Verbesserung unter Beibehaltung der Motivgrenzen und strukturellen Authentizität ermöglicht wird. Während des Trainings werden die Modellparameter mithilfe der in Gleichungen 21 und 22 beschriebenen zusammengesetzten Verlustfunktion optimiert, die Segmentierungsgenauigkeit, Motiverhaltung, Rückgewinnungsqualität und stilistische Konsistenz ausbalanciert. Ein detaillierter schrittweiser Implementierungsarbeitsablauf, einschließlich Laden des Datensatzes, Vorverarbeitung, Modellinitialisierung, Trainingsiterationen, Validierungsverfahren, Checkpoint-Auswahl und abschließender Bewertung, ist in Zusatzdatei 1 (Algorithmus 1) enthalten. Der vollständige algorithmische Arbeitsablauf wurde mit einer Batch-Größe von 16, einer Lernrate von 0,0002 und 100 Trainingsepochen implementiert. Ein fester Zufallsstartwert von 42 wurde für die Datensatzpartitionierung, Modellinitialisierung und alle Trainingsexperimente verwendet. Der Startwert wurde einheitlich auf die Zufallszahlengeneratoren von Python, NumPy und PyTorch angewendet, um Reproduzierbarkeit zu gewährleisten. Der Adam-Optimierer wurde mit β₁ = 0,5, β₂ = 0,999 und ohne Gewichtsverfall (weight decay = 0) konfiguriert. Modell-Checkpoints wurden basierend auf dem höchsten Validierungs-IoU-Wert ausgewählt, der auf dem Validierungsdatensatz erreicht wurde.

Optimierung der Verlustfunktion
Um die Strukturen kultureller Motive während der Rekonstruktion und künstlerischen Synthese zu bewahren, verwendet das vorgeschlagene Framework eine zusammengesetzte Optimierungszielsetzung, die Segmentierungs-, adversarielle, Zyklenkonsistenz-, Rekonstruktions-, Motiv-Erhaltungs- und Stilkonsistenz-Verluste kombiniert. Die vollständige mathematische Formulierung, die Gewichtungskoeffizienten sowie die Definition des Stilverlusts sind in Gleichung 21 und 22 im Unterabschnitt Künstliche Stilgenerierung mittels SPADE angegeben. Die Motiv-Erhaltungskomponente bestraft strukturelle Abweichungen zwischen den vorhergesagten Motivbereichen und den entsprechenden Ground-Truth-Segmentierungsmasken und fördert dadurch die Bewahrung kulturell bedeutsamer Musternstrukturen während des gesamten Rekonstruktionsprozesses.

Ergebnisse

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Der vorgeschlagene SegCycle-SPADE-Rahmen wurde anhand zweier Datensätze evaluiert: dem Miao-Batik-Kulturmotiv-Datensatz und dem WikiArt-Datensatz. Der Miao-Batik-Datensatz enthält traditionelle Kulturerbe-Bilder und wurde hauptsächlich für semantische Segmentierung und strukturelle Rekonstruktion verwendet, während der WikiArt-Datensatz vielfältige künstlerische Stile umfasst und für das Erlernen sowie die Generierung künstlerischer Stile genutzt wurde. Bilder aus beiden Datensätzen wurden durch die gesamte SegCycle-SPADE-Pipeline verarbeitet, einschließlich semantischer Segmentierung, CAFFM, Musterrekonstruktion und der auf SPADE basierenden Generierung künstlerischer Stile. Durch die Integration von Informationen zu Kulturmotiven und Darstellungen künstlerischer Stile konnte der Rahmen kulturell bedeutungsvolle und visuell kohärente Ergebnisse erzeugen.

Alle Experimente wurden auf einer mit einer GPU ausgestatteten Workstation durchgeführt, die über einen Intel Core i7-Prozessor und eine NVIDIA-GPU verfügt. Konkret wurden die Experimente auf einer Workstation mit einer Intel Core i7-CPU (11. Generation), einer NVIDIA RTX 3090-GPU mit 24 GB VRAM und 32 GB Arbeitsspeicher durchgeführt. Die Modelle wurden mithilfe von Python 3.8 und PyTorch 1.10 mit CUDA-Beschleunigung implementiert. Das Training erfolgte in einer Einzel-GPU-Konfiguration ohne verteiltes Training. Während aller Experimente wurde die Standard-Genauigkeit im FP32-Format verwendet, während kein Training mit gemischter Genauigkeit angewandt wurde. Als Optimierer kam Adam zum Einsatz, mit einer Batch-Größe von 16 über 100 Trainingsepochen. Tabelle 3 fasst die Implementierungsparameter und die rechnerische Umgebung zusammen, die in dieser Studie verwendet wurden.

Die vorgeschlagene Architektur besteht aus vier Hauptkomponenten: SegFormer-B2 für die semantische Segmentierung, CAFFM zur Merkmalsfusion, CycleGAN zur Motivrekonstruktion und SPADE zur künstlerischen Stilsynthese. Bilder aus beiden Datensätzen wurden vor dem Training auf 256 × 256 Pixel skaliert. Diese standardisierte Auflösung gewährleistete eine effiziente Berechnung, bewahrte gleichzeitig wichtige Motivdetails und trug zu einem stabilen adversariellen Training beider CycleGAN- und SPADE-Module bei.

Die Leistung des vorgeschlagenen Frameworks wurde anhand von Metriken zur Segmentierung und Bewertung der Bildqualität bewertet, einschließlich Segmentierungsgenauigkeit, IoU, Dice-Ähnlichkeitskoeffizient (Dice), SSIM, PSNR und FID. Die visuelle Authentizität wurde qualitativ durch visuelle Inspektion der erzeugten kulturellen Muster beurteilt. Die qualitative Bewertung konzentrierte sich auf die Erhaltung von Motiven, semantische Kohärenz, kulturelle Merkmale und den künstlerischen Eindruck im Vergleich zu den Referenzkulturmotiven. Die visuelle Authentizität wurde nicht als unabhängige quantitative Evaluierungsmetrik verwendet.

Die quantitative Bewertung des vorgeschlagenen Frameworks erfolgte anhand der folgenden Metriken.

Die Segmentierungsgenauigkeit wurde mithilfe von Gleichung 23 berechnet:

figure-results-1

Hier bezeichnen TP, TN, FP und FN jeweils die richtigen Positiven, richtigen Negativen, falschen Positiven und falschen Negativen.

Der IoU wurde mithilfe von Gleichung 24 berechnet:

figure-results-2

Der Dice-Ähnlichkeitskoeffizient (Dice) wurde mithilfe von Gleichung 25 berechnet:

figure-results-3

Der SSIM wurde verwendet, um die wahrgenommene Bildähnlichkeit zu bewerten, und ist mithilfe von Gleichung 26³³ definiert:

figure-results-4 (26)

Hierbei bezeichnet μ die mittlere Intensität, σ die Varianz, σ_xy die Kovarianz zwischen den Bildern und C₁ sowie C₂ sind stabilisierende Konstanten.

Der PSNR ist eine gebräuchliche Metrik zur Bewertung der Qualität generierter Bilder und ist in Gleichung 27³³ definiert:

figure-results-5

Hier bezeichnet Max_I den maximal möglichen Pixelwert des Bildes und MSE den mittleren quadratischen Fehler zwischen dem ursprünglichen und dem rekonstruierten Bild.

FID kann unter Verwendung von Mittelwerten und Kovarianzmatrizen wie in Gleichung 28³³ gezeigt berechnet werden:

figure-results-6 (28)

Hier ist μ_r der Mittelwert des Originalbilds, μ_g der Mittelwert des generierten Bilds und Σ_r sowie Σ_g sind die Kovarianzmatrizen des Original- bzw. des generierten Bilds.

Zum Leistungsvergleich wurde das vorgeschlagene Framework gegenüber repräsentativen Methoden bewertet, die üblicherweise für die semantische Segmentierung, die Bildrekonstruktion und die künstlerische Bildgenerierung eingesetzt werden. U-Net und DeepLabV3+ wurden als Segmentierungs-Baselines einbezogen, während Pix2Pix und CycleGAN als Rekonstruktions-Baselines dienten. StyleGAN und AttentionGAN wurden als repräsentative Methoden zur künstlerischen Bildgenerierung verwendet. Diese Vergleiche dienten der Bewertung der Wirksamkeit von SegCycle-SPADE bei der Erhaltung struktureller Motivinformationen, während gleichzeitig die künstlerische Qualität verbessert wird.

Jedes Experiment wurde fünfmal wiederholt, um die Leistungsstabilität und Reproduzierbarkeit zu bewerten. Für die Datensatz-Aufteilung wurde ein fester Zufallsstartwert („random seed“) von 42 verwendet, um konsistente Trainings-, Validierungs- und Test-Teilmengen in allen Experimenten sicherzustellen. Die Ergebnisse werden als Mittelwert ± Standardabweichung angegeben. Die niedrigen Werte der Standardabweichung bei Genauigkeit, IoU, Dice, SSIM, PSNR und FID zeigen, dass das vorgeschlagene Framework über wiederholte experimentelle Durchläufe hinweg eine stabile Leistung erzielte. Die statistische Signifikanz wurde mittels gepaarter t-Tests bewertet, und Unterschiede wurden als statistisch signifikant angesehen, wenn p < 0,05 war. Da alle Modelle an denselben Datensatz-Partitionen bewertet wurden, lagen gepaarte Leistungsmessungen über die wiederholten Durchläufe vor, was die Anwendung gepaarter t-Tests rechtfertigt. Um die fehlerweite Fehlerwahrscheinlichkeit im Zusammenhang mit mehrfachen paarweisen Vergleichen zu kontrollieren, wurde eine Bonferroni-Korrektur angewendet, und die statistische Signifikanz wurde anhand eines angepassten Schwellenwerts von α/n bestimmt, wobei n die Anzahl der paarweisen Vergleiche bezeichnet.

Die experimentellen Ergebnisse unterstützen nachdrücklich die Wirksamkeit des vorgeschlagenen SegCycle-SPADE-Frameworks. Die überlegene Segmentierungsleistung von SegFormer-B2 zeigt seine Fähigkeit, die Grenzen kulturell bedeutsamer Motive genau zu erkennen und zu bewahren. Verbesserungen bei IoU- und Dice-Scores deuten zudem auf eine effektive Erhaltung semantischer Motivstrukturen während der gesamten Verarbeitungspipeline hin. Die Integration von CycleGAN und SPADE rekonstruierte erfolgreich unvollständige Motivstrukturen, während feinkörnige visuelle Details erhalten blieben, wie die verbesserten SSIM- und PSNR-Werte belegen. Darüber hinaus weisen niedrigere FID-Scores darauf hin, dass die generierten künstlerischen Muster eine größere Ähnlichkeit mit authentischen kulturellen und künstlerischen Bildern aufweisen, was auf eine verbesserte stilistische Kohärenz und visuelle Realität schließen lässt.

Der CAFFM trug durch die Förderung einer effektiven Interaktion zwischen aus der Segmentierung abgeleiteten strukturellen Informationen und generativen Stilrepräsentationen wesentlich zu diesen Verbesserungen bei. Mithilfe einer auf Cross-Attention basierenden Merkmalsfusion verbesserte der CAFFM sowohl die strukturelle Genauigkeit als auch die künstlerische Authentizität, wobei gleichzeitig die langreichweitigen Beziehungen zwischen kulturellen Motiven erhalten blieben.

Abbildung 6 zeigt den Vergleich der Segmentierungsgenauigkeit zwischen dem vorgeschlagenen SegCycle-SPADE-Framework und bestehenden Methoden auf den Datensätzen Miao Batik und WikiArt. Traditionelle Segmentierungsansätze wie U-Net und DeepLabV3+ erzielten aufgrund ihrer Fähigkeit, räumliche Darstellungen zu lernen, wettbewerbsfähige Ergebnisse. Pix2Pix und CycleGAN hingegen wiesen eine geringere Segmentierungsgenauigkeit auf, da sie nicht speziell für Segmentierungsaufgaben konzipiert wurden. Das vorgeschlagene SegCycle-SPADE-Framework erreichte auf beiden Datensätzen die höchste Segmentierungsgenauigkeit, was auf die Integration von SegFormer-B2 und der CAFFM-basierten Merkmalsverbesserung zurückzuführen ist.

figure-results-7
Abbildung 6. Vergleich der Segmentierungsgenauigkeit zwischen verschiedenen Methoden. Vergleich der Segmentierungsgenauigkeit, ermittelt mithilfe von U-Net, DeepLabV3+, Pix2Pix, CycleGAN und dem vorgeschlagenen SegCycle-SPADE-Framework anhand der Datensätze Miao Batik und WikiArt. Die Ergebnisse sind als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken repräsentieren eine Standardabweichung. Höhere Werte deuten auf eine verbesserte Segmentierungsleistung hin. Das vorgeschlagene SegCycle-SPADE-Framework erreichte die höchste Segmentierungsgenauigkeit bei beiden Datensätzen. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 7 zeigt den IoU-Vergleich zwischen den evaluierten Methoden. U-Net und DeepLabV3+ erzielten eine hohe Überlappungsleistung aufgrund ihrer auf Segmentierung ausgerichteten Architekturen. Im Gegensatz dazu lieferten Pix2Pix und CycleGAN niedrigere IoU-Werte, da ihr primäres Ziel die Bildübersetzung und nicht die semantische Segmentierung ist. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte die höchsten IoU-Werte auf beiden Datensätzen, was auf eine verbesserte Lokalisierung und Erhaltung der kulturellen Motivbereiche hinweist.

figure-results-8
Abbildung 7. Vergleich der Intersection-over-Union-Werte (IoU) für die Segmentierung kultureller Motive. Vergleich der IoU-Performance verschiedener Segmentierungsmethoden anhand der Datensätze Miao Batik und WikiArt. Die Ergebnisse sind als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) dargestellt. Die Fehlerbalken zeigen eine Standardabweichung an. Höhere IoU-Werte deuten auf eine bessere Übereinstimmung zwischen vorhergesagten und Referenz-Motivbereichen sowie eine verbesserte Erhaltung der Motivgrenzen hin. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte bei beiden Datensätzen die höchsten IoU-Werte. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Abbildung 8 zeigt den Vergleich des Dice-Ähnlichkeitskoeffizienten. Der Dice-Koeffizient misst die Überschneidung zwischen vorhergesagten Segmentierungsmasken und den tatsächlichen Motivbereichen. Herkömmliche Segmentierungsansätze erzielten relativ hohe Dice-Werte, da sie effektiv räumliche Strukturen lernen. Das vorgeschlagene SegCycle-SPADE-Framework erreichte jedoch die höchsten Dice-Werte bei beiden Datensätzen, was auf eine verbesserte Konsistenz der Segmentierung und eine bessere Erhaltung der Motive hinweist.

figure-results-9
Abbildung 8. Vergleich des Dice-Koeffizienten für die Segmentierung kultureller Motive. Vergleich der Dice-Koeffizientenwerte, die mit verschiedenen Segmentierungsansätzen auf den Datensätzen Miao Batik und WikiArt erzielt wurden. Der Dice-Koeffizient bewertet die Überschneidung zwischen vorhergesagten Segmentierungsmasken und Referenzmasken, wobei höhere Werte eine verbesserte Segmentierungsleistung und genauere Identifizierung von Motivbereichen anzeigen. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte in beiden Datensätzen die höchsten Dice-Koeffizientenwerte. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Abbildung 9 zeigt den SSIM-Vergleich zwischen rekonstruierten kulturellen Mustern. GAN-basierte Methoden wie Pix2Pix, CycleGAN und StyleGAN erzielten höhere SSIM-Werte als herkömmliche Segmentierungsmethoden, da sie für die Bildgenerierung konzipiert sind. Dennoch erreichte das vorgeschlagene SegCycle-SPADE-Framework die höchsten SSIM-Werte bei beiden Datensätzen, was auf eine überlegene Erhaltung struktureller Details und künstlerischer Kohärenz hinweist. figure-results-10

Abbildung 9. Vergleich des Structural Similarity Index (SSIM). Vergleich der Werte des Structural Similarity Index (SSIM), die mit verschiedenen Rekonstruktionsmethoden an den Datensätzen Miao Batik und WikiArt erzielt wurden. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken zeigen eine Standardabweichung an. Höhere SSIM-Werte deuten auf eine größere strukturelle Ähnlichkeit zwischen den rekonstruierten und den Referenzmustern hin. Der vorgeschlagene SegCycle-SPADE-Ansatz erzielte in beiden Datensätzen die höchsten SSIM-Werte. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

FID wurde verwendet, um die Realitätsnähe und die Ähnlichkeit der Verteilung generierter künstlerischer Muster zu bewerten. Die FID-Berechnung erfolgte mithilfe eines vortrainierten Inception-v3-Netzwerks, wobei Merkmalsvektoren aus der pool3-Schicht extrahiert wurden, was zu 2048-dimensionalen Merkmalsdarstellungen führte. Vor der Merkmalsextraktion wurden generierte und Referenzbilder mithilfe bilinearer Interpolation auf 299 × 299 Pixel skaliert und gemäß dem standardmäßigen Inception-v3-Vorverarbeitungsprotokoll normalisiert. Die FID wurde anhand der aus dem unabhängigen Testdatensatz extrahierten Merkmalsverteilungen berechnet. Die Mittelwert- und Kovarianzstatistiken wurden aus den Merkmalseinbettungen geschätzt und in der standardmäßigen FID-Formulierung verwendet.

Wie in Tabelle 4 gezeigt, erzielten herkömmliche Ansätze zur Bildgenerierung wie Pix2Pix und CycleGAN relativ hohe FID-Werte, da ihnen eine explizite strukturelle Steuerung fehlte. StyleGAN und AttentionGAN erreichten niedrigere FID-Werte durch verbesserte Fähigkeiten zum Lernen von Merkmalen. Das vorgeschlagene SegCycle-SPADE-Framework erzielte jedoch die niedrigsten FID-Werte auf beiden Datensätzen und zeigte damit überlegene Bildrealität, stilistische Konsistenz und Erhaltung kultureller Motive.

Methode	Miao Batik Datensatz (FID)	WikiArt Datensatz (FID)
Pix2Pix	48.6	52.3
CycleGAN	42.8	46.5
StyleGAN	39.7	43.1
AttentionGAN	36.9	40.4
SegCycle-SPADE (vorgeschlagen)	28.5	31.2

Tabelle 4: Frechet-Inception-Distanz (FID)-Ergebnisse für die Rekonstruktion kultureller Muster. Vergleich der Frechet-Inception-Distanz (FID)-Werte, die durch das vorgeschlagene SegCycle-SPADE-Framework und grundlegende generative Modelle auf den Datensätzen Miao Batik und WikiArt erzielt wurden. Niedrigere FID-Werte weisen auf eine größere Ähnlichkeit zwischen den Merkmalsverteilungen der generierten und echten Bilder hin und spiegeln somit eine verbesserte visuelle Realitätstreue bei der Rekonstruktion kultureller Muster wider.

Abbildung 10 vergleicht die Rekonstruktionsqualität, die mit verschiedenen Methoden erreicht wurde. Die Rekonstruktionsqualität (%) wurde berechnet, indem der SSIM zwischen dem rekonstruierten Bild und dem entsprechenden Referenzbild in eine prozentuale Skala umgewandelt wurde (SSIM × 100). Höhere Prozentwerte weisen auf eine größere strukturelle Genauigkeit und visuelle Ähnlichkeit zum ursprünglichen kulturellen Motiv hin. Herkömmliche generative Modelle wie Pix2Pix und CycleGAN erzielten eine moderate Rekonstruktionsleistung. Fortgeschrittenere Architekturen, darunter StyleGAN und AttentionGAN, erreichten eine verbesserte Rekonstruktionsqualität aufgrund ihrer erweiterten Fähigkeiten zum Lernen von Merkmalen. Das vorgeschlagene SegCycle-SPADE-Framework erzielte jedoch die höchste Rekonstruktionsqualität, da es semantische Segmentierungsanleitung, Merkmalsfusion mittels Cross-Attention, Rekonstruktionslernen und künstlerische Synthese integriert.

figure-results-11
Abbildung 10. Vergleich der Qualität der Musterrekonstruktion. Vergleich der mit Pix2Pix, CycleGAN, StyleGAN, AttentionGAN und dem vorgeschlagenen SegCycle-SPADE-Framework erzielten Rekonstruktionsqualität anhand der Miao-Batik- und WikiArt-Datensätze. Die Ergebnisse werden als Mittelwert ± Standardabweichung (SD) aus fünf unabhängigen Durchläufen (n = 5) angegeben. Die Fehlerbalken entsprechen einer Standardabweichung. Höhere Werte weisen auf eine verbesserte Erhaltung struktureller Details, semantischer Konsistenz und visueller Genauigkeit hin. Das vorgeschlagene SegCycle-SPADE-Framework erzielte bei beiden Datensätzen die höchsten Bewertungen hinsichtlich der Rekonstruktionsqualität. Bitte klicken Sie hier, um eine größere Version dieser Abbildung anzusehen.

Der PSNR wurde verwendet, um die Rekonstruktionsgenauigkeit zu bewerten, indem die Ähnlichkeit auf Pixel-Ebene zwischen rekonstruierten Bildern und den entsprechenden Referenzbildern gemessen wurde. Der PSNR wurde zwischen jedem rekonstruierten Bild und dem zugehörigen ursprünglichen Miao-Batik-Bild berechnet, das als Referenz mit Ground-Truth diente. Höhere PSNR-Werte weisen auf geringere Rekonstruktionsfehler hin. Wie in Tabelle 5 gezeigt, erreichten Pix2Pix und CycleGAN moderate PSNR-Werte, da sie Muster ohne explizite strukturelle Vorgaben rekonstruierten. StyleGAN und AttentionGAN erzielten höhere PSNR-Werte durch tiefere Merkmalslernverfahren. Der vorgeschlagene SegCycle-SPADE-Ansatz erreichte die höchsten PSNR-Werte in beiden Datensätzen und zeigte damit eine überlegene Rekonstruktionsgenauigkeit und eine bessere Erhaltung der kulturellen Motivstrukturen.

Methode	Miao Batik Datensatz (PSNR, dB)	WikiArt Datensatz (PSNR, dB)
Pix2Pix	25,8	24,6
CycleGAN	27,3	26,1
StyleGAN	28,7	27,5
AttentionGAN	29,9	28,6
SegCycle-SPADE (vorgeschlagen)	32,4	31,2

Tabelle 5: Ergebnisse des Spitzenwert-zu-Rausch-Verhältnisses (PSNR) für die Rekonstruktion kultureller Muster. Vergleich der vom vorgeschlagenen SegCycle-SPADE-Framework und den Baseline-Methoden auf den Datensätzen Miao Batik und WikiArt erzielten Werte des Spitzenwert-zu-Rausch-Verhältnisses (PSNR). Höhere PSNR-Werte weisen auf eine verbesserte Rekonstruktionsgenauigkeit und geringere Verzerrungen im Vergleich zu den entsprechenden Referenzbildern hin.

Abbildung 11 veranschaulicht das Konvergenzverhalten des vorgeschlagenen SegCycle-SPADE-Frameworks während des Trainings. Die Verlustkurven stellen die mittleren Trainingsverluste dar, gemittelt über fünf unabhängige Trainingsdurchläufe. Um stochastische Schwankungen zu reduzieren und eine robustere Darstellung der Trainingskonvergenz zu erhalten, wurden die Verlustwerte in jeder Epoche über alle Durchläufe hinweg gemittelt. Zu Beginn des Trainings waren die Verlustwerte relativ hoch, da das Modell noch dabei war, Merkmalsdarstellungen aus den Eingabedaten zu erlernen. Im weiteren Trainingsverlauf nahmen alle Verlustkomponenten allmählich ab und stabilisierten sich, was auf eine erfolgreiche Optimierung der Ziele der Segmentierung, Rekonstruktion und künstlerischen Synthese hindeutet. Das beobachtete Konvergenzverhalten zeigt die Effektivität, Stabilität und Reproduzierbarkeit des vorgeschlagenen Frameworks während des Trainings.

figure-results-12
Abbildung 11. Trainingskonvergenz des vorgeschlagenen SegCycle-SPADE-Frameworks. Trainingsverlustkurven des vorgeschlagenen SegCycle-SPADE-Frameworks über 100 Trainingsepochen, gemittelt über fünf unabhängige Trainingsdurchläufe (n = 5). Die Abbildung zeigt die Entwicklung des Gesamtverlusts (LTotal), des Segmentierungsverlusts (LSeg), des Generatorverlusts (LG) und des Diskriminatorverlusts (LD) während des Trainings. Die schrittweise Abnahme und anschließende Stabilisierung aller Verlustkomponenten weist auf eine erfolgreiche Konvergenz und stabile Optimierung des vorgeschlagenen Frameworks hin. Bitte klicken Sie hier, um eine vergrößerte Version dieser Abbildung anzusehen.

Auswertung der Einzelkomponenten
Um den Beitrag jeder Komponente innerhalb des vorgeschlagenen SegCycle-SPADE-Modells zu bewerten, wurde eine Auswertung mit mehreren kontrollierten Modellkonfigurationen durchgeführt. Die Ergebnisse sind in den Tabellen 6 und 7 zusammengefasst.

Modellkonfiguration	Segmentierungsgenauigkeit (%)	IoU	SSIM
Nur SegFormer	87.3	0.76	0.82
SegFormer + CAFFM	89.6	0.79	0.86
SegFormer + CAFFM + CycleGAN	91.4	0.82	0.89
SegFormer + CAFFM + CycleGAN + SPADE (vorgeschlagen)	93.8	0.86	0.93

Tabelle 6: Ablationsstudie der SegCycle-SPADE-Komponenten. Vergleich der Leistung schrittweise verbesserter Modellkonfigurationen zur Bewertung des Beitrags einzelner Framework-Komponenten. Die Studie untersucht die Auswirkungen der semantischen Segmentierung, des Cross-Attention Cultural Feature Fusion Moduls (CAFFM), der CycleGAN-basierten Rekonstruktion und der SPADE-basierten künstlerischen Synthese auf die Segmentierungsgenauigkeit, den Intersection over Union (IoU) und den Structural Similarity Index (SSIM). Höhere Werte zeigen eine verbesserte Motivsegmentierung, Rekonstruktionsqualität und Erhaltung der Struktur an.

Variante	IoU (%)	Dice (%)	SSIM	PSNR (dB)	FID ↓
Nur SegFormer	84,2 ± 0,4	88,5 ± 0,3	0,82 ± 0,01	24,8 ± 0,2	31,8 ± 0,6
SegFormer + CycleGAN	86,7 ± 0,3	90,2 ± 0,2	0,85 ± 0,01	26,3 ± 0,2	27,5 ± 0,5
SegFormer + SPADE	87,0 ± 0,3	90,5 ± 0,2	0,88 ± 0,01	27,8 ± 0,2	23,4 ± 0,4
SegFormer + CAFFM	90,0 ± 0,2	93,1 ± 0,2	0,90 ± 0,01	29,6 ± 0,1	20,3 ± 0,3
SegCycle-SPADE (Vollständiges Modell)	93,0 ± 0,2	95,4 ± 0,1	0,92 ± 0,01	31,2 ± 0,1	17,6 ± 0,2

Tabelle 7: Komponentenbeitragsanalyse des vorgeschlagenen SegCycle-SPADE-Frameworks. Leistungsvergleich einzelner Framework-Varianten zur Bewertung des Beitrags von CAFFM, CycleGAN, SPADE und der vollständigen SegCycle-SPADE-Architektur. Die Ergebnisse werden anhand des Intersection over Union (IoU), des Dice-Koeffizienten, des Structural Similarity Index (SSIM), des Peak Signal-to-Noise Ratio (PSNR) und des Frechet Inception Distance (FID) angegeben. Höhere IoU-, Dice-, SSIM- und PSNR-Werte weisen auf eine verbesserte Segmentierungs- und Rekonstruktionsqualität hin, während niedrigere FID-Werte auf eine größere visuelle Realität der erzeugten kulturellen Muster hindeuten.

Tabelle 6 bewertet den kumulativen Beitrag der wichtigsten Framework-Komponenten anhand von vier Konfigurationen: (i) nur SegFormer, (ii) SegFormer + CAFFM, (iii) SegFormer + CAFFM + CycleGAN und (iv) SegFormer + CAFFM + CycleGAN + SPADE (vorgeschlagenes Framework). Das Baseline-SegFormer-Modell erreichte eine Segmentierungsgenauigkeit von 87,3 %, einen IoU-Wert von 0,76 und einen SSIM-Wert von 0,82. Die Integration des CAFFM-Moduls verbesserte die Leistung bei allen Evaluierungsmetriken und erhöhte die Segmentierungsgenauigkeit auf 89,6 %, den IoU-Wert auf 0,79 und den SSIM-Wert auf 0,86. Die Hinzunahme von CycleGAN verbesserte die Fähigkeit zur strukturellen Rekonstruktion weiter und führte zu einem IoU-Wert von 0,82 und einem SSIM-Wert von 0,89. Das vollständige SegCycle-SPADE-Framework erzielte die beste Gesamtleistung mit einer Segmentierungsgenauigkeit von 93,8 %, einem IoU-Wert von 0,86 und einem SSIM-Wert von 0,93. Diese Ergebnisse zeigen, dass jede Komponente schrittweise zur Verbesserung der Segmentierungsgenauigkeit, der Strukturerhaltung und der Qualität der Bildrekonstruktion beiträgt.

Tabelle 7 untersucht weitergehend den Beitrag einzelner Framework-Komponenten anhand von fünf Modellvarianten: (i) nur SegFormer, (ii) SegFormer + CycleGAN, (iii) SegFormer + SPADE, (iv) SegFormer + CAFFM und (v) das vollständige Modell, das SegFormer, CAFFM, CycleGAN, SPADE und den Motiv-Erhaltungsverlust umfasst. Die Leistung wurde anhand der Metriken IoU, Dice-Koeffizient, SSIM, PSNR und FID bewertet.

Die Baseline-Konfiguration mit nur SegFormer erreichte einen IoU-Wert von 84,2 %, einen Dice-Koeffizienten von 88,5 %, einen SSIM-Wert von 0,82, einen PSNR-Wert von 24,8 dB und einen FID-Score von 31,8. Durch die Hinzunahme von CycleGAN verbesserte sich die Rekonstruktionsqualität und der FID-Score sank auf 27,5, was auf eine erhöhte Bildrealität hindeutet. Die Einbindung von SPADE führte zu weiteren Verbesserungen der strukturellen Ähnlichkeit und der Bildqualität, was sich in einem SSIM-Wert von 0,88 und einem FID-Score von 23,4 widerspiegelte. Die Integration des vorgeschlagenen CAFFM-Moduls führte zu deutlichen Steigerungen bei allen Metriken, wodurch sich der IoU-Wert auf 90,0 %, der Dice-Koeffizient auf 93,1 %, der SSIM-Wert auf 0,90 und der PSNR-Wert auf 29,6 dB erhöhten, während der FID-Score auf 20,3 sank. Das vollständige Modell, das zusätzlich den motiferhaltenden Verlust einbezieht, erzielte die beste Gesamtleistung mit einem IoU-Wert von 93,0 %, einem Dice-Koeffizienten von 95,4 %, einem SSIM-Wert von 0,92, einem PSNR-Wert von 31,2 dB und einem FID-Score von 17,6.

Tabelle 8 zeigt einen vergleichenden Überblick über repräsentative Deep-Learning-Verfahren, die für die Rekonstruktion und Erhaltung von Mustern im Kulturerbe eingesetzt werden. Herkömmliche, auf CNNs basierende Methoden ermöglichen eine effektive Erkennung lokaler Merkmale und eine gute Segmentierungsleistung, haben jedoch häufig Schwierigkeiten, komplexe Motivstrukturen beizubehalten, da die Modellierung langreichweitiger Abhängigkeiten begrenzt ist. GAN-basierte Ansätze verbessern die Bildsynthese und die Übertragung von Stilmerkmalen, können jedoch unter semantischen Inkonsistenzen und dem Verlust feiner Strukturdetails leiden. Transformer-basierte Verfahren erweitern das globale Kontextverständnis, weisen jedoch in der Regel keine generativen Rekonstruktionsfähigkeiten auf, während diffusionsbasierte Methoden eine hohe visuelle Realitätstreue bieten, allerdings mit erhöhtem rechnerischem Aufwand verbunden sind. Hybride Transformer-GAN-Ansätze beheben diese Einschränkungen teilweise, indem sie Mechanismen zur Merkmalsextraktion und Bildgenerierung kombinieren. Im Gegensatz dazu integriert der vorgeschlagene SegCycle-SPADE-Ansatz transformerbasierte Segmentierung, eine Merkmalsfusion mittels Cross-Attention, generative Rekonstruktion sowie eine segmentierungsgesteuerte künstlerische Synthese in einer einheitlichen Architektur und verbessert dadurch die strukturelle Genauigkeit, semantische Konsistenz und die Erhaltung kultureller Motive. Die Gegenüberstellung ist in Tabelle 8 zusammengefasst.

Ansatz	Kernmethodik	Stärken	Begrenzungen	Relevanz für das kulturelle Erbe
CNN-basierte Methoden (z. B. U-Net, DeepLabV3+)	Faltungsbasierte Merkmalsextraktion und semantische Segmentierung	Effektives Lernen lokaler Merkmale und genaue Segmentierung	Begrenzte Modellierung langreichweitiger Abhängigkeiten; Schwierigkeiten bei der Erhaltung komplexer Motivstrukturen	Geeignet für die Segmentierung von Motiven, jedoch weniger effektiv für künstlerische Rekonstruktionen
GAN-basierte Methoden (z. B. Pix2Pix, CycleGAN)	Adversarielle Bildgenerierung und Bild-zu-Bild-Übersetzung	Erzeugung hochwertiger Bilder und Stilübertragung	Instabile Trainingsschritte; semantische Inkonsistenzen; potenzieller Verlust feiner struktureller Details	Nützlich für die Wiederherstellung von Mustern, jedoch möglicherweise ungenaue Erhaltung kultureller Motive
Transformatorbasierte Methoden	Selbst-Attention und Modellierung des globalen Kontexts	Erfasst langreichweitige Abhängigkeiten und komplexe visuelle Beziehungen	Hoher Rechenaufwand; erfordert große Trainingsdatensätze	Effektiv für die Analyse komplexer Muster, jedoch begrenzte generative Fähigkeiten bei alleiniger Verwendung
Diffusionsbasierte Methoden	Iterative, auf Denoising basierende Bildgenerierung	Hohe visuelle Realitätstreue und Bildvielfalt	Langsame Inferenzgeschwindigkeit; hohe Rechenanforderungen; begrenzte strukturelle Kontrolle	Vielversprechend für die Generierung von Kulturerbe-Bildern, jedoch rechenintensiv
Hybride Transformator-GAN-Methoden	Kombination der transformatorbasierten Merkmalsextraktion mit GAN-basierter Generierung	Verbesserte Repräsentation globaler Merkmale und Bildqualität	Fehlen oft einer expliziten semantischen Steuerung zur Erhaltung von Motiven	Verbessert die Generierungsqualität, ist jedoch nicht speziell für kulturelle Erbe-Motive konzipiert
Vorgeschlagener SegCycle-SPADE	SegFormer + CAFFM + CycleGAN + SPADE	Transformatorbasierte Segmentierung, attention-gesteuerte Merkmalsfusion, semantische Konsistenz, Motiverhaltung und steuerbare künstlerische Rekonstruktion	Höhere Rechenkomplexität im Vergleich zu rein CNN-basierten Ansätzen	Speziell für die Rekonstruktion und Erhaltung kultureller Erbe-Muster konzipiert, mit verbesserter struktureller Genauigkeit und semantischer Konsistenz

Tabelle 8: Vergleich repräsentativer Deep-Learning-Ansätze zur Rekonstruktion und Erhaltung von Mustern im Kulturerbe. Qualitativer Vergleich repräsentativer Deep-Learning-Ansätze, die für die Bildsegmentierung, Musterrekonstruktion, Stilgenerierung und den Erhalt von Kulturerbe eingesetzt werden. Die Tabelle fasst die Kerntechniken, Stärken, Grenzen und Anwendbarkeit jedes Ansatzes zusammen und verdeutlicht, wie der vorgeschlagene SegCycle-SPADE-Rahmenansatz semantische Segmentierung, Merkmalsfusion, Rekonstruktion und Stilsynthese kombiniert, um Herausforderungen im Zusammenhang mit der strukturellen Erhaltung und semantischen Konsistenz bei Mustern des Kulturerbes zu bewältigen.

Die beobachteten Verbesserungen zeigen, dass das CAFFM-Modul die Interaktion zwischen strukturellen Merkmalen aus der Segmentierung und künstlerischen Stilrepräsentationen durch eine merkmalsbasierte Fusion mittels Cross-Attention effektiv verbessert. Darüber hinaus trägt der Motiv-Erhaltungsverlust dazu bei, kulturell bedeutende Motivstrukturen während der Rekonstruktion und künstlerischen Synthese zu bewahren, was zu einer verbesserten Segmentierungskonsistenz, strukturellen Genauigkeit und visuellen Realität führt. Insgesamt bestätigen die Ablationsresultate, dass die Integration von SegFormer-B2, CAFFM, CycleGAN, SPADE und dem Motiv-Erhaltungsverlust für die überlegene Leistung des vorgeschlagenen SegCycle-SPADE-Modells verantwortlich ist.

Datenverfügbarkeit:
Der für das künstlerische Stil-Lernen verwendete WikiArt-Datensatz ist öffentlich über das Kaggle WikiArt-Repository verfügbar (https://www.kaggle.com/datasets/steubk/wikiart). Der in dieser Studie verwendete Miao-Batik-Datensatz ist öffentlich über Zenodo zugänglich (https://doi.org/10.5281/zenodo.20807658). Die verarbeiteten Datensätze, Segmentierungsmasken, vortrainierten Modellgewichte, generierten Ausgaben und Python-Implementierungsdateien, die mit dem vorgeschlagenen SegCycle-SPADE-Framework verbunden sind, sind ebenfalls über dasselbe Zenodo-Repository erhältlich.

ZUSÄTZLICHE DATEI:
Zusätzliche Datei 1. Algorithmus 1: Implementierungsablauf des vorgeschlagenen SegCycle-SPADE-Frameworks. Schritt-für-Schritt-Pseudocode, der die vollständige Implementierungspipeline des vorgeschlagenen SegCycle-SPADE-Frameworks beschreibt, einschließlich Laden des Datensatzes, Vorverarbeitung, semantische Segmentierung mittels SegFormer-B2, Merkmalsfusion mittels des Cross-Attention Cultural Feature Fusion Moduls (CAFFM), Rekonstruktion kultureller Motive mittels CycleGAN, künstlerische Stilsynthese mittels SPADE, Modelltraining, Validierung, Auswahl von Kontrollpunkten und abschließende Leistungsbewertung. Bitte klicken Sie hier, um diese Datei herunterzuladen.

Diskussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Konservierung und digitale Rekonstruktion von ICH-Mustern hat in den letzten Jahren zunehmend an Bedeutung gewonnen, aufgrund des allmählichen Verlusts traditioneller Handwerkskunst. Frühere Studien haben versucht, den Verlust des kulturellen Erbes mithilfe DL-basierter Bildverarbeitungstechniken entgegenzuwirken. Beispielsweise schlugen Quan et al.³² einen Rahmen für den Erhalt des kulturellen Erbes basierend auf Wissensgraphen und DL für die batikartige Miao-Kultur in Guizhou vor. Obwohl sich diese Studie auf die digitale Rekonstruktion kultureller Muster konzentrierte, stützte sich ihre Methodik hauptsächlich auf Wissensgraph-Darstellungen. Ebenso schlugen Fu und Razmjooy¹⁶ einen auf dem Feature-Pyramid-Netzwerk (FPN) basierenden Ansatz zur Verbesserung und Wiederherstellung von Bildern des kulturellen Erbes vor. Obwohl diese Methode eine effektive Merkmalsextraktion für die Bildverbesserung ermöglichte, integrierte sie weder Segmentierungsanleitungen noch generative Rekonstruktionsmechanismen für unvollständige kulturelle Muster. Demgegenüber kombiniert der vorgeschlagene SegCycle-SPADE-Ansatz mehrere DL-Komponenten, um diese Herausforderungen zu bewältigen. Zunächst wird eine semantische Segmentierung mittels des SegFormer-Modells eingesetzt, um Motivbereiche innerhalb kultureller Muster präzise zu identifizieren. Anschließend verbessert ein auf CAFFM basierendes Feature-Enhancement-Modul die Merkmalsdarstellungen für fein strukturierte Motivarchitekturen. Ein CycleGAN-Rekonstruktionsmodul wird dann verwendet, um fehlende oder unvollständige Bereiche innerhalb kultureller Muster durch adversäres Lernen zu rekonstruieren. Schließlich führt ein SPADE-Modul eine stilistische Verbesserung durch, während es die strukturelle Ausrichtung an den Segmentierungskarten beibehält. Bestehende Methoden basierend auf CNNs, GANs, Transformatoren und Diffusionsmodellen¹⁷^,¹⁹^,²⁰^,²¹^,²²^,²³^,²⁴^,²⁵^,³⁰^,³⁴ bieten jeweils einzigartige Vorteile; weisen jedoch auch Einschränkungen beim Erhalt der semantischen Konsistenz, der Beibehaltung struktureller Merkmale oder der Erzielung rechnerischer Effizienz auf, wie in Tabelle 8 zusammengefasst. Die vorgeschlagene SegCycle-SPADE-Architektur kombiniert die Stärken der SegFormer-basierten Segmentierung, der Merkmalsfusion mittels Cross-Attention, der CycleGAN-Rekonstruktion und der SPADE-gesteuerten Synthese und behebt dabei diese Einschränkungen. Folglich erreicht das Framework eine verbesserte Rekonstruktionsqualität und eine stärkere Bewahrung kulturell bedeutender Motive.

Trotz der ermutigenden Leistung weist der vorgeschlagene SegCycle-SPADE-Ansatz weiterhin mehrere Einschränkungen auf. Erstens wurde die Bewertung ausschließlich anhand der Datensätze Miao Batik und WikiArt durchgeführt, was die Übertragbarkeit des Frameworks auf andere Bereiche des kulturellen Erbes einschränken könnte. Zweitens kann die Bereitstellung auf ressourcenbeschränkten Plattformen schwierig sein, da die Integration von SegFormer, CAFFM, CycleGAN und SPADE die rechnerische Komplexität und den Speicherbedarf erhöht. Drittens hängt die Segmentierungsleistung stark von der Qualität und Konsistenz der Motivannotationen ab, und Annotationen mit Verzerrungen könnten die Erhaltung kulturell bedeutsamer Strukturen beeinträchtigen. Schließlich könnten aufgrund der Evaluierung des Frameworks an nur zwei Datensätzen zusätzliche Trainingsdaten und anwendungsspezifische Anpassungen erforderlich sein, um die Anwendbarkeit über verschiedene Sammlungen des kulturellen Erbes hinweg sicherzustellen. Zukünftige Studien sollten daher robustere Trainingsstrategien, leichtgewichtigere Architekturen, verbesserte Annotationsverfahren sowie Querbewertungen unter Verwendung weiterer Datensätze aus dem Bereich des kulturellen Erbes untersuchen.

Die Skalierbarkeit des SegCycle-SPADE-Frameworks auf größere und vielfältigere Kulturerbedatensätze wird ein zentrales Thema zukünftiger Forschung darstellen. Die kulturübergreifende Bewertung von Erbe-Motiven aus verschiedenen Regionen und künstlerischen Traditionen wird untersucht, um die Generalisierungsfähigkeit des Modells und dessen kulturelle Anpassungsfähigkeit zu verbessern. Darüber hinaus könnten multimodale Erweiterungen, die textuelle Beschreibungen, historische Aufzeichnungen und kulturelle Metadaten einbeziehen, während der Rekonstruktion stärkere semantische Unterstützung bieten. Das Framework könnte ebenfalls erweitert werden, um die dreidimensionale Rekonstruktion von Kulturerbe zu unterstützen, indem bildbasierte Rekonstruktion mit 3D-Modellierungstechniken kombiniert wird. Außerdem wird die Implementierung in digitalen Archiven, Museen, virtuellen Ausstellungen und Plattformen zur Kulturerbeerhaltung erforscht, um praktische Anwendungen der KI-gestützten Konservierung und Dokumentation von Kulturerbe zu ermöglichen. Um die Interpretierbarkeit und kulturelle Authentizität weiter zu verbessern, wird zukünftige Arbeit die Integration von kulturellen Wissensgraphen, ethnographischen Dokumentationen, historischen Metadaten und von Experten kuratierten Wissensdatenbanken untersuchen, um eine kulturell fundierte Analyse und Rekonstruktion von Motiven zu ermöglichen³².

Bei der Implementierung des vorgeschlagenen SegCycle-SPADE-Frameworks sollten mehrere praktische Aspekte berücksichtigt werden. Während des CycleGAN-Trainings kann eine instabile adversarielle Konvergenz auftreten, wenn die Verluste von Generator und Diskriminator stark aus dem Gleichgewicht geraten. In solchen Fällen kann die Stabilität des Trainings durch eine Verringerung der Lernrate, eine Erhöhung des Gewichts des zyklischen Konsistenzverlusts oder eine Überwachung der Dominanz des Diskriminators verbessert werden. Ein Modus-Zusammenbruch (Mode collapse) kann auftreten, wenn der Generator wiederholt visuell ähnliche Ausgaben erzeugt; dieses Problem lässt sich durch ausgewogenes adversariales Training, die Nutzung eines Replay-Puffers und eine sorgfältige Beobachtung der Verlustentwicklung von Generator und Diskriminator verringern. Segmentierungsfehler können außerdem auftreten, wenn kulturelle Motive komplexe Texturen, geringen Kontrast oder unscharfe Grenzen aufweisen. Um dieses Problem zu beheben, sollte die Bildqualität vor dem Training überprüft und die Segmentierungsmasken visuell kontrolliert werden, um eine konsistente Annotation sicherzustellen. Die Einhaltung der empfohlenen Eingabeauflösung und Normalisierungseinstellungen ist ebenfalls wichtig, um eine zuverlässige Leistung des SegFormer-Modells zu erzielen. Eine Instabilität des Trainings kann außerdem durch ungeeignete Lernraten, unzureichende Trainingsdaten oder hardwarebedingte numerische Schwankungen verursacht werden. Um die Reproduzierbarkeit zu verbessern, sollten feste Zufallsseeds für NumPy-, PyTorch-, CUDA- und Datensatz-Mischvorgänge verwendet werden. Zudem sollten bei allen experimentellen Durchläufen derselbe Vorverarbeitungspipeline, dieselben Datensatzpartitionen, Modell-Hyperparameter und Softwareumgebung beibehalten werden. Regelmäßiges Speichern von Zwischenergebnissen (Checkpoints) sowie die Überwachung des Validierungsverlusts werden ebenfalls empfohlen, um Leistungseinbußen zu vermeiden und eine Wiederherstellung nach unterbrochenen Trainingssitzungen zu erleichtern.

Die vorgeschlagene Arbeit leistet einen Beitrag zur theoretischen Weiterentwicklung von KI-basierten Rahmenwerken für die Rekonstruktion des kulturellen Erbes. Herkömmliche Ansätze zur Bildrestaurierung behandeln Bildsegmentierung, Rekonstruktion und Stilerzeugung im Allgemeinen als unabhängige Prozesse¹⁷^,¹⁹^,²⁰^,³⁰. Im Gegensatz dazu schlägt diese Studie ein Rahmenwerk vor, das diese Prozesse durch eine segmentierungsgesteuerte generative Rekonstruktionsstrategie integriert. Dadurch leistet die Studie einen Beitrag zur theoretischen Entwicklung der KI-gestützten Rekonstruktion des kulturellen Erbes, indem sie aufzeigt, wie Segmentierung, Rekonstruktion und Stilerzeugung innerhalb eines einzigen Rahmenwerks vereint werden können. Eine solche Integration ist besonders wichtig für Anwendungen im Bereich des kulturellen Erbes, bei denen die Erhaltung der Motivstruktur und der semantischen Bedeutung entscheidend ist. Aus praktischer Sicht bietet das vorgeschlagene Rahmenwerk eine effektive Lösung für die digitale Bewahrung, Restaurierung und künstlerische Verbesserung traditioneller kultureller Muster. Kulturelle Einrichtungen, Museen und Designer können SegCycle-SPADE nutzen, um Motivbereiche automatisch zu identifizieren, beschädigte oder unvollständige Muster zu rekonstruieren und visuell verbesserte künstlerische Darstellungen traditioneller Designs zu erzeugen. Diese Fähigkeit ist besonders wertvoll für vom Aussterben bedrohte Handwerkstraditionen, wie beispielsweise die Batik-Textilmuster der Miao, bei denen historische Artefakte teilweise beschädigt oder unvollständig sein können. Darüber hinaus kann das Rahmenwerk durch die Einbindung generativer Stilsynthese moderne kulturelle Designanwendungen unterstützen, wie etwa Textildesign, digitale künstlerische Gestaltung und Bildung im Bereich des kulturellen Erbes. Auf diese Weise schließt das vorgeschlagene Rahmenwerk die Lücke zwischen der Bewahrung des kulturellen Erbes und zeitgenössischen kulturellen Designanwendungen.

Trotz der vielversprechenden Ergebnisse, die durch das vorgeschlagene SegCycle-SPADE-Framework erzielt wurden, bestehen dennoch mehrere Einschränkungen. Erstens wurde die Evaluierung ausschließlich anhand der Datensätze Miao Batik und WikiArt durchgeführt, was die Generalisierungsfähigkeit des Frameworks bei der Rekonstruktion anderer Formen kultureller Erbe-Muster beeinträchtigen könnte. Zweitens können die generierten Ausgaben aufgrund der rekonstruktionsbedingten Verwendung GAN-basierter Modelle gelegentlich Artefakte oder unnatürliche Texturen enthalten, insbesondere bei stark komplexen Motivstrukturen. Drittens konzentriert sich das Framework derzeit auf die Rekonstruktion zweidimensionaler Muster, während einige Kulturerbe-Artefakte inhärent dreidimensionale Strukturen aufweisen. Insgesamt zeigen die experimentellen Ergebnisse die Wirksamkeit des vorgeschlagenen SegCycle-SPADE-Frameworks für die künstlerische Rekonstruktion immateriellen Kulturerbes (ICH). Die Kombination aus semantischer Segmentierung basierend auf SegFormer, CAFFM, motifbasierter Rekonstruktion mittels CycleGAN und künstlerischer Synthese basierend auf SPADE führte durchgängig zu verbesserten Metriken hinsichtlich Segmentierung, Rekonstruktion und Bildqualität. Die Ablationsstudien bestätigten zudem den Beitrag der einzelnen Framework-Komponenten und zeigten, dass CAFFM sowie der Motiv-Erhaltungsverlust die strukturelle Treue und visuelle Authentizität deutlich verbesserten. Diese Ergebnisse stützen die zentrale Hypothese, dass eine semantische Segmentierungsgesteuerte Rekonstruktion in Kombination mit einer Cross-Attention-Feature-Fusion in der Lage ist, kulturell bedeutende Motive effektiv zu bewahren und gleichzeitig künstlerisch anspruchsvolle Ausgaben zu generieren. Folglich bietet das vorgeschlagene Framework einen zuverlässigen und reproduzierbaren computergestützten Ansatz zur digitalen Bewahrung, Restaurierung und kreativen Wiederbelebung von ICH-Mustern.

Offenlegungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Interessenkonflikt:
Die Autoren erklären, dass kein Wettbewerbsinteresse besteht.

Danksagungen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Die Autoren danken Guangdong Engineering Polytechnic und der South China Normal University für die akademische und institutionelle Unterstützung während der Durchführung dieser Forschung. Diese Forschung wurde durch das Nationale Sozialwissenschafts-Fonds-Generalsprojekt 2023 (Nr. 23BH161) unterstützt, betitelt mit „Digital Regeneration Museum: Forschung zur Aktivierung und Vermittlung chinesischer klassischer Kalligraphie- und Malereikulturgüter“.

Materialien

Liste der in diesem Artikel verwendeten Materialien
Name	Unternehmen	Katalognummer	Kommentare
Adam-Optimierer	PyTorch-Optimierer-Bibliothek	Adam	Optimierungsalgorithmus, der während des Modelltrainings verwendet wird.
CUDA-Toolkit	NVIDIA Corporation	CUDA 11.3	GPU-Beschleunigung für Deep-Learning-Berechnungen.
cuDNN	NVIDIA Corporation	cuDNN 8.2	Bibliothek zur Beschleunigung tiefer neuronaler Netze, die für Training und Inferenz eingesetzt wird.
CycleGAN	University of California, Berkeley / Open Source	Offizielle PyTorch-Implementierung (https://github.com/junyanz/pytorch-CycleGAN-and-pix2pix)	Generatives adversariales Netzwerk zur Rekonstruktion kultureller Motive.
ImageNet-Vortrainierte Gewichte	ImageNet / Open Source	mit_b2.pth (ImageNet-1K-Vortrainierter Checkpoint)	Wird verwendet, um den SegFormer-B2-Backbone vor der Feinabstimmung auf dem Miao-Batik-Datensatz zu initialisieren.
Intel-Prozessor	Intel Corporation	Intel Core i7 (11. Generation)	CPU für die Bildvorverarbeitung, Unterstützung des Modelltrainings und Inferenz.
Matplotlib	Matplotlib-Entwicklungsteam	Matplotlib 3.5.1	Visualisierung von Trainingskurven und Evaluierungsergebnissen.
Miao-Batik-Datensatz	Zenodo-Repository	DOI: 10.5281/zenodo.20807658	Kultureller Motiv-Datensatz mit 15.148 Bildern, verwendet für semantische Segmentierung und Musterrekonstruktion.
NumPy	NumPy-Entwickler	NumPy 1.21.5	Numerische Berechnungen und Datensatzverarbeitung.
NVIDIA-GPU	NVIDIA Corporation	NVIDIA RTX 3090 (24 GB VRAM)	Hardwareplattform für Modelltraining und Inferenz.
OpenCV	OpenCV Foundation	OpenCV 4.5.5	Bildvorverarbeitung, Größenänderung, Interpolation und Gaußsche Rauschunterdrückung.
Betriebssystem	Canonical Ltd.	Ubuntu 20.04 LTS	Experimentelle Ausführungsumgebung.
Pillow (PIL)	Python Imaging Library	Pillow 8.4.0	Bildlade- und Bearbeitungsfunktionen.
Python	Python Software Foundation	Python 3.8.10	Programmiersprache für Implementierung und Experimente.
PyTorch	Meta AI	PyTorch 1.10.0	Deep-Learning-Framework für Modelltraining und Inferenz.
Zufallsseed	Experimentelle Einstellung	42	Fester Seed für Datensatzpartitionierung, Modellinitialisierung und experimentelle Reproduzierbarkeit.
Scikit-learn	Scikit-learn-Entwickler	Scikit-learn 1.0.2	Datensatzpartitionierung, statistische Analyse und Evaluierungsmetriken.
Seaborn	Open-Source-Community	Seaborn 0.11.2	Statistische Datenvisualisierung.
SegFormer-B2	NVIDIA Research / Open Source	SegFormer-B2 (MIT-B2-Backbone)	Transformer-basiertes Modell für semantische Segmentierung, verwendet für die Segmentierung kultureller Motive.
Segmentierungsmasken / Annotationen	Miao-Batik-Datensatz	Im Datensatz enthalten	Pixelgenaue semantische Segmentierungsetiketten für Motivklassifizierung und Training.
SPADE	NVIDIA Research / Open Source	Offizielle PyTorch-Implementierung (https://github.com/NVlabs/SPADE)	Segmentierungsgesteuertes Bildsynthesemodell für künstlerische Mustererzeugung.
TorchVision	Meta AI	TorchVision 0.11.1	Bildverarbeitungsfunktionen und Datensatztransformationen für die Verwendung mit PyTorch.
WikiArt-Datensatz	WikiArt	https://www.wikiart.org/	Künstlerischer Stildatensatz mit über 80.000 Kunstwerken aus 27 künstlerischen Stilen, verwendet für Stil-Lernen und -Synthese.

Referenzen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Huang B, Mo L. SegCycle-SPADE: An end-to-end framework for semantic segmentation-based automated extraction and artistic reconstruction of traditional craft patterns using conditional GAN. PLoS ONE. 2025;20:e0329100.
Yan Z, et al. Digital sustainability of heritage: Exploring indicators affecting the effectiveness of digital dissemination of intangible cultural heritage through qualitative interviews. Sustainability. 2025;17:1593.
Yan Z, et al. Construction of digital dissemination effects evaluation indicator system of traditional techniques of intangible cultural heritage. npj Heritage Science. 2025;13:224.
Imon SS. Intangible cultural heritage as a tourism product in the historic city of Macao. In: Sustainable Management of Historic Settlements in Asia: Role of Intangible Cultural Heritage. Springer Nature Singapore; Singapore. 2025. p.233-240.
Buragohain D, et al. Digitalizing cultural heritage through metaverse applications: Challenges, opportunities, and strategies. Heritage Science. 2024;12:295.
Ma Y. The ghostly ethics of mediatized shaping: Cultural memory creative transformation of Anhui’s ICH in reviving the craftsmanship. Journal of Current Social Issues Studies. 2025;2:240-249.
Wanju T, Wang Z, Tu Y. ICH and e-commerce: Bridging tradition and modernity in cultural creative products. Journal of Economics, Management and Trade. 2025;31:1-8.
Sun L, et al. Research on the redesign of China’s intangible cultural heritage based on sustainable livelihood—The case of Luanzhou shadow play empowering rural development. Sustainability. 2024;16:4555.
Pan S, et al. Constructing a sustainable evaluation framework for AIGC technology in Yixing Zisha pottery: Balancing heritage preservation and innovation. Sustainability. 2025;17:910.
Na Z, Sharul Azim SR. Research on innovative development of Miao embroidery intangible cultural heritage in Guizhou, China based on digital design. Journal of Business and Economic Review. 2024;9:85-94.
Guo S, Canessa A. Ethnic elder poverty: Miao household livelihoods and elderly self-sufficiency practices in Midwest China. Culture, Agriculture, Food and Environment. 2023;45:55-68.
Han D, Cong L. Miao traditional patterns: The origins and design transformation. Visual Studies. 2023;38:425-432.
Dong B, et al. Spatial distribution and tourism competition of intangible cultural heritage: Take Guizhou, China as an example. Heritage Science. 2023;11:64-80.
Chen Z, Ren X, Zhang Z. Cultural heritage as rural economic development: Batik production amongst China’s Miao population. Journal of Rural Studies. 2021;81:182-193.
Zhennan LY, Yahaya SR. An aesthetic study on traditional batik design of Miao ethnicity in China. Kupas Seni. 2021;9:12-25.
Fu X, Razmjooy N. Preserving and enhancing cultural heritage through art design using feature pyramid network optimized by modified builder optimization algorithm. Scientific Reports. 2025;15:42603.
Liu X, Wan J, Wang N. Ancient painting inpainting with regional attention-style transfer and global context perception. Applied Sciences. 2024;14:8777.
Xu Q, Iwasaki M. Image restoration model of wood-structured raw lacquer cultural relics based on diffusion generation network. Journal of Asian Architecture and Building Engineering. 2025:1-19.
Cherian A, Sullivan A. Sem-GAN: Semantically-consistent image-to-image translation [conference presentation]. Presented at: IEEE Winter Conference on Applications of Computer Vision (WACV); 2019. doi: 10.1109/WACV.2019.00196.
Rombach R, et al. High-resolution image synthesis with latent diffusion models [conference presentation]. Presented at: IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR); 2022. p.10684-10695. Available from: http://openaccess.thecvf.com/content/CVPR2022/papers/Rombach_High-Resolution_Image_Synthesis_With_Latent_Diffusion_Models_CVPR_2022_paper.pdf.
Gendy GGH, Nabil S. Diffusion models for image super-resolution: State-of-the-art and future directions. Neurocomputing. 2025;617:128911.
Kazerouni A, et al. Diffusion models in medical imaging: A comprehensive survey. Medical Image Analysis. 2023;88:102846.
Yang L, et al. Diffusion models: A comprehensive survey of methods and applications. ACM Computing Surveys. 2023;56:1-39.
Croitoru FA, Hondru V, Ionescu RT, Shah M. Diffusion models in vision: A survey. IEEE Transactions on Pattern Analysis and Machine Intelligence. 2023;45:10850-10869.
Cao H, et al. A survey on generative diffusion models. IEEE Transactions on Knowledge and Data Engineering. 2024;36:2814-2830.
Po R, et al. State of the art on diffusion models for visual computing. Computer Graphics Forum. 2024;43:e15063.
Thampanichwat C, et al. Mindful architecture from text-to-image AI perspectives: A case study of DALL-E, Midjourney, and Stable Diffusion. Buildings. 2025;15:972.
Li W. Enhanced automated art curation using supervised modified CNN for art style classification. Scientific Reports. 2025;15:7319.
Chen C. Algorithm and tool development for creative generation of graphic design of folk houses and ancient buildings integrating cultural and creative elements. Scalable Computing: Practice and Experience. 2024;25:4729-4736.
Liu B, Ji J, Gu L, Jiang Z. An integrated CycleGAN-diffusion approach for realistic image generation [conference presentation]. Presented at: International Conference on Signal Processing and Machine Learning; 2024. p.92-101. doi: 10.1117/12.3027121.
Bao Q, Zhao J, Liu Z, Liang N. AI-assisted inheritance of Qinghua porcelain cultural genes and sustainable design using low-rank adaptation and stable diffusion. Electronics. 2025;14:725.
Quan H, et al. Protection of Guizhou Miao batik culture based on knowledge graph and deep learning. Heritage Science. 2024;12:1-22.
Sun H, et al. HRPGAN: A GAN-based model to generate high-resolution remote sensing images. IOP Conference Series: Earth and Environmental Science. 2020;428:012060.
Ho J, Jain A, Abbeel P. Denoising diffusion probabilistic models [conference presentation]. Presented at: Advances in Neural Information Processing Systems (NeurIPS); 2020. Available from: https://proceedings.neurips.cc/paper/2020/file/4c5bcfec8584af0d967f1ab10179ca4b-Paper.pdf.

Nachdrucke und Genehmigungen

Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden

Genehmigung beantragen

Schlagwörter

Engineering Deep Learning CAFFM Artistic Reconstruction Intangible Cultural Heritage Patterns End to End Framework

Rekonstruktion und künstlerische Stilsynthese von Mustern des immateriellen Kulturerbes mittels eines Deep-Learning-Frameworks mit semantischer Segmentierungsführung

In diesem Artikel

Zusammenfassung

Zusammenfassung

Einleitung

Protokoll

Ergebnisse

Diskussion

Offenlegungen

Danksagungen

Materialien

Referenzen

Nachdrucke und Genehmigungen

Schlagwörter

Verwandte Artikel