Ein Abonnement von JoVE ist erforderlich, um diesen Inhalt anzuzeigen. Melden Sie sich an oder beginnen Sie noch heute mit einer kostenlosen Testphase.

Methodenartikel

Ein Protokoll zum Lernen von Bildmerkmalen basierend auf der Topologie von Kleidungsstücken auf Bildebene für die Abfrage von Designreferenzen

45 Aufrufe

⸱

DOI:

10.3791/72103

⸱

1. September 2026

 ,  ,  , 
1Keyi College of Zhejiang Sci-Tech University

In diesem Artikel

Zusammenfassung

Dieses Protokoll erzeugt strukturbewusste Kleidungsrepräsentationen, indem semantische Komponentenparsung, Topologiemodellierung, duale Merkmalscodierung und strukturgeleitete Fusion integriert werden. Es ermöglicht Forschern im Bereich Computer Vision und Bekleidung, die Suche nach Kleidungsstücken sowie den Vergleich mit Designvorlagen basierend auf der Anordnung von Komponenten und dem Silhouettenlayout – statt auf Farbe oder Textur – durchzuführen.

Zusammenfassung

Methoden zur Suche von Bekleidungsbildern betonen häufig Farbe und Textur, was zu Verwechslungen zwischen Kleidungsstücken führen kann, die eine ähnliche Optik aufweisen, sich jedoch in ihrer Komponentenanordnung unterscheiden. Diese Studie stellt ein protokollbasiertes, komponentenbewusstes Verfahren zum Erlernen von Merkmalen für die Suche nach Bekleidungsbildern und den Vergleich von Designvorlagen vor. Das Protokoll analysiert semantische Bekleidungsbereiche, erstellt einen bildweiten Graphen der Bekleidungskomponenten, kodiert Erscheinungsbild und Komponentenbeziehungen parallel und fusioniert beide Darstellungen unter Verwendung von Verlustfunktionen für strukturelle Konsistenz, strukturelle Beziehung und strukturelle Diskriminierung. DeepFashion2-Bilder werden auf 512 x 512 Pixel standardisiert, mit HRNet-W48 analysiert, mit ResNet-50 und Graph-Convolution kodiert und anhand struktureller Suche und Clusterung evaluiert. Das vollständige Modell erreichte einen strukturellen Konsistenzindex von 0,81, einen strukturellen Diskriminierungsindex von 0,71, einen Recall@5-Wert von 89,2 %, eine mittlere durchschnittliche Präzision von 86,4 % und einen Silhouettenkoeffizienten von 0,74. Das Protokoll ermöglicht die Suche nach Bekleidungsstrukturen, den strukturellen Vergleich sowie die Lokalisierung von Unterschieden, wenn das Oberflächenerscheinungsbild die Konstruktion des Kleidungsstücks nicht zuverlässig widerspiegelt.

Einleitung

Mit der zunehmenden Integration von Computer Vision und künstlicher Intelligenz in die Bekleidungsindustrie hat sich die Analyse von Bekleidungsbildern schrittweise von grundlegenden Erkennungsaufgaben hin zu designorientierten Analysen und der Entscheidungsunterstützung ausgeweitet1,2. Im Bekleidungsdesignprozess hängt der Unterschied zwischen Designs stärker von der strukturellen Zusammensetzung und den Beziehungen zwischen Komponenten ab als von einfachen Unterschieden im Erscheinungsbild, wodurch die strukturelle Aussagekraft der Bildmerkmale bei der Designunterstützung zu einem entscheidenden Faktor für die Effektivität der Analyse wird3,4. Die meisten bestehenden visuellen Methoden stützen sich jedoch weiterhin auf Textur, Farbe und globale Konturen als Hauptmerkmale, was eine systematische Analyse von Bekleidungshierarchien und Konstruktionsunterschieden im Designprozess erschwert5,6. Daher ist die Entwicklung einer strukturbewussten Methode zum Lernen von Bildmerkmalen für die Unterstützung im Bekleidungsdesign wichtig, um Objektivität und Konsistenz der Designanalyse zu verbessern7. Dieses Protokoll ist geeignet, wenn Bekleidungsstücke ähnliche Farben, Texturen oder globale Konturen aufweisen, sich jedoch in der Anordnung der Komponenten, den Verbindungsmustern oder der räumlichen Struktur unterscheiden. Unter diesen Bedingungen neigen darstellungsbezogene, auf das Erscheinungsbild ausgerichtete Merkmale dazu, strukturell unterschiedliche Designs im Merkmalsraum nahe beieinander anzuordnen, was die Zuverlässigkeit von Rückgewinnung und Designvergleich beeinträchtigt. Das Protokoll behandelt Aufgaben, bei denen die Beziehungen zwischen den Komponenten eines Bekleidungsstücks die Grundlage für die strukturelle Rückgewinnung, die Designbewertung und die Analyse lokaler Unterschiede bilden.

Hinsichtlich Datenumfang, Modellkomplexität und Aufgabenvielfalt hat die aktuelle Forschung zur automatischen Analyse und zum Verständnis von Bekleidungsbildern erhebliche Fortschritte erzielt8,9. In praktischen Anwendungen wird die strukturelle Information von Kleidungsstücken jedoch häufig nur implizit in Segmentierungs- oder Erkennungsergebnissen enthalten und im einheitlichen Modellierungsprozess der Merkmalslernphase nicht berücksichtigt, was zu einem Mangel an stabiler Unterscheidung zwischen unterschiedlichen Strukturdesigns im Merkmalsraum führt10,11. Die räumlichen Beziehungen, hierarchischen Einschränkungen und topologischen Strukturen zwischen Bekleidungskomponenten werden nicht explizit kodiert, wodurch es für die Merkmalsrepräsentationen schwierig wird, strukturelle Unterschiede auf Designebene widerzuspiegeln12,13. Das Fehlen einer expliziten Strukturmodellierung begrenzt die analytische Feinheit und die Zuverlässigkeit der Entscheidungsfindung anhand von Merkmalen aus Bekleidungsbildern in designunterstützenden Szenarien und stellt somit eine wesentliche Hürde für die Entwicklung intelligenter Designs Systeme mit tieferem semantischen Verständnis dar14.

Um das Lernen und die Analyse von Merkmalen in Bekleidungsbildern zu unterstützen, haben verwandte Studien mehrere technische Ansätze untersucht15. Methoden der semantischen Segmentierung und der Bekleidungsanalyse (garment parsing) ermöglichen eine feingliedrige Abgrenzung von Bekleidungsregionen und -komponenten durch pixelgenaue Annotation und schaffen damit die Grundlage für die Extraktion struktureller Informationen16,17. Bei der bildbasierten Abfrage von Bekleidungsstücken wurden Topologie und Farb-Textur-Fusion, globale und lokale Attention-Alignment, Bekleidungsanalyse, multiscale und multigranulare Repräsentation sowie Residual-Attention mit Merkmalsauswahl integriert. Diese Verfahren adressieren Katalogsuche, Consumer-to-Store-Matching, cross-domain-Produktsuche und visuelle Suche im E-Commerce. Ihre Anwendungsszenarien stehen eng im Zusammenhang mit der Designreferenzsuche, da jedes Verfahren Bekleidungsbilder basierend auf einer visuellen Abfrage sortiert, wobei ihre Repräsentationen jedoch nicht die benannten Nachbarschaftsbeziehungen der Komponenten und vertikalen Ordnungsrelationen während der Merkmalsfusion beibehalten18,19,20. Gleichzeitig hat die Forschung zu Design- und Empfehlungsszenarien schrittweise multimodale Fusion, Relationenmodellierung und Stilanalyse eingeführt und damit die Anwendungsgrenzen visueller Bekleidungsmerkmale erweitert21,22. Obwohl diese Methoden in ihren jeweiligen Aufgaben Fortschritte erzielt haben, basieren ihre Kernmerkmale weiterhin weitgehend auf Erscheinungsbeschreibungen, und strukturelle Informationen wurden nicht einheitlich als inhärente Einschränkung für das Lernen von Merkmalen modelliert, was die Erfüllung der Anforderungen an die Unterstützung von Bekleidungsdesign hinsichtlich struktureller Ausrichtung und strukturellem Vergleich erschwert23.

Um die unzureichende Fähigkeit zur strukturellen Differenzierung in der Unterstützung der Bekleidungsgestaltung zu überwinden, schlägt diese Arbeit eine Methode des Bildmerkmal-Lernens basierend auf der Wahrnehmung der Bekleidungsstruktur vor. Diese Methode integriert Ergebnisse der Bekleidungsanalyse und wesentliche strukturelle Informationen bereits in der Eingabestufe des Bekleidungsbildes und modelliert gemeinsam die Bereiche der Bekleidungskomponenten, räumliche Beziehungen sowie hierarchische Verbindungen. Durch die explizite Einbindung von strukturellen Beziehungen und visueller Merkmalsausrichtung werden Bekleidungsbedingungen direkt in den Merkmalslernprozess integriert, wodurch eine Darstellung entsteht, die sowohl das visuelle Erscheinungsbild als auch die strukturelle Konsistenz bewahrt. Diese Merkmalsrepräsentation charakterisiert strukturelle Unterschiede zwischen Bekleidungsstücken in einem einheitlichen Raum und bietet eine stabile Grundlage für nachfolgende Analysen zur strukturellen Ähnlichkeit, strukturelle Clusterung sowie designunterstützende Entscheidungsfindung. Dadurch wird das Problem der Merkmalsverwirrung verringert, das durch den Mangel an struktureller Modellierung in bestehenden Verfahren verursacht wird. Im Gegensatz zu allgemeinen Strategien der visuellen Suche, die strukturelle Informationen als lose verbundene Hilfsmerkmale behandeln, konstruiert dieser Ansatz einen merkmalsmodulierenden Mechanismus, der auf topologischen Beziehungen basiert. Dieser Mechanismus fördert eine vom sichtbaren Aufbau der Bekleidungsregionen geprägte Repräsentation und reduziert texturbasierte Reaktionen. Jeder Graphknoten steht für eine semantische Region auf Bildniveau, und jede Graphbeziehung beschreibt eine sichtbare Nachbarschaft oder eine normalisierte relative Position in der Bildebene. Die resultierende Einbettung ermöglicht den Vergleich von Komponentenanordnung und Silhouettenstruktur zwischen verschiedenen Bekleidungsbildern. Diese Regionen und Beziehungen entsprechen weder Nähschnitten, Nahtverbindungen, Konstruktionsmarken noch Größenstaffelungsparametern. Im Vergleich zu rein auf Erscheinung basierenden Suchverfahren bewahrt das vorgestellte Verfahren die explizite Topologie der Komponenten während des gesamten Merkmalslernens und behandelt strukturelle Informationen nicht erst als Ergebnis einer nachgelagerten Analyse. Im Vergleich zu Ansätzen, die strukturelle Hinweise nur als zusätzliche Eingaben nutzen, erhalten die duale Kodierung und die topologiekonsistente Fusion geometrische Beziehungen bei gleichzeitiger Reduzierung texturdominierter Reaktionen. Die resultierende Repräsentation unterstützt die Suche nach Bekleidungsstrukturen, strukturelle Clusterung, die Auswahl von Designreferenzen sowie die Analyse lokaler Gestaltungsunterschiede und liefert gleichzeitig nachvollziehbare Hinweise auf Komponentenebene, die im Kontext des Bekleidungsdesigns interpretierbar bleiben. Die Forschung zu diesem Verfahren umfasst Bereiche wie das Lernen von Merkmalen aus Bekleidungsbildern, die Modellierung von Bekleidungsstrukturen, strukturbezogene Repräsentationen und die visuelle Analyse zur Unterstützung der Bekleidungsgestaltung.

Auf der Ebene der Merkmalsrepräsentation hat die Forschung zu Bekleidungsbildern lange Zeit auf die Modellierung des Erscheinungsbilds, die Extraktion tiefer Merkmale und die mehrskalige Repräsentation abgehoben24,25. Frühe Arbeiten verwendeten faltungsneuronale Netze, um End-to-End-Modelle von Bekleidungsbildern für Klassifizierungs-, Abruf- und Ähnlichkeitsvergleichsaufgaben zu erstellen26,27. Anschließend wurden die Fusion mehrskaliger Merkmale und das Lernen über Domänen hinweg eingeführt, um Unterschiede bei Bekleidungsbildern unter verschiedenen Blickwinkeln, Posen und Aufnahmebedingungen zu verringern28,29. Bei Abrufaufgaben kamen Aufmerksamkeitsmechanismen und Strategien zur Merkmalskompression zum Einsatz, um die Unterscheidungsfähigkeit der Merkmale und die Recheneffizienz zu verbessern30,31. Diese Verfahren erreichen eine zuverlässige Unterscheidung des Erscheinungsbilds, doch ihre Merkmalslernverfahren konzentrieren sich weiterhin auf globale visuelle Informationen und weisen keine systematischen Repräsentationen interner Bekleidungsstrukturen auf32. Bei kombinierten Verfahren zum Auffinden von Modeartikeln wird ein Referenzbild mit textuellen Modifikationsanweisungen kombiniert, wodurch sich die Abfragemodalität jedoch von dem hier untersuchten rein bildbasierten Protokoll unterscheidet. Diese Verfahren werden als verwandter kommerzieller Abrichtungsansatz besprochen, sind jedoch im quantitativen Vergleich nicht enthalten, da zusätzliche Texteingaben eine kontrollierte Evaluierung mittels Bildabfrage verhindern würden.

Da die Analyse von Bekleidungsbildern sich zunehmend von der Unterscheidung des Erscheinungsbilds hin zum strukturellen Verständnis verlagert hat, rückt die Modellierung von Bekleidungskomponenten, geometrischen Beziehungen und topologischen Verbindungen verstärkt in den Forschungsfokus33. Semantische Segmentierungsnetzwerke haben die Analyse auf Ebene von Bekleidungskomponenten durch Merkmalsprojektion und Multi-Attention-Mechanismen erreicht und damit eine zuverlässige Grundlage für die Extraktion struktureller Informationen geschaffen34,35. Methoden zur Erkennung von Schlüsselpunkten und zur Modellierung der strukturellen Topologie haben darüber hinaus die Beziehung zwischen Bekleidungsumrissen und lokalen Strukturen charakterisiert und somit die Fähigkeit des Modells verbessert, die geometrischen Merkmale von Kleidung darzustellen36,37. Mehrere Studien haben Graphstrukturen und relationale Schlussfolgerungsnetzwerke eingeführt, um Beziehungen zwischen Bekleidungskomponenten abzubilden, wodurch die feinkörnige Erkennung sowie die Leistung bei der Quervergleichssuche verbessert wurde38,39. Diese Arbeiten haben die wichtige Rolle struktureller Informationen in der visuellen Analyse bestätigt, doch bisher wird die Struktur meist nur als unterstützendes Merkmal oder als Zwischenergebnis genutzt, und ein Merkmalslernsystem, das strukturelle Beschränkungen im Kern integriert, wurde noch nicht entwickelt40.

In der Bereichsunterstützung des Bekleidungsdesigns haben diese Entwicklungen Empfehlungen für das Design, Stilanalysen, den Aufbau interaktiver Systeme sowie die strukturorientierte Designbewertung unterstützt41. Die Forschung zu Empfehlungssystemen hat das Kombinieren von Bekleidungsstücken und personalisierte Empfehlungen erreicht, indem visuelle Merkmale mit Benutzerpräferenzen integriert wurden42. Arbeiten im Zusammenhang mit Designunterstützung haben neue Wege zur intelligenten Designunterstützung erforscht, indem generative Modelle, Stilmodellierung und Mensch-Computer-Kollaborationsmechanismen kombiniert wurden43. Forschung zu virtuellem Anprobieren, Größenmessung und Stilübertragung hat die Anwendung der visuellen Bekleidungsanalyse im gesamten Design- und Produktionsprozess erweitert. Obwohl diese Studien die technischen Formen der Unterstützung im Bekleidungsdesign bereichert haben, werden ihre zentralen visuellen Merkmale weiterhin hauptsächlich durch das Erscheinungsbild bestimmt und weisen einen Mangel an einheitlicher Repräsentation der Designstruktur für die Analyse auf. Im Gegensatz dazu betrachtet dieser Artikel die Bekleidungsstruktur als zentrale Einschränkung der Merkmalsrepräsentation und stellt eine visuelle Repräsentationsmethode für die strukturelle Analyse in der Unterstützung des Bekleidungsdesigns bereit.

Trotz dieser Entwicklungen behandeln neuere Methoden im generativen Design strukturelle Bedingungen häufig als lose räumliche Leitmatrizen innerhalb von Diffusionsprozessen. Aktuelle Rahmenwerke zur strukturellen Analyse stellen Topologien als zusätzliche semantische Kennzeichnungen dar, die getrennt vom primären visuellen Einbettungsraum existieren. Der vorgeschlagene Ansatz verändert dieses Prinzip, indem er eine graphenbasierte topologische Vorgabe definiert, die das Lernen visueller Merkmale auf Komponentenebene explizit moduliert. Das mehrstufige Konsistenzziel fördert, dass Bekleidungsstücke mit ähnlichen komponentenbasierten Anordnungen auf Bildniveau im Merkmalsraum nahe beieinander liegen, während sich Bekleidungsstücke mit unterschiedlichen sichtbaren Bereichsorganisationen voneinander trennen. Dieses Ziel verringert die Abhängigkeit von Textur im bewerteten Abrufkontext, schafft jedoch keine Invarianz gegenüber Änderungen in Material, Pose oder Hintergrund. Das Protokoll sollte gewählt werden, wenn das Eingabebild ein ausreichend sichtbares einzelnes Bekleidungsstück enthält, semantische Komponenten erkennbare Grenzen beibehalten und das analytische Ziel einen strukturellen Vergleich auf Komponentenebene erfordert, statt einer groben Kategorienidentifikation. Es richtet sich an Forschende im Bereich Computer Vision, Mode-Design-Forschende und digitale Entwicklungsteams für Bekleidung, die an struktursensitiver visueller Analyse arbeiten. Es ist nicht für Aufgaben gedacht, die ausschließlich auf Farb- oder Materialerkennung abzielen, oder für Bilder, bei denen die Bekleidungstopologie weitgehend verdeckt ist. Das folgende Protokoll stellt den Arbeitsablauf von der Datensatzvorbereitung und semantischen Wahrscheinlichkeitszuordnung über den Aufbau geometrischer Beziehungen, die zweigleisige Merkmalscodierung, die strukturgeführte Fusion bis hin zur konsistenzbasierten Optimierung dar. Der vollständige Arbeitsablauf ist in Abbildung 1 zusammengefasst.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Protokoll

Diese Studie verwendet öffentlich verfügbare Bilddatensätze von Bekleidungsstücken und rekrutiert keine menschlichen Teilnehmer, sammelt keine personenbezogenen Daten, führt keine Tierversuche durch und verwendet keine biologischen Materialien. Eine Genehmigung durch eine institutionelle Ethikkommission und die Einholung informierter Einwilligung sind nicht erforderlich.

1. Softwareumgebung und Projektkonfiguration

  1. Legen Sie die freigegebenen Projektdateien in ein Verzeichnis mit ausreichend Speicherplatz und öffnen Sie ein Terminal im Stammverzeichnis des Projekts.
  2. Führen Sie conda env create -f environment.yml aus, um die Softwareumgebung zu erstellen. Führen Sie conda activate garment_structure aus, um die Umgebung zu aktivieren.
  3. Führen Sie python --version, conda --version, pip show numpy, pip show torch, pip show torchvision und nvidia-smi aus. Speichern Sie die vollständige Ausgabe der Befehle in software_versions.txt.
  4. Verwenden Sie dieselbe aufgezeichnete Umgebung für die Vorverarbeitung, das Training, die Inferenz, die Effizienzmessung und die Auswertung. Notieren Sie den HRNet-W48-Checkpoint-Dateinamen und den dazugehörigen SHA-256-Wert, die Bezeichner und SHA-256-Werte der auf ImageNet vortrainierten ResNet-50-Gewichte, die Quelle der DeepFashion2-Version sowie die Kennung des Quellcode-Repositorys in derselben Datei.
  5. Erstellen Sie die Verzeichnisse data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs und evaluation_results im Projekt-Stammverzeichnis.
  6. Öffnen Sie die Datei configs/protocol.yaml. Geben Sie das DeepFashion2-Verzeichnis in dataset_root, den Pfad zum vortrainierten HRNet-W48-Checkpoint in parser_checkpoint und das Ausgabeverzeichnis des Projekts in output_root ein.
  7. Setzen Sie input_height auf 512, input_width auf 512, batch_size auf 32, structural_categories_per_batch auf 8, samples_per_category auf 4, random_seed auf 42, feature_dimension auf 512, structural_constraint_weight auf 1,0, structural_relationship_weight auf 0,5, structural_discrimination_weight auf 1,0 und separation_threshold auf 0,3.
  8. Stellen Sie den Optimierer auf Mini-Batch-Stochastic-Gradient-Descent ein. Legen Sie initial_learning_rate auf 0,0001, momentum auf 0,9, weight_decay auf 0,0005, max_epochs auf 120, learning_rate_schedule auf Multi-Step-Decay und learning_rate_decay_factor auf 0,1 fest. Geben Sie die in der veröffentlichten Konfiguration verwendeten festgelegten Abnahmepochen in learning_rate_milestones ein.
  9. Führen Sie python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results aus. Exportieren Sie die vollständige Modellkonfiguration nach model_setting_statistics.csv. Überprüfen Sie, dass die exportierte Datei die Eingabebildgröße, das Eingabeformat, die Batch-Zusammensetzung, den Optimierer, die Lernrate, den Lernraten-Plan, die Anzahl der Epochen, den Gewichtsverlust, den Impuls, die Augmentationswahrscheinlichkeiten, die Merkmalsdimension, die Gewichte für strukturelle Verluste, die Separationsschwelle, die Zufallsstarts, die Regel zur Checkpoint-Auswahl und die Anzahl unabhängiger Durchläufe erfasst.
  10. Erwartetes Ergebnis: Bestätigen Sie, dass die Softwareumgebung ohne Abhängigkeitsfehler startet, die Datei software_versions.txt den Umgebungsdatensatz enthält, alle Ausgabeverzeichnisse existieren und die Datei configs/protocol.yaml gültige absolute Pfade sowie numerische Einstellungen enthält.
    HINWEIS: Verwenden Sie während der Datenverarbeitung, Modelltrainierung, Inferenz und Evaluation dieselbe Umgebung und dieselbe Konfigurationsdatei. Speichern Sie eine Kopie von configs/protocol.yaml zusammen mit jedem trainierten Checkpoint.
    ​FEHLERBEHEBUNG: Falls die Erstellung der Umgebung aufgrund eines nicht verfügbaren Pakets abbricht, entfernen Sie die unvollständige Umgebung, überprüfen Sie die Paketquellen in environment.yml und erstellen Sie die Umgebung erneut. Falls nvidia-smi keine Grafikverarbeitungseinheit anzeigt, beenden Sie das Modelltraining und stellen Sie den Grafiktreiber sowie die CUDA-Laufzeitumgebung wieder her. Falls während der Ausführung ein Verzeichnisfehler auftritt, ersetzen Sie relative Pfade durch absolute Pfade und überprüfen Sie die Schreibberechtigung für output_root.

2. Eingabebildannahme, Datensatzkonstruktion und Vorverarbeitung

  1. Verwenden Sie ausschließlich Dateien mit den Endungen JPG, JPEG oder PNG. Verwenden Sie 8-Bit-RGB-Bilder, die ein einzelnes Hauptkleidungsstück enthalten.
  2. Behalten Sie 8-Bit-RGB-Bilder mit einer Breite und Höhe von mindestens 512 Pixeln und einem erkennbaren Hauptkleidungsstück bei. Lehnen Sie ein Bild ab, wenn der Vordergrund des Kleidungsstücks weniger als 15 % der gesamten Bildfläche einnimmt, wenn mehr als 5 % der Grenze der Kleidungsstückmaske mit dem Bildrand übereinstimmen, wenn ein sekundärer Bereich eines Kleidungsstücks mehr als 10 % der Fläche des Hauptkleidungsstücks einnimmt, wenn der geschätzte verdeckte Bereich mehr als 20 % der Maske des Hauptkleidungsstücks beträgt oder wenn die Varianz der Laplace-Response unter 100 liegt.
  3. Notieren Sie die Bildkennung, den gemessenen Wert, die ausgelöste Ausschlussregel und den Anmerkungspfad in der Datei excluded_samples.csv.
  4. Wenden Sie die Regeln zur Eingabeannahme auf die DeepFashion2-Quellbilder an, bevor die strukturelle Kennzeichnung und die Datenaufteilung erfolgen. Notieren Sie jede akzeptierte und abgelehnte Bildkennung, die ursprüngliche Datensatz-Aufteilung, die Kennung der Kleidungsstückanmerkung, die Quellpaar-Kennung, das Verhältnis der Vordergrundfläche, das Verhältnis des Randkontakts, das Verhältnis der Verdeckung, die Unschärfekennzahl und den endgültigen Beibehaltungszustand in data_filtering_manifest.csv.
  5. Führen Sie python tools/prepare_data.py --config configs/protocol.yaml aus.
  6. Lesen Sie die Begrenzungsbox des Kleidungsstücks aus der Datensatzanmerkung aus. Erweitern Sie die Begrenzungsbox um 5 % ihrer Breite und Höhe, ohne die Bildränder zu überschreiten.
  7. Schneiden Sie den Bereich des Kleidungsstücks zu, bewahren Sie das ursprüngliche Seitenverhältnis, fügen Sie Null-Padding hinzu, um ein quadratisches Bild zu erhalten, und ändern Sie die Größe des gepaddeten Bildes auf 512 × 512 Pixel.
  8. Konvertieren Sie das skalierte Bild in einen RGB-Tensor mit Gleitkommawerten. Teilen Sie jeden Pixelwert durch 255.
  9. Normalisieren Sie die Rot-, Grün- und Blaukanäle mit Mittelwerten von 0,485, 0,456 und 0,406 sowie Standardabweichungen von 0,229, 0,224 und 0,225.
  10. Wenden Sie horizontales Spiegeln mit einer Wahrscheinlichkeit von 0,5 und zufälliges Löschen mit einer Wahrscheinlichkeit von 0,2 auf Trainingsbilder an. Wenden Sie ausschließlich deterministisches Zuschneiden, Paddings, Größenändern und Normalisieren auf Validierungs- und Testbilder an.
  11. Führen Sie python tools/assign_structural_levels.py --config configs/protocol.yaml aus, nachdem die siebenkanaligen Komponentenkarten sowie die Matrizen für gemeinsame Grenzen und vertikale Reihenfolge generiert wurden. Berechnen Sie für jedes beibehaltene Bild die Anzahl aktiver Knoten, die Anzahl verbundener Komponenten, die Anzahl von Verzweigungsknoten, die Anzahl unabhängiger Zyklen und den längsten gerichteten Pfad der vertikalen Reihenfolge. Definieren Sie einen Verzweigungsknoten als aktiven Knoten, der im Graphen der gemeinsamen Grenzen mit mindestens drei anderen aktiven Knoten verbunden ist.
  12. Weisen Sie S1 zu, wenn der Graph zusammenhängend ist, keinen unabhängigen Zyklus enthält, keinen Verzweigungsknoten aufweist und der längste Pfad der vertikalen Reihenfolge aus höchstens zwei Kanten besteht. Weisen Sie S2 zu, wenn der Graph zusammenhängend ist, keinen unabhängigen Zyklus enthält, genau einen Verzweigungsknoten aufweist und der längste Pfad der vertikalen Reihenfolge aus höchstens zwei Kanten besteht. Weisen Sie S3 zu, wenn der Graph zusammenhängend ist, keinen unabhängigen Zyklus enthält und mindestens zwei Verzweigungsknoten oder einen Pfad der vertikalen Reihenfolge mit mindestens drei Kanten aufweist. Weisen Sie S4 zu, wenn der Graph zusammenhängend ist, genau einen unabhängigen Zyklus enthält und ein Pfad der vertikalen Reihenfolge aus höchstens zwei Kanten besteht. Weisen Sie S5 zu, wenn der Graph mindestens zwei unabhängige Zyklen enthält oder einen unabhängigen Zyklus zusammen mit einem Pfad der vertikalen Reihenfolge mit mindestens drei Kanten aufweist.
  13. Wenden Sie die Regeln in der Reihenfolge S5, S4, S3, S2 und S1 an und speichern Sie die berechneten Graphstatistiken, das zugewiesene Niveau und die Regelkennung in structural_level_manifest.csv.
  14. Generieren Sie die vorläufigen S1–S5-Kennzeichnungen automatisch aus den gespeicherten Komponentenmasken und Relationsmatrizen. Markieren Sie eine Probe als strukturell mehrdeutig, wenn ihr Komponentengraph mehr als eine zusammenhängende Komponente enthält, wenn die durchschnittliche maximale Komponentenwahrscheinlichkeit innerhalb des Vordergrunds des Kleidungsstücks unter 0,60 liegt, wenn eine aktive Komponente weniger als 1 % des Vordergrunds des Kleidungsstücks einnimmt oder wenn sich das zugewiesene strukturelle Niveau ändert, nachdem die Breite des Randkontakts von einem auf zwei Pixel geändert wurde.
  15. Reichen Sie jede mehrdeutige Probe zwei Autoren zur unabhängigen Prüfung des Quellbilds, der Komponentenkarte, der Matrix der gemeinsamen Grenzen, der Matrix der vertikalen Reihenfolge und des vorläufigen Graphen ein. Behalten Sie die Kennzeichnung bei, wenn beide Prüfungen übereinstimmen. Bei Uneinigkeit reichen Sie die Probe einem dritten Autor ein und verwenden Sie die Mehrheitsentscheidung als endgültige Kennzeichnung. Schließen Sie eine Probe aus, wenn nach der Überprüfung keine stabile Komponentenrelation wiederhergestellt werden kann. Notieren Sie die automatische Kennzeichnung, die Prüfkennzeichnungen, den Grund für die Uneinigkeit, die endgültige Kennzeichnung und den Ausschlussstatus in structural_label_audit.csv.
  16. Berechnen Sie den SHA-256-Wert jeder beibehaltenen Quelldatei und berechnen Sie einen 64-Bit-Wahrnehmungshash aus dem normalisierten Ausschnitt des Kleidungsstücks. Ordnen Sie Bilder mit identischen SHA-256-Werten derselben exakten Duplikatgruppe zu. Ordnen Sie Bilder, deren Wahrnehmungshashes eine Hamming-Distanz von höchstens vier aufweisen, derselben Gruppe nahezu identischer Duplikate zu, nachdem überprüft wurde, dass sie von derselben Instanz des Kleidungsstücks stammen.
  17. Verbinden Sie alle Bilder, die dieselbe DeepFashion2-Quellpaar-Kennung oder dieselbe Kleidungsstück-Identität teilen, zu einer Quellgruppe. Speichern Sie die Dateihashes, Wahrnehmungshashes, Quellkennungen und Duplikatgruppenkennungen in duplicate_group_manifest.csv.
  18. Führen Sie die Datenaufteilung auf Ebene der Quellgruppe statt auf Ebene des Einzelbilds durch. Weisen Sie jede exakte Duplikatgruppe, jede Gruppe nahezu identischer Duplikate und jede Quellidentitätsgruppe vollständig einem Teildatensatz zu. Überprüfen Sie alle Paare zwischen Teildatensätzen nach der Aufteilung und notieren Sie jeden erkannten Identitätskonflikt, Hashkonflikt und Wahrnehmungshashkonflikt in leakage_audit.csv. Erstellen Sie die Manifeste neu, bis leakage_audit.csv keine ungelösten Querschnittseinträge mehr enthält.
  19. Stratifizieren Sie die Quellgruppen nach den endgültigen S1–S5-Kennzeichnungen und weisen Sie vollständige Gruppen den Trainings-, Validierungs- und Testteildatensätzen gemäß der verifizierten Zuordnung in Tabelle 1 zu. Geben Sie die exakte Anzahl der Bilder und der Quellgruppen für jedes strukturelle Niveau und jeden Teildatensatz an.
  20. Berechnen Sie die realisierten Trainings-, Validierungs- und Testanteile aus dem endgültigen beibehaltenen Kollektiv, nicht aus dem ungefilterten Datensatz. Verwenden Sie Validierungs-, Test-, mehrdeutig ausgeschlossene Bilder oder Bilder, die zu ihren Duplikatgruppen gehören, nicht während des Parameterlernens, der Schwellenwertbestimmung, der Anpassung der strukturellen Niveauregeln oder der Checkpoint-Auswahl.
  21. Speichern Sie die verarbeiteten Bilder in data_processed/images. Speichern Sie train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv und structural_level_manifest.csv in data_processed/manifests.
  22. Lesen Sie die endgültigen strukturellen Kennzeichnungen, den Prüfstatus, die Duplikatgruppenkennungen, die Quellgruppenkennungen und die Teildatensatzkennungen aus den verarbeiteten Manifesten aus. Zählen Sie die automatisch akzeptierten Proben, manuell überprüften Proben, Ausschlüsse aufgrund von Mehrdeutigkeit, Ausschlüsse aufgrund von Duplikaten, Quellgruppen, Trainingsbilder, Validierungsbilder und Testbilder für S1 bis S5.
  23. Berechnen Sie die realisierten Teildatensatzverhältnisse, die durchschnittliche Anzahl aktiver Knoten, die durchschnittliche Anzahl von Verzweigungsknoten, die durchschnittliche Anzahl unabhängiger Zyklen, die durchschnittliche Tiefe der vertikalen Reihenfolge und die durchschnittliche Anzahl typisierter Kanten. Speichern Sie die vollständigen Statistiken in evaluation_results/dataset_statistics.csv.
  24. Erwartete Ausgabe: Stellen Sie sicher, dass jedes akzeptierte Bild ein 8-Bit-RGB-Bild mit einer Größe von 512 × 512 Pixeln ist und über einen Filtereintrag, eine endgültige strukturelle Niveaubezeichnung, eine Quellgruppenkennung, eine Duplikatgruppenkennung, eine Teildatensatzkennung und einen gültigen Anmerkungspfad verfügt. Stellen Sie sicher, dass jede mehrdeutige Probe einen vollständigen Prüfeintrag aufweist. Stellen Sie sicher, dass keine Quellkennung, exakte Duplikatgruppe, Gruppe nahezu identischer Duplikate oder Kleidungsstückidentität in mehr als einem Teildatensatz vorkommt. Stellen Sie sicher, dass die Bildanzahlen in train_manifest.csv, validation_manifest.csv, test_manifest.csv und dataset_statistics.csv identisch sind.
    ANMERKUNG: Bewahren Sie die ursprünglichen unverarbeiteten Bilder in data_raw auf. Wenden Sie keine zufällige Erweiterung auf Validierungs- oder Testbilder an.
    ​FEHLERBEHEBUNG: Wenn beim Zuschneiden ein Kragen, Ärmel, Saum oder Hosenbein entfernt wird, stellen Sie die ursprüngliche Anmerkung wieder her und vergrößern Sie den Rand der beibehaltenen Grenze. Wenn ein Kleidungsstück gestreckt erscheint, überprüfen Sie, ob vor der Größenänderung quadratisches Padding vorhanden ist. Wenn ein verarbeitetes Bild einen oder vier Kanäle enthält, konvertieren Sie die Quelldatei in 8-Bit-RGB und führen Sie die Vorverarbeitung erneut aus. Wenn doppelte Kennungen über Teildatensätze hinweg auftreten, erstellen Sie alle Teildatensatz-Manifeste vor dem Training neu.

3. Analyse der visuellen Komponenten und Erstellung von Wahrscheinlichkeitskarten mit beschränktem Vordergrund

  1. Führen Sie python tools/parse_components.py --config configs/protocol.yaml aus.
  2. Laden Sie den vortrainierten HRNet-W48-Kleidungs-Semantik-Parsing-Checkpoint aus parser_checkpoint. Überprüfen Sie, ob der Checkpoint die von der Datensatzannotation definierten Kleidungskomponenten-Kategorien ausgibt. Schalten Sie das semantische Parsing-Netzwerk in den Evaluierungsmodus und deaktivieren Sie die Gradientenberechnung.
  3. Lesen Sie die verarbeiteten Bilder nacheinander aus train_manifest.csv, validation_manifest.csv und test_manifest.csv ein.
  4. Extrahieren Sie einen siebenkanaligen semantischen Antworttensor aus jedem Eingabebild und setzen Sie K im gesamten Workflow auf sieben. Verwenden Sie die feste Kategorienreihenfolge Oberer Abschlussbereich, Halsausschnittbereich, Oberteilbereich, linker unterer Kleidungsbereich, rechter unterer Kleidungsbereich, mittlerer unterer Kleidungsbereich und Saumbereich. Bewahren Sie diese Reihenfolge in Wahrscheinlichkeitskarten, Komponentenmatrizen, Graphmatrizen, Merkmalenmatrizen, Manifesten und Visualisierungsdateien bei.
  5. Wenden Sie Softmax entlang der Kanaldimension an, um die semantische Komponenten-Wahrscheinlichkeitskarte P zu erzeugen. Überprüfen Sie, ob die Wahrscheinlichkeiten über alle K Kanäle hinweg an jedem Pixel innerhalb einer Toleranz von 0,0001 die Summe eins ergeben.
  6. Laden Sie die Vordergrundmaske des Kleidungsstücks aus der Datensatzannotation und richten Sie sie mit dem 512 × 512 verarbeiteten Bild aus. Setzen Sie die Wahrscheinlichkeit jeder Komponente außerhalb der Vordergrundmaske auf null. Normalisieren Sie die Komponentenwahrscheinlichkeiten innerhalb der Vordergrundmaske entlang der Kanaldimension erneut.
  7. Stellen Sie sicher, dass jeder aktive Komponentenbereich innerhalb der Vordergrundmaske des Kleidungsstücks bleibt. Weisen Sie die geparste Probe zurück, wenn ein farbiger Komponentenbereich in die umgebende Wand, den Boden, den Vorhang oder andere Hintergrundbereiche hineinreicht. Notieren Sie die Kennung des abgelehnten Bildes und den Parsedatenfehler in parsing_quality_log.csv.
  8. Berechnen Sie das Vordergrund-Abdeckungsverhältnis für jede Komponente und markieren Sie Komponenten mit fragmentierten Bereichen oder nicht unterstützten isolierten Flächen zur manuellen Überprüfung.
  9. Speichern Sie den semantischen Antworttensor in parser_outputs/logits. Speichern Sie die Wahrscheinlichkeitskarte in parser_outputs/probability_maps. Speichern Sie eine farbkodierte Komponentenvorschau in parser_outputs/previews.
  10. Erwartete Ausgabe: Bestätigen Sie, dass jedes akzeptierte Bild eine siebenkanalige, auf den Vordergrund beschränkte Wahrscheinlichkeitskarte mit einer räumlichen Größe von 512 × 512 Pixeln, einen siebenkanaligen semantischen Antworttensor und ein Vorschaubild erzeugt. Bestätigen Sie, dass die Kanalindizes eins bis sieben der festgelegten Komponentenreihenfolge aus Schritt 3.4 folgen. Bestätigen Sie, dass alle farbigen Komponentenbereiche innerhalb der Vordergrundmaske des Kleidungsstücks liegen und Hintergrundpixel die Komponentenwahrscheinlichkeit null aufweisen. Bestätigen Sie, dass die Dateikennung mit dem entsprechenden Eintrag im Quellmanifest übereinstimmt.
    ANMERKUNG: Behalten Sie kontinuierliche Komponentenwahrscheinlichkeiten innerhalb der Vordergrundmaske während der strukturellen Modellierung bei. Behandeln Sie die resultierenden Bereiche als visuelle Analysebereiche. Interpretieren Sie deren Grenzen nicht als Nähte, Schnittkanten, Konturen von Schnittteilen, Abnäher, Markierungen oder Größenstaffelungsreferenzen.
    ​FEHLERBEHEBUNG: Wenn alle Kanäle nahezu gleichmäßige Wahrscheinlichkeiten aufweisen, überprüfen Sie parser_checkpoint, die Reihenfolge der RGB-Kanäle und die Bildnormalisierung. Wenn eine Komponente in einer gesamten Teilmenge fehlt, vergleichen Sie den Annotationsindex mit dem Kanalindex der Parserausgabe. Wenn Komponentenfarben in den Hintergrund hineinreichen, überprüfen Sie die Ausrichtung der Vordergrundmaske, die Interpolationsparameter und die Koordinaten der Annotation vor der Graphkonstruktion. Wenn ein visueller Bereich mehrere nicht zusammenhängende Kleidungsbereiche umfasst, kennzeichnen Sie die Probe als Parsing-Fehler und schließen Sie sie von der Generierung struktureller Vorgaben aus. Wenn sich die Kanalwahrscheinlichkeiten nicht zu eins summieren, wenden Sie Softmax entlang der Kanaldimension anstatt entlang einer der räumlichen Dimensionen an. Wenn eine Ausgabedatei fehlt, suchen Sie die letzte verarbeitete Kennung im Parser-Protokoll und setzen Sie das Parsing mit der nächsten Kennung fort.

4. Modellierung der Geometrie und räumlichen Beziehungen auf Ebene von Bilddaten

  1. Laden Sie den Tensor der flachen visuellen Merkmale und die entsprechende Wahrscheinlichkeitskarte P für jedes Bild.
  2. Multiplizieren Sie jeden räumlichen Merkmalsvektor mit der Wahrscheinlichkeit, die der entsprechenden semantischen Komponente zugewiesen ist.
  3. Summieren Sie die gewichteten Merkmalsvektoren über die räumlichen Dimensionen und dividieren Sie die Summe durch die gesamte Wahrscheinlichkeitsmasse der Komponente.
  4. Weisen Sie jeder Komponente mit einer Wahrscheinlichkeitsmasse von null einen Nullvektor und einen Inaktivknoten-Indikator zu.
  5. Wenden Sie L2-Normalisierung auf jedes aktive Komponenten-Embedding an und stapeln Sie die Embeddings gemäß der festgelegten Reihenfolge der semantischen Komponenten.
  6. Berechnen Sie die horizontalen und vertikalen Bildebenen-Mittelpunktkoordinaten jeder visuellen Komponente aus ihrer vordergrundbeschränkten Wahrscheinlichkeitsverteilung. Normalisieren Sie die Koordinaten durch Bildbreite und Bildhöhe.
  7. Berechnen Sie die horizontale und vertikale Ausdehnung jeder visuellen Komponente im selben normalisierten Koordinatensystem. Verwenden Sie diese Werte ausschließlich zur Beschreibung des sichtbaren Bereichsumfangs im verarbeiteten Bild.
  8. Erstellen Sie sieben Graphknoten gemäß der festgelegten Komponentenreihenfolge und behalten Sie inaktive Komponenten als Nullknoten bei. Konstruieren Sie eine 7 × 7-Matrix für gemeinsame Grenzen mithilfe des Acht-Nachbarn-Kontakts zwischen den Vordergrund-Komponentenmasken. Konstruieren Sie eine 7 × 7-Matrix für die vertikale Anordnung mithilfe der festgelegten Beziehungen von der oberen Zierleiste zur Halsausschnittregion, von der Halsausschnittregion zur Oberteilregion, von der Oberteilregion zu jeder Unterteilregion und von jeder Unterteilregion zur Saumregion. Speichern Sie jede gültige Beziehung in beiden Richtungen.
  9. Fügen Sie vor der Graphfaltung eine Selbstschleife für jeden aktiven Knoten hinzu und halten Sie Beziehungen, die mit inaktiven Knoten verbunden sind, auf null.
  10. Berechnen Sie die relative Mittelpunktsverschiebung und die relative räumliche Streuung zwischen jedem geordneten Paar semantischer Komponenten. Stapeln Sie die paarweisen geometrischen Werte, um den geometrischen Beziehungstensor zu bilden.
  11. Berechnen Sie das Skalarprodukt zwischen jedem Paar normalisierter Komponenten-Embeddings. Wenden Sie eine zeilenweise Softmax-Funktion auf die resultierende Ähnlichkeitsmatrix an und verwenden Sie die Werte als Beziehungsgewichte.
  12. Multiplizieren Sie den geometrischen Beziehungstensor mit den entsprechenden Beziehungsgewichten und aggregieren Sie die gewichteten Beziehungen für jede Komponente.
  13. Speichern Sie die Komponenten-Embedding-Matrix, die Komponenten-Mittelpunkt-Matrix, die räumliche Streuungsmatrix, die gemeinsame Grenzmatrix, die vertikale Anordnungsmatrix, die Selbstschleifenmatrix, die Beziehungsgewichtsmatrix, die Inaktivknotenmaske, die Komponenten-Beschriftungszuordnung und die strukturelle Prior-Darstellung in structural_priors. Speichern Sie jede Matrix mit sieben Zeilen und sieben Spalten, wo zutreffend. Der vollständige Konstruktionsprozess von der vordergrundbeschränkten Komponentenkarte zur bildweiten Topologie-Prior der Bekleidungskomponenten ist in Abbildung 2 dargestellt.
  14. Generieren Sie die Komponenten-Graph-Überlagerung für jede Visualisierungsprobe aus der vordergrundbeschränkten Wahrscheinlichkeitskarte, der Komponenten-Mittelpunkt-Matrix, der typisierten Adjazenzmatrix, der Inaktivknotenmaske und der Komponenten-Beschriftungszuordnung.
  15. Platzieren Sie jeden aktiven Knoten im entsprechenden Komponentenmittelpunkt. Zeichnen Sie durchgezogene Kanten für gemeinsame Vordergrundgrenzen und gestrichelte Kanten für vordefinierte vertikale Anordnungsbeziehungen.
  16. Speichern Sie jede Graph-Überlagerung im Ordner structural_priors/visualizations unter Verwendung der Quellbildkennung. Notieren Sie den Pfad des Quellbilds, den Pfad der Wahrscheinlichkeitskarte, den Pfad des Komponentenmittelpunkts, den Pfad der typisierten Adjazenz, den Pfad der Inaktivknotenmaske, die Kennung des semantischen Parsing-Prüfpunkts und den Pfad der Graph-Überlagerung in der Datei component_graph_visualization_manifest.csv.
  17. Erwartete Ausgabe: Stellen Sie sicher, dass jedes Bild eine Komponenten-Embedding-Matrix mit K Zeilen, eine typisierte Adjazenzmatrix mit K Zeilen und K Spalten, eine Beziehungsgewichtsmatrix mit K Zeilen und K Spalten, eine Inaktivknotenmaske mit K Werten sowie eine bildweite strukturelle Prior-Darstellung erzeugt. Stellen Sie sicher, dass jede ausgewählte Visualisierungsprobe eine Komponenten-Graph-Überlagerung erzeugt, bei der sich aktive Knoten innerhalb der entsprechenden Bekleidungsregionen befinden.
    HINWEIS: Behalten Sie dieselbe Reihenfolge der visuellen Komponenten in allen Matrizen, Manifesten, Graphen, Merkmalsdateien und Graph-Überlagerungen bei. Behandeln Sie Komponentenmittelpunkte, Werte der räumlichen Ausdehnung und Graphbeziehungen als Beschreiber von Bekleidungsregionen in der Bildfläche. Interpretieren Sie den Komponentengraphen nicht als menschliches Haltungsgerüst und leiten Sie seine Knoten nicht aus anatomischen Gelenkkoordinaten ab. Konvertieren Sie diese Beschreiber nicht in Nähtlängen, Krümmungsradien, Abnähermenge, Positionen von Markierungsschnitten, Faserrichtungen, Größenstaffelungszuwächse oder Schnittteilmassen.
    ​FEHLERBEHEBUNG: Falls eine Matrix einen nicht-numerischen Wert enthält, überprüfen Sie den Nenner der Wahrscheinlichkeitsmasse und die Normalisierung der Koordinaten. Falls sich die Beziehungsgewichte auf eine einzige Komponente konzentrieren, subtrahieren Sie vor der Softmax-Funktion das Zeilenmaximum von der Ähnlichkeitsmatrix. Falls die Anzahl der Graphknoten zwischen den Bildern variiert, überprüfen Sie, ob inaktive Komponenten als Nullvektoren erhalten bleiben und nicht entfernt werden.

5. Strukturabhängige Merkmalscodierung mit zwei Datenströmen

  1. Laden Sie die auf ImageNet vortrainierten ResNet-50-Gewichte und entfernen Sie die abschließenden Pooling- und Klassifizierungsschichten.
  2. Leiten Sie jedes normalisierte Bekleidungsbild durch ResNet-50 und extrahieren Sie den Erscheinungstensor aus der durch appearance_stage in configs/protocol.yaml festgelegten Backbone-Stufe. Überprüfen Sie den Stufennamen, die Anzahl der Ausgangskanäle und die räumlichen Ausgangsdimensionen, die von der ausgewählten Backbone-Stufe für ein Eingangsbild von 512 x 512 Pixeln erzeugt werden. Verwenden Sie dieselbe Stufe bei jedem Training, bei jeder Inferenz, jeder Ablationsstudie und jedem Vergleich.
  3. Ändern Sie die Größe der semantischen Wahrscheinlichkeitskarte auf die räumliche Größe des Erscheinungstensors durch bilineare Interpolation. Multiplizieren Sie den Erscheinungstensor mit jeder umgrößerten Komponenten-Wahrscheinlichkeitskarte und aggregieren Sie anschließend die gewichteten Antworten über die räumlichen Dimensionen.
  4. Leiten Sie jedes Erscheinungsembettung der Komponenten durch die in configs/protocol.yaml definierte Kanal-Nachkalibrierungsschicht. Notieren Sie den Schichttyp, die Eingangsdimension, die Ausgangsdimension, das Reduktionsverhältnis, die Aktivierungsfunktion und die Regel zur Parameterfreigabe. Stapeln Sie die resultierenden sieben Komponentenvektoren in der festgelegten semantischen Reihenfolge, um die Erscheinungsmerkmal-Matrix zu bilden.
  5. Leiten Sie jeden geometrischen Beziehungsvektor durch die strukturelle Projektionsschicht und setzen Sie die Ausgangsdimension auf 512. Erstellen Sie den Komponentengraphen mit der Relations-Gewichtungsmatrix und der Maske für inaktive Knoten.
  6. Wenden Sie zwei graphenförmige Faltungsschichten mit einer Eingangsdimension von 512 und einer Ausgangsdimension von 512 an. Wenden Sie nach jeder graphenförmigen Faltungsschicht Batch-Normalisierung und anschließend LeakyReLU an. Notieren Sie den von LeakyReLU verwendeten Negativ-Steigungswert. Wenden Sie nach jeder Schicht die Maske für inaktive Knoten an, um Nullmerkmale für inaktive Komponenten beizubehalten.
  7. Wenden Sie die semantische Ausrichtung mit den normalisierten Komponentenembettungen an und stapeln Sie die resultierenden Vektoren, um die strukturelle Merkmal-Matrix zu bilden.
  8. Erwartete Ausgabe: Stellen Sie sicher, dass jedes Bild eine Erscheinungsmerkmal-Matrix und eine strukturelle Merkmal-Matrix erzeugt. Bestätigen Sie, dass beide Matrizen K Zeilen und 512 Spalten enthalten.
    HINWEIS: Behalten Sie inaktive Komponenten als Nullvektoren bei und bewahren Sie die Reihenfolge der Komponenten, die während der Konstruktion des strukturellen Priors festgelegt wurde.
    FEHLERBEHEBUNG: Falls die beiden Merkmal-Matrizen unterschiedliche Zeilenzahlen aufweisen, überprüfen Sie die Zuordnung der semantischen Kategorien und die Behandlung inaktiver Knoten. Falls bei der Matrixmultiplikation ein Dimensionsfehler gemeldet wird, überprüfen Sie, ob die Ausgangsdimension der strukturellen Projektion und die Dimensionen der Erscheinungskanäle beide 512 betragen. Falls die strukturellen Merkmale für alle aktiven Komponenten Null bleiben, überprüfen Sie, ob die Graphkanten und Relationsgewichte dem aktuellen Batch hinzugefügt wurden.

6. Strukturgeleitete Merkmalsfusion

  1. Wenden Sie die strukturgeführte Merkmalsfusion gemäß Abbildung 3 an. Leiten Sie die strukturelle Merkmalsmatrix durch die Fusion-Gewichtungsschicht und wenden Sie die Aktivierungsfunktion an, die in configs/protocol.yaml unter fusion_activation festgelegt ist. Notieren Sie den Namen der Aktivierungsfunktion, die Eingabedimension, die Ausgabedimension sowie die Angabe, ob Parameter über die sieben Komponenten-Knoten hinweg geteilt werden.
  2. Stellen Sie sicher, dass die generierte strukturelle Gewichtungsmatrix K Zeilen und 512 Spalten enthält.
  3. Multiplizieren Sie die Erscheinungsmerkmalsmatrix elementweise mit der strukturellen Gewichtungsmatrix.
  4. Konkatenieren Sie die modulierte Erscheinungsmatrix und die strukturelle Merkmalsmatrix entlang der Kanaldimension.
  5. Konkatenieren Sie für jede Komponente den 512-dimensionalen modulierten Erscheinungsvektor und den 512-dimensionalen strukturellen Vektor, um einen 1024-dimensionalen Vektor zu bilden. Leiten Sie den konkatenierten Vektor durch die Fusion-Projektionsschicht und reduzieren Sie seine Dimension von 1024 auf 512.
  6. Addieren Sie die ursprüngliche strukturelle Merkmalsmatrix zur projizierten Matrix über eine Residualverbindung.
  7. Stapeln Sie die fusionierten Komponentenvektoren in fester semantischer Reihenfolge und wenden Sie L2-Normalisierung auf die abgeflachte strukturbewusste Darstellung an.
  8. Speichern Sie die strukturelle Gewichtungsmatrix, die modulierte Erscheinungsmatrix, die fusionierte Komponentenmatrix und die endgültige strukturbewusste Darstellung in feature_outputs.
  9. Erwartete Ausgabe: Stellen Sie sicher, dass jedes Bild genau eine fusionierte Komponentenmatrix mit K Zeilen und 512 Spalten sowie einen normalisierten strukturbewussten Merkmalsvektor erzeugt, der mit der Quellbild-ID verknüpft ist.
    HINWEIS: Behalten Sie die strukturelle Gewichtungsmatrix und die fusionierte Komponentenmatrix zur Visualisierung der Antwort und zur Analyse lokaler Unterschiede bei.
    ​FEHLERBEHEBUNG: Wenn die fusionierten Werte weiter ansteigen, überprüfen Sie die Ausgabe der Aktivierungsfunktion und die Normalisierungsschicht. Wenn alle strukturellen Gewichte gegen denselben Wert konvergieren, stellen Sie sicher, dass sich die strukturellen Merkmale zwischen den Bildern unterscheiden und dass die Fusionsschicht Gradienten erhält. Falls Merkmalsdateien und Bild-IDs nicht übereinstimmen, erstellen Sie das Ausgabemanifest vor dem Training oder der Retrieval-Auswertung erneut.

7. Modelltraining und Konsistenzoptimierung

  1. Laden Sie die fünf zufälligen Startwerte aus configs/seeds.yaml. Legen Sie für jeden Durchlauf denselben Zufallsstartwert für Python, NumPy, PyTorch-CPU-Operationen und alle CUDA-Geräte fest. Aktivieren Sie deterministische Algorithmen, deaktivieren Sie den cuDNN-Benchmark-Modus und protokollieren Sie die exakten fünf Startwerte im entsprechenden Ausführungsverzeichnis.
  2. Laden Sie das verarbeitete Trainingsmanifest, das Paarmanifest, die Wahrscheinlichkeitskarten und die strukturellen Priors.
  3. Stellen Sie jeden Trainingsbatch aus acht strukturellen Kategorien zusammen, wobei jeweils vier erscheinungsvariable Proben aus jeder Kategorie enthalten sind.
  4. Berechnen Sie den strukturellen Konsistenzverlust anhand von positiven Stichprobenpaaren, die denselben strukturellen Prior teilen.
  5. Berechnen Sie den strukturellen Beziehungskonsistenzverlust anhand der paarweisen Abstände zwischen den Komponentenmerkmalen.
  6. Berechnen Sie den strukturellen Diskriminierungsverlust anhand von negativen Stichprobenpaaren mit heterogenen Strukturen und wenden Sie den Trennschwellenwert von 0,3 an.
  7. Kombinieren Sie das Erscheinungsziel, das strukturelle Konsistenzziel, das strukturelle Beziehungsziel und das strukturelle Diskriminierungsziel mit den in configs/protocol.yaml gespeicherten Gewichtungen. Der durch die drei strukturellen Ziele gesteuerte Optimierungsprozess im Merkmalsraum ist in Abbildung 4 dargestellt.
  8. Führen Sie python train.py --config configs/protocol.yaml aus. Aktualisieren Sie alle trainierbaren Parameter mittels Mini-Batch-Stochastic-Gradient-Descent unter Verwendung der in Schritt 1.8 definierten Anfangslernrate, des Impulses, der Gewichtsreduzierung, der Epochenanzahl, des Abnahmefaktors und der Abnahmeepochen. Protokollieren Sie die Lernrate nach jeder Epoche im Trainingsprotokoll.
  9. Protokollieren Sie nach jeder Epoche den Gesamtverlust, den Erscheinungsverlust, den strukturellen Konsistenzverlust, den strukturellen Beziehungsverlust, den strukturellen Diskriminierungsverlust, die Lernrate, den Structural Consistency Index (SCI), den Structural Discrimination Index (SDI) und Recall@5.
  10. Bewerten Sie das Modell nach jeder Epoche anhand von validation_manifest.csv. Speichern Sie den Checkpoint mit dem höchsten Validierungs-SCI in checkpoints/selected_model.pth.
  11. Wiederholen Sie das Training fünfmal mit den fünf aufgezeichneten Zufallsstartwerten. Speichern Sie jede Konfigurationsdatei, jedes Trainingsprotokoll und jeden ausgewählten Checkpoint in einem separaten Ausführungsverzeichnis.
  12. Erwartete Ausgabe: Stellen Sie sicher, dass jeder Durchlauf ein Trainingsprotokoll, ein Validierungsprotokoll, eine metrische Datei auf Epochen-Ebene und einen ausgewählten Checkpoint erzeugt. Stellen Sie sicher, dass der ausgewählte Checkpoint auf der Validierungsleistung und nicht auf der Testleistung basiert.
    HINWEIS: Verwenden Sie bei jedem Modellvergleich und jeder Ablationsexperimentierung dieselben Trainings-, Validierungs- und Testmanifeste.
    ​FEHLERBEHEBUNG: Wenn ein Verlust nicht-numerisch wird, stoppen Sie das Training, überprüfen Sie die Komponenten-Wahrscheinlichkeitsmassen, reduzieren Sie die Lernrate um den Faktor 10 und starten Sie erneut vom letzten gültigen Checkpoint. Wenn der Validierungs-SCI unverändert bleibt, während der Trainingsverlust abnimmt, überprüfen Sie, ob die Parameter für Graph-Propagation und Fusion Gradienten erhalten. Wenn der Grafikspeicher erschöpft ist, reduzieren Sie die Batchgröße und bewahren Sie eine effektive Batchgröße von 32 durch Gradientenakkumulation. Wenn sich die Validierungsleistung zwischen den Durchläufen stark ändert, überprüfen Sie den aufgezeichneten Zufallsstartwert und die Reihenfolge des Datenmanifests.

8. Inferenz, Rückgewinnung, Clusterung und Ausgabeverifikation

  1. Führen Sie python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth aus. Generieren Sie Wahrscheinlichkeitskarten, strukturelle Priors, Erscheinungsmerkmal-Matrizen, strukturelle Merkmal-Matrizen, fusionierte Komponenten-Matrizen und finale Merkmalsvektoren für jedes Testbild.
  2. Speichern Sie alle Inferenzausgaben unter feature_outputs/test und notieren Sie deren Pfade in test_feature_manifest.csv. Berechnen Sie die Kosinus-Ähnlichkeit zwischen jedem Abfragemerkmal und allen Galeriemerkmalen. Sortieren Sie die Galerie-Identifikatoren in absteigender Ähnlichkeitsreihenfolge. Speichern Sie die fünf am höchsten bewerteten Ergebnisse für jede Abfrage in evaluation_results/retrieval_results.csv.
  3. Laden Sie für jede zur Visualisierung ausgewählte Abrufstichprobe die typisierte Adjazenzmatrix, die Relationsgewichtungsmatrix, die Komponentenmittelpunkt-Matrix, die Inaktivknotenmaske, die Komponentenlabelzuordnung und die fusionierte Komponentenmatrix des Abfragebilds. Laden Sie dieselben Dateien für das vom strukturbewussten Modell erzeugte bestplatzierte Ergebnis.
  4. Stellen Sie den Komponentengraphen der Abfrage und den Komponentengraphen des abgerufenen Bildes anhand ihrer gespeicherten Komponentenmittelpunkte und typisierten Adjazenzmatrizen dar. Bewahren Sie die feste Komponentenreihenfolge und die Relationstypen bei, die während der Modellinferenz verwendet wurden.
  5. Stellen Sie die typisierte Adjazenzmatrix der Abfrage als kategoriale Matrix dar. Verwenden Sie separate Matrixwerte für inaktive, gemeinsame Grenzen und vertikale Ordnungsrelationen. Beschriften Sie die horizontale und vertikale Achse mit den in der Komponentenlabelzuordnung gespeicherten Komponentenidentifikatoren.
  6. Wenden Sie L2-Normalisierung auf die fusionierte Komponentenmatrix der Abfrage und die fusionierte Komponentenmatrix des abgerufenen Bildes an. Berechnen Sie die Kosinus-Ähnlichkeit zwischen jeder Abfragekomponente und jeder Komponente des abgerufenen Bildes. Speichern Sie die resultierende K × K-Komponenten-Zuordnungsmatrix unter evaluation_results/structural_retrieval_evidence.
  7. Laden Sie für jedes zur lokalen Differenzanalyse ausgewählte Referenz-Ziel-Paar die typisierte Adjazenzmatrix, die Komponentenmittelpunkt-Matrix, die räumliche Dispersionsmatrix, die Relationsgewichtungsmatrix und die fusionierte Komponentenmatrix beider Bilder.
  8. Berechnen Sie die absolute Differenz zwischen den beiden typisierten Adjazenzmatrizen. Berechnen Sie die absoluten Differenzen in der Verschiebung der Komponentenmittelpunkte, der räumlichen Dispersion und der Relationsgewichte unter Verwendung der festen Komponentenreihenfolge. Speichern Sie die resultierende Topologie-Differenzmatrix und die Geometrie-Relations-Differenzmatrix unter evaluation_results/structural_difference_evidence.
  9. Berechnen Sie den L2-Abstand zwischen den entsprechenden Zeilen der beiden fusionierten Komponentenmatrizen. Normalisieren Sie die komponentenbasierten Abstände und weisen Sie sie den Knoten des Zielkomponentengraphen zu. Erhöhen Sie die Kantendicke entsprechend der normalisierten Differenz im Relationsgewicht. Speichern Sie den resultierenden Post-Fusion-Komponenten-Differenzgraphen.
  10. Notieren Sie die Bildidentifikatoren, Matrixpfade, Graphpfade, Komponentenreihenfolge, Checkpoint-Identifikator und Visualisierungsausgabepfade in structural_visualization_manifest.csv. Generieren Sie alle strukturellen Visualisierungen programmatisch aus den aufgezeichneten Dateien; fügen Sie keine Graphknoten, Graphkanten oder Matrixwerte manuell hinzu.
  11. Wenden Sie K-Means mit fünf Clustern auf die finalen Merkmalsvektoren an und speichern Sie die Clusterzuweisungen in evaluation_results/cluster_assignments.csv. Führen Sie python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test aus.
  12. Berechnen Sie SCI, SDI, Recall@5, mittlere durchschnittliche Präzision (mAP) und den Silhouettenkoeffizienten für jeden Durchlauf. Verwenden Sie SCI zur Beurteilung der Kompaktheit normalisierter Merkmale mit gleichem strukturellem Label und SDI zur Beurteilung der Trennung zwischen verschiedenen strukturellen Labels. Verwenden Sie Recall@5, um zu prüfen, ob eine relevante strukturelle Übereinstimmung in der kurzen Abrufliste erscheint, und mAP zur Beurteilung der Rangqualität über die gesamte Galerie. Verwenden Sie den Silhouettenkoeffizienten ausschließlich für die Clusteranalyse.
  13. Berechnen Sie das arithmetische Mittel und die Stichprobenstandardabweichung über fünf unabhängige Durchläufe. Behalten Sie die fünf durchlaufbasierten Werte für jede Methode und Metrik bei. Wenden Sie keine Min-Max-Normalisierung, Rangnormalisierung oder Umrechnung basierend auf den zu vergleichenden Methoden an. Führen Sie einen gepaarten t-Test mit Ergebnissen durch, die unter demselben Zufallsstartwert erzielt wurden, und notieren Sie die Teststatistik und den exakten zweiseitigen Signifikanzwert.
  14. Vergleichen Sie die Anzahl der verarbeiteten Testidentifikatoren, Merkmalsdateien, Abrufdatensätze und Clusterzuweisungen. Beheben Sie alle Unstimmigkeiten, bevor Sie die Evaluierungsergebnisse berichten oder interpretieren.
  15. Erwartete Ausgabe: Stellen Sie sicher, dass jedes Testbild einen vollständigen Inferenzdatensatz, eine Abrufliste, eine Clusterzuweisung und einen Satz Evaluierungseingaben besitzt. Stellen Sie sicher, dass jeder zur Visualisierung ausgewählte Abrufvorgang einen Abfragekomponentengraphen, einen Komponentengraphen des abgerufenen Bildes, eine typisierte Adjazenzmatrix und eine Korrespondenzmatrix der fusionierten Komponenten aufweist.
  16. Stellen Sie sicher, dass jeder strukturelle Differenzfall eine Topologie-Differenzmatrix, eine Geometrie-Relations-Differenzmatrix, einen Post-Fusion-Komponenten-Differenzgraphen, eine räumliche Differenz-Heatmap und eine Antwortüberlagerung besitzt. Stellen Sie sicher, dass alle Visualisierungsdateien über structural_visualization_manifest.csv mit ihren Quellmatrizen verknüpft sind. Speichern Sie die reine Heatmap, die Zielbildüberlagerung, die Vordergrundmaske und die Koordinaten des Bereichs mit der höchsten Antwort für jeden visualisierten Fall.
  17. Akzeptieren Sie eine berechnete Differenzantwort nur, wenn der dominante Bereich mit hoher Antwort mit dem Bekleidungsvordergrund überlappt und durch die entsprechende Änderung in der typisierten Adjazenz, der geometrischen Relationsänderung und dem Post-Fusion-Komponentenabstand gestützt wird. Wenn die stärkste Antwort hauptsächlich außerhalb des Bekleidungsvordergrunds liegt, überprüfen Sie die Parsing-Ausgabe, den Komponentengraphen und den Fusionseintrag.
    HINWEIS: Verwenden Sie den aus dem Validierungsset ausgewählten Checkpoint für die Inferenz auf dem Testset. Wählen oder ersetze Sie keinen Checkpoint basierend auf Testset-Metriken. Verwenden Sie dieselbe Komponentenreihenfolge, Inaktivknotenregel, Kodierung der Relationstypen und Normalisierungsprozesse beim Generieren von Graphen und Matrizen während Inferenz und Visualisierung.
    ​FEHLERBEHEBUNG: Wenn die Inferenz stoppt, bevor alle Testbilder verarbeitet wurden, suchen Sie den letzten Identifikator im Inferenzprotokoll und setzen Sie ab dem folgenden Identifikator fort. Wenn die Abrufergebnisse von Farbähnlichkeit dominiert werden, überprüfen Sie die strukturellen Priors und Fusionsausgaben und stellen Sie sicher, dass das Laden des Checkpoints erfolgreich war. Wenn die Evaluierung doppelte Identifikatoren meldet, erstellen Sie test_feature_manifest.csv neu und entfernen Sie doppelte Einträge vor der Neuberechnung. Wenn K-Means einen leeren Cluster erzeugt, überprüfen Sie die Merkmalsnormalisierung und führen Sie das Clustering mit dem aufgezeichneten Zufallsstartwert erneut durch.

9. Vergleichende Modellbewertung

  1. Führen Sie python compare_models.py --config configs/protocol.yaml aus.
  2. Trainieren und evaluieren Sie ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Topology Feature Histogram mit Farb- und Texturfusion, Attention-Guided Cascade Network, MMFL-Net, FARE-RNET und die vorgeschlagene Methode mit denselben Trainings-, Validierungs- und Testmanifesten.
  3. Verwenden Sie für jede Methode dieselbe Bildgröße, dieselben Vorverarbeitungsschritte, Trainingsepochen, effektive Batch-Größe, Evaluierungsanfragen und Metrikimplementierung.
  4. Behalten Sie für ResNet-50 den globalen Durchschnittspooling bei. Wenden Sie bei PCB die horizontale Streifenausrichtung an. Verwenden Sie bei GCN einen festen bildweiten Bekleidungsgraphen. Wenden Sie bei FashionGraph die attributgesteuerte dynamische Graphinferenz an. Nutzen Sie die Standard-Bildencoder von Swin Transformer und CLIP. Implementieren Sie das Topology Feature Histogram mit Farb- und Texturfusion unter Verwendung von Topologie-, Farb- und Texturdeskriptoren. Implementieren Sie ein Attention-Guided Cascade Network unter Verwendung von globalen und lokalen Merkmalszweigen mit Bekleidungssegmentierung. Implementieren Sie MMFL-Net unter Verwendung von mehrskaligen und mehrgranularen Merkmalszweigen. Implementieren Sie FARE-RNET unter Verwendung von residueller Aufmerksamkeit, Merkmalsauswahl und dilatierter kontextueller Kodierung.
  5. Verwenden Sie nur den Bild-Anfrage-Zweig jeder Vergleichsmethode. Trainieren Sie jede trainierbare Methode erneut auf dem gemeinsamen Trainingsmanifest und wählen Sie den jeweiligen Checkpoint aus dem gemeinsamen Validierungsmanifest aus. Generieren Sie für jede Testanfrage eine ranggeordnete Galerieliste.
  6. Projizieren Sie jedes gelernte Embedding mithilfe einer registrierten trainierbaren linearen Schicht auf 512 Dimensionen, falls die ursprüngliche Dimension davon abweicht. Wenden Sie L2-Normalisierung vor der Rangfolge nach Kosinusähnlichkeit an. Verwenden Sie für alle Methoden dieselbe Zuweisung von Anfrage und Galerie sowie dieselbe Metrikimplementierung.
  7. Wiederholen Sie jede Vergleichsmethode mit denselben fünf zufälligen Startwerten. Geben Sie den Mittelwert und die Stichprobenstandardabweichung von SCI, SDI, Recall@5, mAP und Silhouettenkoeffizient an. Führen Sie für jede Metrik einen zweiseitigen gepaarten t-Test zwischen der vorgeschlagenen Methode und jeder Vergleichsmethode durch, wobei die Ergebnisse unter demselben zufälligen Startwert verwendet werden. Tragen Sie die fünf wertebasierten Laufzeiten, Teststatistik, Freiheitsgrade und exakten p-Werte in evaluation_results/comparison_metrics.csv ein.
  8. Berechnen Sie SCI, SDI, Recall@5, mAP und den Silhouettenkoeffizienten für jede Methode. Speichern Sie alle wertebasierten und aggregierten Werte in evaluation_results/comparison_metrics.csv.
  9. Erwartete Ausgabe: Stellen Sie sicher, dass comparison_metrics.csv dieselben Metrikfelder und dieselbe Anzahl unabhängiger Durchläufe für jede Vergleichsmethode enthält.
    HINWEIS: Ändern Sie nicht die Datenaufteilungen, den Metrikcode oder die Zuweisung von Anfrage und Galerie zwischen den Vergleichsmethoden.
    FEHLERBEHEBUNG: Falls ein Vergleichsmodell eine Merkmalsdimension liefert, die von 512 abweicht, fügen Sie eine einzelne registrierte lineare Projektionsschicht vor der Metrikberechnung hinzu und trainieren Sie diese Schicht zusammen mit dem entsprechenden Modell. Falls ein Modell bei der gemeinsamen Lernrate nicht konvergiert, verwenden Sie die Lernrate gemäß der veröffentlichten Implementierung und behalten Sie alle übrigen experimentellen Bedingungen bei. Dokumentieren Sie jede methode-spezifische Einstellung im Vergleichsprotokoll.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Ergebnisse

Alle beschriebenen Experimente wurden mithilfe der in Tabelle 2 und der Materialtabelle dokumentierten Hardware- und Softwareumgebung durchgeführt. Derselbe Grafiktreiber sowie dieselben Versionen von CUDA, cuDNN, Python, NumPy, PyTorch und torchvision wurden während der gesamten Vorverarbeitung, des Trainings, der Inferenz und der Auswertung verwendet. Die vollständige Hardware- und Softwareumgebung ist in Tabelle 2 und der Materialtabelle zusammengefas...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Diskussion

Die kritischsten Protokollschritte sind die textilerhaltende Vorverarbeitung und die semantische Segmentierung der Komponenten mit Beschränkung auf den Vordergrund. Komponentenzentren, räumliche Streuwerte, gemeinsame Grenzbeziehungen, vertikale Reihenfolgebeziehungen, Beziehungsgewichtungen und fusionierte Darstellungen werden alle aus der Segmentierungsausgabe abgeleitet. Grenzleckagen, verschmolzene Komponentenbereiche, fehlende Komponentenbereiche und falsche Kanalzuweisungen pflanzen sich durch die Graphkonstruktion...

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Offenlegungen

Die Autoren haben keine Interessenkonflikte anzugeben.

Danksagungen

Diese Arbeit wurde unterstützt durch die zweite Runde der provinzialen Schlüsselprojekte zur Lehrreform für Bachelorstudiengänge im Rahmen des 14. Fünfjahresplans, Projekt mit dem Titel Lehrreform und Erkundung des Studiengangs „Bekleidung und Bekleidungsdesign“ auf der Grundlage des gemeinsamen Aufbaumodells „Drei Integrationen, drei Fusionen“ (Projektnummer JGZD2024096).

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Materialien

Liste der in diesem Artikel verwendeten Materialien
NameUnternehmenKatalognummerKommentare
ZentraleinheitIntel CorporationIntel Core i9-13900K, 24 Kerne, 32 Threads, bis zu 5,80 GHz
CondaAnaconda, Inc., anaconda.comMiniconda3 23.11.0
CUDA ToolkitNVIDIA Corporation, developer.nvidia.comCUDA 11.8
cuDNNNVIDIA Corporation, developer.nvidia.comcuDNN 8.9.7
DeepFashion2-DatensatzDie Chinese University of Hong Kong, github.com/switchablenorms/DeepFashion2Offizielle DeepFashion2-Version, Version 1.0
GraphikprozessorNVIDIA CorporationNVIDIA GeForce RTX 4090, 24 GB GDDR6X
HRNet-W48-Semantischer Parsing-CheckpointHRNet-Projekt, github.com/HRNet/HRNet-Semantic-Segmentationhrnet_w48_garment_parser_7class.pth, Projekt-Checkpoint Version 1.0
ImageNet-vortrainierte ResNet-50-GewichtePyTorch Foundation, pytorch.orgResNet50_Weights.IMAGENET1K_V2
MatplotlibMatplotlib-Entwicklungsteam, matplotlib.orgVersion 3.8.2
NumPyNumPy-Entwickler, numpy.orgVersion 1.26.4
NVIDIA-GrafiktreiberNVIDIA CorporationVersion 546.33
OpenCV-PythonOpenCV-Team, opencv.orgVersion 4.8.1.78
BetriebssystemMicrosoft CorporationWindows 11 Pro 23H2, 64-Bit, OS Build 22631.3155
PandasPandas-Entwicklungsteam, pandas.pydata.orgVersion 2.1.4
PythonPython Software Foundation, python.orgVersion 3.10.13
PyTorchPyTorch Foundation, pytorch.orgVersion 2.1.2 mit CUDA 11.8
PyYAMLPyYAML-Projekt, pyyaml.orgVersion 6.0.1
scikit-learnscikit-learn-Entwickler, scikit-learn.orgVersion 1.3.2
SciPySciPy-Entwickler, scipy.orgVersion 1.11.4
Quellcode-RepositoryErgänzendes Quellcode-Archiv zur ManuskripteinreichungGarment Topology Protocol, Version 1.0
SpeichergerätSamsung ElectronicsSamsung 990 PRO NVMe SSD, 2 TB
ArbeitsspeicherKingston TechnologyKingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvisionPyTorch Foundation, pytorch.orgVersion 0.16.2 mit CUDA 11.8
WorkstationEigenentwickelte Deep-Learning-WorkstationIntel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB Speicher, 2 TB NVMe SSD

Referenzen

  1. Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
  2. Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
  3. Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
  4. Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
  5. Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
  6. Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
  7. Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
  8. Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
  9. Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
  10. Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
  11. Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
  12. Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
  13. Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
  14. An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
  15. Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
  16. Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
  17. Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
  18. Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
  19. Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
  20. Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
  21. Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
  22. Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
  23. Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
  24. Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
  25. Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
  26. Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
  27. Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
  28. Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
  29. Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
  30. Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
  31. Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
  32. Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
  33. Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
  34. Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
  35. Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
  36. Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
  37. Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
  38. Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
  39. Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
  40. Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
  41. Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
  42. de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
  43. Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.

Nachdrucke und Genehmigungen

Weitere Artikel entdecken

Bildsuche für Kleidungsstückestrukturelle KonsistenzDeepFashion2-BilderHRNet-W48-ParsingResNet-50-KodierungGraph-Konvolutionstruktureller VergleichDifferenzlokalisierung
Kontaktieren Sie uns
Der Bibliothek empfehlen

Datenschutz

Nutzungsbedingungen

Richtlinien

Urheberrecht © 2026 MyJoVE Corporation. Alle Rechte vorbehalten.