Un protocollo di apprendimento delle caratteristiche d'immagine basato sulla topologia dei componenti dell'indumento a livello di immagine per il recupero di riferimenti progettuali

Jianhui Kong; Sitong Ye; Hangming Xie; Yuying He

doi:10.3791/72103

Articolo metodologico

Un protocollo di apprendimento delle caratteristiche d'immagine basato sulla topologia dei componenti dell'indumento a livello di immagine per il recupero di riferimenti progettuali

29 visualizzazioni

⸱

DOI:

10.3791/72103

⸱

1 settembre 2026

Jianhui Kong¹ , Sitong Ye¹ , Hangming Xie¹ , Yuying He¹

¹Keyi College of Zhejiang Sci-Tech University

In questo articolo

Sommario

Questo protocollo genera rappresentazioni dei capi d'abbigliamento consapevoli della struttura, integrando l'analisi semantica dei componenti, la modellazione della topologia, la codifica delle caratteristiche a doppio flusso e la fusione guidata dalla struttura. Consente ai ricercatori nel campo della visione artificiale e dell'abbigliamento di effettuare il reperimento di capi e il confronto con riferimenti di design in base all'organizzazione dei componenti e alla silhouette, piuttosto che al colore o alla trama.

Abstract

I metodi di recupero delle immagini di abbigliamento spesso enfatizzano colore e trama, il che può portare a confusione tra capi che condividono un aspetto simile ma differiscono per la disposizione dei componenti. Questo studio presenta un protocollo di apprendimento delle caratteristiche consapevole dei componenti per il recupero di immagini di capi di abbigliamento e il confronto di riferimenti progettuali. Il protocollo analizza le regioni semantiche del capo, costruisce un grafo dei componenti del capo a livello di immagine, codifica in parallelo aspetto e relazioni tra componenti, e fonde entrambe le rappresentazioni utilizzando perdite legate alla coerenza strutturale, alla relazione strutturale e alla discriminazione strutturale. Le immagini di DeepFashion2 vengono standardizzate a 512 x 512 pixel, analizzate con HRNet-W48, codificate con ResNet-50 e convoluzione su grafi, e valutate mediante recupero strutturale e clustering. Il modello completo ha raggiunto un indice di coerenza strutturale di 0,81, un indice di discriminazione strutturale di 0,71, un Recall@5 del 89,2%, una precisione media su tutte le classi (mean average precision) del 86,4% e un coefficiente di siluetta di 0,74. Il protocollo consente il recupero della struttura del capo, il confronto strutturale e la localizzazione delle differenze quando l'aspetto superficiale non rappresenta in modo affidabile la costruzione del capo.

Introduzione

Con il progressivo integramento della visione artificiale e dell'intelligenza artificiale nel settore dell'abbigliamento, l'analisi delle immagini di capi d'abbigliamento si è gradualmente estesa da compiti di riconoscimento di base ad analisi orientate al design e al supporto decisionale¹^,². Nel processo di progettazione dell'abbigliamento, la distinzione tra schemi progettuali dipende maggiormente dalla composizione strutturale e dalle relazioni tra componenti piuttosto che da semplici differenze nell'aspetto, rendendo l'espressività strutturale delle caratteristiche delle immagini di abbigliamento un fattore chiave nell'efficacia dell'analisi assistita dal design³^,⁴. Tuttavia, la maggior parte dei metodi visivi esistenti si basa ancora su texture, colore e contorni globali come caratteristiche principali, rendendo difficile analizzare in modo sistematico le gerarchie dei capi e le differenze costruttive durante il processo di progettazione⁵^,⁶. Pertanto, lo sviluppo di un metodo di apprendimento delle caratteristiche delle immagini consapevole della struttura è fondamentale per migliorare l'oggettività e la coerenza dell'analisi del design⁷. Questo protocollo è indicato quando i capi d'abbigliamento condividono colori, texture o contorni globali simili ma differiscono nell'organizzazione dei componenti, nei modelli di connessione o nella disposizione spaziale. In tali condizioni, le rappresentazioni centrate sull'aspetto tendono a posizionare vicini nello spazio delle caratteristiche design strutturalmente diversi, riducendo l'affidabilità del recupero e del confronto tra progetti. Il protocollo affronta compiti in cui le relazioni tra i componenti del capo costituiscono la base principale per il recupero strutturale, la valutazione del design e l'analisi delle differenze localizzate.

Per quanto riguarda la scala dei dati, la complessità del modello e la diversità dei compiti, le attuali ricerche sull'analisi e comprensione automatica delle immagini di abbigliamento hanno compiuto notevoli progressi⁸^,⁹. Tuttavia, nelle applicazioni pratiche, le informazioni strutturali dei capi di abbigliamento sono spesso incluse in modo implicito nei risultati di segmentazione o rilevamento e non vengono considerate nella modellazione unificata della fase di apprendimento delle caratteristiche, causando una mancanza di distinzione stabile tra diversi design strutturali nello spazio delle caratteristiche¹⁰^,¹¹. Le relazioni spaziali, i vincoli gerarchici e le strutture topologiche tra i componenti del capo non sono codificati esplicitamente, rendendo difficile per le rappresentazioni delle caratteristiche riflettere le differenze strutturali a livello di design¹²^,¹³. L'assenza di una modellazione strutturale esplicita limita la granularità analitica e l'affidabilità delle decisioni basate sulle caratteristiche delle immagini di abbigliamento in scenari di supporto alla progettazione, costituendo un ostacolo significativo allo sviluppo di sistemi di design intelligenti dotati di una comprensione semantica più profonda¹⁴.

Per supportare l'apprendimento e l'analisi delle caratteristiche delle immagini di abbigliamento, studi precedenti hanno esplorato diverse direzioni tecnologiche¹⁵. I metodi di segmentazione semantica e di analisi dei capi d'abbigliamento hanno permesso una delimitazione fine delle regioni e dei componenti dei capi attraverso annotazioni a livello di pixel, fornendo una base per l'estrazione di informazioni strutturali¹⁶^,¹⁷. I metodi di recupero di capi d'abbigliamento basati su query immagine hanno integrato fusione di topologia e colore/texture, allineamento dell'attenzione globale e locale, analisi dei capi, rappresentazioni multiscala e multilivello, nonché attenzione residua con selezione delle caratteristiche. Questi metodi affrontano ricerche nel catalogo, abbinamento da consumatore a negozio, recupero di prodotti cross-domain e ricerca visiva nel commercio elettronico. I loro contesti applicativi sono strettamente legati al recupero di riferimenti per il design, poiché ciascun metodo ordina le immagini dei capi in base a una query visiva, anche se le loro rappresentazioni non conservano le relazioni di adiacenza tra componenti tipizzati e l'ordine verticale durante tutta la fusione delle caratteristiche¹⁸^,¹⁹^,²⁰. Nel frattempo, la ricerca in scenari di design e raccomandazione ha gradualmente introdotto fusione multimodale, modellazione delle relazioni e analisi dello stile, ampliando i confini applicativi delle caratteristiche visive dell'abbigliamento²¹^,²². Sebbene questi metodi abbiano compiuto progressi nei rispettivi compiti, le loro caratteristiche principali si basano ancora in larga misura su descrizioni dell'aspetto, e le informazioni strutturali non sono state modellate in modo uniforme come vincolo intrinseco per l'apprendimento delle caratteristiche, rendendo difficile soddisfare le esigenze di assistenza al design dell'abbigliamento in termini di allineamento strutturale e confronto strutturale²³.

Per affrontare la limitata capacità di differenziazione strutturale nell'assistenza alla progettazione di capi d'abbigliamento, questo articolo propone un metodo di apprendimento delle caratteristiche delle immagini basato sulla percezione della struttura del capo. Questo metodo incorpora i risultati dell'analisi del capo e informazioni chiave sulla struttura nella fase iniziale di input dell'immagine del capo, modellando congiuntamente le regioni dei componenti del capo, le relazioni spaziali e le connessioni gerarchiche. La codifica delle relazioni strutturali e l'allineamento delle caratteristiche visive integrano esplicitamente vincoli del capo nel processo di apprendimento delle caratteristiche, producendo una rappresentazione che preserva sia l'aspetto visivo sia la coerenza strutturale. Questa caratteristica descrive le differenze strutturali dei capi all'interno di uno spazio unificato, fornendo una base stabile per analisi successive di similarità strutturale, clustering strutturale e decisioni assistite nella progettazione, alleviando così il problema di confusione delle caratteristiche causato dalla mancanza di modellazione strutturale nei metodi esistenti. A differenza delle strategie generali di recupero visivo che trattano l'informazione strutturale come attributi ausiliari debolmente connessi, questo framework costruisce un meccanismo di modulazione delle caratteristiche centrato sulle relazioni topologiche. Il meccanismo favorisce una rappresentazione appresa che segue l'organizzazione visibile delle regioni del capo riducendo al contempo le risposte dominate dalla trama. Ogni nodo del grafo rappresenta una regione semantica a livello di immagine, e ogni relazione del grafo descrive un'adiacenza visibile o una posizione relativa normalizzata nel piano dell'immagine. L'embedding risultante supporta il confronto tra la disposizione dei componenti e l'organizzazione della sagoma in diverse immagini di capi. Queste regioni e relazioni non corrispondono a pezzi di cartamodelli, cuciture, punti di riferimento costruttivi o parametri di gradazione. Rispetto ai metodi di recupero basati sull'aspetto, il protocollo mantiene esplicitamente la topologia dei componenti durante l'intero processo di apprendimento delle caratteristiche, piuttosto che trattare l'informazione strutturale come risultato di un'analisi successiva. Rispetto agli approcci che introducono indizi strutturali soltanto come input ausiliari, la codifica a doppio flusso e la fusione coerente con la topologia preservano le relazioni geometriche riducendo al contempo le risposte dominate dalla trama. La rappresentazione risultante supporta il recupero della struttura del capo, il clustering strutturale, la selezione di riferimenti per la progettazione e l'analisi localizzata delle differenze di design, fornendo al contempo evidenze a livello di componente interpretabili all'interno del processo di progettazione del capo. La ricerca pertinente a questo protocollo comprende l'apprendimento delle caratteristiche nelle immagini di abbigliamento, la modellazione della struttura del capo, la rappresentazione consapevole della struttura e l'analisi visiva per l'assistenza alla progettazione dell'abbigliamento.

A livello di rappresentazione delle caratteristiche, la ricerca sulle immagini di abbigliamento si è a lungo concentrata sulla modellazione dell'aspetto, sull'estrazione di caratteristiche profonde e sulla rappresentazione multiscala²⁴^,²⁵. I primi lavori utilizzavano reti neurali convoluzionali per eseguire una modellazione end-to-end delle immagini di abbigliamento per compiti di classificazione, recupero e abbinamento di similarità²⁶^,²⁷. Successivamente, sono state introdotte la fusione di caratteristiche multiscala e l'apprendimento cross-domain per attenuare le differenze nelle immagini di abbigliamento in condizioni diverse di angolazione, posa e ripresa²⁸^,²⁹. Nei compiti di recupero, sono stati impiegati meccanismi di attenzione e strategie di compressione delle caratteristiche per migliorare la discriminatività delle caratteristiche e l'efficienza computazionale³⁰^,³¹. Questi metodi raggiungono una discriminazione dell'aspetto affidabile, ma i loro processi di apprendimento delle caratteristiche si concentrano ancora sull'informazione visiva globale e mancano di rappresentazioni sistematiche delle strutture interne dei capi d'abbigliamento³². I metodi di recupero di moda compositi combinano ulteriormente un'immagine di riferimento con istruzioni testuali di modifica, ma la loro modalità di interrogazione differisce dal protocollo basato esclusivamente su immagini analizzato in questo studio. Tali approcci vengono esaminati come direzione correlata nel recupero commerciale e non sono inclusi nel confronto quantitativo, poiché l'input testuale aggiuntivo impedirebbe una valutazione controllata basata esclusivamente sull'immagine.

Poiché l'analisi delle immagini di abbigliamento si è spostata dal riconoscimento dell'aspetto alla comprensione strutturale, la ricerca si è concentrata sempre di più sulla modellazione dei componenti dei capi, delle relazioni geometriche e delle connessioni topologiche³³. Le reti di segmentazione semantica hanno permesso un'analisi a livello di componente del capo d'abbigliamento attraverso la proiezione di caratteristiche e meccanismi di attenzione multipla, fornendo una base affidabile per l'estrazione di informazioni strutturali³⁴^,³⁵. Metodi basati sulla rilevazione di punti chiave e sulla modellazione della topologia strutturale hanno ulteriormente caratterizzato il rapporto tra i contorni del capo e le strutture locali, potenziando la capacità del modello di rappresentare le caratteristiche geometriche dei vestiti³⁶^,³⁷. Alcuni studi hanno introdotto strutture a grafo e reti di ragionamento relazionale per modellare le relazioni tra i componenti dell'abbigliamento, migliorando così le prestazioni nel riconoscimento fine e nel reperimento cross-domain³⁸^,³⁹. Questi lavori hanno confermato il ruolo importante delle informazioni strutturali nell'analisi visiva, ma finora la struttura è stata utilizzata principalmente come caratteristica ausiliaria o risultato intermedio, senza che sia stata sviluppata una rete di apprendimento delle caratteristiche centrata su vincoli strutturali⁴⁰.

Nell'ambito dell'assistenza alla progettazione di abbigliamento, questi sviluppi hanno sostenuto raccomandazioni di design, analisi dello stile, costruzione di sistemi interattivi e valutazione del design orientata alla struttura⁴¹. La ricerca sui sistemi di raccomandazione ha ottenuto abbinamenti di capi d'abbigliamento e raccomandazioni personalizzate integrando caratteristiche visive con le preferenze degli utenti⁴². I lavori relativi all'assistenza alla progettazione hanno esplorato nuove strade per il supporto intelligente al design combinando modelli generativi, modellazione dello stile e meccanismi di collaborazione uomo-computer⁴³. La ricerca su provini virtuali, misurazione delle taglie e trasferimento di stile ha ampliato l'applicazione dell'analisi visiva dell'abbigliamento in tutto il processo di progettazione e produzione. Sebbene questi studi abbiano arricchito le forme tecniche di assistenza alla progettazione di abbigliamento, le loro caratteristiche visive principali sono ancora guidate principalmente dall'aspetto e mancano di una rappresentazione unificata della struttura del design per l'analisi. Al contrario, questo articolo considera la struttura del capo d'abbigliamento come vincolo fondamentale nella rappresentazione delle caratteristiche e fornisce un metodo di rappresentazione visiva per l'analisi strutturale nell'assistenza alla progettazione di abbigliamento.

Nonostante questi sviluppi, i metodi recenti nella progettazione generativa spesso trattano le condizioni strutturali come matrici di guida spaziale approssimativa all'interno dei processi di diffusione. I moderni framework di analisi strutturale rappresentano le topologie come etichette semantiche ausiliarie, separate dallo spazio primario di incorporamento visivo. Il framework proposto modifica questo meccanismo definendo un vincolo topologico basato su grafi con priorità che modula esplicitamente l'apprendimento delle caratteristiche visive a livello di componente. L'obiettivo di coerenza multilivello incoraggia che capi d'abbigliamento con layout simili a livello di componente nell'immagine rimangano vicini nello spazio delle caratteristiche, separando al contempo capi con diverse organizzazioni delle regioni visibili. Tale obiettivo riduce la dipendenza dalla trama nell'ambiente di recupero valutato, ma non stabilisce invarianza rispetto a cambiamenti nel materiale, nella posa o nello sfondo. Il protocollo deve essere selezionato quando l'immagine in ingresso contiene un capo d'abbigliamento singolo sufficientemente visibile, i componenti semantici mantengono confini identificabili e l'obiettivo analitico richiede un confronto strutturale a livello di componente piuttosto che un riconoscimento di categoria grossolano. È destinato a ricercatori nel campo della visione artificiale, ricercatori nel design dell'abbigliamento e team di sviluppo digitale di capi d'abbigliamento impegnati in analisi visive sensibili alla struttura. Non è destinato a compiti incentrati esclusivamente sul riconoscimento di colore o materiale, né a immagini in cui la topologia del capo è in gran parte oscurata. Il protocollo seguente presenta il flusso di lavoro dalla preparazione del dataset e dalla mappatura delle probabilità semantiche alla costruzione delle relazioni geometriche, alla codifica delle caratteristiche a doppio flusso, alla fusione guidata dalla struttura e all'ottimizzazione basata sulla coerenza. L'intero flusso di lavoro è riassunto in Figura 1.

Protocollo

Questo studio utilizza set di dati pubblici di immagini di capi d'abbigliamento e non prevede il reclutamento di partecipanti umani, la raccolta di informazioni personalmente identificabili, esperimenti su animali o l'uso di materiali biologici. L'approvazione etica da parte dell'istituto e il consenso informato non sono applicabili.

1. Ambiente software e configurazione del progetto

Collocare i file del progetto rilasciati in una directory con spazio di archiviazione sufficiente e aprire un terminale nella directory principale del progetto.
Eseguire conda env create -f environment.yml per creare l'ambiente software. Eseguire conda activate garment_structure per attivare l'ambiente.
Eseguire python --version, conda --version, pip show numpy, pip show torch, pip show torchvision e nvidia-smi. Salvare l'output completo dei comandi in software_versions.txt.
Utilizzare lo stesso ambiente registrato per la pre-elaborazione, il training, l'inferenza, la misurazione dell'efficienza e la valutazione. Registrare nello stesso file il nome del file checkpoint HRNet-W48, il valore SHA-256, l'identificativo dei pesi preaddestrati di ResNet-50 su ImageNet e il relativo valore SHA-256, la fonte del rilascio di DeepFashion2 e l'identificativo del repository del codice sorgente.
Creare le directory data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs e evaluation_results all'interno della directory principale del progetto.
Aprire configs/protocol.yaml. Inserire la directory di DeepFashion2 in dataset_root, il percorso del checkpoint preaddestrato di HRNet-W48 in parser_checkpoint e la directory di output del progetto in output_root.
Impostare input_height a 512, input_width a 512, batch_size a 32, structural_categories_per_batch a 8, samples_per_category a 4, random_seed a 42, feature_dimension a 512, structural_constraint_weight a 1,0, structural_relationship_weight a 0,5, structural_discrimination_weight a 1,0 e separation_threshold a 0,3.
Impostare l'ottimizzatore su discesa del gradiente stocastica mini-batch. Impostare initial_learning_rate a 0,0001, momentum a 0,9, weight_decay a 0,0005, max_epochs a 120, learning_rate_schedule a decadimento multi-step e learning_rate_decay_factor a 0,1. Inserire le epoche di decadimento verificate utilizzate dalla configurazione rilasciata in learning_rate_milestones.
Eseguire python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results. Esportare la configurazione completa del modello in model_setting_statistics.csv. Verificare che il file esportato registri le dimensioni dell'immagine in ingresso, il formato di ingresso, la composizione del batch, l'ottimizzatore, il tasso di apprendimento, la pianificazione del tasso di apprendimento, il numero di epoche, il weight decay, il momentum, le probabilità di aumento, la dimensione delle caratteristiche, i pesi delle perdite strutturali, la soglia di separazione, i semi casuali, la regola di selezione dei checkpoint e il numero di esecuzioni indipendenti.
Output previsto: verificare che l'ambiente software si avvii senza errori di dipendenza, che software_versions.txt contenga il record dell'ambiente, che tutte le directory di output esistano e che configs/protocol.yaml contenga percorsi assoluti e impostazioni numeriche valide.
NOTA: utilizzare lo stesso ambiente e file di configurazione durante l'elaborazione dei dati, il training del modello, l'inferenza e la valutazione. Conservare una copia di configs/protocol.yaml con ogni checkpoint addestrato.
RISOLUZIONE DEI PROBLEMI: se la creazione dell'ambiente si interrompe perché un pacchetto non è disponibile, rimuovere l'ambiente incompleto, verificare i canali del pacchetto in environment.yml e ricreare l'ambiente. Se nvidia-smi non rileva una unità di elaborazione grafica, interrompere il training del modello e ripristinare il driver grafico e il runtime CUDA. Se durante l'esecuzione appare un errore di directory, sostituire i percorsi relativi con percorsi assoluti e verificare i permessi di scrittura per output_root.

2. Accettazione delle immagini in ingresso, costruzione del dataset e pre-elaborazione

Utilizzare esclusivamente file con estensioni JPG, JPEG o PNG. Utilizzare immagini RGB a 8 bit contenenti un singolo capo principale.
Mantenere immagini RGB a 8 bit con larghezza e altezza di almeno 512 pixel e un capo principale identificabile. Scartare un'immagine quando l'area del capo in primo piano occupa meno del 15% dell'area totale dell'immagine, quando oltre il 5% del bordo della maschera del capo coincide con il bordo dell'immagine, quando un'area di un secondo capo supera il 10% dell'area del capo principale, quando l'area stimata di occlusione supera il 20% della maschera del capo principale, o quando la varianza della risposta del Laplaciano è inferiore a 100.
Registrare l'identificativo dell'immagine, il valore misurato, la regola di esclusione attivata e il percorso dell'annotazione in excluded_samples.csv.
Applicare le regole di accettazione degli input alle immagini sorgenti di DeepFashion2 prima dell'etichettatura strutturale e della suddivisione dei dati. Registrare ogni identificativo di immagine accettata o scartata, la suddivisione originale del dataset, l'identificativo dell'annotazione del capo, l'identificativo della coppia sorgente, il rapporto tra l'area in primo piano e l'area totale, il rapporto di contatto con il bordo, il rapporto di occlusione, il punteggio di sfocatura e lo stato finale di conservazione in data_filtering_manifest.csv.
Eseguire python tools/prepare_data.py --config configs/protocol.yaml.
Leggere il riquadro delimitatore del capo dall'annotazione del dataset. Estendere il riquadro del 5% della sua larghezza e altezza, senza superare i confini dell'immagine.
Ritagliare la regione del capo, mantenere il rapporto d'aspetto originale, aggiungere padding con zeri per ottenere un'immagine quadrata e ridimensionare l'immagine con padding a 512 x 512 pixel.
Convertire l'immagine ridimensionata in un tensore RGB con valori in virgola mobile. Dividere ogni valore di pixel per 255.
Normalizzare i canali rosso, verde e blu utilizzando medie rispettivamente di 0.485, 0.456 e 0.406 e deviazioni standard di 0.229, 0.224 e 0.225.
Applicare il ribaltamento orizzontale con probabilità 0.5 e la cancellazione casuale con probabilità 0.2 alle immagini di addestramento. Applicare solo ritaglio, padding, ridimensionamento e normalizzazione deterministici alle immagini di validazione e di test.
Eseguire python tools/assign_structural_levels.py --config configs/protocol.yaml dopo aver generato le mappe dei componenti a sette canali e le matrici di confine condiviso e di ordine verticale. Per ogni immagine conservata, calcolare il numero di nodi attivi, il numero di componenti connesse, il numero di nodi ramificati, il numero di cicli indipendenti e il percorso verticale diretto più lungo. Definire un nodo ramificato come un nodo attivo collegato ad almeno altri tre nodi attivi nel grafo del confine condiviso.
Assegnare S1 quando il grafo è connesso, non contiene cicli indipendenti, non contiene nodi ramificati e ha un percorso verticale più lungo di non più di due archi. Assegnare S2 quando il grafo è connesso, non contiene cicli indipendenti, contiene esattamente un nodo ramificato e ha un percorso verticale più lungo di non più di due archi. Assegnare S3 quando il grafo è connesso, non contiene cicli indipendenti e contiene almeno due nodi ramificati o un percorso verticale di almeno tre archi. Assegnare S4 quando il grafo è connesso, contiene esattamente un ciclo indipendente e ha un percorso verticale di non più di due archi. Assegnare S5 quando il grafo contiene almeno due cicli indipendenti oppure un ciclo indipendente insieme a un percorso verticale di almeno tre archi.
Applicare le regole nell'ordine S5, S4, S3, S2 e S1 e salvare le statistiche del grafo calcolate, il livello assegnato e l'identificativo della regola in structural_level_manifest.csv.
Generare automaticamente le etichette preliminari S1–S5 a partire dalle maschere dei componenti e dalle matrici di relazione salvate. Contrassegnare un campione come strutturalmente ambiguo quando il suo grafo dei componenti contiene più di una componente connessa, quando la probabilità massima media all'interno del primo piano del capo è inferiore a 0,60, quando un componente attivo occupa meno dell'1% del primo piano del capo, o quando il livello strutturale assegnato cambia dopo aver modificato la larghezza del contatto con il bordo da un pixel a due pixel.
Sottoporre ogni campione ambiguo a due autori per un'ispezione indipendente dell'immagine sorgente, della mappa dei componenti, della matrice di confine condiviso, della matrice di ordine verticale e del grafo preliminare. Mantenere l'etichetta se le due ispezioni concordano. In caso di disaccordo, sottoporre il campione a un terzo autore e utilizzare la decisione della maggioranza come etichetta finale. Escludere un campione se non viene recuperata una relazione di componente stabile dopo la revisione. Registrare l'etichetta automatica, le etichette di revisione, il motivo del disaccordo, l'etichetta finale e lo stato di esclusione in structural_label_audit.csv.
Calcolare il valore SHA-256 di ogni file sorgente conservato e calcolare un hash percettivo a 64 bit a partire del ritaglio normalizzato del capo. Inserire immagini con valori SHA-256 identici nello stesso gruppo di duplicati esatti. Inserire immagini i cui hash percettivi hanno una distanza di Hamming non superiore a quattro nello stesso gruppo di duplicati simili, dopo aver verificato che provengano dalla stessa istanza del capo.
Unire tutte le immagini che condividono lo stesso identificativo di coppia sorgente di DeepFashion2 o la stessa identità del capo in un unico gruppo sorgente. Salvare gli hash dei file, gli hash percettivi, gli identificativi sorgente e gli identificativi dei gruppi di duplicati in duplicate_group_manifest.csv.
Eseguire la suddivisione dei dati a livello di gruppo sorgente piuttosto che a livello di singola immagine. Assegnare interamente ogni gruppo di duplicati esatti, di duplicati simili e di identità sorgente a un unico sottoinsieme. Dopo la suddivisione, verificare tutte le coppie tra sottoinsiemi e registrare ogni conflitto di identità, di hash o di hash percettivo rilevato in leakage_audit.csv. Ricostruire i manifesti finché leakage_audit.csv non contiene più record non risolti tra sottoinsiemi.
Stratificare i gruppi sorgente in base alle etichette finali S1-S5 e assegnare gruppi completi ai sottoinsiemi di addestramento, validazione e test secondo l'allocazione verificata mostrata in Tabella 1. Riportare il numero esatto di immagini e di gruppi sorgente per ogni livello strutturale e sottoinsieme.
Calcolare le percentuali effettive di addestramento, validazione e test a partire dal coorte finale conservato, piuttosto che dal dataset non filtrato. Non utilizzare immagini di validazione, di test, immagini ambigue escluse o immagini appartenenti ai loro gruppi di duplicati durante l'apprendimento dei parametri, la determinazione delle soglie, l'aggiustamento delle regole di livello strutturale o la selezione dei checkpoint.
Salvare le immagini elaborate in data_processed/images. Salvare train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv e structural_level_manifest.csv in data_processed/manifests.
Leggere le etichette strutturali finali, lo stato di revisione, gli identificativi dei gruppi di duplicati, gli identificativi dei gruppi sorgente e le etichette dei sottoinsiemi dai manifesti elaborati. Contare i campioni automaticamente accettati, i campioni revisionati manualmente, le esclusioni per ambiguità, le esclusioni per duplicati, i gruppi sorgente, le immagini di addestramento, di validazione e di test per S1 fino a S5.
Calcolare i rapporti effettivi tra sottoinsiemi, il numero medio di nodi attivi, il numero medio di nodi ramificati, il numero medio di cicli indipendenti, la profondità media dell'ordine verticale e il numero medio di archi tipizzati. Salvare le statistiche complete in evaluation_results/dataset_statistics.csv.
Output previsto: Verificare che ogni immagine accettata sia un'immagine RGB a 8 bit di dimensioni 512 x 512 pixel e abbia un record di filtraggio, un'etichetta finale di livello strutturale, un identificativo di gruppo sorgente, un identificativo di gruppo di duplicati, un'etichetta di sottoinsieme e un percorso di annotazione valido. Verificare che ogni campione ambiguo abbia un record completo di revisione. Verificare che nessun identificativo sorgente, gruppo di duplicati esatti, gruppo di duplicati simili o identità del capo compaia in più di un sottoinsieme. Verificare che i conteggi delle immagini in train_manifest.csv, validation_manifest.csv, test_manifest.csv e dataset_statistics.csv siano identici.
NOTA: Conservare le immagini originali non elaborate in data_raw. Non applicare l'aumentazione casuale alle immagini di validazione o di test.
RISOLUZIONE DEI PROBLEMI: Se il ritaglio rimuove un colletto, una manica, un orlo o una gamba dei pantaloni, ripristinare l'annotazione originale e aumentare il margine del bordo conservato. Se un capo appare stirato, verificare che il padding quadrato sia presente prima del ridimensionamento. Se un'immagine elaborata contiene un solo canale o quattro canali, convertire il file sorgente in RGB a 8 bit e rieseguire la pre-elaborazione. Se compaiono identificativi duplicati tra i sottoinsiemi, ricostruire tutti i manifesti dei sottoinsiemi prima dell'addestramento.

3. Analisi delle componenti visive con restrizione al primo piano e mappatura della probabilità

Eseguire python tools/parse_components.py --config configs/protocol.yaml.
Caricare il checkpoint preaddestrato HRNet-W48 per l'analisi semantica degli indumenti da parser_checkpoint. Verificare che il checkpoint produca le categorie di componenti dell'indumento definite dalla mappatura delle annotazioni del dataset. Impostare la rete di analisi semantica in modalità di valutazione e disabilitare il calcolo del gradiente.
Leggere le immagini elaborate da train_manifest.csv, validation_manifest.csv e test_manifest.csv in sequenza.
Estrarre un tensore di risposta semantica a sette canali da ogni immagine in ingresso e impostare K a sette per l'intero flusso di lavoro. Utilizzare l'ordine fisso delle categorie: Regione del Bordo Superiore, Regione del Collo, Regione del Corpetto, Regione Inferiore Sinistra dell'Indumento, Regione Inferiore Destra dell'Indumento, Regione Centrale Inferiore dell'Indumento e Regione dell'Orlo. Mantenere questo ordine nelle mappe di probabilità, matrici dei componenti, matrici dei grafi, matrici delle caratteristiche, file dei manifesti e file di visualizzazione.
Applicare la funzione softmax lungo la dimensione del canale per generare la mappa di probabilità P dei componenti semantici. Verificare che le probabilità su tutti i K canali sommino a uno in ogni pixel entro una tolleranza di 0,0001.
Caricare la maschera del primo piano dell'indumento dalle annotazioni del dataset e allinearla con l'immagine elaborata di dimensioni 512 x 512. Impostare a zero la probabilità di ogni componente al di fuori del primo piano dell'indumento. Rinormalizzare le probabilità dei componenti all'interno della maschera del primo piano lungo la dimensione del canale.
Verificare che ogni regione attiva del componente rimanga all'interno del primo piano dell'indumento. Rifiutare il campione analizzato se una regione colorata del componente si estende sul muro, pavimento, tenda o altre aree di sfondo. Registrare l'identificativo dell'immagine rifiutata e l'errore di analisi in parsing_quality_log.csv.
Calcolare il rapporto di copertura del primo piano per ogni componente e segnalare i componenti con regioni frammentate o aree isolate non supportate per un controllo manuale.
Salvare il tensore di risposta semantica in parser_outputs/logits. Salvare la mappa di probabilità in parser_outputs/probability_maps. Salvare un'anteprima colorata del componente in parser_outputs/previews.
Output previsto: Confermare che ogni immagine accettata produca una mappa di probabilità a sette canali limitata al primo piano con dimensioni spaziali di 512 x 512 pixel, un tensore di risposta semantica a sette canali e un'immagine di anteprima. Confermare che gli indici dei canali da uno a sette seguano l'ordine fisso dei componenti definito al punto 3.4. Confermare che tutte le regioni colorate dei componenti rimangano all'interno del primo piano dell'indumento e che i pixel di sfondo abbiano probabilità zero per ogni componente. Confermare che l'identificativo del file corrisponda alla voce corrispondente nel manifesto di origine.
NOTA: Mantenere le probabilità continue dei componenti all'interno del primo piano dell'indumento durante la modellazione strutturale. Trattare le regioni risultanti come aree di analisi visiva. Non interpretare i loro contorni come linee di cucitura, linee di taglio, contorni dei pezzi della modellistica, pince, tacche o riferimenti di gradazione.
GUIDA ALLA RISOLUZIONE DEI PROBLEMI: Se tutti i canali mostrano probabilità quasi uniformi, verificare parser_checkpoint, l'ordine dei canali RGB e la normalizzazione dell'immagine. Se un componente risulta assente in un intero sottoinsieme, confrontare l'indice dell'annotazione con l'indice del canale nell'output del parser. Se i colori dei componenti si estendono sullo sfondo, verificare l'allineamento della maschera del primo piano, le impostazioni di interpolazione e le coordinate delle annotazioni prima della costruzione del grafo. Se una regione visiva si estende su più aree dell'indumento non correlate, segnalare il campione come errore di analisi ed escluderlo dalla generazione del modello strutturale. Se le probabilità dei canali non sommano a uno, applicare la funzione softmax lungo la dimensione del canale e non lungo le dimensioni spaziali. Se manca un file di output, individuare l'ultimo identificativo elaborato nel log del parser e riprendere l'analisi dal successivo identificativo.

4. Modellizzazione della geometria dei componenti a livello di immagine e delle relazioni spaziali

Caricare il tensore delle caratteristiche visive superficiali e la corrispondente mappa di probabilità P per ogni immagine.
Moltiplicare ogni vettore di caratteristiche spaziali per la probabilità assegnata al componente semantico corrispondente.
Sommare i vettori di caratteristiche pesati sulle dimensioni spaziali e dividere la somma per la massa totale di probabilità del componente.
Assegnare un vettore nullo e un indicatore di nodo inattivo a qualsiasi componente con massa di probabilità nulla.
Applicare la normalizzazione L2 a ogni embedding del componente attivo e impilare gli embedding secondo l'ordine fisso dei componenti semantici.
Calcolare le coordinate del centro nel piano immagine orizzontale e verticale di ciascun componente visivo a partire dalla sua distribuzione di probabilità limitata al primo piano. Normalizzare le coordinate per la larghezza e l'altezza dell'immagine.
Calcolare l'estensione orizzontale e verticale nel piano immagine di ciascun componente visivo nello stesso sistema di coordinate normalizzato. Utilizzare questi valori soltanto per descrivere l'estensione della regione visibile nell'immagine elaborata.
Creare sette nodi del grafo secondo l'ordine fisso dei componenti e mantenere i componenti inattivi come nodi nulli. Costruire una matrice condivisa di dimensione 7 × 7 basata sul contatto a otto vicini tra le maschere dei componenti del primo piano. Costruire una matrice verticale di ordine 7 × 7 utilizzando le relazioni fisse da Upper Trim Region a Neckline Region, da Neckline Region a Bodice Region, da Bodice Region a ciascuna regione dell'indumento inferiore e da ciascuna regione dell'indumento inferiore a Hem Region. Memorizzare ogni relazione valida in entrambe le direzioni.
Aggiungere un autoanello per ogni nodo attivo prima della convoluzione del grafo e mantenere a zero le relazioni connesse ai nodi inattivi.
Calcolare lo spostamento relativo del centro e la dispersione spaziale relativa tra ogni coppia ordinata di componenti semantici. Impilare i valori geometrici per coppie per formare il tensore delle relazioni geometriche.
Calcolare il prodotto scalare tra ogni coppia di embedding normalizzati dei componenti. Applicare la funzione softmax per riga alla matrice di similarità risultante e utilizzare i valori come pesi delle relazioni.
Moltiplicare il tensore delle relazioni geometriche per i pesi delle relazioni corrispondenti e aggregare le relazioni pesate per ogni componente.
Salvare la matrice di embedding dei componenti, la matrice dei centri dei componenti, la matrice di dispersione spaziale, la matrice di confine condiviso, la matrice di ordine verticale, la matrice di autoanello, la matrice dei pesi delle relazioni, la maschera dei nodi inattivi, la mappatura delle etichette dei componenti e la rappresentazione della struttura a priori in structural_priors. Salvare ogni matrice con sette righe e sette colonne, quando applicabile. Il processo completo di costruzione, dalla mappa dei componenti limitata al primo piano alla rappresentazione a priori della topologia dei componenti dell'indumento a livello immagine, è mostrato in Figura 2.
Generare l'overlay del grafo dei componenti per ogni campione di visualizzazione a partire dalla mappa di probabilità limitata al primo piano, dalla matrice dei centri dei componenti, dalla matrice di adiacenza tipizzata, dalla maschera dei nodi inattivi e dalla mappatura delle etichette dei componenti.
Posizionare ogni nodo attivo al centro del componente corrispondente. Disegnare archi continui per i confini condivisi nel primo piano e archi tratteggiati per le relazioni di ordine verticale predefinite.
Salvare ogni overlay del grafo in structural_priors/visualizations utilizzando l'identificativo dell'immagine sorgente. Registrare il percorso dell'immagine sorgente, il percorso della mappa di probabilità, il percorso della matrice dei centri dei componenti, il percorso della matrice di adiacenza tipizzata, il percorso della maschera dei nodi inattivi, l'identificativo del checkpoint di analisi semantica e il percorso dell'overlay del grafo in component_graph_visualization_manifest.csv.
Risultato previsto: Verificare che ogni immagine produca una matrice di embedding dei componenti con K righe, una matrice di adiacenza tipizzata con K righe e K colonne, una matrice di pesi delle relazioni con K righe e K colonne, una maschera di nodi inattivi con K valori e una rappresentazione a priori strutturale a livello immagine. Verificare che ogni campione di visualizzazione selezionato produca un overlay del grafo dei componenti in cui i nodi attivi rimangano all'interno delle regioni corrispondenti dell'indumento.
NOTA: Mantenere lo stesso ordine dei componenti visivi in tutte le matrici, i manifesti, i grafi, i file di caratteristiche e gli overlay del grafo. Trattare i centri dei componenti, i valori di estensione spaziale e le relazioni del grafo come descrittori delle regioni dell'indumento nel piano immagine. Non interpretare il grafo dei componenti come uno scheletro della posa umana né derivarne i nodi da coordinate articolari anatomiche. Non convertire questi descrittori in lunghezze delle cuciture, raggi di curvatura, quantità di pince, posizioni dei nottolini, direzioni del dritto filo, incrementi di sartia o dimensioni dei pezzi del cartamodello.
RISOLUZIONE DEI PROBLEMI: Se una matrice contiene un valore non numerico, controllare il denominatore della massa di probabilità e la normalizzazione delle coordinate. Se i pesi delle relazioni si concentrano su un singolo componente, sottrarre il valore massimo della riga dalla matrice di similarità prima della softmax. Se il numero di nodi del grafo varia tra le immagini, verificare che i componenti inattivi siano mantenuti come vettori nulli anziché essere rimossi.

5. Codifica delle caratteristiche con consapevolezza della struttura a doppio flusso

Caricare i pesi di ResNet-50 preaddestrati su ImageNet e rimuovere gli strati finali di pooling e di classificazione.
Passare ogni immagine normalizzata del capo d'abbigliamento attraverso ResNet-50 ed estrarre il tensore di aspetto dallo stadio del backbone indicato da appearance_stage nel file configs/protocol.yaml. Verificare il nome dello stadio, il numero di canali in uscita e le dimensioni spaziali dell'output generato dallo stadio del backbone selezionato per un'immagine in ingresso di 512 x 512 pixel. Utilizzare lo stesso stadio in ogni fase di training, inferenza, ablazione e confronto.
Ridimensionare la mappa di probabilità semantica alle dimensioni spaziali del tensore delle caratteristiche di aspetto mediante interpolazione bilineare. Moltiplicare il tensore delle caratteristiche di aspetto per ciascuna mappa di probabilità dei componenti ridimensionata, quindi aggregare le risposte pesate lungo le dimensioni spaziali.
Passare ogni embedding di aspetto del componente attraverso il livello di ricalibrazione dei canali definito nel file configs/protocol.yaml. Registrare il tipo di livello, la dimensione dell'ingresso, la dimensione dell'uscita, il rapporto di riduzione, la funzione di attivazione e la regola di condivisione dei parametri. Assemblare i sette vettori risultanti dei componenti nell'ordine semantico fisso per formare la matrice delle caratteristiche di aspetto.
Passare ogni vettore di relazione geometrica attraverso il livello di proiezione strutturale e impostare la dimensione dell'uscita a 512. Costruire il grafo dei componenti con la matrice di pesi delle relazioni e la maschera per i nodi inattivi.
Applicare due livelli di convoluzione grafica con una dimensione di ingresso di 512 e una dimensione di uscita di 512. Applicare la normalizzazione del batch dopo ciascun livello di convoluzione grafica, quindi applicare LeakyReLU. Registrare il valore della pendenza negativa utilizzato da LeakyReLU. Applicare la maschera per i nodi inattivi dopo ogni livello per mantenere le caratteristiche pari a zero per i componenti inattivi.
Applicare l'allineamento semantico con gli embedding normalizzati dei componenti e assemblare i vettori risultanti per formare la matrice delle caratteristiche strutturali.
Output previsto: verificare che ogni immagine produca una matrice delle caratteristiche di aspetto e una matrice delle caratteristiche strutturali. Verificare che entrambe le matrici contengano K righe e 512 colonne.
NOTA: mantenere i componenti inattivi come vettori nulli e preservare l'ordine dei componenti stabilito durante la costruzione della struttura a priori.
RISOLUZIONE DEI PROBLEMI: se le due matrici delle caratteristiche presentano un numero diverso di righe, controllare il mapping delle categorie semantiche e la gestione dei nodi inattivi. Se si verifica un errore di dimensione durante la moltiplicazione matriciale, verificare che l'uscita della proiezione strutturale e le dimensioni dei canali di aspetto siano entrambe pari a 512. Se le caratteristiche strutturali rimangono nulle per tutti i componenti attivi, verificare che gli archi del grafo e i pesi delle relazioni siano stati aggiunti al batch corrente.

6. Fusione guidata dalla struttura delle caratteristiche

Applicare la sequenza di fusione guidata dalla struttura mostrata in Figura 3. Far passare la matrice delle caratteristiche strutturali attraverso il livello di pesi di fusione e applicare la funzione di attivazione dichiarata da fusion_activation in configs/protocol.yaml. Registrare il nome dell'attivazione, la dimensione di ingresso, la dimensione di uscita e se i parametri sono condivisi tra i sette nodi componenti.
Verificare che la matrice di pesi strutturali generata contenga K righe e 512 colonne.
Moltiplicare la matrice delle caratteristiche di aspetto per la matrice di pesi strutturali elemento per elemento.
Concatenare la matrice di aspetto modulata e la matrice delle caratteristiche strutturali lungo la dimensione del canale.
Concatenare il vettore di aspetto modulato a 512 dimensioni e il vettore strutturale a 512 dimensioni per ogni componente, formando un vettore a 1024 dimensioni. Far passare il vettore concatenato attraverso il livello di proiezione di fusione e ridurne la dimensione da 1024 a 512.
Aggiungere la matrice originale delle caratteristiche strutturali alla matrice proiettata tramite una connessione residua.
Impilare i vettori componenti fusi nell'ordine semantico fisso e applicare la normalizzazione L2 alla rappresentazione appiattita consapevole della struttura.
Salvare la matrice di pesi strutturali, la matrice di aspetto modulata, la matrice componenti fusi e la rappresentazione finale consapevole della struttura in feature_outputs.
Output previsto: Confermare che ogni immagine produca una matrice componenti fusi con K righe e 512 colonne e un vettore normalizzato di caratteristiche consapevoli della struttura associato all'identificativo dell'immagine sorgente.
NOTA: Conservare la matrice di pesi strutturali e la matrice componenti fusi per la visualizzazione della risposta e l'analisi delle differenze locali.
RISOLUZIONE DEI PROBLEMI: Se i valori fusi continuano ad aumentare, esaminare l'uscita dell'attivazione e il livello di normalizzazione. Se tutti i pesi strutturali tendono allo stesso valore, verificare che le caratteristiche strutturali varino tra le immagini e che il livello di fusione riceva i gradienti. Se i file delle caratteristiche e gli identificativi delle immagini non corrispondono, ricostruire il manifesto di output prima della fase di addestramento o della valutazione del recupero.

7. Allenamento del modello e ottimizzazione della coerenza

Caricare i cinque valori di seme casuali registrati in configs/seeds.yaml. Per ogni esecuzione, impostare lo stesso seme casuale per Python, operazioni NumPy, operazioni PyTorch sulla CPU e tutti i dispositivi CUDA. Abilitare algoritmi deterministici, disabilitare la modalità benchmark di cuDNN e registrare i cinque valori esatti del seme nella directory corrispondente all'esecuzione.
Caricare il manifesto di addestramento elaborato, il manifesto delle coppie, le mappe di probabilità e i vincoli strutturali a priori.
Costruire ogni batch di addestramento con otto categorie strutturali e quattro campioni con aspetto variabile per ciascuna categoria.
Calcolare la perdita di coerenza strutturale a partire dalle coppie di campioni positivi che condividono lo stesso vincolo strutturale a priori.
Calcolare la perdita di coerenza delle relazioni strutturali a partire dalle distanze a coppie tra le caratteristiche dei componenti.
Calcolare la perdita di discriminazione strutturale a partire dalle coppie di campioni negativi con strutture eterogenee e applicare la soglia di separazione pari a 0,3.
Combinare l'obiettivo di aspetto, l'obiettivo di coerenza strutturale, l'obiettivo di relazione strutturale e l'obiettivo di discriminazione strutturale con i pesi memorizzati in configs/protocol.yaml. Il processo di ottimizzazione nello spazio delle caratteristiche, regolato dai tre obiettivi strutturali, è mostrato in Figura 4.
Eseguire python train.py --config configs/protocol.yaml. Aggiornare tutti i parametri addestrabili con discesa stocastica del gradiente a mini-batch utilizzando il tasso di apprendimento iniziale, la quantità di moto, il decadimento del peso, il numero di epoche, il fattore di decadimento e le epoche di decadimento definiti nel Passaggio 1.8. Registrare il tasso di apprendimento dopo ogni epoca nel log di addestramento.
Registrare dopo ogni epoca la perdita totale, la perdita di aspetto, la perdita di coerenza strutturale, la perdita di relazione strutturale, la perdita di discriminazione strutturale, il tasso di apprendimento, l'Indice di Coerenza Strutturale (SCI), l'Indice di Discriminazione Strutturale (SDI) e il Recall@5.
Valutare il modello su validation_manifest.csv dopo ogni epoca. Salvare il checkpoint associato al valore più alto di SCI di validazione in checkpoints/selected_model.pth.
Ripetere l'addestramento cinque volte con i cinque semi casuali registrati. Salvare ogni file di configurazione, log di addestramento e checkpoint selezionato in una directory separata per ogni esecuzione.
Output previsto: verificare che ogni esecuzione produca un log di addestramento, un log di validazione, un file di metriche a livello di epoca e un checkpoint selezionato. Verificare che il checkpoint selezionato si basi sulle prestazioni di validazione e non su quelle di test.
NOTA: Utilizzare gli stessi manifesti di addestramento, validazione e test in ogni confronto tra modelli e in ogni esperimento di ablazione.
GUIDA ALLE SOLUZIONI DEI PROBLEMI: se una perdita diventa non numerica, interrompere l'addestramento, esaminare le masse di probabilità dei componenti, ridurre il tasso di apprendimento di un fattore 10 e riavviare dall'ultimo checkpoint valido. Se l'SCI di validazione rimane invariato mentre la perdita di addestramento diminuisce, verificare che i parametri di propagazione e fusione del grafo ricevano i gradienti. Se la memoria grafica è esaurita, ridurre la dimensione del batch e mantenere una dimensione di batch efficace pari a 32 tramite accumulo dei gradienti. Se le prestazioni di validazione variano notevolmente tra le esecuzioni, verificare il seme casuale registrato e l'ordine del manifesto dei dati.

8. Inferenza, recupero, raggruppamento e verifica dell'output

Eseguire python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth. Generare mappe di probabilità, priori strutturali, matrici di caratteristiche di aspetto, matrici di caratteristiche strutturali, matrici di componenti fuse e vettori finali di caratteristiche per ogni immagine di test.
Salvare tutti gli output dell'inferenza in feature_outputs/test e registrare i relativi percorsi in test_feature_manifest.csv. Calcolare la similarità coseno tra ogni caratteristica di query e tutte le caratteristiche della galleria. Ordinare gli identificatori della galleria in ordine decrescente di similarità. Salvare i cinque risultati con punteggio più alto per ogni query in evaluation_results/retrieval_results.csv.
Per ogni campione di recupero selezionato per la visualizzazione, caricare la matrice di adiacenza tipizzata, la matrice dei pesi delle relazioni, la matrice dei centri dei componenti, la maschera dei nodi inattivi, la mappatura delle etichette dei componenti e la matrice dei componenti fusi dell'immagine di query. Caricare gli stessi file per il risultato con punteggio più alto generato dal modello consapevole della struttura.
Renderizzare il grafo dei componenti della query e il grafo dei componenti dell'immagine recuperata a partire dai centri dei componenti salvati e dalle matrici di adiacenza tipizzate. Mantenere l'ordine fisso dei componenti e i tipi di relazione utilizzati durante l'inferenza del modello.
Renderizzare la matrice di adiacenza tipizzata della query come matrice categorica. Utilizzare valori distinti nella matrice per le relazioni di inattività, di confine condiviso e di ordine verticale. Etichettare gli assi orizzontale e verticale con gli identificatori dei componenti presenti nella mappatura delle etichette dei componenti.
Applicare la normalizzazione L2 alla matrice dei componenti fusi della query e alla matrice dei componenti fusi dell'immagine recuperata. Calcolare la similarità coseno tra ogni componente della query e ogni componente dell'immagine recuperata. Salvare la matrice risultante di corrispondenza tra componenti K × K in evaluation_results/structural_retrieval_evidence.
Per ogni coppia di riferimento-target selezionata per l'analisi delle differenze locali, caricare la matrice di adiacenza tipizzata, la matrice dei centri dei componenti, la matrice di dispersione spaziale, la matrice dei pesi delle relazioni e la matrice dei componenti fusi di entrambe le immagini.
Calcolare la differenza assoluta tra le due matrici di adiacenza tipizzate. Calcolare le differenze assolute negli spostamenti dei centri dei componenti, nella dispersione spaziale e nei pesi delle relazioni utilizzando l'ordine fisso dei componenti. Salvare la matrice risultante di differenza topologica e la matrice di differenza delle relazioni geometriche in evaluation_results/structural_difference_evidence.
Calcolare la distanza L2 tra le righe corrispondenti delle due matrici di componenti fusi. Normalizzare le distanze a livello di componente e assegnarle ai nodi del grafo dei componenti target. Aumentare lo spessore degli archi in base alla differenza normalizzata nei pesi delle relazioni. Salvare il grafo risultante di differenza dei componenti post-fusione.
Registrare gli identificatori delle immagini, i percorsi delle matrici, i percorsi dei grafi, l'ordine dei componenti, l'identificatore del checkpoint e i percorsi di output delle visualizzazioni in structural_visualization_manifest.csv. Generare tutte le visualizzazioni strutturali in modo automatico a partire dai file registrati; non aggiungere manualmente nodi, archi o valori nella matrice.
Applicare K-Means con cinque cluster ai vettori finali di caratteristiche e salvare le assegnazioni dei cluster in evaluation_results/cluster_assignments.csv. Eseguire python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test.
Calcolare SCI, SDI, Recall@5, mean Average Precision (mAP) e coefficiente di siluetta per ogni esecuzione. Utilizzare SCI per valutare la compattezza delle caratteristiche normalizzate che condividono la stessa etichetta strutturale e utilizzare SDI per valutare la separazione tra etichette strutturali diverse. Utilizzare Recall@5 per valutare se un corrispondente strutturale rilevante appare nella breve lista di recupero e utilizzare mAP per valutare la qualità del ranking nell'intera galleria. Utilizzare il coefficiente di siluetta solo per l'analisi di clustering.
Calcolare la media aritmetica e la deviazione standard campionaria su cinque esecuzioni indipendenti. Mantenere i cinque valori a livello di esecuzione per ogni metodo e metrica. Non applicare normalizzazione min-max, normalizzazione del rango o ridimensionamento basato sui metodi confrontati. Eseguire un test t appaiato utilizzando i risultati ottenuti con lo stesso seme casuale e registrare la statistica del test e il valore di significatività esatto bidirezionale.
Confrontare il numero di identificatori di test elaborati, file di caratteristiche, record di recupero e assegnazioni di cluster. Risolvere ogni discrepanza prima di riportare o interpretare i risultati di valutazione.
Output previsto: verificare che ogni immagine di test abbia un record completo di inferenza, una lista di recupero, un'assegnazione di cluster e un insieme completo di input per la valutazione. Verificare che ogni caso di recupero selezionato per la visualizzazione abbia un grafo dei componenti della query, un grafo dei componenti dell'immagine recuperata, una matrice di adiacenza tipizzata e una matrice di corrispondenza tra componenti fusi.
Verificare che ogni caso di differenza strutturale abbia una matrice di differenza topologica, una matrice di differenza delle relazioni geometriche, un grafo di differenza dei componenti post-fusione, una mappa termica delle differenze spaziali e un sovrapposizione di risposta. Verificare che tutti i file di visualizzazione siano collegati alle rispettive matrici sorgente tramite structural_visualization_manifest.csv. Salvare la mappa termica pura, il sovrapposizione sull'immagine target, la maschera del primo piano e le coordinate della regione con risposta più alta per ogni caso visualizzato.
Accettare una risposta di differenza calcolata solo quando la regione principale con risposta elevata si sovrappone al primo piano del capo d'abbigliamento ed è supportata dalle corrispondenti evidenze di cambiamento nella matrice di adiacenza tipizzata, nel cambiamento delle relazioni geometriche e nella distanza dei componenti post-fusione. Se la risposta più forte cade principalmente al di fuori del primo piano del capo d'abbigliamento, esaminare l'output di parsing, il grafo dei componenti e il record di fusione.
NOTA: Utilizzare il checkpoint selezionato dal set di validazione per l'inferenza sul set di test. Non selezionare o sostituire un checkpoint in base alle metriche del set di test. Utilizzare lo stesso ordine dei componenti, la stessa regola per i nodi inattivi, la stessa codifica dei tipi di relazione e lo stesso processo di normalizzazione durante la generazione di grafi e matrici nell'inferenza e nella visualizzazione.
GUIDA ALLA RISOLUZIONE DEI PROBLEMI: Se l'inferenza si interrompe prima di elaborare tutte le immagini di test, individuare l'ultimo identificatore nel log di inferenza e riprendere dall'identificatore successivo. Se i risultati di recupero sono dominati dalla similarità cromatica, esaminare gli output dei priori strutturali e di fusione e verificare che il caricamento del checkpoint sia avvenuto correttamente. Se la valutazione segnala identificatori duplicati, ricostruire il file test_feature_manifest.csv e rimuovere i record duplicati prima di ricalcolare. Se K-Means produce un cluster vuoto, verificare la normalizzazione delle caratteristiche e rieseguire il clustering con il seme casuale registrato.

9. Valutazione comparativa del modello

Eseguire python compare_models.py --config configs/protocol.yaml.
Addestrare e valutare ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Topology Feature Histogram with Color and Texture Fusion, Attention-Guided Cascade Network, MMFL-Net, FARE-RNET e il metodo proposto utilizzando gli stessi elenchi di addestramento, convalida e test.
Utilizzare le stesse dimensioni delle immagini, operazioni di pre-elaborazione, epoche di addestramento, dimensione effettiva del batch, query di valutazione e implementazione della metrica per ogni metodo.
Mantenere il global average pooling per ResNet-50. Applicare l'allineamento a strisce orizzontali in PCB. Applicare un grafo del capo d'abbigliamento a livello di immagine fissato in GCN. Applicare un'inferenza dinamica guidata dagli attributi nel grafo in FashionGraph. Utilizzare gli encoder d'immagine standard di Swin Transformer e CLIP. Implementare Topology Feature Histogram with Color and Texture Fusion utilizzando descrittori topologici, di colore e di trama. Implementare una Attention-Guided Cascade Network utilizzando rami di caratteristiche globali e locali con parsing del capo d'abbigliamento. Implementare MMFL-Net utilizzando rami di caratteristiche multi-risoluzione e multi-granularità. Implementare FARE-RNET utilizzando attenzione residuale, selezione delle caratteristiche e codifica contestuale dilatata.
Utilizzare soltanto il ramo immagine-query di ogni metodo di confronto. Riaddestrare ogni metodo addestrabile sull'elenco comune di addestramento e selezionare il relativo checkpoint dall'elenco comune di convalida. Generare un elenco classificato della galleria per ogni query di test.
Proiettare ogni embedding appreso in 512 dimensioni attraverso un layer lineare registrato e addestrabile quando la dimensione originale è diversa. Applicare la normalizzazione L2 prima del ranking basato sulla similarità coseno. Utilizzare la stessa assegnazione query-galleria e implementazione della metrica per tutti i metodi.
Ripetere ogni metodo di confronto con gli stessi cinque semi casuali. Riportare la media e la deviazione standard campionaria di SCI, SDI, Recall@5, mAP e coefficiente di silhouette. Per ogni metrica, eseguire un test t appaiato a due code tra il metodo proposto e ogni metodo di confronto utilizzando i risultati ottenuti con lo stesso seme casuale. Registrare i cinque valori a livello di esecuzione, la statistica del test, i gradi di libertà e il valore p esatto in evaluation_results/comparison_metrics.csv.
Calcolare SCI, SDI, Recall@5, mAP e il coefficiente di silhouette per ogni metodo. Salvare tutti i valori a livello di esecuzione e aggregati in evaluation_results/comparison_metrics.csv.
Output previsto: verificare che comparison_metrics.csv contenga gli stessi campi metrici e lo stesso numero di esecuzioni indipendenti per ogni metodo di confronto.
NOTA: Non modificare le partizioni dei dati, il codice della metrica o l'assegnazione query-galleria tra i metodi di confronto.
RISOLUZIONE DEI PROBLEMI: se un modello di confronto produce una dimensione delle caratteristiche diversa da 512, aggiungere un singolo layer di proiezione lineare registrato prima del calcolo della metrica e addestrare tale layer insieme al modello corrispondente. Se un modello non converge con il tasso di apprendimento comune, utilizzare il tasso di apprendimento specificato nell'implementazione pubblicata e mantenere tutte le restanti condizioni sperimentali. Registrare ogni impostazione specifica del metodo nel registro di confronto.

Risultati

Tutti gli esperimenti riportati sono stati eseguiti utilizzando l'ambiente hardware e software documentato nella Tabella 2 e nella Tabella dei Materiali. Durante il preelaborazione, l'addestramento, l'inferenza e la valutazione sono state utilizzate le stesse versioni del driver grafico, CUDA, cuDNN, Python, NumPy, PyTorch e torchvision. L'ambiente hardware e software completo è riassunto nella Tabella 2 e nella Tabella dei Materiali. La Tabella 1 riassume i dataset di addestramento, validazione e test elaborati insieme alle statistiche topologiche a livello di immagine. La Tabella 2 riassume la configurazione comune utilizzata per tutti i metodi di confronto.

Risultati della valutazione comparativa

La valutazione comparativa ha seguito le comuni partizioni dei dati, le operazioni di preelaborazione, i controlli di addestramento e le definizioni delle metriche specificate nelle sezioni 7–9 del protocollo. Tabella 3 confronta encoder visivi generali, modelli allineati per parti, rappresentazioni di capi d'abbigliamento basate su grafi, reti per il recupero di moda cross-domain, metodi di fusione tra topologia e aspetto e metodi di recupero visivo per e-commerce, tutti valutati utilizzando lo stesso protocollo basato su query immagine. I metodi specifici per dominio comprendono l'Istogramma delle Caratteristiche Topologiche con Fusione di Colore e Trama (TFH-CT), la Rete a Cascata Guidata dall'Attenzione (AGC-Net), la Rete per l'Apprendimento di Caratteristiche Multi-scala e Multi-granularità (MMFL-Net) e il Recupero di Moda mediante Rete Residua con Ottimizzazione tramite Sciame di Egretta (FARE-RNET). Tutte le metriche di valutazione riportate in Tabella 3 sono espresse come media e deviazione standard campionaria ottenute da cinque esecuzioni indipendenti effettuate con gli stessi semi casuali, manifesto di addestramento, manifesto di validazione, manifesto di test, assegnazione query-galleria e implementazione della metrica. I valori p- accoppiati sono stati calcolati separatamente per SCI, SDI, Recall@5, mAP e coefficiente di siluetta, confrontando ciascun metodo con il metodo proposto nelle medesime condizioni di semi casuali abbinati. Questi risultati forniscono la base quantitativa per le successive analisi strutturali di visualizzazione, recupero, clustering e orientate alla progettazione.

Risultati rappresentativi del protocollo e loro interpretazione

L'esecuzione corretta del protocollo è confermata quando il grafo dei componenti a livello di immagine, ricostruito a partire dai file di analisi e dai file grafici salvati, posiziona ogni nodo attivo all'interno della corrispondente regione del capo di abbigliamento e preserva i tipi di relazione registrati nella matrice di adiacenza tipizzata, come mostrato in Figura 5C. La risposta sensibile alla struttura dovrebbe rimanere concentrata sul primo piano del capo di abbigliamento, come illustrato in Figura 5D. Figura 6E mostra un risultato di recupero atteso in cui il metodo proposto riduce l'influenza dello sfondo rosso e recupera capi di abbigliamento per il busto superiore anziché oggetti rossi non correlati. Figura 6B–G dimostra inoltre che il ranking di recupero è supportato dalle relazioni tra componenti a livello di immagine e dalla corrispondenza dei componenti dopo la fusione. Questo risultato riflette il recupero della categoria generale del capo di abbigliamento, anche se la lunghezza delle maniche e la topologia locale variano ancora tra i campioni recuperati.

I casi comuni di fallimento includono l'attivazione dominata dalla texture in Figura 5B, il recupero guidato dal colore di sfondo nella riga superiore di Figura 6 e l'attivazione residua di sfondo in Figura 7. La Figura 7 deve essere interpretata come localizzazione parziale poiché la risposta dominante segue la sagoma ingrandita del corpo inferiore e il bordo del capo di abbigliamento destro, mentre persiste un'attivazione residua nelle regioni adiacenti di sfondo. La localizzazione è considerata supportata strutturalmente solo quando la matrice delle differenze topologiche, la matrice delle differenze nelle relazioni geometriche, il grafo delle differenze dei componenti post-fusione e la risposta spaziale identificano regioni del capo di abbigliamento coerenti. Un hotspot spaziale senza cambiamenti corrispondenti nella matrice o nei componenti indica un'interferenza visiva piuttosto che una prova strutturale.

Un'esecuzione del protocollo è considerata valida quando ogni immagine accettata produce una mappa di probabilità semantica normalizzata, una matrice di relazione con K righe e K colonne, matrici di caratteristiche di aspetto e strutturali con K righe e 512 colonne, e un vettore di caratteristiche fuse finito associato all'identificatore dell'immagine corretto. Un'ispezione visiva deve confermare che la topologia segua i componenti del capo d'abbigliamento, che la risposta in primo piano superi quella dello sfondo e che i risultati del recupero siano guidati dalla categoria e dalla struttura del capo piuttosto che dal colore dello sfondo. Mappe di probabilità frammentate, nodi dei componenti mancanti, matrici non numeriche, risposte diffuse dello sfondo o recupero dominato dal colore indicano un'esecuzione non riuscita e richiedono un controllo dell'analisi sintattica, della costruzione del grafo, della fusione delle caratteristiche o del caricamento dei punti di controllo.

Analisi visiva delle risposte dei componenti del capo a livello di immagine

Figura 5 confronta il modello di base ResNet-50 con il modello consapevole dei componenti utilizzando la stessa immagine di capo d'abbigliamento. Figura 5B mostra la mappa di attivazione della classe per il modello di base relativo all'aspetto. Figura 5C presenta il grafo dei componenti del capo a livello di immagine ricostruito a partire dalla mappa di probabilità ristretta al primo piano, dalla matrice dei centri dei componenti, dalla matrice di adiacenza tipizzata, dalla maschera dei nodi inattivi e dalla mappatura delle etichette dei componenti generate nelle sezioni 3 e 4 del protocollo. Figura 5D mostra la risposta di attivazione della rappresentazione fusa. Per generare la Figura 5C non viene utilizzato alcun estimatore della posa umana né annotazione dei giunti corporei.

La risposta di base era concentrata su regioni di tessitura locali nell'indumento inferiore e non seguiva in modo costante il contorno completo dell'indumento, come mostrato in Figura 5B. In Figura 5C, ogni nodo corrisponde al centro di una regione attiva di un componente dell'indumento, mentre ogni arco rappresenta un confine in primo piano condiviso o una relazione d'ordine verticale predefinita. Il grafo riflette l'organizzazione delle regioni dell'indumento e non rappresenta articolazioni anatomiche umane. La risposta sensibile alla struttura ha coperto il primo piano principale dell'indumento mantenendo un'attivazione inferiore nella maggior parte delle aree di sfondo, come mostrato in Figura 5D. Questi risultati indicano che il grafo dei componenti e il modulo di fusione delle caratteristiche hanno ridotto l'attivazione dominata dalla tessitura nell'immagine valutata.

Analisi della similarità strutturale degli abiti e risultati di riferimento per la progettazione

Figura 6 presenta il ranking di recupero insieme alle evidenze strutturali utilizzate per interpretarlo. Il grafo del componente della query in Figura 6B registra le regioni attive del capo d'abbigliamento e le loro relazioni tipizzate, mentre la matrice in Figura 6C mostra il modello di relazione fornito alla propagazione del grafo. I risultati della linea di base in Figura 6D sono ancora dominati da indizi cromatici rossi. I risultati sensibili alla struttura in Figura 6E mantengono la categoria del capo d'abbigliamento del busto superiore attraverso diversi colori e sfondi. Il grafo dei componenti del risultato con il punteggio più alto in Figura 6F permette un confronto diretto con il grafo della query, e la matrice di corrispondenza in Figura 6G rivela se i componenti che condividono gli stessi identificatori rimangono allineati dopo la fusione guidata dalla struttura. La corrispondenza diagonale deve essere interpretata congiuntamente con i nodi mancanti e le relazioni del grafo modificate. Una forte somiglianza nell'aspetto, in assenza di accordo tra i grafi, non costituisce un recupero strutturale di successo.

Gli indumenti recuperati mantengono la categoria generale, ma le differenze nella configurazione delle maniche e nelle relazioni tra componenti locali indicano una corrispondenza incompleta a livello fine. Il metodo proposto ha raggiunto un Recall@5 del 89,2% e un mAP dell'86,4%, come riportato nella Tabella 3. Questi valori quantitativi descrivono le prestazioni nel posizionamento in classifica, mentre la Figura 6B–G fornisce evidenze strutturali intermedie a sostegno dell'interpretazione. La conclusione relativa al recupero è quindi limitata a una maggiore resistenza alle interferenze del colore di sfondo e a un'organizzazione più solida dei componenti a livello di immagine nel contesto della query testata.

Supporto per la risposta alla differenza strutturale e l'analisi della progettazione

La mappa termica della pura differenza di risposta in Figura 7H mostra che la risposta dominante è concentrata sulla sagoma ingrandita della parte inferiore del corpo e sul bordo destro dell'indumento nell'immagine bersaglio. La sovrapposizione in Figura 7I mostra che la risposta più intensa rimane allineata con la parte principale in primo piano dell'indumento, mentre un'attivazione più debole nelle regioni adiacenti della tenda e del muro persiste come interferenza residua di fondo. La risposta spaziale deve essere interpretata insieme alle evidenze fornite dal grafico dei componenti e dalla matrice presentate in Figure 7C–G. Una risposta è considerata una differenza strutturale valida solo quando la regione dell'indumento con risposta elevata è coerente con il cambiamento di adiacenza, il cambiamento di relazione geometrica e il modello di distanza tra i componenti dopo la fusione.

Una differenza strutturale è accettata solo quando il cambiamento nell'adiacenza tipizzata in Figura 7E o il cambiamento nella relazione geometrica in Figura 7F è accompagnato da un aumento della distanza tra componenti in Figura 7G e da una risposta spaziale allineata al primo piano in Figura 7H,I. La regione ingrandita del corpo inferiore e il bordo destro dell'indumento soddisfano questo criterio interscenario. L'attivazione sulla tenda e sul muro non corrisponde a cambiamenti nei nodi dei componenti, nei modelli di relazione o nelle distanze dei componenti fusi, e pertanto viene scartata come interferenza residua non strutturale. Il risultato supporta la localizzazione delle differenze a livello di immagine, ma non stabilisce una variazione nei modelli di cucitura o nei parametri di costruzione.

Analisi della distribuzione spaziale delle caratteristiche e analisi dei cluster strutturali

L'analisi della distribuzione dello spazio delle caratteristiche latenti rivela la capacità del modello di discriminare la semantica strutturale degli indumenti. Questa analisi verifica se il vincolo strutturale organizza capi con diverse configurazioni topologiche in varietà di caratteristiche distinte. Sono state selezionate cinque categorie strutturali rappresentative dal set di test: capi a maniche corte, pantaloni, gonne, cappotti lunghi e abiti. I vettori caratteristici ad alta dimensione sono stati proiettati su un piano bidimensionale mediante l'incorporamento stocastico di vicini distribuiti in modo t (t-SNE). La coesione dei campioni simili e la separazione dei campioni dissimili sono state valutate per caratterizzare l'organizzazione della semantica strutturale nello spazio delle caratteristiche. La distribuzione t-SNE dello spazio delle caratteristiche sensibile alla struttura è mostrata in Figura 8.

La proiezione t-SNE ha formato cinque principali regioni caratteristiche con un limitato sovrapposizione tra categorie adiacenti, come mostrato in Figura 8A. Campioni rappresentativi corrispondenti alle cinque regioni di categoria sono mostrati in Figura 8B. L'SCI di 0.81 riflette la compattezza dei campioni che condividono la stessa etichetta strutturale, e l'SDI di 0.71 riflette la separazione tra campioni con diverse etichette strutturali, come riportato in Tabella 3 e visualizzato in Figura 8. Questi indici devono essere interpretati come misure della distribuzione nello spazio delle caratteristiche e non stabiliscono direttamente un tasso di falso allarme. I capi di abbigliamento a maniche corte e le gonne occupavano diverse regioni principali nello spazio delle caratteristiche proiettato, mentre un piccolo numero di campioni è rimasto vicino ai confini delle categorie adiacenti, come mostrato in Figura 8A. Pantaloni e abiti mostravano anch'essi una chiara separazione dalle categorie adiacenti. Questa distribuzione indica che l'a priori basata sul grafo ha contribuito all'organizzazione strutturale a livello di categoria senza produrre una separazione completa dei cluster. La valutazione distingue la qualità della rappresentazione dall'efficacia del recupero. L'SCI valuta se i capi che condividono la stessa etichetta strutturale rimangono compatti nello spazio delle caratteristiche appreso, mentre l'SDI valuta se i capi con diverse etichette strutturali rimangono separati. Queste metriche corrispondono all'obiettivo di rappresentazione strutturale del protocollo. Il Recall@5 misura se un capo strutturalmente rilevante appare tra i primi cinque risultati recuperati, mentre l'mAP misura la qualità del ranking su tutti i campioni della galleria rilevanti. Queste metriche corrispondono all'obiettivo di recupero basato sul design di riferimento. Il coefficiente di siluetta è stato utilizzato soltanto per valutare le prestazioni del clustering poiché l'SCI e l'SDI descrivono già l'organizzazione nello spazio delle caratteristiche.

Figura 9 riporta i risultati grezzi di cinque esecuzioni per quattro metodi rappresentativi, senza normalizzazione tra metodi. Figura 9A mostra SCI e SDI nella loro scala originale, mentre Figura 9B mostra Recall@5 e mAP come percentuali. I marcatori delle singole esecuzioni e le barre di errore della deviazione standard mostrano la variabilità associata all'addestramento del modello, piuttosto che soltanto il ranking aggregato. Il metodo basato sull'aspetto ha ottenuto un valore SCI di 0,62, mentre il metodo proposto ha raggiunto un valore SCI di 0,81 e un valore SDI di 0,71 (Tabella 3 e Figura 9A). I risultati SCI e SDI indicano una maggiore compattezza all'interno delle etichette e una migliore separazione tra etichette nella configurazione valutata. Il metodo proposto ha ottenuto una Recall@5 dell'89,2% e un mAP dell'86,4% (Tabella 3 e Figura 9B). Queste metriche di recupero valutano proprietà diverse del ranking e vanno interpretate separatamente rispetto a SCI e SDI. L'ordine coerente dei metodi attraverso le quattro metriche indica un accordo tra qualità della rappresentazione e prestazioni nel recupero, ma non implica che il miglioramento relativo sia identico in tutte e quattro le dimensioni di valutazione.

Analisi degli esperimenti di ablazione e dell'efficacia del modulo strutturale

L'esperimento di ablazione confronta il modello completo con varianti in cui il prior strutturale o il modulo di fusione vengono rimossi. Tutte e tre le configurazioni utilizzano le stesse immagini di riferimento e target, consentendo un confronto diretto della risposta di sfondo e della concentrazione della localizzazione. La variante senza il prior strutturale elimina il grafo del componente del capo a livello di immagine e i relativi vincoli relazionali, affidandosi esclusivamente al backbone convoluzionale per estrarre le caratteristiche di aspetto; la variante senza fusione mantiene l'inferenza del grafo ma rimuove la piramide di caratteristiche, utilizzando solo caratteristiche semantiche di alto livello. Le mappe termiche delle differenze visualizzate rivelano i ruoli specifici di ciascun modulo nella soppressione del rumore e nella definizione dei contorni; un confronto qualitativo delle risposte alle differenze strutturali in diverse configurazioni dei moduli è mostrato in Figura 10.

Le mappe di risposta in Figura 10C–E sono state realizzate utilizzando una scala di risposta condivisa e impostazioni di sovrapposizione identiche. La variante senza il modello strutturale ha prodotto un'attivazione intensa nell'area di sfondo sinistra e intorno a regioni ambientali non correlate, come mostrato in Figura 10C. La variante senza il modulo di fusione ha ridotto in parte questa risposta al di fuori dell'indumento, ma ha comunque mantenuto una diffusione più ampia sull'indumento inferiore e sulla regione circostante del lato destro, come mostrato in Figura 10D. Il modello completo ha ulteriormente concentrato la risposta dominante verso il primo piano principale dell'indumento, come mostrato in Figura 10E. Figura 10F visualizza direttamente la differenza nelle risposte limitate al primo piano tra la variante senza fusione e il modello completo, mostrando che il modello completo sopprime la diffusione laterale residua mantenendo al contempo la risposta principale allineata all'indumento. Questi risultati indicano che il modello strutturale ha principalmente ridotto il rumore ambientale e che il modulo di fusione ha ulteriormente migliorato la concentrazione della risposta e l'allineamento strutturale. Figura 10E rappresenta un miglioramento relativo piuttosto che un'eliminazione completa dell'attivazione di sfondo.

Tabella 4 riporta SCI, SDI e Recall@5 per le varianti senza prior sulla struttura, senza il modulo di fusione e con il modello completo. Rimuovere la prior sulla struttura ha ridotto l'SCI da 0,81 a 0,65 e ha diminuito il Recall@5 dall'89,2% al 74,5%. Rimuovere il modulo di fusione ha ridotto l'SDI da 0,71 a 0,64 e ha diminuito il Recall@5 dall'89,2% all'85,1%, una riduzione di 4,1 punti percentuali. Questi risultati indicano che la prior sulla struttura ha avuto un effetto maggiore sulla coerenza strutturale e sul recupero, mentre la fusione delle caratteristiche ha migliorato l'allineamento tra informazioni sull'aspetto e informazioni strutturali.

L'analisi dell'efficienza confronta il costo computazionale del modello completo con il modello di riferimento ResNet-50. Il modello di riferimento ResNet-50 richiedeva 25,6 milioni di parametri e 4,1 miliardi di operazioni in virgola mobile. Il modello completo con struttura integrata richiedeva 29,3 milioni di parametri e 5,4 miliardi di operazioni in virgola mobile. Il tempo medio di inferenza era di 15 millisecondi per immagine per il modello di riferimento e di 22 millisecondi per immagine per il modello completo, con un incremento di 7 millisecondi. Questo risultato indica un costo computazionale misurabile che dovrebbe essere considerato durante l'implementazione del protocollo in flussi di lavoro sensibili al tempo.Tabella 5)Il peso del vincolo strutturale è stato determinato a partire dal campione di validazione prima della valutazione finale sul test. Il Recall@5 della validazione è stato esaminato con pesi del vincolo strutturale pari a 0,1, 0,3, 0,5, 0,8, 1,0, 1,2, 1,5 e 2,0. Un peso pari a 1,0 è stato mantenuto fisso per tutti i successivi cicli di addestramento e di test. Figura 11 documenta la selezione, basata sulla validazione, di un peso del vincolo strutturale pari a 1,0.

Diagramma di apprendimento profondo che mostra una pipeline di elaborazione delle immagini basata su CNN con modulo di fusione ed estrazione delle caratteristiche per compiti di coerenza strutturale e discriminazione.
Figura 1: Flusso di lavoro complessivo del protocollo di apprendimento delle caratteristiche delle immagini di capi d'abbigliamento consapevole della struttura. L'immagine del capo d'abbigliamento in ingresso viene elaborata da un ramo delle caratteristiche di aspetto e da un ramo delle caratteristiche strutturali che utilizza l'analisi semantica e la modellazione grafica spaziale. Le due rappresentazioni vengono elaborate dal modulo di fusione guidato dalla struttura per generare la caratteristica finale consapevole della struttura. La perdita di coerenza strutturale, la perdita di discriminazione strutturale e la perdita di relazione strutturale vincolano congiuntamente lo spazio delle caratteristiche. La figura mostra come l'aspetto del capo d'abbigliamento e la topologia dei componenti vengano integrate durante l'apprendimento delle caratteristiche. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Processo di segmentazione dell'abito; diagramma della divisione delle regioni e dei nodi della rete che illustra le connessioni.
Figura 2: Costruzione di una topologia a priori dei componenti dell'indumento a livello di immagine. (A) L'immagine dell'indumento in ingresso I. (B) La mappa dei componenti visivi con primo piano limitato P, in cui sette colori indicano le regioni dell'indumento a livello di immagine. Tutti i pixel dello sfondo sono esclusi dai canali dei componenti. (C) Il grafo delle relazioni tra componenti a livello di immagine G. I nodi rappresentano le regioni visibili dell'indumento, gli archi continui rappresentano i confini in comune nel primo piano e le relazioni tratteggiate rappresentano un ordine verticale predefinito. La mappa e il grafo supportano il recupero delle immagini e il confronto della struttura visiva. Non rappresentano pezzi di modelli sartoriali, geometria delle cuciture, strutture delle pince, parametri di gradazione o istruzioni di taglio. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Diagramma di fusione delle caratteristiche con mappatura lineare, funzione di attivazione e connessioni dei pesi strutturali.
Figura 3: Modulo di fusione delle caratteristiche guidato dalla struttura. La caratteristica strutturale viene trasformata mediante mappatura lineare e funzione di attivazione Ψ per generare un peso strutturale. Il peso strutturale modula la caratteristica di aspetto attraverso una moltiplicazione elemento per elemento. La caratteristica di aspetto modulata e la caratteristica strutturale vengono concatenate e proiettate tramite Wc, dopodiché viene aggiunta la caratteristica strutturale residua per generare la caratteristica finale del componente. La figura mostra che l'informazione strutturale regola la ponderazione della caratteristica di aspetto prima della fusione finale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Diagramma di adattamento del dominio con spinta dalla classe A alla B, processi L_sc, L_sd, L_fr nel metodo di ricerca.
Figura 4: Ottimizzazione nello spazio delle caratteristiche sotto vincoli di coerenza strutturale. (A) I campioni appartenenti alla stessa classe strutturale vengono avvicinati tramite la perdita di coerenza strutturale, mentre le loro relazioni interne tra componenti sono preservate dalla perdita di relazione strutturale. (B) I campioni provenienti da classi strutturali diverse vengono allontanati dalla perdita di discriminazione strutturale. La figura mostra come i tre obiettivi strutturali agiscano congiuntamente per aumentare la compattezza all'interno delle classi e la separazione tra le classi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Analisi di equilibrio statico, diagramma a mappa termica della distribuzione delle sollecitazioni strutturali, studio di biomeccanica.
Figura 5: Risposte rappresentative delle caratteristiche del capo d'abbigliamento e visualizzazione mediante grafo dei componenti. (A) L'immagine del capo d'abbigliamento in ingresso. (B) La risposta di attivazione della classe relativa al modello base ResNet-50 per l'aspetto. (C) Il grafo dei componenti a livello di immagine è stato ricostruito a partire dalla mappa dei componenti limitata al primo piano, dalla matrice dei centri dei componenti, dalla matrice di adiacenza tipizzata, dalla maschera dei nodi inattivi e dalla corrispondenza delle etichette dei componenti, salvati durante le sezioni 3 e 4 del protocollo. I nodi indicano le regioni attive del capo d'abbigliamento, gli archi continui indicano confini comuni nel primo piano e gli archi tratteggiati indicano relazioni predefinite di ordine verticale. (D) La risposta di attivazione della rappresentazione fusa consapevole dei componenti. Il confronto mostra la differenza tra un'attivazione dominata dalla texture e un'attivazione guidata dalle regioni del capo d'abbigliamento. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Analisi dell'immagine di query con grafo dei componenti, matrice di adiacenza e migliori risultati di recupero; metodi sensibili alla struttura.
Figura 6: Risultati del recupero e prove strutturali intermedie in presenza di interferenza con sfondo rosso. (A) L'immagine di query. (B) Il grafo dei componenti della query viene generato a partire dai centri dei componenti salvati e dalla matrice di adiacenza tipizzata. (C) La matrice di adiacenza tipizzata della query, in cui i valori della matrice distinguono relazioni inattive, confini comuni del primo piano e relazioni d'ordine verticale predefinite. (D) I primi tre risultati di recupero prodotti dalla baseline basata sull'aspetto. (E) I primi tre risultati prodotti dalla rappresentazione sensibile alla struttura. (F) Il grafo dei componenti del risultato con il punteggio più alto ottenuto con il metodo sensibile alla struttura. (G) La matrice di corrispondenza dei componenti dopo la fusione tra la query e il risultato con il punteggio più alto. Un'elevata corrispondenza diagonale indica accordo tra componenti con lo stesso identificatore, mentre risposte deboli o spostate indicano un'organizzazione dei componenti mancante o non corrispondente. I risultati del recupero preservano la categoria generale della parte superiore del corpo, ma non mostrano un accordo completo nella configurazione delle maniche e nella topologia locale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Analisi delle differenze tra oggetti visivi; grafici e mappe termiche mostrano differenze spaziali e di componente nelle immagini.
Figura 7: Tracciamento delle differenze strutturali dalla topologia del capo a livello di immagine alla risposta spaziale. (A) L'immagine di riferimento. (B) L'immagine target. (C) Il grafo dei componenti di riferimento. (D) Il grafo dei componenti target. Entrambi i grafi sono ricostruiti a partire dai centri dei componenti salvati e dalle matrici di adiacenza tipizzate. (E) La matrice di differenza delle adiacenze tipizzate. (F) La differenza nelle relazioni geometriche deriva dallo spostamento dei centri dei componenti, dalla dispersione spaziale e dai cambiamenti nel peso delle relazioni. (G) Il grafo delle differenze tra componenti dopo la fusione, in cui l'intensità dei nodi rappresenta la distanza normalizzata tra i corrispondenti vettori dei componenti fusi e la larghezza degli archi rappresenta la variazione del peso delle relazioni. (H) La mappa termica della risposta puramente spaziale è stata generata utilizzando la stessa scala fissa di risposta dell'immagine sovrapposta. (I) La risposta sovrapposta all'immagine target. Una differenza strutturale è accettata soltanto quando il cambiamento di adiacenza, il cambiamento nella relazione geometrica, il cambiamento nella distanza tra componenti e la risposta termica allineata al primo piano risultano coerenti. L'attivazione dello sfondo in assenza di evidenze corrispondenti di componenti o relazioni è considerata un'interferenza residua e non una differenza valida nella struttura del capo. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Diagramma di distribuzione delle caratteristiche, classificazione strutturale supervisionata; raggruppamento di articoli di moda; categorie di abbigliamento.
Figura 8: Raggruppamento nello spazio delle caratteristiche consapevole della struttura. (A) La proiezione t-SNE di capi a manica corta, pantaloni, gonne, cappotti lunghi e abiti. Le cinque categorie formano regioni principali di caratteristiche con un sovrapposizione limitata nelle zone di confine tra di esse. (B) Immagini di test rappresentative assegnate alle cinque categorie di capi d'abbigliamento, con il colore del bordo corrispondente al colore della categoria in (A). La figura mostra un'organizzazione strutturale a livello di categoria, mantenendo tuttavia un numero ridotto di campioni vicino alle regioni delle categorie adiacenti. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Confronto delle prestazioni del modello nei grafici; analisi delle metriche SCI/SDI e delle percentuali di Recall@mAP.
Figura 9: Confronto delle prestazioni grezze tra diverse strutture dello spazio delle caratteristiche e obiettivi di classificazione nei risultati di recupero. (A) SCI e SDI per il modello di base basato sull'aspetto, il modello a struttura debole, il modello a struttura esplicita e il metodo proposto. (B) Recall@5 e mAP per gli stessi quattro metodi. I marcatori grandi indicano la media aritmetica su cinque esecuzioni indipendenti, le barre di errore indicano la deviazione standard campionaria e i marcatori piccoli indicano i risultati a livello di singola esecuzione. SCI e SDI sono visualizzati su una scala fissa da zero a uno, mentre Recall@5 e mAP sono visualizzati su una scala percentuale fissa da zero a cento. Non è stata applicata alcuna normalizzazione min-max né alcuna ridimensionatura incrociata tra metodi. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Rappresentazione cromatica di una donna che suona uno strumento tradizionale, con evidenziazione delle aree di interesse, diagramma.
Figura 10: Risposte relative alle differenze strutturali in diverse configurazioni del modulo. (A) L'immagine di riferimento. (B) L'immagine target. (C) La risposta della variante senza il modello strutturale a priori. (D) La risposta della variante senza il modulo di fusione. (E) La risposta del modello completo. (C–E) sono rappresentate utilizzando la stessa scala normalizzata di risposta, la stessa mappa cromatica e le stesse impostazioni di sovrapposizione. (F) La differenza assoluta di risposta limitata alla regione in primo piano tra la variante senza fusione e il modello completo. Il modello completo mantiene la risposta principale allineata al capo d'abbigliamento, riducendo al contempo la dispersione residua al di fuori della regione strutturale principale. Il confronto mostra che il modello strutturale a priori riduce le interferenze esterne al capo d'abbigliamento e che il modulo di fusione affina ulteriormente la risposta strutturale. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Grafico del peso del vincolo strutturale rispetto al richiamo della validazione, λ=1,0 ottimale; grafico di analisi dati.
Figura 11: Selezione del peso del vincolo strutturale basata sulla validazione. Il valore di Recall@5 nella fase di validazione è riportato per pesi del vincolo strutturale pari a 0,1, 0,3, 0,5, 0,8, 1,0, 1,2, 1,5 e 2,0. Ogni punto indica la media aritmetica ottenuta in cinque esecuzioni di validazione, e ogni barra di errore rappresenta la deviazione standard campionaria. Il peso è stato fissato a 1,0 prima della valutazione finale sul test set. Questa figura illustra la procedura di selezione dei parametri e non costituisce un contributo architetturale indipendente. Cliccare qui per visualizzare una versione ingrandita di questa figura.

Tabella 1: Assegnazione del dataset e statistiche topologiche a livello di immagine nei sottoinsiemi di capi S1-S5. La tabella riporta i conteggi di immagini per il training, la validazione, il test e il totale, insieme al numero medio di componenti semantici, al conteggio di nodi attivi, al conteggio di archi tipizzati e al conteggio di punti di riferimento annotati nel piano dell'immagine per ciascun livello strutturale. Tutti i valori sono generati dai manifesti dei dati elaborati. I conteggi di immagini per training, validazione e test sono stati ottenuti dai manifesti finali dei sottoinsiemi dopo revisione strutturale, controllo dei gruppi di duplicati e verifica di eventuali sovrapposizioni, mentre le statistiche topologiche sono state calcolate dai record finali dei grafi utilizzando lo stesso ordine di componenti e le stesse definizioni di relazione adottate durante la valutazione del modello. Cliccare qui per scaricare il file.

Tabella 2: Impostazioni ambientali computazionali, configurazione di input, aumento dati, rappresentazione, ottimizzazione, funzione di perdita e riproducibilità utilizzate nell'intero protocollo. La tabella riporta le versioni esatte del sistema operativo, processore, memoria installata, unità di elaborazione grafica, memoria grafica, driver grafico, CUDA, cuDNN, Python, NumPy, PyTorch e torchvision, insieme alle dimensioni dell'immagine, alla costruzione del batch, all'ottimizzatore, alla pianificazione del tasso di apprendimento, al numero di epoche, ai semi casuali, alle dimensioni della rappresentazione e ai pesi degli obiettivi strutturali. Ogni valore è collegato al file software_versions.txt, al file configs/protocol.yaml o al corrispondente record di addestramento. Cliccare qui per scaricare il file.

Tabella 3: Confronto quantitativo tra modelli generali di rappresentazione visiva, modelli di capi d'abbigliamento basati su grafi e metodi specifici del dominio per il recupero di moda. La tabella riporta il focus del recupero, la modalità della query, SCI, SDI, Recall@5, mAP e coefficiente di siluetta per undici metodi, utilizzando le stesse partizioni dei dati e lo stesso protocollo di valutazione. Ogni metrica è riportata come media e deviazione standard campionaria ottenute da cinque esecuzioni indipendenti. I valori di p riportati sono stati ottenuti da test t appaiati a due code che confrontano ciascun metodo di confronto con il metodo proposto, utilizzando risultati generati con gli stessi cinque semi casuali. Il metodo proposto è considerato come riga di riferimento. Cliccare qui per scaricare questo file.

Tabella 4: Risultati dell'analisi di ablazione per il prior strutturale e il modulo di fusione delle caratteristiche. La tabella riporta SCI, SDI e Recall@5 per la variante senza il prior strutturale, la variante senza il modulo di fusione e il modello completo. La rimozione del prior strutturale determina una riduzione maggiore di SCI e Recall@5, mentre l'eliminazione del modulo di fusione riduce SDI e l'allineamento delle risposte. Il modello completo registra il valore più alto per tutte e tre le metriche. Cliccare qui per scaricare il file.

Tabella 5: Efficienza computazionale del modello di base ResNet-50 e del modello completo con struttura integrata. La tabella riporta i parametri addestrabili, le operazioni in virgola mobile per immagine e il tempo medio di inferenza per immagine nello stesso ambiente hardware e software documentato nella Tabella 2 e nella Tabella dei Materiali. Entrambi i modelli utilizzano la stessa risoluzione delle immagini, la stessa configurazione del batch di inferenza, le stesse operazioni di preelaborazione e lo stesso procedimento di misurazione dei tempi. Il modello completo aggiunge 3,7 milioni di parametri, 1,3 miliardi di operazioni in virgola mobile e 7 millisecondi di tempo di inferenza per immagine rispetto al modello di base. Cliccare qui per scaricare questo file.

Discussione

Le fasi più critiche del protocollo sono il preelaborazione che preserva il capo d'abbigliamento e l'analisi semantica dei componenti limitata al primo piano. I centri dei componenti, i valori di dispersione spaziale, le relazioni di confine condiviso, le relazioni d'ordine verticale, i pesi delle relazioni e le rappresentazioni fuse sono tutti derivati dall'output dell'analisi. Le fuoriuscite di confine, le regioni di componente unite, le regioni di componente mancanti e gli assegnamenti errati dei canali si propagano attraverso la costruzione del grafo e la fusione delle caratteristiche. Questi errori possono produrre file grafici con dimensioni valide, mentre le relazioni tra componenti rappresentate rimangono incoerenti con il capo d'abbigliamento originale. La mappa di probabilità, la limitazione al primo piano, l'anteprima dei componenti e il registro della qualità dell'analisi devono pertanto essere verificati prima che il modello strutturale sia accettato.

La costruzione del grafo e la fusione delle caratteristiche richiedono un ordine fisso di componenti semantici. Il grafo deriva dai componenti del capo di abbigliamento in primo piano e dalle loro relazioni nel piano dell'immagine. Le figure di recupero e di localizzazione delle differenze mostrano il percorso strutturale di elaborazione, piuttosto che visualizzare soltanto immagini finali ordinate o mappe termiche di risposta. Matrici di adiacenza tipizzate documentano le relazioni discrete tra componenti, matrici di relazione geometrica documentano l'organizzazione spaziale normalizzata, e matrici di componenti post-fusione documentano la rappresentazione utilizzata per il recupero e la localizzazione. Le conclusioni strutturali devono essere accettate solo quando queste rappresentazioni intermedie sono in accordo con l'output visivo finale. Il grafo dei componenti non utilizza punti di riferimento anatomici, coordinate articolari umane o una rete per la stima della posa. Un sovrapposizione grafica deve essere accettata solo quando i suoi nodi e i tipi di relazione sono riprodotti dai file salvati di componenti e di adiacenza. I componenti inattivi devono rimanere come vettori nulli con indicatori di nodi inattivi, e le matrici delle caratteristiche di aspetto e strutturali devono ciascuna contenere K righe e 512 colonne prima della fusione. Questi controlli impediscono che errori di allineamento dei nodi o di dimensione siano interpretati come comportamento del modello.

La risoluzione dei problemi deve iniziare dal più precoce risultato intermedio non valido. Le mappe di probabilità uniformi indicano errori nei checkpoint, nella normalizzazione o negli indici delle categorie; matrici strutturali non numeriche indicano denominatori di probabilità non validi o una scalatura errata delle coordinate; risposte diffuse e recupero dominato dal colore indicano priori strutturali deboli, fusione non riuscita o caricamento errato del checkpoint. I log di addestramento devono confermare la presenza di gradienti nei livelli del grafo e di fusione, nonché la selezione dei checkpoint basata sulla validazione. Una risposta visiva sotto forma di mappa termica non deve essere utilizzata come conclusione strutturale autonoma. Deve essere verificata confrontandola con la maschera del primo piano salvata, il cambiamento di adiacenza digitato, la matrice delle relazioni geometriche e il grafico delle differenze tra componenti post-fusione. L'attivazione residua al di fuori del primo piano del capo d'abbigliamento indica una specificità della risposta limitata, piuttosto che una differenza strutturale convalidata.

Rispetto al recupero basato sull'aspetto, il protocollo introduce la topologia dei componenti prima dell'apprendimento metrico. Rispetto ai vincoli strutturali deboli e ai modelli grafici a topologia fissa, i pesi delle relazioni semantiche adattano la propagazione del grafo all'indumento corrente. Il modello completo ha raggiunto un SCI di 0,81, un SDI di 0,71, un Recall@5 dell'89,2%, un mAP dell'86,4% e un coefficiente di siluetta di 0,74, come riportato in Tabella 3. I moduli strutturali aggiuntivi hanno aumentato il numero di parametri da 25,6 milioni a 29,3 milioni e il tempo di inferenza da 15 a 22 millisecondi per immagine, come riportato in Tabella 4. Il contributo tecnico del protocollo risiede nella costruzione di un grafo dei componenti dell'indumento a livello di immagine, nella codifica parallela dell'aspetto e delle relazioni tra componenti, nel meccanismo di fusione delle caratteristiche guidato dalla struttura e negli obiettivi di coerenza strutturale, relazionali e di discriminazione. La verifica di validazione riportata in Figura 11 ha lo scopo esclusivo di determinare un coefficiente fisso di addestramento e non è presentata come un contributo alla progettazione dell'architettura di rete o della funzione obiettivo.

Il protocollo rimane sensibile a forti occlusioni, sovrapposizioni di indumenti, immagini sorgenti di piccole dimensioni, variazioni di posa, sfondi complessi e capi il cui schema visibile non corrisponde allo schema fisso di sette regioni. Design asimmetrici, strati rimovibili, drappeggi fitti, indumenti inferiori multistrato e regioni decorative sovrapposte possono fondere diverse regioni semantiche o introdurre relazioni tra componenti assenti dalla definizione attuale del grafo. L'occlusione può sopprimere un componente attivo, spostarne il baricentro probabilistico e rimuovere una relazione di confine condiviso valida. Figura 6 mostra il recupero della categoria generale del tronco superiore ma un abbinamento incompleto della topologia delle maniche, mentre Figure 7 e 10 mantengono risposte in aree adiacenti dello sfondo. Questi risultati indicano che dimensioni tensoriali valide e connettività del grafo non garantiscono un'interpretazione strutturale semanticamente corretta. Lo studio attuale, pertanto, supporta il recupero basato sull'immagine, il clustering e la localizzazione delle differenze piuttosto che l'efficienza del flusso di lavoro progettuale o la stima diretta dei parametri del modello. Tutti gli esperimenti quantitativi dello studio attuale sono condotti sul cohort DeepFashion2 conservato e ridefinito strutturalmente. I risultati attuali non dimostrano robustezza su dataset indipendenti con diverse tassonomie di capi, standard di annotazione, categorie di abbigliamento culturale, fonti delle immagini o ambienti di acquisizione. Il trasferimento a un altro dataset potrebbe richiedere la ridefinizione dei sette canali dei componenti e la ricostruzione dello schema delle relazioni tipizzate. Le conclusioni riportate sono quindi limitate alla distribuzione dei dati valutati e alla definizione dei componenti a livello di immagine.

Entro questi limiti, il protocollo fornisce una sequenza riproducibile che, partendo da immagini di capi d'abbigliamento, arriva a rappresentazioni consapevoli delle componenti attraverso analisi semantica, modellazione delle relazioni geometriche, codifica a doppio flusso e fusione guidata dalla struttura. Una futura validazione utilizzerà dataset indipendenti di capi d'abbigliamento con diversi sistemi di annotazione, categorie di indumenti, pose e condizioni di sfondo. Sarà inoltre esaminato se l'attuale mappatura in sette regioni necessiti di estensioni per strutture di capi asimmetriche, stratificate, removibili e specifiche di una cultura. Schizzi di design disegnati a mano, variazioni tra tessuti diversi e aggiustamenti parametrici dei modelli rimangono ambiti applicativi distinti che richiedono dati specifici per ciascun compito e procedure di valutazione ad hoc. L'usabilità professionale e l'efficienza della revisione progettuale richiedono uno studio separato con soggetti umani, documentato in modo specifico, con partecipanti definiti, criteri di valutazione e procedure statistiche stabilite.

Dichiarazioni

Gli autori dichiarano di non avere conflitti di interessi.

Ringraziamenti

Questo lavoro è stato sostenuto dal secondo gruppo di progetti provinciali chiave di riforma dell'insegnamento universitario durante il XIV piano quinquennale, nell'ambito del progetto intitolato Riforma ed esplorazione didattica di “Progettazione di abbigliamento e moda” basata sul modello congiunto di “Tre integrazioni, tre fusioni” (Numero del progetto: JGZD2024096).

Materiali

Elenco dei materiali utilizzati in questo articolo
Nome	Azienda	Numero di catalogo
Unità Centrale di Elaborazione	Intel Corporation	Intel Core i9-13900K, 24 core, 32 thread, fino a 5,80 GHz
Conda	Anaconda, Inc., anaconda.com	Miniconda3 23.11.0
Toolkit CUDA	NVIDIA Corporation, developer.nvidia.com	CUDA 11.8
cuDNN	NVIDIA Corporation, developer.nvidia.com	cuDNN 8.9.7
Dataset DeepFashion2	The Chinese University of Hong Kong, github.com/switchablenorms/DeepFashion2	Rilascio ufficiale DeepFashion2, Versione 1.0
Unità di Elaborazione Grafica	NVIDIA Corporation	NVIDIA GeForce RTX 4090, 24 GB GDDR6X
Checkpoint HRNet-W48 per l'Analisi Semantica	Progetto HRNet, github.com/HRNet/HRNet-Semantic-Segmentation	hrnet_w48_garment_parser_7class.pth, checkpoint del progetto Versione 1.0
Pesi ResNet-50 Pre-addestrati su ImageNet	Fondazione PyTorch, pytorch.org	ResNet50_Weights.IMAGENET1K_V2
Matplotlib	Squadra di Sviluppo Matplotlib, matplotlib.org	Versione 3.8.2
NumPy	Sviluppatori NumPy, numpy.org	Versione 1.26.4
Driver Grafici NVIDIA	NVIDIA Corporation	Versione 546.33
OpenCV-Python	Squadra OpenCV, opencv.org	Versione 4.8.1.78
Sistema Operativo	Microsoft Corporation	Windows 11 Pro 23H2, 64 bit, Build del Sistema Operativo 22631.3155
Pandas	Squadra di Sviluppo Pandas, pandas.pydata.org	Versione 2.1.4
Python	Fondazione Software Python, python.org	Versione 3.10.13
PyTorch	Fondazione PyTorch, pytorch.org	Versione 2.1.2 con CUDA 11.8
PyYAML	Progetto PyYAML, pyyaml.org	Versione 6.0.1
scikit-learn	Sviluppatori scikit-learn, scikit-learn.org	Versione 1.3.2
SciPy	Sviluppatori SciPy, scipy.org	Versione 1.11.4
Archivio del Codice Sorgente	Archivio supplementare del codice sorgente inviato con il manoscritto	Protocollo di Topologia dell'Abbigliamento, Versione 1.0
Dispositivo di Archiviazione	Samsung Electronics	Samsung 990 PRO NVMe SSD, 2 TB
Memoria di Sistema	Kingston Technology	Kingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvision	Fondazione PyTorch, pytorch.org	Versione 0.16.2 con CUDA 11.8
Workstation	Workstation personalizzata per l'apprendimento profondo	Intel Core i9-13900K, NVIDIA GeForce RTX 4090, memoria da 64 GB, SSD NVMe da 2 TB

Riferimenti

Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

Ristampe e permessi

Tag

Recupero di Immagini di Capi d'Abbigliamento Consistenza Strutturale Immagini DeepFashion2 Parsing HRNet-W48 Codifica ResNet-50 Convoluzione su Grafo Confronto Strutturale Localizzazione delle Differenze