Um Protocolo de Aprendizado de Características de Imagem Baseado na Topologia de Componentes de Vestuário ao Nível da Imagem para Recuperação de Referências de Design

Resumo

Este protocolo gera representações de roupas com reconhecimento de estrutura ao integrar análise semântica de componentes, modelagem de topologia, codificação de características em fluxo duplo e fusão orientada por estrutura. Ele permite que pesquisadores de visão computacional e vestuário realizem recuperação de roupas e comparação com referências de design com base na organização dos componentes e no traçado da silhueta, em vez da cor ou textura.

Resumo

Métodos de recuperação de imagens de roupas frequentemente enfatizam cor e textura, o que pode levar à confusão entre peças que compartilham aparência semelhante, mas diferem em seus layouts de componentes. Este estudo apresenta um protocolo de aprendizado de características com percepção de componentes para recuperação de imagens de roupas e comparação de referências de design. O protocolo analisa regiões semânticas da peça, constrói um grafo de componentes da roupa em nível de imagem, codifica em paralelo a aparência e as relações entre componentes e funde ambas as representações utilizando perdas de consistência estrutural, relação estrutural e discriminação estrutural. As imagens do DeepFashion2 são padronizadas para 512 x 512 pixels, analisadas com HRNet-W48, codificadas com ResNet-50 e convolução de grafo, e avaliadas por meio de recuperação estrutural e agrupamento. O modelo completo alcançou um índice de consistência estrutural de 0,81, um índice de discriminação estrutural de 0,71, um Recall@5 de 89,2%, uma precisão média de 86,4% e um coeficiente de silhueta de 0,74. O protocolo permite a recuperação da estrutura da peça, comparação estrutural e localização de diferenças quando a aparência superficial não representa de forma confiável a construção da roupa.

Introdução

Com a contínua integração da visão computacional e da inteligência artificial na indústria do vestuário, a análise de imagens de roupas tem se expandido gradualmente de tarefas básicas de reconhecimento para análises orientadas ao design e ao suporte de decisões^1,2. No processo de design de vestuário, a distinção entre esquemas de design depende mais da composição estrutural e das relações entre componentes do que de simples diferenças na aparência, o que torna a expressividade estrutural das características de imagens de roupas em assistência ao design um fator-chave que afeta a eficácia da análise^3,4. No entanto, a maioria dos métodos visuais existentes ainda depende de textura, cor e contornos globais como suas características principais, dificultando a análise sistemática de hierarquias e diferenças construtivas nas peças durante o processo de design^5,6. Portanto, desenvolver um método de aprendizado de características de imagem com percepção estrutural para assistência ao design de vestuário é importante para melhorar a objetividade e a consistência da análise de design⁷. Este protocolo é adequado quando as peças de vestuário possuem cores, texturas ou contornos globais semelhantes, mas diferem na organização dos componentes, nos padrões de conexão ou no layout espacial. Nessas condições, representações centradas na aparência tendem a posicionar designs estruturalmente diferentes próximos uns dos outros no espaço de características, o que enfraquece a confiabilidade da recuperação e da comparação de designs. O protocolo aborda tarefas nas quais as relações entre os componentes das peças de vestuário constituem a base principal para a recuperação estrutural, avaliação de design e análise de diferenças localizadas.

Em termos de escala de dados, complexidade do modelo e diversidade de tarefas, a pesquisa atual sobre análise e compreensão automáticas de imagens de roupas obteve progressos significativos^8,9. No entanto, em aplicações práticas, a informação estrutural das roupas é frequentemente incluída de forma implícita nos resultados de segmentação ou detecção e não é considerada na modelagem unificada da etapa de aprendizado de características, resultando na falta de distinção estável entre diferentes designs estruturais no espaço de características^10,11. As relações espaciais, as restrições hierárquicas e as estruturas topológicas entre os componentes das roupas não são codificadas explicitamente, dificultando a capacidade das representações de características refletirem diferenças estruturais no nível do design^12,13. A ausência de modelagem estrutural explícita limita a granularidade analítica e a confiabilidade das decisões baseadas nas características de imagens de roupas em cenários assistidos por design, representando um obstáculo importante para o desenvolvimento de sistemas inteligentes de design com compreensão semântica mais profunda¹⁴.

Para apoiar a aprendizagem e análise de características de imagens de roupas, estudos relacionados exploraram diversas direções técnicas¹⁵. Métodos de segmentação semântica e análise de vestuário permitiram a delimitação fina de regiões e componentes do vestuário por meio de anotação em nível de pixel, fornecendo uma base para a extração de informações estruturais^16,17. Métodos de recuperação de vestuário baseados em consulta por imagem incorporaram fusão de topologia e cor-textura, alinhamento de atenção global e local, análise de vestuário, representação multiescala e multigranular e atenção residual com seleção de características. Esses métodos abordam busca em catálogos, correspondência de consumidor para loja, recuperação de produtos em domínios cruzados e busca visual em comércio eletrônico. Seus contextos de aplicação estão estreitamente relacionados à recuperação de referências de design, pois cada método classifica imagens de vestuário com base em uma consulta visual, embora suas representações não preservem as relações de adjacência tipificada entre componentes e de ordem vertical ao longo da fusão de características^18,19,20. Enquanto isso, pesquisas em cenários de design e recomendação têm introduzido gradualmente fusão multimodal, modelagem de relações e análise de estilo, expandindo os limites de aplicação das características visuais de roupas^21,22. Embora esses métodos tenham obtido progressos em suas respectivas tarefas, suas características centrais ainda são amplamente baseadas em descrições de aparência, e a informação estrutural não foi uniformemente modelada como uma restrição inerente para a aprendizagem de características, dificultando o atendimento às necessidades de assistência ao design de roupas em termos de alinhamento estrutural e comparação estrutural²³.

Para resolver a capacidade insuficiente de diferenciação estrutural na assistência ao design de roupas, este artigo propõe um método de aprendizado de características de imagem baseado na percepção da estrutura do vestuário. Este método incorpora resultados de análise de roupas e informações estruturais-chave na etapa de entrada da imagem do vestuário, modelando conjuntamente regiões de componentes do vestuário, relações espaciais e conexões hierárquicas. A codificação de relações estruturais e o alinhamento de características visuais integram explicitamente restrições do vestuário ao processo de aprendizado de características, gerando uma representação que preserva tanto a aparência visual quanto a consistência estrutural. Essa característica descreve as diferenças estruturais do vestuário dentro de um espaço unificado, fornecendo uma base estável para análises subsequentes de similaridade estrutural, agrupamento estrutural e tomada de decisões assistidas por design, aliviando assim o problema de confusão de características causado pela falta de modelagem estrutural nos métodos existentes. Diferentemente das estratégias gerais de recuperação visual que tratam a informação estrutural como atributos auxiliares fracamente conectados, esta estrutura constrói um mecanismo de modulação de características centrado em relações topológicas. O mecanismo incentiva a representação aprendida a seguir a organização visível das regiões do vestuário, reduzindo respostas dominadas por textura. Cada nó do grafo denota uma região semântica em nível de imagem, e cada relação do grafo descreve adjacência visível ou posição relativa normalizada no plano da imagem. O embedding resultante permite a comparação do layout dos componentes e da organização da silhueta entre imagens de roupas. Essas regiões e relações não correspondem a peças de moldes de costura, conexões de costuras, marcos construtivos ou parâmetros de graduação. Em comparação com métodos de recuperação orientados pela aparência, o protocolo mantém a topologia explícita dos componentes durante todo o aprendizado de características, em vez de tratar a informação estrutural como um resultado de análise posterior. Em comparação com abordagens que introduzem pistas estruturais apenas como entradas auxiliares, a codificação em duplo fluxo e a fusão consistente com a topologia preservam as relações geométricas enquanto reduzem respostas dominadas por textura. A representação resultante suporta recuperação da estrutura do vestuário, agrupamento estrutural, seleção de referências de design e análise localizada de diferenças de design, fornecendo ao mesmo tempo evidências em nível de componente que permanecem interpretáveis no processo de design de roupas. A pesquisa relacionada a este protocolo abrange aprendizado de características de imagens de roupas, modelagem da estrutura do vestuário, representação com consciência estrutural e análise visual para assistência ao design de vestuário.

No nível de representação de características, a pesquisa com imagens de roupas há muito se concentra na modelagem da aparência, na extração de características profundas e na representação em múltiplas escalas^24,25. Trabalhos iniciais utilizaram redes neurais convolucionais para realizar modelagem end-to-end de imagens de roupas em tarefas de classificação, recuperação e correspondência de similaridade^26,27. Posteriormente, foram introduzidas fusão de características em múltiplas escalas e aprendizado cruzado de domínios para atenuar as diferenças em imagens de roupas sob diferentes ângulos de visão, poses e condições de captura^28,29. Em tarefas de recuperação, mecanismos de atenção e estratégias de compressão de características foram utilizados para melhorar a discriminatividade das características e a eficiência computacional^30,31. Esses métodos alcançam uma discriminação de aparência confiável, mas seus processos de aprendizado de características ainda se concentram em informações visuais globais e carecem de representações sistemáticas das estruturas internas das roupas³². Métodos compostos de recuperação de moda combinam ainda mais uma imagem de referência com instruções textuais de modificação, mas sua modalidade de consulta difere do protocolo baseado apenas em imagem estudado aqui. Eles são revisados como uma direção comercial relacionada de recuperação e não são incluídos na comparação quantitativa, pois a entrada adicional de texto impediria uma avaliação controlada com consulta por imagem.

À medida que a análise de imagens de roupas passou da discriminação de aparência para a compreensão estrutural, a pesquisa tem se concentrado cada vez mais na modelagem de componentes de vestuário, relações geométricas e conexões topológicas³³. Redes de segmentação semântica alcançaram análise em nível de componente de roupas por meio de projeção de características e mecanismos de múltipla atenção, fornecendo uma base confiável para a extração de informações estruturais^34,35. Métodos de detecção de pontos-chave e modelagem de topologia estrutural caracterizaram ainda mais a relação entre contornos de roupas e estruturas locais, aprimorando a capacidade do modelo de representar as características geométricas das vestimentas^36,37. Vários estudos introduziram estruturas em forma de grafo e redes de raciocínio relacional para modelar as relações entre componentes de roupas, melhorando assim o desempenho no reconhecimento fino e na recuperação cruzada de domínios^38,39. Esses trabalhos comprovaram o importante papel da informação estrutural na análise visual, mas a estrutura é usada principalmente como uma característica auxiliar ou um resultado intermediário, e ainda não foi desenvolvido um sistema de aprendizado de características com restrições estruturais no seu núcleo⁴⁰.

Na assistência ao design de vestuário, esses avanços têm apoiado recomendações de design, análise de estilo, construção de sistemas interativos e avaliação de design orientada à estrutura⁴¹. A pesquisa em sistemas de recomendação alcançou combinações de roupas e recomendações personalizadas ao integrar características visuais com preferências dos usuários⁴². Trabalhos relacionados à assistência ao design têm explorado novos caminhos para suporte inteligente ao design, combinando modelos generativos, modelagem de estilo e mecanismos de colaboração entre homem e máquina⁴³. Pesquisas sobre provas virtuais, medição de tamanhos e transferência de estilo têm ampliado a aplicação da análise visual de vestuário em todo o processo de design e produção. Embora esses estudos tenham enriquecido as formas técnicas de assistência ao design de vestuário, suas características visuais centrais ainda são predominantemente guiadas pela aparência e carecem de uma representação unificada da estrutura do design para análise. Em contraste, este artigo trata a estrutura da peça de vestuário como a restrição central na representação de características e fornece um método de representação visual para análise estrutural na assistência ao design de vestuário.

Apesar desses avanços, métodos recentes em design generativo frequentemente tratam condições estruturais como matrizes de orientação espacial soltas dentro de processos de difusão. Atuais estruturas de análise estrutural representam topologias como rótulos semânticos auxiliares, separados do espaço principal de incorporação visual. A estrutura proposta altera esse mecanismo ao definir uma restrição topológica baseada em grafo-prior que modula explicitamente a aprendizagem de características visuais no nível dos componentes. O objetivo de consistência multiescalar incentiva que peças de vestuário com disposições de componentes semelhantes no nível da imagem permaneçam próximas no espaço de características, ao mesmo tempo que separa peças com organizações diferentes de regiões visíveis. O objetivo reduz a dependência de textura na configuração de recuperação avaliada, mas não estabelece invariância a mudanças no material, na pose ou no fundo. O protocolo deve ser selecionado quando a imagem de entrada contém uma peça de vestuário individual suficientemente visível, os componentes semânticos mantêm fronteiras identificáveis e o objetivo analítico exige comparação estrutural no nível dos componentes, em vez de reconhecimento de categoria grosseiro. É destinado a pesquisadores de visão computacional, pesquisadores de design de vestuário e equipes de desenvolvimento digital de roupas envolvidas em análise visual sensível à estrutura. Não é indicado para tarefas focadas exclusivamente no reconhecimento de cor ou material, nem para imagens nas quais a topologia da peça de vestuário está amplamente obscurecida. O protocolo a seguir apresenta o fluxo de trabalho desde a preparação do conjunto de dados e mapeamento de probabilidade semântica até a construção de relações geométricas, codificação de características em dois fluxos, fusão orientada por estrutura e otimização baseada em consistência. O fluxo de trabalho completo é resumido na Figura 1.

Protocolo

Este estudo utiliza conjuntos de dados públicos de imagens de roupas e não recruta participantes humanos, coleta informações pessoalmente identificáveis, realiza experimentos com animais ou utiliza materiais biológicos. A aprovação ética institucional e o consentimento informado não são aplicáveis.

1. Ambiente de software e configuração do projeto

1. Coloque os arquivos do projeto liberados em um diretório com espaço de armazenamento suficiente e abra um terminal no diretório raiz do projeto.
2. Execute conda env create -f environment.yml para criar o ambiente de software. Execute conda activate garment_structure para ativar o ambiente.
3. Execute python --version, conda --version, pip show numpy, pip show torch, pip show torchvision e nvidia-smi. Salve a saída completa do comando em software_versions.txt.
4. Use o mesmo ambiente registrado para pré-processamento, treinamento, inferência, medição de eficiência e avaliação. Registre o nome do arquivo do checkpoint HRNet-W48 e seu valor SHA-256, o identificador dos pesos pré-treinados do ResNet-50 no ImageNet e seu valor SHA-256, a fonte da versão do DeepFashion2 e o identificador do repositório do código-fonte no mesmo arquivo.
5. Crie os diretórios data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs e evaluation_results no diretório raiz do projeto.
6. Abra configs/protocol.yaml. Insira o diretório do DeepFashion2 em dataset_root, o caminho do checkpoint pré-treinado do HRNet-W48 em parser_checkpoint e o diretório de saída do projeto em output_root.
7. Defina input_height como 512, input_width como 512, batch_size como 32, structural_categories_per_batch como 8, samples_per_category como 4, random_seed como 42, feature_dimension como 512, structural_constraint_weight como 1,0, structural_relationship_weight como 0,5, structural_discrimination_weight como 1,0 e separation_threshold como 0,3.
8. Defina o otimizador como gradiente descendente estocástico por mini-lote. Defina initial_learning_rate como 0,0001, momentum como 0,9, weight_decay como 0,0005, max_epochs como 120, learning_rate_schedule como decaimento multi-estágio e learning_rate_decay_factor como 0,1. Insira os estágios de decaimento verificados usados pela configuração liberada em learning_rate_milestones.
9. Execute python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results. Exporte a configuração completa do modelo para model_setting_statistics.csv. Verifique se o arquivo exportado registra o tamanho da imagem de entrada, formato de entrada, composição do lote, otimizador, taxa de aprendizado, cronograma de taxa de aprendizado, contagem de épocas, decaimento de peso, momento, probabilidades de aumento, dimensão de características, pesos das perdas estruturais, limite de separação, sementes aleatórias, regra de seleção de checkpoint e contagem de execuções independentes.
10. Saída esperada: Confirme que o ambiente de software inicia sem erros de dependência, que o arquivo software_versions.txt contém o registro do ambiente, que todos os diretórios de saída existem e que o arquivo configs/protocol.yaml contém caminhos absolutos e configurações numéricas válidas.
    NOTA: Use o mesmo ambiente e arquivo de configuração durante o processamento de dados, treinamento do modelo, inferência e avaliação. Armazene uma cópia do arquivo configs/protocol.yaml com cada checkpoint treinado.
    ​RESOLUÇÃO DE PROBLEMAS: Se a criação do ambiente for interrompida porque um pacote está indisponível, remova o ambiente incompleto, verifique os canais do pacote em environment.yml e recrie o ambiente. Se o nvidia-smi não relatar uma unidade de processamento gráfico, interrompa o treinamento do modelo e restaure o driver gráfico e o ambiente de execução CUDA. Se um erro de diretório aparecer durante a execução, substitua caminhos relativos por caminhos absolutos e verifique a permissão de gravação para output_root.

2. Aceitação da imagem de entrada, construção do conjunto de dados e pré-processamento

1. Utilize apenas arquivos com as extensões JPG, JPEG ou PNG. Use imagens RGB de 8 bits contendo uma única peça principal de vestuário.
2. Mantenha imagens RGB de 8 bits com largura e altura de pelo menos 512 pixels e uma peça principal identificável. Rejeite uma imagem quando a área da peça principal ocupe menos de 15% da área total da imagem, quando mais de 5% da borda da máscara da peça coincidir com a borda da imagem, quando uma região secundária de vestuário exceder 10% da área da peça principal, quando a área estimada de oclusão exceder 20% da máscara da peça principal ou quando a variância da resposta do Laplaciano for inferior a 100.
3. Registre o identificador da imagem, valor medido, regra de exclusão acionada e caminho da anotação em excluded_samples.csv.
4. Applique as regras de aceitação de entrada às imagens originais do DeepFashion2 antes da rotulagem estrutural e da partição dos dados. Registre cada identificador de imagem aceita e rejeitada, a divisão original do conjunto de dados, o identificador da anotação da peça, o identificador do par de origem, a proporção da área em primeiro plano, a proporção de contato com a borda, a proporção de oclusão, a pontuação de desfoque e o status final de retenção em data_filtering_manifest.csv.
5. Execute python tools/prepare_data.py --config configs/protocol.yaml.
6. Leia a caixa delimitadora da peça a partir da anotação do conjunto de dados. Amplie a caixa delimitadora em 5% de sua largura e altura, sem exceder os limites da imagem.
7. Recorte a região da peça, mantenha sua proporção original, adicione preenchimento com zeros para formar uma imagem quadrada e redimensione a imagem preenchida para 512 x 512 pixels.
8. Converta a imagem redimensionada em um tensor RGB com valores de ponto flutuante. Divida cada valor de pixel por 255.
9. Normalize os canais vermelho, verde e azul com médias de 0.485, 0.456 e 0.406 e desvios padrão de 0.229, 0.224 e 0.225.
10. Applique inversão horizontal com probabilidade de 0,5 e apagamento aleatório com probabilidade de 0,2 às imagens de treinamento. Aplique apenas recorte, preenchimento, redimensionamento e normalização determinísticos às imagens de validação e teste.
11. Execute python tools/assign_structural_levels.py --config configs/protocol.yaml após a geração dos mapas de componentes de sete canais e das matrizes de fronteira compartilhada e de ordem vertical. Para cada imagem mantida, calcule a contagem de nós ativos, a contagem de componentes conectados, a contagem de nós de ramificação, a contagem de ciclos independentes e o caminho vertical ordenado mais longo. Defina um nó de ramificação como um nó ativo conectado a pelo menos três outros nós ativos no grafo de fronteira compartilhada.
12. Atribua S1 quando o grafo for conectado, não contiver ciclo independente, não contiver nó de ramificação e tiver um caminho vertical ordenado mais longo com no máximo duas arestas. Atribua S2 quando o grafo for conectado, não contiver ciclo independente, contiver exatamente um nó de ramificação e tiver um caminho vertical ordenado mais longo com no máximo duas arestas. Atribua S3 quando o grafo for conectado, não contiver ciclo independente e tiver pelo menos dois nós de ramificação ou um caminho vertical ordenado com pelo menos três arestas. Atribua S4 quando o grafo for conectado, contiver exatamente um ciclo independente e tiver um caminho vertical ordenado com no máximo duas arestas. Atribua S5 quando o grafo contiver pelo menos dois ciclos independentes ou contiver um ciclo independente juntamente com um caminho vertical ordenado com pelo menos três arestas.
13. Applique as regras na ordem S5, S4, S3, S2 e S1 e salve as estatísticas do grafo calculadas, o nível atribuído e o identificador da regra em structural_level_manifest.csv.
14. Gere automaticamente os rótulos preliminares S1–S5 a partir das máscaras de componentes e matrizes de relações salvas. Marque uma amostra como estruturalmente ambígua quando seu grafo de componentes contiver mais de um componente conectado, quando a probabilidade média máxima do componente dentro do primeiro plano da peça for inferior a 0,60, quando um componente ativo ocupar menos de 1% do primeiro plano da peça ou quando seu nível estrutural atribuído mudar após a largura de contato da borda ser alterada de um para dois pixels.
15. Submeta cada amostra ambígua a dois autores para inspeção independente da imagem original, mapa de componentes, matriz de fronteira compartilhada, matriz de ordem vertical e grafo preliminar. Mantenha o rótulo quando as duas inspeções concordarem. Submeta discordâncias a um terceiro autor e use a decisão da maioria como rótulo final. Exclua uma amostra quando nenhuma relação de componente estável for recuperada após a revisão. Registre o rótulo automático, rótulos de revisão, motivo da discordância, rótulo final e status de exclusão em structural_label_audit.csv.
16. Calcule o valor SHA-256 de cada arquivo original mantido e calcule um hash perceptual de 64 bits a partir do recorte normalizado da peça. Coloque imagens com valores idênticos de SHA-256 no mesmo grupo de duplicatas exatas. Coloque imagens cujos hashes perceptuais tenham uma distância de Hamming de no máximo quatro no mesmo grupo de duplicatas próximas, após verificar que elas provêm da mesma instância de peça.
17. Una todas as imagens que compartilham o mesmo identificador de par de origem do DeepFashion2 ou identidade da peça em um único grupo de origem. Salve os hashes de arquivo, hashes perceptuais, identificadores de origem e identificadores de grupo de duplicatas em duplicate_group_manifest.csv.
18. Realize a partição dos dados no nível do grupo de origem, e não no nível da imagem individual. Atribua cada grupo de duplicatas exatas, grupo de duplicatas próximas e grupo de identidade de origem inteiramente a um subconjunto. Verifique todos os pares entre subconjuntos após a partição e registre todos os conflitos de identidade, conflitos de hash e conflitos de hash perceptual detectados em leakage_audit.csv. Recrie os manifestos até que leakage_audit.csv não contenha registros entre subconjuntos não resolvidos.
19. Estratifique os grupos de origem pelos rótulos finais S1-S5 e atribua grupos completos aos subconjuntos de treinamento, validação e teste de acordo com a alocação verificada mostrada em Tabela 1. Informe a contagem exata de imagens e de grupos de origem para cada nível estrutural e subconjunto.
20. Calcule as porcentagens realizadas de treinamento, validação e teste a partir do coorte final mantido, e não a partir do conjunto de dados não filtrado. Não utilize imagens de validação, imagens de teste, imagens excluídas por ambiguidade ou imagens pertencentes aos seus grupos de duplicatas durante o aprendizado de parâmetros, determinação de limiares, ajuste de regras de nível estrutural ou seleção de pontos de controle.
21. Salve as imagens processadas em data_processed/images. Salve train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv e structural_level_manifest.csv em data_processed/manifests.
22. Leia os rótulos estruturais finais, status de revisão, identificadores de grupo de duplicatas, identificadores de grupo de origem e rótulos de subconjunto a partir dos manifestos processados. Conte as amostras aceitas automaticamente, amostras revisadas manualmente, exclusões por ambiguidade, exclusões por duplicatas, grupos de origem, imagens de treinamento, imagens de validação e imagens de teste para S1 a S5.
23. Calcule as proporções realizadas dos subconjuntos, contagem média de nós ativos, contagem média de nós de ramificação, contagem média de ciclos independentes, profundidade média da ordem vertical e contagem média de arestas tipificadas. Salve as estatísticas completas em evaluation_results/dataset_statistics.csv.
24. Saída esperada: Confirme que cada imagem aceita seja uma imagem RGB de 8 bits com tamanho de 512 x 512 pixels e possua um registro de filtragem, um rótulo final de nível estrutural, um identificador de grupo de origem, um identificador de grupo de duplicatas, um rótulo de subconjunto e um caminho de anotação válido. Confirme que cada amostra ambígua possua um registro completo de revisão. Confirme que nenhum identificador de origem, grupo de duplicatas exatas, grupo de duplicatas próximas ou identidade da peça ocorra em mais de um subconjunto. Confirme que as contagens de imagens em train_manifest.csv, validation_manifest.csv, test_manifest.csv e dataset_statistics.csv sejam idênticas.
    NOTA: Mantenha as imagens originais não processadas em data_raw. Não aplique aumento aleatório às imagens de validação ou teste.
    ​TROUBLESHOOTING: Se o recorte remover uma gola, manga, barra ou perna de calça, restaure a anotação original e aumente a margem da borda mantida. Se uma peça parecer esticada, verifique se o preenchimento quadrado está presente antes do redimensionamento. Se uma imagem processada contiver um canal ou quatro canais, converta o arquivo de origem para RGB de 8 bits e refaça o pré-processamento. Se identificadores duplicados ocorrerem entre subconjuntos, recrie todos os manifestos de subconjunto antes do treinamento.

3. Análise de componentes visuais restrita ao primeiro plano e mapeamento de probabilidade

1. Execute o comando python tools/parse_components.py --config configs/protocol.yaml.
2. Carregue o ponto de controle pré-treinado HRNet-W48 para análise semântica de roupas a partir de parser_checkpoint. Verifique se o ponto de controle gera as categorias de componentes de vestuário definidas pelo mapeamento de anotações do conjunto de dados. Altere a rede de análise semântica para o modo de avaliação e desative o cálculo de gradientes.
3. Leia as imagens processadas sequencialmente a partir dos arquivos train_manifest.csv, validation_manifest.csv e test_manifest.csv.
4. Extraia um tensor de resposta semântica de sete canais de cada imagem de entrada e defina K como sete em todo o fluxo de trabalho. Utilize a ordem fixa de categorias: Região Superior de Bordado, Região da Decote, Região do Corpete, Região Esquerda da Parte Inferior da Roupa, Região Direita da Parte Inferior da Roupa, Região Central da Parte Inferior da Roupa e Região da Borda. Mantenha essa ordem em mapas de probabilidade, matrizes de componentes, matrizes de grafos, matrizes de características, manifestos e arquivos de visualização.
5. Aplique a função softmax ao longo da dimensão dos canais para gerar o mapa de probabilidade P dos componentes semânticos. Verifique se as probabilidades em todos os K canais somam um em cada pixel, com uma tolerância de 0,0001.
6. Carregue a máscara de primeiro plano da roupa a partir da anotação do conjunto de dados e alinhe-a com a imagem processada de 512 x 512. Defina como zero a probabilidade de cada componente fora do primeiro plano da roupa. Renormalize as probabilidades dos componentes dentro da máscara de primeiro plano ao longo da dimensão dos canais.
7. Verifique se cada região ativa do componente permanece dentro do primeiro plano da roupa. Rejeite a amostra analisada se uma região colorida do componente se estender para áreas de fundo, como parede, chão, cortina ou outros elementos do fundo. Registre o identificador da imagem rejeitada e o erro de análise em parsing_quality_log.csv.
8. Calcule a taxa de cobertura do primeiro plano para cada componente e marque os componentes com regiões fragmentadas ou áreas isoladas não suportadas para inspeção manual.
9. Salve o tensor de resposta semântica em parser_outputs/logits. Salve o mapa de probabilidade em parser_outputs/probability_maps. Salve uma pré-visualização codificada por cores do componente em parser_outputs/previews.
10. Saída esperada: Confirme que cada imagem aceita produz um mapa de probabilidade de sete canais restrito ao primeiro plano, com dimensão espacial de 512 x 512 pixels, um tensor de resposta semântica de sete canais e uma imagem de pré-visualização. Confirme que os índices dos canais de um a sete seguem a ordem fixa de componentes definida na Etapa 3.4. Confirme que todas as regiões coloridas dos componentes permanecem dentro do primeiro plano da roupa e que os pixels de fundo têm probabilidade zero para todos os componentes. Confirme que o identificador do arquivo corresponde à entrada correspondente no manifesto de origem.
    NOTA: Mantenha as probabilidades contínuas dos componentes dentro do primeiro plano da roupa durante a modelagem estrutural. Trate as regiões resultantes como áreas para análise visual. Não interprete suas bordas como linhas de costura, linhas de corte, contornos de moldes, pences, recortes ou referências de graduação.
    ​SOLUÇÃO DE PROBLEMAS: Se todos os canais apresentarem probabilidades quase uniformes, verifique parser_checkpoint, a ordem dos canais RGB e a normalização da imagem. Se um componente estiver ausente em todo um subconjunto, compare o índice da anotação com o índice do canal na saída do analisador. Se as cores dos componentes se estenderem para o fundo, verifique o alinhamento da máscara de primeiro plano, as configurações de interpolação e as coordenadas da anotação antes da construção do grafo. Se uma região visual abranger várias áreas da roupa não relacionadas, marque a amostra como falha na análise e exclua-a da geração de priorização estrutural. Se as probabilidades dos canais não somarem um, aplique softmax ao longo da dimensão dos canais, e não ao longo das dimensões espaciais. Se um arquivo de saída estiver ausente, localize o identificador final processado no log do analisador e retome a análise a partir do próximo identificador.

4. Modelagem da geometria de componentes e relações espaciais no nível da imagem

1. Carregue o tensor de características visuais rasas e o mapa de probabilidade correspondente P para cada imagem.
2. Multiplique cada vetor de característica espacial pela probabilidade atribuída ao componente semântico correspondente.
3. Somar os vetores de características ponderados ao longo das dimensões espaciais e dividir a soma pela massa total de probabilidade do componente.
4. Atribua um vetor nulo e um indicador de nó inativo a qualquer componente com massa de probabilidade zero.
5. Aplicar normalização L2 a cada incorporação de componente ativo e empilhar as incorporações de acordo com a ordem fixa de componentes semânticos.
6. Calcule as coordenadas horizontais e verticais do centro no plano da imagem para cada componente visual a partir de sua distribuição de probabilidade restrita ao primeiro plano. Normalize as coordenadas pela largura e altura da imagem.
7. Calcule a dispersão horizontal e vertical no plano da imagem de cada componente visual no mesmo sistema de coordenadas normalizado. Use esses valores apenas para descrever a extensão da região visível na imagem processada.
8. Crie sete nós do grafo de acordo com a ordem fixa de componentes e mantenha os componentes inativos como nós nulos. Construa uma matriz 7 x 7 de fronteira compartilhada usando o contato de oito vizinhos entre as máscaras dos componentes do primeiro plano. Construa uma matriz 7 x 7 de ordem vertical usando as relações fixas da Região do Rodo Superior até a Região da Gola, da Região da Gola até a Região do Corpete, da Região do Corpete até cada região da vestimenta inferior e de cada região da vestimenta inferior até a Região da Borda. Armazene todas as relações válidas em ambas as direções.
9. Adicione um laço próprio para cada nó ativo antes da convolução do grafo e mantenha as relações conectadas a nós inativos com valor zero.
10. Calcule o deslocamento relativo do centro e a dispersão espacial relativa entre cada par ordenado de componentes semânticos. Empilhe os valores geométricos por pares para formar o tensor de relação geométrica.
11. Calcule o produto escalar entre cada par de incorporações de componentes normalizadas. Aplique softmax por linha à matriz de similaridade resultante e use os valores como pesos de relação.
12. Multiplicar o tensor de relação geométrica pelos pesos de relação correspondentes e agregar as relações ponderadas para cada componente.
13. Salve a matriz de incorporação de componentes, matriz de centro dos componentes, matriz de dispersão espacial, matriz de fronteira compartilhada, matriz de ordem vertical, matriz de laço próprio, matriz de pesos de relação, máscara de nós inativos, mapeamento de rótulos de componentes e representação de priori estrutural em structural_priors. Salve todas as matrizes com sete linhas e sete colunas quando aplicável. O processo completo de construção, desde o mapa de componentes restrito ao primeiro plano até a representação de priori topológica dos componentes da vestimenta no nível da imagem, é mostrado na Figura 2.
14. Gere a sobreposição do grafo de componentes para cada amostra de visualização a partir do mapa de probabilidade restrito ao primeiro plano, matriz de centro dos componentes, matriz de adjacência tipificada, máscara de nós inativos e mapeamento de rótulos de componentes.
15. Posicione cada nó ativo no centro do componente correspondente. Desenhe arestas sólidas para fronteiras compartilhadas no primeiro plano e arestas tracejadas para relações de ordem vertical predefinidas.
16. Salve cada sobreposição do grafo em structural_priors/visualizations usando o identificador da imagem original. Registre o caminho da imagem original, caminho do mapa de probabilidade, caminho da matriz de centros dos componentes, caminho da matriz de adjacência tipificada, caminho da máscara de nós inativos, identificador do ponto de verificação de análise semântica e caminho da sobreposição do grafo em component_graph_visualization_manifest.csv.
17. Saída esperada: Confirme que cada imagem produz uma matriz de incorporação de componentes com K linhas, uma matriz de adjacência tipificada com K linhas e K colunas, uma matriz de pesos de relação com K linhas e K colunas, uma máscara de nós inativos com K valores e uma representação de priori estrutural no nível da imagem. Confirme que cada amostra selecionada de visualização produz uma sobreposição do grafo de componentes na qual os nós ativos permanecem dentro das regiões correspondentes da vestimenta.
    NOTA: Mantenha a mesma ordem de componentes visuais em todas as matrizes, manifestos, grafos, arquivos de características e sobreposições de grafos. Trate os centros dos componentes, valores de dispersão espacial e relações do grafo como descritores de regiões da vestimenta no plano da imagem. Não interprete o grafo de componentes como um esqueleto de pose humana nem derive seus nós a partir de coordenadas articulares anatômicas. Não converta esses descritores em comprimentos de costura, raios de curva, pences, posições de marcações, direções do fio da tecelagem, incrementos de graduação ou dimensões das peças do molde.
    ​TROUBLESHOOTING: Se uma matriz contiver um valor não numérico, inspecione o denominador da massa de probabilidade e a normalização das coordenadas. Se os pesos de relação se concentrarem em um único componente, subtraia o valor máximo da linha da matriz de similaridade antes do softmax. Se o número de nós do grafo variar entre imagens, verifique se os componentes inativos permanecem presentes como vetores nulos em vez de serem removidos.

5. Codificação de características com reconhecimento de estrutura de fluxo duplo

1. Carregue os pesos do ResNet-50 pré-treinado no ImageNet e remova as camadas finais de agrupamento e classificação.
2. Passe cada imagem normalizada da peça de vestuário pelo ResNet-50 e extraia o tensor de aparência da etapa da base definida por appearance_stage em configs/protocol.yaml. Verifique o nome da etapa, o número de canais de saída e as dimensões espaciais de saída geradas pela etapa da base selecionada para uma imagem de entrada de 512 x 512 pixels. Utilize a mesma etapa em todas as execuções de treinamento, inferência, ablação e comparação.
3. Redimensione o mapa de probabilidade semântica para o tamanho espacial do tensor de característica de aparência por meio de interpolação bilinear. Multiplique o tensor de característica de aparência por cada mapa de probabilidade do componente redimensionado e, em seguida, agregue as respostas ponderadas ao longo das dimensões espaciais.
4. Passe cada incorporação de aparência do componente pela camada de realocação de canais definida em configs/protocol.yaml. Registre o tipo da camada, dimensão de entrada, dimensão de saída, razão de redução, função de ativação e regra de compartilhamento de parâmetros. Empilhe os sete vetores de componente resultantes na ordem semântica fixa para formar a matriz de características de aparência.
5. Passe cada vetor de relação geométrica pela camada de projeção estrutural e defina a dimensão de saída como 512. Construa o grafo do componente com a matriz de pesos das relações e a máscara de nós inativos.
6. Aplique duas camadas convolucionais em grafo com dimensão de entrada de 512 e dimensão de saída de 512. Aplique normalização por lote após cada camada convolucional em grafo e, em seguida, aplique LeakyReLU. Registre o valor da inclinação negativa usado pelo LeakyReLU. Aplique a máscara de nós inativos após cada camada para manter características nulas para componentes inativos.
7. Aplique o alinhamento semântico com as incorporações normalizadas dos componentes e empilhe os vetores resultantes para formar a matriz de características estruturais.
8. Saída esperada: Confirme que cada imagem produz uma matriz de características de aparência e uma matriz de características estruturais. Confirme que ambas as matrizes contêm K linhas e 512 colunas.
   NOTA: Mantenha os componentes inativos como vetores nulos e preserve a ordem dos componentes estabelecida durante a construção da prioridade estrutural.
   SOLUÇÃO DE PROBLEMAS: Se as duas matrizes de características apresentarem contagens diferentes de linhas, inspecione o mapeamento de categorias semânticas e o tratamento dos nós inativos. Se a multiplicação matricial apresentar erro de dimensão, verifique se a saída da projeção estrutural e as dimensões dos canais de aparência são ambas 512. Se as características estruturais permanecerem nulas para todos os componentes ativos, verifique se as arestas do grafo e os pesos das relações foram adicionados ao lote atual.

6. Fusão de características orientada por estrutura

1. Aplicar a sequência de fusão de características orientada por estrutura mostrada na Figura 3. Passar a matriz de características estruturais pela camada de pesos de fusão e aplicar a função de ativação declarada por fusion_activation em configs/protocol.yaml. Registrar o nome da ativação, a dimensão de entrada, a dimensão de saída e se os parâmetros são compartilhados entre os sete nós componentes.
2. Verificar se a matriz de pesos estruturais gerada contém K linhas e 512 colunas.
3. Multiplicar a matriz de características de aparência pela matriz de pesos estruturais elemento por elemento.
4. Concatenar a matriz de aparência modulada e a matriz de características estruturais ao longo da dimensão do canal.
5. Concatenar o vetor de aparência modulada de 512 dimensões e o vetor estrutural de 512 dimensões para cada componente, formando um vetor de 1024 dimensões. Passar o vetor concatenado pela camada de projeção de fusão e reduzir sua dimensão de 1024 para 512.
6. Adicionar a matriz original de características estruturais à matriz projetada por meio de uma conexão residual.
7. Empilhar os vetores componentes fundidos na ordem semântica fixa e aplicar normalização L2 à representação unificada com consciência estrutural.
8. Salvar a matriz de pesos estruturais, a matriz de aparência modulada, a matriz de componentes fundidos e a representação final com consciência estrutural em feature_outputs.
9. Saída esperada: Confirmar que cada imagem produz uma matriz de componentes fundidos com K linhas e 512 colunas e um vetor de características normalizado com consciência estrutural vinculado ao identificador da imagem de origem.
   NOTA: Manter a matriz de pesos estruturais e a matriz de componentes fundidos para visualização de resposta e análise de diferenças locais.
   ​RESOLUÇÃO DE PROBLEMAS: Se os valores fundidos continuarem aumentando, inspecionar a saída de ativação e a camada de normalização. Se todos os pesos estruturais tenderem ao mesmo valor, verificar se as características estruturais variam entre as imagens e se a camada de fusão está recebendo gradientes. Se os arquivos de características e os identificadores de imagem não corresponderem, recriar o manifesto de saída antes da avaliação de treinamento ou recuperação.

7. Treinamento do modelo e otimização da consistência

1. Carregue os cinco valores de semente aleatória registrados em configs/seeds.yaml. Para cada execução, defina a mesma semente aleatória para o Python, operações NumPy, operações PyTorch na CPU e todos os dispositivos CUDA. Habilite algoritmos determinísticos, desative o modo de benchmark do cuDNN e registre os cinco valores exatos da semente no diretório correspondente da execução.
2. Carregue o manifesto de treinamento processado, o manifesto de pares, os mapas de probabilidade e os priores estruturais.
3. Construa cada lote de treinamento com oito categorias estruturais e quatro amostras com variação de aparência de cada categoria.
4. Calcule a perda de consistência estrutural a partir de pares de amostras positivas que compartilham o mesmo prior estrutural.
5. Calcule a perda de consistência de relação estrutural a partir das distâncias entre pares de características dos componentes.
6. Calcule a perda de discriminação estrutural a partir de pares de amostras negativas com estruturas heterogêneas e aplique o limiar de separação de 0,3.
7. Combine o objetivo de aparência, o objetivo de consistência estrutural, o objetivo de relação estrutural e o objetivo de discriminação estrutural com os pesos armazenados em configs/protocol.yaml. O processo de otimização no espaço de características regido pelos três objetivos estruturais é mostrado na Figura 4.
8. Execute python train.py --config configs/protocol.yaml. Atualize todos os parâmetros treináveis com descida de gradiente estocástica por mini-lote usando a taxa de aprendizado inicial, momento, decaimento de peso, contagem de épocas, fator de decaimento e épocas de decaimento definidos na Etapa 1.8. Registre a taxa de aprendizado após cada época no log de treinamento.
9. Registre a perda total, perda de aparência, perda de consistência estrutural, perda de relação estrutural, perda de discriminação estrutural, taxa de aprendizado, Índice de Consistência Estrutural (SCI), Índice de Discriminação Estrutural (SDI) e Recall@5 após cada época.
10. Avalie o modelo em validation_manifest.csv após cada época. Salve o ponto de controle associado ao SCI de validação mais alto em checkpoints/selected_model.pth.
11. Repita o treinamento cinco vezes com as cinco sementes aleatórias registradas. Salve cada arquivo de configuração, log de treinamento e ponto de controle selecionado em um diretório de execução separado.
12. Saída esperada: Confirme que cada execução produz um log de treinamento, um log de validação, um arquivo de métricas por época e um ponto de controle selecionado. Confirme que o ponto de controle selecionado é baseado no desempenho de validação e não no desempenho de teste.
    NOTA: Use os mesmos manifestos de treinamento, validação e teste em todos os experimentos de comparação de modelos e ablação.
    ​RESOLUÇÃO DE PROBLEMAS: Se uma perda se tornar não numérica, interrompa o treinamento, inspecione as massas de probabilidade dos componentes, reduza a taxa de aprendizado por um fator de 10 e reinicie a partir do último ponto de controle válido. Se o SCI de validação permanecer inalterado enquanto a perda de treinamento diminui, verifique se os parâmetros de propagação e fusão do grafo estão recebendo gradientes. Se a memória gráfica for esgotada, reduza o tamanho do lote e mantenha um tamanho efetivo de lote de 32 por meio de acumulação de gradientes. Se o desempenho de validação mudar abruptamente entre execuções, verifique a semente aleatória registrada e a ordem do manifesto de dados.

8. Inferência, recuperação, agrupamento e verificação da saída

1. Execute python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth. Gere mapas de probabilidade, priores estruturais, matrizes de características de aparência, matrizes de características estruturais, matrizes de componentes fundidos e vetores finais de características para cada imagem de teste.
2. Salve todas as saídas da inferência em feature_outputs/teste e registre seus caminhos em test_feature_manifest.csv. Calcule a similaridade do cosseno entre cada característica de consulta e todas as características da galeria. Ordene os identificadores da galeria em ordem decrescente de similaridade. Salve os cinco resultados com maior classificação para cada consulta em evaluation_results/retrieval_results.csv.
3. Para cada amostra de recuperação selecionada para visualização, carregue a matriz de adjacência tipificada, a matriz de pesos de relação, a matriz de centros de componentes, a máscara de nós inativos, o mapeamento de rótulos de componentes e a matriz de componentes fundidos da imagem de consulta. Carregue os mesmos arquivos para o resultado com maior classificação gerado pelo modelo com percepção de estrutura.
4. Renderize o grafo de componentes da consulta e o grafo de componentes da imagem recuperada a partir de suas matrizes de centros de componentes e matrizes de adjacência tipificadas salvas. Mantenha a ordem fixa de componentes e os tipos de relação utilizados durante a inferência do modelo.
5. Renderize a matriz de adjacência tipificada da consulta como uma matriz categórica. Utilize valores distintos na matriz para relações inativas, de fronteira compartilhada e de ordem vertical. Rotule os eixos horizontal e vertical com os identificadores de componentes armazenados no mapeamento de rótulos de componentes.
6. Aplique normalização L2 à matriz de componentes fundidos da consulta e à matriz de componentes fundidos da imagem recuperada. Calcule a similaridade do cosseno entre cada componente da consulta e cada componente da imagem recuperada. Salve a matriz resultante de correspondência de componentes K × K em evaluation_results/structural_retrieval_evidence.
7. Para cada par referência-alvo selecionado para análise de diferença local, carregue a matriz de adjacência tipificada, a matriz de centros de componentes, a matriz de dispersão espacial, a matriz de pesos de relação e a matriz de componentes fundidos de ambas as imagens.
8. Calcule a diferença absoluta entre as duas matrizes de adjacência tipificadas. Calcule as diferenças absolutas nos deslocamentos dos centros de componentes, dispersão espacial e pesos de relação utilizando a ordem fixa de componentes. Salve a matriz de diferença de topologia e a matriz de diferença de relações geométricas resultantes em evaluation_results/structural_difference_evidence.
9. Calcule a distância L2 entre linhas correspondentes das duas matrizes de componentes fundidos. Normalize as distâncias em nível de componente e atribua-as aos nós do grafo de componentes alvo. Aumente a largura das arestas de acordo com a diferença normalizada no peso de relação. Salve o grafo resultante de diferença de componentes pós-fusão.
10. Registre os identificadores de imagem, caminhos das matrizes, caminhos dos grafos, ordem de componentes, identificador do ponto de controle e caminhos de saída de visualização em structural_visualization_manifest.csv. Gere todas as visualizações estruturais programaticamente a partir dos arquivos registrados; não adicione manualmente nós, arestas ou valores na matriz.
11. Aplique K-Means com cinco clusters aos vetores finais de características e salve as atribuições de cluster em evaluation_results/cluster_assignments.csv. Execute python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test.
12. Calcule SCI, SDI, Recall@5, Precisão Média (mAP) e coeficiente de silhueta para cada execução. Utilize SCI para avaliar a compacidade das características normalizadas que compartilham o mesmo rótulo estrutural, e utilize SDI para avaliar a separação entre diferentes rótulos estruturais. Utilize Recall@5 para avaliar se uma correspondência estrutural relevante aparece na lista curta de recuperação, e utilize mAP para avaliar a qualidade da classificação em toda a galeria. Utilize o coeficiente de silhueta apenas na análise de agrupamento.
13. Calcule a média aritmética e o desvio padrão amostral em cinco execuções independentes. Mantenha os cinco valores por execução para cada método e métrica. Não aplique normalização min-max, normalização por posto ou reescalonamento com base nos métodos comparados. Realize um teste t pareado utilizando os resultados obtidos com a mesma semente aleatória e registre a estatística do teste e o valor de significância exato bilateral.
14. Compare o número de identificadores de teste processados, arquivos de características, registros de recuperação e atribuições de cluster. Resolva todas as inconsistências antes de relatar ou interpretar os resultados da avaliação.
15. Saída esperada: Confirme que cada imagem de teste possui um registro completo de inferência, uma lista de recuperação, uma atribuição de cluster e um conjunto de entradas para avaliação. Confirme que cada caso de recuperação selecionado para visualização possui um grafo de componentes da consulta, um grafo de componentes da imagem recuperada, uma matriz de adjacência tipificada e uma matriz de correspondência de componentes fundidos.
16. Confirme que cada caso de diferença estrutural possui uma matriz de diferença de topologia, uma matriz de diferença de relações geométricas, um grafo de diferença de componentes pós-fusão, um mapa de calor de diferença espacial e uma sobreposição de resposta. Confirme que todos os arquivos de visualização estão vinculados às suas matrizes de origem por meio de structural_visualization_manifest.csv. Salve o mapa de calor puro, a sobreposição da imagem alvo, a máscara de primeiro plano e as coordenadas da região com maior resposta para cada caso visualizado.
17. Accepte uma resposta de diferença calculada somente quando a região predominante de alta resposta sobrepor o primeiro plano da peça de vestuário e for sustentada pelas evidências correspondentes de mudança na matriz de adjacência tipificada, mudança na relação geométrica e distância de componentes pós-fusão. Se a resposta mais forte cair principalmente fora do primeiro plano da peça de vestuário, inspecione a saída de segmentação, o grafo de componentes e o registro de fusão.
    NOTA: Utilize o ponto de controle selecionado a partir do conjunto de validação para inferência no conjunto de teste. Não selecione ou substitua um ponto de controle com base em métricas do conjunto de teste. Utilize a mesma ordem de componentes, regra de nó inativo, codificação de tipo de relação e processo de normalização ao gerar grafos e matrizes durante inferência e visualização.
    ​TROUBLESHOOTING: Se a inferência parar antes de processar todas as imagens de teste, localize o último identificador no log de inferência e retome a partir do identificador seguinte. Se os resultados de recuperação forem dominados pela similaridade de cor, inspecione as saídas de priori estrutural e de fusão, e verifique se o carregamento do ponto de controle foi bem-sucedido. Se a avaliação relatar identificadores duplicados, reconstrua test_feature_manifest.csv e remova registros duplicados antes do recálculo. Se o K-Means produzir um cluster vazio, verifique a normalização das características e execute novamente o agrupamento com a semente aleatória registrada.

9. Avaliação comparativa de modelos

1. Execute python compare_models.py --config configs/protocol.yaml.
2. Treine e avalie ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Histograma de Características Topológicas com Fusão de Cor e Textura, Rede em Cascata Orientada por Atenção, MMFL-Net, FARE-RNET e o método proposto com os mesmos manifestos de treinamento, validação e teste.
3. Utilize o mesmo tamanho de imagem, operações de pré-processamento, épocas de treinamento, tamanho efetivo de lote, consultas de avaliação e implementação da métrica para cada método.
4. Mantenha o agrupamento médio global para ResNet-50. Aplique o alinhamento por faixas horizontais no PCB. Aplique um grafo fixo de vestuário no nível da imagem no GCN. Aplique inferência dinâmica de grafo guiada por atributos no FashionGraph. Utilize os codificadores de imagem padrão do Swin Transformer e CLIP. Implemente o Histograma de Características Topológicas com Fusão de Cor e Textura usando descritores topológicos, de cor e de textura. Implemente uma Rede em Cascata Orientada por Atenção utilizando ramificações de características globais e locais com segmentação de vestuário. Implemente MMFL-Net utilizando ramificações de características multi-escala e multi-granularidade. Implemente FARE-RNET utilizando atenção residual, seleção de características e codificação contextual dilatada.
5. Utilize apenas a ramificação de consulta por imagem em cada método de comparação. Retreine cada método treinável no manifesto de treinamento comum e selecione seu ponto de controle (checkpoint) a partir do manifesto de validação comum. Gere uma lista classificada da galeria para cada consulta de teste.
6. Projete cada incorporação aprendida em 512 dimensões por meio de uma camada linear treinável registrada quando sua dimensão original for diferente. Aplique normalização L2 antes da classificação por similaridade cosseno. Utilize a mesma atribuição consulta-galeria e implementação da métrica para todos os métodos.
7. Repita cada método de comparação com as mesmas cinco sementes aleatórias. Relate a média e o desvio padrão amostral de SCI, SDI, Recall@5, mAP e coeficiente de silhueta. Para cada métrica, realize um teste t pareado bicaudal entre o método proposto e cada método de comparação, utilizando os resultados obtidos sob a mesma semente aleatória. Registre os cinco valores por execução, estatística do teste, graus de liberdade e valor p exato em evaluation_results/comparison_metrics.csv.
8. Calcule SCI, SDI, Recall@5, mAP e o coeficiente de silhueta para cada método. Salve todos os valores por execução e agregados em evaluation_results/comparison_metrics.csv.
9. Saída esperada: Confirme que comparison_metrics.csv contém os mesmos campos de métrica e o mesmo número de execuções independentes para cada método de comparação.
   NOTA: Não altere as partições de dados, o código da métrica ou a atribuição consulta-galeria entre os métodos de comparação.
   SOLUÇÃO DE PROBLEMAS: Se um modelo de comparação produzir uma dimensão de característica diferente de 512, adicione uma única camada de projeção linear registrada antes do cálculo da métrica e treine essa camada junto com o modelo correspondente. Se um modelo não convergir com a taxa de aprendizado comum, utilize a taxa de aprendizado especificada pela sua implementação publicada e mantenha todas as demais condições experimentais. Registre cada configuração específica do método no log de comparação.

Resultados

Todos os experimentos relatados foram realizados utilizando o ambiente de hardware e software documentado na Tabela 2 e na Tabela de Materiais. As mesmas versões do driver gráfico, CUDA, cuDNN, Python, NumPy, PyTorch e torchvision foram utilizadas em todas as etapas de pré-processamento, treinamento, inferência e avaliação. O ambiente completo de hardware e software é resumido na Tabela 2 e na Tabela de Materiais. Tabela 1 resume os conjuntos de dados de treinamento, validação e teste processados, juntamente com as estatísticas de topologia em nível de imagem. Tabela 2 resume a configuração comum utilizada em todos os métodos de comparação.

Resultados da avaliação comparativa

A avaliação comparativa seguiu as partições comuns de dados, operações de pré-processamento, controles de treinamento e definições de métricas especificadas nas seções 7–9 do Protocolo. Tabela 3 compara codificadores visuais gerais, modelos alinhados por partes, representações de roupas baseadas em grafos, redes de recuperação cruzada de moda, métodos de fusão de topologia e aparência e métodos de recuperação visual em comércio eletrônico, todos avaliados usando o mesmo protocolo de consulta por imagem. Os métodos específicos do domínio incluem o Histograma de Características de Topologia com Fusão de Cor e Textura (TFH-CT), Rede em Cascata Orientada por Atenção (AGC-Net), Rede de Aprendizado de Características Multiescala e Multigranularidade (MMFL-Net) e Recuperação de Moda usando Rede Residual com Otimização por Enxame de Garças (FARE-RNET). Todas as métricas de avaliação na Tabela 3 são apresentadas como média e desvio padrão amostral calculados a partir de cinco execuções independentes usando as mesmas sementes aleatórias, manifesto de treinamento, manifesto de validação, manifesto de teste, atribuição consulta-galeria e implementação da métrica. Os valores de p-pareado foram calculados separadamente para SCI, SDI, Recall@5, mAP e coeficiente de silhueta, comparando cada método com o método proposto sob condições de sementes aleatórias emparelhadas. Esses resultados fornecem a base quantitativa para as análises estruturais subsequentes de visualização, recuperação, agrupamento e orientadas ao design.

Resultados representativos do protocolo e interpretação

A execução bem-sucedida do protocolo é indicada quando o grafo do componente no nível da imagem, reconstruído a partir dos arquivos salvos de análise e grafo, posiciona cada nó ativo dentro da região correspondente da peça de roupa e preserva os tipos de relação registrados na matriz de adjacência tipificada, conforme mostrado na Figura 5C. A resposta com consciência estrutural deve permanecer concentrada no primeiro plano da peça de roupa, como mostrado na Figura 5D. A Figura 6E apresenta um resultado esperado de recuperação no qual o método proposto reduz a influência do fundo vermelho e recupera peças de roupa do tronco superior em vez de objetos vermelhos não relacionados. As Figuras 6B–G também demonstram que a classificação na recuperação é apoiada pelas relações entre componentes no nível da imagem e pela correspondência de componentes após a fusão. Esse resultado reflete a recuperação da categoria geral da peça de roupa, embora o comprimento das mangas e a topologia local ainda variem entre as amostras recuperadas.

Casos comuns de falha incluem a ativação dominada por textura em Figura 5B, a recuperação guiada pela cor de fundo na linha superior da Figura 6 e a ativação residual de fundo na Figura 7. A Figura 7 deve ser interpretada como uma localização parcial, pois a resposta dominante acompanha o contorno alargado da parte inferior do corpo e o limite da peça de vestuário à direita, enquanto persiste uma ativação residual em regiões adjacentes do fundo. A localização é considerada estruturalmente suportada apenas quando a matriz de diferença de topologia, a matriz de diferença de relação geométrica, o grafo de diferença de componente pós-fusão e a resposta espacial identificam regiões consistentes da peça de vestuário. Um ponto quente espacial sem alterações correspondentes na matriz ou nos componentes indica interferência visual, e não evidência estrutural.

Um protocolo executado é considerado válido quando cada imagem aceita produzir um mapa de probabilidade semântica normalizado, uma matriz de relações com K linhas e K colunas, matrizes de características de aparência e estruturais com K linhas e 512 colunas, e um vetor de características fundido finito associado ao identificador correto da imagem. A inspeção visual deve confirmar que a topologia segue os componentes da peça de vestuário, que a resposta do primeiro plano excede a resposta do plano de fundo e que os resultados de recuperação são guiados pela categoria e estrutura da peça de vestuário, e não pela cor do plano de fundo. Mapas de probabilidade fragmentados, nós de componentes ausentes, matrizes não numéricas, respostas difusas do plano de fundo ou recuperação dominada por cor indicam execução mal-sucedida e exigem inspeção da análise, construção do grafo, fusão de características ou carregamento do ponto de verificação.

Análise visual das respostas dos componentes do vestuário no nível da imagem

Figura 5 compara a linha de base ResNet-50 com o modelo sensível a componentes usando a mesma imagem de peça de vestuário. Figura 5B mostra o mapa de ativação de classe para a linha de base de aparência. Figura 5C apresenta o grafo de componentes da peça de vestuário em nível de imagem, reconstruído a partir do mapa de probabilidade restrito ao primeiro plano, matriz de centros de componentes, matriz de adjacência tipada, máscara de nós inativos e mapeamento de rótulos de componentes gerados nas seções 3 e 4 do Protocolo. Figura 5D apresenta a resposta de ativação da representação fundida. Nenhum estimador de postura humana ou anotação de articulações humanas é utilizado para gerar a Figura 5C.

A resposta de referência concentrou-se em regiões de textura locais na peça inferior e não seguiu consistentemente o contorno completo da peça, conforme mostrado na Figura 5B. Na Figura 5C, cada nó corresponde ao centro de uma região ativa do componente da peça, enquanto cada aresta representa um contorno comum em primeiro plano ou uma relação de ordem vertical predefinida. O grafo reflete a organização das regiões da peça e não representa articulações anatômicas humanas. A resposta com consciência estrutural cobriu o primeiro plano principal da peça, mantendo ativação reduzida na maioria das áreas de fundo, conforme mostrado na Figura 5D. Esses resultados indicam que o grafo de componentes e o módulo de fusão de características reduziram a ativação dominada pela textura na imagem avaliada.

Análise de similaridade estrutural de roupas e resultados de referência para design

Figura 6 apresenta a classificação de recuperação juntamente com as evidências estruturais utilizadas para interpretá-la. O grafo do componente da consulta na Figura 6B registra regiões ativas da vestimenta e suas relações tipadas, enquanto a matriz na Figura 6C revela o padrão de relações fornecido à propagação do grafo. Os resultados da linha de base na Figura 6D permanecem dominados por pistas de aparência vermelha. Os resultados com consciência estrutural na Figura 6E mantêm a categoria da vestimenta do tronco superior em diferentes cores e fundos. O grafo de componentes do resultado com classificação mais alta na Figura 6F permite comparação direta com o grafo da consulta, e a matriz de correspondência na Figura 6G revela se componentes que compartilham os mesmos identificadores permanecem alinhados após a fusão orientada por estrutura. A correspondência diagonal deve ser interpretada conjuntamente com nós ausentes e relações do grafo alteradas. Alta similaridade de aparência sem concordância do grafo não constitui uma recuperação estrutural bem-sucedida.

As peças recuperadas mantêm a categoria geral, mas as diferenças na configuração das mangas e nas relações locais entre componentes indicam uma correspondência incompleta em nível fino. O método proposto alcançou uma Revocação@5 de 89,2% e um mAP de 86,4%, conforme relatado na Tabela 3. Esses valores quantitativos descrevem o desempenho na ordenação, enquanto Figura 6B–G fornece evidências estruturais intermediárias que apoiam a interpretação. Assim, a conclusão da recuperação é limitada a uma maior resistência à interferência da cor de fundo e a uma organização mais forte dos componentes no nível da imagem sob a consulta testada.

Suporte à análise de resposta de diferença estrutural e design

O mapa de calor da diferença-resposta pura em Figura 7H mostra que a resposta dominante está concentrada na silhueta ampliada da parte inferior do corpo e no limite direito da peça de vestuário da imagem-alvo. A sobreposição na Figura 7I mostra que a resposta mais intensa permanece alinhada com o primeiro plano principal da peça de vestuário, enquanto a ativação mais fraca nas regiões adjacentes da cortina e da parede permanece como interferência residual de fundo. A resposta espacial deve ser interpretada em conjunto com o gráfico de componentes e as evidências matriciais apresentadas nas Figuras 7C–G. Uma resposta é considerada uma diferença estrutural válida apenas quando a região de alta resposta da peça de vestuário é consistente com a mudança de adjacência, a mudança na relação geométrica e o padrão de distância entre componentes após fusão.

Uma diferença estrutural é aceita somente quando a mudança de adjacência tipificada em Figura 7E ou a mudança na relação geométrica em Figura 7F for acompanhada por um aumento na distância dos componentes em Figura 7G e por uma resposta espacial alinhada ao primeiro plano em Figura 7H,I. A região ampliada da parte inferior do corpo e o limite direito da peça de vestuário satisfazem esse critério cruzado entre estágios. A ativação sobre a cortina e a parede não corresponde a mudanças nos nós dos componentes, nos padrões de relação ou nas distâncias dos componentes fundidos, sendo portanto rejeitada como interferência residual não estrutural. O resultado apoia a localização de diferenças no nível da imagem, mas não estabelece variação nos padrões de costura ou nos parâmetros de construção.

Distribuição espacial de características e análise de agrupamento estrutural

A análise da distribuição do espaço de características latentes revela a capacidade do modelo de discriminar a semântica estrutural das roupas. Esta análise verifica se a priori estrutural organiza peças com diferentes configurações topológicas em variedades de características distintas. Foram selecionadas cinco categorias estruturais representativas do conjunto de teste — blusas de manga curta, calças, saias, casacos longos e vestidos. Os vetores de características de alta dimensão foram projetados em um plano bidimensional utilizando a técnica de incorporação estocástica de vizinhos com distribuição t (t-SNE). A coesão de amostras semelhantes e a separação de amostras diferentes foram avaliadas para caracterizar a organização da semântica estrutural no espaço de características. A distribuição t-SNE do espaço de características sensível à estrutura é apresentada na Figura 8.

A projeção t-SNE formou cinco regiões principais de características com sobreposição limitada entre categorias vizinhas, conforme mostrado na Figura 8A. Amostras representativas correspondentes às cinco regiões de categoria são apresentadas na Figura 8B. O ISC de 0,81 reflete a compacidade das amostras que compartilham o mesmo rótulo estrutural, e o ISD de 0,71 reflete a separação entre amostras com rótulos estruturais diferentes, conforme relatado na Tabela 3 e visualizado na Figura 8. Esses índices devem ser interpretados como medidas da distribuição no espaço de características e não estabelecem diretamente uma taxa de falsa detecção. Partes superiores de mangas curtas e saias ocuparam regiões principais distintas no espaço de características projetado, enquanto um pequeno número de amostras permaneceu próximas aos limites das categorias vizinhas, conforme mostrado na Figura 8A. Calças e vestidos também apresentaram clara separação das categorias vizinhas. Essa distribuição indica que a priorização baseada em grafos contribuiu para a organização estrutural em nível de categoria, sem produzir separação completa dos agrupamentos. A avaliação separa a qualidade da representação da eficácia na recuperação. O ISC avalia se peças de roupa que compartilham o mesmo rótulo estrutural permanecem compactas no espaço de características aprendido, enquanto o ISD avalia se peças com rótulos estruturais diferentes permanecem separadas. Essas métricas correspondem ao objetivo de representação estrutural do protocolo. O Recall@5 mede se uma peça de roupa estruturalmente relevante aparece entre os cinco primeiros resultados recuperados, enquanto o mAP mede a qualidade do ordenamento em todos os exemplos relevantes da galeria. Essas métricas correspondem ao objetivo de recuperação de referência de design. O coeficiente de silhueta foi utilizado apenas para avaliar o desempenho do agrupamento, pois o ISC e o ISD já caracterizam a organização no espaço de características.

Figura 9 apresenta os resultados brutos de cinco execuções para quatro métodos representativos, sem normalização entre métodos. Figura 9A mostra SCI e SDI em suas escalas originais, enquanto Figura 9B apresenta Recall@5 e mAP como porcentagens. Os marcadores das execuções individuais e as barras de erro de desvio padrão mostram a variação associada ao treinamento do modelo, e não apenas a classificação agregada. A linha de base baseada na aparência obteve um SCI de 0,62, enquanto o método proposto alcançou um SCI de 0,81 e um SDI de 0,71 (Tabela 3 e Figura 9A). Os resultados de SCI e SDI indicam maior compacidade intra-classe e separação entre classes na configuração avaliada. O método proposto obteve um Recall@5 de 89,2% e um mAP de 86,4% (Tabela 3 e Figura 9B). Essas métricas de recuperação avaliam propriedades diferentes de ordenação e devem ser interpretadas separadamente de SCI e SDI. A ordem consistente dos métodos nas quatro métricas indica concordância entre qualidade da representação e desempenho na recuperação, mas não implica que a melhoria relativa seja idêntica nas quatro dimensões de avaliação.

Experimentos de ablação e análise da eficácia do módulo estrutural

O experimento de ablação compara o modelo completo com variantes nas quais o prior estrutural ou o módulo de fusão é removido. As três configurações utilizam as mesmas imagens de referência e alvo, permitindo a comparação direta da resposta de fundo e da concentração de localização. A variante sem o prior estrutural remove o grafo do componente de vestuário no nível da imagem e suas restrições de relação, dependendo apenas do arcabouço convolucional para extrair características de aparência; a variante sem fusão mantém a inferência de grafo, mas remove a pirâmide de características, utilizando apenas características semânticas de alto nível. Mapas de calor de diferença visualizados revelam os papéis específicos de cada módulo na supressão de ruído e na definição de contornos; uma comparação qualitativa das respostas de diferença estrutural sob diferentes configurações de módulos é apresentada na Figura 10.

Os mapas de resposta em Figura 10C–E foram gerados utilizando uma escala de resposta compartilhada e configurações idênticas de sobreposição. A variante sem o modelo estrutural produziu forte ativação na região de fundo esquerda e ao redor de áreas ambientais não relacionadas, conforme mostrado na Figura 10C. A variante sem o módulo de fusão reduziu parte dessa resposta fora da peça de vestuário, mas ainda manteve uma distribuição mais ampla sobre a peça inferior e a região ao lado direito, conforme mostrado na Figura 10D. O modelo completo contraiu ainda mais a resposta dominante em direção ao primeiro plano da peça principal, conforme mostrado na Figura 10E. A Figura 10F visualiza diretamente a diferença nas respostas restritas ao primeiro plano entre a variante sem fusão e o modelo completo, mostrando que o modelo completo suprime a dispersão lateral residual enquanto preserva a resposta principal alinhada à peça. Esses resultados indicam que o modelo estrutural reduziu principalmente o ruído ambiental e que o módulo de fusão melhorou ainda mais a concentração da resposta e o alinhamento estrutural. A Figura 10E representa uma melhoria relativa, e não a remoção completa da ativação de fundo.

Tabela 4 apresenta SCI, SDI e Recall@5 para as variantes sem a priori de estrutura, sem o módulo de fusão e com o modelo completo. A remoção da priori de estrutura reduziu o SCI de 0,81 para 0,65 e diminuiu o Recall@5 de 89,2% para 74,5%. A remoção do módulo de fusão reduziu o SDI de 0,71 para 0,64 e diminuiu o Recall@5 de 89,2% para 85,1%, uma redução de 4,1 pontos percentuais. Esses resultados indicam que a priori de estrutura teve um efeito maior na consistência estrutural e na recuperação, enquanto a fusão de características melhorou o alinhamento entre informações de aparência e estruturais.

A análise de eficiência compara o custo computacional do modelo completo com a linha de base ResNet-50. A linha de base ResNet-50 exigiu 25,6 milhões de parâmetros e 4,1 bilhões de operações de ponto flutuante. O modelo completo com estrutura definida exigiu 29,3 milhões de parâmetros e 5,4 bilhões de operações de ponto flutuante. O tempo médio de inferência foi de 15 milissegundos por imagem para a linha de base e de 22 milissegundos por imagem para o modelo completo, um aumento de 7 milissegundos. Esse resultado indica um custo computacional mensurável que deve ser considerado ao implantar o protocolo em fluxos de trabalho sensíveis ao tempo (Tabela 5). O peso da restrição estrutural foi determinado a partir da divisão de validação antes da avaliação final de teste. O Recall@5 na validação foi examinado em pesos de restrição estrutural de 0,1, 0,3, 0,5, 0,8, 1,0, 1,2, 1,5 e 2,0. Um peso de 1,0 foi fixado para todos os treinamentos e execuções de teste subsequentes. Figura 11 documenta a seleção baseada na validação de um peso de restrição estrutural igual a 1,0.

Figura 1: Fluxo geral do protocolo de aprendizagem de características em imagens de roupas com reconhecimento de estrutura. A imagem de entrada da peça de vestuário é processada por um ramo de características de aparência e um ramo de características estruturais que utiliza segmentação semântica e modelagem de grafos espaciais. As duas representações são processadas pelo módulo de fusão orientado por estrutura para gerar a característica final com reconhecimento de estrutura. A perda de consistência estrutural, a perda de discriminação estrutural e a perda de relação estrutural restringem conjuntamente o espaço de características. A figura mostra como a aparência da peça de vestuário e a topologia dos componentes são integradas ao longo da aprendizagem de características. Clique aqui para visualizar uma versão maior desta figura.

Figura 2: Construção de uma topologia prévia de componentes de vestuário em nível de imagem. (A) A imagem de entrada do vestuário I. (B) O mapa de componentes visuais restrito ao primeiro plano P, no qual sete cores indicam regiões de vestuário em nível de imagem. Todos os pixels de fundo são excluídos dos canais de componentes. (C) O grafo de relação de componentes em nível de imagem G. Os nós representam regiões visíveis do vestuário, as arestas sólidas representam fronteiras compartilhadas no primeiro plano e as relações tracejadas representam uma ordem vertical predefinida. O mapa e o grafo auxiliam na recuperação de imagens e na comparação de estruturas visuais. Eles não representam peças de moldes de costura, geometria de costuras, estruturas de pences, parâmetros de graduação ou instruções de corte. Clique aqui para visualizar uma versão maior desta figura.

Figura 3: Módulo de fusão de características orientado por estrutura. A característica estrutural é transformada pelo mapeamento linear e pela função de ativação Ψ para gerar um peso estrutural. O peso estrutural modula a característica de aparência por meio de multiplicação elemento a elemento. A característica de aparência modulada e a característica estrutural são concatenadas e projetadas por Wc, após o que a característica estrutural residual é adicionada para gerar a característica final do componente. A figura mostra que a informação estrutural regula o ponderamento da característica de aparência antes da fusão final. Clique aqui para visualizar uma versão maior desta figura.

Figura 4: Otimização no espaço de características sob restrições de consistência estrutural. (A) Amostras pertencentes à mesma classe estrutural são aproximadas por meio da perda de consistência estrutural, enquanto suas relações internas entre componentes são preservadas pela perda de relação estrutural. (B) Amostras de diferentes classes estruturais são afastadas pela perda de discriminação estrutural. A figura mostra como os três objetivos estruturais atuam em conjunto para aumentar a compactação intraclasse e a separação interclasses. Clique aqui para visualizar uma versão maior desta figura.

Figura 5: Respostas representativas de características da peça de vestuário e visualização em grafo de componentes. (A) A imagem de entrada da peça de vestuário. (B) A resposta de ativação de classe da linha de base de aparência ResNet-50. (C) O grafo de componentes da peça de vestuário no nível da imagem foi reconstruído a partir do mapa de componentes restrito ao primeiro plano, matriz de centros de componentes, matriz de adjacência tipificada, máscara de nós inativos e mapeamento de rótulos de componentes, que foram salvos durante as seções 3 e 4 do Protocolo. Os nós indicam regiões ativas da peça de vestuário, as arestas sólidas indicam fronteiras comuns no primeiro plano e as arestas tracejadas indicam relações de ordem vertical predefinidas. (D) A resposta de ativação da representação fundida com reconhecimento de componentes. A comparação mostra a diferença entre ativação dominada por textura e ativação guiada por regiões da peça de vestuário. Clique aqui para visualizar uma versão maior desta figura.

Figura 6: Resultados de recuperação e evidências estruturais intermediárias sob interferência de fundo vermelho. (A) A imagem de consulta. (B) O grafo de componentes da consulta é gerado a partir dos centros de componentes salvos e da matriz de adjacência tipificada. (C) A matriz de adjacência tipificada da consulta, na qual os valores da matriz distinguem relações inativas, fronteiras comuns de primeiro plano e relações de ordem vertical predefinidas. (D) Os três primeiros resultados de recuperação foram produzidos pela linha de base de aparência. (E) Os três primeiros resultados foram produzidos pela representação sensível à estrutura. (F) O grafo de componentes do resultado com maior classificação segundo o método sensível à estrutura. (G) A matriz de correspondência de componentes pós-fusão entre a consulta e o resultado com maior classificação. Uma alta correspondência diagonal indica concordância entre componentes com os mesmos identificadores, enquanto respostas fracas ou deslocadas indicam ausência ou desacordo na organização dos componentes. Os resultados de recuperação preservam a categoria geral da parte superior do corpo, mas não estabelecem concordância completa na configuração das mangas e na topologia local. Clique aqui para visualizar uma versão maior desta figura.

Figura 7: Rastreamento de diferença estrutural da topologia de vestuário em nível de imagem até a resposta espacial. (A) A imagem de referência. (B) A imagem-alvo. (C) O gráfico de componentes de referência. (D) O gráfico de componentes-alvo. Ambos os gráficos são reconstruídos a partir dos centros de componentes salvos e das matrizes de adjacência tipificadas. (E) A matriz de diferença de adjacência tipificada. (F) A diferença na relação geométrica é derivada do deslocamento dos centros dos componentes, da dispersão espacial e das mudanças no peso da relação. (G) O gráfico de diferença de componentes pós-fusão, em que a intensidade do nó representa a distância normalizada entre os vetores de componentes fundidos correspondentes e a largura da aresta representa a mudança no peso da relação. (H) O mapa de calor de resposta de diferença puramente espacial foi gerado utilizando a mesma escala de resposta fixa do sobreposição. (I) A resposta sobreposta à imagem-alvo. Uma diferença estrutural é aceita somente quando a mudança na adjacência, a mudança na relação geométrica, a mudança na distância dos componentes e a resposta de calor alinhada ao primeiro plano permanecem consistentes. A ativação do plano de fundo sem evidência correspondente de componentes ou relações é tratada como interferência residual e não como uma diferença válida na estrutura do vestuário. Clique aqui para visualizar uma versão maior desta figura.

Figura 8: Agrupamento no espaço de características com base na estrutura. (A) A projeção t-SNE de blusas de manga curta, calças, saias, casacos longos e vestidos. As cinco categorias formam regiões principais de características com sobreposição limitada nas fronteiras entre elas. (B) Imagens de teste representativas atribuídas às cinco categorias de roupas, com a cor da borda correspondendo à cor da categoria em (A). A figura mostra a organização estrutural em nível de categoria, mantendo um pequeno número de amostras próximas às regiões de categorias adjacentes. Clique aqui para visualizar uma versão maior desta figura.

Figura 9: Comparação do desempenho bruto entre estrutura do espaço de características e objetivos de classificação por recuperação. (A) SCI e SDI para a linha de base baseada na aparência, modelo de estrutura fraca, modelo de estrutura explícita e método proposto. (B) Recall@5 e mAP para os mesmos quatro métodos. Marcadores grandes indicam a média aritmética de cinco execuções independentes, linhas de erro indicam o desvio padrão amostral e marcadores pequenos indicam os resultados por execução. SCI e SDI são exibidos em uma escala fixa de zero a um, enquanto Recall@5 e mAP são exibidos em uma escala percentual fixa de zero a cem. Nenhuma normalização min-max ou reescala entre métodos é aplicada. Clique aqui para visualizar uma versão maior desta figura.

Figura 10: Respostas de diferença estrutural sob diferentes configurações de módulo. (A) A imagem de referência. (B) A imagem-alvo. (C) A resposta da variante sem a priorização de estrutura. (D) A resposta da variante sem o módulo de fusão. (E) A resposta do modelo completo. (C–E) são renderizadas usando a mesma escala normalizada de resposta, mapa de cores e configurações de sobreposição. (F) A diferença absoluta de resposta restrita ao primeiro plano entre a variante sem fusão e o modelo completo. O modelo completo preserva a resposta principal alinhada à vestimenta, ao mesmo tempo que reduz a dispersão residual fora da região estrutural principal. A comparação mostra que a priorização de estrutura reduz interferências fora da vestimenta e que o módulo de fusão aprimora ainda mais a resposta estrutural. Clique aqui para visualizar uma versão maior desta figura.

Figura 11: Seleção baseada em validação do peso da restrição estrutural. O Recall@5 na validação é apresentado para pesos de restrição estrutural de 0,1, 0,3, 0,5, 0,8, 1,0, 1,2, 1,5 e 2,0. Cada ponto indica a média aritmética de cinco execuções de validação, e cada barra de erro representa o desvio padrão amostral. O peso foi fixado em 1,0 antes da avaliação final no conjunto de testes. Esta figura documenta o procedimento de seleção de parâmetros e não constitui uma contribuição arquitetural independente. Clique aqui para visualizar uma versão maior desta figura.

Tabela 1: Alocação do conjunto de dados e estatísticas de topologia em nível de imagem nos subconjuntos de roupas S1 a S5. A tabela apresenta as contagens de imagens de treinamento, validação, teste e total, juntamente com as médias dos números de componentes semânticos, de nós ativos, de arestas tipadas e de marcos anotados no plano da imagem para cada nível estrutural. Todos os valores são gerados a partir dos manifestos de dados processados. As contagens de imagens de treinamento, validação e teste foram obtidas a partir dos manifestos finais dos subconjuntos após revisão estrutural, controle de grupos duplicados e inspeção de vazamento, enquanto as estatísticas de topologia foram calculadas a partir dos registros finais de grafos utilizando a mesma ordem de componentes e definições de relações aplicadas durante a avaliação do modelo. Clique aqui para baixar este arquivo.

Tabela 2: Ambiente computacional, configuração de entrada, aumento de dados, representação, otimização, função de perda e configurações de reprodutibilidade utilizadas ao longo do protocolo. A tabela informa o sistema operacional exato, processador, memória instalada, unidade de processamento gráfico, memória gráfica, driver gráfico, CUDA, cuDNN, versões do Python, NumPy, PyTorch e torchvision, juntamente com o tamanho da imagem, construção do lote, otimizador, cronograma de taxa de aprendizado, número de épocas, sementes aleatórias, dimensões da representação e pesos objetivos estruturais. Cada valor está vinculado ao arquivo software_versions.txt, configs/protocol.yaml ou ao registro de treinamento correspondente. Clique aqui para baixar este arquivo.

Tabela 3: Comparação quantitativa de modelos gerais de representação visual, modelos de vestuário baseados em grafos e métodos específicos de domínio para recuperação de moda. A tabela apresenta o foco de recuperação, modalidade da consulta, SCI, SDI, Recall@5, mAP e coeficiente de silhueta para onze métodos sob as mesmas partições de dados e protocolo de avaliação. Cada métrica é apresentada como média e desvio padrão amostral calculados a partir de cinco execuções independentes. Os p-valores relatados foram obtidos a partir de testes t pareados bilaterais comparando cada método de comparação com o método proposto, utilizando resultados gerados com as mesmas cinco sementes aleatórias. O método proposto é tratado como a linha de referência. Clique aqui para baixar este arquivo.

Tabela 4: Resultados de ablação para a priorização estrutural e o módulo de fusão de características. A tabela apresenta SCI, SDI e Recall@5 para a variante sem a priorização estrutural, a variante sem o módulo de fusão e o modelo completo. A remoção da priorização estrutural resulta em uma redução maior em SCI e Recall@5, enquanto a remoção do módulo de fusão reduz SDI e o alinhamento das respostas. O modelo completo registra o valor mais alto nas três métricas. Clique aqui para baixar este arquivo.

Tabela 5: Eficiência computacional da linha de base ResNet-50 e do modelo completo com estrutura sensível. A tabela apresenta os parâmetros treináveis, as operações de ponto flutuante por imagem e o tempo médio de inferência por imagem no mesmo ambiente de hardware e software descrito na Tabela 2 e na Tabela de Materiais. Ambos os modelos utilizam a mesma resolução de imagem, configuração de lote de inferência, operações de pré-processamento e procedimento de temporização. O modelo completo acrescenta 3,7 milhões de parâmetros, 1,3 bilhão de operações de ponto flutuante e 7 milissegundos de tempo de inferência por imagem em relação à linha de base. Clique aqui para baixar este arquivo.

Discussão

Os estágios mais críticos do protocolo são o pré-processamento com preservação do vestuário e a análise semântica restrita ao primeiro plano. Os centros dos componentes, valores de dispersão espacial, relações de fronteira compartilhada, relações de ordem vertical, pesos das relações e representações fundidas são todos derivados do resultado da análise. Vazamentos de fronteira, regiões de componentes mescladas, regiões de componentes ausentes e atribuições incorretas de canais se propagam pela construção do grafo e pela fusão de características. Esses erros podem gerar arquivos de grafo com dimensões válidas, embora as relações de componentes representadas permaneçam inconsistentes com o vestuário original. O mapa de probabilidade, a restrição ao primeiro plano, a visualização preliminar dos componentes e o registro de qualidade da análise devem, portanto, ser verificados antes que o modelo estrutural seja aceito.

A construção do grafo e a fusão de características exigem uma ordem fixa de componentes semânticos. O grafo é derivado dos componentes do vestuário em primeiro plano e de suas relações no plano da imagem. As figuras de recuperação e de localização de diferenças revelam o caminho de processamento estrutural, em vez de exibir apenas imagens classificadas finais ou mapas térmicos de resposta. Matrizes de adjacência tipadas documentam relações discretas entre componentes, matrizes de relações geométricas documentam a organização espacial normalizada, e matrizes de componentes pós-fusão documentam a representação utilizada para recuperação e localização. Conclusões estruturais devem ser aceitas somente quando essas representações intermediárias estiverem de acordo com a saída visual final. O grafo de componentes não utiliza marcos anatômicos, coordenadas articulares humanas ou uma rede de estimativa de pose. Uma sobreposição de grafo deve ser aceita somente quando seus nós e tipos de relação forem reproduzidos a partir dos arquivos salvos de componentes e adjacências. Componentes inativos devem permanecer como vetores nulos com indicadores de nós inativos, e as matrizes de características de aparência e estruturais devem conter cada uma K linhas e 512 colunas antes da fusão. Essas verificações impedem que desalinhamentos de nós e erros de dimensão sejam interpretados como comportamento do modelo.

A solução de problemas deve começar no primeiro resultado intermediário inválido. Mapas de probabilidade uniformes indicam erros de ponto de verificação, normalização ou índice de categoria; matrizes estruturais não numéricas indicam denominadores de probabilidade inválidos ou escala incorreta de coordenadas; respostas difusas e recuperação dominada por cores indicam priores estruturais fracos, falha na fusão ou carregamento incorreto do ponto de verificação. Os registros de treinamento devem confirmar gradientes nas camadas do grafo e de fusão, bem como a seleção de pontos de verificação baseada na validação. Uma resposta visual de calor não deve ser usada como conclusão estrutural isolada. Ela deve ser verificada em comparação com a máscara de primeiro plano salva, a alteração de adjacência tipada, a matriz de relação geométrica e o grafo de diferença de componentes pós-fusão. A ativação residual fora do primeiro plano da peça de vestuário indica especificidade limitada da resposta, e não uma diferença estrutural validada.

Em comparação com a recuperação baseada na aparência, o protocolo introduz a topologia dos componentes antes da aprendizagem métrica. Em contraste com restrições estruturais fracas e modelos de grafos com topologia fixa, os pesos das relações semânticas adaptam a propagação do grafo à peça de vestuário atual. O modelo completo alcançou um SCI de 0,81, um SDI de 0,71, uma Recall@5 de 89,2%, um mAP de 86,4% e um coeficiente de silhueta de 0,74, conforme relatado na Tabela 3. Os módulos estruturais adicionais aumentaram a contagem de parâmetros de 25,6 milhões para 29,3 milhões e o tempo de inferência de 15 para 22 milissegundos por imagem, conforme relatado na Tabela 4. A contribuição técnica do protocolo reside na construção de um grafo de componentes da peça de vestuário em nível de imagem, na codificação paralela da aparência e das relações entre componentes, no mecanismo de fusão de características orientado pela estrutura e nos objetivos de consistência estrutural, relação e discriminação. A varredura de validação relatada na Figura 11 tem como único propósito determinar um coeficiente fixo de treinamento e não é apresentada como uma contribuição para o projeto da arquitetura da rede ou da função objetivo.

O protocolo permanece sensível a oclusão severa, sobreposição de roupas, imagens de origem pequenas, variação de pose, fundos complexos e roupas cuja organização visível não se conforma ao esquema fixo de sete regiões. Designes assimétricos, camadas destacáveis, drapagem densa, roupas inferiores multicamadas e regiões decorativas sobrepostas podem fundir várias regiões semânticas ou introduzir relações de componentes ausentes da definição atual do grafo. A oclusão pode suprimir um componente ativo, deslocar seu centróide de probabilidade e remover uma relação válida de limite compartilhado. Figura 6 mostra a recuperação da categoria geral do tronco superior, mas com correspondência incompleta da topologia das mangas, enquanto Figuras 7 e 10 mantêm respostas em áreas adjacentes do fundo. Esses resultados indicam que dimensões tensoriais válidas e conectividade do grafo não garantem uma interpretação estrutural semanticamente correta. O presente estudo, portanto, apoia a recuperação baseada em imagens, agrupamento e localização de diferenças, em vez da eficiência do fluxo de trabalho de design ou da estimativa direta de parâmetros de padrão. Todos os experimentos quantitativos no presente estudo são realizados no cohort DeepFashion2 retido e reetiquetado estruturalmente. Os resultados atuais não estabelecem robustez entre conjuntos de dados independentes com diferentes taxonomias de roupas, padrões de anotação, categorias culturais de vestuário, fontes de imagens ou ambientes de aquisição. A transferência para outro conjunto de dados pode exigir o remapeamento dos sete canais de componente e a reconstrução do esquema de relações tipificadas. As conclusões relatadas são, portanto, restritas à distribuição dos dados avaliados e à definição de componentes no nível da imagem.

Dentro desses limites, o protocolo fornece uma sequência reproduzível de imagens de roupas para representações com reconhecimento de componentes por meio de análise semântica, modelagem de relações geométricas, codificação com dois fluxos e fusão orientada por estrutura. A validação futura utilizará conjuntos de dados independentes de roupas com diferentes sistemas de anotação, categorias de vestuário, poses e condições de fundo. Também examinará se o mapeamento atual de sete regiões precisa ser expandido para estruturas de roupas assimétricas, em camadas, removíveis e culturalmente específicas. Esboços manuais de design, variações entre tecidos e ajuste parametrizado de padrões permanecem como direções de aplicação separadas que exigem dados e procedimentos de avaliação específicos para cada tarefa. A usabilidade profissional e a eficiência na revisão de design exigem um estudo com sujeitos humanos documentado separadamente, com participantes definidos, critérios de avaliação e procedimentos estatísticos.

Materiais

Lista de materiais utilizados neste artigo

Nome	Empresa	Número de catálogo	Comentários
Unidade Central de Processamento	Intel Corporation	Intel Core i9-13900K, 24 núcleos, 32 threads, até 5,80 GHz
Conda	Anaconda, Inc., anaconda.com	Miniconda3 23.11.0
Kit de Ferramentas CUDA	NVIDIA Corporation, developer.nvidia.com	CUDA 11.8
cuDNN	NVIDIA Corporation, developer.nvidia.com	cuDNN 8.9.7
Conjunto de Dados DeepFashion2	A Universidade Chinesa de Hong Kong, github.com/switchablenorms/DeepFashion2	Lançamento oficial do DeepFashion2, Versão 1.0
Unidade de Processamento Gráfico	NVIDIA Corporation	NVIDIA GeForce RTX 4090, 24 GB GDDR6X
Ponto de Verificação HRNet-W48 para Análise Semântica	Projeto HRNet, github.com/HRNet/HRNet-Semantic-Segmentation	hrnet_w48_garment_parser_7class.pth, ponto de verificação do projeto Versão 1.0
Pesos do ResNet-50 Pré-treinado no ImageNet	PyTorch Foundation, pytorch.org	ResNet50_Weights.IMAGENET1K_V2
Matplotlib	Equipe de Desenvolvimento do Matplotlib, matplotlib.org	Versão 3.8.2
NumPy	Desenvolvedores do NumPy, numpy.org	Versão 1.26.4
Driver Gráfico NVIDIA	NVIDIA Corporation	Versão 546.33
OpenCV-Python	Equipe OpenCV, opencv.org	Versão 4.8.1.78
Sistema Operacional	Microsoft Corporation	Windows 11 Pro 23H2, 64 bits, Compilação do SO 22631.3155
Pandas	Equipe de Desenvolvimento do Pandas, pandas.pydata.org	Versão 2.1.4
Python	Python Software Foundation, python.org	Versão 3.10.13
PyTorch	PyTorch Foundation, pytorch.org	Versão 2.1.2 com CUDA 11.8
PyYAML	Projeto PyYAML, pyyaml.org	Versão 6.0.1
scikit-learn	Desenvolvedores do scikit-learn, scikit-learn.org	Versão 1.3.2
SciPy	Desenvolvedores do SciPy, scipy.org	Versão 1.11.4
Repositório de Código-Fonte	Arquivo suplementar de código-fonte submetido com o manuscrito	Protocolo de Topologia de Vestuário, Versão 1.0
Dispositivo de Armazenamento	Samsung Electronics	SSD NVMe Samsung 990 PRO, 2 TB
Memória do Sistema	Kingston Technology	Kingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvision	PyTorch Foundation, pytorch.org	Versão 0.16.2 com CUDA 11.8
Estação de Trabalho	Estação de trabalho personalizada para aprendizado profundo	Intel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB de memória, SSD NVMe de 2 TB