Bu içeriği görüntülemek için JoVE aboneliğiniz gereklidir. Giriş yapın veya ücretsiz denemenizi bugün başlatın.

Yöntem makalesi

Tasarım Referans Erişimi için Görüntü Düzeyinde Giysi Bileşeni Topolojisine Dayalı Bir Görüntü Özelliği Öğrenme Protokolü

45 görüntülenme

⸱

DOI:

10.3791/72103

⸱

1 Eylül 2026

 ,  ,  , 
1Keyi College of Zhejiang Sci-Tech University

Bu makalede

Özet

Bu protokol; semantik bileşen ayrıştırmayı, topoloji modellemeyi, çift akışlı özellik kodlamayı ve yapı yönlendirmeli füzyonu entegre ederek yapı farkındalığına sahip giysi temsilleri oluşturur. Bilgisayarlı görü ve hazır giyim araştırmacılarının, renk veya doku yerine bileşen organizasyonu ve silüet düzenine dayalı olarak giysi erişimi ve tasarım referansı karşılaştırması yapmalarına olanak tanır.

Özet

Kıyafet görüntü erişim yöntemleri genellikle renk ve dokuyu vurgular; bu durum, benzer görünüme sahip ancak bileşen düzenleri farklı olan giysilerin birbirine karıştırılmasına yol açabilir. Bu çalışma, giysi görüntüsü erişimi ve tasarım referansı karşılaştırması için bileşen duyarlı bir özellik öğrenme protokolü sunmaktadır. Protokol, anlamsal giysi bölgelerini ayrıştırır, görüntü düzeyinde bir giysi bileşen grafiği oluşturur, görünüm ve bileşen ilişkilerini paralel olarak kodlar ve her iki temsili yapısal tutarlılık, yapısal ilişki ve yapısal ayırt edicilik kayıplarını kullanarak birleştirir. DeepFashion2 görüntüleri 512 x 512 piksele standartlaştırılmış, HRNet-W48 ile ayrıştırılmış, ResNet-50 ve graf konvolüsyonu ile kodlanmış ve yapısal erişim ile kümeleme yoluyla değerlendirilmiştir. Tam model; 0,81'lik bir yapısal tutarlılık indeksi, 0,71'lik bir yapısal ayırt edicilik indeksi, %89,2 Recall@5, %86,4 ortalama ortalama kesinlik ve 0,74'lük bir siluet katsayısı elde etmiştir. Bu protokol, yüzey görünümünün giysi yapısını güvenilir bir şekilde temsil etmediği durumlarda giysi yapı erişimini, yapısal karşılaştırmayı ve fark yerelleştirmeyi desteklemektedir.

Giriş

Bilgisayarlı görü ve yapay zekanın hazır giyim endüstrisine sürekli entegrasyonuyla birlikte, kıyafet görüntü analizi temel tanıma görevlerinden tasarım odaklı analiz ve karar destek sistemlerine doğru kademeli olarak genişlemiştir1,2. Hazır giyim tasarım sürecinde, tasarım şemaları arasındaki ayrım, basit görünüm farklılıklarından ziyade yapısal kompozisyona ve bileşen ilişkilerine dayanır; bu durum, tasarım yardımında kıyafet görüntü özelliklerinin yapısal ifade gücünü, analizin etkinliğini etkileyen temel bir faktör haline getirir3,4. Bununla birlikte, mevcut görsel yöntemlerin çoğu hala temel özellikler olarak doku, renk ve genel konturlara dayanmakta, bu da tasarım sürecinde giysi hiyerarşilerinin ve konstrüksiyon farklılıklarının sistematik olarak analiz edilmesini zorlaştırmaktadır5,6. Bu nedenle, tasarım analizinin nesnelliğini ve tutarlılığını artırmak için hazır giyim tasarım yardımına yönelik yapı farkındalıklı bir görüntü özellik öğrenme yöntemi geliştirmek önem taşımaktadır7. Bu protokol, giysilerin benzer renklere, dokulara veya genel konturlara sahip olduğu ancak bileşen organizasyonu, bağlantı kalıpları veya mekansal yerleşim açısından farklılık gösterdiği durumlar için uygundur. Bu koşullar altında, görünüm merkezli temsiller, yapısal olarak farklı tasarımları özellik uzayında birbirine yakın konumlandırma eğilimindedir ve bu da geri çağırma ile tasarım karşılaştırmasının güvenilirliğini zayıflatır. Protokol, giysi bileşenleri arasındaki ilişkilerin yapısal geri çağırma, tasarım değerlendirmesi ve yerelleştirilmiş fark analizinin temelini oluşturduğu görevleri ele almaktadır.

Veri ölçeği, model karmaşıklığı ve görev çeşitliliği açısından, giysi görüntülerinin otomatik analizi ve anlaşılması üzerine yapılan mevcut araştırmalar önemli ilerlemeler kaydetmiştir8,9. Ancak, pratik uygulamalarda, giysi yapısal bilgileri genellikle bölütleme veya algılama sonuçlarına örtük olarak dahil edilir ve özellik öğrenme aşamasının birleşik modellemesinde hesaba katılmaz; bu da özellik uzayındaki farklı yapısal tasarımlar arasında kararlı bir ayrımın eksik olmasına neden olur10,11. Giysi bileşenleri arasındaki uzamsal ilişkiler, hiyerarşik kısıtlamalar ve topolojik yapılar açıkça kodlanmamıştır, bu da özellik temsillerinin tasarım düzeyindeki yapısal farklılıkları yansıtmasını zorlaştırmaktadır12,13. Açık yapısal modellemenin eksikliği, tasarım destekli senaryolarda giysi görüntü özelliklerinin analitik ayrıntı düzeyini ve karar güvenilirliğini kısıtlayarak, daha derin anlamsal anlayışa sahip akıllı tasarım sistemlerinin geliştirilmesinin önünde önemli bir engel teşkil etmektedir14.

Kıyafet görüntüsü öznitelik öğrenimi ve analizini desteklemek amacıyla, ilgili çalışmalar çeşitli teknik yönleri araştırmıştır15. Semantik segmentasyon ve giysi ayrıştırma yöntemleri, piksel düzeyinde açıklama yoluyla giysi bölgelerinin ve bileşenlerinin ince ayrıntılı olarak belirlenmesini sağlayarak yapısal bilgi çıkarımı için bir temel oluşturmuştur16,17. Görüntü sorgulu giysi geri çağırma yöntemleri; topoloji ve renk-doku füzyonunu, küresel ve yerel dikkat hizalamasını, giysi ayrıştırmayı, çok ölçekli ve çok granüler temsilleri ve öznitelik seçimiyle birlikte artık dikkati bünyesine katmıştır. Bu yöntemler; katalog araması, tüketici-mağaza eşleştirmesi, alanlar arası ürün geri çağırma ve e-ticaret görsel araması konularunu ele almaktadır. Her yöntem giysi görüntülerini görsel bir sorguya göre sıraladığı için uygulama ortamları tasarım-referans geri çağırma ile yakından ilişkilidir, ancak temsilleri, öznitelik füzyonu boyunca türlendirilmiş bileşen bitişikliğini ve dikey sıra ilişkilerini korumamaktadır18,19,20. Bu sırada, tasarım ve öneri senaryoları üzerine yapılan araştırmalar kademeli olarak multimodal füzyonu, ilişki modellemeyi ve stil analizini tanıtarak kıyafet görsel özniteliklerinin uygulama sınırlarını genişletmiştir21,22. Bu yöntemler kendi görevlerinde ilerleme kaydetmiş olsalar da, temel öznitelikleri hâlâ büyük ölçüde görünüm tanımlamalarına dayanmaktadır ve yapısal bilgiler öznitelik öğrenimi için doğal bir kısıtlama olarak tek tipte modellenmemiştir; bu durum, kıyafet tasarım desteğinin yapısal hizalama ve yapısal karşılaştırma ihtiyaçlarını karşılamayı zorlaştırmaktadır23.

Kıyafet tasarım desteğindeki yetersiz yapısal farklılaştırma kapasitesini gidermek amacıyla, bu makale kıyafet yapısı algısına dayalı bir görüntü özellik öğrenme yöntemi önermektedir. Bu yöntem, kıyafet analiz sonuçlarını ve temel yapısal bilgileri kıyafet görüntüsü giriş aşamasına dahil ederek; kıyafet bileşen bölgelerini, uzamsal ilişkileri ve hiyerarşik bağlantıları ortaklaşa modeller. Yapısal ilişki kodlaması ve görsel özellik hizalaması, kıyafet kısıtlamalarını özellik öğrenme sürecine açıkça entegre ederek hem görsel görünümü hem de yapısal tutarlılığı koruyan bir temsil oluşturur. Bu özellik, kıyafet yapısal farklılıklarını birleşik bir uzayda karakterize ederek; sonraki yapısal benzerlik analizi, yapısal kümeleme ve tasarım destekli karar verme süreçleri için istikrarlı bir temel sağlar ve böylece mevcut yöntemlerdeki yapısal modelleme eksikliğinden kaynaklanan özellik karmaşası problemini hafifletir. Yapısal bilgileri gevşek bağlantılı yardımcı öznitelikler olarak ele alan genel görsel erişim stratejilerinin aksine, bu çerçeve topolojik ilişkiler merkezli bir özellik modülasyon mekanizması kurar. Mekanizma, öğrenilen temsilin doku hakimiyetindeki yanıtları azaltırken, görünür kıyafet bölgesi organizasyonunu takip etmesini teşvik eder. Her grafik düğümü görüntü düzeyinde bir semantik bölgeyi belirtir ve her grafik ilişkisi, görüntü düzlemindeki görünür komşuluğu veya normalize edilmiş bağıl konumu tanımlar. Elde edilen gömme (embedding), kıyafet görüntüleri arasında bileşen düzeninin ve silüet organizasyonunun karşılaştırılmasını destekler. Bu bölgeler ve ilişkiler; dikiş kalıbı parçaları, dikiş bağlantıları, konstrüksiyon işaret noktaları veya serileme parametreleri değildir. Görünüm odaklı erişim yöntemleriyle karşılaştırıldığında, bu protokol yapısal bilgileri bir alt analiz sonucu olarak ele almak yerine, özellik öğrenimi boyunca açık bileşen topolojisini korur. Yapısal ipuçlarını yalnızca yardımcı girdiler olarak tanıtan yaklaşımlarla karşılaştırıldığında ise, çift akışlı kodlama ve topoloji ile tutarlı füzyon, doku hakimiyetindeki yanıtları azaltırken geometrik ilişkileri korur. Ortaya çıkan temsil; kıyafet yapısı erişimi, yapısal kümeleme, tasarım referansı taraması ve yerelleştirilmiş tasarım farkı analizini desteklerken, kıyafet tasarım süreci içinde yorumlanabilir kalan bileşen düzeyinde kanıtlar sunar. Bu protokol ile ilgili araştırmalar; kıyafet görüntüsü özellik öğrenimi, kıyafet yapısı modelleme, yapı farkındalıklı temsil ve giyim tasarım desteği için görsel analiz alanlarını kapsamaktadır.

Öznitelik temsilleme düzeyinde, kıyafet görüntüsü araştırmaları uzun süredir görünüm modelleme, derin öznitelik çıkarma ve çok ölçekli temsil üzerine odaklanmıştır24,25. İlk çalışmalar; sınıflandırma, geri çağırma ve benzerlik eşleştirme görevleri için kıyafet görüntülerinin uçtan uca modellemesini gerçekleştirmek amacıyla evrişimli sinir ağlarını kullanmıştır26,27. Sonrasında, farklı bakış açıları, pozlar ve çekim koşulları altındaki kıyafet görüntüleri arasındaki farkları gidermek için çok ölçekli öznitelik füzyonu ve alanlar arası öğrenme yöntemleri tanıtılmıştır28,29. Geri çağırma görevlerinde, öznitelik ayırt ediciliğini ve hesaplama verimliliğini artırmak için dikkat mekanizmaları ve öznitelik sıkıştırma stratejileri kullanılmıştır30,31. Bu yöntemler güvenilir bir görünüm ayrımı sağlasa da, öznitelik öğrenme süreçleri hala küresel görsel bilgilere odaklanmakta ve iç giysi yapılarının sistematik temsillerinden yoksun kalmaktadır32. Kompozit moda geri çağırma yöntemleri, bir referans görüntüsünü metinsel modifikasyon talimatlarıyla daha da birleştirir, ancak bunların sorgu modalitesi burada incelenen yalnızca görüntüye dayalı protokolden farklıdır. Bu yöntemler, ilgili bir ticari geri çağırma yönü olarak gözden geçirilmiş olup, ek metin girişinin kontrollü bir görüntü-sorgu değerlendirmesini engelleyecek olması nedeniyle nicel karşılaştırmaya dahil edilmemiştir.

Kıyafet görüntü analizi görünüm ayrımından yapısal anlamaya doğru kaydıkça, araştırmalar giderek giysi bileşenlerini, geometrik ilişkileri ve topolojik bağlantıları modellemeye odaklanmıştır33. Semantik segmentasyon ağları, öznitelik projeksiyonu ve çoklu dikkat mekanizmaları aracılığıyla kıyafet bileşeni düzeyinde analizler gerçekleştirerek, yapısal bilgi çıkarımı için güvenilir bir temel sağlamıştır34,35. Anahtar nokta tespiti ve yapısal topoloji modelleme yöntemleri, giysi ana hatları ile yerel yapılar arasındaki ilişkiyi daha ayrıntılı bir şekilde tanımlayarak modelin kıyafetlerin geometrik özelliklerini temsil etme yeteneğini artırmıştır36,37. Çeşitli çalışmalar, kıyafet bileşenleri arasındaki ilişkileri modellemek için graf yapılarını ve ilişkisel akıl yürütme ağlarını tanıtmış, böylece ince taneli tanıma ve alanlar arası erişim performansını iyileştirmiştir38,39. Bu çalışmalar, görsel analizde yapısal bilgilerin önemli rolünü doğrulamıştır; ancak yapı çoğunlukla yardımcı bir öznitelik veya ara bir sonuç olarak kullanılmış olup, merkezinde yapısal kısıtlamaların yer aldığı bir öznitelik öğrenme sistemi henüz geliştirilmemiştir40.

Kıyafet tasarım desteği kapsamında, bu gelişmeler tasarım önerilerini, stil analizini, etkileşimli sistem kurulumunu ve yapı odaklı tasarım değerlendirmesini desteklemiştir41. Öneri sistemi araştırmaları, görsel özellikleri kullanıcı tercihleriyle entegre ederek kıyafet eşleştirme ve kişiselleştirilmiş öneriler konusunda başarılar elde etmiştir42. Tasarım desteğiyle ilgili çalışmalar; üretken modelleri, stil modellemeyi ve insan-bilgisayar iş birliği mekanizmalarını birleştirerek akıllı tasarım desteği için yeni yollar keşfetmiştir43. Sanal deneme, beden ölçümü ve stil transferi üzerine yapılan araştırmalar, kıyafet görsel analizinin tasarım ve üretim süreci boyunca uygulanmasını genişletmiştir. Bu çalışmalar kıyafet tasarım desteğinin teknik formlarını zenginleştirmiş olsa da, temel görsel özellikleri hâlâ öncelikle görünüm tarafından yönlendirilmekte ve analiz için bir tasarım yapısı birleşik temsilinden yoksun kalmaktadır. Buna karşılık, bu makale giysi yapısını özellik temsilindeki temel kısıt olarak ele almakta ve kıyafet tasarım desteğinde yapısal analiz için bir görsel temsil yöntemi sunmaktadır.

Bu gelişmelere rağmen, üretken tasarımdaki güncel yöntemler yapısal koşulları genellikle difüzyon süreçleri içindeki gevşek uzamsal kılavuz matrisleri olarak ele almaktadır. Çağdaş yapısal ayrıştırma çerçeveleri, topolojileri birincil görsel gömme alanından ayrı, yardımcı semantik etiketler olarak temsil eder. Önerilen çerçeve, bileşen düzeyinde görsel özellik öğrenimini açıkça modüle eden, graf-öncüllü bir topolojik kısıt tanımlayarak bu mekanizmayı değiştirmektedir. Çok düzeyli tutarlılık hedefi, benzer görüntü düzeyindeki bileşen düzenlerine sahip giysilerin özellik uzayında birbirine yakın kalmasını teşvik ederken, farklı görünür bölge organizasyonlarına sahip giysileri birbirinden ayırır. Bu hedef, değerlendirilen erişim ayarlarında doku bağımlılığını azaltmakta ancak malzeme, poz veya arka plan değişikliklerine karşı bir değişmezlik sağlamamaktadır. Protokol; giriş görüntüsünün yeterince görünür tek bir giysi içerdiği, semantik bileşenlerin tanımlanabilir sınırlarını koruduğu ve analitik hedefin kaba kategori tanımından ziyade bileşen düzeyinde yapısal karşılaştırma gerektirdiği durumlarda seçilmelidir. Bu yöntem, yapıya duyarlı görsel analizlerle uğraşan bilgisayarlı görü araştırmacıları, giyim tasarımı araştırmacıları ve dijital giysi geliştirme ekipleri için tasarlanmıştır. Yalnızca renk veya malzeme tanımına odaklanan görevler veya giysi topolojisinin büyük ölçüde belirsiz olduğu görüntüler için uygun değildir. Aşağıdaki protokol; veri seti hazırlama ve semantik olasılık eşlemeden geometrik ilişki oluşturmaya, çift akışlı özellik kodlamadan yapı kılavuzlu füzyona ve tutarlılık tabanlı optimizasyona kadar olan iş akışını sunmaktadır. İş akışının tamamı Şekil 1'de özetlenmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Protokol

Bu çalışma, halka açık giysi görüntüsü veri kümelerini kullanmaktadır ve insan katılımcı alımı yapmamakta, kişisel olarak tanımlanabilir bilgi toplamamakta, hayvan deneyleri yürütmemekte veya biyolojik materyaller kullanmamaktadır. Kurumsal etik onay ve bilgilendirilmiş onam uygulanabilir değildir.

1. Yazılım ortamı ve proje yapılandırması

  1. Yayınlanan proje dosyalarını yeterli depolama alanına sahip bir dizine yerleştirin ve proje kök dizininde bir terminal açın.
  2. Yazılım ortamını oluşturmak için conda env create -f environment.yml komutunu çalıştırın. Ortamı etkinleştirmek için conda activate garment_structure komutunu çalıştırın.
  3. python --version, conda --version, pip show numpy, pip show torch, pip show torchvision ve nvidia-smi komutlarını çalıştırın. Tüm komut çıktılarını software_versions.txt dosyasına kaydedin.
  4. Önişleme, eğitim, çıkarım, verimlilik ölçümü ve değerlendirme için kaydedilen aynı ortamı kullanın. HRNet-W48 kontrol noktası dosya adını ve SHA-256 değerini, ImageNet ön eğitimli ResNet-50 ağırlıkları tanımlayıcısını ve SHA-256 değerini, DeepFashion2 yayın kaynağını ve kaynak kod deposu tanımlayıcısını aynı dosyaya kaydedin.
  5. Proje kök dizini altında data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs ve evaluation_results dizinlerini oluşturun.
  6. configs/protocol.yaml dosyasını açın. dataset_root kısmına DeepFashion2 dizinini, parser_checkpoint kısmına ön eğitimli HRNet-W48 kontrol noktası yolunu ve output_root kısmına proje çıktı dizinini girin.
  7. input_height değerini 512, input_width değerini 512, batch_size değerini 32, structural_categories_per_batch değerini 8, samples_per_category değerini 4, random_seed değerini 42, feature_dimension değerini 512, structural_constraint_weight değerini 1.0, structural_relationship_weight değerini 0.5, structural_discrimination_weight değerini 1.0 ve separation_threshold değerini 0.3 olarak ayarlayın.
  8. Optimize ediciyi mini-batch stokastik gradyan inişi olarak ayarlayın. initial_learning_rate değerini 0.0001, momentum değerini 0.9, weight_decay değerini 0.0005, max_epochs değerini 120, learning_rate_schedule değerini multi-step decay ve learning_rate_decay_factor değerini 0.1 olarak ayarlayın. Yayınlanan konfigürasyon tarafından kullanılan doğrulanmış azalma epoklarını learning_rate_milestones kısmına girin.
  9. python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results komutunu çalıştırın. Tüm model konfigürasyonunu model_setting_statistics.csv dosyasına aktarın. Aktarılan dosyanın; giriş görüntü boyutunu, giriş formatını, grup kompozisyonunu, optimize ediciyi, öğrenme hızını, öğrenme hızı programını, epok sayısını, ağırlık azalmasını, momentumu, artırma olasılıklarını, özellik boyutunu, yapısal kayıp ağırlıklarını, ayırma eşiğini, rastgele tohumları, kontrol noktası seçim kuralını ve bağımsız çalıştırma sayısını kaydettiğini doğrulayın.
  10. Beklenen çıktı: Yazılım ortamının bağımlılık hataları olmadan başladığını, software_versions.txt dosyasının ortam kaydını içerdiğini, tüm çıktı dizinlerinin mevcut olduğunu ve configs/protocol.yaml dosyasının geçerli mutlak yollar ile sayısal ayarları içerdiğini onaylayın.
    NOT: Veri işleme, model eğitimi, çıkarım ve değerlendirme sırasında aynı ortamı ve konfigürasyon dosyasını kullanın. configs/protocol.yaml dosyasının bir kopyasını eğitilen her kontrol noktasıyla birlikte saklayın.
    ​SORUN GİDERME: Bir paket mevcut olmadığı için ortam oluşturma durursa, tamamlanmamış ortamı kaldırın, environment.yml dosyasındaki paket kanallarını doğrulayın ve ortamı yeniden oluşturun. nvidia-smi bir grafik işlem birimi raporlamazsa, model eğitimini durdurun ve grafik sürücüsünü ve CUDA çalışma zamanını geri yükleyin. Çalıştırma sırasında bir dizin hatası oluşursa, göreli yolları mutlak yollarla değiştirin ve output_root için yazma iznini doğrulayın.

2. Giriş görüntülerinin kabulü, veri seti oluşturma ve ön işleme

  1. Yalnızca JPG, JPEG veya PNG uzantılı dosyaları kullanın. Tek bir ana giysi içeren 8-bit RGB görüntüler kullanın.
  2. Genişliği ve yüksekliği en az 512 piksel olan ve tanımlanabilir bir ana giysi içeren sekiz-bit RGB görüntüleri saklayın. Giysi ön planı toplam görüntü alanının %15'inden azını kapladığında, giysi-maske sınırının %5'inden fazlası görüntü kenarıyla çakıştığında, ikincil bir giysi bölgesi ana giysi alanının %10'unu aştığında, tahmini gizlenmiş alan ana giysi maskesinin %20'sini aştığında veya Laplacian yanıtının varyansı 100'ün altında olduğunda görüntüyü reddedin.
  3. Görüntü tanımlayıcısını, ölçülen değeri, tetiklenen hariç tutma kuralını ve açıklama yolunu excluded_samples.csv dosyasına kaydedin.
  4. Yapısal etiketleme ve veri bölümlendirmeden önce giriş kabul kurallarını DeepFashion2 kaynak görüntülerine uygulayın. Kabul edilen ve reddedilen her görüntü tanımlayıcısını, orijinal veri seti bölünmesini, giysi açıklama tanımlayıcısını, kaynak çift tanımlayıcısını, ön plan alan oranını, sınır-temas oranını, gizleme oranını, bulanıklık puanını ve nihai saklama durumunu data_filtering_manifest.csv dosyasına kaydedin.
  5. python tools/prepare_data.py --config configs/protocol.yaml komutunu çalıştırın.
  6. Giysi sınırlayıcı kutusunu (bounding box) veri seti açıklamasından okuyun. Sınırlayıcı kutuyu, görüntü sınırlarını aşmayacak şekilde genişlik ve yüksekliğinin %5'i kadar genişletin.
  7. Giysi bölgesini kırpın, orijinal en-boy oranını koruyun, kare bir görüntü oluşturmak için sıfır dolgusu (zero padding) ekleyin ve dolgulu görüntüyü 512 x 512 piksele yeniden boyutlandırın.
  8. Yeniden boyutlandırılan görüntüyü kayan noktalı değerlere sahip bir RGB tensörüne dönüştürün. Her piksel değerini 255'e bölün.
  9. Kırmızı, yeşil ve mavi kanalları sırasıyla 0.485, 0.456 ve 0.406 ortalamaları ile 0.229, 0.224 ve 0.225 standart sapmaları ile normalize edin.
  10. Eğitim görüntülerine 0.5 olasılıkla yatay çevirme ve 0.2 olasılıkla rastgele silme (random erasure) uygulayın. Doğrulama ve test görüntülerine yalnızca belirleyici kırpma, dolgu, yeniden boyutlandırma ve normalizasyon uygulayın.
  11. Yedi kanallı bileşen haritaları ile ortak sınır ve dikey sıra matrisleri oluşturulduktan sonra python tools/assign_structural_levels.py --config configs/protocol.yaml komutunu çalıştırın. Saklanan her görüntü için aktif düğüm sayısını, bağlantılı bileşen sayısını, dal düğüm sayısını, bağımsız döngü sayısını ve en uzun yönlendirilmiş dikey sıra yolunu hesaplayın. Dal düğümünü, ortak sınır grafiğinde en az üç diğer aktif düğüme bağlı olan aktif bir düğüm olarak tanımlayın.
  12. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde, hiçbir dal düğümü içermediğinde ve en uzun dikey sıra yolu iki kenardan fazla olmadığında S1 atayın. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde, tam olarak bir dal düğümü içerdiğinde ve en uzun dikey sıra yolu iki kenardan fazla olmadığında S2 atayın. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde ve en az iki dal düğümü veya en az üç kenarlı bir dikey sıra yolu içerdiğinde S3 atayın. Grafik bağlantılı olduğunda, tam olarak bir bağımsız döngü içerdiğinde ve dikey sıra yolu iki kenardan fazla olmadığında S4 atayın. Grafik en az iki bağımsız döngü içerdiğinde veya bir bağımsız döngü ile birlikte en az üç kenarlı bir dikey sıra yolu içerdiğinde S5 atayın.
  13. Kuralları S5, S4, S3, S2 ve S1 sırasıyla uygulayın ve hesaplanan grafik istatistiklerini, atanan seviyeyi ve kural tanımlayıcısını structural_level_manifest.csv dosyasına kaydedin.
  14. Kaydedilen bileşen maskelerinden ve ilişki matrislerinden ön S1–S5 etiketlerini otomatik olarak oluşturun. Bileşen grafiği birden fazla bağlantılı bileşen içerdiğinde, giysi ön planı içindeki ortalama maksimum bileşen olasılığı 0.60'ten düşük olduğunda, aktif bir bileşen giysi ön planının %1'inden azını kapladığında veya sınır-temas genişliği bir pikselden iki piksele değiştirildiğinde atanan yapısal seviye değiştiğinde bir örneği yapısal olarak belirsiz olarak işaretleyin.
  15. Her belirsiz örneği, kaynak görüntünün, bileşen haritasının, ortak sınır matrisinin, dikey sıra matrisinin ve ön grafiğin bağımsız incelemesi için iki yazara gönderin. İki inceleme aynı fikirdeyse etiketi saklayın. Bir uyuşmazlığı üçüncü bir yazara gönderin ve nihai etiket olarak çoğunluk kararını kullanın. İncelemeden sonra kararlı bir bileşen ilişkisi elde edilemediğinde örneği hariç tutun. Otomatik etiketi, inceleme etiketlerini, uyuşmazlık nedenini, nihai etiketi ve hariç tutma durumunu structural_label_audit.csv dosyasına kaydedin.
  16. Saklanan her kaynak dosyasının SHA-256 değerini hesaplayın ve normalize edilmiş giysi kırpmasından 64-bitlik bir algısal özet (perceptual hash) hesaplayın. Özdeş SHA-256 değerlerine sahip görüntüleri aynı tam-kopya grubuna yerleştirin. Algısal özetleri arasındaki Hamming mesafesi dört veya daha az olan görüntüleri, aynı giysi örneğinden geldiklerini doğruladıktan sonra aynı yakın-kopya grubuna yerleştirin.
  17. Aynı DeepFashion2 kaynak çift tanımlayıcısını veya giysi kimliğini paylaşan tüm görüntüleri tek bir kaynak grubunda birleştirin. Dosya özetlerini, algısal özetleri, kaynak tanımlayıcılarını ve kopya-grup tanımlayıcılarını duplicate_group_manifest.csv dosyasına kaydedin.
  18. Veri bölümlendirmeyi tekil görüntü düzeyinde değil, kaynak-grup düzeyinde gerçekleştirin. Her tam-kopya grubunu, yakın-kopya grubunu ve kaynak-kimlik grubunu tamamen tek bir alt kümeye atayın. Bölümlendirmeden sonra tüm alt küme arası çiftleri kontrol edin ve tespit edilen her kimlik çakışmasını, özet çakışmasını ve algısal-özet çakışmasını leakage_audit.csv dosyasına yazın. leakage_audit.csv dosyası çözülmemiş alt küme arası kayıtlar içermeyene kadar manifestoları yeniden oluşturun.
  19. Kaynak grupları nihai S1-S5 etiketlerine göre tabakalandırın ve tam grupları Tablo 1'de gösterilen doğrulanmış tahsise göre eğitim, doğrulama ve test alt kümelerine atayın. Her yapısal seviye ve alt küme için kesin görüntü sayısını ve kaynak-grup sayısını raporlayın.
  20. Gerçekleşen eğitim, doğrulama ve test yüzdelerini filtrelenmemiş veri setinden değil, nihai olarak saklanan kohorttan hesaplayın. Parametre öğrenimi, eşik belirleme, yapısal seviye kural ayarı veya kontrol noktası seçimi sırasında doğrulama görüntülerini, test görüntülerini, belirsiz olduğu için hariç tutulan görüntüleri veya kopya gruplarına ait görüntüleri kullanmayın.
  21. İşlenen görüntüleri data_processed/images klasörüne kaydedin. train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv ve structural_level_manifest.csv dosyalarını data_processed/manifests klasörüne kaydedin.
  22. Nihai yapısal etiketleri, inceleme durumunu, kopya-grup tanımlayıcılarını, kaynak-grup tanımlayıcılarını ve alt küme etiketlerini işlenmiş manifestolardan okuyun. S1'den S5'e kadar otomatik olarak kabul edilen örnekleri, manuel olarak incelenen örnekleri, belirsizlik nedeniyle hariç tutulanları, kopya nedeniyle hariç tutulanları, kaynak gruplarını, eğitim görüntülerini, doğrulama görüntülerini ve test görüntülerini sayın.
  23. Gerçekleşen alt küme oranlarını, ortalama aktif düğüm sayısını, ortalama dal düğüm sayısını, ortalama bağımsız döngü sayısını, ortalama dikey sıra derinliğini ve ortalama tipli kenar sayısını hesaplayın. Tüm istatistikleri evaluation_results/dataset_statistics.csv dosyasına kaydedin.
  24. Beklenen çıktı: Kabul edilen her görüntünün 512 x 512 piksel boyutunda sekiz-bitlik bir RGB görüntü olduğunu ve bir filtreleme kaydı, bir nihai yapısal seviye etiketi, bir kaynak-grup tanımlayıcısı, bir kopya-grup tanımlayıcısı, bir alt küme etiketi ve bir geçerli açıklama yoluna sahip olduğunu doğrulayın. Her belirsiz örneğin eksiksiz bir inceleme kaydına sahip olduğunu doğrulayın. Hiçbir kaynak tanımlayıcısının, tam-kopya grubunun, yakın-kopya grubunun veya giysi kimliğinin birden fazla alt kümede yer almadığını doğrulayın. train_manifest.csv, validation_manifest.csv, test_manifest.csv ve dataset_statistics.csv dosyalarındaki görüntü sayılarının aynı olduğunu doğrulayın.
    NOT: İşlenmemiş orijinal görüntüleri data_raw klasöründe saklayın. Doğrulama veya test görüntülerine rastgele artırma (random augmentation) uygulamayın.
    ​SORUN GİDERME: Kırpma işlemi bir yakayı, kolu, eteği veya pantolon paçasını kaldırırsa, orijinal açıklamayı geri yükleyin ve saklanan sınır payını genişletin. Bir giysi gerilmiş görünüyorsa, yeniden boyutlandırmadan önce kare dolgusunun mevcut olduğunu doğrulayın. İşlenmiş bir görüntü tek kanal veya dört kanal içeriyorsa, kaynak dosyayı sekiz-bit RGB'ye dönüştürün ve ön işlemeyi yeniden çalıştırın. Alt kümeler arasında kopya tanımlayıcılar oluşursa, eğitimden önce tüm alt küme manifestolarını yeniden oluşturun.

3. Ön plana kısıtlanmış görsel bileşen ayrıştırma ve olasılık haritalama

  1. python tools/parse_components.py --config configs/protocol.yaml komutunu çalıştırın.
  2. Önceden eğitilmiş HRNet-W48 giysi semantik ayrıştırma kontrol noktasını parser_checkpoint'ten yükleyin. Kontrol noktasının, veri seti açıklama eşlemesi tarafından tanımlanan giysi bileşeni kategorilerini çıktı verdiğini doğrulayın. Semantik ayrıştırma ağını değerlendirme moduna getirin ve gradyan hesaplamasını devre dışı bırakın.
  3. İşlenmiş görüntüleri sırasıyla train_manifest.csv, validation_manifest.csv ve test_manifest.csv dosyalarından okuyun.
  4. Her girdi görüntüsünden yedi kanallı bir semantik yanıt tensörü çıkarın ve iş akışı boyunca K değerini yediye ayarlayın. Üst Süsleme Bölgesi, Yaka Bölgesi, Gövde Bölgesi, Sol Alt Giysi Bölgesi, Sağ Alt Giysi Bölgesi, Orta Alt Giysi Bölgesi ve Etek Bölgesi şeklindeki sabit kategori sırasını kullanın. Bu sırayı olasılık haritalarında, bileşen matrislerinde, graf matrislerinde, özellik matrislerinde, manifestolarda ve görselleştirme dosyalarında koruyun.
  5. Semantik bileşen olasılık haritası P'yi oluşturmak için kanal boyutu boyunca softmax uygulayın. Tüm K kanalları boyunca olasılıkların, her pikselde 0.0001 tolerans dahilinde toplamının bir olduğunu doğrulayın.
  6. Giysi ön plan maskesini veri seti açıklamasından yükleyin ve 512 x 512 boyutundaki işlenmiş görüntü ile hizalayın. Giysi ön planının dışındaki her bileşenin olasılığını sıfıra ayarlayın. Ön plan maskesi içindeki bileşen olasılıklarını kanal boyutu boyunca yeniden normalize edin.
  7. Her aktif bileşen bölgesinin giysi ön planı içinde kaldığını doğrulayın. Renkli bir bileşen bölgesi çevre duvara, zemine, perdeye veya diğer arka plan alanlarına taşıyorsa ayrıştırılmış örneği reddedin. Reddedilen görüntü tanımlayıcısını ve ayrıştırma hatasını parsing_quality_log.csv dosyasına kaydedin.
  8. Her bileşen için ön plan kapsama oranını hesaplayın ve parçalanmış bölgeleri veya desteklenmeyen izole alanları olan bileşenleri manuel inceleme için işaretleyin.
  9. Semantik yanıt tensörünü parser_outputs/logits konumuna kaydedin. Olasılık haritasını parser_outputs/probability_maps konumuna kaydedin. Renk kodlu bir bileşen önizlemesini parser_outputs/previews konumuna kaydedin.
  10. Beklenen çıktı: Kabul edilen her görüntünün, 512 x 512 piksel uzamsal boyuta sahip, ön planla sınırlandırılmış bir adet yedi kanallı olasılık haritası, bir adet yedi kanallı semantik yanıt tensörü ve bir adet önizleme görüntüsü ürettiğini onaylayın. Bir ile yedi arasındaki kanal indekslerinin Adım 3.4'te tanımlanan sabit bileşen sırasını takip ettiğini onaylayın. Tüm renkli bileşen bölgelerinin giysi ön planı içinde kaldığını ve arka plan piksellerinin sıfır bileşen olasılığına sahip olduğunu onaylayın. Dosya tanımlayıcısının kaynak manifestodaki ilgili girdiyle eşleştiğini onaylayın.
    NOT: Yapısal modelleme sırasında giysi ön planı içindeki sürekli bileşen olasılıklarını koruyun. Ortaya çıkan bölgeleri görsel analiz bölgeleri olarak değerlendirin. Sınırlarını dikiş çizgileri, kesim çizgileri, kalıp parçası konturları, pensler, çentikler veya serileme referansları olarak yorumlamayın.
    ​SORUN GİDERME: Tüm kanallar neredeyse tekdüze olasılıklar gösteriyorsa parser_checkpoint'i, RGB kanal sırasını ve görüntü normalizasyonunu doğrulayın. Bir bileşen tüm bir alt küme boyunca eksik kalmaya devam ederse, açıklama indeksini ayrıştırıcı çıktı kanal indeksiyle karşılaştırın. Bileşen renkleri arka plana taşıyorsa, graf oluşturmadan önce ön plan maskesi hizalamasını, interpolasyon ayarlarını ve açıklama koordinatlarını doğrulayın. Bir görsel bölge, birbiriyle ilişkisiz birden fazla giysi alanına yayılıyorsa, örneği ayrıştırma hatası olarak işaretleyin ve yapısal öncelik oluşturma işleminden hariç tutun. Kanal olasılıklarının toplamı bir etmiyorsa, uzamsal boyutlar yerine kanal boyutu boyunca softmax uygulayın. Bir çıktı dosyası eksikse, ayrıştırıcı günlüğündeki son işlenmiş tanımlayıcıyı bulun ve ayrıştırmaya bir sonraki tanımlayıcıdan devam edin.

4. Görüntü düzeyi bileşen geometrisi ve uzamsal ilişki modellemesi

  1. Her görüntü için sığ görsel özellik tensörünü ve karşılık gelen olasılık haritası P'yi yükleyin.
  2. Her bir uzamsal özellik vektörünü, karşılık gelen semantik bileşene atanan olasılıkla çarpın.
  3. Ağırlıklı özellik vektörlerini uzamsal boyutlar üzerinden toplayın ve toplamı bileşenin toplam olasılık kütlesine bölün.
  4. Olasılık kütlesi sıfır olan herhangi bir bileşene bir sıfır vektörü ve bir inaktif-düğüm göstergesi atayın.
  5. Her aktif bileşen gömmesine L2 normalizasyonu uygulayın ve gömmeleri sabit semantik bileşen sırasına göre istifleyin.
  6. Her bir görsel bileşenin görüntü düzlemi yatay ve dikey merkez koordinatlarını, ön plana kısıtlanmış olasılık dağılımından hesaplayın. Koordinatları görüntü genişliği ve görüntü yüksekliğine göre normalize edin.
  7. Her bir görsel bileşenin görüntü düzlemi yatay ve dikey yayılımını aynı normalize edilmiş koordinat sisteminde hesaplayın. Bu değerleri yalnızca işlenen görüntüdeki görünür bölge kapsamını tanımlamak için kullanın.
  8. Sabit bileşen sırasına göre yedi grafik düğümü oluşturun ve inaktif bileşenleri sıfır düğümleri olarak tutun. Ön plan bileşen maskeleri arasındaki sekiz-komşu teması kullanarak 7 x 7 boyutunda bir ortak-sınır matrisi oluşturun. Üst Trim Bölgesi'nden Yaka Hattı Bölgesi'ne, Yaka Hattı Bölgesi'nden Gövde Bölgesi'ne, Gövde Bölgesi'nden her bir alt giysi bölgesine ve her bir alt giysi bölgesinden Etek Bölgesi'ne olan sabit ilişkileri kullanarak 7 x 7 boyutunda bir dikey-sıra matrisi oluşturun. Her geçerli ilişkiyi her iki yönde de kaydedin.
  9. Graf konvolüsyonundan önce her aktif düğüm için bir öz-döngü (self-loop) ekleyin ve inaktif düğümlere bağlı ilişkileri sıfırda tutun.
  10. Sıralanmış her semantik bileşen çifti arasında göreli merkez yer değiştirmesini ve göreli uzamsal dağılımı hesaplayın. Çiftler arası geometrik değerleri istifleyerek geometrik ilişki tensörünü oluşturun.
  11. Normalize edilmiş her bileşen gömme çifti arasındaki nokta çarpımını hesaplayın. Ortaya çıkan benzerlik matrisine satır bazlı softmax uygulayın ve değerleri ilişki ağırlıkları olarak kullanın.
  12. Geometrik ilişki tensörünü karşılık gelen ilişki ağırlıklarıyla çarpın ve her bileşen için ağırlıklı ilişkileri toplayın.
  13. Bileşen gömme matrisini, bileşen merkez matrisini, uzamsal dağılım matrisini, ortak-sınır matrisini, dikey-sıra matrisini, öz-döngü matrisini, ilişki-ağırlık matrisini, inaktif-düğüm maskesini, bileşen etiket eşlemesini ve yapısal önsel temsili structural_priors dosyasına kaydedin. Uygun olan her matrisi yedi satır ve yedi sütun olacak şekilde kaydedin. Ön plana kısıtlanmış bileşen haritasından görüntü düzeyindeki giysi bileşen topolojisi önseline kadar olan eksiksiz oluşturma süreci Şekil 2'de gösterilmiştir.
  14. Her görselleştirme örneği için ön plana kısıtlanmış olasılık haritası, bileşen merkez matrisi, türlendirilmiş komşuluk matrisi, inaktif-düğüm maskesi ve bileşen etiket eşlemesinden yararlanarak bileşen grafik katmanını oluşturun.
  15. Her aktif düğümü karşılık gelen bileşen merkezine yerleştirin. Ortak ön plan sınırları için düz çizgiler ve önceden tanımlanmış dikey-sıra ilişkileri için kesikli çizgiler çizin.
  16. Her grafik katmanını kaynak görüntü tanımlayıcısını kullanarak structural_priors/visualizations klasörüne kaydedin. Kaynak görüntü yolunu, olasılık-haritası yolunu, bileşen-merkez yolunu, türlendirilmiş-komşuluk yolunu, inaktif-düğüm-maskesi yolunu, semantik ayrıştırma kontrol noktası tanımlayıcısını ve grafik-katmanı yolunu component_graph_visualization_manifest.csv dosyasına kaydedin.
  17. Beklenen çıktı: Her görüntünün K satırlı bir bileşen gömme matrisi, K satır ve K sütunlu bir türlendirilmiş komşuluk matrisi, K satır ve K sütunlu bir ilişki-ağırlık matrisi, K değerli bir inaktif-düğüm maskesi ve bir görüntü düzeyi yapısal önsel temsil oluşturduğunu doğrulayın. Seçilen her görselleştirme örneğinin, aktif düğümlerin karşılık gelen giysi bölgeleri içinde kaldığı bir bileşen grafik katmanı oluşturduğunu doğrulayın.
    NOT: Tüm matrislerde, manifestolarda, grafiklerde, özellik dosyalarında ve grafik katmanlarında aynı görsel bileşen sırasını koruyun. Bileşen merkezlerini, uzamsal yayılım değerlerini ve grafik ilişkilerini görüntü düzlemindeki giysi bölgesi tanımlayıcıları olarak değerlendirin. Bileşen grafiğini bir insan poz iskeleti olarak yorumlamayın veya düğümlerini anatomik eklem koordinatlarından türetmeyin. Bu tanımlayıcıları dikiş uzunluklarına, eğri yarıçaplarına, pens paylarına, çentik konumlarına, kumaş yönlerine, serileme artışlarına veya kalıp parçası boyutlarına dönüştürmeyin.
    ​SORUN GİDERME: Bir matris sayısal olmayan bir değer içeriyorsa, olasılık-kütlesi paydasını ve koordinat normalizasyonunu inceleyin. İlişki ağırlıkları tek bir bileşende yoğunlaşırsa, softmax'ten önce benzerlik matrisinden satır maksimumunu çıkarın. Görüntüler arasında grafik düğümlerinin sayısı farklıysa, inaktif bileşenlerin kaldırılmak yerine sıfır vektörleri olarak mevcut kaldığından emin olun.

5. Çift akışlı yapı duyarlı özellik kodlama

  1. ImageNet ile önceden eğitilmiş ResNet-50 ağırlıklarını yükleyin ve son havuzlama ile sınıflandırma katmanlarını kaldırın.
  2. Her bir normalize edilmiş giysi görüntüsünü ResNet-50'den geçirin ve configs/protocol.yaml dosyasındaki appearance_stage tarafından belirtilen omurga aşamasından görünüm tensörünü çıkarın. 512 x 512 piksellik bir giriş görüntüsü için seçilen omurga aşaması tarafından üretilen aşama adını, çıkış kanal sayısını ve çıkış uzamsal boyutlarını doğrulayın. Her eğitim, çıkarım, ablasyon ve karşılaştırma çalışmasında aynı aşamayı kullanın.
  3. Semantik olasılık haritasını, bilinear interpolasyon yoluyla görünüm öznitelik tensörünün uzamsal boyutuna yeniden boyutlandırın. Görünüm öznitelik tensörünü, yeniden boyutlandırılmış her bir bileşen olasılık haritasıyla çarpın, ardından ağırlıklı yanıtları uzamsal boyutlar üzerinden toplayın.
  4. Her bir bileşen görünüm gömmesini, configs/protocol.yaml dosyasında tanımlanan kanal yeniden kalibrasyon katmanından geçirin. Katman türünü, giriş boyutunu, çıkış boyutunu, azaltma oranını, aktivasyon fonksiyonunu ve parametre paylaşım kuralını kaydedin. Görünüm öznitelik matrisini oluşturmak için sonuçlanan yedi bileşen vektörünü sabit semantik sırayla üst üste yığın.
  5. Her bir geometrik ilişki vektörünü yapısal projeksiyon katmanından geçirin ve çıkış boyutunu 512 olarak ayarlayın. İlişki-ağırlık matrisi ve inaktif-düğüm maskesi ile bileşen grafiğini oluşturun.
  6. 512 giriş boyutu ve 512 çıkış boyutuna sahip iki grafik konvolüsyonel katmanı uygulayın. Her grafik konvolüsyonel katmanından sonra toplu normalizasyon uygulayın ve ardından LeakyReLU uygulayın. LeakyReLU tarafından kullanılan negatif eğim değerini kaydedin. İnaktif bileşenler için sıfır özniteliklerini korumak amacıyla her katmandan sonra inaktif-düğüm maskesini uygulayın.
  7. Normalize edilmiş bileşen gömmeleri ile semantik hizalamayı uygulayın ve yapısal öznitelik matrisini oluşturmak için sonuçlanan vektörleri üst üste yığın.
  8. Beklenen çıktı: Her görüntünün bir görünüm öznitelik matrisi ve bir yapısal öznitelik matrisi ürettiğini doğrulayın. Her iki matrisin de K satır ve 512 sütun içerdiğini doğrulayın.
    NOT: İnaktif bileşenleri sıfır vektörleri olarak tutun ve yapısal-ön bilgi oluşturma sırasında belirlenen bileşen sırasını koruyun.
    SORUN GİDERME: Eğer iki öznitelik matrisi farklı satır sayıları içeriyorsa, semantik kategori eşlemesini ve inaktif-düğüm yönetimini inceleyin. Matris çarpımı bir boyut hatası bildirirse, yapısal projeksiyon çıktısının ve görünüm kanal boyutlarının her ikisinin de 512 olduğunu doğrulayın. Yapısal öznitelikler tüm aktif bileşenler için sıfır kalırsa, grafik kenarlarının ve ilişki ağırlıklarının mevcut topluğa eklenmiş olduğunu doğrulayın.

6. Yapı kılavuzlu özellik füzyonu

  1. Şekil 3'te gösterilen yapı kılavuzlu özellik birleştirme dizisini uygulayın. Yapısal özellik matrisini birleştirme ağırlık katmanından geçirin ve configs/protocol.yaml dosyasındaki fusion_activation tarafından tanımlanan aktivasyon fonksiyonunu uygulayın. Aktivasyon adını, giriş boyutunu, çıkış boyutunu ve parametrelerin yedi bileşen düğümü arasında paylaşıldığı olup olmadığını kaydedin.
  2. Oluşturulan yapısal ağırlık matrisinin K satır ve 512 sütun içerdiğini doğrulayın.
  3. Görünüm özellik matrisini, yapısal ağırlık matrisi ile eleman bazlı olarak çarpın.
  4. Modüle edilmiş görünüm matrisini ve yapısal özellik matrisini kanal boyutu boyunca birleştirin.
  5. 1024 boyutlu bir vektör oluşturmak için her bir bileşen için 512 boyutlu modüle edilmiş görünüm vektörünü ve 512 boyutlu yapısal vektörü uç uca ekleyin. Birleştirilmiş vektörü birleştirme projeksiyon katmanından geçirin ve boyutunu 1024'ten 512'ye düşürün.
  6. Orijinal yapısal özellik matrisini, bir artık bağlantı (residual connection) aracılığıyla projeksiyon matrisine ekleyin.
  7. Birleştirilmiş bileşen vektörlerini sabit semantik sırada istifleyin ve düzleştirilmiş yapı duyarlı temsile L2 normalizasyonu uygulayın.
  8. Yapısal ağırlık matrisini, modüle edilmiş görünüm matrisini, birleştirilmiş bileşen matrisini ve final yapı duyarlı temsili feature_outputs klasörüne kaydedin.
  9. Beklenen çıktı: Her görüntünün K satır ve 512 sütunlu bir birleştirilmiş bileşen matrisi ile kaynak görüntü tanımlayıcısına bağlı bir normalize edilmiş yapı duyarlı özellik vektörü ürettiğini onaylayın.
    NOT: Yanıt görselleştirme ve yerel fark analizi için yapısal ağırlık matrisini ve birleştirilmiş bileşen matrisini saklayın.
    ​SORUN GİDERME: Birleştirilmiş değerler büyümeye devam ederse, aktivasyon çıktısını ve normalizasyon katmanını inceleyin. Tüm yapısal ağırlıklar aynı değere yaklaşıyorsa, yapısal özelliklerin görüntüler arasında farklılık gösterdiğini ve birleştirme katmanının gradyanlar aldığını doğrulayın. Özellik dosyaları ve görüntü tanımlayıcıları eşleşmiyorsa, eğitim veya geri çağırma değerlendirmesinden önce çıktı manifestosunu yeniden oluşturun.

7. Model eğitimi ve tutarlılık optimizasyonu

  1. configs/seeds.yaml dosyasında kaydedilen beş rastgele seed değerini yükleyin. Her çalıştırma için Python, NumPy, PyTorch CPU işlemleri ve tüm CUDA aygıtları için aynı rastgele seed değerini belirleyin. Deterministik algoritmaları etkinleştirin, cuDNN benchmark modunu devre dışı bırakın ve beş seed değerinin tamamını ilgili çalıştırma dizinine kaydedin.
  2. İşlenmiş eğitim manifestosunu, çift manifestosunu, olasılık haritalarını ve yapısal öncülleri yükleyin.
  3. Her bir eğitim batch'ini, sekiz yapısal kategori ve her kategoriden görünümle ilgili dört farklı örnek olacak şekilde oluşturun.
  4. Aynı yapısal öncülü paylaşan pozitif örnek çiftlerinden yapısal tutarlılık kaybını hesaplayın.
  5. Bileşen özellikler arasındaki ikili mesafelerden yapısal ilişki tutarlılık kaybını hesaplayın.
  6. Heterojen yapılara sahip negatif örnek çiftlerinden yapısal ayırt etme kaybını hesaplayın ve 0.3 ayrım eşiğini uygulayın.
  7. Görünüm hedefini, yapısal tutarlılık hedefini, yapısal ilişki hedefini ve yapısal ayırt etme hedefini configs/protocol.yaml dosyasında saklanan ağırlıklarla birleştirin. Üç yapısal hedef tarafından yönetilen özellik uzayı optimizasyon süreci Şekil 4'te gösterilmiştir.
  8. python train.py --config configs/protocol.yaml komutunu çalıştırın. Tüm eğitilebilir parametreleri; Adım 1.8'de tanımlanan başlangıç öğrenme hızı, momentum, ağırlık azalımı (weight decay), epoch sayısı, azalma faktörü ve azalma epoch'larını kullanarak mini-batch stokastik gradyan inişi ile güncelleyin. Her epoch sonrası öğrenme hızını eğitim günlüğüne kaydedin.
  9. Her epoch sonrası toplam kaybı, görünüm kaybını, yapısal tutarlılık kaybını, yapısal ilişki kaybını, yapısal ayırt etme kaybını, öğrenme hızını, Yapısal Tutarlılık İndeksini (SCI), Yapısal Ayırt Etme İndeksini (SDI) ve Recall@5 değerini kaydedin.
  10. Her epoch sonrası modeli validation_manifest.csv üzerinde değerlendirin. En yüksek doğrulama SCI değerine sahip checkpoint'i checkpoints/selected_model.pth dosyasına kaydedin.
  11. Kaydedilen beş rastgele seed ile eğitimi beş kez tekrarlayın. Her bir yapılandırma dosyasını, eğitim günlüğünü ve seçilen checkpoint'i ayrı bir çalıştırma dizinine kaydedin.
  12. Beklenen çıktı: Her çalıştırmanın bir eğitim günlüğü, bir doğrulama günlüğü, epoch düzeyinde bir metrik dosyası ve bir seçilmiş checkpoint ürettiğini onaylayın. Seçilen checkpoint'in test performansı yerine doğrulama performansına dayandığını onaylayın.
    NOT: Her model karşılaştırmasında ve ablasyon deneyinde aynı eğitim, doğrulama ve test manifestolarını kullanın.
    ​SORUN GİDERME: Bir kayıp değeri sayısal olmayan bir hale gelirse eğitimi durdurun, bileşen olasılık kütlelerini inceleyin, öğrenme hızını 10 kat azaltın ve en son geçerli checkpoint'ten yeniden başlatın. Eğitim kaybı azalırken doğrulama SCI değeri değişmeden kalırsa, graf yayılımı ve füzyon parametrelerinin gradyan alıp almadığını doğrulayın. Grafik belleği tükenirse batch boyutunu azaltın ve gradyan biriktirme yoluyla 32'lik etkili bir batch boyutunu koruyun. Çalıştırmalar arasında doğrulama performansı keskin bir şekilde değişirse, kaydedilen rastgele seed değerini ve veri manifestosu sırasını doğrulayın.

8. Çıkarım, geri çağırma, kümeleme ve çıktı doğrulama

  1. python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth komutunu çalıştırın. Her bir test görüntüsü için olasılık haritaları, yapısal öncüller, görünüm özellik matrisleri, yapısal özellik matrisleri, birleştirilmiş bileşen matrisleri ve nihai özellik vektörleri oluşturun.
  2. Tüm çıkarım çıktılarını feature_outputs/test altına kaydedin ve yollarını test_feature_manifest.csv dosyasına kaydedin. Her bir sorgu özelliği ile tüm galeri özellikleri arasındaki kosinüs benzerliğini hesaplayın. Galeri tanımlayıcılarını azalan benzerlik sırasına göre sıralayın. Her sorgu için en yüksek sıralamaya sahip beş sonucu evaluation_results/retrieval_results.csv dosyasına kaydedin.
  3. Görselleştirme için seçilen her geri çağırma örneği için; sorgu görüntüsünün tiplendirilmiş komşuluk matrisini, ilişki-ağırlık matrisini, bileşen-merkez matrisini, inaktif-düğüm maskesini, bileşen etiket eşlemesini ve birleştirilmiş bileşen matrisini yükleyin. Yapı farkındalıklı model tarafından oluşturulan en yüksek sıralamalı sonuç için aynı dosyaları yükleyin.
  4. Sorgu bileşen grafiğini ve geri çağrılan görüntü bileşen grafiğini, kaydedilmiş bileşen merkezlerinden ve tiplendirilmiş komşuluk matrislerinden oluşturun. Model çıkarımı sırasında kullanılan sabit bileşen sırasını ve ilişki türlerini koruyun.
  5. Sorgu tiplendirilmiş komşuluk matrisini kategorik bir matris olarak oluşturun. İnaktif, ortak-sınır ve dikey-sıra ilişkileri için ayrı matris değerleri kullanın. Yatay ve dikey eksenleri, bileşen etiket eşlemesinde saklanan bileşen tanımlayıcılarıyla etiketleyin.
  6. Sorgu birleştirilmiş bileşen matrisine ve geri çağrılan görüntü birleştirilmiş bileşen matrisine L2 normalizasyonu uygulayın. Her bir sorgu bileşeni ile her bir geri çağrılan görüntü bileşeni arasındaki kosinüs benzerliğini hesaplayın. Ortaya çıkan K × K bileşen karşılık matrisini evaluation_results/structural_retrieval_evidence altına kaydedin.
  7. Yerel fark analizi için seçilen her referans-hedef çifti için, her iki görüntünün tiplendirilmiş komşuluk matrisini, bileşen-merkez matrisini, uzamsal-dağılım matrisini, ilişki-ağırlık matrisini ve birleştirilmiş bileşen matrisini yükleyin.
  8. İki tiplendirilmiş komşuluk matrisi arasındaki mutlak farkı hesaplayın. Sabit bileşen sırasını kullanarak bileşen-merkez yer değiştirmesi, uzamsal dağılım ve ilişki ağırlıklarındaki mutlak farkları hesaplayın. Ortaya çıkan topoloji-fark matrisini ve geometrik-ilişki-fark matrisini evaluation_results/structural_difference_evidence altına kaydedin.
  9. İki birleştirilmiş bileşen matrisinin karşılık gelen satırları arasındaki L2 mesafesini hesaplayın. Bileşen düzeyindeki mesafeleri normalize edin ve bunları hedef bileşen grafiğinin düğümlerine atayın. Kenar genişliğini, ilişki ağırlığındaki normalize edilmiş farka göre artırın. Ortaya çıkan birleştirme sonrası bileşen-fark grafiğini kaydedin.
  10. Görüntü tanımlayıcılarını, matris yollarını, grafik yollarını, bileşen sırasını, kontrol noktası tanımlayıcısını ve görselleştirme çıktı yollarını structural_visualization_manifest.csv dosyasına kaydedin. Tüm yapısal görselleştirmeleri kaydedilen dosyalardan programatik olarak oluşturun; grafik düğümlerini, grafik kenarlarını veya matris değerlerini manuel olarak eklemeyin.
  11. Nihai özellik vektörlerine beş küme ile K-Means uygulayın ve küme atamalarını evaluation_results/cluster_assignments.csv dosyasına kaydedin. python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test komutunu çalıştırın.
  12. Her çalıştırma için SCI, SDI, Recall@5, ortalama Hassasiyet (mAP) ve silüet katsayısını hesaplayın. Aynı yapısal etiketi paylaşan normalize edilmiş özelliklerin yoğunluğunu değerlendirmek için SCI'yı ve farklı yapısal etiketler arasındaki ayrımı değerlendirmek için SDI'yı kullanın. Kısa geri çağırma listesinde ilgili bir yapısal eşleşmenin görünüp görünmediğini değerlendirmek için Recall@5'i ve tüm galeri genelindeki sıralama kalitesini değerlendirmek için mAP'yi kullanın. Silüet katsayısını yalnızca kümeleme analizi için kullanın.
  13. Beş bağımsız çalıştırma genelinde aritmetik ortalamayı ve örnek standart sapmayı hesaplayın. Her yöntem ve metrik için beş çalıştırma düzeyindeki değeri saklayın. Karşılaştırılan yöntemlere dayanarak min-max normalizasyonu, sıralama normalizasyonu veya yeniden ölçeklendirme uygulamayın. Aynı rastgele tohum (random seed) altında elde edilen sonuçları kullanarak eşleştirilmiş t-testi yapın ve test istatistiği ile kesin iki taraflı anlamlılık değerini kaydedin.
  14. İşlenen test tanımlayıcılarının, özellik dosyalarının, geri çağırma kayıtlarının ve küme atamalarının sayısını karşılaştırın. Değerlendirme sonuçlarını raporlamadan veya yorumlamadan önce her türlü uyumsuzluğu giderin.
  15. Beklenen çıktı: Her test görüntüsünün bir adet eksiksiz çıkarım kaydı, bir geri çağırma listesi, bir küme ataması ve bir set değerlendirme girdisine sahip olduğunu doğrulayın. Görselleştirme için seçilen her geri çağırma vakasının bir sorgu bileşen grafiğine, bir geri çağrılan görüntü bileşen grafiğine, bir tiplendirilmiş komşuluk matrisine ve bir birleştirilmiş bileşen karşılık matrisine sahip olduğunu doğrulayın.
  16. Her yapısal fark vakasının bir topoloji-fark matrisine, bir geometrik-ilişki-fark matrisine, bir birleştirme sonrası bileşen-fark grafiğine, bir uzamsal fark ısı haritasına ve bir yanıt katmanına sahip olduğunu doğrulayın. Tüm görselleştirme dosyalarının structural_visualization_manifest.csv aracılığıyla kaynak matrislerine bağlı olduğunu doğrulayın. Görselleştirilen her vaka için saf ısı haritasını, hedef-görüntü katmanını, ön plan maskesini ve en yüksek yanıt bölgesi koordinatlarını kaydedin.
  17. Hesaplanan bir fark yanıtını, yalnızca baskın yüksek yanıt bölgesi giysi ön planıyla örtüştüğünde ve karşılık gelen tiplendirilmiş komşuluk değişimi, geometrik ilişki değişimi ve birleştirme sonrası bileşen-mesafesi kanıtlarıyla desteklendiğinde kabul edin. En güçlü yanıt esas olarak giysi ön planının dışında kalıyorsa; ayrıştırma çıktısını, bileşen grafiğini ve birleştirme kaydını inceleyin.
    NOT: Test seti üzerindeki çıkarımlar için doğrulama setinden seçilen kontrol noktasını (checkpoint) kullanın. Test seti metriklerine göre bir kontrol noktası seçmeyin veya değiştirmeyin. Çıkarım ve görselleştirme sırasında grafikleri ve matrisleri oluştururken aynı bileşen sırasını, inaktif-düğüm kuralını, ilişki-türü kodlamasını ve normalizasyon sürecini kullanın.
    ​SORUN GİDERME: Çıkarım tüm test görüntüleri işlenmeden önce durursa, çıkarım günlüğündeki son tanımlayıcıyı bulun ve bir sonraki tanımlayıcıdan devam edin. Geri çağırma sonuçlarına renk benzerliği hakimse, yapısal öncül ve birleştirme çıktılarını inceleyin ve kontrol noktası yüklemesinin başarılı olduğunu doğrulayın. Değerlendirme yinelenen tanımlayıcılar raporlarsa, test_feature_manifest.csv dosyasını yeniden oluşturun ve yeniden hesaplama yapmadan önce yinelenen kayıtları kaldırın. K-Means boş bir küme üretirse, özellik normalizasyonunu doğrulayın ve kümelemeyi kaydedilen rastgele tohum ile yeniden çalıştırın.

9. Karşılaştırmalı model değerlendirmesi

  1. python compare_models.py --config configs/protocol.yaml komutunu çalıştırın.
  2. ResNet-50, Parça tabanlı Konvolüsyonel Temel Hat (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Renk ve Doku Füzyonlu Topoloji Özellik Histogramı, Dikkat Rehberli Kaskad Ağ, MMFL-Net, FARE-RNET ve önerilen yöntemi aynı eğitim, doğrulama ve test manifestoları ile eğitin ve değerlendirin.
  3. Her yöntem için aynı görüntü boyutunu, ön işleme işlemlerini, eğitim epoklarını, etkili toplu işlem boyutunu (batch size), değerlendirme sorgularını ve metrik uygulamasını kullanın.
  4. ResNet-50 için global ortalama havuzlamayı (global average pooling) koruyun. PCB'de yatay şerit hizalamasını uygulayın. GCN'de sabit görüntü düzeyinde giysi grafiği uygulayın. FashionGraph'te öznitelik rehberli dinamik grafik çıkarımı uygulayın. Swin Transformer ve CLIP'in standart görüntü kodlayıcılarını kullanın. Renk ve Doku Füzyonlu Topoloji Özellik Histogramını; topoloji, renk ve doku tanımlayıcılarını kullanarak uygulayın. Dikkat Rehberli Kaskad Ağı'nı; giysi ayrıştırma ile global ve lokal öznitelik dallarını kullanarak uygulayın. MMFL-Net'i; çok ölçekli ve çok tanelilikli öznitelik dallarını kullanarak uygulayın. FARE-RNET'i; artık dikkat (residual attention), öznitelik seçimi ve genişletilmiş bağlamsal kodlama kullanarak uygulayın.
  5. Her karşılaştırma yönteminin yalnızca görüntü-sorgu dalını kullanın. Eğitilebilir her yöntemi ortak eğitim manifestosu üzerinde yeniden eğitin ve kontrol noktasını (checkpoint) ortak doğrulama manifestosundan seçin. Her test sorgusu için sıralanmış bir galeri listesi oluşturun.
  6. Orijinal boyutu farklı olduğunda, öğrenilen her gömmeyi (embedding) kayıtlı eğitilebilir bir doğrusal katman aracılığıyla 512 boyuta projekte edin. Kosinüs benzerliği sıralamasından önce L2 normalizasyonu uygulayın. Tüm yöntemler için aynı sorgu-galeri atamasını ve metrik uygulamasını kullanın.
  7. Her karşılaştırma yöntemini aynı beş rastgele tohum (random seed) ile tekrarlayın. SCI, SDI, Recall@5, mAP ve silüet katsayısının ortalamasını ve örnek standart sapmasını raporlayın. Her metrik için, aynı rastgele tohum altında elde edilen sonuçları kullanarak önerilen yöntem ile her karşılaştırma yöntemi arasında iki yönlü eşleştirilmiş t-testi gerçekleştirin. Beş çalıştırma düzeyindeki değeri, test istatistiğini, serbestlik derecesini ve kesin p-değerini evaluation_results/comparison_metrics.csv dosyasına kaydedin.
  8. Her yöntem için SCI, SDI, Recall@5, mAP ve silüet katsayısını hesaplayın. Tüm çalıştırma düzeyi ve toplu değerleri evaluation_results/comparison_metrics.csv dosyasına kaydedin.
  9. Beklenen çıktı: comparison_metrics.csv dosyasının her karşılaştırma yöntemi için aynı metrik alanlarını ve aynı sayıda bağımsız çalıştırmayı içerdiğini doğrulayın.
    NOT: Karşılaştırma yöntemleri arasında veri bölümlerini, metrik kodunu veya sorgu-galeri atamasını değiştirmeyin.
    SORUN GİDERME: Bir karşılaştırma modeli 512 dışında bir öznitelik boyutu üretirse, metrik hesaplamasından önce tek bir kayıtlı doğrusal projeksiyon katmanı ekleyin ve bu katmanı ilgili modelle birlikte eğitin. Bir model ortak öğrenme hızı altında yakınsamazsa, yayınlanmış uygulamasında belirtilen öğrenme hızını kullanın ve diğer tüm deneysel koşulları koruyun. Yönteme özgü her ayarı karşılaştırma günlüğüne kaydedin.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Sonuçlar

Raporlanan tüm deneyler, Tablo 2 ve Materyaller Tablosu'nda belgelenen donanım ve yazılım ortamı kullanılarak gerçekleştirilmiştir. Ön işleme, eğitim, çıkarım ve değerlendirme süreçlerinin tamamında aynı grafik sürücüsü, CUDA, cuDNN, Python, NumPy, PyTorch ve torchvision sürümleri kullanılmıştır. Eksiksiz donanım ve yazılım ortamı Tablo 2 ve Materyaller Tablosu'nda özetlenmiştir. Tablo 1, işlenmiş eğitim, doğrulama ve test veri setlerini...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Tartışma

En kritik protokol aşamaları, giysiyi koruyan ön işleme ve ön plana kısıtlanmış anlamsal bileşen ayrıştırmasıdır. Bileşen merkezleri, uzamsal dağılım değerleri, ortak sınır ilişkileri, dikey sıra ilişkileri, ilişki ağırlıkları ve birleştirilmiş temsillerin tamamı ayrıştırma çıktısından türetilir. Sınır sızıntıları, birleşmiş bileşen bölgeleri, eksik bileşen bölgeleri ve yanlış kanal atamaları, graf oluşturma ve özellik birleştirme süreçleri boyunca yayılır. Bu hatalar, temsil edilen bileşen ilişkileri kaynak giysiyle tut...

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Açıklamalar

Yazarların beyan edecek herhangi bir çıkar çatışması yoktur.

Teşekkürler

Bu çalışma, 14. Beş Yıllık Plan kapsamındaki eyalet düzeyindeki ikinci grup temel lisans öğretim reformu projeleri çerçevesinde, “Üç Entegrasyon, Üç Füzyon” Ortak Kurulum Modeline Dayalı “Giysi ve Hazır Giyim Tasarımı” Öğretim Reformu ve Keşfi başlıklı proje (Proje No. JGZD2024096) tarafından desteklenmiştir.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Malzemeler

Bu makalede kullanılan malzemelerin listesi
AdŞirketKatalog numarasıYorumlar
Merkezi İşlem BirimiIntel CorporationIntel Core i9-13900K, 24 çekirdek, 32 iş parçacığı, 5,80 GHz'e kadar
CondaAnaconda, Inc., anaconda.comMiniconda3 23.11.0
CUDA ToolkitNVIDIA Corporation, developer.nvidia.comCUDA 11.8
cuDNNNVIDIA Corporation, developer.nvidia.comcuDNN 8.9.7
DeepFashion2 Veri SetiHong Kong Çin Üniversitesi, github.com/switchablenorms/DeepFashion2Resmi DeepFashion2 sürümü, Versiyon 1.0
Grafik İşlem BirimiNVIDIA CorporationNVIDIA GeForce RTX 4090, 24 GB GDDR6X
HRNet-W48 Semantik Ayrıştırma Kontrol NoktasıHRNet Projesi, github.com/HRNet/HRNet-Semantic-Segmentationhrnet_w48_garment_parser_7class.pth, proje kontrol noktası Versiyon 1.0
ImageNet-Ön Eğitimli ResNet-50 AğırlıklarıPyTorch Foundation, pytorch.orgResNet50_Weights.IMAGENET1K_V2
MatplotlibMatplotlib Geliştirme Ekibi, matplotlib.orgSürüm 3.8.2
NumPyNumPy Geliştiricileri, numpy.orgSürüm 1.26.4
NVIDIA Grafik SürücüsüNVIDIA CorporationVersiyon 546.33
OpenCV-PythonOpenCV Ekibi, opencv.orgSürüm 4.8.1.78
İşletim SistemiMicrosoft CorporationWindows 11 Pro 23H2, 64-bit, İşletim Sistemi Yapısı 22631.3155
PandasPandas Geliştirme Ekibi, pandas.pydata.orgSürüm 2.1.4
PythonPython Software Foundation, python.orgSürüm 3.10.13
PyTorchPyTorch Foundation, pytorch.orgCUDA 11.8 ile Sürüm 2.1.2
PyYAMLPyYAML Projesi, pyyaml.orgSürüm 6.0.1
scikit-learnscikit-learn Geliştiricileri, scikit-learn.orgSürüm 1.3.2
SciPySciPy Geliştiricileri, scipy.orgSürüm 1.11.4
Kaynak Kod DeposuMakale ile birlikte sunulan ek kaynak kod arşiviGiysi Topolojisi Protokolü, Versiyon 1.0
Depolama CihazıSamsung ElectronicsSamsung 990 PRO NVMe SSD, 2 TB
Sistem BelleğiKingston TechnologyKingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvisionPyTorch Foundation, pytorch.orgCUDA 11.8 ile Sürüm 0.16.2
Çalışma İstasyonuÖzel yapım derin öğrenme iş istasyonuIntel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB bellek, 2 TB NVMe SSD

Kaynaklar

  1. Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
  2. Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
  3. Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
  4. Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
  5. Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
  6. Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
  7. Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
  8. Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
  9. Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
  10. Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
  11. Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
  12. Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
  13. Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
  14. An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
  15. Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
  16. Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
  17. Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
  18. Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
  19. Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
  20. Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
  21. Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
  22. Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
  23. Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
  24. Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
  25. Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
  26. Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
  27. Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
  28. Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
  29. Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
  30. Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
  31. Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
  32. Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
  33. Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
  34. Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
  35. Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
  36. Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
  37. Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
  38. Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
  39. Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
  40. Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
  41. Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
  42. de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
  43. Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.

Yeniden basım ve izinler

Daha fazla makale keşfet

Giysi Görüntü ErişimiYapısal TutarlılıkDeepFashion2 GörüntüleriHRNet-W48 AyrıştırmaResNet-50 KodlamaGraf KonvolüsyonuYapısal KarşılaştırmaFark Yerelleştirme
Bize Ulaşın
Kütüphaneye Öner

Gizlilik

Kullanım Koşulları

Politikalar

Telif Hakkı © 2026 MyJoVE Corporation. Tüm hakları saklıdır.