Tasarım Referans Erişimi için Görüntü Düzeyinde Giysi Bileşeni Topolojisine Dayalı Bir Görüntü Özelliği Öğrenme Protokolü

Özet

Bu protokol; semantik bileşen ayrıştırmayı, topoloji modellemeyi, çift akışlı özellik kodlamayı ve yapı yönlendirmeli füzyonu entegre ederek yapı farkındalığına sahip giysi temsilleri oluşturur. Bilgisayarlı görü ve hazır giyim araştırmacılarının, renk veya doku yerine bileşen organizasyonu ve silüet düzenine dayalı olarak giysi erişimi ve tasarım referansı karşılaştırması yapmalarına olanak tanır.

Özet

Kıyafet görüntü erişim yöntemleri genellikle renk ve dokuyu vurgular; bu durum, benzer görünüme sahip ancak bileşen düzenleri farklı olan giysilerin birbirine karıştırılmasına yol açabilir. Bu çalışma, giysi görüntüsü erişimi ve tasarım referansı karşılaştırması için bileşen duyarlı bir özellik öğrenme protokolü sunmaktadır. Protokol, anlamsal giysi bölgelerini ayrıştırır, görüntü düzeyinde bir giysi bileşen grafiği oluşturur, görünüm ve bileşen ilişkilerini paralel olarak kodlar ve her iki temsili yapısal tutarlılık, yapısal ilişki ve yapısal ayırt edicilik kayıplarını kullanarak birleştirir. DeepFashion2 görüntüleri 512 x 512 piksele standartlaştırılmış, HRNet-W48 ile ayrıştırılmış, ResNet-50 ve graf konvolüsyonu ile kodlanmış ve yapısal erişim ile kümeleme yoluyla değerlendirilmiştir. Tam model; 0,81'lik bir yapısal tutarlılık indeksi, 0,71'lik bir yapısal ayırt edicilik indeksi, %89,2 Recall@5, %86,4 ortalama ortalama kesinlik ve 0,74'lük bir siluet katsayısı elde etmiştir. Bu protokol, yüzey görünümünün giysi yapısını güvenilir bir şekilde temsil etmediği durumlarda giysi yapı erişimini, yapısal karşılaştırmayı ve fark yerelleştirmeyi desteklemektedir.

Giriş

Bilgisayarlı görü ve yapay zekanın hazır giyim endüstrisine sürekli entegrasyonuyla birlikte, kıyafet görüntü analizi temel tanıma görevlerinden tasarım odaklı analiz ve karar destek sistemlerine doğru kademeli olarak genişlemiştir^1,2. Hazır giyim tasarım sürecinde, tasarım şemaları arasındaki ayrım, basit görünüm farklılıklarından ziyade yapısal kompozisyona ve bileşen ilişkilerine dayanır; bu durum, tasarım yardımında kıyafet görüntü özelliklerinin yapısal ifade gücünü, analizin etkinliğini etkileyen temel bir faktör haline getirir^3,4. Bununla birlikte, mevcut görsel yöntemlerin çoğu hala temel özellikler olarak doku, renk ve genel konturlara dayanmakta, bu da tasarım sürecinde giysi hiyerarşilerinin ve konstrüksiyon farklılıklarının sistematik olarak analiz edilmesini zorlaştırmaktadır^5,6. Bu nedenle, tasarım analizinin nesnelliğini ve tutarlılığını artırmak için hazır giyim tasarım yardımına yönelik yapı farkındalıklı bir görüntü özellik öğrenme yöntemi geliştirmek önem taşımaktadır⁷. Bu protokol, giysilerin benzer renklere, dokulara veya genel konturlara sahip olduğu ancak bileşen organizasyonu, bağlantı kalıpları veya mekansal yerleşim açısından farklılık gösterdiği durumlar için uygundur. Bu koşullar altında, görünüm merkezli temsiller, yapısal olarak farklı tasarımları özellik uzayında birbirine yakın konumlandırma eğilimindedir ve bu da geri çağırma ile tasarım karşılaştırmasının güvenilirliğini zayıflatır. Protokol, giysi bileşenleri arasındaki ilişkilerin yapısal geri çağırma, tasarım değerlendirmesi ve yerelleştirilmiş fark analizinin temelini oluşturduğu görevleri ele almaktadır.

Veri ölçeği, model karmaşıklığı ve görev çeşitliliği açısından, giysi görüntülerinin otomatik analizi ve anlaşılması üzerine yapılan mevcut araştırmalar önemli ilerlemeler kaydetmiştir^8,9. Ancak, pratik uygulamalarda, giysi yapısal bilgileri genellikle bölütleme veya algılama sonuçlarına örtük olarak dahil edilir ve özellik öğrenme aşamasının birleşik modellemesinde hesaba katılmaz; bu da özellik uzayındaki farklı yapısal tasarımlar arasında kararlı bir ayrımın eksik olmasına neden olur^10,11. Giysi bileşenleri arasındaki uzamsal ilişkiler, hiyerarşik kısıtlamalar ve topolojik yapılar açıkça kodlanmamıştır, bu da özellik temsillerinin tasarım düzeyindeki yapısal farklılıkları yansıtmasını zorlaştırmaktadır^12,13. Açık yapısal modellemenin eksikliği, tasarım destekli senaryolarda giysi görüntü özelliklerinin analitik ayrıntı düzeyini ve karar güvenilirliğini kısıtlayarak, daha derin anlamsal anlayışa sahip akıllı tasarım sistemlerinin geliştirilmesinin önünde önemli bir engel teşkil etmektedir¹⁴.

Kıyafet görüntüsü öznitelik öğrenimi ve analizini desteklemek amacıyla, ilgili çalışmalar çeşitli teknik yönleri araştırmıştır¹⁵. Semantik segmentasyon ve giysi ayrıştırma yöntemleri, piksel düzeyinde açıklama yoluyla giysi bölgelerinin ve bileşenlerinin ince ayrıntılı olarak belirlenmesini sağlayarak yapısal bilgi çıkarımı için bir temel oluşturmuştur^16,17. Görüntü sorgulu giysi geri çağırma yöntemleri; topoloji ve renk-doku füzyonunu, küresel ve yerel dikkat hizalamasını, giysi ayrıştırmayı, çok ölçekli ve çok granüler temsilleri ve öznitelik seçimiyle birlikte artık dikkati bünyesine katmıştır. Bu yöntemler; katalog araması, tüketici-mağaza eşleştirmesi, alanlar arası ürün geri çağırma ve e-ticaret görsel araması konularunu ele almaktadır. Her yöntem giysi görüntülerini görsel bir sorguya göre sıraladığı için uygulama ortamları tasarım-referans geri çağırma ile yakından ilişkilidir, ancak temsilleri, öznitelik füzyonu boyunca türlendirilmiş bileşen bitişikliğini ve dikey sıra ilişkilerini korumamaktadır^18,19,20. Bu sırada, tasarım ve öneri senaryoları üzerine yapılan araştırmalar kademeli olarak multimodal füzyonu, ilişki modellemeyi ve stil analizini tanıtarak kıyafet görsel özniteliklerinin uygulama sınırlarını genişletmiştir^21,22. Bu yöntemler kendi görevlerinde ilerleme kaydetmiş olsalar da, temel öznitelikleri hâlâ büyük ölçüde görünüm tanımlamalarına dayanmaktadır ve yapısal bilgiler öznitelik öğrenimi için doğal bir kısıtlama olarak tek tipte modellenmemiştir; bu durum, kıyafet tasarım desteğinin yapısal hizalama ve yapısal karşılaştırma ihtiyaçlarını karşılamayı zorlaştırmaktadır²³.

Kıyafet tasarım desteğindeki yetersiz yapısal farklılaştırma kapasitesini gidermek amacıyla, bu makale kıyafet yapısı algısına dayalı bir görüntü özellik öğrenme yöntemi önermektedir. Bu yöntem, kıyafet analiz sonuçlarını ve temel yapısal bilgileri kıyafet görüntüsü giriş aşamasına dahil ederek; kıyafet bileşen bölgelerini, uzamsal ilişkileri ve hiyerarşik bağlantıları ortaklaşa modeller. Yapısal ilişki kodlaması ve görsel özellik hizalaması, kıyafet kısıtlamalarını özellik öğrenme sürecine açıkça entegre ederek hem görsel görünümü hem de yapısal tutarlılığı koruyan bir temsil oluşturur. Bu özellik, kıyafet yapısal farklılıklarını birleşik bir uzayda karakterize ederek; sonraki yapısal benzerlik analizi, yapısal kümeleme ve tasarım destekli karar verme süreçleri için istikrarlı bir temel sağlar ve böylece mevcut yöntemlerdeki yapısal modelleme eksikliğinden kaynaklanan özellik karmaşası problemini hafifletir. Yapısal bilgileri gevşek bağlantılı yardımcı öznitelikler olarak ele alan genel görsel erişim stratejilerinin aksine, bu çerçeve topolojik ilişkiler merkezli bir özellik modülasyon mekanizması kurar. Mekanizma, öğrenilen temsilin doku hakimiyetindeki yanıtları azaltırken, görünür kıyafet bölgesi organizasyonunu takip etmesini teşvik eder. Her grafik düğümü görüntü düzeyinde bir semantik bölgeyi belirtir ve her grafik ilişkisi, görüntü düzlemindeki görünür komşuluğu veya normalize edilmiş bağıl konumu tanımlar. Elde edilen gömme (embedding), kıyafet görüntüleri arasında bileşen düzeninin ve silüet organizasyonunun karşılaştırılmasını destekler. Bu bölgeler ve ilişkiler; dikiş kalıbı parçaları, dikiş bağlantıları, konstrüksiyon işaret noktaları veya serileme parametreleri değildir. Görünüm odaklı erişim yöntemleriyle karşılaştırıldığında, bu protokol yapısal bilgileri bir alt analiz sonucu olarak ele almak yerine, özellik öğrenimi boyunca açık bileşen topolojisini korur. Yapısal ipuçlarını yalnızca yardımcı girdiler olarak tanıtan yaklaşımlarla karşılaştırıldığında ise, çift akışlı kodlama ve topoloji ile tutarlı füzyon, doku hakimiyetindeki yanıtları azaltırken geometrik ilişkileri korur. Ortaya çıkan temsil; kıyafet yapısı erişimi, yapısal kümeleme, tasarım referansı taraması ve yerelleştirilmiş tasarım farkı analizini desteklerken, kıyafet tasarım süreci içinde yorumlanabilir kalan bileşen düzeyinde kanıtlar sunar. Bu protokol ile ilgili araştırmalar; kıyafet görüntüsü özellik öğrenimi, kıyafet yapısı modelleme, yapı farkındalıklı temsil ve giyim tasarım desteği için görsel analiz alanlarını kapsamaktadır.

Öznitelik temsilleme düzeyinde, kıyafet görüntüsü araştırmaları uzun süredir görünüm modelleme, derin öznitelik çıkarma ve çok ölçekli temsil üzerine odaklanmıştır^24,25. İlk çalışmalar; sınıflandırma, geri çağırma ve benzerlik eşleştirme görevleri için kıyafet görüntülerinin uçtan uca modellemesini gerçekleştirmek amacıyla evrişimli sinir ağlarını kullanmıştır^26,27. Sonrasında, farklı bakış açıları, pozlar ve çekim koşulları altındaki kıyafet görüntüleri arasındaki farkları gidermek için çok ölçekli öznitelik füzyonu ve alanlar arası öğrenme yöntemleri tanıtılmıştır^28,29. Geri çağırma görevlerinde, öznitelik ayırt ediciliğini ve hesaplama verimliliğini artırmak için dikkat mekanizmaları ve öznitelik sıkıştırma stratejileri kullanılmıştır^30,31. Bu yöntemler güvenilir bir görünüm ayrımı sağlasa da, öznitelik öğrenme süreçleri hala küresel görsel bilgilere odaklanmakta ve iç giysi yapılarının sistematik temsillerinden yoksun kalmaktadır³². Kompozit moda geri çağırma yöntemleri, bir referans görüntüsünü metinsel modifikasyon talimatlarıyla daha da birleştirir, ancak bunların sorgu modalitesi burada incelenen yalnızca görüntüye dayalı protokolden farklıdır. Bu yöntemler, ilgili bir ticari geri çağırma yönü olarak gözden geçirilmiş olup, ek metin girişinin kontrollü bir görüntü-sorgu değerlendirmesini engelleyecek olması nedeniyle nicel karşılaştırmaya dahil edilmemiştir.

Kıyafet görüntü analizi görünüm ayrımından yapısal anlamaya doğru kaydıkça, araştırmalar giderek giysi bileşenlerini, geometrik ilişkileri ve topolojik bağlantıları modellemeye odaklanmıştır³³. Semantik segmentasyon ağları, öznitelik projeksiyonu ve çoklu dikkat mekanizmaları aracılığıyla kıyafet bileşeni düzeyinde analizler gerçekleştirerek, yapısal bilgi çıkarımı için güvenilir bir temel sağlamıştır^34,35. Anahtar nokta tespiti ve yapısal topoloji modelleme yöntemleri, giysi ana hatları ile yerel yapılar arasındaki ilişkiyi daha ayrıntılı bir şekilde tanımlayarak modelin kıyafetlerin geometrik özelliklerini temsil etme yeteneğini artırmıştır^36,37. Çeşitli çalışmalar, kıyafet bileşenleri arasındaki ilişkileri modellemek için graf yapılarını ve ilişkisel akıl yürütme ağlarını tanıtmış, böylece ince taneli tanıma ve alanlar arası erişim performansını iyileştirmiştir^38,39. Bu çalışmalar, görsel analizde yapısal bilgilerin önemli rolünü doğrulamıştır; ancak yapı çoğunlukla yardımcı bir öznitelik veya ara bir sonuç olarak kullanılmış olup, merkezinde yapısal kısıtlamaların yer aldığı bir öznitelik öğrenme sistemi henüz geliştirilmemiştir⁴⁰.

Kıyafet tasarım desteği kapsamında, bu gelişmeler tasarım önerilerini, stil analizini, etkileşimli sistem kurulumunu ve yapı odaklı tasarım değerlendirmesini desteklemiştir⁴¹. Öneri sistemi araştırmaları, görsel özellikleri kullanıcı tercihleriyle entegre ederek kıyafet eşleştirme ve kişiselleştirilmiş öneriler konusunda başarılar elde etmiştir⁴². Tasarım desteğiyle ilgili çalışmalar; üretken modelleri, stil modellemeyi ve insan-bilgisayar iş birliği mekanizmalarını birleştirerek akıllı tasarım desteği için yeni yollar keşfetmiştir⁴³. Sanal deneme, beden ölçümü ve stil transferi üzerine yapılan araştırmalar, kıyafet görsel analizinin tasarım ve üretim süreci boyunca uygulanmasını genişletmiştir. Bu çalışmalar kıyafet tasarım desteğinin teknik formlarını zenginleştirmiş olsa da, temel görsel özellikleri hâlâ öncelikle görünüm tarafından yönlendirilmekte ve analiz için bir tasarım yapısı birleşik temsilinden yoksun kalmaktadır. Buna karşılık, bu makale giysi yapısını özellik temsilindeki temel kısıt olarak ele almakta ve kıyafet tasarım desteğinde yapısal analiz için bir görsel temsil yöntemi sunmaktadır.

Bu gelişmelere rağmen, üretken tasarımdaki güncel yöntemler yapısal koşulları genellikle difüzyon süreçleri içindeki gevşek uzamsal kılavuz matrisleri olarak ele almaktadır. Çağdaş yapısal ayrıştırma çerçeveleri, topolojileri birincil görsel gömme alanından ayrı, yardımcı semantik etiketler olarak temsil eder. Önerilen çerçeve, bileşen düzeyinde görsel özellik öğrenimini açıkça modüle eden, graf-öncüllü bir topolojik kısıt tanımlayarak bu mekanizmayı değiştirmektedir. Çok düzeyli tutarlılık hedefi, benzer görüntü düzeyindeki bileşen düzenlerine sahip giysilerin özellik uzayında birbirine yakın kalmasını teşvik ederken, farklı görünür bölge organizasyonlarına sahip giysileri birbirinden ayırır. Bu hedef, değerlendirilen erişim ayarlarında doku bağımlılığını azaltmakta ancak malzeme, poz veya arka plan değişikliklerine karşı bir değişmezlik sağlamamaktadır. Protokol; giriş görüntüsünün yeterince görünür tek bir giysi içerdiği, semantik bileşenlerin tanımlanabilir sınırlarını koruduğu ve analitik hedefin kaba kategori tanımından ziyade bileşen düzeyinde yapısal karşılaştırma gerektirdiği durumlarda seçilmelidir. Bu yöntem, yapıya duyarlı görsel analizlerle uğraşan bilgisayarlı görü araştırmacıları, giyim tasarımı araştırmacıları ve dijital giysi geliştirme ekipleri için tasarlanmıştır. Yalnızca renk veya malzeme tanımına odaklanan görevler veya giysi topolojisinin büyük ölçüde belirsiz olduğu görüntüler için uygun değildir. Aşağıdaki protokol; veri seti hazırlama ve semantik olasılık eşlemeden geometrik ilişki oluşturmaya, çift akışlı özellik kodlamadan yapı kılavuzlu füzyona ve tutarlılık tabanlı optimizasyona kadar olan iş akışını sunmaktadır. İş akışının tamamı Şekil 1'de özetlenmiştir.

Protokol

Bu çalışma, halka açık giysi görüntüsü veri kümelerini kullanmaktadır ve insan katılımcı alımı yapmamakta, kişisel olarak tanımlanabilir bilgi toplamamakta, hayvan deneyleri yürütmemekte veya biyolojik materyaller kullanmamaktadır. Kurumsal etik onay ve bilgilendirilmiş onam uygulanabilir değildir.

1. Yazılım ortamı ve proje yapılandırması

1. Yayınlanan proje dosyalarını yeterli depolama alanına sahip bir dizine yerleştirin ve proje kök dizininde bir terminal açın.
2. Yazılım ortamını oluşturmak için conda env create -f environment.yml komutunu çalıştırın. Ortamı etkinleştirmek için conda activate garment_structure komutunu çalıştırın.
3. python --version, conda --version, pip show numpy, pip show torch, pip show torchvision ve nvidia-smi komutlarını çalıştırın. Tüm komut çıktılarını software_versions.txt dosyasına kaydedin.
4. Önişleme, eğitim, çıkarım, verimlilik ölçümü ve değerlendirme için kaydedilen aynı ortamı kullanın. HRNet-W48 kontrol noktası dosya adını ve SHA-256 değerini, ImageNet ön eğitimli ResNet-50 ağırlıkları tanımlayıcısını ve SHA-256 değerini, DeepFashion2 yayın kaynağını ve kaynak kod deposu tanımlayıcısını aynı dosyaya kaydedin.
5. Proje kök dizini altında data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs ve evaluation_results dizinlerini oluşturun.
6. configs/protocol.yaml dosyasını açın. dataset_root kısmına DeepFashion2 dizinini, parser_checkpoint kısmına ön eğitimli HRNet-W48 kontrol noktası yolunu ve output_root kısmına proje çıktı dizinini girin.
7. input_height değerini 512, input_width değerini 512, batch_size değerini 32, structural_categories_per_batch değerini 8, samples_per_category değerini 4, random_seed değerini 42, feature_dimension değerini 512, structural_constraint_weight değerini 1.0, structural_relationship_weight değerini 0.5, structural_discrimination_weight değerini 1.0 ve separation_threshold değerini 0.3 olarak ayarlayın.
8. Optimize ediciyi mini-batch stokastik gradyan inişi olarak ayarlayın. initial_learning_rate değerini 0.0001, momentum değerini 0.9, weight_decay değerini 0.0005, max_epochs değerini 120, learning_rate_schedule değerini multi-step decay ve learning_rate_decay_factor değerini 0.1 olarak ayarlayın. Yayınlanan konfigürasyon tarafından kullanılan doğrulanmış azalma epoklarını learning_rate_milestones kısmına girin.
9. python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results komutunu çalıştırın. Tüm model konfigürasyonunu model_setting_statistics.csv dosyasına aktarın. Aktarılan dosyanın; giriş görüntü boyutunu, giriş formatını, grup kompozisyonunu, optimize ediciyi, öğrenme hızını, öğrenme hızı programını, epok sayısını, ağırlık azalmasını, momentumu, artırma olasılıklarını, özellik boyutunu, yapısal kayıp ağırlıklarını, ayırma eşiğini, rastgele tohumları, kontrol noktası seçim kuralını ve bağımsız çalıştırma sayısını kaydettiğini doğrulayın.
10. Beklenen çıktı: Yazılım ortamının bağımlılık hataları olmadan başladığını, software_versions.txt dosyasının ortam kaydını içerdiğini, tüm çıktı dizinlerinin mevcut olduğunu ve configs/protocol.yaml dosyasının geçerli mutlak yollar ile sayısal ayarları içerdiğini onaylayın.
    NOT: Veri işleme, model eğitimi, çıkarım ve değerlendirme sırasında aynı ortamı ve konfigürasyon dosyasını kullanın. configs/protocol.yaml dosyasının bir kopyasını eğitilen her kontrol noktasıyla birlikte saklayın.
    ​SORUN GİDERME: Bir paket mevcut olmadığı için ortam oluşturma durursa, tamamlanmamış ortamı kaldırın, environment.yml dosyasındaki paket kanallarını doğrulayın ve ortamı yeniden oluşturun. nvidia-smi bir grafik işlem birimi raporlamazsa, model eğitimini durdurun ve grafik sürücüsünü ve CUDA çalışma zamanını geri yükleyin. Çalıştırma sırasında bir dizin hatası oluşursa, göreli yolları mutlak yollarla değiştirin ve output_root için yazma iznini doğrulayın.

2. Giriş görüntülerinin kabulü, veri seti oluşturma ve ön işleme

1. Yalnızca JPG, JPEG veya PNG uzantılı dosyaları kullanın. Tek bir ana giysi içeren 8-bit RGB görüntüler kullanın.
2. Genişliği ve yüksekliği en az 512 piksel olan ve tanımlanabilir bir ana giysi içeren sekiz-bit RGB görüntüleri saklayın. Giysi ön planı toplam görüntü alanının %15'inden azını kapladığında, giysi-maske sınırının %5'inden fazlası görüntü kenarıyla çakıştığında, ikincil bir giysi bölgesi ana giysi alanının %10'unu aştığında, tahmini gizlenmiş alan ana giysi maskesinin %20'sini aştığında veya Laplacian yanıtının varyansı 100'ün altında olduğunda görüntüyü reddedin.
3. Görüntü tanımlayıcısını, ölçülen değeri, tetiklenen hariç tutma kuralını ve açıklama yolunu excluded_samples.csv dosyasına kaydedin.
4. Yapısal etiketleme ve veri bölümlendirmeden önce giriş kabul kurallarını DeepFashion2 kaynak görüntülerine uygulayın. Kabul edilen ve reddedilen her görüntü tanımlayıcısını, orijinal veri seti bölünmesini, giysi açıklama tanımlayıcısını, kaynak çift tanımlayıcısını, ön plan alan oranını, sınır-temas oranını, gizleme oranını, bulanıklık puanını ve nihai saklama durumunu data_filtering_manifest.csv dosyasına kaydedin.
5. python tools/prepare_data.py --config configs/protocol.yaml komutunu çalıştırın.
6. Giysi sınırlayıcı kutusunu (bounding box) veri seti açıklamasından okuyun. Sınırlayıcı kutuyu, görüntü sınırlarını aşmayacak şekilde genişlik ve yüksekliğinin %5'i kadar genişletin.
7. Giysi bölgesini kırpın, orijinal en-boy oranını koruyun, kare bir görüntü oluşturmak için sıfır dolgusu (zero padding) ekleyin ve dolgulu görüntüyü 512 x 512 piksele yeniden boyutlandırın.
8. Yeniden boyutlandırılan görüntüyü kayan noktalı değerlere sahip bir RGB tensörüne dönüştürün. Her piksel değerini 255'e bölün.
9. Kırmızı, yeşil ve mavi kanalları sırasıyla 0.485, 0.456 ve 0.406 ortalamaları ile 0.229, 0.224 ve 0.225 standart sapmaları ile normalize edin.
10. Eğitim görüntülerine 0.5 olasılıkla yatay çevirme ve 0.2 olasılıkla rastgele silme (random erasure) uygulayın. Doğrulama ve test görüntülerine yalnızca belirleyici kırpma, dolgu, yeniden boyutlandırma ve normalizasyon uygulayın.
11. Yedi kanallı bileşen haritaları ile ortak sınır ve dikey sıra matrisleri oluşturulduktan sonra python tools/assign_structural_levels.py --config configs/protocol.yaml komutunu çalıştırın. Saklanan her görüntü için aktif düğüm sayısını, bağlantılı bileşen sayısını, dal düğüm sayısını, bağımsız döngü sayısını ve en uzun yönlendirilmiş dikey sıra yolunu hesaplayın. Dal düğümünü, ortak sınır grafiğinde en az üç diğer aktif düğüme bağlı olan aktif bir düğüm olarak tanımlayın.
12. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde, hiçbir dal düğümü içermediğinde ve en uzun dikey sıra yolu iki kenardan fazla olmadığında S1 atayın. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde, tam olarak bir dal düğümü içerdiğinde ve en uzun dikey sıra yolu iki kenardan fazla olmadığında S2 atayın. Grafik bağlantılı olduğunda, hiçbir bağımsız döngü içermediğinde ve en az iki dal düğümü veya en az üç kenarlı bir dikey sıra yolu içerdiğinde S3 atayın. Grafik bağlantılı olduğunda, tam olarak bir bağımsız döngü içerdiğinde ve dikey sıra yolu iki kenardan fazla olmadığında S4 atayın. Grafik en az iki bağımsız döngü içerdiğinde veya bir bağımsız döngü ile birlikte en az üç kenarlı bir dikey sıra yolu içerdiğinde S5 atayın.
13. Kuralları S5, S4, S3, S2 ve S1 sırasıyla uygulayın ve hesaplanan grafik istatistiklerini, atanan seviyeyi ve kural tanımlayıcısını structural_level_manifest.csv dosyasına kaydedin.
14. Kaydedilen bileşen maskelerinden ve ilişki matrislerinden ön S1–S5 etiketlerini otomatik olarak oluşturun. Bileşen grafiği birden fazla bağlantılı bileşen içerdiğinde, giysi ön planı içindeki ortalama maksimum bileşen olasılığı 0.60'ten düşük olduğunda, aktif bir bileşen giysi ön planının %1'inden azını kapladığında veya sınır-temas genişliği bir pikselden iki piksele değiştirildiğinde atanan yapısal seviye değiştiğinde bir örneği yapısal olarak belirsiz olarak işaretleyin.
15. Her belirsiz örneği, kaynak görüntünün, bileşen haritasının, ortak sınır matrisinin, dikey sıra matrisinin ve ön grafiğin bağımsız incelemesi için iki yazara gönderin. İki inceleme aynı fikirdeyse etiketi saklayın. Bir uyuşmazlığı üçüncü bir yazara gönderin ve nihai etiket olarak çoğunluk kararını kullanın. İncelemeden sonra kararlı bir bileşen ilişkisi elde edilemediğinde örneği hariç tutun. Otomatik etiketi, inceleme etiketlerini, uyuşmazlık nedenini, nihai etiketi ve hariç tutma durumunu structural_label_audit.csv dosyasına kaydedin.
16. Saklanan her kaynak dosyasının SHA-256 değerini hesaplayın ve normalize edilmiş giysi kırpmasından 64-bitlik bir algısal özet (perceptual hash) hesaplayın. Özdeş SHA-256 değerlerine sahip görüntüleri aynı tam-kopya grubuna yerleştirin. Algısal özetleri arasındaki Hamming mesafesi dört veya daha az olan görüntüleri, aynı giysi örneğinden geldiklerini doğruladıktan sonra aynı yakın-kopya grubuna yerleştirin.
17. Aynı DeepFashion2 kaynak çift tanımlayıcısını veya giysi kimliğini paylaşan tüm görüntüleri tek bir kaynak grubunda birleştirin. Dosya özetlerini, algısal özetleri, kaynak tanımlayıcılarını ve kopya-grup tanımlayıcılarını duplicate_group_manifest.csv dosyasına kaydedin.
18. Veri bölümlendirmeyi tekil görüntü düzeyinde değil, kaynak-grup düzeyinde gerçekleştirin. Her tam-kopya grubunu, yakın-kopya grubunu ve kaynak-kimlik grubunu tamamen tek bir alt kümeye atayın. Bölümlendirmeden sonra tüm alt küme arası çiftleri kontrol edin ve tespit edilen her kimlik çakışmasını, özet çakışmasını ve algısal-özet çakışmasını leakage_audit.csv dosyasına yazın. leakage_audit.csv dosyası çözülmemiş alt küme arası kayıtlar içermeyene kadar manifestoları yeniden oluşturun.
19. Kaynak grupları nihai S1-S5 etiketlerine göre tabakalandırın ve tam grupları Tablo 1'de gösterilen doğrulanmış tahsise göre eğitim, doğrulama ve test alt kümelerine atayın. Her yapısal seviye ve alt küme için kesin görüntü sayısını ve kaynak-grup sayısını raporlayın.
20. Gerçekleşen eğitim, doğrulama ve test yüzdelerini filtrelenmemiş veri setinden değil, nihai olarak saklanan kohorttan hesaplayın. Parametre öğrenimi, eşik belirleme, yapısal seviye kural ayarı veya kontrol noktası seçimi sırasında doğrulama görüntülerini, test görüntülerini, belirsiz olduğu için hariç tutulan görüntüleri veya kopya gruplarına ait görüntüleri kullanmayın.
21. İşlenen görüntüleri data_processed/images klasörüne kaydedin. train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv ve structural_level_manifest.csv dosyalarını data_processed/manifests klasörüne kaydedin.
22. Nihai yapısal etiketleri, inceleme durumunu, kopya-grup tanımlayıcılarını, kaynak-grup tanımlayıcılarını ve alt küme etiketlerini işlenmiş manifestolardan okuyun. S1'den S5'e kadar otomatik olarak kabul edilen örnekleri, manuel olarak incelenen örnekleri, belirsizlik nedeniyle hariç tutulanları, kopya nedeniyle hariç tutulanları, kaynak gruplarını, eğitim görüntülerini, doğrulama görüntülerini ve test görüntülerini sayın.
23. Gerçekleşen alt küme oranlarını, ortalama aktif düğüm sayısını, ortalama dal düğüm sayısını, ortalama bağımsız döngü sayısını, ortalama dikey sıra derinliğini ve ortalama tipli kenar sayısını hesaplayın. Tüm istatistikleri evaluation_results/dataset_statistics.csv dosyasına kaydedin.
24. Beklenen çıktı: Kabul edilen her görüntünün 512 x 512 piksel boyutunda sekiz-bitlik bir RGB görüntü olduğunu ve bir filtreleme kaydı, bir nihai yapısal seviye etiketi, bir kaynak-grup tanımlayıcısı, bir kopya-grup tanımlayıcısı, bir alt küme etiketi ve bir geçerli açıklama yoluna sahip olduğunu doğrulayın. Her belirsiz örneğin eksiksiz bir inceleme kaydına sahip olduğunu doğrulayın. Hiçbir kaynak tanımlayıcısının, tam-kopya grubunun, yakın-kopya grubunun veya giysi kimliğinin birden fazla alt kümede yer almadığını doğrulayın. train_manifest.csv, validation_manifest.csv, test_manifest.csv ve dataset_statistics.csv dosyalarındaki görüntü sayılarının aynı olduğunu doğrulayın.
    NOT: İşlenmemiş orijinal görüntüleri data_raw klasöründe saklayın. Doğrulama veya test görüntülerine rastgele artırma (random augmentation) uygulamayın.
    ​SORUN GİDERME: Kırpma işlemi bir yakayı, kolu, eteği veya pantolon paçasını kaldırırsa, orijinal açıklamayı geri yükleyin ve saklanan sınır payını genişletin. Bir giysi gerilmiş görünüyorsa, yeniden boyutlandırmadan önce kare dolgusunun mevcut olduğunu doğrulayın. İşlenmiş bir görüntü tek kanal veya dört kanal içeriyorsa, kaynak dosyayı sekiz-bit RGB'ye dönüştürün ve ön işlemeyi yeniden çalıştırın. Alt kümeler arasında kopya tanımlayıcılar oluşursa, eğitimden önce tüm alt küme manifestolarını yeniden oluşturun.

3. Ön plana kısıtlanmış görsel bileşen ayrıştırma ve olasılık haritalama

1. python tools/parse_components.py --config configs/protocol.yaml komutunu çalıştırın.
2. Önceden eğitilmiş HRNet-W48 giysi semantik ayrıştırma kontrol noktasını parser_checkpoint'ten yükleyin. Kontrol noktasının, veri seti açıklama eşlemesi tarafından tanımlanan giysi bileşeni kategorilerini çıktı verdiğini doğrulayın. Semantik ayrıştırma ağını değerlendirme moduna getirin ve gradyan hesaplamasını devre dışı bırakın.
3. İşlenmiş görüntüleri sırasıyla train_manifest.csv, validation_manifest.csv ve test_manifest.csv dosyalarından okuyun.
4. Her girdi görüntüsünden yedi kanallı bir semantik yanıt tensörü çıkarın ve iş akışı boyunca K değerini yediye ayarlayın. Üst Süsleme Bölgesi, Yaka Bölgesi, Gövde Bölgesi, Sol Alt Giysi Bölgesi, Sağ Alt Giysi Bölgesi, Orta Alt Giysi Bölgesi ve Etek Bölgesi şeklindeki sabit kategori sırasını kullanın. Bu sırayı olasılık haritalarında, bileşen matrislerinde, graf matrislerinde, özellik matrislerinde, manifestolarda ve görselleştirme dosyalarında koruyun.
5. Semantik bileşen olasılık haritası P'yi oluşturmak için kanal boyutu boyunca softmax uygulayın. Tüm K kanalları boyunca olasılıkların, her pikselde 0.0001 tolerans dahilinde toplamının bir olduğunu doğrulayın.
6. Giysi ön plan maskesini veri seti açıklamasından yükleyin ve 512 x 512 boyutundaki işlenmiş görüntü ile hizalayın. Giysi ön planının dışındaki her bileşenin olasılığını sıfıra ayarlayın. Ön plan maskesi içindeki bileşen olasılıklarını kanal boyutu boyunca yeniden normalize edin.
7. Her aktif bileşen bölgesinin giysi ön planı içinde kaldığını doğrulayın. Renkli bir bileşen bölgesi çevre duvara, zemine, perdeye veya diğer arka plan alanlarına taşıyorsa ayrıştırılmış örneği reddedin. Reddedilen görüntü tanımlayıcısını ve ayrıştırma hatasını parsing_quality_log.csv dosyasına kaydedin.
8. Her bileşen için ön plan kapsama oranını hesaplayın ve parçalanmış bölgeleri veya desteklenmeyen izole alanları olan bileşenleri manuel inceleme için işaretleyin.
9. Semantik yanıt tensörünü parser_outputs/logits konumuna kaydedin. Olasılık haritasını parser_outputs/probability_maps konumuna kaydedin. Renk kodlu bir bileşen önizlemesini parser_outputs/previews konumuna kaydedin.
10. Beklenen çıktı: Kabul edilen her görüntünün, 512 x 512 piksel uzamsal boyuta sahip, ön planla sınırlandırılmış bir adet yedi kanallı olasılık haritası, bir adet yedi kanallı semantik yanıt tensörü ve bir adet önizleme görüntüsü ürettiğini onaylayın. Bir ile yedi arasındaki kanal indekslerinin Adım 3.4'te tanımlanan sabit bileşen sırasını takip ettiğini onaylayın. Tüm renkli bileşen bölgelerinin giysi ön planı içinde kaldığını ve arka plan piksellerinin sıfır bileşen olasılığına sahip olduğunu onaylayın. Dosya tanımlayıcısının kaynak manifestodaki ilgili girdiyle eşleştiğini onaylayın.
    NOT: Yapısal modelleme sırasında giysi ön planı içindeki sürekli bileşen olasılıklarını koruyun. Ortaya çıkan bölgeleri görsel analiz bölgeleri olarak değerlendirin. Sınırlarını dikiş çizgileri, kesim çizgileri, kalıp parçası konturları, pensler, çentikler veya serileme referansları olarak yorumlamayın.
    ​SORUN GİDERME: Tüm kanallar neredeyse tekdüze olasılıklar gösteriyorsa parser_checkpoint'i, RGB kanal sırasını ve görüntü normalizasyonunu doğrulayın. Bir bileşen tüm bir alt küme boyunca eksik kalmaya devam ederse, açıklama indeksini ayrıştırıcı çıktı kanal indeksiyle karşılaştırın. Bileşen renkleri arka plana taşıyorsa, graf oluşturmadan önce ön plan maskesi hizalamasını, interpolasyon ayarlarını ve açıklama koordinatlarını doğrulayın. Bir görsel bölge, birbiriyle ilişkisiz birden fazla giysi alanına yayılıyorsa, örneği ayrıştırma hatası olarak işaretleyin ve yapısal öncelik oluşturma işleminden hariç tutun. Kanal olasılıklarının toplamı bir etmiyorsa, uzamsal boyutlar yerine kanal boyutu boyunca softmax uygulayın. Bir çıktı dosyası eksikse, ayrıştırıcı günlüğündeki son işlenmiş tanımlayıcıyı bulun ve ayrıştırmaya bir sonraki tanımlayıcıdan devam edin.

4. Görüntü düzeyi bileşen geometrisi ve uzamsal ilişki modellemesi

1. Her görüntü için sığ görsel özellik tensörünü ve karşılık gelen olasılık haritası P'yi yükleyin.
2. Her bir uzamsal özellik vektörünü, karşılık gelen semantik bileşene atanan olasılıkla çarpın.
3. Ağırlıklı özellik vektörlerini uzamsal boyutlar üzerinden toplayın ve toplamı bileşenin toplam olasılık kütlesine bölün.
4. Olasılık kütlesi sıfır olan herhangi bir bileşene bir sıfır vektörü ve bir inaktif-düğüm göstergesi atayın.
5. Her aktif bileşen gömmesine L2 normalizasyonu uygulayın ve gömmeleri sabit semantik bileşen sırasına göre istifleyin.
6. Her bir görsel bileşenin görüntü düzlemi yatay ve dikey merkez koordinatlarını, ön plana kısıtlanmış olasılık dağılımından hesaplayın. Koordinatları görüntü genişliği ve görüntü yüksekliğine göre normalize edin.
7. Her bir görsel bileşenin görüntü düzlemi yatay ve dikey yayılımını aynı normalize edilmiş koordinat sisteminde hesaplayın. Bu değerleri yalnızca işlenen görüntüdeki görünür bölge kapsamını tanımlamak için kullanın.
8. Sabit bileşen sırasına göre yedi grafik düğümü oluşturun ve inaktif bileşenleri sıfır düğümleri olarak tutun. Ön plan bileşen maskeleri arasındaki sekiz-komşu teması kullanarak 7 x 7 boyutunda bir ortak-sınır matrisi oluşturun. Üst Trim Bölgesi'nden Yaka Hattı Bölgesi'ne, Yaka Hattı Bölgesi'nden Gövde Bölgesi'ne, Gövde Bölgesi'nden her bir alt giysi bölgesine ve her bir alt giysi bölgesinden Etek Bölgesi'ne olan sabit ilişkileri kullanarak 7 x 7 boyutunda bir dikey-sıra matrisi oluşturun. Her geçerli ilişkiyi her iki yönde de kaydedin.
9. Graf konvolüsyonundan önce her aktif düğüm için bir öz-döngü (self-loop) ekleyin ve inaktif düğümlere bağlı ilişkileri sıfırda tutun.
10. Sıralanmış her semantik bileşen çifti arasında göreli merkez yer değiştirmesini ve göreli uzamsal dağılımı hesaplayın. Çiftler arası geometrik değerleri istifleyerek geometrik ilişki tensörünü oluşturun.
11. Normalize edilmiş her bileşen gömme çifti arasındaki nokta çarpımını hesaplayın. Ortaya çıkan benzerlik matrisine satır bazlı softmax uygulayın ve değerleri ilişki ağırlıkları olarak kullanın.
12. Geometrik ilişki tensörünü karşılık gelen ilişki ağırlıklarıyla çarpın ve her bileşen için ağırlıklı ilişkileri toplayın.
13. Bileşen gömme matrisini, bileşen merkez matrisini, uzamsal dağılım matrisini, ortak-sınır matrisini, dikey-sıra matrisini, öz-döngü matrisini, ilişki-ağırlık matrisini, inaktif-düğüm maskesini, bileşen etiket eşlemesini ve yapısal önsel temsili structural_priors dosyasına kaydedin. Uygun olan her matrisi yedi satır ve yedi sütun olacak şekilde kaydedin. Ön plana kısıtlanmış bileşen haritasından görüntü düzeyindeki giysi bileşen topolojisi önseline kadar olan eksiksiz oluşturma süreci Şekil 2'de gösterilmiştir.
14. Her görselleştirme örneği için ön plana kısıtlanmış olasılık haritası, bileşen merkez matrisi, türlendirilmiş komşuluk matrisi, inaktif-düğüm maskesi ve bileşen etiket eşlemesinden yararlanarak bileşen grafik katmanını oluşturun.
15. Her aktif düğümü karşılık gelen bileşen merkezine yerleştirin. Ortak ön plan sınırları için düz çizgiler ve önceden tanımlanmış dikey-sıra ilişkileri için kesikli çizgiler çizin.
16. Her grafik katmanını kaynak görüntü tanımlayıcısını kullanarak structural_priors/visualizations klasörüne kaydedin. Kaynak görüntü yolunu, olasılık-haritası yolunu, bileşen-merkez yolunu, türlendirilmiş-komşuluk yolunu, inaktif-düğüm-maskesi yolunu, semantik ayrıştırma kontrol noktası tanımlayıcısını ve grafik-katmanı yolunu component_graph_visualization_manifest.csv dosyasına kaydedin.
17. Beklenen çıktı: Her görüntünün K satırlı bir bileşen gömme matrisi, K satır ve K sütunlu bir türlendirilmiş komşuluk matrisi, K satır ve K sütunlu bir ilişki-ağırlık matrisi, K değerli bir inaktif-düğüm maskesi ve bir görüntü düzeyi yapısal önsel temsil oluşturduğunu doğrulayın. Seçilen her görselleştirme örneğinin, aktif düğümlerin karşılık gelen giysi bölgeleri içinde kaldığı bir bileşen grafik katmanı oluşturduğunu doğrulayın.
    NOT: Tüm matrislerde, manifestolarda, grafiklerde, özellik dosyalarında ve grafik katmanlarında aynı görsel bileşen sırasını koruyun. Bileşen merkezlerini, uzamsal yayılım değerlerini ve grafik ilişkilerini görüntü düzlemindeki giysi bölgesi tanımlayıcıları olarak değerlendirin. Bileşen grafiğini bir insan poz iskeleti olarak yorumlamayın veya düğümlerini anatomik eklem koordinatlarından türetmeyin. Bu tanımlayıcıları dikiş uzunluklarına, eğri yarıçaplarına, pens paylarına, çentik konumlarına, kumaş yönlerine, serileme artışlarına veya kalıp parçası boyutlarına dönüştürmeyin.
    ​SORUN GİDERME: Bir matris sayısal olmayan bir değer içeriyorsa, olasılık-kütlesi paydasını ve koordinat normalizasyonunu inceleyin. İlişki ağırlıkları tek bir bileşende yoğunlaşırsa, softmax'ten önce benzerlik matrisinden satır maksimumunu çıkarın. Görüntüler arasında grafik düğümlerinin sayısı farklıysa, inaktif bileşenlerin kaldırılmak yerine sıfır vektörleri olarak mevcut kaldığından emin olun.

5. Çift akışlı yapı duyarlı özellik kodlama

1. ImageNet ile önceden eğitilmiş ResNet-50 ağırlıklarını yükleyin ve son havuzlama ile sınıflandırma katmanlarını kaldırın.
2. Her bir normalize edilmiş giysi görüntüsünü ResNet-50'den geçirin ve configs/protocol.yaml dosyasındaki appearance_stage tarafından belirtilen omurga aşamasından görünüm tensörünü çıkarın. 512 x 512 piksellik bir giriş görüntüsü için seçilen omurga aşaması tarafından üretilen aşama adını, çıkış kanal sayısını ve çıkış uzamsal boyutlarını doğrulayın. Her eğitim, çıkarım, ablasyon ve karşılaştırma çalışmasında aynı aşamayı kullanın.
3. Semantik olasılık haritasını, bilinear interpolasyon yoluyla görünüm öznitelik tensörünün uzamsal boyutuna yeniden boyutlandırın. Görünüm öznitelik tensörünü, yeniden boyutlandırılmış her bir bileşen olasılık haritasıyla çarpın, ardından ağırlıklı yanıtları uzamsal boyutlar üzerinden toplayın.
4. Her bir bileşen görünüm gömmesini, configs/protocol.yaml dosyasında tanımlanan kanal yeniden kalibrasyon katmanından geçirin. Katman türünü, giriş boyutunu, çıkış boyutunu, azaltma oranını, aktivasyon fonksiyonunu ve parametre paylaşım kuralını kaydedin. Görünüm öznitelik matrisini oluşturmak için sonuçlanan yedi bileşen vektörünü sabit semantik sırayla üst üste yığın.
5. Her bir geometrik ilişki vektörünü yapısal projeksiyon katmanından geçirin ve çıkış boyutunu 512 olarak ayarlayın. İlişki-ağırlık matrisi ve inaktif-düğüm maskesi ile bileşen grafiğini oluşturun.
6. 512 giriş boyutu ve 512 çıkış boyutuna sahip iki grafik konvolüsyonel katmanı uygulayın. Her grafik konvolüsyonel katmanından sonra toplu normalizasyon uygulayın ve ardından LeakyReLU uygulayın. LeakyReLU tarafından kullanılan negatif eğim değerini kaydedin. İnaktif bileşenler için sıfır özniteliklerini korumak amacıyla her katmandan sonra inaktif-düğüm maskesini uygulayın.
7. Normalize edilmiş bileşen gömmeleri ile semantik hizalamayı uygulayın ve yapısal öznitelik matrisini oluşturmak için sonuçlanan vektörleri üst üste yığın.
8. Beklenen çıktı: Her görüntünün bir görünüm öznitelik matrisi ve bir yapısal öznitelik matrisi ürettiğini doğrulayın. Her iki matrisin de K satır ve 512 sütun içerdiğini doğrulayın.
   NOT: İnaktif bileşenleri sıfır vektörleri olarak tutun ve yapısal-ön bilgi oluşturma sırasında belirlenen bileşen sırasını koruyun.
   SORUN GİDERME: Eğer iki öznitelik matrisi farklı satır sayıları içeriyorsa, semantik kategori eşlemesini ve inaktif-düğüm yönetimini inceleyin. Matris çarpımı bir boyut hatası bildirirse, yapısal projeksiyon çıktısının ve görünüm kanal boyutlarının her ikisinin de 512 olduğunu doğrulayın. Yapısal öznitelikler tüm aktif bileşenler için sıfır kalırsa, grafik kenarlarının ve ilişki ağırlıklarının mevcut topluğa eklenmiş olduğunu doğrulayın.

6. Yapı kılavuzlu özellik füzyonu

1. Şekil 3'te gösterilen yapı kılavuzlu özellik birleştirme dizisini uygulayın. Yapısal özellik matrisini birleştirme ağırlık katmanından geçirin ve configs/protocol.yaml dosyasındaki fusion_activation tarafından tanımlanan aktivasyon fonksiyonunu uygulayın. Aktivasyon adını, giriş boyutunu, çıkış boyutunu ve parametrelerin yedi bileşen düğümü arasında paylaşıldığı olup olmadığını kaydedin.
2. Oluşturulan yapısal ağırlık matrisinin K satır ve 512 sütun içerdiğini doğrulayın.
3. Görünüm özellik matrisini, yapısal ağırlık matrisi ile eleman bazlı olarak çarpın.
4. Modüle edilmiş görünüm matrisini ve yapısal özellik matrisini kanal boyutu boyunca birleştirin.
5. 1024 boyutlu bir vektör oluşturmak için her bir bileşen için 512 boyutlu modüle edilmiş görünüm vektörünü ve 512 boyutlu yapısal vektörü uç uca ekleyin. Birleştirilmiş vektörü birleştirme projeksiyon katmanından geçirin ve boyutunu 1024'ten 512'ye düşürün.
6. Orijinal yapısal özellik matrisini, bir artık bağlantı (residual connection) aracılığıyla projeksiyon matrisine ekleyin.
7. Birleştirilmiş bileşen vektörlerini sabit semantik sırada istifleyin ve düzleştirilmiş yapı duyarlı temsile L2 normalizasyonu uygulayın.
8. Yapısal ağırlık matrisini, modüle edilmiş görünüm matrisini, birleştirilmiş bileşen matrisini ve final yapı duyarlı temsili feature_outputs klasörüne kaydedin.
9. Beklenen çıktı: Her görüntünün K satır ve 512 sütunlu bir birleştirilmiş bileşen matrisi ile kaynak görüntü tanımlayıcısına bağlı bir normalize edilmiş yapı duyarlı özellik vektörü ürettiğini onaylayın.
   NOT: Yanıt görselleştirme ve yerel fark analizi için yapısal ağırlık matrisini ve birleştirilmiş bileşen matrisini saklayın.
   ​SORUN GİDERME: Birleştirilmiş değerler büyümeye devam ederse, aktivasyon çıktısını ve normalizasyon katmanını inceleyin. Tüm yapısal ağırlıklar aynı değere yaklaşıyorsa, yapısal özelliklerin görüntüler arasında farklılık gösterdiğini ve birleştirme katmanının gradyanlar aldığını doğrulayın. Özellik dosyaları ve görüntü tanımlayıcıları eşleşmiyorsa, eğitim veya geri çağırma değerlendirmesinden önce çıktı manifestosunu yeniden oluşturun.

7. Model eğitimi ve tutarlılık optimizasyonu

1. configs/seeds.yaml dosyasında kaydedilen beş rastgele seed değerini yükleyin. Her çalıştırma için Python, NumPy, PyTorch CPU işlemleri ve tüm CUDA aygıtları için aynı rastgele seed değerini belirleyin. Deterministik algoritmaları etkinleştirin, cuDNN benchmark modunu devre dışı bırakın ve beş seed değerinin tamamını ilgili çalıştırma dizinine kaydedin.
2. İşlenmiş eğitim manifestosunu, çift manifestosunu, olasılık haritalarını ve yapısal öncülleri yükleyin.
3. Her bir eğitim batch'ini, sekiz yapısal kategori ve her kategoriden görünümle ilgili dört farklı örnek olacak şekilde oluşturun.
4. Aynı yapısal öncülü paylaşan pozitif örnek çiftlerinden yapısal tutarlılık kaybını hesaplayın.
5. Bileşen özellikler arasındaki ikili mesafelerden yapısal ilişki tutarlılık kaybını hesaplayın.
6. Heterojen yapılara sahip negatif örnek çiftlerinden yapısal ayırt etme kaybını hesaplayın ve 0.3 ayrım eşiğini uygulayın.
7. Görünüm hedefini, yapısal tutarlılık hedefini, yapısal ilişki hedefini ve yapısal ayırt etme hedefini configs/protocol.yaml dosyasında saklanan ağırlıklarla birleştirin. Üç yapısal hedef tarafından yönetilen özellik uzayı optimizasyon süreci Şekil 4'te gösterilmiştir.
8. python train.py --config configs/protocol.yaml komutunu çalıştırın. Tüm eğitilebilir parametreleri; Adım 1.8'de tanımlanan başlangıç öğrenme hızı, momentum, ağırlık azalımı (weight decay), epoch sayısı, azalma faktörü ve azalma epoch'larını kullanarak mini-batch stokastik gradyan inişi ile güncelleyin. Her epoch sonrası öğrenme hızını eğitim günlüğüne kaydedin.
9. Her epoch sonrası toplam kaybı, görünüm kaybını, yapısal tutarlılık kaybını, yapısal ilişki kaybını, yapısal ayırt etme kaybını, öğrenme hızını, Yapısal Tutarlılık İndeksini (SCI), Yapısal Ayırt Etme İndeksini (SDI) ve Recall@5 değerini kaydedin.
10. Her epoch sonrası modeli validation_manifest.csv üzerinde değerlendirin. En yüksek doğrulama SCI değerine sahip checkpoint'i checkpoints/selected_model.pth dosyasına kaydedin.
11. Kaydedilen beş rastgele seed ile eğitimi beş kez tekrarlayın. Her bir yapılandırma dosyasını, eğitim günlüğünü ve seçilen checkpoint'i ayrı bir çalıştırma dizinine kaydedin.
12. Beklenen çıktı: Her çalıştırmanın bir eğitim günlüğü, bir doğrulama günlüğü, epoch düzeyinde bir metrik dosyası ve bir seçilmiş checkpoint ürettiğini onaylayın. Seçilen checkpoint'in test performansı yerine doğrulama performansına dayandığını onaylayın.
    NOT: Her model karşılaştırmasında ve ablasyon deneyinde aynı eğitim, doğrulama ve test manifestolarını kullanın.
    ​SORUN GİDERME: Bir kayıp değeri sayısal olmayan bir hale gelirse eğitimi durdurun, bileşen olasılık kütlelerini inceleyin, öğrenme hızını 10 kat azaltın ve en son geçerli checkpoint'ten yeniden başlatın. Eğitim kaybı azalırken doğrulama SCI değeri değişmeden kalırsa, graf yayılımı ve füzyon parametrelerinin gradyan alıp almadığını doğrulayın. Grafik belleği tükenirse batch boyutunu azaltın ve gradyan biriktirme yoluyla 32'lik etkili bir batch boyutunu koruyun. Çalıştırmalar arasında doğrulama performansı keskin bir şekilde değişirse, kaydedilen rastgele seed değerini ve veri manifestosu sırasını doğrulayın.

8. Çıkarım, geri çağırma, kümeleme ve çıktı doğrulama

1. python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth komutunu çalıştırın. Her bir test görüntüsü için olasılık haritaları, yapısal öncüller, görünüm özellik matrisleri, yapısal özellik matrisleri, birleştirilmiş bileşen matrisleri ve nihai özellik vektörleri oluşturun.
2. Tüm çıkarım çıktılarını feature_outputs/test altına kaydedin ve yollarını test_feature_manifest.csv dosyasına kaydedin. Her bir sorgu özelliği ile tüm galeri özellikleri arasındaki kosinüs benzerliğini hesaplayın. Galeri tanımlayıcılarını azalan benzerlik sırasına göre sıralayın. Her sorgu için en yüksek sıralamaya sahip beş sonucu evaluation_results/retrieval_results.csv dosyasına kaydedin.
3. Görselleştirme için seçilen her geri çağırma örneği için; sorgu görüntüsünün tiplendirilmiş komşuluk matrisini, ilişki-ağırlık matrisini, bileşen-merkez matrisini, inaktif-düğüm maskesini, bileşen etiket eşlemesini ve birleştirilmiş bileşen matrisini yükleyin. Yapı farkındalıklı model tarafından oluşturulan en yüksek sıralamalı sonuç için aynı dosyaları yükleyin.
4. Sorgu bileşen grafiğini ve geri çağrılan görüntü bileşen grafiğini, kaydedilmiş bileşen merkezlerinden ve tiplendirilmiş komşuluk matrislerinden oluşturun. Model çıkarımı sırasında kullanılan sabit bileşen sırasını ve ilişki türlerini koruyun.
5. Sorgu tiplendirilmiş komşuluk matrisini kategorik bir matris olarak oluşturun. İnaktif, ortak-sınır ve dikey-sıra ilişkileri için ayrı matris değerleri kullanın. Yatay ve dikey eksenleri, bileşen etiket eşlemesinde saklanan bileşen tanımlayıcılarıyla etiketleyin.
6. Sorgu birleştirilmiş bileşen matrisine ve geri çağrılan görüntü birleştirilmiş bileşen matrisine L2 normalizasyonu uygulayın. Her bir sorgu bileşeni ile her bir geri çağrılan görüntü bileşeni arasındaki kosinüs benzerliğini hesaplayın. Ortaya çıkan K × K bileşen karşılık matrisini evaluation_results/structural_retrieval_evidence altına kaydedin.
7. Yerel fark analizi için seçilen her referans-hedef çifti için, her iki görüntünün tiplendirilmiş komşuluk matrisini, bileşen-merkez matrisini, uzamsal-dağılım matrisini, ilişki-ağırlık matrisini ve birleştirilmiş bileşen matrisini yükleyin.
8. İki tiplendirilmiş komşuluk matrisi arasındaki mutlak farkı hesaplayın. Sabit bileşen sırasını kullanarak bileşen-merkez yer değiştirmesi, uzamsal dağılım ve ilişki ağırlıklarındaki mutlak farkları hesaplayın. Ortaya çıkan topoloji-fark matrisini ve geometrik-ilişki-fark matrisini evaluation_results/structural_difference_evidence altına kaydedin.
9. İki birleştirilmiş bileşen matrisinin karşılık gelen satırları arasındaki L2 mesafesini hesaplayın. Bileşen düzeyindeki mesafeleri normalize edin ve bunları hedef bileşen grafiğinin düğümlerine atayın. Kenar genişliğini, ilişki ağırlığındaki normalize edilmiş farka göre artırın. Ortaya çıkan birleştirme sonrası bileşen-fark grafiğini kaydedin.
10. Görüntü tanımlayıcılarını, matris yollarını, grafik yollarını, bileşen sırasını, kontrol noktası tanımlayıcısını ve görselleştirme çıktı yollarını structural_visualization_manifest.csv dosyasına kaydedin. Tüm yapısal görselleştirmeleri kaydedilen dosyalardan programatik olarak oluşturun; grafik düğümlerini, grafik kenarlarını veya matris değerlerini manuel olarak eklemeyin.
11. Nihai özellik vektörlerine beş küme ile K-Means uygulayın ve küme atamalarını evaluation_results/cluster_assignments.csv dosyasına kaydedin. python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test komutunu çalıştırın.
12. Her çalıştırma için SCI, SDI, Recall@5, ortalama Hassasiyet (mAP) ve silüet katsayısını hesaplayın. Aynı yapısal etiketi paylaşan normalize edilmiş özelliklerin yoğunluğunu değerlendirmek için SCI'yı ve farklı yapısal etiketler arasındaki ayrımı değerlendirmek için SDI'yı kullanın. Kısa geri çağırma listesinde ilgili bir yapısal eşleşmenin görünüp görünmediğini değerlendirmek için Recall@5'i ve tüm galeri genelindeki sıralama kalitesini değerlendirmek için mAP'yi kullanın. Silüet katsayısını yalnızca kümeleme analizi için kullanın.
13. Beş bağımsız çalıştırma genelinde aritmetik ortalamayı ve örnek standart sapmayı hesaplayın. Her yöntem ve metrik için beş çalıştırma düzeyindeki değeri saklayın. Karşılaştırılan yöntemlere dayanarak min-max normalizasyonu, sıralama normalizasyonu veya yeniden ölçeklendirme uygulamayın. Aynı rastgele tohum (random seed) altında elde edilen sonuçları kullanarak eşleştirilmiş t-testi yapın ve test istatistiği ile kesin iki taraflı anlamlılık değerini kaydedin.
14. İşlenen test tanımlayıcılarının, özellik dosyalarının, geri çağırma kayıtlarının ve küme atamalarının sayısını karşılaştırın. Değerlendirme sonuçlarını raporlamadan veya yorumlamadan önce her türlü uyumsuzluğu giderin.
15. Beklenen çıktı: Her test görüntüsünün bir adet eksiksiz çıkarım kaydı, bir geri çağırma listesi, bir küme ataması ve bir set değerlendirme girdisine sahip olduğunu doğrulayın. Görselleştirme için seçilen her geri çağırma vakasının bir sorgu bileşen grafiğine, bir geri çağrılan görüntü bileşen grafiğine, bir tiplendirilmiş komşuluk matrisine ve bir birleştirilmiş bileşen karşılık matrisine sahip olduğunu doğrulayın.
16. Her yapısal fark vakasının bir topoloji-fark matrisine, bir geometrik-ilişki-fark matrisine, bir birleştirme sonrası bileşen-fark grafiğine, bir uzamsal fark ısı haritasına ve bir yanıt katmanına sahip olduğunu doğrulayın. Tüm görselleştirme dosyalarının structural_visualization_manifest.csv aracılığıyla kaynak matrislerine bağlı olduğunu doğrulayın. Görselleştirilen her vaka için saf ısı haritasını, hedef-görüntü katmanını, ön plan maskesini ve en yüksek yanıt bölgesi koordinatlarını kaydedin.
17. Hesaplanan bir fark yanıtını, yalnızca baskın yüksek yanıt bölgesi giysi ön planıyla örtüştüğünde ve karşılık gelen tiplendirilmiş komşuluk değişimi, geometrik ilişki değişimi ve birleştirme sonrası bileşen-mesafesi kanıtlarıyla desteklendiğinde kabul edin. En güçlü yanıt esas olarak giysi ön planının dışında kalıyorsa; ayrıştırma çıktısını, bileşen grafiğini ve birleştirme kaydını inceleyin.
    NOT: Test seti üzerindeki çıkarımlar için doğrulama setinden seçilen kontrol noktasını (checkpoint) kullanın. Test seti metriklerine göre bir kontrol noktası seçmeyin veya değiştirmeyin. Çıkarım ve görselleştirme sırasında grafikleri ve matrisleri oluştururken aynı bileşen sırasını, inaktif-düğüm kuralını, ilişki-türü kodlamasını ve normalizasyon sürecini kullanın.
    ​SORUN GİDERME: Çıkarım tüm test görüntüleri işlenmeden önce durursa, çıkarım günlüğündeki son tanımlayıcıyı bulun ve bir sonraki tanımlayıcıdan devam edin. Geri çağırma sonuçlarına renk benzerliği hakimse, yapısal öncül ve birleştirme çıktılarını inceleyin ve kontrol noktası yüklemesinin başarılı olduğunu doğrulayın. Değerlendirme yinelenen tanımlayıcılar raporlarsa, test_feature_manifest.csv dosyasını yeniden oluşturun ve yeniden hesaplama yapmadan önce yinelenen kayıtları kaldırın. K-Means boş bir küme üretirse, özellik normalizasyonunu doğrulayın ve kümelemeyi kaydedilen rastgele tohum ile yeniden çalıştırın.

9. Karşılaştırmalı model değerlendirmesi

1. python compare_models.py --config configs/protocol.yaml komutunu çalıştırın.
2. ResNet-50, Parça tabanlı Konvolüsyonel Temel Hat (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Renk ve Doku Füzyonlu Topoloji Özellik Histogramı, Dikkat Rehberli Kaskad Ağ, MMFL-Net, FARE-RNET ve önerilen yöntemi aynı eğitim, doğrulama ve test manifestoları ile eğitin ve değerlendirin.
3. Her yöntem için aynı görüntü boyutunu, ön işleme işlemlerini, eğitim epoklarını, etkili toplu işlem boyutunu (batch size), değerlendirme sorgularını ve metrik uygulamasını kullanın.
4. ResNet-50 için global ortalama havuzlamayı (global average pooling) koruyun. PCB'de yatay şerit hizalamasını uygulayın. GCN'de sabit görüntü düzeyinde giysi grafiği uygulayın. FashionGraph'te öznitelik rehberli dinamik grafik çıkarımı uygulayın. Swin Transformer ve CLIP'in standart görüntü kodlayıcılarını kullanın. Renk ve Doku Füzyonlu Topoloji Özellik Histogramını; topoloji, renk ve doku tanımlayıcılarını kullanarak uygulayın. Dikkat Rehberli Kaskad Ağı'nı; giysi ayrıştırma ile global ve lokal öznitelik dallarını kullanarak uygulayın. MMFL-Net'i; çok ölçekli ve çok tanelilikli öznitelik dallarını kullanarak uygulayın. FARE-RNET'i; artık dikkat (residual attention), öznitelik seçimi ve genişletilmiş bağlamsal kodlama kullanarak uygulayın.
5. Her karşılaştırma yönteminin yalnızca görüntü-sorgu dalını kullanın. Eğitilebilir her yöntemi ortak eğitim manifestosu üzerinde yeniden eğitin ve kontrol noktasını (checkpoint) ortak doğrulama manifestosundan seçin. Her test sorgusu için sıralanmış bir galeri listesi oluşturun.
6. Orijinal boyutu farklı olduğunda, öğrenilen her gömmeyi (embedding) kayıtlı eğitilebilir bir doğrusal katman aracılığıyla 512 boyuta projekte edin. Kosinüs benzerliği sıralamasından önce L2 normalizasyonu uygulayın. Tüm yöntemler için aynı sorgu-galeri atamasını ve metrik uygulamasını kullanın.
7. Her karşılaştırma yöntemini aynı beş rastgele tohum (random seed) ile tekrarlayın. SCI, SDI, Recall@5, mAP ve silüet katsayısının ortalamasını ve örnek standart sapmasını raporlayın. Her metrik için, aynı rastgele tohum altında elde edilen sonuçları kullanarak önerilen yöntem ile her karşılaştırma yöntemi arasında iki yönlü eşleştirilmiş t-testi gerçekleştirin. Beş çalıştırma düzeyindeki değeri, test istatistiğini, serbestlik derecesini ve kesin p-değerini evaluation_results/comparison_metrics.csv dosyasına kaydedin.
8. Her yöntem için SCI, SDI, Recall@5, mAP ve silüet katsayısını hesaplayın. Tüm çalıştırma düzeyi ve toplu değerleri evaluation_results/comparison_metrics.csv dosyasına kaydedin.
9. Beklenen çıktı: comparison_metrics.csv dosyasının her karşılaştırma yöntemi için aynı metrik alanlarını ve aynı sayıda bağımsız çalıştırmayı içerdiğini doğrulayın.
   NOT: Karşılaştırma yöntemleri arasında veri bölümlerini, metrik kodunu veya sorgu-galeri atamasını değiştirmeyin.
   SORUN GİDERME: Bir karşılaştırma modeli 512 dışında bir öznitelik boyutu üretirse, metrik hesaplamasından önce tek bir kayıtlı doğrusal projeksiyon katmanı ekleyin ve bu katmanı ilgili modelle birlikte eğitin. Bir model ortak öğrenme hızı altında yakınsamazsa, yayınlanmış uygulamasında belirtilen öğrenme hızını kullanın ve diğer tüm deneysel koşulları koruyun. Yönteme özgü her ayarı karşılaştırma günlüğüne kaydedin.

Sonuçlar

Raporlanan tüm deneyler, Tablo 2 ve Materyaller Tablosu'nda belgelenen donanım ve yazılım ortamı kullanılarak gerçekleştirilmiştir. Ön işleme, eğitim, çıkarım ve değerlendirme süreçlerinin tamamında aynı grafik sürücüsü, CUDA, cuDNN, Python, NumPy, PyTorch ve torchvision sürümleri kullanılmıştır. Eksiksiz donanım ve yazılım ortamı Tablo 2 ve Materyaller Tablosu'nda özetlenmiştir. Tablo 1, işlenmiş eğitim, doğrulama ve test veri setlerini görüntü düzeyindeki topoloji istatistikleri ile birlikte özetlemektedir. Tablo 2, tüm karşılaştırma yöntemleri için kullanılan ortak yapılandırmayı özetlemektedir.

Karşılaştırmalı değerlendirme sonuçları

Karşılaştırmalı değerlendirme; Protokol bölümleri 7–9'da belirtilen ortak veri bölümlendirmelerini, ön işleme işlemlerini, eğitim kontrollerini ve metrik tanımlarını takip etmiştir. Tablo 3; genel görsel kodlayıcıları, parça hizalamalı modelleri, graf tabanlı giysi temsillerini, alanlar arası moda erişim ağlarını, topoloji ve görünüm füzyon yöntemlerini ve e-ticaret görsel erişim yöntemlerini, tamamı aynı görüntü-sorgu protokolü kullanılarak değerlendirilmiş şekilde karşılaştırmaktadır. Alana özgü yöntemler; Renk ve Doku Füzyonlu Topoloji Özellik Histogramı (TFH-CT), Dikkat Rehberli Kademeli Ağ (AGC-Net), Çok Ölçekli ve Çok Tanelilikli Özellik Öğrenme Ağı (MMFL-Net) ve Egret Sürü Optimizasyonlu Artık Ağ kullanan Moda Erişimi (FARE-RNET) yöntemlerinden oluşmaktadır. Tablo 3'teki tüm değerlendirme metrikleri; aynı rastgele tohumlar, eğitim manifestosu, doğrulama manifestosu, test manifestosu, sorgu-galeri ataması ve metrik uygulaması kullanılarak yapılan beş bağımsız çalıştırmanın ortalaması ve örnek standart sapması olarak raporlanmıştır. Eşleştirilmiş p- değerleri; her bir yöntem, eşleşmiş rastgele tohum koşulları altında önerilen yöntemle karşılaştırılarak SCI, SDI, Recall@5, mAP ve siluet katsayısı için ayrı ayrı hesaplanmıştır. Bu sonuçlar, sonraki yapısal görselleştirme, erişim, kümeleme ve tasarım odaklı analizler için nicel temeli sağlamaktadır.

Temsili protokol sonuçları ve yorumlanması

Kaydedilen ayrıştırma ve grafik dosyalarından yeniden yapılandırılan görüntü düzeyindeki bileşen grafiği, Şekil 5C'de gösterildiği gibi her aktif düğümü ilgili giysi bölgesinin içine yerleştirdiğinde ve tipli komşuluk matrisinde kaydedilen ilişki türlerini koruduğunda protokolün başarıyla uygulandığı belirtilmiş olur. Yapı-bilinçli yanıt, Şekil 5D'de gösterildiği gibi giysi ön planında yoğunlaşmaya devam etmelidir. Şekil 6E, önerilen yöntemin kırmızı arka planın etkisini azalttığı ve ilgisiz kırmızı nesneler yerine üst vücut giysilerini getirdiği beklenen bir geri getirme sonucunu sunmaktadır. Şekil 6B–G ayrıca geri getirme sıralamasının görüntü düzeyindeki bileşen ilişkileri ve füzyon sonrası bileşen karşılıklılığı ile desteklendiğini göstermektedir. Bu sonuç, kol uzunluğu ve yerel topoloji getirilen örnekler arasında hala farklılık gösterse de, kaba giysi kategorisinin geri kazanıldığını yansıtmaktadır.

Yaygın başarısızlık durumları arasında Şekil 5B'deki doku baskın aktivasyon, Şekil 6'nın üst satırındaki arka plan rengi kaynaklı geri çağırma ve Şekil 7'deki kalıntı arka plan aktivasyonu yer almaktadır. Baskın yanıt, genişletilmiş alt vücut silüetini ve sağ giysi sınırını takip ederken, komşu arka plan bölgelerinde kalıntı aktivasyon devam ettiği için Şekil 7 kısmi lokalizasyon olarak yorumlanmalıdır. Lokalizasyonun yapısal olarak desteklendiği, ancak topoloji fark matrisi, geometrik ilişki fark matrisi, füzyon sonrası bileşen fark grafiği ve uzamsal yanıt tutarlı giysi bölgelerini tanımladığında kabul edilir. Matristeki veya bileşenlerdeki karşılık gelen değişiklikler olmaksızın ortaya çıkan uzamsal bir sıcak nokta, yapısal bir kanıttan ziyade görsel bir girişime işaret eder.

Kabul edilen her görüntünün normalize edilmiş bir semantik olasılık haritası, K satır ve K sütunlu bir ilişki matrisi, K satır ve 512 sütunlu görünüm ve yapısal özellik matrisleri ve doğru görüntü tanımlayıcısına bağlı sonlu bir birleştirilmiş özellik vektörü ürettiğinde, bir protokol çalışması geçerli kabul edilir. Görsel inceleme; topolojinin giysi bileşenlerini takip ettiğini, ön plan yanıtının arka plan yanıtını aştığını ve geri getirme sonuçlarının arka plan renginden ziyade giysi kategorisi ve yapısı tarafından yönlendirildiğini doğrulamalıdır. Parçalanmış olasılık haritaları, eksik bileşen düğümleri, sayısal olmayan matrisler, yaygın arka plan yanıtları veya renk odaklı geri getirme işlemleri, yürütmenin başarısız olduğunu gösterir ve ayrıştırma, graf oluşturma, özellik birleştirme veya kontrol noktası yükleme işlemlerinin incelenmesini gerektirir.

Görüntü düzeyindeki giysi bileşeni tepkilerinin görsel analizi

Şekil 5, aynı giysi görüntüsünü kullanarak ResNet-50 temel modelini bileşen farkındalıklı model ile karşılaştırmaktadır. Şekil 5B, görünüm temel modeline ait sınıf aktivasyon haritasını göstermektedir. Şekil 5C, Protokol bölümleri 3 ve 4'te oluşturulan ön plan kısıtlı olasılık haritası, bileşen merkez matrisi, tipli komşuluk matrisi, inaktif düğüm maskesi ve bileşen etiket eşlemesinden yeniden yapılandırılan görüntü düzeyindeki giysi bileşeni grafiğini sunmaktadır. Şekil 5D, birleştirilmiş temsilin aktivasyon yanıtını sunmaktadır. Şekil 5C'yi oluşturmak için herhangi bir insan poz tahmincisi veya insan eklem anotasyonu kullanılmamıştır.

Şekil 5B'de gösterildiği gibi, temel yanıt alt giysi parçalarındaki yerel doku bölgelerinde yoğunlaşmış ve giysi sınırının tamamını tutarlı bir şekilde takip etmemiştir. Şekil 5C'de, her düğüm aktif bir giysi bileşeni bölgesinin merkezine karşılık gelirken, her kenar ortak bir ön plan sınırını veya önceden tanımlanmış bir dikey düzen ilişkisini temsil eder. Grafik, giysi bölgesi organizasyonunu yansıtır ve insan anatomik eklemlerini temsil etmez. Şekil 5D'de gösterildiği gibi, yapı duyarlı yanıt, çoğu arka plan alanında düşük aktivasyonu korurken ana giysi ön planını kapsamıştır. Bu sonuçlar, bileşen grafiğinin ve özellik füzyon modülünün değerlendirilen görüntüdeki doku baskın aktivasyonu azalttığını göstermektedir.

Kıyafet yapısal benzerlik analizi ve tasarım referans sonuçları

Şekil 6, geri çağırma sıralamasını ve bunu yorumlamak için kullanılan yapısal kanıtları sunmaktadır. Şekil 6B'deki sorgu bileşen grafiği, aktif giysi bölgelerini ve bunların türlendirilmiş ilişkilerini kaydederken, Şekil 6C'deki matris, grafpropagation'a sağlanan ilişki modelini ortaya koymaktadır. Şekil 6D'deki temel sonuçlar, kırmızı görünüm ipuçlarının hakimiyetinde kalmaya devam etmektedir. Şekil 6E'deki yapıya duyarlı sonuçlar, farklı renkler ve arka planlar boyunca üst gövde giysi kategorisini korumaktadır. Şekil 6F'deki en yüksek sıralamalı sonucun bileşen grafiği, sorgu grafiği ile doğrudan karşılaştırmaya olanak tanır ve Şekil 6G'deki karşılık matrisi, aynı tanımlayıcıları paylaşan bileşenlerin yapı kılavuzlu füzyondan sonra hizalı kalıp kalmadığını ortaya çıkarır. Diyagonal karşılık, eksik düğümler ve değişen graf ilişkileri ile birlikte ortaklaşa yorumlanmalıdır. Graf uyumu olmaksızın mevcut olan güçlü görünüm benzerliği, başarılı bir yapısal geri çağırma teşkil etmez.

Geri getirilen giysiler genel kategoriyi korumaktadır, ancak kol konfigürasyonundaki farklılıklar ve yerel bileşen ilişkileri, ince taneli karşılıklılığın eksik olduğunu göstermektedir. Önerilen yöntem, Tablo 3'te bildirildiği üzere %89,2'lik bir Recall@5 ve %86,4'lük bir mAP değerine ulaşmıştır. Bu nicel değerler sıralama performansını tanımlarken, Şekil 6B–G yorumu destekleyen ara yapısal kanıtlar sunmaktadır. Dolayısıyla, geri getirme sonucu, test edilen sorgu altında arka plan rengi girişimine karşı gelişmiş direnç ve daha güçlü görüntü düzeyinde bileşen organizasyonu ile sınırlıdır.

Yapısal fark yanıtı ve tasarım analizi desteği

Şekil 7H'deki saf fark-yanıt ısı haritası, baskın yanıtın hedef görüntünün büyütülmüş alt vücut siluetinde ve sağ giysi sınırında yoğunlaştığını göstermektedir. Şekil 7I'deki bindirme, en güçlü yanıtın ana giysi ön planıyla hizalı kaldığını, bitişik perde ve duvar bölgelerindeki daha zayıf aktivasyonun ise kalıntı arka plan girişimi olarak kaldığını göstermektedir. Uzamsal yanıt, Şekil 7C–G'de sunulan bileşen grafiği ve matris kanıtlarıyla birlikte yorumlanmalıdır. Bir yanıt, yalnızca yüksek yanıtlı giysi bölgesi; komşuluk değişimi, geometrik ilişki değişimi ve füzyon sonrası bileşen-mesafe deseni ile tutarlı olduğunda geçerli bir yapısal fark olarak kabul edilir.

Yapısal bir fark, yalnızca Şekil 7E'deki yazılmış bitişiklik değişikliği veya Şekil 7F'deki geometrik ilişki değişikliğine, Şekil 7G'deki artmış bileşen mesafesinin ve Şekil 7H,I'deki ön planla hizalanmış uzamsal yanıtın eşlik etmesi durumunda kabul edilir. Genişletilmiş alt vücut bölgesi ve sağ giysi sınırı bu aşamalar arası kriteri karşılamaktadır. Perde ve duvar üzerindeki aktivasyon, bileşen düğümlerindeki, ilişki kalıplarındaki veya birleştirilmiş bileşen mesafelerindeki değişikliklerle örtüşmemekte ve bu nedenle yapısal olmayan kalıntı girişim olarak reddedilmektedir. Sonuç, görüntü düzeyinde fark lokalizasyonunu desteklemektedir ancak dikiş kalıplarında veya konstrüksiyon parametrelerinde bir varyasyon olduğunu kanıtlamamaktadır.

Özellik uzamsal dağılımı ve yapısal küme analizi

Gizli özellik uzayının dağılımının analiz edilmesi, modelin kıyafetlerin yapısal semantiğini ayırt etme yeteneğini ortaya koymaktadır. Bu analiz, yapısal önbilginin farklı topolojik konfigürasyonlara sahip giysileri belirgin özellik manifoldlarına organize edip etmediğini incelemektedir. Test setinden beş temsili yapısal kategori —kısa kollu üstler, pantolonlar, etekler, uzun paltolar ve elbiseler— seçilmiştir. Yüksek boyutlu özellik vektörleri, t-dağılımlı stokastik komşu gömme (t-SNE) yöntemi kullanılarak iki boyutlu bir düzleme yansıtılmıştır. Özellik uzayındaki yapısal semantiğin organizasyonunu karakterize etmek için benzer örneklerin uyumu ve benzer olmayan örneklerin ayrımı değerlendirilmiştir. Yapı farkındalıklı özellik uzayının t-SNE dağılımı Şekil 8'de gösterilmiştir.

Şekil 8A'da gösterildiği gibi, t-SNE projeksiyonu, komşu kategoriler arasında sınırlı örtüşmenin olduğu beş ana özellik bölgesi oluşturmuştur. Beş kategori bölgesine karşılık gelen temsili örnekler Şekil 8B'de gösterilmiştir. Tablo 3'te rapor edilen ve Şekil 8'de görselleştirilen 0.81'lik SCI değeri, aynı yapısal etiketi paylaşan örneklerin kompaklığını; 0.71'lik SDI değeri ise farklı yapısal etiketlere sahip örnekler arasındaki ayrımı yansıtmaktadır. Bu indeksler, özellik alanı dağılımının ölçümleri olarak yorumlanmalı ve doğrudan bir yanlış alarm oranı belirlememelidir. Şekil 8A'da görüldüğü üzere, kısa kollu üstler ve etekler projeksiyon özellik alanında farklı ana bölgeleri işgal ederken, az sayıda örnek komşu kategori sınırlarının yakınında kalmıştır. Pantolonlar ve elbiseler de komşu kategorilerden belirgin bir ayrım göstermiştir. Bu dağılım, grafik ön bilgisinin (graph prior), tam bir küme ayrışması yaratmaksızın kategori düzeyindeki yapısal organizasyona katkıda bulunduğunu göstermektedir. Değerlendirme, temsil kalitesini geri çağırma etkinliğinden ayırır. SCI, aynı yapısal etiketi paylaşan giysilerin öğrenilen özellik alanında kompakt kalıp kalmadığını değerlendirirken; SDI, farklı yapısal etiketlere sahip giysilerin ayrı kalıp kalmadığını değerlendirir. Bu metrikler, protokolün yapısal temsil hedefiyle örtüşmektedir. Recall@5, yapısal olarak ilgili bir giysinin geri çağrılan ilk beş sonuç arasında yer alıp almadığını ölçerken; mAP, tüm ilgili galeri örnekleri genelindeki sıralama kalitesini ölçer. Bu metrikler, tasarım referansı geri çağırma hedefiyle örtüşmektedir. SCI ve SDI zaten özellik alanı organizasyonunu tanımladığı için, silüet katsayısı yalnızca kümeleme performansını değerlendirmek amacıyla kullanılmıştır.

Şekil 9, yöntemler arası normalizasyon yapılmadan dört temsilci yöntem için beş tekrarlı ham sonuçları raporlamaktadır. Şekil 9A SCI ve SDI değerlerini orijinal ölçeklerinde sunarken, Şekil 9B Recall@5 ve mAP değerlerini yüzdeler halinde sunmaktadır. Bireysel çalışma işaretleyicileri ve standart sapma hata çizgileri, yalnızca toplam sıralamayı değil, model eğitimiyle ilişkili varyasyonu göstermektedir. Görünüm odaklı temel yöntem 0,62'lik bir SCI elde ederken, önerilen yöntem 0,81'lik bir SCI ve 0,71'lik bir SDI elde etmiştir (Tablo 3 ve Şekil 9A). SCI ve SDI sonuçları, değerlendirilen koşullar altında etiket içi daha güçlü bir kompaktlık ve etiketler arası daha güçlü bir ayrım olduğunu göstermektedir. Önerilen yöntem %89,2'lik bir Recall@5 ve %86,4'lük bir mAP elde etmiştir (Tablo 3 ve Şekil 9B). Bu geri çağırma metrikleri farklı sıralama özelliklerini değerlendirir ve SCI ve SDI'dan ayrı olarak yorumlanır. Yöntemlerin dört metrik genelindeki tutarlı sıralaması, temsil kalitesi ile geri çağırma performansı arasında bir uyum olduğunu göstermektedir; ancak bu durum, dört değerlendirme boyutu genelinde göreceli iyileşmenin aynı olduğu anlamına gelmemektedir.

Ablasyon deneyleri ve yapısal modül etkinlik analizi

Ablasyon deneyi, tam modeli, yapısal ön bilgi veya füzyon modülünün kaldırıldığı varyantlarla karşılaştırır. Her üç konfigürasyon da aynı referans ve hedef görüntüleri kullanarak arka plan yanıtının ve lokalizasyon konsantrasyonunun doğrudan karşılaştırılmasına olanak tanır. Yapısal ön bilgisiz varyant, görüntü düzeyindeki giysi bileşeni grafiğini ve buna bağlı ilişki kısıtlamalarını kaldırarak görünüm özelliklerini çıkarmak için yalnızca konvolüsyonel omurgaya dayanır; füzyon içermeyen varyant ise graf çıkarımını korur ancak özellik piramidini kaldırarak yalnızca üst düzey semantik özellikleri kullanır. Görselleştirilmiş fark ısı haritaları, her bir modülün gürültü bastırma ve sınır belirlemedeki özel rollerini ortaya koymaktadır; farklı modül konfigürasyonları altındaki yapısal fark yanıtlarının kalitatif bir karşılaştırması Şekil 10'da gösterilmiştir.

Şekil 10C–E'deki yanıt haritaları, ortak bir yanıt ölçeği ve özdeş bindirme ayarları kullanılarak oluşturulmuştur. Şekil 10C'de görüldüğü üzere, yapı ön bilgisi (structure prior) olmayan varyant, sol arka planda ve ilgisiz çevresel bölgelerin etrafında güçlü aktivasyon üretmiştir. Füzyon modülü olmayan varyant, bu giysi dışı yanıtın bir kısmını azaltmış ancak Şekil 10D'de gösterildiği gibi alt giysi ve sağ yan çevreleyen bölge üzerinde hala daha geniş bir yayılım sergilemiştir. Tam model, Şekil 10E'de gösterildiği üzere baskın yanıtı ana giysi ön planına doğru daha fazla daraltmıştır. Şekil 10F, füzyon içermeyen varyant ile tam model arasındaki ön plana kısıtlanmış yanıt farkını doğrudan görselleştirerek, tam modelin temel giysiyle hizalı yanıtı korurken kalıntı yan yayılımı baskıladığını göstermektedir. Bu sonuçlar, yapı ön bilgisinin temel olarak çevresel gürültüyü azalttığını ve füzyon modülünün yanıt konsantrasyonu ile yapısal hizalamayı daha da iyileştirdiğini göstermektedir. Şekil 10E arka plan aktivasyonunun tamamen kaldırılmasından ziyade göreli bir iyileşmeyi temsil etmektedir.

Tablo 4; yapı ön bilgisi (structure prior) olmayan, füzyon modülü olmayan ve tam model varyantları için SCI, SDI ve Recall@5 değerlerini sunmaktadır. Yapı ön bilgisinin kaldırılması, SCI değerini 0,81'den 0,65'e ve Recall@5 değerini %89,2'den %74,5'e düşürmüştür. Füzyon modülünün kaldırılması ise SDI değerini 0,71'den 0,64'e ve Recall@5 değerini %89,2'den %85,1'e indirmiş, bu da 4,1 yüzdelik puanlık bir azalma anlamına gelmiştir. Bu sonuçlar, yapı ön bilgisinin yapısal tutarlılık ve geri çağırma üzerinde daha büyük bir etkiye sahip olduğunu, öznitelik füzyonunun ise görünüm ile yapısal bilgi arasındaki hizalamayı iyileştirdiğini göstermektedir.

Verimlilik analizi, tam modelin hesaplama maliyetini ResNet-50 temel modeli ile karşılaştırmaktadır. ResNet-50 temel modeli 25,6 milyon parametre ve 4,1 milyar kayan nokta işlemi gerektirmiştir. Tam yapı-duyarlı model ise 29,3 milyon parametre ve 5,4 milyar kayan nokta işlemi gerektirmiştir. Ortalama çıkarım süresi temel model için görüntü başına 15 milisaniye, tam model için ise görüntü başına 22 milisaniye olup 7 milisaniyelik bir artış göstermiştir. Bu sonuç, protokolün zamana duyarlı iş akışlarına uygulanması sırasında dikkate alınması gereken ölçülebilir bir hesaplama maliyetine işaret etmektedir (Tablo 5)). Yapısal kısıt ağırlığı, nihai test değerlendirmesinden önce doğrulama setinden belirlenmiştir. Doğrulama Recall@5 değerleri; 0,1; 0,3; 0,5; 0,8; 1,0; 1,2; 1,5 ve 2,0 yapısal kısıt ağırlıklarında incelenmiştir. Sonraki her eğitim ve test çalışması için 1,0 ağırlığı sabitlenmiştir. Şekil 11 , 1,0 yapısal kısıt ağırlığının doğrulama tabanlı seçimini belgelemektedir.

Şekil 1: Yapı duyarlı giysi görüntüsü özellik öğrenme protokolünün genel iş akışı. Giriş giysi görüntüsü, bir görünüm özelliği dalı ve semantik ayrıştırma ile uzamsal grafik modelleme kullanan bir yapısal özellik dalı tarafından işlenir. İki temsil, nihai yapı duyarlı özelliği oluşturmak için yapı güdümlü füzyon modülü tarafından işlenir. Yapısal tutarlılık kaybı, yapısal ayrıştırma kaybı ve yapısal ilişki kaybı özellik uzayını ortaklaşa kısıtlar. Şekil, özellik öğrenimi boyunca giysi görünümünün ve bileşen topolojisinin nasıl entegre edildiğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 2: Görüntü düzeyinde bir giysi bileşeni topolojisinin ön inşası. (A) Giriş giysi görüntüsü I. (B) Yedi rengin görüntü düzeyindeki giysi bölgelerini belirttiği, ön plana kısıtlanmış görsel bileşen haritası P. Tüm arka plan pikselleri bileşen kanallarından hariç tutulmuştur. (C) Görüntü düzeyindeki bileşen ilişki grafiği G. Düğümler görünür giysi bölgelerini, düz çizgiler paylaşılan ön plan sınırlarını ve kesikli çizgiler önceden tanımlanmış dikey sıralamayı temsil eder. Harita ve grafik, görüntü geri çağırma ve görsel yapı karşılaştırmayı destekler. Bunlar dikiş kalıbı parçalarını, dikiş geometrisini, pens yapılarını, seri büyütme parametrelerini veya kesim talimatlarını temsil etmez. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 3: Yapı kılavuzlu öznitelik füzyon modülü. Yapısal öznitelik, bir yapı ağırlığı oluşturmak için lineer eşleme ve aktivasyon fonksiyonu Ψ ile dönüştürülür. Yapı ağırlığı, eleman bazlı çarpma yoluyla görünüm özniteliğini modüle eder. Modüle edilmiş görünüm özniteliği ile yapısal öznitelik birleştirilir ve Wc ile projekte edilir; ardından nihai bileşen özniteliğini oluşturmak için rezidüel yapısal öznitelik eklenir. Şekil, yapısal bilginin nihai füzyondan önce görünüm özniteliği ağırlıklandırmasını düzenlediğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 4: Yapısal tutarlılık kısıtlamaları altında öznitelik alanı optimizasyonu. (A) Aynı yapısal sınıfa ait örnekler, yapı tutarlılığı kaybı aracılığıyla birbirine yaklaştırılırken, dahili bileşen ilişkileri yapı ilişkisi kaybı ile korunur. (B) Farklı yapısal sınıflardan gelen örnekler, yapı ayrıştırma kaybı ile birbirinden uzaklaştırılır. Şekil, üç yapısal amacın sınıf içi sıkılığı ve sınıflar arası ayrımı birlikte nasıl artırdığını göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 5: Temsili giysi özelliği yanıtları ve bileşen-grafik görselleştirmesi. (A) Girdi giysi görüntüsü. (B) ResNet-50 görünüm temel modelinin sınıf aktivasyon yanıtı. (C) Görüntü düzeyindeki giysi bileşen grafiği; Protokol bölümleri 3 ve 4 sırasında kaydedilen ön plana kısıtlanmış bileşen haritası, bileşen merkez matrisi, tipli komşuluk matrisi, inaktif-düğüm maskesi ve bileşen etiket eşlemesinden yeniden oluşturulmuştur. Düğümler aktif giysi bölgelerini, düz çizgiler paylaşılan ön plan sınırlarını ve kesikli çizgiler önceden tanımlanmış dikey-sıra ilişkilerini belirtir. (D) Birleştirilmiş bileşen farkındalıklı temsilin aktivasyon yanıtı. Karşılaştırma, doku baskın aktivasyon ile giysi bölgesi kılavuzlu aktivasyon arasındaki farkı göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 6: Kırmızı arka plan girişimi altında geri çağırma sonuçları ve ara yapısal kanıtlar. (A) Sorgu görüntüsü. (B) Sorgu bileşen grafiği, kaydedilen bileşen merkezlerinden ve türlendirilmiş komşuluk matrisinden oluşturulmuştur. (C) Matris değerlerinin inaktif ilişkileri, paylaşılan ön plan sınırlarını ve önceden tanımlanmış dikey sıra ilişkilerini ayırt ettiği sorgu türlendirilmiş komşuluk matrisi. (D) Görünüm tabanlı referans tarafından üretilen en iyi üç geri çağırma sonucu. (E) Yapı-duyarlı temsil tarafından üretilen en iyi üç sonuç. (F) En yüksek sıralamaya sahip yapı-duyarlı sonucun bileşen grafiği. (G) Sorgu ile en yüksek sıralamaya sahip sonuç arasındaki füzyon sonrası bileşen karşılık matrisi. Yüksek diyagonal karşılıklık, aynı tanımlayıcılara sahip bileşenler arasındaki uyumu gösterirken; zayıf veya kaymış yanıtlar, eksik veya uyumsuz bileşen organizasyonuna işaret eder. Geri çağırma sonuçları, kaba üst gövde kategorisini korumakta ancak kol konfigürasyonu ve yerel topolojide tam bir uyum sağlamamaktadır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 7: Görüntü düzeyindeki giysi topolojisinden mekansal yanıta kadar yapısal fark izleme. (A) Referans görüntü. (B) Hedef görüntü. (C) Referans bileşen grafiği. (D) Hedef bileşen grafiği. Her iki grafik de kaydedilen bileşen merkezlerinden ve tiplendirilmiş komşuluk matrislerinden yeniden oluşturulmuştur. (E) Tiplendirilmiş komşuluk fark matrisi. (F) Geometrik ilişki farkı; bileşen merkezi yer değiştirmesi, mekansal dağılım ve ilişki ağırlığındaki değişikliklerden türetilmiştir. (G) Düğüm yoğunluğunun karşılık gelen birleştirilmiş bileşen vektörleri arasındaki normalize edilmiş mesafeyi, kenar genişliğinin ise ilişki ağırlığı değişimini temsil ettiği füzyon sonrası bileşen fark grafiği. (H) Saf mekansal fark-yanıt ısı haritası, üst katmanla aynı sabit yanıt ölçeği kullanılarak oluşturulmuştur. (I) Hedef görüntü üzerine bindirilmiş yanıt. Yapısal bir fark, yalnızca komşuluk değişimi, geometrik ilişki değişimi, bileşen mesafesi değişimi ve ön planla hizalı ısı yanıtı tutarlı kaldığında kabul edilir. Bileşenlerin veya ilişkilerin karşılık gelen kanıtları olmaksızın meydana gelen arka plan aktivasyonu, geçerli bir giysi yapısı farkı yerine artık girişim olarak değerlendirilir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 8: Yapı farkındalıklı öznitelik alanı kümeleme. (A) Kısa kollu üstler, pantolonlar, etekler, uzun paltolar ve elbiselerin t-SNE projeksiyonu. Beş kategori, aralarındaki sınırlarda sınırlı örtüşme ile ana öznitelik bölgelerini oluşturmaktadır. (B) Beş giysi kategorisine atanmış temsilci test görüntüleri; kenarlık rengi (A) bölümündeki kategori rengine karşılık gelmektedir. Şekil, komşu kategori bölgelerinin yakınında az sayıda örnek tutarken kategori düzeyindeki yapısal organizasyonu göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 9: Özellik-uzay yapısı ve geri çağırma-sıralama hedefleri genelinde ham performans karşılaştırması. (A) Görünüm tabanlı temel model, zayıf yapılı model, açık yapılı model ve önerilen yöntem için SCI ve SDI değerleri. (B) Aynı dört yöntem için Recall@5 ve mAP değerleri. Büyük işaretçiler beş bağımsız çalışmanın aritmetik ortalamasını, hata çizgileri örnek standart sapmayı ve küçük işaretçiler çalışma düzeyindeki sonuçları göstermektedir. SCI ve SDI sıfırdan bire kadar sabit bir ölçekte, Recall@5 ve mAP ise sıfırdan yüze kadar sabit bir yüzde ölçeğinde görüntülenmiştir. Herhangi bir min-max normalizasyonu veya yöntemler arası yeniden ölçeklendirme uygulanmamıştır. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 10: Farklı modül konfigürasyonları altındaki yapısal fark yanıtları. (A) Referans görüntü. (B) Hedef görüntü. (C) Yapısal ön bilgisi (structure prior) olmayan varyantın yanıtı. (D) Füzyon modülü olmayan varyantın yanıtı. (E) Tam modelin yanıtı. (C–E) aynı normalize edilmiş yanıt ölçeği, renk haritası ve bindirme ayarları kullanılarak oluşturulmuştur. (F) Füzyon olmayan varyant ile tam model arasındaki ön planla sınırlandırılmış mutlak yanıt farkı. Tam model, ana yapısal bölgenin dışındaki artık yayılımı azaltırken, giysiyle hizalanmış temel yanıtı korur. Karşılaştırma, yapısal ön bilginin giysi dışı girişimi azalttığını ve füzyon modülünün yapısal yanıtı daha da keskinleştirdiğini göstermektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayın.

Şekil 11: Yapısal kısıtlama ağırlığının doğrulama tabanlı seçimi. 0.1, 0.3, 0.5, 0.8, 1.0, 1.2, 1.5 ve 2.0 yapısal kısıtlama ağırlıklarında Doğrulama Recall@5 değerleri raporlanmıştır. Her nokta beş doğrulama çalışması boyunca alınan aritmetik ortalamayı, her hata çizgisi ise örnek standart sapmasını göstermektedir. Ağırlık, final test değerlendirmesinden önce 1.0 olarak sabitlenmiştir. Bu şekil, parametre seçim prosedürünü belgelemekte olup bağımsız bir mimari katkı teşkil etmemektedir. Bu şeklin daha büyük bir versiyonunu görüntülemek için lütfen buraya tıklayınız.

Tablo 1: S1'den S5'e kadar olan giysi alt kümelerinde veri kümesi tahsisi ve görüntü düzeyindeki topoloji istatistikleri. Tablo; eğitim, doğrulama, test ve toplam görüntü sayılarını, her bir yapısal seviye için ortalama semantik bileşen sayısı, aktif düğüm sayısı, tipli kenar sayısı ve açıklanmış görüntü düzlemi işaret noktası sayısı ile birlikte raporlamaktadır. Tüm değerler, işlenmiş veri manifestolarından oluşturulmuştur. Eğitim, doğrulama ve test görüntü sayıları; yapısal inceleme, kopya grup kontrolü ve sızıntı denetiminden sonraki nihai alt küme manifestolarından elde edilmiş; topoloji istatistikleri ise model değerlendirmesi sırasında uygulananlarla aynı bileşen sırası ve ilişki tanımlamaları kullanılarak nihai grafik kayıtlarından hesaplanmıştır. Lütfen bu dosyayı indirmek için buraya tıklayınız.

Tablo 2: Protokol boyunca kullanılan hesaplama ortamı, girdi konfigürasyonu, artırma, temsil, optimizasyon, kayıp ve tekrarlanabilirlik ayarları. Tablo; işletim sistemi, işlemci, yüklü bellek, grafik işlem birimi, grafik belleği, grafik sürücüsü, CUDA, cuDNN, Python, NumPy, PyTorch ve torchvision versiyonlarının yanı sıra görüntü boyutu, grup oluşturma, optimize edici, öğrenme oranı çizelgesi, epok sayısı, rastgele tohumlar, temsil boyutları ve yapısal hedef ağırlıklarını bildirmektedir. Her değer software_versions.txt, configs/protocol.yaml veya ilgili eğitim kaydıyla ilişkilendirilmiştir. Lütfen bu dosyayı indirmek için buraya tıklayın.

Tablo 3: Genel görsel temsil modellerinin, grafik tabanlı giysi modellerinin ve alana özgü moda erişim yöntemlerinin nicel karşılaştırması. Tablo; aynı veri bölümleri ve değerlendirme protokolü altında on bir yöntem için erişim odağını, sorgu modalitesini, SCI, SDI, Recall@5, mAP ve siluet katsayısını raporlamaktadır. Her bir metrik, beş bağımsız çalıştırma üzerinden ortalama ve örnek standart sapma olarak bildirilmiştir. Raporlanan p-değerleri, aynı beş rastgele tohum altında üretilen sonuçlar kullanılarak, her bir karşılaştırma yönteminin önerilen yöntemle kıyaslandığı iki yönlü eşleştirilmiş t-testlerinden elde edilmiştir. Önerilen yöntem, referans satır olarak kabul edilmiştir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tablo 4: Yapısal ön bilgi ve özellik-füzyon modülü için ablasyon sonuçları. Tablo; yapısal ön bilgi içermeyen varyant, füzyon modülü içermeyen varyant ve tam model için SCI, SDI ve Recall@5 değerlerini raporlamaktadır. Yapısal ön bilginin kaldırılması SCI ve Recall@5 değerlerinde daha büyük bir azalmaya yol açarken, füzyon modülünün kaldırılması SDI ve yanıt hizalamasını azaltmaktadır. Tam model, her üç metrik için de en yüksek değeri kaydetmiştir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tablo 5: ResNet-50 temel modelinin ve tam yapı-farkındalıklı modelin hesaplama verimliliği. Tablo, Tablo 2'de ve Materyaller Tablosunda belgelenen donanım ve yazılım ortamı altında eğitilebilir parametreleri, görüntü başına kayan nokta işlemlerini ve görüntü başına ortalama çıkarım süresini rapor etmektedir. Her iki model de aynı görüntü çözünürlüğünü, çıkarım paket ayarını, ön işleme işlemlerini ve zamanlama prosedürünü kullanmaktadır. Tam model, temel modele kıyasla 3,7 milyon parametre, 1,3 milyar kayan nokta işlemi ve görüntü başına 7 milisaniyelik çıkarım süresi eklemektedir. Bu dosyayı indirmek için lütfen buraya tıklayın.

Tartışma

En kritik protokol aşamaları, giysiyi koruyan ön işleme ve ön plana kısıtlanmış anlamsal bileşen ayrıştırmasıdır. Bileşen merkezleri, uzamsal dağılım değerleri, ortak sınır ilişkileri, dikey sıra ilişkileri, ilişki ağırlıkları ve birleştirilmiş temsillerin tamamı ayrıştırma çıktısından türetilir. Sınır sızıntıları, birleşmiş bileşen bölgeleri, eksik bileşen bölgeleri ve yanlış kanal atamaları, graf oluşturma ve özellik birleştirme süreçleri boyunca yayılır. Bu hatalar, temsil edilen bileşen ilişkileri kaynak giysiyle tutarsız kalırken, geçerli boyutlara sahip graf dosyaları oluşturabilir. Bu nedenle, yapısal ön bilgi kabul edilmeden önce olasılık haritası, ön plan kısıtlaması, bileşen önizlemesi ve ayrıştırma kalitesi kaydı doğrulanmalıdır.

Graf oluşturma ve öznitelik füzyonu, semantik bileşenlerin sabit bir sırasını gerektirir. Graf, ön plan giysi bileşenlerinden ve bunların görüntü düzlemi ilişkilerinden türetilir. Erişim ve fark yerelleştirme şekilleri, yalnızca nihai sıralanmış görüntüleri veya yanıt ısı haritalarını göstermek yerine yapısal işleme yolunu ortaya koyar. Tiplendirilmiş komşuluk matrisleri ayrık bileşen ilişkilerini, geometrik ilişki matrisleri normalize edilmiş uzamsal organizasyonu ve füzyon sonrası bileşen matrisleri ise erişim ve yerelleştirme için kullanılan temsili belgeler. Yapısal sonuçlar, yalnızca bu ara temsiller nihai görsel çıktı ile uyumlu olduğunda kabul edilmelidir. Bileşen grafı; anatomik işaret noktaları, insan eklem koordinatları veya bir poz kestirim ağı kullanmaz. Bir graf katmanı, yalnızca düğümleri ve ilişki türleri kaydedilmiş bileşen ve komşuluk dosyalarından yeniden üretildiğinde kabul edilmelidir. İnaktif bileşenler, inaktif düğüm belirteçleriyle birlikte sıfır vektörleri olarak kalmalı ve görünüm ile yapısal öznitelik matrislerinin her biri füzyondan önce K satır ve 512 sütun içermelidir. Bu kontroller, düğüm hizalama hatalarının ve boyut hatalarının model davranışı olarak yorumlanmasını önler.

Hata giderme işlemi, geçerli olmayan ilk ara çıktıdan itibaren başlatılmalıdır. Tekdüze olasılık haritaları; kontrol noktası, normalizasyon veya kategori-indeks hatalarına işaret eder; sayısal olmayan yapısal matrisler, geçersiz olasılık paydalarını veya koordinat ölçeklendirmesini gösterir; yaygın yanıtlar ve renk ağırlıklı geri çağırmalar ise zayıf yapısal öncüllere, başarısız füzyona veya yanlış kontrol noktası yüklemesine işaret eder. Eğitim günlükleri, grafikteki ve füzyon katmanlarındaki gradyanların yanı sıra doğrulama tabanlı kontrol noktası seçimini teyit etmelidir. Görsel bir ısı yanıtı, tek başına yapısal bir sonuç olarak kullanılmamalıdır. Bu yanıt; kaydedilmiş ön plan maskesi, girilen komşuluk değişikliği, geometrik ilişki matrisi ve füzyon sonrası bileşen-fark grafiği ile karşılaştırılarak kontrol edilmelidir. Giysi ön planının dışındaki artık aktivasyon, doğrulanmış bir yapısal farktan ziyade sınırlı yanıt özgüllüğünü gösterir.

Görünüm odaklı geri çağırmaya kıyasla, bu protokol metrik öğrenmeden önce bileşen topolojisini tanıtır. Zayıf yapısal kısıtlamalara ve sabit topolojili graf modellerine kıyasla, semantik ilişki ağırlıkları graf yayılımını mevcut giysiye uyarlar. Tam model, Tablo 3'te bildirildiği üzere 0,81 SCI, 0,71 SDI, %89,2 Recall@5, %86,4 mAP ve 0,74 silüet katsayısı elde etmiştir. Ek yapısal modüller, Tablo 4'te bildirildiği üzere parametre sayısını 25,6 milyondan 29,3 milyona ve çıkarım süresini görüntü başına 15 milisaniyeden 22 milisaniyeye çıkarmıştır. Protokolün teknik katkısı; görüntü düzeyinde bir giysi bileşen grafının oluşturulması, görünüm ve bileşen ilişkilerinin paralel kodlanması, yapı rehberli özellik-füzyon mekanizması ile yapısal tutarlılık, ilişki ve ayırt edicilik hedeflerinden oluşmaktadır. Şekil 11'de bildirilen doğrulama taraması, yalnızca sabit bir eğitim katsayısını belirlemeye yöneliktir ve ağ mimarisine veya amaç fonksiyonu tasarımına bir katkı olarak sunulmamıştır.

Protokol; şiddetli oklüzyona, üst üste binen giysilere, küçük kaynak görüntülere, poz varyasyonuna, karmaşık arka planlara ve görünür organizasyonu sabit yedi bölge şemasına uymayan giysilere karşı hassasiyetini korumaktadır. Asimetrik tasarımlar, çıkarılabilir katmanlar, yoğun dökümler, çok katmanlı alt giysiler ve üst üste binen dekoratif bölgeler, birkaç semantik bölgeyi birleştirebilir veya mevcut grafik tanımında bulunmayan bileşen ilişkileri ortaya çıkarabilir. Oklüzyon, aktif bir bileşeni baskılayabilir, olasılık merkezini kaydırabilir ve geçerli bir ortak sınır ilişkisini ortadan kaldırabilir. Şekil 6, kaba üst vücut kategorisinin geri kazanımını ancak eksik kol topolojisi eşleşmesini göstermekte, Şekil 7 ve 10 ise komşu arka plan alanlarında yanıtlar barındırmaktadır. Bu sonuçlar, geçerli tensör boyutlarının ve grafik bağlantısızlığının, semantik olarak doğru bir yapısal yorumlamayı garanti etmediğini göstermektedir. Bu nedenle mevcut çalışma, tasarım iş akışı verimliliğinden veya kalıp parametrelerinin doğrudan tahmininden ziyade, görüntü tabanlı geri çağırmayı, kümelemeyi ve fark lokalizasyonunu desteklemektedir. Mevcut çalışmadaki tüm nicel deneyler, elde tutulan ve yapısal olarak yeniden etiketlenen DeepFashion2 kohortu üzerinde yürütülmüştür. Mevcut sonuçlar; farklı giysi taksonomilerine, anotasyon standartlarına, kültürel giyim kategorilerine, görüntü kaynaklarına veya edinim ortamlarına sahip bağımsız veri setleri genelinde bir sağlamlık oluşturmamaktadır. Başka bir veri setine aktarım, yedi bileşen kanalının yeniden eşleştirilmesini ve tipografik ilişki şemasının yeniden yapılandırılmasını gerektirebilir. Bu nedenle raporlanan sonuçlar, değerlendirilen veri dağılımı ve görüntü düzeyindeki bileşen tanımı ile sınırlandırılmıştır.

Bu sınırlar dahilinde protokol; semantik ayrıştırma, geometrik ilişki modelleme, çift akışlı kodlama ve yapı kılavuzlu füzyon aracılığıyla giysi görüntülerinden bileşen farkındalıklı temsillere kadar tekrarlanabilir bir sekans sunmaktadır. Gelecekteki doğrulamalar; farklı açıklama sistemleri, giysi kategorileri, pozlar ve arka plan koşullarına sahip bağımsız giysi veri setlerini kullanacaktır. Ayrıca, mevcut yedi bölgeli eşlemenin asimetrik, katmanlı, ayrılabilir ve kültüre özgü giysi yapıları için genişletilmesinin gerekip gerekmediği incelenecektir. El çizimi tasarım taslakları, kumaşlar arası varyasyon ve parametize kalıp ayarları, göreve özel veri ve değerlendirme prosedürleri gerektiren ayrı uygulama yönleri olarak kalmaktadır. Profesyonel kullanılabilirlik ve tasarım inceleme verimliliği, tanımlanmış katılımcılar, değerlendirme kriterleri ve istatistiksel prosedürler içeren, ayrı olarak belgelenmiş bir insan denek çalışması gerektirmektedir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Merkezi İşlem Birimi	Intel Corporation	Intel Core i9-13900K, 24 çekirdek, 32 iş parçacığı, 5,80 GHz'e kadar
Conda	Anaconda, Inc., anaconda.com	Miniconda3 23.11.0
CUDA Toolkit	NVIDIA Corporation, developer.nvidia.com	CUDA 11.8
cuDNN	NVIDIA Corporation, developer.nvidia.com	cuDNN 8.9.7
DeepFashion2 Veri Seti	Hong Kong Çin Üniversitesi, github.com/switchablenorms/DeepFashion2	Resmi DeepFashion2 sürümü, Versiyon 1.0
Grafik İşlem Birimi	NVIDIA Corporation	NVIDIA GeForce RTX 4090, 24 GB GDDR6X
HRNet-W48 Semantik Ayrıştırma Kontrol Noktası	HRNet Projesi, github.com/HRNet/HRNet-Semantic-Segmentation	hrnet_w48_garment_parser_7class.pth, proje kontrol noktası Versiyon 1.0
ImageNet-Ön Eğitimli ResNet-50 Ağırlıkları	PyTorch Foundation, pytorch.org	ResNet50_Weights.IMAGENET1K_V2
Matplotlib	Matplotlib Geliştirme Ekibi, matplotlib.org	Sürüm 3.8.2
NumPy	NumPy Geliştiricileri, numpy.org	Sürüm 1.26.4
NVIDIA Grafik Sürücüsü	NVIDIA Corporation	Versiyon 546.33
OpenCV-Python	OpenCV Ekibi, opencv.org	Sürüm 4.8.1.78
İşletim Sistemi	Microsoft Corporation	Windows 11 Pro 23H2, 64-bit, İşletim Sistemi Yapısı 22631.3155
Pandas	Pandas Geliştirme Ekibi, pandas.pydata.org	Sürüm 2.1.4
Python	Python Software Foundation, python.org	Sürüm 3.10.13
PyTorch	PyTorch Foundation, pytorch.org	CUDA 11.8 ile Sürüm 2.1.2
PyYAML	PyYAML Projesi, pyyaml.org	Sürüm 6.0.1
scikit-learn	scikit-learn Geliştiricileri, scikit-learn.org	Sürüm 1.3.2
SciPy	SciPy Geliştiricileri, scipy.org	Sürüm 1.11.4
Kaynak Kod Deposu	Makale ile birlikte sunulan ek kaynak kod arşivi	Giysi Topolojisi Protokolü, Versiyon 1.0
Depolama Cihazı	Samsung Electronics	Samsung 990 PRO NVMe SSD, 2 TB
Sistem Belleği	Kingston Technology	Kingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvision	PyTorch Foundation, pytorch.org	CUDA 11.8 ile Sürüm 0.16.2
Çalışma İstasyonu	Özel yapım derin öğrenme iş istasyonu	Intel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB bellek, 2 TB NVMe SSD