מאמר שיטה

פרוטוקול ללמידת מאפייני תמונה המבוסס על טופולוגיה של רכיבי ביגוד ברמת התמונה לצורך אחזור רפרנסים עיצוביים

1 צפיות

⸱

DOI:

10.3791/72103

⸱

1 בספטמבר 2026

 ,  ,  , 
1Keyi College of Zhejiang Sci-Tech University

במאמר זה

סיכום

פרוטוקול זה מייצר ייצוגי בגדים מודעי-מבנה על ידי שילוב של ניתוח רכיבים סמנטי, מידול טופולוגי, קידוד תכונות בשני זרמים ומיזוג מודרך-מבנה. הוא מאפשר לחוקרי ראייה ממוחשבת ואופנה לבצע אחזור בגדים והשוואה למקורות עיצוב המבוססים על ארגון הרכיבים וסידור הצללית, במקום על צבע או מרקם.

תקציר

שיטות לאחזור תמונות של ביגוד שמות דגש רב על צבע ומרקם, מה שעלול להוביל לבלבול בין פריטי לבוש בעלי מראה דומה אך בעלי פריסות רכיבים שונות. מחקר זה מציג פרוטוקול ללמידת תכונות מודע-רכיבים עבור אחזור תמונות של ביגוד והשוואת סימוכין לעיצוב. הפרוטוקול מנתח אזורי לבוש סמנטיים, בונה גרף רכיבי לבוש ברמת התמונה, מקודד במקביל את המראה ואת קשרי הרכיבים, וממזג את שני הייצוגים באמצעות הפסדי עקביות מבנית, קשר מבני ואפליה מבנית. תמונות ממאגר DeepFashion2 עוברות סטנדרטיזציה ל-512 x 512 pixels, מנותחות באמצעות HRNet-W48, מקודדות בעזרת ResNet-50 וקונבולוציית גרפים, ומוערכות באמצעות אחזור מבני והקבצה. המודל המלא השיג מדד עקביות מבנית של 0.81, מדד אפליה מבנית של 0.71, Recall@5 של 89.2%, דיוק ממוצע ממוצע (mAP) של 86.4% ומקדם סילואט של 0.74. הפרוטוקול תומך באחזור מבנה לבוש, השוואה מבנית ואיתור הבדלים כאשר המראה החיצוני אינו מייצג באופן מהימן את מבנה הבגד.

מבוא

עם השילוב המתמשך של ראייה ממוחשבת ובינה מלאכותית בתעשיית הביגוד, ניתוח תמונות של ביגוד התרחב בהדרגה ממשימות זיהוי בסיסיות לניתוח מכוון עיצוב ותמיכה בקבלת החלטות1,2. בתהליך עיצוב הביגוד, ההבחנה בין תכניות עיצוב תלויה יותר בהרכב המבני ובקשרי הרכיבים מאשר בהבדלים פשוטים במראה, מה שהופך את הביטוי המבני של מאפייני תמונת הביגוד בסיוע עיצובי לגורם מפתח המשפיע על יעילות הניתוח3,4. עם זאת, מרבית השיטות הוויזואליות הקיימות עדיין מסתמכות על מרקם, צבע וקווי מתאר גלובליים כמאפיינים העיקריים שלהן, מה שמקשה על ניתוח שיטתי של היררכיות הבגד והבדלים במבנה במהלך תהליך העיצוב5,6. לכן, פיתוח שיטה ללמידת מאפייני תמונה מודעת-מבנה לסיוע בעיצוב ביגוד הוא חשוב לשיפור האובייקטיביות והעקביות של ניתוח העיצוב7. פרוטוקול זה מתאים כאשר פריטי לבוש חולקים צבעים, מרקמים או קווי מתאר גלובליים דומים, אך נבדלים בארגון הרכיבים, בדפוסי החיבור או בפריסה המרחבית. בתנאים אלה, ייצוגים ממוקדי-מראה נוטים למקם עיצובים השונים מבנית קרוב זה לזה במרחב המאפיינים, מה שמעיב על אמינות השליפה וההשוואה העיצובית. הפרוטוקול נותן מענה למשימות שבהן קשרים בין רכיבי הלבוש מהווים את הבסיס העיקרי לשליפה מבנית, הערכת עיצוב וניתוח הבדלים מקומיים.

מבחינת קנה מידה של נתונים, מורכבות מודלים ומגוון משימות, המחקר הנוכחי על ניתוח והבנה אוטומטיים של תמונות ביגוד רשם התקדמות משמעותית8,9. עם זאת, ביישומים מעשיים, מידע מבני של ביגוד כלול לעיתים קרובות באופן משתמע בתוצאות סגמנטציה או זיהוי, ואינו נלקח בחשבון במידול מאוחד של שלב למידת המאפיינים, מה שמוביל לחוסר בהבחנה יציבה בין עיצובים מבניים שונים במרחב המאפיינים10,11. יחסים מרחביים, אילוצים היררכיים ומבנים טופולוגיים בין רכיבי הבגד אינם מקודדים במפורש, מה שמקשה על ייצוגי מאפיינים לשקף הבדלים מבניים ברמת העיצוב12,13. היעדר מידול מבני מפורש מגביל את רזולוציית הניתוח ואת מהימנות ההחלטות של מאפייני תמונות ביגוד בתרחישי סיוע לעיצוב, ומהווה חסום מרכזי לפיתוח מערכות עיצוב אינטליגנטיות בעלות הבנה סמנטית עמוקה יותר14.

כדי לתמוך בלמידה ובניתוח של מאפייני תמונות ביגוד, מחקרים קשורים בחנו על מספר כיוונים טכניים15. שיטות של סגמנטציה סמנטית וניתוח פריטי לבוש (garment parsing) אפשרו תיחום מדויק של אזורי הבגד ומרכיביו באמצעות אנוטציה ברמת הפיקסל, ובכך סיפקו בסיס להפקת מידע מבני16,17. שיטות לאחזור פריטי לבוש באמצעות שאילתת תמונה שילבו טופולוגיה ומיזוג צבע-מרקם, התאמת קשב גלובלית ומקומית, ניתוח פריטי לבוש, ייצוג רב-קנה מידה ורב-רזולוציה, וקשב שיורי עם בחירת מאפיינים. שיטות אלו נותנות מענה לחיפוש בקטלוגים, התאמה בין צרכן לחנות, אחזור מוצרים חוצה-דומיינים וחיפוש ויזואלי במסחר אלקטרוני. הגדרות היישום שלהן קשורות קשר הדוק לאחזור רפרנסים לעיצוב, כיוון שכל שיטה מדרגת תמונות של בגדים בהתבסס על שאילתה ויזואלית, אם כי הייצוגים שלהן אינם משמרים סמיכות של רכיבים מוגדרים ויחסי סדר אנכיים לאורך מיזוג המאפיינים18,19,20. במקביל, מחקרים על תרחישי עיצוב והמלצות הציגו בהדרגה מיזוג רב-מודאלי, מידול יחסים וניתוח סגנון, ובכך הרחיבו את גבולות היישום של מאפיינים ויזואליים של ביגוד21,22. למרות ששיטות אלו רשמו התקדמות במשימותיהן בהתאמה, מאפייני הליבה שלהן עדיין מבוססים במידה רבה על תיאורי מראה, ומידע מבני לא מודל באופן אחיד כאילוץ מובנה ללמידת מאפיינים, מה שמקשה על עמידה בצרכים של סיוע בעיצוב ביגוד לצורך התאמה מבנית והשוואה מבנית23.

כדי להתגבר על היכולת הבלתי מספקת של בידול מבני בסיוע לעיצוב ביגוד, מאמר זה מציע שיטה ללמידת מאפייני תמונה המבוססת על תפיסת מבנה הבגד. שיטה זו משלבת תוצאות ניתוח ביגוד ומידע מבני מרכזי בשלב הזנת תמונת הבגד, ומבצעת מידול משותף של אזורי רכיבי הבגד, יחסים מרחביים וקשרים היררכיים. קידוד של יחסים מבניים וסנכרון מאפיינים חזותיים משלבים באופן מפורש אילוצי ביגוד בתהליך למידת המאפיינים, ומפיקים ייצוג השומר הן על המראה החזותי והן על העקביות המבנית. מאפיין זה מאפיין הבדלים מבניים בביגוד בתוך מרחב מאוחד, ומספק בסיס יציב לניתוח דמיון מבני, אשכולה מבנית וקבלת החלטות בסיוע לעיצוב, ובכך מקל על בעיית בלבול המאפיינים הנגרמת מהיעדר מידול מבני בשיטות קיימות. בניגוד לאסטרטגיות אחזור חזותיות כלליות המתייחסות למידע מבני כתכונות עזר המקושרות באופן רופף, מסגרת זו בונה מנגנון אפולציה של מאפיינים המרכז את היחסים הטופולוגיים. המנגנון מעודד את הייצוג הנלמד לעקוב אחר ארגון אזורי הבגד הנראה, תוך הפחתת תגובות הנשלטות על ידי מרקם. כל צומת בגרף מייצג אזור סמנטי ברמת התמונה, וכל קשר בגרף מתאר סמיכות נראית או מיקום יחסי מנורמל במישור התמונה. ההטמעה (embedding) המתקבלת תומכת בהשוואה של פריסת רכיבים וארגון צללית בין תמונות ביגוד שונות. אזורים ויחסים אלו אינם תבניות תפירה, חיבורי תפרים, נקודות ציון קונסטרוקטיביות או פרמטרי גראדינג. בהשוואה לשיטות אחזור מונעות מראה, הפרוטוקול שומר על טופולוגיית רכיבים מפורשת לאורך למידת המאפיינים, במקום להתייחס למידע מבני כתוצאה של ניתוח בשלב מאוחר יותר. בהשוואה לגישות המכניסות רמזים מבניים רק כקלטים עזריים, הקידוד בעל שני הזרימות והמיזוג העקבי טופולוגית שומרים על יחסים גיאומטריים תוך הפחתת תגובות הנשלטות על ידי מרקם. הייצוג המתקבל תומך באחזור מבנה בגד, אשכולה מבנית, סינון רפרנסים לעיצוב וניתוח הבדלי עיצוב מקומיים, תוך אספקת ראיות ברמת הרכיב שנותרות ניתנות לפירוש בתהליך עיצוב הבגד. מחקרים הרלוונטיים לפרוטוקול זה משתרעים על פני למידת מאפייני תמונות ביגוד, מידול מבנה בגד, ייצוג מודע-מבנה וניתוח חזותי לסיוע בעיצוב ביגוד.

ברמת ייצוג המאפיינים, מחקרים על תמונות ביגוד התמקדו זמן רב במידול מראה, חילוץ מאפיינים עמוקים וייצוג רב-קנה מידה24,25. עבודות מוקדמות השתמשו ברשתות נוירונים קונבולוציוניות כדי לבצע מידול מקצה לקצה של תמונות ביגוד עבור משימות סיווג, אחזור והתאמת דמיון26,27. לאחר מכן, הוצגו מיזוג מאפיינים רב-קנה מידה ולמידה חוצת-דומיינים כדי להקל על הבדלים בתמונות ביגוד תחת זוויות צפייה, תנוחות ותנאי צילום שונים28,29. במשימות אחזור, נעשה שימוש במנגנוני קשב ובאסטרטגיות דחיסת מאפיינים כדי לשפר את יכולת ההבחנה של המאפיינים ואת היעילות החישובית30,31. שיטות אלו משיגות הבחנה אמינה של המראה, אך תהליכי למידת המאפיינים שלהן עדיין מתמקדים במידע חזותי גלובלי וחסרים ייצוגים שיטתיים של מבני הבגד הפנימיים32. שיטות אחזור אופנה מורכבות משלבות עוד יותר תמונת ייחוס עם הנחיות שינוי טקסטואליות, אך אופן השאילתה שלהן שונה מהפרוטוקול המבוסס-תמונה בלבד שנבדק כאן. הן נסקרות ככיוון אחזור מסחרי קשור ואינן נכללות בהשוואה הכמותית, כיוון שקלט טקסט נוסף ימנע הערכה מבוקרת של שאילתת תמונה.

ככל שניתוח תמונות של ביגוד עבר מאפליה על בסיס מראה להבנה מבנית, המחקר התמקד יותר ויותר במידול רכיבי הבגד, במערכות יחסים גיאומטריות ובקשרי טופולוגיה33. רשתות של סגמנטציה סמנטית השיגו ניתוח ברמת רכיבי הלבוש באמצעות הקרנת מאפיינים ומנגנוני קשב רב-שכבתיים (multi-attention), ובכך סיפקו בסיס אמין לחילוץ מידע מבני34,35. שיטות לזיהוי נקודות מפתח ומידול טופולוגיה מבנית אפיינו עוד יותר את הקשר בין קווי המתאר של הבגד למבנים מקומיים, ובכך שיפרו את יכולתו של המודל לייצג את המאפיינים הגיאומטריים של הלבוש36,37. מספר מחקרים הציגו מבני גרף ורשתות הסקה רלציונית כדי למדל מערכות יחסים בין רכיבי הלבוש, ובכך שיפרו את ביצועי הזיהוי בעל הרזולוציה הגבוהה (fine-grained) ואת השליפה בין דומיינים38,39. עבודות אלו אישרו את תפקידו החשוב של המידע המבני בניתוח חזותי, אך המבנה משמש בעיקר כמאפיין עזר או כתוצאה ביניים, ומערכת ללמידת מאפיינים שבה אילוצים מבניים עומדים בליבה טרם פותחה40.

במסגרת סיוע בתכנון ביגוד, פיתוחים אלו תמכו בהמלצות עיצוב, ניתוח סגנון, בניית מערכות אינטראקטיביות והערכת עיצוב מוכוונת-מבנה41. מחקרים על מערכות המלצה השיגו התאמת ביגוד והמלצות מותאמות אישית על ידי שילוב של מאפיינים חזותיים עם העדפות משתמשים42. עבודות הקשורות לסיוע בתכנון בחנו דרכים חדשות לתמיכה חכמה בעיצוב באמצעות שילוב של מודלים גנרטיביים, מידול סגנון ומנגנוני שיתוף פעולה בין אדם למחשב43. מחקרים על מדידה וירטואלית, מדידת מידות והעברת סגנון הרחיבו את היישום של ניתוח חזותי של ביגוד לאורך תהליכי התכנון והייצור. למרות שמעמדים אלו העשירו את הצורות הטכניות של הסיוע בתכנון ביגוד, המאפיינים החזותיים המרכזיים שלהם עדיין מונעים בעיקר ממראה חיצוני וחסרים ייצוג מאוחד של מבנה העיצוב לצורך ניתוח. לעומת זאת, מאמר זה מתייחס למבנה הבגד כאילו היה האילוץ המרכזי בייצוג המאפיינים, ומספק שיטת ייצוג חזותית לניתוח מבני בסיוע לתכנון ביגוד.

למרות התפתחויות אלו, שיטות עדכניות בעיצוב גנרטיבי מתייחסות לרוב לתנאים מבניים כמטריצות הנחיה מרחביות גמישות בתוך תהליכי דיפוזיה. מסגרות ניתוח מבני עכשוויות מייצגות טופולוגיות כתוויות סמנטיות עזר, הנפרדות ממרחב ההטמעה הוויזואלי העיקרי. המסגרת המוצעת משנה מנגנון זה על ידי הגדרת אילוץ טופולוגי מבוסס-גרף (graph-prior) המודולט באופן מפורש את למידת המאפיינים הוויזואליים ברמת הרכיב. יעד העקביות הרב-שכבתי מעודד בגדים עם פריסות רכיבים דומות ברמת התמונה להישאר קרובים במרחב המאפיינים, תוך הפרדה בין בגדים עם ארגוני אזורים גלויים שונים. יעד זה מפחית את התלות בטקסטורה בהגדרות השליפה שנבחנו, אך אינו מבסס אי-תלות (invariance) לשינויים בחומר, בתנוחה או ברקע. יש לבחור בפרוטוקול זה כאשר תמונת הקלט מכילה פריט לבוש בודד הגלוי מספיק, כאשר לרכיבים הסמנטיים יש גבולות ניתנים לזיהוי, וכאשר היעד האנליטי דורש השוואה מבנית ברמת הרכיב ולא זיהוי קטגורי גס. הפרוטוקול מיועד לחוקרי ראייה ממוחשבת, חוקרי עיצוב ביגוד וצוותי פיתוח בגדים דיגיטליים העוסקים בניתוח ויזואלי רגיש למבנה. הוא אינו מיועד למשימות המתמקדות אך ורק בזיהוי צבע או חומר, או לתמונות שבהן הטופולוגיה של הבגד מוסתרת במידה רבה. הפרוטוקול הבא מציג את זרימת העבודה מהכנת מערך הנתונים ומיפוי הסבירות הסמנטית, דרך בניית יחסים גיאומטריים, קידוד מאפיינים בזרם כפול, מיזוג מונחה-מבנה, ועד לאופטימיזציה מבוססת-עקביות. זרימת העבודה המלאה מסוכמת ב-איור 1.

פרוטוקול

מחקר זה משתמש במאגרי נתונים זמינים לציבור של תמונות ביגוד ואינו מגייס משתתפים אנושיים, אוסף מידע המאפשר זיהוי אישי, עורך ניסויים בבעלי חיים או משתמש בחומרים ביולוגיים. אישור אתי מוסדי והסכמה מדעת אינם רלוונטיים.

1. סביבת תוכנה והגדרת הפרויקט

  1. מקם את קבצי הפרויקט ששוחררו בספריה עם שטח אחסון מספיק ופתח טרמינל בספריית השורש של הפרויקט.
  2. הרץ conda env create -f environment.yml כדי ליצור את סביבת התוכנה. הרץ conda activate garment_structure כדי להפעיל את הסביבה.
  3. הרץ python --version, conda --version, pip show numpy, pip show torch, pip show torchvision, ו-nvidia-smi. שמור את פלט הפקודה המלא בקובץ software_versions.txt.
  4. השתמש באותה סביבה מתועדת עבור עיבוד מקדמי, אימון, הסקה (inference), מדידת יעילות והערכה. רשום באותו קובץ את שם קובץ ה-checkpoint של HRNet-W48 וערך ה-SHA-256 שלו, את מזהה משקולות ResNet-50 שמאומנים על ImageNet וערך ה-SHA-256 שלו, את מקור השחרור של DeepFashion2 ואת מזהה מאגר קוד המקור.
  5. צור את הספריות data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs, ו-evaluation_results תחת ספריית השורש של הפרויקט.
  6. פתח את configs/protocol.yaml. הזן את ספריית DeepFashion2 ב-dataset_root, את נתיב ה-checkpoint המאומן של HRNet-W48 ב-parser_checkpoint, ואת ספריית הפלט של הפרויקט ב-output_root.
  7. הגדר את input_height ל-512, את input_width ל-512, את batch_size ל-32, את structural_categories_per_batch ל-8, את samples_per_category ל-4, את random_seed ל-42, את feature_dimension ל-512, את structural_constraint_weight ל-1.0, את structural_relationship_weight ל-0.5, את structural_discrimination_weight ל-1.0, ואת separation_threshold ל-0.3.
  8. הגדר את האופטימייזר ל-mini-batch stochastic gradient descent. הגדר את initial_learning_rate ל-0.0001, את momentum ל-0.9, את weight_decay ל-0.0005, את max_epochs ל-120, את learning_rate_schedule ל-multi-step decay, ואת learning_rate_decay_factor ל-0.1. הזן ב-learning_rate_milestones את תקופות הדעיכה (decay epochs) המאושרות שנעשה בהן שימוש בתצורה ששוחררה.
  9. הרץ python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results. ייצא את תצורת המודל המלאה ל-model_setting_statistics.csv. ודא שהקובץ המיוצא מתעד את גודל תמונת הקלט, פורמט הקלט, הרכב ה-batch, האופטימייזר, קצב הלמידה, לוח הזמנים של קצב הלמידה, מספר ה-epochs, דעיכת משקולות (weight decay), מומנטום, הסתברויות השבחה (augmentation), ממד התכונות, משקולות הפסד מבני, סף הפרדה, זרעים אקראיים, כלל בחירת checkpoint, ומספר הרצות עצמאיות.
  10. פלט צפוי: אשר שסביבת התוכנה עולה ללא שגיאות תלות, שקובץ software_versions.txt מכיל את תיעוד הסביבה, שכל ספריות הפלט קיימות, ו-configs/protocol.yaml מכיל נתיבים מוחלטים תקינים והגדרות מספריות.
    הערה: השתמש באותה סביבה ובאותו קובץ תצורה במהלך עיבוד הנתונים, אימון המודל, ההסקה וההערכה. שמור עותק של configs/protocol.yaml עם כל checkpoint מאומן.
    ​פתרון בעיות: אם יצירת הסביבה נעצרת בגלל חבילה שאינה זמינה, הסר את הסביבה הבלתי שלמה, ודא את ערוצי החבילות ב-environment.yml וצור את הסביבה מחדש. אם nvidia-smi לא מדווח על יחידת עיבוד גרפי, הפסק את אימון המודל ושחזר את מנהל התצוגה ואת זמן הריצה של CUDA. אם מופיעה שגיאת ספריה במהלך ההרצה, החלף נתיבים יחסיים בנתיבים מוחלטים וודא הרשאת כתיבה עבור output_root.

2. קבלה של תמונות קלט, בניית סט נתונים ועיבוד מקדימ

  1. השתמשו אך ורק בקבצים עם הסיומות JPG, JPEG או PNG. השתמשו בתמונות RGB של 8-ביט המכילות פריט לבוש מרכזי אחד.
  2. שמרו תמונות RGB של שמונה ביט שרוחבן וגובהן הם לפחות 512 פיקסלים וכוללות פריט לבוש מרכזי אחד שניתן לזיהוי. פסלו תמונה כאשר קדמת פריט הלבוש תופסת פחות מ-15% משטח התמונה המלא, כאשר יותר מ-5% מגבול מסכת הלבוש חופף לגבול התמונה, כאשר אזור לבוש משני עולה על 10% משטח הלבוש המרכזי, כאשר השטח המוערך כחסום עולה על 20% ממסכת הלבוש המרכזי, או כאשר השונות של תגובת ה-Laplacian נמוכה מ-100.
  3. רשמו את מזהה התמונה, הערך הנמדד, כלל ההדרה שהופעל ונתיב האנוטציה בקובץ excluded_samples.csv.
  4. החילו את כללי קבלת הקלט על תמונות המקור של DeepFashion2 לפני תיוג מבני וחלוקת נתונים. רשמו כל מזהה תמונה שהתקבלה או נפסלה, את חלוקת מערך הנתונים המקורית, את מזהה אנוטציית הלבוש, את מזהה זוג המקור, את יחס שטח הקדמה, את יחס המגע עם הגבול, את יחס החסימה, את ציון הטשטוש ואת סטטוס השמירה הסופי בקובץ data_filtering_manifest.csv.
  5. הריצו python tools/prepare_data.py --config configs/protocol.yaml.
  6. קראו את תיבת החיתוך (bounding box) של פריט הלבוש מאנוטציית מערך הנתונים. הרחיבו את תיבת החיתוך ב-5% מרוחבה ומגובהו, מבלי לחרוג מגבולות התמונה.
  7. חתכו את אזור הלבוש, שמרו על יחס הגובה-רוחב המקורי שלו, הוסיפו ריפוד אפסים ליצירת תמונה ריבועית, ושנו את גודל התמונה המרופדת ל-512 x 512 פיקסלים.
  8. המירה את התמונה שגודלה שונה לטנזור RGB עם ערכי נקודה צפה. חלקו כל ערך פיקסל ב-255.
  9. נרמלו את הערוצים האדום, הירוק והכחול עם ממוצעים של 0.485, 0.456 ו-0.406 וסטיות תקן של 0.229, 0.224 ו-0.225.
  10. החילו היפוך אופקי בהסתברות של 0.5 ומחיקה אקראית בהסתברות של 0.2 על תמונות האימון. החילו חיתוך, ריפוד, שינוי גודל ונרמול דטרמיניסטיים בלבד על תמונות האימות והבדיקה.
  11. הריצו python tools/assign_structural_levels.py --config configs/protocol.yaml לאחר שהופקו מפות הרכיבים בעלי שבעת הערוצים ומטריצות הגבול המשותף והסדר האנכי. עבור כל תמונה שנשמרה, חשבו את מספר הצמתים הפעילים, מספר הרכיבים המחוברים, מספר צמתי הענף, מספר המחזורים העצמאיים ואת הנתיב האנכי המכוון הארוך ביותר. הגדירו צומת ענף כצומת פעיל המחובר לפחות לשלושה צמתים פעילים אחרים בגרף הגבול המשותף.
  12. הקצו S1 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, אינו מכיל צומת ענף, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S2 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, מכיל בדיוק צומת ענף אחד, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S3 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, ומכיל לפחות שני צמתי ענף או נתיב אנכי של לפחות שלושה מקשרי קשת. הקצו S4 כאשר הגרף מחובר, מכיל בדיוק מחזור עצמאי אחד, ויש לו נתיב אנכי של לא יותר משני מקשרי קשת. הקצו S5 כאשר הגרף מכיל לפחות שני מחזורים עצמאיים או מכיל מחזור עצמאי אחד יחד עם נתיב אנכי של לפחות שלושה מקשרי קשת.
  13. החילו את הכללים בסדר S5, S4, S3, S2 ו-S1 ושמרו את סטטיסטיקות הגרף שחושבו, את הרמה שהוקצתה ואת מזהה הכלל בקובץ structural_level_manifest.csv.
  14. הפיקו את תוויות S1–S5 הראשוניות באופן אוטומטי ממסכות הרכיבים וממטריצות היחסים השמורות. סמנו דגימה כמעמbeit מבנית כאשר גרף הרכיבים שלה מכיל יותר מרכיב מחובר אחד, כאשר ההסתברות המקסימלית הממוצעת של הרכיב בתוך קדמת הלבוש נמוכה מ-0.60, כאשר רכיב פעיל תופס פחות מ-1% מקדמת הלבוש, או כאשר הרמה המבנית שהוקצתה לה משתנה לאחר שרוחב המגע עם הגבול שונה מפיקסל אחד לשני פיקסלים.
  15. הגישו כל דגימה מעמbeit לשני מחברים לבדיקה עצמאית של תמונת המקור, מפת הרכיבים, מטריצת הגבול המשותף, מטריצת הסדר האנכי והגרף הראשוני. שמרו על התווית כאשר שתי הבדיקות תואמות. הגישו מקרה של אי-הסכמה למחבר שלישי והשתמשו בהחלטת הרוב כתווית הסופית. הדריגו דגימה כאשר לא התגלה יחס רכיבים יציב לאחר הבדיקה. רשמו את התווית האוטומטית, תוויות הבדיקה, סיבת אי-ההסכמה, התווית הסופית וסטטוס ההדרה בקובץ structural_label_audit.csv.
  16. חשבו את ערך ה-SHA-256 של כל קובץ מקור שנשמר וחשבו hash תפיסתי (perceptual hash) של 64 ביט מחיתוך הלבוש המנורמל. מקמו תמונות עם ערכי SHA-256 זהים באותה קבוצת כפילויות מדויקות. מקמו תמונות שה-hashes התפיסתיים שלהן הם במרחק Hamming של לא יותר מארבע באותה קבוצת כפילויות קרובות, לאחר אימות שהן מקורן מאותו מופע לבוש.
  17. מזגו את כל התמונות החולקות את אותו מזהה זוג מקור של DeepFashion2 או זהות לבוש לקבוצת מקור אחת. שמרו את ה-hashes של הקבצים, ה-hashes התפיסתיים, מזהי המקור ומזהי קבוצות הכפילויות בקובץ duplicate_group_manifest.csv.
  18. בצעו חלוקת נתונים ברמת קבוצת המקור ולא ברמת התמונה הבודדת. הקצו כל קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות וקבוצת זהות מקור באופן מלא לתת-קבוצה אחת. בדקו את כל הזוגות בין תת-הקבוצות לאחר החלוקה ורשמו כל קונפליקט זהות, קונפליקט hash וקונפליקט hash תפיסתי שזוהה בקובץ leakage_audit.csv. בנו מחדש את המניפסטים עד שקובץ leakage_audit.csv לא יכיל רשומות לא פתורות בין תת-הקבוצות.
  19. בצעו שכיבה (stratification) של קבוצות המקור לפי תוויות S1-S5 הסופיות והקצו קבוצות שלמות לתתי-הקבוצות של אימון, אימות ובדיקה בהתאם להקצאה המאושרת המוצגת ב-Table 1. דווחו על מספר התמונות המדויק ומספר קבוצות המקור עבור כל רמה מבנית ותת-קבוצה.
  20. חשבו את אחוזי האימון, האימות והבדיקה שהושגו מהקוהורט הסופי שנשמר ולא ממערך הנתונים שלא עבר סינון. אין להשתמש בתמונות אימות, תמונות בדיקה, תמונות שהודרו בשל עמימות או תמונות השייכות לקבוצות הכפילויות שלהן במהלך למידת פרמטרים, קביעת ספים, התאמת כללי רמה מבנית או בחירת נקודת ביקורת (checkpoint).
  21. שמרו את התמונות המעובדות ב-data_processed/images. שמרו את train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv ו-structural_level_manifest.csv ב-data_processed/manifests.
  22. קראו את התוויות המבניות הסופיות, סטטוס הבדיקה, מזהי קבוצות הכפילויות, מזהי קבוצות המקור ותוויות תת-הקבוצות מהמניפסטים המעובדים. ספרו את הדגימות שהתקבלו אוטומטית, הדגימות שנבדקו ידנית, הדחות בשל עמימות, הדחות בשל כפילויות, קבוצות מקור, תמונות אימון, תמונות אימות ותמונות בדיקה עבור S1 עד S5.
  23. חשבו את יחסי תתי-הקבוצות שהושגו, את מספר הצמתים הפעילים הממוצע, את מספר צמתי הענף הממוצע, את מספר המחזורים העצמאיים הממוצע, את העומק האנכי הממוצע ואת מספר המקשרי-קשת הממוצע. שמרו את הסטטיסטיקות המלאות ב-evaluation_results/dataset_statistics.csv.
  24. פלט צפוי: ודאו שכל תמונה שהתקבלה היא תמונת RGB של שמונה ביט בגודל 512 x 512 פיקסלים ושיש לה רשומת סינון אחת, תווית רמה מבנית סופית אחת, מזהה קבוצת מקור אחד, מזהה קבוצת כפילויות אחד, תווית תת-קבוצה אחת ונתיב אנוטציה תקף אחד. ודאו שלכל דגימה מעמbeit יש רשומת בדיקה מלאה. ודאו ששום מזהה מקור, קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות או זהות לבוש אינם מופיעים ביותר מתת-קבוצה אחת. ודאו שמספרי התמונות ב-train_manifest.csv, validation_manifest.csv, test_manifest.csv ו-dataset_statistics.csv זהים.
    הערה: שמרו את התמונות המקוריות שלא עברו עיבוד ב-data_raw. אין להחיל הגברה (augmentation) אקראית על תמונות אימות או בדיקה.
    ​פתרון בעיות: אם חיתוך מסיר צווארון, שרוול, מכפלת או רגל של מכנסיים, השביתו את האנוטציה המקורית והגדילו את שולי הגבול שנשמרו. אם פריט לבוש נראה מתוח, ודאו שהריפוד הריבועי קיים לפני שינוי הגודל. אם תמונה מעובדת מכילה ערוץ אחד או ארבעה ערוצים, המירו את קובץ המקור ל-RGB של שמונה ביט והריצו מחדש את עיבוד המקדם. אם מופיעים מזהים כפולים בין תתי-קבוצות, בנו מחדש את כל מניפסטי תתי-הקבוצות לפני האימון.

3. ניתוח רכיבים חזותיים מוגבלים לרקע ומיפוי הסתברותי

  1. הריצו python tools/parse_components.py --config configs/protocol.yaml.
  2. טענו את נקודת הבקרה (checkpoint) המאומנת מראש של ה-HRNet-W48 לניתוח סמנטי של בגדים מתוך parser_checkpoint. ודאו שנקודת הבקרה מפיקה את קטגוריות רכיבי הבגד המוגדרות במיפוי האנוטציות של מערך הנתונים. העבירו את רשת הניתוח הסמנטי למצב הערכה (evaluation mode) ובטלו את חישוב הגרדיאנטים.
  3. קראו את התמונות המעובדות מתוך train_manifest.csv, validation_manifest.csv, ו-test_manifest.csv באופן רציף.
  4. חלצו טנזור תגובה סמנטית בעל שבעה ערוצים מכל תמונת קלט והגדירו את K כשבעה לאורך כל זרימת העבודה. השתמשו בסדר הקטגוריות הקבוע: Upper Trim Region, Neckline Region, Bodice Region, Left Lower-Garment Region, Right Lower-Garment Region, Middle Lower-Garment Region, ו-Hem Region. שמרו על סדר זה במפות ההסתברות, במטריצות הרכיבים, במטריצות הגרף, במטריצות התכונות, במניפסטים ובקבצי הוויזואליזציה.
  5. החילו פונקציית softmax לאורך ממד הערוצים כדי להפיק את מפת ההסתברות של הרכיבים הסמנטיים P. ודאו שההסתברויות בכל K הערוצים מסתכמות לאחד בכל פיקסל, בטווח סטייה של 0.0001.
  6. טענו את מסיכת הרקע (foreground mask) של הבגד מהאנוטציה של מערך הנתונים ויישרו אותה עם התמונה המעובדת בגודל 512 x 512. הגדירו את ההסתברות של כל רכיב מחוץ לרקע הבגד לאפס. נרמלו מחדש את הסתברויות הרכיבים בתוך מסיכת הרקע לאורך ממד הערוצים.
  7. ודאו שכל אזור רכיב פעיל נשאר בתוך רקע הבגד. דחו את הדגימה המנותחת אם אזור רכיב צבעוני חורג אל הקיר הסובב, הרצפה, הווילון או כל אזור רקע אחר. רשמו את מזהה התמונה שנדחתה ואת שגיאת הניתוח ב-parsing_quality_log.csv.
  8. חשבו את יחס כיסוי הרקע עבור כל רכיב וסמנו רכיבים בעלי אזורים מקוטעים או אזורים מבודדים שאינם נתמכים לבדיקה ידנית.
  9. שמרו את טנזור התגובה הסמנטית ב-parser_outputs/logits. שמרו את מפת ההסתברות ב-parser_outputs/probability_maps. שמרו תצוגה מקדימה של רכיבים מקודדי צבעים ב-parser_outputs/previews.
  10. פלט צפוי: ודאו שכל תמונה שהתקבלה מפיקה מפת הסתברות אחת בעלת שבעה ערוצים המוגבלת לרקע בגודל מרחבי של 512 x 512 פיקסלים, טנזור תגובה סמנטי אחד בעל שבעה ערוצים, ותמונת תצוגה מקדימה אחת. ודאו שאינדקסי הערוצים אחד עד שבעה עוקבים אחר סדר הרכיבים הקבוע שהוגדר בשלב 3.4. ודאו שכל אזורי הרכיבים הצבעוניים נשארים בתוך רקע הבגד ושפיקסלי רקע הם בעלי הסתברות רכיב אפס. ודאו שמזהה הקובץ תואם לרשומה המתאימה במניפסט המקור.
    הערה: שמרו על הסתברויות רכיבים רציפות בתוך רקע הבגד במהלך המידול המבני. התייחסו לאזורים שנוצרו כאזורי ניתוח ויזואליים. אין לפרש את גבוליהם כקווי תפר, קווי גזירה, קווי מתאר של חלקי תבנית, פנימיים (darts), סימני חיתוך (notches) או התייחסויות לדירוג מידות (grading references).
    ​פתרון בעיות: אם כל הערוצים מראים הסתברויות אחידות כמעט לחלוטין, בדקו את ה-parser_checkpoint, את סדר ערוצי ה-RGB ואת נרמול התמונה. אם רכיב נשאר חסר לאורך תת-קבוצה שלמה, השוו את אינדקס האנוטציה עם אינדקס ערוץ הפלט של המנתח. אם צבעי רכיבים חורגים לרקע, בדקו את יישור מסיכת הרקע, את הגדרות האינטרפולציה ואת קואורדינטות האנוטציה לפני בניית הגרף. אם אזור ויזואלי משתרע על פני מספר אזורי בגד שאינם קשורים, סמנו את הדגימה ככישלון ניתוח והסירו אותה מיצירת ה-structural-prior. אם הסתברויות הערוצים אינן מסתכמות לאחד, החילו softmax לאורך ממד הערוצים ולא לאורך אחד מהממדים המרחביים. אם קובץ פלט חסר, אתרו את המזהה המעובד האחרון בלוג של המנתח והסמירו את הניתוח מהמזהה הבא.

4. מידול גיאומטריית רכיבים וקשרים מרחביים ברמת התמונה

  1. טענו את הטנזור של מאפייני החזות הרדודים ואת מפת ההסתברות P המתאימה עבור כל תמונה.
  2. כפילו כל וקטור מאפיינים מרחבי בהסתברות שהוקצתה לרכיב הסמנטי המתאים.
  3. סכמו את וקטורי המאפיינים המשוקללים על פני הממדים המרחביים וחלקו את הסכום במסת ההסתברות הכוללת של הרכיב.
  4. הקצו וקטור אפס ומסמן צומת-לא-פעיל לכל רכיב עם מסת הסתברות אפסית.
  5. בצעו נורמליזציית L2 לכל שיבוץ (embedding) של רכיב פעיל וערמו את השיבוצים לפי סדר הרכיבים הסמנטיים הקבוע.
  6. חשבו את קואורדינטות המרכז האופקיות והאנכיות במישור התמונה של כל רכיב חזותי מתוך התפלגות ההסתברות שלו המוגבלת לקדמה (foreground-restricted). נרמלו את הקואורדינטות לפי רוחב התמונה וגובה התמונה.
  7. חשבו את הפריסה (spread) האופקית והאנכית במישור התמונה של כל רכיב חזותי באותה מערכת קואורדינטות מנורמלת. השתמשו בערכים אלו רק כדי לתאר את היקף האזור הגלוי בתמונה המעובדת.
  8. צרו שבעה צמתי גרף לפי סדר הרכיבים הקבוע והשאירו רכיבים לא פעילים כצמתי אפס. בנו מטריצת גבול-משותף של 7 x 7 באמצעות מגע שמונה-שכנים בין מסכות רכיבי הקדמה. בנו מטריצת סדר-אנכי של 7 x 7 באמצעות היחסים הקבועים מ-Upper Trim Region ל-Neckline Region, מ-Neckline Region ל-Bodice Region, מ-Bodice Region לכל אזור של בגד פלג גוף תחתון, ומכל אזור של בגד פלג גוף תחתון ל-Hem Region. שמרו כל יחס תקף בשני הכיוונים.
  9. הוסיפו לולאת עצמי (self-loop) עבור כל צומת פעיל לפני קונבולוציית הגרף, והשאירו יחסים המחוברים לצמתים לא פעילים על אפס.
  10. חשבו את ההעתקה המרכזית היחסית ואת הפיזור המרחבי היחסי בין כל זוג סדור של רכיבים סמנטיים. ערמו את הערכים הגיאומטריים הזוגיים כדי ליצור את טנזור היחסים הגיאומטריים.
  11. חשבו את מכפלת הסקלרים (dot product) בין כל זוג שיבוצי רכיבים מנורמלים. בצעו softmax לפי שורות במטריצת הדמיות התוצאה והשתמשו בערכים כמשקולות יחסים.
  12. כפילו את טנזור היחסים הגיאומטריים במשקולות היחסים המתאימות וקבצרו את היחסים המשוקללים עבור כל רכיב.
  13. שמרו את מטריצת שיבוץ הרכיבים, מטריצת מרכז הרכיבים, מטריצת הפיזור המרחבי, מטריצת הגבול-משותף, מטריצת הסדר-האנכי, מטריצת לולאת-העצמי, מטריצת משקולות-היחסים, מסכת הצמתים הלא-פעילים, מיפוי תוויות הרכיבים והייצוג של המידע המבני המוקדם (structural prior representation) ב-structural_priors. שמרו כל מטריצה עם שבע שורות ושבע עמודות במידת הרלוונטיות. תהליך הבנייה המלא ממפת הרכיבים המוגבלת לקדמה ועד לייצוג המבני המוקדם של טופולוגיית רכיבי הבגד ברמת התמונה מוצג ב-איור 2.
  14. ייצרו את שכבת גרף הרכיבים (graph overlay) עבור כל דגימת ויזואליזציה מתוך מפת ההסתברות המוגבלת לקדמה, מטריצת מרכז הרכיבים, מטריצת הסמיכות המתוייגת, מסכת הצמתים הלא-פעילים ומיפוי תוויות הרכיבים.
  15. מקמו כל צומת פעיל במרכז הרכיב המתאים. ציירו קשתות רצופות עבור גבולות קדמה משותפים וקשתות מקווקוות עבור יחסי סדר-אנכי שהוגדרו מראש.
  16. שמרו כל שכבת גרף ב-structural_priors/visualizations באמצעות המזהה של תמונת המקור. רשמו את נתיב תמונת המקור, נתיב מפת ההסתברות, נתיב מרכז הרכיב, נתיב הסמיכות המתוייגת, נתיב מסכת הצמתים הלא-פעילים, מזהה נקודת הבקרה (checkpoint) של הניתוח הסמנטי ונתיב שכבת הגרף ב-component_graph_visualization_manifest.csv.
  17. פלט צפוי: ודאו שכל תמונה מייצרת מטריצת שיבוץ רכיבים עם K שורות, מטריצת סמיכות מתוייגת עם K שורות ו-K עמודות, מטריצת משקולות-יחסים עם K שורות ו-K עמודות, מסכת צמתים לא-פעילים עם K ערכים, וייצוג מבני מוקדם אחד ברמת התמונה. ודאו שכל דגימת ויזואליזציה שנבחרה מייצרת שכבת גרף רכיבים שבה צמתים פעילים נשארים בתוך אזורי הבגד המתאימים.
    הערה: שמרו על אותו סדר רכיבים חזותיים בכל המטריצות, המניפסטים, הגרפים, קבצי המאפיינים ושכבות הגרף. התייחסו למרכזי רכיבים, ערכי פריסה מרחבית ויחסי גרף כמתארים של אזורי בגד במישור התמונה. אין לפרש את גרף הרכיבים כשלד של תנוחה אנושית או להסיק את צומתיו מקואורדינטות של מפרקים אנטומיים. אין להמיר מתארים אלו לאורכי תפרים, רדיוסים של קימורים, נתוני פנסים (dart intake), מיקומי סימוני חיתוך (notch), כיווני חוט השער, מדרגות מידה (grading increments) או מימדי חלקי גזרה.
    ​פתרון בעיות: אם מטריצה מכילה ערך שאינו מספרי, בדקו את המכנה של מסת ההסתברות ואת נורמליזציית הקואורדינטות. אם משקולות היחסים מתרכזים ברכיב אחד, החסירה את המקסימום של השורה ממטריצת הדמיות לפני ה-softmax. אם מספר צמתי הגרף שונה בין תמונות, ודאו שרכיבים לא פעילים נשארים כווקטורי אפס במקום להיות מוסרים.

5. קידוד מאפיינים מודע-מבנה בשני זרמים

  1. טען את משקולות ה-ResNet-50 שאימנו מראש על ImageNet והסר את שכבות האיסוף (pooling) והסיווג הסופיות.
  2. העבר כל תמונת בגד מנורמלת דרך ResNet-50 והפק את טנזור המראה משלב השדרה (backbone) שמוגדר על ידי appearance_stage בקובץ configs/protocol.yaml. ודא את שם השלב, מספר ערוצי הפלט והממדים המרחביים של הפלט המיוצרים על ידי שלב השדרה שנבחר עבור תמונת קלט של 512 x 512 פיקסלים. השתמש באותו שלב בכל הרצות האימון, ההסקה (inference), האבלאציה וההשוואה.
  3. שנה את גודלו של מפת ההסתברות הסמנטית לגודל המרחבי של טנזור מאפייני המראה באמצעות אינטרפולציה ביליניארית. הכפל את טנזור מאפייני המראה בכל מפת הסתברות רכיב שגודלה שונה, ולאחר מכן סכום את התגובות המשוקללות על פני הממדים המרחביים.
  4. העבר כל שיכון (embedding) של מראה רכיב דרך שכבת כיול הערוצים (channel-recalibration) המוגדרת ב-configs/protocol.yaml. רשום את סוג השכבה, ממד הקלט, ממד הפלט, יחס ההפחתה (reduction ratio), פונקציית ההפעלה וכלל שיתוף הפרמטרים. ערם את שבעת וקטורי הרכיבים שהתקבלו בסדר הסמנטי הקבוע כדי ליצור את מטריצת מאפייני המראה.
  5. העבר כל וקטור יחס גיאומטרי דרך שכבת ההטלה המבנית (structural projection) והגדר את ממד הפלט ל-512. בנה את גרף הרכיבים באמצעות מטריצת משקולות היחסים ומסכת הצמתים הבלתי פעילים (inactive-node mask).
  6. החל שתי שכבות קונבולוציה של גרפים (graph convolutional layers) עם ממד קלט של 512 וממד פלט של 512. החל נורמליזציה של אצוות (batch normalization) לאחר כל שכבת קונבולוציה של גרפים ולאחר מכן החל LeakyReLU. רשום את ערך השיפוע השלילי שבו השתמשה פונקציית ה-LeakyReLU. החל את מסכת הצמתים הבלתי פעילים לאחר כל שכבה כדי לשמור על מאפייני אפס עבור רכיבים בלתי פעילים.
  7. החל יישור סמנטי (semantic alignment) עם שיכוני הרכיבים המנורמלים וערם את הווקטורים שהתקבלו כדי ליצור את מטריצת המאפיינים המבנית.
  8. פלט צפוי: ודא שכל תמונה מייצרת מטריצת מאפייני מראה אחת ומטריצת מאפיינים מבנית אחת. ודא ששתי המטריצות מכילות K שורות ו-512 עמודות.
    הערה: שמור על רכיבים בלתי פעילים כווקטורי אפס ושמור על סדר הרכיבים שנקבע במהלך בניית הפריור המבני.
    פתרון בעיות: אם שתי מטריצות המאפיינים מכילות מספר שורות שונה, בדוק את מיפוי הקטגוריות הסמנטיות ואת הטיפול בצמתים בלתי פעילים. אם כפל מטריצות מדווח על שגיאת ממד, ודא שפלט ההטלה המבנית וממדי ערוצי המראה הם שניהם 512. אם מאפיינים מבניים נשארים אפס עבור כל הרכיבים הפעילים, ודא שקשתות הגרף ומשקולות היחסים נוספו לאצווה הנוכחית.

6. מיזוג מאפיינים מונחה-מבנה

  1. יש להחיל את רצף מיזוג המאפיינים המונחה-מבנה המוצג ב-איור 3. העבירו את מטריצת המאפיינים המבנית דרך שכבת משקלי המיזוג והשבילו את פונקציית ההפעלה שמוגדרת על ידי fusion_activation ב-configs/protocol.yaml. רשמו את שם ההפעלה, ממד הקלט, ממד הפלט, והאם הפרמטרים משותפים בין שבעת צמתי הרכיבים.
  2. אמתו כי מטריצת המשקלים המבנית שנוצרה מכילה K שורות ו-512 עמודות.
  3. הכפילו את מטריצת מאפייני המראה במטריצת המשקלים המבנית, איבר מול איבר.
  4. שרשרו את מטריצת המראה המודולית ואת מטריצת המאפיינים המבנית לאורך ממד הערוץ.
  5. שרשרו את וקטור המראה המודולי בן 512 הממדים ואת הווקטור המבני בן 512 הממדים עבור כל רכיב כדי ליצור וקטור בן 1024 ממדים. העבירו את הווקטור המשורשש דרך שכבת היטל המיזוג והקטינו את ממדו מ-1024 ל-512.
  6. הוסיפו את מטריצת המאפיינים המבנית המקורית למטריצה המהוטלת באמצעות חיבור שאריתי (residual connection).
  7. ערמו את וקטורי הרכיבים הממוזגים בסדר הסמנטי הקבוע והשבילו נורמליזציית L2 לייצוג המשטח המודע-מבנה.
  8. שמרו את מטריצת המשקלים המבנית, מטריצת המראה המודולית, מטריצת הרכיבים הממוזגת והייצוג הסופי המודע-מבנה ב-feature_outputs.
  9. פלט צפוי: ודאו כי כל תמונה מייצרת מטריצת רכיבים ממוזגת אחת עם K שורות ו-512 עמודות, ווקטור מאפיינים נורמליזציוני אחד מודע-מבנה המקושר למזהה תמונת המקור.
    הערה: שמרו את מטריצת המשקלים המבנית ואת מטריצת הרכיבים הממוזגת לצורך ויזואליזציה של התגובה וניתוח הפרשים מקומיים.
    ​פתרון בעיות: אם הערכים הממוזגים ממשיכים לגדול, בדקו את פלט ההפעלה ואת שכבת הנורמליזציה. אם כל המשקלים המבניים שואפים לאותו ערך, ודאו שמאפיינים מבניים משתנים בין התמונות וששכבת המיזוג מקבלת גרדיאנטים. אם קבצי המאפיינים ומזהי התמונות אינם תואמים, בנו מחדש את מניפסט הפלט לפני האימון או לפני הערכת השליפה.

7. אימון המודל ואופטימיזציה של העקביות

  1. טענו את חמשת ערכי זרעי האקראיות (random seed) הרשומים ב-configs/seeds.yaml. עבור כל הרצה, הגדירו את אותו זרע אקראיות עבור Python, NumPy, פעולות PyTorch CPU וכל התקני ה-CUDA. הפעילו אלגוריתמים דטרמיניסטיים, ביטלו את מצב ה-benchmark של cuDNN, ורשמו את חמשת ערכי הזרעים המדויקים בספריית ההרצה המתאימה.
  2. טענו את המניפסט של האימון המעובד, מניפסט הזיווגים, מפות ההסתברות והקדמונים המבניים (structural priors).
  3. בנו כל אצווה (batch) של אימון עם שמונה קטגוריות מבניות וארבעה דגימות בעלות מראה משתנה מכל קטגוריה.
  4. חשבו את הפסד העקביות המבנית (structural consistency loss) מזוגי דגימות חיוביים השותפים לאותו קדמון מבני.
  5. חשבו את הפסד עקביות הקשר המבני (structural relationship consistency loss) מהמרחקים הזוגיים בין תכונות הרכיבים.
  6. חשבו את הפסד ההבחנה המבנית (structural discrimination loss) מזוגי דגימות שליליים בעלי מבנים הטרוגניים והשלימו את סף ההפרדה של 0.3.
  7. שלבו את יעד המראה, יעד העקביות המבנית, יעד הקשר המבני ויעד ההבחנה המבנית עם המשקולות השמורים ב-configs/protocol.yaml. תהליך האופטימיזציה של מרחב התכונות המנוהל על ידי שלושת היעדים המבניים מוצג ב-איור 4.
  8. הריצו python train.py --config configs/protocol.yaml. עדכנו את כל הפרמטרים הניתנים לאימון באמצעות descenso גרדיאנט סטוכסטי של מיני-אצוות (mini-batch SGD), תוך שימוש בקצב הלמידה הראשוני, המומנטום, דעיכת המשקולות (weight decay), מספר האיפוכים (epochs), מקדם הדעיכה ואיפוכי הדעיכה שהוגדרו בשלב 1.8. רשמו את קצב הלמידה לאחר כל איפוק ביומן האימון.
  9. רשמו את הפסד הכולל, הפסד המראה, הפסד העקביות המבנית, הפסד הקשר המבני, הפסד ההבחנה המבנית, קצב הלמידה, מדד העקביות המבנית (SCI), מדד ההבחנה המבנית (SDI) ו-Recall@5 לאחר כל איפוק.
  10. העריכו את המודל על validation_manifest.csv לאחר כל איפוק. שמרו את נקודת הבקרה (checkpoint) הקשורה ל-SCI הגבוה ביותר בתיקוף ב-checkpoints/selected_model.pth.
  11. חזרו על האימון חמש פעמים עם חמשת זרעי האקראיות הרשומים. שמרו כל קובץ הגדרה, יומן אימון ונקודת בקרה נבחרת בספריית הרצה נפרדת.
  12. פלט צפוי: ודאו שכל הרצה מייצרת יומן אימון, יומן תיקוף, קובץ מדדים ברמת האיפוק ונקודת בקרה נבחרת אחת. ודאו שנקודת הבקרה הנבחרת מבוססת על ביצועי תיקוף ולא על ביצועי בדיקה.
    הערה: השתמשו באותם מניפסטים של אימון, תיקוף ובדיקה בכל השוואת מודלים וניסוי אבלציה (ablation experiment).
    ​פתרון בעיות: אם הפסד הופך לערך שאינו מספרי, הפסיקו את האימון, בחנו את מסות ההסתברות של הרכיבים, הפחיתו את קצב הלמידה פי 10, והתחילו מחדש מנקודת הבקרה התקינה האחרונה. אם ה-SCI בתיקוף נשאר ללא שינוי בעוד הפסד האימון יורד, ודאו שפרמטרי הפצת הגרף והמיזוג מקבלים גרדיאנטים. אם זיכרון הגרפיקה (VRAM) התמלא, הפחיתו את גודל האצווה ושמרו על גודל אצבעה אפקטיבי של 32 באמצעות צבירת גרדיאנטים (gradient accumulation). אם ביצועי התיקוף משתנים בחדות בין הרצות, ודאו את זרע האקראיות הרשום ואת סדר המניפסט של הנתונים.

8. הסקה, שליפה, קיבוץ ואימות פלט

  1. הפעילו את הפקודה python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth. הפיקו מפות הסתברות, פריוריים מבניים (structural priors), מטריצות תכונות של מראה, מטריצות תכונות מבניות, מטריצות רכיבים ממוזגים (fused component matrices) ווקטורי תכונות סופיים עבור כל תמונת מבחן.
  2. שמרו את כל פלטי ההסקה תחת feature_outputs/test ורשמו את נתיביהם בתוך test_feature_manifest.csv. חשבו את דמיון הקוסינוס (cosine similarity) בין כל תכונת שאילתה לכל תכונות הגלריה. מיינו את מזהי הגלריה לפי סדר דמיון יורד. שמרו את חמש התוצאות בעלות הדירוג הגבוה ביותר עבור כל שאילתה ב-evaluation_results/retrieval_results.csv.
  3. עבור כל דגימת שליפה שנבחרה לוויזואליזציה, טענו את מטריצת הסמיכות המתוייגת (typed adjacency matrix), מטריצת משקלי היחסים, מטריצת מרכזי הרכיבים, מסיכת צמתים לא פעילים, מיפוי תוויות רכיבים ומטריצת רכיבים ממוזגת של תמונת השאילתה. טענו את אותם הקבצים עבור התוצאה בעלת הדירוג הגבוה ביותר שהופקה על ידי המודל המודע-מבנה.
  4. רנדרו את גרף רכיבי השאילתה ואת גרף רכיבי התמונה שנשלפה ממרכזי הרכיבים וממטריצות הסמיכות המתוייגות השמורות שלהם. שמרו על סדר הרכיבים הקבוע וסוגי היחסים ששימשו במהלך הסקת המודל.
  5. רנדרו את מטריצת הסמיכות המתוייגת של השאילתה כמטריצה קטגוריאלית. השתמשו בערכי מטריצה נפרדים עבור יחסים של צמתים לא פעילים, גבול משותף וסדר אנכי. תייגו את הצירים האופקיים והאנכיים באמצעות מזהי הרכיבים השמורים במיפוי תוויות הרכיבים.
  6. הפעילו נורמליזציית L2 על מטריצת הרכיבים הממוזגת של השאילתה ועל מטריצת הרכיבים הממוזגת של התמונה שנשלפה. חשבו את דמיון הקוסינוס בין כל רכיב שאילתה לכל רכיב בתמונה שנשלפה. שמרו את מטריצת התאמת הרכיבים K × K שהתקבלה ב-evaluation_results/structural_retrieval_evidence.
  7. עבור כל זוג רכיב-מטרה שנבחר לניתוח הפרשים מקומיים, טענו את מטריצת הסמיכות המתוייגת, מטריצת מרכזי הרכיבים, מטריצת הפיזור המרחבי, מטריצת משקלי היחסים ומטריצת הרכיבים הממוזגת של שתי התמונות.
  8. חשבו את ההפרש המוחלט בין שתי מטריצות הסמיכות המתוייגות. חשבו את ההפרשים המוחלטים בהעתקת מרכזי הרכיבים, בפיזור המרחבי ובמשקלי היחסים תוך שימוש בסדר הרכיבים הקבוע. שמרו את מטריצת הפרשי הטופולוגיה ומטריצת הפרשי היחסים הגיאומטריים שהתקבלו ב-evaluation_results/structural_difference_evidence.
  9. חשבו את מרחק L2 בין שורות תואמות של שתי מטריצות הרכיבים הממוזגות. נרמלו את המרחקים ברמת הרכיב והקצו אותם לצמתים של גרף רכיבי המטרה. הגדילו את רוחב הקשת בהתאם להפרש הנורמלי במשקל היחס. שמרו את גרף הפרשי הרכיבים לאחר המיזוג שהתקבל.
  10. רשמו את מזהי התמונות, נתיבי המטריצות, נתיבי הגרפים, סדר הרכיבים, מזהה ה-checkpoint ונתיבי פלטי הוויזואליזציה ב-structural_visualization_manifest.csv. הפיקו את כל הוויזואליזציות המבניות באופן תכנותי מהקבצים הרשומים; אין להוסיף צמתי גרף, קשתי גרף או ערכי מטריצה באופן ידני.
  11. הפעילו K-Means עם חמישה אשכולות (clusters) על וקטורי התכונות הסופיים ושמרו את השיוכים לאשכולות ב-evaluation_results/cluster_assignments.csv. הפעילו את הפקודה python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test.
  12. חשבו את ה-SCI, SDI, Recall@5, ה-mean Average Precision (mAP) ומקדם הסילוואט (silhouette coefficient) עבור כל הרצה. השתמשו ב-SCI כדי להעריך את הדחיסות של תכונות נורמליות השותפות לאותה תווית מבנית, והשתמשו ב-SDI כדי להעריך את ההפרדה בין תוויות מבניות שונות. השתמשו ב-Recall@5 כדי להעריך אם התאמה מבנית רלוונטית מופיעה ברשימת השליפה הקצרה, והשתמשו ב-mAP כדי להעריך את איכות הדירוג בכל הגלריה. השתמשו במקדם הסילוואט רק עבור ניתוח האשכולות.
  13. חשבו את הממוצע האריתמטי ואת סטיית התקן של המדגם עבור חמש הרצות עצמאיות. שמרו את חמשת הערכים ברמת ההרצה עבור כל שיטה ומדד. אין לבצע נורמליזציית min-max, נורמליזציית דרגות או שינוי קנה מידה המבוסס על השיטות המושוות. בצעו מבחן t מזווג באמצעות תוצאות שהושגו תחת אותו זרע אקראי (random seed) ורשמו את סטטיסטיקת המבחן ואת ערך המובהקות המדויק הדו-צדדי.
  14. השוו את מספר מזהי המבחן שעובדו, קבצי התכונות, רשומות השליפה והשיוכים לאשכולות. פתרו כל אי-התאמה לפני דיווח או פרשנות של תוצאות ההערכה.
  15. פלט צפוי: ודאו שלכל תמונת מבחן יש רשומת הסקה אחת מלאה, רשימת שליפה אחת, שיוך לאשכול אחד וסט אחד של קלטי הערכה. ודאו שלכל מקרה שליפה שנבחר לוויזואליזציה יש גרף רכיבי שאילתה, גרף רכיבי תמונה שנשלפה, מטריצת סמיכות מתוייגת ומטריצת התאמת רכיבים ממוזגת.
  16. ודאו שלכל מקרה של הפרש מבני יש מטריצת הפרשי טופולוגיה, מטריצת הפרשי יחסים גיאומטריים, גרף הפרשי רכיבים לאחר מיזוג, מפת חום של הפרש מרחבי ושכבת תגובה (response overlay). ודאו שכל קבצי הוויזואליזציה מקושרים למטריצות המקור שלהם דרך structural_visualization_manifest.csv. שמרו את מפת החום הנקייה, את שכבת התמונה-המטרה, את מסיכת הרקע (foreground mask) ואת קואורדינאטות אזור התגובה העליון עבור כל מקרה שהוצג בוויזואליזציה.
  17. קבלו תגובת הפרש מחושבת רק כאשר אזור התגובה הגבוה השולט חופף לרקע הבגד ונשאר נתמך על ידי השינוי התואם בסמיכות המתוייגת, השינוי ביחס הגיאומטרי וראיית מרחק הרכיבים לאחר המיזוג. אם התגובה החזקה ביותר נופלת בעיקר מחוץ לרקע הבגד, בדקו את פלט הניתוח (parsing output), את גרף הרכיבים ואת רשומת המיזוג.
    הערה: השתמשו ב-checkpoint שנבחר מסט האימות (validation set) עבור הסקה על סט המבחן. אין לבחור או להחליף checkpoint לפי מדדי סט המבחן. השתמשו באותו סדר רכיבים, כלל צמתים לא פעילים, קידוד סוגי יחסים ותהליך נורמליזציה בעת יצירת גרפים ומטריצות במהלך ההסקה והוויזואליזציה.
    ​פתרון בעיות: אם ההסקה נעצרת לפני עיבוד כל תמונות המבחן, אתרו את המזהה האחרון ביומן ההסקה והמשיכו מהמזהה הבא. אם תוצאות השליפה נשלטות על ידי דמיון בצבע, בדקו את פלטי הפריורי המבני והמיזוג, וודאו שטעינת ה-checkpoint הצליחה. אם ההערכה מדווחת על מזהים כפולים, בנו מחדש את test_feature_manifest.csv והסירו רשומות כפולות לפני החישוב מחדש. אם K-Means מייצר אשכול ריק, ודאו את נורמליזציית התכונות והריצו שוב את האשכולה עם הזרע האקראי הרשום.

9. הערכה השוואתית של מודלים

  1. הריצו את הפקודה python compare_models.py --config configs/protocol.yaml.
  2. אמנו והעריכו את ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Topology Feature Histogram with Color and Texture Fusion, Attention-Guided Cascade Network, MMFL-Net, FARE-RNET, ואת השיטה המוצעת עם אותם מניפסטי אימון, תיקוף ובדיקה.
  3. השתמשו באותו גודל תמונה, פעולות עיבוד מקדמי, עידני אימון (epochs), גודל אצווה (batch size) אפקטיבי, שאילתות הערכה ומימוש מדדים עבור כל שיטה.
  4. שמרו על global average pooling עבור ResNet-50. השתמשו ב-horizontal-strip alignment ב-PCB. השתמשו בגרף בגד קבוע ברמת התמונה ב-GCN. השתמשו ב-attribute-guided dynamic graph inference ב-FashionGraph. השתמשו במקודדי התמונה הסטנדרטיים של Swin Transformer ו-CLIP. ממשו את Topology Feature Histogram with Color and Texture Fusion באמצעות מתארי טופולוגיה, צבע ומרקם. ממשו את Attention-Guided Cascade Network באמצעות ענפי מאפיינים גלובליים ומקומיים עם חלוקת בגדים (garment parsing). ממשו את MMFL-Net באמצעות ענפי מאפיינים רב-קנה-מידה ורב-גרנולריות. ממשו את FARE-RNET באמצעות residual attention, בחירת מאפיינים וקידוד הקשרי מורחב (dilated contextual encoding).
  5. השתמשו רק בענף השאילתה-תמונה (image-query branch) של כל שיטת השוואה. אמנו מחדש כל שיטה ניתנת לאימון על מניפסט האימון המשותף ובחרו את נקודת השמירה (checkpoint) שלה ממניפסט התיקוף המשותף. הפיקו רשימת גלריה מדורגת עבור כל שאילתת בדיקה.
  6. הטילו כל שיכון (embedding) נלמד ל-512 ממדים באמצעות שכבה ליניארית ניתנת לאימון רשומה, כאשר ממדו המקורי שונה. בצעו נורמליזציית L2 לפני דירוג דמיון קוסינוס (cosine-similarity). השתמשו באותה השמה של שאילתה-גלריה ובאותו מימוש מדדים עבור כל השיטות.
  7. חזרו על כל שיטת השוואה עם אותם חמישה זרעי אקראיות (random seeds). דווחו על הממוצע וסטיית התקן של המדגמים עבור SCI, SDI, Recall@5, mAP ומקדם הסילואט (silhouette coefficient). עבור כל מדד, בצעו מבחן t מזווג דו-צדדי בין השיטה המוצעת לכל שיטת השוואה באמצעות תוצאות שהתקבלו תחת אותו זרע אקראיות. רשמו את חמשת הערכים ברמת ההרצה, את סטטיסטיקת המבחן, את דרגות החופש ואת ערך ה- p המדויק בקובץ evaluation_results/comparison_metrics.csv.
  8. חשבו את SCI, SDI, Recall@5, mAP ומקדם הסילואט עבור כל שיטה. שמרו את כל ערכי רמת ההרצה והערכים המaggregated בקובץ evaluation_results/comparison_metrics.csv.
  9. פלט צפוי: וודאו שקובץ comparison_metrics.csv מכיל את אותם שדות מדדים ואת אותו מספר הרצות עצמאיות עבור כל שיטת השוואה.
    הערה: אין לשנות את חלוקות הנתונים, קוד המדדים או השמת השאילתה-גלריה בין שיטות ההשוואה.
    פתרון בעיות: אם מודל השוואה מייצר ממד מאפיינים שאינו 512, הוסיפו שכבת היטלה ליניארית רשומה אחת לפני חישוב המדד ואמנו שכבה זו עם המודל המתאים. אם מודל אינו מתכנס תחת קצב הלמידה המשותף, השתמשו בקצב הלמידה שצוין במימוש שפורסם שלו ושמרו על כל שאר התנאים הניסיוניים. רשמו כל הגדרה ספציפית לשיטה ביומן ההשוואות.

תוצאות

כל הניסויים שדווחו בוצעו תוך שימוש בסביבת החומרה והתוכנה המתועדת ב- טבלה 2 ו-ה טבלת חומריםאותן גרסאות של מנהל התצוגה הגרפית, CUDA, cuDNN, Python, NumPy, PyTorch ו-torchvision שימשו לאורך כל שלבי העיבוד המקדים, האימון, ההסקה וההערכה. סביבת החומרה והתוכנה המלאה מסוכמת ב- טבלה 2 ו- טבלת חומרים. טבלה 1 מסכם את מערכי הנתונים המעובדים לאימון, תיקוף ובדיקה, יחד עם סטטיסטיקות טופולוגיות ברמת התמונה. טבלה 2 מסכם את התצורה הנפוצה המשמשת עבור כל שיטות ההשוואה.

תוצאות הערכה השוואתית

ההערכה ההשוואתית התבססה על חלוקות הנתונים הנפוצות, פעולות עיבוד מקדמי, בקרות אימון והגדרות מדדים שפורטו בסעיפים 7–9 של הפרוטוקול. Table 3 משווה בין מקודדי ראייה כלליים, מודלים המיושרים לחלקים, ייצוגי בגדים מבוססי גרפים, רשתות אחזור אופנה חוצות-דומיין, שיטות היתוך טופולוגיה ומראה, ושיטות אחזור חזותי למסחר אלקטרוני, כאשר כולן הוערכו באמצעות פרוטוקול תשאול תמונות זהה. השיטות הספציפיות לדומיין כוללות את Topology Feature Histogram with Color and Texture Fusion (TFH-CT), Attention-Guided Cascade Network (AGC-Net), Multi-scale and Multi-granularity Feature Learning Network (MMFL-Net), ו-Fashion Retrieval using Residual Network with Egret Swarm Optimization (FARE-RNET). כל מדדי ההערכה ב-Table 3 מדווחים כממוצע וסטיית תקן של המדגם לאורך חמש הרצות עצמאיות תוך שימוש באותם זרעים אקראיים (random seeds), מניפסט אימון, מניפסט תיקוף, מניפסט בדיקה, הקצאת שאילתה-גלריה ומימוש מדדים. ערכי ה-p-הזוגיים חושבו בנפרד עבור SCI, SDI, Recall@5, mAP ומקדם הסילואט (silhouette coefficient) על ידי השוואת כל שיטה לשיטה המוצעת תחת תנאי זרעים אקראיים תואמים. תוצאות אלו מספקות את הבסיס הכמותי לניתוחי הוויזואליזציה המבנית, האחזור, הצבירה והניתוחים המכווני-עיצוב שיבואו בהמשך.

תוצאות פרוטוקול מייצגות ופירושן

ביצוע מוצלח של הפרוטוקול יבוא לידי ביטוי כאשר גרף הרכיבים ברמת התמונה, המשוחזר מקבצי הניתוח (parsing) והגרף השמורים, ימקם כל צומת פעיל בתוך אזור הבגד התואם לו וישמר את סוגי הקשרים הרשומים במטריצת הסמיכות המגולמת (typed adjacency matrix), כפי שמוצג ב- איור 5Cהתגובה המודעת למבנה צריכה להישאר מרוכזת בחזית הבגד, כפי שמוצג ב- איור 5D. איור 6E מציג תוצאת שליפה צפויה שבה השיטה המוצעת מפחיתה את השפעת הרקע האדום ושולפת פריטי לבוש לחלק העליון של הגוף במקום חפצים אדומים שאינם קשורים. איור 6B–G מדגימה גם כי דירוג השליפה נתמך על ידי יחסי רכיבים ברמת התמונה והתאמת רכיבים לאחר מיזוג. תוצאה זו משקפת שחזור של קטגוריית הבגד הגסה, למרות שאורך השרוול והטופולוגיה המקומית עדיין משתנים בין הדגימות שנשלפו.

מקרי כשל נפוצים כוללים את ההפעלה השולטת בטקסטורה ב-איור 5B, את השליפה המונחית על ידי צבע הרקע בשורה העליונה של איור 6, ואת הפעלת הרקע השיורית ב-איור 7. יש לפרש את איור 7 כמיקום חלקי, מכיוון שהתגובה הדומיננטית עוקבת אחר צללית פלג הגוף התחתון המוגדלת ואת גבול הבגד הימני, בעוד שהפעלה שיורית נשארת באזורי רקע סמוכים. המיקום נחשב כנתמך מבנית רק כאשר מטריצת הפרשי הטופולוגיה, מטריצת הפרשי היחסים הגיאומטריים, גרף הפרשי הרכיבים לאחר היתוך והתגובה המרחבית מזהים אזורי בגד עקביים. נקודה חמה מרחבית ללא שינויים תואמים במטריצה או ברכיבים מעידה על הפרעה ויזואלית ולא על ראיה מבנית.

הרצת פרוטוקול נחשבת לתקפה כאשר כל תמונה מקובלת מניבה מפת הסתברות סמנטית מנורמלת, מטריצת קשרי עם K שורות ו-K עמודות, מטריצות מאפייני מראה ומבנה עם K שורות ו-512 עמודות, ווקטור מאפיינים מאוחד סופי המקושר למזהה התמונה הנכון. בדיקה חזותית צריכה לאשר שהטופולוגיה עוקבת אחר רכיבי הבגד, שהתגובה של הרקע הקדמי עולה על התגובה של הרקע, ושתהליכי השליפה מונחים על ידי קטגוריית הבגד ומבנהו ולא על ידי צבע הרקע. מפות הסתברות מקוטעות, צמתים חסרים של רכיבים, מטריצות שאינן מספריות, תגובות רקע מפוזרות או שליפה הנשלטת על ידי צבע, מעידים על ביצוע לא מוצלח ומחייבים בדיקה של הניתוח (parsing), בניית הגרף, איחוד המאפיינים או טעינת נקודות בקרה (checkpoints).

ניתוח חזותי של תגובות רכיבי ביגוד ברמת התמונה

איור 5 משווה בין baseline של ResNet-50 לבין המודל המודע לרכיבים (component-aware model) תוך שימוש באותה תמונת בגד. איור 5B מציג את מפת הפעלת המחלקה (class activation map) עבור ה-baseline של המראה. איור 5C מציג את גרף רכיבי הבגד ברמת התמונה, ששוחזר ממפת ההסתברות המוגבלת לרקע, מטריצת מרכז הרכיב, מטריצת סמיכות מוגדרת, מסיכת צומת לא פעיל ומיפוי תוויות רכיבים שנוצרו בסעיפים 3 ו-4 של הפרוטוקול. איור 5D מציג את תגובת ההפעלה של הייצוג המאוחד. לא נעשה שימוש במערכת להערכת תנוחת אדם או בסימון מפרקי גוף אנושיים כדי להפיק את איור 5C.

התגובה הבסיסית התרכזה באזורי טקסטורה מקומיים בבגד התחתון ולא עקבה בעקביות אחר הגבול המלא של הבגד, כפי שמוצג ב-איור 5B. ב-איור 5C, כל צומת תואם למרכז של אזור רכיב בגד פעיל, בעוד שכל קשת מייצגת גבול קדמה משותף או יחס סדר אנכי שהוגדר מראש. הגרף משקף את ארגון אזורי הבגד ואינו מייצג מפרקים אנטומיים אנושיים. התגובה המודעת למבנה כיסתה את קדמת הבגד העיקרית תוך שמירה על הפעלה נמוכה יותר ברוב אזורי הרקע, כפי שמוצג ב-איור 5D. תוצאות אלו מעידות על כך שגרף הרכיבים ומודול מיזוג התכונות הפחיתו את ההפעלה הנשלטת על ידי הטקסטורה בתמונה שנבדקה.

תוצאות ניתוח דמיון מבני של ביגוד ותוצאות התייחסות עיצובית

איור 6 מציג את דירוג השליפה יחד עם הראיות המבניות ששימשו לפירושו. גרף רכיבי השאילתה באיור 6B מתעד אזורי ביגוד פעילים ואת הקשרים המוגדרים ביניהם, בעוד שהמטריצה באיור 6C חושפת את תבנית הקשרים שהוזנה לתהליך התפשטות הגרף (graph propagation). תוצאות הבסיס (baseline) באיור 6D נשלטות עדיין על ידי רמזי מראה אדומים. התוצאות המודעות למבנה באיור 6E שומרות על קטגוריית פריט לבוש לחלק העליון של הגוף על פני צבעים ורקעים שונים. גרף הרכיבים של התוצאה בעלת הדירוג הגבוה ביותר באיור 6F מאפשר השוואה ישירה עם גרף השאילתה, ומטריצת ההתאמה באיור 6G חושפת האם רכיבים החולקים מזהים זהים נותרים מיושרים לאחר מיזוג מודרך-מבני. יש לפרש את ההתאמה הדיאגונלית יחד עם צמתים חסרים וקשרים גרפיים ששנו. דמיון מראה חזק ללא התאמה גרפית אינו מהווה שליפה מבנית מוצלחת.

הבגדים ששולפו שומרים על הקטגוריה הגסה, אך הבדלים בתצורת השרוולים ובקשרים בין רכיבים מקומיים מעידים על התאמה דקה שאינה מלאה. השיטה המוצעת השיגה Recall@5 של 89.2% ו-mAP של 86.4%, כפי שדווח ב-טבלה 3. ערכים כמותיים אלו מתארים את ביצועי הדירוג, בעוד ש-איור 6B–G מספק ראיות מבניות ביניים התומכות בפרשנות. לפיכך, מסקנת השליפה מוגבלת לעמידות משופרת להפרעות של צבע הרקע וארגון רכיבים חזק יותר ברמת התמונה תחת השאילתה שנבדקה.

מענה להבדלים מבניים ותמיכה בניתוח תכנון

מפת החום של הפרש התגובה הנקי ב-איור 7H מראה כי התגובה הדומיננטית מרוכזת בקו המתאר המוגדל של פלג הגוף התחתון ובגבול הבגד הימני של תמונת המטרה. השכבה העליונה ב-איור 7I מראה כי התגובה החזקה ביותר נותרת מיושרת עם קדמת הבגד המרכזית, בעוד שהפעלה חלשה יותר באזורי הווילון והקיר הסמוכים נותרת כהפרעה רקעית שיורית. יש לפרש את התגובה המרחבית יחד עם גרף הרכיבים וראיות המטריצה המוצגים ב-איורים 7C–G. תגובה נחשבת כהבדל מבני תקף רק כאשר אזור הבגד בעל התגובה הגבוהה עקבי עם השינוי בסמיכות, השינוי ביחסים הגיאומטריים ותבנית מרחק הרכיבים לאחר מיזוג.

הבדל מבני נחשב למשמעותי רק כאשר שינוי הסמיכות המוקלד ב-איור 7E או שינוי היחס הגיאומטרי ב-איור 7F מלווים במרחק רכיב מוגבר ב-איור 7G ובתגובה מרחבית המיושרת עם הקדמה ב-איור 7H,I. האזור המורחב של פלג הגוף התחתון וגבול הבגד הימני עומדים בקריטריון רב-שלבי זה. הפעלה מעל הווילון והקיר אינה תואמת לשינויים בצמתי הרכיבים, בדפוסי היחסים או במרחקי הרכיבים המאוחדים, ולכן נדחית כהפרעה שיורית שאינה מבנית. התוצאה תומכת במיקום הבדלים ברמת התמונה, אך אינה מעידה על שונות בדפוסי התפירה או בפרמטרי בנייה.

ניתוח התפלגות מרחבית של תכונות וניתוח מקבצים מבניים

ניתוח ההתפלגות של מרחב המאפיינים החבוי (latent feature space) חושף את יכולתו של המודל להבחין בין הסמנטיקה המבנית של הבגדים. ניתוח זה בוחן האם המידע המקדים המבני (structural prior) מארגן פריטי לבוש בעלי תצורות טופולוגיות שונות למניfolds של מאפיינים נפרדים. נבחרו חמש קטגוריות מבניות מייצגות מתוך קבוצת הבדיקה — חולצות עם שרוול קצר, מכנסיים, חצאיות, מעילים ארוכים ושמלות. וקטורי המאפיינים רב-הממדיים הוקרינו על מישור דו-ממדי באמצעות t-distributed stochastic neighbor embedding (t-SNE). הלכידות של דגימות דומות וההפרדה בין דגימות שונות הוערכו כדי לאפיין את הארגון של הסמנטיקה המבנית במרחב המאפיינים. התפלגות ה-t-SNE של מרחב המאפיינים המודע למבנה מוצגת ב-איור 8.

הקרנת ה-t-SNE יצרה חמישה אזורי מאפיינים עיקריים עם חפיפה מוגבלת בין קטגוריות סמוכות, כפי שמוצג ב- איור 8Aדגימות מייצגות המתאימות לחמשת אזורי הקטגוריה מוצגות ב- איור 8Bערך ה-SCI של 0.81 משקף את הדחיסות של דגימות בעלות תווית מבנית זהה, וערך ה-SDI של 0.71 משקף את ההפרדה בין דגימות בעלות תוויות מבניות שונות, כפי שדווח ב- טבלה 3 ונוגלו ב- איור 8מדדים אלו צריכים להיחשב כמדדים של התפלגות במרחב המאפיינים ואינם קובעים באופן ישיר שיעור התראות שווא. חולצות עם שרוול קצר וחצאיות תפסו אזורי עיקר שונים במרחב המאפיינים המוקרן, בעוד שמספר קטן של דגימות נותרו סמוך לגבולות קטגוריה שכנים, כפי שמוצג ב- איור 8Aמכנסיים ושמלות הראו גם הם הפרדה ברורה מקטגוריות שכנות. התפלגות זו מעידה על כך שהמידע המוקדם (prior) של הגרף תרם לארגון מבני ברמת הקטגוריה, מבלי להביא להפרדה מלאה של אשכולות. ההערכה מפרידה בין איכות הייצוג לבין יעילות השליפה. מדד ה-SCI בוחן האם פריטי לבוש בעלי תווית מבנית זהה נותרים דחוסים במרחב המאפיינים הנלמד, בעוד שמדד ה-SDI בוחן האם פריטי לבוש בעלי תוויות מבניות שונות נותרים מופרדים. מדדים אלו תואמים את יעד הייצוג המבני של הפרוטוקול. מדד ה-Recall@5 מודד האם פריט לבוש רלוונטי מבנית מופיע בקרב חמש תוצאות השליפה הראשונות, בעוד ש-mAP מודד את איכות הדירוג על פני כל דגימות הגלריה הרלוונטיות. מדדים אלו תואמים את יעד השליפה עבור התייחסות לעיצוב. מקדם הסילואט (silhouette coefficient) שימש להערכת ביצועי ההאשכולה בלבד, כיוון ש-SCI ו-SDI כבר מאפיינים את הארגון של מרחב המאפיינים.

איור 9 מציג את תוצאות הגולמיות של חמישה הרצות עבור ארבע שיטות מייצגות ללא נרמול בין-שיטתי. איור 9A מציג את ה-SCI וה-SDI בקנה המידה המקורי שלהם, בעוד ש-איור 9B מציג את ה-Recall@5 וה-mAP כאחוזים. סמני ההרצות הבודדות וקווי השגיאה של סטיית התקן מראים את השונות הקשורה לאימון המודל ולא רק את הדירוג המצטבר. קו הבסיס המונחה-מראה השיג SCI של 0.62, בעוד שהשיטה המוצעת השיגה SCI של 0.81 ו-SDI של 0.71 (טבלה 3 ו-איור 9A). תוצאות ה-SCI וה-SDI מעידות על דחיסות חזקה יותר בתוך תווית והפרדה חזקה יותר בין תווית תחת ההגדרה שנבדקה. השיטה המוצעת השיגה Recall@5 של 89.2% ו-mAP של 86.4% (טבלה 3 ו-איור 9B). מדדי אחזור אלו מעריכים תכונות דירוג שונות ומפורשים בנפרד מ-SCI ו-SDI. הסדר העקבי של השיטות בארבעת המדדים מעיד על הלימה בין איכות הייצוג לביצועי האחזור, אך אין בכך כדי לרמוז שהשיפור היחסי זהה בארבעה מממדי ההערכה.

ניסויי השהרה (Ablation) וניתוח יעילות מודולים מבניים

ניסוי האבלציה (ablation experiment) משווה בין המודל המלא לבין גרסאות שבהן הוסרו ה-structural prior או מודול ה-fusion. כל שלושת התצורות משתמשות באותן תמונות ייחוס ומטרה, מה שמאפשר השוואה ישירה של תגובת הרקע וריכוז הלוקליזציה. הגרסה ללא ה-structure prior מסירה את גרף מרכיבי הבגד ברמת התמונה ואת אילוצי הקשרים שלו, ומסתמכת אך ורק על ה-convolutional backbone לחילוץ מאפייני מראה; הגרסה ללא ה-fusion שומרת על הסקת המסקנות מהגרף (graph inference) אך מסירה את פירמידת המאפיינים (feature pyramid), תוך שימוש במאפיינים סמנטיים ברמה גבוהה בלבד. מפות חום של הבדלים חזותיים חושפות את התפקידים הספציפיים של כל מודול בדיכוי רעשים ובהגדרת גבולות; השוואה איכותנית של תגובות הפרש מבני תחת תצורות מודול שונות מוצגת ב-איור 10.

מפות התגובה באיור 10C–E הוצגו באמצעות סולם תגובה משותף והגדרות שכבה (overlay) זהות. הגרסה ללא ה-structure prior הפיקה הפעלה חזקה ברקע השמאלי ובסביב אזורי סביבה שאינם קשורים, כפי שמוצג באיור 10C. הגרסה ללא מודול ההיתוך (fusion module) הפחיתה חלק מהתגובה מחוץ לבגד, אך עדיין שמרה על התפשטות רחבה יותר על הבגד התחתון ובאזור הסביבתי בצד ימין, כפי שמוצג באיור 10D. המודל המלא כיווץ עוד יותר את התגובה הדומיננטית לעבר קדמת הבגד המרכזי, כפי שמוצג באיור 10E. איור 10F ממחיש באופן ישיר את ההבדל בתגובות המוגבלות לקדמה בין הגרסה ללא היתוך לבין המודל המלא, ומראה כי המודל המלא מדכא התפשטות צדית שריתית תוך שמירה על התגובה העיקרית המיושרת עם הבגד. תוצאות אלו מצביעות על כך שה-structure prior הפחית בעיקר רעש סביבתי וכי מודול ההיתוך שיפר עוד יותר את ריכוז התגובה ואת היישור המבני. איור 10E מייצג שיפור יחסי ולא הסרה מוחלטת של הפעלת הרקע.

טבלה 4 מדווחות על SCI, SDI ו-Recall@5 עבור הגרסאות ללא ה-structure prior, ללא מודול ההיתוך (fusion module), ועבור המודל המלא. הסרת ה-structure prior הפחיתה את ה-SCI מ-0.81 ל-0.65 והפחיתה את ה-Recall@5 מ-89.2% ל-74.5%. הסרת מודול ההיתוך הפחיתה את ה-SDI מ-0.71 ל-0.64 והפחיתה את ה-Recall@5 מ-89.2% ל-85.1%, ירידה של 4.1 נקודות אחוז. תוצאות אלו מעידות על כך של-structure prior הייתה השפעה רבה יותר על העקביות המבנית ועל השליפה, בעוד שמיזוג מאפיינים (feature fusion) שיפר את ההתאמה בין מידע על המראה למידע מבני.

ניתוח היעילות משווה בין העלות החישובית של המודל המלא לבין בסיס ההשוואה (baseline) של ResNet-50. בסיס ההשוואה של ResNet-50 דרש 25.6 מיליון פרמטרים ו-4.1 מיליארד פעולות נקודה צפה. המודל המלא המודע למבנה (structure-aware) דרש 29.3 מיליון פרמטרים ו-5.4 מיליארד פעולות נקודה צפה. זמן ההסקה הממוצע היה 15 מילישניות לתמונה עבור בסיס ההשוואה ו-22 מילישניות לתמונה עבור המודל המלא, עלייה של 7 מילישניות. תוצאה זו מצביעה על עלות חישובית מדידה שיש להביאה בחשבון בעת פריסת הפרוטוקול בתהליכי עבודה רגישים לזמן (טבלה 5). משקל האילוץ המבני נקבע מתוך פיצול התיקוף (validation split) לפני הערכת הבדיקה הסופית. מדד ה-Validation Recall@5 נבדק במשקלי אילוץ מבני של 0.1, 0.3, 0.5, 0.8, 1.0, 1.2, 1.5 ו-2.0. משקל של 1.0 נקבע לכל הרצת אימון ובדיקה עוקבת. איור 11 מתעד את הבחירה במשקל אילוץ מבני של 1.0 בהתבסס על התיקוף.

figure-results-1
איור 1: זרימת העבודה הכללית של פרוטוקול למידת תכונות תמונות בגדים מודע למבנה. תמונת הבגד הקלטית מעובדת על ידי ענף תכונות מראה וענף תכונות מבניות המשתמש בניתוח סמנטי ובמידול גרף מרחבי. שני הייצוגים מעובדים על ידי מודול היתוך מונחה-מבנה כדי להפיק את התכונה הסופית המודעת למבנה. הפסד עקביות מבנית, הפסד הבחנה מבנית והפסד קשרי מבנה מגבילים יחד את מרחב התכונות. האיור מראה כיצד מראה הבגד והטופולוגיה של הרכיבים משולבים לאורך תהליך למידת התכונות. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-2
איור 2: בניית טופולוגיה מוקדמת של רכיבי בגד ברמת התמונה. (A) תמונת הבגד הקלט I. (B) מפת רכיבים חזותית מוגבלת לרקע הקדמי P, שבה שבעה צבעים מציינים אזורי בגד ברמת התמונה. כל פיקסלי הרקע מוחרגים מערוצי הרכיבים. (C) גרף יחסי הרכיבים ברמת התמונה G. צמתים מייצגים אזורי בגד גלויים, קווים רצופים מייצגים גבולות משותפים ברקע הקדמי, וקשרים מקווקווים מייצגים סדר אנכי שהוגדר מראש. המפה והגרף תומכים באחזור תמונות ובהשוואת מבנה חזותי. הם אינם מייצגים חלקי תבנית תפירה, גיאומטריית תפרים, מבני פנסים (darts), פרמטרי דירוג או הוראות גזירה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-3
איור 3: מודול מיזוג מאפיינים מונחה-מבנה. המאפיין המבני עובר טרנספורמציה באמצעות מיפוי ליניארי ופונקציית אקטיבציה Ψ כדי להפיק משקל מבני. המשקל המבני מווסת את מאפיין המראה באמצעות כפל איבר-איבר. מאפיין המראה המווסת והמאפיין המבני משרשראים ומושלכים על ידי Wc, ולאחר מכן מתווסף המאפיין המבני השיורי כדי להפיק את מאפיין הרכיב הסופי. האיור מראה כי מידע מבני מווסת את שקלול מאפייני המראה לפני המיזוג הסופי. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-4
איור 4: אופטימיזציה של מרחב התכונות תחת מגבלות עקביות מבניות. (A) דגימות השייכות לאותה מחלקה מבנית נמשכות קרוב יותר באמצעות הפסד העקביות המבנית, בעוד שקשרי הרכיבים הפנימיים שלהן נשמרים על ידי הפסד הקשר המבני. (B) דגימות ממחלקות מבניות שונות נדחקות הרחק זו מזו על ידי הפסד ההבחנה המבנית. האיור מראה כיצד שלושת היעדים המבניים מגבירים במשותף את הדחיסות בתוך המחלקה ואת ההפרדה בין המחלקות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-5
איור 5: תגובות מייצגות של מאפייני ביגוד וויזואליזציה של גרף רכיבים. (A) תמונת הביגוד הקלט. (B) תגובת הפעלת המחלקה (class activation response) של Baseline המראה המבוסס על ResNet-50. (C) גרף רכיבי הביגוד ברמת התמונה ששוחזר ממפת הרכיבים המוגבלת לרקע, מטריצת מרכזי הרכיבים, מטריצת סמיכות מתוייגת, מסיכת צמתים לא פעילים ומיפוי תוויות רכיבים, שנשמרו במהלך סעיפים 3 ו-4 של הפרוטוקול. צמתים מייצגים אזורי ביגוד פעילים, קווים רצופים מייצגים גבולות רקע משותפים, וקווים מקווקווים מייצגים יחסי סדר אנכיים שהוגדרו מראש. (D) תגובת ההפעלה של הייצוג הממוזג המודע לרכיבים. ההשוואה מראה את ההבדל בין הפעלה הנשלטת על ידי מרקם לבין הפעלה המונחית על ידי אזורי הביגוד. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-6
איור 6: תוצאות אחזור וראיות מבניות ביניים תחת הפרעה של רקע אדום. (A) תמונת השאילתה. (B) גרף הרכיבים של השאילתה נוצר ממרכזי הרכיבים השמורים וממטריצת הסמיכות המוקלדת. (C) מטריצת הסמיכות המוקלדת של השאילתה, שבה ערכי המטריצה מבדילים בין קשרים לא פעילים, גבולות קדמה משותפים וקשרי סדר אנכיים שהוגדרו מראש. (D) שלוש תוצאות האחזור המובילות הופקו על ידי בסיס המראה (appearance baseline). (E) שלוש התוצאות המובילות הופקו על ידי ייצוג מודע-מבנה (structure-aware representation). (F) גרף הרכיבים של התוצאה בעלת הדירוג הגבוה ביותר בשיטה המודעת-מבנה. (G) מטריצת התכתבות הרכיבים לאחר היתוך בין השאילתה לתוצאה בעלת הדירוג הגבוה ביותר. התכתבות אלכסונית גבוהה מעידה על התאמה בין רכיבים בעלי מזהים זהים, בעוד שתגובות חלשות או מוזזות מעידות על ארגון רכיבים חסר או לא תואם. תוצאות האחזור שומרות על קטגוריית פלג הגוף העליון הגסה אך אינן קובעות התאמה מלאה בתצורת השרוול ובטופולוגיה המקומית. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-7
איור 7: מעקב אחר הבדלים מבניים מהטופולוגיה של הבגד ברמת התמונה ועד לתגובה מרחבית. (A) תמונת הייחוס. (B) תמונת היעד. (C) גרף רכיבי הייחוס. (D) גרף רכיבי היעד. שני הגרפים שוחזרו ממרכזי הרכיבים השמורים וממטריצות סמיכות ממוינות. (E) מטריצת ההבדלים של הסמיכות הממוינת. (F) ההבדל בקשר הגיאומטרי נגזר מהעתקת מרכזי רכיבים, פיזור מרחבי ושינויים במשקל הקשר. (G) גרף הבדלי הרכיבים לאחר מיזוג, שבו עצימות הצומת מייצגת את המרחק הנורמל בין וקטורי רכיבים ממוזגים תואמים ורוחב הקשת מייצג את השינוי במשקל הקשר. (H) מפת חום של תגובת ההבדל המרחבי הטהורה שרונדרה באמצעות אותו קנה מידה קבוע של תגובה כמו בשכבה המעלמדת. (I) התגובה המעלמדת על תמונת היעד. הבדל מבני מתקבל רק כאשר השינוי בסמיכות, השינוי בקשר הגיאומטרי, השינוי במרחק הרכיבים ותגובת החום המיושרת לרקע נותרים עקביים. הפעלה של הרקע ללא ראיות תואמות לרכיבים או לקשרים נחשבת כהפרעה שיורית ולא כהבדל תקף במבנה הבגד. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-8
איור 8: צבירה במרחב תכונות מודעת-מבנה. (A) היטל t-SNE של חולצות עם שרוכים קצרים, מכנסיים, חצאיות, מעילים ארוכים ושמלות. חמש הקטגוריות יוצרות אזורי תכונות עיקריים עם חפיפה מוגבלת בקרבת הגבולות ביניהן. (B) תמונות בדיקה מייצגות שהוקצו לחמש קטגוריות הלבוש, כאשר צבע המסגרת תואם לצבע הקטגוריה ב-(A). האיור מראה ארגון מבני ברמת הקטגוריה, תוך שמירה על מספר קטן של דגימות בקרבת אזורי קטגוריות סמוכות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-9
איור 9: השוואת ביצועים גולמית בין מבנה מרחב-המאפיינים לבין מטרות דירוג-שליפה. (A) SCI ו-SDI עבור קו הבסיס מונחה-מראה, מודל בעל מבנה חלש, מודל בעל מבנה מפורש והשיטה המוצעת. (B) Recall@5 ו-mAP עבור אותן ארבע שיטות. סמנים גדולים מציינים את הממוצע האריתמטי על פני חמש הרצות עצמאיות, קווי שגיאה מציינים את סטיית התקן של המדגם, וסמנים קטנים מציינים את התוצאות ברמת ההרצה. SCI ו-SDI מוצגים בקנה מידה קבוע מאפס עד אחד, בעוד ש-Recall@5 ו-mAP מוצגים בקנה מידה אחוזי קבוע מאפס עד מאה. לא הוחל נרמול min-max או שינוי קנה מידה בין-שיטות. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-10
איור 10: תגובות להבדלים מבניים תחת תצורות מודול שונות. (A) תמונת הייחוס. (B) תמונת המטרה. (C) התגובה של הגרסה ללא המידע המבני המוקדם (structure prior). (D) התגובה של הגרסה ללא מודול האיחוד (fusion module). (E) התגובה של המודל המלא. (C–E) מוצגים באמצעות אותו קנה מידה של תגובה מנורמלת, מפת צבעים והגדרות שכבה (overlay). (F) הפרש התגובה המוחלט המוגבל לרקע בין הגרסה ללא איחוד לבין המודל המלא. המודל המלא שומר על התגובה העיקרית המיושרת לבגד תוך הפחתת התפזורת השיורית מחוץ לאזור המבני המרכזי. ההשוואה מראה כי המידע המבני המוקדם מפחית הפרעות מחוץ לבגד וכי מודול האיחוד further מחדד את התגובה המבנית. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

figure-results-11
איור 11: בחירה של משקל האילוץ המבני המבוססת על תיקוף. ערכי Validation Recall@5 מדווחים עבור משקלי אילוץ מבני של 0.1, 0.3, 0.5, 0.8, 1.0, 1.2, 1.5, ו-2.0. כל נקודה מייצגת את הממוצע האריתמטי של חמש הרצות תיקוף, וכל קו שגיאה מייצג את סטיית התקן של המדגם. המשקל נקבע על 1.0 לפני הערכת הבדיקה הסופית. איור זה מתעד את הליך בחירת הפרמטרים ואינו מהווה תרומה ארכיטקטונית עצמאית. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

טבלה 1: הקצאת מערכי נתונים וסטטיסטיקות טופולוגיות ברמת התמונה על פני תתי-קבוצות הבגדים S1 עד S5. הטבלה מציגה את מספר התמונות לאימון, לתיקוף, לבדיקה ולסך הכל, יחד עם מספר הרכיבים הסמנטיים הממוצע, מספר הצמתים הפעילים, מספר הקשתים המוקלדים ומספר נקודות הציון המסומנות במישור התמונה עבור כל רמה מבנית. כל הערכים הופקו ממניפסטי הנתונים המעובדים. מספר התמונות לאימון, לתיקוף ולבדיקה התקבלו ממניפסטי תתי-הקבוצות הסופיים לאחר סקירה מבנית, בקרת קבוצות כפילויות ובדיקת זליגה, בעוד שסטטיסטיקות הטופולוגיה חושבו מרשומות הגרף הסופיות תוך שימוש באותו סדר רכיבים והגדרות יחסים שיושמו במהלך הערכת המודל. נא ללחוץ כאן להורדת קובץ זה.

טבלה 2: הגדרות סביבה חישובית, תצורת קלט, הרחבה (augmentation), ייצוג, אופטימיזציה, פונקציית הפסד והגדרות לשחזור תוצאות ששימשו לאורך הפרוטוקול. הטבלה מפרטת את הגרסאות המדויקות של מערכת ההפעלה, המעבד, הזיכרון המותקן, יחידת עיבוד הגרפיקה (GPU), זיכרון הגרפיקה, מנהל התקן הגרפיקה, CUDA, cuDNN, Python, NumPy, PyTorch ו-torchvision, יחד עם גודל התמונה, בניית ה-batch, האופטימייזר, לוח הזמנים של קצב הלמידה, מספר האיטרציות (epochs), הזרעים האקראיים (random seeds), ממדי הייצוג ומשקולות היעדים המבניים. כל ערך מקושר לקובץ software_versions.txt, לקובץ configs/protocol.yaml או לרשומת האימון המתאימה. אנא לחצו כאן להורדת קובץ זה.

טבלה 3: השוואה כמותית של מודלים כלליים לייצוג חזותי, מודלים של בגדים מבוססי גרפים ושיטות אחזור אופנה ספציפיות לתחום. הטבלה מציגה את מיקוד האחזור, מודליות השאילתה, SCI, SDI, Recall@5, mAP ומקדם הסילואט עבור אחת-עשרה שיטות תחת אותן חלוקות נתונים ופרוטוקול הערכה. כל מדד מדווח כממוצע וסטיית תקן של המדגם על פני חמש הרצות עצמאיות. ערכי ה-p המדווחים התקבלו ממבחני t זוגיים דו-צדדיים המשווים כל שיטת השוואה לשיטה המוצעת, תוך שימוש בתוצאות שהופקו תחת אותם חמישה זרעים אקראיים. השיטה המוצעת משמשת כשורת הייחוס. אנא לחצו כאן להורדת קובץ זה.

טבלה 4: תוצאות אבלאציה עבור המבנה המקדים (structure prior) ומודול מיזוג המאפיינים (feature-fusion module). הטבלה מציגה את ערכי ה-SCI, ה-SDI וה-Recall@5 עבור הגרסה ללא המבנה המקדים, הגרסה ללא מודול המיזוג, והמודל המלא. הסרת המבנה המקדים גורמת להפחתה משמעותית יותר ב-SCI וב-Recall@5, בעוד שהסרת מודול המיזוג מפחיתה את ה-SDI ואת התאמת התגובה (response alignment). המודל המלא רשם את הערכים הגבוהים ביותר בכל שלושת המדדים. אנא לחצו כאן להורדת קובץ זה.

טבלה 5: יעילות חישובית של Baseline ResNet-50 ושל המודל המודע למבנה המלא. הטבלה מדווחת על פרמטרים הניתנים לאימון, פעולות נקודה צפה (floating-point operations) לכל תמונה, וזמן הסקה ממוצע לכל תמונה תחת סביבת החומרה והתוכנה המדויקת המתועדת בטבלה 2 ובטבלת החומרים. שני המודלים משתמשים באותה רזולוציית תמונה, הגדרת Batch להסקה, פעולות עיבוד מקדים והליך תזמון. המודל המלא מוסיף 3.7 מיליון פרמטרים, 1.3 מיליארד פעולות נקודה צפה ו-7 מילישניות של זמן הסקה לכל תמונה ביחס ל-Baseline. אנא לחץ כאן להורדת קובץ זה.

דיון

שלבי הפרוטוקול הקריטיים ביותר הם עיבוד מקדים לשימור הבגד וניתוח רכיבים סמנטיים המוגבלים לרקע. מרכזי הרכיבים, ערכי פיזור מרחבי, יחסי גבול משותף, יחסי סדר אנכי, משקלי יחסים וייצוגים מאוחדים נגזרים כולם מפלט הניתוח. דליפת גבולות, אזורי רכיבים ממוזגים, אזורי רכיבים חסרים והקצאות ערוצים שגויות מופצים באמצעות בניית הגרף ומיזוג תכונות. שגיאות אלו עלולות להפיק קבצי גרף בעלי ממדים תקינים, בעוד שיחסי הרכיבים המיוצגים נותרים לא עקביים ביחס לבגד המקור. לכן, יש לאמת את מפת ההסתברות, את הגבלת הרקע, את תצוגת הרכיבים ואת רשומת איכות הניתוח לפני קבלת המידע המבני המוקדם.

בניית הגרף ומיזוג המאפיינים דורשים סדר קבוע של רכיבים סמנטיים. הגרף נגזר מרכיבי בגד במקלדת (foreground) וממערכות היחסים ביניהם במישור התמונה. דמויות השליפה ואיתור ההבדלים חושפות את נתיב העיבוד המבני במקום להציג רק תמונות מדורגות סופיות או מפות חום של תגובות. מטריצות סמיכות מתוייגות מתעדות יחסי רכיבים בדידים, מטריצות יחסים גאומטריים מתעדות ארגון מרחבי מנורמל, ומטריצות רכיבים לאחר מיזוג מתעדות את הייצוג המשמש לשליפה ולאיתור. מסקנות מבניות יש לקבל רק כאשר ייצוגי ביניים אלו תואמים את הפלט הוויזואלי הסופי. גרף הרכיבים אינו משתמש בנקודות ציון אנטומיות, בקואורדינטות של מפרקי גוף אנושיים או ברשת להערכת תנוחה. שכבת גרף (graph overlay) יש לקבל רק כאשר הצמתים וסוגי היחסים שלה משוחזרים מקבצי הרכיבים והסמיכות השמורים. רכיבים שאינם פעילים צריכים להישאר כווקטורים אפסיים עם מחווני צומת לא פעיל, ומטריצות מאפייני המראה והמבנה חייבות להכיל כל אחת K שורות ו-512 עמודות לפני המיזוג. בדיקות אלו מונעות מצב שבו חוסר התאמה של צמתים ושגיאות ממד יפורשו כהתנהגות של המודל.

את פתרון הבעיות יש להתחיל בתוצר הביניים הלא-תקין המוקדם ביותר. מפות הסתברות אחידות מעידות על שגיאות ב-checkpoint, בנורמליזציה או באינדקס הקטגוריה; מטריצות מבניות שאינן מספריות מעידות על מכשירים לא תקינים של הסתברות או על קנה מידה של קואורדינטות; תגובות מפוזרות ושליפה נשלטת על ידי צבע מעידות על priors מבניים חלשים, כישלון במיזוג (fusion) או טעינה שגויה של checkpoint. יומני האימון צריכים לאשר גרדיאנטים בגרף ובשכבות המיזוג, כמו גם בחירת checkpoint המבוססת על ולידציה. אין להשתמש בתגובת חום ויזואלית כמסקנה מבנית עצמאית. יש לבדוק אותה אל מול מסיכת הרקע השמורה, שינוי הסמיכות (adjacency) שהוקלד, מטריצת היחסים הגאומטריים וגרף הפרשי הרכיבים שלאחר המיזוג. אקטיבציה שיורית מחוץ לרקע הבגד מעידה על ספציפיות תגובה מוגבלת ולא על הבדל מבני מאומת.

בהשוואה לאחזור מונחה-מראה, הפרוטוקול מציג טופולוגיה של רכיבים לפני למידה מטרית. בהשוואה לאילוצים מבניים חלשים ומודלים של גרפים בעלי טופולוגיה קבועה, משקלי קשרים סמנטיים מתאימים את הפרוגגציה של הגרף לבגד הנוכחי. המודל המלא השיג SCI של 0.81, SDI של 0.71, Recall@5 של 89.2%, mAP של 86.4%, ומקדם סילואט של 0.74, כפי שדווח ב-טבלה 3. המודולים המבניים הנוספים הגדילו את מספר הפרמטרים מ-25.6 מיליון ל-29.3 מיליון ואת זמן ההסקה מ-15 ל-22 מילישניות לתמונה, כפי שדווח ב-טבלה 4. התרומה הטכנית של הפרוטוקול טמונה בבניית גרף רכיבי בגד ברמת התמונה, קידוד מקבילי של מראה ויחסי רכיבים, מנגנון היתוך מאפיינים מונחה-מבנה, ומטרות של עקביות מבנית, קשר ואפליה. סקירת התיקוף המדווחת ב-איור 11> משמשת אך ורק לקביעת מקדם אימון קבוע ואינה מוצגת כתרומה לארכיטקטורת הרשת או לתכנון פונקציית המטרה.

הפרוטוקול נותר רגיש להסתרה חמורה, לבגדים חופפים, לתמונות מקור קטנות, לשינויים בתנוחה, לרקעים מורכבים ולבגדים שארגונו הנראה אינו תואם לסכימת שבעת האזורים הקבועה. עיצובים אסימטריים, שכבות נתיקות, דראפינג צפוף, פריטי לבוש תחתונים רב-שכבתיים ואזורי קישוט חופפים עשויים למזג מספר אזורים סמנטיים או להכניס יחסי רכיבים שאינם מופיעים בהגדרת הגרף הנוכחית. הסתרה עלולה לדכא רכיב פעיל, להסיט את המרכז הברוביליסטי (centroid) של ההסתברות שלו, ולהסיר יחס של גבול משותף תקף. איור 6 מראה שחזור של קטגוריית פלג הגוף העליון הגסה אך התאמה חלקית של טופולוגיית השרוול, בעוד ש- איורים 7 ו-10 שמר את התגובות באזורי רקע סמוכים. תוצאות אלו מראות כי ממדי טנזור תקינים וקישוריות גרפ אינם מבטיחים פרשנות מבנית נכונה מבחינה סמנטית. לפיכך, המחקר הנוכחי תומך בשליפה מבוססת תמונה, באשכולה (clustering) ובמיקום הבדלים, ולא ביעילות זרימת העבודה של התכנון או בהערכה ישירה של פרמטרי התבנית. כל הניסויים הכמותיים במחקר הנוכחי בוצעו על קבוצת ה-DeepFashion2 שנשמרה ועברה תיוג מבני מחדש. התוצאות הנוכחיות אינן מבססות רוביסטיות על פני מערכי נתונים עצמאיים בעלי טקסונומיות בגדים שונות, סטנדרטי של אנוטציה, קטגוריות לבוש תרבותיות, מקורות תמונה או סביבות רכישה שונות. העברה למערך נתונים אחר עשויה לדרוש מיפוי מחדש של שבעת ערוצי הרכיבים ובנייה מחדש של סכימת היחסים המוקלדת. המסקנות המדווחות מוגבלות, לפיכך, להתפלגות הנתונים שהוערכה ולהגדרת הרכיבים ברמת התמונה.

במסגרת מגבלות אלו, הפרוטוקול מספק רצף הדיר במעבר מתמונות של פריטי לבוש לייצוגים המודעים לרכיבים באמצעות ניתוח סמנטי, מידול קשרים גיאומטריים, קידוד זרימה כפולה ומיזוג מונחה-מבנה. תיקוף עתידי יעשה שימוש במאגרי נתונים עצמאיים של פריטי לבוש עם מערכות סימון שונות, קטגוריות ביגוד, תנוחות ותנאי רקע שונים. כמו כן, תיבחן השאלה האם מיפוי שבעת האזורים הנוכחי מחייב הרחבה עבור מבני לבוש אסימטריים, רב-שכבתיים, נתיקים או בעלי מאפיינים תרבותיים ספציפיים. סקיצות עיצוב ידניות, וריאציות ביןבדים שונים והתאמת דגמים פרמטרית נותרים ככיוvוני יישום נפרדים הדורשים נתונים והליכי הערכה ספציפיים למשימה. יעילות השימוש המקצועית ובחינת העיצוב מחייבות מחקר נבדקים אנושיים המתועד בנפרד, עם משתתפים מוגדרים, קריטריונים להערכה והליכים סטטיסטיים.

גילויים

למחברים אין ניגודי עניינים להצהיר עליהם.

תודות

עבודה זו נתמכה על ידי הסבב השני של פרויקטי רפורמה בהוראה לבגראים ברמה המחוזית במסגרת תוכנית החומש ה-14, תחת הפרויקט שכותרתו רפורמה והמחשה בהוראה של "עיצוב ביגוד ולבוש" המבוסס על מודל בנייה משותפת של "שלושה שילובים, שלושה מיזוגים" (מספר פרויקט JGZD2024096).

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
יחידת עיבוד מרכזיתIntel CorporationIntel Core i9-13900K, 24 ליבות, 32 תהליכונים, עד 5.80 GHz
CondaAnaconda, Inc., anaconda.comMiniconda3 23.11.0
CUDA ToolkitNVIDIA Corporation, developer.nvidia.comCUDA 11.8
cuDNNNVIDIA Corporation, developer.nvidia.comcuDNN 8.9.7
מאגר הנתונים DeepFashion2האוניברסיטה הסינית של הונג קונג, github.com/switchablenorms/DeepFashion2גרסה רשמית של DeepFashion2, גרסה 1.0
יחידה לעיבוד גרפיNVIDIA CorporationNVIDIA GeForce RTX 4090, 24 GB GDDR6X
נקודת ביקורת (Checkpoint) של ניתוח סמנטי HRNet-W48פרויקט HRNet, github.com/HRNet/HRNet-Semantic-Segmentationhrnet_w48_garment_parser_7class.pth, נקודת בקרה (checkpoint) של הפרויקט גרסה 1.0
משקולות ResNet-50 מאומנות מראש על ImageNetPyTorch Foundation, pytorch.orgResNet50_Weights.IMAGENET1K_V2
Matplotlibצוות הפיתוח של Matplotlib, matplotlib.orgגרסה 3.8.2
NumPyמפתחי NumPy, numpy.orgגרסה 1.26.4
מנהל התקן גרפי של NVIDIANVIDIA Corporationגרסה 546.33
OpenCV-Pythonצוות OpenCV, opencv.orgגרסה 4.8.1.78
מערכת הפעלהMicrosoft CorporationWindows 11 Pro 23H2, 64-bit, OS Build 22631.3155
פנדותצוות הפיתוח של Pandas, pandas.pydata.orgגרסה 2.1.4
פייתוןPython Software Foundation, python.orgגרסה 3.10.13
PyTorchPyTorch Foundation, pytorch.orgגרסה 2.1.2 עם CUDA 11.8
PyYAMLפרויקט PyYAML, pyyaml.orgגרסה 6.0.1
scikit-learnמפתחי scikit-learn, scikit-learn.orgגרסה 1.3.2
SciPyמפתחי SciPy, scipy.orgגרסה 1.11.4
מאגר קוד מקורארכיון קוד-מקור משלים שהוגש עם כתב הידפרוטוקול טופולוגיה של בגדים, גרסה 1.0
התקן אחסוןSamsung ElectronicsSamsung 990 PRO NVMe SSD, 2 TB
זיכרון מערכתKingston TechnologyKingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvisionPyTorch Foundation, pytorch.orgגרסה 0.16.2 עם CUDA 11.8
עמדת עבודהתחנת עבודה ללמידה עמוקה שנבנתה בהתאמה אישיתIntel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB זיכרון, 2 TB NVMe SSD

מקורות

  1. Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
  2. Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
  3. Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
  4. Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
  5. Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
  6. Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
  7. Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
  8. Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
  9. Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
  10. Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
  11. Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
  12. Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
  13. Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
  14. An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
  15. Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
  16. Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
  17. Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
  18. Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
  19. Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
  20. Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
  21. Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
  22. Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
  23. Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
  24. Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
  25. Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
  26. Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
  27. Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
  28. Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
  29. Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
  30. Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
  31. Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
  32. Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
  33. Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
  34. Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
  35. Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
  36. Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
  37. Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
  38. Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
  39. Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
  40. Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
  41. Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
  42. de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
  43. Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

הדפסות חוזרות והרשאות

תגיות

DeepFashion2HRNet W48ResNet 50
צור קשר
המלצה לספרייה

פרטיות

תנאי שימוש

מדיניות

2026 © זכויות יוצרים MyJoVE Corporation. כל הזכויות שמורות.