מאמר שיטה

פרוטוקול ללמידת מאפייני תמונה המבוסס על טופולוגיה של רכיבי ביגוד ברמת התמונה לצורך אחזור רפרנסים עיצוביים

29 צפיות

⸱

DOI:

10.3791/72103

⸱

1 בספטמבר 2026

 ,  ,  , 
1Keyi College of Zhejiang Sci-Tech University

במאמר זה

סיכום

פרוטוקול זה מייצר ייצוגי בגדים מודעי-מבנה על ידי שילוב של ניתוח רכיבים סמנטי, מידול טופולוגי, קידוד תכונות בשני זרמים ומיזוג מודרך-מבנה. הוא מאפשר לחוקרי ראייה ממוחשבת ואופנה לבצע אחזור בגדים והשוואה למקורות עיצוב המבוססים על ארגון הרכיבים וסידור הצללית, במקום על צבע או מרקם.

תקציר

שיטות לאחזור תמונות של ביגוד שמות דגש רב על צבע ומרקם, מה שעלול להוביל לבלבול בין פריטי לבוש בעלי מראה דומה אך בעלי פריסות רכיבים שונות. מחקר זה מציג פרוטוקול ללמידת תכונות מודע-רכיבים עבור אחזור תמונות של ביגוד והשוואת סימוכין לעיצוב. הפרוטוקול מנתח אזורי לבוש סמנטיים, בונה גרף רכיבי לבוש ברמת התמונה, מקודד במקביל את המראה ואת קשרי הרכיבים, וממזג את שני הייצוגים באמצעות הפסדי עקביות מבנית, קשר מבני ואפליה מבנית. תמונות ממאגר DeepFashion2 עוברות סטנדרטיזציה ל-512 x 512 pixels, מנותחות באמצעות HRNet-W48, מקודדות בעזרת ResNet-50 וקונבולוציית גרפים, ומוערכות באמצעות אחזור מבני והקבצה. המודל המלא השיג מדד עקביות מבנית של 0.81, מדד אפליה מבנית של 0.71, Recall@5 של 89.2%, דיוק ממוצע ממוצע (mAP) של 86.4% ומקדם סילואט של 0.74. הפרוטוקול תומך באחזור מבנה לבוש, השוואה מבנית ואיתור הבדלים כאשר המראה החיצוני אינו מייצג באופן מהימן את מבנה הבגד.

מבוא

עם השילוב המתמשך של ראייה ממוחשבת ובינה מלאכותית בתעשיית הביגוד, ניתוח תמונות של ביגוד התרחב בהדרגה ממשימות זיהוי בסיסיות לניתוח מכוון עיצוב ותמיכה בקבלת החלטות1,2. בתהליך עיצוב הביגוד, ההבחנה בין תכניות עיצוב תלויה יותר בהרכב המבני ובקשרי הרכיבים מאשר בהבדלים פשוטים במראה, מה שהופך את הביטוי המבני של מאפייני תמונת הביגוד בסיוע עיצובי לגורם מפתח המשפיע על יעילות הניתוח3,4. עם זאת, מרבית השיטות הוויזואליות הקיימות עדיין מסתמכות על מרקם, צבע וקווי מתאר גלובליים כמאפיינים העיקריים שלהן, מה שמקשה על ניתוח שיטתי של היררכיות הבגד והבדלים במבנה במהלך תהליך העיצוב5,6. לכן, פיתוח שיטה ללמידת מאפייני תמונה מודעת-מבנה לסיוע בעיצוב ביגוד הוא חשוב לשיפור האובייקטיביות והעקביות של ניתוח העיצוב7. פרוטוקול זה מתאים כאשר פריטי לבוש חולקים צבעים, מרקמים או קווי מתאר גלובליים דומים, אך נבדלים בארגון הרכיבים, בדפוסי החיבור או בפריסה המרחבית. בתנאים אלה, ייצוגים ממוקדי-מראה נוטים למקם עיצובים השונים מבנית קרוב זה לזה במרחב המאפיינים, מה שמעיב על אמינות השליפה וההשוואה העיצובית. הפרוטוקול נותן מענה למשימות שבהן קשרים בין רכיבי הלבוש מהווים את הבסיס העיקרי לשליפה מבנית, הערכת עיצוב וניתוח הבדלים מקומיים.

מבחינת קנה מידה של נתונים, מורכבות מודלים ומגוון משימות, המחקר הנוכחי על ניתוח והבנה אוטומטיים של תמונות ביגוד רשם התקדמות משמעותית8,9. עם זאת, ביישומים מעשיים, מידע מבני של ביגוד כלול לעיתים קרובות באופן משתמע בתוצאות סגמנטציה או זיהוי, ואינו נלקח בחשבון במידול מאוחד של שלב למידת המאפיינים, מה שמוביל לחוסר בהבחנה יציבה בין עיצובים מבניים שונים במרחב המאפיינים10,11. יחסים מרחביים, אילוצים היררכיים ומבנים טופולוגיים בין רכיבי הבגד אינם מקודדים במפורש, מה שמקשה על ייצוגי מאפיינים לשקף הבדלים מבניים ברמת העיצוב12,13. היעדר מידול מבני מפורש מגביל את רזולוציית הניתוח ואת מהימנות ההחלטות של מאפייני תמונות ביגוד בתרחישי סיוע לעיצוב, ומהווה חסום מרכזי לפיתוח מערכות עיצוב אינטליגנטיות בעלות הבנה סמנטית עמוקה יותר14.

כדי לתמוך בלמידה ובניתוח של מאפייני תמונות ביגוד, מחקרים קשורים בחנו על מספר כיוונים טכניים15. שיטות של סגמנטציה סמנטית וניתוח פריטי לבוש (garment parsing) אפשרו תיחום מדויק של אזורי הבגד ומרכיביו באמצעות אנוטציה ברמת הפיקסל, ובכך סיפקו בסיס להפקת מידע מבני16,17. שיטות לאחזור פריטי לבוש באמצעות שאילתת תמונה שילבו טופולוגיה ומיזוג צבע-מרקם, התאמת קשב גלובלית ומקומית, ניתוח פריטי לבוש, ייצוג רב-קנה מידה ורב-רזולוציה, וקשב שיורי עם בחירת מאפיינים. שיטות אלו נותנות מענה לחיפוש בקטלוגים, התאמה בין צרכן לחנות, אחזור מוצרים חוצה-דומיינים וחיפוש ויזואלי במסחר אלקטרוני. הגדרות היישום שלהן קשורות קשר הדוק לאחזור רפרנסים לעיצוב, כיוון שכל שיטה מדרגת תמונות של בגדים בהתבסס על שאילתה ויזואלית, אם כי הייצוגים שלהן אינם משמרים סמיכות של רכיבים מוגדרים ויחסי סדר אנכיים לאורך מיזוג המאפיינים18,19,20. במקביל, מחקרים על תרחישי עיצוב והמלצות הציגו בהדרגה מיזוג רב-מודאלי, מידול יחסים וניתוח סגנון, ובכך הרחיבו את גבולות היישום של מאפיינים ויזואליים של ביגוד21,22. למרות ששיטות אלו רשמו התקדמות במשימותיהן בהתאמה, מאפייני הליבה שלהן עדיין מבוססים במידה רבה על תיאורי מראה, ומידע מבני לא מודל באופן אחיד כאילוץ מובנה ללמידת מאפיינים, מה שמקשה על עמידה בצרכים של סיוע בעיצוב ביגוד לצורך התאמה מבנית והשוואה מבנית23.

כדי להתגבר על היכולת הבלתי מספקת של בידול מבני בסיוע לעיצוב ביגוד, מאמר זה מציע שיטה ללמידת מאפייני תמונה המבוססת על תפיסת מבנה הבגד. שיטה זו משלבת תוצאות ניתוח ביגוד ומידע מבני מרכזי בשלב הזנת תמונת הבגד, ומבצעת מידול משותף של אזורי רכיבי הבגד, יחסים מרחביים וקשרים היררכיים. קידוד של יחסים מבניים וסנכרון מאפיינים חזותיים משלבים באופן מפורש אילוצי ביגוד בתהליך למידת המאפיינים, ומפיקים ייצוג השומר הן על המראה החזותי והן על העקביות המבנית. מאפיין זה מאפיין הבדלים מבניים בביגוד בתוך מרחב מאוחד, ומספק בסיס יציב לניתוח דמיון מבני, אשכולה מבנית וקבלת החלטות בסיוע לעיצוב, ובכך מקל על בעיית בלבול המאפיינים הנגרמת מהיעדר מידול מבני בשיטות קיימות. בניגוד לאסטרטגיות אחזור חזותיות כלליות המתייחסות למידע מבני כתכונות עזר המקושרות באופן רופף, מסגרת זו בונה מנגנון אפולציה של מאפיינים המרכז את היחסים הטופולוגיים. המנגנון מעודד את הייצוג הנלמד לעקוב אחר ארגון אזורי הבגד הנראה, תוך הפחתת תגובות הנשלטות על ידי מרקם. כל צומת בגרף מייצג אזור סמנטי ברמת התמונה, וכל קשר בגרף מתאר סמיכות נראית או מיקום יחסי מנורמל במישור התמונה. ההטמעה (embedding) המתקבלת תומכת בהשוואה של פריסת רכיבים וארגון צללית בין תמונות ביגוד שונות. אזורים ויחסים אלו אינם תבניות תפירה, חיבורי תפרים, נקודות ציון קונסטרוקטיביות או פרמטרי גראדינג. בהשוואה לשיטות אחזור מונעות מראה, הפרוטוקול שומר על טופולוגיית רכיבים מפורשת לאורך למידת המאפיינים, במקום להתייחס למידע מבני כתוצאה של ניתוח בשלב מאוחר יותר. בהשוואה לגישות המכניסות רמזים מבניים רק כקלטים עזריים, הקידוד בעל שני הזרימות והמיזוג העקבי טופולוגית שומרים על יחסים גיאומטריים תוך הפחתת תגובות הנשלטות על ידי מרקם. הייצוג המתקבל תומך באחזור מבנה בגד, אשכולה מבנית, סינון רפרנסים לעיצוב וניתוח הבדלי עיצוב מקומיים, תוך אספקת ראיות ברמת הרכיב שנותרות ניתנות לפירוש בתהליך עיצוב הבגד. מחקרים הרלוונטיים לפרוטוקול זה משתרעים על פני למידת מאפייני תמונות ביגוד, מידול מבנה בגד, ייצוג מודע-מבנה וניתוח חזותי לסיוע בעיצוב ביגוד.

ברמת ייצוג המאפיינים, מחקרים על תמונות ביגוד התמקדו זמן רב במידול מראה, חילוץ מאפיינים עמוקים וייצוג רב-קנה מידה24,25. עבודות מוקדמות השתמשו ברשתות נוירונים קונבולוציוניות כדי לבצע מידול מקצה לקצה של תמונות ביגוד עבור משימות סיווג, אחזור והתאמת דמיון26,27. לאחר מכן, הוצגו מיזוג מאפיינים רב-קנה מידה ולמידה חוצת-דומיינים כדי להקל על הבדלים בתמונות ביגוד תחת זוויות צפייה, תנוחות ותנאי צילום שונים28,29. במשימות אחזור, נעשה שימוש במנגנוני קשב ובאסטרטגיות דחיסת מאפיינים כדי לשפר את יכולת ההבחנה של המאפיינים ואת היעילות החישובית30,31. שיטות אלו משיגות הבחנה אמינה של המראה, אך תהליכי למידת המאפיינים שלהן עדיין מתמקדים במידע חזותי גלובלי וחסרים ייצוגים שיטתיים של מבני הבגד הפנימיים32. שיטות אחזור אופנה מורכבות משלבות עוד יותר תמונת ייחוס עם הנחיות שינוי טקסטואליות, אך אופן השאילתה שלהן שונה מהפרוטוקול המבוסס-תמונה בלבד שנבדק כאן. הן נסקרות ככיוון אחזור מסחרי קשור ואינן נכללות בהשוואה הכמותית, כיוון שקלט טקסט נוסף ימנע הערכה מבוקרת של שאילתת תמונה.

ככל שניתוח תמונות של ביגוד עבר מאפליה על בסיס מראה להבנה מבנית, המחקר התמקד יותר ויותר במידול רכיבי הבגד, במערכות יחסים גיאומטריות ובקשרי טופולוגיה33. רשתות של סגמנטציה סמנטית השיגו ניתוח ברמת רכיבי הלבוש באמצעות הקרנת מאפיינים ומנגנוני קשב רב-שכבתיים (multi-attention), ובכך סיפקו בסיס אמין לחילוץ מידע מבני34,35. שיטות לזיהוי נקודות מפתח ומידול טופולוגיה מבנית אפיינו עוד יותר את הקשר בין קווי המתאר של הבגד למבנים מקומיים, ובכך שיפרו את יכולתו של המודל לייצג את המאפיינים הגיאומטריים של הלבוש36,37. מספר מחקרים הציגו מבני גרף ורשתות הסקה רלציונית כדי למדל מערכות יחסים בין רכיבי הלבוש, ובכך שיפרו את ביצועי הזיהוי בעל הרזולוציה הגבוהה (fine-grained) ואת השליפה בין דומיינים38,39. עבודות אלו אישרו את תפקידו החשוב של המידע המבני בניתוח חזותי, אך המבנה משמש בעיקר כמאפיין עזר או כתוצאה ביניים, ומערכת ללמידת מאפיינים שבה אילוצים מבניים עומדים בליבה טרם פותחה40.

במסגרת סיוע בתכנון ביגוד, פיתוחים אלו תמכו בהמלצות עיצוב, ניתוח סגנון, בניית מערכות אינטראקטיביות והערכת עיצוב מוכוונת-מבנה41. מחקרים על מערכות המלצה השיגו התאמת ביגוד והמלצות מותאמות אישית על ידי שילוב של מאפיינים חזותיים עם העדפות משתמשים42. עבודות הקשורות לסיוע בתכנון בחנו דרכים חדשות לתמיכה חכמה בעיצוב באמצעות שילוב של מודלים גנרטיביים, מידול סגנון ומנגנוני שיתוף פעולה בין אדם למחשב43. מחקרים על מדידה וירטואלית, מדידת מידות והעברת סגנון הרחיבו את היישום של ניתוח חזותי של ביגוד לאורך תהליכי התכנון והייצור. למרות שמעמדים אלו העשירו את הצורות הטכניות של הסיוע בתכנון ביגוד, המאפיינים החזותיים המרכזיים שלהם עדיין מונעים בעיקר ממראה חיצוני וחסרים ייצוג מאוחד של מבנה העיצוב לצורך ניתוח. לעומת זאת, מאמר זה מתייחס למבנה הבגד כאילו היה האילוץ המרכזי בייצוג המאפיינים, ומספק שיטת ייצוג חזותית לניתוח מבני בסיוע לתכנון ביגוד.

למרות התפתחויות אלו, שיטות עדכניות בעיצוב גנרטיבי מתייחסות לרוב לתנאים מבניים כמטריצות הנחיה מרחביות גמישות בתוך תהליכי דיפוזיה. מסגרות ניתוח מבני עכשוויות מייצגות טופולוגיות כתוויות סמנטיות עזר, הנפרדות ממרחב ההטמעה הוויזואלי העיקרי. המסגרת המוצעת משנה מנגנון זה על ידי הגדרת אילוץ טופולוגי מבוסס-גרף (graph-prior) המודולט באופן מפורש את למידת המאפיינים הוויזואליים ברמת הרכיב. יעד העקביות הרב-שכבתי מעודד בגדים עם פריסות רכיבים דומות ברמת התמונה להישאר קרובים במרחב המאפיינים, תוך הפרדה בין בגדים עם ארגוני אזורים גלויים שונים. יעד זה מפחית את התלות בטקסטורה בהגדרות השליפה שנבחנו, אך אינו מבסס אי-תלות (invariance) לשינויים בחומר, בתנוחה או ברקע. יש לבחור בפרוטוקול זה כאשר תמונת הקלט מכילה פריט לבוש בודד הגלוי מספיק, כאשר לרכיבים הסמנטיים יש גבולות ניתנים לזיהוי, וכאשר היעד האנליטי דורש השוואה מבנית ברמת הרכיב ולא זיהוי קטגורי גס. הפרוטוקול מיועד לחוקרי ראייה ממוחשבת, חוקרי עיצוב ביגוד וצוותי פיתוח בגדים דיגיטליים העוסקים בניתוח ויזואלי רגיש למבנה. הוא אינו מיועד למשימות המתמקדות אך ורק בזיהוי צבע או חומר, או לתמונות שבהן הטופולוגיה של הבגד מוסתרת במידה רבה. הפרוטוקול הבא מציג את זרימת העבודה מהכנת מערך הנתונים ומיפוי הסבירות הסמנטית, דרך בניית יחסים גיאומטריים, קידוד מאפיינים בזרם כפול, מיזוג מונחה-מבנה, ועד לאופטימיזציה מבוססת-עקביות. זרימת העבודה המלאה מסוכמת ב-איור 1.

פרוטוקול

מחקר זה משתמש במאגרי נתונים זמינים לציבור של תמונות ביגוד ואינו מגייס משתתפים אנושיים, אוסף מידע המאפשר זיהוי אישי, עורך ניסויים בבעלי חיים או משתמש בחומרים ביולוגיים. אישור אתי מוסדי והסכמה מדעת אינם רלוונטיים.

1. סביבת תוכנה והגדרת הפרויקט

  1. מקם את קבצי הפרויקט ששוחררו בספריה עם שטח אחסון מספיק ופתח טרמינל בספריית השורש של הפרויקט.
  2. הרץ conda env create -f environment.yml כדי ליצור את סביבת התוכנה. הרץ conda activate garment_structure כדי להפעיל את הסביבה.
  3. הרץ python --version, conda --version, pip show numpy, pip show torch, pip show torchvision, ו-nvidia-smi. שמור את פלט הפקודה המלא בקובץ software_versions.txt.
  4. השתמש באותה סביבה מתועדת עבור עיבוד מקדמי, אימון, הסקה (inference), מדידת יעילות והערכה. רשום באותו קובץ את שם קובץ ה-checkpoint של HRNet-W48 וערך ה-SHA-256 שלו, את מזהה משקולות ResNet-50 שמאומנים על ImageNet וערך ה-SHA-256 שלו, את מקור השחרור של DeepFashion2 ואת מזהה מאגר קוד המקור.
  5. צור את הספריות data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs, ו-evaluation_results תחת ספריית השורש של הפרויקט.
  6. פתח את configs/protocol.yaml. הזן את ספריית DeepFashion2 ב-dataset_root, את נתיב ה-checkpoint המאומן של HRNet-W48 ב-parser_checkpoint, ואת ספריית הפלט של הפרויקט ב-output_root.
  7. הגדר את input_height ל-512, את input_width ל-512, את batch_size ל-32, את structural_categories_per_batch ל-8, את samples_per_category ל-4, את random_seed ל-42, את feature_dimension ל-512, את structural_constraint_weight ל-1.0, את structural_relationship_weight ל-0.5, את structural_discrimination_weight ל-1.0, ואת separation_threshold ל-0.3.
  8. הגדר את האופטימייזר ל-mini-batch stochastic gradient descent. הגדר את initial_learning_rate ל-0.0001, את momentum ל-0.9, את weight_decay ל-0.0005, את max_epochs ל-120, את learning_rate_schedule ל-multi-step decay, ואת learning_rate_decay_factor ל-0.1. הזן ב-learning_rate_milestones את תקופות הדעיכה (decay epochs) המאושרות שנעשה בהן שימוש בתצורה ששוחררה.
  9. הרץ python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results. ייצא את תצורת המודל המלאה ל-model_setting_statistics.csv. ודא שהקובץ המיוצא מתעד את גודל תמונת הקלט, פורמט הקלט, הרכב ה-batch, האופטימייזר, קצב הלמידה, לוח הזמנים של קצב הלמידה, מספר ה-epochs, דעיכת משקולות (weight decay), מומנטום, הסתברויות השבחה (augmentation), ממד התכונות, משקולות הפסד מבני, סף הפרדה, זרעים אקראיים, כלל בחירת checkpoint, ומספר הרצות עצמאיות.
  10. פלט צפוי: אשר שסביבת התוכנה עולה ללא שגיאות תלות, שקובץ software_versions.txt מכיל את תיעוד הסביבה, שכל ספריות הפלט קיימות, ו-configs/protocol.yaml מכיל נתיבים מוחלטים תקינים והגדרות מספריות.
    הערה: השתמש באותה סביבה ובאותו קובץ תצורה במהלך עיבוד הנתונים, אימון המודל, ההסקה וההערכה. שמור עותק של configs/protocol.yaml עם כל checkpoint מאומן.
    ​פתרון בעיות: אם יצירת הסביבה נעצרת בגלל חבילה שאינה זמינה, הסר את הסביבה הבלתי שלמה, ודא את ערוצי החבילות ב-environment.yml וצור את הסביבה מחדש. אם nvidia-smi לא מדווח על יחידת עיבוד גרפי, הפסק את אימון המודל ושחזר את מנהל התצוגה ואת זמן הריצה של CUDA. אם מופיעה שגיאת ספריה במהלך ההרצה, החלף נתיבים יחסיים בנתיבים מוחלטים וודא הרשאת כתיבה עבור output_root.

2. קבלה של תמונות קלט, בניית סט נתונים ועיבוד מקדימ

  1. השתמשו אך ורק בקבצים עם הסיומות JPG, JPEG או PNG. השתמשו בתמונות RGB של 8-ביט המכילות פריט לבוש מרכזי אחד.
  2. שמרו תמונות RGB של שמונה ביט שרוחבן וגובהן הם לפחות 512 פיקסלים וכוללות פריט לבוש מרכזי אחד שניתן לזיהוי. פסלו תמונה כאשר קדמת פריט הלבוש תופסת פחות מ-15% משטח התמונה המלא, כאשר יותר מ-5% מגבול מסכת הלבוש חופף לגבול התמונה, כאשר אזור לבוש משני עולה על 10% משטח הלבוש המרכזי, כאשר השטח המוערך כחסום עולה על 20% ממסכת הלבוש המרכזי, או כאשר השונות של תגובת ה-Laplacian נמוכה מ-100.
  3. רשמו את מזהה התמונה, הערך הנמדד, כלל ההדרה שהופעל ונתיב האנוטציה בקובץ excluded_samples.csv.
  4. החילו את כללי קבלת הקלט על תמונות המקור של DeepFashion2 לפני תיוג מבני וחלוקת נתונים. רשמו כל מזהה תמונה שהתקבלה או נפסלה, את חלוקת מערך הנתונים המקורית, את מזהה אנוטציית הלבוש, את מזהה זוג המקור, את יחס שטח הקדמה, את יחס המגע עם הגבול, את יחס החסימה, את ציון הטשטוש ואת סטטוס השמירה הסופי בקובץ data_filtering_manifest.csv.
  5. הריצו python tools/prepare_data.py --config configs/protocol.yaml.
  6. קראו את תיבת החיתוך (bounding box) של פריט הלבוש מאנוטציית מערך הנתונים. הרחיבו את תיבת החיתוך ב-5% מרוחבה ומגובהו, מבלי לחרוג מגבולות התמונה.
  7. חתכו את אזור הלבוש, שמרו על יחס הגובה-רוחב המקורי שלו, הוסיפו ריפוד אפסים ליצירת תמונה ריבועית, ושנו את גודל התמונה המרופדת ל-512 x 512 פיקסלים.
  8. המירה את התמונה שגודלה שונה לטנזור RGB עם ערכי נקודה צפה. חלקו כל ערך פיקסל ב-255.
  9. נרמלו את הערוצים האדום, הירוק והכחול עם ממוצעים של 0.485, 0.456 ו-0.406 וסטיות תקן של 0.229, 0.224 ו-0.225.
  10. החילו היפוך אופקי בהסתברות של 0.5 ומחיקה אקראית בהסתברות של 0.2 על תמונות האימון. החילו חיתוך, ריפוד, שינוי גודל ונרמול דטרמיניסטיים בלבד על תמונות האימות והבדיקה.
  11. הריצו python tools/assign_structural_levels.py --config configs/protocol.yaml לאחר שהופקו מפות הרכיבים בעלי שבעת הערוצים ומטריצות הגבול המשותף והסדר האנכי. עבור כל תמונה שנשמרה, חשבו את מספר הצמתים הפעילים, מספר הרכיבים המחוברים, מספר צמתי הענף, מספר המחזורים העצמאיים ואת הנתיב האנכי המכוון הארוך ביותר. הגדירו צומת ענף כצומת פעיל המחובר לפחות לשלושה צמתים פעילים אחרים בגרף הגבול המשותף.
  12. הקצו S1 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, אינו מכיל צומת ענף, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S2 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, מכיל בדיוק צומת ענף אחד, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S3 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, ומכיל לפחות שני צמתי ענף או נתיב אנכי של לפחות שלושה מקשרי קשת. הקצו S4 כאשר הגרף מחובר, מכיל בדיוק מחזור עצמאי אחד, ויש לו נתיב אנכי של לא יותר משני מקשרי קשת. הקצו S5 כאשר הגרף מכיל לפחות שני מחזורים עצמאיים או מכיל מחזור עצמאי אחד יחד עם נתיב אנכי של לפחות שלושה מקשרי קשת.
  13. החילו את הכללים בסדר S5, S4, S3, S2 ו-S1 ושמרו את סטטיסטיקות הגרף שחושבו, את הרמה שהוקצתה ואת מזהה הכלל בקובץ structural_level_manifest.csv.
  14. הפיקו את תוויות S1–S5 הראשוניות באופן אוטומטי ממסכות הרכיבים וממטריצות היחסים השמורות. סמנו דגימה כמעמbeit מבנית כאשר גרף הרכיבים שלה מכיל יותר מרכיב מחובר אחד, כאשר ההסתברות המקסימלית הממוצעת של הרכיב בתוך קדמת הלבוש נמוכה מ-0.60, כאשר רכיב פעיל תופס פחות מ-1% מקדמת הלבוש, או כאשר הרמה המבנית שהוקצתה לה משתנה לאחר שרוחב המגע עם הגבול שונה מפיקסל אחד לשני פיקסלים.
  15. הגישו כל דגימה מעמbeit לשני מחברים לבדיקה עצמאית של תמונת המקור, מפת הרכיבים, מטריצת הגבול המשותף, מטריצת הסדר האנכי והגרף הראשוני. שמרו על התווית כאשר שתי הבדיקות תואמות. הגישו מקרה של אי-הסכמה למחבר שלישי והשתמשו בהחלטת הרוב כתווית הסופית. הדריגו דגימה כאשר לא התגלה יחס רכיבים יציב לאחר הבדיקה. רשמו את התווית האוטומטית, תוויות הבדיקה, סיבת אי-ההסכמה, התווית הסופית וסטטוס ההדרה בקובץ structural_label_audit.csv.
  16. חשבו את ערך ה-SHA-256 של כל קובץ מקור שנשמר וחשבו hash תפיסתי (perceptual hash) של 64 ביט מחיתוך הלבוש המנורמל. מקמו תמונות עם ערכי SHA-256 זהים באותה קבוצת כפילויות מדויקות. מקמו תמונות שה-hashes התפיסתיים שלהן הם במרחק Hamming של לא יותר מארבע באותה קבוצת כפילויות קרובות, לאחר אימות שהן מקורן מאותו מופע לבוש.
  17. מזגו את כל התמונות החולקות את אותו מזהה זוג מקור של DeepFashion2 או זהות לבוש לקבוצת מקור אחת. שמרו את ה-hashes של הקבצים, ה-hashes התפיסתיים, מזהי המקור ומזהי קבוצות הכפילויות בקובץ duplicate_group_manifest.csv.
  18. בצעו חלוקת נתונים ברמת קבוצת המקור ולא ברמת התמונה הבודדת. הקצו כל קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות וקבוצת זהות מקור באופן מלא לתת-קבוצה אחת. בדקו את כל הזוגות בין תת-הקבוצות לאחר החלוקה ורשמו כל קונפליקט זהות, קונפליקט hash וקונפליקט hash תפיסתי שזוהה בקובץ leakage_audit.csv. בנו מחדש את המניפסטים עד שקובץ leakage_audit.csv לא יכיל רשומות לא פתורות בין תת-הקבוצות.
  19. בצעו שכיבה (stratification) של קבוצות המקור לפי תוויות S1-S5 הסופיות והקצו קבוצות שלמות לתתי-הקבוצות של אימון, אימות ובדיקה בהתאם להקצאה המאושרת המוצגת ב-Table 1. דווחו על מספר התמונות המדויק ומספר קבוצות המקור עבור כל רמה מבנית ותת-קבוצה.
  20. חשבו את אחוזי האימון, האימות והבדיקה שהושגו מהקוהורט הסופי שנשמר ולא ממערך הנתונים שלא עבר סינון. אין להשתמש בתמונות אימות, תמונות בדיקה, תמונות שהודרו בשל עמימות או תמונות השייכות לקבוצות הכפילויות שלהן במהלך למידת פרמטרים, קביעת ספים, התאמת כללי רמה מבנית או בחירת נקודת ביקורת (checkpoint).
  21. שמרו את התמונות המעובדות ב-data_processed/images. שמרו את train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv ו-structural_level_manifest.csv ב-data_processed/manifests.
  22. קראו את התוויות המבניות הסופיות, סטטוס הבדיקה, מזהי קבוצות הכפילויות, מזהי קבוצות המקור ותוויות תת-הקבוצות מהמניפסטים המעובדים. ספרו את הדגימות שהתקבלו אוטומטית, הדגימות שנבדקו ידנית, הדחות בשל עמימות, הדחות בשל כפילויות, קבוצות מקור, תמונות אימון, תמונות אימות ותמונות בדיקה עבור S1 עד S5.
  23. חשבו את יחסי תתי-הקבוצות שהושגו, את מספר הצמתים הפעילים הממוצע, את מספר צמתי הענף הממוצע, את מספר המחזורים העצמאיים הממוצע, את העומק האנכי הממוצע ואת מספר המקשרי-קשת הממוצע. שמרו את הסטטיסטיקות המלאות ב-evaluation_results/dataset_statistics.csv.
  24. פלט צפוי: ודאו שכל תמונה שהתקבלה היא תמונת RGB של שמונה ביט בגודל 512 x 512 פיקסלים ושיש לה רשומת סינון אחת, תווית רמה מבנית סופית אחת, מזהה קבוצת מקור אחד, מזהה קבוצת כפילויות אחד, תווית תת-קבוצה אחת ונתיב אנוטציה תקף אחד. ודאו שלכל דגימה מעמbeit יש רשומת בדיקה מלאה. ודאו ששום מזהה מקור, קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות או זהות לבוש אינם מופיעים ביותר מתת-קבוצה אחת. ודאו שמספרי התמונות ב-train_manifest.csv, validation_manifest.csv, test_manifest.csv ו-dataset_statistics.csv זהים.
    הערה: שמרו את התמונות המקוריות שלא עברו עיבוד ב-data_raw. אין להחיל הגברה (augmentation) אקראית על תמונות אימות או בדיקה.
    ​פתרון בעיות: אם חיתוך מסיר צווארון, שרוול, מכפלת או רגל של מכנסיים, השביתו את האנוטציה המקורית והגדילו את שולי הגבול שנשמרו. אם פריט לבוש נראה מתוח, ודאו שהריפוד הריבועי קיים לפני שינוי הגודל. אם תמונה מעובדת מכילה ערוץ אחד או ארבעה ערוצים, המירו את קובץ המקור ל-RGB של שמונה ביט והריצו מחדש את עיבוד המקדם. אם מופיעים מזהים כפולים בין תתי-קבוצות, בנו מחדש את כל מניפסטי תתי-הקבוצות לפני האימון.

3. ניתוח רכיבים חזותיים מוגבלים לרקע ומיפוי הסתברותי

  1. הריצו python tools/parse_components.py --config configs/protocol.yaml.
  2. טענו את נקודת הבקרה (checkpoint) המאומנת מראש של ה-HRNet-W48 לניתוח סמנטי של בגדים מתוך parser_checkpoint. ודאו שנקודת הבקרה מפיקה את קטגוריות רכיבי הבגד המוגדרות במיפוי האנוטציות של מערך הנתונים. העבירו את רשת הניתוח הסמנטי למצב הערכה (evaluation mode) ובטלו את חישוב הגרדיאנטים.
  3. קראו את התמונות המעובדות מתוך train_manifest.csv, validation_manifest.csv, ו-test_manifest.csv באופן רציף.
  4. חלצו טנזור תגובה סמנטית בעל שבעה ערוצים מכל תמונת קלט והגדירו את K כשבעה לאורך כל זרימת העבודה. השתמשו בסדר הקטגוריות הקבוע: Upper Trim Region, Neckline Region, Bodice Region, Left Lower-Garment Region, Right Lower-Garment Region, Middle Lower-Garment Region, ו-Hem Region. שמרו על סדר זה במפות ההסתברות, במטריצות הרכיבים, במטריצות הגרף, במטריצות התכונות, במניפסטים ובקבצי הוויזואליזציה.
  5. החילו פונקציית softmax לאורך ממד הערוצים כדי להפיק את מפת ההסתברות של הרכיבים הסמנטיים P. ודאו שההסתברויות בכל K הערוצים מסתכמות לאחד בכל פיקסל, בטווח סטייה של 0.0001.
  6. טענו את מסיכת הרקע (foreground mask) של הבגד מהאנוטציה של מערך הנתונים ויישרו אותה עם התמונה המעובדת בגודל 512 x 512. הגדירו את ההסתברות של כל רכיב מחוץ לרקע הבגד לאפס. נרמלו מחדש את הסתברויות הרכיבים בתוך מסיכת הרקע לאורך ממד הערוצים.
  7. ודאו שכל אזור רכיב פעיל נשאר בתוך רקע הבגד. דחו את הדגימה המנותחת אם אזור רכיב צבעוני חורג אל הקיר הסובב, הרצפה, הווילון או כל אזור רקע אחר. רשמו את מזהה התמונה שנדחתה ואת שגיאת הניתוח ב-parsing_quality_log.csv.
  8. חשבו את יחס כיסוי הרקע עבור כל רכיב וסמנו רכיבים בעלי אזורים מקוטעים או אזורים מבודדים שאינם נתמכים לבדיקה ידנית.
  9. שמרו את טנזור התגובה הסמנטית ב-parser_outputs/logits. שמרו את מפת ההסתברות ב-parser_outputs/probability_maps. שמרו תצוגה מקדימה של רכיבים מקודדי צבעים ב-parser_outputs/previews.
  10. פלט צפוי: ודאו שכל תמונה שהתקבלה מפיקה מפת הסתברות אחת בעלת שבעה ערוצים המוגבלת לרקע בגודל מרחבי של 512 x 512 פיקסלים, טנזור תגובה סמנטי אחד בעל שבעה ערוצים, ותמונת תצוגה מקדימה אחת. ודאו שאינדקסי הערוצים אחד עד שבעה עוקבים אחר סדר הרכיבים הקבוע שהוגדר בשלב 3.4. ודאו שכל אזורי הרכיבים הצבעוניים נשארים בתוך רקע הבגד ושפיקסלי רקע הם בעלי הסתברות רכיב אפס. ודאו שמזהה הקובץ תואם לרשומה המתאימה במניפסט המקור.
    הערה: שמרו על הסתברויות רכיבים רציפות בתוך רקע הבגד במהלך המידול המבני. התייחסו לאזורים שנוצרו כאזורי ניתוח ויזואליים. אין לפרש את גבוליהם כקווי תפר, קווי גזירה, קווי מתאר של חלקי תבנית, פנימיים (darts), סימני חיתוך (notches) או התייחסויות לדירוג מידות (grading references).
    ​פתרון בעיות: אם כל הערוצים מראים הסתברויות אחידות כמעט לחלוטין, בדקו את ה-parser_checkpoint, את סדר ערוצי ה-RGB ואת נרמול התמונה. אם רכיב נשאר חסר לאורך תת-קבוצה שלמה, השוו את אינדקס האנוטציה עם אינדקס ערוץ הפלט של המנתח. אם צבעי רכיבים חורגים לרקע, בדקו את יישור מסיכת הרקע, את הגדרות האינטרפולציה ואת קואורדינטות האנוטציה לפני בניית הגרף. אם אזור ויזואלי משתרע על פני מספר אזורי בגד שאינם קשורים, סמנו את הדגימה ככישלון ניתוח והסירו אותה מיצירת ה-structural-prior. אם הסתברויות הערוצים אינן מסתכמות לאחד, החילו softmax לאורך ממד הערוצים ולא לאורך אחד מהממדים המרחביים. אם קובץ פלט חסר, אתרו את המזהה המעובד האחרון בלוג של המנתח והסמירו את הניתוח מהמזהה הבא.

4. מידול גיאומטריית רכיבים וקשרים מרחביים ברמת התמונה

  1. טענו את הטנזור של מאפייני החזות הרדודים ואת מפת ההסתברות P המתאימה עבור כל תמונה.
  2. כפילו כל וקטור מאפיינים מרחבי בהסתברות שהוקצתה לרכיב הסמנטי המתאים.
  3. סכמו את וקטורי המאפיינים המשוקללים על פני הממדים המרחביים וחלקו את הסכום במסת ההסתברות הכוללת של הרכיב.
  4. הקצו וקטור אפס ומסמן צומת-לא-פעיל לכל רכיב עם מסת הסתברות אפסית.
  5. בצעו נורמליזציית L2 לכל שיבוץ (embedding) של רכיב פעיל וערמו את השיבוצים לפי סדר הרכיבים הסמנטיים הקבוע.
  6. חשבו את קואורדינטות המרכז האופקיות והאנכיות במישור התמונה של כל רכיב חזותי מתוך התפלגות ההסתברות שלו המוגבלת לקדמה (foreground-restricted). נרמלו את הקואורדינטות לפי רוחב התמונה וגובה התמונה.
  7. חשבו את הפריסה (spread) האופקית והאנכית במישור התמונה של כל רכיב חזותי באותה מערכת קואורדינטות מנורמלת. השתמשו בערכים אלו רק כדי לתאר את היקף האזור הגלוי בתמונה המעובדת.
  8. צרו שבעה צמתי גרף לפי סדר הרכיבים הקבוע והשאירו רכיבים לא פעילים כצמתי אפס. בנו מטריצת גבול-משותף של 7 x 7 באמצעות מגע שמונה-שכנים בין מסכות רכיבי הקדמה. בנו מטריצת סדר-אנכי של 7 x 7 באמצעות היחסים הקבועים מ-Upper Trim Region ל-Neckline Region, מ-Neckline Region ל-Bodice Region, מ-Bodice Region לכל אזור של בגד פלג גוף תחתון, ומכל אזור של בגד פלג גוף תחתון ל-Hem Region. שמרו כל יחס תקף בשני הכיוונים.
  9. הוסיפו לולאת עצמי (self-loop) עבור כל צומת פעיל לפני קונבולוציית הגרף, והשאירו יחסים המחוברים לצמתים לא פעילים על אפס.
  10. חשבו את ההעתקה המרכזית היחסית ואת הפיזור המרחבי היחסי בין כל זוג סדור של רכיבים סמנטיים. ערמו את הערכים הגיאומטריים הזוגיים כדי ליצור את טנזור היחסים הגיאומטריים.
  11. חשבו את מכפלת הסקלרים (dot product) בין כל זוג שיבוצי רכיבים מנורמלים. בצעו softmax לפי שורות במטריצת הדמיות התוצאה והשתמשו בערכים כמשקולות יחסים.
  12. כפילו את טנזור היחסים הגיאומטריים במשקולות היחסים המתאימות וקבצרו את היחסים המשוקללים עבור כל רכיב.
  13. שמרו את מטריצת שיבוץ הרכיבים, מטריצת מרכז הרכיבים, מטריצת הפיזור המרחבי, מטריצת הגבול-משותף, מטריצת הסדר-האנכי, מטריצת לולאת-העצמי, מטריצת משקולות-היחסים, מסכת הצמתים הלא-פעילים, מיפוי תוויות הרכיבים והייצוג של המידע המבני המוקדם (structural prior representation) ב-structural_priors. שמרו כל מטריצה עם שבע שורות ושבע עמודות במידת הרלוונטיות. תהליך הבנייה המלא ממפת הרכיבים המוגבלת לקדמה ועד לייצוג המבני המוקדם של טופולוגיית רכיבי הבגד ברמת התמונה מוצג ב-איור 2.
  14. ייצרו את שכבת גרף הרכיבים (graph overlay) עבור כל דגימת ויזואליזציה מתוך מפת ההסתברות המוגבלת לקדמה, מטריצת מרכז הרכיבים, מטריצת הסמיכות המתוייגת, מסכת הצמתים הלא-פעילים ומיפוי תוויות הרכיבים.
  15. מקמו כל צומת פעיל במרכז הרכיב המתאים. ציירו קשתות רצופות עבור גבולות קדמה משותפים וקשתות מקווקוות עבור יחסי סדר-אנכי שהוגדרו מראש.
  16. שמרו כל שכבת גרף ב-structural_priors/visualizations באמצעות המזהה של תמונת המקור. רשמו את נתיב תמונת המקור, נתיב מפת ההסתברות, נתיב מרכז הרכיב, נתיב הסמיכות המתוייגת, נתיב מסכת הצמתים הלא-פעילים, מזהה נקודת הבקרה (checkpoint) של הניתוח הסמנטי ונתיב שכבת הגרף ב-component_graph_visualization_manifest.csv.
  17. פלט צפוי: ודאו שכל תמונה מייצרת מטריצת שיבוץ רכיבים עם K שורות, מטריצת סמיכות מתוייגת עם K שורות ו-K עמודות, מטריצת משקולות-יחסים עם K שורות ו-K עמודות, מסכת צמתים לא-פעילים עם K ערכים, וייצוג מבני מוקדם אחד ברמת התמונה. ודאו שכל דגימת ויזואליזציה שנבחרה מייצרת שכבת גרף רכיבים שבה צמתים פעילים נשארים בתוך אזורי הבגד המתאימים.
    הערה: שמרו על אותו סדר רכיבים חזותיים בכל המטריצות, המניפסטים, הגרפים, קבצי המאפיינים ושכבות הגרף. התייחסו למרכזי רכיבים, ערכי פריסה מרחבית ויחסי גרף כמתארים של אזורי בגד במישור התמונה. אין לפרש את גרף הרכיבים כשלד של תנוחה אנושית או להסיק את צומתיו מקואורדינטות של מפרקים אנטומיים. אין להמיר מתארים אלו לאורכי תפרים, רדיוסים של קימורים, נתוני פנסים (dart intake), מיקומי סימוני חיתוך (notch), כיווני חוט השער, מדרגות מידה (grading increments) או מימדי חלקי גזרה.
    ​פתרון בעיות: אם מטריצה מכילה ערך שאינו מספרי, בדקו את המכנה של מסת ההסתברות ואת נורמליזציית הקואורדינטות. אם משקולות היחסים מתרכזים ברכיב אחד, החסירה את המקסימום של השורה ממטריצת הדמיות לפני ה-softmax. אם מספר צמתי הגרף שונה בין תמונות, ודאו שרכיבים לא פעילים נשארים כווקטורי אפס במקום להיות מוסרים.

5. קידוד מאפיינים מודע-מבנה בשני זרמים

  1. טען את משקולות ה-ResNet-50 שאימנו מראש על ImageNet והסר את שכבות האיסוף (pooling) והסיווג הסופיות.
  2. העבר כל תמונת בגד מנורמלת דרך ResNet-50 והפק את טנזור המראה משלב השדרה (backbone) שמוגדר על ידי appearance_stage בקובץ configs/protocol.yaml. ודא את שם השלב, מספר ערוצי הפלט והממדים המרחביים של הפלט המיוצרים על ידי שלב השדרה שנבחר עבור תמונת קלט של 512 x 512 פיקסלים. השתמש באותו שלב בכל הרצות האימון, ההסקה (inference), האבלאציה וההשוואה.
  3. שנה את גודלו של מפת ההסתברות הסמנטית לגודל המרחבי של טנזור מאפייני המראה באמצעות אינטרפולציה ביליניארית. הכפל את טנזור מאפייני המראה בכל מפת הסתברות רכיב שגודלה שונה, ולאחר מכן סכום את התגובות המשוקללות על פני הממדים המרחביים.
  4. העבר כל שיכון (embedding) של מראה רכיב דרך שכבת כיול הערוצים (channel-recalibration) המוגדרת ב-configs/protocol.yaml. רשום את סוג השכבה, ממד הקלט, ממד הפלט, יחס ההפחתה (reduction ratio), פונקציית ההפעלה וכלל שיתוף הפרמטרים. ערם את שבעת וקטורי הרכיבים שהתקבלו בסדר הסמנטי הקבוע כדי ליצור את מטריצת מאפייני המראה.
  5. העבר כל וקטור יחס גיאומטרי דרך שכבת ההטלה המבנית (structural projection) והגדר את ממד הפלט ל-512. בנה את גרף הרכיבים באמצעות מטריצת משקולות היחסים ומסכת הצמתים הבלתי פעילים (inactive-node mask).
  6. החל שתי שכבות קונבולוציה של גרפים (graph convolutional layers) עם ממד קלט של 512 וממד פלט של 512. החל נורמליזציה של אצוות (batch normalization) לאחר כל שכבת קונבולוציה של גרפים ולאחר מכן החל LeakyReLU. רשום את ערך השיפוע השלילי שבו השתמשה פונקציית ה-LeakyReLU. החל את מסכת הצמתים הבלתי פעילים לאחר כל שכבה כדי לשמור על מאפייני אפס עבור רכיבים בלתי פעילים.
  7. החל יישור סמנטי (semantic alignment) עם שיכוני הרכיבים המנורמלים וערם את הווקטורים שהתקבלו כדי ליצור את מטריצת המאפיינים המבנית.
  8. פלט צפוי: ודא שכל תמונה מייצרת מטריצת מאפייני מראה אחת ומטריצת מאפיינים מבנית אחת. ודא ששתי המטריצות מכילות K שורות ו-512 עמודות.
    הערה: שמור על רכיבים בלתי פעילים כווקטורי אפס ושמור על סדר הרכיבים שנקבע במהלך בניית הפריור המבני.
    פתרון בעיות: אם שתי מטריצות המאפיינים מכילות מספר שורות שונה, בדוק את מיפוי הקטגוריות הסמנטיות ואת הטיפול בצמתים בלתי פעילים. אם כפל מטריצות מדווח על שגיאת ממד, ודא שפלט ההטלה המבנית וממדי ערוצי המראה הם שניהם 512. אם מאפיינים מבניים נשארים אפס עבור כל הרכיבים הפעילים, ודא שקשתות הגרף ומשקולות היחסים נוספו לאצווה הנוכחית.

6. מיזוג מאפיינים מונחה-מבנה

  1. יש להחיל את רצף מיזוג המאפיינים המונחה-מבנה המוצג ב-איור 3. העבירו את מטריצת המאפיינים המבנית דרך שכבת משקלי המיזוג והשבילו את פונקציית ההפעלה שמוגדרת על ידי fusion_activation ב-configs/protocol.yaml. רשמו את שם ההפעלה, ממד הקלט, ממד הפלט, והאם הפרמטרים משותפים בין שבעת צמתי הרכיבים.
  2. אמתו כי מטריצת המשקלים המבנית שנוצרה מכילה K שורות ו-512 עמודות.
  3. הכפילו את מטריצת מאפייני המראה במטריצת המשקלים המבנית, איבר מול איבר.
  4. שרשרו את מטריצת המראה המודולית ואת מטריצת המאפיינים המבנית לאורך ממד הערוץ.
  5. שרשרו את וקטור המראה המודולי בן 512 הממדים ואת הווקטור המבני בן 512 הממדים עבור כל רכיב כדי ליצור וקטור בן 1024 ממדים. העבירו את הווקטור המשורשש דרך שכבת היטל המיזוג והקטינו את ממדו מ-1024 ל-512.
  6. הוסיפו את מטריצת המאפיינים המבנית המקורית למטריצה המהוטלת באמצעות חיבור שאריתי (residual connection).
  7. ערמו את וקטורי הרכיבים הממוזגים בסדר הסמנטי הקבוע והשבילו נורמליזציית L2 לייצוג המשטח המודע-מבנה.
  8. שמרו את מטריצת המשקלים המבנית, מטריצת המראה המודולית, מטריצת הרכיבים הממוזגת והייצוג הסופי המודע-מבנה ב-feature_outputs.
  9. פלט צפוי: ודאו כי כל תמונה מייצרת מטריצת רכיבים ממוזגת אחת עם K שורות ו-512 עמודות, ווקטור מאפיינים נורמליזציוני אחד מודע-מבנה המקושר למזהה תמונת המקור.
    הערה: שמרו את מטריצת המשקלים המבנית ואת מטריצת הרכיבים הממוזגת לצורך ויזואליזציה של התגובה וניתוח הפרשים מקומיים.
    ​פתרון בעיות: אם הערכים הממוזגים ממשיכים לגדול, בדקו את פלט ההפעלה ואת שכבת הנורמליזציה. אם כל המשקלים המבניים שואפים לאותו ערך, ודאו שמאפיינים מבניים משתנים בין התמונות וששכבת המיזוג מקבלת גרדיאנטים. אם קבצי המאפיינים ומזהי התמונות אינם תואמים, בנו מחדש את מניפסט הפלט לפני האימון או לפני הערכת השליפה.

7. אימון המודל ואופטימיזציה של העקביות

  1. טענו את חמשת ערכי זרעי האקראיות (random seed) הרשומים ב-configs/seeds.yaml. עבור כל הרצה, הגדירו את אותו זרע אקראיות עבור Python, NumPy, פעולות PyTorch CPU וכל התקני ה-CUDA. הפעילו אלגוריתמים דטרמיניסטיים, ביטלו את מצב ה-benchmark של cuDNN, ורשמו את חמשת ערכי הזרעים המדויקים בספריית ההרצה המתאימה.
  2. טענו את המניפסט של האימון המעובד, מניפסט הזיווגים, מפות ההסתברות והקדמונים המבניים (structural priors).
  3. בנו כל אצווה (batch) של אימון עם שמונה קטגוריות מבניות וארבעה דגימות בעלות מראה משתנה מכל קטגוריה.
  4. חשבו את הפסד העקביות המבנית (structural consistency loss) מזוגי דגימות חיוביים השותפים לאותו קדמון מבני.
  5. חשבו את הפסד עקביות הקשר המבני (structural relationship consistency loss) מהמרחקים הזוגיים בין תכונות הרכיבים.
  6. חשבו את הפסד ההבחנה המבנית (structural discrimination loss) מזוגי דגימות שליליים בעלי מבנים הטרוגניים והשלימו את סף ההפרדה של 0.3.
  7. שלבו את יעד המראה, יעד העקביות המבנית, יעד הקשר המבני ויעד ההבחנה המבנית עם המשקולות השמורים ב-configs/protocol.yaml. תהליך האופטימיזציה של מרחב התכונות המנוהל על ידי שלושת היעדים המבניים מוצג ב-איור 4.
  8. הריצו python train.py --config configs/protocol.yaml. עדכנו את כל הפרמטרים הניתנים לאימון באמצעות descenso גרדיאנט סטוכסטי של מיני-אצוות (mini-batch SGD), תוך שימוש בקצב הלמידה הראשוני, המומנטום, דעיכת המשקולות (weight decay), מספר האיפוכים (epochs), מקדם הדעיכה ואיפוכי הדעיכה שהוגדרו בשלב 1.8. רשמו את קצב הלמידה לאחר כל איפוק ביומן האימון.
  9. רשמו את הפסד הכולל, הפסד המראה, הפסד העקביות המבנית, הפסד הקשר המבני, הפסד ההבחנה המבנית, קצב הלמידה, מדד העקביות המבנית (SCI), מדד ההבחנה המבנית (SDI) ו-Recall@5 לאחר כל איפוק.
  10. העריכו את המודל על validation_manifest.csv לאחר כל איפוק. שמרו את נקודת הבקרה (checkpoint) הקשורה ל-SCI הגבוה ביותר בתיקוף ב-checkpoints/selected_model.pth.
  11. חזרו על האימון חמש פעמים עם חמשת זרעי האקראיות הרשומים. שמרו כל קובץ הגדרה, יומן אימון ונקודת בקרה נבחרת בספריית הרצה נפרדת.
  12. פלט צפוי: ודאו שכל הרצה מייצרת יומן אימון, יומן תיקוף, קובץ מדדים ברמת האיפוק ונקודת בקרה נבחרת אחת. ודאו שנקודת הבקרה הנבחרת מבוססת על ביצועי תיקוף ולא על ביצועי בדיקה.
    הערה: השתמשו באותם מניפסטים של אימון, תיקוף ובדיקה בכל השוואת מודלים וניסוי אבלציה (ablation experiment).
    ​פתרון בעיות: אם הפסד הופך לערך שאינו מספרי, הפסיקו את האימון, בחנו את מסות ההסתברות של הרכיבים, הפחיתו את קצב הלמידה פי 10, והתחילו מחדש מנקודת הבקרה התקינה האחרונה. אם ה-SCI בתיקוף נשאר ללא שינוי בעוד הפסד האימון יורד, ודאו שפרמטרי הפצת הגרף והמיזוג מקבלים גרדיאנטים. אם זיכרון הגרפיקה (VRAM) התמלא, הפחיתו את גודל האצווה ושמרו על גודל אצבעה אפקטיבי של 32 באמצעות צבירת גרדיאנטים (gradient accumulation). אם ביצועי התיקוף משתנים בחדות בין הרצות, ודאו את זרע האקראיות הרשום ואת סדר המניפסט של הנתונים.

8. הסקה, שליפה, קיבוץ ואימות פלט

  1. הפעילו את הפקודה python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth. הפיקו מפות הסתברות, פריוריים מבניים (structural priors), מטריצות תכונות של מראה, מטריצות תכונות מבניות, מטריצות רכיבים ממוזגים (fused component matrices) ווקטורי תכונות סופיים עבור כל תמונת מבחן.
  2. שמרו את כל פלטי ההסקה תחת feature_outputs/test ורשמו את נתיביהם בתוך test_feature_manifest.csv. חשבו את דמיון הקוסינוס (cosine similarity) בין כל תכונת שאילתה לכל תכונות הגלריה. מיינו את מזהי הגלריה לפי סדר דמיון יורד. שמרו את חמש התוצאות בעלות הדירוג הגבוה ביותר עבור כל שאילתה ב-evaluation_results/retrieval_results.csv.
  3. עבור כל דגימת שליפה שנבחרה לוויזואליזציה, טענו את מטריצת הסמיכות המתוייגת (typed adjacency matrix), מטריצת משקלי היחסים, מטריצת מרכזי הרכיבים, מסיכת צמתים לא פעילים, מיפוי תוויות רכיבים ומטריצת רכיבים ממוזגת של תמונת השאילתה. טענו את אותם הקבצים עבור התוצאה בעלת הדירוג הגבוה ביותר שהופקה על ידי המודל המודע-מבנה.
  4. רנדרו את גרף רכיבי השאילתה ואת גרף רכיבי התמונה שנשלפה ממרכזי הרכיבים וממטריצות הסמיכות המתוייגות השמורות שלהם. שמרו על סדר הרכיבים הקבוע וסוגי היחסים ששימשו במהלך הסקת המודל.
  5. רנדרו את מטריצת הסמיכות המתוייגת של השאילתה כמטריצה קטגוריאלית. השתמשו בערכי מטריצה נפרדים עבור יחסים של צמתים לא פעילים, גבול משותף וסדר אנכי. תייגו את הצירים האופקיים והאנכיים באמצעות מזהי הרכיבים השמורים במיפוי תוויות הרכיבים.
  6. הפעילו נורמליזציית L2 על מטריצת הרכיבים הממוזגת של השאילתה ועל מטריצת הרכיבים הממוזגת של התמונה שנשלפה. חשבו את דמיון הקוסינוס בין כל רכיב שאילתה לכל רכיב בתמונה שנשלפה. שמרו את מטריצת התאמת הרכיבים K × K שהתקבלה ב-evaluation_results/structural_retrieval_evidence.
  7. עבור כל זוג רכיב-מטרה שנבחר לניתוח הפרשים מקומיים, טענו את מטריצת הסמיכות המתוייגת, מטריצת מרכזי הרכיבים, מטריצת הפיזור המרחבי, מטריצת משקלי היחסים ומטריצת הרכיבים הממוזגת של שתי התמונות.
  8. חשבו את ההפרש המוחלט בין שתי מטריצות הסמיכות המתוייגות. חשבו את ההפרשים המוחלטים בהעתקת מרכזי הרכיבים, בפיזור המרחבי ובמשקלי היחסים תוך שימוש בסדר הרכיבים הקבוע. שמרו את מטריצת הפרשי הטופולוגיה ומטריצת הפרשי היחסים הגיאומטריים שהתקבלו ב-evaluation_results/structural_difference_evidence.
  9. חשבו את מרחק L2 בין שורות תואמות של שתי מטריצות הרכיבים הממוזגות. נרמלו את המרחקים ברמת הרכיב והקצו אותם לצמתים של גרף רכיבי המטרה. הגדילו את רוחב הקשת בהתאם להפרש הנורמלי במשקל היחס. שמרו את גרף הפרשי הרכיבים לאחר המיזוג שהתקבל.
  10. רשמו את מזהי התמונות, נתיבי המטריצות, נתיבי הגרפים, סדר הרכיבים, מזהה ה-checkpoint ונתיבי פלטי הוויזואליזציה ב-structural_visualization_manifest.csv. הפיקו את כל הוויזואליזציות המבניות באופן תכנותי מהקבצים הרשומים; אין להוסיף צמתי גרף, קשתי גרף או ערכי מטריצה באופן ידני.
  11. הפעילו K-Means עם חמישה אשכולות (clusters) על וקטורי התכונות הסופיים ושמרו את השיוכים לאשכולות ב-evaluation_results/cluster_assignments.csv. הפעילו את הפקודה python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test.
  12. חשבו את ה-SCI, SDI, Recall@5, ה-mean Average Precision (mAP) ומקדם הסילוואט (silhouette coefficient) עבור כל הרצה. השתמשו ב-SCI כדי להעריך את הדחיסות של תכונות נורמליות השותפות לאותה תווית מבנית, והשתמשו ב-SDI כדי להעריך את ההפרדה בין תוויות מבניות שונות. השתמשו ב-Recall@5 כדי להעריך אם התאמה מבנית רלוונטית מופיעה ברשימת השליפה הקצרה, והשתמשו ב-mAP כדי להעריך את איכות הדירוג בכל הגלריה. השתמשו במקדם הסילוואט רק עבור ניתוח האשכולות.
  13. חשבו את הממוצע האריתמטי ואת סטיית התקן של המדגם עבור חמש הרצות עצמאיות. שמרו את חמשת הערכים ברמת ההרצה עבור כל שיטה ומדד. אין לבצע נורמליזציית min-max, נורמליזציית דרגות או שינוי קנה מידה המבוסס על השיטות המושוות. בצעו מבחן t מזווג באמצעות תוצאות שהושגו תחת אותו זרע אקראי (random seed) ורשמו את סטטיסטיקת המבחן ואת ערך המובהקות המדויק הדו-צדדי.
  14. השוו את מספר מזהי המבחן שעובדו, קבצי התכונות, רשומות השליפה והשיוכים לאשכולות. פתרו כל אי-התאמה לפני דיווח או פרשנות של תוצאות ההערכה.
  15. פלט צפוי: ודאו שלכל תמונת מבחן יש רשומת הסקה אחת מלאה, רשימת שליפה אחת, שיוך לאשכול אחד וסט אחד של קלטי הערכה. ודאו שלכל מקרה שליפה שנבחר לוויזואליזציה יש גרף רכיבי שאילתה, גרף רכיבי תמונה שנשלפה, מטריצת סמיכות מתוייגת ומטריצת התאמת רכיבים ממוזגת.
  16. ודאו שלכל מקרה של הפרש מבני יש מטריצת הפרשי טופולוגיה, מטריצת הפרשי יחסים גיאומטריים, גרף הפרשי רכיבים לאחר מיזוג, מפת חום של הפרש מרחבי ושכבת תגובה (response overlay). ודאו שכל קבצי הוויזואליזציה מקושרים למטריצות המקור שלהם דרך structural_visualization_manifest.csv. שמרו את מפת החום הנקייה, את שכבת התמונה-המטרה, את מסיכת הרקע (foreground mask) ואת קואורדינאטות אזור התגובה העליון עבור כל מקרה שהוצג בוויזואליזציה.
  17. קבלו תגובת הפרש מחושבת רק כאשר אזור התגובה הגבוה השולט חופף לרקע הבגד ונשאר נתמך על ידי השינוי התואם בסמיכות המתוייגת, השינוי ביחס הגיאומטרי וראיית מרחק הרכיבים לאחר המיזוג. אם התגובה החזקה ביותר נופלת בעיקר מחוץ לרקע הבגד, בדקו את פלט הניתוח (parsing output), את גרף הרכיבים ואת רשומת המיזוג.
    הערה: השתמשו ב-checkpoint שנבחר מסט האימות (validation set) עבור הסקה על סט המבחן. אין לבחור או להחליף checkpoint לפי מדדי סט המבחן. השתמשו באותו סדר רכיבים, כלל צמתים לא פעילים, קידוד סוגי יחסים ותהליך נורמליזציה בעת יצירת גרפים ומטריצות במהלך ההסקה והוויזואליזציה.
    ​פתרון בעיות: אם ההסקה נעצרת לפני עיבוד כל תמונות המבחן, אתרו את המזהה האחרון ביומן ההסקה והמשיכו מהמזהה הבא. אם תוצאות השליפה נשלטות על ידי דמיון בצבע, בדקו את פלטי הפריורי המבני והמיזוג, וודאו שטעינת ה-checkpoint הצליחה. אם ההערכה מדווחת על מזהים כפולים, בנו מחדש את test_feature_manifest.csv והסירו רשומות כפולות לפני החישוב מחדש. אם K-Means מייצר אשכול ריק, ודאו את נורמליזציית התכונות והריצו שוב את האשכולה עם הזרע האקראי הרשום.

9. הערכה השוואתית של מודלים

  1. הריצו את הפקודה python compare_models.py --config configs/protocol.yaml.
  2. אמנו והעריכו את ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Topology Feature Histogram with Color and Texture Fusion, Attention-Guided Cascade Network, MMFL-Net, FARE-RNET, ואת השיטה המוצעת עם אותם מניפסטי אימון, תיקוף ובדיקה.
  3. השתמשו באותו גודל תמונה, פעולות עיבוד מקדמי, עידני אימון (epochs), גודל אצווה (batch size) אפקטיבי, שאילתות הערכה ומימוש מדדים עבור כל שיטה.
  4. שמרו על global average pooling עבור ResNet-50. השתמשו ב-horizontal-strip alignment ב-PCB. השתמשו בגרף בגד קבוע ברמת התמונה ב-GCN. השתמשו ב-attribute-guided dynamic graph inference ב-FashionGraph. השתמשו במקודדי התמונה הסטנדרטיים של Swin Transformer ו-CLIP. ממשו את Topology Feature Histogram with Color and Texture Fusion באמצעות מתארי טופולוגיה, צבע ומרקם. ממשו את Attention-Guided Cascade Network באמצעות ענפי מאפיינים גלובליים ומקומיים עם חלוקת בגדים (garment parsing). ממשו את MMFL-Net באמצעות ענפי מאפיינים רב-קנה-מידה ורב-גרנולריות. ממשו את FARE-RNET באמצעות residual attention, בחירת מאפיינים וקידוד הקשרי מורחב (dilated contextual encoding).
  5. השתמשו רק בענף השאילתה-תמונה (image-query branch) של כל שיטת השוואה. אמנו מחדש כל שיטה ניתנת לאימון על מניפסט האימון המשותף ובחרו את נקודת השמירה (checkpoint) שלה ממניפסט התיקוף המשותף. הפיקו רשימת גלריה מדורגת עבור כל שאילתת בדיקה.
  6. הטילו כל שיכון (embedding) נלמד ל-512 ממדים באמצעות שכבה ליניארית ניתנת לאימון רשומה, כאשר ממדו המקורי שונה. בצעו נורמליזציית L2 לפני דירוג דמיון קוסינוס (cosine-similarity). השתמשו באותה השמה של שאילתה-גלריה ובאותו מימוש מדדים עבור כל השיטות.
  7. חזרו על כל שיטת השוואה עם אותם חמישה זרעי אקראיות (random seeds). דווחו על הממוצע וסטיית התקן של המדגמים עבור SCI, SDI, Recall@5, mAP ומקדם הסילואט (silhouette coefficient). עבור כל מדד, בצעו מבחן t מזווג דו-צדדי בין השיטה המוצעת לכל שיטת השוואה באמצעות תוצאות שהתקבלו תחת אותו זרע אקראיות. רשמו את חמשת הערכים ברמת ההרצה, את סטטיסטיקת המבחן, את דרגות החופש ואת ערך ה- p המדויק בקובץ evaluation_results/comparison_metrics.csv.
  8. חשבו את SCI, SDI, Recall@5, mAP ומקדם הסילואט עבור כל שיטה. שמרו את כל ערכי רמת ההרצה והערכים המaggregated בקובץ evaluation_results/comparison_metrics.csv.
  9. פלט צפוי: וודאו שקובץ comparison_metrics.csv מכיל את אותם שדות מדדים ואת אותו מספר הרצות עצמאיות עבור כל שיטת השוואה.
    הערה: אין לשנות את חלוקות הנתונים, קוד המדדים או השמת השאילתה-גלריה בין שיטות ההשוואה.
    פתרון בעיות: אם מודל השוואה מייצר ממד מאפיינים שאינו 512, הוסיפו שכבת היטלה ליניארית רשומה אחת לפני חישוב המדד ואמנו שכבה זו עם המודל המתאים. אם מודל אינו מתכנס תחת קצב הלמידה המשותף, השתמשו בקצב הלמידה שצוין במימוש שפורסם שלו ושמרו על כל שאר התנאים הניסיוניים. רשמו כל הגדרה ספציפית לשיטה ביומן ההשוואות.

תוצאות

כל הניסויים שדווחו בוצעו באמצעות סביבת החומרה והתוכנה המתועדת בטבלה 2 ובטבלת החומרים. אותן גרסאות של מנהל התקן הגרפי, CUDA, cuDNN, Python, NumPy, PyTorch ו-torchvision שימשו לאורך כל שלבי העיבוד המקדים, האימון, ההסקה וההערכה. סביבת החומרה והתוכנה המלאה מסוכמת בטבלה 2 ובטבלת החומרים. טבלה 1 מסכמת את מערכי נתוני האימון, האימות והבדיקה המעובדים יחד עם סטטיסטיקות טופולוגיות ברמת התמונה. טבלה 2 מסכמת את התצורה המשותפת ששימשה עבור כל שיטות ההשוואה.

תוצאות הערכה השוואתית

ההערכה ההשוואית בוצעה על פי חלוקות הנתונים, פעולות עיבוד המקדמי, בקרות האימון והגדרות המדדים הנפוצות שפורטו בסעיפים 7–9 של הפרוטוקול. Table 3 משווה בין מקודדי ראייה כלליים, מודלים מיושרים לחלקים (part-aligned models), ייצוגי בגדים מבוססי גרפים, רשתות אחזור אופנה בין-דומיינים, שיטות היתוך של טופולוגיה ומראה, ושיטות אחזור חזותי של מסחר אלקטרוני, כאשר כולן הוערכו באמצעות אותו פרוטוקול שאילתת-תמונה. השיטות הספציפיות לדומיין כוללות את Topology Feature Histogram with Color and Texture Fusion (TFH-CT), Attention-Guided Cascade Network (AGC-Net), Multi-scale and Multi-granularity Feature Learning Network (MMFL-Net), ו-Fashion Retrieval using Residual Network with Egret Swarm Optimization (FARE-RNET). כל מדדי ההערכה ב-Table 3 מדווחים כממוצע וסטיית תקן של המדגם על פני חמש הרצות עצמאיות תוך שימוש באותם זרעי אקראיות (random seeds), מניפסט אימון, מניפסט תיקוף, מניפסט בדיקה, הקצאת שאילתה-גלריה ומימוש מדד. ערכי ה-p-הזוגיים חושבו בנפרד עבור SCI, SDI, Recall@5, mAP ומקדם silhouette על ידי השוואת כל שיטה לשיטה המוצעת תחת תנאי זרעי-אקראיות תואמים. תוצאות אלו מספקות את הבסיס הכמותי לניתוחי הוויזואליזציה המבנית, האחזור, הקיבוץ (clustering) והניתוחים המכוונים לעיצוב שיבואו לאחר מכן.

תוצאות פרוטוקול מייצגות ופירושן

ביצוע מוצלח של הפרוטוקול יתבטא כאשר גרף הרכיבים ברמת התמונה, המשוחזר מקובצי הניתוח והגרף השמורים, ימקם כל צומת פעיל בתוך אזור הבגד התואם לו וישמר את סוגי הקשרים המתועדים במטריצת הסמיכות המתוייגת, כפי שמוצג ב-איור 5C. התגובה המודעת למבנה צריכה להישאר מרוכזת בקדמת הבגד, כפי שמוצג ב-איור 5D. איור 6E מציג תוצאת שליפה צפויה שבה השיטה המוצעת מפחיתה את השפעת הרקע האדום ושולפת בגדי פלג גוף עליון במקום עצמים אדומים שאינם קשורים. איור 6B–G מדגים גם כי דירוג השליפה נתמך על ידי קשרי רכיבים ברמת התמונה והתאמת רכיבים לאחר מיזוג. תוצאה זו משקפת שחזור של קטגוריית הבגד הגסה, למרות שאורך השרוול והטופולוגיה המקומית עדיין משתנים בין הדגימות שנשלפו.

מקרי כישלון נפוצים כוללים את ההפעלה הנשלטת על ידי מרקם ב-איור 5B, את השליפה המונעת מצבע הרקע בשורה העליונה של איור 6, ואת הפעלת הרקע השיורית ב-איור 7. יש לפרש את איור 7 כמיקום חלקי, מכיוון שהתגובה הדומיננטית עוקבת אחר קווי המתאר המוגדלים של החלק התחתון של הגוף ואת גבול הבגד הימני, בעוד שהפעלה שיורית נשארת באזורי רקע סמוכים. המיקום נחשב נתמך מבנית רק כאשר מטריצת הפרשי הטופולוגיה, מטריצת הפרשי היחסים הגאומטריים, גרף הפרשי הרכיבים לאחר מיזוג, והתגובה המרחבית מזהים אזורי בגד עקביים. נקודה חמה מרחבית ללא שינויים תואמים במטריצה או ברכיבים מעידה על הפרעה חזותית ולא על ראיה מבנית.

הרצת פרוטוקול נחשבת לתקפה כאשר כל תמונה מקובלת מניבה מפת הסתברות סמנטית מנורמלת, מטריצת יחסים עם K שורות ו-K עמודות, מטריצות מאפייני מראה ומבנה עם K שורות ו-512 עמודות, ווקטור מאפיינים מאוחד סופי המקושר למזהה התמונה הנכון. בדיקה ויזואלית צריכה לאשר שהטופולוגיה עוקבת אחר רכיבי הבגד, שהתגובה של הרקע הקדמי עולה על התגובה של הרקע, ושתוצאות השליפה מונחות על ידי קטגוריית הבגד ומבנהו ולא על ידי צבע הרקע. מפות הסתברות מקוטעות, צמתי רכיבים חסרים, מטריצות שאינן מספריות, תגובות רקע מפוזרות או שליפה הנשלטת על ידי צבע מעידות על ביצוע לא מוצלח ומחייבות בדיקה של הניתוח (parsing), בניית הגרף, איחוד המאפיינים או טעינת נקודות הסימון (checkpoint loading).

ניתוח ויזואלי של תגובות רכיבי ביגוד ברמת התמונה

איור 5 משווה בין Baseline של ResNet-50 לבין המודל המודע לרכיבים תוך שימוש באותה תמונת בגד. איור 5B מציג את מפת הפעלת המחלקה (class activation map) עבור ה-Baseline של המראה. איור 5C מציג את גרף רכיבי הבגד ברמת התמונה ששוחזר ממפת ההסתברות המוגבלת לרקע, מטריצת מרכז הרכיבים, מטריצת סמיכות מתוייגת, מסכת צמתים לא פעילים ומיפוי תוויות רכיבים שנוצרו בסעיפים 3 ו-4 של הפרוטוקול. איור 5D מציג את תגובת ההפעלה של הייצוג הממוזג. לא נעשה שימוש במעריך תנוחת גוף אנושית או בסימון מפרקים אנושיים כדי ליצור את איור 5C.

התגובה הבסיסית התרכזה באזורי טקסטורה מקומיים בחלק התחתון של הלבוש ולא עקבה בעקביות אחר גבול הלבוש המלא, כפי שמוצג ב-איור 5B. ב-איור 5C, כל צומת תואם למרכז של אזור רכיב לבוש פעיל, בעוד שכל קשר מייצג גבול קדמה משותף או קשר סדר אנכי שהוגדר מראש. הגרף משקף את ארגון אזורי הלבוש ואינו מייצג מפרקים אנטומיים אנושיים. התגובה המודעת למבנה כיסתה את קדמת הלבוש העיקרית תוך שמירה על הפעלה נמוכה יותר ברוב אזורי הרקע, כפי שמוצג ב-איור 5D. תוצאות אלו מעידות כי גרף הרכיבים ומודול היתוך התכונות הפחיתו את ההפעלה השלטה של הטקסטורה בתמונה שנבדקה.

ניתוח דמיון מבני של ביגוד ותוצאות ייחוס לעיצוב

איור 6 מציג את דירוג השליפה יחד עם הראיות המבניות ששימשו לפירושו. גרף רכיבי השאילתה ב-איור 6B מתעד אזורי ביגוד פעילים ואת הקשרים המסוגים שלהם, בעוד שהמטריצה ב-איור 6C חושפת את תבנית הקשרים שהוזנה להפצה הגרפית (graph propagation). תוצאות הבסיס (baseline) ב-איור 6D נותרות נשלטות על ידי רמזי מראה אדומים. התוצאות המודעות למבנה ב-איור 6E שומרות על קטגוריית ביגוד פלג גוף עליון על פני צבעים ורקעים שונים. גרף הרכיבים של התוצאה בעלת הדירוג הגבוה ביותר ב-איור 6F מאפשר השוואה ישירה עם גרף השאילתה, ומטריצת ההתאמה ב-איור 6G חושפת האם רכיבים בעלי מזהים זהים נותרים מיושרים לאחר מיזוג מונחה-מבנה. יש לפרש את ההתאמה האלכסונית יחד עם צמתים חסרים וקשרי גרף ש변경된. דמיון מראה חזק ללא התאמה גרפית אינו מהווה שליפה מבנית מוצלחת.

הבגדים שנשלו פלטו את הקטגוריה הגסה, אך הבדלים בתצורת השרוולים ובקשרים בין רכיבים מקומיים מעידים על התאמה לא מלאה ברמה עדינה. השיטה המוצעת השיגה Recall@5 של 89.2% ו-mAP של 86.4%, כפי שדווח ב-טבלה 3. ערכים כמותיים אלה מתארים את ביצועי הדירוג, בעוד ש-איור 6B–G מספק ראיות מבניות ביניים התומכות בפרשנות. לפיכך, מסקנת השליפה מוגבלת לעמידות משופרת להפרעות של צבע הרקע ולארגון רכיבים חזק יותר ברמת התמונה תחת השאילתה שנבדקה.

מענה להבדלים מבניים ותמיכה בניתוח תכנון

מפת החום של תגובת ההפרש הטהורה ב- איור 7H מראה כי התגובה הדומיננטית מרוכזת במערכת קווי המתאר המורחבת של פלג הגוף התחתון ובגבול הבגד הימני של תמונת המטרה. השכבה העליונה ב- איור 7I מראה כי התגובה החזקה ביותר נותרת מיושרת עם קדמת הבגד המרכזי, בעוד שהפעלה חלשה יותר באזורי הווילון והקיר הסמוכים נותרת כהפרעה רקעית שיורית. יש לפרש את התגובה המרחבית יחד עם גרף הרכיבים וראיות המטריצה המוצגים ב- איורים 7C–Gתגובה תיחשב כהבדל מבני תקף רק כאשר אזור הבגד בעל התגובה הגבוהה עקבי עם השינוי בסמיכות, השינוי ביחסים גיאומטריים ותבנית מרחק הרכיבים לאחר מיזוג.

הבדל מבני מתקבל רק כאשר שינוי בסמיכות המוקלד ב-איור 7E או שינוי ביחס הגיאומטרי ב-איור 7F מלווים במרחק רכיבים מוגבר ב-איור 7G ובתגובה מרחבית המיושרת לקדמה (foreground-aligned) ב-איור 7H,I. אזור פלג הגוף התחתון המורחב וגבול הבגד הימני מקיימים קריטריון חוצה-שלבים זה. אקטיבציה מעל הווילון והקיר אינה תואמת לשינויים בצמתי רכיבים, בדפוסי יחסים או במרחקי רכיבים ממוזגים, ולכן נדחית כהפרעה שיורית שאינה מבנית. התוצאה תומכת במיקום הבדלים ברמת התמונה, אך אינה קובעת שונות בדפוסי התפירה או בפרמטרי הבנייה.

ניתוח התפלגות מרחבית של מאפיינים וניתוח אשכולות מבניים

ניתוח ההתפלגות של מרחב המאפיינים החבוי (latent feature space) חושף את יכולתו של המודל להבחין בין הסמנטיקה המבנית של הבגדים. ניתוח זה בוחן האם הידע המוקדם המבני (structural prior) מארגן פריטי לבוש בעלי תצורות טופולוגיות שונות למניפולדים (manifolds) נפרדים של מאפיינים. נבחרו חמש קטגוריות מבניות מייצגות מקבוצת הבדיקה — חולצות עם שרוול קצר, מכנסיים, חצאיות, מעילים ארוכים ושמלות. וקטורי המאפיינים רב-הממדיים הוקרינו למישור דו-ממדי באמצעות t-distributed stochastic neighbor embedding (t-SNE). הלכידות של דגימות דומות וההפרדה בין דגימות שונות הוערכו כדי לאפיין את הארגון של הסמנטיקה המבנית במרחב המאפיינים. התפלגות ה-t-SNE של מרחב המאפיינים המודע למבנה מוצגת ב-איור 8.

ההקרנה בשיטת t-SNE יצרה חמישה אזורי מאפיינים עיקריים עם חפיפה מוגבלת בין קטגוריות שכנות, כפי שמוצג ב- איור 8Aדגימות מייצגות התואמות לחמשת אזורי הקטגוריות מוצגות ב- איור 8Bה-SCI, העומד על 0.81, משקף את הדחיסות של דגימות בעלות תגית מבנית זהה, וה-SDI, העומד על 0.71, משקף את ההפרדה בין דגימות בעלות תגיות מבניות שונות, כפי שדווח ב- טבלה 3 והוצגו ב- איור 8מדדים אלו יש לפרש כמדדים של התפלגות במרחב התכונות, והם אינם קובעים באופן ישיר שיעור התראות שגואות. חולצות קצרות וחצאיות תפסו אזורים עיקריים שונים במרחב התכונות המושלך, בעוד שמספר קטן של דגימות נותרו סמוך לגבולות קטגוריה גובלים, כפי שמוצג ב- איור 8Aמכנסיים ושמלות הראו גם הם הפרדה ברורה מקטגוריות סמוכות. התפלגות זו מעידה על כך שה-graph prior תרם לארגון מבני ברמת הקטגוריה מבלי להוביל להפרדה מוחלטת של אשכולות (clusters). ההערכה מבדילה בין איכות הייצוג לבין יעילות השליפה. מדד ה-SCI בוחן האם פריטי לבוש בעלי תווית מבנית זהה נותרים דחוסים במרחב המאפיינים שנלמד, בעוד ש-SDI בוחן האם פריטי לבוש בעלי תוויות מבניות שונות נותרים מופרדים. מדדים אלו תואמים את יעד הייצוג המבני של הפרוטוקול. מדד ה-Recall@5 מודד האם פריט לבוש רלוונטי מבנית מופיע בקרב חמש תוצאות השליפה הראשונות, בעוד ש-mAP מודד את איכות הדירוג על פני כל דגימות הגלריה הרלוונטיות. מדדים אלו תואמים את יעד השליפה לפי ייחוס עיצובי. מקדם הסילואט (silhouette coefficient) שימש להערכת ביצועי האשכולה בלבד, כיוון ש-SCI ו-SDI כבר מאפיינים את הארגון של מרחב המאפיינים.

איור 9 מציג את תוצאות הגלם של חמישה הרצות עבור ארבע שיטות מייצגות ללא נרמול בין-שיטתי. איור 9A מציג את ה-SCI וה-SDI בסולם המקורי שלהם, בעוד ש-איור 9B מציג את ה-Recall@5 וה-mAP כאחוזים. סימני ההרצות הבודדות וקווי השגיאה של סטיית התקן מראים את השונות הקשורה לאימון המודל ולא רק את הדירוג המצטבר. קו הבסיס המונע ממראה השיג SCI של 0.62, בעוד שהשיטה המוצעת השיגה SCI של 0.81 ו-SDI של 0.71 (טבלה 3 ו-איור 9A). תוצאות ה-SCI וה-SDI מעידות על דחיסות חזקה יותר בתוך תווית והפרדה חזקה יותר בין תוויות תחת התנאים שנבחנו. השיטה המוצעת השיגה Recall@5 של 89.2% ו-mAP של 86.4% (טבלה 3 ו-איור 9B). מדדי אחזור אלו מעריכים מאפייני דירוג שונים ומפורשים בנפרד מה-SCI וה-SDI. הסדר העקבי של השיטות בארבעת המדדים מעיד על התאמה בין איכות הייצוג לביצועי האחזור, אך אין בכך כדי לרמוז שהשיפור היחסי הוא זהה בארבעה ממדי ההערכה.

ניסויי אבלציה וניתוח יעילות של מודולים מבניים

ניסוי האבלאציה (ablation experiment) משווה בין המודל המלא לבין וריאנטים שבהם הוסרו ה-structural prior או מודול ההיתוך (fusion module). כל שלושת התצורות משתמשות באותן תמונות ייחוס ומטרה, מה שמאפשר השוואה ישירה של תגובת הרקע וריכוז הלוקליזציה. הווריאנט ללא ה-structure prior מסיר את הגרף של רכיבי הבגד ברמת התמונה ואת אילורי הקשרים שלו, ומסתמך אך ורק על ה-convolutional backbone כדי לחלץ מאפייני מראה; הווריאנט ללא ההיתוך שומר על הסקת המסקנות מהגרף אך מסיר את פירמידת המאפיינים, תוך שימוש במאפיינים סמנטיים ברמה גבוהה בלבד. מפות חום של הבדלים הממומשות ויזואלית חושפות את התפקידים הספציפיים של כל מודול בדיכוי רעשים ובהגדרת גבולות; השוואה איכותית של תגובות הבדל מבניות תחת תצורות מודול שונות מוצגת ב-איור 10.

מפות התגובה ב-איור 10C–E הוצגו באמצעות סולם תגובה משותף והגדרות שכבה זהות. הגרסה ללא ה-structure prior הפיקה הפעלה חזקה ברקע השמאלי ומסביב לאזורי סביבה לא קשורים, כפי שמוצג ב-איור 10C. הגרסה ללא מודול ה-fusion הפחיתה חלק מתגובה זו שמחוץ לבגד, אך עדיין שמרה על פריסה רחבה יותר על הבגד התחתון ובאזור הסביבתי בצד ימין, כפי שמוצג ב-איור 10D. המודל המלא כיווץ עוד יותר את התגובה הדומיננטית לעבר קדמה הבגד המרכזית, כפי שמוצג ב-איור 10E. איור 10F מציג באופן ישיר את ההבדל בתגובות המוגבלות לקדמה בין גרסת ה-non-fusion למודל המלא, ומראה כי המודל המלא מדכא פריסה לטרלית שיורית תוך שימור התגובה העיקרית המיושראת לבגד. תוצאות אלו מעידות כי ה-structure prior הפחית בעיקר רעשי סביבה וכי מודול ה-fusion שיפר עוד יותר את ריכוז התגובה ואת היישור המבני. איור 10E מייצג שיפור יחסי ולא הסרה מוחלטת של הפעלה ברקע.

טבלה 4 מציגה את ערכי ה-SCI, ה-SDI וה-Recall@5 עבור הגרסאות ללא המידע המוקדם על המבנה (structure prior), ללא מודול האיחוד (fusion module), ועבור המודל המלא. הסרת המידע המוקדם על המבנה הפחיתה את ה-SCI מ-0.81 ל-0.65 והפחיתה את ה-Recall@5 מ-89.2% ל-74.5%. הסרת מודול האיחוד הפחיתה את ה-SDI מ-0.71 ל-0.64 והפחיתה את ה-Recall@5 מ-89.2% ל-85.1%, ירידה של 4.1 נקודות אחוז. תוצאות אלו מעידות כי למידע המוקדם על המבנה הייתה השפעה גדולה יותר על העקביות המבנית והשליפה, בעוד שאיחוד תכונות שיפר את ההלימה בין מידע על המראה למידע מבני.

ניתוח היעילות משווה את העלות החישובית של המודל המלא אל מול בסיס ההשוואה של ResNet-50. בסיס ההשוואה ResNet-50 דרש 25.6 מיליון פרמטרים ו-4.1 מיליארד פעולות נקודה צפה. המודל המלא המודע למבנה דרש 29.3 מיליון פרמטרים ו-5.4 מיליארד פעולות נקודה צפה. זמן ההסקה הממוצע היה 15 מילישניות לתמונה עבור בסיס ההשוואה ו-22 מילישניות לתמונה עבור המודל המלא, עלייה של 7 מילישניות. תוצאה זו מצביעה על עלות חישובית מדידה שיש להביאה בחשבון בעת פריסת הפרוטוקול בתהליכי עבודה רגישים לזמן (טבלה 5). משקל האילוץ המבני נקבע מתוך קבוצת האימות לפני הערכת הבדיקה הסופית. נבדק Recall@5 של אימות עבור משקלי אילוץ מבני של 0.1, 0.3, 0.5, 0.8, 1.0, 1.2, 1.5 ו-2.0. משקל של 1.0 נקבע עבור כל הרצת אימון ובדיקה עוקבת. איור 11 מתעד את הבחירה במשקל אילוץ מבני של 1.0 המבוססת על האימות.

דיאגרמת למידה עמוקה המציגה צינור עיבוד תמונות מבוסס CNN עם מודול מיזוג ומיצוי מאפיינים עבור משימות של עקביות מבנית ואפליה.
איור 1: זרימת העבודה הכללית של פרוטוקול למידת מאפייני תמונות בגדים מודעי-מבנה. תמונת הבגד הקלטית מעובדת על ידי ענף מאפייני מראה וענף מאפיינים מבניים המשתמש בניתוח סמנטי ומידול גרף מרחבי. שני הייצוגים מעובדים על ידי מודול המיזוג המונחה-מבנה כדי להפיק את המאפיין הסופי המודע-מבנה. הפסד עקביות מבנית, הפסד אפליה מבנית והפסד קשר מבני מגבילים יחד את מרחב המאפיינים. האיור מראה כיצד מראה הבגד והטופולוגיה של רכיביו משולבים לאורך למידת המאפיינים. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

תהליך סגמנטציה של שמלה; תרשים של חלוקת אזורים וצמתי רשת המדגימים חיבורים.
איור 2: בנייה מוקדמת של טופולוגיית רכיבי בגד ברמת התמונה. (A) תמונת הבגד הקלט I. (B) מפת רכיבים ויזואלית מוגבלת לרקע הקדמי P, שבה שבעה צבעים מציינים אזורי בגד ברמת התמונה. כל פיקסלי הרקע מוחרגים מערוצי הרכיבים. (C) גרף קשרי רכיבים ברמת התמונה G. צמתים מייצגים אזורי בגד גלויים, קשתות רציפות מייצגות גבולות משותפים ברקע הקדמי, וקשרים מקווקווים מייצגים סדר אנכי שהוגדר מראש. המפה והגרף תומכים באחזור תמונות ובהשוואת מבנה ויזואלי. הם אינם מייצגים חלקי תבנית תפירה, גיאומטריית תפרים, מבני פנימה (darts), פרמטרי גדילה (grading) או הוראות גזירה. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

דיאגרמת מיזוג מאפיינים עם מיפוי ליניארי, פונקציית אקטיבציה וקשרי משקולות מבניים.
איור 3: מודול מיזוג מאפיינים מונחה-מבנה. המאפיין המבני עובר טרנספורמציה על ידי מיפוי ליניארי ופונקציית אקטיבציה Ψ כדי ליצור משקולת מבנית. המשקולת המבנית מווסתת את מאפיין המראה באמצעות כפל איבר-איבר. מאפיין המראה המנוظم והמאפיין המבני משרשרו ומושלכים על ידי Wc, ולאחר מכן נוסף המאפיין המבני השאריתי כדי ליצור את מאפיין הרכיב הסופי. האיור מראה כי מידע מבני מווסת את שקלול מאפייני המראה לפני המיזוג הסופי. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

תרשים התאמת דומיין עם דחיפה ממחלקה A ל-B, תהליכי L_sc, L_sd, L_fr בשיטת המחקר.
איור 4: אופטימיזציה של מרחב המאפיינים תחת מגבלות עקביות מבנית. (A) דגימות השייכות לאותה מחלקה מבנית נמשכות קרוב יותר באמצעות הפסד העקביות המבנית, בעוד שקשרי הרכיבים הפנימיים שלהן נשמרים על ידי הפסד הקשר המבני. (B) דגימות ממחלקות מבניות שונות נדחפות הרחק זו מזו על ידי הפסד האפליה המבנית. האיור מראה כיצד שלושת היעדים המבניים מגבירים במשותף את הדחיסות בתוך המחלקה ואת ההפרדה בין המחלקות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

ניתוח שיווי משקל סטטי, תרשים מפת חום של התפלגות מאמצים מבניים, מחקר בביומכניקה.
איור 5: תגובות מייצגות של מאפייני בגד וויזואליזציה של גרף רכיבים. (A) תמונת הבגד שהוכנסה כקלט. (B) תגובת הפעלת המחלקה (class activation response) של Baseline המראה של ResNet-50. (C) גרף רכיבי הבגד ברמת התמונה ששוחזר ממפת הרכיבים המוגבלת לרקע, מטריצת מרכזי הרכיבים, מטריצת סמיכות טיפוסית, מסכת צמתי-לא-פעילים ומיפוי תוויות רכיבים, שנשמרו במהלך סעיפים 3 ו-4 של הפרוטוקול. צמתים מייצגים אזורי בגד פעילים, קווים רציפים מייצגים גבולות רקע משותפים, וקווים מקווקוים מייצגים יחסי סדר אנכיים שהוגדרו מראש. (D) תגובת ההפעלה של הייצוג הממזג מודעות-רכיבים. ההשוואה מראה את ההבדל בין הפעלה השלטה על ידי מרקם לבין הפעלה המונחית על ידי אזורי הבגד. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.

ניתוח תמונת שאילתה עם גרף רכיבים, מטריצת סמיכות ותוצאות אחזור מובילות; שיטות מודעות-מבנה.
איור 6: תוצאות אחזור וראיות מבניות ביניים תחת הפרעה של רקע אדום. (A) תמונת השאילתה. (B) גרף רכיבי השאילתה נוצר ממרכזי הרכיבים השמורים וממטריצת הסמיכות המוקלדת. (C) מטריצת הסמיכות המוקלדת של השאילתה, שבה ערכי המטריצה מבחינים בין יחסים לא פעילים, גבולות רקע משותפים ויחסי סדר אנכיים שהוגדרו מראש. (D) שלוש תוצאות האחזור המובילות הופקו על ידי בסיס המראה (appearance baseline). (E) שלוש התוצאות המובילות הופקו על ידי ייצוג מודע-מבנה. (F) גרף הרכיבים של התוצאה המודעת-מבנה בדירוג הגבוה ביותר. (G) מטריצת התאמת הרכיבים לאחר מיזוג בין השאילתה לתוצאה בדירוג הגבוה ביותר. התאמה אלכסונית גבוהה מעידה על הסכמה בין רכיבים בעלי מזהים זהים, בעוד שתגובות חלשות או מוסטות מעידות על ארגון רכיבים חסר או לא תואם. תוצאות האחזור שומרות על קטגוריית פלג גוף עליון גסה אך אינן קובעות הסכמה מלאה בתצורת השרוול ובטופולוגיה המקומית. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

ניתוח הבדלי אובייקטים חזותיים; גרפים ומפות חום מראים הבדלים מרחביים והבדלים ברכיבים בתמונות.
איור 7: מעקב אחר הבדלים מבניים מטופולוגיית הבגד ברמת התמונה לתגובה מרחבית. (A) תמונת הייחוס. (B) תמונת המטרה. (C) גרף רכיבי הייחוס. (D) גרף רכיבי המטרה. שני הגרפים שוחזרו ממרכזי הרכיבים השמורים וממטריצות סמיכות מתוייגות. (E) מטריצת הבדלי הסמיכות המתוייגת. (F) ההבדל ביחסים הגאומטריים נגזר מהעתקת מרכז הרכיב, פיזור מרחבי ושינויים במשקל היחס. (G) גרף הבדלי הרכיבים שלאחר איחוד (post-fusion), שבו עוצמת הצומת מייצגת את המרחק הנורמלי בין וקטורי הרכיבים המאוחדים המתאימים, ורוחב הקשת מייצג את השינוי במשקל היחס. (H) מפת חום של תגובת הבדל מרחבית טהורה שרונדרה באמצעות אותו קנה מידה קבוע של תגובה כמו בשכבת העל (overlay). (I) התגובה המוטלת כשכבת על על תמונת המטרה. הבדל מבני מתקבל רק כאשר השינוי בסמיכות, השינוי ביחס הגאומטרי, השינוי במרחק הרכיבים ותגובת החום המיושרת לרקע נותרים עקביים. הפעלה של הרקע ללא ראיות תואמות לרכיבים או יחסים נחשבת להפרעה שיורית ולא כהבדל תקף במבנה הבגד. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

דיאגרמת התפלגות תכונות, סיווג מבני מונחה; מקבץ פריטי אופנה; קטגוריות ביגוד.
איור 8: מקבץ מרחב-תכונות מודע-מבנה. (A) השלכת t-SNE של חולצות עם שרוול קצר, מכנסיים, חצאיות, מעילים ארוכים ושמלות. חמש הקטגוריות יוצרות אזורי תכונות עיקריים עם חפיפה מוגבלת ליד הגבולות ביניהם. (B) תמונות בדיקה מייצגות המשויכות לחמש קטגוריות הביגוד, כאשר צבע המסגרת תואם לצבע הקטגוריה ב-(A). האיור מראה ארגון מבני ברמת הקטגוריה תוך שמירה על מספר קטן של דגימות ליד אזורי קטגוריות סמוכות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

השוואה של ביצועי מודלים בגרפים; ניתוח מדדי SCI/SDI ואחוזי Recall@mAP.
איור 9: השוואת ביצועים גולמית על פני מבנה מרחב-תכונות ומטרות דירוג-שליפה. (A) SCI ו-SDI עבור קו הבסיס מונחה-מראה, מודל בעל מבנה חלש, מודל בעל מבנה מפורש, והשיטה המוצעת. (B) Recall@5 ו-mAP עבור אותן ארבע שיטות. סמנים גדולים מציינים את הממוצע האריתמטי על פני חמישה ריצות עצמאיות, קווי שגיאה מציינים את סטיית התקן של המדגם, וסמנים קטנים מציינים את תוצאות הרמה של כל ריצה. SCI ו-SDI מוצגים בקנה מידה קבוע מאפס עד אחד, בעוד ש-Recall@5 ו-mAP מוצגים בקנה מידה אחוזי קבוע מאפס עד מאה. לא הוחלה נורמליזציית min-max או שינוי קנה מידה בין שיטות. אנא לחצו כאן להצגת גרסה גדולה יותר של איור זה.

ויזואליזציה של צבעים של אישה המנגנת בכלי נגינה מסורתי, המדגישה אזורי מיקוד, דיאגרמה.
איור 10: תגובות להבדלים מבניים תחת תצורות מודול שונות. (A) תמונת הייחוס. (B) תמונת המטרה. (C) התגובה של הגרסה ללא המידע המבני המקדים (structure prior). (D) התגובה של הגרסה ללא מודול האיחוד (fusion module). (E) התגובה של המודל המלא. (C–E) מוצגים באמצעות אותו קנה מידה של תגובה מנורמלת, מפת צבעים והגדרות שכבה. (F) הפרש התגובה המוחלט המוגבל לרקע בין הגרסה ללא האיחוד לבין המודל המלא. המודל המלא שומר על התגובה העיקרית המיושרת לבגד תוך הפחתת פיזור שאריות מחוץ לאזור המבני המרכזי. ההשוואה מראה כי המידע המבני המקדים מפחית הפרעות מחוץ לבגד וכי מודול האיחוד מחדד עוד יותר את התגובה המבנית. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

גרף של משקל אילוץ מבני לעומת recall של תיקוף, λ=1.0 אופטימלי; תרשים ניתוח נתונים.
איור 11: בחירה של משקל האילוץ המבני המבוססת על תיקוף. ה-Validation Recall@5 מדווח עבור משקלי אילוץ מבניים של 0.1, 0.3, 0.5, 0.8, 1.0, 1.2, 1.5, ו-2.0. כל נקודה מייצגת את הממוצע האריתמטי של חמש הרצות תיקוף, וכל קו שגיאה מייצג את סטיית התקן של המדגם. המשקל נקבע על 1.0 לפני הערכת הבדיקה הסופית. איור זה מתעד את הליך בחירת הפרמטרים ואינו מהווה תרומה ארכיטקטונית עצמאית. אנא לחץ כאן כדי לצפות בגרסה מורחבת של איור זה.

טבלה 1: הקצאת מערכי נתונים וסטטיסטיקות טופולוגיות ברמת התמונה עבור תתי-קבוצות הבגדים S1 עד S5. הטבלה מציגה את מספר התמונות לאימון, לתיקוף, לבדיקה ובסך הכל, יחד עם ממוצע מספר הרכיבים הסמנטיים, מספר הצמתים הפעילים, מספר הקשתות המתוייגות ומספר נקודות הציון המסומנות במישור התמונה עבור כל רמה מבנית. כל הערכים הופקו ממניפסטי הנתונים המעובדים. מספר התמונות לאימון, לתיקוף ולבדיקה התקבלו ממניפסטי תתי-הקבוצות הסופיים לאחר סקירה מבנית, בקרת קבוצות כפולות ובדיקת דליפת נתונים, בעוד שסטטיסטיקות הטופולוגיה חושבו מרשומות הגרף הסופיות תוך שימוש באותם סדר רכיבים והגדרות יחסים שיושמו במהלך הערכת המודל. אנא לחץ כאן להורדת קובץ זה.

טבלה 2: הגדרות הסביבה החישובית, תצורת קלט, הרחבה (augmentation), ייצוג, אופטימיזציה, פונקציית הפסד והגדרות לשחזור ששימשו לאורך הפרוטוקול. הטבלה מפרטת את גרסאות מערכת ההפעלה, המעבד, הזיכרון המותקן, יחידת עיבוד הגרפיקה, זיכרון הגרפיקה, מנהל התקן הגרפיקה, CUDA, cuDNN, Python, NumPy, PyTorch ו-torchvision, יחד עם גודל התמונה, בניית ה-batch, האופטימייזר, לוח הזמנים של קצב הלמידה, מספר ה-epochs, זרעי אקראיות (random seeds), ממדי הייצוג ומשקולות היעד המבניות. כל ערך מקושר לקובץ software_versions.txt, לקובץ configs/protocol.yaml או לרשומת האימון המתאימה. אנא לחצו כאן להורדת הקובץ.

טבלה 3: השוואה כמותית של מודלים כלליים לייצוג חזותי, מודלים של בגדים מבוססי גרפים ושיטות אחזור אופנה ספציפיות לתחום. הטבלה מציגה את מיקוד האחזור, מודליות השאילתה, SCI, SDI, Recall@5, mAP ומקדם הסילואט עבור אחת עשרה שיטות תחת אותן חלוקות נתונים ופרוטוקול הערכה. כל מדד מדווח כממוצע וסטיית תקן של מדגם על פני חמישה הרצות עצמאיות. ערכי ה-p המדווחים התקבלו ממבחני t זוגיים דו-כיווניים שהשוו כל שיטת השוואה לשיטה המוצעת, תוך שימוש בתוצאות שהופקו תחת אותם חמישה זרעים אקראיים. השיטה המוצעת משמשת כשורת הייחוס. אנא לחצו כאן כדי להוריד קובץ זה.

טבלה 4: תוצאות אבלציה עבור מודול המבנה המקדים והיתוך התכונות. הטבלה מציגה את ה-SCI, ה-SDI וה-Recall@5 עבור הגרסה ללא המידע המקדים המבני (structural prior), הגרסה ללא מודול המיזוג (fusion module), והמודל המלא. הסרת המידע המקדים המבני גורמת לירידה גדולה יותר ב-SCI וב-Recall@5, בעוד שהסרת מודול המיזוג מפחיתה את ה-SDI ואת יישור התגובה (response alignment). המודל המלא רשום עם הערך הגבוה ביותר בכל שלושת המדדים. אנא לחצו כאן להורדת קובץ זה.

טבלה 5: יעילות חישובית של מודל הבסיס ResNet-50 ושל המודל המלא המודע למבנה. הטבלה מציגה פרמטרים הניתנים לאימון, מספר פעולות נקודה צפה לכל תמונה, וזמן הסקה ממוצע לכל תמונה תחת סביבת החומרה והתוכנה המדויקת המתועדת בטבלה 2 ובטבלת החומרים. שני המודלים משתמשים באותה רזולוציית תמונה, הגדרות עבור גודל אצווה (batch) להסקה, פעולות עיבוד מקדים ופרוצדורת תזמון. המודל המלא מוסיף 3.7 מיליון פרמטרים, 1.3 מיליארד פעולות נקודה צפה ו-7 מילישניות של זמן הסקה לכל תמונה ביחס למודל הבסיס. אנא לחץ כאן להורדת קובץ זה.

דיון

שלבי הפרוטוקול הקריטיים ביותר הם עיבוד מקדים לשימור הבגד וניתוח רכיבים סמנטיים המוגבלים לרקע. מרכזי הרכיבים, ערכי פיזור מרחבי, יחסי גבול משותף, יחסי סדר אנכי, משקלי יחסים וייצוגים מאוחדים נגזרים כולם מפלט הניתוח. דליפת גבולות, אזורי רכיבים ממוזגים, אזורי רכיבים חסרים והקצאות ערוצים שגויות מופצים באמצעות בניית הגרף ומיזוג תכונות. שגיאות אלו עלולות להפיק קבצי גרף בעלי ממדים תקינים, בעוד שיחסי הרכיבים המיוצגים נותרים לא עקביים ביחס לבגד המקור. לכן, יש לאמת את מפת ההסתברות, את הגבלת הרקע, את תצוגת הרכיבים ואת רשומת איכות הניתוח לפני קבלת המידע המבני המוקדם.

בניית הגרף ומיזוג המאפיינים דורשים סדר קבוע של רכיבים סמנטיים. הגרף נגזר מרכיבי בגד במקלדת (foreground) וממערכות היחסים ביניהם במישור התמונה. דמויות השליפה ואיתור ההבדלים חושפות את נתיב העיבוד המבני במקום להציג רק תמונות מדורגות סופיות או מפות חום של תגובות. מטריצות סמיכות מתוייגות מתעדות יחסי רכיבים בדידים, מטריצות יחסים גאומטריים מתעדות ארגון מרחבי מנורמל, ומטריצות רכיבים לאחר מיזוג מתעדות את הייצוג המשמש לשליפה ולאיתור. מסקנות מבניות יש לקבל רק כאשר ייצוגי ביניים אלו תואמים את הפלט הוויזואלי הסופי. גרף הרכיבים אינו משתמש בנקודות ציון אנטומיות, בקואורדינטות של מפרקי גוף אנושיים או ברשת להערכת תנוחה. שכבת גרף (graph overlay) יש לקבל רק כאשר הצמתים וסוגי היחסים שלה משוחזרים מקבצי הרכיבים והסמיכות השמורים. רכיבים שאינם פעילים צריכים להישאר כווקטורים אפסיים עם מחווני צומת לא פעיל, ומטריצות מאפייני המראה והמבנה חייבות להכיל כל אחת K שורות ו-512 עמודות לפני המיזוג. בדיקות אלו מונעות מצב שבו חוסר התאמה של צמתים ושגיאות ממד יפורשו כהתנהגות של המודל.

את פתרון הבעיות יש להתחיל בתוצר הביניים הלא-תקין המוקדם ביותר. מפות הסתברות אחידות מעידות על שגיאות ב-checkpoint, בנורמליזציה או באינדקס הקטגוריה; מטריצות מבניות שאינן מספריות מעידות על מכשירים לא תקינים של הסתברות או על קנה מידה של קואורדינטות; תגובות מפוזרות ושליפה נשלטת על ידי צבע מעידות על priors מבניים חלשים, כישלון במיזוג (fusion) או טעינה שגויה של checkpoint. יומני האימון צריכים לאשר גרדיאנטים בגרף ובשכבות המיזוג, כמו גם בחירת checkpoint המבוססת על ולידציה. אין להשתמש בתגובת חום ויזואלית כמסקנה מבנית עצמאית. יש לבדוק אותה אל מול מסיכת הרקע השמורה, שינוי הסמיכות (adjacency) שהוקלד, מטריצת היחסים הגאומטריים וגרף הפרשי הרכיבים שלאחר המיזוג. אקטיבציה שיורית מחוץ לרקע הבגד מעידה על ספציפיות תגובה מוגבלת ולא על הבדל מבני מאומת.

בהשוואה לאחזור מונחה-מראה, הפרוטוקול מציג טופולוגיה של רכיבים לפני למידה מטרית. בהשוואה לאילוצים מבניים חלשים ומודלים של גרפים בעלי טופולוגיה קבועה, משקלי קשרים סמנטיים מתאימים את הפרוגגציה של הגרף לבגד הנוכחי. המודל המלא השיג SCI של 0.81, SDI של 0.71, Recall@5 של 89.2%, mAP של 86.4%, ומקדם סילואט של 0.74, כפי שדווח ב-טבלה 3. המודולים המבניים הנוספים הגדילו את מספר הפרמטרים מ-25.6 מיליון ל-29.3 מיליון ואת זמן ההסקה מ-15 ל-22 מילישניות לתמונה, כפי שדווח ב-טבלה 4. התרומה הטכנית של הפרוטוקול טמונה בבניית גרף רכיבי בגד ברמת התמונה, קידוד מקבילי של מראה ויחסי רכיבים, מנגנון היתוך מאפיינים מונחה-מבנה, ומטרות של עקביות מבנית, קשר ואפליה. סקירת התיקוף המדווחת ב-איור 11> משמשת אך ורק לקביעת מקדם אימון קבוע ואינה מוצגת כתרומה לארכיטקטורת הרשת או לתכנון פונקציית המטרה.

הפרוטוקול נותר רגיש להסתרה חמורה, לבגדים חופפים, לתמונות מקור קטנות, לשינויים בתנוחה, לרקעים מורכבים ולבגדים שארגונו הנראה אינו תואם לסכימת שבעת האזורים הקבועה. עיצובים אסימטריים, שכבות נתיקות, דראפינג צפוף, פריטי לבוש תחתונים רב-שכבתיים ואזורי קישוט חופפים עשויים למזג מספר אזורים סמנטיים או להכניס יחסי רכיבים שאינם מופיעים בהגדרת הגרף הנוכחית. הסתרה עלולה לדכא רכיב פעיל, להסיט את המרכז הברוביליסטי (centroid) של ההסתברות שלו, ולהסיר יחס של גבול משותף תקף. איור 6 מראה שחזור של קטגוריית פלג הגוף העליון הגסה אך התאמה חלקית של טופולוגיית השרוול, בעוד ש- איורים 7 ו-10 שמר את התגובות באזורי רקע סמוכים. תוצאות אלו מראות כי ממדי טנזור תקינים וקישוריות גרפ אינם מבטיחים פרשנות מבנית נכונה מבחינה סמנטית. לפיכך, המחקר הנוכחי תומך בשליפה מבוססת תמונה, באשכולה (clustering) ובמיקום הבדלים, ולא ביעילות זרימת העבודה של התכנון או בהערכה ישירה של פרמטרי התבנית. כל הניסויים הכמותיים במחקר הנוכחי בוצעו על קבוצת ה-DeepFashion2 שנשמרה ועברה תיוג מבני מחדש. התוצאות הנוכחיות אינן מבססות רוביסטיות על פני מערכי נתונים עצמאיים בעלי טקסונומיות בגדים שונות, סטנדרטי של אנוטציה, קטגוריות לבוש תרבותיות, מקורות תמונה או סביבות רכישה שונות. העברה למערך נתונים אחר עשויה לדרוש מיפוי מחדש של שבעת ערוצי הרכיבים ובנייה מחדש של סכימת היחסים המוקלדת. המסקנות המדווחות מוגבלות, לפיכך, להתפלגות הנתונים שהוערכה ולהגדרת הרכיבים ברמת התמונה.

במסגרת מגבלות אלו, הפרוטוקול מספק רצף הדיר במעבר מתמונות של פריטי לבוש לייצוגים המודעים לרכיבים באמצעות ניתוח סמנטי, מידול קשרים גיאומטריים, קידוד זרימה כפולה ומיזוג מונחה-מבנה. תיקוף עתידי יעשה שימוש במאגרי נתונים עצמאיים של פריטי לבוש עם מערכות סימון שונות, קטגוריות ביגוד, תנוחות ותנאי רקע שונים. כמו כן, תיבחן השאלה האם מיפוי שבעת האזורים הנוכחי מחייב הרחבה עבור מבני לבוש אסימטריים, רב-שכבתיים, נתיקים או בעלי מאפיינים תרבותיים ספציפיים. סקיצות עיצוב ידניות, וריאציות ביןבדים שונים והתאמת דגמים פרמטרית נותרים ככיוvוני יישום נפרדים הדורשים נתונים והליכי הערכה ספציפיים למשימה. יעילות השימוש המקצועית ובחינת העיצוב מחייבות מחקר נבדקים אנושיים המתועד בנפרד, עם משתתפים מוגדרים, קריטריונים להערכה והליכים סטטיסטיים.

גילויים

למחברים אין ניגודי עניינים להצהיר עליהם.

תודות

עבודה זו נתמכה על ידי הסבב השני של פרויקטי רפורמה בהוראה לבגראים ברמה המחוזית במסגרת תוכנית החומש ה-14, תחת הפרויקט שכותרתו רפורמה והמחשה בהוראה של "עיצוב ביגוד ולבוש" המבוסס על מודל בנייה משותפת של "שלושה שילובים, שלושה מיזוגים" (מספר פרויקט JGZD2024096).

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
יחידת עיבוד מרכזיתIntel CorporationIntel Core i9-13900K, 24 ליבות, 32 תהליכונים, עד 5.80 GHz
CondaAnaconda, Inc., anaconda.comMiniconda3 23.11.0
CUDA ToolkitNVIDIA Corporation, developer.nvidia.comCUDA 11.8
cuDNNNVIDIA Corporation, developer.nvidia.comcuDNN 8.9.7
מאגר הנתונים DeepFashion2האוניברסיטה הסינית של הונג קונג, github.com/switchablenorms/DeepFashion2גרסה רשמית של DeepFashion2, גרסה 1.0
יחידה לעיבוד גרפיNVIDIA CorporationNVIDIA GeForce RTX 4090, 24 GB GDDR6X
נקודת ביקורת (Checkpoint) של ניתוח סמנטי HRNet-W48פרויקט HRNet, github.com/HRNet/HRNet-Semantic-Segmentationhrnet_w48_garment_parser_7class.pth, נקודת בקרה (checkpoint) של הפרויקט גרסה 1.0
משקולות ResNet-50 מאומנות מראש על ImageNetPyTorch Foundation, pytorch.orgResNet50_Weights.IMAGENET1K_V2
Matplotlibצוות הפיתוח של Matplotlib, matplotlib.orgגרסה 3.8.2
NumPyמפתחי NumPy, numpy.orgגרסה 1.26.4
מנהל התקן גרפי של NVIDIANVIDIA Corporationגרסה 546.33
OpenCV-Pythonצוות OpenCV, opencv.orgגרסה 4.8.1.78
מערכת הפעלהMicrosoft CorporationWindows 11 Pro 23H2, 64-bit, OS Build 22631.3155
פנדותצוות הפיתוח של Pandas, pandas.pydata.orgגרסה 2.1.4
פייתוןPython Software Foundation, python.orgגרסה 3.10.13
PyTorchPyTorch Foundation, pytorch.orgגרסה 2.1.2 עם CUDA 11.8
PyYAMLפרויקט PyYAML, pyyaml.orgגרסה 6.0.1
scikit-learnמפתחי scikit-learn, scikit-learn.orgגרסה 1.3.2
SciPyמפתחי SciPy, scipy.orgגרסה 1.11.4
מאגר קוד מקורארכיון קוד-מקור משלים שהוגש עם כתב הידפרוטוקול טופולוגיה של בגדים, גרסה 1.0
התקן אחסוןSamsung ElectronicsSamsung 990 PRO NVMe SSD, 2 TB
זיכרון מערכתKingston TechnologyKingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvisionPyTorch Foundation, pytorch.orgגרסה 0.16.2 עם CUDA 11.8
עמדת עבודהתחנת עבודה ללמידה עמוקה שנבנתה בהתאמה אישיתIntel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB זיכרון, 2 TB NVMe SSD

מקורות

  1. Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
  2. Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
  3. Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
  4. Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
  5. Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
  6. Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
  7. Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
  8. Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
  9. Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
  10. Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
  11. Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
  12. Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
  13. Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
  14. An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
  15. Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
  16. Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
  17. Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
  18. Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
  19. Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
  20. Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
  21. Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
  22. Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
  23. Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
  24. Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
  25. Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
  26. Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
  27. Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
  28. Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
  29. Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
  30. Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
  31. Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
  32. Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
  33. Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
  34. Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
  35. Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
  36. Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
  37. Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
  38. Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
  39. Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
  40. Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
  41. Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
  42. de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
  43. Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

הדפסות חוזרות והרשאות

תגיות

אחזור תמונות של בגדיםעקביות מבניתתמונות DeepFashion2ניתוח סמנטי באמצעות HRNet-W48קידוד באמצעות ResNet-50קונבולוציה של גרפיםהשוואה מבניתלוקליזציה של הבדלים
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.