הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.

מאמר שיטה

פרוטוקול ללמידת מאפייני תמונה המבוסס על טופולוגיה של רכיבי ביגוד ברמת התמונה לצורך אחזור רפרנסים עיצוביים

45 צפיות

⸱

DOI:

10.3791/72103

⸱

1 בספטמבר 2026

 ,  ,  , 
1Keyi College of Zhejiang Sci-Tech University

במאמר זה

סיכום

פרוטוקול זה מייצר ייצוגי בגדים מודעי-מבנה על ידי שילוב של ניתוח רכיבים סמנטי, מידול טופולוגי, קידוד תכונות בשני זרמים ומיזוג מודרך-מבנה. הוא מאפשר לחוקרי ראייה ממוחשבת ואופנה לבצע אחזור בגדים והשוואה למקורות עיצוב המבוססים על ארגון הרכיבים וסידור הצללית, במקום על צבע או מרקם.

תקציר

שיטות לאחזור תמונות של ביגוד שמות דגש רב על צבע ומרקם, מה שעלול להוביל לבלבול בין פריטי לבוש בעלי מראה דומה אך בעלי פריסות רכיבים שונות. מחקר זה מציג פרוטוקול ללמידת תכונות מודע-רכיבים עבור אחזור תמונות של ביגוד והשוואת סימוכין לעיצוב. הפרוטוקול מנתח אזורי לבוש סמנטיים, בונה גרף רכיבי לבוש ברמת התמונה, מקודד במקביל את המראה ואת קשרי הרכיבים, וממזג את שני הייצוגים באמצעות הפסדי עקביות מבנית, קשר מבני ואפליה מבנית. תמונות ממאגר DeepFashion2 עוברות סטנדרטיזציה ל-512 x 512 pixels, מנותחות באמצעות HRNet-W48, מקודדות בעזרת ResNet-50 וקונבולוציית גרפים, ומוערכות באמצעות אחזור מבני והקבצה. המודל המלא השיג מדד עקביות מבנית של 0.81, מדד אפליה מבנית של 0.71, Recall@5 של 89.2%, דיוק ממוצע ממוצע (mAP) של 86.4% ומקדם סילואט של 0.74. הפרוטוקול תומך באחזור מבנה לבוש, השוואה מבנית ואיתור הבדלים כאשר המראה החיצוני אינו מייצג באופן מהימן את מבנה הבגד.

מבוא

עם השילוב המתמשך של ראייה ממוחשבת ובינה מלאכותית בתעשיית הביגוד, ניתוח תמונות של ביגוד התרחב בהדרגה ממשימות זיהוי בסיסיות לניתוח מכוון עיצוב ותמיכה בקבלת החלטות1,2. בתהליך עיצוב הביגוד, ההבחנה בין תכניות עיצוב תלויה יותר בהרכב המבני ובקשרי הרכיבים מאשר בהבדלים פשוטים במראה, מה שהופך את הביטוי המבני של מאפייני תמונת הביגוד בסיוע עיצובי לגורם מפתח המשפיע על יעילות הניתוח3,4. עם זאת, מרבית השיטות הוויזואליות הקיימות עדיין מסתמכות על מרקם, צבע וקווי מתאר גלובליים כמאפיינים העיקריים שלהן, מה שמקשה על ניתוח שיטתי של היררכיות הבגד והבדלים במבנה במהלך תהליך העיצוב5,6. לכן, פיתוח שיטה ללמידת מאפייני תמונה מודעת-מבנה לסיוע בעיצוב ביגוד הוא חשוב לשיפור האובייקטיביות והעקביות של ניתוח העיצוב7. פרוטוקול זה מתאים כאשר פריטי לבוש חולקים צבעים, מרקמים או קווי מתאר גלובליים דומים, אך נבדלים בארגון הרכיבים, בדפוסי החיבור או בפריסה המרחבית. בתנאים אלה, ייצוגים ממוקדי-מראה נוטים למקם עיצובים השונים מבנית קרוב זה לזה במרחב המאפיינים, מה שמעיב על אמינות השליפה וההשוואה העיצובית. הפרוטוקול נותן מענה למשימות שבהן קשרים בין רכיבי הלבוש מהווים את הבסיס העיקרי לשליפה מבנית, הערכת עיצוב וניתוח הבדלים מקומיים.

מבחינת קנה מידה של נתונים, מורכבות מודלים ומגוון משימות, המחקר הנוכחי על ניתוח והבנה אוטומטיים של תמונות ביגוד רשם התקדמות משמעותית8,9. עם זאת, ביישומים מעשיים, מידע מבני של ביגוד כלול לעיתים קרובות באופן משתמע בתוצאות סגמנטציה או זיהוי, ואינו נלקח בחשבון במידול מאוחד של שלב למידת המאפיינים, מה שמוביל לחוסר בהבחנה יציבה בין עיצובים מבניים שונים במרחב המאפיינים10,11. יחסים מרחביים, אילוצים היררכיים ומבנים טופולוגיים בין רכיבי הבגד אינם מקודדים במפורש, מה שמקשה על ייצוגי מאפיינים לשקף הבדלים מבניים ברמת העיצוב12,13. היעדר מידול מבני מפורש מגביל את רזולוציית הניתוח ואת מהימנות ההחלטות של מאפייני תמונות ביגוד בתרחישי סיוע לעיצוב, ומהווה חסום מרכזי לפיתוח מערכות עיצוב אינטליגנטיות בעלות הבנה סמנטית עמוקה יותר14.

כדי לתמוך בלמידה ובניתוח של מאפייני תמונות ביגוד, מחקרים קשורים בחנו על מספר כיוונים טכניים15. שיטות של סגמנטציה סמנטית וניתוח פריטי לבוש (garment parsing) אפשרו תיחום מדויק של אזורי הבגד ומרכיביו באמצעות אנוטציה ברמת הפיקסל, ובכך סיפקו בסיס להפקת מידע מבני16,17. שיטות לאחזור פריטי לבוש באמצעות שאילתת תמונה שילבו טופולוגיה ומיזוג צבע-מרקם, התאמת קשב גלובלית ומקומית, ניתוח פריטי לבוש, ייצוג רב-קנה מידה ורב-רזולוציה, וקשב שיורי עם בחירת מאפיינים. שיטות אלו נותנות מענה לחיפוש בקטלוגים, התאמה בין צרכן לחנות, אחזור מוצרים חוצה-דומיינים וחיפוש ויזואלי במסחר אלקטרוני. הגדרות היישום שלהן קשורות קשר הדוק לאחזור רפרנסים לעיצוב, כיוון שכל שיטה מדרגת תמונות של בגדים בהתבסס על שאילתה ויזואלית, אם כי הייצוגים שלהן אינם משמרים סמיכות של רכיבים מוגדרים ויחסי סדר אנכיים לאורך מיזוג המאפיינים18,19,20. במקביל, מחקרים על תרחישי עיצוב והמלצות הציגו בהדרגה מיזוג רב-מודאלי, מידול יחסים וניתוח סגנון, ובכך הרחיבו את גבולות היישום של מאפיינים ויזואליים של ביגוד21,22. למרות ששיטות אלו רשמו התקדמות במשימותיהן בהתאמה, מאפייני הליבה שלהן עדיין מבוססים במידה רבה על תיאורי מראה, ומידע מבני לא מודל באופן אחיד כאילוץ מובנה ללמידת מאפיינים, מה שמקשה על עמידה בצרכים של סיוע בעיצוב ביגוד לצורך התאמה מבנית והשוואה מבנית23.

כדי להתגבר על היכולת הבלתי מספקת של בידול מבני בסיוע לעיצוב ביגוד, מאמר זה מציע שיטה ללמידת מאפייני תמונה המבוססת על תפיסת מבנה הבגד. שיטה זו משלבת תוצאות ניתוח ביגוד ומידע מבני מרכזי בשלב הזנת תמונת הבגד, ומבצעת מידול משותף של אזורי רכיבי הבגד, יחסים מרחביים וקשרים היררכיים. קידוד של יחסים מבניים וסנכרון מאפיינים חזותיים משלבים באופן מפורש אילוצי ביגוד בתהליך למידת המאפיינים, ומפיקים ייצוג השומר הן על המראה החזותי והן על העקביות המבנית. מאפיין זה מאפיין הבדלים מבניים בביגוד בתוך מרחב מאוחד, ומספק בסיס יציב לניתוח דמיון מבני, אשכולה מבנית וקבלת החלטות בסיוע לעיצוב, ובכך מקל על בעיית בלבול המאפיינים הנגרמת מהיעדר מידול מבני בשיטות קיימות. בניגוד לאסטרטגיות אחזור חזותיות כלליות המתייחסות למידע מבני כתכונות עזר המקושרות באופן רופף, מסגרת זו בונה מנגנון אפולציה של מאפיינים המרכז את היחסים הטופולוגיים. המנגנון מעודד את הייצוג הנלמד לעקוב אחר ארגון אזורי הבגד הנראה, תוך הפחתת תגובות הנשלטות על ידי מרקם. כל צומת בגרף מייצג אזור סמנטי ברמת התמונה, וכל קשר בגרף מתאר סמיכות נראית או מיקום יחסי מנורמל במישור התמונה. ההטמעה (embedding) המתקבלת תומכת בהשוואה של פריסת רכיבים וארגון צללית בין תמונות ביגוד שונות. אזורים ויחסים אלו אינם תבניות תפירה, חיבורי תפרים, נקודות ציון קונסטרוקטיביות או פרמטרי גראדינג. בהשוואה לשיטות אחזור מונעות מראה, הפרוטוקול שומר על טופולוגיית רכיבים מפורשת לאורך למידת המאפיינים, במקום להתייחס למידע מבני כתוצאה של ניתוח בשלב מאוחר יותר. בהשוואה לגישות המכניסות רמזים מבניים רק כקלטים עזריים, הקידוד בעל שני הזרימות והמיזוג העקבי טופולוגית שומרים על יחסים גיאומטריים תוך הפחתת תגובות הנשלטות על ידי מרקם. הייצוג המתקבל תומך באחזור מבנה בגד, אשכולה מבנית, סינון רפרנסים לעיצוב וניתוח הבדלי עיצוב מקומיים, תוך אספקת ראיות ברמת הרכיב שנותרות ניתנות לפירוש בתהליך עיצוב הבגד. מחקרים הרלוונטיים לפרוטוקול זה משתרעים על פני למידת מאפייני תמונות ביגוד, מידול מבנה בגד, ייצוג מודע-מבנה וניתוח חזותי לסיוע בעיצוב ביגוד.

ברמת ייצוג המאפיינים, מחקרים על תמונות ביגוד התמקדו זמן רב במידול מראה, חילוץ מאפיינים עמוקים וייצוג רב-קנה מידה24,25. עבודות מוקדמות השתמשו ברשתות נוירונים קונבולוציוניות כדי לבצע מידול מקצה לקצה של תמונות ביגוד עבור משימות סיווג, אחזור והתאמת דמיון26,27. לאחר מכן, הוצגו מיזוג מאפיינים רב-קנה מידה ולמידה חוצת-דומיינים כדי להקל על הבדלים בתמונות ביגוד תחת זוויות צפייה, תנוחות ותנאי צילום שונים28,29. במשימות אחזור, נעשה שימוש במנגנוני קשב ובאסטרטגיות דחיסת מאפיינים כדי לשפר את יכולת ההבחנה של המאפיינים ואת היעילות החישובית30,31. שיטות אלו משיגות הבחנה אמינה של המראה, אך תהליכי למידת המאפיינים שלהן עדיין מתמקדים במידע חזותי גלובלי וחסרים ייצוגים שיטתיים של מבני הבגד הפנימיים32. שיטות אחזור אופנה מורכבות משלבות עוד יותר תמונת ייחוס עם הנחיות שינוי טקסטואליות, אך אופן השאילתה שלהן שונה מהפרוטוקול המבוסס-תמונה בלבד שנבדק כאן. הן נסקרות ככיוון אחזור מסחרי קשור ואינן נכללות בהשוואה הכמותית, כיוון שקלט טקסט נוסף ימנע הערכה מבוקרת של שאילתת תמונה.

ככל שניתוח תמונות של ביגוד עבר מאפליה על בסיס מראה להבנה מבנית, המחקר התמקד יותר ויותר במידול רכיבי הבגד, במערכות יחסים גיאומטריות ובקשרי טופולוגיה33. רשתות של סגמנטציה סמנטית השיגו ניתוח ברמת רכיבי הלבוש באמצעות הקרנת מאפיינים ומנגנוני קשב רב-שכבתיים (multi-attention), ובכך סיפקו בסיס אמין לחילוץ מידע מבני34,35. שיטות לזיהוי נקודות מפתח ומידול טופולוגיה מבנית אפיינו עוד יותר את הקשר בין קווי המתאר של הבגד למבנים מקומיים, ובכך שיפרו את יכולתו של המודל לייצג את המאפיינים הגיאומטריים של הלבוש36,37. מספר מחקרים הציגו מבני גרף ורשתות הסקה רלציונית כדי למדל מערכות יחסים בין רכיבי הלבוש, ובכך שיפרו את ביצועי הזיהוי בעל הרזולוציה הגבוהה (fine-grained) ואת השליפה בין דומיינים38,39. עבודות אלו אישרו את תפקידו החשוב של המידע המבני בניתוח חזותי, אך המבנה משמש בעיקר כמאפיין עזר או כתוצאה ביניים, ומערכת ללמידת מאפיינים שבה אילוצים מבניים עומדים בליבה טרם פותחה40.

במסגרת סיוע בתכנון ביגוד, פיתוחים אלו תמכו בהמלצות עיצוב, ניתוח סגנון, בניית מערכות אינטראקטיביות והערכת עיצוב מוכוונת-מבנה41. מחקרים על מערכות המלצה השיגו התאמת ביגוד והמלצות מותאמות אישית על ידי שילוב של מאפיינים חזותיים עם העדפות משתמשים42. עבודות הקשורות לסיוע בתכנון בחנו דרכים חדשות לתמיכה חכמה בעיצוב באמצעות שילוב של מודלים גנרטיביים, מידול סגנון ומנגנוני שיתוף פעולה בין אדם למחשב43. מחקרים על מדידה וירטואלית, מדידת מידות והעברת סגנון הרחיבו את היישום של ניתוח חזותי של ביגוד לאורך תהליכי התכנון והייצור. למרות שמעמדים אלו העשירו את הצורות הטכניות של הסיוע בתכנון ביגוד, המאפיינים החזותיים המרכזיים שלהם עדיין מונעים בעיקר ממראה חיצוני וחסרים ייצוג מאוחד של מבנה העיצוב לצורך ניתוח. לעומת זאת, מאמר זה מתייחס למבנה הבגד כאילו היה האילוץ המרכזי בייצוג המאפיינים, ומספק שיטת ייצוג חזותית לניתוח מבני בסיוע לתכנון ביגוד.

למרות התפתחויות אלו, שיטות עדכניות בעיצוב גנרטיבי מתייחסות לרוב לתנאים מבניים כמטריצות הנחיה מרחביות גמישות בתוך תהליכי דיפוזיה. מסגרות ניתוח מבני עכשוויות מייצגות טופולוגיות כתוויות סמנטיות עזר, הנפרדות ממרחב ההטמעה הוויזואלי העיקרי. המסגרת המוצעת משנה מנגנון זה על ידי הגדרת אילוץ טופולוגי מבוסס-גרף (graph-prior) המודולט באופן מפורש את למידת המאפיינים הוויזואליים ברמת הרכיב. יעד העקביות הרב-שכבתי מעודד בגדים עם פריסות רכיבים דומות ברמת התמונה להישאר קרובים במרחב המאפיינים, תוך הפרדה בין בגדים עם ארגוני אזורים גלויים שונים. יעד זה מפחית את התלות בטקסטורה בהגדרות השליפה שנבחנו, אך אינו מבסס אי-תלות (invariance) לשינויים בחומר, בתנוחה או ברקע. יש לבחור בפרוטוקול זה כאשר תמונת הקלט מכילה פריט לבוש בודד הגלוי מספיק, כאשר לרכיבים הסמנטיים יש גבולות ניתנים לזיהוי, וכאשר היעד האנליטי דורש השוואה מבנית ברמת הרכיב ולא זיהוי קטגורי גס. הפרוטוקול מיועד לחוקרי ראייה ממוחשבת, חוקרי עיצוב ביגוד וצוותי פיתוח בגדים דיגיטליים העוסקים בניתוח ויזואלי רגיש למבנה. הוא אינו מיועד למשימות המתמקדות אך ורק בזיהוי צבע או חומר, או לתמונות שבהן הטופולוגיה של הבגד מוסתרת במידה רבה. הפרוטוקול הבא מציג את זרימת העבודה מהכנת מערך הנתונים ומיפוי הסבירות הסמנטית, דרך בניית יחסים גיאומטריים, קידוד מאפיינים בזרם כפול, מיזוג מונחה-מבנה, ועד לאופטימיזציה מבוססת-עקביות. זרימת העבודה המלאה מסוכמת ב-איור 1.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

מחקר זה משתמש במאגרי נתונים זמינים לציבור של תמונות ביגוד ואינו מגייס משתתפים אנושיים, אוסף מידע המאפשר זיהוי אישי, עורך ניסויים בבעלי חיים או משתמש בחומרים ביולוגיים. אישור אתי מוסדי והסכמה מדעת אינם רלוונטיים.

1. סביבת תוכנה והגדרת הפרויקט

  1. מקם את קבצי הפרויקט ששוחררו בספריה עם שטח אחסון מספיק ופתח טרמינל בספריית השורש של הפרויקט.
  2. הרץ conda env create -f environment.yml כדי ליצור את סביבת התוכנה. הרץ conda activate garment_structure כדי להפעיל את הסביבה.
  3. הרץ python --version, conda --version, pip show numpy, pip show torch, pip show torchvision, ו-nvidia-smi. שמור את פלט הפקודה המלא בקובץ software_versions.txt.
  4. השתמש באותה סביבה מתועדת עבור עיבוד מקדמי, אימון, הסקה (inference), מדידת יעילות והערכה. רשום באותו קובץ את שם קובץ ה-checkpoint של HRNet-W48 וערך ה-SHA-256 שלו, את מזהה משקולות ResNet-50 שמאומנים על ImageNet וערך ה-SHA-256 שלו, את מקור השחרור של DeepFashion2 ואת מזהה מאגר קוד המקור.
  5. צור את הספריות data_raw, data_processed, parser_outputs, structural_priors, feature_outputs, checkpoints, logs, ו-evaluation_results תחת ספריית השורש של הפרויקט.
  6. פתח את configs/protocol.yaml. הזן את ספריית DeepFashion2 ב-dataset_root, את נתיב ה-checkpoint המאומן של HRNet-W48 ב-parser_checkpoint, ואת ספריית הפלט של הפרויקט ב-output_root.
  7. הגדר את input_height ל-512, את input_width ל-512, את batch_size ל-32, את structural_categories_per_batch ל-8, את samples_per_category ל-4, את random_seed ל-42, את feature_dimension ל-512, את structural_constraint_weight ל-1.0, את structural_relationship_weight ל-0.5, את structural_discrimination_weight ל-1.0, ואת separation_threshold ל-0.3.
  8. הגדר את האופטימייזר ל-mini-batch stochastic gradient descent. הגדר את initial_learning_rate ל-0.0001, את momentum ל-0.9, את weight_decay ל-0.0005, את max_epochs ל-120, את learning_rate_schedule ל-multi-step decay, ואת learning_rate_decay_factor ל-0.1. הזן ב-learning_rate_milestones את תקופות הדעיכה (decay epochs) המאושרות שנעשה בהן שימוש בתצורה ששוחררה.
  9. הרץ python tools/export_experiment_tables.py --config configs/protocol.yaml --output evaluation_results. ייצא את תצורת המודל המלאה ל-model_setting_statistics.csv. ודא שהקובץ המיוצא מתעד את גודל תמונת הקלט, פורמט הקלט, הרכב ה-batch, האופטימייזר, קצב הלמידה, לוח הזמנים של קצב הלמידה, מספר ה-epochs, דעיכת משקולות (weight decay), מומנטום, הסתברויות השבחה (augmentation), ממד התכונות, משקולות הפסד מבני, סף הפרדה, זרעים אקראיים, כלל בחירת checkpoint, ומספר הרצות עצמאיות.
  10. פלט צפוי: אשר שסביבת התוכנה עולה ללא שגיאות תלות, שקובץ software_versions.txt מכיל את תיעוד הסביבה, שכל ספריות הפלט קיימות, ו-configs/protocol.yaml מכיל נתיבים מוחלטים תקינים והגדרות מספריות.
    הערה: השתמש באותה סביבה ובאותו קובץ תצורה במהלך עיבוד הנתונים, אימון המודל, ההסקה וההערכה. שמור עותק של configs/protocol.yaml עם כל checkpoint מאומן.
    ​פתרון בעיות: אם יצירת הסביבה נעצרת בגלל חבילה שאינה זמינה, הסר את הסביבה הבלתי שלמה, ודא את ערוצי החבילות ב-environment.yml וצור את הסביבה מחדש. אם nvidia-smi לא מדווח על יחידת עיבוד גרפי, הפסק את אימון המודל ושחזר את מנהל התצוגה ואת זמן הריצה של CUDA. אם מופיעה שגיאת ספריה במהלך ההרצה, החלף נתיבים יחסיים בנתיבים מוחלטים וודא הרשאת כתיבה עבור output_root.

2. קבלה של תמונות קלט, בניית סט נתונים ועיבוד מקדימ

  1. השתמשו אך ורק בקבצים עם הסיומות JPG, JPEG או PNG. השתמשו בתמונות RGB של 8-ביט המכילות פריט לבוש מרכזי אחד.
  2. שמרו תמונות RGB של שמונה ביט שרוחבן וגובהן הם לפחות 512 פיקסלים וכוללות פריט לבוש מרכזי אחד שניתן לזיהוי. פסלו תמונה כאשר קדמת פריט הלבוש תופסת פחות מ-15% משטח התמונה המלא, כאשר יותר מ-5% מגבול מסכת הלבוש חופף לגבול התמונה, כאשר אזור לבוש משני עולה על 10% משטח הלבוש המרכזי, כאשר השטח המוערך כחסום עולה על 20% ממסכת הלבוש המרכזי, או כאשר השונות של תגובת ה-Laplacian נמוכה מ-100.
  3. רשמו את מזהה התמונה, הערך הנמדד, כלל ההדרה שהופעל ונתיב האנוטציה בקובץ excluded_samples.csv.
  4. החילו את כללי קבלת הקלט על תמונות המקור של DeepFashion2 לפני תיוג מבני וחלוקת נתונים. רשמו כל מזהה תמונה שהתקבלה או נפסלה, את חלוקת מערך הנתונים המקורית, את מזהה אנוטציית הלבוש, את מזהה זוג המקור, את יחס שטח הקדמה, את יחס המגע עם הגבול, את יחס החסימה, את ציון הטשטוש ואת סטטוס השמירה הסופי בקובץ data_filtering_manifest.csv.
  5. הריצו python tools/prepare_data.py --config configs/protocol.yaml.
  6. קראו את תיבת החיתוך (bounding box) של פריט הלבוש מאנוטציית מערך הנתונים. הרחיבו את תיבת החיתוך ב-5% מרוחבה ומגובהו, מבלי לחרוג מגבולות התמונה.
  7. חתכו את אזור הלבוש, שמרו על יחס הגובה-רוחב המקורי שלו, הוסיפו ריפוד אפסים ליצירת תמונה ריבועית, ושנו את גודל התמונה המרופדת ל-512 x 512 פיקסלים.
  8. המירה את התמונה שגודלה שונה לטנזור RGB עם ערכי נקודה צפה. חלקו כל ערך פיקסל ב-255.
  9. נרמלו את הערוצים האדום, הירוק והכחול עם ממוצעים של 0.485, 0.456 ו-0.406 וסטיות תקן של 0.229, 0.224 ו-0.225.
  10. החילו היפוך אופקי בהסתברות של 0.5 ומחיקה אקראית בהסתברות של 0.2 על תמונות האימון. החילו חיתוך, ריפוד, שינוי גודל ונרמול דטרמיניסטיים בלבד על תמונות האימות והבדיקה.
  11. הריצו python tools/assign_structural_levels.py --config configs/protocol.yaml לאחר שהופקו מפות הרכיבים בעלי שבעת הערוצים ומטריצות הגבול המשותף והסדר האנכי. עבור כל תמונה שנשמרה, חשבו את מספר הצמתים הפעילים, מספר הרכיבים המחוברים, מספר צמתי הענף, מספר המחזורים העצמאיים ואת הנתיב האנכי המכוון הארוך ביותר. הגדירו צומת ענף כצומת פעיל המחובר לפחות לשלושה צמתים פעילים אחרים בגרף הגבול המשותף.
  12. הקצו S1 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, אינו מכיל צומת ענף, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S2 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, מכיל בדיוק צומת ענף אחד, והנתיב האנכי הארוך ביותר הוא לא יותר משני מקשרי קשת. הקצו S3 כאשר הגרף מחובר, אינו מכיל מחזור עצמאי, ומכיל לפחות שני צמתי ענף או נתיב אנכי של לפחות שלושה מקשרי קשת. הקצו S4 כאשר הגרף מחובר, מכיל בדיוק מחזור עצמאי אחד, ויש לו נתיב אנכי של לא יותר משני מקשרי קשת. הקצו S5 כאשר הגרף מכיל לפחות שני מחזורים עצמאיים או מכיל מחזור עצמאי אחד יחד עם נתיב אנכי של לפחות שלושה מקשרי קשת.
  13. החילו את הכללים בסדר S5, S4, S3, S2 ו-S1 ושמרו את סטטיסטיקות הגרף שחושבו, את הרמה שהוקצתה ואת מזהה הכלל בקובץ structural_level_manifest.csv.
  14. הפיקו את תוויות S1–S5 הראשוניות באופן אוטומטי ממסכות הרכיבים וממטריצות היחסים השמורות. סמנו דגימה כמעמbeit מבנית כאשר גרף הרכיבים שלה מכיל יותר מרכיב מחובר אחד, כאשר ההסתברות המקסימלית הממוצעת של הרכיב בתוך קדמת הלבוש נמוכה מ-0.60, כאשר רכיב פעיל תופס פחות מ-1% מקדמת הלבוש, או כאשר הרמה המבנית שהוקצתה לה משתנה לאחר שרוחב המגע עם הגבול שונה מפיקסל אחד לשני פיקסלים.
  15. הגישו כל דגימה מעמbeit לשני מחברים לבדיקה עצמאית של תמונת המקור, מפת הרכיבים, מטריצת הגבול המשותף, מטריצת הסדר האנכי והגרף הראשוני. שמרו על התווית כאשר שתי הבדיקות תואמות. הגישו מקרה של אי-הסכמה למחבר שלישי והשתמשו בהחלטת הרוב כתווית הסופית. הדריגו דגימה כאשר לא התגלה יחס רכיבים יציב לאחר הבדיקה. רשמו את התווית האוטומטית, תוויות הבדיקה, סיבת אי-ההסכמה, התווית הסופית וסטטוס ההדרה בקובץ structural_label_audit.csv.
  16. חשבו את ערך ה-SHA-256 של כל קובץ מקור שנשמר וחשבו hash תפיסתי (perceptual hash) של 64 ביט מחיתוך הלבוש המנורמל. מקמו תמונות עם ערכי SHA-256 זהים באותה קבוצת כפילויות מדויקות. מקמו תמונות שה-hashes התפיסתיים שלהן הם במרחק Hamming של לא יותר מארבע באותה קבוצת כפילויות קרובות, לאחר אימות שהן מקורן מאותו מופע לבוש.
  17. מזגו את כל התמונות החולקות את אותו מזהה זוג מקור של DeepFashion2 או זהות לבוש לקבוצת מקור אחת. שמרו את ה-hashes של הקבצים, ה-hashes התפיסתיים, מזהי המקור ומזהי קבוצות הכפילויות בקובץ duplicate_group_manifest.csv.
  18. בצעו חלוקת נתונים ברמת קבוצת המקור ולא ברמת התמונה הבודדת. הקצו כל קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות וקבוצת זהות מקור באופן מלא לתת-קבוצה אחת. בדקו את כל הזוגות בין תת-הקבוצות לאחר החלוקה ורשמו כל קונפליקט זהות, קונפליקט hash וקונפליקט hash תפיסתי שזוהה בקובץ leakage_audit.csv. בנו מחדש את המניפסטים עד שקובץ leakage_audit.csv לא יכיל רשומות לא פתורות בין תת-הקבוצות.
  19. בצעו שכיבה (stratification) של קבוצות המקור לפי תוויות S1-S5 הסופיות והקצו קבוצות שלמות לתתי-הקבוצות של אימון, אימות ובדיקה בהתאם להקצאה המאושרת המוצגת ב-Table 1. דווחו על מספר התמונות המדויק ומספר קבוצות המקור עבור כל רמה מבנית ותת-קבוצה.
  20. חשבו את אחוזי האימון, האימות והבדיקה שהושגו מהקוהורט הסופי שנשמר ולא ממערך הנתונים שלא עבר סינון. אין להשתמש בתמונות אימות, תמונות בדיקה, תמונות שהודרו בשל עמימות או תמונות השייכות לקבוצות הכפילויות שלהן במהלך למידת פרמטרים, קביעת ספים, התאמת כללי רמה מבנית או בחירת נקודת ביקורת (checkpoint).
  21. שמרו את התמונות המעובדות ב-data_processed/images. שמרו את train_manifest.csv, validation_manifest.csv, test_manifest.csv, pair_manifest.csv ו-structural_level_manifest.csv ב-data_processed/manifests.
  22. קראו את התוויות המבניות הסופיות, סטטוס הבדיקה, מזהי קבוצות הכפילויות, מזהי קבוצות המקור ותוויות תת-הקבוצות מהמניפסטים המעובדים. ספרו את הדגימות שהתקבלו אוטומטית, הדגימות שנבדקו ידנית, הדחות בשל עמימות, הדחות בשל כפילויות, קבוצות מקור, תמונות אימון, תמונות אימות ותמונות בדיקה עבור S1 עד S5.
  23. חשבו את יחסי תתי-הקבוצות שהושגו, את מספר הצמתים הפעילים הממוצע, את מספר צמתי הענף הממוצע, את מספר המחזורים העצמאיים הממוצע, את העומק האנכי הממוצע ואת מספר המקשרי-קשת הממוצע. שמרו את הסטטיסטיקות המלאות ב-evaluation_results/dataset_statistics.csv.
  24. פלט צפוי: ודאו שכל תמונה שהתקבלה היא תמונת RGB של שמונה ביט בגודל 512 x 512 פיקסלים ושיש לה רשומת סינון אחת, תווית רמה מבנית סופית אחת, מזהה קבוצת מקור אחד, מזהה קבוצת כפילויות אחד, תווית תת-קבוצה אחת ונתיב אנוטציה תקף אחד. ודאו שלכל דגימה מעמbeit יש רשומת בדיקה מלאה. ודאו ששום מזהה מקור, קבוצת כפילויות מדויקות, קבוצת כפילויות קרובות או זהות לבוש אינם מופיעים ביותר מתת-קבוצה אחת. ודאו שמספרי התמונות ב-train_manifest.csv, validation_manifest.csv, test_manifest.csv ו-dataset_statistics.csv זהים.
    הערה: שמרו את התמונות המקוריות שלא עברו עיבוד ב-data_raw. אין להחיל הגברה (augmentation) אקראית על תמונות אימות או בדיקה.
    ​פתרון בעיות: אם חיתוך מסיר צווארון, שרוול, מכפלת או רגל של מכנסיים, השביתו את האנוטציה המקורית והגדילו את שולי הגבול שנשמרו. אם פריט לבוש נראה מתוח, ודאו שהריפוד הריבועי קיים לפני שינוי הגודל. אם תמונה מעובדת מכילה ערוץ אחד או ארבעה ערוצים, המירו את קובץ המקור ל-RGB של שמונה ביט והריצו מחדש את עיבוד המקדם. אם מופיעים מזהים כפולים בין תתי-קבוצות, בנו מחדש את כל מניפסטי תתי-הקבוצות לפני האימון.

3. ניתוח רכיבים חזותיים מוגבלים לרקע ומיפוי הסתברותי

  1. הריצו python tools/parse_components.py --config configs/protocol.yaml.
  2. טענו את נקודת הבקרה (checkpoint) המאומנת מראש של ה-HRNet-W48 לניתוח סמנטי של בגדים מתוך parser_checkpoint. ודאו שנקודת הבקרה מפיקה את קטגוריות רכיבי הבגד המוגדרות במיפוי האנוטציות של מערך הנתונים. העבירו את רשת הניתוח הסמנטי למצב הערכה (evaluation mode) ובטלו את חישוב הגרדיאנטים.
  3. קראו את התמונות המעובדות מתוך train_manifest.csv, validation_manifest.csv, ו-test_manifest.csv באופן רציף.
  4. חלצו טנזור תגובה סמנטית בעל שבעה ערוצים מכל תמונת קלט והגדירו את K כשבעה לאורך כל זרימת העבודה. השתמשו בסדר הקטגוריות הקבוע: Upper Trim Region, Neckline Region, Bodice Region, Left Lower-Garment Region, Right Lower-Garment Region, Middle Lower-Garment Region, ו-Hem Region. שמרו על סדר זה במפות ההסתברות, במטריצות הרכיבים, במטריצות הגרף, במטריצות התכונות, במניפסטים ובקבצי הוויזואליזציה.
  5. החילו פונקציית softmax לאורך ממד הערוצים כדי להפיק את מפת ההסתברות של הרכיבים הסמנטיים P. ודאו שההסתברויות בכל K הערוצים מסתכמות לאחד בכל פיקסל, בטווח סטייה של 0.0001.
  6. טענו את מסיכת הרקע (foreground mask) של הבגד מהאנוטציה של מערך הנתונים ויישרו אותה עם התמונה המעובדת בגודל 512 x 512. הגדירו את ההסתברות של כל רכיב מחוץ לרקע הבגד לאפס. נרמלו מחדש את הסתברויות הרכיבים בתוך מסיכת הרקע לאורך ממד הערוצים.
  7. ודאו שכל אזור רכיב פעיל נשאר בתוך רקע הבגד. דחו את הדגימה המנותחת אם אזור רכיב צבעוני חורג אל הקיר הסובב, הרצפה, הווילון או כל אזור רקע אחר. רשמו את מזהה התמונה שנדחתה ואת שגיאת הניתוח ב-parsing_quality_log.csv.
  8. חשבו את יחס כיסוי הרקע עבור כל רכיב וסמנו רכיבים בעלי אזורים מקוטעים או אזורים מבודדים שאינם נתמכים לבדיקה ידנית.
  9. שמרו את טנזור התגובה הסמנטית ב-parser_outputs/logits. שמרו את מפת ההסתברות ב-parser_outputs/probability_maps. שמרו תצוגה מקדימה של רכיבים מקודדי צבעים ב-parser_outputs/previews.
  10. פלט צפוי: ודאו שכל תמונה שהתקבלה מפיקה מפת הסתברות אחת בעלת שבעה ערוצים המוגבלת לרקע בגודל מרחבי של 512 x 512 פיקסלים, טנזור תגובה סמנטי אחד בעל שבעה ערוצים, ותמונת תצוגה מקדימה אחת. ודאו שאינדקסי הערוצים אחד עד שבעה עוקבים אחר סדר הרכיבים הקבוע שהוגדר בשלב 3.4. ודאו שכל אזורי הרכיבים הצבעוניים נשארים בתוך רקע הבגד ושפיקסלי רקע הם בעלי הסתברות רכיב אפס. ודאו שמזהה הקובץ תואם לרשומה המתאימה במניפסט המקור.
    הערה: שמרו על הסתברויות רכיבים רציפות בתוך רקע הבגד במהלך המידול המבני. התייחסו לאזורים שנוצרו כאזורי ניתוח ויזואליים. אין לפרש את גבוליהם כקווי תפר, קווי גזירה, קווי מתאר של חלקי תבנית, פנימיים (darts), סימני חיתוך (notches) או התייחסויות לדירוג מידות (grading references).
    ​פתרון בעיות: אם כל הערוצים מראים הסתברויות אחידות כמעט לחלוטין, בדקו את ה-parser_checkpoint, את סדר ערוצי ה-RGB ואת נרמול התמונה. אם רכיב נשאר חסר לאורך תת-קבוצה שלמה, השוו את אינדקס האנוטציה עם אינדקס ערוץ הפלט של המנתח. אם צבעי רכיבים חורגים לרקע, בדקו את יישור מסיכת הרקע, את הגדרות האינטרפולציה ואת קואורדינטות האנוטציה לפני בניית הגרף. אם אזור ויזואלי משתרע על פני מספר אזורי בגד שאינם קשורים, סמנו את הדגימה ככישלון ניתוח והסירו אותה מיצירת ה-structural-prior. אם הסתברויות הערוצים אינן מסתכמות לאחד, החילו softmax לאורך ממד הערוצים ולא לאורך אחד מהממדים המרחביים. אם קובץ פלט חסר, אתרו את המזהה המעובד האחרון בלוג של המנתח והסמירו את הניתוח מהמזהה הבא.

4. מידול גיאומטריית רכיבים וקשרים מרחביים ברמת התמונה

  1. טענו את הטנזור של מאפייני החזות הרדודים ואת מפת ההסתברות P המתאימה עבור כל תמונה.
  2. כפילו כל וקטור מאפיינים מרחבי בהסתברות שהוקצתה לרכיב הסמנטי המתאים.
  3. סכמו את וקטורי המאפיינים המשוקללים על פני הממדים המרחביים וחלקו את הסכום במסת ההסתברות הכוללת של הרכיב.
  4. הקצו וקטור אפס ומסמן צומת-לא-פעיל לכל רכיב עם מסת הסתברות אפסית.
  5. בצעו נורמליזציית L2 לכל שיבוץ (embedding) של רכיב פעיל וערמו את השיבוצים לפי סדר הרכיבים הסמנטיים הקבוע.
  6. חשבו את קואורדינטות המרכז האופקיות והאנכיות במישור התמונה של כל רכיב חזותי מתוך התפלגות ההסתברות שלו המוגבלת לקדמה (foreground-restricted). נרמלו את הקואורדינטות לפי רוחב התמונה וגובה התמונה.
  7. חשבו את הפריסה (spread) האופקית והאנכית במישור התמונה של כל רכיב חזותי באותה מערכת קואורדינטות מנורמלת. השתמשו בערכים אלו רק כדי לתאר את היקף האזור הגלוי בתמונה המעובדת.
  8. צרו שבעה צמתי גרף לפי סדר הרכיבים הקבוע והשאירו רכיבים לא פעילים כצמתי אפס. בנו מטריצת גבול-משותף של 7 x 7 באמצעות מגע שמונה-שכנים בין מסכות רכיבי הקדמה. בנו מטריצת סדר-אנכי של 7 x 7 באמצעות היחסים הקבועים מ-Upper Trim Region ל-Neckline Region, מ-Neckline Region ל-Bodice Region, מ-Bodice Region לכל אזור של בגד פלג גוף תחתון, ומכל אזור של בגד פלג גוף תחתון ל-Hem Region. שמרו כל יחס תקף בשני הכיוונים.
  9. הוסיפו לולאת עצמי (self-loop) עבור כל צומת פעיל לפני קונבולוציית הגרף, והשאירו יחסים המחוברים לצמתים לא פעילים על אפס.
  10. חשבו את ההעתקה המרכזית היחסית ואת הפיזור המרחבי היחסי בין כל זוג סדור של רכיבים סמנטיים. ערמו את הערכים הגיאומטריים הזוגיים כדי ליצור את טנזור היחסים הגיאומטריים.
  11. חשבו את מכפלת הסקלרים (dot product) בין כל זוג שיבוצי רכיבים מנורמלים. בצעו softmax לפי שורות במטריצת הדמיות התוצאה והשתמשו בערכים כמשקולות יחסים.
  12. כפילו את טנזור היחסים הגיאומטריים במשקולות היחסים המתאימות וקבצרו את היחסים המשוקללים עבור כל רכיב.
  13. שמרו את מטריצת שיבוץ הרכיבים, מטריצת מרכז הרכיבים, מטריצת הפיזור המרחבי, מטריצת הגבול-משותף, מטריצת הסדר-האנכי, מטריצת לולאת-העצמי, מטריצת משקולות-היחסים, מסכת הצמתים הלא-פעילים, מיפוי תוויות הרכיבים והייצוג של המידע המבני המוקדם (structural prior representation) ב-structural_priors. שמרו כל מטריצה עם שבע שורות ושבע עמודות במידת הרלוונטיות. תהליך הבנייה המלא ממפת הרכיבים המוגבלת לקדמה ועד לייצוג המבני המוקדם של טופולוגיית רכיבי הבגד ברמת התמונה מוצג ב-איור 2.
  14. ייצרו את שכבת גרף הרכיבים (graph overlay) עבור כל דגימת ויזואליזציה מתוך מפת ההסתברות המוגבלת לקדמה, מטריצת מרכז הרכיבים, מטריצת הסמיכות המתוייגת, מסכת הצמתים הלא-פעילים ומיפוי תוויות הרכיבים.
  15. מקמו כל צומת פעיל במרכז הרכיב המתאים. ציירו קשתות רצופות עבור גבולות קדמה משותפים וקשתות מקווקוות עבור יחסי סדר-אנכי שהוגדרו מראש.
  16. שמרו כל שכבת גרף ב-structural_priors/visualizations באמצעות המזהה של תמונת המקור. רשמו את נתיב תמונת המקור, נתיב מפת ההסתברות, נתיב מרכז הרכיב, נתיב הסמיכות המתוייגת, נתיב מסכת הצמתים הלא-פעילים, מזהה נקודת הבקרה (checkpoint) של הניתוח הסמנטי ונתיב שכבת הגרף ב-component_graph_visualization_manifest.csv.
  17. פלט צפוי: ודאו שכל תמונה מייצרת מטריצת שיבוץ רכיבים עם K שורות, מטריצת סמיכות מתוייגת עם K שורות ו-K עמודות, מטריצת משקולות-יחסים עם K שורות ו-K עמודות, מסכת צמתים לא-פעילים עם K ערכים, וייצוג מבני מוקדם אחד ברמת התמונה. ודאו שכל דגימת ויזואליזציה שנבחרה מייצרת שכבת גרף רכיבים שבה צמתים פעילים נשארים בתוך אזורי הבגד המתאימים.
    הערה: שמרו על אותו סדר רכיבים חזותיים בכל המטריצות, המניפסטים, הגרפים, קבצי המאפיינים ושכבות הגרף. התייחסו למרכזי רכיבים, ערכי פריסה מרחבית ויחסי גרף כמתארים של אזורי בגד במישור התמונה. אין לפרש את גרף הרכיבים כשלד של תנוחה אנושית או להסיק את צומתיו מקואורדינטות של מפרקים אנטומיים. אין להמיר מתארים אלו לאורכי תפרים, רדיוסים של קימורים, נתוני פנסים (dart intake), מיקומי סימוני חיתוך (notch), כיווני חוט השער, מדרגות מידה (grading increments) או מימדי חלקי גזרה.
    ​פתרון בעיות: אם מטריצה מכילה ערך שאינו מספרי, בדקו את המכנה של מסת ההסתברות ואת נורמליזציית הקואורדינטות. אם משקולות היחסים מתרכזים ברכיב אחד, החסירה את המקסימום של השורה ממטריצת הדמיות לפני ה-softmax. אם מספר צמתי הגרף שונה בין תמונות, ודאו שרכיבים לא פעילים נשארים כווקטורי אפס במקום להיות מוסרים.

5. קידוד מאפיינים מודע-מבנה בשני זרמים

  1. טען את משקולות ה-ResNet-50 שאימנו מראש על ImageNet והסר את שכבות האיסוף (pooling) והסיווג הסופיות.
  2. העבר כל תמונת בגד מנורמלת דרך ResNet-50 והפק את טנזור המראה משלב השדרה (backbone) שמוגדר על ידי appearance_stage בקובץ configs/protocol.yaml. ודא את שם השלב, מספר ערוצי הפלט והממדים המרחביים של הפלט המיוצרים על ידי שלב השדרה שנבחר עבור תמונת קלט של 512 x 512 פיקסלים. השתמש באותו שלב בכל הרצות האימון, ההסקה (inference), האבלאציה וההשוואה.
  3. שנה את גודלו של מפת ההסתברות הסמנטית לגודל המרחבי של טנזור מאפייני המראה באמצעות אינטרפולציה ביליניארית. הכפל את טנזור מאפייני המראה בכל מפת הסתברות רכיב שגודלה שונה, ולאחר מכן סכום את התגובות המשוקללות על פני הממדים המרחביים.
  4. העבר כל שיכון (embedding) של מראה רכיב דרך שכבת כיול הערוצים (channel-recalibration) המוגדרת ב-configs/protocol.yaml. רשום את סוג השכבה, ממד הקלט, ממד הפלט, יחס ההפחתה (reduction ratio), פונקציית ההפעלה וכלל שיתוף הפרמטרים. ערם את שבעת וקטורי הרכיבים שהתקבלו בסדר הסמנטי הקבוע כדי ליצור את מטריצת מאפייני המראה.
  5. העבר כל וקטור יחס גיאומטרי דרך שכבת ההטלה המבנית (structural projection) והגדר את ממד הפלט ל-512. בנה את גרף הרכיבים באמצעות מטריצת משקולות היחסים ומסכת הצמתים הבלתי פעילים (inactive-node mask).
  6. החל שתי שכבות קונבולוציה של גרפים (graph convolutional layers) עם ממד קלט של 512 וממד פלט של 512. החל נורמליזציה של אצוות (batch normalization) לאחר כל שכבת קונבולוציה של גרפים ולאחר מכן החל LeakyReLU. רשום את ערך השיפוע השלילי שבו השתמשה פונקציית ה-LeakyReLU. החל את מסכת הצמתים הבלתי פעילים לאחר כל שכבה כדי לשמור על מאפייני אפס עבור רכיבים בלתי פעילים.
  7. החל יישור סמנטי (semantic alignment) עם שיכוני הרכיבים המנורמלים וערם את הווקטורים שהתקבלו כדי ליצור את מטריצת המאפיינים המבנית.
  8. פלט צפוי: ודא שכל תמונה מייצרת מטריצת מאפייני מראה אחת ומטריצת מאפיינים מבנית אחת. ודא ששתי המטריצות מכילות K שורות ו-512 עמודות.
    הערה: שמור על רכיבים בלתי פעילים כווקטורי אפס ושמור על סדר הרכיבים שנקבע במהלך בניית הפריור המבני.
    פתרון בעיות: אם שתי מטריצות המאפיינים מכילות מספר שורות שונה, בדוק את מיפוי הקטגוריות הסמנטיות ואת הטיפול בצמתים בלתי פעילים. אם כפל מטריצות מדווח על שגיאת ממד, ודא שפלט ההטלה המבנית וממדי ערוצי המראה הם שניהם 512. אם מאפיינים מבניים נשארים אפס עבור כל הרכיבים הפעילים, ודא שקשתות הגרף ומשקולות היחסים נוספו לאצווה הנוכחית.

6. מיזוג מאפיינים מונחה-מבנה

  1. יש להחיל את רצף מיזוג המאפיינים המונחה-מבנה המוצג ב-איור 3. העבירו את מטריצת המאפיינים המבנית דרך שכבת משקלי המיזוג והשבילו את פונקציית ההפעלה שמוגדרת על ידי fusion_activation ב-configs/protocol.yaml. רשמו את שם ההפעלה, ממד הקלט, ממד הפלט, והאם הפרמטרים משותפים בין שבעת צמתי הרכיבים.
  2. אמתו כי מטריצת המשקלים המבנית שנוצרה מכילה K שורות ו-512 עמודות.
  3. הכפילו את מטריצת מאפייני המראה במטריצת המשקלים המבנית, איבר מול איבר.
  4. שרשרו את מטריצת המראה המודולית ואת מטריצת המאפיינים המבנית לאורך ממד הערוץ.
  5. שרשרו את וקטור המראה המודולי בן 512 הממדים ואת הווקטור המבני בן 512 הממדים עבור כל רכיב כדי ליצור וקטור בן 1024 ממדים. העבירו את הווקטור המשורשש דרך שכבת היטל המיזוג והקטינו את ממדו מ-1024 ל-512.
  6. הוסיפו את מטריצת המאפיינים המבנית המקורית למטריצה המהוטלת באמצעות חיבור שאריתי (residual connection).
  7. ערמו את וקטורי הרכיבים הממוזגים בסדר הסמנטי הקבוע והשבילו נורמליזציית L2 לייצוג המשטח המודע-מבנה.
  8. שמרו את מטריצת המשקלים המבנית, מטריצת המראה המודולית, מטריצת הרכיבים הממוזגת והייצוג הסופי המודע-מבנה ב-feature_outputs.
  9. פלט צפוי: ודאו כי כל תמונה מייצרת מטריצת רכיבים ממוזגת אחת עם K שורות ו-512 עמודות, ווקטור מאפיינים נורמליזציוני אחד מודע-מבנה המקושר למזהה תמונת המקור.
    הערה: שמרו את מטריצת המשקלים המבנית ואת מטריצת הרכיבים הממוזגת לצורך ויזואליזציה של התגובה וניתוח הפרשים מקומיים.
    ​פתרון בעיות: אם הערכים הממוזגים ממשיכים לגדול, בדקו את פלט ההפעלה ואת שכבת הנורמליזציה. אם כל המשקלים המבניים שואפים לאותו ערך, ודאו שמאפיינים מבניים משתנים בין התמונות וששכבת המיזוג מקבלת גרדיאנטים. אם קבצי המאפיינים ומזהי התמונות אינם תואמים, בנו מחדש את מניפסט הפלט לפני האימון או לפני הערכת השליפה.

7. אימון המודל ואופטימיזציה של העקביות

  1. טענו את חמשת ערכי זרעי האקראיות (random seed) הרשומים ב-configs/seeds.yaml. עבור כל הרצה, הגדירו את אותו זרע אקראיות עבור Python, NumPy, פעולות PyTorch CPU וכל התקני ה-CUDA. הפעילו אלגוריתמים דטרמיניסטיים, ביטלו את מצב ה-benchmark של cuDNN, ורשמו את חמשת ערכי הזרעים המדויקים בספריית ההרצה המתאימה.
  2. טענו את המניפסט של האימון המעובד, מניפסט הזיווגים, מפות ההסתברות והקדמונים המבניים (structural priors).
  3. בנו כל אצווה (batch) של אימון עם שמונה קטגוריות מבניות וארבעה דגימות בעלות מראה משתנה מכל קטגוריה.
  4. חשבו את הפסד העקביות המבנית (structural consistency loss) מזוגי דגימות חיוביים השותפים לאותו קדמון מבני.
  5. חשבו את הפסד עקביות הקשר המבני (structural relationship consistency loss) מהמרחקים הזוגיים בין תכונות הרכיבים.
  6. חשבו את הפסד ההבחנה המבנית (structural discrimination loss) מזוגי דגימות שליליים בעלי מבנים הטרוגניים והשלימו את סף ההפרדה של 0.3.
  7. שלבו את יעד המראה, יעד העקביות המבנית, יעד הקשר המבני ויעד ההבחנה המבנית עם המשקולות השמורים ב-configs/protocol.yaml. תהליך האופטימיזציה של מרחב התכונות המנוהל על ידי שלושת היעדים המבניים מוצג ב-איור 4.
  8. הריצו python train.py --config configs/protocol.yaml. עדכנו את כל הפרמטרים הניתנים לאימון באמצעות descenso גרדיאנט סטוכסטי של מיני-אצוות (mini-batch SGD), תוך שימוש בקצב הלמידה הראשוני, המומנטום, דעיכת המשקולות (weight decay), מספר האיפוכים (epochs), מקדם הדעיכה ואיפוכי הדעיכה שהוגדרו בשלב 1.8. רשמו את קצב הלמידה לאחר כל איפוק ביומן האימון.
  9. רשמו את הפסד הכולל, הפסד המראה, הפסד העקביות המבנית, הפסד הקשר המבני, הפסד ההבחנה המבנית, קצב הלמידה, מדד העקביות המבנית (SCI), מדד ההבחנה המבנית (SDI) ו-Recall@5 לאחר כל איפוק.
  10. העריכו את המודל על validation_manifest.csv לאחר כל איפוק. שמרו את נקודת הבקרה (checkpoint) הקשורה ל-SCI הגבוה ביותר בתיקוף ב-checkpoints/selected_model.pth.
  11. חזרו על האימון חמש פעמים עם חמשת זרעי האקראיות הרשומים. שמרו כל קובץ הגדרה, יומן אימון ונקודת בקרה נבחרת בספריית הרצה נפרדת.
  12. פלט צפוי: ודאו שכל הרצה מייצרת יומן אימון, יומן תיקוף, קובץ מדדים ברמת האיפוק ונקודת בקרה נבחרת אחת. ודאו שנקודת הבקרה הנבחרת מבוססת על ביצועי תיקוף ולא על ביצועי בדיקה.
    הערה: השתמשו באותם מניפסטים של אימון, תיקוף ובדיקה בכל השוואת מודלים וניסוי אבלציה (ablation experiment).
    ​פתרון בעיות: אם הפסד הופך לערך שאינו מספרי, הפסיקו את האימון, בחנו את מסות ההסתברות של הרכיבים, הפחיתו את קצב הלמידה פי 10, והתחילו מחדש מנקודת הבקרה התקינה האחרונה. אם ה-SCI בתיקוף נשאר ללא שינוי בעוד הפסד האימון יורד, ודאו שפרמטרי הפצת הגרף והמיזוג מקבלים גרדיאנטים. אם זיכרון הגרפיקה (VRAM) התמלא, הפחיתו את גודל האצווה ושמרו על גודל אצבעה אפקטיבי של 32 באמצעות צבירת גרדיאנטים (gradient accumulation). אם ביצועי התיקוף משתנים בחדות בין הרצות, ודאו את זרע האקראיות הרשום ואת סדר המניפסט של הנתונים.

8. הסקה, שליפה, קיבוץ ואימות פלט

  1. הפעילו את הפקודה python infer.py --config configs/protocol.yaml --checkpoint checkpoints/selected_model.pth. הפיקו מפות הסתברות, פריוריים מבניים (structural priors), מטריצות תכונות של מראה, מטריצות תכונות מבניות, מטריצות רכיבים ממוזגים (fused component matrices) ווקטורי תכונות סופיים עבור כל תמונת מבחן.
  2. שמרו את כל פלטי ההסקה תחת feature_outputs/test ורשמו את נתיביהם בתוך test_feature_manifest.csv. חשבו את דמיון הקוסינוס (cosine similarity) בין כל תכונת שאילתה לכל תכונות הגלריה. מיינו את מזהי הגלריה לפי סדר דמיון יורד. שמרו את חמש התוצאות בעלות הדירוג הגבוה ביותר עבור כל שאילתה ב-evaluation_results/retrieval_results.csv.
  3. עבור כל דגימת שליפה שנבחרה לוויזואליזציה, טענו את מטריצת הסמיכות המתוייגת (typed adjacency matrix), מטריצת משקלי היחסים, מטריצת מרכזי הרכיבים, מסיכת צמתים לא פעילים, מיפוי תוויות רכיבים ומטריצת רכיבים ממוזגת של תמונת השאילתה. טענו את אותם הקבצים עבור התוצאה בעלת הדירוג הגבוה ביותר שהופקה על ידי המודל המודע-מבנה.
  4. רנדרו את גרף רכיבי השאילתה ואת גרף רכיבי התמונה שנשלפה ממרכזי הרכיבים וממטריצות הסמיכות המתוייגות השמורות שלהם. שמרו על סדר הרכיבים הקבוע וסוגי היחסים ששימשו במהלך הסקת המודל.
  5. רנדרו את מטריצת הסמיכות המתוייגת של השאילתה כמטריצה קטגוריאלית. השתמשו בערכי מטריצה נפרדים עבור יחסים של צמתים לא פעילים, גבול משותף וסדר אנכי. תייגו את הצירים האופקיים והאנכיים באמצעות מזהי הרכיבים השמורים במיפוי תוויות הרכיבים.
  6. הפעילו נורמליזציית L2 על מטריצת הרכיבים הממוזגת של השאילתה ועל מטריצת הרכיבים הממוזגת של התמונה שנשלפה. חשבו את דמיון הקוסינוס בין כל רכיב שאילתה לכל רכיב בתמונה שנשלפה. שמרו את מטריצת התאמת הרכיבים K × K שהתקבלה ב-evaluation_results/structural_retrieval_evidence.
  7. עבור כל זוג רכיב-מטרה שנבחר לניתוח הפרשים מקומיים, טענו את מטריצת הסמיכות המתוייגת, מטריצת מרכזי הרכיבים, מטריצת הפיזור המרחבי, מטריצת משקלי היחסים ומטריצת הרכיבים הממוזגת של שתי התמונות.
  8. חשבו את ההפרש המוחלט בין שתי מטריצות הסמיכות המתוייגות. חשבו את ההפרשים המוחלטים בהעתקת מרכזי הרכיבים, בפיזור המרחבי ובמשקלי היחסים תוך שימוש בסדר הרכיבים הקבוע. שמרו את מטריצת הפרשי הטופולוגיה ומטריצת הפרשי היחסים הגיאומטריים שהתקבלו ב-evaluation_results/structural_difference_evidence.
  9. חשבו את מרחק L2 בין שורות תואמות של שתי מטריצות הרכיבים הממוזגות. נרמלו את המרחקים ברמת הרכיב והקצו אותם לצמתים של גרף רכיבי המטרה. הגדילו את רוחב הקשת בהתאם להפרש הנורמלי במשקל היחס. שמרו את גרף הפרשי הרכיבים לאחר המיזוג שהתקבל.
  10. רשמו את מזהי התמונות, נתיבי המטריצות, נתיבי הגרפים, סדר הרכיבים, מזהה ה-checkpoint ונתיבי פלטי הוויזואליזציה ב-structural_visualization_manifest.csv. הפיקו את כל הוויזואליזציות המבניות באופן תכנותי מהקבצים הרשומים; אין להוסיף צמתי גרף, קשתי גרף או ערכי מטריצה באופן ידני.
  11. הפעילו K-Means עם חמישה אשכולות (clusters) על וקטורי התכונות הסופיים ושמרו את השיוכים לאשכולות ב-evaluation_results/cluster_assignments.csv. הפעילו את הפקודה python evaluate.py --config configs/protocol.yaml --feature_dir feature_outputs/test.
  12. חשבו את ה-SCI, SDI, Recall@5, ה-mean Average Precision (mAP) ומקדם הסילוואט (silhouette coefficient) עבור כל הרצה. השתמשו ב-SCI כדי להעריך את הדחיסות של תכונות נורמליות השותפות לאותה תווית מבנית, והשתמשו ב-SDI כדי להעריך את ההפרדה בין תוויות מבניות שונות. השתמשו ב-Recall@5 כדי להעריך אם התאמה מבנית רלוונטית מופיעה ברשימת השליפה הקצרה, והשתמשו ב-mAP כדי להעריך את איכות הדירוג בכל הגלריה. השתמשו במקדם הסילוואט רק עבור ניתוח האשכולות.
  13. חשבו את הממוצע האריתמטי ואת סטיית התקן של המדגם עבור חמש הרצות עצמאיות. שמרו את חמשת הערכים ברמת ההרצה עבור כל שיטה ומדד. אין לבצע נורמליזציית min-max, נורמליזציית דרגות או שינוי קנה מידה המבוסס על השיטות המושוות. בצעו מבחן t מזווג באמצעות תוצאות שהושגו תחת אותו זרע אקראי (random seed) ורשמו את סטטיסטיקת המבחן ואת ערך המובהקות המדויק הדו-צדדי.
  14. השוו את מספר מזהי המבחן שעובדו, קבצי התכונות, רשומות השליפה והשיוכים לאשכולות. פתרו כל אי-התאמה לפני דיווח או פרשנות של תוצאות ההערכה.
  15. פלט צפוי: ודאו שלכל תמונת מבחן יש רשומת הסקה אחת מלאה, רשימת שליפה אחת, שיוך לאשכול אחד וסט אחד של קלטי הערכה. ודאו שלכל מקרה שליפה שנבחר לוויזואליזציה יש גרף רכיבי שאילתה, גרף רכיבי תמונה שנשלפה, מטריצת סמיכות מתוייגת ומטריצת התאמת רכיבים ממוזגת.
  16. ודאו שלכל מקרה של הפרש מבני יש מטריצת הפרשי טופולוגיה, מטריצת הפרשי יחסים גיאומטריים, גרף הפרשי רכיבים לאחר מיזוג, מפת חום של הפרש מרחבי ושכבת תגובה (response overlay). ודאו שכל קבצי הוויזואליזציה מקושרים למטריצות המקור שלהם דרך structural_visualization_manifest.csv. שמרו את מפת החום הנקייה, את שכבת התמונה-המטרה, את מסיכת הרקע (foreground mask) ואת קואורדינאטות אזור התגובה העליון עבור כל מקרה שהוצג בוויזואליזציה.
  17. קבלו תגובת הפרש מחושבת רק כאשר אזור התגובה הגבוה השולט חופף לרקע הבגד ונשאר נתמך על ידי השינוי התואם בסמיכות המתוייגת, השינוי ביחס הגיאומטרי וראיית מרחק הרכיבים לאחר המיזוג. אם התגובה החזקה ביותר נופלת בעיקר מחוץ לרקע הבגד, בדקו את פלט הניתוח (parsing output), את גרף הרכיבים ואת רשומת המיזוג.
    הערה: השתמשו ב-checkpoint שנבחר מסט האימות (validation set) עבור הסקה על סט המבחן. אין לבחור או להחליף checkpoint לפי מדדי סט המבחן. השתמשו באותו סדר רכיבים, כלל צמתים לא פעילים, קידוד סוגי יחסים ותהליך נורמליזציה בעת יצירת גרפים ומטריצות במהלך ההסקה והוויזואליזציה.
    ​פתרון בעיות: אם ההסקה נעצרת לפני עיבוד כל תמונות המבחן, אתרו את המזהה האחרון ביומן ההסקה והמשיכו מהמזהה הבא. אם תוצאות השליפה נשלטות על ידי דמיון בצבע, בדקו את פלטי הפריורי המבני והמיזוג, וודאו שטעינת ה-checkpoint הצליחה. אם ההערכה מדווחת על מזהים כפולים, בנו מחדש את test_feature_manifest.csv והסירו רשומות כפולות לפני החישוב מחדש. אם K-Means מייצר אשכול ריק, ודאו את נורמליזציית התכונות והריצו שוב את האשכולה עם הזרע האקראי הרשום.

9. הערכה השוואתית של מודלים

  1. הריצו את הפקודה python compare_models.py --config configs/protocol.yaml.
  2. אמנו והעריכו את ResNet-50, Part-based Convolutional Baseline (PCB), GCN, FashionGraph, Swin Transformer, CLIP, Topology Feature Histogram with Color and Texture Fusion, Attention-Guided Cascade Network, MMFL-Net, FARE-RNET, ואת השיטה המוצעת עם אותם מניפסטי אימון, תיקוף ובדיקה.
  3. השתמשו באותו גודל תמונה, פעולות עיבוד מקדמי, עידני אימון (epochs), גודל אצווה (batch size) אפקטיבי, שאילתות הערכה ומימוש מדדים עבור כל שיטה.
  4. שמרו על global average pooling עבור ResNet-50. השתמשו ב-horizontal-strip alignment ב-PCB. השתמשו בגרף בגד קבוע ברמת התמונה ב-GCN. השתמשו ב-attribute-guided dynamic graph inference ב-FashionGraph. השתמשו במקודדי התמונה הסטנדרטיים של Swin Transformer ו-CLIP. ממשו את Topology Feature Histogram with Color and Texture Fusion באמצעות מתארי טופולוגיה, צבע ומרקם. ממשו את Attention-Guided Cascade Network באמצעות ענפי מאפיינים גלובליים ומקומיים עם חלוקת בגדים (garment parsing). ממשו את MMFL-Net באמצעות ענפי מאפיינים רב-קנה-מידה ורב-גרנולריות. ממשו את FARE-RNET באמצעות residual attention, בחירת מאפיינים וקידוד הקשרי מורחב (dilated contextual encoding).
  5. השתמשו רק בענף השאילתה-תמונה (image-query branch) של כל שיטת השוואה. אמנו מחדש כל שיטה ניתנת לאימון על מניפסט האימון המשותף ובחרו את נקודת השמירה (checkpoint) שלה ממניפסט התיקוף המשותף. הפיקו רשימת גלריה מדורגת עבור כל שאילתת בדיקה.
  6. הטילו כל שיכון (embedding) נלמד ל-512 ממדים באמצעות שכבה ליניארית ניתנת לאימון רשומה, כאשר ממדו המקורי שונה. בצעו נורמליזציית L2 לפני דירוג דמיון קוסינוס (cosine-similarity). השתמשו באותה השמה של שאילתה-גלריה ובאותו מימוש מדדים עבור כל השיטות.
  7. חזרו על כל שיטת השוואה עם אותם חמישה זרעי אקראיות (random seeds). דווחו על הממוצע וסטיית התקן של המדגמים עבור SCI, SDI, Recall@5, mAP ומקדם הסילואט (silhouette coefficient). עבור כל מדד, בצעו מבחן t מזווג דו-צדדי בין השיטה המוצעת לכל שיטת השוואה באמצעות תוצאות שהתקבלו תחת אותו זרע אקראיות. רשמו את חמשת הערכים ברמת ההרצה, את סטטיסטיקת המבחן, את דרגות החופש ואת ערך ה- p המדויק בקובץ evaluation_results/comparison_metrics.csv.
  8. חשבו את SCI, SDI, Recall@5, mAP ומקדם הסילואט עבור כל שיטה. שמרו את כל ערכי רמת ההרצה והערכים המaggregated בקובץ evaluation_results/comparison_metrics.csv.
  9. פלט צפוי: וודאו שקובץ comparison_metrics.csv מכיל את אותם שדות מדדים ואת אותו מספר הרצות עצמאיות עבור כל שיטת השוואה.
    הערה: אין לשנות את חלוקות הנתונים, קוד המדדים או השמת השאילתה-גלריה בין שיטות ההשוואה.
    פתרון בעיות: אם מודל השוואה מייצר ממד מאפיינים שאינו 512, הוסיפו שכבת היטלה ליניארית רשומה אחת לפני חישוב המדד ואמנו שכבה זו עם המודל המתאים. אם מודל אינו מתכנס תחת קצב הלמידה המשותף, השתמשו בקצב הלמידה שצוין במימוש שפורסם שלו ושמרו על כל שאר התנאים הניסיוניים. רשמו כל הגדרה ספציפית לשיטה ביומן ההשוואות.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

כל הניסויים שדווחו בוצעו באמצעות סביבת החומרה והתוכנה המתועדת בטבלה 2 ובטבלת החומרים. אותן גרסאות של מנהל התקן הגרפי, CUDA, cuDNN, Python, NumPy, PyTorch ו-torchvision שימשו לאורך כל שלבי העיבוד המקדים, האימון, ההסקה וההערכה. סביבת החומרה והתוכנה המלאה מסוכמת בטבלה 2 ובטבלת החומרים. טבלה 1 מסכמת את מערכי נתוני האימון, האימות והבדיקה המעובדים יחד עם סטטיסטיקות טופולוגיות ברמת התמונה. טבלה 2 מסכמת את התצורה המשותפת ששימשה ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

שלבי הפרוטוקול הקריטיים ביותר הם עיבוד מקדים לשימור הבגד וניתוח רכיבים סמנטיים המוגבלים לרקע. מרכזי הרכיבים, ערכי פיזור מרחבי, יחסי גבול משותף, יחסי סדר אנכי, משקלי יחסים וייצוגים מאוחדים נגזרים כולם מפלט הניתוח. דליפת גבולות, אזורי רכיבים ממוזגים, אזורי רכיבים חסרים והקצאות ערוצים שגויות מופצים באמצעות בניית הגרף ומיזוג תכונות. שגיאות אלו עלולות להפיק קבצי גרף בעלי ממדים תקינים, בעוד שיחסי הרכיבים המיוצגים נותרים לא עקביים ביחס לבגד המקור. לכן, יש לאמת את מפת ההסתברות, את הגבלת הרקע, את תצוגת הרכיבים ואת רשומת איכות הני...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

למחברים אין ניגודי עניינים להצהיר עליהם.

תודות

עבודה זו נתמכה על ידי הסבב השני של פרויקטי רפורמה בהוראה לבגראים ברמה המחוזית במסגרת תוכנית החומש ה-14, תחת הפרויקט שכותרתו רפורמה והמחשה בהוראה של "עיצוב ביגוד ולבוש" המבוסס על מודל בנייה משותפת של "שלושה שילובים, שלושה מיזוגים" (מספר פרויקט JGZD2024096).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
יחידת עיבוד מרכזיתIntel CorporationIntel Core i9-13900K, 24 ליבות, 32 תהליכונים, עד 5.80 GHz
CondaAnaconda, Inc., anaconda.comMiniconda3 23.11.0
CUDA ToolkitNVIDIA Corporation, developer.nvidia.comCUDA 11.8
cuDNNNVIDIA Corporation, developer.nvidia.comcuDNN 8.9.7
מאגר הנתונים DeepFashion2האוניברסיטה הסינית של הונג קונג, github.com/switchablenorms/DeepFashion2גרסה רשמית של DeepFashion2, גרסה 1.0
יחידה לעיבוד גרפיNVIDIA CorporationNVIDIA GeForce RTX 4090, 24 GB GDDR6X
נקודת ביקורת (Checkpoint) של ניתוח סמנטי HRNet-W48פרויקט HRNet, github.com/HRNet/HRNet-Semantic-Segmentationhrnet_w48_garment_parser_7class.pth, נקודת בקרה (checkpoint) של הפרויקט גרסה 1.0
משקולות ResNet-50 מאומנות מראש על ImageNetPyTorch Foundation, pytorch.orgResNet50_Weights.IMAGENET1K_V2
Matplotlibצוות הפיתוח של Matplotlib, matplotlib.orgגרסה 3.8.2
NumPyמפתחי NumPy, numpy.orgגרסה 1.26.4
מנהל התקן גרפי של NVIDIANVIDIA Corporationגרסה 546.33
OpenCV-Pythonצוות OpenCV, opencv.orgגרסה 4.8.1.78
מערכת הפעלהMicrosoft CorporationWindows 11 Pro 23H2, 64-bit, OS Build 22631.3155
פנדותצוות הפיתוח של Pandas, pandas.pydata.orgגרסה 2.1.4
פייתוןPython Software Foundation, python.orgגרסה 3.10.13
PyTorchPyTorch Foundation, pytorch.orgגרסה 2.1.2 עם CUDA 11.8
PyYAMLפרויקט PyYAML, pyyaml.orgגרסה 6.0.1
scikit-learnמפתחי scikit-learn, scikit-learn.orgגרסה 1.3.2
SciPyמפתחי SciPy, scipy.orgגרסה 1.11.4
מאגר קוד מקורארכיון קוד-מקור משלים שהוגש עם כתב הידפרוטוקול טופולוגיה של בגדים, גרסה 1.0
התקן אחסוןSamsung ElectronicsSamsung 990 PRO NVMe SSD, 2 TB
זיכרון מערכתKingston TechnologyKingston FURY Beast DDR5, 64 GB, 2 × 32 GB, 5600 MHz
torchvisionPyTorch Foundation, pytorch.orgגרסה 0.16.2 עם CUDA 11.8
עמדת עבודהתחנת עבודה ללמידה עמוקה שנבנתה בהתאמה אישיתIntel Core i9-13900K, NVIDIA GeForce RTX 4090, 64 GB זיכרון, 2 TB NVMe SSD

מקורות

  1. Xiang Z, Zhu C, Qian M, Shen Y, Shao Y. FashionSegNet: a model for high-precision semantic segmentation of clothing images. Vis Comput. 2024;40:1711-1727. doi:10.1007/s00371-023-02881-3.
  2. Sun K, Zhang J, Zhang P, Yuan K, Li G. TsrNet: a two-stage unsupervised approach for clothing region-specific textures style transfer. J Vis Commun Image Represent. 2023;91:103778. doi:10.1016/j.jvcir.2023.103778.
  3. Yang N, Ma X. Enhanced composed fashion image retrieval with a multi-hop reasoning framework. Sci Rep. 2025;15:32217. doi:10.1038/s41598-025-17402-6.
  4. Karthika Priya D, Sathyabama B. FARE-RNET: fashion cloth retrieval via Egret Swarm Optimization-based Convolutional Attention Module integrated ResNet. Int J Comput Intell Syst. 2026;19:29. doi:10.1007/s44196-025-00979-1.
  5. Köktürk Güzel BE. Efficient image retrieval in fashion: leveraging clustering and principal component analysis for search space reduction. Erzincan Univ J Sci Technol. 2024;17:638-649. doi:10.18185/erzifbed.1500279.
  6. Zhang X, Sun H, Ma J. Research on clothing image retrieval combining topology features with color texture features. Mathematics. 2024;12:2363. doi:10.3390/math12152363.
  7. Abbas W, Zhang Z, Asim M, Chen J, Ahmad S. AI-driven precision clothing classification: revolutionizing online fashion retailing with hybrid two-objective learning. Information. 2024;15:196. doi:10.3390/info15040196.
  8. Shirkhani S, Mokayed H, Saini R, Hum YC. Study of AI-driven fashion recommender systems. SN Comput Sci. 2023;4:514. doi:10.1007/s42979-023-01932-9.
  9. Balloni E, Pietrini R, Frontoni E, Mancini A, Paolanti M. OutfitAI: shop the outfit with a deep learning-based intelligent expert system. Multimed Tools Appl. 2025;84:40195-40214. doi:10.1007/s11042-025-20753-x.
  10. Kachbal I, El Abdellaoui S. Computer vision for fashion: a systematic review of design generation, simulation, and personalized recommendations. Information. 2026;17:11. doi:10.3390/info17010011.
  11. Saranya MS, Geetha P. Cross-domain fashion cloth retrieval via novel attention-guided cascade neural network and clothing parsing. Comput Vis Image Underst. 2023;235:103777. doi:10.1016/j.cviu.2023.103777.
  12. Ning T, Gao Y, Han Y. Segmentation of ethnic clothing patterns with fusion of multiple attention mechanisms. Complex Intell Syst. 2024;10:5759-5770. doi:10.1007/s40747-024-01457-5.
  13. Jiang A, Liu L, Fu X, Liu L, Peng W. Clothing hierarchical feature representation and association learning for cross-modal fashion retrieval. J Comput Aided Des Comput Graph. 2025;37:654-667. doi:10.3724/SP.J.1089.2023-00263.
  14. An H, Lee KY, Choi Y, Park M. Conceptual framework of hybrid style in fashion image datasets for machine learning. Fash Text. 2023;10:18. doi:10.1186/s40691-023-00338-8.
  15. Adel M, Mohammed AM, Elsaid AH, Abdelatey A. Deep learning for new fashion product demand prediction: integrating visual similarity and demand correction in cold-start scenarios. Int J Data Sci Anal. 2026;22:9. doi:10.1007/s41060-025-00888-8.
  16. Tang Y, Ye D, Tao F, Du G. Enhanced group relation learning via aligned attention masking for fashion product captioning. J King Saud Univ Comput Inf Sci. 2025;37:170. doi:10.1007/s44443-025-00195-z.
  17. Lyu X, Li X, Zhang Y, Lu W. Two-stage method for clothing feature detection. Big Data Cogn Comput. 2024;8:35. doi:10.3390/bdcc8040035.
  18. Tang G, Yu F, Li H, Shi Y, Liu L, Peng T, et al. ClothSeg: semantic segmentation network with feature projection for clothing parsing. J Vis Commun Image Represent. 2023;97:103980. doi:10.1016/j.jvcir.2023.103980.
  19. Cao S, Chai W, Hao S, Zhang Y, Chen H, Wang G. DiffFashion: reference-based fashion design with structure-aware transfer by diffusion models. IEEE Trans Multimedia. 2024;26:3962-3975. doi:10.1109/TMM.2023.3318297.
  20. Hou J, Lu Y, Yang Y, Liu Z. PDN: a priori dictionary network for fashion parsing. Appl Sci. 2024;14:3509. doi:10.3390/app14083509.
  21. Moratelli N, Barraco M, Morelli D, Cornia M, Baraldi L, Cucchiara R. Fashion-oriented image captioning with external knowledge retrieval and fully attentive gates. Sensors. 2023;23:1286. doi:10.3390/s23031286.
  22. Islam T, Miron A, Liu X, Li Y. Deep learning in virtual try-on: a comprehensive survey. IEEE Access. 2024;12:29475-29502. doi:10.1109/ACCESS.2024.3368612.
  23. Yan H, Zhang H, Liu L, Zhou D, Xu X, Zhang Z, et al. Toward intelligent design: an AI-based fashion designer using generative adversarial networks aided by sketch and rendering generators. IEEE Trans Multimedia. 2023;25:2323-2338. doi:10.1109/TMM.2022.3146010.
  24. Xie Z, Zhou Z, Wang Z, Ding H, Ma L. Multi-scale spatial feature-guided cloth landmark estimation. J Comput Aided Des Comput Graph. 2022;34:1763-1771. doi:10.3724/SP.J.1089.2022.19189.
  25. Jiang J, Wu D, Deng H, Long Y, Tang W, Li X, et al. HAIGEN: towards human-AI collaboration for facilitating creativity and style generation in fashion design. Proc ACM Interact Mob Wearable Ubiquitous Technol. 2024;8:107. doi:10.1145/3678518.
  26. Danner M, Brake E, Kosel G, Kyosev Y, Rose K, Rätsch M, et al. AI-assisted pattern generator for garment design. Commun Dev Assem Text Prod. 2024;5:195-206. doi:10.25367/cdatp.2024.5.p195-206.
  27. Bao C, Zhang X, Chen J, Miao Y. MMFL-net: multi-scale and multi-granularity feature learning for cross-domain fashion retrieval. Multimed Tools Appl. 2023;82:37905-37937. doi:10.1007/s11042-022-13648-8.
  28. Yang G. Clothing design style recommendation using optimized semantic-preserved generative adversarial network. J Electr Syst. 2024;20 Suppl 3:2396-2409. doi:10.52783/jes.3064.
  29. Wang Z, Tao X, Zeng X, Xing Y, Xu Z, Bruniaux P. Design of customized garments towards sustainable fashion using 3D digital simulation and machine learning-supported human-product interactions. Int J Comput Intell Syst. 2023;16:16. doi:10.1007/s44196-023-00189-7.
  30. Wu J, Huang Y, Gao M, Gao Z, Zhao J, Zhang H, et al. A two-stream hybrid convolution-transformer network architecture for clothing-change person re-identification. IEEE Trans Multimedia. 2024;26:5326-5339. doi:10.1109/TMM.2023.3331569.
  31. Khalid M, Keming M, Hussain T. Design and implementation of clothing fashion style recommendation system using deep learning. Rom J Inf Technol Autom Control. 2021;31:123-136. doi:10.33436/v31i4y202110.
  32. Wang Y, Liu L, Fu X, Liu L. MCCP: multi-modal fashion compatibility and conditional preference model for personalized clothing recommendation. Multimed Tools Appl. 2024;83:9621-9645. doi:10.1007/s11042-023-15659-5.
  33. Ma J, Sun H, Yang D, Zhang H. Personalized fashion recommendations for diverse body shapes and local preferences with contrastive multimodal cross-attention network. ACM Trans Intell Syst Technol. 2024;15:82. doi:10.1145/3637217.
  34. Yu Z, Zhao Y, Hong B, Jin Z, Huang J, Cai D, et al. Apparel-invariant feature learning for person re-identification. IEEE Trans Multimedia. 2022;24:4482-4492. doi:10.1109/TMM.2021.3119133.
  35. Peng D, Liu R, Lu J, Zhang S. Unsupervised multi-modal modeling of fashion styles with visual attributes. Appl Soft Comput. 2022;115:108214. doi:10.1016/j.asoc.2021.108214.
  36. Mathews A, Sejal N, Venugopal KR. Analysis of content based image retrieval using deep feature extraction and similarity matching. Int J Adv Comput Sci Appl. 2022;13:646-655. doi:10.14569/IJACSA.2022.0131277.
  37. Zhang C, Ji X, Cai L. Clothing recommendation with multimodal feature fusion: price sensitivity and personalization optimization. Appl Sci. 2025;15:4591. doi:10.3390/app15084591.
  38. Zhao M, Gao S, Ma J, Zhang Z. Joint clothes image detection and search via anchor-free framework. Neural Netw. 2022;155:84-94. doi:10.1016/j.neunet.2022.08.011.
  39. Fontanini T, Ferrari C. Would your clothes look good on me? Towards transferring clothing styles with adaptive instance normalization. Sensors. 2022;22:5002. doi:10.3390/s22135002.
  40. Kim S, Moon H, Oh J, Lee Y, Kwon H, Kim S. Automatic measurements of garment sizes using computer vision deep learning models and point cloud data. Appl Sci. 2022;12:5286. doi:10.3390/app12105286.
  41. Chang YH, Zhang YY. Deep learning for clothing style recognition using YOLOv5. Micromachines. 2022;13:1678. doi:10.3390/mi13101678.
  42. de Medeiros Dantas IJ, Curth M, Freire AG. Exploring databases for training models in machine learning in the fashion industry. DAT J. 2024;9:157-174. doi:10.29147/datjournal.v9i2.877.
  43. Zhu S, Zou X, Qian J, Wong WK. Learning structured relation embeddings for fine-grained fashion attribute recognition. IEEE Trans Multimedia. 2024;26:1652-1664. doi:10.1109/TMM.2023.3284593.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

גלה מאמרים נוספים

אחזור תמונות של בגדיםעקביות מבניתתמונות DeepFashion2ניתוח סמנטי באמצעות HRNet-W48קידוד באמצעות ResNet-50קונבולוציה של גרפיםהשוואה מבניתלוקליזציה של הבדלים
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.