הערכה השוואתית של מורכבות מודל הלמידה העמוקה לחיזוי מחירי מתכות לא-ברזליות

Summary

הערכה מחודשת שיטתית של 13 ארכיטקטורות לחיזוי מחירי מתכות מראה שיחידה פשוטה עם שער רקורטיבית עולה על מודלים היברידיים מורכבים יותר. מודלים שאומנו על נחושת ונבדקו על אלומיניום ואבץ מראים דיוק חיזוי גבוה עקבי, התומכים בשימוש בגישות חסכניות בחיזוי מחירי סחורות.

Abstract

מחקר זה בוחן האם הגברת המורכבות האדריכלית משפרת את דיוק החיזוי במודלים פיננסיים מבוססי למידה עמוקה. באמצעות נתוני מחירי ספוט יומיים משוק מתכות שנגחאי לנחושת (Cu), אלומיניום (Al) ואבץ (Zn) מחודשים ינואר 2015 עד ספטמבר 2025, הוחל צינור עיבוד מוקדם סטנדרטי, שכלל נרמול דירוג z ובניית רצף חלונות מחליקים (אורך חלון = 30, אופק תחזית = 1). סך הכל שמונה-עשר מודלים הוערכו באופן שיטתי, כולל יחידות חזרה עם שערים (GRUs), רשתות זיכרון קצר טווח (LSTM), רשת עצבית קונבולוציונית–LSTM דו-כיוווני–היברידיות קשב (CNN–BiLSTM–Attention), וכן מודלים אקונומטריים מסורתיים (ממוצע נע משולב אוטורגרסיבי והטרוסקדסטיות מותנית אוטורגרסיבית ומוכללת), מודלים של למידת מכונה (יער אקראי והגברת גרדיאנט קיצוני), ומודל מבוסס טרנספורמר. כל מודלי הלמידה העמוקה אומנו אך ורק על נתוני Cu והוערכו על מערכי נתונים עצמאיים של אלומיניום ואבץ כדי להעריך הכללה. התוצאות מראות שמודל GRU הסטנדרטי משיג את שיעורי השגיאה הנמוכים ביותר (שגיאה מוחלטת ממוצעת [MAE] = 1032.85; שגיאת ריבוע ממוצעת שורש = 1344.30) ואת עוצמת ההסבר הגבוהה ביותר (מקדם קביעה [R²] = 0.907) בערכת הבדיקות Cu, תוך שהוא גם מבצע ביצועים חזקים על Al (MAE = 167.51, R² = 0.918) ואבץ (MAE = 254.23, R² = 0.952). ניתוח אבלציה מראה שהוספת רכיבים אדריכליים כמו מנגנוני קשב, שכבות דו-כיווניות ומודולים קונבולוציוניים מפחיתה את דיוק החיזוי. בדיקות סטטיסטיות באמצעות מבחן דיבולד–מריאנו מצביעות על כך שרוב ההבדלים בביצועים הם משמעותיים (p < 0.05). ממצאים אלו מדגישים את מגבלות המורכבות המיותרת של המודל ותומכים בשימוש בגישות פשוטות וחזקות יותר לחיזוי מחירי סחורות.

Introduction

שוק המתכות הלא-ברזליות העולמי — הכולל נחושת (Cu), אלומיניום (Al) ואבץ (אבץ) — הוא נקודת מפתח בכלכלה העולמית. מתכות אלו הן יסוד לבנייה, ייצור, תחבורה ותשתיות האנרגיה הירוקה המתפתחות במהירות ^1,2. כתוצאה מכך, דינמיקת המחירים שלהם מאופיינת בתנודתיות גבוהה, המונעת על ידי אינטראקציה מורכבת של כוחות מאקרו-כלכליים, מתחים גיאופוליטיים, שיבושי שרשרת האספקה, פעילויות פיננסיות ספקולטיביות וקישורים לשווקי אנרגיה ^3,4. חיזוי מדויק אינו רק אקדמי אלא צורך מעשי דחוף לממשלות (אבטחת משאבים אסטרטגית), חברות כרייה (תכנון ייצור), צרכנים תעשייתיים (רכש) ומוסדות פיננסיים (ניהול סיכונים ומסחר)^5,6.

החיפוש אחר דיוק חיזוי דחף את האבולוציה המתודולוגית. גישות אקונומטריות מסורתיות — ממוצע נע משולב אוטורגרסיבי (ARIMA) ומודל הטרוסקדסטיות מותנית אוטורגרסיבית ומוכללת (GARCH) — מיושמות זה זמן רב ללכידת תלות ליניארית ואשכול תנודתיות ^7,8. עם זאת, לעיתים קרובות הם מתקשים^{עם רעש} לא ליניארי, לא סטטי ורעש בתדר גבוה. טכניקות למידת מכונה (ML), כמו מכונות וקטוריות תמיכה ויערות אקראיים, הציעו קפיצה קדימה על ידי מידול יחסים לא ליניאריים מורכבים ללא הנחות התפלגות מחמירות^10,11. עם זאת, היכולת שלהם ללכוד תלות זמן לטווח ארוך נשארת מוגבלת. השינוי הפרדיגמטי האמיתי הגיע עם למידה עמוקה (DL)¹², במיוחד רשתות עצביות חוזרות (RNNs). רשתות זיכרון ארוך טווח קצר (LSTM)¹³ והגרסה היעילה שלהן, היחידה החוזרת עם שערים (GRU)^14,15, מפחיתות ביעילות את בעיית הגרדיאנט הנעלם והפכו לסטנדרטים דה-פקטו לחיזוי סדרות זמן פיננסיות, כולל תחזית מחירי מתכות 16,17,18,19. מחקרים רבים יישמו שיטות DL אלו בשווקי מתכות לא-ברזליות, והראו דיוק משופר לעומת מדדים קלאסיים 20,21,22,23,24,25,26,27.

עם זאת, מחקרים מאוחרים יותר התמקדו בעיקר במורכבות אדריכלית הולכת וגוברת, בהובלת חידושים בתחומי בינה מלאכותית (AI) אחרים. מסלול זה ניתן לסווג לשלושה מגמות סינרגטיות. ראשית, היברידיזציה עם רשתות עצביות קונבולוציונליות חד-ממדיות (CNNs) להפקת תכונות מקומיות רב-סקאליות לפני מידול זמני (למשל, CNN–LSTM או CNN–GRU)28,29,30. שנית, עיבוד דו-כיווני (LSTM דו-כיווני [BiLSTM] ו-GRU דו-כיווני [BiGRU]), המעבד רצפים קדימה ואחורה כדי ללכוד מידע הקשרי עשיר^{יותר 31,32}. שלישית, שילוב מנגנוני קשב, המאפשרים למודלים לשקול באופן דינמי את חשיבות צעדי הזמן ההיסטוריים^33,34. השיא הלוגי הוא "סופר-היברידים" מרובי רכיבים כמו CNN–BiLSTM–Attention או CNN–BiGRU–Attention^35,36. הנחה רווחת, לעיתים מרומזת, המאחורי חלק גדול מהמחקר הזה היא שמורכבות אדריכלית מזוהה עם שיפור דיוק התחזיות, מה שמוביל ל"מרוץ חימוש מורכבות" בספרות הפיננסית המונעת על ידי בינה מלאכותית³⁷.

הנחה זו ראויה לבחינה ביקורתית. מורכבות המודל המוגברת מביאה איתה עלויות משמעותיות: התרחבות דרסטית בפרמטרים הניתנים לאימון, סיכון מוגבר להתאמה יתר—במיוחד במאגרי נתונים פיננסיים סופיים ורועשים—דרישות משאבים חישוביים גבוהות יותר, זמני הכשרה ארוכים יותר, והפחתת הפירוש^38,39. ביקורות מתפתחות החלו לדווח על תשואות פוחתות או אפילו ירידה בביצועים כאשר מודלים מורכבים מדי מיושמים על מאגרי נתונים בינוניים רועשים ^40,41. מנגנון תשומת הלב, אף שהוא חזק בתחומים כמו עיבוד שפה טבעית עם מבנים סמנטיים ברורים, עשוי להתקשות ללמוד סכימות משקל משמעותיות בסדרות מחירים כאוטיות, ועלול ללמוד מתאמים שגויות או להיכשל בהתכנסות⁴². למרות החששות הללו, הערכה אמפירית שיטתית וישירה של פשרת המורכבות והביצועים, במיוחד בתחזית מחירי רב-מתכת, נעדרה באופן בולט מהספרות.

מחקרים עדכניים פיתחו חיזוי מחירי סחורות באמצעות גישות למידה עמוקה שונות. הוצעה גישה ללמידת ייצוג גרפים מבוססת מוטיבים לניתוח גרפים של עסקאות עבור תחזית מחירי המטבעות הקריפטוגרפיים⁴³. פותחו מודלים של למידה עמוקה מבוססי רשת עצבית בגרף לחיזוי מחירי נכסים פיננסיים⁴⁴. מודלים של למידה עמוקה בסדרות זמן יושמו על זוגות המסחר בשווקים פיננסיים⁴⁵. רשתות עצביות היפרגרף שימשו ללכידת קשרים מסדר גבוה בין מניות לחיזוי תנועות מניות⁴⁶. ביחד, עבודות אלו מדגישות את העניין הגובר בבחירת מודלים אך אינן משוות באופן שיטתי ארכיטקטורות פשוטות לספקטרום מלא של היברידים מורכבים בתנאים ניסיוניים זהים—פער שהמחקר הזה מתמודד איתו.

אנו גם מכירים במודלים עדכניים של סדרות זמן מבוססי טרנספורמר (למשל, Informer, Autoformer, Temporal Fusion Transformer ו-PatchTST). מודלים אלה הראו פוטנציאל בחיזוי רצף ארוך אך בדרך כלל דורשים נתונים נרחבים. בניסויים הראשוניים שלנו, טרנספורמר סטנדרטי (מקודד בלבד) שאומן על אותו מאגר נתונים (2,602 תצפיות יומיות, חלון = 30) ביצע ביצועים גרועים, והשיג ערכי R² שליליים בכל שלוש המתכות. תוצאה זו תואמת את ההשקפה שטרנספורמרים הם עתירי נתונים ואינם מתאימים לתרחישי שוק סחורות מוגבלים בנתונים. בהתחשב בהתמקדות שלנו בסביבה ריאלית לחיזוי בתדר בינוני, אנו מחריגים את וריאנטים מתקדמים של טרנספורמר מהמדד המרכזי, תוך ציון שבדיקתם על מערכי נתונים גדולים יותר נותרה כיוון חשוב לעתיד.

מחקר זה מטפל ישירות בפערים שזוהו על ידי בדיקה קפדנית של ההשערה שארכיטקטורות למידה עמוקה פשוטות יותר יכולות להתעלות על מקביליהן המורכבות יותר בחיזוי מחירי היומיים של Cu, Al ו-Zn. אנו מתכננים ומיישמים מסגרת בנצ'מרקינג מקיפה הכוללת שלושה עשר מודלים מתקדמים — החל מ-GRU ו-LSTM הבסיסיים ועד לארכיטקטורות היברידיות מתקדמות כגון CNN–BiGRU–Attention ו-CNN–BiLSTM–Attention. הניתוח שלנו מבוסס על מערך נתונים משמעותי משוק המתכות בשנגחאי (SMM) שנמשך מינואר 2015 ועד ספטמבר 2025. חשוב לציין, כל המודלים מאומנים אך ורק על נתוני מחיר Cu, בעוד שמאגרי הנתונים Al ו-Zn שמורים אך ורק לאימות עצמאי מחוץ למדגם לבדיקת הכללה. אנו גם מבצעים ניסויים מובנים לאבלציה כדי לבודד ולכמת את ההשפעה האישית והמשולבת של הוספת מנגנוני קשב, שכבות דו-כיווניות ומודולים קונבולוציוניים למודלים חזרתיים בסיסיים, ובכך בוחנים ישירות את ערך כל רכיב מורכבות.

התרומות של עבודה זו הן בשלוש תחומים. ראשית, הוא מספק מדד אמפירי מקיף לחיזוי מחירי מתכות מבוסס למידה עמוקה, ומציע היררכיה ברורה ומבוססת ראיות על ביצועי המודלים. שנית, הוא מספק התערבות ביקורתית מהותית בתחום, ומאתגר את השאיפה הבלתי מוטלעת למורכבות אדריכלית ומדגישה את הסיכונים המשמעותיים של התאמת יתר וחוסר יעילות. שלישית, היא מציעה הדרכה פרגמטית לחוקרים, אנליסטים ואנשי מקצוע בתעשייה, ומקדמת עיקרון של חסכנות: מודלים פשוטים ומכוונים היטב כמו ה-GRU עשויים לא רק להספיק אלא גם לטובים יותר למשימות חיזוי פיננסי מסוימות, ולספק איזון נוח בין דיוק, מהירות, עמידות ושקיפות. שאר המאמר בנוי כך. סעיף הפרוטוקול מפרט את מתודולוגיית המחקר, כולל נתונים, עיבוד מוקדם, ארכיטקטורות מודלים, פרוטוקולי הדרכה ומדדי הערכה. מדור התוצאות מציג את התוצאות האמפיריות, כולל בנצ'מרקינג ראשוני, מחקרי אבלציה ומבחני הכללה. חלק הדיון דן בהשלכות התיאורטיות והמעשיות, המגבלות והכיוונים העתידיים.

Protocol

מחקר זה לא כלל משתתפים אנושיים או בעלי חיים בעלי חוליות. כל הנתונים המשמשים הם סדרות מחירי סחורות זמינות לציבור מה-SMM, שאינן דורשות אישור אתי. לכן, לא נדרש או נדרש אישור אתי למחקר זה.

סעיף זה מפרט את עיצוב המחקר המקיף והקפדני שיושם כדי לבחון אמפירית את ההשערה המרכזית. הוא מספק הסבר מפורט של הניסוח המתמטי והפרטים האדריכליים של שלושה עשר מודלי הלמידה העמוקה שהוערכו, פרוטוקול ההכשרה המדויק, ומדדי ההערכה הפורמליים. תהליך העבודה המתודולוגי הכולל מסוכם ויזואלית באיור 1.

איור 1: סקירה סכמטית של מתודולוגיית המחקר. הדיאגרמה ממחישה את כל צינור הניסוי, כולל חלוקת נתונים, אימון מודלים בלעדית על סדרת מחירי Cu, הערכה על קבוצת בדיקות Cu, ואימות מחוץ למדגם על סדרות Al ו-Zn עצמאיות. לולאת המשוב המקווקו מצביעה על ניסויי אבלציה מובנית שנערכו לניתוח תרומתם של רכיבים אדריכליים בודדים. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

התרשים ממחיש את כל צינור הניסוי. התהליך מתחיל בשימוש בלעדי בסדרת המחיר Cu לפיתוח דגמים. סדרה זו מחולקת כרונולוגית לקבוצות אימון (80%), אימות (10%) ובדיקות (10%). שלוש עשרה ארכיטקטורות למידה עמוקה מובחנת מאומנות ומותאמות היפרמטריות אך ורק על נתוני האימון Cu, כאשר ההפסקה המוקדמת מנוטרת באמצעות מערכת הוולידציה. המדד העיקרי הוא הערכת המודלים הללו על סט הבדיקות Cu המוחזק. חשוב לציין, כדי להעריך הכללה, אותם מודלים מאומנים מיושמים ללא שינוי כדי לחזות את סדרת המחירים העצמאית לחלוטין של אלומיניום ואבץ, ומייצגת מבחן מחמיר מחוץ למדגם. לבסוף, מתבצעים ניסויי אבלציה מובנית (לולאת המשוב המקווקוקת) כדי לפרק ולנתח את תרומת הביצועים של רכיבים אדריכליים בודדים (למשל, תשומת לב, עיבוד דו-כיווני ושכבות קונבולוציוניות).

ארכיטקטורות מודלים וניסוח מתמטי
תכננו ויישמנו ספקטרום של 13 מודלים של DL, שגדלו באופן שיטתי במורכבות הארכיטקטונית מרשתות פשוטות וחוזרות להיברידי רב-רכיבי מתוחכמים. כל המודלים חולקים את אותה מטרה מרכזית: ללמוד מיפוי מחלון מחירים היסטורי X_t = [P _{t-L,P t-L+1},...,P_t-1] באורך L = 30 למחיר הבא y_t = P_t.

משפחות המודל מוגדרות כך:

מודלים חזריים בסיסיים
GRU: רשת חוזרת יעילה המשתמשת בשערי עדכון (z_t) ואיפוס (r_t) למודולציה של זרימת המידע. המצב הנסתר h_t מחושב כך:

(1)

(2)

(3)

    (4)

כאשר X הוא ההפעלה הסיגמואידית, מסמן את מכפלת האדמר, ו-x_t הוא הקלט בזמן t . המצב הנסתר הסופי h_L עובר דרך שכבת פלט ליניארית. משוואות 1–4 מותאמות מצ'ו ואח' ¹⁴.

LSTM: משתמש בשערי קלט (i_t), שכחה (f_t) ושערי פלט (o_t) לשמירה על מצב תא (C_t), ומספק שליטה מפורשת יותר על זיכרון לטווח ארוך.

מודלים דו-כיווניים (BiGRU ו-BiLSTM)
מודלים אלו משלבים שתי שכבות חזרתיות נפרדות שמעבדות את הרצף בכיוונים קדימה ואחורה. הייצוג הנסתר הסופי בכל שלב זמן הוא השרשור , שבאופן תיאורטי לוכד מידע הקשרי מהעבר ומהעתיד בתוך חלון הקלט הקבוע.

מודלים מוגברים על ידי קשב (GRU–קשב ו-LSTM–קשב)
מנגנון קשב מצבור מוחל על רצף המצבים הנסתרים H = [h_{1,h 2},...,h_L] שנוצר על ידי השכבה החוזרת הסופית. וקטור ההקשר מוגדר כסכום משוקלל:

(5)

(6)

(7)

כאן, α_i מייצג את משקל תשומת הלב שניתן לצעד הזמן ההיסטורי ה-i. וקטור ההקשר c, המכיל סיכום אדפטיבי של היסטוריה רלוונטית, מוזן לשכבת החיזוי הסופית. משוואות 5–7 מותאמות מ-Bello ואחרים^.

CNN–מודלים היברידיים (CNN–GRU ו-CNN–LSTM)
שכבת CNN חד-ממדית עם הפעלה של יחידה ליניארית מתיישרת (ReLU) מצורפת לשכבה החוזרת.

מודלים היברידיים מורכבים
ארכיטקטורות אלו משלבות מספר רכיבים (למשל, CNN–BiGRU–Attention, CNN–BiLSTM–Attention). הם מייצגים את מצב הטכנולוגיה מבחינת מורכבות, ומטרתם לשלב חילוץ דפוסים מקומיים (CNN), מידול דו-כיווני הקשרי ומשקל זמני אדפטיבי (תשומת לב) למסגרת אחת.

כל המודלים הוגדרו עם מידות מצב נסתר עקביות (128 יחידות לשכבות חוזרות ו-64 מסננים לשכבות CNN) והוגדרו עם שכבת פלט ליניארית אחת. עיצוב מבוקר זה מבטיח שהבדלי ביצועים נובעים מבחירות אדריכליות ולא מהבדלים בכיוונון קיבולת הדגם. מספר הפרמטרים הניתנים לאימון גדל משמעותית לאורך הספקטרום הזה.

פרוטוקול אימון, היפרפרמטרים ועיצוב מחקר אבלציה
טבלה 1 מסכמת את התצורה הניסיונית המאוחדת והקפדנית שיושמה על כל שלושה-עשר המודלים כדי להבטיח השוואה הוגנת ולהפחתת התאמת יתר. כל הדגמים אונו מאפס תוך שימוש רק בסט ההדרכה Cu המיועד. אופטימייזר אדם שימש למזעור אובדן השגיאה הממוצעת בריבוע (MSE). הטכניקה הקריטית של עצירה מוקדמת, שנודחה על מערכת האימות Cu, יושמה באופן אחיד. דבר זה הבטיח שהאימון יסתיים בנקודת ההכללה האופטימלית על נתוני Cu בלתי נראים, ובכך מנע מודלים מהתאמת יתר לרעש האימון.

קטגוריית פרמטרים	מפרט / ערך	תיאור
משימה מרכזית ונתונים
יעד חיזוי	מחיר למחרת	תחזית סטנדרטית של צעד אחד קדימה.
אורך חלון קלט (L)	60 ימי מסחר	מאזן בין הקשר היסטורי מספק לבין מורכבות המודל ויציבות האימון.
פיתוח מודלים
ערכת אימון (רק Cu)	80% הראשונים (~2081 תצפיות)	משמש ללמידת פרמטרי מודל באמצעות הפצה אחורית.
סט אימות (רק Cu)	10% הבאים (~260 תצפיות)	שימש לכיוון היפרפרמטרים ולעצירה מוקדמת; חיוני למניעת התאמת יתר.
סט בדיקה (רק Cu)	10% אחרונים (~260 תצפיות)	הערכה סופית וממושכת של ביצועי המדגם (Cu).
ארכיטקטורת מודל
יחידות נסתרות של RNN	128	מספק יכולת ייצוג מספקת; נשמר קבוע בכל המודלים מבוססי RNN.
מסנני CNN	64	מספר מפות תכונות לשכבות CNN במודלים היברידיים.
הליך ההכשרה
אופטימייזר	אדם	מייעל קצב למידה אדפטיבי להתכנסות יציבה ויעילה.
קצב הלמידה ההתחלתי	1 × 10⁻³	שיעור התחלה סטנדרטי לאדם.
פונקציית אובדן	שגיאת ממוצעת בריבוע (MSE)	תקן לרגרסיה
גודל אצווה	32	אימון מיני-אצווה יעיל.
מקסימום אפוקס	80	הגבול העליון לאיטרציות אימון.
סבלנות עצירה מוקדמת	10 תקופות	האימון נעצר אם אובדן האימות לא משתפר במשך 20 תקופות רצופות; משקלי הדגמים מהתקופה הטובה ביותר משוחזרים.
הערכה ואימות
מדדים ראשיים	MAE, RMSE, R²	ספק הסברים משלימים של גודל השגיאה והשונות.
מבחן הכללה	תחזית על סדרות מלאות של אלומיניום ואבץ (2602 תצפיות כל אחת)	הדגמים מוקפאים אחרי אימון Cu. זהו מבחן טהור וקפדני מחוץ למדגם על סחורות שונות לחלוטין.
עיצוב אבלציה	GRU → BiGRU → BiGRU–Attention → CNN–BiGRU–Attention	מבודדת באופן שיטתי את ההשפעה של הוספת רכיבי דו-כיווניות, תשומת לב ו-CNN.

טבלה 1: פרמטרים ניסיוניים מרכזיים וקונפיגורציה. סיכום ההגדרה הניסויית שהוחלה על כל המודלים, כולל חלוקת נתונים, פרמטרים של ארכיטקטורת המודלים, הגדרות אימון ומדדי הערכה.

כדי לפרק את התרומה של כל רכיב אדריכלי, תוכנן מחקר אבלציה מובנה. החל מקו הבסיס הטוב ביותר (GRU), נבנתה "שרשרת מורכבות" מתקדמת. איור 2 מתאר ויזואלית את שרשרת המורכבות הזו, וממחיש את החיבור השלבי של הרכיבים. גישה מדורגת זו מאפשרת לייחס ישיר לכל שינוי בביצועי החיזוי לתוספת הדרגתית של דו-כיווניות, מנגנון הקשב, ולבסוף שכבת הרשת העצבית הקונבולוציונית. מדדי הביצועים בכל צומת בשרשרת זו מספקים ראיות אמפיריות ברורות לגבי הערך או החיסרון של כל רכיב מורכבות במשימה הספציפית של חיזוי מחירי מתכות.

איור 2: שרשרת המורכבות ששימשה במחקר האבלציה. הדיאגרמה ממחישה את התוספת הדרגתית של רכיבים אדריכליים, המתקדמים מ-GRU ל-BiGRU, BiGRU–Attention, ו-CNN–BiGRU–Attention. רצף זה מייצג את העלייה השיטתית במורכבות המודל המשמשת להערכת השפעת כל רכיב על ביצועי התחזית. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

מדדי הערכת ביצועים
ביצועי המודל נמדדו בקפדנות באמצעות שלושה מדדי רגרסיה סטנדרטיים, שהציעו תובנות משלימות לגבי דיוק החיזוי וכוח ההסבר.

שגיאה ממוצעת מוחלטת (MAE)
מודד את גודל השגיאות הממוצע, ומספק סולם סטייה איתן וקל לפרש.

(8)

שגיאת ריבוע ממוצעת שורש (RMSE)
מדגיש שגיאות גדולות יותר בגלל פעולת הריבוע, מה שהופך אותו לרגיש יותר לחריגים ולשגיאות גדולות.

(9)

מקדם קביעה (R²)
מייצג את שיעור השונות במשתנה היעד שניתן לחיזוי מהמודל.

(10)

כאשר הוא הממוצע של הערכים האמיתיים. ערך R² הקרוב יותר ל-1 מציין מודל שמסביר את רוב השונות בנתונים. משוואות 8–10 הן מדדי רגרסיה סטנדרטיים⁴⁸. ההערכה בוצעה בשני שלבים נפרדים, רציפים, כדי להעריך בנפרד ביצועי מדד במדגם והכללות מחוץ למדגם. (1) שלב 1 (מדד בסיסי): כל שלושה-עשר המודלים, לאחר אימון והפסקה מוקדמת בנתוני Cu, הוערכו על סט בדיקות Cu שהוחזק. (2) שלב 2 (מבחן הכללה): אותם מודלים בדיוק, עם פרמטריהם הוקפאים, הופעלו כדי לייצר תחזיות לסדרות המחירים המלאות והעצמאיות של אלומיניום ואבץ. לא בוצעה הכשרה מחדש או התאמה.

שחזוריות: הגדרות ניסיוניות מפורטות
מחירי ספוט יומיים (CNY/ton) עבור דרגת A Cu, Alum, ו-Zn התקבלו מהפלטפורמה הציבורית של SMM (https://www.smm.cn/), מ-5 בינואר 2015 ועד 12 בספטמבר 2025. הנתונים הגולמיים והמעובדים זמינים במאגר ציבורי (DOI: 10.5281/zenodo.19976985). קובץ הנתונים מכיל את העמודות תאריך, Cu, Al, ו-Zn. התאריכים מומרים לפורמט datetime וממוינים בסדר עולה. ערכים חסרים מטופלים על ידי מילוי קדמי ואחריו מילוי אחורה. התכונות מתוקננות באמצעות סולם ניקוד z המותאם רק על סט האימון (ממוצע _{μ j}, סטיית תקן σ_j , ); אותו דבר ומוחל על ערכות האימות והבדיקה ללא התאמה. משתנה היעד (Cu, Al, או Zn) מותקן בנפרד באמצעות סטטיסטיקות סט אימון משלו.

רצפי קלט–פלט נבנים באמצעות חלון הזזה עם אורך קלט L = 30 ימי מסחר ואופק תחזית h = 1 (תחזית ליום הבא). עבור אינדקס יעד (0 = Cu, 1 = Al, 2 = Zn), כל דגימה מוגדרת כ-X_i = V[ t - L : t, : ] (צורה 30 × 3) ו-y_i = V[ t + h , k] (סקלר). לא נעשה ערבוב לשימור הסדר הזמני. מערך הנתונים מחולק כרונולוגית ללא אקראיות: ההכשרה כוללת אינדקסים 0–2080 (2,081 תצפיות, 80%), מדדי אימות 2081–2340 (260 תצפיות, 10%), ומדדי בדיקה 2341–2601 (261 תצפיות, 10%). גבולות התאריכים המתאימים הם 5 בינואר 2015 עד 31 ביולי 2023 (אימון), 1 באוגוסט 2023 עד 19 באוקטובר 2023 (אימות), ו-20 באוקטובר 2023 עד 12 בספטמבר 2025 (מבחן); הקובץ במאגר מספק פרטים מדויקים.

זרעים אקראיים קבועים כך: seed ניסוי ראשי = 42, ו-seeds Python, NumPy ו-TensorFlow מוגדרים כולם על 42. אתחול משקל משתמש באחידות גלורוט לגרעיני קלט, אורתוגונל לגרעינים חוזרים, ואפסים להטיות. סביבת התוכנה כוללת את Python 3.10.19, TensorFlow 2.20.0/Keras, NumPy 1.26.4, pandas 2.3.3, scikit-learn 1.7.2, ו-Matplotlib 3.10.6. הניסויים בוצעו על מחשב Windows 11 עם Intel Core i7 (2.20 GHz) ו-32 GB RAM; לא השתמשו ב-GPU.

אופטימייזר אדם משמש עם learning_rate = 1×^10-3, β₁ = 0.9, β₂ = 0.999, ו-weight_decay = 0. פונקציית האובדן היא MSE. מתזמן ReduceLROnPlateau עוקב אחרי אובדן אימות עם גורם 0.5, סבלנות 5, וקצב למידה מינימלי 1 ×-^10-5. עצירה מוקדמת מיושמת עם מוניטור = val_loss, סבלנות = 10, restore_best_weights = נכון, ו-min_delta = 0. כל תקופת אימון כוללת מעבר קדימה על קבוצת האימון, חישוב אובדן MSE, הפצה אחורית ועדכון פרמטר אדם. לאחר כל תקופה, מחושב אובדן אימות; הפסקה מוקדמת והפחתת קצב הלמידה מופעלים בהתאם לערך זה. המודל עם אובדן האימות הנמוך ביותר משוחזר לבדיקה. גודל האצווה הוא 32, והדגימות מוזנות בסדר כרונולוגי ללא ערבוב (ערבוב = שגוי).

במודלים היברידיים של CNN, משתמשים בשכבת Conv1D אחת עם 64 מסננים, kernel_size = 3, stride = 1, ריפוד = 'אותו דבר', והפעלה ליניארית מתוקנת (ReLU), ואחריה MaxPooling1D(pool_size = 2) ו-Dropout (0.15). במודלים מוגברים על ידי תשומת לב, הרשת העצבית החוזרת מחזירה את הרצף הנסתר המלא H עם צורה B × T × C.  שכבה צפופה עם יחידה אחת יוצרת ניקוד, וסופטמקס לאורך זמן ממיר את הציונים הללו למשקלי תשומת לב , כאשר וקטור ההקשר מוגדר כ-c = ∑_t α_t h_t. לאחר מכן יש שכבה צפופה עם 64 יחידות והפעלה של ReLU, Dropout (0.15), ושכבת הפלט הצפופה. מודלים דו-כיווניים מחברים מצבים נסתרים קדימה ואחורית (כל אחד 64 יחידות), מה שמוביל ל-128 ממדים; כאשר משתמשים בתשומת לב, return_sequences = אמת שומרת על הרצף המלא (B × T × 128).

הערכה משתמשת בחיזוי צעד אחד ישיר (לא רקורסיבי). כל התחזיות עוברות הפוכה לסולם המחירים המקורי לפני חישוב MAE, RMSE ו-R² בסולם זה. לבדיקות הכללה על אלומיניום ואבץ, סולן הקלט המותקן על Cu משמש מחדש ללא שינוי, בעוד שלכל מתכת מטרה יש סולם מטרות משלה המותקן על מטרות האימון שלה. במחקר האבלציה, כל הפרמטרים הלא-אדריכליים (נתונים, פיצול, קנה מידה, זרע אקראי, מספר תקופות, גודל אצווה, אופטימייזר, קצב למידה, פונקציית אובדן, עצירה מוקדמת, מתזמן, ניתוק) נשמרים זהים לאורך השרשרת; רק הארכיטקטורה משתנה. קוד המקור המלא והוראות השכפול זמינים לציבור ב-Zenodo (10.5281/zenodo.19976985). כל הדמויות נוצרו באמצעות Matplotlib 3.10.6 עם הסקריפט שסופק; הפלטים נשמרים כ-PDF, SVG ו-PNG ברזולוציה גבוהה (600 dpi). כל הדגמים עברו הכשרה עם מקסימום של 80 אפוקים. הפסקה מוקדמת עם סבלנות = 10 (מנוטרת עם אובדן אימות) הופעלה בכל מודל לפני שהגיעו למגבלת התקופה. לדוגמה, מודל ה-GRU נעצר בתקופה 37 (אפוק הטוב ביותר 27, אובדן אימות מיטבי 0.0040), בעוד שהמודל ההיברידי המורכב ביותר CNN–BiLSTM–Attention עצר בתקופה 23 (אפוק הטוב ביותר 13, אובדן אימות מיטבי 0.0072). הרשימה המלאה של התקופות שנעצרו, התקופות הטובות ביותר ואובדן האימות הטוב ביותר לכל 13 המודלים זמינה במאגר זנודו, ומבטיחה שקיפות מלאה ושחזוריות מבלי להעמיס טבלה על הטקסט הראשי. הדיונים התיאורטיים (גבולות ליפשיץ, מורכבות מדגם, מורכבות רדמאכר, פירוק הטיה-שונות, אנטרופיית קשב ומידע הדדי) הם הסברים מושגיים לתוצאות האמפיריות ואינם משנים את מטרת האימון או את יישום המודל. לבסוף, להערכת יציבות, הניסויים המרכזיים חזרו על עצמם עם חמישה זרעים אקראיים (1, 7, 21, 42 ו-2024); הממוצע והסטיית התקן של RMSE בין ריצות אלו מדווחות בסעיף התוצאות , שם ה-GRU שמר על RMSE ממוצע תחרותי עם שונות נמוכה, ותמך בביצועים יציבים באתחולים אקראיים.

Results

q: סעיף זה מציג הערכה אמפירית מקיפה של 13 מודלי DL ומודלים בסיסיים נוספים, בהתאם למתודולוגיה הקפדנית המתוארת בסעיף 3. הניתוח בנוי בארבעה חלקים: (1) סקירה תיאורית של מערך הנתונים, (2) השוואת ביצועים ראשונית של ביצועי המודל על מערך בדיקות Cu המוחזק, כולל אבחון ויזואלי של התאמה ודינמיקת אימון, (3) מחקר אבלציה מפורט לפירוק השפעת המורכבות האדריכלית, ו-(4) מבחן קריטי של הכללת מודל על סדרות המחירים העצמאיות של Al ו-Zn.

מערך הנתונים המלא מכיל 2,602 תצפיות יומיות (2015...

Discussion

התוצאות האמפיריות המוצגות בסעיף התוצאות מספקות תשובה ברורה ועקבית לשאלת המחקר המרכזית שלנו: עבור חיזוי יומי של מחירי מתכות לא-ברזליות תחת משטר ריאלי ומוגבל נתונים (2,602 תצפיות, קלטים חד-משתניים, אופק צעד אחד קדימה), ארכיטקטורת הלמידה העמוקה הפשוטה ביותר — ה-GRU — עולה באופן עקבי ומשמעותי על מגוון רחב של מודלים מורכבים יותר. אלה כוללים CNNים היברידיים, RNNs דו-כיווניים, רשתות מוגברות קשב, ו"סופר-היברידים" מרובי רכיבים (למשל, CNN–BiLSTM–Attention), וכן קווי בסיס אקונומטרי...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מערך נתונים	סדרת מחירי הנחושת היומית (Cu) – אחת משלוש המתכות המטרה; גם חלק מתכונות קלט רב-משתניות.	שוק המתכות בשנגחאי (SMM), זמין לציבור	נתוני מחירים של SMM; עמודה = Cu; סוג המחיר = ספוט; תדירות = יומית; יחידה = יואן לטון; טווח תאריכים = 2015-01-05 עד 2025-09-12; RRID: לא רלוונטי
מערך נתונים	סדרות מחירי ספוט יומיות מאלומיניום (Al) – אחת משלוש המתכות המטרה; גם חלק מתכונות קלט רב-משתניות.	שוק המתכות בשנגחאי (SMM), זמין לציבור	נתוני מחירים של SMM; עמודה = Al; סוג המחיר = ספוט; תדירות = יומית; יחידה = יואן לטון; טווח תאריכים = 2015-01-05 עד 2025-09-12; RRID: לא רלוונטי
מערך נתונים	סדרת מחיר יומי של אבץ (Zn) – אחת משלוש המתכות המטרה; גם חלק מתכונות קלט רב-משתניות.	שוק המתכות בשנגחאי (SMM), זמין לציבור	נתוני מחירים של SMM; עמודה = Zn; סוג המחיר = ספוט; תדירות = יומית; יחידה = יואן לטון; טווח תאריכים = 2015-01-05 עד 2025-09-12; RRID: לא רלוונטי
מערך נתונים	מערך נתוני מחיר מתכות רב-משתניות מעובד מראש – סדרות Cu, Al, Zn ממוינות ונוקות כרונולוגית לאחר טיפול בערכים חסרים ובניית חלון הזזה (L = 30, h = 1).	מחבר שנוצר מנתוני SMM	מאוחסן במאגר Zenodo (DOI: 10.5281/zenodo.19976985); קובץ: Data.csv; RRID: לא רלוונטי
תוכנה	שפת תכנות פייתון – שפה ראשית לעיבוד נתונים, יישום מודלים, הערכה ויצירת איורים/טבלאות.	קרן התוכנה של פייתון / אנקונדה	פייתון 3.10.19; התפלגות אנקונדה; RRID: SCR_008394
תוכנה	TensorFlow/Keras & מסגרת למידה עמוקה ליישום מודלים של GRU, LSTM, BiGRU, BiLSTM, CNN-היברידי, תשומת לב וטרנספורמר.	טנסורפלו / קראס	TensorFlow 2.20.0; RRID: SCR_016345
תוכנה	NumPy & ndash; עיבוד מערך נומרי ופעולות מטריצה.	קהילת קוד פתוח	NumPy 1.26.4; RRID: SCR_008633
תוכנה	פנדות ו-ndash; טעינת נתונים, עיבוד טבלאי וטיפול בפלט CSV/Excel.	קהילת קוד פתוח	פנדות 2.3.3; RRID: SCR_018214
תוכנה	scikit-learn – מדדי הערכה, עיבוד מוקדם וכלי למידת מכונה.	קהילת קוד פתוח	SCIKIT-Learn 1.7.2; RRID: SCR_002577
תוכנה	StandardScaler (נרמול z-score) – סטנדרטיזציה של תכונות מיושמת באמצעות סטטיסטיקות של ערכות אימון.	סקיקיט-לרן	כלול ב-scikit-learn 1.7.2; RRID: SCR_002577
תוכנה	יער רנדום & ndash; מימוש בסיסי של למידת מכונה (RandomForestRegressor).	קהילת קוד פתוח	SCIKIT-Learn 1.7.2; RRID: SCR_002577
תוכנה	Statsmodels – יישום בסיסי של ARIMA.	קהילת קוד פתוח	סטטיסטיסטמודלס 0.14.6; RRID: SCR_016074
תוכנה	Arch & ndash; מימוש קו בסיס של GARCH.	קהילת קוד פתוח	קשת 8.0.0; RRID: לא זמין
תוכנה	XGBoost – יישום בסיסי של רגרסיה XGBoost.	קהילת קוד פתוח	XGBoost 3.1.2; RRID: SCR_025884
תוכנה	דגם טרנספורמר – ארכיטקטורת למידה עמוקה בסיסית להשוואה.	טנסורפלו / קראס	יושם באמצעות TensorFlow 2.20.0; RRID: SCR_016345
תוכנה	קריאות חוזרות ל-Keras (ReduceLROnPlateau) – מתזמן קצב הלמידה בשימוש במהלך האימונים.	טנסורפלו / קראס	כלול ב-TensorFlow 2.20.0; RRID: SCR_016345
תוכנה	Matplotlib & ndash; יצירת דמויות וייצוא ל-PDF/SVG/PNG.	קהילת קוד פתוח	Matplotlib 3.10.6; RRID: SCR_008595
תוכנה	openpyxl – תמיכה ביצירת חוברות עבודה וייצוא באקסל.	קהילת קוד פתוח	openpyxl 3.1.5; RRID: לא זמין
קוד	GRU.py & ndash; יישום מלא של כל 13 מודלי הלמידה העמוקה, השוואת טרנספורמר, קווי בסיס ARIMA/GARCH/XGBoost/Random Forest, Diebold– מבחני מריאנו, ויצירת דמויות.	נכתב על ידי המחבר	זמין בזנודו (DOI: 10.5281/zenodo.19976985); RRID: לא רלוונטי
קוד	README_reproducibility.md – הוראות שחזור ופרוטוקול שלב אחר שלב.	נכתב על ידי המחבר	זמין בזנודו (DOI: 10.5281/zenodo.19976985); RRID: לא רלוונטי
קוד	requirements.txt & ndash; תלות תוכנה ומפרטי גרסאות מדויקים.	נכתב על ידי המחבר	זמין בזנודו (DOI: 10.5281/zenodo.19976985); RRID: לא רלוונטי
חומרה	Computing Workstation – כל הדרכות מודלים, אימות, בדיקות ויצירת דמויות/טבלאות.	ASUSTeK COMPUTER INC. (ROG Strix G634JZ_G634JZ)	Windows 11 Home 10.0.26200 Build 26200; מחשב מבוסס x64; RRID: לא רלוונטי
חומרה	CPU – יחידת עיבוד מרכזית להכשרה והסקה.	אינטל	Intel64 Family 6 דגם 183 Stepping 1, ~2.20 GHz; RRID: לא רלוונטי
חומרה	RAM & ndash; זיכרון פיזי לכל המשימות החישוביות.	תחנת עבודה ASUSTeK	32,387 מגה-בייט (~32 ג'יגה-בייט); RRID: לא רלוונטי
חומרה	האצת GPU ו-ndash; מצב השימוש ביחידות עיבוד גרפי.	שאילתת מכשיר TensorFlow	tf.config.list_physical_devices('GPU') מחזיר []; CUDA/cuDNN לא בשימוש; RRID: לא רלוונטי
תגובה/מודל	זרע אקראי (הניסוי הראשי) – זרע קבוע לשכפול יסודות סטוכסטיים.	פייתון אקראי / NumPy / TensorFlow	seed = 42; RRID: לא רלוונטי
תגובה/מודל	זרעים אקראיים (בדיקת עמידות) – זרעים נוספים לאימות יציבות מרובה.	פייתון אקראי / NumPy / TensorFlow	זרעים = {1, 7, 21, 42, 2024}; RRID: לא רלוונטי