מחקר זה מציג אסטרטגיית תזמור דינמית (Dynamic Orchestration Strategy) לקבלת מזיני מתח נמוך באמצעות למידת חיזוק שיתופית של רב-סוכנים. סוכנים חכמים מתאמים את תפעול המזין, ניהול גודש, יציבות מתח ושילוב אנרגיות מתחדשות תחת תנאים של אי-ודאות. הגישה הוערכה באמצעות סימולציות המשתמשות במאגרי הנתונים FeederBW ו-236-bus.
מאמר מחקר
תיזמור דינמי של קבלת מזינים המבוסס על למידה חיזוקית רב-סוכנית (Multi-Agent RL) באמצעות מערך הנתונים FeederBW ורשת הפצה במתח נמוך בעלת 236 אפיקים (Buses)
במאמר זה
סיכום
תקציר
האינטגרציה הנרחבת של מקורות אנרגיה מתחדשת מבוזרים וההתרחבות המהירה של הזנאים במתח נמוך (LV) יצרו אתגרים תפעוליים הקשורים לקבלת הזנאים ולתיאום גודש. לגישות קיימות לבקרת מתח ולניהול הזנאים עשויה להיות יכולת התרחבות והסתגלות מוגבלת תחת ייצור אנרגיה מתחדשת לסירוגין ותנאי רשת משתנים. כדי להתמודד עם מגבלות אלה, מחקר זה מציע מסגרת תזמור דינמית לקבלת הזנאים במתח נמוך המבוססת על שיתוף פעולה של סוכנים חכמים בתוך גישה של למידה חיזוקית רב-סוכנית. בניגוד לאסטרטגיות לבקרת מתח המתמקדות בעיקר בייצוב מתח, המסגרת המוצעת תומכת בקבלה דינמית של הזנאים באמצעות תפעול מתואם של סוכנים האחראים על ניטור הזנאים, ניהול גודש ותעדוף מבוסס רגישות מתח. הסוכנים צפו באופן עצמאי במצבי ההזנאים, העריכו את הגודש ואת רגישויות המתח, ושיתפו פעולה בקבלת החלטות לגבי קבלת ההזנאים. המסגרת הוערכה באמצעות סימולציות המשתמשות במערך הנתונים FeederBW ובמערך נתונים של רשת חלוקה במתח נמוך עם 236 אבוסים (buses), תחת רמות שונות של אינטגרציית אנרגיה מתחדשת ותנאי עומס. המסגרת המוצעת השיגה שיעור קבלה של הזנאים של 97%, מדד תאימות מתח של 98%, השהיית תזמור של 98 ms שנמדדה כזמן ביצוע השעון של אלגוריתם התזמור על החומרה המדווחת, ומהירות התכנסות של 98.5%, תוך ביצועים טובים יותר משיטות התיאום המרוכזות שנבחנו. התוצאות הצביעו גם על הסתגלות משופרת, חוסן תפעולי ויעילות בקבלת החלטות מבוזרת תחת תנאי רשת החלוקה במתח נמוך שסומללו.
מבוא
מערכות חשמל מודרניות ניצבות בפני אתגרים תפעוליים משמעותיים בשל הביקוש הגובר לחשמל והשימוש הגובר ביצור מבוזר. חוסר איזון בין ההיצע לביקוש החשמל, או עליות מהירות ביצור מבוזר, עלולים להטיל עומס כלכלי על חברות השירות ועל משתמשי הקצה ולסכן את יציבות הרשת. לכן, תשתית חשמל קונבנציונלית, המנוהלת באופן מרכזי ומבוססת על דלקים מאובנים, עוברת לעיצוב מבוזר המונע מאנרגיה מתחדשת. מעבר זה שיפר את הגישה למקורות אנרגיה משתלמים יותר ובני-קיימא מבחינה סביבתית. עם זאת, אופיו המקוטע והבלתי צפוי של ייצור פוטו-וולטאי (PV) מעורר חששות לגבי אמינות הרשת1,2.
המעבר העולמי לאנרגיה מאיץ את פריסת מערכות הפוטו-וולטאיקה (PV) בשל יתרונותיה הסביבתיים, יכולת ההרחבה שלה והעלות היורדת. על פי הסוכנות הבינלאומית לאנרגיה מתחדשת, קיבולת ה-PV צפויה להוות יותר מ-22% מאספקת החשמל העולמית עד שנת 2050, ו-solar PV צפוי להפוך לתורם מרכזי לאספקת החשמל העולמית עד שנת 20303. אינטגרציה נרחבת זו מציבה אתגרים משמעותיים עבור מערכות כוח קונבנציונליות, במיוחד בנוגע ליציבות התפעולית ולאמינות. תנודות במתח הן דאגה קריטית מכיוון שייצור ה-PV הוא לסירוגין ואינו ניתן לתזמון (non-dispatchable), והשפעותיו הופכות לבולטות יותר ככל שחדירת המערכות גוברת ברשתות ההפצה וההולכה4.
וריאציות בקרינה הסולארית משפיעות ישירות על תפוקת ה-PV ויכולות להוביל לשינויי מתח מהירים. תנועת עננים, שינויים פתאומיים בקרינה ותנודות בעומס עלולים לגרום לתנודתי מתח שארכיטקטורות רשת קיימות אינן יכולות להכיל באופן מספק5. למרות שטכנולוגיות קונבנציונליות היו יעילות בתצורות רשת מרכזיות ויציבות יחסית, הן פחות מתאימות לרשתות מבוזרות יותר. שינויי מתח דו-כיווניים מהירים עלולים לחרוג מהיכולות של מערכות כוח קונבנציונליות, במיוחד תחת חדירות PV גבוהה6. תנודות בלתי מבוקרות עלולות להוביל להפרה של מגבלות המתח, להשפיע על עומסים רגישים ולפגוע בבטיחות הרשת.
לפיכך, שילובם של עומסים חכמים ומשאבים מבוזרים ברשתות חלוקה הניע פיתוח של אסטרטגיות בקרה מתקדמות יותר. מערכות בקרה חכמות, המנטרות ומתאמות באופן רציף ציוד מבוזר, יכולות לסייע בהפגת אתגרים ברשתות במתח נמוך (LV) עם ייצור מבוזר גבוה7. שילוב PV בהיקף נרחב יוצר גם קשיים תפעוליים עבור ייצור תרמי, במיוחד כאשר תפוקת ה-PV יורדת ויחידות תרמיות חייבות להגיב במהירות, לעיתים תוך חריגה ממגבלות קצב השינוי (ramp-rate)8. במקביל, תוכניות לתגובת ביקוש (DR) חייבות לאזן בין קיימות לטווח ארוך לבין היתכנות כלכלית9.
תוכניות DR (תגובה לביקוש) יכולות לתמוך בשילוב של ייצור מבוזר תוך סיוע באיזון בין ההיצע לביקוש לחשמל. תוכניות אלו מסווגות כ-DR מבוסס מחיר או DR מבוסס תמריצים (IBDR). DR מבוסס מחיר מעודד צרכנים לשנות את שימושם בחשמל בתגובה לתעריפים המשתנים לאורך זמן, בעוד ש-IBDR מספק תמריצים כספיים קבועים או משתנים להפחתת הצריכה בעת בקשה10. עם זאת, DR מבוסס מחיר חושף את הצרכנים לתנודות במחירי הסיטונאות ומציע גמישות תפעולית מוגבלת מנקודת המבט של חברת החשמל, מה שעלול להרתיע משתתפים הנמנעים מסיכונים11,12.
מספר מחקרים בחנו את ה-IBDR במערכות הפצה עשירות ב-PV. מחקר אחד העריך את האתגרים והיתרונות של שילוב IBDR עם חדירות PV גבוהה, אך התמקד בשימוש באנרגיה מצטברת ולא במערכות לניהול אנרגיה ביתית ברמת משק הבית13. מחקר אחר הציע שיטה לניהול מתח מבוססת תמריצים, שבה אותות תמחור שלטו בעקיפין על פעולת הסוללה כדי לשמור על גבולות המתח, אם כי הביקוש הביתי לא מודל באופן מפורש14. שיטה מבוססת לוגיקה עמומה (fuzzy logic) לקביעת תשלומי תמריצים שקלה את שביעות רצון הצרכנים ואת עלויות שילוב האנרגיות המתחדשות, אך לא כללה ניתוח ברמת ההזנה (feeder)15. נחקר גם תכנון ייצור לטווח ארוך המשלב DR מבוסס מחיר ו-DR מבוסס תמריצים, כולל ייצור תרמי ומתחדש, אך ללא התחשבות בנוחות המשתמש או בביקוש ברמת משק הבית16.
למידה עמוקה עם חיזוקים (Deep reinforcement learning - RL) יושמה גם בתחום ה-DR הביתי. הוצעו שיטות Deep RL לבקרת עומס מצטברת תחת תעריפי שימוש לפי שעות, אם כי יכולת ההכללה שלהן הייתה מוגבלת בשל אוכלוסיות משתמשים קטנות והיעדר תזמון ברמת המכשיר17. מסגרת של למידה עם חיזוקים רב-סוכנית המשלבת DR ובקרת מתח השתמשה ברשתות זיכרון לטווח קצר ארוך (LSTM) לחיזוי עומסים, אך לא פתרה את בעיית חוסר שביעות הרצון של הלקוחות כתוצאה מהגבלת העומס18. עבודות אחרות התמקדו בתיאום DR עבור מערכות מיזוג אוויר במבנים מסחריים באמצעות תהליך החלטה מרקוביי, ללא התחשבות בעומסים ביתיים אחרים19. מחקרים קיימים ב-Deep RL לבקרת מתח לרוב לא שילבו הן DR והן אינטגרציית PV20,21.
ממירי מתח חכמים (Smart inverters) יכולים להגיב במהירות לשינויים פתאומיים ולא סדירים בתפוקת ה-PV22. כאשר מתרחשות חריגות במתח, ממירים פוטו-וולטאיים יכולים לפעול בתוך מילישניות, בעוד שמכשירים קונבנציונליים עשויים לדרוש מספר שניות23. מספר מחקרים הציעו שינויים בנהלי הבקרה הסטנדרטיים של המכשירים, כולל גישות רב-סוכנים (multi-agent) לתיאום בין ווסתי מתח ושינוי פעולותיהם של בקרי מתח קונבנציונליים24. עם זאת, ייצור PV עצמאי ללא מערכות אגירה מקומיות עלול להחמיר את חריגות המתח ואינו מקל על שיאי הצריכה בשעות הערב, גם כאשר הוא מפחית את הייבוא הנקי של חשמל בשעות היום24,25. סוללות ביתיות עלולות להתרוקן במהלך תקופות של עודף ייצור PV ביום ולהפוך לבלתי זמינות לטעינת רכבים חשמליים בלילה, אם הפריקה שלהן אינה מתואמת עם הביקושים והייצור המקומיים26,27. השפעותיהם המשולבות של ביקוש סטוכסטי, ייצור לסירוגין והתנהגות אגירה מגוונת הופכות את ניהול הקיבולת, אורך חיי הנכסים והחסינות (resilience) לדאגות מרכזיות עבור מפעילי מערכות ההפצה28. מערכות לניהול אנרגיה ביתית (Home Energy Management Systems) מספקות אמצעי פוטנציאלי ליישום בקרה אוטומטית ברמת הלקוח. למידה בחיזוק (RL) מתאימה מאוד ליישומים כאלו, כיוון שסוכנים יכולים ללמוד אסטרטגיות בקרה באמצעות אינטראקציה עם הסביבה, תוך טיפול באי-ודאות וקבלת החלטות בשהיית זמן נמוכה.
ההתקדמויות בניתובי רכבים חשמליים ממחישות גם כיצד RL עמוק יכול לנהל אילוצי אנרגיה דינמיים. בעיית ניתוב רכבים חשמליים עם קיבולת המבוססת על צי רכבים הטרוגני משלבת דינמיקת נהיגה, מאפייני כביש, התנגדות קינטית ויעילות טעינה, תוך מזעור של הוצאות האנרגיה המקסימליות ברוחב צי רכבים מגוון29. שיטת למידה חיזוקית עמוקה מודעת לדינמיקה מנסחת בעיה זו כתהליך החלטה מרקובי מותאם אישית ומשתמשת בארכיטקטורת encoder-updater-decoder. בתכנון זה, ה-encoder מפתח ייצוגים ספציפיים לתפקידים עבור קודקודים ורכבים, ה-updater מעדכן את ה-tokens של הרכבים ככל שהמידע ההקשרי משתנה, וה-decoder מפריד בין בחירת הרכב לבין בחירת קודקוד ספציפי לרכב כדי לתמוך בקבלת החלטות אדפטיבית. באופן דומה, בעיית ניתוב רכבים חשמליים אופטימלית מבחינת אנרגיה הכוללת איסוף-מסירה וחלונות זמן משתמשת במודל צריכת אנרגיה ברזולוציה גבוהה, הכולל התנהגות טעינה, דינמיקת נהיגה תלוית זמן ומידע מפורט על הנתיב30. מסגרת למידה חיזוקית עמוקה מונחית-תשומת (attention-driven) הטרוגנית מייצגת את משימת הניתוב כתהליך החלטה מרקובי, עם encoder הלוכד אינטראקציות ספציפיות לתפקידים בין מחסנים, לקוחות ותחנות טעינה, ו-decoder העוקב אחר מעברי מצבים והיתכנות זמנית.
על אף פיתוחים אלה, מרבית המחקרים בניהול הפצה של רשתות מתח נמוך (LV) שמים דגש על ייצוב מתח ואופטימיזציה של הספק ריאקטיבי, ולא על תזמור דינמי של קבלת הזנאות (feeder-acceptance) תחת אי-ודאות של אנרגיות מתחדשות. שיטות מבוזרות לבקרת מתח המבוססות על ממירים חכמים ולמידת מכונה מתמקדות בדרך כלל בפיצוי מתח ובאופטימיזציה של הספק ריאאקטיבי, מבלי להתייחס לבקרת קבלה אדפטיבית של הזנאות או לתזמור מבוסס גודש ברשתות LV מורכבות. בדומה לכך, גישות של למידת חיזוק רב-סוכנית (multi-agent reinforcement learning) המוגבלות על ידי מתח עבור תגובה לביקוש (DR), אינן מטפלות ישירות בניהול שיתופי של קבלת הזנאות, בתזמור מבוזר המודע לגודש, או בבקרת קבלה ברמת הצומת במערכות הפצה של LV מקושרות. שיטות שיתופיות לוויסות מתח המבוססות על תיאום רב-סוכני ממזערות בדרך כלל סטיות מתח ופעולות של משני מתח באמצעות ממירים פוטו-וולטאיים (PV), אך אינן לוקחות בחשבון קבלה אדפטיבית של הזנאות, חוסר יציבות בקבלה הקשורה לאנרגיות מתחדשות, או תזמור מבוזר תחת תנאי רשת דינמיים.
שיטות נוכחיות לתיאום משאבים מבוזר ורב-סוכני סובלות גם הן ממגבלות במודעות לגודש, הסתגלות זמנית ויכולת גידול (scalability). רובן שמות דגש על ניתוח עומס יתר, אינטראקציות של משאבי אנרגיה מבוזרים או ניהול אנרגיה מונחה תעריפים, במקום קבלה אדפטיבית ברמת ההזנה ותזמור מודע למתח. ההסתמכות שלהן על ריכוזיות חלקית וסדרי עדיפויות סטטיים עלולה להגביל עוד יותר קבלת החלטות מבוזרת, תגובה מהירה להתפשטות הגודש והסתגלות לתנודתיות של אנרגיה מתחדשת. לפיכך, נדרשת מסגרת מבוזרת לחלוטין המבוססת על למידה חיזוקית (reinforcement learning), המשלבת תיאום סוכנים שיתופי עם ניתוח רגישות למתח ולגודש, לצורך ניהול אדפטיבי של קבלת הזנאות תוך שימוש במאגרי נתונים רחבי היקף כגון FeederBW ורשת חלוקת LV של 236-bus.
במחקר זה, קבלה למזין (feeder acceptance) מתייחסת לתהליך תפעולי אדפטיבי לקביעה האם מזין LV יכול להכיל משאבי אנרגיה מבוזרים נוספים או עומסים חשמליים תוך שמירה על אבטחת הרשת, עמידה בדרישות המתח, מגבלות עומס תרמי ואמינות תפעולית. הגבול התפעולי לקבלה למזין כולל הערכה של קיבולת המזין, רגישות מתח, תנאי גודש ותנודתיות של אנרגיה מתחדשת לפני שחיבורים חדשים למזין מתקבלים או מקבלים עדיפות. בניגוד לבקרת מתח קונבנציונלית, המווסתת את פרופילי המתח; לתיאום משאבי אנרגיה מבוזרים, המנהל את תפעול המשאבים; או לניהול גודש, המפחית עומסי יתר ברשת; קבלה למזין משלבת פונקציות אלו בתוך מסגרת של למידת חיזוק מרובת-סוכנים (multi-agent reinforcement learning) שיתופית, כדי לתמוך בתזמור דינמי, מבוזר ואדפטיבי בתנאים עשירים באנרגיה מתחדשת.
מטרת מחקר זה היא לפתח אסטרטגיית תזמור דינמית (Dynamic Orchestration Strategy) מבוססת סוכנים חכמים שיתופיים לקבלת מזיני מתח נמוך (Low-Voltage Feeder Acceptance) תחת תנאי תפעול משתנים ואי-ודאות של אנרגיות מתחדשות. המסגרת המוצעת מבצעת תזמור מבוזר של קבלת מזינים על ידי הערכה דינמית של מצבי המזין, רגישות מתח, רגישות לגודש וקיבולת קבלה, ובכך מאפשרת תעדוף וקבלת החלטות אדפטיביים מעבר לשיטות סטטיות של בקרת מתח. באמצעות מערך הנתונים FeederBW ומערך נתונים של רשת הפצה במתח נמוך בעלת 236 אותות (bus), המחקר מפתח גם ארכיטקטורת למידה חיזוקית רב-סוכנית (multi-agent reinforcement learning) ניתנת להרחבה עבור מערכות מתח נמוך רחבות היקף. באמצעות למידה מונחית חיזוק ואופטימיזציה שיתופית בעלת שהיה נמוך המתבצעת בכל מרווח תפעולי מדומה, המסגרת נועדה להפחית את התפשטות הגודש, לשפר את העמידה בתקני המתח, להוריד את השהיית התזמור ולהגביר את יעילות התיאום המבוזר.
המסגרת תורמת גישת תזמור (orchestration) דינמית לקבלת הזננות LV המחליפה אסטרטגיות ניהול הזננות סטטיות המבוססות על בקרת מתח; ארכיטקטורת למידת חיזוק מרובת-סוכנים (multi-agent reinforcement learning) מבוזרת להתמודדות עם אי-ודאות במקורות אנרגיה מתחדשת ותנאי עומס משתנים; ניהול קבלה מבוזר המבוסס על תנאי שיהוי נמוך ותיעדוף דינמי של ההזננות; מדדי רגישות משותפים למתח ולגודש לצורך זיהוי הזננות קריטיות ותיעדוף החלטות קבלה; תקשורת שיתופית בין סוכנים שכנים; אופטימיזציה רציפה של מדיניות המבוססת על למידת חיזוק לשיפור יציבות ההזננות, הפחתת גודש, עמידה בדרישות המתח והתכנסות; ותיקוף מבוסס סימולציה רחבת-היקף באמצעות מאגרי הנתונים FeederBW ו-236-bus LV. תוצאות השוואתיות מצביעות על שיפור בקבלת ההזננות, בהפחתת הגודש, בשיהוי התזמור, במהירות ההתכנסות ובעמידה בדרישות המתח ביחס לשיטות תיאום מרכזיות מסורתיות.
פרוטוקול
במחקר זה לא נעשה שימוש בנבדקים אנושיים, בעלי חוליות, רקמות אנושיות או רקמות מבעלי חיים. במחקר נעשה שימוש אך ורק במאגרי נתונים נגישים לציבור (מאגר הנתונים FeederBW ומאגר הנתונים של רשת הפצה במתח נמוך בעלת 236 אפיקים) ובסימולציות מבוסות מחשב. לפיכך, מחקר זה לא דרש אישור של ועדת אתיקה מוסדית (IRB), אישור אתי או הסכמה מדעת.
אסטרטגיית התזמור הדינמית לקבלת הזנה במתח נמוך המבוססת על שיתוף פעולה בין סוכנים פותחה באמצעות למידת חיזוק רב-סוכנית (MARL) לתנאי הפעלה עשירים באנרגיות מתחדשות. מאגרי הנתונים של FeederBW ושל רשת של 236 צמתים במתח נמוך עברו עיבוד מקדים, נורמליזציה וסנכרון זמני כדי לבנות מודל רשת דינמי המייצג מצבי הזנה, משאבי אנרגיה מבוזרים, אזורים הרגישים למתח ותנאי גודש. סוכנים חכמים הוקצו למקטעי הזנה ולצמתים ברשת כדי לנטר מתח מקומי, גודש, אי-ודאות ביצירה ממקורות מתחדשים וקיבולת קבלה של ההזנה, להחליף מידע עם סוכנים שכנים ולעדכן מדיניות תזמור באמצעות למידת חיזוק מבוזרת. פונקציית התגמול תוכננה כדי לשפר את קבלת ההזנה תוך הגבלת גודש, חוסר יציבות במתח ועיכובים בתיאום. הגבלות של מתח, עומס הזנה, עומס שנאי וגודש נלקחו בחשבון, בעוד שהפעלה לא מאוזנת תלת-פאזית, בקרה מתקדמת של ממירים פוטו-וולטאיים ופיצוי הספק ריאקטיבי לא מודלו במפורש. המסגרת הכוללת מוצגת ב-איור 1. כלי המחקר ששימשו במחקר זה מפורטים ב-טבלת החומרים.
איור 1ארכיטקטורת המסגרת המוצעת. סכימה של מסגרת התזמור הדינמית (Dynamic Orchestration Framework), המשלבת סוכנים חכמים, למידת חיזוק, ניתוח גודש ותיאום רכיבים מאכילים אדפטיבי. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
1. רכישת נתונים
הנתונים נאספו מתוך מערך הנתונים FeederBW31 וממערך הנתונים של רשת הפצה במתח נמוך (LV) עם 236 אפיקי צמתים (buses)32. מערכי נתונים אלו נבחרו מכיוון שהם הכילו מידע על טופולוגיית המזין, תנאי מתח, התנהגות ייצור מאנרגיה מתחדשת, דרישת עומס, גודש ופרופילי תפעול דינמיים הנדרשים לתיאום מבוזר וללמידת סוכנים מבוססת חיזוק.
מערך הנתונים FeederBW שימש בעיקר למידול פעולת רשת ההזנה, הפסקה לסירוגין של אנרגיה מתחדשת, סטיית מתח והפצת גודש ברשתות LV. הוא הכיל נתוני תפעול של רשת ההזנה, התנהגות של ייצור מבוזר, מדידות מתח בצמתים ותנודות בעומס שתמכו בניתוח תזמור אדפטיבי. מערך הנתונים LV בעל 236 אפיקים (buses) שימש להערכת יכולת הרחבה ותיאום מבוזר. הוא הכיל מידע על חיבורי אפיקים, תנאי עומס של רשת ההזנה, מאפייני מתח בצמתים, חדירות של אנרגיה מתחדשת מבוזרת ומקרי תפעול רגישים לגודש. יחד, שני מערכי הנתונים תמכו בניתוחים ברמת רשת ההזנה ובניתוחים רחבי היקף תחת תנאים של חדירות גבוהה של אנרגיה מתחדשת. מאפייני מערכי הנתונים ומטרותיהם במסגרת מסוכמים ב- טבלה 1.
| שם מערך הנתונים | סוג מערך הנתונים | מספר הצמתים/אוטובוסים | מאפייני נתונים | המטרה בעבודה המוצעת |
| ערכת הנתונים FeederBW | סט נתונים תפעולי של הזנא נמוך-מתח | צמתי הזנה מרובים | פרופילי מתח, ייצור מתחדש, דרישת עומס, מצבי גודש, התנהגות תפעולית של מזינים | תיזמור רכיבי הזנה בשהיית זמן נמוכה, ניתוח גודש, תיעדוף קבלה אדפטיבי |
| סט נתונים של רשת מתח נמוך בעלת 236 אפיקים | מאגר נתונים רחב-היקף להפצת מתח נמוך | 236 אוטובוסים | טופולוגיית אפיקים, עומס על מזינים, רגישות מתח, חדירות אנרגיות מתחדשות, דינמיקת גודש | תיקוף סקילביליות (יכולת הרחבה), הערכת תיאום מבוזר, ניתוח תזמור רחב-היקף |
טבלה 1: מאפייני מערך הנתונים. תיאור של מערכי הנתונים, המאפיינים התפעוליים ומטרותיהם במסגרת תזמור המתח הנמוך המוצעת.
2. עיבוד מקדמי של נתונים
ערכי הנתונים שנרכשו עברו עיבוד מקדים כדי לשפר את העקביות, את הסנכרון הזמני ואת היציבות של למידת החיזוק. רשומות חסרות, מדידות שגויות, רשומות כפולות ונתוני הזנה (feeder) שאינם עקביים סוננו באמצעות הליכי עיבוד מקדים סטטיסטיים. שלב זה שימש לשמירה על עקביות בין נתוני תפעול ההזנה, פרופילי ייצור אנרגיה מתחדשת, מדידות מתח ונתוני מצב גודש. כל המשתנים התפעוליים עברו נורמליזציית מינימום-מקסימום (min–max normalization), כך שמאפייני הקלט הומרו לקנה מידה משותף המתאים ללמידת הסוכן. המשתנים הנורמליים כללו את מתח ההזנה, דרישת ההספק הפעיל, ייצור אנרגיה מתחדשת, סטטוס גודש וקיבולת קבלה של ההזנה. הניסוח המתמטי של הליך העיבוד המקדים מופיע ב- קובץ משלים 1 (סעיף 1).
3. מידול רשתים דינמי במתח נמוך
לאחר רכישת הנתונים והעיבוד המוקדם, נבנה מודל רשת LV דינמי כדי לסמלץ את התנהגותו של מערכת חלוקה עם שיעור גבוה של ייצור אנרגיה מתחדשת תחת תנאי עומס וייצור משתנים. המודל עקב באופן דינמי אחר טופולוגיית המזינים, התנהגות משאבי אנרגיה מבוזרים, אזורים רגישים למתח והתפשטות גודש.
בניגוד לייצוג רשת סטטי, המודל מעדכן את התנהגות המזין בהתאם לביצועים המקוטעים של אנרגיות מתחדשות, לדרישת הצרכנים ולתנאי גודש. נתוני FeederBW ו-236-bus LV שימשו לבניית מזינים מקושרים שבהם אפיקים (buses), שנאים, מקורות מתחדשים מבוזרים ועומסים יוצגו כצמתים ברשת. כל צומת מזין סיפק מידע מעודכן על גודל המתח, דרישת הספק פעיל, ייצור מאנרגיה מתחדשת, מצב העמסת המזין ומצב הגודש. משתנים אלו שימשו את הסוכנים האינטליגנטיים לניטור התנהגות המזין ולקבלת החלטות תזמור מבוזרות. מודל הרשת תמך גם בזיהוי אזורים רגישים ובתעדוף קבלת מזינים באמצעות ניתוח רגישות רציף.
רשת ההפצה של המתח הנמוך (LV) יוצגה כרשת מבוססת גרף המכילה תחנות אספקה (bus stations), קווי הזנה, שנאים, מקורות אנרגיה מתחדשת וצמתי עומס של צרכנים. גזרות מתמטיות מפורטות של מודל הרשת מסופקות ב-קובץ משלים 1 (סעיף 2). המצב הדינמי של הרשת ומד העומס (congestion index) נוטרו באופן רציף. מדד העומס ננרמל לטווח [0,1], ותהליך של תזמור שיתופי לקבלת קווי הזנה הופעל כאשר מדד העומס עלה על 0.80.
4. אתחול סביבת רב-סוכנים
לאחר בניית מודל הרשת הדינמי של ה-LV, אותחלה סביבת הרב-סוכנים (multi-agent) כדי לתמוך בקבלה מבוזרת של מזינים. סוכנים חכמים הוקצו למקטעי מזינים, לנקודות חיבור של משאבי אנרגיה מבוזרים, למיקומי שנאים ולצמתים הנוטים לגודש בתוך רשת ה-LV.
כל סוכן פעל כישות מקבלת החלטות עצמאית שניטרה את פעילות המזין המקומי, החליפה מידע עם סוכנים שכנים וביצעה פעולות תזמור אדפטיביות. הסוכנים הוקצו לצמתים מרכזיים במזין בהתאם לרגישות המתח, מידת החדירה של אנרגיות מתחדשות, רמת הגודש וחשיבות המזין. רשת ה-LV הוגדרה כסביבה מבוססת-סוכנים שבה הסוכנים ניטרו באופן רציף את מתח המזין, דרישת ההספק הפעיל, שינויים בייצור מאנרגיות מתחדשות, מצב הגודש וקיבולת הקבלה של המזין. הניסוח המתמטי של סביבת הרב-סוכנים מופיע ב-Supplementary File 1(Section 3).
5. למידת סוכן מונחית חיזוקים
לאחר אתחול סביבת הרב-סוכנים (multi-agent environment), הוטמע למידה מונחית חיזוקים (reinforcement-driven learning) כדי לאפשר לסוכנים ללמוד מדיניות תזמור של מזינים (feeder-orchestration policies) באמצעות אינטראקציה עם תנאי תפעול משתנים של מתח נמוך (LV). במהלך כל אינטראקציה, סוכן צפה במצב המזין הנוכחי, בחר פעולת תזמור וקיבל תגמול או קנס. תהליך הלמידה המבוזר אפשר לסוכנים להסתגל לאי-ודאות ביצור אנרגיה מתחדשת, לתנאי גודש משתנים, לתנודות במתח ולשינויים בקיבולת הקבלה של המזין. כל סוכן בחר פעולת תזמור בהתאם למדיניות הנלמדת שלו. הגזרות המתמטיות הרלוונטיות מובאות ב- קובץ משלים 1 (סעיף 4).
סך הכל נפרסו 64 סוכנים חכמים. בהתבס על טופולוגיית ההזנה, רמת החדירה של אנרגיה מתחדשת, רגישות מתח וחומרת הגודש, כל סוכן הוקצה למקטע הזנה, אתר שנאי, נקודת חיבור של משאב אנרגיה מבוזר או צומת רשת הרגיש לגודש. תוך שמירה על מורכבות חישובית סבירה, הפריסה המבוזרת אפשרה ניטור שיתופי וקבלה אדפטיבית של הזנות לאורך רשת ההפצה במתח נמוך בעלת 236 אפיקים (buses). כל סוכן צפה בווקטור מצב חומש המורכב מעוצמת מתח, דרישת עומס של ההזנה, ייצור אנרגיה מתחדשת, סטטוס גודש וקיבולת קבלה של ההזנה. מרחב הפעולה כלל חמש פעולות תזמור: תיעדוף קבלת הזנות, הפגת גודש, תיאום אנרגיה מתחדשת, איזון עומסים ובקרת מתח. קבלת החלטות שיתופית נתמכה באמצעות טופולוגיית תקשורת שכונתית מבוזרת, שבה כל סוכן החליף מדדי רגישות ומידע תפעולי מקומי אך ורק עם סוכני הזנה שכנים.
שיטת MARL מבוססת Q-learning הוטמעה באמצעות רשת עצבית עם חיבורים מלאים (fully connected), הכוללת שתי שכבות נסתרות עם 128 ו-64 נוירונים. בשכבות הנסתרות יושמה פונקציית אקטיבציה מסוג ReLU (Rectified Linear Unit). פרמטרי הרשת עברו אופטימיזציה באמצעות אופטימייזר Adam עם קצב למידה של 0.01 ומקדם היוון של 0.9. נעשה שימוש בגודל מיני-באץ' (mini-batch) של 64, ולחוצץ של שחזור ניסיון (experience-replay buffer) היה קיבולת של 100,0 מעברים. האימון נחשב כבעל התכנסות כאשר הממוצע הנע של התגמול המצטבר על פני ה- 20 פרקים שונה בפחות מ- 0.1% עבור 10 חלונות הערכה רצופיםאם קריטריון זה לא הושג, האימון נמשך עד למקסימום של 50 פרקים הושג. תזרים העבודה של הלמידה מחיזוקים מוצג ב- איור 2.
איור 2תרשים זרימה של למידת סוכן מונחית חיזוקים. תרשים זרימה הממחיש את תהליך למידת הסוכן מבוס חיזוקים לצורך תזמור מבוזר של מזינים ואופטימיזציה של קבלת החלטות. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
תהליך הלמידה החל באתחול של סביבת הפצת ה-LV, מצבי הסוכנים ופרמטרי הלמידה. סוכנים חכמים הוצבו באזורי הזנה, במיקומי משאבי אנרגיה מבוזרים ובאוטובוסים (buses) הנוטים לגודש. לאחר מכן הוגדרו מרחב התצפית, קצב הלמידה, אסטרטגיית החקירה, גורמי התגמול ופונקציות המדיניות. בכל שלב של אינטראקציה, כל סוכן צפה במצבו הנוכחי של אזור ההזנה שהוקצה לו. המצב כלל את גודל מתח הצומת, דרישת עומס ההזנה, מאפייני ייצור אנרגיה מתחדשת, רמת הגודש וקיבולת קבלה של ההזנה. תצפיות אלו היוו את מצב הסביבה ששימש לקבלת החלטות תזמור (orchestration). כל סוכן בחר פעולה בהתאם למדיניות הלמידה מחיזוקים שלו. הפעולות הזמינות כללו תיעדוף קבלה של ההזנה, ניהול גודש, תיאום אנרגיה מתחדשת, איזון עומסים וניהול מתח. הפעולה שנבחרה הוחלה על סביבת ה-LV הדינמית, ולאחריה עודכן מצב ההזנה.
חישוב תגמול בוצע לאחר כל פעולה. תגמול חיובי הוקצה כאשר הפעולה הנבחרת שיפרה את קבלת המזין, מנעה התפשטות של גודש, שמרה על עמידה במתח או שיפרה את יציבות הרשת. קנס הוטל כאשר הפעולה הובילה ל-, או שלא הצליחה למנוע, עומס יתר במזין, חריגות במתח או עיכובים בתזמור. התגמול המחושב שימש לעדכון פונקציית הערך ומדיניות ההחלטה של הסוכן באמצעות אופטימיזציית למידה חיזוקית. רצף התצפית, בחירת הפעולה, המעבר בסביבה, חישוב התגמול ועדכון המדיניות חזר על עצמו עד להשגת קריטריון העצירה.
6. הערכת רגישות למתח ולגודש
בעקבות למידה מונחית חיזוקים, הוערכו רגישויות למתח ולעומס כדי לזהות אזורי הזנה פגיעים וכדי לתמוך בהחלטות דינמיות לקבלת הזנות תחת אי-ודאות של אנרגיה מתחדשת.
בכל מרווח תפעולי, נקבעו השפעותיהם של שינויים בהספק המזין, בייצור אנרגיה מתחדשת ובדרישת העומס על מתח הצומת ועל גודש הרשת. מדדי רגישות למתח ולגודש חושבו מחדש. בכל מרווח פעולה מדמה במקום שייגזרו אך ורק מתנאי רשת סטטיים. מדדי הרגישות עבור כל צומת הזנה עודכנו בהתבס על תנאי הרשת הנוכחיים, השונות ביצירה ממקורות מתחדשים ומצב העומס של ההזנה. הערכים שהתקבלו שימשו לדירוג צומתי ההזנה לצורך קבלת הזנות, ניהול גודש ופעולות בקרת מתח.
מדד הרגישות למתח כימת את השינוי במתח הצומת כתוצאה משינוי בזרימת ההספק הפעיל. לאחר חישוב מדדי הרגישות למתח ולגודש, הם שולבו לציון רגישות מורכב לצורך תיעדוף אדפטיבי של קבלת רשויות להזנה. שיטת הניקוד המורכב מתוארת ב- קובץ משלים 1 (סעיף 5). לצמתים מאזינים עם ציוני רגישות גבוהים יותר הוקצו סדרי עדיפות גבוהים יותר בתהליכי התזמור במהלך פעולות של הפגת גודש, תיקון קבלה של מאזינים וויסות מתח. ציוני הרגישות חושבו מחדש בכל מרווח הפעלה ושותפו עם סוכנים שכנים באמצעות סביבת התקשורת השיתופית.
7. תזמור קבלה שיתופי ואופטימיזציה של החלטות אדפטיבית בכל מרווח הפעלה מדמה
לאחר הערכת רגישות, בוצע תזמור קבלה שיתופי כדי לאפשר לסוכנים מבוזרים לקבל החלטות מקו coordinated לגבי קבלת מזינים תחת אי-ודאות של אנרגיות מתחדשות ותנאי גודש דינמיים. הסוכנים החליפו מצבי מזינים מקומיים, מדדי רגישות, התראות גודש וסדרי עדיפויות תפעוליים. כל סוכן העריך באופן עצמאי את מצב המזין המקומי שלו תוך תיאום עם סוכנים שכנים כדי לתמוך ביציבות הכוללת של הרשת.
תיעדוף קבלת המזינים בוצע על בסיס רגישות למתח, חומרת הגודש, תנודתיות ייצור אנרגיה מתחדשת וקיבולת זמינה של המזין. תצפיות מקומיות מודעות-רגישות נצברו בין הסוכנים, ונוצרו פעולות מתואמות לקבלת המזינים. הניסוח המתמטי של תהליך התיזמור השיתופי מופיע ב-Supplementary File 1 (Section 6). סביבת רשת ה-LV הדינמית הוטמעה עם סוכנים שיתופיים שמוצבו באזורי מזינים, נקודות שילוב של אנרגיה מתחדשת ואוטובוסים הנוטים לגודש, כפי שמתואר ב-Supplementary File 1 (Algorithm 1). בכל מרווח תפעולי, כל סוכן צפה בפרמטרים מקומיים של המזין, כולל גודל המתח, השתנות בייצור אנרגיה מתחדשת, עומס המזין, רמת הגודש וקיבולת קבלת המזין.
לאחר מכן חושבו מדדי הרגישות למתח ומדדי הרגישות לגודש כדי לזהות אזורי הזנה הרגישים לחוסר יציבות במתח או להתפשטות גודש. מדדים אלו שולבו לציון רגישות הזנה כולל שקבע את קבלת ההזנה ואת עדיפות התיאום (orchestration). מידע על המצב המקומי, רמות גודש, אינדיקטורים לחוסר יציבות במתח ועדיפויות קבלה הוחלפו בין סוכנים שכנים. על בסיס התצפיות המקומיות והמידע השיתופי, כל סוכן בחר וביצע פעולת תיאום אדפטיבית. לאחר כל פעולה, התקבל משוב חיזוק מסביבת רשת ה-LV הדינמית בהתאם ליציבות ההזנה, להפחתת הגודש, לעמידה בדרישות המתח וליעילות קבלת ההזנה. משוב זה שימש לעדכון המדיניות של כל סוכן באמצעות אופטימיזציה מבוססת חיזוקים. פונקציית מטרה גלובלית לתיאום סיפקה בו-זמנית משוב מתואם לאופטימיזציה אדפטיבית על פני אוכלוסיית הסוכנים. עדכוני המדיניות נמשכו עד אשר מדינויות הסוכנים התכנסו לעבר אסטרטגיית תיאום מבוזרת אופטימלית.
8. תיקוף בקנה מידה רחב
אסטרטגיית התזמור הדינמית תוקפה באמצעות מערך הנתונים FeederBW ומערך הנתונים של רשת הפצה במתח נמוך (LV) בעלת 236 אפיקים, תחת תרחישי תפעול עם חדירה גבוהה של אנרגיה מתחדשת. התיקוף העריך את יכולתו של מסגרת התזמור המבוזרת לנהל קבלה דינמית של אפיקים, הפסקות של אנרגיה מתחדשת, התפשטות גודש ואי-יציבות של מתח במערכות הפצה של LV המקושרות ביניהן. תרחישי התפעול שהוערכו כללו חדירה גבוהה של אנרגיה מתחדשת, דרישת עומס משתנה, התפשטות גודש דינמית, תנאים רגישים למתח וקיבולת קבלה משתנה של אפיקים.
ביצועי המסגרת הוערכו באמצעות שיעור קבלת המזינים, מדד תאימות מתח, שיעור הפחתת עומסים, השהיית תזמור, מהירות התכנסות, יעילות תיאום מבוזר ויכולת קליטה של אנרגיות מתחדשות. מדדים אלו שימשו להערכת סקילביליות, חוסן, סתגלנות וביצועי תיאום. המסגרת המוצעת הושוותה לגישות מסורתיות של תזמור מזינים מרכזי תחת אותן תצורות רשת. מערכי נתונים שוויים, תרחישי הפעלה, תנאי הערכה ומדדי ביצוע הוחלו על שיטות ההשוואה.
טבלה 2 מסכמת את מערכי הנתונים, תנאי ההפעלה, סביבות התזמור ומדדי הביצועים ששימשו לאימות הניסויי. מערך הנתונים FeederBW שימש להערכת דינמיקת ההפעלה של המזין, הפסקות מקטעים של אנרגיה מתחדשת, התפתחות גודש, שינויים בעומס הביתי ותנודות במתח תחת תנאי מזין LV. מערך הנתונים של 236-bus LV שימש להערכת תזמור מבוזר ברשת מקושרת גדולה יותר. הארכיטקטורה אומתה תחת תנאים משתנים של ייצור אנרגיה מתחדשת, דרישת עומס, מתח וגודש. תיאום מבוזר ואופטימיזציית מדיניות מבוססת למידה עם חיזוק הוערכו במשותף על פני הסוכנים החכמים.
שיעור קבלת הפידרים, מדד תאימות המתח, שיעור הפחתת הגודש, מהירות התכנסות ושהיית תזמור שימשו לכימות הביצועים תחת תנאי הפעלה דינמיים במערכות אנרגיה מתחדשת.
| פרמטר ניסויי | מאגר הנתונים FeederBW | סט נתונים של רשת מתח נמוך בעלת 236 אפיקים | מטרת התיקוף |
| סוג הרשת | רשת הזנה במתח נמוך | רשת הפצת מתח נמוך (LV) רחבת היקף | הערכת תזמור דינמי |
| מספר הצמתים/אוטובוסים | צמתי הזנה מרובים | 236 אוטובוסים | ניתוח סקלאביליות |
| שילוב אנרגיות מתחדשות | פוטו-וולטאיקה ומקורות אנרגיה מתחדשת מבוזרים | אוטובוסים עם חדירה גבוהה של אנרגיה מתחדשת | תיקוף אי-וודאות של אנרגיה מתחדשת |
| התנהגות דרישת עומס | פרופילי עומס מגורים דינמיים | שינויי עומס רחבי היקף במזינים | תזמור עומסים אדפטיבי |
| תרחישי גודש | מצבי עומס יתר וגודש במזינים | הפצת גודש ברב-אוטובוסים | ניתוח להפגת גודש |
| תנאי מתח | פרופילי תנודות מתח | תנאי אפיק רגישים למתח | הערכת תאימות מתח |
| סוכנים חכמים | סוכני הזנה מבוזרים | סוכנים שיתופיים בקנה מידה גדול | ניתוח קואורדינציה מבוזר |
| סביבת למידה | תזמור מונחה למידה עם חיזוקים | למידה אדפטיבית רב-סוכנית | תיקוף אופטימיזציה של מדיניות |
| תנאי הסימולציה | שונות דינמית של אנרגיות מתחדשות | תפעול דינמי בקנה מידה גדול | בדיקת תזמור בשהיית רשת נמוכה |
| מדדי ביצועים | שיעור קבלה, הפחתת גודש | מתח תאימות, מהירות התכנסות | ביצועי תזמור כוללים |
טבלה 2: תיקוף ניסיוני רחב-היקף. הגדרות ניסיוניות ששימשו להערכת סקביליות, אי-ודאות באנרגיה מתחדשת ותיאום מבוזר.
תוצאות
כל הניסויים בוצעו חמש פעמים תוך שימוש בזרעים אקראיים שונים כדי להפחית את השפעת הלמידה הסטוכסטית. ערכי הממוצע חושבו על פני חמש ההרצות. אותם מערכי נתונים, פרמטרי סימולציה, היפר-פרמטרים, קריטריונים לעצירה והליכי הערכה שימשו עבור כל השיטות. Centralized Voltage Control (CVC)3, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulation (RLVR)20, Distributed Energy Resource Coordination (DERC)26, ו-Sensitivity-Based Congestion Management (SBCM)34 שימשו כשיטות להשוואה.
באמצעות ניתוח שונות חד-כיווני (ANOVA), בוצעו השוואות סטטיסטיות בין המסגרת המוצעת לבין שיטות הבסיס (CVC, CMAC, RLVR, DERC ו-SBCM) באופן עצמאי עבור כל מדד הערכה. מבחן פוסט-הוק מסוג Tukey's honestly significant difference (HSD) שימש להשוואות זוגיות כאשר ה-ANOVA העלה הבדלים מובהקים סטטיסטית. סף המובהקות הסטטיסטית נקבע על p < 0.01. כל הניתוחים הסטטיסטיים בוצעו באמצעות ניתוח שVariance חד-כיווני, ולאחריו מבחן פוסט-הוק להבדלים מובהקים במידת הצורך. ה-ANOVA החד-כיווני בוצע באמצעות מודול statsmodels.stats.anova. לצורך בדיקת המובהקות הסטטיסטית, נעשה שימוש בערכי הביצועים הסופיים שהתכנסו מחמש הרצות סימולציה נפרדות עבור כל גישה. מטרת פרקי האימון הביניים הייתה להמחיש ויזואלית את תהליך הלמידה; הם לא נבחנו מבחינת מובהקות סטטיסטית.
איסוף נתונים
מאגרי הנתונים FeederBW ו-236-bus של רשתות הפצה במתח נמוך (LV) תמכו בהערכת המסגרה המוצעת תחת תנאי הפעלה משלימים. מאגר הנתונים FeederBW סיפק מידע של סדרות עיתיות על ההזנה, כולל מתח, ייצור אנרגיה מתחדשת מבוזרת, דרישת עומס, תנאי גודש והתנהגות קבלה של ההזנה. הוא שימש להערכת תפעול דינמי של ההזנה, מקטעיות של אנרגיה מתחדשת, שינויים בעומס למגורים, התפשטות גודש ותנודות במתח.
מערך הנתונים של רשת חלוקת מתח נמוך (LV) בעלת 236 אפיקי הספקה הכיל 236 אפיקים מקושרים וכלל טופולוגיות של מזינים, אזורים רגישים למתח, תנאי חדירה של אנרגיות מתחדשות, מצבי זרימת הספק ותרחישי התפשטות של עומס יתר. מערך נתונים זה שימש להערכת תיאום מבוזר, ניצוח אדפטיבי ויכולת הרחבה ברשת חלוקה מקושרת גדולה יותר. טבלה 3 ו-טבלה 4 מסכמות את תנאי התיקוף הניסויים ואת סביבת הסימולציה.
| פרמטר תיקוף | תיאור |
| מאגרי נתונים שנעשה בהם שימוש | סט הנתונים FeederBW וסט הנתונים של רשת מתח נמוך בעלת 236 אבוסים (bus) |
| סביבת רשת | מערכת חלוקה דינמית במתח נמוך עשירה במקורות אנרגיה מתחדשת |
| מקורות מתחדשים | מחוללי פוטו-וולטאיים (PV) ומחוללי אנרגיה מתחדשת מבוזרים |
| מסגרת למידה | למידת חיזוק רב-סוכנית (MARL) |
| אסטרטגיית תיאום | תזמור מבוזר שיתופי |
| תרחישי תפעול | פסוקיות של אנרגיה מתחדשת, תנודות בעומס, התפשטות גודש |
| מספר סוכנים חכמים | 64 סוכנים שיתופיים מבוזרים ברמת המזין |
| מטרת התיקוף | אופטימיזציה של קבלה במזין אדפטיבי |
| תהליך ההערכה | תזמור בזמן אמת ותיאום מודע לרגישות |
| ניתוח השוואתי | בהשוואה לשיטות תיאום מרכזיות קונבנציונליות |
טבלה 3: פרמטרי תיקוף סביבתיים. פרמטרי תיקוף ששימשו להערכת תזמור אדפטיבי תחת תנאי הפעלה דינמיים של מתח נמוך.
| מרכיב סימולציה | תצורה |
| סביבת מעבד | מערכת עיבוד רב-ליבתי בעלת ביצועים גבוהים |
| מסגרת תכנות | Python 3.1.9 |
| מסגרת למידה | למידת חיזוק רב-סוכנית (MARL) |
| אלגוריתם למידה | למידת חיזוק רב-סוכנית מבוססת Q-learning |
| ארכיטקטורת רשת נוירונים | רשת עצבית עם חיבור מלא (Fully connected) בעלת שתי שכבות חבויות (128 ו-64 נוירונים, פונקציית אקטיבציה ReLU) |
| אופטימייזר | אופטימייזר Adam |
| קצב למידה (α) | 0.001 |
| מקדם היוון (γ) | 0.99 |
| מנגנון השחזור | חוצץ לשחזור ניסיון (קיבולת: 10,0 מעברים) |
| גודל מיני-באצ' (Mini-batch Size) | 64 |
| מדיניות חקירה | סקר של $\epsilon$-greedy (ערך ה-$\epsilon$ דעך מ-1.0 ל-0.01) |
| פרקי אימון | 500 |
| קריטריון עצירה | הגעה למספר המקסימלי של פרקי אימון או התכנסות של התגמול המצטבר |
| מידול רשתות | סימולציה דינמית של רשת הזנות במתח נמוך (LV) |
| סימולציית אנרגיה מתחדשת | פרופילי ייצור של אנרגיה מתחדשת משתנה |
| תיאום סוכנים | תקשורת שיתופית מבוזרת |
| עיבוד נתונים | עיבוד מצבי הזנה מסונכרנים בזמן אמת |
| שיטת אופטימיזציה | למידת מדיניות אדפטיבית מבוססת חיזוקים |
| פלטפורמה ניסויית | סימולציה רחבת היקף באמצעות מערך הנתונים FeederBW ומערך הנתונים של רשת הפצה במתח נמוך בעלת 236 אפיקים (buses) |
| ניטור ביצועים | שיעור קבלת מזינים (FAR), מדד תאימות מתח (VCI), שיעור הפחתת גודש (CRR), שיהוי תזמור (OL), מהירות התכנסות (CS), ויעילות תיאום מבוזר (DCE) |
| משקל התגמול (β) | 0.3 |
| משקל התגמול (δ) | 0.25 |
| משקל המטרה (ω₁) | 0.30 (קבלה של תאי מאכיל) |
| משקל המטרה (ω₂) | 0.25 (הפחתת גודש) |
| משקל היעד (ω₃) | 0.25 (תאימות מתח) |
| משקל המטרה (ω₄) | 0.20 (שיהוי תזמור) |
| קצב למידה של המדיניות (η) | 0.001 |
| פרמטר רגולריזציה / איזון (λ) | 0.1 |
טבלה 4: סביבת סימולציה. הגדרות סימולציה ששימשו לניסויי תזמור-מזינים (feeder-orchestration) מבוססי למידה עם חיזוק.
עיבוד מקדים של נתונים
הנתונים המסונכרנים והמנורמלים תמכו בהשוואה עקבית בין המסגרת המוצעת לבין שיטות הבסיס. אותם מצבי הזנה שעברו עיבוד מקדים, פרופילי ייצור אנרגיה מתחדשת, תנאי דרישת עומס, תנאי מתח ותרחישי גודש שימשו בכל ההערכות. מבנה קלט משותף זה הפחית הבדלים שנגרמו מהכנת מערכי הנתונים ואפשר לקשור את הבדלי הביצועים שנצפו לשיטות התזמור שנבדקו.
מידול דינמי של רשתות במתח נמוך
מודל רשת ה-LV הדינמי ייצג שינויים בייצור אנרגיה מתחדשת, דרישת צרכנים, תנאי מתח, עומס על מזינים והפצת גודש. תחת תנאים אלו, המסגרת המוצעת שמרה על קבלת המזינים תוך תגובה למצבי הפעלה הרגישים למתח ולגודש. המודל תמך בהערכה תחת ייצור אנרגיה מתחדשת תנודתי, עומסי צרכנים משתנים ותנאי רשת הנוטים לגודש. לאורך תנאים אלו, הסוכנים השיתופיים ביצעו תיעדוף מזינים, תיאום תלוי מתח, הפחתת גודש והתאמה של אנרגיה מתחדשת ללא בקרה מרכזית.
אתחול סביבת ריבוי סוכנים
סידור הסוכנים המבוזר תמך בתצפית מקומית ובקבלת החלטות מתואמת בין אזורי הזנה וצמתי רשת. הסוכנים החליפו מידע על מצב ההזנה ומדדי רגישות עם סוכנים שכנים, תוך בחירה עצמאית של פעולות תזמור. התנהגות התיאום שנצפתה הראתה כי הסידור המבוזר תמך בתיעדוף הזנות, תיאום עומסים, ניהול מתח ותגובה לגודש. התצורה המבוזרת הפחיתה גם את התלות בבקר מרכזי יחיד ותמכה בתפעול מתואם לאורך רשת ה-236-bus הגדולה יותר.
למידת סוכן מונחית חיזוקים
המדיניות המונעת על ידי חיזוקים השתפרה לאורך תקופת האימון עבור קבלה של מזינים, עמידה במתח, הפחתת גודש, השהיית תזמור ומהירות התכנסות. איור 3 משווה את שיעור קבלת המזינים (FAR) של המסגרת המוצעת עם CVC, CMAC, RLVR, DERC ו-SBCM. CVC הניב את ה-FAR הנמוך ביותר, שעלה מ-62% ל-70%. CMAC ו-DERC הגיעו לערכי FAR מקסימליים של 75% ו-78%, בהתאמה. RLVR ו-SBCM הגיעו ל-83% ו-81%, בהתאמה. המסגרת המוצעת העלתה את ה-FAR מ-72% במהלך שלב האימון המוקדם ל-97% במהלך השלב המאוחר. תוצאה זו הראתה שתהליך למידת החיזוק השיתופי תמך בקבלה אדפטיבית של מזינים תחת אי-ודאות של אנרגיה מתחדשת ותנאי הפעלה משתנים של LV.
איור 3: שיעור קבלת תאי המזינים (FAR). השוואה של ה-FAR בין המסגרת המוצעת לבין שיטות הבסיס לתיאום הזנאים (feeder-coordination). הערכים מוצגים כממוצע ± SD על ידי השוואה בין המסגרת המוצעת לכל אחת משיטות הבסיס לאורך חמישה הרצות סימולציה בלתי תלויות. המובהקות הסטטיסטית הוערכה ב- p < 0.01, עם רווחי סמך של 95%. קיצורים: FAR, שיעור קבלת מזינים (Feeder Acceptance Rate); CVC, בקרת מתח מרכזית (Centralized Voltage Control); CMAC, בקרת ריבוי-סוכנים קונבנציונלית (Conventional Multi-Agent Control); RLVR, ויסות מתח מבוס למידת חיזוק (Reinforcement Learning-Based Voltage Regulation); DERC, תיאום משאבי אנרגיה מבוזרים (Distributed Energy Resource Coordination); SBCM, ניהול גודש מבוס רגישות (Sensitivity-Based Congestion Management). אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.
איור 4 מציג את מדד עמידות המתח (VCI). ה-CVC עלה מ-70% ל-7%, בעוד ש-CMAC ו-DERC הגיעו לכ-81% ו-84%, בהתאמה. RLVR ו-SBCM הגיעו ל-8% ו-86%, בהתאמה. המסגרת המוצעת עלתה מ-78% במהלך האימון המוקדם לכ-98% בנקודת ההתכנסות. VCI גבוה יותר הצביע על כך שהגישה המוצעת שמרה על עמידות המתח בצורה יעילה יותר מאשר שיטות ההשוואה תחת ייצור אנרגיה מתחדשת לסירוגין ודרישת עומס משתנה.
איור 4: מדד תאימות מתח (VCI). ניתוח השוואתי של VCI תחת תנאי הפעלה דינמיים במתח נמוך. הערכים מוצגים כממוצע ± SD באמצעות השוואה בין המסגרת המוצעת לכל אחת משיטות הבסיס לאורך חמישה ריצי סימולציה עצמאיים, כאשר רווחי סמך של 95% ומובהקות סטטיסטית הוערכו ב- p < 0.001. קיצורים: VCI, מדד תאימות מתח; CVC, בקרת מתח מרכזית; CMAC, בקרת ריבוי-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.
מפת החום של ה-VCI באיור 5 הראתה את התקדמות תאימות המתח (voltage compliance) לאורך פרקי האימון. המסגרת המוצעת השיגה ערכים שבין 95% ל-98% באיטרציות מאוחרות יותר. ה-CVC נשאר בין 70% ל-77%, בעוד ש-RLVR ו-SBCM הגיעו לכ-8% ו-86%, בהתאמה. מפת החום, לפיכך, הראתה כי המסגרת המוצעת שמרה על ביצועי תאימות המתח הגבוהים ביותר בשלבים המאוחרים של הלמידה.
איור 5: מפת חום של מדד תאימות מתח (VCI). מפת חום המציגה את ביצועי ה-VCI לאורך איטרציות אימון ושיטות תיאום של מזינים. סולם הצבעים מייצג את גודלו של מדד הציות למתח (Voltage Compliance Index), כאשר צבעים בהירים יותר מעידים על ערכי VCI נמוכים יותר וצבעים כהים יותר מעידים על ערכי VCI גבוהים יותר. קיצורים: VCI, מדד תאימות מתח; CVC, בקרת מתח מרכזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
טבלה 5 מציגה את שיעור הפחתת הגודש (CRR). ה-CVC עלה מ-48% ל-63%. ה-CMAC וה-DERC הגיעו לכ-73% ו-75%, בהתאמה, בעוד שה-RLVR הגיע ל-80% וה-SBCM הגיע ל-82%. המסגרת המוצעת עלתה מ-64% בתחילת האימון לכ-96% לאחר ההתכנסות. ביחס לערכים הסופיים של שיטות ההשוואה, המסגרת המוצעת שיפרה את ה-CRR בכ-3% לעומת CVC, ב-23% לעומת CMAC, ב-16% לעומת RLVR, ב-21% לעומת DERC וב-14% לעומת SBCM. תצפיות אלו הראו כי מדיניות התיזמור השיתופית הפחיתה את התפשטות הגודש ביעילות רבה יותר מאשר שיטות ההשוואה המרוכזות, הרב-סוכניות הקונבנציונליות, ויסות המתח, המשאבים המבוזרים והשיטות המבוסות על רגישות. איור 6 משווה את השהיית התיזמור (OL). השהיית התיזמור המדווחת תואמת לזמן ביצוע שעון קיר שנמדד ונדרש על ידי אלגוריתם התיזמור המוצע במהלך סימולציה על פלטפורמת החומרה המדווחת. אין לפרש זאת כזמן הפעולה הפיזי של רשת הפצה פרוסה. המסגרת המוצעת הפחיתה את ה-OL מ-20 ms ל-98 ms. בעת התכנסות, CVC, CMAC, RLVR, DERC ו-SBCM הניבו השהיות של 283 ms, 253 ms, 215 ms, 242 ms ו-205 ms, בהתאמה. לפיכך, המסגרת המוצעת הפחיתה את ההשהיה בכ-65%, 61%, 54%, 59% ו-52% ביחס ל-CVC, CMAC, RLVR, DERC ו-SBCM, בהתאמה. השהיה נמוכה יותר הצביעה על כך ששיתוף פעולה מבוזר אפשר קבלת החלטות מהירה יותר בתיזמור ההזנה.
| חזרת אימון | CVC (%)(ממוצע ± סטיית תקן) | CMAC (%)(ממוצע ± סטיית תקן) | RLVR (%)(ממוצע ± SD) | DERC (%)(ממוצע ± SD) | SBCM (%)(ממוצע ± סטיית תקן) | השיטה המוצעת (%)(ממוצע ± סטיית תקן) |
| 1 | 48.0 ± 0.5 | 52.0 ± 0.5 | 56.0 ± 0.4 | 54.0 ± 0.5 | 58.0 ± 0.4 | 64.0 ± 0.3 |
| 2 | 50.0 ± 0.5 | 54.0 ± 0.5 | 59.0 ± 0.4 | 56.0 ± 0.5 | 61.0 ± 0.4 | 68.0 ± 0.3 |
| 3 | 52.0 ± 0.5 | 57.0 ± 0.4 | 62.0 ± 0.4 | 59.0 ± 0.5 | 64.0 ± 0.4 | 72.0 ± 0.3 |
| 4 | 54.0 ± 0.4 | 60.0 ± 0.4 | 65.0 ± 0.4 | 62.0 ± 0.4 | 67.0 ± 0.4 | 76.0 ± 0.2 |
| 5 | 56.0 ± 0.4 | 62.0 ± 0.4 | 68.0 ± 0.3 | 64.0 ± 0.4 | 70.0 ± 0.3 | 80.0 ± 0.2 |
| 6 | 58.0 ± 0.4 | 65.0 ± 0.4 | 71.0 ± 0.3 | 67.0 ± 0.4 | 73.0 ± 0.3 | 84.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 67.0 ± 0.4 | 74.0 ± 0.3 | 69.0 ± 0.3 | 76.0 ± 0.3 | 87.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 76.0 ± 0.3 | 71.0 ± 0.3 | 78.0 ± 0.3 | 90.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 71.0 ± 0.3 | 78.0 ± 0.3 | 73.0 ± 0.3 | 80.0 ± 0.3 | 93.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 73.0 ± 0.3 | 80.0 ± 0.3 | 75.0 ± 0.3 | 82.0 ± 0.3 | 96.0 ± 0.2 |
טבלה 5: שיעור הפחתת גודש (CRR): ממוצע ± סטיית תקן (SD) של שיעור הפחתת הגודש (CRR) מחמש הרצות סימולציה עצמאיות המשוות בין המסגרת המוצעת לבין שיטות בסיס של ניצוח הזנאים (feeder-orchestration). קיצורים: CRR, שיעור הפחתת גודש; CVC, בקרת מתח מרכזית; CMAC, בקרת ריבוי-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידה חיזוקית; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות.
איור 6: שיהוי תזמור (Orchestration Latency - OL). ניתוח השוואתי של שיהוי התזמור (orchestration latency) במהלך תיאום מבוזר אדפטיבי של מזינים. הערכים מוצגים כממוצע ± סטיית תקן (SD) על ידי השוואת המסגרה המוצעת עם כל אחת משיטות הבסיס (baseline) על פני חמישה ריצות סימולציה בלתי תלויות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית נבחנו ב- p < 0.001. קיצורים: OL, השהיית תזמור (Orchestration Latency); CVC, בקרת מתח מרכזית (Centralized Voltage Control); CMAC, בקרת ריבוי סוכנים קונבנציונלית (Conventional Multi-Agent Control); RLVR, ויסות מתח מבוס למידת חיזוק (Reinforcement Learning-Based Voltage Regulation); DERC, תיאום משאבי אנרגיה מבוזרים (Distributed Energy Resource Coordination); SBCM, ניהול גודש מבוס רגישות (Sensitivity-Based Congestion Management). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 7 מציג את מהירות ההתכנסות (CS). ה-CVC עלה מ-42% ל-67% לאחר 20 פרקי אימון. CMAC ו-DERC הגיעו לכ-74% ו-79%, בהתאמה. RLVR הגיע ל-87%, ו-SBCM הגיע לכ-90%. המסגרת המוצעת עלתה מ-58% בפרק הראשון ל-98.5% עם ההתכנסות, ועקפה את ה-93% כבר בפרק העשירי. המסגרת המוצעת שיפרה את ביצועי ההתכנסות הסופיים ב-31.5% לעומת CVC, ב-24.5% לעומת CMAC, ב-1.5% לעומת RLVR, ב-19.5% לעומת DERC וב-8.5% לעומת SBCM. תוצאות אלו הראו כי המדיניות המוצעת הגיעה לביצועי תזמור יציבים במהירות רבה יותר מאשר שיטות ההשוואה.
איור 7: מהירות התכנסות (CS). עקומות התכנסות המראות את יעילות הלמידה האדפטיבית ואת מהירות התכנסות התזמור (orchestration) על פני השיטות שנבחנו. קיצורים: CS, מהירות התכנסות; CVC, בקרה מרכזית על מתח; CMAC, בקרה קונבנציונלית של סוכנים מרובים; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
תיאום קבלה שיתופי ואופטימיזציה של קבלת החלטות אדפטיבית בשהיה נמוכה
איור 8 מציג את יעילות התיאום המבוזר (DCE). CVC הניב את ה-DCE הנמוך ביותר, בשיעור של 68%. CMAC הגיע ל-75%, DERC הגיע ל-79%, RLVR הגיע ל-84%, ו-SBCM הגיע ל-8%. המסגרת המוצעת השיגה DCE של 97%. המסגרת המוצעת עלתה על CVC ב-29 נקודות אחוז, על CMAC ב-2 נקודות אחוז, על RLVR ב-13 נקודות אחוז, על DERC ב-18 נקודות אחוז ועל SBCM ב-9 נקודות אחוז. תוצאה זו הראתה כי חלפ מידע מקומי, תיאום בין סוכנים שכנים ואופטימיזציית מדיניות מבוזרת תמכו בתיאום יעיל יותר מאשר שיטות ההשוואה.
איור 8: יעילות תיאום מבוזר (DCE). ניתוח השוואתי של DCE במהלך שיתוף פעולה בין סוכנים חכמים. הערכים מוצגים כממוצע ± סטיית תקן (SD) באמצעות השוואה בין המסגרת המוצעת לבין כל אחת משיטות הבסיס לאורך חמש הרצות סימולציה עצמאיות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית הוערכו ב- p < 0.001. קיצורים: DCE, יעילות תיאום מבוזרת; CVC, בקרת מתח מרכזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של דמות זו.
איור 9 ו-טבלה 6 מציגים את יכולת ההתאמה לאנרגיות מתחדשות (Renewable Accommodation Capability - RAC). ה-CVC עלה מ-52% ל-63%. ה-CMAC וה-DERC הגיעו לכ-72% ו-76%, בהתאמה. ה-RLVR הגיע לכ-83%, וה-SBCM הגיע ל-86%. המסגרת המוצעת עלתה מ-70% בתחילת הלמידה ל-97% בנקודת ההתכנסות. המסגרת המוצעת עלתה על ה-CVC ב-34 נקודות אחוז, על ה-CMAC ב-25 נקודות אחוז, על ה-RLVR ב-14 נקודות אחוז, על ה-DERC ב-21 נקודות אחוז, ועל ה-SBCM ב-1 נקודות אחוז. תוצאות אלו הראו כי גישת התזמור המוצעת התאימה פרופורציה גדולה יותר של ייצור מתחדש תוך שמירה על תפעול המזין, ביצועי המתח ומודעות לגודש.
איור 9: יכולת התאמה למשאבים מתחדשים (RAC). ניתוח השוואתי של RAC במערכות הזנה עשירות באנרגיה מתחדשת. הערכים מוצגים כממוצע ± סטיית תקן (SD) על ידי השוואת המסגרת המוצעת עם כל אחת משיטות הבסיס לאורך חמש הרצות סימולציה עצמאיות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית הוערכו ב- p < 0.001. קיצורים: RAC, יכולת התאמה מתחדשת; CVC, בקרה מרכזית על מתח; CMAC, בקרת ריבוי-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחץ כאן כדי לצפות בגרסה מורחבת של איור זה.
| חזרה של אימון | CVC (%) (ממוצע ± סטיית תקן) | CMAC (%) (ממוצע ± סטיית תקן) | RLVR (%) (ממוצע ± סטיית תקן) | DERC (%) (ממוצע ± סטיית תקן) | SBCM (%) (ממוצע ± סטיית תקן) | השיטה המוצעת (%) (ממוצע ± סטיית תקן) |
| 1 | 52.0 ± 0.5 | 58.0 ± 0.5 | 64.0 ± 0.4 | 60.0 ± 0.5 | 66.0 ± 0.4 | 70.0 ± 0.3 |
| 2 | 54.0 ± 0.5 | 60.0 ± 0.5 | 67.0 ± 0.4 | 62.0 ± 0.5 | 69.0 ± 0.4 | 74.0 ± 0.3 |
| 3 | 55.0 ± 0.4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 64.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 4 | 57.0 ± 0.4 | 64.0 ± 0.4 | 73.0 ± 0.3 | 66.0 ± 0.4 | 75.0 ± 0.3 | 82.0 ± 0.2 |
| 5 | 58.0 ± 0.4 | 66.0 ± 0.4 | 75.0 ± 0.3 | 68.0 ± 0.4 | 77.0 ± 0.3 | 86.0 ± 0.2 |
| 6 | 59.0 ± 0.4 | 67.0 ± 0.4 | 77.0 ± 0.3 | 70.0 ± 0.3 | 79.0 ± 0.3 | 89.0 ± 0.2 |
| 7 | 60.0 ± 0.4 | 68.0 ± 0.3 | 79.0 ± 0.3 | 72.0 ± 0.3 | 81.0 ± 0.3 | 91.0 ± 0.2 |
| 8 | 61.0 ± 0.4 | 69.0 ± 0.3 | 80.0 ± 0.3 | 73.0 ± 0.3 | 83.0 ± 0.3 | 93.0 ± 0.2 |
| 9 | 62.0 ± 0.4 | 70.0 ± 0.3 | 81.0 ± 0.3 | 74.0 ± 0.3 | 84.0 ± 0.3 | 95.0 ± 0.2 |
| 10 | 63.0 ± 0.4 | 72.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 86.0 ± 0.3 | 97.0 ± 0.2 |
טבלה 6: יכולת קליטה של אנרגיה מתחדשת (RAC): ממוצע ± SD של יכולת קליטה של אנרגיה מתחדשת (RAC) מחמש הרצות סימולציה בלתי תלויות המשוות בין המסגרת המוצעת לבין שיטות בסיס לתיאום הזננים. קיצורים: RAC, Renewable Accommodation Capability; CVC, Centralized Voltage Control; CMAC, Conventional Multi-Agent Control; RLVR, Reinforcement Learning-Based Voltage Regulation; DERC, Distributed Energy Resource Coordination; SBCM, Sensitivity-Based Congestion Management.
הערכת רגישות למתח ולעומס
איור 10 מציג את יציבות הרגישות למתח (VSS). ה-CVC עלה מ-60% ל-69%. ה-CMAC וה-DERC הגיעו לכ-76% ו-78%, בהתאמה, בעוד שה-RLVR הגיע ל-84%. המסגרת המוצעת עלתה מ-74% במהלך האימון המוקדם ל-98% לאחר התכנסות. המסגרת המוצעת עלתה על CVC ב-29 נקודות אחוז, על CMAC ב-2 נקודות אחוז, על RLVR ב-14 נקודות אחוז, על DERC ב-20 נקודות אחוז ועל SBCM ב-12 נקודות אחוז. תוצאות אלו הראו כי המסגרת המודעת לרגישות שמרה על ביצועי הזנה רגישים למתח חזקים יותר תחת לסיות של אנרגיה מתחדשת, דרישת עומס משתנה וגודש דינמי.
איור 10: יציבות רגישות למתח (VSS). ניתוח השוואתי של יציבות הרגישות למתח במהלך תזמור מגישים אדפטיבי מודע-מתח. הערכים מוצגים כממוצע ± סטיית תקן (SD) באמצעות השוואה בין המסגרת המוצעת לבין כל אחת משיטות הבסיס לאורך חמש הרצות סימולציה עצמאיות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית נבחנו ב- p < 0.001. קיצורים: VSS, יציבות רגישות מתח; CVC, בקרת מתח ריכוזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידה חיזוקית; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.
איור 1 מציג את מדד הרגישות לגודש (CSI). ה-CVC עלה מ-52% ל-63%. ה-CMAC וה-DERC הגיעו ל-72% ו-76%, בהתאמה. ה-RLVR הגיע לכ-83%, וה-SBCM הגיע לכ-86%. המסגרת המוצעת עלתה מ-72% במהלך האימון המוקדם לכ-98% בסוף האימון. המסגרת המוצעת עלתה על ה-CVC בכ-35 נקודות אחוז, על ה-CMAC ב-26 נקודות אחוז, על ה-RLVR ב-15 נקודות אחוז, על ה-DERC ב-2 נקודות אחוז, ועל ה-SBCM ב-12 נקודות אחוז. מפת החום הראתה כי הגישה המוצעת שמרה על ביצועי הרגישות לגודש הגבוהים ביותר במהלך פרקי האימון המאוחרים יותר.
איור 11: מפת חום של מדד רגישות לגודש (CSI). מפת חום המציגה ביצועי רגישות לגודש לאורך שלבי האימון ושיטות תיאום של מזינים. סולם הצבעים מייצג את גודלו של מדד הרגישות לגודש (Congestion Sensitivity Index), כאשר צבעים בהירים יותר מעידים על ערכי CSI נמוכים יותר וצבעים כהים יותר מעידים על ערכי CSI גבוהים יותר. קיצורים: CSI, מדד רגישות לעומס; CVC, בקרת מתח מרכזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול עומסים מבוסס רגישות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
תיקוף רחב-היקף
איור 12 ו-טבלה 7 מציגים את מדד יציבות המזין (FSI). CVC הניב FSI ממוצע של 64.7%, בעוד ש-CMAC ו-DERC הניבו ממוצעים של 72.5% ו-76.0%, בהתאמה. RLVR הניב FSI ממוצע של 81.5%. המסגרת המוצעת השיגה יציבות מתח של 97%, בקרת גודש של 96%, קיבולת שילוב אנרגיות מתחדשות של 95%, יעילות איזון עומסים של 94%, יעילות תיאום של 98% ומהירות תגובה של 97%. ערכי רכיבים אלה הניבו FSI ממוצע של כ-96.2%. המסגרת המוצעת שיפרה את ה-FSI הממוצע בכ-31.5 נקודות אחוז לעומת CVC, ב-23.7 נקודות אחוז לעומת CMAC, ב-14.7 נקודות אחוז לעומת RLVR, ב-20.2 נקודות אחוז לעומת DERC וב-1.7 נקודות אחוז לעומת SBCM. ערכי הרכיבים המאוזנים הראו כי המסגרת שמרה על ביצועים ביציבות מתח, ניהול גודש, שילוב אנרגיות מתחדשות, איזון עומסים, יעילות תיאום ומהירות תגובה. עבור כל הרצה של הסימולציה, השתמשו בממוצע האריתמטי של ששת רכיבי הביצועים — יציבות מתח, בקרת גודש, שילוב אנרגיות מתחדשות, איזון עומסים, יעילות תיאום ומהירות תגובה — כדי לקבוע את ה-FSI הכולל. חמש הרצות נפרדות של הסימולציה שימשו לחישוב הממוצע וסטיית התקן שצוינו.
איור 12: מדד יציבות תאי מאכיל (FSI). השוואה באמצעות תרשים רדאר של מדד יציבות המזין (Feeder Stability Index) עבור המסגרת המוצעת ועבור שיטות הבסיס בשש רכיבי ביצועים: יציבות מתח, בקרת גודש, שילוב אנרגיות מתחדשות, איזון עומסים, יעילות תיאום ומהירות תגובה. ערכים גבוהים יותר מעידים על ביצועים טובים יותר עבור כל רכיב. קיצורים: FSI, מדד יציבות תאי מאכיל (Feeder Stability Index); CVC, בקרה מרכזית של מתח (Centralized Voltage Control); CMAC, בקרה קונבנציונלית של סוכנים מרובים (Conventional Multi-Agent Control); RLVR, ויסות מתח מבוס למידת חיזוק (Reinforcement Learning-Based Voltage Regulation); DERC, תיאום משאבי אנרגיה מבוזרים (Distributed Energy Resource Coordination); SBCM, ניהול גודש מבוס רגישות (Sensitivity-Based Congestion Management). אנא לחצו כאן כדי להציג גרסה מורחבת של איור זה.
| פרמטר הערכה | CVC (%) (ממוצע ± סטיית תקן) | CMAC (%) (ממוצע ± סטיית תקן) | RLVR (%) (ממוצע ± SD) | DERC (%) (ממוצע ± SD) | SBCM (%) (ממוצע ± SD) | השיטה המוצעת (%) (ממוצע ± סטיית תקן) |
| יציבות מתח | 68.0 ± 0.6 | 74.0 ± 0.5 | 82.0 ± 0.4 | 77.0 ± 0.5 | 86.0 ± 0.3 | 97.0 ± 0.2 |
| בקרת גודש | 64.0 ± 0.6 | 71.0 ± 0.5 | 79.0 ± 0.4 | 74.0 ± 0.5 | 84.0 ± 0.3 | 96.0 ± 0.2 |
| שילוב אנרגיות מתחדשות | 62.0 ± 0.5 | 70.0 ± 0.5 | 81.0 ± 0.4 | 76.0 ± 0.4 | 83.0 ± 0.3 | 95.0 ± 0.2 |
| איזון עומסים | 66.0 ± 0.5 | 73.0 ± 0.4 | 80.0 ± 0.4 | 75.0 ± 0.4 | 82.0 ± 0.3 | 94.0 ± 0.2 |
| יעילות תיאום | 65.0 ± 0.5 | 75.0 ± 0.4 | 83.0 ± 0.3 | 78.0 ± 0.4 | 87.0 ± 0.3 | 98.0 ± 0.2 |
| מהירות תגובה | 63.0 ± 0.5 | 72.0 ± 0.4 | 84.0 ± 0.3 | 76.0 ± 0.4 | 85.0 ± 0.3 | 97.0 ± 0.2 |
| ציון FSI ממוצע | 64.7 ± 0.5 | 72.5 ± 0.5 | 81.5 ± 0.4 | 76.0 ± 0.4 | 84.5 ± 0.3 | 96.2 ± 0.2 |
טבלה 7: מדד יציבות מזינים (FSI): ממוצע ± סטיית תקן (SD) של מדד יציבות המזינים (FSI) מחמש הרצות סימולציה עצמאיות המבוסות על יציבות מתח, בקרת גודש, שילוב אנרגיה מתחדשת, איזון עומסים, יעילות תיאום ומהירות תגובה. קיצורים: FSI, מדד יציבות מזינים; CVC, בקרת מתח מרכזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוסס רגישות.
איור 13 מציג את יעילות איזון העומסים (LBE). CVC השיג LBE כולל של כ-68%, המורכב מ-42% הפצה מאוזנת של עומסים, 18% יציבות עומסים מתונה ו-8% איזון אדפטיבי דינמי. CMAC ו-DERC השיגו ערכים כוללים של כ-80% ו-86%, בהתאמה. RLVR הגיע לכ-92%, ו-SBCM הגיע לכ-96%. המסגרת המוצעת השיגה LBE כולל של כ-98%, המורכב מ-72% הפצה מאוזנת של עומסים, 20% יציבות עומסים מתונה ו-6% איזון אדפטיבי דינמי. תוצאה זו הראתה כי הגישה המוצעת שמרה על ביצועי איזון העומסים הכוללים הגבוהים ביותר מבין השיטות שנבחנו.
איור 13: יעילות איזון עומסים (LBE). השוואה באמצעות תרשים עמודות מוערמות של יעילות איזון העומסים עבור המסגרת המוצעת ועבור שיטות הבסיס. כל עמודה מוערמת מורכבת משלושה מרכיבי ביצועים: חלוקת עומס מאוזנת, יציבות תחת עומס בינוני, ו- איזון אדפטיבי דינמי, שערכיהם המשולבים מייצגים את ה-LBE הכולל עבור כל שיטה. ערכים כוללים גבוהים יותר מעידים על ביצועי איזון עומסים טובים יותר. קיצורים: LBE, יעילות איזון עומסים; CVC, בקרת מתח מרכזית; CMAC, בקרת ריבוי סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחץ כאן כדי לצפות בגרסה מורחבת של איור זה.
איור 14 מציג את יעילות הניצול של אנרגיה מתחדשת (RUE). ה-CVC עלה מ-50% ל-61%. ה-CMAC וה-DERC הגיעו ל-70% ול-75%, בהתאמה. ה-RLVR הגיע ל-82%, וה-SBCM הגיע ל-86%. המסגרת המוצעת עלתה מ-72% במהלך האימון המוקדם לכ-98% בנקודת ההתכנסות. המסגרת המוצעת עלתה על ה-CVC בכ-37 נקודות אחוז, על ה-CMAC ב-28 נקודות אחוז, על ה-RLVR ב-16 נקודות אחוז, על ה-DERC ב-23 נקודות אחוז, ועל ה-SBCM ב-12 נקודות אחוז. ה-RUE הגבוה יותר הראה כי מדיניות התזמור המוצעת השתמשה בחלק גדול יותר מהייצור המתחדש הזמין תחת תנאי עומס וגודש משתנים.
איור 14: נצילות ניצול אנרגיה מתחדשת (RUE). ניתוח השוואתי של RUE במהלך תזמור של מזיני מתח נמוך. הערכים מוצגים כממוצע ± סטיית תקן (SD) על ידי השוואת המסגרת המוצעת עם כל אחת משיטות הייחוס (baseline) לאורך חמש הרצות סימולציה עצמאיות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית הוערכו ב- p < 0.001קיצורים: RUE, יעילות ניצול מתחדשת; CVC, בקרה מרכזית של מתח; CMAC, בקרה קונבנציונלית של סוכנים מרובים; RLVR, ויסות מתח מבוס למידה עם חיזוקים; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 15 ו טבלה 8 מציגים את דיוק ההחלטה האדפטיבי (ADA). המסגרת המוצעת עלתה מ-78% ל-9%. CVC, CMAC, RLVR, DERC ו-SBCM התכנסו ל-68%, 76%, 86%, 79% ו-8%, בהתאמה. המסגרת המוצעת עלתה על CVC בכ-31 נקודות אחוז, על CMAC ב-23 נקודות אחוז, על RLVR ב-13 נקודות אחוז, על DERC ב-20 נקודות אחוז ועל SBCM ב-1 נקודות אחוז. ה-ADA הגבוה יותר העיד על כך שהסוכנים השיתופיים בחרו החלטות תזמור מדויקות יותר תחת תנאי הפעלה של LV עשירים באנרגיה מתחדשת.
איור 15: דיוק קבלת החלטות אדפטיבי (ADA). ניתוח השוואתי של ADA עבור מסגרת התזמור המוצעת ועבור שיטות הבסיס. הערכים מוצגים כממוצע ± SD באמצעות השוואה בין המסגרת המוצעת לכל אחת משיטות הבסיס לאורך חמש הרצות סימולציה בלתי תלויות, כאשר רווחי סמך של 95% ומובהקות סטטיסטית הוערכו ב- p < 0.001. קיצורים: ADA, דיוק החלטה סתגלן; CVC, בקרת מתח מרכזית; CMAC, בקרת ריבוי סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות. אנא לחצו כאן כדי לצפות בגרסה מורחבת של איור זה.
| עידן אימון | CVC (%) (ממוצע ± SD) | CMAC (%) (ממוצע ± SD) | RLVR (%) (ממוצע ± SD) | DERC (%) (ממוצע ± SD) | SBCM (%) (ממוצע ± SD) | השיטה המוצעת (%) (ממוצע ± SD) |
| 1 | 58.0 ± 0.5 | 64.0 ± 0.5 | 70.0 ± 0.4 | 6.0 ± 0.5 | 72.0 ± 0.4 | 78.0 ± 0.3 |
| 2 | 60.0 ± 0.5 | 66.0 ± 0.5 | 73.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 82.0 ± 0.3 |
| 3 | 61.0 ± 0.4 | 68.0 ± 0.4 | 76.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.4 | 86.0 ± 0.2 |
| 4 | 62.0 ± 0.4 | 70.0 ± 0.4 | 78.0 ± 0.3 | 72.0 ± 0.4 | 80.0 ± 0.3 | 89.0 ± 0.2 |
| 5 | 63.0 ± 0.4 | 71.0 ± 0.4 | 80.0 ± 0.3 | 74.0 ± 0.4 | 82.0 ± 0.3 | 91.0 ± 0.2 |
| 6 | 64.0 ± 0.4 | 72.0 ± 0.4 | 82.0 ± 0.3 | 75.0 ± 0.3 | 84.0 ± 0.3 | 93.0 ± 0.2 |
| 7 | 65.0 ± 0.4 | 73.0 ± 0.3 | 83.0 ± 0.3 | 76.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 6.0 ± 0.4 | 74.0 ± 0.3 | 84.0 ± 0.3 | 77.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 67.0 ± 0.4 | 75.0 ± 0.3 | 85.0 ± 0.3 | 78.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 68.0 ± 0.4 | 76.0 ± 0.3 | 86.0 ± 0.3 | 79.0 ± 0.3 | 8.0 ± 0.3 | 9.0 ± 0.2 |
טבלה 8: דיוק החלטה אדפטיבי (ADA): ממוצע ± SD של דיוק החלטה אדפטיבי (ADA) מחמישה הרצות סימולציה עצמאיות המשוות בין מסגרת תזמור המזינים האינטליגנטית המוצעת לבין שיטות הבסיס. קיצורים: ADA, דיוק החלטה אדפטיבי; CVC, בקרת מתח מרכזית; CMAC, בקרת ריבוי סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות.
טבלה 9 מציגה את שיפור אמינות המערכת (SRI). ה-CVC עלה מ-60% ל-69%. ה-CMAC הגיע לכ-78%, ה-DERC לכ-81%, ה-RLVR לכ-86%, וה-SBCM לכ-8%. המסגרת המוצעת עלתה מ-80% במהלך הלמידה המוקדמת לכ-9% בנקודת ההתכנסות. המסגרת המוצעת עלתה על ה-CVC בכ-30 נקודות אחוז, על ה-CMAC ב-21 נקודות אחוז, על ה-RLVR ב-13 נקודות אחוז, על ה-DERC ב-18 נקודות אחוז, ועל ה-SBCM ב-1 נקודות אחוז. ה-SRI הגבוה יותר הראה כי המסגרת המוצעת שמרה על רציפות המזינים, יציבות מתח, בקרת גודש ושילוב אנרגיה מתחדשת אדפטיבי בצורה יעילה יותר משיטות ההשוואה.
| איטרציית אימון | CVC (%) (ממוצע ± SD) | CMAC (%) (ממוצע ± SD) | RLVR (%) (ממוצע ± SD) | DERC (%) (ממוצע ± SD) | SBCM (%) (ממוצע ± SD) | השיטה המוצעת (%) (ממוצע ± SD) |
| 1 | 60.0 ± 0.5 | 6.0 ± 0.5 | 72.0 ± 0.4 | 68.0 ± 0.5 | 75.0 ± 0.4 | 80.0 ± 0.3 |
| 2 | 61.0 ± 0.5 | 68.0 ± 0.5 | 74.0 ± 0.4 | 70.0 ± 0.5 | 7.0 ± 0.4 | 84.0 ± 0.3 |
| 3 | 62.0 ± 0.4 | 70.0 ± 0.4 | 76.0 ± 0.4 | 72.0 ± 0.4 | 79.0 ± 0.4 | 87.0 ± 0.2 |
| 4 | 63.0 ± 0.4 | 72.0 ± 0.4 | 78.0 ± 0.3 | 74.0 ± 0.4 | 81.0 ± 0.3 | 90.0 ± 0.2 |
| 5 | 64.0 ± 0.4 | 73.0 ± 0.4 | 80.0 ± 0.3 | 76.0 ± 0.4 | 83.0 ± 0.3 | 92.0 ± 0.2 |
| 6 | 65.0 ± 0.4 | 74.0 ± 0.4 | 82.0 ± 0.3 | 77.0 ± 0.3 | 84.0 ± 0.3 | 94.0 ± 0.2 |
| 7 | 6.0 ± 0.4 | 75.0 ± 0.3 | 83.0 ± 0.3 | 78.0 ± 0.3 | 85.0 ± 0.3 | 95.0 ± 0.2 |
| 8 | 67.0 ± 0.4 | 76.0 ± 0.3 | 84.0 ± 0.3 | 79.0 ± 0.3 | 86.0 ± 0.3 | 96.0 ± 0.2 |
| 9 | 68.0 ± 0.4 | 7.0 ± 0.3 | 85.0 ± 0.3 | 80.0 ± 0.3 | 87.0 ± 0.3 | 97.0 ± 0.2 |
| 10 | 69.0 ± 0.4 | 78.0 ± 0.3 | 86.0 ± 0.3 | 81.0 ± 0.3 | 8.0 ± 0.3 | 9.0 ± 0.2 |
טבלה 9: שיפור אמינות המערכת (SRI): ממוצע ± SD של שיפור אמינות המערכת (SRI) מחמש הרצות סימולציה עצמאיות תחת תנאי הפצה במתח נמוך עתירי אנרגיות מתחדשות. קיצורים: SRI, שיפור אמינות המערכת; CVC, בקרת מתח מרכזית; CMAC, בקרת רב-סוכנים קונבנציונלית; RLVR, ויסות מתח מבוס למידת חיזוק; DERC, תיאום משאבי אנרגיה מבוזרים; SBCM, ניהול גודש מבוס רגישות.
המסגרת המוצעת הוערכה תחת תנאים משתנים של ייצור אנרגיה מתחדשת, דרישת עומס, מתח וגודש, תוך שימוש במאגרי הנתונים FeederBW ו-236-bus LV. נבחנו קבלה של הפיד, עמידה בתקני מתח, הפחתת גודש, השהיית תזמור (orchestration latency), מהירות התכנסות, תיאום מבוזר, קליטה של אנרגיה מתחדשת, רגישות מתח, רגישות לגודש, יציבות הפיד, איזון עומסים, ניצול אנרגיה מתחדשת, דיוק בקבלת החלטות ואמינות המערכת.
במדדים אלו, המסגרת המוצעת הניבה את הערכים הסופיים הגבוהים ביותר עבור FAR, VCI, CRR, CS, DCE, RAC, VSS, CSI, FSI, LBE, RUE, ADA ו-SRI, ואת ה-OL הנמוך ביותר. מכיוון ששיטות הבסיס נבחנו על אותם מאגרי נתונים, תרחישי תפעול, סביבת סימולציה, קריטריוני עצירה ומדדי הערכה, השוואות אלו תמכו בהשערה שלמידה חיזוקית שיתופית של סוכנים מרובים (collaborative multi-agent reinforcement learning), בשילוב עם הערכת רגישות למתח ועומס, שיפרה את קבלת הפיד האדפטיבית ביחס לשיטות ההשוואה המרכזיות והמבוזרות שנבחנו.
התוצאות הראו כי אסטרטגיית התזמור הדינמית (Dynamic Orchestration Strategy) שיפרה את קבלת הפיד (feeder acceptance), את העמידה במתח, את הפחתת הגודש, את ההטמעה של אנרגיות מתחדשות, את איזון העומסים, את התיאום המבוזר, את דיוק קבלת ההחלטות ואת אמינות המערכת, תוך הפחתת השהיית התזמור. המסגרת גם התכנסה במהירות רבה יותר מאשר שיטות ההשוואה. תחת תנאי הסימולציה שנבחנו, ממצאים אלו תמכו בהיפותזה המוצעת לפיה למידה חיזוקית מבוזרת, שיתופית ומודעת-רגישות, יכולה לשפר את תזמור פידי המתח הנמוך תחת אי-ודאות של ייצור אנרגיה מתחדשת ותנאי עומס וגודש משתנים.
זמינות נתונים:
מאגר הנתונים FeederBW זמין לציבור בכתובת https://doi.org/10.5281/zenodo.178317, ומאגר הנתונים של רשת הפצת מתח נמוך בעלת 236-Bus זמין לציבור בכתובת https://doi.org/10.5281/zenodo.8274780. מימוש ה-Python שפותח למחקר זה, יחד עם מסגרת הסימולציה, מודולי עיבוד מקדים, סביבת למידת חיזוק מרובת סוכנים, סקריפטים לאימון והערכת מודלים, קבצי הגדרה ופורמטי נתוני קלט הנדרשים לשחזור המתודולוגיה המוצעת, הופקדו ב-Zenodo והם זמינים לציבור בכתובת https://doi.org/10.5281/zenodo.21423239. המאגר תומך בשחזור של המתודולוגיה והניסויים המדווחים במחקר זה.
קובץ נלווה 1. פיתוחים מתמטיים, אלגוריתם ופרטי יישום של אסטרטגיית התזמור הדינמית המוצעת. קובץ נלווה זה מספק את הניסוחים המתמטיים התומכים בכל שלב של המסגרת המוצעת, כולל עיבוד מקדימה של נתונים, מידול דינמי של רשת במתח נמוך, אתחול סביבת רב-סוכנים, למידת סוכנים מונחית חיזוק, הערכת רגישות למתח ולגודש, תזמור שיתופי של קבלת מזינים ומדדי הערכת ביצועים. הוא כולל גם את אלגוריתם 1, המתאר את הליך התזמור השיתופי של קבלת מזינים, יחד עם ההגדרות המתמטיות של מדדי ההערכה ששימשו במחקר זה.אנא לחץ כאן להורדת קובץ זה.
דיון
הממצאים הניסיוניים הראו כי אסטרטגיית התזמור הדינמית (Dynamic Orchestration Strategy) המוצעת שיפרה את התיאום המבוזר של המזינים, את שילוב האנרגיה המתחדשת, את יציבות המתח, את ניהול הגודש ואת התזמור בעל השהיה נמוכה בהשוואה לבקרת מתח מרכזית (CVC)33, בקרת רב-סוכנים קונבנציונלית (CMAC)21, ויסות מתח מבוסס למידת חיזוק (RLVR)20, תיאום משאבי אנרגיה מבוזרים (DERC)26 וניהול גודש מבוסס רגישות (SBCM)34. בבחינת שיעור קבלת המזינים (FAR), מדד תאימות המתח (VCI), שיעור הפחתת הגודש (CRR), יעילות התיאום המבוזר (DCE), יעילות ניצול אנרגיה מתחדשת (RUE), דיוק קבלת החלטות אדפטיבית (ADA) ושיפור אמינות המערכת (SRI), השיגה המסגרת המוצעת ביצועים גבוהים יותר תחת התנאים שנבדקו. תוצאות שהתקבלו באמצעות מערכי הנתונים FeederBW ו-236-bus במתח נמוך (LV) הצביעו על כך ששילוב של למידת חיזוק שיתופית של רב-סוכנים עם הערכת רגישות למתח ולגודש שיפר את היעילות והמהירות של תזמור מזינים אדפטיבי.
הניתוח ההשוואתי הראה גם כי לשיטות תיאום ריכוזיות ומבוססות-כללים היו תגובות תזמור איטיות יותר, יכולת נמוכה יותר לקליטת אנרגיה מתחדשת, יעילות תיאום אדפטיבית מופחתת, ויכולת הרחבה מוגבלת יותר תחת תנאי הזנה משתנים33,34. למרות ש-RLVR ו-SBCM הציגו ביצועים טובים יותר משיטות השוואה אחרות בשל רכיבי למידת החיזוק וניהול הגודש המודעים לרגישות שלהם, הם לא סיפקו מנגנון תזמור שיתופי ומבוזר לקבלת הזנות. לעומת זאת, המסגרת המוצעת שילבה סוכנים אינטליגנטיים שיתופיים, תיעדוף הזנות מודע לרגישות, אופטימיזציה אדפטיבית של התזמור ולמידת מדיניות מבוזרת. התכנסותה המהירה יותר ומדדי היציבות הגבוהים יותר שלה הצביעו על כך שמבנה משולב זה תמך בהפעלת הזנות תחת תנאים משתנים של ייצור מתחדש, עומס, מתח וגודש.
ארכיטקטורת הלמידה עם חיזוק רב-סוכניםแบบ מבוזרת פיזרה את קבלת ההחלטות בין סוכנים ברמת המזין, במקום להסתמך על בקר מרכזי יחיד. ככל שרשת ההפצה גדלה, הסוכנים הבודדים ביצעו חישובים מקומיים והחליפו ביניהם רק את מידע התיאום שנדרש על ידי סוכנים שכנים. סידור זה הפחית צווארי בקבוקים חישוביים מרכזיים ועומסי תקשורת, ובכך תמך ביכולת ההתרחבות (scalability)35. לפיכך, המסגרת עשויה להיות ישימה לרשתות גדולות יותר עם חדירה גבוהה יותר של אנרגיות מתחדשות, מקטעי מזינים נוספים ומורכבות תפעולית רבה יותר. עם זאת, פריסה בקנה מידה גדול מאוד תדרוש אופטימיזציה נוספת של משאבי מחשוב מבוזרים ושל פרוטוקולי תקשורת.
המחקר תרם גם גישה מבוססת למידה מבוזרת לניהול הזנשה במתח נמוך. בניגוד לשיטות קונבנציונליות לבקרת מתח ולניהול גודש המבוססות בעיקר על כללי הפעלה סטטיים או אופטימיזציה מרכזית33, האסטרטגיה המוצעת שילבה הערכת רגישות למתח, תזמור מודע לגודש, אופטימיזציה של מדיניות מונעת למידה עם חיזוקים, דירוג דינמי של קבלת הזנשות ותקשורת בין סוכנים שיתופיים. אינטגרציה זו הרחיבה את השימוש בלמידה עם חיזוקים רב-סוכנית מבקרת מתח ותיאום משאבים לתזמור אדפטיבי של קבלת הזנשות ברשתות הפצה של LV עשירות באנרגיות מתחדשות.
השיטה המוצעת עשויה לתמוך בניהול קבלת עומסים במזינים (feeder-acceptance management) עבור חברות תשתיות, מפעילי רשתות חכמות ומערכות לניהול אנרגיה מתחדשת. עם זאת, מספר אתגרים חייבים להיפתר לפני יישום מעשי. עיכובים בתקשורת עשויים להשפיע על מהירות חילוף המידע והתיאום בין סוכנים מבוזרים, במיוחד ברשתות רחבות היקף. כמו כן, יידרשו תקשורת מאובטחת ואמצעי אבטחת סייבר כדי להגן על האינטראקציות בין הסוכנים ועל נתונים תפעוליים מפני גישה לא מורשית והתקפות סייבר. אינטגרציה עם מערכות ניהול הפצה (Distribution Management Systems) קיימות תדרוש יכולת פעולה הדדית עם פרוטוקולי תקשורת של חברות התשתיות, ארכיטקטורות בקרה ופיקוח (supervisory-control) ונהלים תפעוליים. לפיכך, יישום מעשי יהיה תלוי במבני תקשורת בעלי שיהוי נמוך, העברת נתונים מאובטחת, ממשקים סטנדרטיים ותיקוף בשטח36,37.
המחקר הוגבל בשל הסתמכותו על מאגרי הנתונים FeederBW ו-236-bus LV ובשל תיקוף מבוסס סימולציה תחת תנאי הפעלה ותקשורת שהוגדרו מראש. הגדרות אלו עשויות שלא לייצג באופן מלא את הטופולוגיה, ההפרעות, כשלי התקשורת או האירועים הקיברנו-פיזיים הנתקלים ברשתות שירות אמיתיות. מורכבות חישובית עשויה להפוך למשמעותית יותר תחת תנאי הפעלה בקנה מידה גדול מאוד או בתנאים של שימוש נרחב באנרגיה מתחדשת. לפיכך, עבודות עתידיות צריכות להעריך את המסגרת באמצעות מאגרי נתונים נוספים בקנה מידה של רשתות שירות, רשתות חלוקה אמיתיות, פלטפורמות hardware-in-the-loop והתקנות פיילוט בקנה מידה שדה. הן יתמקדו בתיקוף המסגרת המוצעת באמצעות פלטפורמות hardware-in-the-loop, רשתות שירות אמיתיות ומערכות חלוקה גדולות יותר. בנוסף, מחקרים עתידיים יבחנו ארכיטקטורות מתקדמות של למידה מחוזקת ואסטרטגיות שיפור של תיאום מבוזר כדי להגביר עוד יותר את יכולת ההרחבה ואת החסינות התפעולית. באופן כללי, תוצאות הסימולציה הראו כי למידה מחוזקת שיתופית מרובת סוכנים, בשילוב עם הערכת רגישות למתח ועומס, יכולה לשפר את קבלת הפיד, את העמידה בתקני המתח, את הפחתת העומסים, את שילוב האנרגיות המתחדשות, את התיאום המבוזר, את ההתכנסות, את השהיית התקשורת ואת קבלת ההחלטות האדפטיבית. נדרשות בדיקות נוספות עם נתוני שירות אמיתיים, השהיות תקשורת ריאליסטיות, שיבושים קיברנו-פיזיים ותנאי hardware-in-the-loop או בדיקות שדה כדי לאשש את יכולת ההרחבה המעשית ואת האמינות התפעולית.
גילויים
המחברים מצהירים כי אין להם ניגודי אינטרסים.
תודות
מחקר זה נתמך על ידי לשכת אספקת החשמל של גואנגז'ו של חברת רשת החשמל של גואנגדונג באמצעות הפרויקט "מחקר על טכנולוגיית קבלה אוטומטית של ציוד מדידה במתח נמוך המבוססת על אוטומציה של תהליכים" (קוד פרויקט: 030100KC24120100).
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| סט נתוני רשת הפצת מתח נמוך 236-Bus | Canizes et al. | DOI: 10.5281/zenodo.8274780 | סט נתוני ייחוס (benchmark) ציבורי המשמש לניתוח סקלאביליות ותיקוף בקנה מידה גדול של המסגרת המוצעת |
| יחידה לעיבוד מרכזי (CPU) | Intel Corporation | Intel Core i9-12900K (16-Core) | משמש לניהול סימולציות ולהרצת הסביבה |
| מודול לניתוח רגישות לעומס | מודול בפיתוח עצמי | Zenodo DOI: 10.5281/zenodo.21423239 | מבצע חישוב רגישות לעומס בזמן אמת ותעדוף מזינים |
| CUDA Toolkit | NVIDIA Corporation | CUDA 12.1 | פלטפורמת חישוב GPU המשמשת לאימון מואץ של מודלי PyTorch |
| ספריית cuDNN | NVIDIA Corporation | cuDNN 9.3.0 | ספרייה להאצת רשתות עצביות עמוקות המשמשת עם CUDA |
| סימולטור דינמי מותאם לרשת מתח נמוך (LV) | מודול בפיתוח עצמי | Version 1.0 | פלטפורמת סימולציה שפותחה על ידי המחברים, המוממשת באמצעות Python ו-PyTorch עבור ניסויי תזמור מזינים דינמיים. פרטי המימוש מופיעים בסעיפי השיטות ובזמינות הנתונים. |
| ספרייה לעיבוד נתונים | pandas Development Team | pandas 2.2.2 | משמשת לעיבוד מקדים, חילוץ מאפיינים, נרמול וניהול נתוני סדרות זמן |
| מסגרת ללמידה עמוקה | PyTorch Foundation | PyTorch 2.3.1 | משמשת למימוש מודל למידת חיזוק רב-סוכנים (MARL), אימון רשתות עצביות ואופטימיזציה של מדיניות |
| מודול תקשורת סוכנים מבוזר | מסגרת בפיתוח עצמי | Zenodo DOI: 10.5281/zenodo.21423239 | מאפשר תקשורת מבוזרת והחלפת מדיניות שיתופית בין סוכנים חכמים |
| סט נתוני FeederBW | Treutlein et al. | DOI: 10.5281/zenodo.17831177 | סט נתונים ציבורי המכיל מדידות של מזיני מתח נמוך מהעולם האמיתי, ייצור מאנרגיה מתחדשת ופרופילי הפעלה |
| יחידה לעיבוד גרפי (GPU) | NVIDIA Corporation | GeForce RTX 3090, 24 GB GDDR6X | מאיץ חומרה המשמש לאימון רשתות עצביות ולחישוב מקבילי |
| סביבת למידת חיזוק רב-סוכנים | Farama Foundation | Gym 0.26.2 | סביבת למידת חיזוק מותאמת אישית לאינטראקציה ואימון של סוכנים חכמים באופן שיתופי |
| ספרייה לחישוב נומרי | NumPy Developers | NumPy 1.26.4 | משמשת לחישובים נומריים, מניפולציה של טנזורים ופעולות מטריציוניות |
| מערכת הפעלה | Canonical Ltd. | Ubuntu 22.04.5 LTS (64-bit) | מערכת הפעלה ששימשה לכל הסימולציות וניסויי למידת החיזוק |
| שפת התכנות Python | Python Software Foundation | Python 3.11.9 | שפת התכנות העיקרית ששימשה למימוש האלגוריתם, לסימולציה ולפיתוח המודל |
| זיכרון מערכת | Lenovo | 64 GB DDR5 RAM | זיכרון מערכת מותקן המשמש לסימולציית MARL בקנה מידה גדול ולעיבוד נתונים. |
| מודול לניטור יציבות מתח | מודול בפיתוח עצמי | Zenodo DOI: 10.5281/zenodo.21423239 | מעריך באופן רציף את יציבות המתח והעמידה בתקנים במהלך תזמור המזינים |
מקורות
- Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
- Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
- Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
- O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
- Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
- Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
- Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
- Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
- Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
- van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
- Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
- Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
- Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
- Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
- Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
- Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
- Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
- Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
- Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
- Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
- Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
- Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
- Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
- Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
- Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
- Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
- Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
- Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
- Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
- Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
- Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
- Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
- Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
- Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
- Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
- Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
- Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.