הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.

מאמר מחקר

תיזמור דינמי של קבלת מזינים המבוסס על למידה חיזוקית רב-סוכנית (Multi-Agent RL) באמצעות מערך הנתונים FeederBW ורשת הפצה במתח נמוך בעלת 236 אפיקים (Buses)

72 צפיות

⸱

DOI:

10.3791/72365

⸱

8 בספטמבר 2026

 ,  ,  ,  ,  , 
1Metrology Center, Guangzhou Power Supply Bureau, Guangdong Power Grid Co., Ltd.

במאמר זה

סיכום

מחקר זה מציג אסטרטגיית תזמור דינמית (Dynamic Orchestration Strategy) לקבלת מזיני מתח נמוך באמצעות למידת חיזוק שיתופית של רב-סוכנים. סוכנים חכמים מתאמים את תפעול המזין, ניהול גודש, יציבות מתח ושילוב אנרגיות מתחדשות תחת תנאים של אי-ודאות. הגישה הוערכה באמצעות סימולציות המשתמשות במאגרי הנתונים FeederBW ו-236-bus.

תקציר

האינטגרציה הנרחבת של מקורות אנרגיה מתחדשת מבוזרים וההתרחבות המהירה של הזנאים במתח נמוך (LV) יצרו אתגרים תפעוליים הקשורים לקבלת הזנאים ולתיאום גודש. לגישות קיימות לבקרת מתח ולניהול הזנאים עשויה להיות יכולת התרחבות והסתגלות מוגבלת תחת ייצור אנרגיה מתחדשת לסירוגין ותנאי רשת משתנים. כדי להתמודד עם מגבלות אלה, מחקר זה מציע מסגרת תזמור דינמית לקבלת הזנאים במתח נמוך המבוססת על שיתוף פעולה של סוכנים חכמים בתוך גישה של למידה חיזוקית רב-סוכנית. בניגוד לאסטרטגיות לבקרת מתח המתמקדות בעיקר בייצוב מתח, המסגרת המוצעת תומכת בקבלה דינמית של הזנאים באמצעות תפעול מתואם של סוכנים האחראים על ניטור הזנאים, ניהול גודש ותעדוף מבוסס רגישות מתח. הסוכנים צפו באופן עצמאי במצבי ההזנאים, העריכו את הגודש ואת רגישויות המתח, ושיתפו פעולה בקבלת החלטות לגבי קבלת ההזנאים. המסגרת הוערכה באמצעות סימולציות המשתמשות במערך הנתונים FeederBW ובמערך נתונים של רשת חלוקה במתח נמוך עם 236 אבוסים (buses), תחת רמות שונות של אינטגרציית אנרגיה מתחדשת ותנאי עומס. המסגרת המוצעת השיגה שיעור קבלה של הזנאים של 97%, מדד תאימות מתח של 98%, השהיית תזמור של 98 ms שנמדדה כזמן ביצוע השעון של אלגוריתם התזמור על החומרה המדווחת, ומהירות התכנסות של 98.5%, תוך ביצועים טובים יותר משיטות התיאום המרוכזות שנבחנו. התוצאות הצביעו גם על הסתגלות משופרת, חוסן תפעולי ויעילות בקבלת החלטות מבוזרת תחת תנאי רשת החלוקה במתח נמוך שסומללו.

מבוא

מערכות חשמל מודרניות ניצבות בפני אתגרים תפעוליים משמעותיים בשל הביקוש הגובר לחשמל והשימוש הגובר ביצור מבוזר. חוסר איזון בין ההיצע לביקוש החשמל, או עליות מהירות ביצור מבוזר, עלולים להטיל עומס כלכלי על חברות השירות ועל משתמשי הקצה ולסכן את יציבות הרשת. לכן, תשתית חשמל קונבנציונלית, המנוהלת באופן מרכזי ומבוססת על דלקים מאובנים, עוברת לעיצוב מבוזר המונע מאנרגיה מתחדשת. מעבר זה שיפר את הגישה למקורות אנרגיה משתלמים יותר ובני-קיימא מבחינה סביבתית. עם זאת, אופיו המקוטע והבלתי צפוי של ייצור פוטו-וולטאי (PV) מעורר חששות לגבי אמינות הרשת1,2.

המעבר העולמי לאנרגיה מאיץ את פריסת מערכות הפוטו-וולטאיקה (PV) בשל יתרונותיה הסביבתיים, יכולת ההרחבה שלה והעלות היורדת. על פי הסוכנות הבינלאומית לאנרגיה מתחדשת, קיבולת ה-PV צפויה להוות יותר מ-22% מאספקת החשמל העולמית עד שנת 2050, ו-solar PV צפוי להפוך לתורם מרכזי לאספקת החשמל העולמית עד שנת 20303. אינטגרציה נרחבת זו מציבה אתגרים משמעותיים עבור מערכות כוח קונבנציונליות, במיוחד בנוגע ליציבות התפעולית ולאמינות. תנודות במתח הן דאגה קריטית מכיוון שייצור ה-PV הוא לסירוגין ואינו ניתן לתזמון (non-dispatchable), והשפעותיו הופכות לבולטות יותר ככל שחדירת המערכות גוברת ברשתות ההפצה וההולכה4.

וריאציות בקרינה הסולארית משפיעות ישירות על תפוקת ה-PV ויכולות להוביל לשינויי מתח מהירים. תנועת עננים, שינויים פתאומיים בקרינה ותנודות בעומס עלולים לגרום לתנודתי מתח שארכיטקטורות רשת קיימות אינן יכולות להכיל באופן מספק5. למרות שטכנולוגיות קונבנציונליות היו יעילות בתצורות רשת מרכזיות ויציבות יחסית, הן פחות מתאימות לרשתות מבוזרות יותר. שינויי מתח דו-כיווניים מהירים עלולים לחרוג מהיכולות של מערכות כוח קונבנציונליות, במיוחד תחת חדירות PV גבוהה6. תנודות בלתי מבוקרות עלולות להוביל להפרה של מגבלות המתח, להשפיע על עומסים רגישים ולפגוע בבטיחות הרשת.

לפיכך, שילובם של עומסים חכמים ומשאבים מבוזרים ברשתות חלוקה הניע פיתוח של אסטרטגיות בקרה מתקדמות יותר. מערכות בקרה חכמות, המנטרות ומתאמות באופן רציף ציוד מבוזר, יכולות לסייע בהפגת אתגרים ברשתות במתח נמוך (LV) עם ייצור מבוזר גבוה7. שילוב PV בהיקף נרחב יוצר גם קשיים תפעוליים עבור ייצור תרמי, במיוחד כאשר תפוקת ה-PV יורדת ויחידות תרמיות חייבות להגיב במהירות, לעיתים תוך חריגה ממגבלות קצב השינוי (ramp-rate)8. במקביל, תוכניות לתגובת ביקוש (DR) חייבות לאזן בין קיימות לטווח ארוך לבין היתכנות כלכלית9.

תוכניות DR (תגובה לביקוש) יכולות לתמוך בשילוב של ייצור מבוזר תוך סיוע באיזון בין ההיצע לביקוש לחשמל. תוכניות אלו מסווגות כ-DR מבוסס מחיר או DR מבוסס תמריצים (IBDR). DR מבוסס מחיר מעודד צרכנים לשנות את שימושם בחשמל בתגובה לתעריפים המשתנים לאורך זמן, בעוד ש-IBDR מספק תמריצים כספיים קבועים או משתנים להפחתת הצריכה בעת בקשה10. עם זאת, DR מבוסס מחיר חושף את הצרכנים לתנודות במחירי הסיטונאות ומציע גמישות תפעולית מוגבלת מנקודת המבט של חברת החשמל, מה שעלול להרתיע משתתפים הנמנעים מסיכונים11,12.

מספר מחקרים בחנו את ה-IBDR במערכות הפצה עשירות ב-PV. מחקר אחד העריך את האתגרים והיתרונות של שילוב IBDR עם חדירות PV גבוהה, אך התמקד בשימוש באנרגיה מצטברת ולא במערכות לניהול אנרגיה ביתית ברמת משק הבית13. מחקר אחר הציע שיטה לניהול מתח מבוססת תמריצים, שבה אותות תמחור שלטו בעקיפין על פעולת הסוללה כדי לשמור על גבולות המתח, אם כי הביקוש הביתי לא מודל באופן מפורש14. שיטה מבוססת לוגיקה עמומה (fuzzy logic) לקביעת תשלומי תמריצים שקלה את שביעות רצון הצרכנים ואת עלויות שילוב האנרגיות המתחדשות, אך לא כללה ניתוח ברמת ההזנה (feeder)15. נחקר גם תכנון ייצור לטווח ארוך המשלב DR מבוסס מחיר ו-DR מבוסס תמריצים, כולל ייצור תרמי ומתחדש, אך ללא התחשבות בנוחות המשתמש או בביקוש ברמת משק הבית16.

למידה עמוקה עם חיזוקים (Deep reinforcement learning - RL) יושמה גם בתחום ה-DR הביתי. הוצעו שיטות Deep RL לבקרת עומס מצטברת תחת תעריפי שימוש לפי שעות, אם כי יכולת ההכללה שלהן הייתה מוגבלת בשל אוכלוסיות משתמשים קטנות והיעדר תזמון ברמת המכשיר17. מסגרת של למידה עם חיזוקים רב-סוכנית המשלבת DR ובקרת מתח השתמשה ברשתות זיכרון לטווח קצר ארוך (LSTM) לחיזוי עומסים, אך לא פתרה את בעיית חוסר שביעות הרצון של הלקוחות כתוצאה מהגבלת העומס18. עבודות אחרות התמקדו בתיאום DR עבור מערכות מיזוג אוויר במבנים מסחריים באמצעות תהליך החלטה מרקוביי, ללא התחשבות בעומסים ביתיים אחרים19. מחקרים קיימים ב-Deep RL לבקרת מתח לרוב לא שילבו הן DR והן אינטגרציית PV20,21.

ממירי מתח חכמים (Smart inverters) יכולים להגיב במהירות לשינויים פתאומיים ולא סדירים בתפוקת ה-PV22. כאשר מתרחשות חריגות במתח, ממירים פוטו-וולטאיים יכולים לפעול בתוך מילישניות, בעוד שמכשירים קונבנציונליים עשויים לדרוש מספר שניות23. מספר מחקרים הציעו שינויים בנהלי הבקרה הסטנדרטיים של המכשירים, כולל גישות רב-סוכנים (multi-agent) לתיאום בין ווסתי מתח ושינוי פעולותיהם של בקרי מתח קונבנציונליים24. עם זאת, ייצור PV עצמאי ללא מערכות אגירה מקומיות עלול להחמיר את חריגות המתח ואינו מקל על שיאי הצריכה בשעות הערב, גם כאשר הוא מפחית את הייבוא הנקי של חשמל בשעות היום24,25. סוללות ביתיות עלולות להתרוקן במהלך תקופות של עודף ייצור PV ביום ולהפוך לבלתי זמינות לטעינת רכבים חשמליים בלילה, אם הפריקה שלהן אינה מתואמת עם הביקושים והייצור המקומיים26,27. השפעותיהם המשולבות של ביקוש סטוכסטי, ייצור לסירוגין והתנהגות אגירה מגוונת הופכות את ניהול הקיבולת, אורך חיי הנכסים והחסינות (resilience) לדאגות מרכזיות עבור מפעילי מערכות ההפצה28. מערכות לניהול אנרגיה ביתית (Home Energy Management Systems) מספקות אמצעי פוטנציאלי ליישום בקרה אוטומטית ברמת הלקוח. למידה בחיזוק (RL) מתאימה מאוד ליישומים כאלו, כיוון שסוכנים יכולים ללמוד אסטרטגיות בקרה באמצעות אינטראקציה עם הסביבה, תוך טיפול באי-ודאות וקבלת החלטות בשהיית זמן נמוכה.

ההתקדמויות בניתובי רכבים חשמליים ממחישות גם כיצד RL עמוק יכול לנהל אילוצי אנרגיה דינמיים. בעיית ניתוב רכבים חשמליים עם קיבולת המבוססת על צי רכבים הטרוגני משלבת דינמיקת נהיגה, מאפייני כביש, התנגדות קינטית ויעילות טעינה, תוך מזעור של הוצאות האנרגיה המקסימליות ברוחב צי רכבים מגוון29. שיטת למידה חיזוקית עמוקה מודעת לדינמיקה מנסחת בעיה זו כתהליך החלטה מרקובי מותאם אישית ומשתמשת בארכיטקטורת encoder-updater-decoder. בתכנון זה, ה-encoder מפתח ייצוגים ספציפיים לתפקידים עבור קודקודים ורכבים, ה-updater מעדכן את ה-tokens של הרכבים ככל שהמידע ההקשרי משתנה, וה-decoder מפריד בין בחירת הרכב לבין בחירת קודקוד ספציפי לרכב כדי לתמוך בקבלת החלטות אדפטיבית. באופן דומה, בעיית ניתוב רכבים חשמליים אופטימלית מבחינת אנרגיה הכוללת איסוף-מסירה וחלונות זמן משתמשת במודל צריכת אנרגיה ברזולוציה גבוהה, הכולל התנהגות טעינה, דינמיקת נהיגה תלוית זמן ומידע מפורט על הנתיב30. מסגרת למידה חיזוקית עמוקה מונחית-תשומת (attention-driven) הטרוגנית מייצגת את משימת הניתוב כתהליך החלטה מרקובי, עם encoder הלוכד אינטראקציות ספציפיות לתפקידים בין מחסנים, לקוחות ותחנות טעינה, ו-decoder העוקב אחר מעברי מצבים והיתכנות זמנית.

על אף פיתוחים אלה, מרבית המחקרים בניהול הפצה של רשתות מתח נמוך (LV) שמים דגש על ייצוב מתח ואופטימיזציה של הספק ריאקטיבי, ולא על תזמור דינמי של קבלת הזנאות (feeder-acceptance) תחת אי-ודאות של אנרגיות מתחדשות. שיטות מבוזרות לבקרת מתח המבוססות על ממירים חכמים ולמידת מכונה מתמקדות בדרך כלל בפיצוי מתח ובאופטימיזציה של הספק ריאאקטיבי, מבלי להתייחס לבקרת קבלה אדפטיבית של הזנאות או לתזמור מבוסס גודש ברשתות LV מורכבות. בדומה לכך, גישות של למידת חיזוק רב-סוכנית (multi-agent reinforcement learning) המוגבלות על ידי מתח עבור תגובה לביקוש (DR), אינן מטפלות ישירות בניהול שיתופי של קבלת הזנאות, בתזמור מבוזר המודע לגודש, או בבקרת קבלה ברמת הצומת במערכות הפצה של LV מקושרות. שיטות שיתופיות לוויסות מתח המבוססות על תיאום רב-סוכני ממזערות בדרך כלל סטיות מתח ופעולות של משני מתח באמצעות ממירים פוטו-וולטאיים (PV), אך אינן לוקחות בחשבון קבלה אדפטיבית של הזנאות, חוסר יציבות בקבלה הקשורה לאנרגיות מתחדשות, או תזמור מבוזר תחת תנאי רשת דינמיים.

שיטות נוכחיות לתיאום משאבים מבוזר ורב-סוכני סובלות גם הן ממגבלות במודעות לגודש, הסתגלות זמנית ויכולת גידול (scalability). רובן שמות דגש על ניתוח עומס יתר, אינטראקציות של משאבי אנרגיה מבוזרים או ניהול אנרגיה מונחה תעריפים, במקום קבלה אדפטיבית ברמת ההזנה ותזמור מודע למתח. ההסתמכות שלהן על ריכוזיות חלקית וסדרי עדיפויות סטטיים עלולה להגביל עוד יותר קבלת החלטות מבוזרת, תגובה מהירה להתפשטות הגודש והסתגלות לתנודתיות של אנרגיה מתחדשת. לפיכך, נדרשת מסגרת מבוזרת לחלוטין המבוססת על למידה חיזוקית (reinforcement learning), המשלבת תיאום סוכנים שיתופי עם ניתוח רגישות למתח ולגודש, לצורך ניהול אדפטיבי של קבלת הזנאות תוך שימוש במאגרי נתונים רחבי היקף כגון FeederBW ורשת חלוקת LV של 236-bus.

במחקר זה, קבלה למזין (feeder acceptance) מתייחסת לתהליך תפעולי אדפטיבי לקביעה האם מזין LV יכול להכיל משאבי אנרגיה מבוזרים נוספים או עומסים חשמליים תוך שמירה על אבטחת הרשת, עמידה בדרישות המתח, מגבלות עומס תרמי ואמינות תפעולית. הגבול התפעולי לקבלה למזין כולל הערכה של קיבולת המזין, רגישות מתח, תנאי גודש ותנודתיות של אנרגיה מתחדשת לפני שחיבורים חדשים למזין מתקבלים או מקבלים עדיפות. בניגוד לבקרת מתח קונבנציונלית, המווסתת את פרופילי המתח; לתיאום משאבי אנרגיה מבוזרים, המנהל את תפעול המשאבים; או לניהול גודש, המפחית עומסי יתר ברשת; קבלה למזין משלבת פונקציות אלו בתוך מסגרת של למידת חיזוק מרובת-סוכנים (multi-agent reinforcement learning) שיתופית, כדי לתמוך בתזמור דינמי, מבוזר ואדפטיבי בתנאים עשירים באנרגיה מתחדשת.

מטרת מחקר זה היא לפתח אסטרטגיית תזמור דינמית (Dynamic Orchestration Strategy) מבוססת סוכנים חכמים שיתופיים לקבלת מזיני מתח נמוך (Low-Voltage Feeder Acceptance) תחת תנאי תפעול משתנים ואי-ודאות של אנרגיות מתחדשות. המסגרת המוצעת מבצעת תזמור מבוזר של קבלת מזינים על ידי הערכה דינמית של מצבי המזין, רגישות מתח, רגישות לגודש וקיבולת קבלה, ובכך מאפשרת תעדוף וקבלת החלטות אדפטיביים מעבר לשיטות סטטיות של בקרת מתח. באמצעות מערך הנתונים FeederBW ומערך נתונים של רשת הפצה במתח נמוך בעלת 236 אותות (bus), המחקר מפתח גם ארכיטקטורת למידה חיזוקית רב-סוכנית (multi-agent reinforcement learning) ניתנת להרחבה עבור מערכות מתח נמוך רחבות היקף. באמצעות למידה מונחית חיזוק ואופטימיזציה שיתופית בעלת שהיה נמוך המתבצעת בכל מרווח תפעולי מדומה, המסגרת נועדה להפחית את התפשטות הגודש, לשפר את העמידה בתקני המתח, להוריד את השהיית התזמור ולהגביר את יעילות התיאום המבוזר.

המסגרת תורמת גישת תזמור (orchestration) דינמית לקבלת הזננות LV המחליפה אסטרטגיות ניהול הזננות סטטיות המבוססות על בקרת מתח; ארכיטקטורת למידת חיזוק מרובת-סוכנים (multi-agent reinforcement learning) מבוזרת להתמודדות עם אי-ודאות במקורות אנרגיה מתחדשת ותנאי עומס משתנים; ניהול קבלה מבוזר המבוסס על תנאי שיהוי נמוך ותיעדוף דינמי של ההזננות; מדדי רגישות משותפים למתח ולגודש לצורך זיהוי הזננות קריטיות ותיעדוף החלטות קבלה; תקשורת שיתופית בין סוכנים שכנים; אופטימיזציה רציפה של מדיניות המבוססת על למידת חיזוק לשיפור יציבות ההזננות, הפחתת גודש, עמידה בדרישות המתח והתכנסות; ותיקוף מבוסס סימולציה רחבת-היקף באמצעות מאגרי הנתונים FeederBW ו-236-bus LV. תוצאות השוואתיות מצביעות על שיפור בקבלת ההזננות, בהפחתת הגודש, בשיהוי התזמור, במהירות ההתכנסות ובעמידה בדרישות המתח ביחס לשיטות תיאום מרכזיות מסורתיות.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

במחקר זה לא נעשה שימוש בנבדקים אנושיים, בעלי חוליות, רקמות אנושיות או רקמות מבעלי חיים. במחקר נעשה שימוש אך ורק במאגרי נתונים נגישים לציבור (מאגר הנתונים FeederBW ומאגר הנתונים של רשת הפצה במתח נמוך בעלת 236 אפיקים) ובסימולציות מבוסות מחשב. לפיכך, מחקר זה לא דרש אישור של ועדת אתיקה מוסדית (IRB), אישור אתי או הסכמה מדעת.

אסטרטגיית התזמור הדינמית לקבלת הזנה במתח נמוך המבוססת על שיתוף פעולה בין סוכנים פותחה באמצעות למידת חיזוק רב-סוכנית (MARL) לתנאי הפעלה עשירים באנרגיות מתחדשות. מאגרי הנתונים של FeederBW ושל רשת של 236 צמתים במתח נמוך עברו עיבוד מקדים, נורמליזציה וסנכרון זמני כדי לבנות מודל רשת דינמי המייצג מצבי הזנה, משאבי אנרגיה מבוזרים, אזורים הרגישים למתח ותנאי גודש. סוכנים חכמים הוקצו למקטעי הזנה ולצמתים ברשת כדי לנטר מתח מקומי, גודש, אי-ודאות ביצירה ממקורות מתחדשים וקיבולת קבלה של ההזנה, להחליף מידע עם סוכנים שכנים ולעדכן מדיניות תזמור באמצעות למידת חיזוק מבוזרת. פונקציית התגמול תוכננה כדי לשפר את קבלת ההזנה תוך הגבלת גודש, חוסר יציבות במתח ועיכובים בתיאום. הגבלות של מתח, עומס הזנה, עומס שנאי וגודש נלקחו בחשבון, בעוד שהפעלה לא מאוזנת תלת-פאזית, בקרה מתקדמת של ממירים פוטו-וולטאיים ופיצוי הספק ריאקטיבי לא מודלו במפורש. המסגרת הכוללת מוצגת ב-איור 1. כלי המחקר ששימשו במחקר זה מפורטים ב-טבלת החומרים.

תרשים רשת של מידול דינמי של רשת LV באמצעות מערכות רב-סוכנים, למידת חיזוק.
איור 1ארכיטקטורת המסגרת המוצעת. סכימה של מסגרת התזמור הדינמית (Dynamic Orchestration Framework), המשלבת סוכנים חכמים, למידת חיזוק, ניתוח גודש ותיאום רכיבים מאכילים אדפטיבי. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

1. רכישת נתונים

הנתונים נאספו מתוך מערך הנתונים FeederBW31 וממערך הנתונים של רשת הפצה במתח נמוך (LV) עם 236 אפיקי צמתים (buses)32. מערכי נתונים אלו נבחרו מכיוון שהם הכילו מידע על טופולוגיית המזין, תנאי מתח, התנהגות ייצור מאנרגיה מתחדשת, דרישת עומס, גודש ופרופילי תפעול דינמיים הנדרשים לתיאום מבוזר וללמידת סוכנים מבוססת חיזוק.

מערך הנתונים FeederBW שימש בעיקר למידול פעולת רשת ההזנה, הפסקה לסירוגין של אנרגיה מתחדשת, סטיית מתח והפצת גודש ברשתות LV. הוא הכיל נתוני תפעול של רשת ההזנה, התנהגות של ייצור מבוזר, מדידות מתח בצמתים ותנודות בעומס שתמכו בניתוח תזמור אדפטיבי. מערך הנתונים LV בעל 236 אפיקים (buses) שימש להערכת יכולת הרחבה ותיאום מבוזר. הוא הכיל מידע על חיבורי אפיקים, תנאי עומס של רשת ההזנה, מאפייני מתח בצמתים, חדירות של אנרגיה מתחדשת מבוזרת ומקרי תפעול רגישים לגודש. יחד, שני מערכי הנתונים תמכו בניתוחים ברמת רשת ההזנה ובניתוחים רחבי היקף תחת תנאים של חדירות גבוהה של אנרגיה מתחדשת. מאפייני מערכי הנתונים ומטרותיהם במסגרת מסוכמים ב- טבלה 1.

שם מערך הנתוניםסוג מערך הנתוניםמספר הצמתים/אוטובוסיםמאפייני נתוניםהמטרה בעבודה המוצעת
ערכת הנתונים FeederBWסט נתונים תפעולי של הזנא נמוך-מתחצמתי הזנה מרוביםפרופילי מתח, ייצור מתחדש, דרישת עומס, מצבי גודש, התנהגות תפעולית של מזיניםתיזמור רכיבי הזנה בשהיית זמן נמוכה, ניתוח גודש, תיעדוף קבלה אדפטיבי
סט נתונים של רשת מתח נמוך בעלת 236 אפיקיםמאגר נתונים רחב-היקף להפצת מתח נמוך236 אוטובוסיםטופולוגיית אפיקים, עומס על מזינים, רגישות מתח, חדירות אנרגיות מתחדשות, דינמיקת גודשתיקוף סקילביליות (יכולת הרחבה), הערכת תיאום מבוזר, ניתוח תזמור רחב-היקף

טבלה 1: מאפייני מערך הנתונים. תיאור של מערכי הנתונים, המאפיינים התפעוליים ומטרותיהם במסגרת תזמור המתח הנמוך המוצעת.

2. עיבוד מקדמי של נתונים

ערכי הנתונים שנרכשו עברו עיבוד מקדים כדי לשפר את העקביות, את הסנכרון הזמני ואת היציבות של למידת החיזוק. רשומות חסרות, מדידות שגויות, רשומות כפולות ונתוני הזנה (feeder) שאינם עקביים סוננו באמצעות הליכי עיבוד מקדים סטטיסטיים. שלב זה שימש לשמירה על עקביות בין נתוני תפעול ההזנה, פרופילי ייצור אנרגיה מתחדשת, מדידות מתח ונתוני מצב גודש. כל המשתנים התפעוליים עברו נורמליזציית מינימום-מקסימום (min–max normalization), כך שמאפייני הקלט הומרו לקנה מידה משותף המתאים ללמידת הסוכן. המשתנים הנורמליים כללו את מתח ההזנה, דרישת ההספק הפעיל, ייצור אנרגיה מתחדשת, סטטוס גודש וקיבולת קבלה של ההזנה. הניסוח המתמטי של הליך העיבוד המקדים מופיע ב- קובץ משלים 1 (סעיף 1).

3. מידול רשתים דינמי במתח נמוך

לאחר רכישת הנתונים והעיבוד המוקדם, נבנה מודל רשת LV דינמי כדי לסמלץ את התנהגותו של מערכת חלוקה עם שיעור גבוה של ייצור אנרגיה מתחדשת תחת תנאי עומס וייצור משתנים. המודל עקב באופן דינמי אחר טופולוגיית המזינים, התנהגות משאבי אנרגיה מבוזרים, אזורים רגישים למתח והתפשטות גודש.

בניגוד לייצוג רשת סטטי, המודל מעדכן את התנהגות המזין בהתאם לביצועים המקוטעים של אנרגיות מתחדשות, לדרישת הצרכנים ולתנאי גודש. נתוני FeederBW ו-236-bus LV שימשו לבניית מזינים מקושרים שבהם אפיקים (buses), שנאים, מקורות מתחדשים מבוזרים ועומסים יוצגו כצמתים ברשת. כל צומת מזין סיפק מידע מעודכן על גודל המתח, דרישת הספק פעיל, ייצור מאנרגיה מתחדשת, מצב העמסת המזין ומצב הגודש. משתנים אלו שימשו את הסוכנים האינטליגנטיים לניטור התנהגות המזין ולקבלת החלטות תזמור מבוזרות. מודל הרשת תמך גם בזיהוי אזורים רגישים ובתעדוף קבלת מזינים באמצעות ניתוח רגישות רציף.

רשת ההפצה של המתח הנמוך (LV) יוצגה כרשת מבוססת גרף המכילה תחנות אספקה (bus stations), קווי הזנה, שנאים, מקורות אנרגיה מתחדשת וצמתי עומס של צרכנים. גזרות מתמטיות מפורטות של מודל הרשת מסופקות ב-קובץ משלים 1 (סעיף 2). המצב הדינמי של הרשת ומד העומס (congestion index) נוטרו באופן רציף. מדד העומס ננרמל לטווח [0,1], ותהליך של תזמור שיתופי לקבלת קווי הזנה הופעל כאשר מדד העומס עלה על 0.80.

4. אתחול סביבת רב-סוכנים

לאחר בניית מודל הרשת הדינמי של ה-LV, אותחלה סביבת הרב-סוכנים (multi-agent) כדי לתמוך בקבלה מבוזרת של מזינים. סוכנים חכמים הוקצו למקטעי מזינים, לנקודות חיבור של משאבי אנרגיה מבוזרים, למיקומי שנאים ולצמתים הנוטים לגודש בתוך רשת ה-LV.

כל סוכן פעל כישות מקבלת החלטות עצמאית שניטרה את פעילות המזין המקומי, החליפה מידע עם סוכנים שכנים וביצעה פעולות תזמור אדפטיביות. הסוכנים הוקצו לצמתים מרכזיים במזין בהתאם לרגישות המתח, מידת החדירה של אנרגיות מתחדשות, רמת הגודש וחשיבות המזין. רשת ה-LV הוגדרה כסביבה מבוססת-סוכנים שבה הסוכנים ניטרו באופן רציף את מתח המזין, דרישת ההספק הפעיל, שינויים בייצור מאנרגיות מתחדשות, מצב הגודש וקיבולת הקבלה של המזין. הניסוח המתמטי של סביבת הרב-סוכנים מופיע ב-Supplementary File 1(Section 3).

5. למידת סוכן מונחית חיזוקים

לאחר אתחול סביבת הרב-סוכנים (multi-agent environment), הוטמע למידה מונחית חיזוקים (reinforcement-driven learning) כדי לאפשר לסוכנים ללמוד מדיניות תזמור של מזינים (feeder-orchestration policies) באמצעות אינטראקציה עם תנאי תפעול משתנים של מתח נמוך (LV). במהלך כל אינטראקציה, סוכן צפה במצב המזין הנוכחי, בחר פעולת תזמור וקיבל תגמול או קנס. תהליך הלמידה המבוזר אפשר לסוכנים להסתגל לאי-ודאות ביצור אנרגיה מתחדשת, לתנאי גודש משתנים, לתנודות במתח ולשינויים בקיבולת הקבלה של המזין. כל סוכן בחר פעולת תזמור בהתאם למדיניות הנלמדת שלו. הגזרות המתמטיות הרלוונטיות מובאות ב- קובץ משלים 1 (סעיף 4).

סך הכל נפרסו 64 סוכנים חכמים. בהתבס על טופולוגיית ההזנה, רמת החדירה של אנרגיה מתחדשת, רגישות מתח וחומרת הגודש, כל סוכן הוקצה למקטע הזנה, אתר שנאי, נקודת חיבור של משאב אנרגיה מבוזר או צומת רשת הרגיש לגודש. תוך שמירה על מורכבות חישובית סבירה, הפריסה המבוזרת אפשרה ניטור שיתופי וקבלה אדפטיבית של הזנות לאורך רשת ההפצה במתח נמוך בעלת 236 אפיקים (buses). כל סוכן צפה בווקטור מצב חומש המורכב מעוצמת מתח, דרישת עומס של ההזנה, ייצור אנרגיה מתחדשת, סטטוס גודש וקיבולת קבלה של ההזנה. מרחב הפעולה כלל חמש פעולות תזמור: תיעדוף קבלת הזנות, הפגת גודש, תיאום אנרגיה מתחדשת, איזון עומסים ובקרת מתח. קבלת החלטות שיתופית נתמכה באמצעות טופולוגיית תקשורת שכונתית מבוזרת, שבה כל סוכן החליף מדדי רגישות ומידע תפעולי מקומי אך ורק עם סוכני הזנה שכנים.

שיטת MARL מבוססת Q-learning הוטמעה באמצעות רשת עצבית עם חיבורים מלאים (fully connected), הכוללת שתי שכבות נסתרות עם 128 ו-64 נוירונים. בשכבות הנסתרות יושמה פונקציית אקטיבציה מסוג ReLU (Rectified Linear Unit). פרמטרי הרשת עברו אופטימיזציה באמצעות אופטימייזר Adam עם קצב למידה של 0.01 ומקדם היוון של 0.9. נעשה שימוש בגודל מיני-באץ' (mini-batch) של 64, ולחוצץ של שחזור ניסיון (experience-replay buffer) היה קיבולת של 100,0 מעברים. האימון נחשב כבעל התכנסות כאשר הממוצע הנע של התגמול המצטבר על פני ה- 20 פרקים שונה בפחות מ- 0.1% עבור 10 חלונות הערכה רצופיםאם קריטריון זה לא הושג, האימון נמשך עד למקסימום של 50 פרקים הושג. תזרים העבודה של הלמידה מחיזוקים מוצג ב- איור 2.

תרשים תהליך למידה עם חיזוק; אינטראקציה בין סוכן לסביבה, עדכון מדיניות, לולאת תגמולים.
איור 2תרשים זרימה של למידת סוכן מונחית חיזוקים. תרשים זרימה הממחיש את תהליך למידת הסוכן מבוס חיזוקים לצורך תזמור מבוזר של מזינים ואופטימיזציה של קבלת החלטות. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.

תהליך הלמידה החל באתחול של סביבת הפצת ה-LV, מצבי הסוכנים ופרמטרי הלמידה. סוכנים חכמים הוצבו באזורי הזנה, במיקומי משאבי אנרגיה מבוזרים ובאוטובוסים (buses) הנוטים לגודש. לאחר מכן הוגדרו מרחב התצפית, קצב הלמידה, אסטרטגיית החקירה, גורמי התגמול ופונקציות המדיניות. בכל שלב של אינטראקציה, כל סוכן צפה במצבו הנוכחי של אזור ההזנה שהוקצה לו. המצב כלל את גודל מתח הצומת, דרישת עומס ההזנה, מאפייני ייצור אנרגיה מתחדשת, רמת הגודש וקיבולת קבלה של ההזנה. תצפיות אלו היוו את מצב הסביבה ששימש לקבלת החלטות תזמור (orchestration). כל סוכן בחר פעולה בהתאם למדיניות הלמידה מחיזוקים שלו. הפעולות הזמינות כללו תיעדוף קבלה של ההזנה, ניהול גודש, תיאום אנרגיה מתחדשת, איזון עומסים וניהול מתח. הפעולה שנבחרה הוחלה על סביבת ה-LV הדינמית, ולאחריה עודכן מצב ההזנה.

חישוב תגמול בוצע לאחר כל פעולה. תגמול חיובי הוקצה כאשר הפעולה הנבחרת שיפרה את קבלת המזין, מנעה התפשטות של גודש, שמרה על עמידה במתח או שיפרה את יציבות הרשת. קנס הוטל כאשר הפעולה הובילה ל-, או שלא הצליחה למנוע, עומס יתר במזין, חריגות במתח או עיכובים בתזמור. התגמול המחושב שימש לעדכון פונקציית הערך ומדיניות ההחלטה של הסוכן באמצעות אופטימיזציית למידה חיזוקית. רצף התצפית, בחירת הפעולה, המעבר בסביבה, חישוב התגמול ועדכון המדיניות חזר על עצמו עד להשגת קריטריון העצירה.

6. הערכת רגישות למתח ולגודש

בעקבות למידה מונחית חיזוקים, הוערכו רגישויות למתח ולעומס כדי לזהות אזורי הזנה פגיעים וכדי לתמוך בהחלטות דינמיות לקבלת הזנות תחת אי-ודאות של אנרגיה מתחדשת.

בכל מרווח תפעולי, נקבעו השפעותיהם של שינויים בהספק המזין, בייצור אנרגיה מתחדשת ובדרישת העומס על מתח הצומת ועל גודש הרשת. מדדי רגישות למתח ולגודש חושבו מחדש. בכל מרווח פעולה מדמה במקום שייגזרו אך ורק מתנאי רשת סטטיים. מדדי הרגישות עבור כל צומת הזנה עודכנו בהתבס על תנאי הרשת הנוכחיים, השונות ביצירה ממקורות מתחדשים ומצב העומס של ההזנה. הערכים שהתקבלו שימשו לדירוג צומתי ההזנה לצורך קבלת הזנות, ניהול גודש ופעולות בקרת מתח.

מדד הרגישות למתח כימת את השינוי במתח הצומת כתוצאה משינוי בזרימת ההספק הפעיל. לאחר חישוב מדדי הרגישות למתח ולגודש, הם שולבו לציון רגישות מורכב לצורך תיעדוף אדפטיבי של קבלת רשויות להזנה. שיטת הניקוד המורכב מתוארת ב- קובץ משלים 1 (סעיף 5). לצמתים מאזינים עם ציוני רגישות גבוהים יותר הוקצו סדרי עדיפות גבוהים יותר בתהליכי התזמור במהלך פעולות של הפגת גודש, תיקון קבלה של מאזינים וויסות מתח. ציוני הרגישות חושבו מחדש בכל מרווח הפעלה ושותפו עם סוכנים שכנים באמצעות סביבת התקשורת השיתופית.

7. תזמור קבלה שיתופי ואופטימיזציה של החלטות אדפטיבית בכל מרווח הפעלה מדמה

לאחר הערכת רגישות, בוצע תזמור קבלה שיתופי כדי לאפשר לסוכנים מבוזרים לקבל החלטות מקו coordinated לגבי קבלת מזינים תחת אי-ודאות של אנרגיות מתחדשות ותנאי גודש דינמיים. הסוכנים החליפו מצבי מזינים מקומיים, מדדי רגישות, התראות גודש וסדרי עדיפויות תפעוליים. כל סוכן העריך באופן עצמאי את מצב המזין המקומי שלו תוך תיאום עם סוכנים שכנים כדי לתמוך ביציבות הכוללת של הרשת.

תיעדוף קבלת המזינים בוצע על בסיס רגישות למתח, חומרת הגודש, תנודתיות ייצור אנרגיה מתחדשת וקיבולת זמינה של המזין. תצפיות מקומיות מודעות-רגישות נצברו בין הסוכנים, ונוצרו פעולות מתואמות לקבלת המזינים. הניסוח המתמטי של תהליך התיזמור השיתופי מופיע ב-Supplementary File 1 (Section 6). סביבת רשת ה-LV הדינמית הוטמעה עם סוכנים שיתופיים שמוצבו באזורי מזינים, נקודות שילוב של אנרגיה מתחדשת ואוטובוסים הנוטים לגודש, כפי שמתואר ב-Supplementary File 1 (Algorithm 1). בכל מרווח תפעולי, כל סוכן צפה בפרמטרים מקומיים של המזין, כולל גודל המתח, השתנות בייצור אנרגיה מתחדשת, עומס המזין, רמת הגודש וקיבולת קבלת המזין.

לאחר מכן חושבו מדדי הרגישות למתח ומדדי הרגישות לגודש כדי לזהות אזורי הזנה הרגישים לחוסר יציבות במתח או להתפשטות גודש. מדדים אלו שולבו לציון רגישות הזנה כולל שקבע את קבלת ההזנה ואת עדיפות התיאום (orchestration). מידע על המצב המקומי, רמות גודש, אינדיקטורים לחוסר יציבות במתח ועדיפויות קבלה הוחלפו בין סוכנים שכנים. על בסיס התצפיות המקומיות והמידע השיתופי, כל סוכן בחר וביצע פעולת תיאום אדפטיבית. לאחר כל פעולה, התקבל משוב חיזוק מסביבת רשת ה-LV הדינמית בהתאם ליציבות ההזנה, להפחתת הגודש, לעמידה בדרישות המתח וליעילות קבלת ההזנה. משוב זה שימש לעדכון המדיניות של כל סוכן באמצעות אופטימיזציה מבוססת חיזוקים. פונקציית מטרה גלובלית לתיאום סיפקה בו-זמנית משוב מתואם לאופטימיזציה אדפטיבית על פני אוכלוסיית הסוכנים. עדכוני המדיניות נמשכו עד אשר מדינויות הסוכנים התכנסו לעבר אסטרטגיית תיאום מבוזרת אופטימלית.

8. תיקוף בקנה מידה רחב

אסטרטגיית התזמור הדינמית תוקפה באמצעות מערך הנתונים FeederBW ומערך הנתונים של רשת הפצה במתח נמוך (LV) בעלת 236 אפיקים, תחת תרחישי תפעול עם חדירה גבוהה של אנרגיה מתחדשת. התיקוף העריך את יכולתו של מסגרת התזמור המבוזרת לנהל קבלה דינמית של אפיקים, הפסקות של אנרגיה מתחדשת, התפשטות גודש ואי-יציבות של מתח במערכות הפצה של LV המקושרות ביניהן. תרחישי התפעול שהוערכו כללו חדירה גבוהה של אנרגיה מתחדשת, דרישת עומס משתנה, התפשטות גודש דינמית, תנאים רגישים למתח וקיבולת קבלה משתנה של אפיקים.

ביצועי המסגרת הוערכו באמצעות שיעור קבלת המזינים, מדד תאימות מתח, שיעור הפחתת עומסים, השהיית תזמור, מהירות התכנסות, יעילות תיאום מבוזר ויכולת קליטה של אנרגיות מתחדשות. מדדים אלו שימשו להערכת סקילביליות, חוסן, סתגלנות וביצועי תיאום. המסגרת המוצעת הושוותה לגישות מסורתיות של תזמור מזינים מרכזי תחת אותן תצורות רשת. מערכי נתונים שוויים, תרחישי הפעלה, תנאי הערכה ומדדי ביצוע הוחלו על שיטות ההשוואה.

טבלה 2 מסכמת את מערכי הנתונים, תנאי ההפעלה, סביבות התזמור ומדדי הביצועים ששימשו לאימות הניסויי. מערך הנתונים FeederBW שימש להערכת דינמיקת ההפעלה של המזין, הפסקות מקטעים של אנרגיה מתחדשת, התפתחות גודש, שינויים בעומס הביתי ותנודות במתח תחת תנאי מזין LV. מערך הנתונים של 236-bus LV שימש להערכת תזמור מבוזר ברשת מקושרת גדולה יותר. הארכיטקטורה אומתה תחת תנאים משתנים של ייצור אנרגיה מתחדשת, דרישת עומס, מתח וגודש. תיאום מבוזר ואופטימיזציית מדיניות מבוססת למידה עם חיזוק הוערכו במשותף על פני הסוכנים החכמים.

שיעור קבלת הפידרים, מדד תאימות המתח, שיעור הפחתת הגודש, מהירות התכנסות ושהיית תזמור שימשו לכימות הביצועים תחת תנאי הפעלה דינמיים במערכות אנרגיה מתחדשת.

פרמטר ניסויימאגר הנתונים FeederBWסט נתונים של רשת מתח נמוך בעלת 236 אפיקיםמטרת התיקוף
סוג הרשתרשת הזנה במתח נמוךרשת הפצת מתח נמוך (LV) רחבת היקףהערכת תזמור דינמי
מספר הצמתים/אוטובוסיםצמתי הזנה מרובים236 אוטובוסיםניתוח סקלאביליות
שילוב אנרגיות מתחדשותפוטו-וולטאיקה ומקורות אנרגיה מתחדשת מבוזריםאוטובוסים עם חדירה גבוהה של אנרגיה מתחדשתתיקוף אי-וודאות של אנרגיה מתחדשת
התנהגות דרישת עומספרופילי עומס מגורים דינמייםשינויי עומס רחבי היקף במזיניםתזמור עומסים אדפטיבי
תרחישי גודשמצבי עומס יתר וגודש במזיניםהפצת גודש ברב-אוטובוסיםניתוח להפגת גודש
תנאי מתחפרופילי תנודות מתחתנאי אפיק רגישים למתחהערכת תאימות מתח
סוכנים חכמיםסוכני הזנה מבוזריםסוכנים שיתופיים בקנה מידה גדולניתוח קואורדינציה מבוזר
סביבת למידהתזמור מונחה למידה עם חיזוקיםלמידה אדפטיבית רב-סוכניתתיקוף אופטימיזציה של מדיניות
תנאי הסימולציהשונות דינמית של אנרגיות מתחדשותתפעול דינמי בקנה מידה גדולבדיקת תזמור בשהיית רשת נמוכה
מדדי ביצועיםשיעור קבלה, הפחתת גודשמתח תאימות, מהירות התכנסותביצועי תזמור כוללים

טבלה 2: תיקוף ניסיוני רחב-היקף. הגדרות ניסיוניות ששימשו להערכת סקביליות, אי-ודאות באנרגיה מתחדשת ותיאום מבוזר.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

כל הניסויים בוצעו חמש פעמים תוך שימוש בזרעים אקראיים שונים כדי להפחית את השפעת הלמידה הסטוכסטית. ערכי הממוצע חושבו על פני חמש ההרצות. אותם מערכי נתונים, פרמטרי סימולציה, היפר-פרמטרים, קריטריונים לעצירה והליכי הערכה שימשו עבור כל השיטות. Centralized Voltage Control (CVC)3, Conventional Multi-Agent Control (CMAC)21, Reinforcement Learning-Based Voltage Regulation (RLVR)20, Distributed Energy Resource Coordination (DERC)26, ו-Sen...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

הממצאים הניסיוניים הראו כי אסטרטגיית התזמור הדינמית (Dynamic Orchestration Strategy) המוצעת שיפרה את התיאום המבוזר של המזינים, את שילוב האנרגיה המתחדשת, את יציבות המתח, את ניהול הגודש ואת התזמור בעל השהיה נמוכה בהשוואה לבקרת מתח מרכזית (CVC)33, בקרת רב-סוכנים קונבנציונלית (CMAC)21, ויסות מתח מבוסס למידת חיזוק (RLVR)20, תיאום משאבי אנרגיה מבוזרים (DERC)26 וניהול גודש מבוסס רגישות (SBCM)34. בבחינת שיעור ק...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

המחברים מצהירים כי אין להם ניגודי אינטרסים.

תודות

מחקר זה נתמך על ידי לשכת אספקת החשמל של גואנגז'ו של חברת רשת החשמל של גואנגדונג באמצעות הפרויקט "מחקר על טכנולוגיית קבלה אוטומטית של ציוד מדידה במתח נמוך המבוססת על אוטומציה של תהליכים" (קוד פרויקט: 030100KC24120100).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
סט נתוני רשת הפצת מתח נמוך 236-BusCanizes et al.DOI: 10.5281/zenodo.8274780סט נתוני ייחוס (benchmark) ציבורי המשמש לניתוח סקלאביליות ותיקוף בקנה מידה גדול של המסגרת המוצעת
יחידה לעיבוד מרכזי (CPU)Intel CorporationIntel Core i9-12900K (16-Core)משמש לניהול סימולציות ולהרצת הסביבה
מודול לניתוח רגישות לעומסמודול בפיתוח עצמיZenodo DOI: 10.5281/zenodo.21423239מבצע חישוב רגישות לעומס בזמן אמת ותעדוף מזינים
CUDA ToolkitNVIDIA CorporationCUDA 12.1פלטפורמת חישוב GPU המשמשת לאימון מואץ של מודלי PyTorch
ספריית cuDNNNVIDIA CorporationcuDNN 9.3.0ספרייה להאצת רשתות עצביות עמוקות המשמשת עם CUDA
סימולטור דינמי מותאם לרשת מתח נמוך (LV)מודול בפיתוח עצמיVersion 1.0פלטפורמת סימולציה שפותחה על ידי המחברים, המוממשת באמצעות Python ו-PyTorch עבור ניסויי תזמור מזינים דינמיים. פרטי המימוש מופיעים בסעיפי השיטות ובזמינות הנתונים.
ספרייה לעיבוד נתוניםpandas Development Teampandas 2.2.2משמשת לעיבוד מקדים, חילוץ מאפיינים, נרמול וניהול נתוני סדרות זמן
מסגרת ללמידה עמוקהPyTorch FoundationPyTorch 2.3.1משמשת למימוש מודל למידת חיזוק רב-סוכנים (MARL), אימון רשתות עצביות ואופטימיזציה של מדיניות
מודול תקשורת סוכנים מבוזרמסגרת בפיתוח עצמיZenodo DOI: 10.5281/zenodo.21423239מאפשר תקשורת מבוזרת והחלפת מדיניות שיתופית בין סוכנים חכמים
סט נתוני FeederBWTreutlein et al.DOI: 10.5281/zenodo.17831177סט נתונים ציבורי המכיל מדידות של מזיני מתח נמוך מהעולם האמיתי, ייצור מאנרגיה מתחדשת ופרופילי הפעלה
יחידה לעיבוד גרפי (GPU)NVIDIA CorporationGeForce RTX 3090, 24 GB GDDR6Xמאיץ חומרה המשמש לאימון רשתות עצביות ולחישוב מקבילי
סביבת למידת חיזוק רב-סוכניםFarama FoundationGym 0.26.2סביבת למידת חיזוק מותאמת אישית לאינטראקציה ואימון של סוכנים חכמים באופן שיתופי
ספרייה לחישוב נומריNumPy DevelopersNumPy 1.26.4משמשת לחישובים נומריים, מניפולציה של טנזורים ופעולות מטריציוניות
מערכת הפעלהCanonical Ltd.Ubuntu 22.04.5 LTS (64-bit)מערכת הפעלה ששימשה לכל הסימולציות וניסויי למידת החיזוק
שפת התכנות PythonPython Software FoundationPython 3.11.9שפת התכנות העיקרית ששימשה למימוש האלגוריתם, לסימולציה ולפיתוח המודל
זיכרון מערכתLenovo64 GB DDR5 RAMזיכרון מערכת מותקן המשמש לסימולציית MARL בקנה מידה גדול ולעיבוד נתונים.
מודול לניטור יציבות מתחמודול בפיתוח עצמיZenodo DOI: 10.5281/zenodo.21423239מעריך באופן רציף את יציבות המתח והעמידה בתקנים במהלך תזמור המזינים

מקורות

  1. Ahmed F, et al. A multi-agent reinforcement learning framework for voltage-constrained incentive demand response in PV-rich low-voltage distribution systems. IEEE Access. 2026;14:45410–22.
  2. Lamsal D, Sreeram V, Mishra Y, Kumar DS. Smoothing control strategy of wind and photovoltaic output power fluctuation by considering the state of health of battery energy storage system. IET Renew Power Gener. 2019;13:578–86.
  3. Allahmoradi S, et al. Data-driven Volt/VAR optimization for modern distribution networks: A review. IEEE Access. 2024;12:71184–204.
  4. O'Connell N, Pinson P, Madsen H, O'Malley M. Benefits and challenges of electrical demand response: A critical review. Renew Sustain Energy Rev. 2014;39:686–99.
  5. Hossain MS, Madlool NA, Al-Fatlawi AW, El Haj Assad M. High penetration of solar photovoltaic structure on the grid system disruption: An overview of technology advancement. Sustainability. 2023;15:1174. https://doi.org/10.3390/su15021174
  6. Rahmouni A. Impact of static reactive power compensator (SVC) on the power grid. WSEAS Trans Electron. 2020;11:96–104.
  7. Chandran CV, et al. Application of demand response to improve voltage regulation with high DG penetration. Electr Power Syst Res. 2020;189:106722. https://doi.org/10.1016/j.epsr.2020.106722
  8. Wang Q, et al. A demand response strategy in high photovoltaic penetration power systems considering the thermal ramp rate limitation. IEEE Access. 2019;7:163814–22.
  9. Wang Z, et al. How to effectively implement an incentive-based residential electricity demand response policy? Experience from large-scale trials and matching questionnaires. Energy Policy. 2020;141:111450. https://doi.org/10.1016/j.enpol.2020.111450
  10. van Tilburg J, Siebert LC, Cremer JL. MARL-iDR: Multi-agent reinforcement learning for incentive-based residential demand response. arXiv. 2023. https://arxiv.org/abs/2304.04086
  11. Bahrami S, Chen YC, Wong VWS. Deep reinforcement learning for demand response in distribution networks. IEEE Trans Smart Grid. 2021;12:1496–506.
  12. Li J, et al. Model-free reinforcement learning economic dispatch algorithms for price-based residential demand response management system. IEEE Trans Ind Cyber-Phys Syst. 2023;1:123–35.
  13. Zheng S, et al. Incentive-based integrated demand response for multiple energy carriers under complex uncertainties and double coupling effects. Appl Energy. 2021;283:116254. https://doi.org/10.1016/j.apenergy.2020.116254
  14. Nainar K, Pillai JR, Bak-Jensen B. Incentive price-based demand response in active distribution grids. Appl Sci. 2020;11:1–17.
  15. Nguyen Duc T, et al. Impact of renewable energy integration on a novel method for pricing incentive payments of incentive-based demand response program. IET Gener Transm Distrib. 2022;16:1648–67.
  16. Pourramezan A, Samadi M. A novel approach for incorporating incentive-based and price-based demand response programs in long-term generation investment planning. Int J Electr Power Energy Syst. 2022;142:108315. https://doi.org/10.1016/j.ijepes.2022.108315
  17. Mathew A, Roy A, Mathew J. Intelligent residential energy management system using deep reinforcement learning. IEEE Syst J. 2020;14:5362–72.
  18. Khan DA, Arshad A, Lehtonen M, Mahmoud K. Combined DR pricing and voltage control using reinforcement learning based multi-agents and load forecasting. IEEE Access. 2022;10:130839-49.
  19. Zhang X, et al. An edge-cloud integrated solution for buildings demand response using reinforcement learning. IEEE Trans Smart Grid. 2021;12:420–31.
  20. Duan J, et al. Deep-reinforcement-learning-based autonomous voltage control for power grid operations. IEEE Trans Power Syst. 2020;35:814–7.
  21. Wang S, et al. A data-driven multi-agent autonomous voltage control framework using deep reinforcement learning. IEEE Trans Power Syst. 2020;35:4644–54.
  22. Turitsyn K, Sulc P, Backhaus S, Chertkov M. Options for control of reactive power by distributed photovoltaic generators. Proc IEEE. 2011;99:1063–73.
  23. Bedawy A, et al. Optimal voltage control strategy for voltage regulators in active unbalanced distribution systems using multi-agents. IEEE Trans Power Syst. 2020;35:1023–35.
  24. Bedawy A, Yorino N, Mahmoud K. Management of voltage regulators in unbalanced distribution networks using voltage/tap sensitivity analysis. Presented at: International Conference on Innovative Trends in Computer Engineering (ITCE); Aswan, Egypt; 2018. https://doi.org/10.1109/itce.2018.8316651
  25. Smith O, et al. The effect of renewable energy incorporation on power grid stability and resilience. Sci Adv. 2022;8:eabj6734. https://doi.org/10.1126/sciadv.abj6734
  26. Charbonnier F, Morstyn T, McCulloch MD. Scalable multi-agent reinforcement learning for distributed control of residential energy flexibility. Applied Energy. 2022;314:118825. doi:10.1016/j.apenergy.2022.118825
  27. Dugan J, Mohagheghi S, Kroposki B. Application of mobile energy storage for enhancing power grid resilience: A review. Energies. 2021;14:6476. https://doi.org/10.3390/en14206476
  28. Panossian N, et al. Challenges and opportunities of integrating electric vehicles in electricity distribution systems. Curr Sustain Renew Energy Rep. 2022;9:27–40.
  29. Guan Q, et al. Dynamic-aware deep reinforcement learning for heterogeneous fleet-based capacitated electric vehicle routing problems. Applied Energy. 2026;413:127757. https://doi.org/10.1016/j.apenergy.2026.127757
  30. Guan Q, et al. Heterogeneous attention-driven deep reinforcement learning for solving EVRPs with pickup-delivery and time windows. Applied Energy. 2026;407:127355. https://doi.org/10.1016/j.apenergy.2026.127355
  31. Treutlein M, et al. Real-world energy data of 200 feeders from low-voltage grids with metadata in Germany over two years (Version v1.0) [Data set]. Zenodo; 2025. https://doi.org/10.5281/zenodo.17831177
  32. Canizes B, Castro F, Silveira V, Vale Z. 236-Bus Low Voltage Distribution Network Data [Data set]. Zenodo; 2023. https://doi.org/10.5281/zenodo.8274780
  33. Xi, Haikuo & Chen, Can & Bai, Xuesong & Ma, Yuan & Ding, Jiachao & Chen, Qifang. (2024). Centralized and decentralized combined voltage control for distribution network with high penetration PV connected. Journal of Physics: Conference Series. 2771. 012040. 10.1088/1742-6596/2771/1/012040.
  34. Singh AK, Parida SK. Congestion management with distributed generation and its impact on electricity market. International Journal of Electrical Power & Energy Systems. 2013;48:39–47. doi:10.1016/j.ijepes.2012.11.025.
  35. Gooi HB, Wang T, Tang Y. Edge intelligence for smart grid: A survey on application potentials. CSEE Journal of Power and Energy Systems. 2023;9(5):1623–1640. https://doi.org/10.17775/CSEEJPES.2022.02210
  36. Molokomme DN, Onumanyi AJ, Abu-Mahfouz AM. Edge intelligence in smart grids: A survey on architectures, offloading models, cyber security measures, and challenges. Journal of Sensor and Actuator Networks. 2022;11(3):47. https://doi.org/10.3390/jsan11030047
  37. Chang Z, Liu S, Xiong X, Cai Z, Tu G. A survey of recent advances in edge-computing-powered artificial intelligence of things. IEEE Internet of Things Journal. 2021;8(18):13849–13875.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

גלה מאמרים נוספים

למידת חיזוק רב-סוכניםניהול עומסיםרגישות מתחשילוב אנרגיה מתחדשת מבוזרתתיאום מבוזרניטור מזיניםחסינות תפעולית
צרו קשר
המליצו לספרייה

פרטיות

תנאי שימוש

מדיניות

זכויות יוצרים © 2026 MyJoVE Corporation. כל הזכויות שמורות.