מאמר שיטה

גישה משולבת של מתאם תכונות משוקללות לשיפור זיהוי רגשות מבוסס EEG בין מערכי נתונים מגוונים

DOI:

10.3791/69073

⸱

17 באפריל 2026

 ,  ,  ,  , 
1School of Computer Science and Engineering, Galgotias University, 2Department of Computer Science and Engineering, National Institute of Technology Patna, 3Department of Information Technology, GNIOT Group of Institutions

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המאמר מתמקד בזיהוי רגשות מבוסס EEG, תחום מתפתח במדעי המוח ומחשוב רגשי. השיטות הליניאריות המסורתיות אינן מספקות כי אי אפשר לייצג מבנה רגשי מורכב בווידאו. כדי להתמודד עם זה, המחברים מציעים מודל חדש, קורלציה משולבת עם מאפיינים משוקללים (CWFC), שתופס את הקשרים הרגשיים. לאחר סינון מעבר פס, המודל משמש ניתוח רכיבים עצמאיים (ICA), טרנספורם גל דיסקרטי (DWT) וטרנספורם פורייה מהיר (FFT) לחילוץ תכונות לא ליניאריות מ-EEG. במקרה זה, התכונה הטובה ביותר נבחרת על ידי LSTM ותכונות אלו מוערכות על ידי מסווג יער אקראי. הקדמה: הגברת נתונים מבוססת רשת עוינת גנרטיבית (GAN) מספקת דיוק של 88% (עבור ערך) ו-86% (להערכת תוצאות המבחנים). העוררות המבוססת על GAN המוצע) במאגר הנתונים של DEAP, שהוא גבוה מאוד בנתונים, הצליח לשפר את הביצועים בביצועים. המודל מאשר ש-CWFC מועיל בכל מערכי נתונים, שכן הוא מספק דיוק סיווג כולל של 89% למצבים רגשיים במאגר SEED.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

זיהוי רגשות באמצעות אותות EEG הוא תחום מחקר פעיל במחשוב רגשי ובמדעי המוח, המסייע למדענים במסע להבין את תהליכי המוח המעורבים ברגשות. בניגוד לעבודות הקיימות שהתמקדו בתכונות EEG ליניאריות, העבודה הנוכחית מתמקדת בתכונות לא ליניאריות כדי לאפיין טוב יותר את השינויים העדינים בתגובה הרגשית. בהשראת זאת, במאמר הנוכחי, השיטה המוצעת נקראת Combined Weighted Feature Correlation (CWFC) כדי לחקור את השפעת רכיבים לא ליניאריים על ביצועי זיהוי רגשות. כשלב ראשון, נתוני ה-EEG נאספים ומעובדים מראש באמצעות מסנני פס כדי להפריד בין תחומי התדרים כגון בטא, אלפא, גמא, דלתא ותטא. כדי לזהות דפוסים רגשיים מורכבים, מתבצע חילוץ תכונות באמצעות ניתוח רכיבים עצמאי (ICA), DWT (טרנספורמציית גל דיסקרטית) ו-FFT (טרנספורם פורייה מהיר). תכונות אלו יכולות להיות משולבות במודל CWFCC כדי לשפר את עוצמתו וכן את דיוק החיזוי הכולל. לאחר מכן מיישמים מסווג יער אקראי כדי לראות עד כמה התכונות המשולבות הללו משמעותיות. העבודה המוצעת משלבת שדרוג נתוני GAN לאחר בחירת תכונות אופטימלית (עם דגש על LSTM). במאגר הנתונים של DEAP, שדרוג זה מביא לדיוק מדהים של 88% ערך ו-86% דיוק עוררות, מה שמשפר משמעותית את דיוק הזיהוי של רגשות. המודל המוצע השיג דיוק ערכיות ועוררות של 62% ו-65%, בהתאמה, ב-DEAP המוקדם ללא שדרוג נתוני GAN. יתרה מזאת, מודל זה יכול להבחין בין מערך נתונים של SEED במהלך מצבי רגש נייטרליים, שלילי וחיובי בדיוק ממוצע של 89%. המאמר המוצע מכריז על ביצועים מעולים של מודל CWFC עם הרחבת נתונים מבוססת GAN על EEG לזיהוי רגשות על מערכי נתונים שונים באמצעות ניתוח מעמיק ומחקר השוואתי.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

זיהוי רגשות חשוב באינטראקציה אנושית ובתקשורת אנושית. כדי לבסס קשרים בין-אישיים מוצלחים, יש להיות מסוגלים לתפוס ולהבין רגשות, ולכן יש לכך השלכות רחבות היקף בתחומים מגוונים כמו פסיכולוגיה, נוירולוגיה ואינטראקציהבין אדם למחשב. בשנים האחרונות, ה-BCI (ממשק מוח-מחשב) המבוסס על אלקטרואנצפלוגרם (EEG) היה כלי ראוי שעליו התמקדו חוקרים לזיהוי רגשות. למרות ש-BCI מבוסס EEG מספק חלון ישיר לפעילות החשמלית של המוח האנושי וכלי מחקר מתאים לחקר מצבים רגשיים. הסיווג האוטומטי והמדויק של מצבי רגש שינה באופן יסודי את תחום זיהוי הרגש באמצעות טכניקות למידת מכונה ו-BCI2 מבוסס EEG.

בעבודה הקודמת הוצג זיהוי רגשות וחשיבותו בתחומים שונים, כולל בריאות, אינטראקציה בין אדם למחשב, ומדעי המוח3. למרות התקדמות משמעותית, נותר פער מחקרי ברור במחקרי זיהוי רגשות מבוססי EEG הנוכחיים. ראשית, גישות שהוצגו בספרות משתמשות בחילוץ תכונות חד-תחום (למשל, תכונות ספקטרליות או תדר זמן) או בתיאורים לא ליניאריים בודדים הזמינים וניתנים להפרדה, שאינם מציעים מספיק למידול על ידי עבודה עם ייצוג חלקי של אותות EEG מורכבים ולא-סטציונריים מטבעם. שנית, בעוד שמגוון תכונות לא ליניאריות דווחו כבעלות כוח הבחנה עליון, הן בדרך כלל משמשות בנפרד ומבודדות את הקשרים בין תכונות אלו בין תחומים. מגבלה זו הופכת אותם לפחות מסוגלים למודל את הדינמיקה הרב-קנית ורמת המקור הכרוכה בהפעלת מוח רגשי. שלישית, רוב שיטות הלמידה העמוקה מיועדות לאופטימיזציה של ביצועי הסיווג אך ללא התחשבות בפרשנות תכונות, הפחתת כפילויות ועמידות בנוכחות חוסר איזון מעמדי. כתוצאה מכך, הכללה בין מערכי נתונים היא עדיין בעיה פתוחה בין מחקרים עם מערכות אלקטרודות שונות, קצב דגימה (128–256 הרץ) ומשך הקלטה (30–60 שניות). הממדים העיקריים של אינטליגנציה רגשית מוצגים באיור 1.

כדי להתגבר על חסרונות אלו, במאמר זה אנו מציגים מסגרת Combined Weighted Feature Concatenation (CWFC) שמאגדת תכונות לא ליניאריות רב-תחומיות בארכיטקטורה אחת. במקום להתייחס ל-ICA, DWT ו-FFT כשיטות חילוץ עצמאיות כמו בגישות קונבנציונליות, אנו מודלים פירוק ברמת המקור (ICA), דינמיקה זמנית רב-רזולוציה (DWT) וייצוגי עוצמה ספקטרלית (FFT) באמצעות קורלציה משוקללת. מבנה זה יכול לסייע למודל להשתמש במידע עצבי משלים ולהפחית יתירות כדי להגדיל את יכולת ההבחנה. כמו כן, גם דירוג חשיבות התכונות וגם הרחבה מבוססת GAN משמשים להשגת עמידות בדגימות EEG לא מאוזנות הנמוך ביותר. באמצעות שילוב יחסי תכונות רב-מודאליים ותלות זמנית באמצעות סיווג LSTM, המודל המשולב משפר הכללה בתנאי רכישת EEG מגוונים. לכן, התרומה המרכזית של עבודה זו היא להתגבר על חוסר האינטגרציה בין ייצוגי EEG לא ליניאריים וחוסר הכללה מספקת בשיטות קיימות, ולהכניס מסגרת שיטתית, שחזורית ויציבה לזיהוי רגשות בתוך יישומי BCI במציאות.

figure-introduction-1
איור 1: שלבי האינטליגנציה הרגשית. שלבי האינטליגנציה הרגשית מייצגים כיצד ניתן להפיק זיהוי רגשי מאותות EEG, ולאחר מכן משמשים באבחון ומעקב אחר בעיות רגשיות בהערכות בריאות הנפש. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

תכונות EEG לא ליניאריות למחקר זיהוי רגשות מספקות הבנה מעמיקה יותר של התהליכים העצביים המעורבים בעיבוד רגשי. בהיותה טכניקה לא פולשנית ורזולוציה זמנית גבוהה ורגישה לדינמיקה עצבית מהירה, EEG שימשה באופן נרחב לחקר פעילות מוחית הקשורה למצבים רגשיים. שיטות לא ליניאריות מתאימות במיוחד לחקר אותות EEG, בשל אופיים הלא-סטציוני והמורכב, המהווה מודל טוב יותר הן לפעילות המעוררת והן לפעילות המושרה בתהליכים רגשיים. במגוון מודלים חישוביים, רגש מיוצג בהתייחסות למודלים תיאורטיים קיימים כגון מודל רגשבסיסי 4 (BEM) ומודל Circumplex 5,6. שתי תפיסות שונות מבנית ופונקציונלית של רגש הן מודל הרגש הבסיסי, המניח שקיים סט של רגשות יסודיים בסיסייםמבוססי ביולוגיה 7,8 (במיוחד אהבה), ומודל Circumplex שמארגן את הרגש לפי שני ממדים בסיסיים: ערך9 (חיובי–שלילי) ועוררות10,11 (נמוך–גבוה). מסגרת הערכיות-עוררות המוצגת באיור 2 נפוצה במחקרי זיהוי רגשות מבוססי EEG, בעיקר בשל התאמותה למערכי הנתונים הסטנדרטיים ויכולת היישום שלה למידול מצבים רגשיים רציפים. ייצוג מבוסס ממדים זה מציע אמצעי שיטתי וכמותי למיפוי פעילות עצבית לקטגוריות רגשיות, ובכך יכול להקל על סיווג מבוסס למידת מכונה.

figure-introduction-2
איור 2: ייצוג רגש בין ערכיות לעוררות. דיאגרמת שני צירים המציגה מצבים רגשיים, כאשר הוולנס מציין רגשות חיוביים או שליליים והעוררות משקפת עוצמה רגשית נמוכה עד גבוהה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

עוררות היא עוצמה רגשית, ערך חיובי או שלילי. ניתוח רגשות מתמקד לאחרונה ב-EEG לחקירת מתאמים עצביים של רגשות. חילוץ תכונות חשוב מאוד, שממפה את ה-EEG לכמויות בזמן, תדירות ותחום זמן–תדר. חלק מהמאפיינים הלא-ליניאריים הנפוצים ביותר הם אנטרופיית גלים12, ממד קורלציה13, והמחקר המוצע הזה משתמש בגישה משוקללת משולבת שהיא מיזוג של DWT ו-ICA ו-FFT13. מערכי נתונים סטנדרטיים של DEAP14 ו-SEED15 זמינים להערכה ניתנת לשחזור. תכונות ליניאריות מסורתיות לעיתים קרובות אינן מספקות עוד, מה שדורש עיצוב גישות לא ליניאריות16. דפוסי רגש מבוססי תדרים מוצגים באיור 2, ומשקלי התרומות של תחומי EEG מפורטים בטבלה 1.

תחום תדרים שונהטווח תחום התדרים בהרץפונקציות של תחום התדרים בזיהוי רגשות
גמאיותר מ-30 הרץשילוב נתונים רגשיים וסינכרון של מספר אזורים במוח במהלך עיבוד רגשי יכול להשתקף בפעילות גמא.
בטאבין 13 ל-30 הרץשינויים בכוח הבטא יכולים להיות סימן לעוררות רגשית ולתגובות מוטוריות הקשורות לתצוגות רגשיות.
אלפאבין 8 ל-13 הרץמצבים רגשיים ושינויים בכוח האלפא, במיוחד אסימטריית אלפא, קשורים זה לזה. כאשר מגורה רגשית ומקשיבה יותר לקלטים רגשיים, לעיתים קרובות נראית ירידה בכוח האלפא.
תטאבין 4 ל-8 הרץחוויות רגשיות יכולות להיות קשורות לעלייה בכוח התטא, מה שעשוי לסייע בקידוד ושליפה של זיכרונות רגשיים.
דלתא0.5-4 הרץעלייה בפעילות דלתא בהקשר של זיהוי רגשות עשויה להצביע על מצב רגשי רגוע או מנוחה.

טבלה 1: פונקציות תחום התדרים של EEG בזיהוי רגשות יחד עם טווח שונה. טבלה זו מתארת את תחומי התדרים המוכרים של EEG, מגדירה את טווחי התדרים המתאימים שלהם, ומתארת את המשמעות התפקודית שלהם במחקר זיהוי רגשות. הוא מדגיש כיצד כל תחום קשור לתהליכים קוגניטיביים ורגשיים שונים, ומספק בסיס לפרשנות אותות EEG בסיווג מצבים רגשיים.

הפיתוח האחרון של זיהוי רגשות מבוסס EEG מונע על ידי פריצות דרך בלמידה עמוקה ועיבוד אותות לא ליניארי. מודלים מבוססי CNN השיגו ביצועים גבוהים באמצעות בחירת אלקטרודות וכיוונון היפרפרמטר17, בעוד שמודל CNN בלתי תלוי בנושא המשתמש באנטרופיה דינציאלית דינמית שיפר את יכולת הלבישה והפחית אתהמורכבות 18. אבל מודלים לבעיה זו בדרך כלל אינם ניתנים להכללה בין נושאים שונים. כדי למודל תלות רצפים, הוצעו ארכיטקטורות LSTM מבוססות קשב עם מנגנוני התאמת תחום,19,20 שדורשות חישוב גדול וחסרות פרשנות. מעבר לתחום הרשתות העמוקות, שיטות לא-ליניאריות וטופולוגיות זכו גם הן לעניין רב. באמצעות ניתוח מרחב פאזה מבוסס הומולוגיה מתמשכת, הושגה הבחנה מוגברת עבור מצבים רגשיים עדינים21,22. שיטות אנסמבל ששילבו יציאות אנטרופיה ופרקטליות עם בחירות תכונות שונות היו ידועות כמנבאות משופרות. מודלים היברידיים של CNN–LSTM23 עקפו את סיווג הערכיות-עוררות ישיר ב-DEAP24, ו-CNNs רב-עמודיים ניצלו את ההתפלגות המרחבית של האלקטרודות ביעילות25. מפות תכונות טופוגרפיות26,27 (TOPO-FM) ומפות תכונות הולוגרפיות (HOLO-FM) הוערכו על מספר מערכי נתונים זמיניםלציבור 28,29,30. למרות שתוצאות אלו מראות התקדמות משמעותית בדיוק הסיווג, עדיין קיימים אתגרים בנוגע להכללה חוצת תחומים ופרשנות של המודל ועמידות ביחס להטרוגניות תנאי רכישת EEG. מחבר31 מציע סקר מקיף על האתגרים, הגישות והכיוונים המרכזיים בתחום זה, תוך התמקדות באיכות אותות, חילוץ תכונות ויכולת הרחבה במחשוב רך יישומי. בעבודה קשורה32, מדד קישוריות פונקציונלית מתקדם תיקן את הקורלציה בין תחומי תדר EEG שונים בזיהוי תנאי נהיגה שליליים, תוך הדגשת חוזק הקישוריות הרב-תחומית למעקב התנהגותי בזמן אמת.

ביחס רחב יותר של דימות מוחי33,36, סקירה חזקה של שיטות למידה רב-מודליות המשלבות אותות שונים כגון EEG והבעות פנים או נתונים פיזיולוגיים לזיהוי רגשות אמין יותר, בהתייחס להדגמת הפוטנציאל של שילוב מודליות שמעלה משמעותית את הביצועים במערכות בינה מלאכותית. מלבד DEAP ו-SEED, מערך הנתונים DREAMER הוא תוספת עדכנית למדדים מייצגים במחקרי זיהוי רגשות מבוססי EEG. DREAMER הוצע על ידי קציגיאניס ורמזאן37, שמכיל אותות EEG ו-ECG שנקלטים מנבדקים שצופים בגירויים רגשיים אודיו-ויזואליים באמצעות מכשיר אלחוטי זול. תוכן מאגר הנתונים מתאים למידול ממדי של רגשות עם היררכיות של ערכיות, עוררות ודומיננטיות בהתאם למודל ההרגשה הסביבתית. בזכות הפרדיגמה הניסיונית המחושבת שלו, מערכי הנתונים של DREAMER שימשו רבות להערכת למידה עמוקה ומודלים לזיהוי רגשות בלתי תלויים בנושא. יישומיו יכולים להרשות לעצמם להשוות למאגרי מידע אחרים של ייצוג רגשות ממדיים, והוכח כי הוא מהווה אלטרנטיבה חשובה כמשלימה למאגר הנתונים cirrus dance, DEAP ו-SEED. מערכי נתונים אלו משמשים רבות במחקרי חישוב רגשי וכוללים הקלטות EEG שנאספו בתנאים ניסיוניים מבוקרים עם גירויים רגשיים סטנדרטיים. מאגר נתונים זה כולל אותות EEG בני 32 ערוצים מ-32 נבדקים שקיבלו קטעי וידאו רגשיים. הנתונים מסומנים לגבי ערך ועוררות. SEED: הקלטות EEG מרובות מפגשים של נבדקים במהלך ניסויי עוררת רגשות מבוססי סרט עם תוויות רגשיות קטגוריות. DREAMER הוא מערך נתונים של EEG ו-ECG שנקלט במהלך השראת רגשות באמצעות הצגה של גירוי אודיו-ויזואלי. כל מערכי הנתונים נאספו במקור באמצעות פרוטוקולים סטנדרטיים, תצורות חומרה ואימות נהלי תיוג כפי שדווחו בפרסומיהם המקוריים. כאן, אותות EEG מתוך מאגרי נתונים אלו נותחו במחקר זה.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחקר לא כלל מעורבות ישירה עם נבדקים אנושיים. כל מאגרי הנתונים ששימשו במחקר זה נאספו מפלטפורמות נגישות לציבור והיו בשימוש בהתאם למדיניות השימוש המוצהרת שלהם. לכן, לא היה צורך באישור אתי פורמלי.

1. הכנה לסביבה חישובית

  1. הכינו סביבת פייתון (גרסה 3.8 ומעלה) על תחנת עבודה סטנדרטית.
  2. התקן TensorFlow (v2.x), Keras, Scikit-learn, NumPy, SciPy, MNE ו-PyWavelets באמצעות pip.
  3. קבע את ה-seed האקראי (seed = 42) ב-NumPy וב-TensorFlow כדי להבטיח תוצאות ניסוי עקביות.

2. רכישת ומבנה מערכי נתונים (DEAP, SEED ו-DREAMER)

  1. קבלו את מערכי הנתונים EEG ממאגרי DEAP, SEED ו-DREAMER הציבוריים. מערכי הנתונים הגולמיים של EEG ששימשו במחקר זה זמינים דרך רשומות ציבוריות. מערך הנתונים DEAP (http://www.eecs.qmul.ac.uk/mmv/datasets/deap/), מאגר SEED (מאגר מעבדת BCMI: http://bcmi.sjtu.edu.cn/~seed/seed.html) ומערך הנתונים DREAMER ניתנים לגישה דרך IEEE Data Port (https://ieee-dataport.org/documents/dreamer-dataset).
  2. להפיק הקלטות EEG גולמיות (.dat) לכל הנבדקים והניסויים.
  3. המרו את ההקלטות לפורמט מערך NumPy וסידרו אותן לפי נושא וניסיון לעיבוד.
  4. קרא את מאגר הנתונים של DEAP והוציא הקלטות EEG לכל הנבדקים. לשמור על סך של 32 ערוצי EEG (מ-FP1 עד O2) ולהסיר אותות פיזיולוגיים שאינם EEG.
  5. הורד את מאגר הנתונים של SEED וחלץ את כל הקלטות ה-EEG מכל ניסוי. הוריד דגימה ל-200 הרץ אם צריך. הפעילו מסנן פס 0–75Hz וחלקו את האותות למערכים לאורך תקופה (eeg_1 ל-eeg_15).
  6. סמן כל פריים ברגש (−1: שלילי, 0: ניטרלי, +1: חיובי) וסידר מחדש את הנתונים לפי ערוץ × זמן.
  7. קבל את מאגר הנתונים של DREAMER ושלף את כל הקלטות ה-EEG של הנבדקים / הניסויים. בחר את ערוצי ה-EEG הזמינים וגם את התוויות הרגשיות.
  8. סווג כל ניסוי לחלונות קטנים עם משך זמן מוגדר, ועצב מחדש את הנתונים כמטריצות מובנות לפי נושא עם משתנים קטגוריים מקודדים לציוני ערכיות, עוררות ודומיננטיות.
    הערה: המפרט המפורט של מאגר הנתונים המעובד מראש של DEAP המשמש לניתוח מסוכם בטבלה 2, בעוד שאיור 3 ממחיש את התפלגות ציוני הערכיות והעוררות.
אות שהוקלט בשלבים שוניםמכשיר EEG (אלקטרואנצפלוגרם) על ידי מאגר נתונים של DEAP
נתונים שנאספו24 מקצועות (עונה 2, עונה 4, עונה 5, עונה 6, עונה 07, עונה 8, עונה 9, עונה 10, עונה 11, עונה 12, עונה 13, עונה 14, עונה 15, עונה 16, עונה 17, עונה 18, עונה 19, עונה 20, עונה 21, עונה 22, עונה 23, עונה 24, עונה 25, עונה 26)
מדדי תעלות"Fp1", "AF3", "F3", "F7", "FC5", "FC1", "C3", "T7", "CP5", "CP1", "P3", "P7", "PO3", "O1", "Oz", "Pz", "Fp2", "AF4", "Fz", "F4", "F8", "FC6", "FC2", "Cz", "C4", "T8", "CP6", "CP2", "P4", "P8", "PO4", "O2"
גודל החלון256
אין וידאו/ניסיון40
גודל צעד16 (כל 0.125 שניות מעודכן פעם אחת)
קצב דגימה128 הרץ
רשימת מקצועות32
רגשותעוררות, ערך

טבלה 2: הסבר על עיבוד מקדים של מערך נתונים. סיכום שלבי הקדם-עיבוד של מערכי EEG, כולל סינון, הסרת ארטיפקטים, סגמנטציה ונרמול, שבוצעו לפני חילוץ תכונות ואימון מודלים.

figure-protocol-1
איור 3: ערך נתונים של DEAP - ייצוג עוררות של 40 הנתונים הראשונים. מיפוי ערך-עוררות של 40 ניסויי EEG הראשונים מתוך מאגר הנתונים של DEAP, הממחיש את התפלגות המצב הרגשי והשונות בין שני הממדים. ייצוג זה מספק תובנות לגבי התפשטות התגובות הרגשיות ותומך בתהליך חילוץ התכונות לסיווג רגשות. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

הערה: מיקומי אלקטרודות EEG באזורים שונים במוח מוצגים באיור 4. תצורת הערוץ עוקבת אחרי מיקומי אלקטרודות EEG סטנדרטיים בראש המשמשים לאיסוף נתונים במאגרי הנתונים DEAP, SEED ו-DREAMER. האלקטרודות מפוזרות על פני אזורים פרונטליים, טמפורליים, פריאטליים ואוקסיפיטליים, ומאפשרות כיסוי של פעילות עצבית מקומית ומפוזרת הקשורה לעיבוד רגשי.

figure-protocol-2
איור 4: ייצוג אלקטרודות באות EEG. מיקום אלקטרודות במערכת הבינלאומית EEG 10–20 לרכישת אותות קרקפת. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

3. דגימת אות מחדש וחלונות חלונות

  1. הדגימה נמוכה של הקלטות EEG של SEED מ-512 הרץ עד 200 הרץ באמצעות scipy.signal.resample() להפחתת מורכבות חישובית. לאחר מכן מחלקים כל ניסוי לחלונות באורך קבוע של 256 דגימות עם גודל שלב של 16 דגימות.
  2. שמור על קצבי הדגימה המקוריים עבור DEAP ו-DREAMER (מערכי נתונים של 128 הרץ). גודל שלב 16 דגימות (חפיפה של 0.125 שניות ב-128 הרץ).
  3. חלק כל ניסוי EEG לחלונות של 256 דגימות עם גודל שלב של 16 דגימות ליצירת מקטעים חופפים.

4. סינון פס ופירוק תדרים

  1. הגדר את תדירות הדגימה (fs) והגדר את סדר המסננים ל-2. מחשב את תדר נייקוויסט (0.5 × fs) ומנרמל את תדרי החיתוך.
  2. עצב מסנן פס Butterworth באמצעות scipy.signal.butter().
  3. החלו סינון אפס פאזה באמצעות scipy.signal.filtfilt() כדי למנוע עיוות פאזה.
  4. חלצו חמישה תחומי תדר EEG קנוניים: דלתא (0.5–4 הרץ), תטא (4–8 הרץ), אלפא (8–13 הרץ), בטא (13–30 הרץ) וגמא (30–45 הרץ).

5. הסרת ממצאים באמצעות ניתוח רכיבים עצמאי

  1. החלו את FastICA מ-Scikit-learn עם מספר הרכיבים השווה למספר ערוצי EEG.
  2. לזהות רכיבים ארטיפקטיים באמצעות מדדים סטטיסטיים כגון שונות וקורטוזיס.
  3. הסר את הרכיבים שזוהו ושחזר את אותות ה-EEG המנוקים לניתוח נוסף.

6. חילוץ תכונות אנטרופיה דיפרנציאלית מבוסס CWFC

  1. חשב את השונות של כל מקטע EEG מסונן לאורך ציר הערוץ.
  2. חשב אנטרופיה דיפרנציאלית באמצעות:
  3. להפיק ערכי אנטרופיה לכל תחומי התדרים וערוצי EEG.
  4. שמרו את תכונות האנטרופיה המתקבלות במטריצת תכונות מובנית.

7. חילוץ תכונות בטרנספורמציית גל דיסקרטית (DWT)

  1. בצע פירוק גל רב-רמות באמצעות גל האם "db4".
  2. לפרק כל קטע EEG עד רמה 4.
  3. חלץ מתארים סטטיסטיים (ממוצע, שונות, אנרגיה, אנרגיה) מכל רמת פירוק.
  4. הוספת תכונות נגזרות מ-DWT למטריצת התכונות הקיימת.

8. חילוץ תכונות ספקטרליות באמצעות FFT

  1. החלו טרנספורם פורייה מהיר באמצעות numpy.fft.fft() על כל מקטע EEG.
  2. חשב צפיפות הספק ספקטרלית בין תחומי התדרים המוגדרים.
  3. חלץ ערכי הספק של כל הערוצים.
  4. לחבר תכונות מבוססות FFT עם תכונות שהופקו בעבר.

9. בחירת תכונה דרך יער אקראי

  1. אמן מסווג יער אקראי עם 300 עצים באמצעות קריטריון הזיהום של ג'יני.
  2. הגדר עומק עץ מקסימלי ל-20 ואפשר דגימת בוטסטרפ עם הערכה מחוץ לתיק.
  3. דרג תכונות על בסיס ציוני חשיבות.
  4. הסר תכונות מתחת לסף חשיבות מוגדר מראש כדי להפחית יתירות.

10. חלוקת נתונים

  1. דגימה שכבתית לערבב את מערך הנתונים כך שישמר איזון מעמדי בין קטגוריות רגשיות.
  2. חלק את מערך הנתונים ל-10 קיפולים שווים. בכל איטרציה, השתמש ב-9 קיפולים לאימון וקיפול אחד לבדיקות, ותמיד וודא שכל קיפול מוגדר במבחן פעם אחת.
  3. השתמש בגישה זו לכל קיפול וחשב מדדי ביצועים ממוצעים (דיוק, דיוק, שחזור, ציון F1) בתוספת סטיית תקן כדי לבדוק יציבות המודל.
    הערה: יש לבצע את כל הפיצולים על בסיס דגימה-אחר דגימה, תוך הבטחה שאין מדגמים משותפים בין קבוצות האימון והבדיקה בכל קיפול.

11. הגדלת נתונים באמצעות רשת יריבה גנרטיבית

  1. בנו GAN ברמת תכונה באמצעות Keras Sequential API. הגדר שכבות מחוברות לחלוטין הן לרשתות גנרטור והן לרשתות דיסקרימינטור.
  2. לאמן את ה-GAN ל-200 אפוקים באמצעות וקטורי תכונות מסוג מיעוט. יצר דגימות תכונות סינתטיות מהגנרטור המאומן.
  3. לשמור רק דגימות סינתטיות בעלות ביטחון גבוה כפי שהוערכו על ידי המבחין. ממזג את הדגימות הסינתטיות שנבחרו עם סט האימון המקורי.

12. ארכיטקטורת מודלים של LSTM

  1. בניית מודל LSTM סדרתי באמצעות Keras. הוסף את שכבת ה-LSTM הראשונה עם 128 יחידות נסתרות והגדר return_sequences=true.
  2. הוסף שכבת LSTM שנייה עם 128 יחידות נסתרות. יש להחיל dropout (קצב = 0.3) אחרי כל שכבת LSTM כדי למנוע התאמת יתר.
  3. הוסף שכבת פלט צפופה עם הפעלת SoftMax לסיווג רב-מחלקתי.

13. הרכבת דגמים והכשרה

  1. להרכיב את המודל באמצעות אופטימייזר אדם עם קצב למידה של 0.001.
  2. השתמש באובדן אנטרופיה צולבת קטגורי. תאמן את המודל עם גודל אצווה = 64 ל-80 אפוקים.
  3. החלו עצירה מוקדמת עם סבלנות = 10 בהתבסס על דיוק האימות.

14. הערכת ביצועים

  1. הערך את המודל המאומן באמצעות מערך הנתונים העצמאי של המבחן. חשב מדדי ביצועים כולל דיוק, דיוק, שחזור וציון F1.
  2. שמור את המשקלים ותוצאות ההערכה של המודל המאומן לצורך שחזור. צינור פעולה מאורגן כזה מבטיח שהמסגרת המוצעת תוכל להיות משוחזרת בקלות.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

איסוף שני מערכי EEG שונים; DEAP ו-SEED היו השלב הראשון של הניתוח. איור 5 מראה שהגרף של ערך-עוררות של LAHV, HALV, LALV ו-HAHV הם צורה מקוצרת של עוררות נמוכה, ערכיות גבוהה, ערכיות נמוכה עוררות גבוהה, ערכיות נמוכה של עוררות נמוכה, וערכיות נמוכה ועוררות גבוהה גבוהה בהתאמה. דווחו ארבע קטגוריות של תגובה פסיכולוגית: HAHV, LAHV, HALV ו-LALV. שתי תכונות רגשיות בסיסיות, ערכיות ועוררות, קשורות לכל מצב ונמדדות לפי הממוצע והסטיית התקן שלהן. המשתתפים העריכו את מצב ה-HAHV עם ממוצע ערך של 7.12 (SD = 1.0...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

במאמר זה, מחקר ערך חקירה מעמיקה של זיהוי רגשות מבוסס EEG על שני מערכי נתונים מדדיים (כלומר, DEAP ו-SEED) והראה שמודל CWFC המוצע יכול ללכוד ביעילות מידע מפלה הקשור לרגש ביעילות. בניגוד לעבודות קודמות שהתבססו בעיקר על תיאורים ליניאריים או סוגי תכונות, המתודולוגיה המוצעת מאחדת חילוץ תכונות לא ליניארי שמקושר זה לזה ומנצלת אותן באמצעות מודל מתאם משוקלל כדי להסיק יחסים פונקציונליים. מיזוג תכונות רב-תצוגות זה הוא חידוש מרכזי בעבודה, המסייע ללכוד דינמיקות לא ליניאריות עדינות ותלות הדדית בין תכונ...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין מה לחשוף.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

אנו רוצים גם להודות למוסדות ולחוקרים במאגרי הנתונים של DEAP ו-SEED EEG על תרומתם המשמעותית לעבודה זו. ולבסוף, תודה גם לאוניברסיטאות שלנו על תמיכתן באמצעות משאבים ועידוד לביצוע החקירה הזו.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
מערך הנתונים של DEAPאוניברסיטת קווין מרי בלונדוןגרסה 1.0מאגר נתונים של רגש EEG
מערך הנתונים של DREAMERIEEE DataPortהפצה ציבוריתמאגר נתונים של רגש EEG
קראסגוגל LLC2.x (שרת TensorFlow)מידול רשתות עצביות
תחנת עבודהלנובוIntel Core i7, 16GB RAM, כרטיס מסך NVIDIA בנפח 8GBאימון וחישוב מודלים
MNE-PythonMNE Developers1.xעיבוד מוקדם של EEG
NumPyמפתחי NumPy1.xחישוב נומרי
מערכת הפעלהמיקרוסופט קורפוריישןWindows 11 (64 ביט)פלטפורמת חישוב
פייתוןקרן התוכנה של פייתון3.8+סביבת התכנות
PyWaveletsמפתחי PyWavelets1.xפירוק גל
Scikit-learnמפתחי scikit-learn1.xכלי למידת מכונה
SciPyקהילת SciPy1.xעיבוד אותות ודגימה מחדש
מאגר נתונים של SEEDמעבדת BCMI, אוניברסיטת ג'יאו טונג בשנגחאיהפצה ציבוריתמאגר נתונים של רגש EEG
TensorFlowגוגל LLC2.xמסגרת למידה עמוקה

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Najmusseher,, Umme Salma, M. Impact of Feature Selection Techniques for EEG-Based Seizure Classification. Lecture Notes in Computer Science. , 197-207 (2023).
  2. Sriraam, N. EEG-Based Automated Detection of Auditory Loss: A Pilot Study. Expert Systems with Applications. 39 (1), 723-731 (2012).
  3. Jirayucharoensak, S., Pan-Ngum, S., Israsena, P. EEG-Based Emotion Recognition Using Deep Learning Network with Principal Component Based Covariate Shift Adaptation. The Scientific World Journal. 2014, 1-10 (2014).
  4. Xu, F., Pan, D., Zheng, H., Ouyang, Y., Jia, Z., Zeng, H. EESCN: A Novel Spiking Neural Network Method for EEG-Based Emotion Recognition. Computer Methods and Programs in Biomedicine. 243, 107927(2024).
  5. Russell, J. A. A Circumplex Model of Affect. Journal of Personality and Social Psychology. 39 (6), 1161-1178 (1980).
  6. Posner, J., Russell, J. A., Peterson, B. S. The Circumplex Model of Affect: An Integrative Approach to Affective Neuroscience, Cognitive Development, and Psychopathology. Development and Psychopathology. 17 (3), 715-734 (2005).
  7. Ekman, P. An Argument for Basic Emotions. Cognition and Emotion. 6 (3-4), 169-200 (1992).
  8. Chen, J., Fan, F., Wei, C., Polal, K., Alenezi, F. Decoding driving states based on normalized mutual information features and hyperparameter self-optimized Gaussian kernel-based radial basis function extreme learning machine. Chaos, Solitons & Fractals. 199 (Part 1), 116751(2025).
  9. Şengür, A., Guo, Y., Akbulut, Y. Time–Frequency Texture Descriptors of EEG Signals for Efficient Detection of Epileptic Seizure. Brain Informatics. 3 (2), 101-108 (2016).
  10. Yang, S., et al. Selection of Features for Patient-Independent Detection of Seizure Events Using Scalp EEG Signals. Computer Methods and Programs in Biomedicine. 119, 103671(2020).
  11. Faust, O., Acharya, U. R., Adeli, H., Adeli, A. Wavelet-Based EEG Processing for Computer-Aided Seizure Detection and Epilepsy Diagnosis. Seizure. 26, 56-64 (2015).
  12. Zorick, T., Mandelkern, M. A. Multifractal Detrended Fluctuation Analysis of Human EEG: Preliminary Investigation and Comparison with the Wavelet Transform Modulus Maxima Technique. PLoS One. 8 (7), e68360(2013).
  13. Mekler, A. Calculation of EEG Correlation Dimension: Large Massifs of Experimental Data. Computer Methods and Programs in Biomedicine. 92 (1), 154-160 (2008).
  14. Koelstra, S., et al. DEAP: A Database for Emotion Analysis Using Physiological Signals. IEEE Transactions on Affective Computing. 3 (1), 18-31 (2012).
  15. Zheng, W., Lu, B. Investigating Critical Frequency Bands and Channels for EEG-Based Emotion Recognition with Deep Neural Networks. IEEE Transactions on Autonomous Mental Development. 7 (3), 162-175 (2015).
  16. De la Cruz, D., Alfonso, W., Caicedo, E. Analysis of the Information Transfer Rate-ITR in Linear and Non-linear Feature Extraction Methods for SSVEP Signals. International Journal on Advanced Science Engineering and Information Technology. 11 (2), 761-768 (2021).
  17. Wankhade, S. B., Doye, D. D. Hybrid Hunt-Based Deep Convolutional Neural Network for Emotion Recognition Using EEG Signals. Computer Methods in Biomechanics and Biomedical Engineering. 25 (12), 1311-1331 (2022).
  18. Liu, S., Wang, X., Zhao, L., Zhao, J., Xin, Q., Wang, S. H. Subject-Independent Emotion Recognition of EEG Signals Based on Dynamic Empirical Convolutional Neural Network. IEEE/ACM Transactions on Computational Biology and Bioinformatics. 18 (5), 1710-1721 (2021).
  19. Pepa, L., Spalazzi, L., Capecci, M., Ceravolo, M. G. Automatic Emotion Recognition in Clinical Scenario: A Systematic Review of Methods. IEEE Transactions on Affective Computing. 14 (2), 1675-1695 (2023).
  20. Du, X., et al. An Efficient LSTM Network for Emotion Recognition from Multichannel EEG Signals. IEEE Transactions on Affective Computing. 13 (3), 1528-1540 (2022).
  21. Yan, Y., et al. Topological EEG Nonlinear Dynamics Analysis for Emotion Recognition. IEEE Transactions on Cognitive and Developmental Systems. 15 (2), 625-638 (2023).
  22. Rahman, M. M., Sarkar, A. K., Hossain, M. A., Moni, M. A. EEG-Based Emotion Analysis Using Non-Linear Features and Ensemble Learning Approaches. Expert Systems with Applications. 207, 118025(2022).
  23. Šimić, G., et al. Understanding Emotions: Origins and Roles of the Amygdala. Biomolecules. 11 (6), 823(2021).
  24. Jha, S. K., Suvvari, D. S., Kumar, M. Maximizing Emotion Recognition Accuracy with Ensemble Techniques on EEG Signals. Recent Advances in Computer Science and Communications. 17, Article number pending. 17, e170124225749(2024).
  25. Jha, S. K., Suvvari, S., Kumar, M. Emotion Recognition from Electroencephalogram (EEG) Signals Using a Multiple Column Convolutional Neural Network Model. SN Computer Science. 5 (2), 213(2024).
  26. Topic, A., Russo, M. Emotion Recognition Based on EEG Feature Maps Through Deep Learning Network. Engineering Science and Technology, an International Journal. 24 (6), 1442-1454 (2021).
  27. Domain adaptation for cross-subject emotion recognition by subject clustering. Liu, J., Shen, X., Song, S., Zhang, D. Proceedings of the 2021 10th International IEEE/EMBS Conference on Neural Engineering (NER), , 904-908 (2021).
  28. Liang, Z., Oba, S., Ishii, S. An Unsupervised EEG Decoding System for Human Emotion Recognition. Neural Networks. 116, 257-268 (2019).
  29. Pandey, P., Seeja, K. R. Subject Independent Emotion Recognition from EEG Using VMD and Deep Learning. Journal of King Saud University - Computer and Information Sciences. 34 (5), 1730-1738 (2022).
  30. Joshi, V. M., Ghongade, R. B. EEG-Based Emotion Detection Using Fourth Order Spectral Moment and Deep Learning. Biomedical Signal Processing and Control. 68, 102755(2021).
  31. Chen, J., Cui, Y., Wei, C., Polat, K., Alenezi, F. Advances in EEG-Based Emotion Recognition: Challenges, Methodologies, and Future Directions. Applied Soft Computing. 180, 113478(2025).
  32. Chen, J., Wang, Y., Cui, Y., Wang, H., Polat, K., Alenezi, F. EEG-Based Multi-Band Functional Connectivity Using Corrected Amplitude Envelope Correlation for Identifying Unfavorable Driving States. Computer Methods in Biomechanics and Biomedical Engineering. , 1-13 (2025).
  33. Pillalamarri, R., Shanmugam, U. A Review on EEG-Based Multimodal Learning for Emotion Recognition. Artificial Intelligence Review. 58, 131(2025).
  34. Chen, W., Liao, Y., Dai, R., Dong, Y., Huang, L. EEG-Based Emotion Recognition Using Graph Convolutional Neural Network with Dual Attention Mechanism. Frontiers in Computational Neuroscience. 18, 1416494(2024).
  35. Wang, Y. B., Zhang, B., Di, L. Research progress of EEG-based emotion recognition: A survey. ACM Computing Surveys. 56 (11), 1-49 (2024).
  36. Chen, J., Cui, Y., Polat, K., Alenezi, F. Driver fatigue detection using EEG-based graph attention convolutional neural networks: An end-to-end learning approach with mutual information-driven connectivity. Applied Soft Computing. 186, Part A(2026).
  37. Katsigiannis, S., Ramzan, N. DREAMER: A database for emotion recognition through EEG and ECG signals from wireless low-cost off-the-shelf devices. IEEE Journal of Biomedical and Health Informatics. 22 (1), 98-107 (2018).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

EEGEEGRandom ForestGANLSTMICADEAP

מאמרים קשורים