מחקר זה מתקף באופן ראשוני את אלגוריתם ה-FEA, אלגוריתם קנייני ללמידת מכונה, לזיהוי תגובות במהלך משימות של גירויים רגשיים. המחקר בוחן את ההלימה בין הציונים של אלגוריתם ה-FEA לבין גירויי רגש פנים סטנדרטיים תוך שימוש במסגרת ה-Navarasa במבוגרים בריאים, ובוחן האם המערכת משקפת באופן מהימן תגובות הקשורות לרגש תחת תנאים ניסויים מבוקרים.
מאמר מחקר
תיקוף ראשוני של אלגוריתם לניתוח הבעות פנים ותנועה במהלך משימות עירור רגשי במבוגרים בריאים
נפתח בלשונית חדשה
במאמר זה
סיכום
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
תקציר
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
פרוטוקול זה תוכנן כדי לבצע תיקוף ראשוני של Emoscape, אלגוריתם למידת מכונה קנייני המבוסס על מסגרת ה-Navarasa, על ידי בדיקה האם ציוני הרגש שלו משתנים בתיאום עם משימות סטנדרטיות לעוררות רגשית במבוגרים בריאים. שבעים ושניים מבוגרים בריאים גויסו לאחר מתן הסכמה מדעת בכתב. המשתתפים מילאו את שאלון בריאות המטופל-9 (Patient Health Questionnaire-9) ואת שאלון הפרעה חרדתית מוכללת-7 (Generalized Anxiety Disorder-7), ולאחר מכן צפו בגירויי רגש פנים מתוך סט ה-TRENDS ובתמונות Navarasa, בעוד שאלגוריתם ה-FEA תיעד מיקרו-תנועות של פלג הגוף העליון לאורך המשימה. המשתתפים זיהו גם את הרגשות שהוצגו. שינויים בציוני אלגוריתם ה-FEA ביחס לנקודת הבסיס נותחו במהלך חשיפה לגירויי ניטרליות, שמחה, פחד וכעס מתוך TRENDS, וכן במהלך חשיפה לתמונות Navarasa. ניתוח עקומת מאפייני המקלט (Receiver operating characteristic) שימש להערכת הרגישות והספציפיות להבחנה בין קטגוריות רגשיות. ציוני אלגוריתם ה-FEA הראו סטיות משמעותיות מנקודת הבסיס עבור תמונות TRENDS שמופו לרגשות התואמים (Neutral–Shanta, Happy–Haasya, Fear–Bhayanaka, ו-Anger–Raudra). שינויים תואמים נצפו גם בתמונות Navarasa, כאשר כל הפרשי הממוצעים היו מובהקים סטטיסטית (p < 0.001). ערכי השטח תחת העקומה (AUC) השתנו בין הקטגוריות. אלגוריתם ה-FEA הראה רגישות מתונה עבור רגשות נעימים (70–80%) ורגשות לא נעימים (60–70%). ממצאים אלו מספקים תמיכה ראשונית לפרוטוקול ולשימוש באלגוריתם ה-FEA להערכת תגובות הקשורות לרגשות במהלך משימות מבוקרות לעוררות רגשית במבוגרים בריאים.
מבוא
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
זיהוי רגשות הוא תחום מחקר חשוב בתוך מדעי המוח הקוגניטיביים-חברתיים, בעל יישומים פוטנציאליים בתחומי הקליניקה והמחקר. שיטות קיימות להערכה רגשית מכמתות שינויים בפעילות פיזיולוגית, כגון אלקטרואנצפלוגרפיה (EEG) או התנגדות עור גלוונית (GSR), כדי להסיק על מצבים רגשיים. עם זאת, שיטות אלו הן מורכבות ופולשניות. מדידות ישירות של תנועות פנים וגוף מציעות מדד מיידי וניתן לצפייה יותר למצבו הרגשי של הפרט1,2,3. אלגוריתמים של למידת מכונה (ML), ובמיוחד אלו שאומנו על מאגרי נתונים גדולים והטרוגניים של הבעות פנים, משמשים לפענוח של אותות לא-מילוליים דקים אלו ולסיווג מצבים רגשיים. בעוד שאלגוריתמים קונבנציונליים של ML כגון מכונות וקטורים תומכים (SVMs) נותרים נפוצים בשימוש, ארכיטקטורות של למידה עמוקה, ובעיקר רשתות נוירונים (NNs)4,5, הדגימו ביצועים עדיפים, במיוחד כאשר אומנו על מאגרי נתונים רחבי היקף, וזאת בשל יכולתן לחילוץ תכונות אוטומטי6. דוגמה למודל קונבנציונלי בהקשר ההודי היא כלי אינטראקטיבי המאמץ מודל ממדי מבוסס-וולנס (valence) כדי לקבוע עוררות. מסגרות לזיהוי רגשות חייבות להיות רגישות להקשר תרבותי. בסביבה התרבותית ההודית, מסגרת ה-Navarasa מספקת טקסונומיה מורכבת של תשעה רגשות עיקריים, אך היא נותרה במידה רבה בלתי נחקרת בתוך מחקרי זיהוי רגשות מבוססי ML. קיים מחסור יחסי בגישות ML שעברו תיקוף קפדני ומנתחות ישירות רמזים התנהגותיים ניתנים לצפייה — כגון מיקרו-הבעות פנים ותנועות גוף7,8. אלגוריתמים של ML מונחי-הבעה כאלו יכולים לשמש בזמן אמת, הם קלים ליישום ואינם פולשניים.
אלגוריתם ניתוח הבעות הפנים והתנועה [להלן אלגוריתם ה-FEA] הוא אלגוריתם קנייני המבוסס על ML, המנתח מיקרו-הבעות פנים ותנועות פלג גוף עליון ומייצר ייצוגים דינמיים של מסלולים רגשיים וציונים מצטברים עבור כל אחת מתשעת ה-rasas, בהתבסס על מסגרת ה-Navarasa. מחקר זה נועד לבצע תיקוף ראשוני של אלגוריתם ה-FEA על ידי בחינת ההתאמה בין הציונים שהופקו באמצעות FEA לבין תגובות לגירויי רגש פנימיים סטנדרטיים במתנדבים מבוגרים בריאים.
לשם כך, אנו נשענים על המבנים של תיאוריית המיינד (Theory of Mind - ToM) ומערכת נוירוני המראה. ToM היא יכולת חברתית-קוגניטיבית מרכזית המאפשרת ליחידים להסיק ולפרש מצבים מנטליים ורגשיים של אחרים בהקשרים חברתיים9. ראיות אמפיריות מצביעות על כך שחשיפה לגירויים רגשיים פנים מפעילה רשתות של נוירוני מראה, אשר בתורן מעוררות מצב רגשי תואם ועקיף בצופה10. המודולציה הנובעת של המצב הרגשי הפנימי והסובייקטיבי של הפרט בתגובה לצפייה בהבעות פנים של רגש, במידה ותיתפס על ידי אלגוריתם ה-FEA, יכולה לספק תיקוף ראשוני לאלגוריתם.
ההנחה שלנו היא שחשיפה לגירויי רגש פנימיים התואמים לקטגוריית Navarasa ספציפית תגרום לסטייה מובהקת סטטיסטית מקו הבסיס בציון אלגוריתם ה-FEA עבור רגש ה-Navarasa המדובר.
פרוטוקול
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
פרוטוקול המחקר אושר על ידי ועדת האתיקה של בתי החולים סושרוטה (Sushruta Hospitals), הובאלי, קרנאטקה, הודו (מספר רישום EC: ECR/372/INST/KA/2013/RR-19), והסכמה מושכלת בכתב התקבלה מכל המשתתפים לפני הגיוס למחקר.
אלגוריתם ה-FEA הוא שיטה קניינית המבוססת על ML לניתוח בזמן אמת של מיקרו-הבעות פנים ותנועות פלג גוף עליון כדי להסיק מצבים רגשיים באמצעות מסגרת ה-Navarasa. מסגרת ה-Navarasa, הנגזרת מתורת האסתטיקה ההודית הקלאסית, מגדירה תשעה רגשות עיקריים: shringara (אהבה), haasya (שמחה), karuna (צער/הרהור), adbhuta (הפתעה), shanta (שלווה), raudra (כעס), veera (אומץ), bhayanaka (פחד), ו-vibhitsa (גועל). אלגוריתם ה-FEA משתמש במודל למידת מכונה שאומן על מיקרו-הבעות פנים ותנועות פלג גוף עליון שהופקו מתמונות של שחקנים המגלמים את תשעת רגשות ה-Navarasa. האלגוריתם מסיק את המצב הרגשי של הפרט על ידי ניתוח דינמיקה עדינה של הפנים ומיקרו-תנועות מקלט ויזואלי שנלכד על ידי מצלמת RGB אחת, ומייצר ציונים כמותיים עבור כל אחד מתשעת הרגשות העיקריים. תצורה לא פולשנית זו מאפשרת הערכה רגשית טבעית ובצורה בלתי מורגשת, מה שהופך אותה למתאימה למגוון רחב של הגדרות מחקריות ויישומיות.
פיתוח המודל
אלגוריתם ה-FEA מבוסס על ארכיטקטורה של רשת עצבית (NN). מערך נתוני האימון נאסף באופן פנימי ומורכב ממספר שעות של נתוני וידאו מוקלטים של שחקנים הודים המדגימים את תשעת רגשות ה-Navarasa. מערך הנתונים נגזר מהקלטות וידאו מבוקרות של מספר שחקנים/משתתפים, כאשר בוצעו הקלטות/בדיקות מרובות עבור כל שחקן/משתתף במגוון מצבים רגשיים שעוררו. לאחר עיבוד מקדים, שכלל זיהוי נקודות ציון פנים (facial landmark detection), בדיקות עקביות זמנית, סינון איכות והסרה של פריימים שאינם ניתנים לשימוש או בעלי רמת ביטחון נמוכה, נשמרו כ-25,000 דגימות אימון מובנות. במהלך אוצרות הנתונים, ההקלטות סווגו לפי יותר מעשרה פרמטרים דמוגרפיים ופרמטרים הקשורים להקלטה, כולל גיל, מין ומאפיינים רלוונטיים אחרים, ואוזנו באופן מכוון כדי להשיג ייצוג שוויוני בין פרמטרים אלו ולמזער הטיות דמוגרפיות. התפלגות המין נשמרה על כ-52% גברים ו-48% נשים. המשתתפים כיסו באופן רחב קבוצות גיל של בני נוער ומבוגרים, עם ייצוג של קבוצות גיל צעירות, בינוניות ומבוגרות. השחקנים/משתתפים התגוררו בהודו וייצגו רקעים אזוריים ותרבותיים הודיים מגוונים, וכן קבוצות אתניות בינלאומיות מרובות הנמצאות בהודו. בשל הגבלות קנייניות, לא ניתן לחשוף את מספר השחקנים/משתתפים המדויק, את זהות השחקן/משתתף, את מספר הסרטונים/הקלטות המדויק לכל שחקן, את מספר הפריימים המדויק ואת מתודולוגיית התיוג הפנימית, שכן אלו מהווים חלק ממערך הנתונים הקנייני של Nihilent Ltd. ומאת הקניין הרוחני של פיתוח המודל; הגבלה זו מוכרת במפורש בפרק הדיון (Discussion).
תמונות פנים שהופקו מההקלטות הללו עובדו באמצעות טכניקות לעיבוד תמונה כדי להפיק מאפיינים כמותיים, אשר שימשו לאחר מכן כקלטים לרשת עצבית לצורך חיזוי. מודל זה הוערך לאחר מכן על אוכלוסיית מטרה, והתובנות שהושגו שימשו לשיפור איטרטיבי של גרסאות מאוחרות יותר. מחזור זה של פיתוח, בדיקה ושיפור חזר על עצמו עד שביצועי המודל התייצבו. המודל החיזוי הסופי מיושם כפרספטרון רב-שכבתי (MLP) הכולל שכבת קלט עם כ-300 מאפיינים נבחרים, שכבות נסתרות ושכבת פלט המפיקה וקטור ניקוד תשע-ממדי המתאים לתשעת קטגוריות הרגש של Navarasa. בתחילה הופקו יותר מ-700 מאפיינים מהנתונים שנלכדו, ולאחר מכן צומצמו באמצעות הליכי בחירת מאפיינים ואופטימיזציה של המודל. ניקוד הפלט של ה-MLP מועבר לאחר מכן לאלגוריתמים קנייניים לעיבוד לאחר-בדיקה כדי להפיק את ניקודי ה-FEA-algorithm המצטברים הסופיים. פרטים ארכיטקטוניים נוספים — כולל המספר המדויק של הפרמטרים הניתנים לאימון וממדי השכבות הספציפיים — הם קנייניים ולא ניתן לחשוף אותם; דבר זה מוכר כמגבלה של הדיווח הנוכחי. תיאור מפורט של פיתוח המודל מסופק בחומרים המשלימים (Supplementary File 1 ו- Supplementary Figure 1).
במהלך פיתוח איטרטיבי, ביצועי המודל הוערכו באמצעות וולידציה צולבת (cross-validation) על מערך הנתונים הפנימי, והושגה דיוק סיווג של 96% בוולידציה צולבת על פני תשעת קטגוריות ה-Navarasa. לאחר מכן נערכה וולידציה עצמאית על יותר מ-15,000 דקות של נתוני וידאו. מטריצת בלבול (confusion matrix) מנורמלת של 9 × 9 המסכמת את ביצועי הסיווג בכל תשעת קטגוריות ה-Navarasa מופיעה בחומרים המשלימים (Supplementary File 1).
לאחר הייצוב, המודל עבר תיקוף פנימי מבוקר תחת פיקוח של מומחים. גישה זו שמה דגש על תיקוף אמפירי באמצעות בדיקות ישירות של נבדקים אנושיים, מה שמאפשר להעריך את הישימות בעולם האמיתי ואת החוסן בקרב אוכלוסיות מגוונות. פיתוח המודל מסוכם באיור 1.
שאלון הבריאות של המטופל-9 (PHQ-9) ומדד הפרעה חרדתית מוכללת-7 (GAD-7): המשתתפים מילאו שאלוני דיווח עצמי תחת פיקוח של פסיכולוג מיומן כדי להעריך את מצבם הרגשי הנוכחי. הכלים שהופעלו כללו את שאלון הבריאות של המטופל-9 (PHQ-9) ואת מדד הפרעה חרדתית מוכללת-7 (GAD-7). ציון מעל 9 בכל אחד מהמדדים נחשב למשמעותי מבחינה קלינית.
מגמות
הכלי לזיהוי רגשות בהפרעות נוירופסיכיאטריות (TRENDS) הוא מכשיר רגיש אקולוגית ומתוכנן להערכת יכולות זיהוי רגשות פנים שעבר תיקוף תרבותי11. הכלי תוקף לשימוש באוכלוסיות הודיות והוא מורכב מ-40 תצלומים של שחקנים המדגימים את הרגשות הבסיסיים האוניברסליים של ניטרליות, אושר, פחד, כעס ועצב. תמונות מ-TRENDS שימשו כגירויי ייחוס כדי לתקף את תוצרי סיווג הרגשות של אלגוריתם ה-FEA.
מערך ניסיוני
הניסוי תוכנן כדי לעורר תגובה אלגוריתמית לגירויים רגשיים. שתי פרדיגמות לעוררות רגשית פותחו ושימשו במחקר זה.
פרדיגמת הדימויים של TRENDS
בפרדיגמה הראשונה, רצף וידאו הציג בתחילה מסך ריק למשך 60 s, ולאחריו הוצגו גירויים רגשיים. הגירויים הרגשיים נבחרו מכלי ה-TRENDS. סך הכל הוצגו 20 תמונות, המייצגות ניטרליות, אושר, עצב, כעס ופחד × שני מגדרים × שתי קבוצות גיל. כל גירוי הוצג למשך 5 s. זמן הצגת הגירויים הכולל היה אפוא 20 × 5 s, עם מרווח נוסף של מסך ריק למשך 10 s בין תמונות עוקבות, מה שהביא למשך כולל של 300 s. במהלך כל מרווח ריק של 10 s, המשתתפים נדרשו לזהות את הרגש המתואר בתמונה הקודמת על ידי בחירה באחת מחמש תוויות הרגש שהוצגו על המסך.
פרדיגמת ה-Navarasa
פרדיגמה וידאו שנייה ומקבילה נבנתה על בסיס מסגרת ה-Navarasa של תשעה rasas. סך הכל הוצגו 18 תמונות (תשעה רגשות × שני סוגי מגדר). כל גירוי הוצג למשך 5 s, כאשר בין התמונות הופיע מסך ריק למשך 10 s, מה שהביא למשך כולל של 270 s. תשעת הרגשות סווגו כניטרליים (shanta), נעימים (haasya, veera, shringara, adbhuta), או לא נעימים (Krodha, vibhitsa, bhayanaka, karuna). במהלך כל מרווח ריק של 10 s, המשתתפים נדרשו לסווג את הרגש המוצג בתמונה הקודמת על ידי בחירה באחת משלוש אפשרויות שהוצגו על המסך: ניטרלי, נעים, או לא נעים. תשעת ה-Navaras קובצו לשלוש קטגוריות כדי להקל על רישום תגובות המשתתפים לזיהוי הרגש.
משתתפים
מתנדבים בריאים בגילאי בגרות גויסו ממקומות עבודה וממוסדות חינוך. קריטריוני ההכללה כללו אנשים בגילאי 18–50, מכל מין/מגדר. קריטריוני ההחרגה כללו היסטוריה של הפרעות פסיכיאטריות מאובחנות, הפרעות נוירולוגיות, ליקוי ראייה משמעותי או מוגבלויות פיזיות המגבילות את תנועות הראש והצוואר.
פרוטוקול
המשתתפים ישבו כך שהמצלמה הייתה בגובה העיניים ובמרחק של 60–70 cm. במחקר נעשה שימוש באלגוריתם FEA. האפליקציה נפתחה במחשב הנייד, והחוקר הזין את מזהה הנבדק. לאורך הניסוי, אלגוריתם ה-FEA הקליט נתוני וידאו באופן רציף כדי לאפשר ניתוח מאוחר יותר של הבעות פנים ותנועות מיקרוסקופיות. בתחילה, הוקלטה מדידת בסיס (baseline) למשך 60 s, במהלכה הונחו המשתתפים להירגע ולהימנע מהתנהגויות הבעתיות גלויות. לאחר קבלת מדידת הבסיס, המשתתפים נחשפו לשתי פרדיגמות וידאו (תמונות TRENDS ולאחריהן Navarasa). כל המשתתפים צפו בפרדיגמות באותו סדר קבוע כדי למזער השפעות מתערבות פוטנציאליות הקשורות לסדר ההצגה; עם זאת, סדר קבוע זה עלול היה להוביל להשפעות סדר. במהלך מפגשי ההקלטה, החוקר נשאר מחוץ לחדר כדי להפחית הסחות דעת. החוקר ניטר את הניסוי מרחוק באמצעות אפליקציה לנייד בעודו מחוץ לחדר. למשתתפים הוצעו הפסקת מנוחה קצרה בין שתי הפרדיגמות (איור 2).
ניתוח
הנתונים שנאספו מופו למזהה הנבדק שהוזן באפליקציה כדי להבטיח את מהימנות הנתונים. אלגוריתם ה-FEA עושה שימוש בצינור חישוב מובנה מקצה לקצה להסקת רגשות אוטומטית, המורכב מחמישה שלבים עיקריים: רכישת וידאו, זיהוי ומיצוי מאפיינים, עיבוד מקדמי של נתונים, סיווג רגשות ופירוש הפלט. המאפיינים שמוצאו עברו סדרת פעולות עיבוד מקדמי, כולל הפחתת רעשים, נורמליזציה בין נבדקים ותנאי תאורה, ואינטרפולציה של פריימים חסרים. הוחלקה זמנית כדי לשפר את יציבות האות. וקטורי המאפיינים שהתקבלו סונכרנו זמנית לצורך הזנה למודל הסיווג. מטריצות מאפיינים אלו, שהיו מסונכרנות זמנית ונקיות מרעשים, שימשו כקלטים לרכיב סיווג הרגשות.
הפקת מאפיינים
מסגרת המיצוי עושה שימוש בצינור אלגוריתמי רב-שלבי למיצוי מאפיינים, המתרגם זרמי תמונות של וידאו מונוקולרי דו-ממדי סטנדרטי למרחב קואורדינטות תלת-ממדי משוחזר. במקום להסתמך על מעקב גולמי אחר פיקסלים בדו-ממד, המערכת ממפה קואורדינטות מרחביות מקומיות על פני הפנים והחלק העליון של הגוף. המאפיינים הנגזרים נחלקים לשלוש קטגוריות רחבות: (i) אזורי נקודות ציון פנים, הכוללים מתארי גיאומטריה של מבנה הפנים והדינמיקה שלהם (כולל רמזים מאזור העיניים ומתאמים של מיקרו-הבעות פנים הנגזרים ממסגרת ה-Navarasa, המושרשת ב-Natyashastra — המסגרת הממוסדת המוקדמת ביותר להבעה רגשית אנושית, המוכרת על ידי UNESCO); (ii) מידע על תנוחת הראש, הלוכד את האוריינטציה ותנועת הראש; ו-(iii) מאפייני תנועה של פלג הגוף העליון, הלוכדים את התנועה הנובעת של פלג הגוף העליון. הגדרות ספציפיות של מאפיינים, כולל אינדקסים מדויקים של נקודות ציון ומזהי נקודות מפתח, הן קנייניות ולא ניתן לחשוף אותן במלואן; עובדה זו מוכרת כמגבלה. המערכת אינה משתמשת ישירות בתוויות של יחידות פעולה ממערכת ה-Facial Action Coding System (FACS); תחת זאת, היא גוזרת מאפיינים גיאומטריים וזמניים מתנועות הפנים והגוף. טרנספורמציות מרחביות תלת-ממדיות אלו נצברות לאורך זמן כדי לייצר וקטור סיכום התנהגותי מקיף, המשמש כקלט למסווג ה-MLP. בסך הכל, יותר מ-700 מאפיינים פוטנציאליים נגזרו בתחילה מהנתונים שנלמדו, ומאוחר יותר צומצמו לכ-300 מאפיינים נבחרים באמצעות בחירת מאפיינים ואופטימיזציה של המודל. הצינור המבני מתקדם מרכישת הווידאו, דרך שחזור מרחבי מדו-ממד לתלת-ממד, צבירה זמנית ונורמליזציה של מאפיינים, ועד לשלב הסיווג.
מודל סיווג רגשות
וקטורי המאפיינים שעברו עיבוד מקדים הועברו לארכיטקטורת רשת נוירונים מסוג פרספטרון רב-שכבתי (MLP) בפיקוח, שאומנה על מערך נתונים מתויג פנימי המתאים לתשעת קטגוריות הרגש של Navarasa: Śṛṅgāra (אהבה), Hāsya (שמחה), Karuṇā (צער), Raudra (כעס), Vīra (אומץ), Bhayānaka (פחד), Bībhatsa (גועל), Adbhuta (פליאה), ו-Śānta (שלווה). המודל תוכנן במפורש כדי ללכוד תלויות מרחביות-זמניות בנתוני התנהגות הבעתית. בכל שלב של זמן, הארכיטקטורה הפיקה וקטור של עומקי רגש חזויים עבור תשע הקטגוריות.
עיבוד לאחר-בדיקה של פלטי המודל
פלטי המודל הגולמיים עברו לאחר מכן עיבוד פוסט-פרוססינג כדי להניב ציוני רגש יציבים וניתנים לפירוש. הוחלו שלושה פעולות רצופות: (i) החלקה זמנית להפחתת תנודות לטווח קצר, (ii) נורמליזציה להבטחת השוואה לאורך זמן ובין ממדי רגש שונים, ו-(iii) אגרגציה להסקת מדדי סיכום על פני חלונות זמן מוגדרים או רצפים שלמים. נהלי העיבוד לאחר המודל מבטיחים יכולת השוואה בין נבדקים ומבקרים וריאציות בקו הבסיס הבין-אישי.
פירוש והדמיה של הפלט
אלגוריתם ה-FEA מייצר ייצוגים כמותיים וחזותיים של דינמיקה רגשית המופקת מנתוני וידאו. שתי צורות הפלט העיקריות הןמסלולי רגש זמניים. ערכי עוצמת הרגש מוצגים כגרפים של סדרות עתיות המראים את התפתחותו של כל רגש לאורך הסרטון. ייצוג זה מספק מבט רציף על השונות הרגשית, ובכך מקל על בחינת שינויים חולפים, שיאי הפעלה, ושלבי התאוששות או דה-אסקלציה בעוררות רגשית. ציונים רגשיים השוואתיים: ערכי רגש מצטברים עבור כל אחת מתשע קטגוריות ה-Navarasa מוצגים כגרפים של ציונים השוואתיים, הממחישים את העוצמה היחסית של כל רגש לאורך המרווח שנבדק. ויזואליזציות השוואתיות אלו מאפשרות השוואה ישירה בין רגשות ומספקות סיכום תמציתי של הפרופיל הרגשי הכולל. ציוני אלגוריתם ה-FEA שהופקו בנקודת הבסיס נבחנו כדי לזהות קווים שטוחים או היעדר שינוי משמעותי, אשר היו מעידים על הקלטה לא נאותה.
ניתוח סטטיסטי
ציונים לתשעת תחומי הרגש של ה-Navarasa, שהופקו על ידי אלגוריתם ה-FEA במהלך מרווח של 10 s בעקבות הצגת כל תמונה בפרדיגמה, שימשו כמשתני תוצאה. ציוני אלגוריתם ה-FEA הופקו עבור כל s בחלון של 10 s (T0, T1, T2… T9). ציון אלגוריתם ה-FEA ב-T0 נחשב כציון הבסיס. ציון אלגוריתם ה-FEA הגבוה ביותר מבין ההקלטות מ-T1–T9 הוגדר כ-Tmax. השינוי בציון אלגוריתם ה-FEA ביחס לבסיס (Tmax − T0) חושב ושימש כמשתנה התוצאה בניתוחים. השינוי בציוני אלגוריתם ה-FEA לאורך סדרת הזמן עבור כל רגש מוצג ב-איור 3A–D.
עבור תמונות ה-TRENDS, קטגוריות הרגש המטרה התואמות מופו באופן הבא: Shanta > ניטרלי; Haasya > שמח; Krodha > כעס; ו-Bhayanaka > פחד. עבור תמונות ה-Navarasa, ציוני אלגוריתם ה-FEA קובצו ושוקללו לממוצע בשלוש קטגוריות מורכבות: ניטרלי (Shanta), נעים (Haasya, Veera, Shringara, Adbhuta), ולא נעים (Krodha, Vibhitsa, Bhayanaka, Karuna).
בוצעו ניתוחים הן ברמת הקבוצה והן ברמת הנבדק.
ניתוח ברמת הקבוצה: עבור כל קטגוריית רגש שתוארה לעיל, הושווה השינוי בציון אלגוריתם ה-FEA מקו הבסיס ל-Tmax באמצעות מבחני t מזווגים. שינוי מובהק מקו הבסיס בציון אלגוריתם ה-FEA יעיד על התאמה טובה לזיהוי הרגש. עם זאת, הבדל מובהק לאו דווקא יעיד על דיוק סיווג גבוה.
ניתוח ברמת הנבדק: כל עלייה בציון תחום הרגש של אלגוריתם ה-FEA מעל ערך הבסיס סווגה כתגובה רגשית חיובית. לאחר מכן נגזרו מדדי דיוק — רגישות (sensitivity) וסגוליות (specificity). הרגישות והסגוליות מכמתות, בהתאמה, את ההסתברות שהבדיקה תהיה חיובית כאשר המצב המטרה קיים (+) ושלילית כאשר הוא אינו קיים (−). כאשר שתי ההערכות שואפות ל-1, הבדיקה מציגה ביצועים טובים במונחים של דיוק אבחנתי. רגישות וסגוליות מוערכות הוגדרו כשיעורי המשתתפים עם ובלי מצב הייחוס (הבעות Navarasa), בהתאמה, שסווגו בצורה נכונה.
נבדק נחשב כמי שסובל מהמצב הנבדק (+) אם זיהה נכונה לפחות 75% מהרגשות המוצגים. סיווג זה התבסס על מחקרי תיקוף של TRENDS, שבהם דיוק של 60–80% נחשב לתוקף מבחין מספק. ניתוח עקומת ROC (Receiver operating characteristic) עבור מנבא רציף בוצע כדי להעריך את השטח תחת העקומה (AUC) ואת ערכי הרגישות והספציפיות המתאימים. רגישות מעל 80% נחשבה ליכולת הבחנה טובה, ומתחת ל-80% נחשבה ליכולת בינונית.
תוצאות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
המחקר בחן וריאציות בציוני אלגוריתם ה-FEA בתגובה לגירויים מעוררי רגש והעריך את הביצועים האבחנתיים של אלגוריתם ה-FEA באמצעות ניתוח עקומת ROC (receiver operating characteristic). שבעים ושני מתנדבים בריאים גויסו למחקר. הגיל הממוצע (SD) היה 31.9 (11.9) שנים, והמדגם כלל 26 גברים ו-46 נשים. לכל המשתתפים היו לפחות 10 שנות השכלה, וכולם היו מאתניות הודית. ציוני ה-PHQ-9 וה-GAD-7 הממוצעים (SD) שלהם היו 4.4 (4.8) ו-4.7 (4.5), בהתאמה.
שינויים בציוני אלגוריתם ה-FEA בתגובה לגירויים רגשיים: מדדים שנגזרו מאלגוריתם ה-FEA הראו שינויים מובהקים סטטיסטית מקו הבסיס (T0) ועד ל-Tmax, כפי שנקבע באמצעות מבחני t מזווגים עבור שני תנאי הגירוי — תמונות TRENDS ו-Navarasa (p < 0.001; טבלה 1, איור 4, טבלה 2, ו-איור 5).
דיוק אבחנתי של אלגוריתם ה-FEA: ביצועי האבחנה של אלגוריתם ה-FEA הוערכו באמצעות ניתוח עקומת מאפייני תגובה (ROC), כאשר ערכי השטח תחת העקומה (AUC) חושבו עבור מצבים רגשיים נפרדים (Table 3). ה-AUC הגבוה ביותר התקבל עבור ציון אלגוריתם ה-FEA המתאים למצב Shanta בתגובה לגירויי רגש פנים ניטרליים (AUC = 0.665), ואחריו הרגש החיובי של אושר (AUC = 0.637) (Figure 6). הרגישות עבור רגשות ניטרליים וחיוביים (אושר, נעימות) הייתה 70–80%, בעוד שהרגישות עבור רגשות שליליים (כעס, פחד, חוסר נעימות) הייתה 60–70%. ערכי רגישות אלה נמוכים מ-80% ומייצגים ביצועי הבחנה מתונים.
מתאם בין ציוני אלגוריתם ה-FEA לבין ציוני PHQ-9 ו-GAD-7: לא נצפו מתאמים מובהקים בין אף אחד מציוני אלגוריתם ה-FEA לבין ציוני PHQ-9 או GAD-7.
זמינות נתונים:
כל הנתונים הגולמיים מסופקים בקובץ משלים 2.
איור 1: תרשים סכמטי של שלבי פיתוח המודל באלגוריתם ה-FEA. התרשים מציג את מאגר הווידאו הפנימי של שחקנים הודים משני המינים העוברים חילוץ פריימים וחילוץ מאפיינים בשלוש קטגוריות: אזורי נקודות ציון פנים (כולל רמזי עיניים ומיקרו-הבעות פנים המבוססים על Natyashastra/Navarasa), מידע על תנוחת הראש ותנועות פלג הגוף העליון, אשר מאוחדים לווקטור מאפיינים יחיד ומועברים למסווג MLP (multilayer perceptron). פלט ה-MLP עובר עיבוד פוסט-פרוססורי קנייני (החלקה זמנית, נורמליזציה ואגרגציה; תיבה כתTמה מקווקוות) לפני הפקת פלט התחזית הסופי לתשע קטגוריות של Navarasa. תיבות כחולות רציפות מסמנות שלבי עיבוד; תיבות כחולות מוצלות מסמנות קטגוריות מאפיינים; התיבה הכתTמה המקווקוות מסמנת שלב עיבוד קנייני שאת פרמטרים הפנימיים שלו לא ניתן לחשוף. מאחר שמדובר בתרשים תהליך ולא בגרף נתונים, פסי שגיאה וסריג קנה מידה אינם רלוונטיים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 2: הליך הניסוי של אלגוריתם ה-FEA. תרשים זרימה המתאר את השלבים העוקבים של הפרוטוקול הניסויי: הערכה קלינית חצי-מובנית (PHQ-9, GAD-7); הושבת המשתתף כאשר המצלמה ממוקמת בגובה העיניים, במרחק של 60–70 cm מהמשתתף; הקלטת בסיס (baseline) למשך 60 s; פרדיגמת תמונות-רגש מסוג TRENDS (20 תמונות בחמש קטגוריות רגש; 5 s של הצגת גירוי ו-10 s של מרווח תגובה לכל תמונה; סך הכל 300 s); מרווח מנוחה קצר; ופרדיגמת תמונות-רגש מסוג Navarasa (18 תמונות בתשע קטגוריות Navarasa; 5 s של הצגת גירוי ו-10 s של מרווח תגובה לכל תמונה; סך הכל 270 s). החצים מצביעים על הרצף הכרונולוגי של הפרומדורות מהגיוס ועד להשלמת רכישת הנתונים. מכיוון שזהו תרשים זרימה של תהליך ולא גרף נתונים, פסי שגיאה וסרגי קנה מידה אינם רלוונטיים. אנא לחצו כאן כדי להציג גרסה מורחבת של איור זה.
איור 3: שינויים בסדרת זמן של ציוני אלגוריתם FEA בתגובה לתמונות רגש תואמות של TRENDS (T0 עד T9 s). ארבעה פאנלים (A–D>) מראים את מסלול התגובה של ציון אלגוריתם FEA ברמת הקבוצה, שנייה אחר שנייה (ציר y; יחידות ציון שרירותיות שנוצרו על ידי אלגוריתם הניקוד הקנייני) לאורך חלון של 10 s לאחר הגירוי (ציר x; T0 = ציון בזמן הפסקת הגירוי/קו הבסיס לאותו ניסוי, T1–T9 = כל שנייה עוקבת), עבור (A>) תחום ה-Shanta בעקבות תמונות ניטרליות, (B>) תחום ה-Haasya בעקבות תמונות של שמחה, (C>) תחום ה-Bhayanaka בעקבות תמונות של פחד, ו-(D>) תחום ה-Krodha בעקבות תמונות של כעס (n = 72 משתתפים לכל פאנל). נקודות הנתונים/הקוים מייצגים את ממוצע הקבוצה בכל נקודת זמן; פסי השגיאה/הפסים המוצלים מייצגים את סטיית התקן (SD) בין המשתתפים. סרגי קנה מידה אינם רלוונטיים לפורמט גרף קווים של סדרת זמן זו. אנא לחץ כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 4: גרף עמודות המציג את השינוי הממוצע בציוני אלגוריתם FEA בתגובה לצפייה בתמונות רגש של TRENDS. העמודות מייצגות את השינוי בממוצע הקבוצתי בציוני אלגוריתם FEA (Tmax −T0; ציר y, יחידות ציון שרירותיות) עבור כל אחת מארבע קטגוריות הרגש של TRENDS (Shanta/ניטרלי, Haasya/שמח, Krodha/כעס, Bhayanaka/פחד; ציר x) (n = 72). פסי השגיאה מייצגים את סטיית התקן (SD) של ציון השינוי בכל קטגוריה. כל ארבע הקטגוריות הראו שינוי מובהק סטטיסטית ביחס לנקודת הבסיס לפי מבחן t למדגמים מזווגים (p < 0.001; ראו טבלה 1). סרגי קנה מידה אינם רלוונטיים לפורמט גרף עמודות זה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 5: גרף עמודות המציג את השינוי הממוצע בכישורי אלגוריתם ה-FEA בתגובה לצפייה בתמונות רגשות Navarasa. העמודות מייצגות את השינוי בממוצע הקבוצתי של כישורי אלגוריתם ה-FEA (Tmax − T0; ציר y, יחידות כישור שרירותיות) עבור שלוש קטגוריות Navarasa מורכבות — ניטרלי (Shanta), נעים (ממוצע של Haasya, Veera, Shringara, Adbhuta), ולא נעים (ממוצע של Krodha, Vibhitsa, Bhayanaka, Karuna) (ציר x) (n = 72). פסי השגיאה מייצגים את סטיית התקן (SD) של ציון השינוי בתוך כל קטגוריה. כל שלוש הקטגוריות הראו שינוי מובהק סטטיסטית ביחס לקו הבסיס במבחן t למדגמים מזווגים (p < 0.001; רהה טבלה 2). סטילי הגדלה אינם רלוונטיים לפורמט גרף עמודות זה. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
איור 6עקומת מאפייני תגובה של מקלט (ROC), המראה רגישות בנקודות חיתוך שונות של מדד Shanta לפי אלגוריתם FEA בתגובה לתמונות של רגש ניטרלי. ציר ה-y מייצג את הרגישות (שיעור החיוביים האמיתיים, %) וציר ה-x מייצג את 1 פחות הסגוליות (שיעור החיוביים הכוזבים, %), הממופה על פני טווח ערכי הסף האפשריים של מדד Shanta; קו הייחוס האלכסוני מייצג אפליה ברמת המקרה (AUC = 0.5). השטח תחת העקומה (AUC) = 0.665 (ראה טבלה 3 (עבור ערכי AUC, רגישות וסגוליות לכל קטגוריות הרגש). פסי שגיאה וסרגי קנה אינם רלוונטיים לפורמט עקומה זה. אנא לחצו כאן כדי לצפות בגרסה מורחבת של דמות זו.
| רגש (גירויי TRENDS) | ממוצע T0 | ממוצע Tmax | הפרש ממוצע | ערך p |
| ניטרלי – Shanta | 0.2261 | 0.2664 | 0.0403 | <0.001 |
| שמחה – Haasya | 0.0834 | 0.1127 | 0.0294 | <0.001 |
| פחד – Bhayanaka | 0.0648 | 0.0848 | 0.02 | <0.001 |
| כעס – Raudra | 0.0901 | 0.1108 | 0.0207 | <0.001 |
טבלה 1: ערכי T0 ו-Tmax ממוצעים של ציוני אלגוריתם FEA בתגובה לצפייה בגירויי רגש של TRENDS. עבור כל קטגוריית רגש הממופה ב-TRENDS (Shanta/ניטרלי, Haasya/שמח, Krodha/כעס, Bhayanaka/פחד), הטבלה מציגה את ממוצע קבוצת ציוני אלגוריתם FEA (± SD) בבסיס (T0) ובמקסימום בתוך הניסוי (Tmax), את השינוי הממוצע (Tmax − T0), ואת תוצאת מבחן t למדגמים מזווגים (p-value) המשווה בין T0 ל-Tmax (n = 72). כל הערכים מדווחים ביחידות שרירותיות של ציון אלגוריתם FEA; p < 0.05 נחשב למשמעותי סטטיסטית.
| קטגוריית רגש (גירויי Navarasa) | ממוצע T0 | ממוצע Tmax | הפרש ממוצע | p-value |
| ניטרלי – Shanta | 0.24 | 0.29 | 0.047 | <0.001 |
| נעים (Haasya, Veera, Shringara, Adbhuta) | 0.034 | 0.045 | 0.011 | <0.001 |
| לא נעים (Krodha, Vibhitsa, Bhayanaka, Karuna) | 0.054 | 0.068 | 0.014 | <0.001 |
טבלה 2: ערכי T0 ו-Tmax ממוצעים של ציוני אלגוריתם ה-FEA בתגובה לצפייה בגירויי רגש מסוג Navarasa. עבור כל קטגוריית Navarasa מורכבת (ניטרלית, נעימה, לא נעימה), הטבלה מציגה את ממוצע ציוני אלגוריתם ה-FEA של הקבוצה (± SD) בבסיס (T0) ובמקסימום בתוך הניסוי (Tmax), את השינוי הממוצע (Tmax − T0), ואת תוצאת מבחן t למדגמים מזווגים (p-value) המשווה בין T0 ל-Tmax (n = 72). כל הערכים מדווחים ביחידות שרירותיות של ציוני אלגוריתם FEA; p < 0.05 נחשב למשמעותי מבחינה סטטיסטית.
| פאנל A: גירויי TRENDS | |||||
| גירויי TRENDS | AUC | 95% CI | ערך סף Δ Emoscape Score | רגישות (%) | ספציפיות (%) |
| ניטרלי – Shanta | 0.665 | 0.456–0.873 | 0.065 | 82.5 | 50 |
| שמח – Haasya | 0.637 | 0.493–0.780 | 0.0345 | 70.7 | 46.2 |
| פחד – Bhayanaka | 0.583 | 0.446–0.721 | 0.018 | 61.2 | 54.5 |
| כעס – Raudra | 0.532 | 0.374–0.689 | 0.023 | 67.3 | 45.5 |
| פאנל B: גירויי Navarasa | |||||
| גירויי Navarasa | AUC | 95% CI | ערך סף Δ Emoscape Score | רגישות (%) | ספציפיות (%) |
| Shanta (ניטרלי) | 0.596 | 0.412–0.779 | 0.03 | 85.7 | 44.6 |
| נעים (Haasya, Veera, Shringara, Adbhuta) | 0.515 | 0.369–0.660 | 0.012 | 70.2 | 40 |
| בלתי נעים (Krodha, Vibhitsa, Bhayanaka, Karuna) | 0.565 | 0.384–0.745 | 0.007 | 67.8 | 38 |
טבלה 3: ערכי השטח תחת העקומה (AUC), רגישות וסגוליות עבור ציוני אלגוריתם FEA לפי קטגוריית רגש. עבור כל קטגוריית רגש שנבחנה באמצעות ניתוח מאפייני תפעול של מקלט (ROC), הטבלה מציגה את ה-AUC, הרגישות (%) והסגוליות (%). רגישות של 80% ≤ הוגדרה מראש כמעידה על יכולת הבחנה טובה; ערכים מתחת לסף זה סווגו כבינוניים (ראה ניתוח סטטיסטי).
איור משלים 1: מטריצת בלבול מנורמלת עבור מודל סיווג הרגשות Navarasa בעל תשע מחלקות. השורות מייצגות את מחלקת הרגש האמיתית (הבסיס) והעמודות מייצגות את מחלקת הרגש שנחזה על ידי המודל; ערכי התאים מציינים את הפרופורציה של מופעי המחלקה האמיתית שהוקצו לכל מחלקה נחזית, מנורמלים לסולם של 0–1 (סרגל צבעים, מימין). תוויות המחלקות (1–9) תואמות לתשעת קטגוריות הרגש של Navarasa; בשל הגבלות קניין, המיפוי הספציפי של מספרים לרגשות אינו חסוי. דיוק הסיווג הכולל בבדיקה צולבת (cross-validation) עבור כל תשעת הקטגוריות היה 96%. סטיות תקן אינן רלוונטיות לפורמט מטריצה זה.אנא לחץ כאן להורדת קובץ זה.
קובץ משלים 1: תיאור פיתוח מודל אלגוריתם FEA (כולל מדדי תיקוף פנימיים, דיוק בתיקוף צלב, ומטריצת בלבול Navarasa בגודל 9 × 9).אנא לחצו כאן כדי להוריד קובץ זה.
קובץ משלים 2: קובץ המכיל נתונים גולמיים.אנא לחץ כאן כדי להוריד קובץ זה.
דיון
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
מחקר זה ביקש לספק תיקוף ראשוני לאלגוריתם ה-FEA על ידי בחינת ההלימה בין ציונים שהופקו באמצעות אלגוריתם ה-FEA לבין תגובות לגירויי רגש פנים סטנדרטיים במתנדבים מבוגרים בריאים. ממצאים מוקדמים אלו מעידים כי אלגוריתם ה-FEA מראה שינויים ניתנים לזיהוי סטטיסטי בתגובה לגירויים חזותיים מעוררי רגש במגוון קטגוריות רגשיות נפרדות, כולל ניטרליות (shanta), אושר (haasya), פחד (bhayanaka) וכעס (raudra), וכן סיווגים רחבים יותר של מצבים נעימים ובלתי נעימים. הדבר מצביע על כך שציוני אלגוריתם ה-FEA תואמים לתגובות במשימות של גירויים רגשיים.
נצפתה רגישות של אלגוריתם ה-FEA בטווח של 70% עד 80% עבור רגשות ניטרליים או חיוביים, ובין 60% ל-70% עבור רגשות שליליים. ערכי רגישות אלו הם צנועים עבור כל בדיקה המיועדת לשימוש כאמצעי סריקה12. לשם השוואה, מודלים רחבים יותר להסקת רגשות המבוססים על למידת מכונה ומשתמשים במדדים נוירופיזיולוגיים, כגון אלקטרואנצפלוגרפיה (EEG), מדווחים על דיוקי סיווג של עד 90%13. מערכת מסווג צבר (ensemble classifier) לסיווג רגשות מ-EEG ו-GSR לצורך זיהוי אוטיזם הראתה דיוק זיהוי של 99.97%14. עם זאת, מודלים אלו נוטים להיות תובעניים יותר מבחינה חישובית ומחייבים עיבוד לא מקוון (offline). לעומת זאת, חוזקה בולטת של אלגוריתם ה-FEA טמונה בהתמקדותו ברמזים גופניים ופנים נצפים, מה שמאפשר פעולה בסביבות של זמן אמת.
הליך אלגוריתם ה-FEA תלוי במספר גורמים פרוצדורליים הקריטיים לאיכות ולאמינות ההקלטות של אלגוריתם ה-FEA. אלו כוללים את מיקום המצלמה ואת התאורה הסביבתית. הקלטות שנערכו תחת תאורה סביבתית נמוכה או לא עקבית עלולות לפגוע משמעותית באיכות חילוץ המאפיינים. מיקום הראש והגוף חייב להישאר יציב לאורך כל מפגש הקלטה; לפיכך, משתתפים עם ניידות מוגבלת של הראש או הצוואר הוחרגו. מזעור הפרעות התנהגותיות במהלך ההקלטה הוא חיוני. המשתתפים ישבו לבדם, כאשר החוקר היה נעדר מהחדר, כדי להפחית השפעות של רצון חברתי (social desirability) וניטור עצמי שעלולים לדכא הבעות פנים טבעיות.
שילוב מודל ה-Navarasa מספק סיווג של רגשות הרגיש להקשר תרבותי. המחקר יישם גישה של תיאוריית המיינד (ToM) כדי להעריך שינויים בציוני אלגוריתם ה-FEA בתגובה לגירויים רגשיים. ToM מייצגת פונקציה קוגניטיבית חברתית מסדר גבוה, והמצעים הנוירוביולוגיים שלה תועדו בספרות15, ובכך היא תומכת בסבירות הביולוגית של השינויים שנצפו בציוני אלגוריתם ה-FEA.
לא נמצא מתאם בין הציונים של אלגוריתם ה-FEA לבין ציוני הדיכאון או החרדה, ממצא המרמז כי סביר שלא השפיעו המצבים הרגשיים הפנימיים של המשתתפים על ההקלטות של אלגוריתם ה-FEA. עם זאת, קשה לשלוט באופן מלא במצבים הרגשיים של המשתתפים במהלך הניסוי. בנוסף, עיבוד קוגניטיבי מלמעלה-למטה (top-down) עלול לדכא תגובות רגשיות טבעיות, במיוחד בתגובה לגירויים רגשיים שליליים. מחקרים עתידיים צריכים להעריך את החוויות הסובייקטיביות של המשתתפים בזמן הצפייה בגירויים רגשיים, שכן הדבר עשוי לתקף עוד יותר האם צפייה פסיבית אכן מעוררת מצב רגשי סובייקטיבי. ניתן להגביר את הרגישות הצנועה של אלגוריתם ה-FEA לבדו באמצעות נתונים נוירופיזיולוגיים נוספים, כגון EEG, שונות בקצב הלב (HRV) או תגובה גלוונית של העור (GSR). יש להעריך זאת במחקרי תיקוף עתידיים. התיקוף בוצע על אוכלוסייה של מבוגרים בריאים. התועלת של אלגוריתם ה-FEA בהערכת מצבים רגשיים סובייקטיביים במצבים קליניים כגון דיכאון וחרדה מצדיקה חקירה נוספת באמצעות מחקרי מקרה-ביקורת.
יש להכיר במספר מגבלות של המחקר הנוכחי. אופיו הקנייני של אלגוריתם ה-FEA מגביל את השקיפות של תהליך העיבוד שלו. באופן ספציפי, לא ניתן לחשוף את המספר המדויק של השחקנים/משתתפים, את זהותם ברמת השחקן/משתתף, את מספר הסרטונים/ההקלטות המדויק לכל שחקן, את הגדרות המאפיינים המדויקות (אינדקסים של נקודות ציון ומזהי נקודות מפתח) ואת פרמטרי הארכיטקטורה המפורטים של ה-MLP (ממדי שכבות מדויקים ומספר פרמטרים). מדדי התיקוף הפנימיים (דיוק בתיקוף צולב של 96%; תיקוף עצמאי על >15,000 דקות של וידאו) מדווחים בחומרי ההשלמה. תוויות המחלקה המייצגות את שמות הרגשות הן אנונימיות בשל מגבלות קנייניות. אנו מכירים בכך שמגבלות אלה מקרינות על היכולת לשחזר את המחקר באופן עצמאי.
המחקר הבחין בהלימה של הגירויים בין ציוני אלגוריתם ה-FEA לבין דיוק זיהוי הרגשות בבני אדם בריאים, עם רגישות מתונה להבחנה בין מצבים רגשיים. תוצאה זו מספקת תיקוף ראשוני לאלגוריתם ה-FEA, אלגוריתם קנייני המבוסס על ML המנתח מיקרו-תנועות של פלג הגוף העליון ומייצר ייצוגים דינמיים של מסלולים רגשיים וציונים מצטברים עבור כל אחת מתשע ה-rasas, בהתבסס על מסגרת ה-Navarasa. גרסאות עתידיות של האלגוריתם צריכות לשאוף לשפר את כושר ההבחנה שלו בכל הקטגוריות הרגשיות על ידי שילוב נתונים פיזיולוגיים או הקשריים נוספים. תיקוף באוכלוסיות קליניות רחבות יותר דורש חקירה נוספת.
גילויים
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
אלגוריתם ה- FEA הוא אלגוריתם קנייני של חברת .Nihilent Ltd, אשר סיפקה תמיכה כספית ל-Manoshanti לצורך ביצוע איסוף הנתונים למחקר זה. חברת Nihilent סיפקה את ציוני אלגוריתם ה-FEA. ניתוח הנתונים בוצע באופן עצמאי על ידי Manoshanti. חברת .Nihilent Ltd לא הייתה מעורבת בניתוח הנתונים.
תודות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
אנו מודים לפרופסורים P. T. Sivakumar ולד"ר Shivarama Varambally על הפיקוח המדעי על מחקר זה.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| Emoscape | Nihilent Ltd, Pune | 1 | מפתח של Emoscape |
| מרכזי Manoshanti לרווחה רגשית | GNR Health Care Pvt Ltd. | 2 | שותף קליני ומחקרי |
| כלי לזיהוי רגשות בהפרעות נוירופסיכיאטריות | זכויות יוצרים בידי המחבר המקשר של המחקר | 3 | כלי ששימש לצורך תיקוף במחקר |
מקורות
Loading...
$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
- Garg N, Garg R, Anand A, Baths V. Decoding the neural signatures of valence and arousal from a portable EEG headset. Front Hum Neurosci. 2022;16:1051463. doi:10.3389/fnhum.2022.1051463.
- Wang XW, Nie D, Lu BL. Emotional state classification from EEG data using a machine learning approach. Neurocomputing. 2014;129:94–106.
- Giannakaki K, Giannakakis GA, Farmaki C, Sakkalis V. Emotional state recognition using advanced machine learning techniques on EEG data [conference paper]. Presented at: 2017 IEEE 30th International Symposium on Computer-Based Medical Systems; Thessaloniki, Greece; 2017. p. 333–6. Available from: https://ieeexplore.ieee.org/document/8104214
- Barzilay R, et al. Predicting affect classification in mental status examination using machine learning face action recognition system. Front Psychiatry. 2019;10:288. doi:10.3389/fpsyt.2019.00288.
- Houssein EH, Hammad A, Ali AA. Human emotion recognition from EEG-based brain-computer interface using machine learning. Neural Comput Appl. 2022;34:12527–52.
- Awan AW, et al. An ensemble learning method for emotion charting using multimodal physiological signals. Sensors (Basel). 2022;22(23):9480. doi:10.3390/s22239480.
- Shetty H, Sampathila N, Kumar GS, Behere R. Interactive self assessment tool for analysis of emotional status. Indian J Sci Technol. 2017;10(16):1–5.
- Bazgir O, Mohammadi Z, Habibi SAH. Emotion recognition with machine learning using EEG signals [conference paper]. Presented at: 2018 25th National and 3rd International Iranian Conference on Biomedical Engineering; Qom, Iran; 2018. p. 1–5. Available from: https://ieeexplore.ieee.org/document/8703559
- Spunt RP, Adolphs R. The neuroscience of understanding the emotions of others. Neurosci Lett. 2019;693:44–8.
- Hawco C, et al. Neural activity while imitating emotional faces is related to both lower and higher-level social cognitive performance. Sci Rep. 2017;7:1244. doi:10.1038/s41598-017-01316-z.
- Behere RV, et al. TRENDS: a tool for recognition of emotions in neuropsychiatric disorders. Indian J Psychol Med. 2008;30(1):32–8.
- Trevethan R. Sensitivity, specificity, and predictive values: foundations, pliabilities, and pitfalls in research and practice. Front Public Health. 2017;5:307. doi:10.3389/fpubh.2017.00307.
- Gkintoni E, Aroutzidis A, Antonopoulou H, Halkiopoulos C. From neural networks to emotional networks: a systematic review of EEG-based emotion recognition in cognitive neuroscience and real-world applications. Brain Sci. 2025;15(3):220. doi:10.3390/brainsci15030220.
- Joshi S, Srinivas LNB. An ensemble classifier for emotion classification from EEG and GSR signals for autism detection. Comput Methods Programs Biomed. 2025;270:108921. doi:10.1016/j.cmpb.2025.108921.
- Lincoln SH, et al. The neural basis of social cognition in typically developing children and its relationship to social functioning. Front Psychol. 2021;12:714176. doi:10.3389/fpsyg.2021.714176.
הדפסות חוזרות והרשאות
בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה
בקש הרשאה