מודלים חישוביים של חוויית משתמש רגשית באמצעות אותות פיזיולוגיים והתנהגותיים רב-מודליים

Summary

פרוטוקול זה מתאר מסגרת חישובית שמדמות את חוויית המשתמש הרגשית על ידי שילוב אותות פיזיולוגיים והתנהגותיים בצורה רב-מודלית, תוך שימוש בטכניקות ללמידת תכונות מבוססת קורלציה ומיזוג רב-מודלי. פרוטוקול זה מציע ובודק מסגרת למידול רגשי רב-מודלי על מערך הנתונים של EMIGOS בנצ'מרק.

Abstract

עבודה זו מציעה פרוטוקול חישובי לשחזור למידול רגשי רב-מודלי המשתמש באותות פיזיולוגיים. מטרת הפרוטוקול היא לאפשר זיהוי רגשות לא מקוון על ידי שילוב מספר אותות ביולוגיים באמצעות מסגרת למידה עמוקה מאוחדת. העבודה המוצעת כוללת חמישה שלבים: איסוף נתונים, עיבוד מוקדם, יישור תכונות, מיזוג מולטימודלי והערכה. אותות EEG, ECG ו-GSR מנתוני AMIGOS נגישים לציבור שימשו כבסיס ניסיוני בעבודה זו. אותות ביולוגיים עובדו מראש וננורמו כדי להפיק תכונות ייחודיות למודליות. מרחבי תכונות הטרוגניים יושרו בין מודאליות באמצעות ניתוח קורלציה קנוני עמוק, ואחריהם רשת מיזוג רב-מודלית לסיווג מצב רגשי. הפרוטוקול הוערך בניסויים לא מקוונים והושווה למודלים קונבנציונליים של מיזוג וסיווג תוך שימוש במדדי ביצועים סטנדרטיים כגון דיוק, דיוק, שחזור, ציון F1 ו-AUC. מחקר זה מתמקד בפיתוח ואימות של מסגרת חישובית למידול חוויית משתמש רגשית רב-מודלית במקום בפריסת מערכת אינטראקטיבית בזמן אמת. עם דיוק של 92.1% בחיזוי מצב רגשי ל-UX וציון F1 של 94.2% בסיווג עוררות ערכית, התוצאות עקפו בעקביות מודלים בסיסיים בממדים רגשיים. ממצאים אלו אישרו את יעילות תהליך המיזוג הרב-מודלי המוצע למידול אפקטיבי חישובי על ידי השוואת נתונים פיזיולוגיים.

Introduction

האינטראקציה המורכבת של חשיבה, רגש ופעולה מעצבת את האופן שבו אנשים חושבים ופועלים. מחשוב אפקטיבי הוא חקר הקשרים הללו באמצעות ידע בין-תחומי ממדעי המוח, פסיכולוגיה ובינה מלאכותית לבניית מערכות המסוגלות לנתח, להבין ולהגיב לרגש האנושי. תחום זה מיושם יותר ויותר בתקשורת אנושית-טכנולוגית על ידי שילוב מודעות ביטוי במבני AI תגובתיים, מה שגורם לטכנולוגיה לקיים אינטראקציה לא רק עם מצבים אינטלקטואליים אלא גם עם תנאים רגשיים, מה שמוביל לידע משתמש אישי ומודע יותר לרגש. רגש, תהליך מנטלי מורכב, הוא השתקפות של התפיסות האנושיות ויש לו תפקיד משמעותי באינטראקציות אנושיות¹. כיום, קיימים יישומים רבים של אינטראקציה בין אדם למחשב (HCI) שדורשים מחקר על זיהוי רגשות². סביבת מערכת ה-HCI היא דינמית ומורכבת. ברוב המקרים, יש צורך לסנכרן את פונקציונליותיו עם הנתבעים; לכן, הקשר עם אינטליגנציה רגשית יכול להסתגל יותר לאווירה כזו. לכן, במחקר זה, נחקר מודלים חישוביים של חוויית משתמש רגשית באמצעות אותות פיזיולוגיים והתנהגותיים רב-מודליים³. במקום לפתח או לאמת מערכת אינטראקטיבית בפועל, העבודה נוטה יותר לתרום במתודולוגיה הקשורה לאינטגרציה של אותות מולטימודליים או להסקת אפקט בהקשרים יישומיים של הטמעה או סביבות מבוססות תערוכות. כדי להימנע ממגוון מושגים, עבודה זו מתמקדת בשני מושגים עיקריים: יישום מסגרת מודלים רגשית רב-מודלית באמצעות גישות חישוביות, וטכניקות מיזוג נתונים רב-מודליות לשילוב נתונים פיזיולוגיים והתנהגותיים. כל הנושאים האחרים שעולים בכתב היד מוזכרים לצורך הקשר לגבי הרלוונטיות של המודלים המפותחים.

כל מודאליות של רגש מעבירה מידע שונה על תחושת האדם שלא ניתן להסיק ממערכת חישה אחרת. הפקת רגש מתנועת גוף, הכוללת דפוס תנועה כללי, זוכה לזיהוי התחושות הלא-מילוליות של אדם⁴. דיבור ומראה פנים יכולים להעביר חומר שאינו זמין בתנועת גוף ואותות גוף אנושיים. בני אדם משתמשים במגוון מודאליות רגשית במקביל ובשילוב. כל שיטה מוגבלת ויש לה יתרונות. כדי לזהות תחושה נכונה, שיטות זיהוי רגשות רב-מודליות עשויות ליהנות מביצועי זיהוי טובים יותר מאשר זיהוי רגשות חד-מודלי. עם זאת, במקרה של שינוי רגשי, רמזים להבעות פנים, אותות ביולוגיים/פיזיולוגיים ואותות דיבור נוטים להופיע מוקדם יותר מאותות אחרים. לכן, זיהוי רגשות מבוסס ראייה ממוחשבת עוסק בעיקר בהבעה רגשית בפנים.⁵.

מחשוב רגשי נחקר באופן מקיף באינטראקציה בין ילד לרובוט (CRI); מערכות מודעות לרגש משנות את תגובתן בהתאם לאותות פיזיולוגיים והתנהגותיים של המשתמשים. עבודות אלו ממחישות את ההיתכנות של חישה רגשית ביופיזיקלית ואינטראקציה אדפטיבית. עם זאת, בעיקר, מערכות ה-CRI שתוכננו מתאימות רק להקשרים מובנים, ממוקדי משימה והקשרים של משתתפים. כתוצאה מכך, למערכות CRI יש הכללה מוגבלת לסביבות דינמיות וציבוריות כמו תערוכות אינטראקטיביות. העבודה שלהם מצביעה על רובוטים מודעים לרגשות כחיוניים לשיפור המוטיבציה, בנוסף לטיפול בנושאים כמו התאמה אישית. מעורבות היא מרכיב מרכזי באינטראקציה רגשית בין ילד לרובוט, שכן רובוטים תגובתיים רגשית מספקים חוויות למידה עשירות ויעילות יותר. המחבר⁶ מציג מסגרת לזיהוי מעורבות משתמשים על בסיס מאפיינים של משימה ואינטראקציה חברתית. הם מוכיחים באמצעות ממצאיהם שזיהוי רמזים רגשיים, כולל הבעות פנים והתנהגות חברתית, מאפשר לרובוטים להתאים את תגובותיהם באופן דינמי כדי לשפר את האינטראקציה והמעורבות של המשתמשים. הסתגלות רגשית ב-CRI לטווח ארוך היא אתגר מתמשך. המחברים^ב-7 מציגים את רגשות הילדים במהלך תקופה מסוימת, ומדגישים את העובדה שרובוטים צריכים להסתגל לדפוסי רגשות אישיים וסגנונות למידה.

הוא גם השיג ביצועים חזקים מ-EEG בזכות הרזולוציה הזמנית הגבוהה שלו ורגישותו למצבים רגשיים. עבודות אחרונות ^8,9,10 תוך שימוש בגישות למידה עמוקה שיפרו את החוסן בין נושאים על ידי הכנסת מודלים מרחביים-זמניים ומנגנוני קשב מבוססי גרפים. עם זאת, רוב המחקרים נשארים חד-מודליים, ורק מעטים מתחשבים באינטראקציות בין תפיסה לרגש בערוצים חושיים מרובים; לכן, הן פחות ישימות בתרחישי UX סוחף 11,12,13. המודל הוערך על בסיס מאגר הנתונים, שהראה שיפור בביצועים בהשוואה לטכניקות המתקדמות כיום. אלגוריתם הבחירה הביקורתית התלוי רגש הוצע על ידי המחברים^ב-14, ונבדקו החוזק, מקדם האשכול ומרכזיות וקטור העצמי של תכונות רשת הקישוריות הפונקציונלית של EEG. המחברים^ב-15 מחקרים חקרו רשת יחידות חוזרות עמוקה ופשוטה בניסיון להשיג את התכונות הזמניות מאותות EEG, והתוצאות הניסיוניות עלו על עבודות קשורות בספרות 16,17,18,19. כמעט בלתי אפשרי לאסוף מאגר נתונים גדול של אותות EEG, אך ניתן לנסות גישות אחרות, כמו הגישה החוצה-נושאים.

מחקרים אחרונים ^20,21 עשו התקדמות משמעותית בשימוש באלגוריתמים מתקדמים במיוחד למידול מרחב-זמן כדי להתמודד עם סוגיית סיווג רגשי חוצה נושאים המבוסס על אותות EEG. זה כולל רשת היברידית מרחבית-זמנית עם התאמת דומיין משופרת ותשומת לב דינמית לגרפיה לטיפול בשונות בין נבדקים בסיווג רגשות מאותות EEG²². במיוחד, באמצעות מנגנוני מידול זמן ומודלים של יחסי מוח מרחביים עם קשב דינמי, הם שיפרו משמעותית את ביצועי סיווג רגשות בלתי תלוי בנבדק. מאמץ מחקר נוסף בבעיה זו כולל רשת אינטראקציה איזומורפית בין אזור המוח^{במרחב-זמן 23}. במחקר זה, מושם דגש רב יותר על מידול אינבריאנטים מרחביים-זמניים לשיפור משמעותי של עמידות בין-נבדקת לסיווג רגשי מאותות EEG. למרות שתרומות מחקר אלו תיעדו בהצלחה ביצועים יוצאי דופן בסיווג רגשות מאותות עצביים בלבד, הם מוגבלים לאותות מונומודליים וחסרים חקירה של אינטראקציות P-E רב-מודליות. לעומת זאת, המחקר הנוכחי מתקדם על מודלים מורחבים של אותות חד-מודליים באמצעות פתרונות למידה עמוקה שמקשרים מודאליות P/E מרובות יחד באמצעות למידת קורלציה עמוקה, ומספקים פתרון מודל UX אפקטיבי עשיר יותר.

למרות שמחקרים עדכניים, כולל הפרויקט על ממשק ילד-רובוט מודע באופן הבעה באמצעות מידע ביופיזיקלי, אישרו את הפוטנציאל לנצל אותות פיזיולוגיים מולטימודליים לשיפור זיהוי האפקטים, הם מוגבלים בכל זאת על ידי מגבלות הקשורות לתחום. במיוחד, מערכות אלו מותאמות ברובן לאינטראקציה מובנית וממוקדת משימה עם ילדים ואינן ניתנות להכללה לסביבות מורכבות ודינמיות יותר כמו תערוכות אינטראקטיביות. יתרה מזאת, טכניקות מיזוג תכונות בשימוש בעבודת הבסיס אינן ניתנות להרחבה ונוטות להסתמך על גישות מיזוג שטחיות, שאינן לוכדות ביעילות את האינטראקציה המורכבת בין תפיסה לרגש הקיימת בסביבות חוויית משתמש רב-חושיות. בנוסף, המאמר הבסיסי אינו משתמש בטכניקות למידה עמוקה מתקדמות שיכולות ליישר ולשלב זרמי נתונים רב-מודליים רב-מודליים בממדים גבוהים, כמו EEG, הבעות פנים ומעקב עיניים, תחת גירויים סביבתיים שונים. דבר זה חושף פער ידע יסודי ביצירת פרדיגמה חישובית בעלת ביצועים גבוהים, אשר לא רק מתאימה למגוון דמוגרפיה של קהל והקשרים של גירויים, אלא גם לוכדת אינטראקציה בין תפיסה לרגש באמצעות ניתוח קורלציה קנונית עמוקה (DCCA) וארכיטקטורות רשת מיזוג רב-מודלית (MMFN). גישור על הפער הזה יכול להשפיע משמעותית על ההבנה של חוויית המשתמש (UX).

המטרה העיקרית של עבודה זו היא ליצור מערכת חישובית שמקלה על חוויית משתמש רגשית אדפטיבית בהקשרים אינטראקטיביים בתערוכות באמצעות חישה ביופיזית והתנהגותית רב-מודלית. בהתבסס על עקרונות בסיסיים של מידול רגשות ממחקר אינטראקציה בין ילד לרובוט ומחישוב רגשי, מסגרת זו שואפת למודל ולתעד אינטראקציות בין תפיסות המשתמש לרגש בהתבסס על רמזים פיזיולוגיים והתנהגותיים הטרוגניים כמו EEG, ECG, EDA, הבעות פנים ומעקב עיניים. באמצעות שילוב ניתוח קורלציה קנונית עמוקה (DCCA) עם רשת מיזוג רב-מודלית (MMFN), המערכת שואפת ללמוד ייצוגים רגשיים סמויים נפוצים בין מודאליות ולהקרין ייצוגים אלה על מצבי חוויית משתמש רגשית (UX). הארכיטקטורה מופקדת להתגבר על המגבלות של מיזוג תכונות שטחיות ומודלים רגשיים מוגבלים לגיל, על ידי תמיכה בהסקת רגשות מודעת להקשר ואינטגרציה רב-חושית בסביבות דינמיות וציבוריות. לבסוף, עבודה זו שואפת לסייע בפיתוח מערכות תצוגה מתקדמות, חכמות ורגשות רגשית, המגיבות למשוב רגשי בזמן אמת ולמצבי אינטראקציה של המשתמשים, ובכך מגבירה עוד יותר את המעורבות, הסיפוק וההדהוד הקוגניטיבי-רגשי בחוויות תרבותיות דיגיטליות.

מאמר זה תורם לספרות בדרכים הבאות: מסגרת חישובית למידול רגשי רב-מודלי המתחשב הן בנתונים פיזיולוגיים והן בנתונים התנהגותיים. גישה של מיזוג רב-מודלי שמקלה על למידה אפקטיבית של תפיסה וייצוג רגשות ממקורות נתונים מרובים. העבודה המוצעת הזו מציגה פרדיגמה חישובית חדשה להרחבת חוויית המשתמש הרגשית (UX) באמצעות חישה רב-מודלית מבוססת בינה מלאכותית ומודלים של צינור אינטגרציה רב-חושית של האינטראקציה בין תפיסה לרגש. התרומה העיקרית היא המיזוג בין DCCA ל-MMFN כדי להקל על יישור תכונות חזק ולמידת ייצוג ברמה גבוהה במודאליות הטרוגניות כגון EEG, ECG, EDA, הבעות פנים ומעקב עיניים. דבר זה מאפשר למודל מיפוי מדויק של הערכה לא מקוונת של תפיסה חושית למצבים רגשיים כמו עניין, מעורבות, הפתעה או שעמום. אימות ניסויי עם מאגר הנתונים הזמין לציבור של AMIGOS מראה כי מודל DCCA+MMFN שפותח מתפקד טוב יותר ממודלים בסיסיים (למשל, 1D-CNN, CNN-ResNet ו-LSTM-CNN) עם דיוק סיווג ממוצע של 89.4% למצבי רגש ערותיים-ערכים ו-87.1% למחלקות רגש נפרדות.

בניגוד למחקרים קודמים שהדגישו משתתפים, מצבים ממוקדי משימה או השתמשו בטכניקות מיזוג תכונות ברמה שטחית, הגישה המוצעת מביאה מסגרת למידה עמוקה המיועדת במיוחד לסביבות תערוכה דינמיות בעולם האמיתי. באמצעות שילוב DCCA ו-MMFN, עבודה זו מספקת שיטה ניתנת להרחבה ועמידה ברעש, המסוגלת להבין שינויים מתמשכים בתפיסה–רגש בקבוצות משתמשים הטרוגניות. המיזוג הברור הזה של אותות פיזיולוגיים, התנהגותיים וסביבתיים בממדים גבוהים הוא חידוש מרכזי במידול UX רגשי. מאמר זה מציג מסגרת מונעת בינה מלאכותית למידול חוויות משתמש רגשיות בתערוכות אינטראקטיביות באמצעות חישה רב-מודלית ואינטגרציה רב-חושית. המסגרת המוצעת משיגה יישור חזק ומיזוג של מודאליות הטרוגניות כמו EEG, ECG, EDA, הבעות פנים ומעקב עיניים על ידי שילוב DCCA עם MMFN. בניגוד למחקרים קודמים שהיו מוגבלים לסביבות משתמש או ממוקדות משימה, הגישה המוצעת תומכת במידול תפיסה-רגש רציף בסביבות ציבוריות דינמיות, ובכך מהווה התקדמות מרכזית במחקר חוויית משתמש רגשית.

יצירת גישה חישובית שיטתית ורב-מודלית למידול רגשות פיזיולוגי, המטפלת בשיטתיות ביישור תכונות הטרוגני לפני המיזוג היא החידוש המרכזי של עבודה זו. המסגרת המוצעת מחייבת למידת ייצוג מתאם בין אותות EEG, ECG ו-GSR על ידי הכנסת שלב יישור חבוי בין-מודאלי באמצעות DCCA, בניגוד למחקרי זיהוי רגשות רב-מודליים מסורתיים המבוססים על שרשור תכונות ישיר או מיזוג ברמת החלטה. על ידי הבטחת עקביות מודאלית לפני הסיווג, גישה זו של מיזוג מונחית יישור משפרת הכללה ועמידות בין ממדים רגשיים. התרומה היא תהליך עבודה מקצה לקצה, ממוכונת בנצ'מרק, שמתקנת עיבוד מוקדם, יישור ייצוג, מיזוג מולטימודלי והערכה בתוך ארכיטקטורת למידה עמוקה אחת, ומאפשרת מידול רגשות פיזיולוגי בלתי תלוי במשימה, במקום להציע שינוי אלגוריתמי יחיד. המסגרת המוצעת במחקר זה מוגדרת כהיתכנות והדגמה מושגית של מודל רגשי רב-מודלי לחוויות דמויות תצוגה. במקום לנסות למודל ישירות סביבות תערוכה רב-חושיות אמיתיות, מאגר הנתונים של AMIGOS משמש כנקודת בנצ'מרק לאימות גישת המידול בסביבה מבוקרת.

Protocol

מאגר הנתונים של AMIGOS ששימש במחקר זה זמין לציבור ונאסף באישור מוקדם של ועדת ביקורת מוסדית והסכמה מדעת, כפי שדווח בפרסום המקורי. מחקר זה כולל רק ניתוח משני של מאגר הנתונים, ולא נדרשה אישור אתי נוסף.

השיטה הנוכחית עושה שימוש בגישות יישור תכונות ומיזוג רב-מודלי כדי להתמודד עם נתונים פיזיולוגיים והתנהגותיים רב-מודליים, במטרה לתאר מתאמים בין תפיסה לרגש. מחקר זה מציע מודל חישובי לחוויית משתמש רגשית (UX) בתערוכות אינטראקטיביות, תוך שימוש בחישה ביופיזיקלית רב-מודלית ומידול רגשות מבוסס בינה מלאכותית. בהתבסס על תובנות נתונים ביופיזיקליים מהמאמר הבסיסי, מתודולוגיה זו מדגיטציה של מודלים חישוביים של מצבי משתמש מתוך EEG, ECG, EDA מסונכרנים, מעקב עיניים, הבעות פנים וקלטים סביבתיים. המונח "מודלים מרחבי-זמניים" בכתב היד מתייחס לייצוג תכונות פיזיולוגיות מרחביות רב-ערוציות וליישור קורלציה בין-מודאלית באמצעות DCCA. טמפורלי: קידוד סדרתי באמצעות BiLSTM ושימור תלות זמנית בתוך חלונות מקוטעים. אותות מגוונים אלו מעובדים מראש ומנורמלים בתחילה כדי להתחשב בקורלציות זמניות ומרחביות בין מודאליות. וקטורי התכונה נלמדים באופן עצמאי לכל מודאליות, ולוכדים דפוסים רגשיים כמו עוררות, קשב ומעורבות. כדי ללמוד בהצלחה מייצוגים רגשיים משותפים בין זרמי נתונים הטרוגניים, נעשה שימוש ב-DCCA. DCCA מקרין כל מודאליות לתת-מרחב משותף סמוי שבו תכונות מתואמות ממקסמות, תוך שמירה על מידע ספציפי למודאליות באמצעות רלוונטיות חוצת מודלים מוגברת. ההטמעות החבויות המיושרות למודאליות מועברות לאחר מכן לרשת מיזוג רב-מודלית (MMFN) המשלבת מידע זמני והקשר באמצעות BiLSTM היברידי ושכבות קשב. מיזוג זה מאפשר למערכת ליצור מצבים רגשיים ברמה גבוהה, המתורגמים למדדי חוויית משתמש (למשל, שעמום, עניין, אי נוחות). לבסוף, מודול סיווג מעריך את מצב ה-UX הרגשי ומספק משוב להתאמה לתצוגה, למשל, התאמת גירויים חזותיים או שמעיים במידול חישובי. איור 1 מציג את הארכיטקטורה של השיטה המוצעת.

איור 1: ארכיטקטורה של השיטה המוצעת. מבנה מסגרת המידול המוצעת ל-UX המשלב קלטים רב-מודליים, כולל EEG, ECG, EDA, הבעות פנים ומבט עיניים, תוך שימוש ב-DCCA ו-MMFN. קיצורים; UX = חוויית משתמש; EEG = אלקטרואנצפלוגרפיה; א.ק.ג = אלקטרוקרדיוגרפיה; EDA = פעילות אלקטרודרמלית; DCCA = ניתוח קורלציה קנונית עמוקה; MMFN = רשת מיזוג רב-מודלית. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

הארכיטקטורה המוצעת באיור 1 ממחישה מערכת חוויית משתמש רגשית מקצה לקצה (UX) המשתמשת בניתוח קורלציה קנוני עמוק (DCCA) ורשת מיזוג רב-מודלית (MMFN) למידול אינטראקציה בין תפיסה לרגש בתערוכות אינטראקטיביות. המערכת מתחילה בלקיחת קלטים מולטימודליים גולמיים כמו EEG, ECG ואותות פיזיולוגיים של EDA; הבעות פנים וסימני התנהגות במבט עיניים; וקלטים הקשריים כמו מידע אודיו-ויזואלי וסביבתי. אותות אלו מוזנים לאחר מכן למודול עיבוד מוקדם וחילוץ תכונות, שבו מתבצע עיבוד ספציפי לאות (למשל, הסרת רעש, נרמל, חישוב תכונות) כדי לייצר תיאורים משמעותיים לכל מודליות. שנית, מודול DCCA מקרין זוגות של מודאליות למרחב סמוי משותף ולומד הטמעות מקסימליות שמקודדות דפוסים רגשיים פנימיים בין מודאליות. תכונות הקורלציה הגבוהה של מודולי DCCA המרובים הללו מתאחדות לאחר מכן על ידי רשת המיזוג הרב-מודלית (MMFN), אשר ממזגת היררכית את התכונות הנלמדות עם שכבות למידה עמוקה, ייתכן ש-BiLSTM, מנגנוני קשב או טרנספורמרים ליצירת ייצוג רגשי קומפקטי וברמה גבוהה. הייצוג המשולב הזה מוזן לשכבת סיווג מצבי הרגש ו-UX, שבה המודל חוזה תוצאות רגשיות כמו ערך, עוררות, או מצבים קוגניטיביים/רגשיים כמו מעורבות, שעמום או עומס יתר. לולאת משוב UX אדפטיבית מסופקת אופציונלית בסיום הצינור, ומאפשרת למערכת להגיב באופן אינטראקטיבי למצבי המשתמש על ידי התאמת גירויים או תוכן בהקשר התערוכה. ארכיטקטורה מדרגלית ומודולרית זו מבטיחה מידול רגשי חזק באמצעות למידת ייצוג מודעת לקורלציה ואינטגרציה מולטימודלית עמוקה, המתאימה מאוד למידול חישובי של מחשוב רגשי בסביבות אינטראקטיביות או חווייתיות.

הבחירה במיזוג DCCA עם MMFN מבוססת על המגבלות הנוכחיות של מודלים סטנדרטיים חד-מודליים והיתוך רדוד. למרות ש-CNN-ResNet ו-LSTM-CNN מפיקים תכונות זמניות או מרחביות, הם גרועים באיזון בין מודאליות הטרוגניות כמו EEG, EDA והבעות פנים תחת גירויים סביבתיים שונים. DCCA ממקסמת קורלציה בין-מודלית כדי להבטיח ייצוגים סמויים משותפים, בעוד ש-MMFN עושה שימוש במנגנוני מיזוג ותשומת לב היררכיים כדי להדגיש דינמית את האותות המידעיים ביותר. כאשר משולבים, מודולים אלו מציעים גישה אמינה, מובנת ורחבה יותר למידול UX אפקטיבי לסביבות אינטראקטיביות רב-חושיות.

רכישת נתונים
במסגרת המודל המוצעת של אינטראקציה בין תפיסה לרגש לתערוכות אינטראקטיביות, מאגר הנתונים הזמין לציבור^{AMIGOS 24} משמש כבסיס לנתונים רגשיים רב-מודליים. מאגר הנתונים של AMIGOS מספק אוסף מקיף של מדדים פיזיולוגיים והתנהגותיים ממשתתפים אנושיים העוברים גירויים שמעוררי רגש כמו קטעי וידאו. נתונים אלו כוללים אותות EEG, ECG ו-GSR מסונכרנים, הקלטות וידאו של פנים, ותוויות רגשיות מדווחות בעצמם בצורות נפרדות (למשל, שמח, עצוב) וממדיות (ערך/עוררות). שיטות אלו מתיישבות היטב עם צרכי המערכת המוצעת כאן, שמטרתה להסיק מצבי חוויית משתמש רגשית (UX) במהלך אינטראקציות תערוכות סוחפות ורב-חושיות. מאגר הנתונים כולל הקלטות מ-40 נבדקים, שכל אחד מהם נחשף לגירויים קצרים (קטעי וידאו <150 שניות) וארוכים (סרטים >14 דקות) שמעוררי רגש, בנסיבות המדמות את מעורבות המדיה האמיתית. להיקף העבודה המוצעת, נעשה שימוש בתת-קבוצה מעובדת מראש של מאגר הנתונים: רשומות מ-30 נבדקים עם אותות EEG, ECG ו-GSR באיכות גבוהה ללא ארטיפקטים, וכן קבצי וידאו פנים מלאים והערות. אלו הן הדגימות שנבחרו לחקות דינמיקות רגשיות רב-מודליות במצבים מבוססי תערוכה. מערך הנתונים הנלמד הוא בסיס הדרכה והשוואה עבור צינור DCCA + Multimodal Fusion Network (MMFN), כאשר מצבים רגשיים כמו מעורבות, שעמום, בלבול ועוררות נחקרים כתגובות לגירויים חזותיים, שמיעתיים ומרחביים בסביבת תצוגה מדומה. טבלה 1 מציגה את תיאור מערך הנתונים של השיטה המוצעת.

פרמטר	פרטים
שם מאגר הנתונים	AMIGOS (מאגר נתונים למחקר רגש, אישיות ומצב רוח)
לא. של משתתפים	40 בסך הכל (30 שימשו בעבודה מוצעת עם נתונים מולטימודליים מלאים)
סוג גירויים	קטעי וידאו קצרים וארוכים (עם הערות רגשית)
ערוצי EEG	אוזניות Emotiv EPOC EEG עם 14 ערוצים
א.ק.ג	חיישן דופק (ל-HRV ולעוררות)
GSR	חיישן הולכת עור (מודד פעילות סימפתטית)
וידאו פנים	וידאו פרונטלי ברזולוציה גבוהה לניתוח הבעות
תוויות רגש	ערך, עוררות, דומיננטיות (סולם 1–9), בתוספת תוויות נפרדות שמוערכות בעצמי
קצב דגימה	EEG: 128Hz, ECG/GSR: 1000Hz
פורמט הנתונים	קבצי .mat ויומני חותמת זמן מסונכרנים
סנכרון מודליות	כן – מסונכרן בכל החיישנים והוידאו
משך לכל מפגש	קטעים קצרים (<150 שניות) וסרטים ארוכים (>14 דקות)
התאמת יישום	מידול UX רגשי, מיזוג מולטימודלי, מיפוי תפיסה-רגש בזמן אמת

טבלה 1: תיאור מערך הנתונים של AMIGOS. תיאור מערך הנתונים של AMIGOS המשמש במסגרת המוצעת, כולל מידע על המשתתפים, מודאליות, שיעורי דגימה ועיצוב ניסויים. קיצורים; AMIGOS = מאגר נתונים למחקר על רגשות, אישיות ומצב רוח על יחידים וקבוצות.

מערך הנתונים הזמין לציבור של AMIGOS המיושם במסגרת המוצעת כולל נתונים התנהגותיים ופיזיולוגיים רב-מודליים שנאספו מ-40 משתתפים, מתוכם 33 נבחרו למחקר זה בהתבסס על מצוינות ומלאות ההקלטות. מערך הנתונים מתעד תגובות רגשיות לקטעי וידאו קצרים וארוכים, וכולל אותות כמו EEG (מאוזניות Emotive עם 14 ערוצים), ECG לשונות קצב הלב, GSR למוליכות עור, ווידאו פנים ברזולוציה גבוהה למדידת הבעות. מצבים רגשיים מדווחים על עצמם הן בקטגוריות ממדיות (ערך, עוררות, דומיננטיות) והן בקטגוריות נפרדות. הנתונים מיושרים היטב זה עם זה במודליות ומדגימו כראוי – 128Hz ל-EEG, 1000Hz ל-ECG, ו-GSR. תצורה כזו הופכת את מערך הנתונים לאידיאלי למידול חוויית משתמש (UX) בתערוכות אינטראקטיביות, כך שניתן יהיה לעקוב במדויק אחרי אינטראקציות בין תפיסה לרגש באמצעות חישה רב-מודלית מבוססת בינה מלאכותית.

קדם-עיבוד נתונים
כל שלבי הקדם-עיבוד, אימון המודלים וההערכות המעורבים יושמו בסקריפטים מותאמים אישית של פייתון (Python 3.10, PyTorch 2.0) בנפרד, כאשר כל מודול לעיבוד מוקדם של אותות, יישור מבוסס DCCA, אימון MMFN והערכת ביצועים; הגדרת פרמטרים מרכזיים וכמה תצורות חישוביות חיוניות מסוכמות בטבלה 1. כדי לעבד את מאגר הנתונים הזמין לציבור של AMIGOS למידול UX רגשי של תערוכות אינטראקטיביות, יש ליישם תחילה צינור עיבוד נתונים שיטתי על מודאליות פיזיולוגיות והתנהגותיות כגון EEG, ECG, GSR ווידאו פנים. בתחילה, לאחד ולסנכרן כל מודאליות, ואז לבצע עיבוד מוקדם ספציפי למודאליות. כיום, מידע הקשרי מתקבל רק מרמזים אודיו-ויזואליים פנימיים בתוך הגירויים הווידאויים, לדוגמה, הבעות פנים, דפוסי תנועה ויזואליים ותכונות אקוסטיות כמו פרוזודיית דיבור ואודיו ברקע.

נורמליזציה ודגימה מחדש של אות
אותות פיזיולוגיים גולמיים x(t) מכל המודאליות מדגם מחדש לתדר משותף fs=128 Hz ליישור זמני בין מודאליות:

(1)

הדגימה מחדש בוצעה באמצעות פונקציית ספריית עיבוד אותות סטנדרטית ולא באמצעות אלגוריתם מותאם אישית. באופן ספציפי, המימוש בוצע באמצעות כלי הדגימה מחדש הזמין באקוסיסטם עיבוד האותות של פייתון (SciPy), אשר מיישם אינטרפולציה מבוססת שיטת פורייה להמרת אותות לתדר הדגימה היעד. קצב הדגימה המטרה f_s נבחר כדי להבטיח רזולוציה זמנית אחידה בין מודאליות לפני סגמנטציה וחילוץ תכונות. כל אות עובר לאחר מכן נורמליזציה של ציון z כדי לבטל שונות בין נושאים:

(2)

כאשר _{μ x} ו-σ_x הם ממוצע חלון הניסוי וסטיית התקן של האות.

עיבוד מוקדם של EEG
אותות ה-EEG, שנקלטים מ-14 ערוצים, מסוננים בפס-מעבר בבחירה של 4–45 הרץ כדי לשמר תדרים קוגניטיביים:

(3)

ספקטרום הכוח משמש לקביעת דפוסי תדר באותות, וזה יכול להשתנות בהתאם לסוג הרגש, במקרה של אות המוח, ויכול לספק מידע שימושי לגבי האות. הטכניקה של וולש היא טכניקה עליונה של משוואת פריודוגרמות 3, המספקת הערכה של צפיפות הספקטרום וניתן להשתמש בה לקבלת ספקטרוגרמות. הטכניקה של וולש מחלקת את אות תחום הזמן למרווחים בדידים של זמן ומבנים. ספקטרוגרמה לכל מקטע, ואז כל הספקטרוגרמות מחוברות ממוצע כפי שמודגם במשוואה 4. תהליך זה חלק יותר בהשוואה לגישת ה-FFT המלאה, ולכן הוא מקבל את ההספק המקסימלי מהאותות. לבסוף, צפיפות ספקטרום הספק (PSD)¹⁹ מחושבת באמצעות טכניקת וולש ללכידת מאפייני תחום התדר:

(4)

תכונות PSD מסוכמות בחמישה תחומים: תטא (4–8 הרץ), אלפא (8–13 הרץ), בטא (13–30 הרץ), גמא נמוך (30–45 הרץ).

תווי פנים מבוססי וידאו
באמצעות חילוץ יחידות פעולה לפנים (AUs) וקטורי מבט עין לכל פריים וידאו באמצעות מערך נתונים EEG רב-ערוצי או תוכנה דומה, אלו משולבים לאחר מכן כרצפים זמניים:

(5)

מיפוי תוויות רגשיות
גם ציוני עוררות ערכיות וגם תגיות רגש נפרדות ניתנים על ידי AMIGOS. הדירוגים הרציפים מנורמלים ל-[0,1]:

(6)

כאשר V הוא הערך הנצפה בפועל לפני הנרמול , V_{מינימום} הוא הערך הקטן ביותר של המשתנה במאגר הנתונים, V_max הוא הערך הגדול ביותר של המשתנה במאגר הנתונים ו-V' הוא הערך המנורמל בטווח 0 עד 1. תוויות אלו מיושמות כאמת יסוד למידול אפקט מפוקח. תוויות אלו מיושמות כאמת יסוד למידול אפקט מפוקח.

סנכרון בין מודאליות
כל המודאליות מסונכרנות באמצעות יישור חותמת זמן או עיוות זמן דינמי (DTW) בעת הצורך:

(7)

הנתונים העשירים בתכונות המעובדים מראש מוזנים למודול ניתוח קורלציה קנונית עמוקה (DCCA), שלומד ייצוגים מקסימליים בין מודאליות.

חילוץ תכונות באמצעות DCCA
במסגרת המתוכננת של מידול UX רגשי לתערוכות אינטראקטיביות, DCCA משמש ללימוד מאפיינים סמויים קשורים במודלים הטרוגניים כמו EEG, ECG, EDA, הבעות פנים ונתוני מעקב עיניים. המטרה היא ללמוד מרחב ייצוג משותף שבו אותות ממודאליות שונות, גם אם רועשים בנפרד או ספציפיים למודאליות, הם מתואם בצורה מקסימלית ועקביים סמנטית מבחינת מצבים רגשיים נתפסים. בעבודה זו, DCCA יושם על זוגות מודאליות הבאים: i) EEG–ECG, ii) EEG–GSR, ו-iii) ייצוגי EEG–תכונות פנים. זוגות אלו נבחרו כדי ללכוד קורלציות עצביות-פיזיולוגיות ונוירול-התנהגותיות משלימות הרלוונטיות למעורבות רגשית. כדי להרחיב את DCCA להגדרה מולטימודלית, חושבו ואז אוחדו ההטמעות הזוגיות של DCCA עבור כל זוג מודאליות באמצעות MMFN המוצע, שמאפשר אינטגרציה יעילה של יותר משתי מודאליות מבלי לשנות את נוסח הליבה של DCCA.

על ידי ביצוע יישור סמוי מונע קורלציה לפני המיזוג, DCCA מפריד מבנית בין יישור הייצוגים למיזוג החלטות, בניגוד לרשתות קשב חוצה מודליות או מיזוג טנזור, שפועלות ישירות על ייצוגים שעשויים להיות לא מיושרים. היתירות פוחתת, וקוהרנטיות הייצוג משתפרת על ידי הארכיטקטורה הדו-שלבית הזו. יתרה מזאת, DCCA ממעלה ישירות תלות סטטיסטית חוצת מודלים במקום להסתמך רק על פונקציות אובדן משותפות, מה שמתאים יותר לנתונים פיזיולוגיים הטרוגניים מאשר למסגרות למידה מרובות משימות. ראשית, DCCA²⁰ משמשים לחישוב ייצוגים של מספר מודאליות על ידי טיפול בהן ברצף דרך שכבות מרובות של טרנספורמציות לא ליניאריות. איור 2 ממחיש את בניית DCCA המיושמת בעבודת מחקר זו. שיטת חיפוש רשת שימשה על ידינו לקביעת היפרפרמטרים מיטביים לארכיטקטורה של מודל הלמידה העמוקה שישמש בגישת DCCA. לאחר ניתוח ניסויי מעמיק, בחרו המחברים אופטימייזר ירידה של גרדיאנט סטוכסטי, אובדן אנטרופיה צולבת, ופרמטר ויסות של 1e5. לאחר מכן, בחרו המחברים 15 שלבי אופטימיזציה באמצעות וקטור ההטיה כאפסים בלבד, קבוצת האימות כקריטריוני עצירה מוקדמים, ומאתחל Xavier כמאתחל משקל. איור 2 מציג את תהליך העבודה של DCCA.

איור 2: תהליך העבודה של DCCA. תהליך תהליך של DCCA, המציג מיפוי מאפיינים ממודאליות מגוונות למרחב סמוי משותף כדי למקסם את הקורלציה.
קיצורים; DCCA = ניתוח קורלציה קנונית עמוקה. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 2 מתאר באופן חזותי את מסגרת העבודה הפנימית של ניתוח קורלציה קנונית עמוקה (DCCA) ללמידה משותפת לייצוג בין שתי מודאליות שונות, EEG (מודאליות A) ו-EDA (מודאליות B). שתי המודאליות מוזנות לרשתות חילוץ התכונות העמוקות שלהן (Feature Extractor A ו-B), שיש להן מספר שכבות נסתרות שלומדות תכונות מופשטות וייחודיות למודאליות. לפני המיזוג, יישור סמוי חוצה-מודלי מתבצע באמצעות ניתוח קורלציה קנונית עמוקה (DCCA). שתי רשתות הקרנה עמוקות מקבילות נבנות עבור כל זוג מודאליות (EEG–ECG, EEG–EDA ו-EEG–Faceial). באמצעות הפעלת ReLU, כל רשת הקרנה מורכבת משלוש שכבות מחוברות לחלוטין במידות [256, 128, 64]. עבור המרחב החבוי המשותף, 64 הוא ממד ההטמעה האולטימטיבי. עם מקדם רגולריזציה L2 של 1e-5 להבטחת יציבות נומרית, פונקציית המטרה ממקסמת את הקורלציה הקנונית בין הטמעות מודאליות מוקרנות. וקטורי הטיה מאותחלים לאפס, והמשקלים מאותחלים באמצעות אתחול קסבייר. כדי לייצב את למידת היישור, מודולי DCCA מאומנים בנפרד לפני ההכשרה ב-MMFN. כדי לשמור על עקביות ביישור, אין כיוונון מקצה לקצה בין DCCA ל-MMFN. צינורות אלו של רשתות עצביות מקבלים את זרמי הנתונים הנכנסים במקביל אך מבודדים. פלט מחלץ התכונות מכל אחד מהם מוקרן אז למרחב הסמוי המשותף, שבו ממופים תכונות של שתי המודאליות כך שיהיו ניתנות להשוואה במבנה. ההקרנות מותאמות בהתאם למטרת DCCA, שהיא למקסם את המתאם בין הייצוגים החבויים המתאימים של EEG ו-EDA. על ידי רכישת תת-המרחב המקסימלי הזה, DCCA מבטיחה שההטמעות-פלט ישמרו על דפוסים משלימים ומשמעותיים סמנטית משני המודאליות, שהם חיוניים ליישומים בהמשך כמו זיהוי רגשות או מחשוב רגשי.

בעבודה זו, תכונות מומרת באמצעות DCCA ואז משולבות לסיווג. מודל DCCA, המוצג באיור 2, משתמש במודל למידה עמוקה לטרנספורמציית תכונות. שכבת ה-CCA מחשבת את הקורלציה, אשר משמשת לאחר מכן לשילוב תכונות וסיווג. נניח שהמטריצה מאחסנת ניסויים של מודליות EEG, והמטריצה כוללת ניסויים במודאליות קליפ וידאו. במקרה זה, ממדי התכונות בניסויי EEG ובקטעי וידאו של הפנים מיוצגים על ידי n₁ ו-n₂, בהתאמה, בעוד שמספר הניסויים הכולל מצוין על ידי MA. לכל מודאליות, המחברים יצרו את הרשת העצבית העמוקה הבאה כדי לסדר מחדש את מאפייני הקלט בצורה לא ליניארית:

(8)

כאשר פרמטרי הטרנספורמציה הלא-ליניארית מיוצגים כ-HT₁ ו-HT₂; המאפיינים הבאים מכל רשת עצבית מיוצגים כ- ו- ומדידת מאפיין DCCA כ-n. פרמטרים רקורסיביים שנלמדו HT₁ ו-HT₂, שנוצרו מ-DCCA, הגבירו את המתאם בין ON₁ ל-ON₂ לרמה ככל האפשר:

(9)

פרמטרים שנלמדו הדדית כ-HT₁ ו-HT₂ אומנו על ידי אלגוריתם ההפצה האחורית. כדי לקבל את התשובה הרצויה, גרדיאנטים של פונקציית המטרה הוערכו כפי שהוצע. התכונות המשתנות ON1 ו-ON2 ∈ SP נמצאות ב-SP ההיפר-מרחב המשולב לאחר ששתי הרשתות העצביות עברו אימון. מחברי DCCA בעיקר לא הזכירו במפורש את השימוש בתכונות משונות. התכונות המותאמות יכולות לשמש בצורה שמשרתת בצורה הטובה ביותר את יישום המשתמש. בעבודה זו, המחברים השיגו את התכונות הממוזגות הבאות מתוך תכונות ששונו:

(10)

כאשר α ו-β מייצגים משקלים השומרים על α + β = 1. המאפיינים ON המשולבים באמצעות DCCA מוזנים למסווג SoftMax. משימות זיהוי רגשות משמשות לאימון המסווג. כפי שצוין קודם, בניית DCCA למיזוג נתונים בפורמטים רבים מביאה יתרונות מסוימים. כדי להתבונן במאפיינים ובקורלציה של טרנספורמציות ממוקדות מודאליות, למשל, DCCA משיגה במפורש את ON1 ו-ON2 עבור כל מודאליות במיזוג ברמת התכונה. יתרה מזאת, ניתן לשמר נתונים מבוססי רגש על ידי שליטה בפונקציות המיפוי הלא-ליניאריות f1(·) ו-f2(·). יתרה מזאת, המחברים משתמשים במשקלים שקולים לכל מודוליות במיזוג סכום משוקלל. רשת מיזוג רב-מודלית (MMFN) שמנבאת מצבי חוויית משתמש מקבלת את המרחב המשולב הזה. ליישור מולטימודלי, נעשה שימוש בגישה היררכית, שבה האותות הגולמיים מיושרים תחילה זמנית באמצעות דגימה מחדש ויישור חותמת זמן, והיישור של האותות העשירים סמנטית ממודאליות מגוונות מתקבל באמצעות ניתוח קורלציה קנוני עמוק (DCCA). זה מבטיח שהייצוגים המודאליים יהפכו למרחב סמוי משותף לפני תהליך המיזוג המבוסס קשב ב-MMFN.

רשת מיזוג רב-מודלית (MMFN) למידול UX רגשי
ה-MMFN מקודד כל מודאליות בנפרד, ואז ממזג אותם באמצעות שער מיזוג ומנגנון קשב כדי להפיק ייצוג משולב לחיזוי רגשות.

קידוד ייחודי למודליות
יהי x⁽ⁱ⁾∈R^di הוא וקטור המאפיינים של המודאליות ה-i (למשל, EEG, EDA). כל מודאליות מקודדת באמצעות מקודד עצבי:

(11)

מנגנון היתוך עם שער
כדי לנהל את זרימת המידע מכל מודליות, משתמשים בשער המיזוג:

(12)

(13)

σ היא פונקציית ההפעלה הסיגמואידית. ⊙ מאפיין התפתחות מבחינת יסודות. זה מאפשר לרשת להוריד משקל של מודאליות רועשות או להעלות תכונות שימושיות באופן דינמי.

מיזוג קשב חוצה-מודליות
שכבת קשב לומדת כמה משקל לשים על הייצוג של כל מודליות:

(14)

(15)

α(i) הם משקליתשומת הלב של הייצוג הסופי הממוזג.

חיזוי מצב רגשי
הוקטור המאוחד מוזן לשכבת פלט כדי לבצע חיזוי של מצבי ערכיות/עוררות או חוויית משתמש:

22(16)

כאשר ניתן להשתמש בו לייצוג: קטגוריות רגש דיסקרטיות (שמח, ניטרלי, עצוב), סולם רציף (ערך/עוררות), וקטגוריות UX (מעורב, מוסח, עומס מדי).

איור 3: מבנה MMFN. מבנה ה-MMFN עם מקודדים ספציפיים למודאליות, מיזוג עם שערים, ואינטגרציה מבוססת קשב לחיזוי מצב רגשי.
קיצורים; MMFN = רשת מיזוג רב-מודלית. אנא לחצו כאן כדי לצפות בגרסה מוגדלת של הדמות הזו.

איור 3 מציג את תהליך העבודה של רשת מיזוג רב-מודלית (MMFN) המשמשת במסגרת מחשוב אפקטיבי לחיזוי רגשות וחוויית משתמש (UX). מקודדים ספציפיים למודליות, שכבות מיזוג עם שערים, מודול אינטגרציה מבוסס תשומת לב וראש סיווג סופי מרכיבים את ארכיטקטורת המיזוג ההיררכית של MMFN. הוא ממחיש כיצד מודאליות קלט הטרוגניות שונות, כגון EEG (מודאליות A), EDA (מודאליות B) והבעות פנים (מודליות C), מעובדות באמצעות רשתות מקודד מיוחדות (מקודד A, B ו-C). מקודד עצמאי המורכב משתי שכבות מחוברות לחלוטין עם הפעלת ReLU מעבד כל מודאליות (EEG, ECG, EDA ותכונות פנים) לפני ששכבת זיכרון דו-כיווני ארוך-טווח קצר (BiLSTM) לוכדת תלות זמנית. כל מקודד לומד ייצוג תכונה ייחודי למודליות השומר על תכונות רגשיות או פיזיולוגיות משמעותיות מזרם הנתונים המתאים. לכל כיוון ב-BiLSTM יש 128 יחידות נסתרות, מה שמעניק לכל מודאליות הטמעה הקשרתית של 256 ממדים. כדי למנוע התאמת יתר, מתבצע dropout (קצב = 0.5) לאחר שכבת BiLSTM. גישה עם שערי היתוך המשתמשת בהפעלת סיגמואיד לשליטה דינמית בתרומות המודאליות מיושמת על ייצוגי המודאליות המקודדים. שכבת תשומת לב עצמית מחשבת את משקלי הקשב בין מודאליות כדי לדכא אותות רועשים ולהדגיש מידע רלוונטי. שכבה מחוברת לחלוטין ושכבת פלט ליניארית למשימות רגרסיה של עוררות ערך, או שכבת פלט Softmax למשימות סיווג בדיד, מקרינים את הייצוג הממוזג. הפלט של כל מקודד מוזן אז לשכבת מיזוג מולטימודלית, שמבצעת רצף של כל תכונות המודאליות ומיישמת מנגנון תשומת לב להדגשת אותות אינפורמטיביים יותר ורעש מסכה. פעולה זו מייצרת ייצוג סמוי משותף שמשלב אותות רגשיים בכל המודאליות לווקטור צפוף ברמה גבוהה.

שכבות BiLSTM המיושמות על הטמעות סדרתיות ספציפיות למודאליות מדמות ישירות דינמיקה זמנית. ה-BiLSTM מאפשר מידול הקשרי של מצבים רגשיים משתנים על ידי לכידת תלות זמנית קדימה ואחורית בתוך רצפים פיזיולוגיים מקוטעים. יתרה מזאת, שקילול אדפטיבי של תכונות אינפורמטיביות בזמן מתאפשר בזכות שכבת המיזוג מבוססת הקשב שמגיעה אחריה, אשר פועלת מעל ייצוגים מקודדים זמנית. המחברים עדכנו לאחרונה את הטקסט כדי להבהיר כיצד בניית רצף, קידוד חוזר ומשקל תשומת לב פועלים יחד לתמיכה במידול הזמן.

הקוד הפסאודו-1 המוצע מציג את התהליך הכולל של מידול חוויית משתמש רגשית באמצעות DCCA-MMFN בצורה שניתן לשחזר. ראשית, אותות פיזיולוגיים והתנהגותיים מולטימודליים מוזנים לשלב קדם-עיבוד עצמאי הכולל הפחתת רעש ונירמול סולמות. התכונות מוזנות ל-DCCA, שם תכונות מתואמות נלמדות במשותף עבור זוגות מודאליות מוגדרים, במטרה ליישור חוצה-מודאלי חזק. המאפיינים המיושרים משולבים לאחר מכן בתוך MMFN הכולל מנגנוני שער ותשומת לב למודולציה ספציפית למודאליות, שמטרתם לקדם מודאליות אינפורמטיבית ולדכא רעש. ייצוג התכונות המשולבות הסופי משמש לאימון מסווג המיועד להערכת מצב רגשית וקשור ל-UX, והערכת ביצועים כוללת מתבצעת על בסיס מדדים סטנדרטיים. אופיו השלב אחר שלב של הקוד המדומה המוצע הזה מבטיח שקיפות, היתכנות ושכפול קל על ידי אחרים עבור כל האנשים המודעים טכנית המתעניינים בפרוטוקול המוצע הזה.

המסגרת המוצעת שואפת לחזות את מצב חוויית המשתמש הרגשית (UX) באמצעות אותות פיזיולוגיים והתנהגותיים רב-מודליים ממאגר הנתונים של AMIGOS, בהתבסס על השלבים הבאים: שלב 1: הנתונים הרב-מודליים הנכנסים כוללים אותות EEG, ECG, EDA, מבט עיניים והבעות פנים. בתחילה, מאגר הנתונים הרב-מודלי של AMIGOS ניגשן, וכל מודאליות עוברת עיבוד מוקדם של אותות, כולל סינון רעש ונירמול כדי להבטיח איכות ועקביות של הנתונים. שלב 2: כדי לשמור על אחידות זמנית בין מודאליות, כל האותות עוברים דגימה מחדש לתדר סטנדרטי. לאחר מכן, מתבצע חילוץ תכונות ספציפי למודליות כדי לקבל ייצוגים ייחודיים של תכונות המתאימים לכל סוג אות. שלב 3: כדי ללכוד קשרים חוצי-מודליים, זוגות מודאליות נבחרים (EEG–ECG, EEG–EDA ו-EEG–Faceial) מעובדים באמצעות ניתוח קורלציה קנוני עמוק (DCCA). רשתות DCCA מאומנות ללמוד ייצוגים סמויים מתואם בין מודאליות זוג, מה שמוביל להטמעות-תכונות מיושרות לכל זוג מודאליות. הייצוגים המיושרים הללו משולבים ליצירת מרחב תכונות מולטימודלי מאוחד. שלב 4: התכונות המיושרות המצטברות מסופקות כקלט לרשת מיזוג רב-מודלית (MMFN), שבה מנגנוני תשומת לב ואסטרטגיות מיזוג עם שערים משמשים לשילוב יעיל של מידע משלים בין מודאליות. תהליך המיזוג הזה יוצר ייצוג רגשי מקיף. שלב 5: הייצוג המתקבל משמש לאחר מכן לאימון מסווג עם נתוני רגש מסומנים לחזות את מצב ה-UX הרגשי. לבסוף, ביצועי המודל מוערכים באמצעות מדדים סטנדרטיים, כולל דיוק, דיוק, שחזור, ציון F1 ושטח מתחת לעקומה (AUC). מצב ה-UX הרגשי החזוי מוחזר כפלט הסופי של המסגרת.

מידול תפיסה-רגש באמצעות מסגרת DCCA-MMFN המוצעת
במסגרת החישובית המוצעת של חוויית משתמש רגשית (UX) של תערוכות אינטראקטיביות, מודול המודלים של תפיסה–רגש הוא התהליך המרכזי שמחבר את התגובות התפיסתיות של המשתמש לגירויים סביבתיים לבין מצבים רגשיים ביופיזיים רב-מודליים שמקורם בביופיזיקה. מודול זה מבוסס על ייצוגים נפוצים שנרכשו על ידי DCCA של מודאליות פיזיולוגית והתנהגותית כמו EEG, EDA, ECG, הבעות פנים ותנועות עיניים, כדי לתעד את הדינמיקה הרגשית של המשתמש. במקביל, מטא-דאטה על סביבת התצוגה הסובבת – גירויים חזותיים, נופים קוליים, דפוסי אינטראקטיביות ומאפיינים סביבתיים – משמשים לקידוד רמזים תפיסתיים. באמצעות רשת מיזוג מולטימודלית (MMFN) לשילוב ייצוגים מולטימודליים אלו, המודל רוכש מיפויים מפורטים ולא ליניאריים מתכונות גירוי תפיסתיות ותוויות או ממדים רגשיים (למשל, ערך, עוררות, מעורבות). מיפוי זה מאפשר למערכת לדעת כל הזמן כיצד המשתמש מגיב רגשית לאלמנטים שונים בתערוכה ואז לשנות את התוכן או הממשק בהתאם כדי להעצים מעורבות, שביעות רצון או תהודה קוגניטיבית. לבסוף, מידול תפיסה-רגש מקל על התאמה מודעת לרגש של אינטראקציה, שהיא הליבה של המידול החישובי ומערכות התצוגה הרגישות למשתמש.

ראשית, מודולי DCCA הוכשרו ללמוד ייצוגים סמויים מתואם עבור כל זוג מודאליות. ההטמעה המתקבלת משמשת כקלט ל-MMFN, מאומנת עוד יותר ברצף למשימת החיזוי הרגשי. לא נעשה כיוונון מקצה לקצה כדי לשמור על יציבות האימון.

קטגוריה	פרמטר	ערך / תיאור
קדם-עיבוד אותות	מסנן פס EEG	4–45 הרץ
	תדירות דגימה מחדש	128 הרץ
	אורך החלון	2 שניות
	חפיפת חלונות	50%
	נרמול	נרמול ציון Z
ארכיטקטורת DCCA	מספר השכבות הנסתרות	3 שכבות לכל מודוליות
	נוירונים לשכבה	128–64–32
	גודל הממד החבוי (n)	32
	פרמטר רגולריזציה	1 × 10⁻⁵
	אופטימייזר	אדם
	קצב למידה	0.001
	גודל אצווה	32
	תקופות אימון מקסימליות	150
	סבלנות להפסקה מוקדמת	15 תקופות
תצורת MMFN	סוג מקודד	BiLSTM
	יחידות נסתרות	64
	שיעור הנשירה	0.3
	אסטרטגיית היתוך	פיוז'ן עם שער עם תשומת לב
	סוג תשומת לב	EEG, ECG, GSR, וידאו
הכשרה והערכה	פונקציית אובדן	אובדן אנטרופיה חוצה
	פיצול רכבת–מבחן	אימות צולב של 5-fold
	מדדי הערכה	דיוק, דיוק, זיכרון, ציון פורמולה 1, קפא של כהן, AUC–ROC
נקודות ביקורת לשחזור	צורת טנזור קלט EEG	ערוצים × דגימות זמן (למשל, 14 × 256 לכל חלון)
	ייצוג פלט DCCA	הטמעה משותפת חבויה ב-32 ממד
	פלט MMFN	הסתברויות מחלקות רגש (מחלקות ערכיות–עוררות או מחלקות בדידות)
	ביצועי אימות צפויים	דיוק סיווג של 85–90%

טבלה 2: פרמטרים של אלגוריתם DCCA–MMFN המוצע. סיכום פרמטרי קדם-עיבוד, ארכיטקטורה, מיזוג, הכשרה, הערכה ושחזוריות שנלקחו בחשבון במסגרת המודלים האפקטיביים של UX המוצעת. קיצורים; DCCA = ניתוח קורלציה קנונית עמוקה; MMFN = רשת מיזוג רב-מודלית; UX = חוויית משתמש.

בטבלה 2 מסופק כל מערך הפרמטרים במסגרת DCCA-MMFN המוצעת, שלוקח בחשבון עיבוד מוקדם של אותות, עיצוב ארכיטקטורה עמוקה, טכניקת המיזוג וכן תנאי האימון. אותות פיזיולוגיים נמדמו מחדש ונרמלו באופן אחיד כדי לסנכרן אותם בהתאם למודאליות שלהם. שכבת DCCA הוגדרה לשימוש בטרנספורמציות לא ליניאריות רב-שכבתיות, שסייעו בלמידת מרחבים חבויים עם קורלציה מקסימלית, בעוד שרכיב MMFN השתמש ברשתות מקודד BiLSTM עם מנגנוני קשב סגורים כדי לשקול דינמי את ערך המודאליות השונות. הדרישות להכשרה והערכה מוגדרות במפורש, כדי להבטיח השוואה הוגנת לאפשרויות הקיימות.

המסגרת המוצעת נועדה לשמש בסיס חישובי למערכות מודעות לרגשות המשתמשות במידע התנהגותי ופיזיולוגי במספר ממדים. הארכיטקטורה ניתנת להתאמה רעיונית לסביבות אמיתיות כמו חללי תצוגה חכמים, ממשקים חכמים אדפטיביים ומערכות אינטראקציה אנושיות-מחשביות מודעות לרגש, אף על פי שהמחקר הנוכחי מאשר את המודל באמצעות ניסויים מבוקרים לא מקוונים באמצעות מאגר הנתונים הזמין לציבור של AMIGOS. המסגרת יכולה לשמש כמודול יסודי ליישומים הזקוקים להסקת רגשות אמינה על ידי הצעת טכניקות מיזוג מאוחדות, יישור חוצה-מודלי ועיבוד מובנה. עם זאת, במקום להיות מערכות שהוטמעו בניסוי, סביבות אלו מתוארות במחקר זה כהקשרים אפשריים לפריסה.

Results

הערכת המערכת המוצעת
כדי להעריך את המערכת המוצעת, היא ביצעה ניסויים על מאגר הנתונים הזמין לציבור של AMIGOS, המספק מדידות מסונכרנות של EEG, ECG, GSR, וידאו ואודיו של 40 משתמשים שנחשפו לגירויים רגשיים. לצורך מחקר זה, המחברים השתמשו בנתונים מ-33 משתתפים (לאחר עיבוד מוקדם והסרת ניסויים לא שלמים), מה שהוביל ל-1,320 מדגמים תקפים על ממדי הערכיות והעוררות. ההערכה הדגישה סיווג רגשות וחיזוי מצבי UX רגשי באמצעות שכבת למידת ייצוג מבוססת DCCA ורשת מיזוג רב-מודלית (MMFN). התוצאות מציגות ביצועים טובים משמעותית בדיוק ...

Discussion

הקשרים של אינטראקציה מרחבית, סביבתית ופיזית, כגון פריסת מרחב, צפיפות קהל או תנאי סביבה סביבתיים, אינם מפורשים במאגר הנתונים של AMIGOS. לכן, גורמים כאלה אינם מודלים ישירות בניסויים הנוכחיים. המסגרת החישובית המוצעת למידול חוויית משתמש רגשית (UX) מתקדמת הרבה מעבר למושגים הבסיסיים של המאמר הבסיסי, שעסקו באינטראקציה מוכוונת משימה בין ילד לרובוט באמצעות זיהוי רגשות ביופיזיקלי. בהכללת המחשוב האפקטיבי לסביבות תערוכה דינמיות ואינטראקטיביות, המודל המוצע מרחיב את היקף היישום, אוכלוסיות המשתמשים והת...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מערך נתונים	מאגר נתונים של AMIGOS	40 משתתפים; EEG (128 הרץ), א.ק.ג (1000 הרץ), GSR (1000 הרץ), וידאו פנים, תוויות דיווח עצמי על וולנס/עוררות	נתוני אמת קרקעית רב-מודליים למידול מצב רגשי
חיישנים פיזיולוגיים	משקפי EEG	Emotiv EPOC+ (14 ערוצים, 128 הרץ)	לכידת פעילות מוחית הקשורה לתשומת לב, עוררות ומעורבות
	חיישן א.ק.ג	Biopac MP150 או שווה ערך (1000 הרץ)	שונות בקצב הלב ועוררות
	חיישן GSR/EDA	GSR+ מנצנץ או מקביל (1000 הרץ)	מוליכות עור כמדד לעוררות
חיישנים התנהגותיים	מכשיר מעקב עיניים	Tobii Pro X2-60 או מקביל	הקלטת קיבוע מבט וסאקדות
	הקלטת הבעות פנים	מצלמת וידאו ברזולוציה גבוהה; נותח באמצעות OpenFace (AUs, וקטורי מבט)	חילוץ יחידות פעולה של הפנים (AUs) ורמזי מבט
קלטים סביבתיים	הגדרת הקלטה אודיו-ויזואלית	מיקרופון + מצלמה (מסונכרנת עם גירויים)	לכידת גירויים הקשריים במהלך התערוכה
תוכנה / ערכות כלים	OpenFace	ערכת כלים לניתוח התנהגות פנים בקוד פתוח	חילוץ יחידות פעולה (AUs), כיוון מבט
	MATLAB / פייתון (NumPy, SciPy, scikit-learn)	עיבוד מוקדם של אות (דגימה מחדש, נירמול ציון z, חישוב PSD)	עיבוד נתונים וחילוץ תכונות
	TensorFlowv2.13 / PyTorchv2.0	מסגרת למידה עמוקה עבור DCCA ו-MMFN	יישום והכשרת מודלים
אלגוריתמים / מודלים	ניתוח קורלציה קנונית עמוקה (DCCA)	שיטת יישור תכונות לא ליניארית	לימוד ייצוגים סמויים קשורים בין מודאליות שונות
	רשת מיזוג רב-מודלית (MMFN)	BiLSTM + שכבות מיזוג מבוססות קשב	מיזוג היררכי של מודאליות הטרוגניות לסיווג מצבי UX
מדדי הערכה	דיוק, דיוק, זיכרון, ציון פורמולה 1, כהן s Kappa, AUC-ROC, מטריצת בלבול	מיושם עם מדדים של scikit-learn / TensorFlow	הערכת ביצועי מודל
חומרת מחשוב	אשכול תחנת עבודה / כרטיס מסך	NVIDIA RTX 3080 (10GB) או שווה ערך, 32GB RAM, מעבד Intel i9	אימון וסימולציה של מודלים