מודלים חישוביים של חוויית משתמש רגשית באמצעות אותות פיזיולוגיים והתנהגותיים רב-מודליים

Summary

פרוטוקול זה מתאר מסגרת חישובית שמדמות את חוויית המשתמש הרגשית על ידי שילוב אותות פיזיולוגיים והתנהגותיים בצורה רב-מודלית, תוך שימוש בטכניקות ללמידת תכונות מבוססת קורלציה ומיזוג רב-מודלי. פרוטוקול זה מציע ובודק מסגרת למידול רגשי רב-מודלי על מערך הנתונים של EMIGOS בנצ'מרק.

Abstract

עבודה זו מציעה פרוטוקול חישובי לשחזור למידול רגשי רב-מודלי המשתמש באותות פיזיולוגיים. מטרת הפרוטוקול היא לאפשר זיהוי רגשות לא מקוון על ידי שילוב מספר אותות ביולוגיים באמצעות מסגרת למידה עמוקה מאוחדת. העבודה המוצעת כוללת חמישה שלבים: איסוף נתונים, עיבוד מוקדם, יישור תכונות, מיזוג מולטימודלי והערכה. אותות EEG, ECG ו-GSR מנתוני AMIGOS נגישים לציבור שימשו כבסיס ניסיוני בעבודה זו. אותות ביולוגיים עובדו מראש וננורמו כדי להפיק תכונות ייחודיות למודליות. מרחבי תכונות הטרוגניים יושרו בין מודאליות באמצעות ניתוח קורלציה קנוני עמוק, ואחריהם רשת מיזוג רב-מודלית לסיווג מצב רגשי. הפרוטוקול הוערך בניסויים לא מקוונים והושווה למודלים קונבנציונליים של מיזוג וסיווג תוך שימוש במדדי ביצועים סטנדרטיים כגון דיוק, דיוק, שחזור, ציון F1 ו-AUC. מחקר זה מתמקד בפיתוח ואימות של מסגרת חישובית למידול חוויית משתמש רגשית רב-מודלית במקום בפריסת מערכת אינטראקטיבית בזמן אמת. עם דיוק של 92.1% בחיזוי מצב רגשי ל-UX וציון F1 של 94.2% בסיווג עוררות ערכית, התוצאות עקפו בעקביות מודלים בסיסיים בממדים רגשיים. ממצאים אלו אישרו את יעילות תהליך המיזוג הרב-מודלי המוצע למידול אפקטיבי חישובי על ידי השוואת נתונים פיזיולוגיים.

Introduction

האינטראקציה המורכבת של חשיבה, רגש ופעולה מעצבת את האופן שבו אנשים חושבים ופועלים. מחשוב אפקטיבי הוא חקר הקשרים הללו באמצעות ידע בין-תחומי ממדעי המוח, פסיכולוגיה ובינה מלאכותית לבניית מערכות המסוגלות לנתח, להבין ולהגיב לרגש האנושי. תחום זה מיושם יותר ויותר בתקשורת אנושית-טכנולוגית על ידי שילוב מודעות ביטוי במבני AI תגובתיים, מה שגורם לטכנולוגיה לקיים אינטראקציה לא רק עם מצבים אינטלקטואליים אלא גם עם תנאים רגשיים, מה שמוביל לידע משתמש אישי ומודע יותר לרגש. רגש, תהליך מנטלי מורכב, הוא השתקפות של התפיסות האנושיות ויש לו תפקיד משמעותי באינטראקציות אנושיות¹. כיום, קיימים יישומים רבים של אינטראקציה בין אדם למחשב (HCI)....

Protocol

מאגר הנתונים של AMIGOS ששימש במחקר זה זמין לציבור ונאסף באישור מוקדם של ועדת ביקורת מוסדית והסכמה מדעת, כפי שדווח בפרסום המקורי. מחקר זה כולל רק ניתוח משני של מאגר הנתונים, ולא נדרשה אישור אתי נוסף.

השיטה הנוכחית עושה שימוש בגישות יישור תכונות ומיזוג רב-מודלי כדי להתמודד עם נתונים פיזיולוגיים והתנהגותיים רב-מודליים, במטרה לתאר מתאמים בין תפיסה לרגש. מחקר זה מציע מודל חישובי לחוויית משתמש רגשית (UX) בתערוכות אינטראקטיביות, תוך שימוש בחישה ביופיזיקלית רב-מודלית ומידול רגשות מבוסס בינה מלאכותית. בהתבסס על תובנות נתונים ביופיזיקליים מהמאמר הבסיסי, מתודולוגיה זו מדגיטציה של מודלים חישוביים של מצבי משתמש מתוך EEG, ECG, EDA מסונכרנים, מעקב עיניים,....

Results

הערכת המערכת המוצעת
כדי להעריך את המערכת המוצעת, היא ביצעה ניסויים על מאגר הנתונים הזמין לציבור של AMIGOS, המספק מדידות מסונכרנות של EEG, ECG, GSR, וידאו ואודיו של 40 משתמשים שנחשפו לגירויים רגשיים. לצורך מחקר זה, המחברים השתמשו בנתונים מ-33 משתתפים (לאחר עיבוד מוקדם והסרת ניסויים לא שלמים), מה שהוביל ל-1,320 מדגמים תקפים על ממדי הערכיות והעוררות. ההערכה הדגישה סיווג רגשות וחיזוי מצבי UX רגשי באמצעות שכבת למידת ייצוג מבוססת DCCA ורשת מיזוג רב-מודלית (MMFN). התוצאות מציגות ביצועים טובים משמעותית בדיוק .......

Discussion

הקשרים של אינטראקציה מרחבית, סביבתית ופיזית, כגון פריסת מרחב, צפיפות קהל או תנאי סביבה סביבתיים, אינם מפורשים במאגר הנתונים של AMIGOS. לכן, גורמים כאלה אינם מודלים ישירות בניסויים הנוכחיים. המסגרת החישובית המוצעת למידול חוויית משתמש רגשית (UX) מתקדמת הרבה מעבר למושגים הבסיסיים של המאמר הבסיסי, שעסקו באינטראקציה מוכוונת משימה בין ילד לרובוט באמצעות זיהוי רגשות ביופיזיקלי. בהכללת המחשוב האפקטיבי לסביבות תערוכה דינמיות ואינטראקטיביות, המודל המוצע מרחיב את היקף היישום, אוכלוסיות המשתמשים והת.......

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
מערך נתונים	מאגר נתונים של AMIGOS	40 משתתפים; EEG (128 הרץ), א.ק.ג (1000 הרץ), GSR (1000 הרץ), וידאו פנים, תוויות דיווח עצמי על וולנס/עוררות	נתוני אמת קרקעית רב-מודליים למידול מצב רגשי
חיישנים פיזיולוגיים	משקפי EEG	Emotiv EPOC+ (14 ערוצים, 128 הרץ)	לכידת פעילות מוחית הקשורה לתשומת לב, עוררות ומעורבות
	חיישן א.ק.ג	Biopac MP150 או שווה ערך (1000 הרץ)	שונות בקצב הלב ועוררות
	חיישן GSR/EDA	GSR+ מנצנץ או מקביל (1000 הרץ)	מוליכות עור כמדד לעוררות
חיישנים התנהגותיים	מכשיר מעקב עיניים	Tobii Pro X2-60 או מקביל	הקלטת קיבוע מבט וסאקדות
	הקלטת הבעות פנים	מצלמת וידאו ברזולוציה גבוהה; נותח באמצעות OpenFace (AUs, וקטורי מבט)	חילוץ יחידות פעולה של הפנים (AUs) ורמזי מבט
קלטים סביבתיים	הגדרת הקלטה אודיו-ויזואלית	מיקרופון + מצלמה (מסונכרנת עם גירויים)	לכידת גירויים הקשריים במהלך התערוכה
תוכנה / ערכות כלים	OpenFace	ערכת כלים לניתוח התנהגות פנים בקוד פתוח	חילוץ יחידות פעולה (AUs), כיוון מבט
	MATLAB / פייתון (NumPy, SciPy, scikit-learn)	עיבוד מוקדם של אות (דגימה מחדש, נירמול ציון z, חישוב PSD)	עיבוד נתונים וחילוץ תכונות
	TensorFlowv2.13 / PyTorchv2.0	מסגרת למידה עמוקה עבור DCCA ו-MMFN	יישום והכשרת מודלים
אלגוריתמים / מודלים	ניתוח קורלציה קנונית עמוקה (DCCA)	שיטת יישור תכונות לא ליניארית	לימוד ייצוגים סמויים קשורים בין מודאליות שונות
	רשת מיזוג רב-מודלית (MMFN)	BiLSTM + שכבות מיזוג מבוססות קשב	מיזוג היררכי של מודאליות הטרוגניות לסיווג מצבי UX
מדדי הערכה	דיוק, דיוק, זיכרון, ציון פורמולה 1, כהן s Kappa, AUC-ROC, מטריצת בלבול	מיושם עם מדדים של scikit-learn / TensorFlow	הערכת ביצועי מודל
חומרת מחשוב	אשכול תחנת עבודה / כרטיס מסך	NVIDIA RTX 3080 (10GB) או שווה ערך, 32GB RAM, מעבד Intel i9	אימון וסימולציה של מודלים