פרדיגמת אימון ובדיקה מבוססת שינון לזיהוי זהות קולית חזקה בדיבור אקספרסיבי באמצעות ניתוח פוטנציאלים הקשורים לאירועים

Summary

המחקר מציג פרדיגמת אימון-בדיקה כדי לחקור השפעות ישנות/חדשות של פוטנציאלים הקשורים לאירועים בתרחישים פרוזודיים בטוחים ומפוקפקים. הנתונים חושפים רכיב חיובי מאוחר משופר בין 400-850 מילישניות ב-Pz ובאלקטרודות אחרות. צינור זה יכול לחקור גורמים מעבר לפרוזודיה של דיבור והשפעתם על זיהוי מטרות קושרות רמזים.

Abstract

זיהוי דוברים מוכרים מזרמי קול הוא היבט בסיסי של התקשורת המילולית האנושית. עם זאת, עדיין לא ברור כיצד המאזינים עדיין יכולים להבחין בזהות הדובר בדיבור אקספרסיבי. מחקר זה מפתח גישה מבוססת שינון לזיהוי זהות של דוברים בודדים וצינור ניתוח נתונים נלווה של אלקטרואנצפלוגרם (EEG), המנטר כיצד מאזינים מזהים דוברים מוכרים ומבדילים בין דוברים לא מוכרים. נתוני EEG לוכדים תהליכים קוגניטיביים מקוונים במהלך הבחנה בין דובר חדש לעומת ישן בהתבסס על קול, ומציעים מדידה בזמן אמת של פעילות המוח, התגברות על מגבלות של זמני תגובה ומדידות דיוק. הפרדיגמה מורכבת משלושה שלבים: המאזינים יוצרים אסוציאציות בין שלושה קולות לבין שמותיהם (אימון); המאזינים מציינים את השם המתאים לקול של שלושה מועמדים (בדיקה); המאזינים מבחינים בין שלושה קולות דוברים ישנים ושלושה חדשים במשימת בחירה כפויה בת שתי חלופות (בדיקה). פרוזודת הדיבור במבחן הייתה בטוחה או מוטלת בספק. נתוני EEG נאספו באמצעות מערכת EEG בת 64 ערוצים, ולאחר מכן עיבוד מקדים ויובאו ל-RStudio עבור ERP וניתוח סטטיסטי ו-MATLAB עבור טופוגרפיה של המוח. התוצאות הראו כי רכיב חיובי מאוחר מוגדל (LPC) הופעל במדבר הישן בהשוואה למצב הדיבור החדש בחלון של 400-850 מילישניות ב-Pz ובטווח רחב יותר של אלקטרודות בשתי הפרוזודיות. עם זאת, האפקט הישן/חדש היה חזק באלקטרודות מרכזיות ואחוריות עבור תפיסה פרוזודית מפוקפקת, בעוד שהאלקטרודות הקדמיות, המרכזיות והאחוריות מיועדות למצב פרוזודי בטוח. מחקר זה מציע כי תכנון ניסוי זה יכול לשמש כנקודת התייחסות לחקר השפעות קשירת רמזים ספציפיות לדובר בתרחישים שונים (למשל, ביטוי אנפורי) ופתולוגיות בחולים כמו פונגנוזיה.

Introduction

זרמי הקול האנושיים עשירים במידע, כגון רגש ^1,2, מצב בריאותי ^3,4, מין ביולוגי⁵, גיל⁶, וחשוב מכך, הזהות הקולית האינדיבידואלית ^7,8. מחקרים הצביעו על כך שלמאזינים אנושיים יש יכולת איתנה לזהות ולהבדיל את זהויות עמיתיהם באמצעות קולות, תוך התגברות על וריאציות פנימיות סביב הייצוג הממוצע של זהות הדובר במרחב האקוסטי⁹. וריאציות כאלה נגרמות על ידי מניפולציה אקוסטית (תדר בסיסי ואורך דרכי הקול, כלומר F0 ו-VTL) שאינה תואמת כוונות פרגמטיות ברורות⁹, פרוזודיה רגשית¹⁰, וביטחון קולי המעביר את תחושת הידיעה של הדוברים¹¹. ניסויים התנהגותיים התמקדו בגורמים רבים המשפיעים על ביצועי המאזינים בזיהוי הדוברים, כולל מניפולציות הקשורות לשפה ^8,12,13, מאפיינים הקשורים למשתתפים כגון ניסיון מוזיקלי או יכולת קריאה^14,15, והתאמות הקשורות לגירויים כמו דיבור לאחור או אי-מילים^16,17; עוד ניתן למצוא בסקירות ספרות^18,19. כמה ניסויים שנערכו לאחרונה בדקו כיצד וריאציה אינדיבידואלית של ייצוג זהות הדובר עלולה לערער את דיוק הזיהוי, בהתחשב בהיבטים הכוללים הבעה רגשית גבוהה לעומת נמוכה¹⁶ ופרוזודיות ניטרליות לעומת פחדניות⁵; תרחישים אפשריים נוספים פתוחים לחקירה נוספת, כפי שהוצע על ידי סקירה²⁰.

עבור הפער המחקרי הראשון, המחקר מציע כי היסודות הנוירולוגיים של זיהוי דוברים עדיין לא חקרו במלואם כיצד השונות בתוך הדובר מאתגרת את פעילות המוח של המאזינים. לדוגמה, במטלת זיהוי רמקולים מבוססת fMRI של Zäske et al., הפיתול הרקתי העליון הימני של המשתתפים (pSTG), הפיתול המצחי הימני/האמצעי (IFG/MFG), הפיתול המצחי המדיאלי הימני והקאודאט השמאלי הראו הפעלה מופחתת כאשר זוהו נכון כמדברים ישנים לעומת חדשים, ללא קשר לתוכן הלשוני זהה או שונה²¹. עם זאת, מחקר אלקטרואנצפלוגרפיה מוקדם יותר (EEG) של Zäske et al. לא הבחין בהשפעה הישנה / חדשה זו כאשר וריאציה של זהות הדובר הוצגה באמצעות טקסטים שונים²². באופן ספציפי, רכיב חיובי מאוחר (LPC) גדול יותר, בטווח של 300 עד 700 מילישניות, שזוהה באלקטרודת Pz כאשר המאזינים נתקלו בדובר המיומן המוכר שלהם המבטא את אותו טקסט (כלומר, שמיעת שידור חוזר עם תוכן לשוני לא מגוון), נעדר כאשר הדוברים העבירו טקסטים חדשים.

כתמיכה לקביעתם של Zäske et ^al.21, מחקר זה חושד כי עדיין ניתן להבחין בהשפעה ישנה/חדשה למרות הבדלים בתוכן הלשוני בין מפגשי אימון ובדיקה בניתוחי פוטנציאל הקשור לאירועים (ERP). רציונל זה נובע מהרעיון כי ניתן לייחס את היעדר האפקט הישן/חדש ב- Zäske et ^al.22, בתנאים שבהם נעשה שימוש בטקסטים שונים, להיעדר מפגש בדיקה נוסף במהלך משימת ההכשרה כדי להבטיח למידה יסודית ויעילה של זהות, כפי שהציעו Lavan et ^al.23. לפיכך, המטרה הראשונה של המחקר היא לבחון ולאמת השערה זו. מחקר זה נועד לבחון זאת על ידי הוספת מפגש בדיקה לפרדיגמת בדיקת ההכשרה²².

שאלת מפתח נוספת שמחקר זה מבקש לעסוק בה היא חוסנו של זיהוי הדובר בנוכחות פרוזודיה של דיבור. מחקרים התנהגותיים קודמים הצביעו על כך שמאזינים מתקשים במיוחד לזהות דוברים על פני פרוזודיות שונות, מה שמצביע על תפקיד מודולרי של הקשר פרוזודי - מאזינים לא הצליחו מספיק בתנאי הפרוזודיה השונים של בדיקת האימון. מחקר זה נועד לבחון זאת על ידי חשיפת המאזינים לזהות דוברים מוכרים בפרוזודיה בטוחה או מפוקפקת²⁴ . מחקר זה מצפה כי ההבדלים שנצפו ב- ERP יסייעו להסביר כיצד פרוזודיה של דיבור משפיעה על זיהוי זהות.

מטרת הליבה של המחקר הנוכחי היא לחקור את חוסנו של האפקט הישן/חדש בזיהוי דוברים, ולבחון באופן ספציפי האם יש הבדלים בזיהוי דוברים בפרוזודיה בטוחה לעומת מפוקפקת. שו וארמוני¹⁰ ביצעו מחקר התנהגותי תוך שימוש בפרדיגמת מבחני אימון, וממצאיהם מצביעים על כך שהמאזינים אינם יכולים להתגבר על הבדלים פרוזודיים (למשל, מאומנים לזהות מדבר בפרוזודיה ניטרלית ונבחנים על פרוזודיה מפחידה) ויכולים להשיג דיוק נמוך יותר מרמת סיכוי¹⁰. ניתוח אקוסטי מצביע על כך שרמקולים המבטאים מצבים רגשיים מגוונים קשורים לאפנון VTL/F0; לדוגמה, פרוזודיה בטוחה מאופיינת ב-VTL מוארך וב-F0 נמוך יותר, בעוד שההפך הוא הנכון עבור פרוזודיה מפוקפקת^11,24. ראיה נוספת מגיעה מהמחקר של Lavan et ^al.23, שאישר כי מאזינים יכולים להסתגל לשינויים VTL ו- F0 של הדובר וליצור ייצוגים מבוססי ממוצע של הדוברים. מחקר זה מיישב כי מנקודת מבט של נתונים התנהגותיים, סביר להניח שהמאזינים עדיין יזהו את זהותו של הדובר על פני פרוזודיה (למשל, מאומנים לזהות אחד בפרוזודיה בטוחה אך נבדקים בפרוזודיה מפוקפקת; דווח בכתב יד נפרד בהכנה). עם זאת, הקורלציות העצביות של זיהוי דוברים, במיוחד ההכללה של ההשפעה הישנה/חדשה שנצפתה על ידי Zäske et ^al.22, עדיין אינן ברורות. לפיכך, המחקר הנוכחי מחויב לאמת את חוסנו של האפקט הישן/חדש בפרוזודיות בטוחות לעומת מפוקפקות כהקשרים לבדיקה.

המחקר מציג סטייה מפרדיגמות מחקריות קודמות במחקרי השפעות ישנות/חדשות. בעוד שמחקרים קודמים התמקדו באופן שבו זיהוי דיבור ישן/חדש משפיע על התפיסה, מחקר זה מרחיב זאת על ידי שילוב שתי רמות ביטחון (בטוח לעומת ספק) בפרדיגמה (לכן, מחקר 2+2). זה מאפשר לנו לחקור את זיהוי הדובר בהקשרים של פרוזודות דיבור בטוחות ומוטלות בספק. הפרדיגמה מאפשרת לחקור את חוסנן של השפעות ישנות/חדשות. הניתוחים של השפעות זיכרון ואזורי עניין (ROI) בהקשרי דיבור בטוחים ומפוקפקים כאחד משמשים ראיות לחקירה זו.

בסך הכל, המחקר נועד לעדכן את ההבנה של מתאם EEG של זיהוי קול, עם ההשערות כי LPC מוגדל של אפקט EEG ישן/חדש ניתן לצפייה גם כאשר 1) התוכן הלשוני אינו זהה, 2) עם נוכחות של פרוזודיה בטוחה לעומת ספק. מחקר זה בחן את ההשערות באמצעות פרדיגמה בת שלושה שלבים. ראשית, במהלך שלב האימון, המשתתפים יצרו אסוציאציות בין שלושה קולות לבין שמותיהם המתאימים. לאחר מכן, בשלב הבדיקה, הוטל עליהם לזהות את השם המתאים לקול מתוך בחירה של שלושה מועמדים. בדיקה זו, בעקבות Lavan et ^al.23, נועדה להתגבר על היכרות לא מספקת של דוברים ישנים, מה שהוביל לאפקט ישן/חדש שלא נצפה כאשר הטקסט בשלבי ההכשרה והמבחן היה שונה⁶, והדוברים לא יכלו לזהות דוברים על פני פרוזודיות ניטרליות ומפחידות¹⁰. לבסוף, בשלב המבחן, המשתתפים הבחינו בין שלושה קולות דוברים ישנים ושלושה חדשים במשימת בחירה כפויה של שתי חלופות, כאשר פרוזודת הדיבור הוצגה כבטוחה או מוטלת בספק. נתוני EEG נאספו באמצעות מערכת EEG בת 64 ערוצים ועברו עיבוד מקדים לפני הניתוח. ניתוח סטטיסטי וניתוח פוטנציאל הקשור לאירועים (ERP) נערכו ב-RStudio, ואילו MATLAB נוצל לניתוח טופוגרפיה מוחית.

באשר לפרטי העיצוב, מחקר זה מציע ניסוי למידת זהות דובר השולט בגובה המדבר, הקשור ל-VTL ומשפיע על רשמים של מי מדבר²³. היבט זה משפיע גם על רשמים חברתיים, כגון דומיננטיות נתפסת²⁵, ויצירת רושם ברמה גבוהה יותר כזו עשויה לקיים אינטראקציה עם פענוח זהות הדובר²⁶ .

Protocol

ועדת האתיקה של המכון לבלשנות, אוניברסיטת שנחאי ללימודים בינלאומיים, אישרה את תכנון הניסוי המתואר להלן. הסכמה מדעת התקבלה מכל המשתתפים במחקר זה.

1. הכנה ותיקוף של ספריית האודיו

1. הקלטה ועריכה של שמע
   1. צור מסד נתונים קולי סיני בהתאם להליך הסטנדרטי של יצירת גרסה קודמת באנגלית תוך ביצוע התאמות במידת הצורך כדי להתאים להקשר של סין¹¹. לצורך הניסוי כאן נעשה שימוש ב-123 משפטים המכילים שלושה סוגים של כוונות פרגמטיות, כלומר שיפוט, כוונה ועובדה. לשם כך, עיין בקורפוס הצהרה קיים באנגלית¹¹ וצור גירסה סינית מותאמת לשפות אחרות עם תרחישים נוספים המותאמים לשפות אחרות.
   2. גייסו 24 דוברים (12 נשים) לבטא משפטים אלה בפרוזודיות ניטרליות, מפוקפקות ובטוחות תוך התייחסות והתאמה של הוראות מוגדרות של משימות הקלטה קודמות^11,24.
      1. עבור הדוברים כאן, גייסו 24 דוברי מנדרינית סטנדרטיים מאוניברסיטת שנחאי ללימודים בינלאומיים, 12 נשים ו -12 גברים, עם מיומנות מוכחת במנדרינית באמצעות ציונים של 87 עד 91 במבחן מיומנות Putonghua. משתתפים גברים היו בממוצע 24.55 ± 2.09 שנים, עם 18.55 ± 1.79 שנות לימוד וגובה ממוצע של 174.02 ± 20.64 ס"מ. גילן הממוצע של הנשים היה 22.30 ±-2.54 שנים, עם 18.20 ±-2.59 שנות לימוד וגובה ממוצע של 165.24 ±-11.42 ס"מ. אף אחד מהם לא דיווח על ליקויי שמיעה בדיבור או הפרעות נוירולוגיות או פסיכיאטריות.
   3. בקשו מהדוברים לחזור על כל טקסט פעמיים. הגדר את קצב הדגימה על 48,000 הרץ בתוכנה Praat²⁷. ודא שאף זרם אינו ארוך יותר מ -10 דקות, מכיוון שפראט יכול להישבר ולגרום לאובדן הקלטה.
   4. ערוך את זרם השמע הארוך לקליפים לכל משפט עם Praat. מכיוון שיש שתי חזרות על אותו טקסט, בחר את הגרסה המייצגת בצורה הטובה ביותר את הפרוזודיה המיועדת כמשפט היעד.
2. בחירת שמע
   1. נרמל את ספריית השמע ב- 70 dB ואת קצב הדגימה ב- 41,000 הרץ עם סקריפט Praat²⁸. לשם כך, פתח את Praat, טען את קבצי הצליל ובחר אותם בחלון אובייקטים. עבור לתפריט שנה, בחר שינוי גודל עוצמה..., הגדר את העוצמה הממוצעת החדשה (dB SPL) ל- 70 בחלון ההגדרות ולחץ על אישור להחלת הנורמליזציה.
   2. גייסו 48 מאזינים עצמאיים כדי לדרג כל אודיו בסולם אחד של 7-Likert לגבי רמת ביטחון: 1 עבור כלל לא ו-7 עבור¹¹ בטוחים מאוד. ודא שכל משפט דורג על ידי 12 מדרגים.
   3. בחר את השמע המתאים לערכי סף ייעודיים עם עיקרון עיקרי אחד: ודא שהדירוג הממוצע עבור כוונות בטוחות גבוה יותר מאשר שמע בעל כוונות מוטלות בספק. ודאו שתנאי סף אלה עקביים בקרב 12 דוברים מאותו המין הביולוגי. לדוגמה, אם דוברים אלה ביטאו שני משפטים, כל אחד מהם עם פרוזודיה בטוחה ומפוקפקת, יש להבחין בהבדלים משמעותיים ברייטינג.
   4. לצורך העיצוב הניסיוני הנוכחי, השתמש בארבעה בלוקים של אודיו, בסך הכל 480 קטעי אודיו, כאשר כל בלוק מכיל 120 אודיו.
      1. חלקו 24 דוברים לארבע קבוצות של שישה, עם שתי קבוצות של זכרים ושתי קבוצות של נקבות, כאשר כל קבוצה מורכבת מדברנים מאותו המין הביולוגי.
      2. עבור כל קבוצה, בחר קטעי שמע בהתבסס על דירוגים תפיסתיים (על אותו טקסט), כדי להבטיח שדירוגי הביטחון הממוצעים יהיו גבוהים יותר מהדירוגים המפוקפקים עבור כל משפט. ארבעת הבלוקים הללו נבדלים זה מזה בדרכים הבאות: 1) ששת הדוברים המשולבים - זהותם שונה; 2) מחצית מהבלוקים מבוטאים על ידי זכרים והמחצית השנייה על ידי נקבות; ו-3) הטקסט המובע בכל בלוק שונה.
   5. לפני תחילת תהליך הבחירה, תעד את נתוני הגובה עבור כל דובר. השתמש במידע זה כדי לחלק את הדוברים לארבע קבוצות עצמאיות על בסיס מגדר וגובה.
      1. ישנם 24 דוברים בסך הכל, המחולקים שווה בשווה בין גברים ונקבות. בתוך כל קבוצת מגדר, מיין את 12 הפרטים לפי גובה.
   6. חלקו את 12 הפרטים הללו לשתי קבוצות לסירוגין; לדוגמה, מתוך רשימה ממוינת מ-1 עד 12, פרטים 1, 3, 5, 7, 9 ו-11 יהוו קבוצה אחת, והמחצית השנייה תיצור את הקבוצה השנייה. בתוך קבוצות אלה, בצע את בחירת הרמקולים עבור קטעי השמע במרווחי זמן קבועים בהתבסס על גובהם.
      הערה: הכללת הגובה כגורם בקרה מבוססת על ממצאים המצביעים על כך שאמצעים אקוסטיים הקשורים לגובה הדובר (VTL ו- F0) משפיעים על זיהוי זהות הדובר^{והדובר 23}.

2. תכנות לאיסוף נתוני EEG

1. תכנון מטריצת הניסוי
   1. המחקר משתמש בעיצוב פנים-נושאי. הכינו סשן מבחנים המציג לפי כל נושא תוך התאמת סבב ההדרכה. הכינו ארבעה בלוקים, כאשר דוברים גברים ונשים לוקחים כל חצי משני בלוקים. הקצו שני בלוקים להכשרה בפרוזודיה בטוחה ונבחנים הן על בטוחים והן על ספקנים, כמו גם מאומנים בפרוזודיה מפוקפקת ונבחנים על בטוחים ומוטלים בספק, כפי שמוצע באיור 1.
   2. החליטו על משך הזמן של מסכי התפקוד על ידי התייחסות למחקרי EEG קיימים על זיהוי דוברים ותפיסת ביטחון קולי^22,29. ארגן את רצף ארבעת הבלוקים עם מטריצה ריבועית לטינית בין המשתתפים ^30,31. קידוד Python מותאם אישית מומלץ להכין רשימה כזו. ראה את קטע הקוד עבור מטריצת הריבוע הלטיני ואת רשימת הניסיון עבור תוכנית PsychoPy ב- OSF³².
   3. בחר דוברים בכל מרווח מרצף גובה של אותו מין ביולוגי. עבור כל בלוק, בחרו שישה דוברים מתוך 24 הדוברים המקוריים, המקובצים לארבע רשימות בהתאם לגובה המדווח של הדוברים.
   4. בחר את 24 השמות הראשונים במאה שמות המשפחה של סין. הקצו באופן אקראי את שמות המשפחה ל-24 הדוברים שהביעו את האודיו על ידי פנייה אליהם כמו שיאו (ג'וניור בסינית) ZHAO.
   5. רכז את כל המידע הרלוונטי בגיליון אלקטרוני עם עמודות עבור דובר (1 עד 24), מין ביולוגי (זכר או נקבה), שם אנשים (מתוך 24 שמות המשפחה), רמת ביטחון (בטוח או מוטל בספק), פריט (אינדקס טקסט), רמת ביטחון מדורגת (ציון ממוצע מהמחקר התפיסתי), צליל (למשל, צליל / 1_h_c_f_56.wav),
   6. זהה נכון אחד מתוך שלושה (1, 2 או 3), וזהה נכונה ישן וחדש (ישן או חדש). בנוסף, ודא שנוספו עמודות בשם training_a, training_b, training_c, בדיקה ובדיקה.
   7. הוסף את העמודות training_a_marker, training_b_marker, check_marker ו- testing_marker לגליונות האלקטרוניים כדי לשלוח סמני EEG. עצבו סמנים אלה בשלוש ספרות, כלומר אפילו הספרה 1 נכתבת כ- 001.
2. בניית שלושת המפגשים
   הערה: PsychoPy מומלץ לבנות את התוכנית, בעיקר על ידי שימוש במצב בונה. רכיב הקוד בבונה משמש בנוסף לחיבור התוכנית למערכת איסוף הנתונים EEG, איזון כפתורי F ו- J וחישוב הדיוק שיש לדווח על המסך.
   1. לפני הכל, לחץ על סמל עריכת הגדרות ניסוי והתאם את תא פרטי הניסוי לשני שדות, כלומר, משתתף ובלוק. השאר את ברירת המחדל עבור שניהם כריקה. במחקר זה, בקרב 40 המשתתפים, שלכל אחד מהם היו ארבעה בלוקים, 4/40 משתתפים עברו שוב בלוקים מסוימים (אם הדיוק בסשן הבדיקה נמוך מ-10/12), עם שיעור ביצוע חוזר של 19 ספירות חוזרות / 4 בלוקים x 40 משתתפים = 11.875%.
   2. אימון: למידת זהות חוזרת ונשנית במשך שלוש פעמים
      1. הגדר לולאה בשם Training_A, המכילה שלושה מסכים: קיבוע, מצגת וריק. סמן את האפשרות Is Trials . השאר את nReps 1 והשאר את השורות שנבחרו ואת Random Seed ריקים. כתוב את התנאי כדלקמן:
         "$"trials/{:}_training_a.xlsx".format(expInfor["Participant"]), expInfo["Block"])
         כאשר הניסויים/ הוא שם התיקיה; המשתתף הוא מדד המשתתף; בלוק הוא רצף הבלוקים של הבלוק הנוכחי.
      2. במסך קיבוע, הוסף רכיב טקסט, כאשר שעת התחלה מוגדרת כ- 0, משך זמן מוגדר כ- 2 (ים) וסימן + הוכנס לחלון הזנת טקסט שנבחר הגדר כל חזרה. כמו כן, כלול רכיב טקסט דומה במסך הריק ללא מידע בתא הטקסט, והוא נמשך 0.5 שניות.
      3. במסך מצגת, בצע את הפעולות הבאות:
         1. הוסף רכיב צליל, כאשר שעת התחלה מוגדרת כ- 0, זמן עצירת משך זמן נותר ריק וקלט תא צליל עם $Sound ובחר הגדר כל חזרה. סמן את התחל סינכרון עם המסך.
         2. הוסף רכיב טקסט נוסף, כאשר התא תנאי התחלה מוזן עם Cross_for_Training_A.status == FINISHED. השאר את התא Stop Duration ריק. תא הטקסט מציג $Name. בחר הגדר כל חזרה.
         3. הוסף Key_Response_Training_A, שבו תנאי ההתחלה הוא Training_A.status == FINISHED. השאר את התא Stop Duration ריק. תקתק את סוף הכוח של השגרה. עבור תא מקשים מותרים, הוסף רווח; עבור הגדרה, בחר קבוע.
         4. הוסף Cross_for_Training_A. שעת ההתחלה שלו מוגדרת כ- 0; התא תנאי עצירה מוגדר כ- Training_A.status == FINISHED. הוסף סימן + לחלון הזנת הטקסט ובחר הגדר כל חזרה.
      4. הכן Training_B על ידי ביצוע הליך דומה Training_A.
   3. הפעלת בדיקה: בחר את שמות שלושת המשתתפים המדברים.
      1. הגדירו לולאה בשם Check, עם אותו מסך קיבוע ומסך ריק כמו באימון.
      2. השתמש במצגת שונה מההדרכה על-ידי הוספת פונקציה לאיסוף התגובה מהמקלדת. במסך מצגת, בצע את הפעולה הבאה.
         1. הוסף רכיב צליל ותן לו את השם Checking_audio, כאשר שעת התחלה מוגדרת כ- 0 והשאר את התא Stop Duration ריק. הגדר את תא הצליל כ- $Sound, כאשר האפשרות הגדר כל חזרה מופעלת.
         2. הוסף רכיב טקסט בשם Show_names, כאשר תנאי התחלה כתוב בפקודה:
            Checking_audio.status == הסתיים
            והשאר את 'משך הפסקה' ריק. הגדר את תא הטקסט ל- $ People_Name, כאשר האפשרות הגדר כל חזרה מופעלת.
         3. הוסף רכיב מקלדת ותן לו כותרת Key_Response_Check, כאשר תנאי ההתחלה הוא Checking_audio.status == FINISHED והשאר את Stop Duration ריק. בחרו 'כפה סיום שגרה ' עם המקשים המותרים num_1, num_2 והקבוע הנותר num_3 כדי שהמשתתפים יוכלו להשתמש במקלדת הנומרית כדי ליצור אינדקס לבחירתם.
         4. הוסף קיבוע בשם Cross_Check, כאשר שעת התחלה היא 0 וקלט תנאי עצירה עם Checking_audio.status == FINISHED. הוסף + לתא טקסט, שיבחר קבע כל חזרה.
      3. הוסף רכיב קוד. במקטע התחל ניסוי, אתחל total_trials, current_correct, current_incorrect ו- current_accuracy כ- 0. בשגרת ההתחלה, הגדירו user_input כללא. במקטע כל מסגרת, אסוף את הקלט של המשתמש מהמקלדת ובדוק מול התגובה הנכונה המאוחסנת בקובץ הגיליון האלקטרוני, באמצעות קוד מפתח של user_key = Key_Response_Check.keys כדי לחלץ 1, 2 או 3. לאחר מכן, השתמש בו כדי לאמוד מול 1,2 או 3 המאוחסנים בעמודה בשם Correctly_recognize_one_out_of_three.
      4. לאחר שיצאת מהלולאה, ודא שמופיע מסך משוב עם ההודעה הבאה: check_feedbacks.text = f" השלב השני הושלם.\nזיהית את הדובר בסך הכל {total_trials} משפטים,\nCorrect recognized {current_correct} speakers,\nIncorrect judged {current_incorrect} speakers.\nשיעור הדיוק הכולל שלך הוא {current_accuracy}%.\n\nאם הוא נמוך מ- 83.33%, אנא אותת לנסיין,\nאתה מכיר מחדש את שלושת הדוברים שהוזכרו לעיל.\n\nאם אתה עומד בדרישות, אנא לחץ על מקש הרווח כדי להמשיך.
   4. מפגש מבחן: סיווג הדובר הישן והחדש
      1. הגדר לולאה בשם Testing. הוא כולל קיבוע וריק (כמו בסבב ההדרכה) ומסך מצגת.
      2. הכן את המקטע מצגת כמפורט להלן.
         1. הוסיפו רכיב השמעת צלילים, Testing_sound, עם הגדרות זהות לאלה שבאימון. הוסף רכיב Key_response_old_new, בעל תנאי התחלה של Testing_sound.status == FINISHED, השאר את Stop Duration ריק וסמן את Force End of Routine. במקשים המותרים, כלול f ו- j ובחר קבוע.
      3. הוסף רכיב טקסט בשם Testing_old_new, כאשר תנאי התחלה הוא Testing_sound.status == FINISHED, השאר את Stop Duration ריק והשאר את תא הטקסט ריק עם Set Every Repeat - הטקסט יוגדר על-ידי רכיב קוד מאוחר יותר.
      4. הוסף Cross_Testing, כאשר שעת התחלה היא 0, תנאי עצירה הוא Testing_sound.status == FINISHED, ו- + בתא הטקסט כאשר האפשרות Set Every Repeat מופעלת.
      5. הוסף רכיב קוד כמתואר להלן.
         1. בסעיף התחל ניסוי, אתחל את מספר הניסויים הכולל (total_trials_t), מספר הניסויים הנכונים (correct_trials_t) ומספר הניסויים השגויים (incorrect_trials_t).
         2. במקטע התחל שגרה, התחל בבדיקה מותנית כדי לקבוע את תבנית המצגת בהתבסס על מספר הזיהוי של המשתתף (expInfo["משתתף"]). אם מספר תעודת הזהות אי-זוגי, ודא שההוראות לזיהוי גירויים ישנים לעומת חדשים מוצגות בפורמט אחד, ("ישן(F) חדש(J)") או ("חדש (F) ישן (J)").
         3. מחוץ ללולאה זו, יש מסך משוב עם רכיב קוד. ודא שבכל מקטע מסגרת נכתב: testing_feedbacks.text = f"זיהית את הדובר בסך הכל {total_trials_t} משפטים,\nרמקולים {correct_trials_t} מזוהים כהלכה,\nIncorrect judged {incorrect_trials_t} speakers.\nשיעור הדיוק הכולל שלך הוא {accuracy_t:.2f}%.\nלחץ על מקש הרווח כדי לסיים חלק נוכחי זה.
   5. חבר את התוכנית למערכת מוצרי המוח כמתואר להלן.
      1. סנכרן את הסמן על-ידי הגדרת סמן כהתחלה של כל שמע. לפני תחילת Training_A הלולאה, הגדר פרוטוקול שליחת סמן EEG ברכיב הקוד Begin Experiment, כמתואר להלן.
         1. ייבא רכיבי PsychoPy חיוניים, כולל המודול המקבילי, והגדר את כתובת היציאה המקבילית באמצעות 0x3EFC.
         2. הקמת פונקציית sendTrigger להעברת סמני EEG. פונקציה זו שולחת קוד מפעיל שצוין דרך היציאה המקבילית עם parallel.setData(triggerCode) לאחר בדיקה אם הוא מספר שלם של NumPy וממירתו לפי הצורך.
         3. הוסף המתנה קצרה של 16 אלפיות השנייה כדי להבטיח לכידת סמן לפני איפוס ערוץ הגורם המפעיל ל- 0 באמצעות parallel.setData(0).
      2. שליחת הסמן למקליט EEG משתמשת ב- sendTrigger(). כלול את השם המדויק של העמודה המתאימה בסוגריים. במחקר זה, ישנם training_a_marker, training_b_marker, check_marker ו- testing_marker - עיין בעמודה שהוגדרה בעבר בגיליון האלקטרוני.

3. איסוף נתוני EEG

1. הכנת המקום
   הערה: קיימים לפחות שני מחשבים זמינים לביצוע איסוף הנתונים. האחת היא להתחבר למערכת EEG, והשנייה היא לאסוף נתונים התנהגותיים. מומלץ לבנות מסך נוסף שישקף את המחשב הקשור לנתונים התנהגותיים. המערכת מורכבת ממגבר וכובעי EEG פסיביים.
   1. עבור מחקר זה, גייסו משתתפים ללא כל ליקוי שמיעה בדיבור. ודא שלמשתתפים אין הפרעות פסיכיאטריות או נוירולוגיות. בסך הכל נבחרו 43 משתתפים, כאשר שלושה לא נכללו בשל בעיות יישור עם סמני EEG. מתוך 40 המשתתפים הנותרים, היו 20 נשים ו-20 גברים. גילן של הנקבות היה 20.70 ±-0.37 שנים, בעוד שהזכרים היו בני 22.20 ±-0.37. שנות ההשכלה שלהם היו 17.55 ±-0.43 לנשים ו-18.75 ±-0.38 לגברים.
   2. הקצו מזהי משתתפים והזמינו את המשתתפים לחפוף ולייבש את שיערם תוך שעה לפני ההשתתפות בניסוי.
   3. ערבבו את ג'ל האלקטרוליטים וג'ל האלקטרוליטים השוחק ביחס של 1:3 והוסיפו כמות קטנה של מים. מערבבים את התערובת באופן שווה במיכל בעזרת כף.
   4. הכינו צמר גפן דק וכובע EEG יבש.
   5. בקש מהמשתתף לשבת בנוחות בכיסא ולהודיע לו שהנסיין יפעיל את כובע ה- EEG. הסבירו כי משחה מוליכה, שאינה מזיקה לבני אדם ומשפרת את קליטת אותות המוח, מיושמת על חורי הכובע באמצעות צמר גפן.
   6. ספקו למשתתף הוראות לגבי משימות הניסוי וטופס הסכמה מדעת לניסוי. המשך בשלב ההכנה לאחר קבלת חתימת המשתתף.
   7. חבר את מכסה ה- EEG למגבר, אשר בתורו מתחבר למחשב איסוף הנתונים EEG. מחקר זה משתמש בכובע פסיבי, ולכן יש צורך להשתמש בצג נוסף כדי לבדוק את מחווני הצבע על 64 אלקטרודות.
   8. פתח את BrainVision Recorder³³ וייבא קובץ סביבת עבודה מותאם אישית שהגדיר את פרמטרי ההקלטה. לחץ על צג כדי לבדוק את העכבה. סרגל הצבעים, מאדום לירוק, מושפע מרמות ההתנגדות שנקבעו, כאשר עכבות המטרה נעות בין 0 ל-10 kΩ.
2. הכנת המשתתפים
   1. בקשו מהמשתתף לשבת זקוף על כיסא. בחר מערכת אלקטרודות פסיבית מבוססת ג'ל בגודל המתאים (גודל 54 או 56) עבור ראש המשתתף וודא שמערכת האלקטרודות מותאמת כראוי בהתאם למערכת 10-20^28,34.
   2. התחילו בטבילת צמר גפן חד פעמי בעיסה המוליכה ומרחו אותה על חורי הפקק, תוך הקפדה להתחכך בקרקפת של המתאמן. המחוון המתאים של אלקטרודה שהופך לירוק במחשב איסוף הנתונים EEG מציין שהיא אוספת בהצלחה נתונים אופטימליים.
   3. לאחר שהצבע המציין של כל האלקטרודות על המסך, למעט שתי האלקטרודות העצמאיות הופכות לירוקות (במסך הצג), יש למרוח את ההדבקה המוליכה על האלקטרודות הצדדיות. חברו את האלקטרודה השמאלית ליד עינו השמאלית של המשתתף, באזור העפעף התחתון, ואת האלקטרודה הימנית ליד הרקה הימנית.
   4. ברגע שכל האלקטרודות ירוקות, הניחו רשת אלסטית מעל ראשו של המשתתף כדי לסייע למכסה ה-EEG להתאים בצורה בטוחה ויציבה יותר לראשו של המשתתף.
   5. ציידו את המשתתף באוזניות חוטיות (אוזניות ספציפיות להולכת אוויר המשמשות במעבדה). סגור את דלת המיגון האלקטרומגנטי והנחות את פעולות המשתתפים באמצעות מיקרופון המאפשר תקשורת פנימה ומבחוץ. בנוסף, לעקוב אחר תנועות המשתתפים באמצעות צג חיצוני, כגון להזכיר להם לא להזיז את הגוף שלהם באופן משמעותי; כמו כן, עקוב אחר התקדמות המשתתף במשימות התנהגותיות באמצעות צג נתונים התנהגותיים.
   6. בקשו מהמשתתפים להרכיב אוזניות המחוברות למחשב אוסף ההתנהגות באמצעות ממשק שמע.
3. הרצת הניסוי בלוק אחר בלוק באופן עצמאי
   1. במחשב איסוף הנתונים EEG, פתח את BrainVision Recorder ולחץ על צג כדי לבדוק שוב את העכבה ואת הקלטת Stat/Resume ולהתחיל להקליט. צור קובץ הקלטה EEG חדש ותן לו שם בהתאם, לדוגמה, 14_2, כלומר הבלוק השני עבור משתתף מספר 14.
   2. פתח את ניסוי ההפעלה של תוכנית PsychoPy (כפתור ירוק) עבור הניסוי ההתנהגותי, הזן את מזהה המשתתף (לדוגמה, 14) ואת מספר הבלוק המתאים (לדוגמה, 2), ולחץ על אישור כדי להתחיל את הניסוי.
   3. עקוב מקרוב אחר דיוק הנתונים המדווחים על המסך לאחר שהמשתתף משלים את שלב הבדיקה במחשב הנתונים ההתנהגותיים. אם רמת הדיוק נמוכה מ-10 מתוך 12, בקשו מהמשתתף לבצע שוב את סבב האימון עד שישיג את הדיוק הנדרש לפני שיעבור לשלב הבדיקה.
   4. שימו לב היטב לדיוק הסופי של זיהוי ישן לעומת חדש המדווח על המסך לאחר שהמשתתף משלים את שלב הבדיקה של הבלוק. אם הדיוק נמוך במיוחד (לדוגמה, מתחת ל -50%), בררו לגבי סיבות אפשריות מהמשתתף.
4. ניסוי לאחר EEG
   1. לאחר שהמשתתף השלים את כל הבלוקים, הזמינו אותו לחפוף את שיערו. נקו את מכסה ה-EEG על ידי הסרת שאריות משחה מוליכה עם מברשת שיניים, הקפידו שלא להרטיב את מחברי האות ועטיפתם בשקיות ניילון. לאחר הניקוי, תלו את מכסה ה-EEG באזור מאוורר היטב לייבוש.
   2. העתק את נתוני ה- EEG וההתנהגות לכונן קשיח נייד, וודא שנתוני ה- EEG ונתוני ההתנהגות תואמים. לדוגמה, נתוני EEG נקראים עם שני קבצים, 14_2.eeg ו- 14_2.vhdr, ונתוני ההתנהגות כקובץ 14_2.xlsx.

4. עיבוד נתוני EEG

הערה: התיאורים הבאים כוללים עיבוד מקדים של נתוני EEG, ניתוח סטטיסטי והדמיה באמצעות MATLAB ו-RStudio לעיבוד אצווה.

1. עיבוד מקדים של נתוני EEG באמצעות MATLAB
   1. מיזוג נתוני EEG והתנהגות
      1. בהתחשב בכך שהמשתתפים עשויים להידרש לבצע מחדש את המשימה אם הם אינם מגיעים לדיוק הנדרש של 10/12 ומעלה, מה שמשפיע על מתן שמות של EEG ונתונים התנהגותיים, לדוגמה, 14_2.vhdr עשוי להפוך ל- 14_2(1).vhdr, תקן את שמות הקבצים על-ידי הסרת תווים שאינם 14_2. תוך כדי חזרה על הנתונים של כל משתתף, תן לקבצי הנתונים את השם sub, stripped_filename, .set, וכתוצאה מכך קבצים כגון sub14_2.set (המכיל מטה-נתונים וקישורים לערכת הנתונים של EEG) ו- sub10_1.fdt (נתוני EEG בפועל) נשמרים באופן אוטומטי. פעולה זו משנה את שמות הקבצים 14_2.vhdr ו- 14_2.eeg ל- sub14_2.fdt ו- sub14_2.set.
      2. השתמש בפונקציה EEG = pop_mergeset() כדי למזג את הנתונים לקובץ יחיד עבור כל משתתף, תוך שילוב נתוני בלוקים שונים בסדר כרונולוגי ולא בסדר מספרי של בלוקים 1,2,3,4.
      3. מזג קבצי נתונים התנהגותיים מרובים לגיליון אלקטרוני אחד לכל משתתף בהתבסס על סדר כרונולוגי, החיוני לסינכרון מאוחר יותר.
      4. התאם אישית קוד כדי לסנכרן ניסויים באותות EEG עם ניסויים באותות ההתנהגותיים. לדוגמה, testing_list = [37:108, 145:216, 253:324, 361:432] יתאים לנקודות סמן EEG עבור ארבעת הבלוקים.
      5. המר את הגיליון האלקטרוני של הנתונים ההתנהגותיים לקובץ .txt, והתוצאה תהיה טבלה עם נתונים הן בשורות והן בעמודות. שמות עמודות כוללים את רוב אלה המוזכרים בשלב 2.1.
      6. הגדר מחדש את התוכן של נתוני EEG על-ידי הוספת מידע לנתוני EEG באמצעות קוד דומה לקוד הבא, לדוגמה, EEG = pop_importepoch(EEG, behav_txt_path, {'Epoch', 'Sound', 'Speaker', 'Gender', 'Confidence_level', 'old_new_speaker', 'same_different_prosody', 'Response'}, 'timeunit', 1, 'headerlines', 1). תהליך זה ממזג את נתוני ה- EEG וההתנהגות המתאימים לכל משתתף באמצעות עיבוד אצווה.
         הערה: ערכי התגובה של 1 ו- 0 מגיעים מנתונים התנהגותיים, כאשר 1 מייצג שיפוט נכון ו- 0 מייצג שיפוט שגוי.
   2. עיבוד מקדים של נתוני EEG
      1. לצורך ייחוס והפניה חוזרת^29,35, התקשר לפונקציה pop_reref כדי להפנות מחדש את נתוני ה- EEG לאלקטרודת FCz, וודא שכל אות מחושב ביחס לאלקטרודת FCz. השתמש בפונקציית pop_reref כדי להפנות מחדש את נתוני ה- EEG לתעלות 28 ו- 29, המייצגות את אלקטרודות המסטואיד הדו-צדדיות הממוקמות בקרקפת האחורית, וודא שכל אות מחושב ביחס למסטואידים הדו-צדדיים.
      2. הגדר מסנן מעבר גבוה (להסרת מגמות ליניאריות) עם EEG = pop_eegfiltnew(EEG, [], 0.1, 16500, 1, [], 0), ובצע תיקון קווי בסיס מ- -500 עד 0 אלפיות השנייה עם EEG = pop_rmbase(EEG, [-500 0]).
      3. בדוק ידנית גרסאות ניסיון פגומות: לאחר ייבוא הנתונים באמצעות EEGLAB, בחר התוויית, לחץ על נתוני ערוץ (גלילה) והגדר את הערך המרבי ל- 50.
      4. מחק ניסויים עם שרירים גלויים וסוגים אחרים של חפצים וסמן אלקטרודות פגומות: ריחוף העכבר מעל צורת הגל של התעלה יציג את האלקטרודה שלו. הקלט את כל האלקטרודות הפגומות, חזור לדף הראשי של EEGLAB, בחר אינטרפולציה אלקטרודות תחת כלים, בחר בחר מתוך ערוצי נתונים, בחר את האלקטרודות הזקוקות לאינטרפולציה ואשר עם אישור. שמור את הקובץ בתיקיה חדשה.
      5. בצע ניתוח רכיבים עיקריים (PCA) עם EEG = pop_runica(EEG, 'מורחב', 1, 'pca', 30, 'interupt', 'on'). דחה ידנית ICAs בעייתיים, הסר חפצים מהעיניים, השרירים ורעשי הערוץ ולאחר מכן שמור את הקובץ.
      6. השתמש בפונקציה pop_eegthresh כדי להגדיר סף מ- -75 עד +75Hz כדי להסיר ערכים קיצוניים 34,36,37.
      7. החל pop_eegfiltnew עם פרמטרים מוגדרים (פרמטר הקלט השלישי) על 30 כדי לשמור על תדרים של 30Hz ומתחת ל-³⁸.
      8. התאם אישית את הקוד כדי לפרט את כל תנאי העניין, כולל old_new_speaker = {'ישן', 'חדש'}; same_different_prosody = {'זהה', 'שונה'}; Confidence_level = {'c', 'd'}; ותגובה = {'1', '0'}. לאחר מכן, שלב תנאים אלה כדי ליצור שילובי נתונים כגון sub1_new_different_c_0 ושמור אותם כקבצים עם סיומת txt.
2. ניתוח ERP עם RStudio
   1. כדי לארגן את הנתונים, המר אותם לפורמט ארוך. יבא את כל הקבצים .txt ל- RStudio והשתמש בפונקציה rbind כדי לצרף כל מסגרת נתונים זמנית ל- alldata, תוך יצירת מסגרת נתונים גדולה המכילה את כל נתוני הקובץ. שנה את שם העמודה שורה בכל הנתונים לשעה לקבלת דיוק. השתמש בפונקציית ההתכה כדי להמיר את alldata מתבנית רחבה לארוכה (Data_Long), כאשר כל תצפית תופסת שורה וכוללת את כל התנאים הקשורים ומידע הערוץ.
   2. השתמש בפונקציית הסינון מחבילת dplyr כדי לבחור נתונים התואמים לתנאים ספציפיים: פסק הדין הוא 1. המקור הוא h. הזיכרון הוא ישן או חדש. פרוזודיה היא c או d.
   3. הגדר אזורים בהתבסס על תעלות אלקטרודות באופן הבא: קדמי שמאלי (F3, F7, FC5, F5, FT7, FC3, AF7, AF3). שמאל מרכזי (C3, T7, CP5, C5, TP7, CP3). אחורי שמאלי (P3, P7, P5, PO7, PO3). החלק הקדמי המדיאלי (Fz, AFz, FC1, FC2, F1, F2, FCz). מרכז מדיאלי (CP1, CP2, Cz, C1, C2, CPz). אחורי מדיאלי (Pz, O1, Oz, O2, P1, POz, P2). קדמי ימני (FC6, F4, F8, FC4, F6, AF4, AF8, FT8). ימין מרכזי (CP6, C4, T8, CP4, C6, TP8). אחורי ימני (P4, P8, PO4, PO8, P6). קבץ אזורים אלה לאזורים קדמיים, מרכזיים ואחוריים.
   4. שמור את סביבת העבודה לטעינת נתונים לאחר מכן. כדי לשמור, השתמש ב- setwd(); כדי לטעון, השתמש ב- load() .
3. ניתוח סטטיסטי
   1. עבור ניתוח נתוני EEG בכל האלקטרודות, סנן את ערכת הנתונים כך שתכלול רק נקודות נתונים רלוונטיות כאשר השיפוט הוא 1, המקור הוא h, הזיכרון ישן או חדש, הנושא אינו ריק והזמן הוא בין 400 ל- 850 אלפיות השנייה.
   2. עדכן את שמות אזורי העניין (ROI) בהתבסס על מיפויים מוגדרים מראש. לדוגמה, קדמי שמאלי, קדמי מדיאלי וקדמי ימני הם עבור הקדמי.
   3. התאם מודל אפקטים מעורבים ליניארי לנתונים באמצעות lmer מחבילת lme4³⁹, עם מתח כמשתנה התגובה וזיכרון והחזר השקעה כאפקטים קבועים, כולל יירוטים אקראיים עבור נושא וערוץ: fit_time_window <- lmer (מתח ~ זיכרון * ROI + (1|נושא) + (1| ערוץ), נתונים=נתונים). החלף את DATA בנתונים משולבים, בטוחים בלבד ונתונים בספק בלבד שוב ושוב. ראה קוד לדוגמה ב- OSF³².
      1. קבל את תוצאות הניתוח מהדגם המותאם: anova(fit_time_window), eta_squared(fit_time_window) ו- emmeans(fit_time_window, specs = זוג ~ זיכרון * החזר השקעה, adjust = "Tukey").
   4. עבור ניתוח נתוני EEG ב- Pz, בעת סינון מערך הנתונים, בצע את אותם השלבים כמו לעיל אך הוסף גם את התנאי ערוץ == 'ChPz'. חזור על התהליך לעיל, אך השתמש ב- lmer(מתח ~ זיכרון + (1|נושא)) כדי לנתח נתוני Pz בין 400 ל 850 אלפיות השנייה.
   5. כדי להתוות ERP ב- Pz (חזור על ערכת הנתונים המשולבת, בביטחון בלבד וספק בלבד), סנן את ערכת הנתונים כך שתכלול רק נקודות נתונים רלוונטיות כאשר Judgement הוא 1, Source הוא h, הזיכרון ישן או חדש ו- Subject אינו ריק.
      1. הגדר וקטור המכיל נקודות אלקטרודה מרובות (כולל Pz), והקדים להן קידומת Ch כדי להתאים למוסכמה למתן שמות ערוצים בנתונים. בחר Pz החוצה.
      2. ציין את חלון הזמן לניתוח ERP: time_window <- c(400, 850). הגדר את האלקטרודה של עניין, במקרה זה, Pz. לולאה דרך האלקטרודה שנבחרה וליצור מגרשים כמתואר להלן.
         1. סנן את הנתונים עבור אלקטרודת Pz באמצעות מסנן (ערוץ == k) כדי לבודד את נקודות הנתונים הרלוונטיות.
         2. צור גורם אינטראקציה עבור סוג קו וצבע בהתבסס על תנאי הזיכרון באמצעות אינטראקציה(current_channel_data$Memory) ותייג את התנאים כישן וחדש.
         3. חישוב סטטיסטיקה מסכמת ושגיאת תקן למדידות המתח לאורך זמן באמצעות הפונקציה summarySEin, תוך ציון מתח כמשתנה המדידה וזמן כמשתנה הפנימי.
         4. צור את תרשים ה- ERP עבור אלקטרודת Pz, על-ידי הוספת רקע לחלון הזמן שצוין באמצעות geom_rect עם הפרמטרים xmin, xmax, ymin ו- ymax. כלול סרטי שגיאה סטנדרטיים עם geom_ribbon, ציור המתח הממוצע באמצעות geom_line. התאם אישית את מראה העלילה ואת התוויות באמצעות פונקציות כגון scale_x_continuous, scale_y_reverse, scale_linetype_manual, scale_fill_manual ו- scale_color_manual.
      3. השתמש ב- theme_minimal עבור ערכת הנושא הבסיסית והתאם אישית עוד יותר את גדלי הטקסט ואת מיקום המקרא באמצעות ערכת נושא.
4. התוויית טופוגרפיה עם MATLAB
   1. ייבוא נתונים והגדרת תנאים, הגדר את רשימת הנושאים מ- 1 עד 40 עם subject_list = 1:40. הגדר שני מערכי תאים ריקים לאחסון נתונים לסיווגים נכונים של תנאים ישנים וחדשים: "human_timelocked_old_correct = {}; human_timelocked_new_correct = {}. עבור בלולאה ברשימת הנושאים, ייבא את הנתונים של כל נושא וסנן אותם בהתבסס על תנאים.
   2. חלץ מידע על אירועים מנתוני EEGLAB גולמיים, ובחר רק אירועים עם התגובה שווה ל- 1. בחר גירסאות ניסיון עם מקור שווה ל- h ועדכן את מבנה הנתונים בהתאם. הפרד נתונים עבור מצבים ישנים וחדשים, מוגבל לניסויים נכונים עם מקור h, ובצע ניתוח נעילת זמן.
      1. חשב את הממוצע הגדול עבור תנאים ישנים וחדשים כאחד: cfg = []; grandavg_old_correct = ft_timelockgrandaverage(cfg, human_timelocked_old_correct{:}); grandavg_new_correct = ft_timelockgrandaverage(cfg, human_timelocked_new_correct{:}).
   3. בצע את בדיקת התמורות כמתואר להלן.
      1. הגדר את תצורת השכן באמצעות קובץ פריסה שצוין: cfg_neigh = []; cfg_neigh.method = 'מרחק'; cfg_neigh.layout = 'path_to_layout_file'; שכנים = ft_prepare_neighbours(cfg_neigh).
      2. הגדר פרמטרים לבדיקת התמורות, כולל מטריצת התכנון והשיטה הסטטיסטית: cfg = []; cfg.method = 'מונטקרלו'; cfg.statistic = 'ft_statfun_indepsamplesT'; cfg.correctm = 'אשכול'; cfg.clusteralpha = 0.05; cfg.clusterstatistic = 'maxsum'; cfg.minnbchan = 2; cfg.tail = 0; cfg.clustertail = 0; cfg.alpha = 0.05; cfg.numrandomization = 1000; cfg.neighbours = שכנים; cfg.design = [2*ones(1, length(human_timelocked_new_correct)) ones(1, length(human_timelocked_old_correct))]; cfg.ivar = 1. יתר על כן, עיין בקישור הבא (https://www.fieldtriptoolbox.org/tutorial/cluster_permutation_freq/) לקבלת ערכות לימוד לשימוש ב- Fieldtrip⁴⁰.
      3. בצע את הבדיקה הסטטיסטית על הנתונים הממוצעים עבור תנאים ישנים וחדשים: stat = ft_timelockstatistics(cfg, human_timelocked_old_correct{:}, human_timelocked_new_correct{:}).
   4. בצע התוויית מרווחי זמן מותאמים אישית כמתואר להלן.
      1. חשב את ההבדל בין שני התנאים: cfg = []; cfg.operation = 'חיסור'; cfg.parameter = 'avg'; grandavg_difference = ft_math(cfg, grandavg_old_correct, grandavg_new_correct).
      2. הגדר חלונות זמן: time_windows = { [0.500, 0.800] % LPC}.
      3. צור איור והתווה את ההבדל בין התנאים באמצעות ft_topoplotER(cfg_plot, grandavg_difference).

Results

האפקט הקלאסי הישן/חדש מאופיין בעלייה משמעותית בפעילות המוחית של המאזינים על אלקטרודת ה-Pz (בין 300 ל-700 מילישניות) כאשר תוכן הדיבור של סשן הבדיקה תואם לזה של האימון, במיוחד במצב הדיבור הישן בהשוואה לתנאי הדיבור החדש²². הפרוטוקול חושף גרסה מעודכנת של אפקט זה: ראשית, התבוננות במגמות חיוביות גדולות יותר באלקטרודת Pz ועל פני כל אזור המוח עבור המצב הישן בהשוואה למצב הדיבור החדש בין 400 ל 850 מילישניות. שנית, תוכן הדיבור במפגש הבדיקה יהיה שונה מזה של האימון. שלישית, תנאי פרוזודיה של דיבור בטוחים ומפוקפקים כאחד צפויים להציג מגמות אלה. לבסוף, ההשפעה הישנה/חדשה בולטת יותר במצב מפוקפק במהלך סשן הבדיקה (איור 2).

ניתוח LMER עם הנוסחה

lmer(מתח ~ זיכרון * החזר השקעה + (1|נושא) + (1|ערוץ))

מציע שגם לסוגי הזיכרון (ישן לעומת חדש) וגם ל-ROI יש השפעות עיקריות, כמו גם אינטראקציה בין הזיכרון ל-ROI (טבלה 1). ניתוח פוסט-הוק נוסף גילה כי בכל אזורי המוח, המצב הישן מציג מתח חיובי גדול יותר מהמצב המפוקפק, כולל באזורים הקדמיים, המרכזיים והאחוריים (טבלה 2). השוואת ערכי הבטא מצביעה על כך שהאפקט הישן/חדש היה בולט יותר באלקטרודות מרכזיות ואחוריות מאשר באלקטרודות קדמיות: עבור מערך הנתונים המשולב - β קדמי = 0.40, β מרכזי = 0.63 ואחורי β = 0.60; עבור מערך הנתונים הבטוח - Anterior β = .61, Central β = 0.63 ו- Posterior β = .76, ועבור מערך הנתונים המסופק - Anterior β = .44, Central β = .87 ו- Posterior β = .69. מעורבותן של אלקטרודות מרכזיות ואחוריות הייתה בולטת ביותר במצב הפרוזודיה המפוקפק.

עם הנוסחה

lmer(מתח ~ זיכרון + (1|נושא))

אישרנו את קיומן של השפעות ישנות/חדשות באלקטרודת Pz. באלקטרודת Pz נצפתה השפעה עיקרית של זיכרון (ישן לעומת חדש) (F(1, 69341.99) = 120.46, p < .001, η²_p = .002, β = .425, SE = .039, יחס z = 10.98, p < .001). במצב בטוח בלבד, נצפתה השפעה עיקרית של זיכרון (ישן לעומת חדש) באלקטרודת Pz (F(1, 34318.32) = 5.04, p = .025, η²_p = .0001, β = .125, SE = .056, יחס z = 2.25, p = .025). במצב של ספק בלבד, נצפתה השפעה עיקרית של זיכרון (ישן לעומת חדש) באלקטרודת Pz (F(1, 34993.20) = 317.02, p < .001, η²_p = .009, β = .914, SE = .051, z-ratio = 17.81, p < .001).

איור 1: זרימת העבודה של איסוף הנתונים עבור כל בלוק. ב-(A) אימון, המאזינים שומעים קול ומקשרים אליו את השם שהוצג לאחר מכן. שלושה דברנים זקנים נדרשים להיזכר. השפה שהופיעה בתוכנית הייתה במקור סינית. A ו- C מייצגים שמות כגון Xiao (Junior) ZHANG. ב-(B) בדיקה, המאזינים מזהים את שם הדובר כשהם שומעים קול על ידי לחיצה על 1, 2 או 3 במקלדת הנומרית כדי לשייך את זהות הקול לשמות כמו Xiao ZHAO. בבדיקה (C), המאזינים שומעים קול ומסווגים אותו כנאמר על ידי הדובר הישן או החדש. כפי שמודגם ב-(D) Prosody Design, המאזינים לומדים ששלושה דוברים מביעים רק בביטחון או בספק, אבל שומעים שישה דוברים מדברים גם בביטחון וגם בספק. המראה של גרסה A או B הוא הדדי. אם גרסה א' מופיעה עם דובר זכר או נקבה, גרסה ב' תופיע עם דובר נקבה או זכר תואם. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 2: האפקט הישן/חדש. (A, B, C) האיורים מציגים את ה-ERP המסומן באפור של אלקטרודות Pz בין 400 ל-850 אלפיות השנייה עבור התנאים המשולבים של פרוזודיה, ביטחון בלבד וספק בלבד, בהתאמה. (ד, ה, ו) האיורים ממחישים את הטופוגרפיה של המצב הישן מינוס חדש בכל האלקטרודות (המתוארות כנקודות שחורות) עבור התנאים המשולבים, הבטוחים בלבד והמוטלים בספק. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

הקשר	אזור המוח	ערך F	Pr(>F)	Eta2_partial
בשילוב	זכרון	9938.98	.00	.00
	רועי	4.13	.02	.13
	זיכרון:החזר השקעה	182.37	.00	.00
בטוח	זכרון	7291.22	.00	.00
	רועי	3.60	.03	.12
	זיכרון:החזר השקעה	41.94	.00	.00
ספק	זכרון	8333.38	.00	.00
	רועי	4.65	.01	.15
	זיכרון:החזר השקעה	290.15	.00	.00

טבלה 1: תוצאות מניתוח LMER עבור השפעה ישנה/חדשה על פני אזורי מוח: מערכי נתונים משולבים, בטוחים ומפוקפקים. באמצעות ניתוח פוסט-הוק, * מובהק ב-p < .05, ** מובהק ב-p <.01, *** משמעותי ב-p <.001.

הקשר	אזור המוח	ניגוד	הערכה	לצפות	z	p
בשילוב	הקדמי	ישן-חדש	.40	.01	43.70	.00***
	מרכזי	ישן-חדש	.63	.01	61.74	.00***
	אחורי	ישן-חדש	.60	.01	67.51	.00***
בטוח	הקדמי	ישן-חדש	.61	.01	46.63	.00***
	מרכזי	ישן-חדש	.63	.01	43.22	.00***
	אחורי	ישן-חדש	.76	.01	59.95	.00***
ספק	הקדמי	ישן-חדש	.44	.01	35.95	.00***
	מרכזי	ישן-חדש	.87	.01	64.05	.00***
	אחורי	ישן-חדש	.69	.01	57.75	.00***

טבלה 2: תוצאות בדיקות פוסט-הוק להשפעות ישנות/חדשות על פני אזורי מוח: מערכי נתונים משולבים, בטוחים ומפוקפקים. באמצעות ניתוח פוסט-הוק, משמעותי ב p < .001 (***).

Discussion

המחקר מציג צינור לאיסוף וניתוח נתוני EEG, תוך התמקדות בזיהוי זהויות דוברים שנלמדו בעבר. מחקר זה עוסק בווריאציות בין שלבי למידה וזיהוי, כולל הבדלים בתוכן דיבור²² ופרוזודיה¹⁰. העיצוב ניתן להתאמה למגוון תחומי מחקר, כולל פסיכובלשנות, כגון כינויי גוף ועיבוד אנפורי⁴¹.

פרדיגמת בדיקת האימון היא עיצוב ניסויי קלאסי המשמש להערכת תוצאות הלמידה של המשתתפים בנושאים ספציפיים כגון למידה קולית^42,43. פרדיגמה זו מעריכה עד כמה המשתתפים למדו מידע מסוים (כפי שמשתקף בדיוק)¹⁰. הוא מאפשר לחוקרים להציג משתנים בהדרגה בתנאי ניסוי מבוקרים, כגון פרוזודיות שונות במהלך שלבי אימון ובדיקה, כדי להבין את השפעתם על דיוק זיהוי הקול, לדוגמה, VTL/F0 קולות מווסתים²³, פחד לעומת^{ניטרלי 10}, או ספק לעומת בטוח במחקר זה.

עם זאת, לפרדיגמה יש מגבלות. ההבדלים בין סביבות הלמידה והבדיקות יכולים להשפיע על תקפות תוצאות הניסוי, שכן תנאי למידה מבוקרים עשויים שלא לשקף את תנאי הבדיקה המשתנים יותר. לדוגמה, האימון משתמש בפרוזודיה אחת ולא בהבדל פרופורציונלי, כגון 30% לעומת 70% ⁴⁴. כדי להתמודד עם חוסר איזון זה, הבטחת סביבת למידה מגוונת יותר יכולה לשכפל טוב יותר תרחישים מהחיים האמיתיים שבהם הדוברים משתמשים בפרוזודיה מגוונת תוך אינטראקציה עם המאזינים. בנוסף, מחקר זה מכיר בכך שהמורכבות של תכנון הניסוי, הכולל שלבים מרובים ותכנות מתוחכם (באמצעות כלים כמו R Studio, MATLAB ו- Python), יכולה להיות מאתגרת עבור משתמשים חדשים.

התובנה העיקרית מדגישה את החשיבות של היכרות מספקת ושלב בדיקה. עבודתם של שו וארמוני מדגישה כי מאזינים מתקשים לזהות זהויות מדברות ישנות ללא הכשרה מספקת ובודקים מעל רמות מקריות¹⁰. בנוסף, Zaske et al. מצאו כי האפקט הישן/חדש של LPC היה קיים רק כאשר אותו טקסט חזר על עצמו, ולא עם טקסט שונה²². במחקר זה, יישום שלב הבדיקה חשף את ההתמדה של אפקט ERP ישן/חדש, אפילו עם גירויי טקסט שונים, התומכים בטענות מחקרי fMRI²¹. המחקר מצביע על כך שעבור פרדיגמות המבוססות על בדיקות אימון, הכנסת סשן בדיקה היא קריטית. הוא מאפשר למאזינים ליצור רושם חזק על זהותו האקוסטית של הדובר, ולשייך את הדובר לסמל מסוים, כגון שם²³. ללא למידה מספקת של ייצוג הדובר, המאזינים עלולים להתקשות להסתגל לווריאציות פנימיות של הדובר¹⁰.

מחקר זה בחן גם את תפקידה של פרוזודיה כרמז מחייב לזיהוי דובר⁴⁵. בניגוד לדעות קודמות לפיהן פרוזודיה עלולה לעכב את ההכרה בדברנים ישנים, מחקר זה מצא את ההשפעה הישנה/חדשה הקיימת על פני תנאי פרוזודיה בטוחים ומפוקפקים. אפקט חזק זה מצביע על תפקיד אפנון של פרוזודיה בזיהוי דוברים. ניתוח נוסף גילה הבדלים בהפעלת האזור הקדמי בין תנאי פרוזודיה. פרוזודיה בטוחה עוררה רמות נמוכות יותר של ההשפעה הישנה/חדשה באזורים הקדמיים בהשוואה לפרוזודיה מפוקפקת. ממצא זה מצביע על כך שדיבור בטוח עשוי להפוך את זיהוי המדברים למאתגר יותר בשל אורך מערכת הקול המורחבת והתדר הבסיסי הנמוך יותר, מה שעלול להוביל לתשומת לב מוגברת מצד מאזינים^11,29.

תכנון מחקר זה יכול לשמש בסיס למחקרים עתידיים על ליקויי זיהוי באוכלוסיית החולים, כגון אלה עם פרוסופגנוזיה או פונגנוזיה^46,47. בנוסף, שינויים שיתאימו למשתתפים עם טווח קשב קצר יותר, כגון אנשים עם הפרעות על הספקטרום האוטיסטי⁴⁸, עשויים לשפר את נגישות המחקר.

יתר על כן, הפרדיגמה משתרעת מעבר לזיהוי הדובר כדי לחקור עיבוד כינויי גוף והבנה אנפורית במחקר הפסיכולינגוויסטי. קופמנס וניולנד⁴¹ מדגימים כיצד דפוסי סנכרון תנודתי עצבי מבחינים בין הפעלה מקדימה ואינטגרציה בהבנת אנאפור, מה שמתיישב עם המחקר הזה שחקר רמזים הקשורים לזהות. רמזים כאחד כוללים סגנונות תקשורתיים (למשל, הצהרות מילוליות או אירוניות), סדרי מילים (נושא-אובייקט-פועל (SOV), או אובייקט-נושא-פועל (OSV) מבנה משפט 44,45,49,50), וסוגי ביטוי קולי (פרוזודיה בטוחה לעומת פרוזודיה מוטלת בספק) במאמר זה.

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
64Ch Standard BrainCap for BrainAmp	Easycap GmbH	Steingrabenstrasse 14 DE-82211	https://shop.easycap.de/products/64ch-standard-braincap
אלקטרוליט-ג'ל שוחק	Easycap GmbH	Abralyt 2000
https://shop.easycap.de/products/abralyt-2000 actiCHamp Plus	Brain Products GmbH	64 ערוצים + 8 AUX	https://www.brainproducts.com/solutions/actichamp/
ממשק שמע	Native Instruments GmbH	Komplete audio 6	https://www.native-instruments.com/en/products/komplete/audio-interfaces/komplete-audio-6/
קצף אוזניות	Neuronix	ER3-14	https://neuronix.ca/products/er3-14-foam-eartips
מערכת אלקטרודות פסיבית מבוססת ג'ל	Brain Products GmbH	BC 01453	https://www.brainproducts.com/solutions/braincap/
ג'ל אלקטרוליטים בצמיגות גבוהה	Easycap GmbH	SuperVisc	https://shop.easycap.de/products/supervisc