מאמר שיטה

מבטא זר וזיהוי רמקולים משפטיים במערכי קול: השפעת מאפיינים אקוסטיים המבוססים על פרוזודיה

DOI:

10.3791/66313

⸱

27 בספטמבר 2024

 , 
1Center of Humanities, Department of Modern Languages, State University of Paraíba (Universidade Estadual da Paraíba), 2Institute of Language Studies, Department of Linguistics, University of Campinas (Universidade de Campinas)

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה נועד לערוך השוואה בין L1-L2-אנגלית ל-L1-L2 פורטוגזית כדי לבדוק עד כמה ההשפעה של מבטא זר אחראית הן למדדים והן לפרמטרים פרוזודיים-אקוסטיים, כמו גם לבחירת קול היעד במערך הקול.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר ולבדוק כיצד הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. במתודולוגיה ביצענו הליך הפקת דיבור עם קבוצה של דוברי פורטוגזית ברזילאית L2 וקבוצה של דוברי אנגלית ברזילאית L2, והליך תפיסת דיבור בו ביצענו מערכים קוליים לשתי השפות. עבור הניתוח הסטטיסטי של הפקת הדיבור, הרצנו מודלים תוספים כלליים כדי להעריך את ההשפעה של קבוצות השפה על כל מחלקה (מטרית או פרוזודית-אקוסטית) של תכונות הנשלטות לאפקט ההחלקה של המשתנים של המחלקה הנגדית. לצורך הניתוח הסטטיסטי של תפיסת הדיבור, הרצנו מבחן קרוסקאל-וואליס ומבחן דאן פוסט-הוק כדי להעריך את השפעת הקולות של ההרכבים על הציונים שנשפטו על ידי המאזינים. עם זאת, ערכנו מבחני דמיון אקוסטיים (קוליים) המבוססים על מרחקים קוסינוסיים ואוקלידיים. התוצאות הראו הבדלים אקוסטיים משמעותיים בין קבוצות השפה מבחינת שונות ה-f0, משך הזמן ואיכות הקול. עבור ההרכבים, התוצאות הצביעו על כך שמאפיינים פרוזודיים של f0, עוצמה ואיכות קול היו בקורלציה לשיפוט הנתפס של המאזינים.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המבטא הוא היבט בולט ודינמי של תקשורת ושטף, הן בשפת האם (L1) והן בשפה זרה (L2)1. מבטא זר מייצג את המאפיינים הפונטיים של L2 של שפת יעד, והוא יכול להשתנות (עם הזמן) בתגובה לחוויית ה-L2 של הדובר, סגנון הדיבור, איכות הקלט, האקספוזיציה, בין משתנים אחרים. ניתן לכמת מבטא זר כדרגה (סקלרית) של הבדל בין דיבור L2 המופק על ידי דובר זר לבין מבטא מקומי או ייחוס של שפת היעד2,3,4,5.

מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר (BP), כמו גם לבדוק באיזו מידה הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. מחקר קודם בתחום הפורנזי הוכיח את החוסן של תנועות ועיצורים בזיהוי מבטא זר כיציב לניתוח ארוך טווח של אדם (The Lo Case6) או מתייחס לדיוק הזיהוי הגבוה של דובר (The Lindbergh Case7). עם זאת, חקירת מאפיינים פרוזודיים-אקוסטיים המבוססים על משך, תדר בסיסי (f0, כלומר, המתאם האקוסטי של גובה הצליל), עוצמה ואיכות קול (VQ) זכתה לתשומת לב הולכת וגוברת8,9. לפיכך, הבחירה בתכונות פרוזודיות-אקוסטיות במחקר זה מייצגת אפיק מבטיח בתחום הפונטיקה המשפטית8,10,11,12,13.

המחקר הנוכחי נתמך על ידי מחקרים המוקדשים למבטאים זרים כצורה של הסוואת קול במקרים משפטיים14,15, כמו גם בהכנת מערכי קול לזיהוי דוברים16,17. לדוגמה, קצב הדיבור שיחק תפקיד חשוב בזיהוי דוברי גרמנית, איטלקית, יפנית וברזילאית של אנגלית18,19,20,21,22. מלבד קצב הדיבור, תכונות ספקטרליות ו-f0 לטווח ארוך מאתגרות דוברי L2 מיומנים בהיכרות עם שפת היעד מכיוון שהמוח והבסיסים הקוגניטיביים סובלים ממחסור בזיכרון, קשב ורגש, המשתקף בביצועים הפונטיים של הדובר במהלך תורי דיבור ארוכים23. ההשקפה של מבטאים זרים בתחום הזיהוי הפלילי היא שההגדרה של מה באמת נשמע כמו מבטא זר תלויה במידה רבה בחוסר ההיכרות של המאזין ולא בדרגה לא קיצונית של דיבור24.

בתחום התפיסתי, כלי פורנזי נפוץ ששימש מאז אמצע שנות ה-90 לזיהוי פושעים הוא ה-Voice Lineup (זיהוי שמיעתי), המקביל לזיהוי חזותי המשמש לזיהוי פושע בזירת פשע16,25. במערך קולות, קולו של החשוד מוצג לצד רדידים - קולות דומים בהיבטים סוציולינגוויסטיים כגון גיל, מין, מיקום גיאוגרפי, ניב ומעמד תרבותי - לזיהוי על ידי עד שמיעה. ההצלחה או הכישלון של מערך קולי יהיו תלויים במספר דגימות הקול ומשך הדגימה25,26. יתר על כן, עבור דגימות מהעולם האמיתי, נחשב שאיכות השמע משפיעה באופן עקבי על דיוק הזיהוי הקולי. איכות שמע ירודה עלולה לעוות את המאפיינים הייחודיים של קול27. במקרה של דמיון קולי, פירוט פונטי עדין המבוסס על f0 יכול לבלבל את המאזין במהלך זיהוי קולי28,29. תכונות אקוסטיות כאלה משתרעות מעבר ל-f0 וכוללות אלמנטים של משך, ותכונות ספקטרליות של עוצמה ו-VQ30. השקפה זו של מאפיינים פרוזודיים מרובים היא חיונית בהקשר של השוואת קול משפטית כדי להבטיח זיהוי מדויק של דובר9,14,15,29,31.

לסיכום, מחקרים בפונטיקה משפטית הראו שונות מסוימת בנוגע לזיהוי מבטא זר במהלך העשורים האחרונים. מצד אחד, נראה כי מבטא זר אינו משפיע על תהליך זיהוי הדובר32,33 (במיוחד אם הדובר אינו מכיר את המבטא הזר היעד34). מצד שני, ישנם ממצאים בכיוון ההפוך12,34,35.

פרוטוקול

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

עבודה זו קיבלה אישור מוועדת אתיקה של מחקר בבני אדם. יתר על כן, הושגה הסכמה מדעת מכל המשתתפים המעורבים במחקר זה להשתמש בנתונים שלהם ולפרסם אותם.

1. הפקת דיבור

הערה: אספנו דיבור ממטלת קריאה הן על 'L1 English-L2 BP' שהופקה על ידי קבוצה 1: The American English (מארה"ב) S peakers(AmE-S), ועל שני 'L1 BP-L2 English' שהופקו על ידי קבוצה 2: The Brazilian Speakers (Bra-S). ראה איור 1 לתרשים זרימה להפקת דיבור.

figure-protocol-1
איור 1: תרשים זרימה סכמטי להפקת דיבור. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

  1. המשתתפים
    1. קבע את מספר המשתתפים, השפה (אנגלית L1, L2 BP; L1 BP, L2 אנגלית), המין (נקבה או זכר), הגיל (ממוצע, סטיית תקן), מאפייני הקבוצה (אנשי מקצוע או סטודנטים לתואר ראשון) ורמת המיומנות ב-L2 (מתקדמים או מתקדמים היטב) עבור כל קבוצה.
      הערה: במחקר הנוכחי, גם AmE-S וגם Bra-S נחשבו מיומנים ב-L2 (שתי הקבוצות הוסמכו כ-B2-C136). ה-AmE-S התגוררה במשך שנתיים בברזיל כאשר ההליכים נערכו. ה-Bra-S התגוררה יותר משנתיים בארה"ב כאשר ההליכים נערכו. בזמן שחיו בחו"ל, שתי הקבוצות נהגו לדבר את השפה השנייה שלהן למטרות לימודים ועבודה לפחות 6 ימים בשבוע במשך ~4-5 שעות ביום.
    2. הקצו את המשתתפים לחדר נוח ושקט והציגו את חומר הקריאה לכל קבוצה.
  2. איסוף נתונים
    הערה: יש לאסוף נתוני דיבור ממשימת קריאה בשפות הבאות: L1-אנגלית ו-L2-BP; L1-BP ו-L2-אנגלית. תנו למשתתפים לקרוא את הטקסטים מראש במידת הצורך.
    1. הליכי הקלטה
      1. הקלט את נתוני הדיבור במקום שקט עם תנאים אקוסטיים מתאימים.
      2. השתמש במקליט קול דיגיטלי (ראה טבלת החומרים)37 ובמיקרופון קרדיואיד מבודד אלקטרומגנטי חד כיווני (ראה טבלת החומרים)38.
      3. הקלט את נתוני האודיו בצורת '.wav'.
      4. הגדר את קצב הדגימה ב-48 קילו-הרץ ואת קצב הקוונטיזציה ב-16 סיביות.
        הערה: פורמט השמע והתצורה עבור קצבי הדגימה והקוונטיזציה המתוארים בשלבים 1.2.1.3 ו-1.2.1.4 מיושמים כדי להבטיח איכות גבוהה והפחתת רעש כדי לשמר את התכונות הספקטרליות המשמשות לניתוח אקוסטי מאוחר יותר.
  3. ניתוח אקוסטי
    הערה: חלק את הליכי הניתוח האקוסטי לשלושה שלבים: יישור מאולץ, יישור מחדש וחילוץ מאפיינים אקוסטיים.
    1. כתוב את התעתיק הלשוני (ב-'.txt') עבור כל קובץ שמע.
    2. תייג את צמד הקבצים '.txt'/'.wav' באותו שם (כלומר, 'my_file.wav'/ 'my_file. txt').
      הערה: כדי לשפר את ביצועי ההליך המתואר בסעיף 1.3.7, מומלץ מאוד ששלושת התווים הראשונים של תגי הקובץ '.txt/.wav' ייצגו את השפה, הניב או המבטא, בעוד שהתווים הרביעי עד השישי מציינים את המין (למשל, EL1FEM עבור English L1 Femאייל). מהתו השביעי ואילך, המשתמש צריך לציין את מספר הדובר (למשל, 001 עבור הדובר הראשון). כתוצאה מכך, הזוג הראשון '.txt/.wav' הוא EL1FEM001.
    3. צור תיקייה עבור כל שפת L1-L2.
      הערה: תיקייה עבור אנגלית L1-L2 ותיקייה עבור L1-L2 BP.
    4. ודא שכל זוגות הקבצים של אותה שפה נמצאים באותה תיקייה.
    5. בצע את היישור הכפוי.
      1. גש לממשק האינטרנט של מיישר מאולץ של מינכן פילוח אוטומטי (MAUS) (webMAUS)39 ב-https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/Pipeline.
      2. גרור ושחרר כל זוג של . wav / . txt מהתיקייה למלבן המקווקו בקבצים (או לחץ בתוך המלבן, איור 2A).
      3. לחץ על כפתור העלה כדי להעלות את הקבצים לקשתיות היישור (ראה חץ אדום באיור 2A).
      4. בחר את האפשרויות הבאות בתפריט אפשרויות השירות (<מחלקה חזקה="xfig">איור 2B): G2P-MAUS-PHO2SYL עבור שם קו הצינור; אנגלית (ארה"ב) (עבור שפה) אם L1-L2 נתונים באנגלית; איטלקית (IT) (עבור שפה) אם נתוני L1-L2 BP.
        הערה: בחרנו 'איטלקית' עבור נתוני BP מכיוון ש-webMAUS אינו מספק מודלים אקוסטיים מאומנים מראש ליישור מאולץ של BP. הספרות הפונטית טוענת שלפונולוגיה האיטלקית יש מלאי סימטרי של שבע תנועות, בדיוק כמו BP40, כמו גם דמיון אקוסטי עיצורי 41,42.
      5. שמור את אפשרויות ברירת המחדל עבור 'פורמט פלט' ו'שמור הכל'.
      6. סמן את תיבת האפשרות הפעל לקבלת תנאי השימוש (ראה חץ ירוק באיור 2C).
      7. לחץ על הפעל שירות אינטרנט כפתור כדי להפעיל את הקבצים שהועלו ב-aligner.
        הערה: עבור כל קובץ אודיו, מיישר יישור מאולץ MAUS מחזיר אובייקט Praat TextGrid (קובץ '.txt' מעוצב מראש של Praat המכיל ביאור של מילים, הברות פונולוגיות וטלפונים המבוססים על התמלול הלשוני שחולץ מקובץ '.txt' המתואר בשלב 1.3.1).
      8. לחץ על כפתור הורד כקובץ ZIP כדי להוריד את קבצי TextGrid כקובץ מכווץ (איור 2C).
        הערה: ודא שקובצי ה-TextGrid הדחוסים יורדים באותה תיקייה שבה יורדים קובצי השמע.
      9. חלץ את קבצי TextGrid ליישור מחדש מאוחר יותר בתוכנת הניתוח הפונטי43.
    6. ערכו את ההיערכות מחדש.
      1. גש והורד את קובץ ה- Script עבור Praat VVUnitAligner44 מ- https://github.com/leonidasjr/VVunitAlignerCode_webMAUS/blob/main/VVunitAligner.praat.
      2. ודא שכל זוגות הקבצים של אותה שפה וקובץ ה- Script VVUnitAligner נמצאים באותה תיקיה.
        הערה: תיקייה עבור L1-L2 באנגלית files ו-VVunitAligner, ותיקייה עבור L1-L2 BP files ו-VVunitAligner.
      3. פתח את תוכנת הניתוח הפונטי.
      4. לחץ על פראט | פתח את סקריפט Praat... כדי לקרוא לסקריפט מחלון האובייקט.
      5. לחץ על כפתור ההפעלה פעם אחת.
        הערה: טופס הנקרא יישור הברה פונטית המכיל את ההגדרות לשימוש בסקריפט יופיע על המסך (איור 3A).
      6. לחץ על כפתור השפה כדי לבחור מבין השפות 'אנגלית (ארה"ב)', 'פורטוגזית (BR)', 'צרפתית (FR)' או 'ספרדית (ES)'.
      7. לחץ על כפתור הפילוח נתח כדי לבחור מבין הליך הפילוח 'אוטומטי', 'מאולץ (ידני)' או 'ללא'.
      8. סמן את האפשרות Save TextGrid files כדי לשמור אוטומטית את קובצי TextGrid החדשים.
      9. לחץ על אישור | הפעל כפתורים ליישור מחדש של היחידות הפונטיות משלב 1.3.5.7 .
        הערה: עבור כל קובץ שמע, VVUnitAligner ייצור קובץ TextGrid חדש עבור סעיף 1.3.7 (איור 3B).
    7. בצע את החילוץ האוטומטי של התכונות האקוסטיות.
      1. גש והורד את הסקריפט SpeechRhythmExtractor45 מ-https://github.com/leonidasjr/SpeechRhythmCode/blob/main/SpeechRhythmExtractor.praat לחילוץ אוטומטי של התכונות הפרוזודיות-אקוסטיות.
      2. צור תיקיה חדשה ושים את SpeechRhythmExtractor יחד עם כל זוגות קבצי האודיו/TextGrid בכל השפות.
      3. פתח את תוכנת הניתוח הפונטי.
      4. לחץ על פראט | פתח את סקריפט Praat... כדי לקרוא לסקריפט מחלון האובייקט.
      5. לחץ על כפתור ההפעלה פעם אחת בלבד.
        הערה: טופס המכיל את הגדרות הסקריפט יופיע על המסך. בתיבות של שמות קבצי הפלט '.txt', שנה את שמות הקבצים בהתאם או השאר את שמות ברירת המחדל.
      6. בדוק את אפשרות הפרמטרים של איכות הקול כדי לשמור את קובץ הפלט VQ לאיכות הקול (<מחלקה חזקה="xfig">איור 3C).
        הערה: קובץ הפלט השני הזה (קובץ הפלט VQ) מכיל את הפרמטרים של ההבדל בין ההרמוניות הראשונה והשנייה (H1-H2) ושיא הבולטות של Cepstral (CPP)9.
      7. סמנו את אפשרות היעד הלשוני כדי לבחור מבין התוויות 'שפה', 'ניב' או 'מבטא' (איור 3C).
      8. סמן את אפשרות היחידה כדי לבחור את תכונות f0 ב-Hz או ב-Semitones (איור 3C).
      9. מוגדר בערכים עבור סף F0, הסף המינימלי והמקסימלי של f0 (איור 3C).
        הערה: אלא אם כן למחקר יש מטרות ספציפיות או תכונות שמע ספציפיות מוגדרות מראש, מומלץ בחום להשאיר את הפרמטרים של שלב 1.3.7.9 עם ערכי ברירת המחדל.
      10. לחץ על אישור | הפעל לחילוץ אוטומטי של התכונות האקוסטיות .
        הערה: הסקריפט SpeechRhythmExtractor מחזיר קובץ '.txt' מופרד בכרטיסיות (קובץ פלט/קובץ פלט VQ) המכיל את התכונות האקוסטיות שחולצו מהרמקולים.
  4. ניתוח סטטיסטי
    1. העלה את הגיליון האלקטרוני המכיל את התכונות האקוסטיות לסביבת R46 (או כל תוכנה/סביבה סטטיסטית לבחירתך).
    2. בצע סטטיסטיקה לא פרמטרית של מודלים תוספים כלליים (GAMs).
      1. בצע GAMs ב-R.
      2. הקלד את הפקודות הבאות והקש Enter.
        library(mgcv)
        model = gam (התכונה המטרית/פרוזודית-אקוסטית בניתוח ~ השפה + s (התכונה המטרית הנבחרת, על ידי = השפה) + תכונות מטריות/פרוזודיות-אקוסטיות אחרות, נתונים = מסגרת הנתונים)
        הערה: החלטנו לבצע את סטטיסטיקות הבדיקה של הפרוטוקול בשפת תכנות R בגלל הפופולריות הגוברת שלו בקרב פונטיקאים (ובלשנים) בקהילה האקדמית. R שימש בעיקר במחקר שדה פונטי47. זכור ששלב 1.4.2.2 מכיל פסאודו-קוד. כתוב את הקוד בהתאם למשתני המחקר.

figure-protocol-2
איור 2: צילום מסך מיישור פונטי באמצעות מיישר מאולץ MAUS. (A) המלבן המקווקו מיועד לגרירה ושחרור של קבצי 'my_file.wav'/' my_file.txt' או לחיצה פנימה לחיפוש קבצים כאלה מהתיקייה; כפתור העלאה מסומן על ידי החץ האדום. (B) הקבצים שהועלו מפאנל A (ראו חץ כחול), הצינור שבו יש להשתמש, השפה של זוגות הקבצים, פורמט הקובץ שיש להחזיר, וכפתור 'true/false' לשמירת כל הקבצים. (ג) תנאי השימוש בתיבת הסימון (ראה חץ ירוק), כפתור הפעל שירותי אינטרנט והתוצאות (קבצי TextGrid להורדה). אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

figure-protocol-3
איור 3: צילום מסך של הליך היישור מחדש. (A) טופס הגדרות קלט עבור הליך היישור מחדש. (B) צורת גל חלקית, ספקטרוגרמה בפס רחב עם קווי מתאר f0 (כחול), ושש שכבות מפולחות (ומסומנות) כשכבה 1: יחידות של תחילת תנועה לתחילת התנועה הבאה (V_to_V); התחלת תנועה (V_to_V); דרגה 2: יחידות של תנועה (V), עיצור (C) והפסקה (#); שכבה 3: ייצוגים פוניים V_to_V; דרגה 4: כמה מילים מהטקסט; דרגה 5: כמה קטעי דיבור (CH) מהטקסט; דרגה 6: שכבה טונאלית המכילה את הצליל הגבוה ביותר (H) והנמוך ביותר (L) של כל קטע דיבור המופק על ידי נקבת AmE-S. (ג) הגדרות קלט לחילוץ אוטומטי של המאפיינים האקוסטיים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

2. תפיסת דיבור

הערה: ביצענו ארבעה הרכבים קוליים באנגלית עם מאזינים אמריקאים וארבעה הרכבים ב-BP עם מאזינים ברזילאים. ראו איור 4 לתרשים זרימה לתפיסת דיבור.

figure-protocol-4
איור 4: תרשים זרימה סכמטי לתפיסת דיבור. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

  1. המשתתפים
    1. בחר משתתפים שונים לכל קבוצה מאלה שהשתתפו בפרוטוקול הפקת הדיבור.
      הערה: שתי קבוצות משתתפים נבחרו לחלק זה של הפרוטוקול: קבוצה 1: American English (מארה"ב) Listeners (AmE-L), וקבוצה 2: Brazilian Listeners (Bra-L). במחקר הנוכחי, גם AmE-L וגם Bra-L נחשבו מיומנים ב-L2 (שתי הקבוצות הוסמכו כ-B2-C136 ה-AmE-L חי שנתיים בברזיל כאשר ההליכים נערכו. ה-Bra-L חי יותר משנתיים בארה"ב כאשר ההליכים נערכו. בזמן שחיו בחו"ל, שתי הקבוצות נהגו לדבר את השפה השנייה שלהן למטרות לימודים ועבודה (לפחות שישה ימים בשבוע במשך כ-4 עד 5 שעות ביום).
    2. קבע את מספר המשתתפים, השפה (אנגלית L1, L2 BP; L1 BP, L2 אנגלית), המין (נקבה או זכר), הגיל (ממוצע, סטיית תקן), מאפייני הקבוצה (אנשי מקצוע או סטודנטים לתואר ראשון) ורמת המיומנות ב-L2 עבור כל קבוצה.
  2. הרכבי הדיבוב
    הערה: חלק את נהלי המערכים הקוליים לשני שלבים שונים: הכנה והפעלה של המערכים הקוליים.
    1. הכן ארבעה מערכי קול לאנגלית וארבעה ל-BP.
      1. קבל קבצי אודיו מהרמקולים של סעיף 1: הפקת דיבור.
      2. ודא שקובצי השמע של כל גורם שפה נמצאים בתיקיות נפרדות.
      3. בחר באופן אקראי שישה קטעי קול באנגלית L1 או L1 BP.
        הערה: שישה קולות בהרכב מייצגים קול מטרה אחד וחמישה רדידים.
      4. בחר קטע קול באנגלית L2 או L2 BP מאחד הרמקולים הכלולים בשלב 2.2.1.3.
        הערה: נתח הקול בשלב 2.2.1.4 הוא קול הייחוס. הנתחים חייבים להיות באורך של כ-20 שניות.8.
      5. גש והורד את קובץ ה- Script עבור Praat CreateLineup48 מ- https://github.com/pabarbosa/prosody-scripts-CreateLineUp.
      6. ודא שקול הייחוס L2, רדיד L1 וקול היעד L1 נמצאים באותה תיקיה לפני הפעלת סקריפט CreateLineup (<מחלקה חזקה="xfig">איור 5).
      7. פתח את תוכנת הניתוח הפונטי.
      8. מחלון האובייקט, לחץ על Praat | פתח את סקריפט פראט... כדי לקרוא לסקריפט.
      9. לחץ על הפעל | Run.
        הערה: הסקריפט מחזיר קובץ בסדר הבא: (קול הייחוס L2) + (קול היעד L1 והרדידים מפוזרים באופן אקראי) (איור 5).
    2. הפעלת הרכבי הקול
      1. צור מרחב מקוון לאירוח ההרכבים בכל פלטפורמה שתבחר (למשל, SurveyMonkey. ראה טבלת החומרים) לניצוח מרחוק על המערכים הקוליים.
      2. גש לקישור המרחב המקוון.
      3. העלה את הקבצים המוחזרים מקובץ ה- Script של CreateLineup לפלטפורמה.
      4. הפעל את ההליך לפני המשתתפים כדי לבדוק כל שלב.
        הערה: מומלץ לגשת בעבר לקישור ולהריץ את ההרכבים כדי לבדוק אם הכל מסתדר כרגיל.
  3. ניתוח סטטיסטי
    1. העלה את הגיליון האלקטרוני המכיל את ציוני השיפוטים של המאזינים לסביבת R (או לכל תוכנה/סביבה סטטיסטית לבחירתך).
      1. בצע את מבחן Kruskal-Wallis ב-R.
      2. הקלד את הפקודות הבאות והקש Enter.
        model = kruskal.test(פסקי דין ~ כל מערך קול, נתונים = מסגרת הנתונים)
    2. בצע מבחן דאן פוסט-הוק.
      1. בצע את מבחן דאן ב-R.
      2. הקלד את הפקודות הבאות והקש Enter.
        library(FSA)
        model = dunnTest(שיפוטים ~ כל מערך קול, נתונים = נתונים, שיטה = "bonferroni")
        הערה: הקודים בשלבים 2.3.1.2 ו-2.3.2.2 הם פסאודו-קודים (ראה הערה 1.4.2.2).
  4. ניתוח דמיון אקוסטי
    1. בחר את ההרכבים (ראה הערה בשלב 2.2.1.3) שהציגו הבדלים לא מובהקים בין היעד לכל אחד מהרדידים.
    2. חזור על הליכים של שלבים 1.3.1 עד 1.3.7.5, ושלבים 1.3.7.8 עד 1.3.7.10.
    3. גש והורד את הסקריפט עבור Python49, AcousticSimilarity_cosine_euclidean50 מ-https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py.
      הערה: הסקריפט מחזיר שלוש מטריצות (ב-'.txt' ו-'.csv'): אחת עבור דמיון קוסינוסי51,52, אחת עבור מרחק אוקלידי52,53, ואחת עבור ערכי מרחק אוקלידיים שעברו טרנספורמציה, כמו גם השוואה זוגית בין קול היעד לכל נייר כסף.
    4. אשר שהסקריפט הורד באותה תיקייה של מערך הנתונים של ההרכב.
    5. לחץ על כפתור פתח קובץ... כדי לקרוא לסקריפט.
    6. לחץ על הפעל | הפעל ללא כפתורי ניפוי באגים.
      הערה: הלחצן Run השני עשוי להיות מתויג כ-Run or Run Without Debuging או Run Script. כולם מבצעים את אותן פקודות. זה פשוט תלוי בסביבת Python שבה נעשה שימוש.
    7. בצע בדיקות דמיון קולי על סמך תכונות אקוסטיות.
      הערה: דמיון קוסינוס (או מרחק קוסינוס) היא טכניקה המיושמת בבינה מלאכותית (AI), במיוחד בלמידת מכונה במערכות זיהוי דיבור אוטומטי (ASR). זהו מדד לדמיון בין אפס לאחד. דמיון קוסינוסי קרוב לאחד פירושו שסביר להניח ששני קולות יהיו דומים. דמיון קוסינוסי קרוב לאפס פירושו שסביר להניח שהקולות יהיו שונים52. המרחק האוקלידי, המכונה לעתים קרובות דמיון אוקלידי, נמצא בשימוש נרחב גם בבינה מלאכותית, למידת מכונה ו-ASR. הוא מייצג את מרחק הקו הישר בין שתי נקודות במרחב האוקלידי53, כלומר, ככל שהנקודות קרובות יותר (ערכי מרחק קצרים יותר), כך הקולות דומים יותר. להבנה ברורה יותר של התוצאות המדווחות של שתי הטכניקות, ביצענו טרנספורמציה של הציונים הגולמיים של המרחק האוקלידי לערכים מאפס (פחות דמיון קולי) לאחד (יותר דמיון קולי)54.

figure-protocol-5
איור 5: הגדרת ספרייה לתפיסת דיבור. תיקיות מערך. כל תיקיה מכילה שישה קולות L1, קול היעד L2, התסריט "CreateLineup" וקובץ השמע של מערך הקול (מוחזר לאחר הפעלת התסריט). אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

תוצאות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

תוצאות להפקת דיבור
בחלק זה, תיארנו את הביצועים של המאפיינים הפרוזודיים-אקוסטיים המובהקים סטטיסטית ומדדי הקצב. מאפיינים פרוזודיים כאלה היו שיעורי דיבור, ביטוי והפסקה, הקשורים למשך הזמן, ושימר, הקשור לאיכות הקול. מדדי הקצב היו סטיית תקן (SD) של משך ההברה, SD של עיצור, SD של משך קול או עיצור, ומקדם השונות של משך ההברה (ראה טבלה משלימה S1).

קצב הדיבור (איור 6A) יורד מהר יותר עבור אנגלית L1-L2 מאשר עבור L1-L2 BP, אם כי הקצב נמוך יותר עבור שני ה-L2. קצב הדיבור קשור לשלושה מדדים - SD של משך ההברה (SD-S), SD של תנועות (SD-V) ומקדם השונות ההברה (Varco-S). חשוב גם לזכור שגם AmE-S וגם קבוצת Bra-S בקיאים ב-L2 שלהם. נראה כי קצב כזה מושפע מהערכים הגבוהים יותר של משך ההברה ומהשונות הנמוכה יותר המיוצרת על ידי L1-L2 BP, מה שגורם לשיפועים פחות תלולים.

קצב הביטוי (איור 6D) קשור ל-SD-S, Varco-S, כמו גם ליחס הקצב ההברה (RR-S); האחרון מייצג את היחס בין הברות קצרות וארוכות יותר. נראה כי מדדים כאלה משפיעים על קצב הביטוי בדיוק כמו קצב הדיבור המושפע עקב אורך המשפט והשונות במשך, מה שמוביל לתכנון דיבור גבוה יותר ב-L2, ו-L2 עומס9,23,54. ייתכן שיידרש עומס קוגניטיבי-לשוני גבוה יותר בתחום אורך המשפט באופן שפרמטרים פרוזודיים-אקוסטיים מושפעים55.

באשר למאפיינים הפרוזודיים-אקוסטיים של שיעורי הדיבור והביטוי, הממצאים שלנו מצביעים על כך שככל שהדובר משנה יותר את משך ההברות (והתנועות), כך שיעורים כאלה נמוכים יותר. אנו משערים שתפיסת הדיבור של L1 ו-L2 נשמעת מעט איטית יותר מ-L1 ו-L2-אנגלית, וכי L1-אנגלית נשמעת מהירה יותר מכל רמות השפה האחרות. עובדה זו עשויה להיות קשורה לקצב הדיבור ולהשערה שבעוד ש-L1-L2 BP נוטה לכיוון הקוטב המתוזמן להברה של רצף הקצב, אנגלית L1-L2 נעה לעבר הקוטב21,22.

השימר המקומי, איור 6B, מושפע מ-SD-S ו-Varco-S. עבור השימר המקומי, שתי ההפקות של Bra-S, L1-BP ו-L2-English מציגות מסלול מונוטוני במקצת ככל שהשונות של משך ההברה גדלה (SD ו-Varco, ראה טבלה משלימה S1). תפיסת המאמץ הקולי עשויה להיות ברורה בעת האזנה להפקות של Bra-S עקב וריאציה נמוכה שנעה בין 8.5 ל-9 dB. דיבור Bra-S מושפע מעומס קול. L1-BP מושפע מאוד מכך שאורך המשפט פחות רגיש לווריאציות גבוהות של משך ההברה (דפוס ריתמי BP מראה פחות שונות הברתית22,56).

קצב ההשהיה (איור 6C) מראה שדוברי L2-אנגלית מייצרים הפסקות ארוכות יותר (מ-200 אלפיות השנייה עד 375 אלפיות השנייה) מאשר דוברי L1-אנגלית, L1-BP ו-L2-BP (ממוצע של 30 אלפיות השנייה עבור L1-אנגלית, 50 אלפיות השנייה עבור L1-BP ו-100 אלפיות השנייה עבור L2-BP). תכנון דיבור, במקרה זה, עשוי להשפיע על ייצור L2-English עקב פעילות מוחית מוגברת54,57. צפוי כי מיומנות גבוהה יותר בשפה תביא למהירות קריאה גבוהה יותר ו-span54; עם זאת, אפילו עבור דוברי L2 מיומנים, מטלות קריאה הציגו מאמץ רב יותר בהיבטים קוגניטיביים מסדר גבוה יותר של דיבור זר ובעיבוד שפה54,57. הממצאים שלנו מראים, לפחות על בסיס ראשוני, שדוברי L2-BP עשויים להיות מושפעים פחות מהפסקות מאשר L2-English בשל הבדלים בדפוס הריתמי של שתי השפות.

figure-results-1
איור 6: מודלים תוספים מוכללים עבור המאפיינים הפרוזודיים-אקוסטיים. על ציר ה-Y, משתנה התגובה (התכונות האקוסטיות שיש לדגמן); על ציר ה-X, המשתנים המנבאים (הגורם 'שפה' והמשתנים המשותפים במודלים התוספים שיספקו את הצורה ואת מסלולי העקומות (כלומר, השפעות ההחלקה: 'שפה + משתנים משותפים'), והמכפלה של 'שפה' ותכונה מטרית שתספק השלכה מדויקת יותר של משתנה התגובה (כלומר, אינטראקציות חלקות גורם: 'משתנה:שפה'). קיצור: GAMs = מודלים תוספים כלליים. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

ביחס למדדי הקצב, עבור SD-S (<מחלקה חזקה="xfig">איור 7A), הממצאים שלנו מראים שככל שדובר משנה את עקומת f0 ומגביר את קצב הדיבור, כך SD-S יורד יותר עבור כל רמות השפה (אפקט מראה של איור 6A). במקרה של ה-SD עבור עיצורים (SD-C, איור 7C), L1-BP, בניגוד לאנגלית L1, מבצע שונות נמוכה ככל שקצב הדיבור או משך ההשהיה גדלים. כיוון SD כזה צפוי מכיוון ששונות L1-אנגלית של משך ההברה גבוהה (סטטיסטית) באופן מובהק מ-L1-BP44,58. נראה כי ה-Varco-S (<מחלקה חזקה="xfig">איור 7B וטבלה משלימה S1) נמצא בקורלציה מסוימת ל-L1 ול-L2 של אותה קבוצת שפות. ככל שהשונות f0 וקצב הדיבור עולים, ה-Varco-S יורד עבור L1-BP ונראה שהוא יורד ונחלש עבור L2-BP. עבור ההפקות באנגלית, בעוד ששונות f0 וקצב הדיבור עולים, Varco-S עולה ונחלש עבור L1-אנגלית ו-L2-English.

לגבי ה-SD עבור תנועות או עיצורים (SD-V_C, <מחלקה חזקה="xfig">איור 7D וטבלה משלימה S1), התוצאות שלנו מראות כמה קווי דמיון עם ביצועי Varco-S (<מחלקה חזקה="xfig">איור 7B). לדוגמה, קצב דיבור גבוה יותר, משך השהיה ושונות f0 מקדמים מסלול נפילה-עלייה של ה-SD-V_C עבור L1-BP ועבור L2-BP. בהפקות באנגלית, בעוד שתכונות פרוזודיות כאלה גבוהות יותר, SD-V_C יורד מעט, נחלש עבור L1-אנגלית, עולה מעט, ולאחר מכן נחלש עבור L2-English. ניתן להסביר חלקית את המתאם Varco-S ו-SD-V_C ל-L1-L2 של אותן קבוצות שפות על ידי אפקט לומברד, המתייחס לשינוי של פרמטרים אקוסטיים בדיבור עקב רעשי רקע59.

בדיבור זר, בהתאם למורכבות המשימה (למשל, קריאת דיבור), הדוברים השתמשו באסטרטגיות אקוסטיות דומות הן ב-L1 והן ב-L259,60. מצד אחד, מרקו וארנסטוס מצאו שמדידות f0 (טווח וחציון) בדיבור לומברדית L2 מצביעות על כך שדוברי אנגלית L2 הושפעו מ-L1 Dutch61,62. מצד שני, ממצאים עדכניים יותר מצביעים על כך שלמרות שהדיבור הלומברדי L2 צפוי להיות שונה מהדיבור הלומברדי L1 בשל העומס הקוגניטיבי הגבוה יותר בעת דיבור L2, דוברי אנגלית L2 הפיקו דיבור לומברדית באותו כיוון כמו דוברי האנגלית L163. המידה שבה הממצאים שלנו מיושרים עם מרקו וארנסטוס63 ומתפצלים מ-Waaning59, Villegas et al.60, ו-Marcoux and Ernestus61,62 זקוקה למחקר נוסף.

figure-results-2
איור 7: מודלים תוספים כלליים עבור התכונות המטריות. על ציר ה-Y, משתנה התגובה (התכונות המטריות שיש לדגמן); על ציר ה-X, המשתנים המנבאים (הגורם 'שפה' והמשתנים המשותפים במודלים התוספים שיספקו את הצורה ואת מסלולי העקומות (כלומר, השפעות ההחלקה: 'שפה + משתנים משותפים'), והמכפלה של 'שפה' ותכונה מטרית שתספק השלכה מדויקת יותר של משתנה התגובה (כלומר, אינטראקציות חלקות גורם: 'משתנה:שפה'). קיצור: GAMs = מודלים תוספים כלליים. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

תוצאות לתפיסת דיבור
ביחס להרכבי הקול של BP, בהרכב #1 (איור 8A), קול הרדיד #3 נשפט כקול המטרה. למעשה, קול המטרה היה הקול #4. התוצאות לא מראות הבדל מובהק סטטיסטית (ראה טבלה משלימה S1) בין רדיד #3 (83%) לקול המטרה #4 (71%). במערך #2 (איור 8B), השוואה בין קול היעד #3 (40%) לבין ה-foil #4 (20%) גם לא הראתה הבדל מובהק סטטיסטית (ראו טבלה משלימה S1) עבור הרכבי הקול באנגלית. במערך #1 (איור 9A), לא היה הבדל משמעותי (ראו טבלה משלימה S1) בין נייר הכסף #2 (26%) לבין קול המטרה #4 (54%).

בניתוח הדמיון הקולי, הן הדמיון הקוסינוסי (CoSim) והן המרחק האוקלידי (EucDist, [EucDist transformed]54) הראו מתאם עקבי בין רדיד #3 לבין היעד עבור מערך BP #1 (CoSim = 0.99; EucDist = 77.4, [0.93]). המתאם בין רדיד #4 ליעד היה חזק באופן דומה במערך BP #2 (CoSim = 0.99, EucDist = 76.3, [0.93]). בהרכב האנגלי #1, המתאם היה עקבי עבור CoSim (0.83(, אך חלש עד משביע רצון עבור EucDist (213.0, [0.47]. בסך הכל, גם CoSim וגם EucDist היו טכניקות משביעות רצון בקביעת דמיון קול. בנוסף, CoSim ביצע ביצועים מעט יותר יעילים, כפי שהתייחסו Gahman ו-Elangovan52 (ראה טבלה משלימה S1).

מבחינת הדמיון, מה יכול היה להוביל לעלייה באזעקות שווא? מאפיינים פרוזודיים-אקוסטיים הראו ראיות לכך שלמרות שהרדידים וקולות המטרה תפקדו (סטטיסטית) באופן שונה באופן משמעותי - למעט ההרכבים שהוצגו באיור 8A,B ו-איור 9A, הבחירות של המאזינים היו מגוונות במקצת לאורך רדידים שונים בהרכבים האחרים (איור 8C,D, ו-איור 9B-D). נראה ששיפוט כזה תלוי יותר בתכונה אקוסטית ספציפית אחת (או אולי יותר) שהדוברים חולקים מאשר בקבוצה שלמה של תכונות פרוזודיות-אקוסטיות. לדוגמה, המחקר שלנו הציג מספר מאפיינים (משותפים) המשתנים בין הפקות; עם זאת, תוצאות תפיסתיות מראות את העדפות השיפוט עבור רדיד ספציפי שיתאים לקול היעד8,35,64,65. יש צורך בניתוחים נוספים בעבודה עתידית.

ראוי לציין את הבחירה במטריצה פרמטרית רב-ממדית לדמיון אקוסטי66 כזו שהוצגה במחקר זה. הממצאים שלנו תואמים למחקרים קודמים שהשתמשו בתכונות אקוסטיות המבוססות על f0, VQ ו-intensity9,35. תכונות כאלה מוצעות להפליא עבור משימות השוואת דוברים בתחום הפורנזי9,66. עם זאת, חשוב להדגיש כי במחקר הנוכחי, אף אחד מהרדידים לא נחזה להיות דומה לקול היעד, אם כי השתמשנו בגרסה של הקווים המנחים של מקפרלן16,17 בהכנת מערכי הקול לזיהוי דוברים במבטא זר. יתר על כן, עלינו להדגיש כי נוהל מערך הקולות שלנו מכיל הבדלים חשובים מההנחיות של מקפרלן, כולל אורך הגירוי, מספר הקולות, בחירת הרדידים (אקראי כאן) וסגנון הדיבור.

באיזו מידה נראה שהמאפיינים הפרוזודיים-אקוסטיים של f0, איכות הקול והעוצמה קשורים לתפיסת המאזינים תלויה מאוד בסגנון הדיבור ששימש במחקר. כאן, השתמשנו בקטעי קריאה. רוב מחקרי עדי השמיעה בוחרים בגירויים ספונטניים (למחצה) כפתרון מאוזן - למשל, DyVis corpus67 - שנעשה בו שימוש נרחב בחקירות עדי שמיעה עכשוויות28,68. הסיבה שהובילה אותנו לבחור במטלות הקריאה היא שהקורפוס שלנו, בזמן כתיבת כתב היד הזה, היה מורכב אך ורק מנתונים שהתקבלו ממטלות קריאה. עם זאת, חשוב להכיר בכך שתהליך הרכבת קורפוס ספונטני (למחצה) כבר בעיצומו. יתר על כן, פעולת קריאת הסיפור יכולה ליצור רמה מהימנה של אחידות וגיוון, הן בתוך הדובר והן בין הדוברים. זה מקל על הדגש על מאפיינים פרוזודיים או פונטיים - אינדיבידואליים או דיאלקטיים - במצבים הכוללים השוואה קולית. זה בולט במיוחד במקרים של עומס קולי במהלך הפקת מבטא זר, אפילו בקרב דוברים מיומנים 8,9,23,54.

figure-results-3
איור 8: תרשימי עמודות המכילים את התוצאות של ארבעת ההרכבים שבוצעו על ידי המאזינים הברזילאים. (א,ב) הבדל לא מובהק בין קול המטרה (בכחול) לבין נייר כסף (בכחול בהיר). (C,D) הבדלים משמעותיים מהרדידים, וקול המטרה. קיצור: NS = לא משמעותי. אנא לחץ כאן כדי להציג גרסה גדולה יותר של איור זה.

figure-results-4
איור 9: תרשימי עמודות שמכילות את התוצאות עבור ארבעת ההרכבים שבוצעו על ידי המאזינים האמריקאים. (A) הבדל לא מובהק בין קול המטרה (באדום) לבין רדיד (בוורוד). (ב,ג,ד) הבדלים משמעותיים מהרדידים וקול המטרה. קיצור: NS = לא משמעותי. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

טבלה משלימה S1: סטטיסטיקות הפקת דיבור - מודלים תוספים כלליים (GAMs): סטטיסטיקת F (דרגות חופש), ה-Rהמתואם של כל תכונה פרוזודית-אקוסטית מובהקת סטטיסטית (איור 6), ומדד הקצב (איור 7) לרמת שפה, כמו גם הערכים הבודדים של כל מונח חלק (המשתנים). סטטיסטיקה של תפיסת דיבור: סטטיסטיקת Kruskall-Wallis χ2 (דרגות חופש), ערכי p ו-η2 המותאם, כמו גם מבחן דאן פוסט-הוק להשוואה זוגית (איור 8 ו-איור 9) של כל הבדל לא מובהק סטטיסטית בין זוגות קולות רדיד המטרה (איור 8A,B ו-איור 9A). מטריצות דמיון אקוסטי למרחק קוסינוסי ואוקלידיאני של כל מערך. אנא לחץ כאן לצפייה בגרסה גדולה יותר של איור זה.

דיון

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

הפרוטוקול הנוכחי מציג חידוש בתחום הפונטיקה (המשפטית). הוא מחולק לשני שלבים: אחד מבוסס על ייצור (ניתוח אקוסטי) ואחד מבוסס על תפיסה (ניתוח שיפוט). שלב ניתוח הייצור כולל את הכנת הנתונים ויישור מאולץ, יישור מחדש וחילוץ אוטומטי של תכונות פרוזודיות-אקוסטיות מלבד הסטטיסטיקה. פרוטוקול זה מחבר את שלב איסוף הנתונים לניתוח הנתונים בצורה מהירה ויעילה יותר מהפרוטוקולים המסורתיים המבוססים על פילוח ידני בעיקר.

עם זאת, תהליך היישור מחדש, המוצג בשלבי הפרוטוקול 1.3.6 עד 1.3.6.9, עובד בעצם על יחידות הטלפון והמילים שנוצרו בשלבי הפרוטוקול 1.3.1 עד 1.3.4. החידוש בתהליך היישור מחדש הוא שהוא יוצר TextGrid חדש המכיל שלוש שכבות טקסט חדשות: שכבה הברתית, שכבת נתח דיבור שניתן ליצור באופן אוטומטי או ידני על סמך מילים, ושכבת טון שיכולה להיות שימושית למדי לחישוב מדדי f0. הנחיות ההיערכות מחדש שהוצעו לפרוטוקול זה שימשו בעבר במחקרים של קצב דיבור L2 21,69,70, מחקרים לזיהוי דרגת מבטא זר באמצעות טכניקות למידת מכונה22, ומחקרים בתחום הפורנזי 9.

החילוץ האוטומטי של תכונות פרוזודיות, המוצג בשלבי הפרוטוקול 1.3.7 עד 1.3.7.10, יוצר מטריצה רב-ממדית של תכונות פרוזודיות-אקוסטיות כפי שניתן להעיד במחקר הנוכחי. תכונות כאלה כוללות תכונות דיבור מלודיות, מתמשכות וספקטרליות (איכות ועוצמת קול)71. חלק ניכר מהמאפיינים האקוסטיים הללו פחות רגישים וחזקים במידה מסוימת להקלטות אודיו רועשות שנאספו בסופו של דבר בזיהוי פלילי או בכל תרחיש אחר72. יתר על כן, ניתן ליישם את המטריצה הרב-ממדית על מערכות זיהוי דיבור באמצעות מספר טכניקות AI (עבודה בתהליך). זה עדיין יכול להיות שימושי למדי בהוראת היבטים פרוזודיים בשיעורי הגייה L221 (עבודה בתהליך).

הניתוח הסטטיסטי של חלק זה של הפרוטוקול מייצג את השימוש בשיטת GAM מכיוון שעסקנו בקשר מורכב בין תכונה אקוסטית ספציפית לבין דוברי גורם שפה מרובים. כדי למדל תכונה אקוסטית ספציפית, למשל, היה צורך לבדוק כיצד תכונות אקוסטיות אחרות מהמטריצה (המונחים החלקים) יתפקדו כדי שנוכל לתאר בצורה מדויקת יותר את מה שקורה במהלך הפקת הדיבור.

לגבי ניתוח התפיסה, הפרוטוקול הנוכחי נוצר על ידי הכנה ויישום של מערכי הקול, ניתוח סטטיסטי וניתוח דמיון אקוסטי. כדי להכין את ההרכבים, השתמשנו בסקריפט CreateLineup עבור Praat, שמייצר אוטומטית קובץ אודיו עבור כל מערך המכיל רדידים ברצף אקראי וקול יעד כמתואר בשלבי פרוטוקול 2.2 עד 2.2.1.9.

לצורך הניתוח הסטטיסטי של פרוטוקול זה, הרצנו את המבחן הלא פרמטרי של Kruskal-Wallis מכיוון שהנתונים שלנו לא עמדו בהנחות ניתוח השונות (ANOVA). ברגע שהיה לנו קשר בין ציוני השיפוט שהוערכו על ידי המאזינים ונשלטו עבור קול היעד והרדידים, בחרנו להשתמש בסטטיסטיקה של המודל הליניארי.

לניתוח הדמיון האקוסטי, השתמשנו בסקריפט AcousticSmilarity_cosine_euclidean עבור Python. התוכנה קופצת את עץ הספריות של המחשב ומבקשת מהמשתמש לבחור את הקובץ המכיל את התכונות הפרוזודיות-אקוסטיות של הרדידים ואת קול היעד המרכיב את ההרכב בניתוח. בלחיצת כפתור, הסקריפט מייצר שלוש מטריצות דמיון: קוסינוס, אוקלידי, ואוקלידית מותמרת (אפס לאחד), הן בקבצים '.txt' (מופרד באמצעות טאבים) והן בקבצים '.csv'. עדיין עלינו לזכור שכל מערך נתונים (קובץ ה-'.txt' המכיל את התכונות הפרוזודיות-אקוסטיות של הרדידים והמטרה) חייב להיות בתיקייה המקורית של ההרכב, ובכל תיקיית מערך חייב להיות עותק של סקריפט AcousticSmilarity_cosine_euclidean .

לסיכום, הפרוטוקול הנוכחי מתקדם במחקר פונטי (משפטי). מורכב משלבים מובחנים - ניתוחי ייצור ותפיסה, כמו גם דמיון אקוסטי - הוא מגשר על הפער בין איסוף נתונים לניתוח תכונות אקוסטיות רב-ממדיות. חוקרים יכולים להפיק תועלת מנקודת מבט הוליסטית, לחקור הן את היבטי הייצור והן את היבטי התפיסה. יתר על כן, פרוטוקול זה מבטיח שחזור מחקר, ומאפשר לאחרים להתבסס על הקווים המנחים של עבודה זו.

מגבלות וכיוונים עתידיים
עדיין עלינו לזכור שהכל יסתדר בהצלחה אם הכנת הנתונים תעקוב אחר ההנחיות המוצעות בשלבי הפרוטוקול 1.3.1 עד 1.3.4. חוץ מזה, בהליכי היישור הכפוי, עלינו להיות מודעים לכך שמיישור מאולץ חיצוני מאומן מראש - דמוי MAUS המשמש בעבודה הנוכחית - רגיש לשגיאות סגמנטציה, במיוחד בנתונים עם מבטא זר לא מאומן מראש או אפילו ביישורי יישור מאומנים מראש, בין אם לשמע אין איכות טובה או שהקשתיות אינן מכילות את שפת השמע (עובדה זו תהפוך את עבודת המומחה לקשה יותר וגוזלת זמן). תמלול משפטי, במיוחד של קבצי אודיו ארוכים יותר, נתקל בקשיים ביחס לייצוג מדויק ואמין של הקלטות מדוברות72.

ישנם גם מספר אתגרים בתמלול ויישור קבצי אודיו ארוכים יותר. ביצועי קשתיות היישור מושפעים מסגנון הדיבור והסביבה הפונטית, כמו גם מגורמים ספציפיים לדיאלקט. למרות שיש הבדלים ספציפיים ליישור, באופן כללי, הביצועים שלהם דומים ומייצרים פילוחים שמשווים היטב ליישור ידני בסך הכל73. בנוסף, הפקת אנגלית L1 ו-L2 הופעלה עם מודל אקוסטי מאומן מראש של אנגלית אמריקאית עקב חוסר זמינות של מודלים של דיבור זר ב-MAUS. יתר על כן, אין מודלים אקוסטיים מאומנים מראש ללחץ דם ב-MAUS. עבור נתוני BP, נעשה שימוש במודלים האקוסטיים הקיימים של איטלקית (ראה הערה, שלב פרוטוקול 1.3.5.7).

בעבודה עתידית (בתהליך), נשתמש ב-Montreal Forced Aligner (MFA)74 כחלק מהפרוטוקול. יתרון גדול של MFA הוא הזמינות של מודלים אקוסטיים מאומנים מראש ומודלים של גרפם לפונמה עבור מגוון רחב של שפות (כולל BP), כמו גם היכולת לאמן מודלים אקוסטיים וגרפים לפונמה חדשים לכל מערך נתונים חדש (כלומר, קורפוס הדיבור שלנו במבטא זר)75.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

למחברים אין ניגודי אינטרסים להצהיר עליהם.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

מחקר זה נתמך על ידי המועצה הלאומית לפיתוח מדעי וטכנולוגי - CNPq, מענק מס' 307010/2022-8 למחבר הראשון, ומענק מס' 302194/2019-3 למחבר השני. המחברים מבקשים להביע את תודתם הכנה למשתתפי מחקר זה על שיתוף הפעולה הנדיב ותרומתם שלא תסולא בפז.

חומרים

רשימת החומרים שנעשה בהם שימוש במאמר זה
שםחברהמספר קטלוגהערות
CreateLineupאוסף אישי#סקריפט לפראט להכנת מערכי קול
I3 של Dell (עם כונן Solid-State - SSD) Dell#מחשב נייד
PraatPaul Boersma & דיוויד וינינק#תוכנה לניתוח פונטי
Python 3Python Software Foundation#שפת תכנות מתורגמת, ברמה גבוהה, לשימוש כללי 
Rפרויקט R למחשוב סטטיסטישפת תכנות לחישוב סטטיסטי
Shure Beta SM7BShure#Microphone
SpeechRhythmExtractorאוסף אישי#סקריפט לפראט לחילוץ אוטומטי של תכונות אקוסטיות
SurveyMonkeySurveyMonkey Inc.#הרכיבו סקרים חינמיים הניתנים להתאמה אישית, כמו גם חבילה של תוכניות עורפיות הכוללות ניתוח נתונים, בחירת מדגם, הטיה וייצוג נתונים.
Tascam DR-100 MKIITascam#מקליט קול דיגיטלי
מערכת הפילוח האוטומטית של מינכן MAUSאוניברסיטת מינכן#יישור מאולץ של קבצי אודיו (.wav) ומידע לשוני (.txt)
VVUnitAlignerאוסף אישי#סקריפט לפראט ליישור מחדש אוטומטי ועיבוד לאחר של יחידות פונטיות
#

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Moyer, A. Foreign Accent: The Phenomenon of Non-native Speech. , Cambridge University Press. (2013).
  2. Munro, M., Derwing, T. Foreign accent, comprehensibility and intelligibility, redux. J Second Lang Pronunciation. 6 (3), 283-309 (2020).
  3. Levis, J. Intelligibility, Oral Communication, and the Teaching of Pronunciation. , Cambridge University Press. (2018).
  4. Munro, M. Applying Phonetics: Speech Science in Everyday Life. , Wiley-Blackwell. (2022).
  5. Gut, U. Speaker Classification. Muller, C. , Springer-Verlag. 75-87 (2007).
  6. Rogers, H. Foreign accent in voice discrimination: a case study. Forensic Linguistics. 5 (2), 203-208 (1998).
  7. Solan, L., Tiersma, P. Hearing Voices: Speaker Identification in Court. Hastings Law Journal. 54, 373-436 (2003).
  8. Alcaraz, J. The long-term average spectrum in forensic phonetics: From collation to discrimination of speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 87-110 (2023).
  9. Silva, L. Jr, Barbosa, P. A. Voice disguise and foreign accent: Prosodic aspects of English produced by Brazilian Portuguese speakers. Estudios de Fonética Experimental / Journal o Experimental Phonetics. 32, 195-226 (2023).
  10. Munro, M., Derwing, T. Modeling perceptions of the accentedness and comprehensibility of L2 speech. Studies in Second Language Acquisition. 23 (4), 451-468 (2001).
  11. Keating, P., Esposito, C. Linguistic Voice Quality. Working Papers in Phonetics. , 85-91 (2007).
  12. Niebuhr, O., Skarnitzl, R., Tylečková, L. The acoustic fingerprint of a charismatic voice -Initial evidence from correlations between long-term spectral features and listener ratings. Proceedings of Speech Prosody. , 359-363 (2018).
  13. Segundo San, E. International survey on voice quality: Forensic practitioners versus voice therapists. Estudios de Fonética Experimental. 29, 8-34 (2021).
  14. Farrús, M. Fusing prosodic and acoustic information for speaker recognition. International Journal of Speech, Language and the Law. 16 (1), 169(2009).
  15. Farrús, M. Voice disguise in automatic speaker recognition. ACM Computing Surveys. 51 (4), 1-2 (2018).
  16. Nolan, F. A recent voice parade. The International Journal of Speech, Language and the Law. 10 (2), 277-291 (2003).
  17. McDougall, K. Ear-catching versus eye-catching? Some developments and current challenges in earwitness identification evidence. Speaker Individuality in Phonetics and Speech Sciences. Bernardasci, C., Dipino, D., Garassino, D., Negrinelli, S., Pellegrino, E., Schmid, S. , Officinaventuno. 33-56 (2021).
  18. Gut, U. Rhythm in L2 speech. Speech and Language Technology. 14 (15), 83-94 (2012).
  19. Urbani, M. Pitch Range in L1/L2 English. An Analysis of F0 using LTD and Linguistic Measures. Coop. , Libraria Editrice Università di Padova. (2012).
  20. Gonzales, A., Ishihara, S., Tsurutani, C. Perception modeling of native and foreign-accented Japanese speech based on prosodic features of pitch accent. J Acoust Soc Am. 133 (5), 3572(2013).
  21. Silva, L. Jr, Barbosa, P. A. Speech rhythm of English as L2: an investigation of prosodic variables on the production of Brazilian Portuguese speakers. J Speech Sci. 8 (2), 37-57 (2019).
  22. Foreign accent and L2 speech rhythm of English a pilot study based on metric and prosodic parameters. Silva, L. Jr, Barbosa, P. A. Proceedings of the II Brazilian Conference on Prosody (Anais II Congresso Brasileiro de Prosódia), 1, 41-50 (2023).
  23. Costa, A. El cerebro bilingüe: La neurociencia del lenguaje. , Penguin Randon House. (2017).
  24. Eriksson, A. Tutorial on forensic speech science: Part I. Forensic Phonetics. , (2005).
  25. Harvey, M., Giroux, M., Price, H. Lineup size influences voice identification accuracy. Applied Cognitive Psychology. 37 (5), 42-89 (2023).
  26. Pautz, N., et al. Identifying unfamiliar voices: Examining the system variables of sample duration and parade size. Q J Exp Psychol (Hove). 76 (12), 2804-2822 (2023).
  27. McDougall, K., Nolan, F., Hudson, T. Telephone transmission and earwitnesses: Performance on voice parades controlled for voice similarity. Phonetica. 72 (4), 257-272 (2015).
  28. Nolan, F., McDougall, K., Hudson, T. Some acoustic correlates of perceived (dis) similarity between same-accent voices. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2011). , 1506-1509 (2011).
  29. Sheoran, S., Mahna, D. Voice identification and speech recognition: an arena of voice acoustics. Eur Chem Bull. 12 (5), 50-60 (2023).
  30. Hudson, T., McDougall, K., Hughes, V. Forensic phonetics. The Cambridge Handbook of Phonetics. Knight, R. -A., Setter, J. , Cambridge University Press. 631-656 (2021).
  31. Eriksson, A. The disguised voice: Imitating accents or speech styles and impersonating individuals. Language and identities. Llamas, C., Watt, D. , Edinburgh University Press. 86-96 (2010).
  32. Köster, O., Schiller, N. Different influences of the native language of a listener on speaker recognition. Forensic Linguistics. 4 (1), 18-27 (1997).
  33. The influence of native-language background on speaker recognition. Köster, O., Schiller, N., Künzel, H. Proceedings of the International Congress of Phonetic Sciences (ICPhS 1995), , 306-309 (1995).
  34. Thompson, C. P. A language effect in voice identification. Applied Cognitive Psychology. 1, 121-131 (1987).
  35. San Segundo, E., Univaso, P., Gurlekian, J. Sistema multiparamétrico para la comparación forense de hablantes. Estudios de Fonética Experimental. 28, 13-45 (2019).
  36. Council of Europe. Common European Framework of Reference for Languages: Learning, Teaching, Assessment. , Press Syndicate of the University of Cambridge. (2001).
  37. How to use Tascam DR-100 MKII: Getting started. , https://www.youtube.com/watch?v=O2E72uV9fWc (2018).
  38. Getting the most from your Shure SM58 microphone. , https://www.youtube.com/watch?v=wweNufW7EXA (2020).
  39. Kisler, T., Reichel, U. D., Schiel, F. Multilingual processing of speech via web services. Computer Speech & Language. 45, https://clarin.phonetik.uni-muenchen.de/BASWebServices/interface/WebMAUSBasic 326-347 (2017).
  40. Escudero, P., Boersma, P., Rauber, A., Bion, R. A cross-dialect acoustic description of vowels: Brazilian and European Portuguese. J Acoust Soc Am. 126 (3), 1379-1393 (2009).
  41. Post-aspiration in standard Italian: some first cross-regional acoustic evidence. Stevens, M., Hajek, J. Proceedings 11th Conference of the International Speech Communication Association (INTERSPEECH 2010), , 1557-1560 (2011).
  42. Barbosa, P., Madureira, S. Manual de Fonética Acústica Experimental: aplicações a dados do português. , Cortez. (2015).
  43. Boersma, P., Weenink, D. Praat: Doing phonetics by computer. (Version 6.1.38) [Computer program]. , https://www.praat.org/ (1992-2021).
  44. Silva, L. Jr VVUnitAligner. [Computer program]. , https://github.com/leonidasjr/VVunitAlignerCode_webMAUS (2022).
  45. Silva, L. Jr, Barbosa, P. A. SpeechRhythmExtractor [Computer program]. , https://github.com/leonidasjr/VowelCode (2019-2023).
  46. R Core Team. A language and environment for statistical computing. R Foundation for Statistical Computing. , https://www.R-project.org/ (2023).
  47. Pigoli, D., Hadjipantelis, P. Z., Coleman, J. Z., Aston, J. The statistical analysis of acoustic phonetic data. Journal of the Royal Statistical Society. 67 (5), 1103-1145 (2018).
  48. Barbosa, P. A. CreateLineup [Computer program]. , https://github.com/pabarbosa/prosody-scripts-CreateLineUp (2021).
  49. Van Rossum, G., Drake, F. L. Python 3 Reference Manual. , CreateSpace. (2009).
  50. Silva, L. Jr AcousticSimilarity_cosine_euclidean. [Computer program]. , https://github.com/leonidasjr/AcousticSimilarity/blob/main/AcousticSmilarity_cosine_euclidean.py (2024).
  51. Automatic assessment of voice similarity within and across speaker groups with different accents. Gerlach, L., McDougall, K., Kelly, F., Alexander, A. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023), , 3785-3789 (2023).
  52. Gahman, N., Elangovan, V. A comparison of document similarity algorithms. International Journal of Artificial Intelligence and Applications. 14 (2), 41-50 (2023).
  53. San Segundo, E., Tsanas, A., Gómez-Vilda, P. Euclidean distances as measures of speaker similarity including identical twin pairs: A forensic investigation using source and Filter voice characteristics. Forensic Science International. 270, 25-38 (2017).
  54. Speaker's voice characteristics and similarity measurement using Euclidean distances. Singh, M. K., Singh, N., Singh, A. K. Proceedings of the International Conference on Signal Processing and Communication (ICSC 2019), , 317-322 (2019).
  55. Darling-White, M., Banks, W. Speech rate varies with sentence length in typically developing children. J Speech Lang Hear Res. 64 (6), 2385-2391 (2021).
  56. Barbosa, P. A. Incursões em torno do ritmo da Fala. , Pontes Editores. (2006).
  57. Golestani, N., Pallier, C. Anatomical correlates of foreign speech sound production. Cereb Cortex. 17 (4), 929-934 (2007).
  58. Trouvain, J., Fauth, C., Möbius, B. Breath and non-breath pauses in fluent and disfluent phases of German and French L1 and L2 read speech. Proceedings of Speech Prosody. , 31-35 (2016).
  59. Waaning, J. The Lombard effect: the effects of noise exposure and being instructed to speak clearly on speech acoustic parameters. [Master's thesis]. , Radboud University. (2021).
  60. Villegas, J., Perkins, J., Wilson, I. Effects of task and language nativeness on the Lombard effect and on its onset and offset timing. J Acoust Soc Am. 149 (3), 1855(2021).
  61. Differences between native and non-native Lombard speech in terms of pitch range. Proceedings of the 23rd International Congress on Acoustics(ICA 2019). Marcoux, K., Ernestus, M. , 5713-5720 (2019).
  62. Marcoux, K., Ernestus, M. Pitch in native and non-native Lombard speech. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2019). , 2605-2609 (2019).
  63. Marcoux, K., Ernestus, M. Acoustic characteristics of non-native Lombard speech in the DELNN corpus. Journal of Phonetics. 102, 1-25 (2024).
  64. Gil, J., San Segundo, E. La cualidad de voz en fonética judicial [Voice quality in judicial phonetics]. Lingüística Forense: la Lingüística en el ámbito legal y policial. Garayzábal, M., Jiménez, M., Reigosa, M. , Euphonía Ediciones. 154-199 (2014).
  65. Gil, J., San Segundo, E. El disimulo de la cualidad de voz en fonética judicial: Estudio perceptivo de la hiponasalidad [Voice quality disguise in judicial phonetics: A perceptual study of hyponasality. Panorama de la fonética española actual. Penas-báñez, M. A. , Arco Libros. 321-366 (2013).
  66. Passeti, R., Madureira, S., Barbosa, P. What can voice line-ups tell us about voice similarity. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 3765-3769 (2023).
  67. Nolan, F. The DyViS database: Style-controlled recordings of 100 homogeneous speakers for forensic phonetic research. International Journal of Speech Language and the Law. 16 (1), 31-57 (2009).
  68. Caroll, D. Psychology of Language. , Wadsworth. (1994).
  69. Ortega-Llebaria, M., Silva, L. Jr, Nagao, J. Macro- and micro-rhythm in L2 English: Exploration and Refinement of Measures. Proceedings of the International Congress of Phonetic Sciences (ICPhS 2023). , 1582-1586 (2023).
  70. Fernández-Trinidad, M. Hacia la aplicabilidad de la cualidad de la voz en fonética judicial. Loquens. 9 (1-2), 1-11 (2022).
  71. Brouwer, S. The role of foreign accent and short-term exposure in speech-in-speech recognition. Atten Percep Psychophys. 81, 2053-2062 (2019).
  72. Love, R., Wright, D. Specifying challenges in transcribing covert recordings: Implications for forensic transcription. Front Commun. 6, 1-14 (2021).
  73. Meer, P. Automatic alignment for New Englishes: Applying state-of-the-art aligners to Trinidadian English. J Acoust Soc Am. 147 (4), 2283-2294 (2020).
  74. Montreal Forced Aligner: trainable text-speech alignment using Kaldi. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Proceedings 18th Conference of the International Speech Communication Association (INTERSPEECH 2017), , 498-502 (2017).
  75. Chodroff, E. Montreal Forced Aligner: MFA Tutorial. , https://zenodo.org/records/7591607 (2023).

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

מאמרים קשורים