מחקר זה נועד לערוך השוואה בין L1-L2-אנגלית ל-L1-L2 פורטוגזית כדי לבדוק עד כמה ההשפעה של מבטא זר אחראית הן למדדים והן לפרמטרים פרוזודיים-אקוסטיים, כמו גם לבחירת קול היעד במערך הקול.
הרשמה ל-JoVE נדרשת לצפייה בתוכן זה. התחברו או התחילו בגרסת ניסיון בחינם.
מאמר שיטה
מחקר זה נועד לערוך השוואה בין L1-L2-אנגלית ל-L1-L2 פורטוגזית כדי לבדוק עד כמה ההשפעה של מבטא זר אחראית הן למדדים והן לפרמטרים פרוזודיים-אקוסטיים, כמו גם לבחירת קול היעד במערך הקול.
מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר ולבדוק כיצד הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. במתודולוגיה ביצענו הליך הפקת דיבור עם קבוצה של דוברי פורטוגזית ברזילאית L2 וקבוצה של דוברי אנגלית ברזילאית L2, והליך תפיסת דיבור בו ביצענו מערכים קוליים לשתי השפות. עבור הניתוח הסטטיסטי של הפקת הדיבור, הרצנו מודלים תוספים כלליים כדי להעריך את ההשפעה של קבוצות השפה על כל מחלקה (מטרית או פרוזודית-אקוסטית) של תכונות הנשלטות לאפקט ההחלקה של המשתנים של המחלקה הנגדית. לצורך הניתוח הסטטיסטי של תפיסת הדיבור, הרצנו מבחן קרוסקאל-וואליס ומבחן דאן פוסט-הוק כדי להעריך את השפעת הקולות של ההרכבים על הציונים שנשפטו על ידי המאזינים. עם זאת, ערכנו מבחני דמיון אקוסטיים (קוליים) המבוססים על מרחקים קוסינוסיים ואוקלידיים. התוצאות הראו הבדלים אקוסטיים משמעותיים בין קבוצות השפה מבחינת שונות ה-f0, משך הזמן ואיכות הקול. עבור ההרכבים, התוצאות הצביעו על כך שמאפיינים פרוזודיים של f0, עוצמה ואיכות קול היו בקורלציה לשיפוט הנתפס של המאזינים.
המבטא הוא היבט בולט ודינמי של תקשורת ושטף, הן בשפת האם (L1) והן בשפה זרה (L2)1. מבטא זר מייצג את המאפיינים הפונטיים של L2 של שפת יעד, והוא יכול להשתנות (עם הזמן) בתגובה לחוויית ה-L2 של הדובר, סגנון הדיבור, איכות הקלט, האקספוזיציה, בין משתנים אחרים. ניתן לכמת מבטא זר כדרגה (סקלרית) של הבדל בין דיבור L2 המופק על ידי דובר זר לבין מבטא מקומי או ייחוס של שפת היעד2,3,4,5.
מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר (BP), כמו גם לבדוק באיזו מידה הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. מחקר קודם בתחום הפורנזי הוכיח את החוסן של תנועות ועיצורים בזיהוי מבטא זר כיציב לניתוח ארוך טווח של אדם (The Lo Case6) או מתייחס לדיוק הזיהוי הגבוה של דובר (The Lindbergh Case7). עם זאת, חקירת מאפיינים פרוזודיים-אקוסטיים המבוססים על משך, תדר בסיסי (f0, כלומר, המתאם האקוסטי של גובה הצליל), עוצמה ואיכות קול (VQ) זכתה לתשומת לב הולכת וגוברת8,9. לפיכך, הבחירה בתכונות פרוזודיות-אקוסטיות במחקר זה מייצגת אפיק מבטיח בתחום הפונטיקה המשפטית8,10,11,12,13.
המחקר הנוכחי נתמך על ידי מחקרים המוקדשים למבטאים זרים כצורה של הסוואת קול במקרים משפטיים14,15, כמו גם בהכנת מערכי קול לזיהוי דוברים16,17. לדוגמה, קצב הדיבור שיחק תפקיד חשוב בזיהוי דוברי גרמנית, איטלקית, יפנית וברזילאית של אנגלית18,19,20,21,22. מלבד קצב הדיבור, תכונות ספקטרליות ו-f0 לטווח ארוך מאתגרות דוברי L2 מיומנים בהיכרות עם שפת היעד מכיוון שהמוח והבסיסים הקוגניטיביים סובלים ממחסור בזיכרון, קשב ורגש, המשתקף בביצועים הפונטיים של הדובר במהלך תורי דיבור ארוכים23. ההשקפה של מבטאים זרים בתחום הזיהוי הפלילי היא שההגדרה של מה באמת נשמע כמו מבטא זר תלויה במידה רבה בחוסר ההיכרות של המאזין ולא בדרגה לא קיצונית של דיבור24.
בתחום התפיסתי, כלי פורנזי נפוץ ששימש מאז אמצע שנות ה-90 לזיהוי פושעים הוא ה-Voice Lineup (זיהוי שמיעתי), המקביל לזיהוי חזותי המשמש לזיהוי פושע בזירת פשע16,25. במערך קולות, קולו של החשוד מוצג לצד רדידים - קולות דומים בהיבטים סוציולינגוויסטיים כגון גיל, מין, מיקום גיאוגרפי, ניב ומעמד תרבותי - לזיהוי על ידי עד שמיעה. ההצלחה או הכישלון של מערך קולי יהיו תלויים במספר דגימות הקול ומשך הדגימה25,26. יתר על כן, עבור דגימות מהעולם האמיתי, נחשב שאיכות השמע משפיעה באופן עקבי על דיוק הזיהוי הקולי. איכות שמע ירודה עלולה לעוות את המאפיינים הייחודיים של קול27. במקרה של דמיון קולי, פירוט פונטי עדין המבוסס על f0 יכול לבלבל את המאזין במהלך זיהוי קולי28,29. תכונות אקוסטיות כאלה משתרעות מעבר ל-f0 וכוללות אלמנטים של משך, ותכונות ספקטרליות של עוצמה ו-VQ30. השקפה זו של מאפיינים פרוזודיים מרובים היא חיונית בהקשר של השוואת קול משפטית כדי להבטיח זיהוי מדויק של דובר9,14,15,29,31.
לסיכום, מחקרים בפונטיקה משפטית הראו שונות מסוימת בנוגע לזיהוי מבטא זר במהלך העשורים האחרונים. מצד אחד, נראה כי מבטא זר אינו משפיע על תהליך זיהוי הדובר32,33 (במיוחד אם הדובר אינו מכיר את המבטא הזר היעד34). מצד שני, ישנם ממצאים בכיוון ההפוך12,34,35.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
עבודה זו קיבלה אישור מוועדת אתיקה למחקר בבני אדם. בנוסף, התקבלה הסכמה מדעת מכל המשתתפים המעורבים במחקר זה לשימוש בנתוניהם ולפרסומם.
1. הפקת דיבור
הערה: אספנו דיבור ממשימת קריאה של 'L1 English-L2 BP' שהופקו על ידי קבוצה 1ה- אמבסדור (Am)אמריקאי ה_אנגלית (מארה"ב) Sדוברים (AmE-S), ובשני סרטוני 'L1 BP-L2 English' שהופקו על ידי קבוצה 2ה- מוחזילייאן Sרמקולים (Bra-S). ראה איור 1 עבור תרשים זרימה של הפקת דיבור.

איור 1תרשים זרימה סכמטי של הפקת דיבור. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.

איור 2צילום מסך של יישור פונטי באמצעות כלי היישור הכפוי MAUS. (Aהמלבן המקווקו מיועד לגרירה והשמה של 'my_file.wav'/' my_fileהקובץ ריק. נא לספק את הטקסט למסמך ה-txt לצורך תרגום.קבצים או לחיצה בתוך התיקייה לחיפוש קבצים אלה; כפתור ההעלאה מסומן בחץ האדום. (Bהקבצים שהועלו מהפאנל A (ראו חץ כחול), את ה-pipeline שבו יש להשתמש, את השפה עבור זוגות הקבצים, את פורמט הקבצים להחזרה, וכפתור 'true/false' להשארת כל הקבצים.Cתיבת הסימון של תנאי השימוש (ראה חץ ירוק), ה- הפעלת שירותי רשת (Web Services) לחצן, והתוצאות (קבצי TextGrid להורדה). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 3צילום מסך של הליך היישור מחדש. (A) טופס הגדרות קלט להליך היישור מחדש. (B) צורת גל חלקית, ספקטרוגרמה רחבת פס עם קו מתאר של ה-f0 (בכחול), ושש שכבות המחולקות למקטעים (ומסומנות) כ- דרגה 1יחידות מתחילת תנועה עד לתחילת התנועה הבאה (V_to_V); תחילת תנועה (V_to_V); דרג 2יחידות של תנועה (V), עיצור (C) והפסקה (#); דרגה 3ייצוגים פוניים V_to_V; דרגה 4מספר מילים מהטקסט; דרגה 5: מקטעי (CH) דיבור מהטקסט; שכבה 6: שכבת טונליות המכילה את הטון הגבוה ביותר (H) ואת הטון הנמוך ביותר (L) של כל מקטע דיבור שהופק על ידי דוברת אנגלית אמריקאית סטנדרטית (AmE-S).C) הגדרות קלט לחילוץ אוטומטי של המאפיינים האקוסטיים. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
2. תפיסת דיבור
הערה: ביצענו ארבעה זיהויי קול באנגלית עם מאזינים אמריקאים וארבעה זיהויים ב-BP עם מאזינים ברזילאים. ראו איור 4 לתרשים זרימה של תפיסת דיבור.

איור 4תרשים זרימה סכמטי לתפיסת דיבור. אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.

איור 5הגדרת ספריות עבור תפיסת דיבור. סדרו את התיקיות. כל תיקייה מכילה שישה קולות L1, את קול היעד L2, את ה- "יצירת מערך" התסריט, וקובץ השמע של מערך הקולות (שמוחזר לאחר הרצת התסריט). אנא לחצו כאן כדי לצפות בגרסה גדולה יותר של איור זה.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
תוצאות עבור הפקת דיבור
בסעיף זה, תיארנו את הביצועים של המאפיינים הפרוזודיים-אקוסטים והמדדים הקצביים בעלי מובהקות סטטיסטית. מאפיינים פרוזודיים אלו היו קצבי הדיבור, הפיצול וההפסקה, הקשורים למשך זמן, וכן Shimmer, הקשור לאיכות הקול. המדדים הקצביים היו סטיית התקן (SD) של משך ההברה, SD של עיצורים, SD של משך תנועות או עיצורים, ומקדם השונות של משך ההברה (ראו את הטבלה המשלימה S1).
ה- קצב דיבור (איור 6A) פוחת במהירות ...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
הפרוטוקול הנוכחי מציג חידוש בתחום הפונטיקה (המשפטית). הוא מחולק לשני שלבים: אחד מבוסס על ייצור (ניתוח אקוסטי) ואחד מבוסס על תפיסה (ניתוח שיפוט). שלב ניתוח הייצור כולל את הכנת הנתונים ויישור מאולץ, יישור מחדש וחילוץ אוטומטי של תכונות פרוזודיות-אקוסטיות מלבד הסטטיסטיקה. פרוטוקול זה מחבר את שלב איסוף הנתונים לניתוח הנתונים בצורה מהירה ויעילה יותר מהפרוטוקולים המסורתיים המבוססים על פילוח ידני בעיקר.
עם זאת, תהליך היישור מחדש, המוצג בשלבי הפרוטוקול 1.3.6 עד 1.3.6.9, עובד בעצם על יחידות הטלפון והמיל...
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
למחברים אין ניגודי אינטרסים להצהיר עליהם.
מחקר זה נתמך על ידי המועצה הלאומית לפיתוח מדעי וטכנולוגי - CNPq, מענק מס' 307010/2022-8 למחבר הראשון, ומענק מס' 302194/2019-3 למחבר השני. המחברים מבקשים להביע את תודתם הכנה למשתתפי מחקר זה על שיתוף הפעולה הנדיב ותרומתם שלא תסולא בפז.
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| CreateLineup | אוסף אישי | # | סקריפט לפראט להכנת מערכי קול |
| I3 של Dell (עם כונן Solid-State - SSD) | Dell | # | מחשב נייד |
| Praat | Paul Boersma & דיוויד וינינק | # | תוכנה לניתוח פונטי |
| Python 3 | Python Software Foundation | # | שפת תכנות מתורגמת, ברמה גבוהה, לשימוש כללי |
| R | פרויקט R למחשוב סטטיסטי | שפת תכנות לחישוב סטטיסטי | |
| Shure Beta SM7B | Shure | # | Microphone |
| SpeechRhythmExtractor | אוסף אישי | # | סקריפט לפראט לחילוץ אוטומטי של תכונות אקוסטיות |
| SurveyMonkey | SurveyMonkey Inc. | # | הרכיבו סקרים חינמיים הניתנים להתאמה אישית, כמו גם חבילה של תוכניות עורפיות הכוללות ניתוח נתונים, בחירת מדגם, הטיה וייצוג נתונים. |
| Tascam DR-100 MKII | Tascam | # | מקליט קול דיגיטלי |
| מערכת הפילוח האוטומטית של מינכן MAUS | אוניברסיטת מינכן | # | יישור מאולץ של קבצי אודיו (.wav) ומידע לשוני (.txt) |
| VVUnitAligner | אוסף אישי | # | סקריפט לפראט ליישור מחדש אוטומטי ועיבוד לאחר של יחידות פונטיות |
הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.