Name: מבטא זר וזיהוי רמקולים משפטיים במערכי קול: השפעת מאפיינים אקוסטיים המבוססים על פרוזודיה (וידאו) | JoVE Journal
Uploaded: 2024-09-27T12:35:00.000+00:00
Duration: 9 min 9 s
Description: חקור זיהוי דוברים עם מבטא זר באמצעות מאפיינים פרוזודיים כגון גובה קול, משך ואיכות. השיטה מסייעת לחוקרים להבין שיפוטי מאזינים בהקשר פורנזי.

ai_agent_IP

ai_agent

maintenance

instantTrialDurationMinutes

isBiopharma

enableNewMyJoveSectionDesign

educationFeatures

seoMetaApi

ai_copilot_institution_blacklist

ai_chat_institution_blacklist

freeAccessWindow

ssoRoleCapture

scheduledMaintenanceBanner

joveLabsFeatures

disable_autoplay_for_bots

extended_trial_duration

5 minutes

מחקר זה נתמך על ידי המועצה הלאומית לפיתוח מדעי וטכנולוגי - CNPq, מענק מס' 307010/2022-8 למחבר הראשון, ומענק מס' 302194/2019-3 למחבר השני. המחברים מבקשים להביע את תודתם הכנה למשתתפי מחקר זה על שיתוף הפעולה הנדיב ותרומתם שלא תסולא בפז.

Prosodic-Acoustic Features and L2 Speech Production for Forensic Applications

למחברים אין ניגודי אינטרסים להצהיר עליהם.

הפרוטוקול הנוכחי מציג חידוש בתחום הפונטיקה (המשפטית). הוא מחולק לשני שלבים: אחד מבוסס על ייצור (ניתוח אקוסטי) ואחד מבוסס על תפיסה (ניתוח שיפוט). שלב ניתוח הייצור כולל את הכנת הנתונים ויישור מאולץ, יישור מחדש וחילוץ אוטומטי של תכונות פרוזודיות-אקוסטיות מלבד הסטטיסטיקה. פרוטוקול זה מחבר את שלב איסוף הנתונים לניתוח הנתונים בצורה מהירה ויעילה יותר מהפרוטוקולים המסורתיים המבוססים על פילוח ידני בעיקר.
עם זאת, תהליך היישור מחדש, המוצג בשלבי הפרוטוקול 1.3.6 עד 1.3.6.9, עובד בעצם על יחידות הטלפון והמילים שנוצרו בשלבי הפרוטוקול 1.3.1 עד 1.3.4. החידוש בתהליך היישור מחדש הוא שהוא יוצר TextGrid חדש המכיל שלוש שכבות טקסט חדשות: שכבה הברתית, שכבת נתח דיבור שניתן ליצור באופן אוטומטי או ידני על סמך מילים, ושכבת טון שיכולה להיות שימושית למדי לחישוב מדדי f0. הנחיות ההיערכות מחדש שהוצעו לפרוטוקול זה שימשו בעבר במחקרים של קצב דיבור L2 21,69,70, מחקרים לזיהוי דרגת מבטא זר באמצעות טכניקות למידת מכונה22, ומחקרים בתחום הפורנזי 9.
החילוץ האוטומטי של תכונות פרוזודיות, המוצג בשלבי הפרוטוקול 1.3.7 עד 1.3.7.10, יוצר מטריצה רב-ממדית של תכונות פרוזודיות-אקוסטיות כפי שניתן להעיד במחקר הנוכחי. תכונות כאלה כוללות תכונות דיבור מלודיות, מתמשכות וספקטרליות (איכות ועוצמת קול)71. חלק ניכר מהמאפיינים האקוסטיים הללו פחות רגישים וחזקים במידה מסוימת להקלטות אודיו רועשות שנאספו בסופו של דבר בזיהוי פלילי או בכל תרחיש אחר72. יתר על כן, ניתן ליישם את המטריצה הרב-ממדית על מערכות זיהוי דיבור באמצעות מספר טכניקות AI (עבודה בתהליך). זה עדיין יכול להיות שימושי למדי בהוראת היבטים פרוזודיים בשיעורי הגייה L221 (עבודה בתהליך).
הניתוח הסטטיסטי של חלק זה של הפרוטוקול מייצג את השימוש בשיטת GAM מכיוון שעסקנו בקשר מורכב בין תכונה אקוסטית ספציפית לבין דוברי גורם שפה מרובים. כדי למדל תכונה אקוסטית ספציפית, למשל, היה צורך לבדוק כיצד תכונות אקוסטיות אחרות מהמטריצה (המונחים החלקים) יתפקדו כדי שנוכל לתאר בצורה מדויקת יותר את מה שקורה במהלך הפקת הדיבור.
לגבי ניתוח התפיסה, הפרוטוקול הנוכחי נוצר על ידי הכנה ויישום של מערכי הקול, ניתוח סטטיסטי וניתוח דמיון אקוסטי. כדי להכין את ההרכבים, השתמשנו בסקריפט CreateLineup עבור Praat, שמייצר אוטומטית קובץ אודיו עבור כל מערך המכיל רדידים ברצף אקראי וקול יעד כמתואר בשלבי פרוטוקול 2.2 עד 2.2.1.9.
לצורך הניתוח הסטטיסטי של פרוטוקול זה, הרצנו את המבחן הלא פרמטרי של Kruskal-Wallis מכיוון שהנתונים שלנו לא עמדו בהנחות ניתוח השונות (ANOVA). ברגע שהיה לנו קשר בין ציוני השיפוט שהוערכו על ידי המאזינים ונשלטו עבור קול היעד והרדידים, בחרנו להשתמש בסטטיסטיקה של המודל הליניארי.
לניתוח הדמיון האקוסטי, השתמשנו בסקריפט AcousticSmilarity_cosine_euclidean עבור Python. התוכנה קופצת את עץ הספריות של המחשב ומבקשת מהמשתמש לבחור את הקובץ המכיל את התכונות הפרוזודיות-אקוסטיות של הרדידים ואת קול היעד המרכיב את ההרכב בניתוח. בלחיצת כפתור, הסקריפט מייצר שלוש מטריצות דמיון: קוסינוס, אוקלידי, ואוקלידית מותמרת (אפס לאחד), הן בקבצים '.txt' (מופרד באמצעות טאבים) והן בקבצים '.csv'. עדיין עלינו לזכור שכל מערך נתונים (קובץ ה-'.txt' המכיל את התכונות הפרוזודיות-אקוסטיות של הרדידים והמטרה) חייב להיות בתיקייה המקורית של ההרכב, ובכל תיקיית מערך חייב להיות עותק של סקריפט AcousticSmilarity_cosine_euclidean .
לסיכום, הפרוטוקול הנוכחי מתקדם במחקר פונטי (משפטי). מורכב משלבים מובחנים - ניתוחי ייצור ותפיסה, כמו גם דמיון אקוסטי - הוא מגשר על הפער בין איסוף נתונים לניתוח תכונות אקוסטיות רב-ממדיות. חוקרים יכולים להפיק תועלת מנקודת מבט הוליסטית, לחקור הן את היבטי הייצור והן את היבטי התפיסה. יתר על כן, פרוטוקול זה מבטיח שחזור מחקר, ומאפשר לאחרים להתבסס על הקווים המנחים של עבודה זו.
מגבלות וכיוונים עתידיים עדיין עלינו לזכור שהכל יסתדר בהצלחה אם הכנת הנתונים תעקוב אחר ההנחיות המוצעות בשלבי הפרוטוקול 1.3.1 עד 1.3.4. חוץ מזה, בהליכי היישור הכפוי, עלינו להיות מודעים לכך שמיישור מאולץ חיצוני מאומן מראש - דמוי MAUS המשמש בעבודה הנוכחית - רגיש לשגיאות סגמנטציה, במיוחד בנתונים עם מבטא זר לא מאומן מראש או אפילו ביישורי יישור מאומנים מראש, בין אם לשמע אין איכות טובה או שהקשתיות אינן מכילות את שפת השמע (עובדה זו תהפוך את עבודת המומחה לקשה יותר וגוזלת זמן). תמלול משפטי, במיוחד של קבצי אודיו ארוכים יותר, נתקל בקשיים ביחס לייצוג מדויק ואמין של הקלטות מדוברות72.
ישנם גם מספר אתגרים בתמלול ויישור קבצי אודיו ארוכים יותר. ביצועי קשתיות היישור מושפעים מסגנון הדיבור והסביבה הפונטית, כמו גם מגורמים ספציפיים לדיאלקט. למרות שיש הבדלים ספציפיים ליישור, באופן כללי, הביצועים שלהם דומים ומייצרים פילוחים שמשווים היטב ליישור ידני בסך הכל73. בנוסף, הפקת אנגלית L1 ו-L2 הופעלה עם מודל אקוסטי מאומן מראש של אנגלית אמריקאית עקב חוסר זמינות של מודלים של דיבור זר ב-MAUS. יתר על כן, אין מודלים אקוסטיים מאומנים מראש ללחץ דם ב-MAUS. עבור נתוני BP, נעשה שימוש במודלים האקוסטיים הקיימים של איטלקית (ראה הערה, שלב פרוטוקול 1.3.5.7).
בעבודה עתידית (בתהליך), נשתמש ב-Montreal Forced Aligner (MFA)74 כחלק מהפרוטוקול. יתרון גדול של MFA הוא הזמינות של מודלים אקוסטיים מאומנים מראש ומודלים של גרפם לפונמה עבור מגוון רחב של שפות (כולל BP), כמו גם היכולת לאמן מודלים אקוסטיים וגרפים לפונמה חדשים לכל מערך נתונים חדש (כלומר, קורפוס הדיבור שלנו במבטא זר)75.

המבטא הוא היבט בולט ודינמי של תקשורת ושטף, הן בשפת האם (L1) והן בשפה זרה (L2)1. מבטא זר מייצג את המאפיינים הפונטיים של L2 של שפת יעד, והוא יכול להשתנות (עם הזמן) בתגובה לחוויית ה-L2 של הדובר, סגנון הדיבור, איכות הקלט, האקספוזיציה, בין משתנים אחרים. ניתן לכמת מבטא זר כדרגה (סקלרית) של הבדל בין דיבור L2 המופק על ידי דובר זר לבין מבטא מקומי או ייחוס של שפת היעד2,3,4,5.
מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר (BP), כמו גם לבדוק באיזו מידה הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. מחקר קודם בתחום הפורנזי הוכיח את החוסן של תנועות ועיצורים בזיהוי מבטא זר כיציב לניתוח ארוך טווח של אדם (The Lo Case6) או מתייחס לדיוק הזיהוי הגבוה של דובר (The Lindbergh Case7). עם זאת, חקירת מאפיינים פרוזודיים-אקוסטיים המבוססים על משך, תדר בסיסי (f0, כלומר, המתאם האקוסטי של גובה הצליל), עוצמה ואיכות קול (VQ) זכתה לתשומת לב הולכת וגוברת8,9. לפיכך, הבחירה בתכונות פרוזודיות-אקוסטיות במחקר זה מייצגת אפיק מבטיח בתחום הפונטיקה המשפטית8,10,11,12,13.
המחקר הנוכחי נתמך על ידי מחקרים המוקדשים למבטאים זרים כצורה של הסוואת קול במקרים משפטיים14,15, כמו גם בהכנת מערכי קול לזיהוי דוברים16,17. לדוגמה, קצב הדיבור שיחק תפקיד חשוב בזיהוי דוברי גרמנית, איטלקית, יפנית וברזילאית של אנגלית18,19,20,21,22. מלבד קצב הדיבור, תכונות ספקטרליות ו-f0 לטווח ארוך מאתגרות דוברי L2 מיומנים בהיכרות עם שפת היעד מכיוון שהמוח והבסיסים הקוגניטיביים סובלים ממחסור בזיכרון, קשב ורגש, המשתקף בביצועים הפונטיים של הדובר במהלך תורי דיבור ארוכים23. ההשקפה של מבטאים זרים בתחום הזיהוי הפלילי היא שההגדרה של מה באמת נשמע כמו מבטא זר תלויה במידה רבה בחוסר ההיכרות של המאזין ולא בדרגה לא קיצונית של דיבור24.
בתחום התפיסתי, כלי פורנזי נפוץ ששימש מאז אמצע שנות ה-90 לזיהוי פושעים הוא ה-Voice Lineup (זיהוי שמיעתי), המקביל לזיהוי חזותי המשמש לזיהוי פושע בזירת פשע16,25. במערך קולות, קולו של החשוד מוצג לצד רדידים - קולות דומים בהיבטים סוציולינגוויסטיים כגון גיל, מין, מיקום גיאוגרפי, ניב ומעמד תרבותי - לזיהוי על ידי עד שמיעה. ההצלחה או הכישלון של מערך קולי יהיו תלויים במספר דגימות הקול ומשך הדגימה25,26. יתר על כן, עבור דגימות מהעולם האמיתי, נחשב שאיכות השמע משפיעה באופן עקבי על דיוק הזיהוי הקולי. איכות שמע ירודה עלולה לעוות את המאפיינים הייחודיים של קול27. במקרה של דמיון קולי, פירוט פונטי עדין המבוסס על f0 יכול לבלבל את המאזין במהלך זיהוי קולי28,29. תכונות אקוסטיות כאלה משתרעות מעבר ל-f0 וכוללות אלמנטים של משך, ותכונות ספקטרליות של עוצמה ו-VQ30. השקפה זו של מאפיינים פרוזודיים מרובים היא חיונית בהקשר של השוואת קול משפטית כדי להבטיח זיהוי מדויק של דובר9,14,15,29,31.
לסיכום, מחקרים בפונטיקה משפטית הראו שונות מסוימת בנוגע לזיהוי מבטא זר במהלך העשורים האחרונים. מצד אחד, נראה כי מבטא זר אינו משפיע על תהליך זיהוי הדובר32,33 (במיוחד אם הדובר אינו מכיר את המבטא הזר היעד34). מצד שני, ישנם ממצאים בכיוון ההפוך12,34,35.

<table><tbody><tr><td>CreateLineup</td><td>אוסף אישי</td><td>#</td><td>סקריפט לפראט להכנת מערכי קול</td></tr><tr><td>I3 של Dell (עם כונן Solid-State - SSD)&nbsp;</td><td>Dell</td><td>#</td><td>מחשב נייד</td></tr><tr><td>Praat</td><td>Paul Boersma & דיוויד וינינק</td><td>#</td><td>תוכנה לניתוח פונטי</td></tr><tr><td>Python 3</td><td>Python Software Foundation</td><td>#</td><td>שפת תכנות מתורגמת, ברמה גבוהה, לשימוש כללי&nbsp;</td></tr><tr><td>R</td><td>פרויקט R למחשוב סטטיסטי</td><td></td>#<td>שפת תכנות לחישוב סטטיסטי</td></tr><tr><td>Shure Beta SM7B</td><td>Shure</td><td>#</td><td>Microphone</td></tr><tr><td>SpeechRhythmExtractor</td><td>אוסף אישי</td><td>#</td><td>סקריפט לפראט לחילוץ אוטומטי של תכונות אקוסטיות</td></tr><tr><td>SurveyMonkey</td><td>SurveyMonkey Inc.</td><td>#</td> <td>הרכיבו סקרים חינמיים הניתנים להתאמה אישית, כמו גם חבילה של תוכניות עורפיות הכוללות ניתוח נתונים, בחירת מדגם, הטיה וייצוג נתונים.</td></tr><tr><td>Tascam DR-100 MKII</td><td>Tascam</td><td>#</td><td>מקליט קול דיגיטלי</td></tr><tr><td>מערכת הפילוח האוטומטית של מינכן MAUS</td><td>אוניברסיטת מינכן</td><td>#</td><td>יישור מאולץ של קבצי אודיו (.wav) ומידע לשוני (.txt)</td></tr><tr><td>VVUnitAligner</td><td>אוסף אישי</td><td>#</td><td>סקריפט לפראט ליישור מחדש אוטומטי ועיבוד לאחר של יחידות פונטיות</td></tr></tbody></table>

מבטא זר וזיהוי רמקולים משפטיים במערכי קול: השפעת מאפיינים אקוסטיים המבוססים על פרוזודיה

Foreign Accent and Forensic Speaker Identification in Voice Lineups: The Influence of Acoustic Features Based on Prosody

מחקר זה נועד לבחון הן את המאפיינים הפרוזודיים-אקוסטיים והן את המתאמים התפיסתיים של אנגלית במבטא זר ופורטוגזית ברזילאית במבטא זר ולבדוק כיצד הפקות המבטא הזר והמקומי של הדוברים קשורות לתפיסת המאזינים. במתודולוגיה ביצענו הליך הפקת דיבור עם קבוצה של דוברי פורטוגזית ברזילאית L2 וקבוצה של דוברי אנגלית ברזילאית L2, והליך תפיסת דיבור בו ביצענו מערכים קוליים לשתי השפות. עבור הניתוח הסטטיסטי של הפקת הדיבור, הרצנו מודלים תוספים כלליים כדי להעריך את ההשפעה של קבוצות השפה על כל מחלקה (מטרית או פרוזודית-אקוסטית) של תכונות הנשלטות לאפקט ההחלקה של המשתנים של המחלקה הנגדית. לצורך הניתוח הסטטיסטי של תפיסת הדיבור, הרצנו מבחן קרוסקאל-וואליס ומבחן דאן פוסט-הוק כדי להעריך את השפעת הקולות של ההרכבים על הציונים שנשפטו על ידי המאזינים. עם זאת, ערכנו מבחני דמיון אקוסטיים (קוליים) המבוססים על מרחקים קוסינוסיים ואוקלידיים. התוצאות הראו הבדלים אקוסטיים משמעותיים בין קבוצות השפה מבחינת שונות ה-f0, משך הזמן ואיכות הקול. עבור ההרכבים, התוצאות הצביעו על כך שמאפיינים פרוזודיים של f0, עוצמה ואיכות קול היו בקורלציה לשיפוט הנתפס של המאזינים.

מחקר זה נועד לערוך השוואה בין L1-L2-אנגלית ל-L1-L2 פורטוגזית כדי לבדוק עד כמה ההשפעה של מבטא זר אחראית הן למדדים והן לפרמטרים פרוזודיים-אקוסטיים, כמו גם לבחירת קול היעד במערך הקול.

This research aims to examine both the prosodic-acoustic features and the perceptual correlates of foreign-accented English and foreign-accented Brazilian ...

foreign-accent-forensic-speaker-identification-voice-lineups

Research

JoVE Journal

Behavior

התנהגות

המחקר מציג פרדיגמת אימון-בדיקה כדי לחקור השפעות ישנות/חדשות של פוטנציאלים הקשורים לאירועים בתרחישים פרוזודיים בטוחים ומפוקפקים. הנתונים חושפים רכיב חיובי מאוחר משופר בין 400-850 מילישניות ב-Pz ובאלקטרודות אחרות. צינור זה יכול לחקור גורמים מעבר לפרוזודיה של דיבור והשפעתם על זיהוי מטרות קושרות רמזים.

פרדיגמת אימון ובדיקה מבוססת שינון לזיהוי זהות קולית חזקה בדיבור אקספרסיבי באמצעות ניתוח פוטנציאלים הקשורים לאירועים

הליך המאפשר הדגמה של הגדלת החזקה של סמים המבקשים בחולדות מוגבלות מזון מתואר. לאחר אימון הרואין מנהל עצמי, חולדות לעבור תקופת התנזרות, בסביבה נקיה מסמים, שבמהלכו הם אסירי מזון מוגבל. מבקשי תרופה נבדקו ולאחר מכן בסביבה הקשורים בסמים.

פרוצדורה כדי לחקור את ההשפעה של הגבלת מזון ממושכת בהרואין מחפש אצל חולדות מתנזרות

לא ברור כיצד אותות מלמעלה למטה מהזרם החזותי הגחון משפיעים על תנועה. פיתחנו פרדיגמה לבדוק מנוע התנהגות כלפי יעד באשלית היפוך עומק 3D. הבדלים משמעותיים הם דיווחו בשני תנועות מכוונות, מכוון למטרה ופעולות אוטומטיות בתנאי צפייה מתעתעים ו ממשיים.

שיטות לחקור את ההשפעה של תהליכים חזותיים מלמעלה למטה על התנהגות מוטורית

מתוארת פרדיגמת הקישור של מסיח דעת-תגובה. ניתן להשתמש בו כדי לשפוך אור על ההשפעה שיכולה להיות לגירויים לא רלוונטיים, המתחרים ביעדים על תגובה, על הפעולה האנושית. ניתן לנתח הן את השפעות אחזור התגובה והן את השפעות עיכוב מסיח הדעת בתוך הפרדיגמה.

גירויים לא רלוונטיים ופעולת בקרה: ניתוח ההשפעה של גירויים שהתעלמו מן באמצעות המסיח-תגובת איגוד פרדיגמה

פרוטוקול זה מתאר שיטה חדשה ויעילה ליזום אופרנטית במהירות להגיב עבור אתנול בחולדות כי בניגוד שיטות סטנדרטיות, אינו מחייב מצוקת המים או סוכרזית / סוכרוז דהייה ליזום להגיב.

שיטה להערכת מאפייני החיזוק של אתנול בחולדות ללא מצוקת מים, סכרין Fading או הדרכת גישה מורחבת

כאן, אנו מציגים פרוטוקול כדי להעריך התנהגויות נהיגה בזמן בעקבות רכב בסביבה נהיגה מדומה. פרוטוקול הציג משמש כדי להשוות את ההשפעה של רקעים שונים השמיעה על הנהיגה התנהגויות.

נהיגה בשכרות: כיצד להקשיב למוסיקה משפיע על התנהגויות נהיגה

אנו מציגים פרוטוקול לבחון את השימוש ברמזים מורפולוגי במהלך משפט בזמן אמת הבנה על ידי ילדים עם אוטיזם.

באמצעות הפרדיגמה העולם הויזואלי ללמוד משפט הבנה בקרב דוברי מנדרינית ילדים עם אוטיזם

אנו מתארים פרוטוקול התנהגותי תוכנן להעריך כמה האישים של דג זברה להשפיע על תגובתם למים וזרמים שדות מגנטיים חלשים. דגים עם האישיות באותו מופרדים בהתבסס על התנהגותם לקטעים. לאחר מכן, התנהגותם כיוון rheotactic בתוך מנהרה שחייה עם קצב זרימה נמוכה ובתנאים שונים מגנטי הוא ציין.

הערכת השפעתה של האישיות על רגישות לשדות מגנטיים ב דג זברה

אנו מציגים פרוטוקול כדי לנתק את גורמי השילוב של קושי אינטגרטיבי ובלתי מצפים במשפטים לא-משתנים מבחינה סמנטית על-ידי החלת חזרות מרובות כדי לשפר את תוחלת המשתתף למשפטים לא-משתנים. הדיסוציאציה מסייעת לחקור את התורם העיקרי של השפעות פוטנציאליות הקשורות לאירועים (ERP) כגון N400 בלימודי שפה.

דיסוציאציה של ההשפעות הקונמייסדות של התוחלת והקושי האינטגרטיבי המתגוררים במשפטים חריגות במחקרים פוטנציאליים הקשורים לאירועים

המאמר מציג שיטה להערכת קוהרנטיות של נרטיבים קצרים של הורים בנוגע לילדם וליחסיו באמצעות הליך הדיבור של חמש דקות.

הערכת הנרטיבים הקצרים של ההורים בנוגע לילדם באמצעות שגרת דגימת הדיבור של חמש דקות

חקור זיהוי דוברים עם מבטא זר באמצעות מאפיינים פרוזודיים כגון גובה קול, משך ואיכות. השיטה מסייעת לחוקרים להבין שיפוטי מאזינים בהקשר פורנזי.

מבטא זר וזיהוי רמקולים משפטיים במערכי קול: השפעת מאפיינים אקוסטיים המבוססים על פרוזודיה

גלה סרטונים נוספים