מבטא זר וזיהוי רמקולים משפטיים במערכי קול: השפעת מאפיינים אקוסטיים המבוססים על פרוזודיה

המחקר שלנו בוחן כיצד מבטא זר השפיע על זיהוי הדובר. אנו מתמקדים בתכונות פרוזודיות המבוססות על התדר הבסיסי, שהוא גובה הקול, משך הזמן ואיכות הקול. המטרה שלנו היא להבין כיצד תכונות אלה משפיעות על שיפוט המאזינים במערכים קוליים.

יש התמקדות ומחקר הולכים וגדלים על הביצועים של זיהוי רמקולים אוטומטי, המחיל אוטומציה על זרימת העבודה של השוואת רמקולים משפטיים. עם זאת, המידע הוא כמו קופסה שחורה עבור מדעני זיהוי פלילי לדווח למשטרה, לשופטים ולמושבעים. מערכות זיהוי רמקולים אוטומטיות המבוססות על טכניקות קלאסיות כגון GMM, דגמי UBM ושחקנים חיים.

יש גם מחקר עצבי המבוסס על בינה מלאכותית. אנו מציעים זרימה אוטומטית המשמרת את המידע הלשוני שהוחמצה על ידי מערכות זיהוי הדיבור האוטומטיות. הפרוטוקול שלנו משתמש בגישה שמיעתית ואקוסטית משולבת להשוואת דיבור פורנזי תוך קביעת מדינות בהן פותח המדע, אך תוך שימוש בכלים אוטומטיים לחילוץ מגוון רחב של תכונות אקוסטיות כמו גם להפעלת הליכי דמיון אקוסטי.

כדי להתחיל, כתוב את התמלול הלשוני עבור כל קובץ שמע בפורמט קובץ TXT. תייג את צמד קבצי TXT ו-WAV באותו שם. צור תיקיה עבור כל שפת L1, L2.

ודא שכל זוגות הקבצים באותה שפה נמצאים באותה תיקייה. גש לממשק האינטרנט של יישור כפוי של סגמנטציה אוטומטית של מינכן, גרור ושחרר כל זוג קבצי WAV ו- TXT מהתיקיה למלבן המקווקו בקבצים. לחץ על כפתור ההעלאה כדי להעלות את הקבצים לקשתית.

בתפריט אפשרויות השירות, עבור נתונים באנגלית L1 L2, בחר גרף לפונמה לעכבר לטלפון להברה לשם צינור ואנגלית-ארה"ב לשפה. שמור את אפשרויות ברירת המחדל עבור פורמט הפלט ושמור הכל. סמן את תיבת אפשרויות ההפעלה כדי לקבל את תנאי השימוש.

לחץ על כפתור הפעל שירות אינטרנט כדי להפעיל את הקבצים שהועלו בקשתית. לאחר עיבוד הקבצים, לחץ על לחצן הורד כקובץ zip כדי להוריד את קבצי רשת הטקסט. חלץ את קבצי רשת הטקסט ליישור מחדש מאוחר יותר בתוכנת ניתוח פונטי.

גש והורד את הסקריפט עבור PRAAT VVUnitAligner. ודא שכל זוגות הקבצים של אותה שפה וסקריפט VVUnitAligner נמצאים באותה תיקיה. פתח את תוכנת הניתוח הפונטי.

מחלון האובייקט, לחץ על Praat ופתח את סקריפט Praat כדי לטעון את הסקריפט. לחץ על כפתור ההפעלה ולאחר מכן בחר את השפה כאנגלית-ארה"ב. כעת, מכפתור פילוח הנתח, בחר אוטומטי.

סמן את האפשרות שמור קבצי רשת טקסט כדי לשמור אוטומטית את קבצי רשת הטקסט החדשים שנוצרו. לחץ על כפתורי אישור והפעל ליישור מחדש של היחידות הפונטיות. מהאתר הנתון, הורד את סקריפט מחלץ קצב הדיבור לחילוץ אוטומטי של תכונות אקוסטיות פרוזודיות.

צור תיקיה חדשה והוסף את סקריפט מחלץ קצב הדיבור יחד עם כל קבצי רשת טקסט האודיו בכל השפות. פתח את תוכנת הניתוח הפונטי. מחלון האובייקט, לחץ על Praat ופתח את סקריפט Praat כדי לטעון את הסקריפט.

לאחר מכן לחץ על כפתור ההפעלה פעם אחת. בדוק את אפשרות הפרמטרים של איכות הקול כדי לשמור את קובץ הפלט VQ לאיכות הקול. כעת בדוק את אפשרות היעד הלשוני כדי לבחור את השפה.

לאחר מכן בדוק את אפשרות היחידה כדי לבחור את F0 תכונות בחצאי גוונים. הגדר את הערכים עבור סף F0, כולל סף מינימלי ומקסימלי. לחץ על אישור, ואחריו הפעל לחילוץ אוטומטי של תכונות אקוסטיות.

כדי לבצע מודלים תוספים כלליים, ניתוח סטטיסטי לא פרמטרי, הקלד את הפקודה המצוינת והעלה את הגיליון האלקטרוני המכיל את התכונות האקוסטיות שחולצו לסביבת R. לבסוף, לחץ על Enter כדי לבצע. קצב הדיבור ירד מהר יותר עבור אנגלית L1 L2 בהשוואה ל-L1 L2 BP, שהיו לו שיפועים פחות תלולים בגלל משך הברה גבוה יותר ושונות נמוכה יותר.

השימר המקומי נשאר יציב יחסית עבור דוברי ברזילאית, אנגלית L1 BP ו-L2, למרות השונות ההולכת וגוברת של משך ההברות. שיעור ההשהיה היה גבוה יותר עבור דוברי L2 BP, עם הפסקות ארוכות יותר בהשוואה לדוברי אנגלית L1, L1 BP ו-L2. קצב הביטוי הושפע באופן דומה מקצב הדיבור עם שיעורים נמוכים יותר הקשורים לעומס לשוני קוגניטיבי גבוה יותר ושונות בהברות.

סטיית התקן של משך ההברה פחתה ככל שקצב הדיבור עלה בכל רמות השפה. Varco של הברות ירד עבור L1 BP ו-L2 BP עם עלייה בשונות F0 וקצב הדיבור בעוד שהוא עלה עבור אנגלית L1 ואנגלית L2. סטיית התקן של העיצורים הראתה שונות נמוכה יותר ב-L1 BP ככל שקצב הדיבור או משך ההפסקה גדלו בהשוואה לאנגלית L1.

סטיית התקן עבור תנועות ועיצורים עקבה אחר דפוס עלייה בנפילה עבור L1 BP ו-L2 BP, עם מאפיינים פרוזודיים הולכים וגדלים, בעוד שהיא ירדה ולאחר מכן נחלשה עבור אנגלית L1 ואנגלית L2. לאחר הכנת ארבעה מערכי קול כל אחד לאנגלית ול-BP, קבל את קבצי האודיו מהרמקולים שנבחרו וסדר אותם בתיקיות ספציפיות לשפה. בחר באופן אקראי שישה קטעי קול באנגלית L1 או L1 BP. לאחר מכן בחר קטע קול אחד באנגלית L2 או L2 BP מאחד מששת נתחי הקול.

גש והורד את הסקריפט עבור Praat Create Lineup. לפני הפעלת התסריט, ודא שקול ההתייחסות L2, רדיד L1 וקול היעד L1 ממוקמים באותה תיקיה. פתח את תוכנת הניתוח הפונטי.

מחלון האובייקט, לחץ על Praat ופתח את סקריפט Praat כדי לטעון את הסקריפט. לאחר מכן לחץ על הפעלה כדי להפעיל את סקריפט יצירת המערך. בסביבת R, כדי לבצע את מבחן Kruskal-Wallace, הקלד את הפקודה המצוינת.

לאחר מכן העלה את הגיליון האלקטרוני המכיל את ציוני השיפוטים של המאזינים ולחץ על Enter. לאחר מכן, למבחן הפוסט-הוק של דאן, הקלד את הפקודה הבאה והקש Enter. גש והורד את סקריפט פייתון, דמיון אקוסטי קוסינוס אוקלידי.

ודא שקובץ ה- Script שהורדת נשמר באותה תיקייה שבה נשמר מערך הנתונים של מערך הקול. לחץ על כפתור הקובץ הפתוח כדי לקרוא לסקריפט, לאחר מכן לחץ על הפעל והפעל ללא לחצני איתור באגים כדי להפעיל את קובץ ה- Script. לבסוף, בצע בדיקות דמיון קול על סמך תכונות אקוסטיות.

במערך הקולות הראשון של BP, קול ה-foil השלישי נשפט כקול המטרה, ללא הבדל משמעותי בין קול ה-foil 3 לקול המטרה 4. במערך הקול השני של BP, לא נמצא הבדל משמעותי בין קול המטרה 3 ל-foil 4. גם דמיון הקוסינוס וגם המרחק האוקלידי הראו מתאם חזק בין רדיד 3 לקול המטרה במערך BP 1.

במערך BP שני, שני מדדי הדמיון היו בקורלציה חזקה בין רדיד 4 ליעד.