VoiceNet-RAI משלב מאפייני MFCC, ייצוגים (embeddings) רב-לשוניים של wav2vec 2.0 ו-EfficientNet-Lite לצורך סיווג מגדר וגיל מתוך נתוני קול. המסגרת משיגה דיוק של עד 97.87% בתת-הקבוצה בשפה האנגלית ותומכת ביישומים אחראים בזיהוי דיבור, אימות זהות ופורנזיקה דיגיטלית.
מאמר מחקר
VoiceNet: תשתית דיבור רב-לשונית של בינה מלאכותית אחראית לסיווג מגדר וגיל
49 צפיות
⸱
11 בספטמבר 2026
במאמר זה
סיכום
תקציר
סיווג מדויק של מגדר וגיל מנתוני קול הוא חיוני לאינטראקציה מותאמת אישית, מאובטחת ואתית בין אדם למחשב (HCI). עם השימוש הגובר במודלי דיבור גדולים ומאומנים מראש, כגון wav2vec 2.0, עולה הצורך לנצל ייצוגים אלו באופן אחראי עבור הסקת נתונים דמוגרפיים רב-לשונית ומודעת לפרטיות. מחקר זה מציע את VoiceNet-RAI, מסגרת למידה עמוקה (DL) המשלבת מקדמי MFCC (Mel-Frequency Cepstral Coefficients) עם שיבודי wav2vec 2.0 רב-לשוניים מבוססי transformer בתוך ארכיטקטורת EfficientNet-Lite, במטרה לתמוך בסיווג מדויק, הוגן ושקוף על פני הקשרים לשוניים מגוונים. המסגרת משלבת מידע קשרי (contextual) וספקטרלי כדי לשפר את החוסן תחת תנאי הקלטה משתנים. ניסויים על נתוני דיבור רב-לשוניים המקיפים 28 שפות מראים ביצועי סיווג חזקים, כאשר תת-הקבוצה בשפה האנגלית השיגה דיוק (accuracy) של 97.87%, דיוק (precision) של 98.61%, רגישות (recall) של 98.70% ומדד F1-score של 98.65%. תיקוף חיצוני באמצעות מערך הנתונים Mozilla Common Voice הניב דיוק של 98.27% לסיווג מגדר, מה שמעיד על יכולת הכללה למערך נתונים עצמאי. ניתוח אבלציה (ablation analysis) הראה עוד כי שילוב מאפייני MFCC ו-wav2vec 2.0 שיפר את הביצועים בהשוואה לייצוגים גולמיים או כאלה המבוססים על MFCC בלבד. ממצאים אלה מדגימים את הפוטנציאל של ייצוגי דיבור היברידיים, ספקטרליים-קשריים, לסיווג חסון ואחראי של מגדר וגיל.
מבוא
זיהוי קול הוא מרכיב מרכזי בתקשורת אנושית, שדרכו מבטאים אנשים את רגשותיהם, מחשבותיהם ומטרותיהם. קולות אנושיים מופקים באמצעות תהליך ביולוגי שבו אוויר נשף מהריאות ומעוצב לצליל על ידי איברי ההגייה, כגון השפתיים, הלשון והשיניים1. האוזן ממלאת תפקיד חיוני בזיהוי קול ויכולה להבחין בין קולות של גברים ונשים על בסיס מאפיינים כגון עוצמה וגובה צליל. מאפיין אחד התורם להבדלים משמעותיים בגובה הקול בין גברים לנשים הוא דימורפיזם מיני2. סיווג גיל ומגדר על פי קול רלוונטי ליישומים רבים, כולל אינטראקציה בין אדם למכונה, זיהוי מגדר אוטומטי, ברכות מותאמות אישית, סיווג מקדים של רגשות בדיבור וסיווג שיחות מבוסס מגדר3.
דיבור הוא חלק מהותי מהאינטראקציה האנושית. הקול האנושי מכיל מאפיינים מרובים המשתנים בין אנשים ויכולים לספק מידע על מצבים רגשיים ומנטליים, כמו גם על גיל ומין. מאפיינים רב-ממדיים אלו יכולים לשמש ביישומים כגון מערכות אבטחה מבוססות קול ועוזרים של בינה מלאכותית (AI) מכווני דיבור. תחומים נוספים שבהם ניתוח קול הוא חשוב כוללים מערכות אימות דוברים אוטומטי (ASV) ומערכות AI מבוססות רגש. מערכות קלט מבוססות קול יכולות גם לצמצם את מרחב החיפוש בתוך מאגרי נתונים4,5. בנוסף, מערכות אבטחה מבוססות AI יכולות להשתמש בנתוני קול ליישומים כגון חקירות פליליות והגנה על קורבנות. קולות של גברים ונשים מציגים מאפיינים שונים בשל הבדלים בתכונות התהודה של דרכי הקול. מאפיינים אלו ניתנים להוצאה מאותות דיבור בצורה המתאימה לעיבוד חישובי, מה שמאפשר סיווג מגדר מתוך נתוני קול6,7. לכן, נדרשים אלגוריתמי למידה יעילים לסיווג מגדר מבוסס קול. אלגוריתמי למידה עמוקה (DL) מתאימים במיוחד לסיווג הקשור לדיבור בשל יכולתם ללמוד תבניות מורכבות מנתוני שמע. מודלים כאלה עשויים להכיל שכבות קונבולוציוניות, רקורסיביות, קונבולוציוניות-זמניות או שכבות מחוברות באופן מלא, בהתאם לארכיטקטורה. שכבות אלו יכולות ללמוד מאפיינים אקוסטיים רלוונטיים, כולל גוון וגובה צליל. לאחר האימון, מודל יכול לסווג מגדר מהקלטות שמע שלא נראו בעבר8. תחום חשוב נוסף במחקר של למידת מכונה (ML) הוא סיווג גיל מהקלטות קול. אלגוריתמי ML יכולים להשתמש במאפיינים אקוסטיים כגון גובה צליל, גוון ואמפליטודה כדי לזהות תבניות הקשורות לגיל. טכניקות כגון ניתוח רכיבים ראשיים (PCA) יכולות גם הן להיות מיושמות כדי להוציא תבניות אינפורמטיביות מנתוני דיבור ופוטנציאלית לשפר את ביצועי הסיווג9.
למידה עמוקה (DL) הוכיחה ביצועים חזקים ביישומים כגון זיהוי תמונה, רגש ודיבור. רשתות נוירונים עמוקות (DNNs), בפרט, נמצאות בשימוש נרחב במשימות הקשורות לדיבור. במחקר זה, גישות מבוססות DL יושמו לסיווג קול בשילוב עם טכניקות מקובלות להפקת מאפיינים. מקדמי MFCC (Mel-Frequency Cepstral Coefficients) לוכדים מאפיינים ספקטרליים רלוונטיים של אותות דיבור ומספקים ייצוג יעיל לעיבוד המשכי. המאפיינים שהופקו שולבו לאחר מכן במסגרת של למידה בהעברה (transfer-learning) לסיווג מגדר וגיל המבוסס על קול10,11.
מחקרים אחרונים אימצו יותר ויותר ייצוגי דיבור מבוססי Transformer ולמידה בפיקוח עצמי (self-supervised) לצורך סיווג מאפייני דובר. חוקרים בחנו הטיות דמוגרפיות, כולל הטיות של מגדר וגיל, במודלים של דיבור בפיקוח עצמי כגון HuBERT ו-wav2vec 2.0, תוך הדגשת החשיבות של הערכה מודעת להגינות12. לאחרונה, גישות מבוססות Transformer שאינן תלויות שפה הדגימו את היעילות של ייצוגי דיבור הקשריים נלמדים לזיהוי מגדר בתנאים רב-לשוניים ורועשיים13. Sinha et al. חקרו לעומק ייצוגי wav2vec 2.0 ברמת השכבות עבור סיווג גיל ומגדר, והראו כי שכבות Transformer שונות לוכדות רמות משתנות של מידע הקשור לדובר14. פיתוחים אלו מהווים את המניע למסגרת VoiceNet-RAI המוצעת, המשלבת מידע ספקטרלי קונבנציונלי מבוסס MFCC עם ייצוגי wav2vec 2.0 הקשריים, תוך שילוב שיקולים רב-לשוניים והתחשבות ב-Responsible AI.
מחקרים אחרונים הדגימו כי ניתן לאפיין את גיל ומגדר הדובר באמצעות מאפיינים אקוסטים קונבנציונליים וייצוגים המבוססים על למידה עמוקה. גישות המשלבות מידע אקוסטים וטמפורלי הראו כי מאפייני דיבור משלימים יכולים לשפר את ביצועי הסיווג של גיל ומגדר15,16. מחקרים קשורים הדגימו גם כי מאפייני דיבור מעובדים שנוצרו באמצעות ייצוגי צוואר בקבוק עמוקים (deep bottleneck representations) יכולים לשפר את ביצועי הסיווג של גיל ומגדר הדובר17. ממצאים אלו תומכים בשימוש רחב יותר בייצוגים ספקטרליים, טמפורליים ונלמדים עבור משימות סיווג הכוללות דיבור ואותות נגזרים מדיבור.
מספר מחקרים בחנו זיהוי גיל ומגדר מתוך דיבור באמצעות גישות של למידה מכונה ולמידה עמוקה18,19,20,21,22,23,24,25,26,27,28,29,30. גישות עדכניות יותר בחנו ייצוגי MFCC שווניים ורשתות עצביות עמוקות לסיווג גיל ומגדר של הדובר31, בעוד ששונות רב-לשונית ותלות בשפה נותרות שיקולים חשובים בפיתוח מערכות חסונות לסיווג דמוגרפי מבוסס קול. הבדלים בהגייה, במבנה הפונטי, במאפייני הדובר ובתנאי ההקלטה עלולים להפחית את יכולת ההכללה של המודל בין שפות ואוכלוסיות שונות. בהתאם לכך, שימוש בייצוגי דיבור ספקטרליים והקשריים משלימים עשוי לשפר את החסינות בסביבות רב-לשוניות.
אף שגישות היברידיות שילבו בעבר מאפיינים אקוסטים מרובים או מסווגי אנסמבל לצורך זיהוי דמוגרפי מבוסס קול, VoiceNet-RAI נבדל מכך על ידי שילוב של שתי רמות משלימות של ייצוג דיבור בתוך מסגרת מאוחדת. באופן ספציפי, מאפייני MFCC קונבנציונליים משמרים מאפיינים ספקטרליים וקוליים מקומיים, בעוד ש-wav2vec 2.0 מספק ייצוגים קונטקסטואליים שנלמדו מדיבור גולמי באמצעות מקודד Transformer. במקום להסתמך אך ורק על תיאורים אקוסטים שתוכננו ידנית או על ייצוג עמוק בודד, VoiceNet-RAI מבצע היתוך ברמת המאפיינים של ייצוגי MFCC ו-wav2vec 2.0 המצברים באופן זמני, ולאחר מכן מזקק את הייצוג ההיברידי שהתקבל באמצעות EfficientNet-Lite. לפיכך, החידוש המדעי טמון בשילוב המתואם של ייצוגים ספקטרליים, קונטקסטואליים בפיקוח עצמי וייצוגים עמוקים קלי משקל לסיווג מגדר וגיל, יחד עם הערכה רב-לשונית, תיקוף באמצעות מאגרי נתונים עצמאיים וניתוח הוגנות של תתי-קבוצות. שילוב זה מרחיב את צינורות סיווג הדיבור ההיבריים הקונבנציונליים, מעבר להיתוך מאפיינים המכוון לדיוק בלבד, לעבר מסגרת השוקלת בו-זמנית השלמה של ייצוגים, עיצוב מודל קלי משקל, יכולת הכללה ו-Responsible AI.
התרומות המרכזיות של מחקר זה כוללות פיתוח של גישה לזיהוי מגדר וגיל מנתוני קול באמצעות שילוב של מאפייני MFCC ו-wav2vec 2.0 עם EfficientNet-Lite. נערכו ניסויים נרחבים על מערך נתונים של הקלטות קול מ-28 שפות, כאשר נבחנו מאפיינים מקוריים, מאפייני MFCC, מאפייני wav2vec 2.0 ושילוביים באמצעות מודלים של ML ו-DL. ביצועי המודלים הוערכו הן באמצעות מערך הנתונים הרב-לשוני המלא והן באמצעות תת-קבוצה של השפה האנגלית. המסגרת הוערכה בהמשך מנקודות מבט רב-לשוניות ומבחינת בינה מלאכותית אחראית (Responsible AI) באמצעות ניתוחי תתי-קבוצות ספציפיים למגדר ולשפה, הערכה בלתי תלויה בדובר, ותיקוף באמצעות מערך הנתונים Mozilla Common Voice. בנוסף, ביצועי המסגרת המוצעת הושוו לגישות חלוציות (state-of-the-art) שדווחו בספרות הקיימת, וסופקו תוצאות של 검증 צולבת (cross-validation). גוף משמעותי של מחקרים קשורים נערך, ו-Table 1 מסכם מחקרים אלה, כולל המודלים, מערכי הנתונים והתוצאות שדווחו19,20,21,22,23,24,25,26,27,28,29,30,31.
פרוטוקול
במחקר זה נעשה שימוש במאגרי הנתונים BVC Challenging Voice Set ו-Mozilla Common Voice הזמינים לציבור, ללא מעורבות ישירה של משתתפים. לפיכך, לא נדרשו אישור אתי ממוסד או הסכמה מדעת נוספת. עובדו רק הנתונים הדרושים לסיווג מגדר וגיל, ולא נעשה ניסיון לזהות דוברים בודדים. מתודולוגיית זרימת העבודה המלאה של המסגרת המוצעת מוצגת ב-איור 1.
איסוף נתונים
מערך הנתונים ששימש בגישה המוצעת כלל קבצי אודיו בפורמט .wav שהשיגו מתוך BVC Challenging Voice Set, מערך נתונים קולי הזמין לציבור אשר פותח על ידי קבוצת Biometrics Vision and Computing (BVC) ומארח ב-GitHub32. מערך הנתונים הכיל הקלטות קוליות מ-526 אנשים, כולל 336 דוברים זכרים ו-190 דוברות נקבה. הוא כלל כ-3,964 הקלטות, הכוללות הקלטות של משפט בודד ושל מספר משפטים מכל דובר. טבלה 2 מסכמת את המאפיינים הדמוגרפיים, הכיסוי השפתי, תכונות ההקלטה, אסטרטגיית חלוקת הנתונים והגדרות עיבוד המקדם ששימשו עבור מערכי נתוני הדיבור במסגרת VoiceNet-RAI המוצעת.
חילוץ מאפיינים
קבצי שמע עובדו כדי להוציא תכונות חיוניות, אשר נשמרו לאחר מכן בקובץ CSV. מטא-נתונים, כולל גיל, מגדר והגייה של הדובר, הופקו מקובצי ה-README המתאימים. נעשה שימוש בשפת Python, יחד עם חבילת SciPy, לעיבוד קבצי ה-WAV ולהוצאת מאפיינים רלוונטיים. פונקציות התדר וה-Fast Fourier Transform (FFT) של NumPy שימשו להמרת אותות השמע מהמישור של הזמן למישור התדר. קבצי ה-WAV ייצגו את האמפליטודה כפונקציה של הזמן; עם זאת, מאפיינים הקשורים לתדר שיכולים להבדיל בין קולות גברים לנשים היו בעלי עניין רב יותר עבור משימת הסיווג33.
כדי להמיר את אותות השמע לייצוגים במישור התדר, הוטמעה התמרת פורייה בדידה (DFT) באמצעות אלגוריתם ה-FFT. התמרת פורייה ממירה אות במישור הזמן לספקטרום תדרים. מכיוון שספקטרום זה לא שימר מידע זמני, אות השמע חולק למקטעים חופפים, והתמרת פורייה הוחלה על כל מקטע באמצעות גישת התמרת פורייה לזמן קצר (STFT). הפונקציה np.fft.fft ייצרה את ספקטרום התדרים המרוכב, בעוד ש-np.fft.fftfreq סיפקה את תדרי הדגימה המתאימים. בספריית הדגימות היו זמינים 10 קבצי שמע עבור דובר יחיד. כל קובץ WAV עובד באמצעות חלונות גלישה של 200 ms כדי לחלץ את התדרים הדומיננטיים. לדוגמה, הקלטת שמע של 4 שניות הניבה רשימה של 20 ערכי תדר. עבור ספרייה המכילה 10 הקלטות, 10 הרשימות המתאימות, שכל אחת מהן הכילה 20 ערכי תדר, אוחדו לרשימה של רשימות. התדרים סוננו כדי לשמר ערכים שבין 20 Hz ל-280 Hz, בעוד שרעש פוטנציאלי סביב 50 Hz הוצא מהניתוח.
ייצוג מאפיינים היברידי של MFCC ו-wav2vec 2.0
כדי ללכוד הן ייצוגי דיבור הקשריים ברמה גבוהה והן מאפיינים אקוסטיים ברמה נמוכה, מחקר זה השתמש באסטרטגיית חילוץ מאפיינים היברידית ששילבה מאפייני MFCC עם השקהות (embeddings) של wav2vec 2.0 המבוססות על Transformer.
חילוץ מאפייני MFCC
מקדמי קפסטרליים בתדר-מל (MFCCs) הם מאפיינים הנמצאים בשימוש נרחב בעיבוד אותות קול ואודיו, במיוחד עבור יישומים כגון זיהוי דיבור וזיהוי דובר34,35. במחקר זה, מיצוי ה-MFCC הפך את אותות האודיו לווקטורי מאפיינים המייצגים תכונות רלוונטיות תפיסתיות של הדיבור. התהליך התחיל ב-pre-emphasis להגברת רכיבי תדר גבוה, ולאחריו framing ו-windowing כדי לחלק את האות למסגרות קצרות וחופפות. כל דגימת אודיו נדגמה מחדש תחילה ל-16 kHz וחולקה למסגרות של 25-ms עם חפיפה של 10-ms. לאחר מכן הוחלה התמרת פורייה מהירה (Fast Fourier Transform) על כל מסגרת כדי להמיר את האות מהמישור הזמן למישור התדר.
ספקטרום התדרים שהתקבל הועבר דרך סדרה של בנקי מסנני Mel שקירבו את תגובת התדר הבלתי ליניארית של התפיסה השמיעתית האנושית. בנקי מסננים אלה הדגישו תדרים רלוונטיים יותר מבחינה תפיסית תוך הפחתת התרומה של תדרים פחות אינפורמטיביים. לאחר מכן חושב הלוגריתם של הפלט מכל בנק מסננים כדי לקרב את הרגישות הלוגריתמית של השמיעה האנושית לעוצמת קול. לאחר מכן הוחלה התמרת קוסינוס בדידה (DCT) על האנרגיות הלוגריתמיות של בנקי המסננים כדי לבטל את המתאם בין המקדמים וליצור ייצוג דחוס של אות השמע. המקדמים שהתקבלו, המכונה MFCCs, לכדו מאפיינים ספקטרליים חשובים של הדיבור. MFCCs שימשו לסיווג מגדר וגיל מכיוון שהם לכדו מאפיינים אקוסטיים שהבדילו בין קולות על פי תכונות אלו.
חילוץ שיבוצים (embeddings) של wav2vec 2.0
מודל ה-wav2vec 2.0 Base עבר אימון מקדים על מאגרי דיבורים גדולים שאינם מתויגים. המודל כלל מקודד Transformer רב-שכבתי שעיבד קלטי גלי קול גולמיים והפיק שיבדים (embeddings) של דיבור בהקשר36.
בהינתן צורת גל קלט x ∈ RT, מודל wav2vec 2.0 ייצר רצף של ייצוגים חבויים:
Z = {z1,z1,....,zn},zi ∈ R768 (1)
כאשר לכל וקטור שיכון (embedding vector) הייתה ממדיות של 768. כדי לקבל ייצוג באורך קבוע המתאים לסיווג, בוצע תהליך של temporal mean pooling על פני כל שלבי הזמן.
(2)
מנגנון היתוך מאפיינים
המאפיינים של MFCC ו-wav2vec 2.0 הוחברו באמצעות שרשור ברמת המאפיין. באופן ספציפי, מאפייני ה-MFCC אוגדו תחילה באמצעות ממוצע זמני כדי להפיק וקטור באורך קבוע.
m ∈ R40 (3)
וקטור המאפיינים ההיברידי הסופי התקבל באופן הבא:
h = [m || zpooled] ∈ R808 (4)
כאשר || מסמנת שרשור. מיזוג זה שילב שיכומים (embeddings) קשריים עמוקים עם מאפיינים ספקטרליים שנוצרו ידנית, מה שאפשר למודל ללכוד הן מידע סמנטי ברמה גבוהה והן תבניות אקוסטיות מפורטות.
כל דגימות השמע דוגמו מחדש תחילה ל-16 kHz. מאפייני MFCC חושבו עבור כל פריים (frame) והושגו עבורם ממוצעים זמניים כדי להפיק וקטור קבוע בעל 40 ממדים, בעוד ששיכמודי (embeddings) wav2vec 2.0 עברו מיעון ממוצע (mean-pooled) לאורך הזמן כדי להפיק ייצוג בעל 768 ממדים. מכיוון ששתי קבוצות המאפיינים הומרו לווקטורים באורך קבוע לפני האיחוד, לא נדרש סנכרון זמני ברמת הפריים. ייצוגי ה-MFCC וה-wav2vec שהתקבלו שורשרו לאחר מכן לווקטור מאפיינים היברידי בעל 808 ממדים לפני שהועברו למודל הסיווג.
שילוב עם EfficientNet-Lite
וקטור המאפיינים המאוחד, h, עוצב מחדש לפורמט המתאים ללמידת מאפיינים והוזן למודל EfficientNet-Lite לצורך אימון. שכבת היטל מחוברת באופן מלא מיפתה תחילה את הווקטור בן 808 הממדים למרחב לטנטי בעל ממדים גבוהים יותר, ולאחר מכן בלוקים של EfficientNet-Lite זיקקו מאפיינים היררכיים. שכבות של נורמליזציית אצוות (Batch normalization) וdropout שימשו להפחתת התאמת-יתר (overfitting) ולשיפור הכללה של המודל. פונקציית ההפעלה SoftMax שימשה להפקת ההסתברויות החזויות הסופיות עבור מחלקות המגדר והגיל. הייצוג המאוחד, h ∈ R808, טופל בתחילה כוקטור מאפיינים חד-ממדי והועבר דרך שכבת היטל מחוברת באופן מלא שמיפתה אותו ל-4,096 ממדים. הייצוג הממופה עוצב לאחר מכן מחדש לטנזור של 1 × 64 × 64 לפני שהוזן לארכיטקטורת EfficientNet-Lite.
כדי להתאים לייצוג תכונות של דיבור בערוץ יחיד, במקום קלט תמונה קונבנציונלי בעל שלושה ערוצים, שונו השכבה הקונבולוציונית של הקלט במודל EfficientNet-Lite המקורי משלושה ערוצי קלט לאחד. שאר בלוקי חילוץ התכונות של EfficientNet-Lite נשמרו ללא שינויים ארכיטקטוניים משמעותיים. שכבת average pooling גלובלית אדפטיבית הוחלה על מפות התכונות הסופיות כדי להפיק ייצוג באורך קבוע. ראש הסיווג המקורי הוחלף בשכבה מחוברת באופן מלא (fully connected) ספציפית למשימה, המכילה שתי יחידות פלט לסיווג מגדר ומספר היחידות המתאים לקבוצות הגילים שהוגדרו מראש. לבסוף, פונקציית ההפעלה SoftMax הוחלה כדי להפיק הסתברויות למחלקות. הייצוג ההיברידי המוצע שילב שיבוצי דיבור (embeddings) מודרניים בפיקוח עצמי עם תכונות מסורתיות של עיבוד אותות. שיבוצי wav2vec 2.0 לכדו מידע קונטקסטואלי ותלויות לטווח רחוק, בעוד שתכונות ה-MFCC סיפקו מידע אקוסטי משלים ברמה נמוכה. השילוב של ייצוגים אלו שיפר את ביצועי הסיווג, במיוחד בתנאי דיבור רועשים ורב-לשוניים.
מסווג ML
במחקר זה, נותח הביצועים של מספר אלגוריתמי ML לצורך סיווג מגדר וקבוצת גיל על בסיס קול.
יער אקראי (Random Forest)
Random Forest (RF) שימש כסיווג (classifier) חסון של למידת מכונה (ML), המשלב מספר עצי החלטה (DTs) כדי לשפר את דיוק התחזיות ולהפחית התאמת יתר (overfitting). RF פעל באמצעות הליך של למידה בהרכבה (ensemble-learning), שבו תחזיות ממספר עצים אוגרו כדי להפיק את התחזית הסופית37,38. גישה זו אפשרה ל-RF ללכוד דפוסים מגוונים בנתונים תוך הפחתת התאמת היתר הנלווית בדרך כלל לעצי החלטה בודדים. האקראיות שהוכנסה במהלך בניית העצים שיפרה את יכולת ההכללה של המודל, מה שהפך את RF למתאים למשימות סיווג כגון סיווג מגדר וגיל מתוך נתוני קול.
רגרסיה לוגיסטית
רגסיה לוגיסטית (LR) שימשה כמודל ML סטטיסטי לסיווג39. עבור סיווג בינארי, LR מעריכה את ההסתברות לתוצאה מסוימת על בסיס מאפייני הקלט באמצעות הפונקציה הלוגיסטית (סיגמואיד), וההסתברויות המתוּלדות משמשות ליצירת תחזיות מחלקה. LR הייתה ישימה גם לבעיות סיווג רב-מחלקי הכוללות יותר משתי מחלקות. עבור סיווג רב-מחלקי, LR השתמשה בגישות כגון one-vs-rest או רגרסיית SoftMax, בהתאם להגדרות הסיווג.
מסווג עצי אקסטרה (Extra Tree Classifier)
השתמשו במסווג עצי תמרור (ETC) כאלגוריתם למידה מתוך מקבץ (ensemble learning), אשר שילב מספר עצי החלטה (DTs) כדי להפיק תחזיות40,41. בניגוד ל-RF, ה-ETC מ einführt אקראיות נוספת על ידי בחירת מאפיינים מועמדים וספי סבחי פיצול באופן אקראי במהלך בניית העץ. הליך זה יצר עצים בעלי מתאם נמוך יותר והפחית את רגישות המודל למאפיינים בודדים, ובכך שיפר את העמידות לרעש. השתמשו במדד ג'יני (Gini index) כקריטריון פיצול להערכת חשיבות המאפיינים ולחלוקת הנתונים.
מכונת וקטור תומך
נעשה שימוש במכונת וקטורים תומכים (SVM) כמסווג ML כדי לזהות גבול החלטה אופטימלי במרחב מאפיינים רב-ממדי42. המטרה הייתה לקבוע היפרמישור שימקסם את השוליים בין המחלקות. שוליים רחבים יותר בין גבול ההחלטה לנקודות הנתונים הקרובות ביותר תמכו בדרך כלל בהפרדה טובה יותר בין המחלקות ובביכולת הכללה. SVM היה ישיים למספר משימות ML, כולל סיווג, רגרסיה וניתוח נתונים מבוסס מאפיינים.
רשתות נוירונים קונבולוציוניות
רשתות נוירונים קונבולוציוניות (CNNs) שימשו כמודלים של למידה עמוקה (DL) למשימות סיווג הכוללות ייצוגים מובנים של נתוני תמונה ואודיו. רשתות CNN חד-ממדיות (1D-CNNs) יושמו באופן נרחב גם על נתונים סקוונציאליים וטקסטואליים. ארכיטקטורות CNN השתמשו במסננים קונבולוציוניים ובפעולות בריכה (pooling) כדי לחלץ מאפיינים מבדילים מנתוני הקלט43,44. עבור סיווג מגדר וגיל מנתוני קול, הוחלו רשתות CNN על ייצוגים המופקים מדיבור כדי ללמוד דפוסים הקשורים לגובה הצליל, תדר, טון ומאפיינים קוליים אחרים הרלוונטיים להבחנה בין קבוצות גיל ומגדר.
VGG19
VGG19 שימשה כארכיטקטורת DL המאופיינת במבנה היררכי עמוק ואחיד יחסית לחילוץ תכונות45. הארכיטקטורה שלה השתמשה במסננים קונבולוציוניים קטנים בגודל 3 × 3 לאורך 19 שכבות, מה שאיפשר חילוץ הדרגתי של תכונות מבחינות. כאשר הוחלה על ייצוגים המופקים מדיבור, VGG19 לכדה הן דפוסים אקוסטיים ברמה נמוכה, כגון שינויים בגובה הצליל וב tầncy, והן תכונות מבחנות ברמה גבוהה יותר. הארכיטקטורה העמוקה שלה אפשרה הפשטה הדרגתית של תכונות לצורך מידול מאפיינים קוליים הקשורים למגדר ולגיל.
EfficientNet-Lite
EfficientNet-Lite שימשה כארכיטקטורת DL יעילה מבחינה חישובית46,47. המודל השתמש באסטרטגיית סקלה מאוזנת כדי להשיג ביצועי סיווג חזקים תוך דרישה למשאבים חישוביים מועטים יותר מאשר ארכיטקטורות DL כבדות יותר. גישת הסקלה המשולבת שלו שקללה יחד את עומק המודל, רוחבו ורזולוציית הקלט כדי להשיג חילוץ תכונות יעיל.
EfficientNet-Lite נבחר עבור מסגרת VoiceNet-RAI המוצעת בשל הארכיטקטורה הקלה שלו והאיזון המוטב בין ביצועי הסיווג למורכבות המודל. בהשוואה לארכיטקטורות כבדות יותר, הוא השתמש בבלוקים קונבולוציוניים יעילים ובסקלינג מורכב (compound scaling) כדי להשיג למידת מאפיינים אפקטיבית עם פחות פרמטרים ודרישות חישוב נמוכות יותר. מאפיינים אלו הפכו את EfficientNet-Lite למתאים עבור מסגרת סיווג הדיבור המוצעת, ואפשרו פוטנציאל לפריסה בסביבות עם משאבים מוגבלים.
MobileNet
MobileNet שימשה כארכיטקטורת DL קלה עבור יישומים עם משאבים חישוביים מוגבלים, כולל סביבות מחשוב ניידות ומחשוב קצה48. היעילות החישובית שלה הושגה בעיקר באמצעות קונבולוציות נפרדות לעומק (depthwise separable convolutions), אשר הפחיתו את מספר הפרמטרים ואת הפעולות החישוביות בהשוואה לארכיטקטורות קונבולוציוניות קונבנציונליות. מאפיינים אלו הפכו את MobileNet למתאימה להערכת סיווג מגדר וגיל מתוך נתוני קול, תוך שמירה על דרישות חישוביות נמוכות יחסית.
InceptionV3
InceptionV3 שימשה כארכיטקטורה עמוקה לחילוץ מאפיינים היררכיים מייצוגים המופקים מדיבור49. הארכיטקטורה שילבה פעולות קונבולוציה, איחוד (pooling) ופעולות מעורבות כדי לחלץ מאפיינים ברמות שונות של הפשטה. לצורך סיווג מגדר וגיל מנתוני קול, InceptionV3 שימשה ללמידה של תבניות אקוסטיות מורכבות וייצוגים היררכיים הקשורים לווריאציות במאפייני הקול.
פרמטרי הערכה
דיוק (Accuracy) היה אחד ממדדי ההערכה השכיחים ביותר למשימות סיווג50. על אף שהדיוק סיפק מדד שימושי לביצועי הסיווג הכלליים, הוא לא תמיד סיפק הערכה מקיפה, במיוחד עבור מערכי נתונים לא מאוזנים. לכן, נעשה שימוש במדדים נוספים, כולל דיוק חיזוי (precision), רגישות (recall) ומדד F1 (F1-score), כדי להעריך את ביצועי המודל. מדדים אלו סיפקו הערכה מקיפה יותר על ידי התחשבות בחיזויים נכונים ושגויים עבור כל מחלקה.
דיוק הוגדר כיחס בין תצפיות שסווגו נכון למספר התצפיות הכולל. למרות שדיוק הוא מדד אינפורמטיבי במיוחד עבור מערכי נתונים מאוזנים, מערך הנתונים ששימש במחקר זה היה לא מאוזן. לכן, כאשר חושבו ופורשו מדדי הסיווג, נלקחו בחשבון חיוביים אמיתיים (TP), חיוביים שגויים (FP), שליליים אמיתיים (TN) ושליליים שגויים (FN). המשוואה להלן מייצגת את ההגדרה הסטנדרטית של דיוק:
דיוק = (TP+TN)/(TP+TN+FP+FN)×100 (5)
דיוק (Precision) מעריך את יכולתו של המסווג להחזיר רק מקרים רלוונטיים:
דיוק= TP/(TP+FP) ×100 (6)
Recall, הידוע גם כרגישות (sensitivity), מודד את יכולתו של המסווג לזהות את כל המקרים הרלוונטיים:
רגישות (Recall)= TP/(FN+TP) × 100 (7)
מדד ה-F1-score משלב בין דיוק (precision) לרגישות (recall) למדד אחד, והוא שימושי במיוחד להערכת ביצועי סיווג במערכי נתונים לא מאוזנים:
F1-Score =2 ×(PPV ×TPR)/(TPR+PPV) × 100 (8)
תוצאות
תוצאות ניסיוניות לסיווג גיל ומגדר הוערכו באמצעות ייצוגי מאפיינים מבוססי MFCC וייצוגים היברידיים עם מודלים של ML ו-DL. מערך הנתונים חולק לקבוצות אימון ובדיקה ביחס של 80:20, כאשר 80% שימשו לאימון ו-20% לבדיקה. חלוקה ברמת הדובר יושמה כדי למנוע מהקלטות של אותו דובר להופיע בשתי הקבוצות.
ההיפר-פרמטרים ופרטי המימוש של המסגרת המוצעת מסוכמים ב-טבלה 3. הניסויים נערכו במערכת המצוידת במעבד Intel i7-8265U CPU, ב-16 GB של RAM ובמעבד גרפי NVIDIA Tesla K80 GPU המריץ Windows 11. Python וספריית Scikit-learn שימשו לפיתוח מודלי ה-ML, בעוד שמסגרת ה-DL המוצעת מומשה באמצעות PyTorch. מודלים אלו הוערכו לצורך סיווג מגדר וגיל מתוך נתוני קול.
נעשה שימוש באופטימייזר Adam עם קצב למידה התחלתי של 1 × 10⁻4, β₂ = 0.999, ו-ε = 1 × 10⁻8. נעשה שימוש בגודל batch של 64 ובמקסימום של 50 epochs, כאשר הוגדר עצירה מוקדמת (early stopping) עם סבלנות (patience) של ארבעה epochs כדי להפחית overfitting. שיעור dropout של 0.3 הוחל על השכבות המחוברות במלואן לצורך רגולריזציה. Categorical cross-entropy שימש כפונקציית ההפסד עבור משימות הסיווג. מתזמן קצב הלמידה ReduceLROnPlateau שימש לניטור הפסד האימות (validation loss).
כדי למנוע דליפת נתונים ולהבטיח הערכה הוגנת, הוחלה הפרדה ברמת הדובר, כך ששום דובר לא הופיע הן בקבוצת האימון והן בקבוצת הבדיקה. בנוסף, בוצע אימות צולב של חמישה סבבים (five-fold cross-validation) כדי להעריך את יכולת ההכללה והחסינות של המודל המוצע.
תוצאות של מודלים המשתמשים במערך הנתונים המקורי
טבלה 4 מציגה את הביצועים של מספר מודלי ML ו-DL לסיווג מגדר על גבי מערך נתונים הכולל 28 שפות, ללא מאפייני MFCC. מדדי ההערכה ששימשו לבדיקה היו Precision, recall, F1-score ודיוק (accuracy).
מבין המודלים שהוערכו, EfficientNet-Lite השיג את הדיוק הגבוה ביותר של 83.48%, עם דיוק (precision) של 82.87%, רגישות (recall) של 84.28% ומדד F1-score של 83.54%. גם MobileNet ו-InceptionV3 הציגו ביצועים טובים, כאשר MobileNet השיג דיוק של 81.33% ו-F1-score של 83.11%, ו-InceptionV3 השיג דיוק של 80.77% ו-F1-score של 82.52%. מודל ה-CNN השיג דיוק של 75.71% ו-F1-score של 77.43%, בעוד ש-ResNet השיג דיוק של 74.37% ו-F1-score של 75.54%. המודלים SVM, RF, LR ו-ETC השיגו דיוקים בטווח של 71.42% עד 73.59% ומדדי F1-score בטווח של 72.48% עד 74.34%. VGG19 השיג דיוק נמוך יותר באופן יחסי של 70.56%, עם רגישות של 75.07% ו-F1-score של 74.17%. באופן כללי, EfficientNet-Lite ו-MobileNet הציגו את הביצועים החזקים ביותר מבין המודלים שהוערכו בעת שימוש במאפיינים המקוריים.
תוצאות של מודלים המשתמשים במאפייני MFCC
מאפייני MFCC הוערכו לאחר מכן לצורך סיווג מגדרי. טבלה 5 משווה בין ביצועיהם של מודלי ה-ML וה-DL תוך שימוש במאפייני MFCC על מערך נתונים הכולל 28 שפות.
EfficientNet-Lite השיג את הביצועים הגבוהים ביותר, עם דיוק (accuracy) של 92.64%, רגישות (precision) של 93.79%, recall של 94.92% ומדד F1-score של 94.84%. MobileNet השיג דיוק של 91.39% ומדד F1-score של 91.07%, בעוד ש-InceptionV3 השיג דיוק של 90.24% ומדד F1-score של 89.83%. ResNet השיג דיוק של 89.43% ומדד F1-score של 83.67%, בעוד ש-CNN השיג דיוק של 88.60% ומדד F1-score של 87.35%. VGG19 השיג דיוק של 87.48% ומדד F1-score של 85.58%.
מבין מודלי ה-ML המסורתיים, SVM השיג דיוק של 85.47% וציון F1 של 84.29%; RF השיג דיוק של 84.57% וציון F1 של 87.42%; LR השיג דיוק של 83.25% וציון F1 של 84.98%; ו-ETC השיג דיוק של 83.59% וציון F1 של 85.43%. באופן כללי, הכללת מאפייני MFCC שיפרה את ביצועיהם של רוב המודלים בהשוואה לתוצאות שהושגו באמצעות המאפיינים המקוריים. EfficientNet-Lite השיג את הביצועים הכוללים הגבוהים ביותר בניסוי זה.
תוצאות של מודלים המשתמשים במאפייני MFCC–wav2vec 2.0 היברידיים עם מערך הנתונים בשפה האנגלית
סט הניסויים הבא העריך סיווג מגדר באמצעות ייצוג תכונות היברידי של MFCC–wav2vec 2.0 על תת-הקבוצה בשפה האנגלית. ביצועי המודלים שהוערכו מוצגים ב-טבלה 6. EfficientNet-Lite השיג את הביצועים הגבוהים ביותר, עם דיוק (accuracy) של 97.87%, דיוק חיזוי (precision) של 98.61%, רגישות (recall) של 98.70%, ומדד F1 של 98.65%.
בין מודלי ה-ML המסורתיים, SVM השיג דיוק של 92.58% וציון F1 של 91.52%; ETC השיג דיוק של 91.49% וציון F1 של 92.79%; LR השיג דיוק של 90.64% וציון F1 של 91.34%; ו-RF השיג דיוק של 88.36% וציון F1 של 90.86%. באופן כללי, המודלים הדגימו ביצועים חזקים בתת-הקבוצה בשפה האנגלית, כאשר EfficientNet-Lite השיג את הערכים הגבוהים ביותר בכל מדדי ההערכה שדווחו.
תוצאות של תיקוף צולב חמיש-מגובה
בוצע אימות צולב חמיש-קיפול (Five-fold cross-validation) כדי להעריך את היציבות ואת יכולת ההכללה של המסגרת המוצעת. תוצאות האימות הצולב שהתקבלו באמצעות מערך הנתונים של קול בשפה האנגלית מוצגות ב- טבלה 7EfficientNet-Lite השיג סטיית תקן של ±0.0033 בחמשת הקיפולים (folds). השונות הנמוכה בין הקיפולים העידה על ביצועים יציבים תחת הגדרות האימות הצולב (cross-validation) שנבדקו.
סיווג גיל באמצעות נתוני קול
בנוסף לסיווג המגדר, הוערך סיווג הגיל באמצעות מספר מודלים ומאפייני MFCC. טבלה 8 מציגה את ביצועי המודלים שהוערכו עבור סיווג הגיל.
התוצאות הראו כי מודלי הלמידה המועברת (transfer-learning) השיגו רמות דיוק מעל 85%, כאשר MobileNet הגיע ל-85.23% ו-InceptionV3 הגיע ל-86.67%. EfficientNet-Lite השיג את הביצועים הגבוהים ביותר שדווחו, עם דיוק (accuracy) של 88.42%, דיוק חיזוי (precision) של 86.56%, ורגישות (recall) של 87.21%.
תיקוף של המסגרת המוצעת
כדי להעריך את המסגרת המוצעת על גבי מערך נתונים חיצוני, נערכו ניסויים נוספים באמצעות מערך הנתונים Mozilla Common Voice51סט המידע הכיל כ-500 שעות של הקלטות דיבור שנאספו מהמוניהם (crowdsourced), יחד עם מטא-נתונים דמוגרפיים נלווים, כולל מידע על גיל, מגדר ומבטא. הקורפוס אורגן לתתי-קבוות מוגדרות מראש של אימון, פיתוח ובדיקה. הקלטות השמע עובדו באמצעות אותו צינור עיבוד מקדימה (preprocessing pipeline) ששימש בניסויים העיקריים, כולל דגימה מחדש ל-16 kHz, חילוץ מאפייני MFCC ב-40 ממדים ויצירת שיבוצים (embeddings) של wav2vec 2.0 ב-768 ממדים. שני הייצוגים שורשרו כדי להפיק את וקטור המאפיינים ההיברידי ב-808 ממדים ששימש את VoiceNet-RAI. תוצאות התיקוף מוצגות ב- טבלה 9.
מודל EfficientNet-Lite עם ייצוג תכונות היברידי ברמה נמוכה וגבוהה השיג דיוק של 98.27% בסיווג מגדר, גבוה יותר מזה של המודלים האחרים שנבחנו. בין מודלי ה-ML, מודל RF השיג דיוק של 90.47%, מודל SVM דיוק של 90.69% ומודל LR דיוק של 89.75%. בין מודלי ה-DL האחרים, מודל ResNet השיג דיוק של 92.19%, בעוד שמודל VGG19 השיג 92.12%. ערכי הדיוק (precision), הרגישות (recall) ומדד ה-F1 המתאימים מופיעים ב-טבלה 9.
מחקר אבלציה על ייצוג ומיזוג מאפיינים
נערך מחקר אבלציה (ablation study) כדי להעריך את תרומתם של ייצוגי המאפיינים ששימשו במסגרת המוצעת. נבחנו ארבע תצורות: מאפיינים גולמיים/מקוריים, מאפייני MFCC בלבד, שיבודי (embeddings) wav2vec 2.0 בלבד, והייצוג ההיברידי המוצע של MFCC–wav2vec 2.0. EfficientNet-Lite שימש כמודל הנציג מכיוון שהשיג את הביצועים הגבוהים ביותר בכל הגדרות הניסוי שנבחנו. תוצאות האבלציה מוצגות ב- טבלה 10.
מודל הבסיס המשתמש במאפיינים גולמיים השיג דיוק של 83.48%, בעוד שהייצוג המבוסס על MFCC השיג דיוק של 92.64% וציון F1 של 94.84%. הייצוג ההיברידי MFCC–wav2vec 2.0 השיג דיוק של 97.87% וציון F1 של 98.65%. תחת חלוקות נתונים ותנאי אימון זהים עבור נתונים בשפה האנגלית, הייצוג ההיברידי MFCC–wav2vec 2.0 השיג דיוק של 97.87%, לעומת 92.64% עבור הייצוג המבוסס על MFCC בלבד.
ניסויים מבוקרים נערכו תוך שימוש במחיצות נתונים זהות, הגדרות אימון זהות ובארכיטקטורת EfficientNet-Lite כדי להעריך את התרומה של כל ייצוג תכונה. תכונות גולמיות/מקוריות, תכונות MFCC בלבד, שיבודי wav2vec 2.0 בלבד, והייצוג ההיברידי של MFCC–wav2vec 2.0 הושוו תחת תנאים אלו. תכנון ניסיוני זה שימש להערכת התרומות האישיות והמשולבות של ייצוגי התכונות.
ניתוח מובהקות סטטיסטית
כל תצורות המאפיינים בהשוואה זו הוערכו באמצעות אותה תת-קבוצה בשפה האנגלית, חלוקות נתונים זהות ברמת הדובר, ואותם חמישה קיפולים של אימות צולב (cross-validation folds). המודל המוצע השיג דיוק גבוה באופן מובהק מאשר תצורת המאפיינים הגולמיים (97.86 ± 0.23% לעומת 83.48 ± 0.24%; t (4) = 384.32, p < 0.001), תצורת MFCC בלבד (97.86 ± 0.23% לעומת 92.60 ± 0.32%; t (4) = 131.50, p < 0.001), ותצורת wav2vec 2.0 בלבד (97.86 ± 0.23% לעומת 95.34 ± 0.24%; t (4) = 126.00, p < 0.001), מה שמאשר כי השיפורים שהושגו ממיזוג MFCC–wav2vec 2.0 היו מובהקים סטטיסטית.
שיקולים של בינה מלאכותית אחראית והנחיות פריסה
בינה מלאכותית אחראית (Responsible AI) בסיווג דמוגרפי מבוסס קול דרשה התחשבות בהוגנות, שקיפות, פרטיות, פוטנציאל לשימוש לרעה וסיכונים הקשורים לפריסה, בנוסף לביצועים ניבויים. למרות שניתוח תתי-קבוצות סיפק הערכה אמפירית של הבדלי ביצועים בין קבוצות המגדר והשפה שנבחנו, לא ניתן היה לבסס הוגנות אך ורק על סמך דיוק סיווג דומה. לפיכך, מסגרת ה-VoiceNet-RAI הוערכה ממספר נקודות מבט של בינה מלאכותית אחראית.
ניתוח הגינות והטיה
ניתוח הוגנות נערך על פני תתי-קבוצות של מגדר ושפה כדי להעריך את מאפייני ה-Responsible AI של מסגרת ה-VoiceNet-RAI המוצעת. התוצאות מוצגות ב-טבלה 11. עבור הערכה לפי מגדר, ביצועי המודל נותחו בנפרד עבור דוברים זכרים ונקבות. התוצאות הראו שונות של פחות מ-1.5% בדיוק ובמדד ה-F1-score בין קבוצות המגדר שנבחנו.
עבור הערכה לשונית, נבחנו הביצועים בקבוצות השפות שנבדקו בתוך מאגר הנתונים של 28 שפות. התוצאות הראו סטייה ממוצעת של פחות מ-2% בדיוק בין הקבוצות שנבדקו, כאשר נצפתה סטייה גדולה יותר בחלק מהשפות בעלות משאבים מוגבלים עם מספר דגימות זמין נמוך יותר.
ההגינות נבחנה בנוסף באמצעות הפרש שוויון דמוגרפי (demographic parity difference), הפרש שוויון הזדמנויות (equal opportunity difference), שיעור השגויים החיוביים (FPR) ושיעור השגויים השליליים (FNR). הפרש השוויון הדמוגרפי כימת את ההבדלים בשיעורי התחזיות החיוביות בין קבוצות, בעוד שהפרש שוויון ההזדמנויות כימת את ההבדלים בשיעורי החיוביים האמיתיים (TPRs). ה-FPR וה-FNR שימשו לאפיון דפוסי שגיאה ספציפיים לתת-קבוצות. מדדים אלה השלימו את הדיוק ואת מדד ה-F1 ברמת תת-הקבוצה, וסיפקו מידע נוסף על הבדלים בביצועי המודל בין הקבוצות הדמוגרפיות והלשוניות שנבחנו. תחת הגדרות קבוצות המשנה ומערך הנתונים שנבחנו, התוצאות הצביעו על הבדלי ביצועים קטנים יחסית בין קבוצות המגדר והשפה שנבחנו. עם זאת, ממצאים אלו היו מוגבלים לקבוצות הדמוגרפיות והלשוניות שיוצגו במערכי הנתונים שנבחנו, ולא ביססו הגינות בקרב אוכלוסיות שאינן מיוצגות או בסביבות פריסה שונות.
יכולת הסבר ושקיפות
VoiceNet-RAI שילב מאפיינים אקוסטיים ניתנים לפירוש המבוססים על MFCC עם שיכומים (embeddings) קשריים של wav2vec 2.0. מחקר האבלציה העריך את התרומות של ייצוגי המאפיינים הבודדים והמשולבים. עם זאת, שיכומים של wav2vec 2.0 נותרו קשים יחסית לפירוש. לפיכך, ניתן יהיה לבחון שיטות הסבר לאחר מעשה (post-hoc) במחקרי המשך כדי לזהות את המאפיינים שתרמו בצורה החזקה ביותר לניבויים בודדים.
שמירה על הפרטיות
מכיוון שהקלטות קול הכילו מידע ביומטרי רגיש, פריסה השומרת על פרטיות דרשה נקיטת שיטות לצמצום נתונים, כולל עיבוד של המידע הדרוש למשימת הסיווג בלבד ומניעת אחסון מיותר של אודיו גולמי. אחסון מאובטח, גישה מבוקרת והסקה מקומית עשויים להפחית עוד יותר את סיכוני הפרטיות. גישות פורמליות לשמירה על פרטיות, כולל פרטיות דיפרנציאלית (differential privacy), לא נבחנו במחקר הנוכחי ונותרו כתחום לבדיקה עתידית.
פריסה אחראית
פריסה של VoiceNet-RAI תדרוש פיקוח אנושי, קבלת החלטות מודעת לרמת הביטחון (confidence-aware) וניטור ביצועים רציף. אין להשתמש בתחזיות בעלות רמת ביטחון נמוכה באופן עצמאי לצורך החלטות קריטיות, ויש להעריך מחדש את ביצועי המודל כאשר תנאי הפריסה שונים באופן מהותי מאלה המיוצגים במערכי הנתונים של האימון והתיקוף.
השוואה לטכניקות החדישות ביותר
הערכה השוואתית של המסגרת המוצעת לעומת גישות שפורסמו בעבר מוצגת ב-Table 12. נבחנו מחקרים שפורסמו בין השנים 2019 ל-2024, כולל גישות המבוססות על ML, DL ולמידה בהעברה (transfer learning). ההשוואה כללה מחקרים שדווחו בעבר באותו תחום יישום. כפי שמוצג ב-Table 12, המסגרת המוצעת השיגה דיוק מדווח גבוה יותר עבור סיווג מגדר וגיל מאשר הגישות שהושוו אליה. עם זאת, מכיוון שהמחקרים עשויים להיות שונים במערכי הנתונים, בהליכי עיבוד מקדימים, בחלוקת הנתונים ובפרוטוקולי ההערכה, ההשוואה שיקפה ביצועים מדווחים ולא השוואה ניסיונית מבוקרת פנים-אל-פנים.
זמינות נתונים:
נתוני הדיבור הגולמיים ששימשו במחקר זה זמינים לציבור מתוך מערכת הנתונים BVC Challenging Voice Set המארחת ב-GitHub ומתוך מערכת הנתונים Mozilla Common Voice. ניתן לגשת למערכת הנתונים BVC בכתובת https://github.com/OgeNI/BVC_Challenging_Voice_Set, בעוד שמערכת הנתונים Common Voice זמינה בכתובת https://www.kaggle.com/datasets/mozillaorg/common-voice/data.
איור 1: דיאגרמת ארכיטקטורה. מתודולוגיית זרימת העבודה המלאה של המסגרת המוצעת. אנא לחצו כאן כדי להציג גרסה גדולה יותר של איור זה.
| מקורות | מודלים | מערכי נתונים | תוצאות |
| 19 | GBC, DT, RF, SVM, NN | מערך הנתונים VoxForge | GBC 90% |
| 20 | Robustscaler, PCA ורגרסיה לוגיסטית רגרסיה, מודל סדרתי | voice.mozilla.org | מודל רצפי 91%. |
| 21 | CNN, CRNN, TCN | מערך נתוני הקול של Mozilla | 80% CNN |
| 22, 23 | הפצה לאחור, עץ החלטה, Bagging, RF, KNN, DNN, DL | Kaggle, מערך נתוני Mozilla Voice, ארכיון מבטאים של הדיבור | Kaggle: Bagging, KNN ו-RF 98.10%. קול נפוץ: Bagging 55.39%. מבטא דיבור: Bagging 78.94%. |
| 24 | DNN, MLP, KNN, SVC, DT, RF, SVC עם גרעין RBF, ADA, QDA, GNB, ResNET34 ו-ResNET50. | Mozilla Common Voice | ResNET50 98.57%. |
| 25 | ANN, SVM, RF, DT, NB, KNN | מאגר דיבורי ילדים של OGI, פרטי קורפוס, מאגר נתונים ספציפי, | עבור זיהוי מגדר SVM 98%, לזיהוי גיל RF 95% |
| 26 | SVM, DA, NB, DT, KNN, Ensem- ble, LightGBM | Mozilla Common Voice, VoxCeleb | LGBM 91% |
| 27 | KNN, SVM, LR, SGD, Stacked מודל | מקורים מגדריים שונים | מודל מצטבר 99.64% |
| 28 | רשת נוירונים עמוקה (DNN), מכונת וקטורים תומכים (SVM) | מקורות מגדריים שונים | SVM 97% |
| 29 | SVM, RF, CART, KNN | מערך הנתונים מכיל 3,169 דגימות | RF 93% |
| 30 | רשת עצבית קונבולוציונית (CNN) | מערך נתונים של נבדקים ניגריים | CNN 85.48%. |
| 31 | DT, RF, KNN, LR, SVM, ANN, CNN2D | 3 מערכי נתונים מ-Kaggle | חיזוי מגדר: ANN 85.51%, חיזוי גיל: ANN 89.20%. |
טבלה 1: סיכום של מחקרים קיימים על סיווג מגדר וגיל מבוסס קול, כולל מודלים, מערכי נתונים וביצועים שדווחו.
| מאפייני מערך הנתונים | תיאור / ערך | ||
| מספר הדוברים הכולל | 526 | ||
| דוברים זכרים | 336 | ||
| דוברות | 190 | ||
| סה"כ הקלטות | בערך 3,964 | ||
| מספר השפות | 28 | ||
| התפלגות לשונית | אנגלית ו-28 שפות מקומיות (אפמאי, אקוקו-אדו, אנאנג, אפיק, אקוי, פולאני, האוסה, איביביו, אידומה, איגאלה, איגבו, איגדה, איג'או, איקה, איקום, איקוור, אישאן, קאירי-קאירי, קאנורי, לוקאה, אורובו, יורובה, אובודו, אוגוני, אוקובו, אוקיריקה, טיב ואוקוואני. השבט הדומיננטי בקרב שפות מקוריות אלו במערך הנתונים הוא האיגבו. | ||
| קבוצות גיל | שלוש קבוצות גיל: צעירים (בני נוער ובני עשרים ומספר), מבוגרים (בני שלושים, ארבעים וחמישים) וקשישים (בני שישים, שבעים ושמונים) | ||
| התפלגות לפי קבוצות גיל | בני נוער (13–19 שנים) נמוך (< 10%)עשרים20–29 שניםגבוה מאוד (~35–45%)שלושים30–39 שניםגבוה (~20–30%)ארבעים40–49 שניםבינוני (~10–15%)חמישים50–59 שניםנמוך (~5–10%)שישים+60–80+ שניםדליל (< 5%) | ||
| משך ההקלטה | 3-10 שניות | ||
| תנאי ההקלטה | PCM ב-16 סיביות | ||
| קצב הדגימה המקורי | 44.1 kHz | ||
| קצב דגימה של עיבוד | 16 kHz | ||
| אורך מסגרת MFCC | 25 מילי-שנייה (ms) | ||
| חפיפת מסגרות MFCC / צעד (step) | 10 מילי-שניות | ||
| ייצוג MFCC | וקטור ממצע זמני בעל 39 ממדים | ||
| ייצוג wav2vec 2.0 | וקטור בעל 768 ממדים עם מיצוע זמני (temporally mean-pooled) | ||
| ייצוג ממוזג סופי | 807 ממדים | ||
| פיצול אימון-בדיקה | 80:20 | ||
| חלוקת נתונים | פיצול בלתי תלוי-דובר | ||
| תיקוף צולב | תיקוף צולב של 5 כפליים (5-fold cross-validation) | ||
| סט של נתוני תיקוף חיצוניים | Mozilla Common Voice | ||
טבלה 2: מאפיינים דמוגרפיים, כיסוי שפתי, חלוקת נתונים והגדרות עיבוד מקדימה של מאגר נתוני הדיבור ששימש ב-VoiceNet-RAI.
| Parameter | Value / Description | ||
| Framework | PyTorch | ||
| Hardware | NVIDIA GPU (CUDA-enabled) | ||
| Random seed | 42 | ||
| Optimizer | Adam | ||
| Initial Learning Rate | 1 × 10−4 | ||
| β₁ / β₂ | 0.9 / 0.999 | ||
| Adam epsilon | 1 × 10⁻⁸ | ||
| Batch Size | 64 | ||
| Epochs | 50 (Early stopping patience = 8) | ||
| Loss Function | Categorical Cross-Entropy | ||
| Normalization | Z-score normalization | ||
| Learning Rate Scheduler | ReduceLROnPlateau | ||
| Dropout Rate | 0.3 | ||
| Training time | 20min | ||
| Inference time/sample | 13 seconds | ||
| Feature Extraction | Feature Extraction | ||
| MFCC Coefficients | 40 | ||
| Window Size | 25 ms | ||
| Stride | 10 ms | ||
| wav2vec Variant | Base (pretrained) Embedding Dimension | ||
| Pooling Strategy | Mean pooling | ||
| Feature Fusion | Concatenation (MFCC + wav2vec) | ||
| MFCC Coefficients | 40 | ||
| Evaluation Protocol | Evaluation Protocol | ||
| Train-Test Split | Speaker-level separation | ||
| Cross-Validation | 5-Fold | ||
| Datasets | Mozilla Common Voice (28 languages + English subset) and BVC Gender & Age from Voice Challenging Dataset | ||
| Tasks | Gender and Age Classification | ||
טבלה 3: תצורת האימון, הגדרות חילוץ מאפיינים, היפר-פרמטרים ופרוטוקול הערכה ששימשו עבור VoiceNet-RAI.
| מודלים | דיוק | דיוק | רכישה מחדש (Recall) | מדד F1 (F1-score) |
| RF | 71.42 | 72.79 | 74.43 | 73.52 |
| LR | 73.59 | 74.22 | 75.40 | 74.34 |
| שרשראת העברת האלקטרונים (ETC) | 72.44 | 72.33 | 74.52 | 73.41 |
| מכונת וקטורים תומכים (SVM) | 73.52 | 72.60 | 72.39 | 72.48 |
| רשת עצבית קונבולוציונית (CNN) | 75.71 | 76.59 | 77.34 | 77.43 |
| VGG19 | 70.56 | 73.28 | 75.07 | 74.17 |
| ResNet | 74.37 | 73.49 | 76.68 | 75.54 |
| EfficientNet-Lite | 83.48 | 82.87 | 84.28 | 83.54 |
| MobileNet | 81.33 | 83.19 | 82.14 | 83.11 |
| InceptionV3 | 80.77 | 81.34 | 82.67 | 82.52 |
טבלה 4: ביצועי סיווג מגדר של מודלי ML ו-DL באמצעות מערך הנתונים של 28 שפות ללא מאפייני MFCC.
| מודלים | דיוק | דיוק | הסרה מהשוק | מדד F1 |
| RF | 84.57 | 86.53 | 87.39 | 87.42 |
| LR | 83.25 | 84.42 | 85.64 | 84.98 |
| שרשרת מעבירי האלקטרונים | 83.59 | 84.25 | 86.36 | 85.43 |
| מכונת וקטורים תומכים | 85.47 | 83.37 | 85.26 | 84.29 |
| רשת נוירונים קונבולוציונית | 88.60 | 86.75 | 88.46 | 87.35 |
| VGG19 | 87.48 | 85.49 | 85.80 | 85.58 |
| ResNet | 89.43 | 84.39 | 82.34 | 83.67 |
| EfficientNet-Lite | 92.64 | 93.79 | 94.92 | 94.84 |
| MobileNet | 91.39 | 90.64 | 91.15 | 91.07 |
| InceptionV3 | 90.24 | 88.81 | 90.70 | 89.83 |
טבלה 5: ביצועי סיווג מגדר של מודלי ML ו-DL באמצעות תכונות MFCC על מערך הנתונים של 28 שפות.
| מודלים | דיוק | דיוק | זיכרון חזרה (Recall) | מדד F1 (F1-score) |
| RF | 88.36 | 90.91 | 89.94 | 90.86 |
| LR | 90.64 | 92.24 | 91.30 | 91.34 |
| שרשרת העברת האלקטרונים (ETC) | 91.49 | 92.80 | 92.79 | 92.79 |
| SVM (מכונה וקטורית תומכת) | 92.58 | 92.75 | 90.64 | 91.52 |
| רשת עצבית קונבולוציונית (CNN) | 93.69 | 94.69 | 94.53 | 94.34 |
| VGG19 | 91.37 | 92.64 | 93.48 | 93.21 |
| ResNet | 95.28 | 96.39 | 95.52 | 95.43 |
| EfficientNet-Lite | 97.87 | 98.61 | 98.70 | 98.65 |
| MobileNet | 96.41 | 95.51 | 96.39 | 96.24 |
| InceptionV3 | 96.35 | 95.29 | 96.84 | 96.08 |
טבלה 6: ביצועי סיווג מגדר של מודלי ML ו-DL באמצעות ייצוג מאפיינים היברידי של MFCC–wav2vec 2.0 על תת-הקבוצה בשפה האנגלית.
| מודלים | דיוק | דיוק | כישרון זיכרון (Recall) | מדד F1 |
| קיפול ראשון | 97 | 93 | 96 | 94 |
| קיפול שני | 96 | 94 | 96 | 95 |
| פי שלושה | 97 | 94 | 95 | 95 |
| פי ארבעה | 96 | 93 | 95 | 94 |
| פי חמישה | 97 | 94 | 96 | 95 |
| ממוצע | 96.6 | 93.6 | 95.6 | 94.6 |
טבלה 7: ביצועי תיקוף צולב חמיש-פעמים של VoiceNet-RAI על תת-הקבוצה בשפה האנגלית.
| מודלים | דיוק | דיוק | הסריקה מחדש (Recall) | מדד F1 |
| RF | 80.15 | 78.68 | 79.27 | 79.04 |
| LR | 81.28 | 80.69 | 80.43 | 80.54 |
| שרשרת העברת אלקטרונים | 80.58 | 81.21 | 80.82 | 81.04 |
| מכונת וקטורים תומכים (SVM) | 82.54 | 81.31 | 82.14 | 81.78 |
| רשת נוירונים קונבולוציונית | 85.27 | 84.39 | 84.47 | 84.43 |
| VGG19 | 83.73 | 82.97 | 83.53 | 83.48 |
| ResNet | 82.68 | 81.42 | 80.78 | 81.95 |
| EfficientNet-Lite | 88.42 | 86.56 | 87.21 | 86.97 |
| MobileNet | 85.23 | 85.64 | 85.95 | 85.81 |
| InceptionV3 | 86.67 | 85.86 | 86.78 | 86.35 |
טבלה 8: ביצועי סיווג גיל של מודלי ML ו-DL במונחים של דיוק (accuracy), רבדיות (precision), רגישות (recall) ומדד F1-score.
| מודלים | דיוק | דיוק | הסרה (Recall) | מדד F1 |
| RF | 90.47 | 92.82 | 90.85 | 91.32 |
| LR | 89.75 | 90.44 | 89.61 | 90.03 |
| שרשרת העברת האלקטרונים (ETC) | 92.63 | 91.29 | 91.55 | 91.42 |
| מכונת וקטורים תומכים (SVM) | 90.69 | 91.84 | 91.81 | 91.82 |
| רשת נוירונים קונבולוציונית (CNN) | 94.63 | 95.52 | 94.24 | 94.94 |
| VGG19 | 92.12 | 91.34 | 90.52 | 91.10 |
| ResNet | 92.19 | 91.98 | 92.27 | 92.25 |
| EfficientNet-Lite | 98.27 | 98.63 | 98.44 | 98.56 |
| MobileNet | 97.28 | 96.36 | 97.01 | 96.40 |
| InceptionV3 | 95.85 | 96.18 | 97.35 | 97.17 |
טבלה 9: תוצאות תיקוף חיצוני לסיווג מגדר במאגר הנתונים Mozilla Common Voice באמצעות ייצוג תכונות היברידי של MFCC–wav2vec 2.0.
| תצורת מאפיינים | דיוק (%) | דיוק (Precision) (%) | F1-Score (%) |
| מאפיינים גולמיים (ללא MFCC) | 83.48 | 82.87 | 83.54 |
| MFCC בלבד | 92.64 | 93.79 | 94.84 |
| wav2vec 2.0 בלבד | 95.34 | 96.32 | 95.18 |
| MFCC + wav2vec (המוצע) | 97.87 | 98.61 | 98.65 |
טבלה 10: ניתוח אבלציה (Ablation analysis) של ייצוגי מאפיינים באמצעות EfficientNet-Lite.
| קבוצת הערכה | תת-קבוצה | דיוק (%) | מדד F1 (%) | FPR | FNR | הפרש שוויון דמוגרפי | הפרש שוויון הזדמנויות |
| מגדר | זכר | 97.95 | 97.95 | 0.021 | 0.024 | _ | _ |
| מגדר | נקבה | 97.62 | 98.50 | 0.024 | 0.027 | _ | _ |
| פער מגדרי | זכר לעומת נקבה | _ | _ | _ | _ | 0.012 | 0.003 |
| שפות בעלות משאבים גבוהים | 98.10 | 98.80 | 0.018 | 0.021 | _ | _ | |
| שפות דלות-משאבים | 96.85 | 97.90 | 0.031 | 0.034 | _ | _ | |
| פער שפתי | גבוה לעומת נמוך | _ | _ | _ | _ | 0.028 | 0.014 |
טבלה 11: הערכת הוגנות על פני תתי-קבוצות של מגדר ומשאבי שפה. קיצורים: FPR = שיעור חיוביים שגויים; FNR = שיעור שליליים שגויים. הפרש שוויון דמוגרפי והפרש הזדמנות שווה מייצגים פערים בין-קבוצתיים, ולכן הם מדווחים עבור השוואות בין תתי-קבוצות ולא עבור קבוצות בודדות. ערכי פער נמוכים יותר מעידים על התנהגות עקבית יותר של המודל בין הקבוצות.
| מקור | גישה | דיוק |
| 16 | סרטן כיס המרה (GBC) | 90%. |
| 17 | מודל סקוונסיאלי (Sequential Model) | 91% |
| 18 | רשת עצבית קונבולוציונית (CNN) | 80% |
| 19 | Bagging, KNN ו-RF | 98.10%. |
| 20 | ResNET50 | 98.57%. |
| 21 | מכונה וקטורית תומכת (SVM) | 98% |
| 22 | LGBM | 91% |
| 23 | מודל ערימה (Stacked model) | 99.64% |
| 24 | SVM (מכונת וקטורים תומכים) | 97% |
| 25 | RF | 93% |
| 26 | רשת נוירונים קונבולוציונית (CNN) | 85.48% |
| 27 | רשת עצבית מלאכותית | 89.20% |
| מחקר זה | EfficientNet-Lite | 97.87% |
טבלה 12: השוואת דיוק של VoiceNet-RAI מול גישות state-of-the-art שדווחו בעבר לסיווג מגדר וגיל מבוסס קול.
דיון
מחקר זה פיתח והעריך מסגרת אוטומטית לסיווג מגדר וגיל מנתוני קול על ידי שילוב מאפייני MFCC והטמעות wav2vec 2.0 עם EfficientNet-Lite. בניסויים הראשוניים, EfficientNet-Lite השיגה דיוק (accuracy) של 83.48%, דיוק חיזוי (precision) של 82.87%, רגישות (recall) של 84.28%, ומדד F1 של 83.54% תוך שימוש במאפיינים המקוריים. בעקבות שילוב מאפייני MFCC, הביצועים השתפרו באופן משמעותי, עם דיוק של 92.64%, דיוק חיזוי של 93.79%, רגישות של 94.92%, ומדד F1 של 94.84% על מערך נתונים הכולל 28 שפות. בשימוש בייצוג ההיברידי MFCC–wav2vec 2.0 על תת-קבוצה בשפה האנגלית, EfficientNet-Lite השיגה דיוק של 97.87%, דיוק חיזוי של 98.61%, רגישות של 98.70%, ומדד F1 של 98.65%, רגישות של 98.70%, דיוק חיזוי של 98.61%, ומדד F1 של 98.65%. יכולת ההכללה נבחנה עוד באמצעות מערך הנתונים Mozilla Common Voice, שבו המסגרת המוצעת הראתה אף היא ביצועים חזקים. בנוסף, יציבות המודל הוערכה באמצעות 검증-צולב (cross-validation) של חמישה סבבים.
השיפור שנצפה לאחר שילוב תכונות MFCC העיד כי מאפיינים ספקטרליים ברמה נמוכה, כולל גובה צליל (pitch), גוון (timbre) ומידע על דרכי הדמיון (vocal tract), נותרו בעלי יכולת הבחנה גבוהה לסיווג מגדר וגיל. העלייה הנוספת בביצועים שהושגה עם ייצוג MFCC–wav2vec 2.0 ההיברידי העלתה כי שיבוצים (embeddings) מבוססי Transformer הקשריים סיפקו מידע משלים שלא נלכד במלואו על ידי תכונות אקוסטיות שתוכננו ידנית בלבד. השלמה זו עשויה להסביר את הביצועים המשופרים של הייצוג ההיברידי המוצע בהשוואה לתצורות המקורית ולזו שהתבססה על MFCC בלבד. הביצועים החזקים יותר שנצפו בתת-קבוצה בשפה האנגלית העלו גם כי שונות לשונית עשויה הייתה לתרום לקשיי הסיווג. כאשר שולבו מספר שפות, הבדלים בהגייה, במבטא, במבנה הפונטי ובהתפלגות הדגימות עשויים היו להכניס שונות נוספת, בעוד שסביבת השפה הבודדת סיפקה מרחב תכונות הומוגני יותר. תיקוף באמצעות מערך הנתונים Mozilla Common Voice העלה עוד כי הייצוג המוצע הכלל מעבר למערך הנתונים הראשוני, אם כי הבדלים בתנאי ההקלטה ובהתפלגויות דמוגרפיות עשויים היו עדיין להשפיע על הביצועים.
באופן כללי, התוצאות הצביעו על כך שביצועיו של VoiceNet-RAI הונעו על ידי תרומות משלימות של ייצוגי דיבור ספקטרליים והקשריים, ולא על ידי סוג מאפיין בודד. עם זאת, שינויי הביצועים שנותרו בין שפות וקבוצות גיל הדגישו את הצורך בהערכה רחבה יותר של תתי-קבוצות, בבדיקת עמידות לרעש ובהשוואות נוספות עם מודלים עדכניים של דיבור בלמידה עצמית (self-supervised).
גישות חלופיות לסיווג מגדר וגיל מבוסס דיבור כוללות מאפיינים אקוסטיים שהוצבו ידנית עם מסווגי ML קונבנציונליים, למידה מבוססת CNN מייצוגי דיבור, שיטות אנסמבל ומודלים בפיקוח עצמי כגון HuBERT, WavLM ו-data2vec. לעומת זאת, VoiceNet-RAI משלב מידע ספקטרלי מבוסס MFCC עם שיבועי (embeddings) wav2vec 2.0 קונטקסטואליים כדי לנצל את החוזקות המשלים של ייצוגי דיבור שהוצבו ידנית וייצוגים שנלמדו.
למחקר זה היו מספר מגבלות. ראשית, למערך הנתונים הראשי היו התפלגויות לא מאוזנות בין מגדרים, שפות וקבוצות גיל, דבר שעשוי היה להשפיע על ביצועי תתי-הקבוצות ולהגביל את היכולת להכליל את הממצאים על אוכלוסיות המיוצגות בחסר. שנית, הבדלים במכשירי ההקלטה, במבטאים, בהגייה ובתנאים האקוסטיים עשויים היו להשפיע על אמינות הסיווג. שלישית, אף על פי שהתיקוף באמצעות מערך הנתונים Mozilla Common Voice תמך ביכולת ההכללה מעבר למערך הנתונים הראשי, נותרה צורך בהערכה רחבה יותר באמצעות מערכי נתונים נוספים מהעולם האמיתי. לבסוף, פריסת סיווג דמוגרפי מבוסס קול העלתה חששות הנוגעים לפרטיות, הוגנות ואתיקה, במיוחד ביישומים שאינם נשלטים או בעלי השפעה גבוהה. לכן, ניטור רצוף של הביצועים, פיקוח אנושי ושיטות פריסה מודעות לפרטיות יהיו נחוצים ליישום אחראי. המסגרת הדגימה פוטנציאל ליישומים באינטראקציה בין אדם למחשב, אימות מבוסס קול, ניתוח דיבור ופורנזיקה דיגיטלית. עבודות עתידיות ישוו את VoiceNet-RAI למודלי דיבור לאly-supervised עדכניים, כולל HuBERT, WavLM ו-data2vec, ויבחנו מנגנון קשב (attention) ספציפי למשימה על גבי ייצוג MFCC–wav2vec 2.0 הממוזג. בניגוד למנגנון השלישי-קשב (self-attention) הפנימי של wav2vec 2.0, המנגנון המוצע לעתיד ישקלל באופן מפורש מידע זמני ובמישור התכונות הרלוונטי למשימה עבור סיווג מגדר וגיל.
גילויים
למחברים אין ניגודי עניינים להצהיר עליהם.
תודות
המחברים מעוניינים להודות לפרויקט תמיכה בחוקרים של אוניברסיטת הנסיכה נורה בינת עבדולרחמן מספר (PNURSP2026R748), אוניברסיטת הנסיכה נורה בינת עבדולרחמן, ריאד, ערב הסעודית, על מימון מחקר זה.
חומרים
| שם | חברה | מספר קטלוג | הערות |
|---|---|---|---|
| סט קולות מאתגרים של BVC | קבוצת חזון ומחשוב בביומטריה / OgeNI | מערך קולות מאתגר של BVC | https://github.com/OgeNI/BVC_Challenging_Voice_Set |
| EfficientNet-Lite | גוגל | EfficientNet-Lite, הגרסה המדויקת שנעשה בה שימוש | https://github.com/tensorflow/tpu/tree/master/models/official/efficientnet/lite |
| מעבד גרפי | NVIDIA | Tesla K80 | https://www.nvidia.com/ |
| מאגר הנתונים Mozilla Common Voice | Mozilla Foundation | Common Voice, הגרסה ששימשה בניסויים | https://www.kaggle.com/datasets/mozillaorg/common-voice/data |
| NumPy | מפתחי NumPy | הגרסה המדויקת שבה נעשה שימוש בניסויים | https://numpy.org/ |
| מעבד | אינטל | Intel Core i7-8265U | https://www.intel.com/ |
| פייתון | Python Software Foundation | הגרסה המדויקת שנעשה בה שימוש בניסויים | https://www.python.org/ |
| PyTorch | PyTorch Foundation | הגרסה המדויקת ששימשה בניסויים | https://pytorch.org/ |
| Scikit-learn | מפתחי Scikit-learn | הגרסה המדויקת ששימשה בניסויים | https://scikit-learn.org/ |
| SciPy | מפתחי SciPy | הגרסה המדויקת שבה נעשה שימוש בניסויים | https://scipy.org/ |
| wav2vec 2.0 Base | Meta AI | facebook/wav2vec2-base | https://huggingface.co/facebook/wav2vec2-base |
| Windows 11 | Microsoft | Windows 11, מהדורה/גרסה מדויקת אם זמינה | https://www.microsoft.com/windows/windows-11 |
מקורות
- Pahwa A, Aggarwal G. Speech feature extraction for gender recognition. Int J Image Graph Signal Process. 2016;8:17.
- Ericsdotter C, Ericsson AM. Gender differences in vowel duration in read Swedish: Preliminary results. Work Pap Lund Univ Dep Linguist Phon. 2001;49:34-37.
- Gamit MR, Dhameliya K, Bhatt NS. Classification techniques for speech recognition: A review. Int J Emerg Technol Adv Eng. 2015;5:58-63.
- Rabiner LR, Juang BH. Fundamentals of Speech Recognition. PTR Prentice Hall; Englewood Cliffs, NJ; 1993.
- Hansen JHL, Hasan T. Speaker recognition by machines and humans: A tutorial review. IEEE Signal Process Mag. 2015;32(6):74-99.
- Zhang Y, et al. Towards end-to-end speech recognition with deep convolutional neural networks [conference presentation]. Presented at: Interspeech 2016; San Francisco, CA; 2016. p. 410-414. Available from: https://www.isca-archive.org/interspeech_2016/zhang16b_interspeech.html
- Kabil SH, Muckenhirn H, Magimai-Doss M. On learning to identify genders from raw speech signal using CNNs [conference presentation]. Presented at: Interspeech 2018; Hyderabad, India; 2018. p. 287-291. Available from: https://www.isca-archive.org/interspeech_2018/kabil18_interspeech.html
- Albawi S, Mohammed TA, Al-Zawi S. Understanding of a convolutional neural network [conference presentation]. Presented at: 2017 International Conference on Engineering and Technology (ICET); Antalya, Türkiye; 2017. p. 1-6. Available from: https://ieeexplore.ieee.org/document/8308186
- Abdi H, Williams LJ. Principal component analysis. Wiley Interdiscip Rev Comput Stat. 2010;2(4):433-459.
- Mavaddati S. Voice-based age, gender, and language recognition based on ResNet deep model and transfer learning in spectro-temporal domain. Neurocomputing. 2024;580:127429.
- Jiang H, et al. 3WD-DRT: A three-way decision enhanced dynamic routing transformer for cost-sensitive multimodal sentiment analysis. Inf Sci. 2026;725:122704.
- Jameel HK, Al Ghrairi AHT, Neamah MM. Self-supervised learning for speech recognition: A review. Dijlah J Eng Sci. 2026;3(2).
- Anidjar OH, Yozevitch R. Transformer-based language-independent gender recognition in noisy audio environments. Sci Rep. 2025;15(1):14421.
- Sinha A, Kathania HK, Kurimo M. A study on the layer-wise transferability of self-supervised learning features for children's speech processing tasks. Speech Commun. 2026;180:103392.
- Li M, Han KJ, Narayanan SS. Automatic speaker age and gender recognition using acoustic and prosodic level information fusion. Comput Speech Lang. 2013;27(1):151-167.
- Sánchez-Hevia HA, Gil-Pita R, Utrilla-Manso M, Rosa-Zurera M. Age group classification and gender recognition from speech with temporal convolutional neural networks. Multimed Tools Appl. 2022;81:3535-3552.
- Abu Mallouh A, Qawaqneh Z, Barkana BD. New transformed features generated by deep bottleneck extractor and a GMM–UBM classifier for speaker age and gender classification. Neural Comput Appl. 2018;30:2581-2593.
- Almomani A, et al. Age and gender classification using backpropagation and bagging algorithms. Comput Mater Contin. 2023;74(2):3045-3062.
- Sahar RM, Rao TS, Anuradha S, Rao BS. Performance analysis of ML algorithms to detect gender based on voice. In: Recent Trends in Intensive Computing. 2021. p. 163-171. Available from: https://journals.sagepub.com/doi/abs/10.3233/APC210192
- Kone VS, et al. Voice-based gender and age recognition system [conference presentation]. Presented at: 2023 International Conference on Advancement in Computation & Computer Technologies (InCACCT); Gharuan, India; 2023. p. 74-80. Available from: https://ieeexplore.ieee.org/document/10141801
- Alhussein M, Muhammad G. Voice gender recognition under unconstrained environments using self-attention. Appl Acoust. 2021;175:107823.
- Yücesoy E. Automatic age and gender recognition using ensemble learning. Appl Sci. 2024;14(16):6868.
- Alnuaim AA, et al. Speaker gender recognition based on deep neural networks and ResNet50. Wirel Commun Mob Comput. 2022;2022:4444388.
- Ibrahim F, Nahar KMO, Al-Shannaq MA. Gender identification and age estimation of Arabic speaker using machine learning. J Theor Appl Inf Technol. 2020;98(19):3242-3256.
- Kannapiran P, Sindha MMR. Voice-based gender recognition model using FRT and LightGBM. Teh Vjesn. 2023;30:282-291.
- Alkhammash EH, Hadjouni M, Elshewey AM. A hybrid ensemble stacking model for gender voice recognition approach. Electronics. 2022;11:1750.
- Mutiany M, Herlistiono IO. Gender detection by voice using deep learning. Int J Innov Sci Res Technol. 2020;5(10):841-845.
- Raahul A, Sapthagiri R, Pankaj PK, Vijayarajan V. Voice based gender classification using machine learning. IOP Conf Ser Mater Sci Eng. 2017;263(4):042083. Available from: https://iopscience.iop.org/article/10.1088/1757-899X/263/4/042083
- Iloanusi O, et al. Voice recognition and gender classification in the context of native languages and lingua franca [conference presentation]. Presented at: 2019 6th International Conference on Soft Computing & Machine Intelligence (ISCMI); Johannesburg, South Africa; 2019. p. 175-179. Available from: https://ieeexplore.ieee.org/document/9004306
- Gupta Y, Gangwar K, Singhal M, Hemavathi D. Gender and age recognition using audio data-artificial neural networks. In: Soft Computing for Security Applications: Proceedings of ICSCS 2021. Springer; 2022. p. 449-470. Available from: https://link.springer.com/chapter/10.1007/978-981-16-5301-8_34
- Qawaqneh Z, Mallouh AA, Barkana BD. Deep neural network framework and transformed MFCCs for speaker’s age and gender classification. Knowl-Based Syst. 2017;115:5-14.
- OgeNI. BVC Challenging Voice Set [Internet]. GitHub; 2025 [cited 2026 Aug 16]. Available from: https://github.com/OgeNI/BVC_Challenging_Voice_Set
- Oppenheim AV, Schafer RW. Discrete-Time Signal Processing. 3rd ed. Pearson; Upper Saddle River, NJ; 2010.
- Logan B. Mel frequency cepstral coefficients for music modeling [conference presentation]. Presented at: International Society for Music Information Retrieval Conference (ISMIR); Plymouth, UK; 2000. Available from: https://ismir.net/conferences/ismir-2000/
- Davis SB, Mermelstein P. Comparison of parametric representations for monosyllabic word recognition in continuously spoken sentences. IEEE Trans Acoust Speech Signal Process. 1980;28(4):357-366.
- Baevski A, Zhou H, Mohamed A, Auli M. wav2vec 2.0: A framework for self-supervised learning of speech representations [conference presentation]. Presented at: Advances in Neural Information Processing Systems 33 (NeurIPS 2020); Virtual; 2020. p. 12449-12460. Available from: https://proceedings.neurips.cc/paper/2020/hash/92d1e1eb1cd6f9fba3227870bb6d7f07-Abstract.html
- Yıldırım Ş, Bingöl MS. Metaheuristic approaches to enhance voice-based gender identification using machine learning methods. Appl Sci. 2025;15(23):12815.
- Breiman L. Random forests. Mach Learn. 2001;45:5-32.
- Hosmer DW Jr, Lemeshow S, Sturdivant RX. Applied Logistic Regression. 3rd ed. Wiley; Hoboken, NJ; 2013.
- Geurts P, Ernst D, Wehenkel L. Extremely randomized trees. Mach Learn. 2006;63:3-42.
- Yücesoy E, Nabiyev VV. A new approach with score-level fusion for the classification of a speaker age and gender. Comput Electr Eng. 2016;53:29-39.
- Cortes C, Vapnik V. Support-vector networks. Mach Learn. 1995;20:273-297.
- Abdel-Hamid O, et al. Convolutional neural networks for speech recognition. IEEE/ACM Trans Audio Speech Lang Process. 2014;22(10):1533-1545.
- Nasaruddin N, Pratama Tresma MAP, Muchamad MK, Fuadi Z. Voice frequency-based gender classification using convolutional neural network for smart home. IEEE Access. 2024;12:104190-104203.
- Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition [conference presentation]. Presented at: International Conference on Learning Representations (ICLR); San Diego, CA; 2015. Available from: https://iclr.cc/archive/www/2015.html
- Tan M, Le QV. EfficientNet: Rethinking model scaling for convolutional neural networks [conference presentation]. Presented at: 36th International Conference on Machine Learning (ICML); Long Beach, CA; 2019. p. 6105-6114. Available from: https://proceedings.mlr.press/v97/tan19a.html
- Ertam F. An effective gender recognition approach using voice data via deeper LSTM networks. Appl Acoust. 2019;156:351-358.
- Zhao L, Wang L, Jia Y, Cui Y. A lightweight deep neural network with higher accuracy. PLoS One. 2022;17(8):e0271225.
- Szegedy C, et al. Rethinking the Inception architecture for computer vision [conference presentation]. Presented at: IEEE Conference on Computer Vision and Pattern Recognition (CVPR); Las Vegas, NV; 2016. p. 2818-2826. Available from: https://openaccess.thecvf.com/content_cvpr_2016/html/Szegedy_Rethinking_the_Inception_CVPR_2016_paper.html
- Sokolova M, Lapalme G. A systematic analysis of performance measures for classification tasks. Inf Process Manag. 2009;45(4):427-437.
- Mozilla Common Voice Project. Common Voice Dataset [Internet]. 2024 [cited 2024 Jun 18]. Available from: https://www.kaggle.com/datasets/mozillaorg/common-voice/data