מאמר סקירה

ארכיטקטורה מולטימודלית לאי-דיוק בתיוג פונמות בדיבור דיסארטרי: שילוב טרנספורמרים ו-TCNs לשיקום קליני

DOI:

10.3791/70447

⸱

26 במאי 2026

 , 
1Nanjing University of Chinese Medicine, Affiliated Hospital of Nanjing University of Chinese Medicine, 2Department of Plastic Surgery, Affiliated Hospital of Nanjing University of Chinese Medicine

במאמר זה

סיכום

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סקירה זו בוחנת כיצד ארכיטקטורות רב-מודליות המשלבות מידע שמיעתי, ארטיקולטורי וחזותי, יחד עם מודלים של טרנספורמר ו-TCN, יכולות לשפר את זיהוי הפונמות בדיבור דיסארטרי. הוא מדגיש את הפוטנציאל שלהן לשפר את הערכת הבנת הדיבור וטיפול מותאם אישית מעבר ליכולות של מערכות ASR טיפוסיות.

תקציר

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

עקב בעיות הגייה ושונות פונמית, הפרעות דיבור כמו דיסארתריה מציבות אתגרים משמעותיים בשיקום קליני. מערכות זיהוי דיבור אוטומטיות מסורתיות (ASR), שמאומנות בדרך כלל על מערכי נתונים נורמטיביים, לעיתים קרובות נכשלות בפענוח מדויק של דיבור דיסארתרי. פריצות דרך אחרונות בבינה מלאכותית ולמידה עמוקה אפשרו שילוב של ארכיטקטורות מולטימודליות, כגון מיזוג מידע שמיעתי, ארטיקולטורי וחזותי לתיעוד דפוסי דיבור מורכבים, מה שהופך זאת לאפשרי יותר ויותר. בסקירה זו חקרנו את ההתכנסות בין טרנספורמרים ורשתות קונבולוציונליות זמניות (TCNs) בתוך מסגרות רב-מודליות כדי להתמודד עם חוסר דיוק בתיוג פונמות בדיבור דיסארתי. כאן נדון כיצד מידול הקשרי מבוסס טרנספורמרים ודיוק זמן מונע TCN יכולים לשפר את זיהוי, סיווג ומשוב שיקום גבולות הפונמות. הסקירה גם דנה בפוטנציאל של מערכות היברידיות כאלה בטיפול דיבור מותאם אישית, סוגיות פרשנות ויישומים קליניים. ארכיטקטורות מולטימודליות הן גישה תרגומית לשיפור המעקב הטיפולי, עזרי תקשורת והערכת הבנת דיבור לאנשים עם הפרעות דיבור מוטוריות, על ידי גישור בין רפואה קלינית לאינפורמטיקה רפואית.

מבוא

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

פגיעה במערכת העצבים עלולה לעיתים להוביל להשלכות בריאותיות דרסטיות ופתאומיות, הכוללות הפרעות במערכת השרירים והשלד, הפרעות נוירווסקולריות ואחרות כמו הפרעות תקשורת נוירוגניות. הפרעות תקשורת נוירוגניות כוללות הפרעות כמו דיסארתריה ואפרקסיה, שניתן להגדיר כדיבור מטושטש עקב חולשת שרירים וקושי בתכנון תנועות דיבור, בהתאמה1. הדיבור מורכב מחמישה תת-מערכות: נשימה, פונציה, תהודה, ארטיקולציה ופרוזודיה, שכולם חייבים לעבוד יחד בסינרגיה ובחלק כדי לתקשר ביעילות2. דיסארתריה, הנגרמת מתפקוד לקוי בתת-מערכות אלו, מפחיתה את השמיעה, הטבעיות, ההבנה ויעילות התקשורת, מה שמשפיע משמעותית על חיי המטופלים ובני משפחותיהם. דיסארתריה יכולה להיגרם ממגוון מחלות נוירולוגיות ופתולוגיות בסיסיות, כולל תפקוד לקוי בקורטקס המוחי, בגנגליונים בסיסיים, במוחון, בגרעינים בסיסיים, בעצבים הגולגולתיים או בעצבים ההיקפיים. גורמים נוספים כוללים בעיות מוטוריות ראשוניות בלשון, גרון וגרון3.

דיסארתריה היא מונח כולל להפרעות דיבור מוטוריות הנגרמות משינוי בשליטה הנוירומוסקולרית המשפיע על נשימה, פונציה, תהודה, ייצור דיבור, קוליות וקצב. לכן, דיסארתריה היא הפרעת דיבור שלרוב מקושרת לליקויים נוירומוסקולריים ופציעות, כאשר השרירים המשמשים לדיבור חלשים, איטיים או משותקים. סוגי שרירים ספציפיים המעורבים בדיבור כוללים את אלו של הלשון, הגרון, הפנים, השפתיים, מיתרי הקול, הלסתות ושרירי דרכי הנשימה העליונות. הנזק לשרירים אלו עשוי להתבטא בצורות שונות, כולל פגיעות בנוירונים המוטוריים שמעצבבים אותם או בכלי הדם שלהם, מה שמונע מהם חמצן. נזקים נוירולוגיים טיפוסיים שמקשים על הולכת הדיבור כוללים נזק לנוירון המוטורי העליון שעלול לגרום לנוקשות או ספסטיות של שרירי הדיבור, פגיעות בנוירונים מוטוריים תחתונים שעלולות לגרום לחולשה או שיתוק בשריר כתוצאה מאותות עצבים מופרעים, פגיעות מוחון שלעיתים גורמות לחוסר קואורדינציה בין השרירים (אטקסיה) או נזק לגנגליון הבסיסי שמפריע לתנועות מתואמות ועלול לגרום לתנועות לא רצוניות (היפרקינטיות) או נוקשות השרירים (תנועות היפוקינטיות) 5.

דיסארתריה היא תסמין נפוץ של הפרעות נוירולוגיות שונות ולעיתים קרובות מקושרת למחלות נוירולוגיות מתקדמות. היא משפיעה משמעותית על המטופל ועל משפחותיו, שכן התקשורת ממלאת תפקיד מרכזי בהבעת האישיות ובשמירה על קשרים חברתיים. ההפרעה מאופיינת בירידה בהבנת הדיבור. תוכן השפה המדוברת נשאר שלם, ומאפשר למטופל לכתוב ולפרש גם את השפה המדוברת וגם את השפה הכתובה; מצד שני, אנארתריה היא הסוג החמור ביותר, וגורמת לאובדן מלאשל תפוקת דיבור מוטורית. ישנם שישה סיווגים עיקריים של דיסארתריה: דיסארתריה רפויה, הקשורה לתפקוד לקוי של הנוירונים המוטוריים התחתונים; דיסארתריה ספסטית, הנובעת מנזק לנוירונים המוטוריים העליונים המחוברים לאזורים המוטוריים של הקורטקס המוחי; דיסארתריה אטקסית, שנגרמת בעיקר מבעיות מוחון; ודיסארתריה היפרקינטית ודיסארתריה היפוקינטית, שתיהן קשורות להפרעות במערכת האקסטרפירמידלית. הסוג השישי נקרא בדרך כלל דיסארתריה מעורבת ולעיתים קרובות קשור לנזק באזורים מרובים, מה שמוביל לתכונות דיבור שמציגות תכונות לפחות משתי קטגוריות. הפרעות הדיבור הקשורות לששת הסוגים העיקריים של דיסארתריה הן ייחודיות ויכולות לסייע באבחון וטיפול בדיסארתריה 5,6.

הגורמים האטיולוגיים התורמים לאתגרים בהארטיקולציה כוללים זיהומים (כגון מחלת קרויצפלדט–יעקב ותסמונת הכשל החיסוני הנרכש), בעיות כלי דם (שבץ איסכמי ודימומי), גידולים (ניאופלזמות מוח), מחלות דמיאלינציה (כולל טרשת נפוצה ותסמונת גילן–בארה), הפרעות ניווניות (כמו מחלת פרקינסון ומחלת הנטינגטון), פגיעות (פגיעות מוח טראומטיות ושיתוק מוחין), חשיפות רעילות (למתכות כבדות, אלכוהול, וסמים), ומצבים גנטיים (למשל, SANDO)7. בנוסף, גורמים לא נוירולוגיים, כמו שפה שסועה או חיך, עלולים גם הם לגרום לבעיות בהארטיקולציה, אך אלה אינם נכללים בקטגוריה של דיסארתריה8.

חשיבותה של דיסארתריה בסביבות קליניות טמונה בהשפעתה המשמעותית על איכות החיים של הפרטים. מכיוון שתקשורת חיונית למעורבות חברתית, חינוכית ומקצועית, אלו הסובלים ממנה לעיתים קרובות מתמודדים עם תחושות של בידוד וירידה ברווחה6. אבחון מדויק של סוגי הדיסארתריה השונים, לדוגמה: רפוי, ספסטי, אטקסי, היפרקינטי, היפוקינטי ומעורב, הוא חיוני לזיהוי הבעיות הנוירולוגיות הבסיסיות ולהערכת גישות שיקום. קלינאי תקשורת וקלינאים תלויים לעיתים קרובות בניתוח המאפיינים והחומרה של דיסארתריה כדי להתאים את הטיפול, לקבוע מטרות תקשורת ברות השגה ולהעריך את הצורךבשיטות תקשורת משגברות ואלטרנטיביות. עבור אנשים עם קשיי דיבור, מערכות זיהוי דיבור אוטומטיות (ASR) נמצאו כמשפרות את הנגישות והאינטראקציה החברתית. עם זאת, מודלים אקוסטיים לא מספקים פגעו בהצלחה הרחבה יותר של ASR בטיפול בדיבור לא מסודר. לכן, מאמר זה מתעמק בבעיות פונמות בדיבור דיסארתר, מערכות ASR קיימות והגבולות שלהן, טכניקות רב-מודליות יצירתיות, מידול הקשרי מבוסס טרנספורמרים, ו-TCNs לשיפור זמני וסדרתי.

גם עם התקדמות משמעותית בטכנולוגיית ASR, מערכות ה-ASR המובילות עדיין סובלות מליקויים רבים עבור אנשים עם לקויות דיבור. ליקויים אלו עשויים לנבוע חלקית מהקשיים בהשגת מאגר נתונים מגוון ומייצוג של דיבור מופרע. אתגר אחד ב-ASR דיבור מופרע ככל הנראה קשור לטווח הרחב של מאפייני דיבור חריגים המשתנים מאדם לאדם, ולייצוג הלקוי של השונות הללו במאגרי נתוני האימון10. למרות זאת, המחקר על ASR הקשור לדיסארתריה לעיתים קרובות התעלם מהמגוון הזה.

מערכות ASR מחולקות לשלוש קטגוריות: בלתי תלוי בדובר (SI), תלוי בדובר (SD), ואדפטיבי לדובר (SA). מערכות SI מתפקדות היטב עם דוברים בריאים אך מתמודדות עם דיבור פגוע ומתפקדות טוב יותר כאשר נתוני האימון כוללים דוברים דיסארטריים. לעומת זאת, מערכות SD מתמקדות במשתמשים בודדים, ומשיגות דיוק מצוין, בעוד שמערכות SA מסתגלות לדיבור המשתמש לאורך זמן ועולות על מודלי SI ו-SD. עם זאת, גם מערכות SA וגם SD דורשות נתוני הכשרה, מה שמהווה מחסום נוסף עבור אנשים עם הפרעות ניווניות11. למרות התקדמות משמעותית, מודלים קיימים של ASR עדיין אינם מתאימים לרמקולים נכים, בשל מחסור במאגרי נתונים שונים להדרכה. כדי למלא את הפער הזה, יש לפתח שיטות איסוף נתונים מעמיקות הכוללות היבטים שונים של דיסארתריה, ובכך לשפר את ביצועי ASR עבור דוברים שקשה לזהותם.

כדי להתגבר על מגבלות אלו, אסטרטגיות רב-מודליות המשלבות אותות אקוסטיים, ארטיקולטוריים וחזותיים יכולות לייצג באופן יעיל הפקת דיבור ושיפור בתסמינים דיסארטריים בצורה מקיפה. לדוגמה, נתונים על תנועה ארטיקולטורית, כגון הדמיית לשון, מתקבלים באמצעות אולטרסונוגרפיה וארטיקולוגרפיה אלקטרומגנטית. נתונים אלו משולבים לעיתים קרובות עם תנועות שפתיים חזותיות, ויכולים לפצות על פגיעה במידע אקוסטי, ולשפר את היכולת להבחין ולהבדיל פונמות12. היתירות הזו הנמצאת במערכות מולטימודליות תואמת את שיטות ההערכה הקלינית, ומחזקת את יכולותיהם של המטפלים לצפות בתנועות אורופציאליות לצד דיבור שמיעתי. לעומת זאת, מסגרות למידה עמוקה, במיוחד טרנספורמרים ו-TCNs, מציעות מידול טוב יותר של תלויות ושינויים זמניים בתוך רצפי דיבור. מודלים אלו פועלים בכך שהם מאפשרים לטרנספורמרים ללכוד קשרים קונטקסטואליים כוללים, ומאפשרים זיהוי פונמה גם כאשר האותות האקוסטיים מצטמצמים, מוסתרים או מצומצמים13. TCNs תורמים עוד יותר בכך שהם מספקים שדות קליטה יציבים והחלקת זמן, המשפרים את דיוק זיהוי גבולות הפונמה. כאשר הן משולבות במסגרות מיזוג רב-מודליות, שתי הגישות הללו משפרות משמעותית את דיוק סימון הפונמות בדיבור דיסארטרי ומאפשרות שיקום קליני מדויק יותר, מבוסס משוב. לכן, ארכיטקטורות הלמידה העמוקה הרב-מודלית הללו תואמות ישירות למטרות קליניות בזמן אמת, כגון שיפור מדידת הבנת הדיבור, ניטור מסע השיקום, ומתן טיפולים בסיוע טכנולוגיה המותאמים לפרופילים ספציפיים של לקות דיבור מוטורית של אנשים14.

בעוד שארכיטקטורות למידה עמוקה רב-מודלית אלו מחזיקות פוטנציאל רב לפתרון אי-דיוק בתיוג פונמות, העברתן היעילה ממסגרות ניסוי לכלי אבחון אמינים דורשת מבנה תפעולי אחיד. כדי להתמודד עם זה, המחקר הבא מתאר זרימת עבודה חישובית מקיפה הכוללת איסוף נתונים רב-מודליים, חילוץ תכונות והכשרת מודלים. המטרה היא להבטיח שמערכות מורכבות אלו יהיו ניתנות לשחזור ואימות במגוון רחב של מצבים קליניים. הקמת צינור מתודולוגי שקוף כזה היא קריטית עבור קלינאי תקשורת ומהנדסים קליניים כדי לאמת אלגוריתמים במגוון רחב של תכונות ורמות ליקויים של המטופלים. לבסוף, מתודולוגיה שיטתית זו משמשת כמבשר ליישום קליני, ומאפשרת שילוב מודלים מתקדמים של דיבור בהערכות רגולטוריות, מערכות בריאות אלקטרוניות ופלטפורמות ניטור טיפול לטווח ארוך.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

סקירה ופרספקטיבה

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סקירה כללית של רכישת נתונים מולטימודליים בדיבור דיסארתרתי

איסוף נתונים רב-מודאלי נדרש לבחינה מעמיקה של שליטה מוטורית בדיבור ולפיתוח טכניקות אבחון ושיקום יעילות, בהתחשב במורכבות ובמגוון התסמינים הדיסרתריים.

הגדרת הקלטה אקוסטית

הערוץ האקוסטי נשאר במרכז. הקלטות מתבצעות בצורה הטובה ביותר בסביבה אקוסטית כדי להפחית הדהוד ורעש סביבתי. מיקרופונים טיפוסיים הם קונדנסר איכותי והם או יחידות קרדיואידיות המותקנות על ראש או שולחן, הממוקמות באופן עקבי כדי לשלוט ברמת האות ולמנוע שונות בין הסשנים. קצבי דגימה של 16 kHz או 44.1 kHz נפוצים מאוד, כאשר 16 kHz מספיקים להבנה וניתוח פרוזודיה, בעוד 44.1 kHz נותנים נאמנות גבוהה יותר, מה ששימושי למחקר אקוסטי/פונטרי מדויק. ממשקי אודיו מרובי ערוצים מאפשרים לכידה סינכרונית של מספר זרמים וחייבים לשמור על הגדרות הגיין והמרווח האחיד כדי למנוע קליפינג או רעש רצפה. לצורך שחזוריות, קביעת כיול ותיעוד רווח מיקרופון, רצפת רעש סביבה ודריפט הם חשובים. בקורפוסי דיבור דיסארתריים, איכות השמע חשובה במיוחד כי פגמים באות אקוסטי עשויים להיות עדינים וניתן להסתיר אותם בקלות על ידי תנאי הקלטה גרועים15.

אופציות אופציונליות של ארטיקולטוריה / מעקב שפתיים / EMG / אולטרסאונד

כדי לצאת מעבר לצורת הגל האקוסטית, לעיתים קרובות נדרשות מודליות נוספות כדי ללכוד קינמטיקה מפרקית ופעילות שרירים פיזיולוגית. לכן, מעקב שפתיים או לכידת תנועת פנים מאפשרים לכמת את פתיחת השפה/לסת, התנועה, המהירות והסימטריה. ארטיקולוגרפיה אלקטרומגנטית (EMA) עוקבת אחר חיישני לשון, לסת ושפתיים בתלת-ממד ומספקת רזולוציה זמנית/מיקומית של הארטיקולטורים, בעוד שאלקטרומיוגרפיה שטחית (sEMG) מתעדת פעילות שרירים כדי לחקור ליקויים בהפעלה נוירומוסקולרית שמאחורי דיסארתריה. הדגמת לשון אולטרסאונד (UTI) מספקת הדמיה בזמן אמת של פני הלשון במהלך ההגייה, שימושית לנבדקים שאינם סובלים EMA. מערכות מולטימודליות מראות כי זיהוי ליקויי דיבור מוטורי משתפר באמצעות אקוסטיקה מקבילית, בתוספת לכידה ארטיקולטורית/ויזואלית16.

שיקולים אתיים והסכמת המטופל

עבודה עם דוברים דיסארטריים כוללת לעיתים קרובות אוכלוסיות פגיעות. חוקרים חייבים לקבל אישור מוועדת ביקורת מוסדית (IRB) או ועדת אתיקה, ולהבטיח הסכמה מדעת שמסבירה את אמצעי ההקלטה (אודיו, וידאו, חיישנים פיזיולוגיים), אחסון, אנונימיזציה, שימוש עתידי וזכויות משיכה. טפסי ההסכמה צריכים להתייחס במפורש לצילום וידאו (מעקב שפתיים/פנים) ואופציונלית, למודאליות רגישה כמו EMG. יש לנהל את פרטיות הנתונים, במיוחד כאשר נשמרים וידאו או תמונות פנים. יש להעריך את רמת הנוחות, העייפות, מגבלות התנועה והסיכון הפוטנציאלי של המשתתף. המפגשים צריכים לכלול תקופות מנוחה, ויש להודיע למשתתפים שהם יכולים להפסיק בכל עת מבלי להתמודד עם השלכות. המחסור והמגוון של משתתפים במחקר קורפוס דיבור דיסארתרי מדגישים עוד יותר את חשיבות הקפדנות האתית17.

שלבי קדם-עיבוד נתונים (סגמנטציה, הפחתת רעש, נרמל)

מערכת MAV-HuBERT מיישרת נתונים אקוסטיים וחזותיים בזמן ברמת הפריימים, מחלקת אנרגיות בנק לוג-פילטר 26 ממדי מהגל המקורי ומסנכרנת אותן עם פריימים ויזואליים של 25 הרץ שנאספו על ידי זיהוי פנים מבוסס Dlib. מסגרות האודיו העוקבות משולבות בדרך כלל לייצוב תנודות קצרות טווח, והאזורים הוויזואליים הממוזגים מנורמלים מרחבית לפני מיזוג תכונות רב-מודליות. פעילויות קדם-עיבוד אלו מספקות עקביות זמנית רציפה ומפחיתות שונות בין מודאליות שמע וחזותית, מה שמוביל לדיוק זיהוי גבוה יותר במורד הזרם(15,18).

הנדסת תכונות וזרימת עבודה חישובית

מודלים של למידה עמוקה רב-מודלית דורשים ייצוגים מסונכרנים של מידע אקוסטי, ארטיקולטורי וחזותי כדי לתייג במדויק פונמות בדיבור דיסארטרי. סעיף זה מספק סקירה של טכניקות ייצוג התכונות המשמשות בניתוח דיבור רב-מודלי, ואחריו תהליך חישובי שלב אחר שלב לחילוץ ויישור תכונות אלו לפני אימון המודל.

חילוץ תכונות וייצוג

בניתוח דיבור רב-מודלי, יש להמיר אותות אודיו ותנועה גולמיים לייצוגים משמעותיים שניתן לעבד באמצעות מודלים של למידה עמוקה. אחד הייצוגים הנפוצים ביותר הוא הספקטרוגרמה, שמראה כיצד אנרגיית האות משתנה לאורך זמן ובין תדרים. ייצוגים מבוססי ספקטרוגרמה שימושיים ללכידת מאפיינים כמו גמגום, נשימה כבדה ותזמון לא סדיר, הנפוצים בדיבור דיסארתר19.

תכונה נפוצה נוספת היא מקדמי הספסטרל בתדר מל (MFCCs), המייצגים את תכונות הספקטרל של הדיבור באופן שמתקרב לתפיסת השמיעה האנושית. תכונות MFCC נפוצות בזיהוי דיבור משום שהן מספקות ייצוגים קומפקטיים ועמידים לרעש שנשארים יציבים גם כאשר הדיבור מעוות20. בנוסף לתכונות אקוסטיות, גישות רב-מודליות כוללות מידע ארטיקולטורי, כגון מסלולי תנועה של הלשון, השפתיים והלסת. אותות אלו ניתנים להשגה באמצעות ארטיקולוגרפיה אלקטרומגנטית (EMA), הדמיית לשון אולטרסאונדית (UTI), או מעקב תנועה אופטי. תכונות מפרקיות מספקות מידע ישיר על שליטה מוטורית בדיבור ומסייעות לפצות על אותות אקוסטיים פגומים21.

מידע חזותי שימושי גם לניתוח דיבור דיסארתרי. סימני פנים שהופקו מהקלטות וידאו, כולל קונטור שפתיים, הזזת לסת ופתיחת הפה, מספקים רמזים נוספים על ההגייה. תכונות ויזואליות אלו משפרות את הבחנת הפונמות, במיוחד כאשר האות האקוסטי אינו ברור. ללמידה מפוקחת, כל זרמי התכונה חייבים להיות מיושרים עם תעתיקים ברמת פונמה, כדי להבטיח שכל מסגרת זמן תואמת ליחידת הדיבור הנכונה. יישור מדויק הוא חיוני לאימון מודלים של תיוג פונמות, במיוחד בדיבור דיסארטרי, שבו גבולות הפונמות לעיתים מטושטשים.

זרימת עבודה חישובית

סעיף זה מדגים כיצד נדרש כל שלב לשחזור תהליך סימון פונמות רב-מודלי, החל מחילוץ תכונות ועד להערכת מודל (איור 1).

חילוץ תכונות אקוסטיות באמצעות ספקטרוגרמות ו-MFCCs

ראשית, טרנספורם פורייה קצר-זמן (STFT) משמש להמרת אות הדיבור הגולמי לייצוג זמן-תדר. כדי ליצור ספקטרוגרם, האות מחולק למסגרות קצרות חופפות, וכל פריים עובר את טרנספורמציית פורייה.
מקדמי ספסטרל בתדר מל (MFCCs) משמשים להפקת תכונות אקוסטיות משוקללות תפיסתית מהספקטרוגרמה. לניתוח זיהוי דיבור ודיסארתריה, MFCCs מציעים ייצוגים קומפקטיים ועמידים לרעש23,24. בשל עמידותם ויעילותם, MFCCs משמשים לעיתים קרובות ביישומים הקשורים לדיבור ולזיהוי דוברים. לכן, בשל שימושיותם, מפיקים MFCCs כדי לחשב ולהעריך את רמות התפיסה השמיעה האנושית ולספק תכונות אקוסטיות דחוסות ועמידות לרעש, ולאחר מכן25.

רכישת מסלולים ארטיקולטוריים

נתוני תנועה מפרקיים מתקבלים כדי ללכוד את התנועה הפיזית של איברי הדיבור. ארטיקולוגרפיה אלקטרומגנטית (EMA) משתמשת בחיישנים המחוברים ללשון, לשפתיים וללסת כדי לעקוב אחרי תנועה מפרקית בתלת-ממד. חלופה נוספת היא להשתמש בהדמיית לשון אולטרסאונדית (UTI) להערכת תנועת הלשון באופן לא פולשני. המסלולים המתועדים מסוננים, מנורמלים ומורדים דגימות כדי להתאים לקצב הפריימים של תכונות אקוסטיות כדי להבטיח עקביות זמנית26. המרת דיבור לרצפי דימות לשון (UTI) היא טכניקה להערכת מסלולי לשון באולטרסאונד מנתוני דיבור על ידי מיפוי מאפייני שמיעה לתנועות לשון פיזיולוגיות. מתודולוגיה זו מספקת חלופה לא פולשנית לטכניקות איסוף נתונים ישירות, הנחוצות למעקב וטיפול בחריגות בדיבור ובמערכת הקול, תוך הימנעות מהצורך בציוד ספציפי וניסיון קליני הטמון בגישות מדידה ישירה27,28. בהתבסס על זמינות תכונות ארטיקולטוריות, כמו מסלולי תנועה של לשון, שפתיים ולסתות, המוקלטים באמצעות EMA או אולטרסונוגרפיה (UTI), האותות מסוננים ומורדים דגימות כדי להתאים לקצב המסגרות האקוסטיות.

זיהוי נקודות ציון ויזואליות

לגבי קלטי דיבור וסרטונים, יש להפיק קלטי מקש פנים (פינות שפתיים, תנועת קווי הלסת) באמצעות כלים כמו Mediapipe או OpenFace, ואז הם מנורמלים כדי להסיר אפקטים של תנוחת ראש. MediaPipe משתמשת במסגרת למידה עמוקה להערכת תנוחות פנים וגוף, ומספקת 33 נקודות ציון לזיהוי תנוחות כלליות, כאשר 11 מהן ייעודיות לפנים. היעילות שלו יכולה להשתנות, במיוחד במקרים של חסימות. מודל MediaPipe FaceMesh משפר את האמינות על ידי שימוש ב-468 סימני דרך תלת-ממדיים של הפנים יחד עם שיטה גיאומטרית להערכת תנוחת ראש29. OpenFace 2.0 משמשת כארגז כלים לניתוח התנהגויות פנים, ומאפשרת זיהוי סימני פנים, הערכת תנוחת ראש, מעקב אחר מבט עיניים וזיהוי יחידות פעולה פנים. הוא תומך באינטגרציה עם שפות תכנות שונות ויכול לעבד שידורי וידאו חיים או תמונות סטילס. פלטים, כמו נקודות ציון פנים ווקטורי מבט, ניתנים לייצא בפורמט CSV. OpenFace 2.0 משתמש במודל המקומי המוגבל של מומחים קונבולוציוניים (CE-CLM), הכולל מודל התפלגות נקודות כדי להתחשב בשינויים בצורות הציון הדרך ומומחי טלאים להבדלים במראה המקומי29,30.

יישורי שעתוק פונמות

השלב הבא הוא ליישר זמנית את כל הזרמים המוצגים (אקוסטיים, ארטיקולטוריים וחזותיים) להערות ברמת פונמה באמצעות כלי יישור כפוי כמו Montreal Forced Aligner (MFA), כדי להבטיח קלטים מולטימודליים מסונכרנים לאימון מודלים חישוביים. יישור כפוי (FA) הוא טכניקה ליישור תמלילים עם אותות שמע במטרה לקבוע את הגבולות הזמניים של יחידות הדיבור. דבר זה מאפשר עיבוד אודיו מדויק יותר ומקדם את הלימוד הלשוני. הוא משמש יותר ויותר במחקרים פונטיים והוכח שהוא מהיר משמעותית מיישור ידני. למרות שבדרך כלל מזוהה עם מערכות זיהוי דיבור אוטומטיות (ASR), FA הוא משימה רחבה יותר בעיבוד דיבור אוטומטי הכוללת ניתוח שפה מדוברת ותמלול22. מיישר הכפייה של מונטריאול (MFA) הוא ערכת כלים מובילה ל-FA המשתמשת באלגוריתמים של HMM-GMM להשגת יישור יעיל. למרות ההתקדמות בטכנולוגיית ASR, גישות מסורתיות כמו HMM-GMM עדיין פופולריות למשימות FA. ה-MFA משתמש במאפייני MFCC ובשיטת אימון בת ארבעה שלבים ליצירת מודלים אקוסטיים עם יישור פונטי מדויק31.

רכיבי הארכיטקטורה של המודלים

מודלים של למידה עמוקה רב-מודלית לזיהוי דיבור דיסארתרי מורכבים ממספר רכיבים מרכזיים הפועלים יחד ללכידת מידע הקשרי, זמני ורב-מודלי. הרכיבים העיקריים כוללים מקודד הקשרי, מודול עידוד זמן, ומנגנון מיזוג מולטימודלי. כל רכיב ממלא תפקיד מסוים בשיפור דיוק סימון הפונמות בדיבור לא מסודר.

מקודד הקשרי מבוסס טרנספורמר

מקודד הטרנספורמר משמש למידול תלות לטווח ארוך ברצפי דיבור. דיבור דיסארתרי מכיל לעיתים תזמון לא סדיר וגבולות פונמיים לא ברורים, מה שמקשה על מודלים קונבנציונליים ללכוד מידע הקשרי. טרנספורמרים משתמשים בהתמקדות עצמית רב-ראשית כדי לנתח קשרים בין מסגרות זמן שונות ברצף הקלט. דבר זה מאפשר למודל לשקול גם מסגרות דיבור עבריות וגם עתידיות בעת חיזוי פונמות. כתוצאה מכך, המקודד יכול להתמודד טוב יותר עם וריאציות ההגייה וההגייה הנפוצות בדיסארתריה. בארכיטקטורה הרב-מודלית, הטרנספורמטור מקבל תכונות אקוסטיות, ארטיקולטוריות וחזותיות מסונכרנות ומייצר ייצוגים מודעי הקשר המועברים לשלב הבא של הדגם32,33.

שיפור רצף זמני מבוסס TCN

לאחר קידוד הקשרי, רצף התכונות מעובד על ידי רשת קונבולוציונית זמנית (TCN) לשיפור הדיוק הזמני. דיבור דיסארתרי מכיל לעיתים קרובות תזמון לא יציב, הפסקות ופונמות מוארכות, שדורשות שיפור נוסף מעבר למידול הקשרי. TCNs משתמשים בקונבלוציות סיבתיות מורחבות כדי ללכוד תלות זמן ארוכה תוך שמירה על יעילות חישובית. מבנה זה מאפשר למודל להחליק תחזיות רועשות ולשמור על גבולות פונמות עקביים לאורך זמן. בארכיטקטורה, ה-TCN מקבל את פלט מקודד השנאי ומחדד את הרצף כדי לייצר ייצוגי תכונות יציבים ועקביים בזמן 33,34,35.

אסטרטגיית היתוך רב-מודלי

כדי לשפר את הדיוק האבחוני בהערכת דיסארתריה, מיזוג מולטימודלי משלב מידע ממקורות רבים כגון קול, טקסט, וידאו וחיישנים פיזיולוגיים. הטכניקות העיקריות מורכבות משלושה שלבים מובחנים: היתוך מוקדם, מיזוג מאוחר, ומיזוג ביניים36. מיזוג מוקדם משלב נתונים ממודאליות רבות ברמה יסודית, ומאפשר למודלים להבין קשרים מורכבים מההתחלה. השימוש בו מוגבל מכיוון שהוא דורש סנכרון של מספר קצבי דגימה וסוגי נתונים. מיזוג מאוחר מעבד כל מודאליות באמצעות מודלים עצמאיים לפני שילוב התוצאות להערכות סופיות. טכניקה זו גמישה ויעילה כאשר חסרים נתונים משיטה אחת. יתרה מזאת, מיזוג ביניים משלב מודליות ברמה הבינונית, לעיתים תוך שימוש בטכניקות קשב צולב לזיהוי תלות. שיטה זו הייתה שימושית במיוחד בהקשרים קליניים, ושיפרה תוצאות על ידי שילוב הפניות שפה עם נתונים אקוסטיים. לסיכום, מיזוג ביניים עם קשב צולב מניב תוצאות טובות יותר בהערכת דיסארתריה אוטומטית לעומת שיטות המבוססות על מודליות אחת36,37.

שיטות עבודה מומלצות לאימון והערכת מודלים של דיסארתריה:

פיתוח מודלים גמישים להערכת וזיהוי דיסארתריה דורש תשומת לב קפדנית לחלוקת מאגר הנתונים, הערכת המדדים ויכולת הפרשנות. מחקרים עדכניים הדגישו גישות סטנדרטיות ופתרונות חדשניים להתמודדות עם האתגרים הייחודיים של דיבור דיסארתרי, הכוללים מחסור בנתונים, שונות ורלוונטיות קלינית38,39.

אסטרטגיות חלוקת מערכי נתונים

כדי להבטיח שמאגרי ההדרכה, האימות והבדיקות לא יחליפו מידע על דוברים, מה שמונע דליפת נתונים והתאמת יתר, כיום נעשה שימוש נפוץ ב-38,39 38,39. גישה זו מאפשרת למודלים לשמור על התפלגויות מאוזנות והערכות ביצועים אמינות, גם כאשר עובדים עם מערכי נתונים מוגבלים או מגוונים. מכיוון שחלוקה לפי רמקול חיונית למניעת הטיה, פיצולים נפוצים כוללים יחס רכב/מבחן של 75:25 או 85:15, יחד עם חלוקה נוספת לאימות40. כדי להתמודד עם נתונים מוגבלים של דיסארטרים, מיושמים גישות פופולריות להרחבת נתונים כגון יצירת נתונים סינתטיים, הפרעות קצב ולמידה מעבירה מדיבור בריא.

מדדי הערכה

שיקולי פרשנות מודל

  1. מפות קשב ועקומות יישור: מודלים המבוססים על קשב מספקים ייצוגים חזותיים המדגישים את קטעי הדיבור או הפונמות שהמודל מעניק להם עדיפות, תורמים לפרשנות קלינית ולבניית אמון43.
  2. ניתוח פונמה/תכונות: זיהוי פונמות חשובות או מאפיינים אקוסטיים הקשורים לחומרת דיסארתריה מקדם הן שקיפות במודל והן את ההבנה הקלינית44.
  3. גישות היברידיות: מיזוג הבנה מבוססת ASR עם תכונות אקוסטיות קונבנציונליות יכול לשפר עוד יותר את הפירוש45.

לכן, צינור מודלים יסודי של דיסארתריה כולל חלוקות נתונים שכבתיות, בלתי תלוייתי-דוברים, הערכה רב-ממדית (PER, הבנה, קלט קליני), ויכולת פרשנות דרך מנגנוני קשב. גישות אלו מבטיחות שמערכות מודל להערכת וזיהוי דיסארתריה יהיו חזקות, רלוונטיות קלינית ושקופות.

תוצאות מייצגות

מספר מחקרים דיווחו על שיפורים בדיוק בגבולות הפונמה כאשר משתמשים בתכונות רב-מודליות. דיבור דיסארתרי מכיל לעיתים מעברים מטושטשים או ממושכים, מה שמקשה על קביעת הגבול המדויק בין פונמות. מודלים שפורסמו המשלבים תכונות אקוסטיות, ארטיקולטוריות וחזותיות הראו התאמה טובה יותר עם הערות ייחוס מאשר מערכות חד-מודליות. שיפורים אלו מוצגים לעיתים קרובות באמצעות עקומות יישור, שבהן מודלים מולטימודליים מראים פחות שגיאות תזמון, במיוחד במהלך מעברי עיצורים–תנועות46. דוחות ספרות מתארים גם שיפורים בדיוק סיווג הפונמות. ארכיטקטורות רב-מודליות הוכחו כמפחיתות שגיאות החלפה ומחיקה, במיוחד עבור חיכוכים ותנועות שלעיתים קרובות מעוותות בדיסארתריה. מטריצות בלבול שדווחו במחקרים קודמים מצביעות על כך ששילוב מידע חזותי ומידע ארטיקולטורי מסייע למודל להבחין בין פונמות דומות בצורה אמינה יותר. העלייה בדיוק בגבולות הפונמות היא דוגמה בולטת לכך. המעברים והשינויים ההגיויים בדיבור דיסארתרי לעיתים קרובות מוארכים או מטושטשים, מה שמקשה על פירוש היכן פומה אחת מסתיימת ואחרת מתחילה בפנימה. כדי לזהות בדיוק רב יותר את תחילת הפונמה וההזזה, המערכת הרב-מודלית עושה שימוש בנתונים משותפים מתנועות שפתיים חזותיות, מסלולי מפרקים ושמע. בהשוואה לאלו שנוצרו על ידי מודלים אקוסטיים חד-מודליים, גבולות הפונמה החזויים תואמים יותר את ההערות האמיתיות. עקומות יישור משמשות להמחשת שיפורים אלו, כאשר המודל הרב-מודלי מציג פחות שגיאות בתזמון, במיוחד במעברים בין תנועות לעיצורים (VC ו-CV). במסגרת קלינית, זה יכול להוביל למפות סגמנטציה משופרות, המסייעות למטפלי דיבור וקלינאים לזהות בעיות מסוימות בשליטה מוטורית, כגון עיגול שפתיים לא מספק או סגירת לסת מאוחרת47.

בנוסף, המודל יכול להפיק פלטי סיווג דיפרנציאליים שיכולים לשמש לזיהוי רצף הפונמות המדובר הסביר ביותר. המערכת הרב-מודלית מציגה ירידה בשגיאות החלפה ומחיקה של פונמות בהשוואה למודלים המסורתיים והבסיסיים. לדוגמה, שילוב הצורה הוויזואלית של השפתיים ורמזי מיקום הארטיקולטור משפר את דיוק הסיווג של פריטיביות, כגון /s/ ו-/ʃ/, שנמצאות לעיתים קרובות מעוותות ומעוותות בדיסארתריה. מטריצות בלבול יכולות לשמש גם להדגמת שיפורים כאלה, כאשר שיפור בהבחנה ופיצול פונמיים מתבטא על ידי הפחתה של בלבול חוצה קטגוריות48.

מדידת הבנת הדיבור לפני ואחרי תיקון נתמך על ידי מודל ניתנת להשוואה באמצעות תרשים רלוונטיות קלינית. מדדים כמו יציבות ותזמון הברות, הערכת שטח התנועות, דירוג דיוק של עיצורים וציון ההבנה הכולל יכולים להיכלל בטבלה זו. באופן כללי, הפלט שכבר תוקן מציג גבולות פרוזודיה, קצב והגייה משופרים. לדוגמה, לאחר תיקון, ייצוג מרחב התנועות בדרך כלל מתרחב, מה שמעיד על הגברת הייחודיות האקוסטית של התנועה, מטרה טיפולית מרכזית בטיפולים רבים של דיסארתריה39.

חשוב לציין כי תוצרי המודל הללו נועדו לתמוך בקבלת החלטות קליניות על ידי שיפור השיפוט של הרופא ולא להחליף אותו. המערכת יכולה להדגיש פונמות ספציפיות או מעברים ארטיקולטוריים שסוטים משמעותית מהדפוסים הצפויים או התיאורטיים המשוערים. עם מידע זה, מטפלים יכולים להתאים את מטרות הטיפול שלהם לכלול: (א) שיפור עקביות בהרמת הלשון עבור עיצורים אלוואולריים (למשל, /t/, /d/), (ב) התמקדות בבליטת שפתיים עבור תנועות מעוגלות (למשל, /u/), (ג) שיפור תזמון ההתחלה של עיצורים קוליים לעצירות.

עבודות שפורסמו מדגישות כי תוצרים אלו צריכים להשלים את הפרשנות הקלינית, ולא להחליף את שיקול הדעת של הרופא. ויזואליזציות של מודלים, כגון מפות קשב וגרפים של יישור פונמות, יכולות לסייע למטפלים לזהות בעיות הגייה ספציפיות, כגון הגבהה לא מספקת של הלשון, ירידה בעיגול השפתיים או עיכוב בהופעת קול. בסך הכול, נתונים ממספר מחקרים מראים שארכיטקטורות למידה עמוקה רב-מודלית משפרות מדדי ביצועים טכניים, תוך מתן פלטים ניתנים לפרשנות שיכולים לסייע בתכנון טיפול ובמעקב אחר התקדמות השיקום.

אינטגרציה קלינית ותהליכי שיקום

יישום טכנולוגיות דיגיטליות ומודלים מתקדמים של דיבור בשיקום דיסארתריה משנה את תוצאות המטופלים, את מתן הטיפול ואת הפרקטיקות הקליניות. סעיף זה עוסק במסגרת ההכשרה המשפטית הממוקדת במשוב, בתפקידים המתפתחים של קלינאי תקשורת ומעקב אחר מטופלים, בשילוב פלטי המודלים בכלים טיפוליים, ובחששות משמעותיים בנוגע לשימושיות.

כיצד פלטי המודל הללו מזינים את הכלים לטיפול בדיבור?

מודלים מודרניים של בינה מלאכותית ולמידה עמוקה, הכוללים ASR ומסווגי חומרה, יכולים לייצר נתונים מפורטים ואובייקטיביים על הבנת דיבור, שגיאות הגייה ורמות חומרה48. פלטים אלו, בימינו, משולבים יותר ויותר בפלטפורמות טיפול דיגיטליות ובאפליקציות ניידות, המספקות משוב מותאם אישית בזמן אמת למטופלים ולמטפלים49. לדוגמה, יישומים מבוססי טאבלטים ומערכות ניטור מרחוק מבוססות ענן משתמשות במדדים שנוצרו על ידי מודלים כדי להמחיש התקדמות, להדגיש ליקויים ספציפיים בהגייה ולהתאמת קושי באימון. מערכות אלו מאפשרות מעקב אובייקטיבי אחר התקדמות הטיפול, מאפשרות בחירת תרגילים מותאמת אישית, ותומכות במעקב מרחוק דרך פלטפורמות דיגיטליות 50,51,52.

מודולי הדרכה ארטיקולטוריים מבוססי משוב

מודולי הכשרה מבוססי משוב הם מרכזיים בשיקום דיסארתריה דיגיטלית. מחקרים קודמים דיווחו כי מודולי שיקום דיגיטליים כוללים לעיתים קרובות משוב ביולוגי, זיהוי שגיאות אוטומטי ועיצוב תרגילים אדפטיבי. ביופידבק בטיפול בדיבור עושה שימוש ברמזים ויזואליים ושמיעתיים, כגון תצוגות גל והדמיות של תנועות מפרקים, כדי לספק הדרכה בזמן אמת למטופלים. בנוסף, זיהוי שגיאות אוטומטי מתבצע באמצעות מודלים של בינה מלאכותית שמזהים שגיאות פונולוגיות או הגיויות, ומציעים משוב מתקן מיידי לשיפור הלמידה. תהליך האימון הוא היררכי ואדפטיבי, כלומר הוא מתקדם ממשימות פשוטות למורכבות יותר, שמכוונות במיוחד לצלילי דיבור, הברות או מילים. תרגילים אלו מותאמים דינמית בהתאם לביצועי המטופל, ומבטיחים חוויות למידה מותאמות אישית. יתרה מזאת, שילוב אלמנטים של גיימיפיקציה ומציאות מדומה (VR) בפלטפורמות מסוימות מעלה את המוטיבציה והציות בקרב המטופלים, מה שהופך את תהליך הטיפול למרתק יותר. מודולים אלו תומכים בתרגול אינטנסיבי וחזרתי, שהוא המפתח ללמידה מוטורית ושיפור דיבור, תוך מתן אפשרות לשימוש עצמאי או מונחה על ידי מטפל 51,53,54.

תפקיד קלינאי תקשורת ומעקב אחר מטופלים

קלינאי תקשורת (SLTs) נשארים מרכזיים בתהליך השיקום, גם כאשר כלים דיגיטליים הפכו לנפוצים יותר בעשור האחרון. הערכה וקביעת מטרות כוללות פירוש פלטי המודל לבחירת מטרות טיפול מתאימות והתאמת תוכניות טיפול שונות המותאמות לצרכים האישיים של המטופל. פיקוח ומשוב חיוניים למעקב אחר התקדמות המטופל; מומחים מספקים משוב על תיקון הדיבור ומבצעים התאמות נדרשות לטיפול לפי הצורך. בנוסף, מודגש חינוך ותמיכה למטופלים, ומלמדים את המטופלים להשתמש בכלים דיגיטליים בצורה יעילה בתהליך השיקום שלהם. שיתוף פעולה רב-תחומי הוא קריטי, שכן אנשי מקצוע מתחומים שונים עובדים יחד כדי לתת מענה לצרכים הרחבים יותר של השיקום, ולהבטיח גישה מקיפה לטיפול במטופלים. ניטור המטופלים משודרג באמצעות פלטפורמות דיגיטליות, המאפשרות למטפלים ולרופאים לעקוב מרחוק אחר עמידה בדרישות, החלמה, ביצועים ותוצאות, וכך להקל על התערבויות בזמן ותמיכה מתמשכת51,52.

שיקולי שמישות: נוחות המטופל וחזרתיות

כדי שטכנולוגיות שיקום דיגיטלי ייושמו בהצלחה, שימושיות היא קריטית, עם דגש על ממשקים ידידותיים למשתמש העונים על מגוון צרכי המטופלים. שיטות טיפול גמישות מתאפשרות בזכות פלטפורמות ניידות, שמשפרות את הנוחות והנגישות. תכונות חשובות כמו מודולים גמישים ומשוב אוטומטי מעודדים השתתפות עקבית ואוטונומית, דבר חיוני ללמידה מוטורית. ניסויי פיילוט מראים קבלה ושביעות רצון גבוהה, אך עדיין קיימות בעיות טכניות. משוב מתמשך ממטופלים ומטפלים מסייע לשפר את הכלים הללו כדי להתאים לדרישות המציאות. עם דגש על פיתוח חוויות טיפוליות משמעותיות, השימוש בבינה מלאכותית והכשרה מונחית משוב בטיפול בדיבור משפר את היעילות, הנגישות וההתאמה האישית בשיקום דיסארתריה 48,51,52,53,54.

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

מסקנות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

סקירה זו מתארת את היישום הגובר של ארכיטקטורות למידה עמוקה רב-מודליות לתיוג פונמות ושיקום דיבור בדיסארתריה. ארכיטקטורות אלו משלבות ניתוח ארטיקולטורי ווויזואלי אקוסטי כדי להתגבר על המגבלות של זיהוי דיבור מבוסס אודיו בדיבור פתולוגי, המאופיין בהבנה נמוכה ובתצורות ארטיקולציה לא סטנדרטיות. הדמיית לשון באולטרסאונד בארטיקולוגרפיה אלקטרומגנטית וסימון פנים הם מודלים הוליסטיים יותר של הפקת דיבור שעשויה לאפשר לנו ללכוד את הפרטים האקוסטיים והפקודות המוטוריות בדיבור לא מסודר. טכניקות אלו צפויות לשפר א...

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

גילויים

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מצהירים שאין ניגוד עניינים.

תודות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

המחברים מודים לבית החולים המסונף של אוניברסיטת נאנג'ינג לרפואה סינית בנאנג'ינג, אוניברסיטת הרפואה הסינית, על מתן המלגות והמימון הנדרשים (תוכנית המחקר והחדשנות המדעית לתארים מתקדמים של מחוז ג'יאנגסו KYCX25_2282).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

מקורות

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Kundi, P., Gencer, Z. K., Muluk, N. B. Speech Disorders and Aphasia: Overview. Phys Ther Rehabil Otorhinolaryngol. , 487-494 (2025).
  2. Rose, K. R., Hughes, P. M. Speech systems. Br Telecom Technol J. 13 (2), 51-62 (1995).
  3. Ackermann, H., Hertrich, I. The contribution of the cerebellum to speech processing. J Neurolinguistics. 13 (2–3), 95-116 (2000).
  4. Johnson, J. A. Speech, Voice, and Communication. Int Rev Neurobiol. 134, 1189-1205 (2017).
  5. Enderby, P. Disorders of communication: dysarthria. Handb Clin Neurol. 110, 273-281 (2013).
  6. Feenaughty, L., Mefferd, A., Tjaden, K. Dysarthria. Encycl Hum Brain. 1-5, V5-301-V5-315 (2023).
  7. Pan, T., Wang, S. Dysarthria as a Presenting Symptom With Rapidly Progressive Imaging Features in Sporadic Creutzfeldt-Jakob Disease: A Case Report. Cureus. 16 (6), e62687 (2024).
  8. Kieling, M. L. M., Finkelsztejn, A., Konzen, V. R., dos Santos, V. B., Ayres, A., et al. Articulatory speech measures can be related to the severity of multiple sclerosis. Front Neurol. 14, (2023).
  9. Kirshner, H. S., Samuels, M. A. Speech and Language Disorders. Neurol Localization Diagnosis. , 177-189 (2023).
  10. Gutz, S. E., Stipancic, K. L., Yunusova, Y., Berry, J. D., Green, J. R. Validity of Off-the-Shelf Automatic Speech Recognition for Assessing Speech Intelligibility and Speech Severity in Speakers With Amyotrophic Lateral Sclerosis. J Speech Lang Hear Res. 65 (6), 2128 (2022).
  11. Nasereddin, H. H. O., Omari, A. A. R. Classification techniques for automatic speech recognition (ASR) algorithms used with real-time speech translation. Proc Comput Conf 2017. , 200-207 (2018).
  12. Ríos-Urrego, C. D., Escobar-Grisales, D., Orozco-Arroyave, J. R. Synchronous Analysis of Speech Production and Lips Movement to Detect Parkinson’s Disease Using Deep Learning Methods. Diagnostics. 15 (1), 73 (2024).
  13. Deng, S., Du, J., Zhang, J., Wang, X. Deep learning approach for short-term entry passenger flow forecasting in urban rail transit stations. Eng Appl Artif Intell. 163, 112989 (2026).
  14. Tunio, N. A., Tunio, M. A., Raza, M. A., Faheem, M., Hashmani, A. A., Nadeem, R. Performance Comparison Between Deep Learning Models for Fault Classification in Transmission Lines Using Time Series Data. Energy Sci Eng. 13 (5), 2330-2351 (2025).
  15. Yu, C., Su, X., Qian, Z. Multi-Stage Audio-Visual Fusion for Dysarthric Speech Recognition With Pre-Trained Models. IEEE Trans Neural Syst Rehabil Eng. 31, 1912-1921 (2023).
  16. Qian, Z., Xiao, K. A Survey of Automatic Speech Recognition for Dysarthric Speech. Electron. 12 (20), 4278 (2023).
  17. Strand, E. A. Clinical and professional ethics in the management of motor speech disorders. Semin Speech Lang. 24 (4), 301-311 (2003).
  18. Alhinti, L., Cunningham, S., Christensen, H. The Dysarthric Expressed Emotional Database (DEED): An audio-visual database in British English. PLoS One. 18, (2023).
  19. Lee, S. E., Huang, M. L., Hsu, T. C. Using Spectrogram to Evaluate Dysarthric Treatment Effectiveness. Rehabil Pract Sci. 18 (1), 177-185 (1990).
  20. Abdul, Z. K., Al-Talabani, A. K. Mel Frequency Cepstral Coefficient and Its Applications: A Review. IEEE Access. 10, 122136-122158 (2022).
  21. Chartier, J., Anumanchipalli, G. K., Johnson, K., Chang, E. F. Encoding of articulatory kinematic trajectories in human speech sensorimotor cortex. Neuron. 98 (5), 1042 (2018).
  22. Williams, S., Foulkes, P., Hughes, V. Analysis of forced aligner performance on L2 English speech. Speech Commun. 158, (2024).
  23. Janbakhshi, P., Kodrasi, I. . Experimental investigation on STFT phase representations for deep learning-based dysarthric speech detection. , (2022).
  24. Varma, V. J., Jana, A., Samal, A. K., S, A. u. r. o. b. i. n. d. o., Naidu, R. C., et al. Enhancing dysarthria severity classification: efficient audio-based deep learning models. Discov Appl Sci. 7 (8), (2025).
  25. Fadlil, A., Perdana, L., Pujiyanta, A., Imam Karim Fathurrahman, H., Muhammad Jogo Samodro, M. Implementation of Dysarthria Identification Using MFCC and Multilayer Perceptron Algorithm. SSRG Int J Electr Electron Eng. 12, 32-46 (2025).
  26. Rebernik, T., Jacobi, J., Jonkers, R., Noiray, A., Wieling, M., et al. A review of data collection practices using electromagnetic articulography. Lab Phonol. 12 (1), 1-42 (2021).
  27. Girod-Roux, M., Hueber, T., Fabre, D., Gerber, S., Canault, M., et al. Rehabilitation of speech disorders following glossectomy, based on ultrasound visual illustration and feedback. Clinical Linguist Phonetics. 34 (9), 826-843 (2020).
  28. Yang, Y., Su, R., Zhao, S., Ng, M. L., Yan, N., et al. Towards unified diffusion model for speech to ultrasound tongue imaging synthesis. Inf Fusion. 127, 103896 (2026).
  29. Bian, Y., Küster, D., Liu, H., Krumhuber, E. G. Understanding Naturalistic Facial Expressions with Deep Learning and Multimodal Large Language Models. Sensors (Basel). 24 (1), 126 (2023).
  30. Hammadi, Y., Grondin, F., Ferland, F., Lebel, K. Evaluation of Various State-of-the-Art Head Pose Estimation Algorithms for Clinical Scenarios. Sensors (Basel). 22 (18), 6850 (2022).
  31. McAuliffe, M., Socolof, M., Mihuc, S., Wagner, M., Sonderegger, M. Montreal Forced Aligner: Trainable Text-Speech Alignment Using Kaldi. , 498-502 (2017).
  32. Yi, F., Wen, H., Jiang, T. ASFormer: Transformer for Action Segmentation. , (2021).
  33. Bharilya, V., Kumar, N. Machine learning for autonomous vehicles’ trajectory prediction: A comprehensive survey, challenges, and future research directions. Veh Commun. 46, (2024).
  34. Li, H., Qiu, T. Continuous Manufacturing Process Sequential Prediction using Temporal Convolutional Network. Comput Aided Chem Eng. 49, 1789-1794 (2022).
  35. Biffi, C., Roffo, G., Salvagnini, P., Cherubini, A. A temporal convolutional network-based approach and a benchmark dataset for colonoscopy video temporal segmentation. Comput Methods Programs Biomed. 270, 108782 (2025).
  36. Alzahrani, S., Hussain, N., Mohammad, F. Enhancing Phoneme Labeling in Dysarthric Speech with Digital Twin-Driven Multi-Modal Architecture. Comput Mater Contin. 84 (3), 4825-4849 (2025).
  37. Lv, C., Fan, L., Li, H., Ma, J., Jiang, W., et al. Leveraging multimodal deep learning framework and a comprehensive audio-visual dataset to advance Parkinson’s detection. Biomed Signal Process Control. 95, 106480 (2024).
  38. Dai, W., Li, M., He, Y., Zhu, Y. Fine-Tuning Pre-Trained Audio Models for Dysarthria Severity Classification: A Second Place Solution in the Multimodal Dysarthria Severity Classification Challenge. , 151-153 (2024).
  39. Qi, J., Van hamme, H. A Study on Model Training Strategies for Speaker-Independent and Vocabulary-Mismatched Dysarthric Speech Recognition. Appl Sci. 15 (4), 2006 (2025).
  40. Shahamiri, S. R., Lal, V., Shah, D. Dysarthric Speech Transformer: A Sequence-to-Sequence Dysarthric Speech Recognition System. IEEE Trans Neural Syst Rehabil Eng. 31, 3407-3416 (2023).
  41. Vinotha, R., Hepsiba, D., Vijay Anand, L. D., Andrew, J., Jennifer Eunice, R. Enhancing dysarthric speech recognition through SepFormer and hierarchical attention network models with multistage transfer learning. Sci Reports. 14 (1), 1-23 (2024).
  42. Hashan, A. M., Alexandrovich Khlebnikov, N., Bredikhin, B. A. Attention Based Encoder-Decoder for Automatic Hyperkinetic Dysarthria Speech Recognition in Educational Organizational Systems. , 1-4 (2025).
  43. Merler, M., Agurto, C., Peller, J., Roitberg, E., Taitz, A., et al. Clinical assessment and interpretation of dysarthria in ALS using attention based deep learning AI models. NPJ Digit Med. 8 (1), 260 (2025).
  44. Van Nuffelen, G., Middag, C., De Bodt, M., Martens, J. Speech technology-based assessment of phoneme intelligibility in dysarthria. Int J Lang Commun Disord. 44 (5), 716-730 (2009).
  45. Middag, C., Bocklet, T., Martens, J. P., Nöth, E. Combining phonological and acoustic ASR-free features for pathological speech intelligibility assessment. , 3005-3008 (2011).
  46. Vaswani, A., Shazeer, N., Parmar, N., Uszkoreit, J., Jones, L., et al. Attention is all you need. Adv Neural Inf Process Syst. 30, 5998-6008 (2017).
  47. Zhu, T., Duan, S., Liang, H., Li, F., Zhang, W. Multiangle Correlation Feature Extraction and Disease Prediction Model Construction for Patients With Post-Stroke Dysarthria. IEEE Trans Neural Syst Rehabil Eng. 33, 587-597 (2025).
  48. Stell, A., Vogel, A. P., Vera Soto, J. P., Pareja, A. A., Sinnott, R. A Platform for the Delivery of Speech Treatment for Dysarthria in Multisystemic Ataxia. Proc - IEEE Symp Comput Med Syst. , 405-410 (2025).
  49. Gupta, S., Patil, A. T., Purohit, M., Parmar, M., Patel, M., et al. Residual Neural Network precisely quantifies dysarthria severity-level based on short-duration speech segments. Neural Networks. 139, 105-117 (2021).
  50. Javanmardi, F., Kadiri, S. R., Alku, P. Pre-trained models for detection and severity level classification of dysarthria from speech. Speech Commun. 158, 103047 (2024).
  51. Mulfari, D., La Placa, D., Rovito, C., Celesti, A., Villari, M. Deep learning applications in telerehabilitation speech therapy scenarios. Comput Biol Med. 148, 105864 (2022).
  52. Bhat, C., Strika, H. Speech Technology for Automatic Recognition and Assessment of Dysarthric Speech: An Overview. J Speech, Lang Hear Res. 68 (2), 547-577 (2025).
  53. Michizoe, R., Kinosada, H., Nishikawa, H., Taniguchi, I., Matsunaga, K., et al. Japanese Vowel-mora Visualization for Dysarthria Rehabilitation with Variational Autoencoder. , 494-498 (2024).
  54. Woo, S. T., Ha, J. W., Na, S. Design of a personalized oral—motor exercise device for speech impairment rehabilitation. Front Bioeng Biotechnol. 13, 1543259 (2025).

הגישה מוגבלת. התחברו או התחילו תקופת ניסיון כדי לצפות בתוכן זה.

הדפסות חוזרות והרשאות

בקש הרשאה לשימוש חוזר בטקסט או באיורים של מאמר JoVE זה

בקש הרשאה

תגיות

מאמרים קשורים