Übersichtsartikel
Diese Übersicht untersucht, wie multimodale Architekturen, die auditive, artikulatorische und visuelle Informationen zusammen mit Transformer- und TCN-Modellen kombinieren, die Phoneme-Identifikation in dysarthrischer Sprache verbessern können. Es betont ihr Potenzial, die Sprachverständlichkeitsbewertung und personalisierte Therapie über die Möglichkeiten typischer ASR-Systeme hinaus zu verbessern.
Aufgrund von Artikulationsproblemen und Phonemvariabilität stellen Sprachstörungen wie Dysarthrie erhebliche Herausforderungen in der klinischen Rehabilitation dar. Traditionelle automatische Spracherkennungssysteme (ASR), die typischerweise auf normativen Datensätzen trainiert sind, sind oft nicht in der Lage, dysarthrische Sprache genau zu dekodieren. Jüngste Durchbrüche in der künstlichen Intelligenz und im Deep Learning haben die Integration multimodaler Architekturen ermöglicht, wie das Zusammenführen von auditiven, artikulatorischen und visuellen Informationen, um komplexe Sprachmuster aufzuzeichnen, was dies zunehmend möglich macht. In dieser Übersicht haben wir die Konvergenz von Transformatoren und temporalen Faltungsnetzwerken (TCNs) innerhalb multimodaler Rahmen untersucht, um die Ungenauigkeit der Phonembezeichnung in der dysarthrischen Sprache zu beheben. Hier erläutern wir, wie transformatorbasierte kontextuelle Modellierung und TCN-gesteuerte zeitliche Präzision die Phonemgrenzerkennung, Klassifikation und Rehabilitationsrückmeldung verbessern können. Die Übersicht behandelt außerdem das Potenzial solcher hybrider Systeme in der individualisierten Sprachtherapie, interpretierbaren Fragen und klinischen Anwendungen. Multimodale Architekturen sind ein translationaler Ansatz zur Verbesserung der therapeutischen Überwachung, Kommunikationshilfen und der Bewertung der Sprachverständlichkeit bei Menschen mit motorischen Sprachstörungen, indem sie klinische Medizin und medizinische Informatik verbinden.
Eine Beeinträchtigung des Nervensystems kann oft zu drastischen und abrupten gesundheitlichen Folgen führen, zu denen muskuloskelettale Erkrankungen, neurovaskuläre Störungen und andere wie neurogene Kommunikationsstörungen gehören. Neurogene Kommunikationsstörungen umfassen Störungen wie Dysarthrie und Apraxie, die als lallende Sprache aufgrund von Muskelschwäche und Schwierigkeiten bei der Planung von Sprachbewegungen definiert werden können1. Sprache besteht aus fünf Teilsystemen: Atmung, Phonation, Resonanz, Artikulation und Prosodie, die alle synergetisch und nahtlos zusammenarbeiten müssen, um effektiv zu kommunizieren2. Dysarthrie, verursacht durch Dysfunktion in diesen Subsystemen, verringert die Hörbarkeit, Natürlichkeit, Verständlichkeit und Kommunikationseffizienz, was wiederum das Leben der Patienten und ihrer Familien erheblich beeinflusst. Dysarthrie kann durch verschiedene neurologische Erkrankungen und zugrunde liegende Pathologien verursacht werden, darunter Funktionsstörungen im Großhirnrinde, Basalganglien, Kleinhirn, Basalkerne, Hirnnerven oder peripheren Nerven. Weitere Faktoren sind primäre motorische Probleme von Zunge, Kehlkopf und Rachen3.
Dysarthrie ist ein Oberbegriff für motorische Sprachstörungen, die durch eine Veränderung der neuromuskulären Kontrolle verursacht werden, die Atmung, Phonation, Resonanz, Sprachproduktion, Lautbildung und Rhythmus beeinflussen. Daher ist Dysarthrie eine Sprachstörung, die oft mit neuromuskulären Beeinträchtigungen und Verletzungen verbunden ist, bei denen die Muskeln, die für die Sprache verwendet werden, entweder schwach, langsam oder gelähmt sind. Spezifische Muskeltypen, die an der Sprache beteiligt sind, sind Zungen, Rachen, Gesicht, Lippen, Stimmbänder, Kiefer und Muskeln des oberen Atemwegs. Die Schäden an diesen Muskeln können verschiedene Formen annehmen, darunter Verletzungen der motorischen Neuronen, die sie innervieren, oder ihrer Gefäße, wodurch ihnen der Sauerstoff entzieht wird. Typische neurologische Schäden, die die Sprachleitung beeinträchtigen, sind Schäden an den oberen motorischen Neuronen, die zu Steifheit oder Spastizität der Sprachmuskeln führen können, Verletzungen der unteren Motorneuronen, die zu Muskelschwäche oder -lähmung durch unterbrochene Nervensignale führen können, Kleinhirnverletzungen, die oft zu Koordinationsmangel in den Muskeln führen (Ataxie), oder die basalganglionären Schäden, die koordinierte Bewegungen beeinträchtigen und möglicherweise zu unwillkürlichen Bewegungen führen (hyperkinetisk) oder Muskelstarrigkeit (hypokinetische Bewegungen)5.
Dysarthrie ist ein häufiges Symptom verschiedener neurologischer Erkrankungen und wird häufig mit fortschreitenden neurologischen Erkrankungen in Verbindung gebracht. Es wirkt sich erheblich auf den Patienten und seine Familien aus, da Kommunikation eine entscheidende Rolle bei der Ausdrückung der eigenen Persönlichkeit und der Aufrechterhaltung sozialer Verbindungen spielt. Die Störung ist durch eine verminderte Sprachverständlichkeit gekennzeichnet. Der Inhalt der gesprochenen Sprache bleibt erhalten, sodass der Patient sowohl gesprochene als auch geschriebene Sprache schreiben und interpretieren kann; Anarthrie hingegen ist die schwerste Form und führt zu einem vollständigen Verlust der motorischen Sprachausgabe6. Es gibt sechs Hauptklassifikationen der Dysarthrie: schlaffe Dysarthrie, die mit einer Dysfunktion der unteren Motoneuronen in Verbindung steht; spastische Dysarthrie, die durch Schäden an oberen motorischen Neuronen entsteht, die mit den motorischen Regionen des Großhirnrindes verbunden sind; ataktische Dysarthrie, die hauptsächlich durch kleinhirnbedingte Probleme verursacht wird; sowie hyperkinetische Dysarthrie und hypokinetische Dysarthrie, beide mit Störungen des extrapyramidalen Systems verbunden. Der sechste Typ wird typischerweise als gemischte Dysarthrie bezeichnet und ist oft mit Schäden in mehreren Bereichen verbunden, was zu Sprachmerkmalen führt, die Merkmale aus mindestens zwei Kategorien aufweisen. Die mit diesen sechs Hauptarten der Dysarthrie verbundenen Sprachstörungen sind einzigartig und können bei der Diagnose und Behandlung der Dysarthriehelfen.
Die ätiologischen Faktoren, die zu Schwierigkeiten bei der Artikulation beitragen, umfassen Infektionen (wie die Creutzfeldt-Jakob-Krankheit und erworbenes Immundefizienzsyndrom), vaskuläre Probleme (sowohl ischämische als auch hämorrhagische Schlaganfälle), Tumore (Hirnneoplasien), demyelinisierende Erkrankungen (einschließlich Multipler Sklerose und Guillain–Barré-Syndrom), degenerative Erkrankungen (wie Parkinson und Huntington), Verletzungen (traumatische Hirnverletzungen und Zerebralparese), toxische Expositionen (gegenüber Schwermetallen), Alkohol und Drogen), sowie genetische Erkrankungen (zum Beispiel SANDO)7. Darüber hinaus können nicht-neurologische Faktoren wie Lippenspalte oder Gaumenspalte ebenfalls Artikulationsprobleme verursachen, diese fallen jedoch nicht unter die Kategorie Dysarthrie8.
Die Bedeutung der Dysarthrie in klinischen Einrichtungen liegt in ihrem erheblichen Einfluss auf die Lebensqualität der Betroffenen. Da Kommunikation für soziales, pädagogisches und berufliches Engagement unerlässlich ist, sehen sich diejenigen, die darunter leiden, oft mit Gefühlen von Isolation und vermindertem Wohlbefindenkonfrontiert 6. Die genaue Diagnose der verschiedenen Arten von Dysarthrie, wie schlaff, spastisch, ataktisch, hyperkinetisch, hypokinetisch und gemischt, ist entscheidend, um die zugrunde liegenden neurologischen Probleme zu erkennen und Rehabilitationsansätze zu bewerten. Sprachtherapeuten und Kliniker sind oft darauf angewiesen, die Merkmale und den Schweregrad der Dysarthrie zu analysieren, um die Therapie individuell anzupassen, erreichbare Kommunikationsziele zu definieren und die Notwendigkeit von augmentativen und alternativenKommunikationsmethoden zu beurteilen. Für Menschen mit Sprachschwierigkeiten wurde festgestellt, dass automatische Spracherkennungssysteme (ASR) die Zugänglichkeit und soziale Interaktion verbessern. Dennoch haben unzureichende akustische Modelle den breiteren Erfolg von ASR bei der Behandlung gestörter Sprache behindert. Daher geht dieses Papier auf Phonemprobleme in dysarthrischer Sprache, bestehende ASR-Systeme und deren Grenzen, kreative multimodale Techniken, transformatorbasierte kontextuelle Modellierung sowie TCNs zur temporalen und sequentiellen Verfeinerung ein.
Trotz erheblicher Fortschritte in der ASR-Technologie haben die besten ASR-Systeme weiterhin zahlreiche Schwächen für Menschen mit Sprachstörungen. Diese Mängel könnten teilweise auf die Schwierigkeiten zurückzuführen sein, einen vielfältigen und repräsentativen Trainingsdatensatz für gesprochene Störungen zu erhalten. Eine Herausforderung bei gestörter Sprach-ASR hängt wahrscheinlich mit der Vielzahl abnormer Sprachmerkmale zusammen, die von Person zu Person variieren, sowie mit der unzureichenden Darstellung dieser Variationen in Trainingsdatensätzen10. Trotzdem hat die Forschung zu ASR im Zusammenhang mit Dysarthrie diese Vielfalt oft übersehen.
ASR-Systeme werden in drei Kategorien unterteilt: lautsprecherunabhängig (SI), lautsprecherabhängig (SD) und lautsprecheradaptiv (SA). SI-Systeme funktionieren gut mit gesunden Sprechern, haben aber Probleme mit verschlechterter Sprache und schneiden besser ab, wenn Trainingsdaten dysarthrische Sprecher enthalten. Im Gegensatz dazu konzentrieren sich SD-Systeme auf einzelne Nutzer und erreichen eine ausgezeichnete Genauigkeit, während SA-Systeme sich im Laufe der Zeit an die Benutzersprache anpassen und sowohl SI- als auch SD-Modelle übertreffen. Sowohl SA- als auch SD-Systeme benötigen jedoch Trainingsdaten, was eine weitere Hürde für Menschen mit neurodegenerativen Erkrankungen darstellt11. Trotz erheblicher Fortschritte sind bestehende ASR-Modelle weiterhin ungeeignet für behinderte Sprecher, da es an unterschiedlichen Trainingsdatensätzen mangelt. Um diese Lücke zu schließen, müssen umfassende Datenerhebungsmethoden entwickelt werden, die verschiedene Aspekte der Dysarthrie abdecken, um die ASR-Leistung für schwer erkennbare Redner zu verbessern.
Um diese Einschränkungen zu überwinden, können multimodale Strategien, die akustische, artikulatorische und visuelle Signale verbinden, die Sprachproduktion und -verfeinerung bei dysarthrischen Symptomen umfassend darstellen. Beispielsweise werden Daten zur artikulatorischen Bewegung, wie z. B. Zungenbildgebung, mittels Ultraschall und elektromagnetischer Artikulographie gewonnen. Diese Daten werden oft mit visuellen Lippenbewegungen kombiniert und können beeinträchtigte akustische Informationen ausgleichen, wodurch die Fähigkeit verbessert wird, Phoneme12 zu unterscheiden und zu differenzieren. Diese Redundanz in multimodalen Systemen entspricht klinischen Bewertungsmethoden und stärkt die Fähigkeiten der Therapeuten, orofaciale Bewegungen neben der auditiven Sprache zu beobachten. Umgekehrt bieten Deep-Learning-Frameworks, insbesondere Transformer und TCNs, eine überlegene Modellierung zeitlicher Abhängigkeiten und Variationen innerhalb von Sprachsequenzen. Diese Modelle funktionieren, indem sie Transformatoren erlauben, übergeordnete kontextuelle Beziehungen zu erfassen, was die Phonem-Identifikation auch dann ermöglicht, wenn die akustischen Signale geschwächt, verdeckt oder reduziertsind. TCNs tragen weiter dazu bei, indem sie stabile rezeptive Felder und zeitliche Glättung bereitstellen, was die Genauigkeit der Phonemgrenzerkennung erhöht. Wenn sie in multimodale Fusionsrahmen integriert werden, verbessern beide Ansätze die Genauigkeit der Phonemkennzeichnung in der dysarthrischen Sprache erheblich und ermöglichen eine präzisere, feedbackorientierte klinische Rehabilitation. Daher sind diese multimodalen Deep-Learning-Architekturen direkt mit Echtzeit-klinischen Zielen übereinstimmt, wie der Verbesserung der Messung der Sprachverständlichkeit, der Überwachung des Rehabilitationsprozesses und der Bereitstellung technologieunterstützter Therapien, die auf die spezifischen motorischen Sprachstörungsprofilevon Personen zugeschnitten sind.
Obwohl diese multimodalen Deep-Learning-Architekturen großes Potenzial zur Lösung von Ungenauigkeiten bei der Phonembeschriftung haben, erfordert ihr effektiver Transfer von experimentellen Frameworks zu zuverlässigen diagnostischen Werkzeugen eine einheitliche operative Struktur. Um dies zu adressieren, beschreibt die folgende Studie einen umfassenden rechnergestützten Workflow, der multimodale Datenerfassung, Feature-Extraktion und Modelltraining umfasst. Das Ziel ist es, sicherzustellen, dass diese komplexen Systeme reproduzierbar und überprüfbar in einer Vielzahl klinischer Situationen sind. Die Einrichtung einer solchen transparenten methodischen Pipeline ist für Sprachtherapeuten und klinische Ingenieure entscheidend, um Algorithmen über ein breites Spektrum von Patientenmerkmalen und Beeinträchtigungen hinweg zu validieren. Schließlich dient diese systematische Methodik als Vorläufer der klinischen Implementierung und ermöglicht die Integration fortschrittlicher Sprachmodelle in regulatorische Bewertungen, elektronische Gesundheitssysteme und Langzeit-Therapieüberwachungsplattformen.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Überblick über multimodale Datenerfassung bei dysarthrischer Sprache
Multimodale Datenerhebung ist notwendig, um die Sprachmotorik-Kontrolle gründlich zu untersuchen und effiziente diagnostische und Rehabilitationstechniken zu entwickeln, angesichts der Komplexität und Vielfalt der dysarthrischen Symptome.
Akustisches Aufnahmesystem
Der akustische Kanal bleibt zentral. Aufnahmen werden am besten in einer akustisch behandelten Umgebung durchgeführt, um Nachhall und Umgebungsgeräusche zu mindern. Typische Mikrofone sind hochwertige Kondensatormikrofone und entweder kardioid-montierte Kopf- oder Tischgeräte, die konsequent so positioniert sind, dass sie den Signalpegel steuern und Schwankungen zwischen den Sitzungen vermeiden. Abtastraten von 16 kHz oder 44,1 kHz sind sehr verbreitet, wobei 16 kHz für Verständlichkeit und Prosodieanalyse ausreichen, während 44,1 kHz eine höhere Klangtreue bieten, was für feinkörnige akustische/phonatorische Forschung nützlich ist. Mehrkanal-Audioschnittstellen ermöglichen die synchrone Erfassung mehrerer Ströme und müssen konsistente Gain-Einstellungen und Headroom beibehalten, um Clipping oder Bodenrauschen zu vermeiden. Für die Reproduzierbarkeit sind die Festlegung der Kalibrierung und die Dokumentation von Mikrofonverstärkung, Umgebungsgeräuschpegel und Drift wichtig. In dysarthrischen Sprachkorpora ist die Audioqualität besonders wichtig, da akustische Signaldefekte subtil sein können und leicht durch schlechte Aufzeichnungsbedingungenüberdeckt werden können.
Optionale artikulatorische / Lip-Tracking / EMG- / Ultraschallmodalitäten
Um über die akustische Wellenform hinauszugehen, sind oft zusätzliche Modalitäten erforderlich, um artikulatorische Kinematik und physiologische Muskelaktivität zu erfassen. Daher ermöglicht Lip-Tracking oder Facial Motion Capture die Quantifizierung von Lippen-/Kieferöffnung, Bewegung, Geschwindigkeit und Symmetrie. Die elektromagnetische Artikulographie (EMA) verfolgt Zungen-, Kiefer- und Lippensensoren in drei Dimensionen und liefert zeitliche/positionelle Auflösung der Artikulatoren, während die Oberflächenelektromyographie (sEMG) die Muskelaktivität aufzeichnet, um neuromuskuläre Aktivierungsdefizite der Dysarthrie zu untersuchen. Die Ultraschall-Zungenbildgebung (UTI) ermöglicht eine Echtzeitbildgebung der Zungenoberfläche während der Artikulation, was bei Probanden nützlich ist, die EMA nicht vertragen. Multimodale Systeme zeigen, dass die Erkennung von Sprachmotorikdefiziten durch gleichzeitige akustische Defizite verbessert wird, ergänzt durch artikulatorische/visuelle Erfassung16.
Ethische Überlegungen und Patienteneinwilligung
Die Arbeit mit dysarthrischen Sprechern umfasst häufig gefährdete Bevölkerungsgruppen. Forscher müssen die Genehmigung eines institutionellen Begutachtungsausschusses (IRB) oder eines Ethikausschusses einholen und eine informierte Zustimmung gewährleisten, die Aufzeichnungsmodalitäten (Audio, Video, physiologische Sensoren), Speicherung, Anonymisierung, zukünftige Nutzung und Rückzugsrechte erklärt. Einwilligungsformulare sollten explizit Videoaufnahmen (Lippen-/Gesichts-Tracking) und optional sensible Methoden wie EMG behandeln. Datenschutz muss geschätzt werden, insbesondere wenn Video- oder Gesichtsbilder gespeichert werden. Es ist notwendig, das Wohlfühlniveau, die Erschöpfung, die Bewegungseinschränkungen und das potenzielle Risiko des Teilnehmers zu bewerten. Die Sitzungen sollten Pausen beinhalten, und den Teilnehmern sollte gesagt werden, dass sie jederzeit aufhören können, ohne Konsequenzen zu befürchten. Die Knappheit und Vielfalt der Teilnehmer an dysarthrischen Sprachkorpusforschungen unterstreicht zusätzlich die Bedeutung ethischer Strenge17.
Datenvorverarbeitungsschritte (Segmentierung, Rauschunterdrückung, Normalisierung)
Das MAV-HuBert-System richtet akustische und visuelle Daten zeitlich auf Bildebene aus, extrahiert 26-dimensionale Log-Filter-Bank-Energien aus der ursprünglichen Wellenform und synchronisiert sie mit 25-Hz-visuellen Bildern, die durch Dlib-basierte Gesichtsidentifikation gesammelt werden. Die aufeinanderfolgenden Audioframes werden typischerweise kombiniert, um kurzfristige Schwankungen zu stabilisieren, und die verschmolzenen visuellen Bereiche werden vor der multimodalen Merkmalsfusion räumlich normalisiert. Diese Vorverarbeitungsaktivitäten sorgen für kontinuierliche zeitliche Konsistenz und verringern die Variabilität zwischen Audio- und Videomodalitäten, was zu einer höheren Genauigkeit der nachgelagerten Identifikation15,18 führt.
Feature Engineering und rechnergestützter Arbeitsablauf
Multimodale Deep-Learning-Modelle erfordern synchronisierte Darstellungen akustischer, artikulatorischer und visueller Informationen, um Phoneme in dysarthrischer Sprache genau zu kennzeichnen. Dieser Abschnitt bietet eine Übersicht über die Feature-Darstellungstechniken, die in der multimodalen Sprachanalyse verwendet werden, gefolgt von einem Schritt-für-Schritt-Rechenworkflow zur Extraktion und Ausrichtung dieser Features vor dem Modelltraining.
Merkmalsextraktion und Darstellung
In der multimodalen Sprachanalyse müssen rohe Audio- und Bewegungssignale in sinnvolle Darstellungen umgewandelt werden, die von Deep-Learning-Modellen verarbeitet werden können. Eine der am weitesten verbreiteten Darstellungen ist das Spektrogramm, das zeigt, wie die Signalenergie im Laufe der Zeit und zwischen Frequenzen variiert. Spektrogrammbasierte Darstellungen sind nützlich, um Merkmale wie Verschwallen, Atemnot und unregelmäßiges Timing zu erfassen, die häufig in dysarthrischer Sprache19 beobachtet werden.
Ein weiteres häufig verwendetes Merkmal sind die Mel-Frequenz-Cepstralkoeffizienten (MFCCs), die die spektralen Eigenschaften der Sprache so darstellen, dass sie der menschlichen Hörwahrnehmung nahekommen. MFCC-Funktionen werden in der Spracherkennung weit verbreitet verwendet, da sie kompakte, rauschrobuste Darstellungen bieten, die auch dann stabil bleiben, wenndie Sprache verzerrt ist. Neben akustischen Merkmalen integrieren multimodale Ansätze artikulatorische Informationen, wie Bewegungsbahnen von Zunge, Lippen und Kiefer. Diese Signale können mittels elektromagnetischer Artikulographie (EMA), Ultraschall-Zungenbildgebung (UTI) oder optischer Bewegungsverfolgung erfasst werden. Artikulatorische Merkmale liefern direkte Informationen über die Sprachmotorsteuerung und helfen, verschlechterte akustische Signaleauszugleichen.
Visuelle Informationen sind ebenfalls nützlich zur Analyse dysarthrischer Sprache. Gesichtsmarkierungen, die aus Videoaufnahmen gewonnen wurden, darunter Lippenkontur, Kieferverschiebung und Mundöffnung, liefern zusätzliche Hinweise auf die Artikulation. Diese visuellen Merkmale verbessern die Phonemunterscheidung, insbesondere wenn das akustische Signal unklar ist. Für überwachtes Lernen müssen alle Merkmalströme mit Phonemebene-Transkriptionen ausgerichtet sein, um sicherzustellen, dass jeder Zeitrahmen der richtigen Spracheinheit entspricht. Eine genaue Ausrichtung ist entscheidend für das Training von Phonem-Labeling-Modellen, insbesondere bei dysarthrischer Sprache, wo Phonemgrenzen oft22 verschwimmen.
Rechengestützter Arbeitsablauf
Dieser Abschnitt zeigt, wie jeder Schritt erforderlich ist, um den multimodalen Phonem-Labeling-Workflow von der Merkmalextraktion bis zur Modellbewertung zu reproduzieren (Abbildung 1).
Akustische Merkmalsextraktion mittels Spektrogramme und MFCCs
Erstens wird die Kurzzeit-Fourier-Transformation (STFT) verwendet, um das rohe Sprachsignal in eine Zeit-Frequenz-Darstellung umzuwandeln. Um ein Spektrogramm zu erzeugen, wird das Signal in kurze, überlappende Frames aufgeteilt, und jedes Bild wird der Fourier-Transformation unterzogen.
Mel-Frequenz-Cepstralkoeffizienten (MFCCs) werden verwendet, um wahrnehmungsgewichtete akustische Merkmale aus dem Spektrogramm zu extrahieren. Für Spracherkennung und Dysarthrie-Analysen bieten MFCCs kompakte und rauschrobuste Darstellungen23,24. Aufgrund ihrer Robustheit und Wirksamkeit werden MFCCs häufig in Anwendungen im Bereich Sprach- und Sprecherkennung eingesetzt. Daher werden aufgrund ihres Nutzens MFCCs extrahiert, um die menschlichen auditiven Wahrnehmungspegel zu berechnen und zu approximieren und komprimierte, geräuschresistente akustische Merkmale bereitzustellen, danach25.
Erfassung artikulatorischer Trajektorien
Artikulatorische Bewegungsdaten werden gewonnen, um die physische Bewegung der Sprachorgane zu erfassen. Elektromagnetische Artikulographie (EMA) verwendet Sensoren, die an Zunge, Lippen und Kiefer angebracht sind, um artikulatorische Bewegungen in drei Dimensionen zu verfolgen. Alternativ kann Ultraschall-Zungenbildgebung (HWI) verwendet werden, um die Zungenbewegung nicht-invasiv abzuschätzen. Die aufgezeichneten Trajektorien werden gefiltert, normalisiert und heruntergesampelt, um die Bildrate der akustischen Merkmale anzupassen, um zeitliche Konsistenz26 sicherzustellen. Die Umwandlung von Sprache in Ultraschall-Zungenbildgebung (HWI) ist eine Technik zur Abschätzung von Ultraschall-Zungenbahnen aus Sprachdaten, indem auditive Eigenschaften auf physiologische Zungenbewegungen abgebildet werden. Diese Methodik bietet eine nicht-invasive Alternative zu direkten artikulatorischen Datenerhebungstechniken, die zur Überwachung und Behandlung von Sprach- und Stimmtraktauffälligkeiten notwendig sind, während der Bedarf an spezifischer Ausrüstung und klinischer Erfahrung, die bei direkten Messansätzen27,28 enthalten sind, vermieden wird. Basierend auf der Verfügbarkeit artikulatorischer Merkmale, wie Bewegungsbahnen von Zunge, Lippen und Kiefern, die mit EMA oder Ultraschall (UTI) aufgezeichnet werden, werden die Signale gefiltert und heruntergesampelt, um die Rate der akustischen Frames anzupassen.
Erkennung visueller Orientierungspunkte
Für die Eingaben von Sprache und Videos müssen Gesichtstasteneingaben (Lippenecken, Bewegung der Kieferlinien) über Werkzeuge wie Mediapipe oder OpenFace extrahiert werden, und diese werden dann normalisiert, um Kopfposen-Effekte zu entfernen. MediaPipe verwendet ein Deep-Learning-Framework zur Schätzung von Gesichts- und Körperposen und bietet 33 Orientierungspunkte für die allgemeine Posenerkennung, davon 11 speziell für das Gesicht. Seine Wirksamkeit kann variieren, insbesondere bei Verstopfungen. Das MediaPipe FaceMesh-Modell verbessert die Zuverlässigkeit, indem es 468 3D-Landmarken des Gesichts sowie eine geometrische Methode zur Kopfhaltungsschätzung29 verwendet. OpenFace 2.0 dient als Werkzeugkasten zur Analyse von Gesichtsverhalten, ermöglicht die Erkennung von Gesichtsmarkierungen, die Schätzung der Kopfpose, das Tracking des Augenblicks und die Erkennung von Gesichtsaktionseinheiten. Es unterstützt die Integration mit verschiedenen Programmiersprachen und kann Live-Videoübertragungen oder Standbilder verarbeiten. Ausgaben wie Gesichtsmarkierungen und Blickvektoren können im CSV-Format exportiert werden. OpenFace 2.0 verwendet das Convolutional Experts Constrained Local Model (CE-CLM), das ein Punktverteilungsmodell enthält, um Variationen in Landmark-Formen zu berücksichtigen, und Patch-Experten für Unterschiede im lokalen Erscheinungsbild 29,30.
Phonemtranskriptionsalignments
Der nächste Schritt besteht darin, alle Feature-Ströme (akustisch, artikulatorisch und visuell) vorübergehend auf Phonemebene-Annotationen mit erzwungenen Ausrichtungswerkzeugen wie dem Montreal Forced Aligner (MFA) auszurichten, um synchronisierte multimodale Eingaben für das Training von computergestützten Modellen sicherzustellen. Erzwungene Ausrichtung (FA) ist die Technik, Transkripte mit Audiosignalen auszurichten, um die zeitlichen Grenzen von Spracheinheiten zu bestimmen. Dies ermöglicht eine genauere Audioverarbeitung und fördert die linguistische Forschung. Es wird zunehmend in phonetischen Studien eingesetzt und hat sich als deutlich schneller als manuelle Ausrichtung erwiesen. Obwohl FA im Allgemeinen mit automatischen Spracherkennungssystemen (ASR) assoziiert wird, ist FA eine umfassendere Aufgabe innerhalb der automatischen Sprachverarbeitung, die die Analyse der gesprochenen Sprache und die Transkriptionumfasst. Der Montreal Forced Aligner (MFA) ist ein erstklassiges FA-Toolkit, das HMM-GMM-Algorithmen verwendet, um eine effektive Ausrichtung zu erreichen. Trotz Fortschritten in der ASR-Technologie sind traditionelle Ansätze wie HMM-GMM weiterhin für FA-Aufgaben beliebt. Das MFA verwendet MFCC-Eigenschaften und eine vierstufige Trainingsmethode, um akustische Modelle mit genauer phonetischer Ausrichtung31 zu erstellen.
Komponenten der Architektur der Modelle
Multimodale Deep-Learning-Modelle für dysarthrische Spracherkennung bestehen aus mehreren Schlüsselkomponenten, die zusammenwirken, um kontextuelle, zeitliche und multimodale Informationen zu erfassen. Die Hauptkomponenten umfassen einen kontextuellen Encoder, ein temporales Verfeinerungsmodul und einen multimodalen Fusionsmechanismus. Jede Komponente spielt eine spezifische Rolle bei der Verbesserung der Genauigkeit der Phonembezeichnung bei gestörter Sprache.
Transformatorbasierter kontextueller Encoder
Der Transformatorencoder wird verwendet, um Langstreckenabhängigkeiten in Sprachsequenzen zu modellieren. Dysarthrische Sprache enthält oft unregelmäßige Timings und unklare Phonemgrenzen, was es konventionellen Modellen erschwert, kontextuelle Informationen zu erfassen. Transformer nutzen Multi-Head Self-Attention, um Beziehungen zwischen verschiedenen Zeitfenstern in der Eingabesequenz zu analysieren. Dies ermöglicht es dem Modell, sowohl vergangene als auch zukünftige Sprachrahmen bei der Vorhersage von Phonemen zu berücksichtigen. Dadurch kann der Encoder die bei Dysarthrie häufig auftretenden Artikulations- und Aussprachevariationen besser bewältigen. In der multimodalen Architektur erhält der Transformator synchronisierte akustische, artikulatorische und visuelle Merkmale und erzeugt kontextbewusste Darstellungen, die in die nächste Stufe des Modells32,33 weitergeleitet werden.
TCN-basierte temporale Sequenzverfeinerung
Nach der kontextuellen Codierung wird die Merkmalssequenz von einem Temporal Convolutional Network (TCN) verarbeitet, um die temporale Präzision zu verbessern. Dysarthrische Sprache enthält oft instabile Timings, Pausen und verlängerte Phoneme, die über die kontextuelle Modellierung hinaus noch verfeinert werden müssen. TCNs verwenden dilatierte kausale Faltungen, um lange zeitliche Abhängigkeiten zu erfassen und dabei die Recheneffizienz zu erhalten. Diese Struktur ermöglicht es dem Modell, verrauschte Vorhersagen zu glätten und konsistente Phonemgrenzen über die Zeit zu halten. In der Architektur erhält das TCN die Ausgabe des Transformatorencoders und verfeinert die Sequenz, um stabile und zeitlich konsistente Merkmalsrepräsentationen 33,34,35 zu erzeugen.
Multimodale Fusionsstrategie
Um die diagnostische Präzision bei der Dysarthriebewertung zu erhöhen, integriert die multimodale Fusion Informationen aus zahlreichen Quellen wie Sprach-, Text-, Video- und physiologischen Sensoren. Die Haupttechniken bestehen aus drei verschiedenen Schritten: früher Fusion, später Fusion und intermediärerFusion 36. Frühe Fusion kombiniert Daten aus vielen Modalitäten auf fundamentaler Ebene und ermöglicht es Modellen, komplexe Beziehungen von Anfang an zu verstehen. Seine Verwendung ist begrenzt, da mehrere Abtastraten und Datentypen synchronisiert werden müssen. Die späte Fusion verarbeitet jede Modalität anhand unabhängiger Modelle, bevor die Ergebnisse für die endgültigen Bewertungen kombiniert werden. Diese Technik ist flexibel und effektiv, wenn Daten aus einer Modalität fehlen. Darüber hinaus integriert die Zwischenfusion Modalitäten auf mittlerer Ebene und verwendet häufig Cross-Attention-Techniken zur Erkennung von Abhängigkeiten. Diese Methode ist besonders in klinischen Kontexten nützlich, da sie die Ergebnisse verbessert, indem Sprachreferenzen mit akustischen Daten kombiniert werden. Zusammenfassend liefert eine intermediäre Fusion mit Kreuz-Aufmerksamkeit bessere Ergebnisse bei der automatischen Dysarthrie-Bewertung als Methoden, die auf einer einzigen Modalitätbasieren 36,37.
Best Practices für das Training und die Bewertung von Dysarthriemodellen:
Die Entwicklung von sehnigen Modellen für die Bewertung und Erkennung von Dysarthrie erfordert sorgfältige Aufmerksamkeit bei der Aufteilung des Datensatzes, der Bewertung der Metriken und der Interpretierbarkeit. Jüngste Forschungen haben standardisierte Ansätze und innovative Lösungen hervorgehoben, um diese einzigartigen Herausforderungen der dysarthrischen Sprache zu adressieren, darunter Datenknappheit, Variabilität und klinische Relevanz38,39.
Strategien zur Partitionierung von Datensätzen
Um sicherzustellen, dass Trainings-, Validierungs- und Testdatensätze keine Sprecherinformationen austauschen und so Datenlecks und Überanpassung verhindern, wird heute häufig die geschichtete Gruppe K-Fold Cross-Validation eingesetzt38,39. Dieser Ansatz ermöglicht es Modellen, ausgewogene Verteilungen und zuverlässige Leistungsbewertungen aufrechtzuerhalten, selbst bei der Arbeit mit begrenzten oder vielfältigen Datensätzen. Da die Partitionierung nach Lautsprecher zur Vermeidung von Verzerrungen unerlässlich ist, bestehen gängige Aufteilungen aus Zug-Test-Verhältnissen von 75:25 oder 85:15 sowie weiterer Division zurValidierung 40. Um begrenzte dysarthrische Daten zu verarbeiten, werden beliebte Datenaugmentationsmethoden wie synthetische Datengenerierung, Tempostörung und Transfer Learning aus gesunder Sprache angewandt 41,42.
Bewertungsmetriken
Überlegungen zur Interpretation des Modells
Daher umfasst eine umfassende Dysarthriemodell-Pipeline geschichtete, sprecherunabhängige Datenaufteilungen, vielschichtige Bewertung (PER, Verständlichkeit, klinischer Input) und Interpretierbarkeit durch Aufmerksamkeitsmechanismen. Diese Ansätze stellen sicher, dass Modellsysteme zur Bewertung und Erkennung von Dysarthrie robust, klinisch relevant und transparent sind.
Repräsentative Ergebnisse
Mehrere Studien haben Verbesserungen bei der Präzision der Phonemgrenzen berichtet, wenn multimodale Merkmale verwendet werden. Dysarthrische Sprache enthält oft verschwommene oder verlängerte artikulatorische Übergänge, was es erschwert, die genaue Grenze zwischen den Phonemen zu bestimmen. Veröffentlichte Modelle, die akustische, artikulatorische und visuelle Merkmale kombinieren, haben eine bessere Übereinstimmung mit Referenzannotationen gezeigt als unimodale Systeme. Diese Verbesserungen werden oft mit Ausrichtungskurven visualisiert, wobei multimodale Modelle reduzierte Zeitfehler zeigen, insbesondere bei Konsonant-Vokal-Übergängen46. Literaturberichte beschreiben auch Verbesserungen bei der Genauigkeit der Phonemklassifikation. Multimodale Architekturen haben gezeigt, dass sie Substitutions- und Deletionsfehler reduzieren, insbesondere bei Frikativen und Vokalen, die bei Dysarthrie häufig verzerrt sind. Verwirrungsmatrizen, die in früheren Studien berichtet wurden, zeigen, dass die Kombination visueller und artikulatorischer Informationen dem Modell hilft, ähnliche Phoneme zuverlässiger zu unterscheiden. Die Zunahme der Präzision der Phonemgrenze ist ein prominentes Beispiel. Die artikulatorischen Übergänge und Veränderungen in der dysarthrischen Sprache sind oft verlängert oder verschwommen, was es erschwert zu deuten, wo ein Phonem endet und ein anderes beginnt. Um den Beginn und Offset des Phonems genauer zu identifizieren, nutzt das multimodale System gemeinsam genutzte Daten aus visuellen Lippenbewegungen, artikulatorischen Flugbahnen und Audio. Im Vergleich zu denen, die von unimodalen akustischen Modellen erzeugt werden, entsprechen die vorhergesagten Phonemgrenzen den wahren Annotationen genauer. Ausrichtungskurven werden verwendet, um diese Verbesserungen zu visualisieren, wobei das multimodale Modell weniger Fehler im Timing zeigt, insbesondere bei Übergängen zwischen Vokalen und Konsonanten (VC und CV). Im klinischen Umfeld kann dies zu verbesserten Segmentierungskarten führen, die Sprachtherapeuten und Ärzten zusätzlich helfen, bestimmte Probleme mit der motorischen Kontrolle zu erkennen, wie unzureichende Lippenrundung oder verzögertes Kieferverschluss47.
Zusätzlich kann das Modell differenzielle Klassifikationsausgaben erzeugen, die zur Identifizierung der wahrscheinlichsten gesprochenen Phonemsequenz verwendet werden könnten. Das multimodale System zeigt im Vergleich zu traditionellen und Baseline-Modellen einen Rückgang bei Phonemsubstitutions- und Löschfehlern. Zum Beispiel verbessert die Einbeziehung der visuellen Form der Lippen und der Position des Artikulators die Klassifikationsgenauigkeit von Frikativen wie /s/ und /ʃ/, die häufig verzerrt und desorientiert bei Dysarthrie vorkommen. Verwirrungsmatrizen können auch verwendet werden, um solche Verbesserungen zu demonstrieren, wobei verbesserte Phonem-Diskriminierung und Bifurkation durch eine verringerte Kreuzkategorie-Verwirrung48 angezeigt werden.
Die Messung der Sprachverständlichkeit vor und nach der modellgestützten Korrektur kann mit einer klinischen Relevanztabelle verglichen werden. Kennzahlen wie Stabilität und Timing der Silben, Schätzung des Vokalraums, Präzisionsbewertung von Konsonanten und der Gesamtverständlichkeitswert können in dieses Diagramm aufgenommen werden. Im Allgemeinen zeigt das bereits korrigierte Ergebnis verbesserte Prosodie-, Rhythmus- und Artikulationsgrenzen. Nach der Korrektur vergrößert sich beispielsweise die Darstellung des Vokalraums meist, was auf eine verbesserte Vokalakustik-Distinktivität hinweist – ein wichtiges therapeutisches Ziel in vielen Dysartriebehandlungen39.
Wichtig ist, dass diese Modellergebnisse die klinische Entscheidungsfindung unterstützen sollen, indem sie das Urteilsvermögen der Kliniker verbessern und nicht ersetzen. Das System kann spezifische Phoneme oder artikulatorische Übergänge betonen, die signifikant von erwarteten oder theoretisch hypothetischen Mustern abweichen. Mit diesen Informationen können Therapeuten ihre Therapieziele so anpassen: (a) Verbesserung der Konsistenz der Zungenerhöhung bei alveolaren Konsonanten (z. B. /t/, /d/), (b) Konzentration auf den Lippenvorsprung bei abgerundeten Vokalen (z. B. /u/), (c) Verbesserung des Eintrittszeitpunkts für stimmhafte Stop-Konsonanten einschließen.
Veröffentlichte Arbeiten betonen, dass diese Ergebnisse die klinische Interpretation ergänzen und nicht das Urteil der Ärzte ersetzen sollten. Modellvisualisierungen wie Aufmerksamkeitskarten und Phonemausrichtungsdiagramme können Therapeuten dabei helfen, spezifische artikulatorische Probleme zu erkennen, wie unzureichende Zungenerhebung, verringerte Lippenrundung oder verzögerten Stimmbeginn. Insgesamt zeigen Daten aus mehreren Studien, dass multimodale Deep-Learning-Architekturen technische Leistungsindikatoren erhöhen und gleichzeitig interpretierbare Ergebnisse liefern, die bei der Therapieplanung und der Verfolgung des Rehabilitationsfortschritts helfen können.
Klinische Integration und Rehabilitation
Die Implementierung digitaler Technologien und fortschrittlicher Sprachmodelle in der Dysarthrie-Rehabilitation verändert die Patientenergebnisse, die Therapiedurchführung und die klinische Praxis. Dieser Abschnitt behandelt den Rahmen des feedbackorientierten artikulatorischen Trainings, die sich entwickelnden Rollen von Sprachtherapeuten und Patientenüberwachung, die Integration von Modellausgaben in therapeutische Werkzeuge sowie erhebliche Bedenken der Benutzerfreundlichkeit.
Wie fließen diese Modellausgaben in Sprachtherapie-Tools ein?
Moderne KI- und Deep-Learning-Modelle, zu denen ASR- und Schweregrad-Klassifikatoren gehören, könnten detaillierte, objektive Daten zu Sprachverständlichkeit, Artikulationsfehlern und Schweregradstufen48 generieren. Diese Ergebnisse sind heutzutage zunehmend in digitale Therapieplattformen und mobile Anwendungen eingebettet, die Patienten und Therapeuten in Echtzeit, personalisiertesFeedback bieten. Beispielsweise verwenden tabletbasierte Anwendungen und cloudbasierte Tele-Monitoring-Systeme modellgenerierte Metriken, um den Fortschritt zu visualisieren, spezifische artikulatorische Defizite hervorzuheben und die Schwierigkeit des Trainings anzupassen. Diese Systeme ermöglichen eine objektive Überwachung des Therapiefortschritts, eine personalisierte Übungsauswahl und unterstützen die Fernüberwachung über digitale Plattformen 50,51,52.
Rückkopplungsbasierte artikulatorische Trainingsmodule
Feedbackbasierte Schulungsmodule sind zentral für die Rehabilitation digitaler Dysartrie. Frühere Studien haben berichtet, dass digitale Rehabilitationsmodule oft Biofeedback, automatisierte Fehlererkennung und adaptives Übungsdesign enthalten. Biofeedback in der Sprachtherapie nutzt visuelle und auditive Hinweise, wie Wellenformdarstellungen und Visualisierungen von Artikulatorbewegungen, um Patienten in Echtzeit zu orientieren. Zusätzlich wird die automatisierte Fehlererkennung durch KI-Modelle erleichtert, die phonologische oder artikulatorische Fehler erkennen und sofortiges Korrekturfeedback bieten, um das Lernen zu verbessern. Der Trainingsprozess ist hierarchisch und adaptiv, das heißt, er entwickelt sich von einfacheren zu komplexeren Aufgaben, die speziell Sprachlaute, Silben oder Wörter ansprechen. Diese Übungen werden dynamisch an die Leistung des Patienten angepasst, um personalisierte Lernerfahrungen zu gewährleisten. Darüber hinaus dient die Integration von Gamification-Elementen und Virtual Reality (VR) in einige Plattformen dazu, die Motivation und Compliance der Patienten zu steigern und den therapeutischen Prozess ansprechender zu machen. Diese Module unterstützen somit intensives, sich wiederholendes Üben, was der Schlüssel zum motorischen Lernen und zur Verbesserung der Sprache ist und gleichzeitig eine eigenständige oder vom Therapeuten geführte Nutzungermöglicht.
Rolle der Sprachtherapeuten und Patientenüberwachung
Sprachtherapeuten (SLTs) bleiben zentral im Rehabilitationsprozess, auch wenn digitale Werkzeuge in den letzten zehn Jahren immer verbreiteter geworden sind. Bewertung und Zielsetzung umfassen die Interpretation von Modellausgaben, um geeignete Therapieziele auszuwählen, und die individuelle Behandlungspläne individuell anzupassen. Überwachung und Rückmeldung sind entscheidend für die Überwachung des Patientenfortschritts; Experten geben Rückmeldungen zur Korrektur der Sprache und nehmen bei Bedarf notwendige Anpassungen an der Therapie vor. Darüber hinaus wird die Patientenaufklärung und -unterstützung betont, um den Patienten beizubringen, digitale Werkzeuge effektiv im Rehabilitationsprozess zu nutzen. Multidisziplinäre Zusammenarbeit ist entscheidend, da Fachkräfte aus verschiedenen Fachrichtungen zusammenarbeiten, um die breiteren Bedürfnisse der Rehabilitation zu adressieren und so einen umfassenden Ansatz in der Patientenversorgung zu gewährleisten. Die Patientenüberwachung wird durch digitale Plattformen verbessert, die es Therapeuten und Klinikern ermöglichen, Patientencompliance, Genesung, Leistung und Ergebnisse aus der Ferne zu verfolgen, was zeitnahe Interventionen und fortlaufende Unterstützungermöglicht.
Benutzerfreundlichkeitsaspekte: Patientenkomfort und Wiederholbarkeit
Damit digitale Rehabilitationstechnologien erfolgreich implementiert werden können, ist die Benutzerfreundlichkeit entscheidend, mit Fokus auf benutzerfreundliche Oberflächen, die unterschiedlichen Patientenbedürfnissen gerecht werden. Flexible Therapiemethoden werden durch mobile Plattformen ermöglicht, die den Komfort und die Zugänglichkeit verbessern. Wichtige Funktionen wie anpassungsfähige Module und automatisiertes Feedback fördern eine konsequente, autonome Beteiligung, was für das motorische Lernen unerlässlich ist. Pilotversuche zeigen hohe Akzeptanz und Zufriedenheit, aber technische Probleme bestehen weiterhin. Kontinuierliches Feedback von Patienten und Therapeuten hilft, diese Werkzeuge an reale Anforderungen anzupassen. Mit dem Schwerpunkt auf der Entwicklung bedeutungsvoller therapeutischer Erfahrungen verbessert der Einsatz von KI und feedbackbasiertem Training in der Sprachtherapie die Wirksamkeit, Zugänglichkeit und Personalisierung in der Dysarthrie-Rehabilitation 48,51,52,53,54.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Diese Übersichtsarbeit beschreibt die zunehmende Anwendung multimodaler Deep-Learning-Architekturen zur Phonemkennzeichnung und Sprachwiederherstellung bei Dysarthrie. Diese Architekturen kombinieren akustische artikulatorische und visuelle Analyse, um die Einschränkungen der audiobasierten Spracherkennung in pathologischer Sprache zu überwinden, die durch geringe Verständlichkeit und nicht standardmäßige artikulatorische Konfigurationen gekennzeichnet ist. Elektromagnetische Artikulogra...
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Die Autoren erklären keinen Interessenkonflikt.
Die Autoren würdigen das Nanjing University of Chinese Medicine Affiliated Hospital of Nanjing, University of Chinese Medicine, für die Bereitstellung der notwendigen Stipendien und Finanzierung (Jiangsu Province Postgraduate Research and Innovation Program KYCX25_2282).
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Zugriff eingeschränkt. Bitte melden Sie sich an oder starten Sie eine Testversion, um diesen Inhalt anzuzeigen.
Genehmigung beantragen, um den Text oder die Abbildungen dieses JoVE-Artikels zu verwenden
Genehmigung beantragen