Reviewartikel
Deze review onderzoekt hoe multimodale architecturen die auditie, articulatorische en visuele informatie combineren, samen met transformer- en TCN-modellen, foneemidentificatie in dysarthriske spraak kunnen verbeteren. Het benadrukt hun potentieel om spraakverstaanbaarheidsbeoordeling en gepersonaliseerde therapie te verbeteren buiten de mogelijkheden van typische ASR-systemen.
Door articulatieproblemen en foneemvariabiliteit vormen spraakstoornissen zoals dysartri aanzienlijke uitdagingen in klinische revalidatie. Traditionele automatische spraakherkenning (ASR)-systemen, die doorgaans zijn getraind op normatieve datasets, slagen er vaak niet in om dysarthische spraak nauwkeurig te decoderen. Recente doorbraken in kunstmatige intelligentie en deep learning hebben de integratie van multimodale architecturen mogelijk gemaakt, zoals het samenvoegen van auditieve, articulatorische en visuele informatie om complexe spraakpatronen vast te leggen, waardoor dit steeds meer mogelijk wordt. In deze review hebben we de convergentie van transformers en temporele convolutionele netwerken (TCN's) binnen multimodale kaders onderzocht om de onnauwkeurigheid in de foneemetikettering in dysarthrijspraak aan te pakken. Hier bespreken we hoe transformer-gebaseerde contextuele modellering en TCN-gedreven temporele precisie foneemgrensdetectie, classificatie en revalidatiefeedback kunnen verbeteren. De review bespreekt ook het potentieel van dergelijke hybride systemen in individuele logopedie, interpreteerbaarheidskwesties en klinische toepassingen. Multimodale architecturen zijn een translationele benadering om therapeutische monitoring, communicatiehulpmiddelen en spraakverstaanbaarheidsbeoordeling te verbeteren voor mensen met motorische spraakstoornissen door klinische geneeskunde en medische informatica te verbinden.
Een aandoening aan het zenuwstelsel kan vaak leiden tot drastische en abrupte gezondheidsgevolgen, waaronder musculoskeletale aandoeningen, neurovasculaire aandoeningen en andere zoals neurogene communicatiestoornissen. Neurogene communicatiestoornissen omvatten aandoeningen zoals dysartrie en apraxie, die respectievelijk kunnen worden gedefinieerd als onduidelijke spraak door spierzwakte en moeite met het plannen van spraakbewegingen. Spraak bestaat uit vijf subsystemen: ademhaling, fonatie, resonantie, articulatie en prosodie, die allemaal synergetisch en naadloos moeten samenwerken om effectief te communiceren2. Dysartrie, veroorzaakt door disfunctie in deze subsystemen, vermindert hoorbaarheid, natuurlijkheid, verstaanbaarheid en communicatie-efficiëntie, wat op zijn beurt een aanzienlijke impact heeft op het leven van patiënten en hun families. Dysartri kan worden veroorzaakt door diverse neurologische aandoeningen en onderliggende pathologieën, waaronder disfuncties in de hersenschors, basale ganglia, cerebellum, basale kernen, hersenzenuwen of perifere zenuwen. Andere factoren zijn primaire motorische problemen van de tong, strottenhoofd en keel3.
Dysartrie is een overkoepelende term voor motorische spraakstoornissen veroorzaakt door een verandering in neuromusculaire controle die de ademhaling, fonatie, resonantie, spraakproductie, vocalisatie en ritme beïnvloedt. Dysartri is dus een spraakstoornis die vaak geassocieerd wordt met neuromusculaire stoornissen en blessures, waarbij de spieren die voor spraak worden gebruikt zwak, traag of verlamd zijn. Specifieke typen spieren die betrokken zijn bij spraak zijn onder andere die van de tong, keel, gezicht, lippen, stembanden, kaken en spieren van de bovenste luchtwegen. De schade aan deze spieren kan verschillende vormen aannemen, waaronder verwondingen aan de motorneuronen die ze innerveren of aan hun bloedvaten, waardoor ze zuurstof verliezen. Typische neurologische schade die de spraakgeleiding belemmert zijn schade aan de bovenste motorneuronen die kan leiden tot stijfheid of spasticiteit van de spraakspieren, letsels aan de onderste motorneuronen die kunnen leiden tot spierzwakte of verlamming als gevolg van verstoorde zenuwsignalen, cerebellaire letsels die vaak leiden tot een gebrek aan coördinatie tussen de spieren (ataxie), of de basale ganglionaire schade die gecoördineerde bewegingen belemmert en kan leiden tot onwillekeurige bewegingen (hyperkinetisch) of Stijfheid van de spieren (hypokinetische bewegingen)5.
Dysartri is een veelvoorkomend symptoom van diverse neurologische aandoeningen en wordt vaak in verband gebracht met progressieve neurologische aandoeningen. Het heeft een grote impact op de patiënt en hun families, omdat communicatie een cruciale rol speelt bij het uitdrukken van de persoonlijkheid en het onderhouden van sociale connecties. De stoornis wordt gekenmerkt door verminderde spraakverstaanbaarheid. De gesproken taalinhoud blijft intact, waardoor de patiënt zowel gesproken als geschreven taal kan schrijven en interpreteren; Anarthrie daarentegen is de ernstigste vorm, wat resulteert in volledig verlies van motorische spraakoutput6. Er zijn zes hoofdclassificaties van dysartrie: slappe dysartrie, die in verband wordt gebracht met een lagere motorneuronstoornis; spastische dysartrie, die ontstaat door schade aan de bovenste motorneuronen die verbonden zijn met de motorische gebieden van de hersenschors; ataxische dysartrie, voornamelijk als gevolg van cerebellaire problemen; en hyperkinetische dysartrie en hypokinetische dysartrie, beide geassocieerd met aandoeningen van het extrapiramidale systeem. Het zesde type wordt doorgaans gemengde dysartrie genoemd en wordt vaak geassocieerd met schade op meerdere gebieden, wat leidt tot spraakkenmerken die kenmerken uit ten minste twee categorieën vertonen. De spraakstoornissen die samenhangen met deze zes hoofdtypen dysartrie zijn uniek en kunnen helpen bij de diagnose en behandeling van dysartrie 5,6.
De etiologische factoren die bijdragen aan de uitdagingen met articulatie omvatten infecties (zoals de ziekte van Creutzfeldt–Jakob en het verworven immunodeficiëntiesyndroom), vasculaire problemen (zowel ischemische als hemorragische beroertes), tumoren (hersentumoren), demyeliniserende aandoeningen (waaronder multiple sclerose en het Guillain–Barré-syndroom), degeneratieve aandoeningen (zoals de ziekte van Parkinson en de ziekte van Huntington), letsels (traumatisch hersenletsel en cerebrale parese), toxische blootstelling (aan zware metalen), alcohol en drugs), en genetische aandoeningen (bijvoorbeeld SANDO)7. Daarnaast kunnen niet-neurologische factoren, zoals een gespleten lip of gehemelte, ook articulatieproblemen veroorzaken, maar deze vallen niet onder de categorie dysarthrie8.
Het belang van dysartrie in klinische omgevingen ligt in de aanzienlijke impact op de kwaliteit van leven van individuen. Omdat communicatie essentieel is voor sociale, educatieve en professionele betrokkenheid, ervaren degenen die eraan lijden vaak gevoelens van isolement en verminderd welzijn6. Het nauwkeurig diagnosticeren van de verschillende typen dysartrie, zoals slap, spastisch, ataxisch, hyperkinetisch, hypokinetisch en gemengd, is essentieel om de onderliggende neurologische problemen te identificeren en revalidatiebenaderingen te evalueren. Logopedisten en clinici vertrouwen vaak op het analyseren van de kenmerken en ernst van dysarthrie om de therapie aan te passen, haalbare communicatiedoelen vast te stellen en de noodzaak van augmentatieve en alternatieve communicatiemethoden te beoordelen9. Voor mensen met spraakproblemen is vastgesteld dat automatische spraakherkenning (ASR)-systemen de toegankelijkheid en sociale interactie verbeteren. Desalniettemin hebben onvoldoende akoestische modellen het bredere succes van ASR bij het aanpakken van verstoorde spraak belemmerd. Dit artikel duikt dus in foneemproblemen in dysarthre spraak, bestaande ASR-systemen en hun grenzen, creatieve multimodale technieken, transformer-gebaseerde contextuele modellering en TCN's voor temporele en sequentiële verfijning.
Zelfs met aanzienlijke vooruitgang in ASR-technologie hebben de beste ASR-systemen nog steeds tal van tekortkomingen voor mensen met spraakstoornissen. Deze tekortkomingen kunnen deels voortkomen uit de moeilijkheden om een diverse en representatieve trainingsdataset van spraakstoornissen te verkrijgen. Een uitdaging bij verstoorde spraak ASR is waarschijnlijk gerelateerd aan het brede scala aan abnormale spraakkenmerken die per persoon verschillen, en de onvoldoende representatie van deze variaties in trainingsdatasets10. Desondanks heeft onderzoek naar ASR gerelateerd aan dysarthrie deze diversiteit vaak over het hoofd gezien.
ASR-systemen worden onderverdeeld in drie categorieën: luidsprekeronafhankelijk (SI), luidsprekerafhankelijk (SD) en luidsprekeradaptief (SA). SI-systemen presteren goed met gezonde sprekers, maar hebben moeite met verslechterde spraak en presteren beter wanneer trainingsgegevens dysarthrij-luidsprekers bevatten. Daarentegen richten SD-systemen zich op individuele gebruikers en bereiken uitstekende nauwkeurigheid, terwijl SA-systemen zich in de loop van de tijd aanpassen aan de spraak van de gebruiker en zowel SI- als SD-modellen overtreffen. Echter, zowel SA- als SD-systemen vereisen trainingsdata, wat opnieuw een barrière vormt voor mensen met neurodegeneratieve aandoeningen11. Ondanks aanzienlijke vooruitgang zijn bestaande ASR-modellen nog steeds ongeschikt voor gehandicapte sprekers, vanwege het ontbreken van verschillende trainingsdatasets. Om deze kloof te vullen, moeten grondige dataverzamelingsmethoden worden ontwikkeld die verschillende aspecten van dysartrie vastleggen, waardoor de ASR-prestaties voor moeilijk te herkennen sprekers verbeteren.
Om deze beperkingen te overwinnen, kunnen multimodale strategieën die akoestische, articulatorische en visuele signalen combineren, spraakproductie en verfijning van dysarthrijsymptomen effectief op een uitgebreide manier weergeven. Zo worden gegevens over articulatorische beweging, zoals tongbeeldvorming, verkregen met behulp van ultrascopie en elektromagnetische articulografie. Deze gegevens worden vaak gecombineerd met visuele lipbewegingen en kunnen compenseren voor verminderde akoestische informatie, waardoor het vermogen om fonemen12 te onderscheiden en te onderscheiden wordt verbeterd. Deze redundantie die in multimodale systemen wordt gevonden, is consistent met klinische evaluatiemethoden, wat de mogelijkheden van therapeuten versterkt om orofaciale bewegingen naast auditieve spraak te observeren. Daarentegen bieden deep learning-frameworks, met name transformers en TCN's, superieure modellering van temporele afhankelijkheden en variaties binnen spraakreeksen. Deze modellen functioneren doordat transformatoren overkoepelende contextuele relaties kunnen vastleggen, waardoor foneemidentificatie mogelijk is, zelfs wanneer de akoestische signalen verminderd, verduisterd of gereduceerdzijn met 13. TCN's dragen verder bij door stabiele receptieve velden en temporele vervlakking te bieden, wat de nauwkeurigheid van foneemgrensdetectie verbetert. Wanneer geïntegreerd binnen multimodale fusiekaders, verbeteren beide benaderingen de nauwkeurigheid van foneemlabeling in dysarthriske spraak aanzienlijk en bevorderen zij een preciezere, feedbackgerichte klinische revalidatie. Daarom zijn deze multimodale deep learning-architecturen direct afgestemd op realtime klinische doelstellingen, zoals het verbeteren van de meting van spraakverstaanbaarheid, het monitoren van het revalidatietraject en het aanbieden van technologie-ondersteunde therapieën die zijn afgestemd op de specifieke profielen van motorische spraakstoornissen van individuen14.
Hoewel deze multimodale deep learning-architecturen groot potentieel hebben om onnauwkeurigheid in foneemetikettering op te lossen, vereist hun effectieve overdracht van experimentele kaders naar betrouwbare diagnostische instrumenten een uniforme operationele structuur. Om dit aan te pakken, beschrijft de volgende studie een uitgebreide computationele workflow die multimodale dataverzameling, feature-extractie en modeltraining omvat. Het doel is ervoor te zorgen dat deze complexe systemen reproduceerbaar en verifieerbaar zijn in een breed scala aan klinische situaties. Het opzetten van zo'n transparante methodologische pijplijn is cruciaal voor logopedisten en klinisch ingenieurs om algoritmen te valideren over een breed scala aan patiëntkenmerken en beperkingsniveaus. Ten slotte dient deze systematische methodologie als voorloper van klinische implementatie, waardoor geavanceerde spraakmodellen kunnen worden geïntegreerd in regelgevende evaluaties, elektronische gezondheidssystemen en langetermijnbehandelingsmonitoringsplatforms.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Overzicht van multimodale gegevensverzameling bij dysarthische spraak
Multimodale gegevensverzameling is noodzakelijk om spraakmotorische controle grondig te onderzoeken en efficiënte diagnostische en revalidatietechnieken te ontwikkelen, gezien de complexiteit en diversiteit van dysarhrische symptomen.
Akoestische opname-opstelling
Het akoestische kanaal blijft centraal. Opnames worden het beste uitgevoerd in een akoestisch behandelde omgeving om nagalm en omgevingsgeluid te verminderen. Typische microfoons zijn hoogwaardige condensatoren en zijn ofwel cardioïde kopmontering of tafel-eenheden, consistent gepositioneerd om het signaalniveau te regelen en variatie tussen sessies te voorkomen. Bemonsteringsfrequenties van 16 kHz of 44,1 kHz zijn zeer gebruikelijk, waarbij 16 kHz voldoende is voor verstaanbaarheids- en prosodieanalyse, terwijl 44,1 kHz een hogere nauwkeurigheid biedt, wat nuttig is voor fijnkorrelig akoestisch/fonatonisch onderzoek. Multikanaals audio-interfaces maken synchroon vastleggen van meerdere streams mogelijk en moeten consistente gain-instellingen en headroom behouden om clipping of vloerruis te voorkomen. Voor reproduceerbaarheid zijn het belangrijk kalibratie vast te stellen en microfoonversterking, omgevingsgeluidsvloer en drift te documenteren. In dysarthriske spraakcorpora is de audiokwaliteit bijzonder belangrijk omdat akoestische signaaldefecten subtiel kunnen zijn en gemakkelijk kunnen worden gemaskeerd door slechte opnameomstandigheden15.
Optionele articulatoire / liptracking / EMG / ultrageluidsmodaliteiten
Om verder te gaan dan de akoestische golfvorm, zijn vaak extra modaliteiten nodig om articulatoire kinematica en fysiologische spieractiviteit vast te leggen. Liptracking of gezichtsbewegingsopname maakt het dus mogelijk om lip-/kaakopening, beweging, snelheid en symmetrie te kwantificeren. Elektromagnetische articulografie (EMA) volgt tong-, kaak- en lipsensoren in drie dimensies en biedt temporele/positionele resolutie van articulatoren, terwijl oppervlakte-elektromyografie (sEMG) spieractiviteit registreert om neuromusculaire activatietekorten ten grondslag aan dysartrie te onderzoeken. Ultrageluidstongbeeldvorming (UTI) biedt realtime beeldvorming van het tongoppervlak tijdens articulatie, nuttig bij proefpersonen die EMA niet kunnen verdragen. Multimodale systemen tonen aan dat de identificatie van spraakmotorische tekorten wordt verbeterd door gelijktijdige akoestische techniek, aangevuld met articulatie/visuele vastlegging16.
Ethische overwegingen en patiënttoestemming
Werken met dysarthrij-sprekers omvat vaak kwetsbare groepen. Onderzoekers moeten goedkeuring van de institutionele beoordelingscommissie (IRB) of ethische commissie verkrijgen en geïnformeerde toestemming waarborgen die opnamemodaliteiten (audio, video, fysiologische sensoren), opslag, anonimisatie, toekomstig gebruik en terugtrekkingsrechten uitlegt. Toestemmingsformulieren moeten expliciet betrekking hebben op video-opname (lip-/gezichtstracking) en, optioneel, gevoelige modaliteiten zoals EMG. Gegevensprivacy moet worden beheerd, vooral wanneer video- of gezichtsafbeeldingen worden opgeslagen. Het is noodzakelijk om het comfortniveau, de uitputting, bewegingsbeperkingen en het potentiële risico van de deelnemer te beoordelen. Sessies moeten rustperiodes bevatten, en deelnemers moeten te horen krijgen dat ze op elk moment kunnen stoppen zonder consequenties. De schaarste en diversiteit van deelnemers aan onderzoek naar dysarthrisk spraakcorpus benadrukt verder het belang van ethische strengheid17.
Data-voorverwerkingsstappen (segmentatie, ruisreductie, normalisatie)
Het MAV-HuBERT-systeem lijnt akoestische en visuele gegevens tijdelijk uit op frameniveau, waarbij 26-dimensionale log-filterbankenergieën uit de oorspronkelijke golfvorm worden gehaald en gesynchroniseerd worden met 25 Hz visuele frames die worden verzameld door Dlib-gebaseerde gezichtsidentificatie. De opeenvolgende audioframes worden doorgaans gecombineerd om kortetermijnfluctuaties te stabiliseren, en de samengevoegde visuele gebieden worden ruimtelijk genormaliseerd vóór multimodale feature-fusie. Deze pre-processing activiteiten zorgen voor continue temporele consistentie en verminderen variabiliteit tussen audio- en visuele modaliteiten, wat resulteert in een hogere nauwkeurigheid van downstream identificatie15,18.
Feature engineering en computationele workflow
Multimodale deep learning-modellen vereisen gesynchroniseerde weergaven van akoestische, articulatorische en visuele informatie om fonemen in dysarthrijspraak nauwkeurig te labelen. Deze sectie geeft een overzicht van de feature-representatietechnieken die worden gebruikt in multimodale spraakanalyse, gevolgd door een stapsgewijze computationele workflow voor het extraheren en afstemmen van deze features voorafgaand aan modeltraining.
Feature-extractie en representatie
In multimodale spraakanalyse moeten ruwe audio- en bewegingssignalen worden omgezet in betekenisvolle representaties die door deep learning-modellen verwerkt kunnen worden. Een van de meest gebruikte representaties is het spectrogram, dat laat zien hoe de signaalenergie in de tijd en tussen frequenties varieert. Spectrogramgebaseerde representaties zijn nuttig om kenmerken zoals lallen, ademhaling en onregelmatige timing vast te leggen, die vaak voorkomen bij dysarthrisk spraak19.
Een andere veelgebruikte functie zijn de Mel-Frequency Cepstral Coëfficiënten (MFCC's), die de spectrale eigenschappen van spraak weergeven op een manier die de menselijke auditieve waarneming benadert. MFCC-functies worden veel gebruikt in spraakherkenning omdat ze compacte, ruisrobuuste representaties bieden die stabiel blijven, zelfs wanneer spraak vervormdis. Naast akoestische kenmerken bevatten multimodale benaderingen articulatoire informatie, zoals bewegingsbanen van tong, lippen en kaak. Deze signalen kunnen worden verkregen met elektromagnetische articulografie (EMA), ultrasone tongbeeldvorming (UTI) of optische bewegingstracking. Articulatorische functies geven directe informatie over spraakmotorische controle en helpen compenseren voor verslechterde akoestische signalen21.
Visuele informatie is ook nuttig voor het analyseren van dysarthrij-spraak. Gezichtsherkenningspunten die uit video-opnames worden gehaald, waaronder lipcontour, kaakverplaatsing en mondopening, geven extra aanwijzingen over articulatie. Deze visuele kenmerken verbeteren het onderscheiden van het foneem, vooral wanneer het akoestische signaal onduidelijk is. Voor begeleid leren moeten alle featurestromen worden afgestemd op foneemniveautranscripties, zodat elk tijdsbestek overeenkomt met de juiste spraakeenheid. Nauwkeurige uitlijning is essentieel voor het trainen van foneemlabelingsmodellen, vooral in dysarthriske spraak, waar foneemgrenzen vaak vaagzijn 22.
Computationele workflow
Deze sectie laat zien hoe elke stap nodig is om de multimodale foneemlabelingsworkflow te reproduceren, van feature-extractie tot modelevaluatie (Figuur 1).
Akoestische feature-extractie via spectrogrammen en MFCC's
Ten eerste wordt de korte-tijd Fouriertransformatie (STFT) gebruikt om het ruwe spraaksignaal om te zetten in een tijd-frequentierepresentatie. Om een spectrogram te creëren, wordt het signaal opgesplitst in korte overlappende frames, en elk frame wordt onderworpen aan de Fouriertransformatie.
Mel-frequentie Cepstrale Coëfficiënten (MFCC's) worden gebruikt om perceptueel gewogen akoestische kenmerken uit het spectrogram te halen. Voor spraakherkenning en dysartrie-analyse bieden MFCC's compacte en ruis-robuuste representaties23,24. Vanwege hun robuustheid en effectiviteit worden MFCC's veel gebruikt in toepassingen gerelateerd aan spraak- en sprekerherkenning. Vanwege hun bruikbaarheid worden MFCC's vervolgens extraherd om de menselijke auditieve waarnemingsniveaus te berekenen en te benaderen en gecomprimeerde, ruisbestendige akoestische kenmerken te bieden, daarna25.
Verwerving van articulatoire trajecten
Articulatoire bewegingsgegevens worden verkregen om de fysieke beweging van spraakorganen vast te leggen. Elektromagnetische articulografie (EMA) gebruikt sensoren die aan de tong, lippen en kaak zijn bevestigd om articulatorische bewegingen in drie dimensies te volgen. Alternatief kan echografie van tongbeeldvorming (UTI) worden gebruikt om de tongbeweging niet-invasief te schatten. De opgenomen trajectorieën worden gefilterd, genormaliseerd en downsampled om de framerate van akoestische kenmerken te matchen en zo temporele consistentie26 te waarborgen. Het omzetten van spraak naar echogeluid van tongbeeldvorming (UTI) is een techniek om echo-tongtrajecten te schatten uit spraakgegevens door auditieve kenmerken in kaart te brengen op fysiologische tongbewegingen. Deze methodologie biedt een niet-invasief alternatief voor directe articulatoire gegevensverzamelingstechnieken, die noodzakelijk zijn voor het monitoren en behandelen van spraak- en stemkanaalafwijkingen, terwijl de noodzaak van specifieke apparatuur en klinische ervaring die inherent zijn aan directe meetbenaderingen27,28 wordt vermeden. Op basis van de beschikbaarheid van articulatoire kenmerken, zoals bewegingsbanen van tong, lippen en kaken, die worden opgenomen met EMA of ultrascopie (UTI), worden de signalen gefilterd en gedownsampled om te passen bij de snelheid van akoestische frames.
Detectie van visuele herkenningspunten
Voor de input van spraak en video's moeten gezichtstoetsinvoer (liphoeken, beweging van kaaklijnen) worden geextraheerd via tools zoals Mediapipe of OpenFace, en vervolgens worden deze genormaliseerd om hoofdpose-effecten te verwijderen. MediaPipe maakt gebruik van een deep learning-framework om gezichts- en lichaamshoudingen te schatten, waarbij 33 herkenningspunten worden geleverd voor algemene pose-herkenning, waarvan 11 specifiek voor het gezicht. De effectiviteit ervan kan variëren, vooral bij occlusies. Het MediaPipe FaceMesh-model verbetert de betrouwbaarheid door gebruik te maken van 468 3D-herkenningspunten van het gezicht, samen met een geometrische methode voor hoofdhoudingsschatting29. OpenFace 2.0 functioneert als een gereedschapskist voor het analyseren van gezichtsgedrag, waarmee gezichtsherkenningspunten worden gedetecteerd, hoofdhoudingen kunnen schatten, oogblik volgen en gezichtsacties worden herkend. Het ondersteunt integratie met verschillende programmeertalen en kan live videofeeds of stilstaande beelden verwerken. Outputs, zoals gezichtsherkenningspunten en blikvectoren, kunnen in CSV-formaat worden geëxporteerd. OpenFace 2.0 gebruikt het Convolutional Experts Constrained Local Model (CE-CLM), dat een puntverdelingsmodel bevat om variaties in herkenningsvormen en patchexperts rekening te houden met verschillen in lokale uiterlijk29,30.
Foneemtranscriptie-uitlijningen
De volgende stap is om tijdelijk alle uitgelichte stromen (akoestisch, articulatorisch en visueel) uit te lijnen op foneemniveau-annotaties met behulp van geforceerde uitlijningstools zoals de Montreal Forced Aligner (MFA), zodat gesynchroniseerde multimodale invoer voor computationele modeltraining wordt gegarandeerd. Gedwongen uitlijning (FA) is de techniek waarbij transcripties worden uitgelijnd met audiosignalen om de temporele grenzen van spraakeenheden te bepalen. Dit maakt nauwkeurigere audioverwerking mogelijk en bevordert taalkundige studie. Het wordt steeds vaker toegepast in fonetische studies en is aanzienlijk sneller gebleken dan handmatige uitlijning. Hoewel FA doorgaans wordt geassocieerd met automatische spraakherkenningssystemen (ASR), is FA een bredere taak binnen automatische spraakverwerking die ook spreektaalanalyse en transcriptieomvat. De Montreal forced aligner (MFA) is een toonaangevende FA-toolkit die gebruikmaakt van HMM-GMM-algoritmen om effectieve uitlijning te bereiken. Ondanks vooruitgang in ASR-technologie zijn traditionele benaderingen zoals HMM-GMM nog steeds populair voor FA-taken. De MFA gebruikt MFCC-kenmerken en een vierfasige trainingsmethode om akoestische modellen te creëren met nauwkeurige fonetische uitlijning31.
Componenten van de architectuur van de modellen
Multimodale deep learning-modellen voor dysarthriske spraakherkenning bestaan uit verschillende kerncomponenten die samenwerken om contextuele, temporale en multimodale informatie vast te leggen. De belangrijkste componenten zijn een contextuele encoder, een temporele verfijningsmodule en een multimodal fusiemechanisme. Elke component speelt een specifieke rol bij het verbeteren van de nauwkeurigheid van foneemlabeling bij verstoorde spraak.
Transformer-gebaseerde contextuele encoder
De transformatorencoder wordt gebruikt om langeafstandsafhankelijkheden in spraaksequenties te modelleren. Dysarthre spraak bevat vaak onregelmatige timing en onduidelijke foneemgrenzen, waardoor het voor conventionele modellen moeilijk is om contextuele informatie vast te leggen. Transformers gebruiken multi-head self-attention om relaties tussen verschillende tijdsframes in de invoervolgorde te analyseren. Dit stelt het model in staat zowel oude als toekomstige spraakkaders te overwegen bij het voorspellen van fonemen. Daardoor kan de encoder beter omgaan met de articulatie- en uitspraakvariaties die vaak voorkomen bij dysartrie. In de multimodale architectuur ontvangt de transformator gesynchroniseerde akoestische, articulatorische en visuele kenmerken en produceert contextbewuste representaties die worden doorgegeven aan de volgende fase van model32,33.
TCN-gebaseerde temporele sequentieverfijning
Na contextuele codering wordt de feature-sequentie verwerkt door een Temporeel Convolutioneel Netwerk (TCN) om de temporele precisie te verbeteren. Dysarthriske spraak bevat vaak onstabiele timing, pauzes en verlengde fonemen, die extra verfijning vereisen buiten contextuele modellering. TCN's gebruiken gedilateerde causale convoluties om lange temporele afhankelijkheden vast te leggen terwijl de rekenkundige efficiëntie behouden blijft. Deze structuur stelt het model in staat om ruisachtige voorspellingen te verzachten en consistente foneemgrenzen door de tijd heen te behouden. In de architectuur ontvangt de TCN de uitgang van de transformatorencoder en verfijnt de sequentie om stabiele en temporeel consistente feature-representaties te produceren 33,34,35.
Multimodale fusiestrategie
Om de diagnostische precisie bij de evaluatie van dysarthrie te vergroten, bevat multimodale fusie informatie uit tal van bronnen, zoals spraak-, tekst-, video- en fysiologische sensoren. De belangrijkste technieken bestaan uit drie duidelijke stappen: vroege fusie, late fusie en intermediaire fusie36. Vroege fusie combineert gegevens uit veel modaliteiten op fundamenteel niveau, waardoor modellen vanaf het begin complexe relaties kunnen begrijpen. Het gebruik ervan is beperkt omdat het het synchroniseren van verschillende bemonsteringsfrequenties en datatypen vereist. Late fusie verwerkt elke modaliteit met onafhankelijke modellen voordat de resultaten worden gecombineerd voor de definitieve evaluaties. Deze techniek is flexibel en effectief wanneer gegevens van één modaliteit ontbreken. Bovendien integreert intermediaire fusie modaliteiten op middenniveau, waarbij vaak cross-attention technieken worden gebruikt om afhankelijkheden te detecteren. Deze methode is bijzonder nuttig geweest in klinische contexten, omdat het de resultaten verbetert door taalreferenties te combineren met akoestische data. Samenvattend levert intermediaire fusie met kruisaandacht betere resultaten op bij automatische dysartriebeoordeling dan methoden gebaseerd op één modaliteit 36,37.
Best practices voor het trainen en evalueren van dysartriemodellen:
Het ontwikkelen van gespierde modellen voor het beoordelen en herkennen van dysartrie vereist zorgvuldige aandacht voor het opdelen van de dataset, de evaluatie van de metrieken en interpreteerbaarheid. Recent onderzoek heeft gestandaardiseerde benaderingen en innovatieve oplossingen benadrukt om deze unieke uitdagingen van dysarthriske spraak aan te pakken, waaronder dataschaarste, variabiliteit en klinische relevantie38,39.
Strategieën voor het partitioneren van datasets
Om ervoor te zorgen dat trainings-, validatie- en testdatasets geen sprekerinformatie uitwisselen en zo datalekken en overfitting voorkomen, wordt gestratificeerde groep K-Fold crossvalidatie nu vaak toegepast38,39. Deze aanpak stelt modellen in staat om evenwichtige verdelingen en betrouwbare prestatie-evaluaties te behouden, zelfs wanneer ze werken met beperkte of diverse datasets. Aangezien partitionering per luidspreker essentieel is om bias te voorkomen, bestaan veelvoorkomende splitsingen uit train/testverhoudingen van 75:25 of 85:15, samen met verdere deling voor validatie40. Om beperkte dysarthische data te verwerken, worden populaire data-augmentatiebenaderingen zoals synthetische datageneratie, tempo-perturbatie en overdracht van leren uit gezonde spraak toegepast41,42.
Evaluatiemetrieken
Overwegingen over modelinterpreteerbaarheid
Een grondige dysartriemodelpijplijn omvat dus gestratificeerde, sprekeronafhankelijke datasplitsingen, multifacetische evaluatie (PER, verstaanbaarheid, klinische input) en interpreteerbaarheid via aandachtsmechanismen. Deze benaderingen zorgen ervoor dat modelsystemen voor het beoordelen en herkennen van dysarthrie robuust, klinisch relevant en transparant zijn.
Representatieve uitkomsten
Verschillende studies hebben verbeteringen gerapporteerd in de precisie van foneemgrenzen wanneer multimodale kenmerken worden gebruikt. Dysartrische spraak bevat vaak vage of verlengde articulatorische overgangen, waardoor het moeilijk is om de exacte grens tussen fonemen te bepalen. Gepubliceerde modellen die akoestische, articulatorische en visuele kenmerken combineren, hebben een betere overeenstemming met referentie-annotaties laten zien dan unimodale systemen. Deze verbeteringen worden vaak weergegeven met behulp van uitlijningscurves, waarbij multimodale modellen verminderde timingfouten aantonen, vooral tijdens medeklinker–klinkerovergangen46. Literatuurrapporten beschrijven ook verbeteringen in de nauwkeurigheid van foneemclassificaties. Van multimodale architecturen is aangetoond dat ze substitutie- en deletiefouten verminderen, vooral voor fricatieven en klinkers die vaak vervormd zijn bij dysartrie. Verwarringsmatrices die in eerdere studies zijn gerapporteerd, geven aan dat het combineren van visuele en articulatorische informatie het model helpt om vergelijkbare fonemen betrouwbaarder te onderscheiden. De toename in foneemgrensprecisie is een prominent voorbeeld. De articulatoire overgangen en veranderingen in dysartropische spraak zijn vaak verlengd of wazig, wat het moeilijk maakt te interpreteren waar het ene foneem eindigt en het andere begint. Om foneemaanvang en -offset nauwkeuriger te identificeren, maakt het multimodale systeem gebruik van gedeelde gegevens van visuele lipbewegingen, articulatorische trajecten en audio. In vergelijking met die geproduceerd door unimodale akoestische modellen komen de voorspelde foneemgrenzen die worden gevisualiseerd dichter overeen met echte annotaties. Uitlijningscurves worden gebruikt om deze verbeteringen te visualiseren, waarbij het multimodale model minder fouten in timing vertoont, vooral voor overgangen tussen klinkers en medeklinkers (VC en CV). In de klinische setting kan dit resulteren in verbeterde segmentatiekaarten, die logopedisten en clinici verder helpen specifieke problemen met motorische controle te identificeren, zoals onvoldoende lipronding of vertraagde kaaksluiting47.
Daarnaast kan het model differentiële classificatie-uitgangen produceren die gebruikt kunnen worden om de meest waarschijnlijke gesproken foneemreeks te identificeren. Het multimodale systeem vertoont een afname van foneemsubstitutie- en verwijderingsfouten in vergelijking met traditionele en basismodellen. Zo verbetert de integratie van de visuele vorm van lippen en articulatorpositieaanwijzingen de classificatienauwkeurigheid van fricatieven, zoals /s/ en /ʃ/, die vaak vervormd en gedesoriënteerd worden aangetroffen bij dysartrie. Confusiematrices kunnen ook worden gebruikt om dergelijke verbeteringen aan te tonen, waarbij verbeterde foneemdiscriminatie en bifurcatie worden aangegeven door verminderde cross-categorie verwarring48.
Meting van spraakverstaanbaarheid vóór en na modelondersteunde correctie kan worden vergeleken met behulp van een klinische relevantiegrafiek. Meetwaarden zoals stabiliteit en timing van lettergrepen, schatting van het klinkerruimteoppervlak, precisiebeoordeling van medeklinkers en de algehele verstaanbaarheidsscore kunnen in deze tabel worden opgenomen. Over het algemeen vertoont de output die al is gecorrigeerd verbeterde grenzen voor prosodie, ritme en articulatie. Zo wordt na correctie meestal de weergave van de klinkerruimte groter, wat wijst op een verbeterde akoestische onderscheidendheid van de klinker, een belangrijk therapeutisch doel in veel dysartriebehandelingen39.
Belangrijk is dat deze modelresultaten bedoeld zijn om klinische besluitvorming te ondersteunen door het oordeel van klinisch personeel te verbeteren in plaats van te vervangen. Het systeem kan specifieke fonemen of articulatorische overgangen benadrukken die aanzienlijk afwijken van verwachte of theoretisch veronderstelde patronen. Met deze informatie kunnen therapeuten hun therapiedoelen aanpassen om: (a) de consistentie van tongverhoging voor alveolaire medeklinkers te verbeteren (bijv. /t/, /d/), (b) zich te concentreren op lipuitstulping bij afgeronde klinkers (bijv. /u/), (c) de aanvangstiming van stemhebbende stopmedeklinkers te verbeteren.
Gepubliceerd werk benadrukt dat deze resultaten de klinische interpretatie moeten aanvullen en niet het oordeel van artsen moeten vervangen. Modelvisualisaties, zoals aandachtskaarten en foneemuitlijningsplots, kunnen therapeuten helpen specifieke articulatieproblemen te identificeren, zoals onvoldoende tongverhoging, verminderde lipronding of vertraagde spraakstart. Over het algemeen tonen gegevens uit verschillende studies aan dat multimodale deep learning-architecturen technische prestatie-indicatoren verhogen en tegelijkertijd interpreteerbare output leveren die kunnen helpen bij therapieplanning en het volgen van de voortgang van revalidatie.
Klinische integratie en revalidatieworkflow
De implementatie van digitale technologieën en geavanceerde spraakmodellen in dysartrie-rehabilitatie transformeert de resultaten van patiënten, de levering van therapie en de klinische praktijken. Deze sectie behandelt het kader van feedbackgerichte articulatorische training, de veranderende rollen van logopedisten en patiëntmonitoring, de integratie van modeloutput in therapeutische hulpmiddelen en belangrijke bruikbaarheidskwesties.
Hoe voeden deze modelresultaten zich in logopedietools?
Moderne AI- en deep learning-modellen, die ASR- en ernstclassifiers bevatten, kunnen gedetailleerde, objectieve gegevens genereren over spraakverstaanbaarheid, articulatiefouten en ernstniveaus48. Deze resultaten zijn tegenwoordig steeds meer ingebed in digitale therapieplatforms en mobiele applicaties, die realtime, gepersonaliseerde feedback bieden aan patiënten en therapeuten49. Zo gebruiken tabletgebaseerde applicaties en cloudgebaseerde telemonitoringsystemen modelgegenereerde metrics om voortgang te visualiseren, specifieke articulatieproblemen te markeren en de moeilijkheidsgraad van het oefenen aan te passen. Deze systemen maken objectieve tracking van therapievoortgang mogelijk, maken gepersonaliseerde oefeningskeuze mogelijk en ondersteunen remote monitoring via digitale platforms 50,51,52.
Feedback-gebaseerde articulatorische trainingsmodules
Feedbackgebaseerde trainingsmodules zijn essentieel voor digitale dysartrie-rehabilitatie. Eerdere studies hebben aangetoond dat digitale revalidatiemodules vaak biofeedback, geautomatiseerde foutdetectie en adaptief oefenontwerp bevatten. Biofeedback in logopedie maakt gebruik van visuele en auditieve signalen, zoals golfvormweergaven en visualisaties van articulatorbewegingen, om patiënten realtime begeleiding te bieden. Daarnaast wordt geautomatiseerde foutdetectie mogelijk gemaakt door AI-modellen die fonologische of articulatoire fouten identificeren, wat directe corrigerende feedback biedt om het leren te verbeteren. Het trainingsproces is hiërarchisch en adaptief, wat betekent dat het zich ontwikkelt van eenvoudigere naar complexere taken, die specifiek gericht zijn op spraakklanken, lettergrepen of woorden. Deze oefeningen worden dynamisch aangepast op basis van de prestaties van de patiënt, zodat gepersonaliseerde leerervaringen worden gegarandeerd. Bovendien zorgt de integratie van gamification-elementen en virtual reality (VR) in sommige platforms voor een grotere motivatie en gehoorzaamheid onder patiënten, waardoor het therapeutische proces boeiender wordt. Deze modules ondersteunen dus intensieve, repetitieve oefening, wat essentieel is voor motorisch leren en spraakverbetering, terwijl zelfstandig of door de therapeut geleid gebruikmogelijk is 51,53,54.
Rol van logopedisten en patiëntbewaking
Logopedisten (SLT's) blijven centraal in het revalidatieproces, ook al zijn digitale hulpmiddelen het afgelopen decennium steeds gebruikelijker geworden. Beoordeling en doelstelling omvatten het interpreteren van modeluitkomsten om geschikte therapiedoelen te selecteren en differentiële behandelplannen op maat te maken die zijn afgestemd op de individuele behoeften van de patiënt. Toezicht en feedback zijn essentieel voor het monitoren van de voortgang van de patiënt; Experts geven feedback over het corrigeren van spraak en passen de nodige therapieën aan indien nodig. Daarnaast wordt de nadruk gelegd op patiënteneducatie en ondersteuning, waarbij patiënten worden geleerd digitale hulpmiddelen effectief te gebruiken in hun revalidatieproces. Multidisciplinaire samenwerking is cruciaal, aangezien professionals uit verschillende disciplines samenwerken om de bredere behoeften van revalidatie aan te pakken en zo een allesomvattende benadering van patiëntenzorg te waarborgen. Patiëntmonitoring wordt verbeterd door digitale platforms, waarmee therapeuten en clinici op afstand de therapietrouw, het herstel, de prestaties en de uitkomsten van patiënten kunnen volgen, waardoor tijdige interventies en voortdurende ondersteuningmogelijk zijn.
Gebruiksvriendelijkheidsoverwegingen: patiëntcomfort en herhaalbaarheid
Voor de succesvolle implementatie van digitale revalidatietechnologieën is bruikbaarheid cruciaal, met de nadruk op gebruiksvriendelijke interfaces die aan diverse behoeften van patiënten voldoen. Flexibele therapiemethoden worden mogelijk gemaakt door mobiele platforms, die het comfort en de toegankelijkheid verbeteren. Belangrijke functies zoals aanpasbare modules en geautomatiseerde feedback stimuleren consistente, autonome participatie, wat essentieel is voor motorisch leren. Pilotproeven tonen hoge acceptatie en tevredenheid, maar er zijn nog steeds technische problemen. Continue feedback van patiënten en therapeuten helpt deze hulpmiddelen te verbeteren zodat ze aansluiten bij de eisen van de echte wereld. Met de nadruk op het ontwikkelen van betekenisvolle therapeutische ervaringen verbetert het gebruik van AI en feedbackgedreven training in logopedie de effectiviteit, toegankelijkheid en personalisatie bij dysartrie-revalidatie 48,51,52,53,54.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Deze review beschrijft de toenemende toepassing van multimodale deep learning-architecturen op foneemlabeling en spraakherstel bij dysartrie. Deze architecturen combineren akoestische, articulatorische en visuele analyse om de beperkingen van audio-gebaseerde spraakherkenning in pathologische spraak te overwinnen, gekenmerkt door lage verstaanbaarheid en niet-standaard articulatorische configuraties. Elektromagnetische articulografie, 'ultrageluid, tongbeeldvorming' en gezichtsmarken zij...
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
De auteurs geven geen belangenconflict aan.
De auteurs erkennen het Nanjing University of Chinese Medicine Affiliated Hospital of Nanjing, University of Chinese Medicine, voor het verstrekken van de benodigde fellowships en financiering (Jiangsu Province Postgraduate Scientific Research and Innovation Program KYCX25_2282).
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Toegang beperkt. Log in of start een proefperiode om deze inhoud te bekijken.
Toestemming aanvragen om de tekst of afbeeldingen van dit JoVE-artikel te hergebruiken
Toestemming aanvragen