Articolo di revisione
Questa revisione esamina come architetture multimodali che combinano informazioni uditive, articolatorie e visive, insieme a modelli di transformer e TCN, possano migliorare l'identificazione dei fonemi nel linguaggio disartrico. Sottolinea il loro potenziale di migliorare l'intelligibilità del linguaggio e la terapia personalizzata oltre le capacità tipiche dei sistemi ASR.
A causa di problemi di articolazione e variabilità fonemica, i disturbi del linguaggio come la disartria rappresentano sfide significative nella riabilitazione clinica. I tradizionali sistemi di riconoscimento automatico della voce (ASR), tipicamente addestrati su dataset normativi, spesso non riescono a decodificare con precisione il linguaggio disartrico. Recenti scoperte nell'intelligenza artificiale e nel deep learning hanno permesso l'integrazione di architetture multimodali, come la fusione di informazioni uditive, articolate e visive per registrare complessi schemi di parlata, rendendo tutto ciò sempre più possibile. In questa revisione, abbiamo esplorato la convergenza tra transformer e reti temporali convoluzionali (TCN) all'interno di quadri multimodali per affrontare l'imprecisione dell'etichettatura fonemica nel linguaggio disartrico. Qui discutiamo di come la modellazione contestuale basata su transformer e la precisione temporale guidata da TCN possano migliorare il rilevamento dei confini fonemici, la classificazione e il feedback riabilitativo. La revisione discute inoltre il potenziale di tali sistemi ibridi nella logopedia individualizzata, nelle questioni di interpretabilità e nelle applicazioni cliniche. Le architetture multimodali sono un approccio traslazionale per migliorare il monitoraggio terapeutico, gli ausili alla comunicazione e la valutazione dell'intelligibilità del parlato per le persone con disturbi motori del linguaggio, collegando medicina clinica e informatica medica.
Il deficit del sistema nervoso può spesso portare a conseguenze drastiche e improvvise sulla salute, che includono disturbi muscoloscheletrici, disturbi neurovascolari e altri come disturbi neurogeni della comunicazione. I disturbi neurogeni della comunicazione includono disturbi come la disartria e l'aprassia, che possono essere definiti come linguaggio impastante dovuto a debolezza muscolare e difficoltà nella pianificazione dei movimenti del linguaggio,rispettivamente 1. Il parlato è composto da cinque sottosistemi: respirazione, fonazione, risonanza, articolazione e prosodia, tutti i quali devono lavorare insieme in modo sinergico e fluido per comunicareefficacemente 2. La disartria, causata da disfunzioni in questi sottosistemi, riduce l'udibilità, la naturalezza, l'intelligibilità e l'efficienza comunicativa, il che, a sua volta, influisce significativamente sulla vita dei pazienti e delle loro famiglie. La disartria può essere causata da una varietà di malattie neurologiche e patologie sottostanti, tra cui disfunzioni nella corteccia cerebrale, nei gangli della base, nel cervelletto, nei nuclei basali, nei nervi cranici o nei nervi periferici. Altri fattori includono problemi motori primari della lingua, laringe egola 3.
La disartria è un termine ombrello per i disturbi motori del linguaggio causati da un cambiamento nel controllo neuromuscolare che influisce sulla respirazione, la fonazione, la risonanza, la produzione del parlato, la vocalizzazione e il ritmo. Pertanto, la disartria è un disturbo del linguaggio spesso associato a deficit e lesioni neuromuscolari, in cui i muscoli utilizzati per il linguaggio sono deboli, lenti o paralizzati. I tipi specifici di muscoli coinvolti nel linguaggio includono quelli della lingua, della gola, del viso, delle labbra, delle corde vocali, delle mascelle e dei muscoli delle vie respiratorie superiori. Il danno a questi muscoli può assumere varie forme, inclusi danni ai neuroni motori che li innervano o alla loro vascolature, privandoli di ossigeno. I danni neurologici tipici che compromettono la conduzione del parlato includono danni ai neuroni motori superiori che possono causare rigidità o spasticità dei muscoli del linguaggio, lesioni ai neuroni motori inferiori che possono portare a debolezza o paralisi muscolare a causa di segnali nervosi interrotti, lesioni cerebellari che spesso causano mancanza di coordinazione tra i muscoli (atassia) o danni ganglionari basali che compromettono i movimenti coordinati e possono causare movimenti involontari (ipercinetici) o rigidità dei muscoli (movimenti ipocinetici)5.
La disartria è un sintomo comune di vari disturbi neurologici ed è frequentemente collegata a malattie neurologiche progressive. Ha un impatto significativo sul paziente e sulle sue famiglie, poiché la comunicazione svolge un ruolo cruciale nell'esprimere la propria personalità e nel mantenere le connessioni sociali. Il disturbo è caratterizzato da una diminuzione dell'intelligibilità del parlato. Il contenuto della lingua parlata rimane intatto, permettendo al paziente di scrivere e interpretare sia il linguaggio parlato che quello scritto; D'altra parte, l'anartria è il tipo più grave, che comporta una perdita completa della produzione motoriadel parlato 6. Esistono sei classificazioni principali di disartria: disartria flaccida, collegata a una disfunzione dei neuroni motori inferiori; disartria spastica, che deriva da danni ai motoneuroni superiori collegati alle regioni motorie della corteccia cerebrale; disartria attassonica, principalmente derivante da problemi cerebellari; e disartria ipercinetica e disartria ipocinetica, entrambe associate a disturbi del sistema extrapiramidale. Il sesto tipo è tipicamente chiamato disartria mista ed è spesso associato a danni in più aree, portando a caratteristiche del linguaggio che mostrano tratti di almeno due categorie. I disturbi del linguaggio associati a questi sei principali tipi di disartria sono unici e possono aiutare nella diagnosi e nel trattamento delladisartria 5,6.
I fattori eziologici che contribuiscono alle difficoltà nell'articolazione comprendono infezioni (come la malattia di Creutzfeldt–Jakob e la sindrome da immunodeficienza acquisita), problemi vascolari (sia ictus ischemici che emorragici), tumori (neoplasie cerebrali), malattie demielinizzanti (inclusa sclerosi multipla e sindrome di Guillain–Barré), disturbi degenerativi (come il morbo di Parkinson e il morbo di Huntington), lesioni (lesioni cerebrali traumatiche e paralisi cerebrale), esposizioni tossiche (ai metalli pesanti, alcol e droghe), e condizioni genetiche (ad esempio, SANDO)7. Inoltre, fattori non neurologici, come il labbro o il palatosichisi, possono causare problemi di articolazione, ma questi non rientrano nella categoria delladisartria 8.
L'importanza della disartria negli ambienti clinici risiede nel suo impatto significativo sulla qualità della vita degli individui. Poiché la comunicazione è essenziale per il coinvolgimento sociale, educativo e professionale, chi ne soffre spesso prova sentimenti di isolamento e benesserediminuito 6. Diagnosticare con precisione i vari tipi di disartria, ad esempio flaccida, spastica, atassica, ipercinetica, ipocinetica e mista, è essenziale per identificare i problemi neurologici sottostanti e valutare gli approcci riabilitativi. Logopedisti e clinici spesso si affidano all'analisi delle caratteristiche e della gravità della disartria per personalizzare la terapia, stabilire obiettivi comunicativi raggiungibili e valutare la necessità di metodi di comunicazione aumentative ealternativi 9. Per chi ha difficoltà nel parlare, si è dimostrato che i sistemi di riconoscimento automatico del parlato (ASR) migliorano l'accessibilità e l'interazione sociale. Tuttavia, modelli acustici insufficienti hanno ostacolato il successo più ampio dell'ASR nell'affrontare disturbi del linguaggio. Pertanto, questo articolo approfondisce i problemi fonemici nel linguaggio disartrico, i sistemi ASR esistenti e i loro limiti, tecniche multimodali creative, modellazione contestuale basata su transformer e TCN per il raffinamento temporale e sequenziale.
Anche con i notevoli progressi nella tecnologia ASR, i sistemi ASR di punta presentano ancora numerose carenze per le persone con disturbi del linguaggio. Queste carenze possono derivare in parte dalle difficoltà nell'ottenere un dataset di addestramento diversificato e rappresentativo sui disturbi del linguaggio. Una sfida nella disturbo del linguaggio ASR è probabilmente collegata all'ampia gamma di caratteristiche anomale del linguaggio che variano da persona a persona, e alla rappresentazione inadeguata di queste variazioni nei datasetdi addestramento 10. Nonostante ciò, la ricerca sull'ASR legata alla disartria ha spesso trascurato questa diversità.
I sistemi ASR sono suddivisi in tre categorie: indipendenti dal parlante (SI), dipendenti dal parlante (SD) e adattivi per il parlante (SA). I sistemi SI funzionano bene con parlanti sani ma faticano con il degrado del linguaggio e si comportano meglio quando i dati di addestramento includono parlanti disartrici. Al contrario, i sistemi SD si concentrano su singoli utenti, ottenendo un'eccellente precisione, mentre i sistemi SA si adattano nel tempo al parlato dell'utente e superano sia i modelli SI che SD. Tuttavia, sia i sistemi SA che SD richiedono dati di addestramento, il che rappresenta un'ulteriore barriera per chi ha disturbineurodegenerativi. Nonostante i progressi significativi, i modelli ASR esistenti sono ancora inadatti per i parlanti disabili, a causa della mancanza di dataset di addestramento diversi. Per colmare questa lacuna, devono essere sviluppate metodologie approfondite di raccolta dati che cogliano vari aspetti della disartria, migliorando così le prestazioni ASR per i parlanti difficili da riconoscere.
Per superare queste limitazioni, le strategie multimodali che fondono segnali acustici, articolatori e visivi possono rappresentare efficacemente la produzione e il raffinamento del parlato nei sintomi disartrici in modo completo. Ad esempio, i dati sul movimento articolatorio, come l'imaging della lingua, vengono ottenuti tramite ecografia e articolazione elettromagnetica. Questi dati sono spesso combinati con movimenti visivi delle labbra e possono compensare informazioni acustiche compromesse, migliorando la capacità di distinguere e differenziare ifonemi 12. Questa ridondanza riscontrata nei sistemi multimodali è coerente con i metodi di valutazione clinica, rafforzando le capacità dei terapisti di osservare i movimenti orofacciali insieme al linguaggio uditivo. Al contrario, i framework di deep learning, in particolare transformer e TCN, offrono una modellazione superiore delle dipendenze temporali e delle variazioni all'interno delle sequenze vocali. Questi modelli funzionano consentendo ai trasformatori di catturare relazioni contestuali generali, consentendo l'identificazione dei fonemi anche quando i segnali acustici sono diminuiti, oscurati oridotti 13. I TCN contribuiscono ulteriormente fornendo campi recettivi stabili e levigatura temporale, che migliora la precisione del rilevamento dei confini fonemici. Quando integrati all'interno di quadri di fusione multimodale, entrambi questi approcci migliorano notevolmente la precisione dell'etichettatura fonemica nel linguaggio disartrico e facilitano una riabilitazione clinica più precisa e orientata al feedback. Pertanto, queste architetture di deep learning multimodali sono direttamente allineate con obiettivi clinici in tempo reale, come migliorare la misurazione dell'intelligibilità del linguaggio, monitorare il percorso riabilitativo e fornire terapie assistite dalla tecnologia personalizzate in base ai profili specifici di deficit motorio del linguaggio degliindividui 14.
Sebbene queste architetture di deep learning multimodali abbiano un grande potenziale per risolvere l'imprecisione dell'etichettatura fonemica, il loro efficace trasferimento dai quadri sperimentali a strumenti diagnostici affidabili richiede una struttura operativa uniforme. Per affrontare questo aspetto, il seguente studio descrive un flusso di lavoro computazionale completo che comprende la raccolta di dati multimodali, l'estrazione di funzionalità e l'addestramento dei modelli. L'obiettivo è garantire che questi sistemi complessi siano riproducibili e verificabili in una vasta gamma di situazioni cliniche. Stabilire una pipeline metodologica così trasparente è fondamentale per logopedisti e ingegneri clinici per validare algoritmi su una vasta gamma di caratteristiche e livelli di deficit dei pazienti. Infine, questa metodologia sistematica funge da precursore all'implementazione clinica, consentendo l'integrazione di modelli avanzati di parola nelle valutazioni regolatorie, nei sistemi sanitari elettronici e nelle piattaforme di monitoraggio a lungo termine del trattamento.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Panoramica dell'acquisizione di dati multimodali nel linguaggio disartrico
La raccolta di dati multimodali è necessaria per esaminare a fondo il controllo motorio del parlato e per sviluppare tecniche diagnostiche e riabilitative efficienti, data la complessità e la diversità dei sintomi disartrici.
Configurazione di registrazione acustica
Il canale acustico rimane centrale. Le registrazioni si condanno meglio in un ambiente trattato acusticamente per ridurre la riverberazione e il rumore ambientale. I microfoni tipici sono condensatori di alta qualità e sono o unità cardioidi montate sulla testata o da tavolo, posizionate in modo coerente per controllare il livello del segnale ed evitare variazioni tra le sessioni. Frequenze di campionamento di 16 kHz o 44,1 kHz sono molto comuni, dove 16 kHz sono sufficienti per l'intelligibilità e l'analisi prosodica, mentre 44,1 kHz offre maggiore fedeltà, utile per ricerche acustiche e fonatorie a grana fine. Le interfacce audio multicanale permettono la cattura sincrona di più flussi e devono mantenere impostazioni di guadagno e headroom costanti per evitare clipping o rumore di fondo. Per la riproducibilità, è importante stabilire la calibrazione e documentare il guadagno del microfono, il rumore di fondo ambientale e la deriva. Nei corpi del linguaggio disartrico, la qualità audio è particolarmente importante perché i difetti del segnale acustico possono essere sottili e facilmente mascherati da condizioni di registrazionescadenti 15.
Modalità opzionali articolatorie / tracciamento labiale / EMG / ecografia
Per andare oltre la forma d'onda acustica, spesso sono necessarie ulteriori modalità per catturare la cinematica articolatoria e l'attività muscolare fisiologica. Quindi, il tracciamento delle labbra o la captura del movimento facciale permettono di quantificare l'apertura, il movimento, la velocità e la simmetria di labbra/mascella. L'articolazione elettromagnetica (EMA) traccia i sensori di lingua, mascella e labbra in tre dimensioni e fornisce risoluzione temporale/posizionale degli articolatori, mentre l'elettromiografia di superficie (sEMG) registra l'attività muscolare per esplorare i deficit di attivazione neuromuscolare sottostanti alla disartria. L'imaging a ultrasuoni della lingua (UTI) fornisce immagini in tempo reale della superficie della lingua durante l'articolazione, utile nei soggetti che non tollerano l'EMA. I sistemi multimodali mostrano che l'identificazione dei deficit motori del parlato è migliorata dall'acustica concorrente, integrata da una cattura articolatoria/visiva 16.
Considerazioni etiche e consenso del paziente
Lavorare con parlanti disartrici coinvolge spesso popolazioni vulnerabili. I ricercatori devono ottenere l'approvazione del comitato di revisione istituzionale (IRB) o del comitato etico, e garantire un consenso informato che spieghi le modalità di registrazione (audio, video, sensori fisiologici), l'archiviazione, l'anonimizzazione, l'uso futuro e i diritti di ritiro. I moduli di consenso dovrebbero affrontare esplicitamente la registrazione video (tracciamento labiale/facciale) e, opzionalmente, modalità sensibili come l'EMG. La privacy dei dati deve essere gestita, soprattutto quando vengono memorizzati video o immagini facciali. È necessario valutare il livello di comfort, la stanchezza, le limitazioni di movimento e il potenziale rischio del partecipante. Le sessioni dovrebbero includere periodi di riposo e ai partecipanti dovrebbe essere detto che possono interrompere in qualsiasi momento senza subire conseguenze. La scarsità e la diversità dei partecipanti alla ricerca sul corpus del linguaggio disartrico sottolineano ulteriormente l'importanza del rigoreetico 17.
Passaggi di pre-elaborazione dei dati (segmentazione, riduzione del rumore, normalizzazione)
Il sistema MAV-HuBERT allinea temporalmente i dati acustici e visivi a livello di fotogramma, estraendo energie della banca log-filter a 26 dimensioni dalla forma d'onda originale e sincronizzandole con i fotogrammi visivi a 25 Hz raccolti tramite identificazione facciale basata su Dlib. I fotogrammi audio consecutivi sono tipicamente combinati per stabilizzare le fluttuazioni a breve termine, e le regioni visive fuse vengono normalizzate spazialmente prima della fusione delle caratteristiche multimodali. Queste attività di pre-elaborazione forniscono una coerenza temporale continua e riducono la variabilità tra modalità audio e visive, risultando in una maggiore accuratezza di identificazione avalle 15,18.
Ingegneria delle caratteristiche e flusso di lavoro computazionale
I modelli di deep learning multimodali richiedono rappresentazioni sincronizzate delle informazioni acustiche, articolate e visive per etichettare accuratamente i fonemi nel linguaggio disartrico. Questa sezione fornisce una panoramica delle tecniche di rappresentazione delle caratteristiche utilizzate nell'analisi del parlato multimodale, seguita da un flusso di lavoro computazionale passo dopo passo per estrarre e allineare queste caratteristiche prima dell'addestramento del modello.
Estrazione e rappresentazione delle caratteristiche
Nell'analisi del parlato multimodale, i segnali audio e di movimento grezzi devono essere convertiti in rappresentazioni significative che possono essere elaborate da modelli di deep learning. Una delle rappresentazioni più utilizzate è lo spettrogramma, che mostra come l'energia del segnale varia nel tempo e tra le frequenze. Le rappresentazioni basate su spettrogrammi sono utili per catturare caratteristiche come balbettio impastante, respirazione e tempismo irregolare, comunemente osservate nel linguaggiodisartrico 19.
Un'altra caratteristica comunemente utilizzata sono i Coefficienti Cepstrali a Mel-Frequenza (MFCC), che rappresentano le proprietà spettrali del parlato in modo da approssimare la percezione uditiva umana. Le funzionalità MFCC sono ampiamente utilizzate nel riconoscimento vocale perché forniscono rappresentazioni compatte e robuste al rumore che rimangono stabili anche quando il parlato èdistorto 20. Oltre alle caratteristiche acustiche, gli approcci multimodali incorporano informazioni articolatorie, come le traiettorie di movimento della lingua, delle labbra e della mascella. Questi segnali possono essere ottenuti tramite articolazione elettromagnetica (EMA), imaging a ultrasuoni della lingua (UTI) o tracciamento ottico del movimento. Le caratteristiche articolatorie forniscono informazioni dirette sul controllo motorio del parlato e aiutano a compensare i segnali acusticidegradati 21.
Le informazioni visive sono anche utili per analizzare il linguaggio disartrico. I punti di riferimento facciali estratti da registrazioni video, inclusi il contorno delle labbra, lo spostamento della mascella e l'apertura della bocca, forniscono ulteriori indizi sull'articolazione. Queste caratteristiche visive migliorano la discriminazione fonemica, soprattutto quando il segnale acustico non è chiaro. Per l'apprendimento supervisionato, tutti i flussi di funzionalità devono essere allineati con trascrizioni a livello fonemico, assicurando che ogni intervallo corrisponda all'unità vocale corretta. Un allineamento accurato è essenziale per l'addestramento dei modelli di etichettatura fonemica, specialmente nel linguaggio disartrico, dove i confini dei fonemi sono spesso sfumati22.
Flusso di lavoro computazionale
Questa sezione dimostra come ogni passaggio sia necessario per riprodurre il flusso di lavoro multimodale di etichettatura fonemica, dall'estrazione delle caratteristiche alla valutazione del modello (Figura 1).
Estrazione delle caratteristiche acustiche tramite spettrogrammi e MFCC
Per prima cosa, la trasformata di Fourier a breve tempo (STFT) viene utilizzata per trasformare il segnale grezzo del parlato in una rappresentazione tempo-frequenza. Per creare uno spettrogramma, il segnale viene suddiviso in brevi sistemi sovrapposti, e ogni fotogramma viene sottoposto alla trasformata di Fourier.
I coefficienti cepstrali a frequenza melica (MFCC) sono utilizzati per estrarre caratteristiche acustiche ponderate percettivamente dallo spettrogramma. Per il riconoscimento del parlato e l'analisi della disartria, le MFCC offrono rappresentazioni compatte e robuste alrumore 23,24. Grazie alla loro robustezza ed efficacia, le MFCC sono comunemente utilizzate in applicazioni legate al riconoscimento del parlato e del parlante. Pertanto, a causa della loro utilità, le MFCC vengono poi estratte per calcolare e approssimare i livelli di percezione uditiva umana e fornire caratteristiche acustiche compresse e robuste al rumore,successivamente 25.
Acquisizione di traiettorie articolatorie
I dati sul movimento articolatorio vengono ottenuti per catturare il movimento fisico degli organi del linguaggio. L'articolazione elettromagnetica (EMA) utilizza sensori collegati alla lingua, alle labbra e alla mascella per tracciare il movimento articolatorio in tre dimensioni. In alternativa, l'imaging a ultrasuoni della lingua (UTI) può essere utilizzato per stimare il movimento della lingua in modo non invasivo. Le traiettorie registrate vengono filtrate, normalizzate e ridimensionate per corrispondere al frame rate delle caratteristiche acustiche e garantire una coerenzatemporale di 26. La conversione del parlato in sequenze di imaging a ultrasuoni della lingua (UTI) è una tecnica per stimare le traiettorie della lingua a ecografie dai dati del parlato mappando le caratteristiche uditive ai movimenti fisiologici della lingua. Questa metodologia offre un'alternativa non invasiva alle tecniche di raccolta diretta di dati articolatorie, necessarie per monitorare e trattare anomalie del linguaggio e del tratto vocale, evitando al contempo la necessità di attrezzature specifiche e di esperienze cliniche insite negli approcci di misurazionediretta 27,28. In base alla disponibilità di caratteristiche articolatorie, come traiettorie di movimento di lingua, labbra e mascelle, che vengono registrate tramite EMA o ultrasonografia (UTI), i segnali vengono filtrati e ridimensionati per corrispondere alla velocità dei fotogrammi acustici.
Rilevamento di punti di riferimento visivi
Per gli input di voce e video, gli input dei tasti facciali (angoli delle labbra, movimento delle linee della mascella) devono essere estratti tramite strumenti come Mediapipe o OpenFace, e poi normalizzati per rimuovere gli effetti di posa della testa. MediaPipe utilizza un framework di deep learning per stimare le posizioni facciali e corporee, fornendo 33 punti di riferimento per il riconoscimento generale delle pose, di cui 11 specificamente per il volto. La sua efficacia può variare, in particolare nei casi di occlusioni. Il modello MediaPipe FaceMesh migliora l'affidabilità utilizzando 468 punti di riferimento 3D del volto insieme a un metodo geometrico per la stima della posedella testa 29. OpenFace 2.0 funziona come una cassetta degli attrezzi per l'analisi dei comportamenti facciali, consentendo il rilevamento di punti di riferimento facciali, la stima della posa della testa, il tracciamento dello sguardo oculare e il riconoscimento delle unità di azione facciale. Supporta l'integrazione con vari linguaggi di programmazione e può elaborare flussi video in diretta o immagini statiche. Gli output, come punti di riferimento facciali e vettori di sguardo, possono essere esportati in formato CSV. OpenFace 2.0 utilizza il Convolutional Experts Constrained Local Model (CE-CLM), che include un modello di distribuzione dei punti per tenere conto delle variazioni nelle forme dei punti di riferimento e gli esperti delle patch per differenze nell'aspetto locale29,30.
Allineamenti della trascrizione dei fonemi
Il passo successivo è allineare temporaneamente tutti i flussi in evidenza (acustici, articolatori e visivi) alle annotazioni a livello fonemico utilizzando strumenti di allineamento forzato come il Montreal Forced Aligner (MFA), garantendo input multimodali sincronizzati per l'addestramento computazionale del modello. L'allineamento forzato (FA) è la tecnica di allineare trascrizioni con segnali audio al fine di determinare i confini temporali delle unità di parlato. Questo consente un'elaborazione audio più accurata e fa progredire lo studio linguistico. Viene impiegata sempre più spesso negli studi fonetici e si è dimostrata sostanzialmente più veloce dell'allineamento manuale. Sebbene generalmente associata ai sistemi di riconoscimento automatico del parlato (ASR), l'AF è un compito più ampio all'interno dell'elaborazione automatica del parlato che include l'analisi del linguaggio parlato e la trascrizione22. L'allineatore forzato di Montreal (MFA) è uno strumento di primo piano per l'FA che utilizza algoritmi HMM-GMM per ottenere un allineamento efficace. Nonostante i progressi nella tecnologia ASR, approcci tradizionali come HMM-GMM sono ancora popolari per i compiti di FA. Il MFA utilizza caratteristiche MFCC e un metodo di addestramento a quattro stadi per creare modelli acustici con un accurato allineamentofonetico 31.
Componenti dell'architettura dei modelli
I modelli di deep learning multimodali per il riconoscimento del parlato disartrico sono costituiti da diversi componenti chiave che lavorano insieme per catturare informazioni contestuali, temporali e multimodali. I componenti principali includono un codificatore contestuale, un modulo di raffinamento temporale e un meccanismo di fusione multimodale. Ogni componente svolge un ruolo specifico nel migliorare l'accuratezza dell'etichettatura fonemica nel disordine del linguaggio.
Codificatore contestuale basato su trasformatori
L'encoder a trasformatore viene utilizzato per modellare dipendenze a lungo raggio nelle sequenze vocali. Il linguaggio disartrico spesso presenta tempi irregolari e confini fonemici poco chiari, rendendo difficile per i modelli convenzionali catturare informazioni contestuali. I Transformer utilizzano l'autoattenzione multi-testa per analizzare le relazioni tra diversi intervalli temporali nella sequenza di input. Questo permette al modello di considerare sia i sistemi di linguaggio passati che futuri nella previsione dei fonemi. Di conseguenza, l'encoder può gestire meglio le variazioni di articolazione e pronuncia comuni nella disartria. Nell'architettura multimodale, il trasformatore riceve caratteristiche acustiche sincronizzate acustiche, articolate e visive e produce rappresentazioni contestuali che vengono passate alla fase successiva del modello32,33.
Raffinamento della sequenza temporale basato su TCN
Dopo la codifica contestuale, la sequenza delle caratteristiche viene elaborata da una Rete Convoluzionale Temporale (TCN) per migliorare la precisione temporale. Il linguaggio disartrico spesso presenta tempi instabili, pause e fonemi allungati, che richiedono ulteriori affinamenti oltre la modellazione contestuale. I TCN utilizzano convoluzioni causali dilatate per catturare dipendenze temporali lunghe mantenendo l'efficienza computazionale. Questa struttura permette al modello di smussare le previsioni rumorose e di mantenere confini fonemici coerenti nel tempo. Nell'architettura, il TCN riceve l'output dell'encoder del trasformatore e affina la sequenza per produrre rappresentazioni di caratteristiche stabili etemporalmente coerenti 33,34,35.
Strategia di fusione multimodale
Per aumentare la precisione diagnostica nella valutazione della disartria, la fusione multimodale incorpora informazioni provenienti da numerose fonti come voce, testo, video e sensori fisiologici. Le tecniche principali consistono in tre fasi distinte: fusione precoce, fusione tarda e fusioneintermedia 36. La fusione precoce combina dati di molte modalità a un livello fondamentale, permettendo ai modelli di comprendere relazioni complesse fin dall'inizio. Il suo utilizzo è limitato poiché richiede la sincronizzazione di diversi tassi di campionamento e tipi di dati. La fusione tardiva processa ogni modalità utilizzando modelli indipendenti prima di combinare i risultati per le valutazioni finali. Questa tecnica è flessibile ed efficace quando mancano dati di una modalità. Inoltre, la fusione intermedia integra modalità a un livello intermedio, spesso utilizzando tecniche di attenzione incrociata per rilevare dipendenze. Questo metodo si è rivelato particolarmente utile in contesti clinici, migliorando i risultati combinando riferimenti linguistici con dati acustici. In sintesi, la fusione intermedia con attenzione incrociata produce risultati superiori nella valutazione automatica della disartria rispetto ai metodi basati su una singola modalità36,37.
Migliori pratiche per l'addestramento e la valutazione dei modelli di disartria:
Sviluppare modelli fibrosi per la valutazione e il riconoscimento della disartria richiede un'attenta attenzione alla partizione del dataset, alla valutazione delle metriche e all'interpretabilità. Ricerche recenti hanno evidenziato approcci standardizzati e soluzioni innovative per affrontare queste sfide uniche del linguaggio disartrico, che includono la scarsità dei dati, la variabilità e la rilevanzaclinica 38,39.
Strategie di partizionamento dei dataset
Per garantire che i dataset di addestramento, validazione e test non scambino informazioni sui parlanti, prevenendo perdite di dati e sovrafitting, la validazione incrociata K-Fold stratificata è oracomunemente impiegata 38,39. Questo approccio consente ai modelli di mantenere distribuzioni equilibrate e valutazioni delle prestazioni affidabili, anche lavorando con dataset limitati o diversi. Poiché la partizione per altoparlante è essenziale per prevenire il bias, le divisioni comuni consistono in rapporti treno/test di 75:25 o 85:15, insieme a ulteriori divisioni per lavalidazione di 40. Per gestire dati disartrici limitati, vengono applicati approcci di aumento dei dati popolari come la generazione di dati sintetici, la perturbazione del tempo e l'apprendimento per trasferimento da un linguaggio sano41,42.
Metriche di valutazione
Considerazioni sull'interpretabilità del modello
Pertanto, una pipeline approfondita di modelli di disartria include suddivisioni dei dati stratificate e indipendenti dal parlante, valutazione multifaccettata (PER, intelligibilità, input clinico) e interpretabilità tramite meccanismi di attenzione. Questi approcci garantiscono che i sistemi modello per valutare e riconoscere la disartria siano solidi, clinicamente rilevanti e trasparenti.
Risultati rappresentativi
Diversi studi hanno riportato miglioramenti nella precisione dei confini fonemici quando si utilizzano caratteristiche multimodali. Il linguaggio disartrico spesso presenta transizioni articolatorie sfocate o prolungate, rendendo difficile determinare il confine esatto tra i fonemi. I modelli pubblicati che combinano caratteristiche acustiche, articolatorie e visive hanno mostrato una migliore concordanza con le annotazioni di riferimento rispetto ai sistemi unimodali. Questi miglioramenti sono spesso visualizzati utilizzando curve di allineamento, dove i modelli multimodali mostrano una riduzione degli errori temporali, specialmente durante le transizioni consonante–vocale 46. I rapporti letterari descrivono anche miglioramenti nell'accuratezza della classificazione fonemica. È stato dimostrato che le architetture multimodali riducono gli errori di sostituzione e delezione, in particolare per fricative e vocali che sono frequentemente distorte nella disartria. Le matrici di confusione riportate in studi precedenti indicano che combinare informazioni visive e articolatrici aiuta il modello a distinguere in modo più affidabile tra fonemi simili. L'aumento della precisione dei confini fonemici è un esempio evidente. Le transizioni articolatorie e i cambiamenti nel linguaggio disartrico sono spesso allungati o sfocati, il che rende difficile interpretare dove termina un fonema e inizia un altro. Per identificare con maggiore precisione l'inizio e lo spostamento fonemico, il sistema multimodale utilizza dati condivisi provenienti da movimenti visivi delle labbra, traiettorie articolatorie e audio. Rispetto a quelli prodotti dai modelli acustici unimodali, i confini fonemici previsti visualizzati corrispondono più fedelmente alle annotazioni vere. Le curve di allineamento vengono utilizzate per visualizzare questi miglioramenti, dove il modello multimodale mostra meno errori di tempistica, in particolare per le transizioni tra vocali e consonanti (VC e CV). In ambito clinico, ciò può portare a mappe di segmentazione migliorate, che aiutano ulteriormente logopedisti e clinici a identificare particolari problemi di controllo motorio, come insufficiente arrotondamento delle labbra o ritardo nella chiusura dellamascella 47.
Inoltre, il modello può produrre output di classificazione differenziale che potrebbero essere utilizzati per identificare la sequenza fonemica parlata più probabile. Il sistema multimodale mostra un calo negli errori di sostituzione e delezione fonemica rispetto ai modelli tradizionali e di base. Ad esempio, l'incorporazione della forma visiva delle labbra e degli indizi di posizione degli articolatori migliora la precisione di classificazione delle fricative, come /s/ e /ʃ/, che si trovano frequentemente distorte e disorientate nella disartria. Le matrici di confusione possono essere utilizzate anche per dimostrare tali miglioramenti, dove una migliore discriminazione fonemica e biforcazione sono indicate da una diminuzione della confusione tra categorie48.
La misurazione dell'intelligibilità del parlato prima e dopo la correzione supportata dal modello può essere confrontata utilizzando un grafico di rilevanza clinica. Metriche come stabilità e tempismo delle sillabe, stima dell'area dello spazio vocalico, valutazione di precisione delle consonanti e punteggio complessivo di intelligibilità possono essere incluse in questa tabella. In generale, l'output già corretto mostra miglioramenti nei confini della prosodia, del ritmo e dell'articolazione. Ad esempio, dopo la correzione, la rappresentazione dello spazio vocalico di solito si allarga, indicando un aumento della distintività acustica vocalica, un obiettivo terapeutico cruciale in molti trattamenti per ladisartria 39.
È importante sottolineare che questi risultati del modello sono pensati per supportare il processo decisionale clinico migliorando piuttosto che sostituire il giudizio clinico. Il sistema può enfatizzare fonemi specifici o transizioni articolatorie che si discostano significativamente da schemi previsti o teoricamente ipotizzati. Con queste informazioni, i terapeuti possono adattare i loro obiettivi terapeutici per includere: (a) migliorare la consistenza dell'elevazione della lingua per le consonanti alveolari (ad esempio, /t/, /d/), (b) concentrarsi sulla protrusione delle labbra per vocali arrotondate (ad esempio, /u/), (c) migliorare il tempo di insorgenza delle consonanti occlusive sonore.
I lavori pubblicati sottolineano che questi risultati dovrebbero integrare l'interpretazione clinica, non sostituire il giudizio dei medici. Le visualizzazioni modelliche, come mappe dell'attenzione e grafici di allineamento fonemico, possono aiutare i terapeuti a identificare problemi articolatori specifici, come un'insufficiente elevazione della lingua, una diminuzione del rotondamento delle labbra o un ritardo nell'inizio della voce. Nel complesso, i dati di diversi studi mostrano che le architetture di deep learning multimodali aumentano gli indicatori di performance tecnica fornendo al contempo risultati interpretabili che possono aiutare nella pianificazione della terapia e nel monitoraggio dei progressi della riabilitazione.
Integrazione clinica e flusso di lavoro per la riabilitazione
L'implementazione di tecnologie digitali e modelli avanzati del linguaggio nella riabilitazione della disartria sta trasformando i risultati dei pazienti, l'erogazione della terapia e le pratiche cliniche. Questa sezione affronta il quadro dell'allenamento articolatorio orientato al feedback, i ruoli in evoluzione dei logopedisti e del monitoraggio del paziente, l'integrazione degli output dei modelli negli strumenti terapeutici e le significative preoccupazioni sull'usabilità.
Come questi risultati di modelli alimentano gli strumenti di logopedia?
I moderni modelli di IA e deep learning, che includono ASR e classificatori di severità, potrebbero generare dati dettagliati e oggettivi sull'intelligibilità del parlato, gli errori di articolazione e i livelli di gravità48. Questi risultati, oggi, sono sempre più integrati nelle piattaforme di terapia digitale e nelle applicazioni mobili, che forniscono feedback personalizzati e in tempo reale a pazienti eterapeuti. Ad esempio, le applicazioni su tablet e i sistemi di telemonitoraggio basati su cloud utilizzano metriche generate da modelli per visualizzare i progressi, evidenziare specifici deficit articolatori e adattare la difficoltà dell'esercizio. Questi sistemi permettono un monitoraggio obiettivo dei progressi terapeutici, consentono la selezione personalizzata degli esercizi e supportano il monitoraggio remoto tramite piattaformedigitali 50, 51, 52.
Moduli di formazione articolatoria basati su feedback
I moduli di formazione basati su feedback sono fondamentali per la riabilitazione della disartria digitale. Studi precedenti hanno riportato che i moduli di riabilitazione digitale spesso includono biofeedback, rilevamento automatico degli errori e progettazione adattiva dell'esercizio. Il biofeedback nella logopedia utilizza segnali visivi e uditivi, come le visualizzazioni delle forme d'onda e le visualizzazioni dei movimenti degli articolatori, per fornire una guida in tempo reale ai pazienti. Inoltre, il rilevamento automatico degli errori è facilitato tramite modelli di IA che identificano errori fonologici o articolatori, offrendo feedback correttivo immediato per migliorare l'apprendimento. Il processo di formazione è gerarchico e adattivo, il che significa che progrede da compiti più semplici a più complessi, che mirano specificamente a suoni del linguaggio, sillabe o parole. Questi esercizi vengono regolati dinamicamente in base alle prestazioni del paziente, garantendo esperienze di apprendimento personalizzate. Inoltre, l'integrazione di elementi di gamification e realtà virtuale (VR) in alcune piattaforme contribuisce ad aumentare la motivazione e la conformità tra i pazienti, rendendo il processo terapeutico più coinvolgente. Questi moduli supportano quindi una pratica intensiva e ripetitiva, che è fondamentale per l'apprendimento motorio e il miglioramento del linguaggio, consentendo al contempo un uso indipendente o guidato dalterapeuta 51,53,54.
Ruolo dei logopedisti e monitoraggio del paziente
I logopedisti (SLT) rimangono centrali nel processo di riabilitazione, anche se negli ultimi dieci anni gli strumenti digitali sono diventati più diffusi. La valutazione e la definizione degli obiettivi prevedono l'interpretazione dei risultati del modello per selezionare obiettivi terapeutici appropriati e la personalizzazione dei piani di trattamento differenziali su misura per le esigenze individuali del paziente. La supervisione e il feedback sono fondamentali per monitorare i progressi del paziente; Gli esperti forniscono feedback sulla rettifica del linguaggio e apportano le necessarie modifiche alla terapia secondo necessità. Inoltre, si pone enfasi sull'educazione e il supporto ai pazienti, insegnandoli a utilizzare efficacemente strumenti digitali nel loro processo di riabilitazione. La collaborazione multidisciplinare è fondamentale, poiché professionisti di diverse discipline collaborano per rispondere alle esigenze più ampie della riabilitazione, garantendo un approccio completo all'assistenza al paziente. Il monitoraggio del paziente è potenziato da piattaforme digitali, che permettono a terapisti e clinici di monitorare da remoto l'aderenza, il recupero, le prestazioni e gli esiti dei pazienti, facilitando interventi tempestivi e supporto continuo51,52.
Considerazioni sull'usabilità: comfort del paziente e ripetibilità
Perché le tecnologie di riabilitazione digitale possano essere implementate con successo, l'usabilità è fondamentale, con un'attenzione particolare a interfacce intuitive che soddisfino una varietà di esigenze dei pazienti. I metodi terapeutici flessibili sono resi possibili dalle piattaforme mobili, che migliorano comfort e accessibilità. Caratteristiche importanti come moduli adattabili e feedback automatico favoriscono una partecipazione coerente e autonoma, essenziale per l'apprendimento motorio. I test pilota mostrano un'alta accettazione e soddisfazione, ma ci sono comunque problemi tecnici. Il feedback continuo da parte di pazienti e terapeuti aiuta a migliorare questi strumenti per adattarli alle esigenze reali. Con un'enfasi sullo sviluppo di esperienze terapeutiche significative, l'uso dell'IA e della formazione basata sul feedback nella logopedia sta migliorando efficacia, accessibilità e personalizzazione nella riabilitazione della disartria 48,51,52,53,54.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Questa revisione descrive l'applicazione crescente delle architetture di deep learning multimodali all'etichettatura fonemica e al ripristino del linguaggio nella disartria. Queste architetture combinano l'analisi articolatoria e visiva acustica per superare i limiti del riconoscimento vocale basato sull'audio nel linguaggio patologico, caratterizzato da bassa intelligibilità e configurazioni articolatorie non standard. L'articolazione elettromagnetica, l'ecografia della lingua e il repe...
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Gli autori dichiarano di non avere conflitto di interessi.
Gli autori riconoscono l'Ospedale Affiliato dell'Università di Medicina Cinese di Nanchino, Università di Medicina Cinese, per aver fornito le borse di studio e i finanziamenti necessari (Programma Post-Laurea di Ricerca Scientifica e Innovazione della Provincia del Jiangsu KYCX25_2282).
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Accesso limitato. Accedi o avvia una prova gratuita per visualizzare questo contenuto.
Richiedi il permesso di riutilizzare il testo o le figure di questo articolo JoVE
Richiedi permesso