Artigo de revisão
Esta revisão examina como arquiteturas multimodais que combinam informações auditivas, articulatórias e visuais, juntamente com modelos transformadores e TCN, podem melhorar a identificação de fonemas na fala disartrícia. Ela enfatiza seu potencial para melhorar a avaliação da inteligibilidade da fala e a terapia personalizada além das capacidades dos sistemas típicos de ASR.
Devido a problemas de articulação e variabilidade fonemática, distúrbios da fala, como a disartria, apresentam desafios significativos na reabilitação clínica. Sistemas tradicionais de reconhecimento automático de fala (ASR), que normalmente são treinados com conjuntos de dados normativos, frequentemente falham em decodificar com precisão a fala disartrícia. Avanços recentes em inteligência artificial e aprendizado profundo permitiram a integração de arquiteturas multimodais, como a fusão de informações auditivas, articulatórias e visuais para registrar padrões complexos de fala, tornando isso cada vez mais possível. Nesta revisão, exploramos a convergência de transformadores e redes convolucionais temporais (NTCs) dentro de estruturas multimodais para abordar a imprecisão da rotulagem fonemática na fala disartrícia. Aqui, discutimos como a modelagem contextual baseada em transformers e a precisão temporal impulsionada por TCN podem aprimorar a detecção, classificação e feedback de reabilitação dos limites fonemicos. A revisão também discute o potencial desses sistemas híbridos em terapia da fala individualizada, questões de interpretabilidade e aplicações clínicas. Arquiteturas multimodais são uma abordagem translacional para aprimorar o monitoramento terapêutico, auxílios à comunicação e avaliação da inteligibilidade da fala para pessoas com distúrbios motores da fala, ao unir medicina clínica e informática médica.
A deterioração do sistema nervoso pode frequentemente levar a consequências drásticas e abruptas para a saúde, incluindo distúrbios musculoesqueléticos, distúrbios neurovasculares e outros, como distúrbios neurogênicos da comunicação. Transtornos neurogênicos de comunicação incluem distúrbios como disartria e apraxia, que podem ser definidos como fala arrastada devido à fraqueza muscular e dificuldade em planejar movimentos da fala, respectivamente1. A fala é composta por cinco subsistemas: respiração, fonação, ressonância, articulação e prosódia, todos os quais devem trabalhar juntos de forma sinérgica e fluida para se comunicarefetivamente 2. A disartria, causada por disfunção nesses subsistemas, reduz a audibilidade, naturalidade, inteligibilidade e eficiência da comunicação, o que, por sua vez, impacta significativamente a vida dos pacientes e de suas famílias. A disartria pode ser causada por uma variedade de doenças neurológicas e patologias subjacentes, incluindo disfunções no córtex cerebral, gânglios basais, cerebelo, núcleos basais, nervos cranianos ou nervos periféricos. Outros fatores incluem problemas motores primários da língua, laringe egarganta 3.
Disartria é um termo guarda-chuva para distúrbios motores da fala causados por uma mudança no controle neuromuscular que afeta a respiração, fonação, ressonância, produção da fala, vocalização e ritmo. Assim, a disartria é um distúrbio da fala frequentemente associado a comprometimentos e lesões neuromusculares, onde os músculos usados para a fala são fracos, lentos ou paralisados. Tipos específicos de músculos envolvidos na fala incluem os da língua, garganta, rosto, lábios, cordas vocais, mandíbulas e músculos do trato respiratório superior. O dano a esses músculos pode assumir várias formas, incluindo lesões nos neurônios motores que os inervam ou em sua vasculatura, privando-os de oxigênio. Danos neurológicos típicos que prejudicam a condução da fala incluem danos nos neurônios motores superiores que podem levar à rigidez ou espasticidade dos músculos da fala, lesões nos neurônios motores inferiores que podem levar à fraqueza ou paralisia muscular devido a sinais nervosos interrompidos, lesões cerebelares que frequentemente resultam em falta de coordenação entre os músculos (ataxia) ou danos ganglionares basais que prejudicam movimentos coordenados e podem resultar em movimentos involuntários (hipercinéticos) ou rigidez dos músculos (movimentos hipocinéticos)5.
A disartria é um sintoma comum de vários distúrbios neurológicos e está frequentemente associada a doenças neurológicas progressivas. Isso impacta significativamente o paciente e suas famílias, pois a comunicação desempenha um papel crucial na expressão da personalidade e na manutenção das conexões sociais. O transtorno é caracterizado por uma menor inteligibilidade da fala. O conteúdo da linguagem falada permanece intacto, permitindo que o paciente escreva e interprete tanto a linguagem falada quanto escrita; Por outro lado, a anártria é o tipo mais grave, resultando em perda total da saída motorada fala 6. Existem seis classificações primárias de disartria: disartria flácida, que está ligada à disfunção inferior dos neurônios motores; disartria espástica, que surge de danos aos neurônios motores superiores conectados às regiões motoras do córtex cerebral; disartria ataxica, resultante principalmente de problemas cerebelosos; e disartria hipercinética e disartria hipocinética, ambas associadas a distúrbios do sistema extrapiramidal. O sexto tipo é tipicamente chamado de disartria mista e frequentemente está associado a danos em múltiplas áreas, levando a características da fala que apresentam características de pelo menos duas categorias. Os distúrbios da fala associados a esses seis tipos principais de disartria são únicos e podem auxiliar no diagnóstico e tratamento dadisartria 5,6.
Os fatores etiológicos que contribuem para os desafios na articulação incluem infecções (como a doença de Creutzfeldt–Jakob e a síndrome da imunodeficiência adquirida), problemas vasculares (tanto isquêmicos quanto hemorrágicos), tumores (neoplasias cerebrais), doenças desmielinizantes (incluindo esclerose múltipla e síndrome de Guillain–Barré), distúrbios degenerativos (como a doença de Parkinson e a doença de Huntington), lesões (lesões cerebrais traumáticas e paralisia cerebral), exposições tóxicas (a metais pesados, álcool e drogas), e condições genéticas (por exemplo, SANDO)7. Além disso, fatores não neurológicos, como fenda labial ou palatina leporina, também podem causar problemas de articulação, mas esses não se enquadram na categoria dedisartria 8.
A importância da disartria em ambientes clínicos reside em seu impacto significativo na qualidade de vida dos indivíduos. Como a comunicação é essencial para o engajamento social, educacional e profissional, aqueles que sofrem dela frequentemente enfrentam sentimentos de isolamento e bem-estardiminuído 6. Diagnosticar com precisão os diversos tipos de disartria, por exemplo, flácida, espástica, atáxica, hipercinética, hipocinética e mista, é essencial para identificar os problemas neurológicos subjacentes e avaliar abordagens de reabilitação. Fonoaudiólogos e clínicos frequentemente dependem da análise das características e da gravidade da disartria para personalizar a terapia, estabelecer objetivos de comunicação alcançáveis e avaliar a necessidade de métodos de comunicação aumentativose alternativos 9. Para aqueles com dificuldades de fala, sistemas de reconhecimento automático de fala (ASR) têm se mostrado capazes de melhorar a acessibilidade e a interação social. No entanto, modelos acústicos insuficientes dificultaram o sucesso mais amplo da ASR no tratamento de distúrbios da fala. Assim, este artigo aprofunda problemas fonemáticos na fala disartrícia, sistemas existentes de ASR e seus limites, técnicas multimodais criativas, modelagem contextual baseada em transformadores e NTCs para refinamento temporal e sequencial.
Mesmo com avanços substanciais na tecnologia de ASR, os principais sistemas de ASR ainda apresentam inúmeras limitações para pessoas com deficiência de fala. Essas deficiências podem decorrer parcialmente das dificuldades em obter um conjunto de dados de treinamento diverso e representativo de distúrbios de fala. Um dos desafios na ASR com disordem da fala provavelmente está ligado à ampla gama de características anormais da fala que variam de pessoa para pessoa, e à representação inadequada dessas variações nos conjuntos de dados de treinamento10. Apesar disso, pesquisas sobre ASR relacionadas à disartria frequentemente negligenciaram essa diversidade.
Os sistemas ASR são divididos em três categorias: independentes do falante (SI), dependentes do falante (SD) e adaptativos ao alto-falante (SA). Sistemas SI têm bom desempenho com falantes saudáveis, mas têm dificuldades com fala degradada e têm melhor desempenho quando os dados de treinamento incluem falantes disartrícos. Em contraste, os sistemas SD focam em usuários individuais, alcançando excelente precisão, enquanto os sistemas SA se adaptam à fala do usuário ao longo do tempo e superam os modelos SI e SD. No entanto, tanto os sistemas SA quanto os SD requerem dados de treinamento, o que representa mais uma barreira para aqueles com distúrbiosneurodegenerativos 11. Apesar do progresso significativo, os modelos ASR existentes ainda são inadequados para falantes com deficiência, devido à falta de diferentes conjuntos de dados de treinamento. Para preencher essa lacuna, é necessário desenvolver metodologias detalhadas de coleta de dados que capturem vários aspectos da disartria, melhorando assim o desempenho da ASR para falantes de difícil reconhecimento.
Para superar essas limitações, estratégias multimodais que combinam sinais acústicos, articulatórios e visuais podem representar de forma abrangente a produção e o refinamento da fala nos sintomas disartrícos. Por exemplo, dados sobre movimento articulatório, como imagens da língua, são obtidos por ultrassonografia e articulografia eletromagnética. Esses dados são frequentemente combinados com movimentos visuais dos lábios e podem compensar informações acústicas comprometidas, aumentando a capacidade de distinguir e diferenciarfonemas 12. Essa redundância encontrada em sistemas multimodais é consistente com métodos de avaliação clínica, fortalecendo a capacidade dos terapeutas de observar movimentos orofaciais junto com a fala auditiva. Por outro lado, frameworks de aprendizado profundo, especialmente transformers e TCNs, oferecem modelagem superior de dependências temporais e variações dentro das sequências de fala. Esses modelos funcionam permitindo que transformadores capturem relações contextuais abrangentes, possibilitando a identificação de fonemas mesmo quando os sinais acústicos são diminuídos, obscurecidos oureduzidos 13. As NTCs contribuem ainda mais ao fornecer campos receptivos estáveis e suavização temporal, o que aumenta a precisão da detecção de fronteira fonemática. Quando integradas a estruturas de fusão multimodal, ambas as abordagens melhoram significativamente a precisão da rotulagem fonética na fala disartrítrica e facilitam uma reabilitação clínica mais precisa e orientada por feedback. Portanto, essas arquiteturas multimodais de aprendizado profundo estão diretamente alinhadas com objetivos clínicos em tempo real, como aprimorar a medição da inteligibilidade da fala, monitorar a jornada de reabilitação e fornecer terapias assistidas por tecnologia personalizadas para os perfis específicos de deficiência motora da falados indivíduos 14.
Embora essas arquiteturas multimodais de aprendizado profundo tenham grande potencial para resolver imprecisões de rotulagem fonemática, sua transferência eficaz de estruturas experimentais para ferramentas diagnósticas confiáveis requer uma estrutura operacional uniforme. Para abordar isso, o estudo a seguir descreve um fluxo de trabalho computacional abrangente que abrange coleta de dados multimodais, extração de características e treinamento de modelos. O objetivo é garantir que esses sistemas complexos sejam reprodutíveis e verificáveis em uma ampla gama de situações clínicas. Estabelecer um pipeline metodológico tão transparente é fundamental para fonoaudiólogos e engenheiros clínicos validarem algoritmos em uma ampla gama de características e níveis de deficiência dos pacientes. Por fim, essa metodologia sistemática serve como precursora da implementação clínica, permitindo a integração de modelos avançados de fala em avaliações regulatórias, sistemas eletrônicos de saúde e plataformas de monitoramento de tratamento de longo prazo.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Visão geral da aquisição de dados multimodal na fala disartrítrica
A coleta de dados multimodais é necessária para examinar minuciosamente o controle motor da fala e desenvolver técnicas diagnósticas e de reabilitação eficientes, dada a complexidade e diversidade dos sintomas disartrícos.
Configuração acústica de gravação
O canal acústico permanece central. As gravações são melhor realizadas em um ambiente tratado acusticamente para mitigar reverberações e ruídos ambientes. Microfones típicos são condensadores de alta qualidade e são unidades de cabeça cardioide ou de mesa, posicionadas consistentemente para controlar o nível do sinal e evitar variações entre sessões. Taxas de amostragem de 16 kHz ou 44,1 kHz são muito comuns, onde 16 kHz é suficiente para inteligibilidade e análise prosódica, enquanto 44,1 kHz proporciona maior fidelidade, o que é útil para pesquisas acústicas/fonatórias detalhadas. Interfaces de áudio multicanal permitem captura síncrona de múltiplos fluxos e devem manter configurações consistentes de ganho e headroom para evitar clipping ou ruído de chão. Para reprodutibilidade, estabelecer calibração e documentar o ganho do microfone, o ruído ambiente de fundo e o desvio são importantes. Nos corpora de fala disartrícia, a qualidade do áudio é particularmente importante porque defeitos acústicos no sinal podem ser sutis e facilmente mascarados por condições ruins degravação 15.
Modalidades opcionais articulatórias / acompanhamento labial / EMG / ultrassom
Para ir além da forma de onda acústica, frequentemente são necessárias modalidades adicionais para capturar a cinemática articulatória e a atividade muscular fisiológica. Assim, o rastreamento labial ou captura de movimento facial permite quantificar a abertura, movimento, velocidade e simetria dos lábios/mandíbulas. A articulografia eletromagnética (EMA) acompanha sensores de língua, mandíbula e lábio em três dimensões e fornece resolução temporal/posicional dos articuladores, enquanto a eletromiografia de superfície (sEMG) registra a atividade muscular para explorar déficits de ativação neuromuscular subjacentes à disartria. A ultrassom de imagem da língua (ITU) fornece imagens em tempo real da superfície da língua durante a articulação, útil em indivíduos que não toleram EMA. Sistemas multimodais mostram que a identificação de déficits motores da fala é melhorada por acústica concorrente, complementada com captura articulatória/visual 16.
Considerações éticas e consentimento do paciente
Trabalhar com falantes disartrícos frequentemente envolve populações vulneráveis. Os pesquisadores devem obter a aprovação do conselho de revisão institucional (IRB) ou do comitê de ética, e garantir consentimento informado que explique modalidades de gravação (áudio, vídeo, sensores fisiológicos), armazenamento, anonimização, uso futuro e direitos de retirada. Os formulários de consentimento devem abordar explicitamente a captura de vídeo (rastreamento labial/facial) e, opcionalmente, modalidades sensíveis como EMG. A privacidade dos dados deve ser gerenciada, especialmente quando imagens de vídeo ou faciais são armazenadas. É necessário avaliar o nível de conforto, exaustão, limitações de movimento e risco potencial do participante. As sessões devem incluir períodos de descanso, e os participantes devem ser informados de que podem parar a qualquer momento sem enfrentar consequências. A escassez e diversidade de participantes na pesquisa sobre corpus de fala disartríca enfatizam ainda mais a importância do rigor ético17.
Etapas de pré-processamento de dados (segmentação, redução de ruído, normalização)
O sistema MAV-HuBERT alinha os dados acústicos e visuais temporalmente no nível do quadro, extraindo energias do banco de filtro logarítmico em 26 dimensões da forma de onda original e sincronizando-as com quadros visuais de 25 Hz coletados por identificação facial baseada em Dlib. Os quadros de áudio consecutivos são tipicamente combinados para estabilizar flutuações de curto prazo, e as regiões visuais fundidas são normalizadas espacialmente antes da fusão de características multimodais. Essas atividades de pré-processamento proporcionam consistência temporal contínua e reduzem a variabilidade entre modalidades de áudio e vídeo, resultando em maior precisão de identificação ajusante 15,18.
Engenharia de características e fluxo de trabalho computacional
Modelos de aprendizado profundo multimodais requerem representações sincronizadas de informações acústicas, articulatórias e visuais para rotular com precisão os fonemas na fala disartrícia. Esta seção fornece um esboço das técnicas de representação de características usadas na análise multimodal de fala, seguida por um fluxo de trabalho computacional passo a passo para extrair e alinhar essas características antes do treinamento do modelo.
Extração e representação de características
Na análise multimodal de fala, sinais brutos de áudio e movimento devem ser convertidos em representações significativas que podem ser processadas por modelos de aprendizado profundo. Uma das representações mais amplamente utilizadas é o espectrograma, que mostra como a energia do sinal varia ao longo do tempo e entre frequências. Representações baseadas em espectrograma são úteis para capturar características como arrastar a língua, a respiração e o tempo irregular, que são comumente observadas na faladisartrídica 19.
Outra característica comumente usada são os Coeficientes Cepstrais de Frequência Mel (MFCCs), que representam as propriedades espectrais da fala de uma forma que aproxima a percepção auditiva humana. Recursos MFCC são amplamente usados no reconhecimento de fala porque fornecem representações compactas e robustas ao ruído que permanecem estáveis mesmo quando a fala estádistorcida 20. Além das características acústicas, abordagens multimodais incorporam informações articulatórias, como trajetórias de movimento da língua, lábios e mandíbula. Esses sinais podem ser obtidos por meio de articulografia eletromagnética (EMA), ultrassom da língua (ITU) ou rastreamento óptico de movimento. As características articulatórias fornecem informações diretas sobre o controle motor da fala e ajudam a compensar sinais acústicosdegradados 21.
Informações visuais também são úteis para analisar a fala disartrícia. Marcos faciais extraídos de gravações de vídeo, incluindo contorno labial, deslocamento da mandíbula e abertura da boca, fornecem pistas adicionais sobre articulação. Essas características visuais melhoram a discriminação fonemática, especialmente quando o sinal acústico não é claro. Para o aprendizado supervisionado, todos os fluxos de características devem estar alinhados com transcrições em nível fonema, garantindo que cada período de tempo corresponda à unidade correta de fala. O alinhamento preciso é essencial para treinar modelos de rotulagem fonemática, especialmente na fala disartrítica, onde os limites fonêmicos costumam ser borrados22.
Fluxo de trabalho computacional
Esta seção demonstra como cada etapa é necessária para reproduzir o fluxo de trabalho multimodal de rotulagem fonemica, desde a extração de características até a avaliação do modelo (Figura 1).
Extração acústica de características por meio de espectrogramas e MFCCs
Primeiro, a transformada de Fourier de curto prazo (STFT) é usada para transformar o sinal bruto da fala em uma representação tempo-frequência. Para criar um espectrograma, o sinal é dividido em breves quadros sobrepostos, e cada quadro é submetido à transformada de Fourier.
Coeficientes Cepstrais de Frequência Mel (MFCCs) são usados para extrair características acústicas ponderadas perceptualmente do espectrograma. Para reconhecimento de fala e análise de disartria, as MFCCs oferecem representações compactas e robustas aoruído 23,24. Devido à sua robustez e eficácia, as MFCCs são comumente usadas em aplicações relacionadas ao reconhecimento de fala e falantes. Assim, devido à sua utilidade, as MFCCs são então extraídas para calcular e aproximar os níveis de percepção auditiva humana e fornecer características acústicas comprimidas e robustas ao ruído, depoisde 25.
Aquisição de trajetórias articulatórias
Dados de movimento articulatório são obtidos para capturar o movimento físico dos órgãos da fala. A articulografia eletromagnética (EMA) utiliza sensores acoplados à língua, lábios e mandíbula para acompanhar o movimento articulatório em três dimensões. Alternativamente, a imagem por ultrassom da língua (ITU) pode ser usada para estimar o movimento da língua de forma não invasiva. As trajetórias gravadas são filtradas, normalizadas e amostradas para corresponder à taxa de quadros das características acústicas, garantindo uma consistência temporalde 26. Converter a fala em sequências de imagem lingual por ultrassom (ITU) é uma técnica para estimar trajetórias linguárias em ultrassom a partir dos dados da fala, mapeando características auditivas para movimentos fisiológicos da língua. Essa metodologia oferece uma alternativa não invasiva às técnicas de coleta direta de dados articulatórios, necessárias para monitorar e tratar anormalidades da fala e do trato vocal, evitando a necessidade de equipamentos específicos e experiência clínica inerentes às abordagens de mediçãodireta 27,28. Com base na disponibilidade de características articulatórias, como trajetórias de movimento da língua, lábios e mandíbulas, que são registradas usando EMA ou ultrassonografia (ITU), os sinais são filtrados e reduzidos para corresponder à taxa dos quadros acústicos.
Detecção de marcos visuais
Para as entradas de fala e vídeos, as entradas de teclas faciais (cantos dos lábios, movimento das linhas da mandíbula) precisam ser extraídas por ferramentas como Mediapipe ou OpenFace, e então essas são normalizadas para remover efeitos de pose da cabeça. A MediaPipe emprega uma estrutura de aprendizado profundo para estimar poses faciais e corporais, fornecendo 33 pontos de referência para reconhecimento geral de poses, sendo 11 especificamente para o rosto. Sua eficácia pode variar, especialmente em casos de oclusões. O modelo MediaPipe FaceMesh melhora a confiabilidade ao usar 468 marcos 3D do rosto juntamente com um método geométrico para estimativa da poseda cabeça 29. O OpenFace 2.0 funciona como uma caixa de ferramentas para analisar comportamentos faciais, permitindo a detecção de marcos faciais, estimativa de postura da cabeça, rastreamento do olhar ocular e reconhecimento de unidades de ação facial. Ele suporta integração com várias linguagens de programação e pode processar transmissões de vídeo ao vivo ou imagens estáticas. Saídas, como marcos faciais e vetores de olhar, podem ser exportadas em formato CSV. O OpenFace 2.0 utiliza o Modelo Local Restrito de Especialistas Convolucionales (CE-CLM), que inclui um modelo de distribuição de pontos para considerar variações nas formas dos marcos e especialistas em patches para diferenças nas aparênciaslocais 29,30.
Alinhamentos de transcrição de fonemas
O próximo passo é alinhar temporariamente todos os fluxos destacados (acústicos, articulatórios e visuais) a anotações em nível fonemico, usando ferramentas de alinhamento forçado como o Montreal Forced Aligner (MFA), garantindo entradas multimodais sincronizadas para treinamento computacional de modelos. Alinhamento forçado (FA) é a técnica de alinhar transcrições com sinais de áudio para determinar os limites temporais das unidades de fala. Isso permite um processamento de áudio mais preciso e avança o estudo linguístico. Ele é cada vez mais utilizado em estudos fonéticos e provou ser substancialmente mais rápido do que o alinhamento manual. Embora geralmente associada a sistemas de reconhecimento automático de fala (ASR), a AO é uma tarefa mais ampla dentro do processamento automático de fala que inclui análise de linguagem falada etranscrição 22. O alinhador forçado de Montreal (MFA) é um kit de ferramentas de FA de primeira linha que utiliza algoritmos HMM-GMM para alcançar um alinhamento eficaz. Apesar dos avanços na tecnologia de ASR, abordagens tradicionais como o HMM-GMM ainda são populares para tarefas de FA. O MFA utiliza características MFCC e um método de treinamento em quatro estágios para criar modelos acústicos com alinhamento fonéticopreciso 31.
Componentes da arquitetura dos modelos
Modelos de aprendizado profundo multimodal para reconhecimento disartrídico de fala consistem em vários componentes-chave que trabalham juntos para capturar informações contextuais, temporais e multimodais. Os principais componentes incluem um codificador contextual, um módulo de refinamento temporal e um mecanismo de fusão multimodal. Cada componente desempenha um papel específico na melhoria da precisão da rotulagem fonética em falas desordenadas.
Codificador contextual baseado em transformador
O codificador transformador é usado para modelar dependências de longo alcance em sequências de fala. A fala disartríca frequentemente contém tempo irregular e limites fonemicos pouco claros, dificultando que modelos convencionais capturem informações contextuais. Transformers usam autoatenção multi-cabeça para analisar relações entre diferentes períodos de tempo na sequência de entrada. Isso permite que o modelo considere tanto os referenciais da fala passados quanto futuros ao prever fonemas. Como resultado, o codificador consegue lidar melhor com as variações de articulação e pronúncia comuns na disartria. Na arquitetura multimodal, o transformador recebe características acústicas, articulatórias e visuais sincronizadas e produz representações conscientes do contexto que são passadas para a próxima etapa do modelo32,33.
Refinamento de sequências temporais baseado em TCN
Após a codificação contextual, a sequência de características é processada por uma Rede Convolucional Temporal (TCN) para melhorar a precisão temporal. A fala disartrídica frequentemente contém tempo instável, pausas e fonemas alongados, que exigem refinamento adicional além da modelagem contextual. As NTCs utilizam convoluções causais dilatadas para capturar dependências temporais longas enquanto mantêm a eficiência computacional. Essa estrutura permite que o modelo suavize previsões ruidosas e mantenha limites fonemáticos consistentes ao longo do tempo. Na arquitetura, o TCN recebe a saída do codificador transformador e refina a sequência para produzir representações de características estáveis e temporalmenteconsistentes 33,34,35.
Estratégia de fusão multimodal
Para aumentar a precisão diagnóstica na avaliação da disartria, a fusão multimodal incorpora informações de diversas fontes, como voz, texto, vídeo e sensores fisiológicos. As principais técnicas consistem em três etapas distintas: fusão precoce, fusão tardia e fusãointermediária 36. A fusão inicial combina dados de muitas modalidades em um nível fundamental, permitindo que os modelos compreendam relações complexas desde o início. Seu uso é limitado, pois requer a sincronização de várias taxas de amostragem e tipos de dados. Fusão tardia processa cada modalidade usando modelos independentes antes de combinar os resultados para avaliações finais. Essa técnica é flexível e eficaz quando dados de uma modalidade estão ausentes. Além disso, a fusão intermediária integra modalidades em nível intermediário, frequentemente utilizando técnicas de atenção cruzada para detectar dependências. Esse método tem sido particularmente útil em contextos clínicos, melhorando os resultados ao combinar referências linguísticas com dados acústicos. Em resumo, a fusão intermediária com atenção cruzada produz resultados superiores na avaliação automática da disartria do que métodos baseados em uma únicamodalidade 36,37.
Melhores práticas para treinar e avaliar modelos de disartria:
Desenvolver modelos fibrosos para avaliação e reconhecimento da disartria requer atenção cuidadosa para a partição do conjunto de dados, avaliação das métricas e interpretabilidade. Pesquisas recentes destacaram abordagens padronizadas e soluções inovadoras para enfrentar esses desafios únicos da fala disartrícia, que incluem escassez de dados, variabilidade e relevância clínica38,39.
Estratégias de particionamento de conjuntos de dados
Para garantir que conjuntos de dados de treinamento, validação e teste não troquem informações dos falantes, prevenindo vazamentos e sobreajustes de dados, a validação cruzada estratificada K-Fold é agora comumenteempregada 38,39. Essa abordagem permite que os modelos mantenham distribuições equilibradas e avaliações de desempenho confiáveis, mesmo ao trabalhar com conjuntos de dados limitados ou diversos. Como a partição por alto-falante é essencial para evitar viés, divisões comuns consistem em razões trem/teste de 75:25 ou 85:15, juntamente com divisão adicional paravalidação 40. Para lidar com dados disartrícos limitados, são aplicadas abordagens populares de aumento de dados, como geração sintética de dados, perturbação de tempo e aprendizado por transferência a partir de uma fala saudável.
Métricas de avaliação
Considerações sobre a interpretabilidade do modelo
Assim, um pipeline completo de modelos de disartria inclui divisões de dados estratificadas e independentes do falante, avaliação multifacetada (PER, inteligibilidade, entrada clínica) e interpretabilidade por meio de mecanismos de atenção. Essas abordagens garantem que os sistemas-modelo para avaliar e reconhecer disartria sejam robustos, clinicamente relevantes e transparentes.
Resultados representativos
Diversos estudos relataram melhorias na precisão dos limites fonemáticos quando são usadas características multimodais. A fala disartrídica frequentemente contém transições articulatórias borradas ou prolongadas, dificultando a determinação do limite exato entre fonemas. Modelos publicados que combinam características acústicas, articulatórias e visuais mostraram melhor concordância com anotações de referência do que sistemas unimodais. Essas melhorias são frequentemente visualizadas usando curvas de alinhamento, onde modelos multimodais demonstram redução de erros de tempo, especialmente durante as transições consoante–vogal 46. Relatórios literários também descrevem melhorias na precisão da classificação fonemática. Arquiteturas multimodais demonstraram reduzir erros de substituição e deleção, especialmente para fricativas e vogais que são frequentemente distorcidas na disartria. Matrizes de confusão relatadas em estudos anteriores indicam que combinar informações visuais e articulatórias ajuda o modelo a distinguir fonemas semelhantes de forma mais confiável. O aumento na precisão dos limites fonemáticos é um exemplo proeminente. As transições articulatórias e as mudanças na fala disartrídica são frequentemente alongadas ou borradas, o que dificulta a interpretação de onde termina um fonema e começa outro. Para identificar com mais precisão o início e o deslocamento fonemico, o sistema multimodal utiliza dados compartilhados de movimentos laborais visuais, trajetórias articulatórias e áudio. Comparados aos produzidos por modelos acústicos unimodais, os limites previsíveis dos fonemas visualizados correspondem mais de perto às anotações verdadeiras. Curvas de alinhamento são usadas para visualizar essas melhorias, onde o modelo multimodal mostra menos erros de tempo, especialmente para transições entre vogais e consoantes (VC e CV). No ambiente clínico, isso pode resultar em mapas de segmentação aprimorados, que ajudam fonoaudiólogos e profissionais a identificar questões específicas no controle motor, como arredondamento insuficiente dos lábios ou fechamento tardioda mandíbula 47.
Além disso, o modelo pode produzir resultados diferenciais de classificação que podem ser usados para identificar a sequência de fonemas falados mais provável. O sistema multimodal apresenta uma queda nos erros de substituição e deleção de fonemas em comparação com modelos tradicionais e de linha base. Por exemplo, a incorporação da forma visual dos lábios e das pistas de posição dos articuladores melhora a precisão da classificação de fricativas, como /s/ e /ʃ/, que são frequentemente encontradas distorcidas e desorientadas na disartria. Matrizes de confusão também podem ser usadas para demonstrar tais melhorias, onde a melhor discriminação fonemática e bifurcação são indicadas pela diminuição da confusão entrecategorias 48.
A medição da inteligibilidade da fala antes e depois da correção suportada pelo modelo pode ser comparada usando um gráfico de relevância clínica. Métricas como estabilidade e tempo das sílabas, estimativa da área do espaço vocálica, avaliação de precisão das consoantes e pontuação geral de inteligibilidade podem ser incluídas neste gráfico. Em geral, a produção já corrigida apresenta melhorias nas fronteiras de prosódia, ritmo e articulação. Por exemplo, após a correção, a representação do espaço vocálico geralmente aumenta, indicando uma distinção acústica vocálica aprimorada, um objetivo terapêutico crucial em muitos tratamentos com disartria39.
Importante, esses resultados do modelo têm como objetivo apoiar a tomada de decisões clínicas, aprimorando, em vez de substituir, o julgamento dos clínicos. O sistema pode enfatizar fonemas específicos ou transições articulatórias que se desviam significativamente de padrões antecipados ou teoricamente hipotetizados. Com essas informações, os terapeutas podem adaptar seus objetivos terapêuticos para incluir: (a) melhorar a consistência da elevação da língua para consoantes alveolares (por exemplo, /t/, /d/), (b) focar na protrusão labial para vogais arredondadas (por exemplo, /u/), (c) melhorar o tempo de início das consoantes oclusivas sonoras.
Trabalhos publicados enfatizam que esses resultados devem complementar a interpretação clínica, não substituir o julgamento dos médicos. Visualizações de modelos, como mapas de atenção e gráficos de alinhamento fonemico, podem ajudar os terapeutas a identificar problemas articulatórios específicos, como elevação insuficiente da língua, diminuição do arredondamento dos lábios ou início tardio da voz. No geral, dados de vários estudos mostram que arquiteturas multimodais de deep learning aumentam indicadores técnicos de desempenho, ao mesmo tempo em que fornecem resultados interpretáveis que podem ajudar no planejamento da terapia e no acompanhamento do progresso da reabilitação.
Integração clínica e fluxo de trabalho de reabilitação
A implementação de tecnologias digitais e modelos avançados de fala na reabilitação da disartria está transformando os resultados dos pacientes, a oferta de terapias e as práticas clínicas. Esta seção aborda o arcabouço do treinamento articulatório orientado por feedback, os papéis em evolução dos fonoaudiólogos e do monitoramento do paciente, a integração dos resultados dos modelos em ferramentas terapêuticas e preocupações significativas com a usabilidade.
Como esses resultados de modelos alimentam as ferramentas de fonoaudiologia?
Modelos modernos de IA e aprendizado profundo, que incluem ASR e classificadores de gravidade, poderiam gerar dados detalhados e objetivos sobre inteligibilidade da fala, erros de articulação e níveisde gravidade 48. Esses resultados, atualmente, estão cada vez mais incorporados em plataformas de terapia digital e aplicativos móveis, que fornecem feedback personalizado e em tempo real para pacientes eterapeutas. Por exemplo, aplicativos baseados em tablets e sistemas de telemonitoramento em nuvem utilizam métricas geradas por modelos para visualizar progresso, destacar déficits articulatórios específicos e adaptar a dificuldade do exercício. Esses sistemas permitem o acompanhamento objetivo do progresso da terapia, possibilitam seleção personalizada de exercícios e suportam monitoramento remoto por meio de plataformasdigitais 50, 51, 52.
Módulos de treinamento articulatório baseados em feedback
Módulos de treinamento baseados em feedback são centrais para a reabilitação de disartria digital. Estudos anteriores relataram que módulos digitais de reabilitação frequentemente incluem biofeedback, detecção automática de erros e design adaptativo de exercícios. O biofeedback na fonoaudiologia utiliza sinais visuais e auditivos, como displays de ondas e visualizações dos movimentos dos articuladores, para fornecer orientação em tempo real aos pacientes. Além disso, a detecção automatizada de erros é facilitada por meio de modelos de IA que identificam erros fonológicos ou articulatórios, oferecendo feedback corretivo imediato para aprimorar a aprendizagem. O processo de treinamento é hierárquico e adaptativo, ou seja, progride de tarefas mais simples para mais complexas, que especificamente focam em sons de fala, sílabas ou palavras. Esses exercícios são ajustados dinamicamente com base no desempenho do paciente, garantindo experiências de aprendizado personalizadas. Além disso, a incorporação de elementos de gamificação e realidade virtual (VR) em algumas plataformas serve para aumentar a motivação e a adesão entre os pacientes, tornando o processo terapêutico mais envolvente. Esses módulos, portanto, suportam a prática intensiva e repetitiva, que é fundamental para a aprendizagem motora e a melhoria da fala, permitindo o uso independente ou guiado porterapeutas 51,53,54.
Papel dos fonoaudiólogos e monitoramento do paciente
Fonoaudiólogos (SLTs) continuam sendo centrais no processo de reabilitação, mesmo com as ferramentas digitais se tornando mais comuns na última década. A avaliação e definição de metas envolvem interpretar os resultados dos modelos para selecionar metas terapêuticas adequadas e personalizar planos de tratamento diferenciados adaptados às necessidades individuais do paciente. Supervisão e feedback são vitais para monitorar o progresso do paciente; Especialistas fornecem feedback sobre a correção da fala e fazem os ajustes necessários na terapia conforme necessário. Além disso, a educação e o apoio ao paciente são enfatizados, ensinando-os a utilizar ferramentas digitais de forma eficaz em seu processo de reabilitação. A colaboração multidisciplinar é fundamental, pois profissionais de diversas disciplinas trabalham juntos para atender às necessidades mais amplas da reabilitação, garantindo uma abordagem abrangente ao cuidado ao paciente. O monitoramento do paciente é aprimorado por plataformas digitais, que permitem que terapeutas e clínicos acompanhem remotamente a adesão do paciente, a recuperação, o desempenho e os resultados, facilitando intervenções oportunas e suporte contínuo51,52.
Considerações de usabilidade: conforto e repetibilidade do paciente
Para que as tecnologias de reabilitação digital sejam implementadas com sucesso, a usabilidade é fundamental, com foco em interfaces amigáveis que atendam a diversas necessidades dos pacientes. Métodos de terapia flexíveis são possíveis graças às plataformas móveis, que melhoram o conforto e a acessibilidade. Recursos importantes como módulos adaptáveis e feedback automatizado incentivam a participação consistente e autônoma, o que é essencial para a aprendizagem motora. Os testes piloto mostram alta aceitação e satisfação, mas ainda há questões técnicas. O feedback contínuo de pacientes e terapeutas ajuda a aprimorar essas ferramentas para atender às necessidades do mundo real. Com ênfase no desenvolvimento de experiências terapêuticas significativas, o uso de IA e treinamento baseado em feedback na fonoaudiologia está melhorando a eficácia, acessibilidade e personalização na reabilitação da disartria 48,51,52,53,54.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Esta revisão descreve a aplicação crescente de arquiteturas multimodais de aprendizado profundo à rotulagem fonética e à restauração da fala na disartria. Essas arquiteturas combinam a análise articulatória acústica e visual para superar as limitações do reconhecimento de fala baseado em áudio na fala patológica, caracterizada por baixa inteligibilidade e configurações articulatórias não padrão. Articulografia eletromagnética (ultrassom, imagem da língua) e marcação facial são modelos ma...
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Os autores declaram não haver conflito de interesses.
Os autores reconhecem o Hospital Afiliado da Universidade de Medicina Chinesa de Nanjing, Universidade de Medicina Chinesa, por fornecer as bolsas e financiamento necessários (Programa de Pesquisa Científica e Inovação de Pós-Graduação da Província de Jiangsu KYCX25_2282).
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.
Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE
Solicitar permissão