Artykuł przeglądowy
Niniejszy przegląd analizuje, jak architektury multimodalne łączące informacje słuchowe, artykulacyjne i wizualne, wraz z modelami transformerów i TCN, mogą poprawić identyfikację fonemów w mowie dysartrycznej. Podkreśla ich potencjał do poprawy oceny zrozumiałości mowy i terapii spersonalizowanej wykraczającej poza możliwości typowych systemów ASR.
Ze względu na problemy z artykulacją i zmienność fonemów, zaburzenia mowy, takie jak dysartria, stanowią poważne wyzwania w rehabilitacji klinicznej. Tradycyjne systemy automatycznego rozpoznawania mowy (ASR), które zazwyczaj są trenowane na normatywnych zbiorach danych, często nie są w stanie dokładnie odkodować mowy dyzartry. Najnowsze przełomy w sztucznej inteligencji i głębokim uczeniu umożliwiły integrację architektur multimodalnych, takich jak łączenie informacji słuchowych, artykulacyjnych i wizualnych, aby rejestrować złożone wzorce mowy, co coraz bardziej to umożliwia. W niniejszym przeglądzie badaliśmy zbieżność transformatorów i czasowych sieci splotowych (TCN) w ramach multimodalnych, aby zniwelować niedokładność oznaczania fonemów w mowie dysartrycznej. Omawiamy tutaj, jak modelowanie kontekstowe oparte na transformatorach oraz precyzyjność czasowa sterowana TCN mogą poprawić wykrywanie, klasyfikację i sprzężenie zwrotne z zakresu granic fonemów. Przegląd omawia również potencjał takich hybrydowych systemów w indywidualnej terapii mowy, kwestii interpretowalności oraz zastosowania klinicznych. Architektury multimodalne to translacyjne podejście do ulepszania monitorowania terapii, pomocy komunikacyjnych oraz oceny zrozumiałości mowy u osób z zaburzeniami mowy ruchowej, łącząc medycynę kliniczną z informatyką medyczną.
Uszkodzenie układu nerwowego często prowadzi do drastycznych i nagłych konsekwencji zdrowotnych, w tym schorzeń układu mięśniowo-szkieletowego, neuronaczyniowego oraz innych, takich jak neurogenne zaburzenia komunikacji. Neurogenne zaburzenia komunikacji obejmują takie zaburzenia jak dysarttria i apraxia, które można zdefiniować jako bełkotliwą mowę spowodowaną osłabieniem mięśni i trudnościami w planowaniu ruchów, odpowiednio1. Mowa składa się z pięciu podsystemów: oddychania, fonacji, rezonansu, artykulacji i prozodii, które muszą współpracować synergistycznie i płynnie, aby skutecznie się komunikować2. Dysartria, spowodowana dysfunkcjami tych podsystemów, obniża słyszalność, naturalność, zrozumiałość oraz efektywność komunikacji, co z kolei znacząco wpływa na życie pacjentów i ich rodzin. Dysartria może być spowodowana różnymi chorobami neurologicznymi i chorobami ukrytymi, w tym dysfunkcjami kory mózgowej, jądrami podstawy, móżdżku, jądrami podstawy, nerwami czaszkowymi lub nerwami obwodowymi. Inne czynniki to pierwotne problemy motoryczne języka, krtani i gardła3.
Dysartria to ogólne określenie zaburzeń mowy ruchowej spowodowanych zmianą kontroli nerwowo-mięśniowej, która wpływa na oddychanie, fonację, rezonans, produkcję mowy, wokalizację oraz rytm. Tak więc dysartria to zaburzenie mowy często związane z zaburzeniami nerwowo-mięśniowymi i urazami, gdzie mięśnie używane do mowy są słabe, wolne lub sparaliżowane. Specyficzne typy mięśni zaangażowanych w mowę to język, gardło, twarz, usta, struny głosowe, szczęki oraz mięśnie górnych dróg oddechowych. Uszkodzenia tych mięśni mogą przyjmować różne formy, w tym urazy neuronów ruchowych, które je unerwiają, lub ich naczyń, pozbawiając je tlenu. Typowe uszkodzenia neurologiczne utrudniające przewodzenie mowy obejmują uszkodzenia górnych neuronów ruchowych, które mogą prowadzić do sztywności lub spastyczności mięśni mowy, urazy dolnych neuronów ruchowych, które mogą prowadzić do osłabienia mięśni lub paraliżu w wyniku przerwanych sygnałów nerwowych, urazy móżdżku, które często prowadzą do braku koordynacji mięśni (ataksja) lub uszkodzenia jądrów podstawnych, które utrudniają skoordynowane ruchy i mogą prowadzić do mimowolnych ruchów (hiperkinetyczne) lub sztywność mięśni (ruchy hipokinetyczne)5.
Dysartria jest powszechnym objawem różnych zaburzeń neurologicznych i często wiąże się z postępującymi chorobami neurologicznymi. Znacząco wpływa na pacjenta i jego rodziny, ponieważ komunikacja odgrywa kluczową rolę w wyrażaniu osobowości i utrzymywaniu więzi społecznych. Zaburzenie charakteryzuje się obniżoną zrozumiałością mowy. Treść języka mówionego pozostaje nienaruszona, co pozwala pacjentowi pisać i interpretować zarówno język mówiony, jak i pisemny; Z kolei anarthria jest najcięższym typem, skutkującym pełną utratą mocy mowyruchowej 6. Istnieje sześć podstawowych klasyfikacji dysartrii: dysarttria wiotka, która wiąże się z dysfunkcją dolnych neuronów ruchowych; dysartria spazmatyczna, która powstaje w wyniku uszkodzenia górnych neuronów ruchowych połączonych z obszarami ruchowymi kory mózgowej; atakstyczna dyszartria, głównie wynikająca z problemów z móżdżkiem; oraz hiperkinetyczna dysartria i hipokinetyczna dysartria, oba związane z zaburzeniami układu pozapiramidowego. Szósty typ nazywany jest dysartrią mieszaną i często wiąże się z uszkodzeniami w wielu obszarach, co prowadzi do cech mowy wykazujących cechy co najmniej dwóch kategorii. Zaburzenia mowy związane z tymi sześcioma głównymi typami dysartrii są unikalne i mogą pomóc w diagnozie oraz leczeniu dysarthrii 5,6.
Czynniki etiologiczne przyczyniające się do trudności z artykulacją obejmują infekcje (takie jak choroba Creutzfeldta–Jakoba i zespół nabytego niedoboru odporności), problemy naczyniowe (udary niedokrwienne i krwotoczne), guzy (nowotwory mózgu), choroby demielinizujące (w tym stwardnienie rozsiane i zespół Guillaina–Barré), choroby zwyrodnieniowe (takie jak choroba Parkinsona i Huntingtona), urazy (urazy mózgu i porażenie mózgowe), toksyczne narażenie (na metale ciężkie, alkohol i narkotyki) oraz schorzenia genetyczne (na przykład SANDO)7. Dodatkowo, czynniki nieneurologiczne, takie jak rozszczep wargi czy podniebienia, również mogą powodować problemy z artykulacją, ale nie zaliczają się do kategorii dysarthrii8.
Znaczenie dysartrii w warunkach klinicznych polega na jej znaczącym wpływie na jakość życia poszczególnych osób. Ponieważ komunikacja jest niezbędna dla zaangażowania społecznego, edukacyjnego i zawodowego, osoby cierpiące na nią często doświadczają poczucia izolacji i pogorszonego dobrostanu6. Dokładne diagnozowanie różnych typów dysartrii, takich jak wiotka, spazmatyczna, ataksja, hiperkinetyczna, hipokinetyczna i mieszana, jest niezbędna do identyfikacji podstawowych problemów neurologicznych i oceny podejść rehabilitacyjnych. Logopedzy i klinicyści często polegają na analizie cech i nasilenia dysartrii, aby dostosować terapię, ustalić osiągalne cele komunikacyjne oraz ocenić konieczność stosowania wspomagających i alternatywnych metod komunikacji9. Dla osób z trudnościami w mowie systemy automatycznego rozpoznawania mowy (ASR) poprawiają dostępność i interakcje społeczne. Niemniej jednak niewystarczające modele akustyczne utrudniły szerszy sukces ASR w leczeniu zaburzenia mowy. W związku z tym artykuł ten zagłębia się w problemy fonemów w mowie dysartrycznej, istniejące systemy ASR i ich ograniczenia, kreatywne techniki multimodalne, modelowanie kontekstowe oparte na transformerach oraz TCN do udoskonalania temporalnego i sekwencyjnego.
Nawet przy znacznym postępie w technologii ASR, najlepsze systemy ASR wciąż mają liczne niedociągnięcia u osób z zaburzeniami mowy. Te niedociągnięcia mogą częściowo wynikać z trudności w uzyskaniu różnorodnego i reprezentatywnego zbioru danych treningowych dotyczących zaburzenia mowy. Jednym z wyzwań w zaburzeniach ASR prawdopodobnie jest szeroki zakres nieprawidłowych cech mowy różniących się w zależności od osoby oraz niewystarczająca reprezentacja tych wariantów w zbiorach danych treningowych10. Mimo to badania nad ASR związanym z dysarthrią często pomijały tę różnorodność.
Systemy ASR dzielą się na trzy kategorie: niezależne od głośnika (SI), zależne od głośnika (SD) oraz adaptacyjne od mówiącego (SA). Systemy SI dobrze działają ze zdrowymi użytkownikami, ale mają problemy z pogorszeniem mowy, a lepiej radzą sobie wtedy, gdy dane treningowe obejmują użytkowników dysartrycznych. Natomiast systemy SD koncentrują się na indywidualnych użytkownikach, osiągając doskonałą dokładność, podczas gdy systemy SA dostosowują się do mowy użytkownika w czasie i przewyższają modele SI i SD. Jednak zarówno systemy SA, jak i SD wymagają danych treningowych, co stanowi kolejną barierę dla osób z chorobami neurodegeneracyjnymi11. Pomimo znacznych postępów, istniejące modele ASR nadal nie nadają się do osób z niepełnosprawnościami, z powodu braku różnych zbiorów danych treningowych. Aby wypełnić tę lukę, należy opracować dokładne metody zbierania danych obejmujące różne aspekty dysarthrii, co poprawi wydajność ASR dla trudno rozpoznawalnych mówców.
Aby przezwyciężyć te ograniczenia, strategie multimodalne łączące sygnały akustyczne, artykulacyjne i wizualne mogą skutecznie reprezentować produkcję i udoskonalanie objawów dysartry w sposób kompleksowy. Na przykład dane dotyczące ruchu artykulacyjnego, takie jak obrazowanie języka, są pozyskiwane za pomocą ultrasonografii i artikulografii elektromagnetycznej. Dane te często łączą się z ruchami warg wzrokowymi i mogą kompensować upośledzenia informacji akustycznych, poprawiając zdolność do rozróżniania i rozróżniania fonemów12. Ta redundancja w systemach multimodalnych jest zgodna z metodami oceny klinicznej, wzmacniając zdolności terapeutów do obserwowania ruchów orofacialnych obok mowy słuchowej. Z kolei ramy uczenia głębokiego, szczególnie transformery i TCN, oferują lepsze modelowanie zależności czasowych i ich wariacji w sekwencjach mowy. Modele te funkcjonują, umożliwiając transformatorom przechwytywanie nadrzędnych relacji kontekstowych, umożliwiając identyfikację fonemów nawet wtedy, gdy sygnały akustyczne są osłabione, zaciemnione lub zredukowane13. TCN przyczyniają się dalej, zapewniając stabilne pola recepcyjne i wygładzanie czasowe, co zwiększa dokładność wykrywania granic fonemów. Po integracji z ramami fuzji multimodalnej, oba te podejścia znacznie zwiększają dokładność oznaczania fonemów w mowie dysartrznej i umożliwiają precyzyjniejszą, opartą na sprzężeniu zwrotnym rehabilitację kliniczną. Dlatego te wielomodalne architektury głębokiego uczenia są bezpośrednio powiązane z celami klinicznymi w czasie rzeczywistym, takimi jak poprawa pomiaru zrozumiałości mowy, monitorowanie procesu rehabilitacji oraz dostarczanie terapii wspomaganych technologią dostosowanych do konkretnych profili zaburzeń mowy ruchowej u osób14.
Chociaż te wielomodalne architektury głębokiego uczenia mają duży potencjał do rozwiązywania niedokładności etykietowania fonemów, ich skuteczne przeniesienie z eksperymentalnych ram do wiarygodnych narzędzi diagnostycznych wymaga jednolitej struktury operacyjnej. Aby temu zaradzić, poniższe badanie opisuje kompleksowy proces obliczeniowy obejmujący wielomodalne zbieranie danych, ekstrakcję cech oraz trenowanie modeli. Celem jest zapewnienie, że te złożone systemy są powtarzalne i weryfikowalne w szerokim zakresie sytuacji klinicznych. Ustanowienie tak przejrzystego pipeline'u metodologicznego jest kluczowe dla logopedów i inżynierów klinicznych, aby weryfikować algorytmy obejmujące szeroki zakres cech pacjentów i stopni upośledzeń. Wreszcie, ta systematyczna metodologia stanowi wstęp do wdrożenia klinicznego, umożliwiając integrację zaawansowanych modeli mowy w ocenach regulacyjnych, elektronicznych systemach opieki zdrowotnej oraz platformach długoterminowego monitorowania leczenia.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Przegląd wielomodalnego pozyskiwania danych w mowie dysartrznej
Wielomodalne zbieranie danych jest niezbędne do dokładnego badania kontroli mowy oraz opracowania efektywnych technik diagnostycznych i rehabilitacyjnych, biorąc pod uwagę złożoność i różnorodność objawów dysartry.
Układ nagrań akustycznych
Kanał akustyczny pozostaje centralny. Nagrania najlepiej realizować w środowisku akustycznym, aby ograniczyć pogłos i szum otoczenia. Typowe mikrofony to wysokiej jakości kondensatory, albo są zamontowane na głowie lub na stole, ustawione konsekwentnie tak, aby kontrolować poziom sygnału i unikać zmienności między sesjami. Częstotliwość próbkowania 16 kHz lub 44,1 kHz jest bardzo powszechna, gdzie 16 kHz wystarcza do analizy zrozumiałości i prozodii, podczas gdy 44,1 kHz zapewnia większą wierność, co jest przydatne do badań akustycznych i fonatoryjnych. Wielokanałowe interfejsy audio umożliwiają synchroniczne przechwytywanie wielu strumieni i muszą utrzymywać stałe ustawienia wzmocnienia oraz headroom, aby uniknąć przecinania lub szumów podłogi. Dla powtarzalności ważne jest ustalenie kalibracji i dokumentowanie wzmocnienia mikrofonu, poziomu szumu otoczenia, oraz dryfu. W korpusach mowy dysartrznej jakość dźwięku jest szczególnie ważna, ponieważ defekty sygnału akustycznego mogą być subtelne i łatwo je zamaskować przez złe warunki zapisu15.
Opcjonalne metody artykulacyjne / śledzenie ust / EMG / ultradźwięki
Aby wyjść poza przebieg fali akustycznej, często potrzebne są dodatkowe modalności rejestrujące kinematykę artykulatorną i aktywność mięśni fizjologicznych. W ten sposób śledzenie ruchu ruchu warg lub przechwytywanie ruchu twarzy pozwala na ilościowe określenie otwierania ust/szczęki, ruchu, prędkości i symetrii. Artikulografia elektromagnetyczna (EMA) śledzi czujniki języka, szczęki i warg w trzech wymiarach oraz zapewnia rozdzielczość czasową/pozycyjną artykulatorów, podczas gdy elektromiografia powierzchniowa (sEMG) rejestruje aktywność mięśni, aby zbadać deficyty aktywacji nerwowo-mięśniowej leżące u podstaw dysarthrii. Ultrasonograficzne obrazowanie języka (ZUM) umożliwia obrazowanie powierzchni języka w czasie rzeczywistym podczas artykulacji, co jest przydatne u osób nie tolerujących EMA. Systemy multimodalne pokazują, że identyfikacja deficytów motorycznych mowy jest poprawiona dzięki jednoczesnej akustyce, uzupełnionej o artykulacyjne/wizualne przechwytywanie16.
Kwestie etyczne i zgoda pacjenta
Praca z dysartrycznymi użytkownikami często angażuje grupy wrażliwe. Badacze muszą uzyskać zgodę instytucjonalnej komisji przeglądowej (IRB) lub komisji etyki oraz zapewnić świadomą zgodę wyjaśniającą metody nagrywania (dźwięk, wideo, czujniki fizjologiczne), przechowywanie, anonimizację, przyszłe wykorzystanie i prawa do wycofania. Formularze zgody powinny wyraźnie dotyczyć rejestrowania wideo (śledzenie ust/twarzy) oraz, opcjonalnie, wrażliwych metod, takich jak EMG. Należy zarządzać prywatnością danych, szczególnie gdy przechowywane są filmy lub zdjęcia twarzy. Konieczne jest ocenienie poziomu komfortu, zmęczenia, ograniczeń ruchowych oraz potencjalnego ryzyka uczestnika. Sesje powinny zawierać przerwy odpoczynku, a uczestnicy powinni być informowani, że mogą przerwać w dowolnym momencie bez ponoszenia konsekwencji. Rzadkość i różnorodność uczestników badań nad korpusem mowy dysartrycznej dodatkowo podkreśla znaczenie etycznej rzetelności17.
Kroki wstępnego przetwarzania danych (segmentacja, redukcja szumów, normalizacja)
System MAV-HuBERT wyrównuje dane akustyczne i wizualne czasowo na poziomie klatki, wydobywając energie 26-wymiarowego banku filtrów logarytmicznych z oryginalnego przebiegu i synchronizując je z klatkami wizualnymi 25 Hz zebranymi za pomocą identyfikacji twarzy opartej na Dlib. Kolejne klatki audio są zazwyczaj łączone, aby stabilizować krótkotrwałe wahania, a połączone obszary wzrokowe są przestrzennie normalizowane przed wielomodalną fuzją cech. Te działania wstępnego przetwarzania zapewniają ciągłą spójność czasową i zmniejszają zmienność między modalnościami audio i wizualnymi, co skutkuje wyższą dokładnością identyfikacji w dalszej części15,18.
Inżynieria cech i obliczeniowy workflow
Multimodalne modele głębokiego uczenia wymagają zsynchronizowanych reprezentacji informacji akustycznych, artykulacyjnych i wizualnych, aby dokładnie oznaczać fonemy w mowie dyzartrycznej. Ta sekcja przedstawia zakwit technik reprezentacji cech stosowanych w analizie mowy multimodalnej, a następnie krok po kroku przeprowadza proces obliczeniowy do wyodrębniania i wyrównywania tych cech przed trenowaniem modelu.
Ekstrakcja cech i reprezentacja
W analizie mowy multimodalnej surowe sygnały audio i ruchowe muszą być przekształcane w znaczące reprezentacje, które mogą być przetwarzane przez modele uczenia głębokiego. Jednym z najczęściej stosowanych przedstawień jest spektrogram, który pokazuje, jak energia sygnału zmienia się w czasie i na różnych częstotliwościach. Reprezentacje oparte na spektrogramie są przydatne do uchwycenia cech takich jak bełkot, duszność i nieregularne tempo, które często obserwuje się w mowie dysartrznej19.
Inną powszechnie stosowaną cechą są współczynniki cecestralne o częstotliwości Mela (MFCC), które reprezentują spektralne właściwości mowy w sposób przybliżony do ludzkiego postrzegania słuchowego. Funkcje MFCC są szeroko stosowane w rozpoznawaniu mowy, ponieważ zapewniają zwarte, odporne na szumy reprezentacje, które pozostają stabilne nawet przy zniekształceniu mowy20. Oprócz cech akustycznych, podejścia multimodalne uwzględniają informacje artykulacyjne, takie jak trajektorie ruchu języka, ust i szczęki. Sygnały te można uzyskać za pomocą artikulografii elektromagnetycznej (EMA), ultrasonografii języka (ZUM) lub optycznego śledzenia ruchu. Funkcje artykulacyjne dostarczają bezpośrednich informacji o kontroli mowy i pomagają kompensować pogorszenie sygnałów akustycznych21.
Informacje wizualne są również przydatne do analizy mowy dysartrycznej. Charakterystyczne cechy twarzy wydobyte z nagrań wideo, takie jak kontur wargi, przemieszczenie szczęki czy otwarcie ust, dostarczają dodatkowych wskazówek dotyczących artykulacji. Te cechy wizualne poprawiają rozróżnianie fonemów, szczególnie gdy sygnał akustyczny jest niewyraźny. W przypadku nauki nadzorowanej wszystkie strumienie cech muszą być wyrównane z transkrypcjami na poziomie fonemowym, co zapewnia, że każdy przedział czasowy odpowiada właściwej jednostce mowy. Dokładne wyrównanie jest niezbędne do trenowania modeli etykietowania fonemów, szczególnie w mowie dysartrycznej, gdzie granice fonemów są często zamazane22.
Przepływ pracy obliczeniowej
Ta sekcja pokazuje, jak każdy krok jest potrzebny, aby odtworzyć wielomodalny proces etykietowania fonemów, od ekstrakcji cech po ocenę modelu (Rysunek 1).
Ekstrakcja cech akustycznych za pomocą spektrogramów i MFCC
Po pierwsze, krótko-czasowa transformata Fouriera (STFT) służy do przekształcenia surowego sygnału mowy w reprezentację czasowo-częstotliwościową. Aby stworzyć spektrogram, sygnał dzieli się na krótkie nakładające się klatki, a każda klatka poddawana jest transformacie Fouriera.
Współczynniki cepstralne o częstotliwości mel (MFCC) są wykorzystywane do wyodrębniania cech akustycznych o wartości percepcyjnej ze spektrogramu. Do rozpoznawania mowy i analizy dysarttrii MFCC oferują zwarte i odporne na hałas reprezentacje23,24. Dzięki swojej odporności i skuteczności, MFCC są powszechnie wykorzystywane w zastosowaniach związanych z rozpoznawaniem mowy i mówcy. Dlatego, ze względu na ich użyteczność, MFCC są następnie wyodrębniane, aby obliczać i przybliżać poziomy percepcji słuchowej u człowieka oraz zapewnić skompresowane, odporne na hałas cechy akustyczne, co następnie25.
Pozyskiwanie trajektorii artykulacyjnych
Dane ruchu artykulacyjnego są pozyskiwane, aby uchwycić ruch fizyczny narządów mowy. Artikulografia elektromagnetyczna (EMA) wykorzystuje czujniki zamontowane na języku, wargach i szczęce do śledzenia ruchu artykulacyjnego w trzech wymiarach. Alternatywnie, ultrasonograficzne obrazowanie języka (ZUM) może być użyte do oceny ruchu języka w sposób nieinwazyjny. Nagrane trajektorie są filtrowane, normalizowane i downsamplowane, aby dopasować liczbę klatek na sekundę elementów akustycznych, zapewniając spójność czasową26. Przekształcanie mowy w sekwencje ultrasonograficznego obrazowania języka (ZUM) to technika szacowania trajektorii języka ultrasonograficznego na podstawie danych mowy poprzez mapowanie cech słuchowych na fizjologiczne ruchy języka. Ta metodologia stanowi nieinwazyjną alternatywę dla bezpośrednich technik zbierania danych artykulatornych, które są niezbędne do monitorowania i leczenia nieprawidłowości mowy i dróg głosowych, jednocześnie unikając potrzeby stosowania specjalistycznego sprzętu i doświadczenia klinicznego inherentnego w podejściach pomiarowychbezpośrednich 27,28. W zależności od dostępności cech artykulacyjnych, takich jak trajektorie ruchu języka, warg i szczęk, które są rejestrowane za pomocą EMA lub ultrasonografii (ZUM), sygnały są filtrowane i redukowane, aby dopasować się do szybkości klatek akustycznych.
Wykrywanie wizualnych punktów orientacyjnych
Dla wejść do mowy i filmów kluczowe wejścia twarzy (kąciki ust, ruch linii szczęki) muszą być wyodrębniane za pomocą narzędzi takich jak Mediapipe czy OpenFace, a następnie są one normalizowane, aby usunąć efekty pozy głowy. MediaPipe wykorzystuje ramy głębokiego uczenia do oceny pozycji twarzy i ciała, dostarczając 33 punkty orientacyjne do ogólnego rozpoznawania pozy, z czego 11 dotyczy wyłącznie twarzy. Jego skuteczność może się różnić, szczególnie w przypadku zatkań. Model MediaPipe FaceMesh zwiększa niezawodność, wykorzystując 468 trójwymiarowych punktów orientacyjnych twarzy oraz geometryczną metodę estymacji pozycji głowy29. OpenFace 2.0 pełni funkcję zestawu narzędzi do analizy zachowań twarzy, umożliwiając wykrywanie charakterystycznych punktów twarzy, szacowanie pozy głowy, śledzenie wzroku wzroku oraz rozpoznawanie jednostek akcji twarzy. Obsługuje integrację z różnymi językami programowania i może przetwarzać transmisje wideo na żywo lub obrazy statyczne. Wyjścia, takie jak punkty orientacyjne twarzy i wektory spojrzeń, mogą być eksportowane w formacie CSV. OpenFace 2.0 wykorzystuje Model Ograniczony Lokalny Konwolucyjnego Ekspertów (CE-CLM), który zawiera model rozkładu punktowego uwzględniający zmiany w kształtach charakterystycznych punktów oraz ekspertów łatek dla różnic w lokalnym wyglądzie29,30.
Wyrównania transkrypcji fonemów
Kolejnym krokiem jest tymczasowe wyrównanie wszystkich prezentowanych strumieni (akustycznych, artykulacyjnych i wizualnych) do anotacji na poziomie fonemów za pomocą narzędzi wymuszonego wyrównania, takich jak Montreal Forced Aligner (MFA), zapewniając zsynchronizowane multimodalne wejścia do trenowania modeli obliczeniowych. Wymuszone wyrównanie (FA) to technika dopasowywania transkrypcji do sygnałów audio w celu określenia granic czasowych jednostek mowy. Pozwala to na dokładniejsze przetwarzanie dźwięku i rozwija naukę językoznawczą. Jest coraz częściej stosowane w badaniach fonetycznych i udowodniło, że jest znacznie szybsze niż ręczne ustawianie. Chociaż ogólnie kojarzony z systemami automatycznego rozpoznawania mowy (ASR), FA jest szerszym zadaniem w ramach automatycznego przetwarzania mowy, obejmującym analizę języka mówionego i transkrypcję22. Montrealski wymuszony aligner (MFA) to wiodący zestaw narzędzi FA, który wykorzystuje algorytmy HMM-GMM do osiągnięcia skutecznego wyrównania. Pomimo postępu w technologii ASR, tradycyjne podejścia, takie jak HMM-GMM, wciąż cieszą się popularnością w zadaniach FA. MFA wykorzystuje charakterystyki MFCC oraz czteroetapową metodę treningową do tworzenia modeli akustycznych z dokładnym wyrównaniem fonetycznym31.
Komponenty architektury modeli
Multimodalne modele głębokiego uczenia do rozpoznawania mowy dyzartry składają się z kilku kluczowych komponentów, które współpracują, aby przechwycić informacje kontekstowe, czasowe i multimodalne. Główne komponenty to enkoder kontekstowy, moduł doprecyzowania temporalnego oraz mechanizm fuzji wielomodalnej. Każdy z tych elementów odgrywa określoną rolę w poprawie dokładności etykietowania fonemów w zaburzeniach mowy.
Kontekstowy enkoder oparty na transformatorze
Enkoder transformatora służy do modelowania zależności długozasięgowych w sekwencjach mowy. Mowa dysartryczna często charakteryzuje się nieregularnym tempem i niejasnymi granicami fonemów, co utrudnia konwencjonalnym modelom uchwycenie informacji kontekstowych. Transformery wykorzystują wielogłowicową samouwagę do analizy relacji między różnymi ramami czasowymi w sekwencji wejściowej. Pozwala to modelowi uwzględniać zarówno przeszłe, jak i przyszłe ramy mowy podczas przewidywania fonemów. W rezultacie enkoder lepiej radzi sobie z wariacjami artykulacji i wymowy typowymi dla dysarthrii. W architekturze multimodalnej transformator otrzymuje zsynchronizowane cechy akustyczne, artykulacyjne i wizualne oraz generuje reprezentacje świadome kontekstu, które są przekazywane do kolejnego etapu modelu32,33.
Udoskonalanie sekwencji czasowej oparte na TCN
Po kodowaniu kontekstowym sekwencja cech jest przetwarzana przez Temporal Convolucional Network (TCN) w celu poprawy precyzji czasowej. Mowa dysartryczna często zawiera niestabilne czasowanie, pauzy i wydłużone fonemy, które wymagają dodatkowego doprecyzowania poza modelowaniem kontekstowym. TCN wykorzystują rozszerzane sploty przyczynowe do wychwycenia długich zależności czasowych przy zachowaniu efektywności obliczeniowej. Ta struktura pozwala modelowi wygładzać szumowe przewidywania i utrzymywać spójne granice fonemów w czasie. W architekturze TCN otrzymuje wyjście enkodera transformatora i dopracowuje sekwencję, aby uzyskać stabilne i czasowo spójne reprezentacje cech 33,34,35.
Strategia fuzji multimodalnej
Aby zwiększyć precyzję diagnostyczną w ocenie dysartrii, fuzja multimodalna wykorzystuje informacje z licznych źródeł, takich jak głos, tekst, wideo i sensory fizjologiczne. Główne techniki składają się z trzech odrębnych etapów: wczesnej fuzji, późnej fuzji oraz fuzji pośredniej36. Wczesna fuzja łączy dane z wielu modalności na poziomie fundamentalnym, pozwalając modelom rozumieć złożone zależności od samego początku. Jego zastosowanie jest ograniczone, ponieważ wymaga synchronizacji kilku częstotliwości próbkowania i typów danych. Późna fuzja przetwarza każdą metodę przy użyciu niezależnych modeli, zanim połączy wyniki do ostatecznej oceny. Ta technika jest elastyczna i skuteczna, gdy brakuje danych z jednej metody. Ponadto fuzja pośrednia integruje modalności na poziomie średnim, często wykorzystując techniki cross-attention do wykrywania zależności. Metoda ta okazała się szczególnie przydatna w kontekstach klinicznych, poprawiając wyniki poprzez łączenie odniesień językowych z danymi akustycznymi. Podsumowując, pośrednie zespolenie z uwagą krzyżową daje lepsze wyniki w automatycznej ocenie dysartrii niż metody oparte na jednej modalności36,37.
Najlepsze praktyki treningu i oceny modeli dysarttrii:
Opracowanie modeli ścięgien do oceny i rozpoznawania dysarttrii wymaga szczególnej uwagi przy dzieleniu zbioru danych, ocenie metryk i interpretowalności. Najnowsze badania podkreśliły standaryzowane podejścia i innowacyjne rozwiązania mające na celu rozwiązanie tych unikalnych wyzwań związanych z mową dyzartryczną, takich jak niedobór danych, zmienność oraz znaczenie kliniczne38,39.
Strategie partycjonowania zbiorów danych
Aby zapewnić, że zbiory danych treningowych, walidacyjnych i testowych nie wymieniają informacji o głośnikach, zapobiegając wyciekom danych i nadmiernemu dopasowaniu, obecnie powszechnie stosuje się warstwową walidację krzyżową grup K-Fold38,39. Takie podejście pozwala modelom utrzymywać zrównoważone rozkłady i wiarygodne oceny wydajności, nawet pracując z ograniczonymi lub różnorodnymi zbiorami danych. Ponieważ podział według głośnika jest niezbędny do zapobiegania błędom błędowym, powszechne podziały polegają na stosunkach pociągów/testów 75:25 lub 85:15, wraz z dalszym podziałem do walidacji40. Aby obsługiwać ograniczone dane o dysartrzii, stosuje się popularne metody augmentacji danych, takie jak syntetyczne generowanie danych, zaburzenia tempa oraz uczenie transferowe ze zdrowej mowy41,42.
Metryki oceny
Rozważania dotyczące interpretowalności modelu
Dlatego szczegółowy pipeline modelu dysarttrii obejmuje warstwowy, niezależny od mówcy podział danych, wieloaspektową ocenę (PER, zrozumiałość, wkład kliniczny) oraz interpretowalność za pomocą mechanizmów uwagi. Takie podejścia zapewniają, że modelowe systemy oceny i rozpoznawania dysartrii są solidne, klinicznie istotne i przejrzyste.
Reprezentatywne wyniki
Kilka badań wykazało poprawę precyzji granic fonemów przy użyciu cech multimodalnych. Mowa dysartryczna często zawiera rozmyte lub przedłużone przejścia artykulacyjne, co utrudnia dokładne określenie granicy między fonemami. Opublikowane modele łączące cechy akustyczne, artykulacyjne i wizualne wykazały lepszą zgodność z annotacjami referencyjnymi niż systemy unimodalne. Te ulepszenia są często wizualizowane za pomocą krzywych wyrównania, gdzie modele multimodalne wykazują zmniejszone błędy czasowe, zwłaszcza podczas przejść spółgłosek do samogłosek46. Raporty literackie opisują również poprawę dokładności klasyfikacji fonemów. Wykazano, że architektury multimodalne zmniejszają błędy podstawień i delecji, szczególnie dla szczelinowych i samogłosek, które często są zniekształcone w dyzartrii. Macierze pomyłek opisane w poprzednich badaniach wskazują, że łączenie informacji wizualnych i artykulacyjnych pomaga modelowi bardziej wiarygodnie rozróżniać podobne fonemy. Wzrost precyzji granic fonemów jest jednym z wyraźnych przykładów. Przejścia artykulacyjne i zmiany w mowie dysartrznej są często wydłużone lub rozmyte, co utrudnia interpretację, gdzie kończy się jeden fonem, a zaczyna inny. Aby precyzyjniej zidentyfikować początek i przesunięcie fonemów, system multimodalny wykorzystuje wspólne dane z ruchów warg wzrokowych, trajektorii artykulacyjnych oraz dźwięku. W porównaniu z tymi generowanymi przez modele akustyczne unimodalne, przewidywane granice fonemów wizualizowane lepiej odpowiadają prawdziwym adnotacjom. Krzywe wyrównania są używane do wizualizacji tych ulepszeń, podczas gdy model multimodalny wykazuje mniej błędów w czasie, szczególnie przy przejściach między samogłoskami a spółgłoskami (VC i CV). W praktyce klinicznej może to skutkować ulepszonymi mapami segmentacji, które dodatkowo pomagają logopedom i klinicystom w identyfikacji konkretnych problemów z kontrolą ruchową, takich jak niewystarczające zaokrąglenie warg czy opóźnione zamknięcie szczęki47.
Dodatkowo model może generować wyniki różnicowej klasyfikacji, które mogą posłużyć do identyfikacji najbardziej prawdopodobnej sekwencji fonemów mówionych. System multimodalny wykazuje spadek błędów podstawiania i usuwania fonemów w porównaniu z modelami tradycyjnymi i bazowymi. Na przykład uwzględnienie wizualnego kształtu warg i wskazówek położenia artykulatora poprawia dokładność klasyfikacji szczelinowych, takich jak /s/ i /ʃ/, które często występują zniekształcone i zdezorientowane w dysarthrii. Macierze pomyłek mogą być również użyte do wykazania takich ulepszeń, gdzie lepsze rozróżnianie i bifurkacja fonemów są wskazane przez zmniejszenie pomieszania między kategoriami48.
Pomiar zrozumiałości mowy przed i po korekcie wspieranej przez model można porównać za pomocą tabeli klinicznej istotności. W tym wykresie można uwzględnić takie wskaźniki jak stabilność i synchronizacja sylab, szacunek powierzchni przestrzeni samogłosek, ocena precyzji spółgłosek oraz ogólny wynik zrozumiałości. Ogólnie rzecz biorąc, już skorygowane wyniki wykazują ulepszone granice prozodii, rytmu i artykulacji. Na przykład po korekcie reprezentacja przestrzeni samogłoskowej zwykle się powiększa, co wskazuje na zwiększoną akustyczną odrębność samogłosek, co jest kluczowym celem terapeutycznym w wielu terapiach dysarttrii39.
Co ważne, wyniki tych modeli mają wspierać podejmowanie decyzji klinicznych poprzez wzmacnianie, a nie zastępowanie oceny klinicystów. System może podkreślać konkretne fonemy lub przejścia artykulacyjne, które znacząco odbiegają od przewidywanych lub teoretycznie założonych wzorców. Dysponując tymi informacjami, terapeuci mogą dostosować swoje cele terapeutyczne tak, że: (a) poprawa spójności unoszenia języka dla spółgłosek pęcherzykowych (np. /t/, /d/), (b) skupienie się na wysunięciu warg przy samogłoskach zaokrąglonych (np. /u/), (c) poprawa czasu pojawienia się spółgłosek zwartych z dźwięcznymi spółgłoskami.
Opublikowane prace podkreślają, że te wyniki powinny uzupełniać interpretację kliniczną, a nie zastępować ocenę lekarza. Modelowe wizualizacje, takie jak mapy uwagi i wykresy wyrównania fonemów, mogą pomóc terapeutom w identyfikacji konkretnych problemów artykulacyjnych, takich jak niewystarczające uniesienie języka, zmniejszone zaokrąglenie warg czy opóźniony początek głosu. Ogólnie rzecz biorąc, dane z kilku badań pokazują, że wielomodalne architektury głębokiego uczenia zwiększają wskaźniki wydajności technicznej, jednocześnie dostarczając interpretowalnych rezultatów, które mogą pomóc w planowaniu terapii i śledzeniu postępów rehabilitacji.
Praca integracji klinicznej i rehabilitacji
Wdrażanie technologii cyfrowych i zaawansowanych modeli mowy w rehabilitacji dysarthrii zmienia wyniki leczenia pacjentów, sposób prowadzenia terapii oraz praktyki kliniczne. Sekcja ta porusza ramy szkolenia artykulacyjnego oparte na sprzężeniu zwrotnym, zmieniające się role logopedów i monitorowania pacjentów, integrację wyników modeli z narzędziami terapeutycznymi oraz istotne kwestie użyteczności.
Jak wyniki tych modeli wpływają na narzędzia logopedyczne?
Nowoczesne modele AI i głębokiego uczenia, obejmujące ASR i klasyfikatory nasilenia, mogą generować szczegółowe, obiektywne dane dotyczące zrozumiałości mowy, błędów artykulacji oraz poziomów nasilenia48. Te wyniki są obecnie coraz częściej osadzone w platformach terapii cyfrowej i aplikacjach mobilnych, które dostarczają pacjentom i terapeutom spersonalizowaną informację zwrotną w czasie rzeczywistym49. Na przykład aplikacje tabletowe i systemy telemonitoringu w chmurze wykorzystują metryki generowane przez modele do wizualizacji postępów, wskazywania konkretnych deficytów artykulacyjnych oraz dostosowywania trudności ćwiczeń. Systemy te umożliwiają obiektywne śledzenie postępów terapii, umożliwiają spersonalizowany wybór ćwiczeń oraz wspierają zdalne monitorowanie za pośrednictwem platform cyfrowych 50,51,52.
Moduły szkoleniowe artykulacyjne oparte na sprzężeniu zwrotnym
Moduły szkoleniowe oparte na informacji zwrotnej są kluczowe dla rehabilitacji cyfrowej dysarttrii. Wcześniejsze badania wykazały, że moduły rehabilitacji cyfrowej często obejmują biofeedback, automatyczne wykrywanie błędów oraz adaptacyjne projektowanie ćwiczeń. Biofeedback w terapii mowy wykorzystuje sygnały wzrokowe i słuchowe, takie jak wyświetlanie fal oraz wizualizacje ruchów artykulatorów, aby zapewnić pacjentom wskazówki w czasie rzeczywistym. Dodatkowo automatyczne wykrywanie błędów jest ułatwiane przez modele AI, które identyfikują błędy fonologiczne lub artykulacyjne, oferując natychmiastową informację zwrotną korekcyjną w celu poprawy nauki. Proces treningowy jest hierarchiczny i adaptacyjny, co oznacza, że przechodzi od prostszych do bardziej złożonych zadań, które koncentrują się konkretnie na dźwiękach mowy, sylabach lub słowach. Ćwiczenia te są dynamicznie dostosowywane w zależności od wyników pacjenta, zapewniając spersonalizowane doświadczenia edukacyjne. Ponadto włączenie elementów grywalizacji i wirtualnej rzeczywistości (VR) do niektórych platform zwiększa motywację i uległość pacjentów, czyniąc proces terapeutyczny bardziej angażującym. Moduły te wspierają więc intensywną, powtarzalną praktykę, która jest kluczowa dla uczenia się motorycznego i poprawy mowy, jednocześnie umożliwiając samodzielne lub prowadzone przez terapeutę 51,53,54.
Rola logopedów i monitorowanie pacjentów
Logopedi (SLT) pozostają kluczowi w procesie rehabilitacji, nawet jeśli narzędzia cyfrowe stały się coraz bardziej powszechne w ostatniej dekadzie. Ocena i wyznaczanie celów obejmują interpretację wyników modeli w celu wyboru odpowiednich celów terapii oraz dostosowanie zróżnicowanych planów leczenia dostosowanych do indywidualnych potrzeb pacjenta. Nadzór i informacja zwrotna są niezbędne do monitorowania postępów pacjenta; Eksperci udzielają informacji zwrotnej na temat poprawy mowy i wprowadzają niezbędne korekty w terapii w razie potrzeby. Dodatkowo kładzie się nacisk na edukację i wsparcie pacjentów, ucząc ich skutecznego wykorzystywania narzędzi cyfrowych w procesie rehabilitacji. Współpraca interdyscyplinarna jest kluczowa, ponieważ profesjonaliści z różnych dziedzin współpracują, aby odpowiadać na szersze potrzeby rehabilitacji, zapewniając kompleksowe podejście do opieki nad pacjentem. Monitorowanie pacjentów jest wzmacniane przez platformy cyfrowe, które pozwalają terapeutom i klinicystom zdalnie śledzić przestrzeganie poleceń, powrót do zdrowia, wyniki i wyniki pacjentów, ułatwiając terminowe interwencje i stałe wsparcie51,52.
Aspekty użyteczności: komfort pacjenta i powtarzalność
Aby technologie rehabilitacji cyfrowej mogły być skutecznie wdrażane, kluczowa jest użyteczność, ze względu na przyjazne interfejsy odpowiadające różnym potrzebom pacjentów. Elastyczne metody terapii są możliwe dzięki platformom mobilnym, które poprawiają komfort i dostępność. Ważne funkcje, takie jak elastyczne moduły i automatyczna informacja zwrotna, sprzyjają konsekwentnemu, autonomicznemu uczestnictwu, co jest niezbędne dla uczenia się motorycznego. Testy pilotażowe wykazują wysoką akceptację i satysfakcję, ale nadal występują problemy techniczne. Ciągła informacja zwrotna od pacjentów i terapeutów pomaga ulepszać te narzędzia do rzeczywistych wymagań. Z naciskiem na tworzenie wartościowych doświadczeń terapeutycznych, wykorzystanie AI i szkolenia opartego na informacji zwrotnej w terapii mowy poprawia skuteczność, dostępność i personalizację w rehabilitacji dysarttrii 48,51,52,53,54.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Niniejszy przegląd opisuje rosnące zastosowanie multimodalnych architektur głębokiego uczenia w etykietowaniu fonemów i rekonstrukcji mowy w dyzartrii. Architektury te łączą analizę akustyczną, artykulacyjną i wizualną, aby przezwyciężyć ograniczenia rozpoznawania mowy opartego wyłącznie na dźwięku w przypadku mowy patologicznej, charakteryzującej się niską zrozumiałością i niestandardowymi konfiguracjami artykulacyjnymi. Elektromagnetyczna artykulografia, obrazowanie języka za pomocą ultradźwięków oraz wyznaczanie punkt...
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Autorzy deklarują brak konfliktu interesów.
Autorzy wyróżniają Szpital Afiliowany Uniwersytetu Medycyny Chińskiej w Nankinie oraz Uniwersytet Medycyny Chińskiej za zapewnienie niezbędnych stypendiów i finansowania (Program Badań Naukowych i Innowacji Prowincji Jiangsu KYCX25_2282).
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Dostęp ograniczony. Zaloguj się lub rozpocznij wersję próbną, aby wyświetlić tę treść.
Poproś o pozwolenie na ponowne wykorzystanie tekstu lub ilustracji tego artykułu JoVE
Poproś o pozwolenie