Derleme makalesi
Bu derleme, işitsel, artikülter ve görsel bilgiyi birleştiren multimodal mimarilerin yanı sıra transformator ve TCN modelleriyle birlikte dizartrik konuşmada fonem tanımlamasını nasıl geliştirebileceğini incelemektedir. Bu yaklaşım, tipik ASR sistemlerinin yeteneklerinin ötesinde konuşma anlaşılabilirliği değerlendirmesini ve kişiselleştirilmiş terapiyi geliştirme potansiyellerini vurgular.
Artikülasyon sorunları ve fonem değişkenliği nedeniyle, dizartri gibi konuşma bozuklukları klinik rehabilitasyonda önemli zorluklar yaratmaktadır. Geleneksel otomatik konuşma tanıma (ASR) sistemleri, genellikle normatif veri setleri üzerinde eğitilmiş, dizartrik konuşmayı doğru şekilde çözemez. Yapay zeka ve derin öğrenmedeki son gelişmeler, işitsel, artikülasyon ve görsel bilginin birleştirilerek karmaşık konuşma kalıplarını kaydetmek gibi çoklu modal mimarilerin entegrasyonuna olanak tanıdı ve bu da giderek mümkün hale geldi. Bu incelemede, dizartrik konuşmada fonem etiketleme hassasiyetini ele almak için çok modlu çerçeveler içinde transformatörler ve zamansal konvolüsyon ağların (TCN) yakınsamasını inceledik. Burada, transformatör tabanlı bağlamsal modelleme ve TCN odaklı zamansal hassasiyetin fonem sınır tespiti, sınıflandırma ve rehabilitasyon geri bildirimini nasıl geliştirebileceğini tartışıyoruz. Derlemede ayrıca bu tür hibrit sistemlerin bireysel konuşma terapisi, yorumlanabilirlik sorunları ve klinik uygulamalardaki potansiyeli de ele alınmaktadır. Multimodal mimariler, klinik tıp ile tıbbi bilatiği birleştirerek motor konuşma bozuklukları olan kişiler için terapötik izleme, iletişim yardımcıları ve konuşma anlaşılırlığı değerlendirmesini geliştirmek için translasyonel bir yaklaşımdır.
Sinir sistemi bozulması genellikle kas-iskelet sistemi bozuklukları, nörovastik bozukluklar ve nörojenik iletişim bozuklukları gibi diğer sağlık sorunlarına yol açabilir. Nörojenik iletişim bozuklukları arasında dizartri ve apraksiya gibi bozukluklar bulunur; bunlar sırasıyla kas zayıflığı ve konuşma hareketlerini planlamakta zorlanma nedeniyle anlaşılan soluk konuşma olaraktanımlanabilir. 1. Konuşma, beş alt sistemden oluşur: nefes, fonasyon, rezonans, artikülasyon ve prozodi; bunların hepsi etkili iletişim kurmak için sinerjik ve sorunsuz çalışmakzorundadır 2. Bu alt sistemlerdeki işlevsizlik nedeniyle oluşan dizartri, duyulabilirliği, doğallığı, anlaşılabilirliği ve iletişim verimliliğini azaltır; bu da hastaların ve ailelerinin hayatlarını önemli ölçüde etkiler. Disartri, beyin korteksindeki işlevsizlikler, bazal ganglionlar, beyincik, bazal çekirdekler, kraniyal sinirler veya periferik sinirler gibi çeşitli nörolojik hastalıklar ve altta yatan patolojiler tarafından neden olabilir. Diğer faktörler arasında dil, gırtlak ve boğazın birincil motor sorunlarıyer alır 3.
Disartri, solunum, fonasyon, rezonans, konuşma üretimi, ses çıkarımı ve ritmi etkileyen nöromüsküler kontroldeki bir değişiklikten kaynaklanan motor konuşma bozuklukları için bir şemsiye terimdir. Dolayısıyla dizartri, genellikle nöromüsküler bozukluklar ve yaralanmalarla ilişkilendirilen bir konuşma bozukluğudur; konuşma için kullanılan kaslar zayıf, yavaş veya felç olur. Konuşmada rol alan özel kas türleri arasında dil, boğaz, yüz, dudaklar, ses telleri, çene ve üst solunum yolu kasları bulunur. Bu kaslara verilen hasar, motor nöronlara veya damarlarına zarar vererek oksijenden mahrum kalması gibi çeşitli şekillerde olabilir. Konuşma iletimini bozan tipik nörolojik hasarlar arasında, konuşma kaslarının sertliği veya spastisitesine yol açabilen üst motor nöron hasarı, sinir sinyallerinin kesilmesi sonucu kas zayıflığına veya felci yol açabilen alt motor nöron yaralanmaları, kaslar arasında koordinasyon eksikliğine yol açan serebellar yaralanmalar (ataksi) veya koordineli hareketleri bozan bazal gangliyonik hasar (hiperkinetik) veya kasların rijitliği (hipokinetik hareketler)5.
Disartri, çeşitli nörolojik bozuklukların yaygın bir belirtidir ve sıklıkla ilerleyici nörolojik hastalıklarla ilişkilendirilir. Bu, hastayı ve ailelerini önemli ölçüde etkiler; çünkü iletişim, kişinin kişiliğini ifade etmede ve sosyal bağlantıları sürdürmede kritik bir rol oynar. Bu bozukluk, konuşma anlaşılabilirliğinin azalmasıyla karakterizedir. Konuşulan dil içeriği korunur, hastanın hem konuşulan hem de yazılı dili yazmasına ve yorumlamasına olanak tanır; Öte yandan, anartria en şiddetli türdür ve motor konuşma çıkışının tamamen kaybolmasınayol açar 6. Dizartrinin altı ana sınıflandırması vardır: düşük motor nöron işlevsizliğiyle bağlantılı olan salgın dizartri; serebral korteksin motor bölgelerine bağlı üst motor nöronlara verilen hasardan kaynaklanan spastik dizartri; öncelikle serebellar sorunlardan kaynaklanan ataksik dizartri; ve hiperkinetik dizartri ile hipokinetik dizartri, her ikisi de ekstrapiramidal sistem bozukluklarıyla ilişkilidir. Altıncı tip genellikle karışık dizartri olarak adlandırılır ve genellikle birden fazla bölgede hasarla ilişkilendirilir; bu da konuşma özelliklerinin en az iki kategoriden özellikler göstermesine yol açar. Bu altı ana dizartri türüyle ilişkili konuşma bozuklukları benzersizdir ve dizartri tanısı ve tedavisindeyardımcı olabilir 5,6.
Artikülasyon sorunlarına katkıda bulunan etiyolojik faktörler arasında enfeksiyonlar (örneğin Creutzfeldt–Jakob hastalığı ve edinilmiş bağışıklık yetmezliği sendromu gibi), damar sorunları (hem iskemik hem de hemorajik felçler), tümörler (beyin neoplazmaları), demyelinizleyici hastalıklar (multipl skleroz ve Guillain–Barré sendromu dahil), dejeneratif bozukluklar (Parkinson ve Huntington hastalığı gibi), yaralanmalar (travmatik beyin hasarları ve serebral felç), toksik maruziyetler (ağır metallere maruz kalma, alkol ve uyuşturucu) ve genetik durumlar (örneğin, SANDO)7. Ayrıca, dudak veya damak yarığı gibi nörolojik olmayan faktörler de artikülasyon sorunlarına yol açabilir, ancak bunlar dizartrikategorisine girmez 8.
Dizartri'nin klinik ortamdaki önemi, bireylerin yaşam kalitesi üzerindeki önemli etkisinde yatmaktadır. İletişim sosyal, eğitimsel ve mesleki katılım için gerekli olduğundan, iletişim sorunu yaşayanlar genellikle yalnızlık ve azalmış iyi oluş duygularıyla karşıkarşıya kalırlar 6. Dizartrilerin çeşitli türlerinin (gevşek, spastik, ataksik, hiperkinetik, hipokinetik ve karışık) doğru şekilde teşhis edilmesi, altta yatan nörolojik sorunların belirlenmesi ve rehabilitasyon yaklaşımlarının değerlendirilmesi için gereklidir. Konuşma-dil patologları ve klinisyenler, terapiyi özelleştirmek, ulaşılabilir iletişim hedefleri belirlemek ve artırıcı ve alternatif iletişim yöntemlerinin gerekliliğini değerlendirmek için genellikle dizartrının özelliklerini ve şiddetini analiz etmeyedayanırlar. Konuşma güçlüğü olanlar için, otomatik konuşma tanıma (ASR) sistemlerinin erişilebilirliği ve sosyal etkileşimi iyileştirdiği bulunmuştur. Buna rağmen, yetersiz akustik modeller, ASR'nin bozuklu konuşma konusundaki daha geniş başarısını engellemiştir. Bu nedenle, bu makale dizartrik konuşmadaki fonem problemlerini, mevcut ASR sistemlerini ve onların sınırlarını, yaratıcı çoklu modal teknikleri, transformator tabanlı bağlamsal modellemeyi ve zamansal ve ardışık iyileştirme için TCN'leri ele alır.
ASR teknolojisindeki önemli ilerlemelere rağmen, en iyi ASR sistemleri konuşma bozukluğu olan bireyler için hâlâ birçok eksiklik barındırmaktadır. Bu eksiklikler, kısmen farklı ve temsili bir eğitim veri seti elde etmedeki zorluklardan kaynaklanabilir. Konuşma bozukluğu ASR'deki bir zorluk, muhtemelen kişiden kişiye değişen geniş anormal konuşma özellikleri yelpazesi ve bu varyasyonların eğitim veri setlerinde yetersiz temsil edilmesiylebağlantılıdır 10. Buna rağmen, dizartri ile ilgili ASR araştırmaları bu çeşitliliği sıklıkla göz ardı etmiştir.
ASR sistemleri üç kategoriye ayrılır: hoparlörden bağımsız (SI), hoparlöre bağımlı (SD) ve hoparlör-adaptif (SA). SI sistemleri sağlıklı konuşmacılarla iyi performans gösterir ancak zayıf konuşma ile mücadele eder ve eğitim verisi dizartrik konuşmacılar içerdiğinde daha iyi performans gösterir. Buna karşılık, SD sistemler bireysel kullanıcılara odaklanır ve mükemmel doğruluk sağlarken, SA sistemleri zamanla kullanıcı konuşmasına uyum sağlar ve hem SI hem de SD modellerinden daha iyi performans gösterir. Ancak, hem SA hem de SD sistemleri eğitim verisi gerektirir; bu da nörodejeneratif bozuklukları olanlar için bir başka engeloluşturur 11. Önemli ilerlemelere rağmen, mevcut ASR modelleri farklı eğitim veri setlerinin eksikliği nedeniyle engelli konuşmacılar için hâlâ uygun değildir. Bu boşluğu doldurmak için, dizartrinin çeşitli yönlerini kapsayan kapsamlı veri toplama metodolojileri geliştirilmelidir; böylece tanınması zor konuşanlar için ASR performansı iyileştirilmelidir.
Bu sınırlamaları aşmak için, akustik, artikülter ve görsel sinyalleri harmanlayan çoklu modal stratejiler, dizartrik semptomlarda konuşma üretimi ve geliştirilmesini kapsamlı bir şekilde etkili şekilde temsil edebilir. Örneğin, dil görüntülemesi gibi artikülasyon hareketiyle ilgili veriler ultrasonografi ve elektromanyetik artikülografi kullanılarak elde edilir. Bu veriler genellikle görsel dudak hareketleriyle birleştirilir ve bozulmuş akustik bilgiyi telafi edebilir, böylece fonemleri ayırt etme ve ayırt etmeyeteneğini artırabilir12. Multimodal sistemlerde bulunan bu yedeklilik, klinik değerlendirme yöntemleriyle tutarlıdır ve terapistlerin işitsel konuşma ile birlikte orofasiyal hareketleri gözlemleme yeteneklerini güçlendirir. Buna karşılık, özellikle transformatörler ve TCN'ler olmak üzere derin öğrenme çerçeveleri, konuşma dizilerindeki zamansal bağımlılıklar ve varyasyonların üstün modellenmesi sunar. Bu modeller, transformatörlerin genel bağlamsal ilişkileri yakalamasına olanak tanıyarak çalışır; akustik sinyaller azaldığında, gizlendiğinde veya azaltıldığında bile fonem tanımlamayımümkün kılar. TCN'ler, kararlı alıcı alanlar ve zamansal düzgünleştirme sağlayarak fonem sınır algısının doğruluğunu artırır. Multimodal füzyon çerçevelerine entegre edildiğinde, her iki yaklaşım da dizartrik konuşmada fonem etiketlemesinin doğruluğunu büyük ölçüde artırır ve daha kesin, geri bildirim odaklı klinik rehabilitasyonu kolaylaştırır. Bu nedenle, bu çok modlu derin öğrenme mimarileri, konuşma anlaşılabilirliğinin ölçümünü artırmak, rehabilitasyon sürecini izlemek ve bireylerin belirli motor konuşma bozukluğu profillerine göre özelleştirilmiş teknoloji destekli terapiler sunmak gibi gerçek zamanlı klinik hedeflerle doğrudan uyumludur14.
Bu çok modlu derin öğrenme mimarileri, fonem etiketleme hassasiyetini çözmede büyük potansiyele sahip olsa da, deneysel çerçevelerden güvenilir tanı araçlarına etkili şekilde aktarılması tek bir operasyonel yapı gerektirir. Bunu ele almak için, aşağıdaki çalışma çoklu modlu veri toplama, özellik çıkarma ve model eğitimini kapsayan kapsamlı bir hesaplama iş akışını tanımlar. Amaç, bu karmaşık sistemlerin çok çeşitli klinik durumlarda tekrarlanabilir ve doğrulanabilir olmasını sağlamaktır. Böyle şeffaf bir metodolojik hattın oluşturulması, konuşma-dil patologları ve klinik mühendislerin hasta özellikleri ve bozukluk seviyeleri arasında algoritmaları doğrulaması açısından kritik öneme sahiptir. Son olarak, bu sistematik metodoloji, gelişmiş konuşma modellerinin düzenleyici değerlendirmeler, elektronik sağlık sistemleri ve uzun vadeli tedavi izleme platformlarına entegrasyonunu mümkün kılan klinik uygulamanın öncüsü olarak hizmet vermektedir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Dizartrik konuşmada multimodal veri ediniminin genel bakışı
Dizartrik semptomların karmaşıklığı ve çeşitliliği göz önüne alındığında, konuşma motor kontrolünü kapsamlı incelemek ve etkili tanı ve rehabilitasyon teknikleri geliştirmek için çok modlu veri toplama gereklidir.
Akustik kayıt sistemi
Akustik kanal merkezi olarak kalır. Kayıtlar, yankı ve ortam gürültüsünü azaltmak için akustik olarak işlenmiş bir ortamda yapılması en iyisidir. Tipik mikrofonlar yüksek kaliteli yoğunşördür ve ya kardioid kafa monte edilen ya da masaüstü ünitelerdir; sinyal seviyesini kontrol etmek ve seanslar arasında değişiklik önlemek için tutarlı şekilde konumlandırılır. 16 kHz veya 44,1 kHz örnekleme hızları çok yaygındır; burada 16 kHz anlaşılabilirlik ve prozodi analizi için yeterlidirken, 44,1 kHz daha yüksek isayet sağlar ve bu da ince tanenli akustik/fonatorik araştırmalar için faydalıdır. Çok kanallı ses arayüzleri, birden fazla akışın senkron olarak yakalanmasına izin verir ve kramp veya zemin gürültüsünü önlemek için tutarlı gain ayarları ve headspace korumalıdır. Tekrarlanabilirlik için, kalibrasyon oluşturmak ve mikrofon kazancı, ortam gürültü tabanı ve kaymayı belgelemek önemlidir. Dizartrik konuşma korpusunda, ses kalitesi özellikle önemlidir çünkü akustik sinyal kusurları ince olabilir ve kötü kayıt koşullarıyla kolayca gizlenebilir15.
Opsiyonel artikülasyon / dudak takip / EMG / ultrason modaliteleri
Akustik dalga formunun ötesine geçmek için, artikülasyon kinematiği ve fizyolojik kas aktivitesini yakalamak için ek modaliteler genellikle gereklidir. Bu nedenle, dudak takibi veya yüz hareketi yakalama, dudak açılışı, hareket, hız ve simetri olarak nicelendirilmesini sağlar. Elektromanyetik artikülografi (EMA), dil, çene ve dudak sensörlerini üç boyutlu olarak takip eder ve artikülatörlerin zamanlı/konumsal çözünürlüğünü sağlarken, yüzey elektromiyografisi (sEMG) kas aktivitesini kaydederek dizartrinin altında yatan nöromüsküler aktivasyon eksikliklerini araştırır. Ultrason dil görüntüleme (İYİ), artikülasyon sırasında dil yüzeyinin gerçek zamanlı görüntülenmesini sağlar ve EMA'ya tahammül edemeyen kişiler için faydalıdır. Multimodal sistemler, konuşma motor eksikliklerinin tanımlanmasının eşzamanlı akustik ile iyileştirildiğini ve artikülter/görsel yakalamaile desteklendiğini gösterir 16.
Etik hususlar ve hasta onayı
Dizartrik konuşanlarla çalışmak genellikle savunmasız grupları içerir. Araştırmacılar, kurumsal inceleme kurulu (IRB) veya etik komitesinin onayını almalı ve kayıt yöntemlerini (ses, video, fizyolojik sensörler), depolama, anonimleştirme, gelecekteki kullanım ve geri çekme haklarını açıklayan bilgilendirilmiş onay sağlamalıdır. Onay formları açıkça video yakalama (dudak/yüz takibi) ve isteğe bağlı olarak EMG gibi hassas yöntemleri ele almalıdır. Veri gizliliği yönetilmelidir, özellikle video veya yüz görüntüleri saklandığında. Katılımcının konfor, yorgunluk, hareket kısıtlamaları ve potansiyel risk seviyesinin değerlendirilmesi gereklidir. Oturumlarda dinlenme dönemleri olmalı ve katılımcılara sonuçlarla karşılaşmadan istedikleri zaman durabilecekleri söylenmelidir. Dizartrik konuşma korpusu araştırmalarına katılanların azlığı ve çeşitliliği, etik titizliğin önemini daha davurgular.
Veri ön işleme adımları (segmentasyon, gürültü azaltma, normalizasyon)
MAV-HuBERT sistemi, akustik ve görsel verileri kare seviyesinde zamansal olarak hizalar; orijinal dalga formundan 26 boyutlu log-filtre bankası enerjilerini çıkarır ve bunları Dlib tabanlı yüz tanımlama ile toplanan 25 Hz görsel çerçevelerle senkronize eder. Ardışık ses kareleri genellikle kısa vadeli dalgalanmaları stabilize etmek için birleştirilir ve birleşmiş görsel bölgeler, çoklu modal özellik birleşmesinden önce mekânsal normalleştirilir. Bu ön işleme faaliyetleri sürekli zamansal tutarlılık sağlar ve sesli ve görsel modaliteler arasındaki değişkenliği azaltır; böylece daha yüksek aşağıda tanım doğruluğuelde edilir 15,18.
Özellik mühendisliği ve hesaplama iş akışı
Multimodal derin öğrenme modelleri, dizartrik konuşmada fonemleri doğru şekilde etiketlemek için akustik, artikülter ve görsel bilginin senkronize temsillerini gerektirir. Bu bölüm, çok modlu konuşma analizinde kullanılan özellik temsil tekniklerinin özetini sunar ve model eğitimi öncesinde bu özelliklerin çıkarılması ve hizalanması için adım adım hesaplamalı bir iş akışı sunulur.
Özellik çıkarımı ve temsili
Multimodal konuşma analizinde, ham ses ve hareket sinyalleri anlamlı temsillere dönüştürülmelidir ve derin öğrenme modelleri tarafından işlenmelidir. En yaygın kullanılan temsillerden biri, sinyal enerjisinin zaman içinde ve frekanslar arasında nasıl değiştiğini gösteren spektrogramdır. Spektrogram tabanlı temsiller, dizartrik konuşmada yaygın olarak gözlemlenen bulanıklık, nefesli ve düzensiz zamanlama gibi özellikleri yakalamak içinfaydalıdır 19.
Yaygın olarak kullanılan bir diğer özellik ise konuşmanın spektral özelliklerini insan işitsel algısına yaklaşan şekilde temsil eden Mel-Frekans Cepstral Katsayıları'dır (MFCC). MFCC özellikleri, konuşma bozulduğunda bile stabil kalan kompakt, gürültü dayanıklı temsiller sağladıkları için konuşma tanıma alanında yaygın olarakkullanılır 20. Akustik özelliklerin yanı sıra, multimodal yaklaşımlar dil, dudak ve çenenin hareket yörüngeleri gibi artikülasyon bilgisini de içerir. Bu sinyaller elektromanyetik artikülografi (EMA), ultrason dil görüntüleme (İTİ) veya optik hareket takibi kullanılarak elde edilebilir. Artikülatör özellikler, konuşma motor kontrolü hakkında doğrudan bilgi sağlar ve bozulmuş akustiksinyalleri telafi etmeye yardımcı olur 21.
Görsel bilgi, dizartrik konuşmayı analiz etmek için de faydalıdır. Video kayıtlarından çıkarılan yüz işaretleri, dudak konturu, çene yer değiştirme ve ağız açılışı gibi yerler, artikülasyon hakkında ek ipuçları sağlar. Bu görsel özellikler, özellikle akustik sinyal belirsiz olduğunda fonem ayırt etmeyi artırır. Denetimli öğrenme için, tüm özellik akışları fonem düzeyinde transkripsiyonlarla hizalanmalıdır; böylece her zaman diliminin doğru konuşma ünitesine karşılık gelmesi sağlanır. Doğru hizalama, özellikle dizartrik konuşmada, fonem sınırlarının sıklıkla bulanıklaştığı durumlarda fonem etiketleme modellerinin eğitimi için gereklidir22.
Hesaplamalı iş akışı
Bu bölüm, özellik çıkarımından model değerlendirmesine kadar çok modlu fonem etiketleme iş akışını yeniden üretmek için her adımın nasıl gerekeceğini gösterir (Şekil 1).
Akustik özellik çıkarımı spektrogramlar ve MFCC'ler aracılığıyla
İlk olarak, ham konuşma sinyalini zaman-frekans temsiline dönüştürmek için kısa süreli Fourier dönüşümü (STFT) kullanılır. Bir spektrogram oluşturmak için sinyal kısa ve örtüşen karelere bölünür ve her kare Fourier dönüşümüne tabi tutulur.
Mel-Frekans Cepstral Katsayıları (MFCC), spektrogramdan algısal ağırlıklı akustik özellikleri çıkarmak için kullanılır. Konuşma tanıma ve dizartri analizi için MFCC'ler kompakt ve gürültü dayanıklı temsillersunar 23,24. Sağlamlıkları ve etkinlikleri nedeniyle, MFCC'ler konuşma ve konuşmacı tanıma ile ilgili uygulamalarda yaygın olarak kullanılır. Bu nedenle, faydalılıkları nedeniyle, MFCC'ler çıkarılarak insan işitsel algı seviyelerini hesaplayıp yaklaşık olarak hesaplanır ve sıkıştırılmış, gürültüye dayanıklı akustik özellikler sağlar, ardından25.
Artikülasyon yörüngelerinin edinilmesi
Artikülasyon hareketi verileri, konuşma organlarının fiziksel hareketini yakalamak için elde edilir. Elektromanyetik artikülografi (EMA), dil, dudaklar ve çeneye bağlı sensörler kullanarak üç boyutlu artikülasyon hareketini takip eder. Alternatif olarak, dil hareketini invaziv olmayan şekilde tahmin etmek için ultrason dil görüntülemesi (Ýİ) kullanılabilir. Kaydedilen yörüngeler, akustik özelliklerin kare hızına uyacak şekilde filtrelenir, normalleştirilir ve zamansaltutarlılığı 26 sağlamak için aşağı sample'lar yapılır. Konuşmayı ultrason dil görüntüleme (İŞİ) dizilerine dönüştürmek, konuşma verilerinden ultrason dil yörüngelerini tahmin etmek için işitsel özelliklerin fizyolojik dil hareketleriyle eşlenmesi için kullanılan bir tekniktir. Bu metodoloji, konuşma ve ses kanalı anormalliklerinin izlenmesi ve tedavisi için gerekli olan doğrudan artikülasyon veri toplama tekniklerine invaziv olmayan bir alternatif sunarken, doğrudan ölçüm yaklaşımlarında bulunan özel ekipman ve klinik deneyime olan ihtiyacı ortadankaldırır. 27,28. EMA veya ultrasonografi (İTİ) kullanılarak kaydedilen dil, dudak ve çene hareket yörüngeleri gibi artikülasyon özelliklerinin mevcut olmasına dayanarak, sinyaller akustik çerçevelerin hızına uyacak şekilde filtrelenip aşağı örnekleniyor.
Görsel simgelerin tespiti
Konuşma ve video girişleri için, yüz tuşu girişleri (dudak köşeleri, çene hatlarının hareketi) Mediapipe veya OpenFace gibi araçlarla çıkarılmalı ve bunlar normalize edilip baş pozu etkileri ortadan kaldırılır. MediaPipe, yüz ve vücut pozlarını tahmin etmek için derin öğrenme çerçevesi kullanır; genel poz tanıma için 33 simge nokta sunar, bunların 11'i özellikle yüz için yapılır. Etkinliği, özellikle tıkanıklık vakalarında değişkenlik gösterebilir. MediaPipe FaceMesh modeli, yüzün 468 3D simge işareti ve baş pozu tahmini için geometrik bir yöntemkullanarak güvenilirliği artırır. OpenFace 2.0, yüz davranışlarını analiz etmek için bir araç kutusu işlevi görür; yüz işaretlerinin tespitini, baş pozu tahminini, göz bakışını takibi ve yüz eylem birimlerinin tanınmasını sağlar. Çeşitli programlama dilleriyle entegrasyonu destekler ve canlı video akışlarını veya durağan görüntüleri işleyebilir. Yüz işaretleri ve bakış vektörleri gibi çıktılar CSV formatında dışa aktarılabilir. OpenFace 2.0, simge şekillerindeki farklılıkları hesaba katmak için puan dağılım modeli ve yerel görünümlerdeki farkları belirlemek için yama uzmanları (CE-CLM) içeren Konvolüsyon Uzmanlar Kısıtlı Yerel Modeli (CE-CLM) kullanır.
Fonem transkripsiyon hizalamaları
Bir sonraki adım, Montreal Zorunlu Hizalayıcı (MFA) gibi zorunlu hizalama araçları kullanılarak tüm öne çıkan akışları (akustik, artikülter ve görsel) geçici olarak fonem düzeyinde açıklamalara hizalamaktır; böylece hesaplamalı model eğitimi için senkronize multimodal girdiler sağlanır. Zorunlu hizalama (FA), konuşma birimlerinin zamansal sınırlarını belirlemek için transkriptleri ses sinyalleriyle hizalama tekniğidir. Bu, daha doğru ses işleme sağlar ve dilbilimsel çalışmayı ilerletir. Fonetik çalışmalarda giderek daha fazla kullanılmakta ve manuel hizalamadan önemli ölçüde daha hızlı olduğu kanıtlanmıştır. Genellikle otomatik konuşma tanıma (ASR) sistemleriyle ilişkilendirilse de, FA, otomatik konuşma işleme içinde konuşulan dil analizi ve transkripsiyon22'yi içeren daha geniş bir görevdir. Montreal zorunlu hizalayıcısı (MFA), etkili hizalama sağlamak için HMM-GMM algoritmalarını kullanan önde gelen bir FA araç setidir. ASR teknolojisindeki gelişmelere rağmen, HMM-GMM gibi geleneksel yaklaşımlar FA görevleri için hâlâ popülerdir. MFA, MFCC özelliklerini ve dört aşamalı eğitim yöntemini kullanarak doğru fonetik hizalama sahip akustikmodeller oluşturur 31.
Modellerin mimarisinin bileşenleri
Dizartik konuşma tanıma için çok modlu derin öğrenme modelleri, bağlamsal, zamansal ve çok modlu bilgileri yakalamak için birlikte çalışan birkaç temel bileşenden oluşur. Ana bileşenler arasında bağlamsal bir kodlayıcı, zamansal iyileştirme modülü ve çok modlu bir füzyon mekanizması bulunur. Her bileşen, bozuklu konuşmada fonem etiketleme doğruluğunu artırmada özel bir rol oynar.
Transformatör tabanlı bağlamsal kodlayıcı
Transformatör kodlayıcı, konuşma dizilerinde uzun menzilli bağımlılıkları modellemek için kullanılır. Dizartrik konuşma genellikle düzensiz zamanlama ve belirsiz fonem sınırları içerir, bu da geleneksel modellerin bağlamsal bilgiyi yakalamasını zorlaştırır. Transformatörler, giriş dizisinde farklı zaman dilimleri arasındaki ilişkileri analiz etmek için çoklu başlı öz-dikkat kullanır. Bu, modelin fonemleri tahmin ederken hem geçmiş hem de gelecekteki konuşma çerçevelerini dikkate almasını sağlar. Sonuç olarak, kodlayıcı dizartride yaygın olan artikülasyon ve telaffuz varyasyonlarını daha iyi yönetebilir. Multimodal mimaride, transformator senkronize akustik, artikülter ve görsel özellikler alır ve bağlama duyarlı temsiller üretir ve bunlar model 32,33'ün bir sonraki aşamasına aktarılır.
TCN tabanlı zaman dizisi iyileştirmesi
Bağlamsal kodlamadan sonra, özellik dizisi zamansal hassasiyeti artırmak için Zamansal Konvolüsyon Ağ (TCN) tarafından işlenir. Dizartrik konuşma genellikle dengesiz zamanlama, duraklamalar ve uzamış fonemler içerir; bunlar bağlamsal modellemenin ötesinde ek iyileştirme gerektirir. TCN'ler, hesaplama verimliliğini korurken uzun zamansal bağımlılıkları yakalamak için genişletilmiş nedensel konvolüsyonlar kullanır. Bu yapı, modelin gürültülü tahminleri yumuşatmasına ve zaman içinde tutarlı fonem sınırlarını korumasına olanak tanır. Mimaride, TCN transformatör kodlayıcısının çıktısını alır ve diziyi iyileştirerek kararlı ve zamansal olarak tutarlı özelliktemsilleri üretir 33,34,35.
Multimodal füzyon stratejisi
Dizartri değerlendirmesinde tanı kesinliğini artırmak için, multimodal füzyon ses, metin, video ve fizyolojik sensörler gibi birçok kaynaktan gelen bilgileri içerir. Ana teknikler üç farklı adımdan oluşur: erken füzyon, geç füzyon ve arafüzyon 36. Erken füzyon birçok modaliteden gelen verileri temel düzeyde birleştirir ve modellerin karmaşık ilişkileri baştan anlamasını sağlar. Kullanımı sınırlıdır çünkü birkaç örnekleme hızı ve veri türünün senkronize edilmesini gerektirir. Geç füzyon her modaliteyi bağımsız modellerle işliyor ve ardından sonuçları nihai değerlendirmeler için birleştirir. Bu teknik, bir modaliteden veri eksikse esnek ve etkilidir. Ayrıca, ara füzyon modaliteleri orta düzeyde entegre eder ve genellikle bağımlılıkları tespit etmek için çapraz dikkat teknikleri kullanır. Bu yöntem özellikle klinik bağlamlarda faydalı olmuş, dil referanslarını akustik verilerle birleştirerek sonuçları iyileştirmiştir. Özetle, çapraz dikkat ile ara füzyon otomatik dizartri değerlendirmesinde tek bir modaliteye dayalı yöntemlere göre daha üstünsonuçlar verir 36,37.
Dizartri modellerinin eğitimi ve değerlendirilmesi için en iyi uygulamalar:
Dizartri değerlendirmesi ve tanıması için hassas modeller geliştirmek, veri setinin bölünmesi, metriklerin değerlendirilmesi ve yorumlanabilirliği için dikkatli bir özen gerektirir. Son araştırmalar, dizartrik konuşmanın bu benzersiz zorluklarını ele almak için standart yaklaşımlar ve yenilikçi çözümler ortaya koymuştur; bunlar veri kıtlığı, değişkenlik ve klinik önem38,39.
Veri seti bölümleme stratejileri
Eğitim, doğrulama ve test veri setlerinin konuşmacı bilgisi paylaşmamasını sağlamak için, veri sızıntısını ve aşırı uyumu önlemek için, katmanlı grup K-Fold çapraz doğrulama artık yaygınolarak kullanılmaktadır 38,39. Bu yaklaşım, modellerin sınırlı veya çeşitli veri setleriyle çalışıldığında bile dengeli dağılımları ve güvenilir performans değerlendirmelerini sürdürmesini sağlar. Taraflılığı önlemek için hoparlörle bölmek şart olduğundan, yaygın bölünmeler 75:25 veya 85:15 tren/test oranları ile doğrulamaiçin 40 daha fazla bölünme içerir. Sınırlı dizartrik verileri yönetmek için, sentetik veri üretimi, tempo bozgunluğu ve sağlıklı konuşmadan aktarım öğrenmesi gibi popüler veri artırma yaklaşımlarıuygulanmaktadır 41,42.
Değerlendirme metrikleri
Model yorumlanabilirlik konuları
Bu nedenle, kapsamlı bir dizartri modeli boru hattı, katmanlı, konuşmacıdan bağımsız veri bölünmeleri, çok yönlü değerlendirme (PER, anlaşılabilirlik, klinik girdi) ve dikkat mekanizmaları yoluyla yorumlanabilirliği içerir. Bu yaklaşımlar, dizartri değerlendirme ve tanıma model sistemlerinin sağlam, klinik olarak ilgili ve şeffaf olmasını sağlar.
Temsilci sonuçlar
Birçok çalışma, multimodal özellikler kullanıldığında fonem sınır hassasiyetinde iyileşmeler bildirilmiştir. Dizartrik konuşma genellikle bulanık veya uzun artikülasyon geçişleri içerir, bu da fonemler arasındaki tam sınırı belirlemeyi zorlaştırır. Yayınlanmış modeller, akustik, artikülter ve görsel özellikleri birleştiren modeller, tek modlu sistemlere göre referans açıklamalarla daha iyi uyum sağlamıştır. Bu iyileştirmeler genellikle hizalama eğrileri kullanılarak görselleştirilir; burada çoklu modal modeller, özellikle ünsüz-ünlü geçişlerinde zamanlama hatalarının azaldığınıgösterir 46. Literatür raporları ayrıca fonem sınıflandırma doğruluğundaki iyileşmeleri de belirtir. Multimodal mimarilerin, özellikle dizartride sıkça bozulan frikatif ve ünlüler için sivalama ve silinme hatalarını azalttığı gösterilmiştir. Önceki çalışmalarda bildirilen karışıklık matrisleri, görsel ve artikülasyon bilgisinin birleştirilmesinin modelin benzer fonemleri daha güvenilir şekilde ayırt etmesine yardımcı olduğunu göstermektedir. Fonem sınır hassasiyetindeki artış öne çıkan bir örnektir. Dizartrik konuşmadaki artikülasyon geçişleri ve değişiklikler genellikle uzamış veya bulanıktır, bu da bir fonemin nerede bitip diğerinin nerede başladığını yorumlamayı zorlaştırır. Fonemin başlangıç ve kaymasını daha hassas belirlemek için multimodal sistem, görsel dudak hareketleri, artikülasyon yörüngeleri ve sesten elde edilen ortak verileri kullanır. Tek modlu akustik modellerle üretilenlere kıyasla, tahmin edilen fonem sınırları gerçek açıklamalarla daha yakından eşleşiyordu. Bu iyileştirmeleri görselleştirmek için hizalama eğrileri kullanılır; multimodal model, özellikle ünlüler ve ünsüzler (VC ve CV) arasındaki geçişlerde zamanlamada daha az hata gösterir. Klinik ortamda, bu durum segmentasyon haritalarının iyileştirilmesine yol açabilir; bu da konuşma terapistleri ve klinisyenlerin yetersiz dudak yuvarlatılması veya çene kapanmasının gecikmesi gibi motor kontrolle ilgili özel sorunları tespit etmelerine daha da yardımcıolur.
Ayrıca, model en olası konuşulan fonem dizisini belirlemek için kullanılabilecek diferansiyel sınıflandırma çıktıları üretebilir. Multimodal sistem, geleneksel ve temel modellere kıyasla fonem ikame ve silinme hatalarında azalma gösterir. Örneğin, dudakların görsel şeklinin ve artikültör pozisyon ipuçlarının dahil edilmesi, dizartride sıklıkla çarpık ve yönü bozuk bulunan /s/ ve /ʃ/ gibi frikatiflerin sınıflandırma doğruluğunu artırır. Kafa karışıklığı matrisleri de bu tür gelişmeleri göstermek için kullanılabilir; burada fonem ayrımcılığı ve ikiye ayrılmanın iyileşmesi, kategoriler arası karışıklığın azalmasıylagösterilir 48.
Model destekli düzeltmeden önce ve sonra konuşma anlaşılabilirliği ölçümü, klinik bir alaka tablosu kullanılarak karşılaştırılabilir. Bu tabloda hecelerin kararlılığı ve zamanlaması, ünlülü alanı tahmini, ünsüzlerin hassas derecelendirilmesi ve genel anlaşılırlık puanı gibi metrikler de dahil edilebilir. Genel olarak, zaten düzeltilmiş çıktı gelişmiş prozodi, ritim ve artikülasyon sınırları gösterir. Örneğin, düzeltmeden sonra ünlü boşluğunun temsili genellikle büyür ve bu, ünlü akustik ayırt ediciliğinin arttığını gösterir; bu, birçok dizartri tedavisinde kritik bir terapötik amaçtır.
Önemli olarak, bu model çıktıları, klinisyen yargısını yerine yerine getirmek yerine geliştirmek için klinik karar alma süreçlerini desteklemeyi amaçlamaktadır. Sistem, beklenen veya teorik olarak varsayılan kalıplardan önemli ölçüde sapan belirli fonemleri veya artikülasyon geçişlerini vurgulayabilir. Bu bilgilerle terapistler terapi hedeflerini şu şekilde uyarlayabilirler: (a) alveolar ünsüzler için dil yükseltme tutarlılığını artırmak (ör. /t/, /d/), (b) yuvarlak ünlüler için dudak çıkıntısına odaklanmak (örneğin, /u/), (c) sesli stop ünsüzlerin başlama zamanlamasını iyileştirmek.
Yayınlanan çalışmalar, bu çıktıların doktor yargısının yerini almak yerine klinik yorumu tamamlaması gerektiğini vurgular. Dikkat haritaları ve fonem hizalama grafikleri gibi model görselleştirmeler, terapistlerin dil yükseltmemesi, dudak yuvarlaklığının azalması veya ses başlangıcının gecikmesi gibi belirli artikülasyon sorunlarını belirlemelerine yardımcı olabilir. Genel olarak, çeşitli çalışmalardan elde edilen veriler, çoklu modlu derin öğrenme mimarilerinin teknik performans göstergelerini artırdığını ve aynı zamanda terapi planlaması ve rehabilitasyon ilerleme takibi için yorumlanabilir çıktılar sağladığını göstermektedir.
Klinik entegrasyon ve rehabilitasyon iş akışı
Dizartri rehabilitasyonunda dijital teknolojiler ve gelişmiş konuşma modellerinin uygulanması, hasta sonuçlarını, terapi sunumunu ve klinik uygulamaları dönüştürmektedir. Bu bölüm, geri bildirim odaklı artikülasyon eğitimi çerçevesini, konuşma terapistlerinin ve hasta izlemenin gelişen rollerini, model çıktılarının terapötik araçlara entegrasyonunu ve önemli kullanılabilirlik endişelerini ele alır.
Bu model çıktıları konuşma terapisi araçlarına nasıl katkı sağlıyor?
ASR ve şiddet sınıflandırıcılarını içeren modern yapay zeka ve derin öğrenme modelleri, konuşma anlaşılabilirliği, artikülasyon hataları veşiddet seviyeleri 48 hakkında detaylı, nesnel veriler üretebilir. Bu çıktılar, günümüzde giderek dijital terapi platformlarına ve mobil uygulamalara entegre ediliyor; bunlar hastalara ve terapistlere gerçek zamanlı, kişiselleştirilmiş geri bildirim sağlıyor49. Örneğin, tablet tabanlı uygulamalar ve bulut tabanlı tele-izleme sistemleri, ilerlemeyi görselleştirmek, belirli artikülasyon eksikliklerini vurgulamak ve egzersiz zorluğunu uyarlamak için model tabanlı metrikler kullanır. Bu sistemler, terapinin ilerlemesinin objektif olarak takip edilmesini sağlar, kişiselleştirilmiş egzersiz seçimini sağlar ve dijitalplatformlar 50,51,52 üzerinden uzaktan izlemeyi destekler.
Geri bildirim tabanlı artikülatör eğitim modülleri
Geri bildirime dayalı eğitim modülleri, dijital dizartri rehabilitasyonunun merkezinde yer alır. Önceki çalışmalar, dijital rehabilitasyon modüllerinin genellikle biyofeedback, otomatik hata tespiti ve uyarlanabilir egzersiz tasarımını içerdiğini bildirmiştir. Konuşma terapisinde biyofeedback, hastalara gerçek zamanlı rehberlik sağlamak için dalga formu gösterileri ve artikülatör hareketlerinin görselleştirilmesi gibi görsel ve işitsel ipuçlarını kullanır. Ayrıca, otomatik hata tespiti, fonolojik veya artikülasyon hatalarını tespit eden yapay zeka modelleri sayesinde kolaylaştırılır ve öğrenmeyi geliştirmek için anında düzeltici geri bildirim sunar. Eğitim süreci hiyerarşik ve uyarlanabilir; yani daha basit görevlerden daha karmaşık görevlere geçer; bu görevler özellikle konuşma sesleri, heceler veya kelimeleri hedef alır. Bu egzersizler, hastanın performansına göre dinamik olarak ayarlanır ve kişiselleştirilmiş öğrenme deneyimleri sağlar. Ayrıca, bazı platformlara oyunlaştırma öğeleri ve sanal gerçeklik (VR) dahil edilmesi, hastalar arasında motivasyon ve uyumu artırmaya yardımcı olur ve terapötik süreci daha ilgi çekici hale getirir. Bu modüller böylece motor öğrenme ve konuşma gelişimi için anahtar olan yoğun, tekrarlayan uygulamaları destekler ve bağımsız veya terapist rehberliğinde kullanıma izinverirler 51,53,54.
Konuşma terapistlerinin ve hasta izlemenin rolü
Konuşma-dil terapistleri (SLT), dijital araçlar son on yılda daha yaygın hale gelse de, rehabilitasyon sürecinin merkezinde kalmaya devam ediyor. Değerlendirme ve hedef belirleme, model çıktılarının yorumlanarak uygun tedavi hedefleri seçilmesini ve bireysel hasta ihtiyaçlarına göre farklı tedavi planlarının özelleştirilmesini içerir. Gözetim ve geri bildirim, hasta ilerlemesini izlemek için hayati öneme sahiptir; Uzmanlar, konuşmanın düzeltilmesi konusunda geri bildirim sağlar ve gerektiğinde terapide gerekli ayarlamalar yapar. Ayrıca, hasta eğitimi ve desteği vurgulanarak hastalara rehabilitasyon süreçlerinde dijital araçları etkili şekilde kullanmaları öğretilir. Çok disiplinli iş birliği çok önemlidir; çünkü farklı disiplinlerden profesyoneller rehabilitasyonun daha geniş ihtiyaçlarını karşılamak için birlikte çalışır ve hasta bakımında kapsamlı bir yaklaşım sağlanır. Hasta izleme, terapistler ve klinisyenlerin hasta uyumunu, iyileşmesini, performansını ve sonuçlarını uzaktan takip etmelerine olanak tanıyan dijital platformlarla geliştirilmiştir; böylece zamanında müdahaleler ve sürekli desteksağlanır 51,52.
Kullanılabilirlik konuları: hasta konforu ve tekrarlanabilirlik
Dijital rehabilitasyon teknolojilerinin başarılı şekilde uygulanabilmesi için, kullanılabilirlik çok önemlidir ve çeşitli hasta ihtiyaçlarını karşılayan kullanıcı dostu arayüzlere odaklanılır. Esnek terapi yöntemleri, konforu ve erişilebilirliği artıran mobil platformlar sayesinde mümkün olur. Uyarlanabilir modüller ve otomatik geri bildirim gibi önemli özellikler, motor öğrenme için gerekli olan tutarlı, otonom katılımı teşvik eder. Pilot testler yüksek kabul ve memnuniyet gösteriyor, ancak teknik sorunlar hâlâ mevcut. Hastalardan ve terapistlerden gelen sürekli geri bildirimler, bu araçların gerçek dünya gereksinimlerine uygun hale gelmesini sağlar. Anlamlı terapötik deneyimler geliştirmeye vurgu yapan bir yerde, konuşma terapisinde yapay zeka ve geri bildirim odaklı eğitimin kullanımı, dizartri rehabilitasyonunda etkinliği, erişilebilirliği ve kişiselleştirmeyiartırmaktadır 48,51,52,53,54.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Bu derleme, dizartride fonem etiketleme ve konuşma restorasyonuna çok modlu derin öğrenme mimarilerinin giderek artan uygulamasını anlatmaktadır. Bu mimariler, düşük anlaşılabilirlik ve standart olmayan artikülasyon konfigürasyonlarıyla karakterize edilen patolojik konuşmada ses tabanlı konuşma tanıma sınırlamalarını aşmak için akustik artikülografi ve görsel analizleri birleştirir. Elektromanyetik artikülografi, ultrason, dil görüntüleme ve yüz işaretleme, daha bütüncül modellerdir. Boz...
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Yazarlar çıkar çatışması olmadığını belirtmektedir.
Yazarlar, Nanjing Çin Tıbbı Üniversitesi Bağlı Hastanesi, Çin Tıp Üniversitesi'ne gerekli bursları ve finansmanı sağladığı için (Jiangsu Eyaleti Lisansüstü Bilimsel Araştırma ve İnovasyon Programı KYCX25_2282) takdir etmektedir.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Erişim kısıtlı. Bu içeriği görüntülemek için lütfen giriş yapın veya deneme sürümünü başlatın.
Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste
İzin iste