Dijital stratejiler, denetimsiz uzaktan değerlendirme ve eğitimi mümkün kılar, ancak toplanan verilerin geçerliliğini ve müdahalelerin faydalılığını sağlamak için birkaç hususun gerekmektedir.
Derleme makalesi
Dijital stratejiler, denetimsiz uzaktan değerlendirme ve eğitimi mümkün kılar, ancak toplanan verilerin geçerliliğini ve müdahalelerin faydalılığını sağlamak için birkaç hususun gerekmektedir.
Teknolojideki gelişmeler, bilişsel ve fonksiyonel değerlendirme ve eğitimin dijital olarak sunulmasını mümkün kılar. İki geniş dijital strateji sınıfı vardır: başlangıçta dijital teslimat için geliştirilenler ve daha önceki geleneksel kağıt ve kalem değerlendirmelerinden taşınanlar. Ayrıca, denetimli ve denetimsiz değerlendirme ve eğitim üzerine önemli araştırmalar yapılmıştır. Yapay zeka (YD) gibi eşzamanlı dijital gelişmeler, paralel değerlendirme formlarının hızlı oluşturulmasını ve değerlendirme materyallerinin uluslararası kullanım için çevrilmesini mümkün kılmıştır; bu da dünya çapında geniş çapta erişilebilir uygulama olasılığını öne sürmektedir. Çeviri doğrulamayı garanti etmez ve birçok değerlendirme aracı çevrilmiş ancak çeviri sonrası normlaştırılmamış veya doğrulanmamıştır. Bu incelemede, dijital değerlendirme ve eğitim çabalarının mevcut durumunu inceleyerek, yaygın olarak kullanılan ve çeviri ve dijital göç geçmiş yüz yüze değerlendirmelerden örnekler kullanarak bunları kağıt üzerinde veya yüz yüze hiç sunulmamış dijital stratejilerle karşılaştırıyoruz. Denetimsiz performansın faydası ve kendi kendine dijital değerlendirme veya eğitim programları yürüten bireyler için etkileri üzerine yorumlar sunulmaktadır. Dijital stratejilerin uzaktan erişilebilir ve kişiselleştirilmiş şekilde sunulması için dikkatli düşünülmesi gereken birkaç alan vardır; bunlar arasında psikometrik bütünlük, dilsel geçerlilik, yüz yüze insan testçisinin sağladığı sosyal destek ve bu desteğin dijital alternatiflerle nicelleştirilip desteklenip tamamlanamayacağı yer alır.
Dijital devrim, yaşlanmayla ilgili ve psikiyatrik durumlarda bilişsel ve fonksiyonel değerlendirme ve eğitim alanını değiştirmiştir. Bugün yapılan değerlendirmelerin büyük bir kısmı tamamen veya kısmen dijital sunuma dayanmaktadır. Dijital değerlendirmeler, insantest yapan 1,2 veya tamamen yerli olarakdijital platforma (3,4,5) aktarılan eski standart nöropsikolojik testlerden aktarılabilir. Bazı stratejiler arasında mobil cihazlarda teslimatyer alır 6,7,8; bu da anlık ruh hallerini, konumları ve çevresel koşulları yakalamak için diğer uzaktan değerlendirmelerle birliktekullanılabilir 9.
Sistematik dijital geçiş, prosedürlerin dijital versiyonlarını eski sürümlerle karşılaştırmaya olanak tanır. Bazı görevler için, kapsamlı doğrulama bilgileri toplanmış, eski prosedürlerle sistematik karşılaştırmalar yapılmıştır. Buna bir örnek, Şizofrenide Bilişin Kısa Değerlendirmesi (BACS) verilebilir; burada kapsamlı şekilde normlandırılmış10 miras testi dijital sunum11'e taşınmış, karşılaştırmalı normatif çalışmaise 12'ye taşınmıştır. Benzer bir örnek, Loewenstein-Acevedo Skalaları Semantik Müdahale ve Öğrenme için (LASSI-L)13'ün dijital geçişidir; bu versiyon, Avatar yönlendirilmiş, uzaktan yönetilebilir14 versiyonuna ve üç dijitalforma 15 taşınmıştır.
Dijital görevlerin bir avantajı, uyarıların test edilmesi dahil hızlı, genellikle otomatik güncellemelerin oldukça mümkün olmasıdır. Bu, alternatif versiyonları hızla üretebilen Yapay Zeka (YZE) stratejileriyle dil çevirilerini de kapsar. Yapay zeka stratejileri tarafından desteklenen ayrıca, özellikle hafıza veya problem çözme testleri için paralel formların geliştirilmesi de kabul edilemez uygulamaetkilerinden kaçınmak için, demans17 olan popülasyonlarda bile. Bu incelemedeki hedeflerimizden biri, dijital göç sonrası eşdeğerlik, dilsel çeviri ve paralel biçimlerin geliştirilmesi verilerini içeren önceki dijital göçler ve yapay zeka uyarlamalarının kalitesini değerlendirmektir.
Dijital değerlendirmedeki bir gelişme ise, dijital değerlendirme veya eğitim prosedürlerinin uzaktan veya denetimsiz kendi kendine uygulanmasıdır. Bu, ticari bilgisayarlı bilişsel eğitim (CCT) için yıllardır standart uygulama olsa da, bazı çalışmalar gözetimsiz kendi kendine bilişsel testlerin uygulanmasının da mümkün olabileceğiniöne sürmüştür 19,20,21. Denetimsiz kendi kendine yönetim, evde internete bağlı dijital cihazda veya birden fazla katılımcının minimum denetim altında sınavlara girdiği bir test merkezinde gerçekleştirilebilir. Fizibilite çalışmaları genellikle kısa vadeli olmuştur, ancak bazıları standart klinik çalışmalara kıyasla aynı sürede veya daha uzun sürede yapılmıştır. Denetimsiz değerlendirme ve eğitimlerin genel durumunu gözden geçirecek ve zorlukları olan veya daha fazla bilgiye ihtiyaç duyulan alanlar hakkında yorum yapacağız.
Denetimsiz değerlendirme ve eğitimde kritik bir konu, kültürlerarası uyum ve fizibilitedir. Dil farklılıklarının yanı sıra, dijital erişim ve okuryazarlığı etkilemesi muhtemel önemli ekonomik farklılıklar da var; bunlar arasında mobil telefonlar, tablet veya dizüstü bilgisayar deneyimi ve evde interneterişimi de yer alıyor. Dünya çapındaki dijital uçurum artık yaşla ilgili değil, ekonomiktir. Çevrimiçi uzaktan dijital etkinliklere katılma motivasyonu, katılımcılar arasında oldukça farklılık gösterebilir. Denetimsiz değerlendirme için fizibilite metrikleri arasında onay oranı, değerlendirme tamamlanması, veri geçerliliği ve teknolojiyi yönetme yeteneği yer almaktadır. Çoğu klinik denetimsiz değerlendirme, bazı beklenen bozuklukları olan bireyleri hedef alır; bu kişiler, yüz yüze dahil olmak üzere, giriş ve değerlendirme veya eğitimin tamamlanması hakkında kapsamlı eğitim alabilirler. Tüm kayıt ve eğitimin tamamen bağımsız olarak gerçekleştirildiği uzaktan çalışmalara kaydolanbireylerden alınan fizibilite verileri 19,23, dijital becerileri daha düşük olan, yeteneklerine olan güveni düşük ve genel bilişsel performansı düşük olan bireylere genellenemeyebilir. Buna, erken demans belirtileri olduğundan şüphelenip bir klinikte denetimsiz değerlendirme yapan bireyleri de kapsar.
İki dijital değerlendirme sisteminin cihaz tabanlı bilgisayar sunumundan bulut tabanlı teslimatageçişini inceleyen bir çalışmada, dokunmatik ekran veri toplama hızında bilgisayar faresine kıyasla sistematik avantajlar bulundu. Fonksiyonel kapasite değerlendirmelerinde yaygın dijital okuryazarlık zorlukları vardır: bazı katılımcıların klavye becerileri çok azdır ve şifre25 için büyük harf yazmayı öğrenmeleri gerekir. Amerika Birleşik Devletleri'nde biliş ve işlevsel kapasiteye yönelik çok sahalı birçalışmada, dijital fonksiyonel kapasite değerlendirmesindeki performans, coğrafi konumlar arasında 1.0 SD'den fazla değişiklik göstererek bölgesel eğitim başarısı ve geliri takip etmiştir. Denetimsiz değerlendirme ve eğitimin uygulanabilirliğini ve geçerliliğini mevcut tüm metriklerle değerlendireceğiz.
Aşağıda açıklandığı gibi, denetimsiz teknoloji sunumunun en büyük zorluğu, dijital olarak türetilen sonuçların standart ölçütlerle yakınsamaması değildir. En büyük zorluk, kendi kendine yapılan değerlendirmeler ve eğitim için gereken teknolojinin geniş uygulanabilirliği ile insan gözetimi olmadan aşırı değişken performanstır. Standart bilişsel görevler sırasında, zorluk yaşayan katılımcılara denetim ve yardım sağlayan içsel olarak sosyal bir etkileşim vardır. Önemli bir soru da, bu desteğin dijital olarak sunulup sağlanamayacağıdır; bu etkileşimler katılımcı-test yapıcı etkileşimlerini eski insan tarafından sağlanan değerlendirme prosedürlerinde simüle eden yapay zeka tabanlı etkileşimlerdir.
Aşağıda yukarıda sunulan konulara ilişkin verilerin bir incelemesi yer almaktadır. Bunlar arasında hem standart hem de dijital değerlendirmelere uygulanabilir performans temelli testlerin doğrulanması için standartlar; miras değerlendirmelerinin dijital taşınması için standartlar; ve dijital yerel görevler için doğrulama sürecinin, alternatif formlar, çeviri ve kültürlerarası uyum dahil olmak üzere eski kağıt/insan teslimatı formatlarından taşınan doğrulama süreçlerinin karşılaştırılması. Ayrıca, bu stratejilerin genel uygulanabilirliği ve insan test yapıcısının geleneksel değerlendirme ve eğitim müdahalelerindeki rolü göz önüne alındığında, gözetimsiz yönetimin insan tarafından sağlanan stratejilerle karşılaştırılması üzerine geniş kapsamlı bir tartışma vardır. Bu değerlendirme durumlarında çeşitli işlevler yerine getirilir ve bunların bazıları teoride yapay zeka destekli yardımla gerçekleştirilebilir. Ek Bölüm 1, bu incelemede ele alınan konuları sunmaktadır.
Bilişsel ve fonksiyonel değerlendirmenin doğrulanmasında genel ilkeler
İyi doğrulanmış bir dijital değerlendirme veya tedavi stratejisi geliştirilirken, birkaç hususa dikkat çeker. Bu sürecin prototipik bir örneği, işbirlikçi, geniş ölçekli sonuç değerlendirme geliştirme programı olan Şizofrenide Bilişi İyileştirmek için Ölçüm ve Tedavi Araştırmaları (MATRICS) girişimiydi; bu girişim, eski ve test yapıcıları tarafından sunulan çok sayıda eski değerlendirmenin doğrulama çalışmasını yürüttü. 27. numaralı uzlaşma toplantısındaki tartışmalara dayanarak, bu bağlamda test seçimi beş temel hususa dayandı: tekrarlayan uygulamalarda güvenilirlik, uzunlamasına kullanım için uygunluk, fonksiyonel sonuçlarla ilişki, tedaviyle ilgili değişikliklere duyarlılık ve genel fizibilite ile tolere edilebilirlik. Tekrarlayan uygulama için uygunluk, ya uygulamadan kaynaklanan minimum performans artışı ya da eşdeğer alternatif formların bulunabilirliği olarak tanımlandı. Ortaya çıkan MATRICS Konsensus Bilişsel Pili (MCCB)28 bu kriterleri karşılayan bir dizi test seçmiş olsa da, pil uzaktanuygulanması zor olmuştur 29. Benzer bir gelişim süreci, benzer odaklı bir değerlendirme için kullanıldı: Şizofrenide Bilişsel Kısa Değerlendirme (BACS)3. BACS benzer stratejilerle geliştirildi ve BACS'taki altı test alt testi, sağlıklı kontrol kontrolleriyle yapılan büyük bir doğrulama çalışması da dahil olmak üzere tüm bu özellikler için incelendi (n = 404)8.
BACS makalesi uluslararası alanda geniş çapta doğrulandı ve kullanımı incelenen birçok çalışma (örneğin, 30,31,32,33,34,35). İlginç bir şekilde, MCCB de birçok kez çevrilmiştir; geliştiricinin websitesi 36 45 farklı çeviri listelemiştir. Web sitesinde ayrıca belirtilen bir diğer nokta, uluslararası klinik denemelerde yaygın olarak kullanılmalarına rağmen, 45 versiyonun sadece ~10'unun resmi dil normlarına sahip olduğudur. Bu konu daha sonra ele alınacak.
BACS'ın BAC-App'e dijital olarak taşınması, şizofreni ve sağlıklı kontrol gruplarını içeren bir karşılaştırmaçalışması 11'de sistematik olarak gerçekleştirildi; katılımcıların hem eski hem de dijital versiyonlarıyla test edildi. Çalışmanın başlanmasından önce, Verbal Memory (yedi versiyon), Sembol Kodlama (sekiz versiyon) ve Tower of London (sekiz versiyon) gibi birkaç BAC-App alt testi için alternatif formlar geliştirildi. Bu nedenle, görevin dijital taşınması, iki versiyonun doğrudan karşılaştırılmasını ve paralel formları doğrulamayı mümkün kılacak şekilde tasarlandı. Sağlıklı kontrol kontrol ve az sayıda katılımcı ile öznel bilişsel gerileme ile yapılan büyük ölçekli bir doğrulama çalışması (N = 55312) yürütüldü ve BAC-App'teki performansla ilgili normatif bilgiler ortaya çıktı. Bu nedenle, normatif veriler eski versiyonla toplandı ve ardından dijital versiyonla tekrarlandı; eşdeğer formların değerlendirilmesi de dahil edildi (veri bugüne kadar yayımlanmamış olsa da). Ortaya çıkan BAC-uygulamasının denetimsiz yönetim için tasarlanmadığını belirtmek önemlidir; Bir test cihazının orada olması gerekir.
Benzer bir dijital göç çalışması, köklü bir makale değerlendirmesi için de yapıldı: Semantik Girişim ve Öğrenme için Loewenstein-Acevedo Ölçekleri (LASSI-L)13,14. Bu değerlendirme, minimum ek bozulma olan durumlarda bile daha hızlı bilişsel düşüşü ve ADRD biyobelirteçlerinin varlığını öngördiği gösterilen proaktif anlamsal girişimin tespitinihedefliyor 15. LASSI-L için kapsamlı normatif veriler mevcut olup, denetimsiz değerlendirme için dijital bir versiyonu (LASSI-D) geliştirilmiştir. Bu geliştirme sürecinde, bu araçların değerlendirildiğinde, yönetimler arasında güvenilirlik, tekrar kullanıma uygunluk, fonksiyonel sonuçlarla ilgililik ve genel fizibilite ile tolere edilebilirlik vurgusu yapıldı. BACS göçüne göre ilerleme noktası, benzer LASSI-L versiyonlarına kıyasla İspanyolca ve İngilizce versiyonlarının eşzamanlı doğrulanması ve göç edilen versiyonun yapay zeka tabanlı stratejilerle geliştirilerek denetimsiz kendi kendini yönetimin uygulanabilirliğini ve geçerliliğini artırmasıdır. Özellikle, insan avatarı insan test yapıcı işlevlerini yerine getirir; talimatlar sunar, hataları düzeltir ve katılımcı performansını optimize etmek için teşvik sağlar. Katılımcılardan toplanan nitel veriler, avatar yoluyla yapılan değerlendirmelerden yüksek memnuniyet seviyelerini gösterdi ve bu değerlendirmelerde tercih puanları insan tarafından yapılan değerlendirmelere göre daha yüksektir.
Dijital yerel değerlendirmeler de aynı güvenilirlik ve geçerlilik ilkelerine uymalıdır ve bazı programlar da buna uymuştur. Örneğin, iki farklı dijital fonksiyonel kapasite ölçütü geliştirildi: Sanal Gerçeklik Fonksiyonel Kapasite Değerlendirme Aracı (VRFCAT)3,37 ve Fonksiyonel Beceriler Değerlendirme ve Eğitim Programı (FUNSAT)25,38, doğrulama çalışmalarında aynı beş ilkeye uydu. Hem VRFCAT hem de FUNSAT, bulut tabanlı teslimat24'e ikincil dijital geçiş geçirdi ve her iki testin de benzerliği kanıtlanmış alternatif formları var. FUNSAT'ın göç çalışması ayrıca İspanyolca ve İngilizce konuşanların üç alternatif formdaki performansını da ele aldı.
VRFCAT ve FUNSAT'ın bir diğer özelliği, geleneksel ve dijital değerlendirme stratejileriyle karşılaştırmalar yapılan kapsamlı bir yakınsak doğrulama çabasıydı. Örneğin, VRFCAT'nin şizofrenide negatif semptomlarla korelasyonu39 incelendi ve diğer kağıt ve kalem fonksiyonel kapasiteendeksleriyle 40 olan korelasyonu incelendi. Hedef değerlendirmenüfusuna uygunluğunu değerlendirmek için nitel bir çalışma yapıldı 41. FUNSAT için, faktör yapısı42, tedaviyeduyarlılığı 43, BAC-app44 ile korelasyonları ve diğer fonksiyonel kapasiteölçütleri 45 ile ayrıca bildirilen işlevsellikle korelasyonları dabildirilmiştir 46.
Denetimsiz değerlendirme teknolojisi
Kağıt ve kalem nöropsikolojik değerlendirme, sosyal etkileşim, gözetim, rehberlik ve sorunlu yanıtlamalardan kaçınmak için öneriler içeren denetimli değerlendirmenin belirleyici örneğidir. Yukarıda belirtildiği gibi, bazı dijital olarak uygulanan bilişsel ve fonksiyonel ölçümler bir sınav görevlisi tarafından uygulanacak şekilde tasarlanmıştır. Örnekler arasında MCCB'den Identical-Pairs CPT47 , BAC-uygulaması ve VRFCAT yer alır. Diğer değerlendirmeler, değerlendirme prosedürü otomatik olduğu ve kendi başına çalıştığı için denetimsiz bir muayene olmadan yapılabiliyorşekilde tasarlanmıştır. Bu programların bazıları, bazı alt testlerde48 veya49 geçersiz puan almaya karşı savunmasızlık göstermiştir, ancak geçersiz puan alan vakaların oranı düşük olmuştur. Bu puanlar, sınav katılımcılarının zayıf katılımını yansıtabilir ve bazı durumlarda sınav geri bildirimiyle düzeltilebilir. Mevcut dijital teknolojiyle, test sırasında yanıt verme kesintileri tespit edilebilir ve katılımcıya devam etmesi hatırlatılırken süreç geçici olarak durdurulabilir. Örneğin, FUNSAT değerlendirme ve eğitim modülleri işlemi duraklatır ve 15 saniye içinde yanıt alınmazsa açılır pencere gösterir. Bu yerleşik algılama süreci, yukarıda bahsedilen tüm stratejilerde bulunmaz.
Denetimsiz değerlendirmelerin uygulanabilirliğine dair veriler
Ciddi zihinsel hastalıklar ve ADRD'de bilişsel performansın denetimsiz değerlendirilmesine dair birçok çalışma bulunmaktadır. Büyük ölçekli bir ADRDincelemesi, 28 yeni araştırma raporu ve denetimsiz değerlendirmeler için 23 farklı araç tespit etti; bunlar ya ofis ziyaretinde ya da uzaktan tamamlandı. Kabul edilebilirlik verileri oldukça iyiydi; bilgilendirilmiş onay ve katılım oranları %85'in üzerindeydi. Birçok katılımcı tekrar katılmaya istekli olacaklarını bildirdi.
Değerlendirmelere uyum oldukça değişkendi; 8 haftalık bir çalışmada %63'ten başka bir 8 haftalık çalışmada %94'e kadar değişti. Kullanılamaz veri oranları düşüktü, ancak bazı değerlendirme stratejileri değerlendirmelerin tamamlanmasında daha yüksek zorluk oranlarına yol açtı. Ev tabanlı artırılmış gerçeklik ortamlarında teknik sınırlamalar verilerin yaklaşık %21'inin kaybına yol açtı ve cihaz uyumsuzluğu nedeniyle katılımcıların yaklaşık %32'si uzaktan değerlendirmeleri tamamlayamadı.
Geleneksel değerlendirme stratejilerinde genellikle dikkatle yönetilen psikometrik hususlar ise olabilecekleri kadar iyi değerlendirilmedi. Örneğin, paralel formların yakınsaması ve test-tekrar test güvenilirliğiyle ilgili raporlanan görevlerin yalnızca 2/23'ü kabul edilebilir aralığın alt sınırındaydı. Ancak, bu değerlendirmelerin bazıları uzaktan ve geçici olarak yapıldığı için, çevresel faktörler performansı etkileyebilir ki bu önemli bir husustur. Dolayısıyla, düşük görünen test-tekrar test güvenilirliği, çevresel etkilere duyarlılığı ve değişen çevresel faktörlerle ilişkili katılımcı içi varyansıyansıtabilir. 9,50. Standart bilişsel değerlendirmelerle yakınsamak geçerliliği tutarlı şekilde kabul edilebilirdi; korelasyonlar r = 0.50 ile 0.70 arasında değişiyordu.
Şizofreni 21'de uzaktan bilişsel değerlendirmelerin incelenmesi de benzer büyüklükteydi (34 makale) ve bazı aynı sorunları gündeme getirdi, ancak çalışmaların sadece bir alt kümesi gerçekten denetimsiz değerlendirmeler yaptı. Uzaktan yönetilen değerlendirmelerin çoğunda paralel formlardan bahsedilmiyordu ve uzaktan teslimat için yüz yüze değerlendirmelere kıyasla normlara dair neredeyse hiç rapor yoktu. Aslında, 34 çalışmadan sadece biri, uzaktan ve yüz yüze değerlendirmelerde normatif performansı ve denetimli değerlendirmeleri inceledi. Polk ve arkadaşlarının çalışmasıyla örtüşen bir başka bulgu, internet bağlantı sorunları, teknoloji arızaları raporları ve diğer teknolojik faktörler nedeniyle değerlendirmelerin tamamlanamamasının neredeyse tüm denetimsiz çalışmalarda önemli ve mevcut olduğuydu.
BAC-uygulamasını uzaktan yönetme girişiminde ortaya çıkan bir sorun, katılımcıların veri bütünlüğü konusundaki endişeleriydi; çünkü BAC-app51 ile yüz yüze ve uzaktan test ediliyordu. O çalışmada, katılımcılar ortalama olarak uzaktan yapılan kelime listesi öğrenme testinde önemli ölçüde daha iyi performans gösterdiler; bu da uyarılar sunuldukça onları yazdıklarını veya kaydettiklerini gösteriyor. Denetimsiz değerlendirmeler için dikkate alınanlar listesine ek olarak, veri bütünlüğünü korumak için bir tür güvenlik stratejisi gerekmektedir.
Uzaktan sunulan dijital bilişsel ve beceri eğitimi
Şizofreni 52 ve hafif bilişselbozuklukta uzaktan bilişsel ve fonksiyonel becerilerin geliştirilmesiyle ilgili birçok çalışma yapılmıştır. Ayrıca,şizofreni 54'teuygulama tabanlı negatif semptomlar tedavileri ve MCI25'te dijital fonksiyonel beceri eğitimi gibi diğer müdahalelerin etkinliğini artırmak için bilişsel eğitim birleşik bir müdahale olarak eklenmiştir. Genel bulgular, şizofreniden MCI ve ADRD'ye kadar uzanan popülasyonlarda evde ve ofiste uygulanan eğitim artışlarının oldukça benzer olduğu yönündedir. Bağlılık asla mükemmel değildir ve eğitim kazanımları bireysel farklılık özelliklerindenetkilenir 55,56. Yeterli kazanım ve uyum sağlanmasına yol açabilecek bir faktör, ister ofiste ister uzaktan yapılsın, bilişsel eğitim prosedürlerinin esasen aynı olmasıdır. Yukarıda bahsedilen teknik zorluklar ve programların başlatılamaması gibi sorunlar, uzaktan eğitim ile uzaktan değerlendirme için açıkça aynıdır. Katılımcıların yazılımı denetimsiz başlatmak ve çalıştırmak için yüz yüze eğitim aldığı çalışmalar, en iyi uzaktan uyumu (örneğin, 53) bildirdi.
Dijital değerlendirme ve tedavilerin dünya çapında kullanımı
Yukarıda belirtildiği gibi, eski makale değerlendirmelerinin birden fazla çevirisi ve dijital alanda birçok uluslararası çaba yapılmıştır. Örneğin, İspanya'da disleksi57 ve matematikselbeceriler 58 dijital değerlendirmeleri geliştirilmiştir, ancak bu görevlerin başka dillere çevrilip çevrilmediği belirsizdir. Çin'de, Trail-Making Testi'nin ek motor beceri ölçümü59 dahil edilmesi için bir strateji geliştirildi ve Çin'de başka bir çalışma, karmaşık cümlelerin işlenmesini incelemek için çift görevli bir girişimprosedürü geliştirdi 60. Singapur'da, bilişsel performansı artırmak amacıyla İngilizce ve başka bir Asya dili eğitimi alan iki dilli bireyleri içeren benzersiz bir dillerarası eğitimprogramı 61. Tüm bu çalışmalar başarılı gelişim çabaları ve kabul edilebilirlik raporu verdi, ancak sadece biri kültürel gruplar içinde diller arasında testlerin faydalılığının doğrudan karşılaştırılmasına izin verdi.
Çevirilmiş testlerin yerel doğrulamasının rolü
MCCB ve BAC gibi en yaygın kullanılan geleneksel yüz yüze değerlendirme stratejileri, yukarıda belirtildiği gibi farklı dillerde ve kültürel gruplarda kapsamlı şekilde doğrulanmıştır. Buna karşılık, 3–85 yaş arası bireylere yönelik geniş kapsamlı bir değerlendirme olan NIH Toolbox yalnızca İngilizce olarak sunulmakta ve tek bir yüz yüze dijitalplatformda uygulanmaktadır 62. Bilişsel ve fonksiyonel değerlendirme görevleri ile eğitim programlarının dijital olarak taşınan versiyonlarının doğrulanması hakkında bölgesel ve küresel bilgi oldukça az mevcuttur. Örneğin, luvadaxstat'ın ERUDITE63çalışmasında, BAC-uygulaması sekiz farklı dilde uygulandı ve dijital göç sonrası bu değerlendirmenin farklı bir dil formunu (yani İspanyolca) doğrulayan yalnızca bir çalışmayayımlandı. VRFCAT gibi bazı doğrudan dijitallere yapılan değerlendirmeler, 30'dan fazla farklı dilde kullanılan çalışmalarda çeviri varyantlarındakullanılmıştır 65. Yine, VRFCAT'nin diller arasında kullanılmasına dair önemli bir kanıt temeli yoktur; ancak paralel biçimlerin benzerliğinin doğruluğu değerlendirmenin orijinal İngilizce versiyonu geliştirildiğinde sunulmuştur. Dijital olarak taşınan görevlerin eski versiyonlarıyla toplanan doğrulama bilgileri, eğer geçiş testin herhangi bir özelliğini değiştirmediyse muhtemelen oldukça önemli olabilir, ancak sonuç ölçütleri olan eski ve dijital göçlerin psikometrik özellikleri açısından incelenmediği birçok dil vardır. Ancak, ADRD ve şizofreni için iki farklıincelemede belirtildiği gibi, değişiklikler ve dijital göç sonrası uluslararası düzeyde görevlerin özelliklerine dikkat oldukça az önem verilmiştir.
Bu iki çalışmadaki zorluklar, VRFCAT'nin beklenenden daha fazla değişkenlik göstermesi ve önemli sayıda katılımcının son derece düşük puan alması idi. Çevirilerin performans üzerinde olumsuz etkileri olması mümkündür. Deneyimsiz test yapanlarla yaşanan zorlukların değerlendirmeler sırasında katılımcı katılımının kötü denetlenmesine yol açtığı da aynı ihtimaldir. Test yapanların zorluk potansiyeli olmasına rağmen, dilsel olarak doğrulanmış bir çevirinin psikometrik olarak benzer bir enstrümanı garanti edeceğini düşünmek muhtemelen erkendir. Sistematik dijital geçiş sürecinde, kağıt ve kalem ile eski araç dijitalleştirilmiş versiyonla benzer puanların oluşturulması açısından incelenmelidir; ancak yukarıdaki iki incelemede belirtildiği gibi, bunun yaygın olduğu belgelenmemiştir. Yukarıda açıklanan LASSI-D dijital göçü stratejisi, bu zorluklara açık değildir; çünkü üç dijital paralel formun her birinin insan tarafından yönetilen eski versiyonun hem İspanyolca hem de İngilizce dilinde sonuçlarıyla sistematik psikometrik karşılaştırmasını içerir. Ancak bu çok ayrıntılı bir süreçtir ve 30 dillik bir klinik deneme için zamanında uygulanması son derece zor olurdu.
İnsan test yapıcısının rolü nedir?
Veriler, denetimsiz dijital değerlendirme ve eğitimde en büyük zorluklardan birinin katılımcıların teknolojiyi çalıştırmasını ve sisteme erişmesini sağlamak olduğunu gösteriyor. Katılımcıların teknolojik uyumsuzluk raporları gibi diğer zorluklar da dijital stratejilere aşinalıklarının eksikliğinden ve teknolojiyi kullanamamalarından kaynaklanabilir. Bu nedenle, denetimsiz değerlendirme paradigmalarında, değerlendirmelerin başlanmasından önce kişiselleştirilmiş talimatlar faydalı veya hatta gerekli bir strateji olabilir.
Bazı teknoloji tabanlı değerlendirmeler öncelikle ofis ziyaretlerinde uygulanır; şizofrenide uzaktan değerlendirme için tasarlanmış görevlerin çoğu da dahildir. Örneğin, VRFCAT, BAC-App gibi değerlendirmelerin yüz yüze denetimini zorunlu kılar. VRFCAT, resmi değerlendirmeden önce yapılan bir giriş bileşenine sahiptir; bu süreçte insan test yapan kişi soruları yanıtlar ve yetersiz çabaları yönlendirir, ana değerlendirme bölümü ise sürekli devam eder. Sınav görevlisi, katılımcıyı denetlemesi ve çabalarında ısrar edemezse rehberlik etmesi için yönlendirilir. Ancak, yakın zamanda yapılan bir VRFCAT çalışması, bazı katılımcıların birçok "zorunlu ilerleme" yaşadığını, yani test hedefini 300 saniye içinde çözemediğini buldu. Bazı hedefler tek bir kısa görev olduğu için ("Cüzdanı al"), sınav gözetimindeki başarısızlıklar şüphesi doğabilir. BAC-uygulama teknolojisi tüm uyarıcıları yönetir ve tüm verileri toplar, ancak katılımcı tamamlandıktan sonra insan test uzmanının performansı denetlemesini ve alt görevleri ilerletmesini gerektirir. Cogstate sistemi katılımcıların performansının denetlenmesini gerektirmez, ancak şizofreni 66'da şizofreni66'da yetersiz sürdürülebilir performans ve düzensiz puanlardan kaynaklanabilecek dengesizliklere duyarlılığın azaldığına dair birçok rapor bulunmuştur; bu skorlar yüz yüze gözetimle tespit edilip düzeltilebilir.
Dijital denetim kullanmak mümkün mü?
Chatbotlar veya diğer yapay zeka tabanlı dijital psikoterapötik müdahalelere yönelik güncel ilgi oldukça yüksek. Bu müdahalelerin zorluklarından biri, yapay zeka terapistinin danışanların iletişimini gerçek zamanlı olarak anlaması ve uygun şekilde yanıt vermesi gereken çift yönlü iletişim gerekliliğidir. LASSI-D'nin geliştirilmesinde farklı bir yapay zeka stratejisi kullanıldı. Yapay zeka ile bir insan avatarı yaratıldı ve standart test durumunda insan testcisi tarafından verilecek tüm talimatlar ve geri bildirimleri sağlayan test teknisyeni olarak hizmet verdi. Avatar ayrıca önceden belirlenmiş SSS setini yanıtlamayı öğrendi; bu sorular, incelemenin ekrandaki "?" simgesine dokunmasıyla tetikleniyordu. O aşamada etkileşimli iletişim girişimi yoktu. İşlemin kabul edilebilirliği oldukça yüksekti (test seanslarının %95'i) büyük ölçüde azınlık, tek dilli İspanyolca konuşan bir nüfusta, tamamlanma oranları çok yüksekti (değerlendirme oturumlarının %96'sından fazlası) ve avatar testçilerinin insan testçilere göre niteliksel tercihleri bulunuyordu.
Denetimsiz değerlendirme ve eğitim için yapay zeka rehberliğinin genişletilmesi için olası bir yol, katılımcıların denetimsiz değerlendirmelerini veya eğitimlerini ilk kez kurup başlatmalarına yardımcı olacak bir eğitim ve yardım sistemi geliştirmek olabilir. Hâlâ geliştirilme aşamasında olmasına rağmen, FUNSAT, potansiyel katılımcıları eğitime kaydolmaya, web sitesine giriş yapmaya ve eğitim çalışmalarını başlatmaya teşvik etmek için insan avatar rehberliğiyle ilk bir eğitim modülü içerecek şekilde değiştiriliyor. Bu stratejiler, chatbot terapötik etkileşimlerinden daha tutarlı ve doğru şekilde sunulma olasılığı daha yüksektir, çünkü avatar iletişimi önceden belirlenmiş sorulara yanıtlar ve tutarlı talimatların sunulmasına dayanır.
Diğer dijital stratejiler
Mevcut inceleme, performansa dayalı, kasıtlı bilişsel değerlendirmelere odaklanmaktadır. Artıkanlaşılan ve denetimsiz değerlendirme sonuçlarıyla ilişkilendirilebilen etkileyici bir pasif dijital fenotipleme ölçütleri yelpazesi vardır. Bunlar arasında coğrafikonumlandırma 67, fiziksel aktivite68, sosyal bağlam69, cihazlarlaetkileşimler 70 ve konuşma ile dil özellikleri71 bulunur. Bunlar mutlaka biliş ölçütü olmasa da, bilişsel performansı etkileyebilecek potansiyel çevresel faktörleri yansıtır. Örneğin, yüz veya ses tepkilerinden, sosyal bağlamdan ve arka plan dikkat dağınıklığından çıkarılan ruh hali durumu, özellikle denetimsiz değerlendirmeler sırasında bilişsel performansla ilişkili olabilir. Denetimsiz değerlendirmeyle ilgili bazı zorluklar, pasif eC dijital fenotiplemenin eşzamanlı kullanımıyla tespit edilebilir ve azaltılabilir. Bu ölçümler veri toplamak için kasıtlı çaba gerektirmediğinden, değerlendirmelere yük eklemezler.
Bilişsel ve fonksiyonel eksikliklerin dijital değerlendirmesi ve tedavisi, sürecin ölçeklendirilmesini ve başka türlü erişimi olmayabilecek katılımcılara ulaşmasını sağladığı için oldukça umut vericidir. Teknolojik gelişmeler, uyarıcıların kolayca çevrilmesini, paralel değerlendirme formlarının oluşturulmasını ve uzaktan teslimatı mümkün kılar. Çoğu verinen, denetimsiz değerlendirme ve eğitim sonuçlarının, küresel performans endeksleri açısından eski stratejilerle oldukça yakınsadığını göstermektedir. Ancak, hem katılımcı katılımında hem de test geliştirmenin teknik özelliklerinde zorluklar vardır. Birçok katılımcı teknolojiyi gözetimsiz yönetemiyor. Teknoloji uyaranları çevirmeyi ve paralel formlar oluşturmayı kolaylaştırsa da, ortaya çıkan çevirilerin veya yeni formların psikometrik benzerliğine yeterince dikkat edilmemiştir. Test kalitesinin psikometrik değerlendirmesine sistematik yaklaşım, teknoloji test uyarıcılarının oluşturulmasını kolaylaştırdığı için mazur görülmez.
Dijital sonuç değerlendirmeleri kullanılarak yapılan bazı farmakolojik tedavi çalışmaları, tedavi etkilerini tespit edememiş olup, bu başarısızlıklar kısmen testlerin farklı versiyonlarıyla, paralel formlar veya çevirilmiş uyaranlar açısından orijinal versiyonla örtüşmeden ilişkili olabilir. Bu stratejilerin, ister test cihazı sorunları ya da yeni geliştirilen formlarla ilgili zorluklar nedeniyle, aşırı değişken test performansı ve eksik veri ortaya çıkarma potansiyeline sahip olduğu da bulunmuştur.
Ek bir yaklaşım olarak, yapay zeka rehberli avatar test ve eğitim asistanları kullanılmıştır. Bu tür yaklaşımlar önemli umut vaat ediyor, ancak tam kullanımdan önce doğrulama gerektiriyor. Bu tür stratejiler kullanıldığı durumlarda, kademeli bir yaklaşım gereklidir: asistan başlangıçta tamamen betiklenmiş talimatlar ve geri bildirim verecek, ardından katılımcı sorularını anlamak ve katılımcılarla etkileşime girmek için büyük dil modelleriyle eğitilecek.
Değerlendirme ve müdahalenin sosyal bağlamı, teknolojiyle ilgili çabaların sürdürülmesi için önemlidir. İnsan test yapanlar, katılımcı zorluklarına uyum sağlayabilir ve teknik destek sağlarken eğitime katılımı kolaylaştırabilir. Bu etkileşimin, bu stratejilerin erişimini genişletmek için gözetimsiz bilişsel değerlendirme ve eğitime dijital yaklaşımlara entegre edilmesi gerekecektir. Bu değerlendirmelere ve müdahale stratejilerine en çok ihtiyaç duyan katılımcılar, bilişsel ve fonksiyonel beceriler değerlendirmesi ve eğitim görevlerini kendi kendilerine uygularken kolaylaştırılmış yardıma da ihtiyaç duyma olasılığı en yüksektir.
Ek Dosya 1: Geçerli performans temelli değerlendirmelerin geliştirilmesiyle ilgili sorunlar: Dijital olarak sunulan değerlendirmeler ve eğitimlerin geçerliliği, uygulanabilirliği ve tolere edilebilirliğine odaklanın. Bu dosyayı indirmek için lütfen buraya tıklayın.
Dr. Harvey, Alkermes, BMS (Karuna Therapeutics), Boehringer Ingelheim, Kynexis, Minerva Neurosciences, Neurocrine Biosciences ve Recognify'dan danışmanlık ücretleri veya seyahat ücreti almıştır. Intracellular Therapeutics'ten (şu anda Johnson and Johnson'ın bir parçası) bir araştırma bursu bulunmaktadır. Şizofreni Bilişsel Kısa Değerlendirmesi'nden telif alır (Clario'ya ait, eski adıyla WCG Endpoint Solutions, Inc, eski adıyla Verasci ve MCCB'de yer almaktadır). i-Function, Inc.'in baş bilimsel sorumlusu ve EMA Wellness, Inc.'in bilimsel danışmanıdır. Bay Kallestrup, i-Function, Inc.'in kurucu ortağı ve CEO'sudur.
FUNSAT ve LASSI-D'nin geliştirilmesini destekleyen araştırmalar, Amerika Birleşik Devletleri Ulusal Yaşlanma Enstitüsü (NIA) tarafından finanse edilen R44 AG074818-02, R43 AG057238-02 ve R44 AG057238-04 hibeleri tarafından, Peter Kallestrup'un PI olarak görev yaptığı bir durumdur.
Bu JoVE makalesinin metnini veya şekillerini yeniden kullanmak için izin iste
İzin iste