Bilgisayar Görme Analizi İçmek İçmek Için Standartlaştırılmış İçki Görevi Kinematiği Uyumlu Video Kaydı İçmek İçecek Web Tabanlı Klinisyen Rehberi

Özet

İçme görevinin kinematik metrikleri üst uzuv inme rehabilitasyonunda kullanılmak üzere önerilmiştir, ancak kinematik çalışmalara yönelik geleneksel yaklaşımlar pratik görülmemektedir. Mevcut protokol, önerilen kinematik metrikleri çıkarmak için bilgisayar görüşü ile uyumlu olan içme görevinin videolarını yakalamak için web tabanlı bir rehber tanımlıyor.

Özet

Üst uzuvun değerlendirilmesi, rehabilitasyon döngüsü için çok önemlidir. Son yirmi yılda, içme görevinin kinematik değerlendirmesi, inme ve kas-iskelet hastalığı dahil olmak üzere geniş kapsamlı hastalıklardan etkilenen rehabilitasyon popülasyonlarında klinik değişikliklere karşı geçerli ve yanıt verdiği gösterilmiştir. İçki görevi kinematiği üzerine bu temel çalışma, rehabilitasyon araştırmalarında üst uzuv kinematiklerinin benimsenmesi konusunda uzlaşı önerilerine yol açmıştır. Ancak, araştırma camiasında benimsenmeyi ve klinik uygulamaya geçişi tehlikeye atan pratik endişeler ortaya çıkmıştır. Benimseme engelleri arasında, kinematik edinme için geleneksel hareket yakalama yöntemlerinin teknik karmaşıklıkları ve kinematiklerin arkasındaki etkinlik protokollerinin doğruluğu yer alır. İlkine gelince, bilgisayar görme olarak bilinen yapay zeka alt alanındaki atılımlar, kinematik analizin teknik yükünü büyük ölçüde azaltmaktadır. İkincisi ile ilgili olarak, klinisyenlere hazır bir stereo kamera, kişisel bilgisayar ve ayaktan klinik ortamda erişilebilen temel materyaller kullanılarak yüksek standartlaştırılmış içki aktivite protokolünün video kaydı yoluyla rehberlik eden web tabanlı bir uygulama (uygulama) sunuyoruz. Ayrıca, bu video yakalamanın içme görevinin kinematik metriklerini çıkarmak için özel oluşturulmuş bir bilgisayar görüşü boru hattıyla uyumluluğunu gösteriyoruz. Devam eden doğrulama ve kullanılabilirlik çalışmaları sayesinde, böyle bir aracın yüksek standartlaştırılmış üst uzuv kinematik metriklerine erişimi önemli ölçüde iyileştireceğini ve bu ölçütlerin üst uzuv bozukluğu olan rehabilitasyon popülasyonlarında araştırma ve klinik bakımı ilerletmesi bekleniyor.

Giriş

Günlük yaşamdaki üst uzuv görevlerimizin çoğu her iki uzuvu da gerektirir. Üst uzuv yeteneklerinin kaybı, nörolojik yaralanmalardan sonra sıkça meydana gelir; felç geçirenlerin yaklaşık %80'i üst uzuv eksiklikleri^{yaşamaktadır 1}. Bu eksikliklerin işlevi ve yaşam kalitesini^{azalttığı bilinmektedir 2}. Rehabilitasyon, fonksiyon^3'ü geri kazandırmak için birincil müdahale olarak kalmaktadır ve rehabilitasyon, hassas^{değerlendirmeye dayalı bir döngü olarak tanımlanmıştır 4}. Üst uzuvun kinematik değerlendirmesi son yirmi yılda artan ilgi gördü. Bu ilgi, kısmen mevcut klinik değerlendirmelerin sınırlarından kaynaklanmaktadır; bu değerlendirmelerde, insan değerlendirmecilerin öznelliği ve ince değişiklikler için zayıf çözüm gibi dezavantajlar fark^{edilmiştir 5}.

Kinematik, vücut, uzuv ve eklem hareketleri sırasında insan hareketinin incelenmesini içeren biyomekaniğin bir alt dalıdır. Önceki araştırmalar arasında, içki görevinin kinematik çalışmaları araştırma camiasında önemli ilgi gördü⁶. Kinematik değerlendirmede içme görevinin popülerliği, hareket karmaşıklığına, hedef odaklı görev özgünlüğüne ve döngüsel hareketine^{bağlanmıştır 7}. Nörotipik yetişkinler ve çocuklarda yapılan bir dizi çalışmanın yanı sıra, içme görevi çok çeşitli nörolojik hastalıklarda^{da incelenmiştir} 8,9,10,11. İnme popülasyonlarında bu çalışmalar, geçerli, güvenilir ve klinik değişime yanıt veren önemli kinematik metrikleri^{belirlemiştir} 12,13,14. Ancak, kinematik değerlendirme uzun zamandır karmaşık/pahalı sistemler ve gerekli teknik bilgi nedeniyle pratik olmayan^{görülmektedir 15}.

Yapay zekanın ortaya çıkışıyla birlikte, kinematik değerlendirmeye yönelik pratik engeller önemli ölçüde azaltılıyor. Örneğin, dijital görüntülerden bilgi çıkaran yapay zekanın alt alanı olan bilgisayar görme sistemi artık nispeten basit kameralar ve bilgisayarlar kullanılarak işaretsiz hareket yakalama sistemleri elde etmek için kullanılabilir⁽16,17,18). Bilgisayar görüşündeki bu gelişmelerden yararlanmak için, bu yöntem makalesinin amacı, klinisyenlere aşağıdaki konularda rehberlik etmek için geliştirilmiş web tabanlı bir aracı tanımlamaktır: (i) içme görevi için standartlaştırılmış bir etkinlik protokolü uygulamak ve (ii) kinematik metrikleri çıkarmak için bilgisayar görme iş akışıyla uyumlu içki içme görevinin videolarını kaydetmek. Bu kinematik metrikler henüz standart klinik bakımın bir parçası olmasa da, mevcut protokolün amacı, biyomekanik araştırmaları uygulamalarına entegre etmek isteyen klinisyenleri dahil etmektir. Beklenen etki, üst uzuvun kinematik metriklerine klinik erişimin büyük ölçüde artmasıdır; bu da mevcut rehabilitasyon tedavi protokollerini bilgilendirecek ve yeni tedavi protokollerinin araştırma ve geliştirilmesini desteklemelidir.

Protokol

Temsil eden sonuçlar bölümünde sunulan rakamlar, Helsinki Bildirgesi'ne uygun olarak yapılan iki ayrı vaka çalışmasına karşılık gelmektedir. Veri toplamadan önce tüm katılımcılardan bilgilendirilmiş onay alındı. Bu ayrı vaka çalışmaları sadece iki katılımcıyı içerdiğinden, yerel Kurumsal İnceleme Kurulu tarafından tanımlanan klinik araştırma tanımına uymadılar; bu nedenle, atanan bir IRB protokol numarası mevcut değildir.

NOT: Protokol ve ilgili web tabanlı uygulama şu şekilde üç aşamaya ayrılmıştır: (i) çalışma alanı kurulumu; (ii) kalibrasyon faaliyeti; ve (iii) içki görevi aktivitesi. Bir infografik (Şekil 1), kullanıcıların web tabanlı uygulama (https://mobile-motion-lab-public.web.app) kullanımı sırasında karşılaşabilecekleri iş akışlarını da içeren bu adımların görsel bir gösterimini sunar.

Şekil 1: Protokolü özetleyen infografik. Web tabanlı uygulamadan alınan ekran görüntüleriyle birlikte, her ana adım için bir illüstrasyon sunuluyor; çalışma alanı kurulumu (sol panel), kalibrasyon iş akışı (orta panel) ve içme görevi iş akışı (sağ panel) dahil. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

1. İş alanı kurulumu

NOT: Bu adım, sonraki kalibrasyon ve içki görevi için çalışma alanının doğru şekilde nasıl ayarlanacağını (Şekil 2) açıklar. Doğru kurulum, bilgisayar görüşü iş akışı kullanarak güvenilir bir sonradan işlem ve kinematik ölçümlerin çıkarılması için video yakalamalarının standartlaştırılması ve kalitesini sağlamak için anahtardır.

1. Sandalye, masa ve konu konumlandırması
   1. Ayarlanabilir yükseklikte, koltuk sırtı olan bir sandalyeyi konumlandırın; böylece kişi avuç içi masaya yüzü aşağı yaslanmış ve bilek kıvrımı masa kenarına hizalanmış şekilde oturabilsin.
   2. Koltuk yüksekliğini ayarlayarak konunun kalça ve dizlerinin yaklaşık 90° fleksiyonda olduğundan emin olun.
   3. Masa yüksekliğini ayarlayın; kollar yanlarda rahat bir şekilde dururken, dik oturma pozisyonu korunur ve dirsek fleksiyonu 90° olur.
2. İçme görevi aktivitesi placemat'ın yerleştirilmesi
   1. Web uygulamasının Kaynaklar menüsündeki yazdırılabilir dosya (İçme Görevi Aktivite Yerleştirme) (https://mobile-motion-lab-public.web.app/resources) ve 10 inç x 17 inç ölçülerinde tabloid boyutlu yazıcı kağıdı kullanarak placematı oluşturun.
   2. Placemat'ın ön kenarını, konunun tam önündeki masanın kenarıyla hizalayın. Hedef kare kutusunun deneğin orta hattı ortasında olduğundan emin olun.
   3. Placemat'ı masanın yüzeyine yapışkan bantla sıkıca sabitleyin.
3. Kupa yerleşimi
   1. 250 mL'lik plastik bir bardağı yer paspasının üzerine kare yerleştirin. Bu yöntem, fincanı masanın kenarından 30 cm uzaklıkta ve konunun tam önünde konumlandırır. Bardağı 100 mL içme suyla doldurun.
4. Kamera yerleşimi
   1. Stereo kamerayı (4 mm odak uzaklığıyla) konumlandırarak konuyu ve kupayı ön üstten görüntüden çekin. Web erişimi olan kişisel bilgisayara uyumlu bir stereo kamera gereklidir (örneğin, klinik tabanlı bir iş istasyonuna USB bağlantısı). Lens bozulmasının kaydedilmiş görüntüler/videolar üzerindeki etkilerini en aza indirmek için daha yüksek odak uzaklığına sahip stereo kamera önerilir. Standart bir kamera tripodu kullanılabilir.
      NOT: Kamera kalibre edildikten sonra (gelecekteki adımlarda yapılacak), bu kalibrasyonun sürdürülmesi kameranın konumunu korumaya bağlıdır. Bu nedenle, kamera için sağlam bir temel tercih edilir; örneğin yere monte edilmiş tripod veya sabit bir yüzeyde masaüstü tripod, örneğin kalıcı tezgah veya ağır bir masa.
   2. Kamera pozisyonunu hedef hacmini yakalayacak şekilde ayarlayın; yani denek tamamen başlangıç pozisyonunda yer alan hayali küp, sonraki aktivite denemelerinde (örneğin, içki görevi sırasında) gerçekleştirilecek proksimal ve distal üst uzuv aktivitesini (örneğin, el hareketi dahil) tam olarak yakalamak için yeterli izin verilmelidir.
      1. Stereo kameranın ideal konumu, cihazın içsel parametrelerine (örneğin, görüntü sensörü boyutu, odak uzaklığı, görüş alanı) bağlı olsa da, stereo kamerayı masa kenarından (yani masanın konuya en yakın kenarından) yaklaşık 150 cm uzakta konumlandırarak ve kamera yüksekliği masa yüzeyinden yaklaşık 100 cm üzerinde ayarlanarak başlayın.
      2. Bu başlangıç pozisyonundan, kameranın konumunu optimize etmek için gerektiği kadar daha fazla ayarlama yapın ki bahsedilen hedef ses seviyesi yakalanır. Dikkat çekici bir şey, kamera kalibrasyon süreci, kameranın dışsal parametrelerindeki (örneğin, roll/yaw/pitch) değişimleri otomatik olarak hesaba katacaktır.
5. Aydınlatma kurulumu
   1. Odanın iyi aydınlatıldığından emin olun ve mümkünse yumuşak, eşit bir ışık var. Yakın bir pencereden gelen parlak güneş ışığı gibi güçlü arka aydınlatmalardan kaçının; çünkü parlama, kalibrasyon sırasında dama kartı ızgara deseninin başarılı bir şekilde tespit edilmesini engelleyebilir.
   2. Kamera görüşüne gölge sokmaktan kaçının, çünkü gölgeler kalibrasyonun başarısını ve bilgisayar görüşüyle insan pozunun başarısını olumsuz etkileyebilir. Konudaki gölgeleri azaltmak için üst aydınlatmalar veya lambalar kullanın. Parlama sorunluysa, ışıkları ışık difüzörleriyle değiştirmeyi düşünün.

2. Kalibrasyon faaliyeti

NOT: Bu adım, kalibrasyon etkinliğinin başarıyla tamamlanmasını ve web uygulaması üzerinden görüntülerin uygun bir kayıt hedefine doğru şekilde seçilmesini nasıl sağlayacağınızı açıklar. Kalibrasyon, deneklerle video veri toplamadan önce günde bir kez yapılabilir. Gün boyunca kamera pozisyonu herhangi bir nedenle değiştirilirse, örneğin bir geçenin kameraya/tripoda çarpmasından kaynaklanan yanlışlıkla değişirse, yeni bir kalibrasyon önerilir ve sonraki tüm video kayıtlı aktiviteler, herhangi bir bilgisayar görüşü iş akışı sırasında bu yeni kalibrasyonla ilişkilendirilmelidir.

1. Kalibrasyon hazırlığı
   1. Web uygulamasının (https://mobile-motion-lab-public.web.app/resources) Kaynaklar menüsünden yazdırılabilir dosyayı (Calibration Checkerboard Printout) kullanarak kalibrasyon için dama tahtası ızgara desenini oluşturun.
   2. Siyah beyaz dama kartası ızgara desenini standart harf boyutundaki kağıt ile yazdır, ölçüleri 8,5 inç x 11 inç. Parlak bir yüzey olmadan kağıt ve yazıcı seçeneklerini kullanın.
   3. Dama kartı ızgara deseninin çıktısını düz bir yüzeye (örneğin bir panonun arkasına) yapıştırın ve bantla sabitleyin. Bantın dama tahtası deseninin herhangi bir bölümünü kapatmadığından emin olun ve yapıştırılmış kağıt çıktısında minimum deformasyon olduğundan emin olun. Aksi takdirde, dama tahtası ızgara deseninin tıkanması veya deformasyonları, bilgisayar görüşü çözümüyle başarılı kalibrasyon şansını azaltabilir.
2. Kalibrasyon görüntüleri yakalama
   1. Web uygulamasının gösterge paneli menüsünde (https://mobile-motion-lab-public.web.app/calibrationActivity) bulunan kalibrasyon aktivite modülünü (Kalibrasyon Aktivite Rehberi) açın. Bu modül, kalibrasyon sürecini yönlendirmek üzere tasarlanmıştır.
      1. Kalibrasyonu aşağıdaki süreçle gerçekleştirin: (i) kalibrasyon faaliyetinin video gösterimini izlemek; (ii) stereo kamera kimliğinin doğrulanması; ve (iii) kayddan önce stereo kamera canlı yayınını ön izleme. Son olarak, görüntüler çekilirken çalışma alanı alanında dama tahtası deseninin hareket ettirilmesini içeren kalibrasyon faaliyetini yakalamak için bir kayıt yapın.
   2. Kılavuzu inceleyin, stereo kameranın önizlemesi ve Kayıt Başlat simgesi mevcut olana kadar.
   3. Kaydı başlatmadan önce, dama tahtasını başlangıç pozisyonuna yerleştirin. Daha önce anlatıldığı gibi, masada oturan bir kişiye dayanarak, dama tahtasının başlangıç pozisyonu, desenin yaklaşık göğüs hizasında ve masa yüzeyine dik tutulmasını içerir (Şekil 3).
   4. Web uygulamasında Kayda Başla simgesine tıklayarak kaydı başlatın. Başlatıldığında, uygulama tarafından 3 saniyelik görsel/sesli geri sayım sağlanır, ardından bir sonraki görsel/sesli işaret kalibrasyon faaliyetinin ne zaman yapılacağına işaret edilir.
      NOT: Kalibrasyon tek başına yapılıyorsa, geri sayım kullanıcıya kaydı başlatmak ve ardından kontrol tahtası desenini kaydetme başlamadan önce konumlandırmak için zaman tanır.
   5. Kalibrasyon aktivitesine başlamak için işaret verildiğinde, dama tahtası desenini çalışma alanı boyunca (kameraya doğru) pürüzsüz/kontrollü bir şekilde ileriye doğru hareket ettirin. Çalışma alanı boyunca tamamen ileri doğru hareket ettirildiğinde (konu ve fincan için ayrılan hayali küp), ardından deseni geri doğru (kameradan uzaka) doğru pürüzsüz/kontrollü bir şekilde hareket ettirmek için geri hareket edersiniz. Görüntü yakalama tamamlanana kadar dama tahtası deseninin bu ileri ve geri hareketini tekrarlayın. Toplam görüntü yakalama süresi 10 saniyedir.
      1. Kontrol tahtası desenini çok hızlı hareket ettirmekten kaçının. Hızlı hareketler, kameranın yakalandığı görüntülerin bulanıklaşmasına neden olabilir ve bu bulanıklık, bilgisayar görüşünün uygun kalibrasyon parametrelerini çıkarma yeteneğini azaltabilir.
         NOT: Hatırlatmak gerekirse, web uygulaması kalibrasyon aktivite modülü sırasında bir video gösterimi içeriyor. Alternatif olarak, kalibrasyon deseninin hareketi web uygulaması kaynak sayfasında bulunan Başlama Video'da da gösterilmektedir.
3. Kalibrasyon kaydının incelemesi
   1. Kaydedilmiş kalibrasyonu gözden geçirin. Kalibrasyon etkinliği kaydedildikten hemen sonra, web uygulamasında bir video oynatma sunulur. Bu video oynatışını aşağıdaki öğelere dikkatle bakabilirsiniz.
      1. Görüntü kalitesi: Video boyunca tüm dama tahtası deseninin tamamen görünür olduğundan emin olun. Görüntü bulanıklaştırmasından mümkün olduğunca kaçınılmalıdır ve eğer önemli bulanıklaşma kanıtı varsa, kalibrasyon kaydını daha yavaş hareketlerle yeniden denemeyi düşünün. Görüntü kalitesini iyileştirerek, sonraki bilgisayar görüşü iş akışları, derinlik ve konum ölçümlerini çıkarmak için gerekli bir referans olan dama tahtası desenini başarılı bir şekilde tespit etme olasılığı daha yüksek olacaktır.
      2. Net görüş: Aydınlatmanın yeterli olduğundan emin olun. Belirgin koyu gölgelerden veya kontrol tahtası deseninin görüşünü engelleyen beyaz parıltılardan kaçının. Görüntü yakalama sırasında kamera görüş hattında herhangi bir engel olmadığından emin olun (örneğin, ön planda bir seyirci yürür).
         NOT: Görüntü kalitesi ve görünürlüğü ölçmek için bir referans olarak, kalibrasyon videosu örnekleri kalibrasyon aktivite modülünde ve web uygulamasının Kaynaklar menüsünde bulunan Başlama Videosunda mevcuttur.
      3. Gerekirse tekrar dene. Kalibrasyon etkinliğinin performansı ve kalibrasyon video kaydının kalitesiyle ilgili herhangi bir endişeniz varsa, video kaydını bir başka deneme için yeniden başlatmak için Yeniden Deneme seçeneğini seçin. Aksi takdirde, kalibrasyon görüntülerini gönderme/kaydetme işlemlerine devam edin.
4. Kalibrasyon görüntülerinin kaydedilmesi
   1. Kalibrasyon etkinliği ve kaydı başarıyla tamamlandıktan sonra, Kalibrasyon Görüntülerini Kaydet simgesini seçin. Bu, kalibrasyon görüntüleri için dosya kaydetme hedefi seçimine olanak tanıyan bir pencere isteği açar. Varsayılan olarak, dosya kayıt hedefi, varsayılan dosya adı konvansiyonuna sahip masaüstü olarak ayarlanır (örneğin, calibration_[Tarih]_[Saat]_[Kamera Tipi]).
   2. Kalibrasyon görüntülerinin kaydı doğrulandıktan sonra, devam etmek için Kaydı Onayla . Kaydettikten sonra bir onay mesajı gelir ve ardından sonraki İçki Görevi Aktivite Rehberi modülüne geçme veya Kalibrasyon Görevi Aktivite Rehberi modülünü yeniden başlatma seçenekleri bulunur.

3. İçki görevi aktivitesi

NOT: Bu adım, içme görevinin tamamlanması sürecinde deneklerin nasıl yönlendirileceğini, içme görevinin video kayıtlarının nasıl oluşturulacağını ve web uygulaması kullanılarak videoların kaydedilmiş bir hedefe doğru şekilde seçilmesini nasıl sağlayacağını açıklar.

1. İçki görevi için hazırlık
   1. Konuyu içki görevi için uygun başlangıç/bitiş pozisyonuna yerleştirin. Koltuk yüksekliğini ayarlayın ki kişi kalçaları ve dizleri 90° açıda bükülerek rahat oturabilsin. Masa yüksekliğini ihtiyacına göre ayarlayın. Kişinin kollarını yanlarına doğru rahatlatmış, dirsekleri 90° açı altında bükülmüş, avuç içlerinin masaya omuz genişliğinde rahat yaslandığını, bileklerinin kıvrımının masanın kenarına hizalanmış ve orta hattının placemattaki fincan konumuna hizalı olmasını sağla.
   2. Konuya ilk kayıt için belirli bir eli (sağ veya sol) kullanmasını talimat verin.
      NOT: İçki görevi aktivitesinin sonraki ek denemeleri web uygulaması üzerinden mümkündür. Ek denemeler sırasında, elin yanlılığı web uygulamasında belirtilebilir ve veri küratasyonu sırasında otomatik olarak ilgili deneme dosya isimleriyle ilişkilendirilir.
   3. Kişiye içki görevini uygulamayı öğretin. Denekler, içki görevi aktivitesinin bir veya iki denemesini (kayıt olmadan) gerçekleştirebilirler. Konuya, fincanı ve eli kendi başlangıç pozisyonlarına geri getirmeden önce sadece küçük bir yudum gerektiğini hatırlat.
      1. Konuyu içki görevi etkinliğiyle ilgili aşırı eğitmenlikten kaçının. Amaç, gerçek dünyada gerçekleşen davranışları yakalamak. Eğer denek daha fazla eğitim isterse, ona günlük hayatında gerçek bir durum düşünmesini tavsiye eder.
2. İçme görevi etkinliğini kaydet
   1. Web uygulamasının kontrol paneli menüsünde (https://mobile-motion-lab-public.web.app/drinkingTaskActivity) bulunan içki görevi aktivite modülünü (İçki Görevi Aktivite Rehberi) açın.
      NOT: Bu modül, içki görevini yapan bir kişinin video kaydını yönlendirmek için tasarlanmıştır. Bu süreç şunları içerir: (i) içki görevi etkinliğinin örnek kaydını izlemek; (ii) stereo kamera kimliğini doğrulamak ve konu tanımlayıcısını girmek; (iv) belirli duruşma için kullanılacak elin yanlılığına girmek, örneğin sağ veya sol; ve (v) kayıt öncesi stereo kamera canlı yayınını ön izleme.
   2. Kayda başlamadan önce, konuyu geri sayıma yönlendirin. Mobil uygulama tarafından 3 saniyelik görsel/sesli bir geri sayım sağlanır, ardından bir sonraki görsel/sesli işaret içme görevinin ne zaman yapılacağını gösterir.
   3. Video kaydını web uygulamasında Kayıt Başlat simgesine tıklayarak başlatın. Geri sayım/ipuçlarını kullanarak, konudan içki görevini yapmasını iste (Şekil 3). İçme görevi için ayrılan toplam süre 20 s.
      NOT: Konu, fincanı plase matındaki konturlu alanına geri koymadan önce bardaktan küçük bir yudum alması ve ardından elini konturlu alana geri koyması yeterlidir.
3. İçme görevi video kaydını inceleyin. Kayıttan hemen sonra, web uygulamasında bir video oynatma sunulur. Bu video oynatışını aşağıdaki öğelere dikkat ederek inceleyin.
   1. Konu karede: İçme görevi boyunca kişinin yüzü, gövdesi, üst uzuvları ve fincanın tüm video karelerinde tam olarak kaydedildiğinden emin olun.
   2. Görsel bozulmaların olmaması: Aydınlatmanın yeterli olması, dikkat dağıtıcı gölgeler veya parlama olmamasını sağla. Videonun ön planında/arka planında yanlışlıkla başka insanları yakalamaktan kaçının. Aksi takdirde, bilgisayar görme iş akışının ilgi konusu konuyu başarıyla tespit etme şansı zayıflayabilir.
   3. Görev tamamlanması: Konu tüm görevi tamamladığından emin olun; fincanı almak, bardaktan bir yudum içmek, bardağı orijinal konumuna geri getirmek ve vücut/elleri başlangıç pozisyonuna geri getirmek.
   4. Gerekirse tekrar dene. İçki görevi video kaydının kalitesiyle ilgili herhangi bir endişeniz varsa, video kaydını tekrar başlatmak için Yeniden Dene seçeneğini seçerek başka bir deneme için başlatabilirsiniz.
      NOT: Tekrar deneme seçeneği önceki video kaydını atacaktır. Videoyu atmak istenmiyorsa, Yeniden Deneme'yi seçmekten kaçının ve aşağıda açıklandığı gibi ek denemelere devam edin.
4. İçki görevi aktivitesinin ek denemelerinin kaydedilmesi
   1. Aynı denek için içme görevinin ek denemeleri isteniyorsa, Başka Denemeyi Tekrarla' seçeneğini seçin.
      NOT: İçki Görevi Aktivite Rehberi modülü, her benzersiz konu için benzersiz bir örnek olarak çalıştırılacak şekilde tasarlanmıştır (örneğin, modül her benzersiz konu için yeniden başlatılmalıdır).
   2. Aynı konu için yukarıdaki talimatları kullanarak ek denemeleri kaydedip incelemeye devam edin.
      NOT: Aynı denek ile tekrarlanan denemelerde, orijinal girilen denek ve kamera tanımlayıcısı otomatik olarak tüm denemelerle ilişkilendirilecektir. Aksi takdirde, her deneme sadece aşağıdaki adımları gerektirir: (i) denek tarafından kullanılacak elin yanlılığına girmek, örneğin sağ veya sol; (ii) kayddan önce stereo kameranın canlı yayınını önizleme; (iii) içki görevinin video kaydını başlatmak; ve (iv) gerektiğinde kaydı gözden geçirmek/yeniden denemek.
5. Video kayıtlarını kaydet
   1. İstenilen tüm denemeler kaydedildikten sonra, video dosyalarını istenen hedefe kaydetmek için Tüm denemelerle bitti seçeneğini seçin.
   2. Notlar olarak işaretlenen alanda, verilerin gelecekteki işlemesi, analizi ve yorumuyla ilgili yorumları ekleyin. Paketi seçin ve Notlar ekleyin.
   3. İçki Görevi Videolarını Kaydet simgesini seçin. Bu, dosya kaydetme hedefini seçmenize olanak tanıyan bir pencere isteği açar. Varsayılan olarak, dosya kayıt hedefi masaüstü olarak ayarlanır.
      NOT: Dosya kaydetme hedefi belirlendikten sonra, web uygulaması video verilerini otomatik olarak bir klasör/alt klasör yapısıyla seçer; bu yapı web uygulaması rehberini tamamlarken girilen önceki kullanıcı girişine göre adlandırılır. Bu, standart isimli ana klasör (örneğin, subj[identifier]_drinktask_[Date]_[Time]_[Cameratype]) ve standartlaştırılmış adlandırmaya sahip alt klasörler (örneğin, [Yanalma]_[Deneme Numarası]_[Kare Hızı]) ile sonuçlanır; bu klasörler her etkinlik denemesi için ilgili videoları içerir.
   4. Videoların dosya kaydı doğrulandıktan sonra, devam etmek için Kaydı Onayla . Kaydedildikten sonra bir onay mesajı ve İçki Görevi Aktivite Rehberi modülünü yeniden başlatma seçeneği de gelecektir. Aşağıdaki sonuçlar bölümünde gösterildiği gibi, kaydedilen videolar daha sonra bir bilgisayar görme iş akışıyla birleştirilerek kinematik çıkarılabilir.

Sonuçlar

Web tabanlı klinisyen rehberinin temel motivasyonlarından biri, klinisyenlerin hastalarının üst uzuv biyomekaniğini değerlendirmek için bilgisayar görme kullanmaktan caydırabilecek teknik engelleri azaltmaktır. Web tabanlı klinisyen rehberinin kullanıcı için iki ana çıktı üretmesi beklenmektedir: (i) stereo kameranın çift görüntü sensörlerine dayalı dale tahtası kalibrasyon deseninin senkronize edilmiş bir dizi görüntüsü ve (ii) denek tarafından yapılan her deneme için, standartlaştırılmış içki görevi aktivitesinin senkronize iki videosu (Şekil 3). Web tabanlı rehber, yazılı prosedürler, video/sesli gösteriler ve etkileşimli sanal bir gezinti dahil olmak üzere çeşitli formatlarda talimatlar sunar. İdari yükü azaltmak için veri küratı otomatikleştirilir. Görüntü ve video verileri, kullanıcının belirttiği gibi, örneğin bilgisayar masaüstünde veya kurumsal bulut tabanlı ağda bulunan tercih edilen dijital dosya klasörüne kaydedilir. Veriler, iç içe alınmış alt klasörler ve standart dosya adları dahil olmak üzere otomatik olarak sıkıştırılmış klasörlerde düzenlenir; bu da konu tanımlayıcısı, veri edinme tarihi/saati, el yanlılığı, kamera türü/yanlılığı ve deneme numarasına dayanır.

Şekil 2: Görüntü ve video kaydı için ayaktan klinik kurulumu. İçme görevinin kinematiği bilgisayar görme ile uyumlu videodan çıkarılabilir; bu, stereo kamera, bilgisayar ve klinikte yaygın olarak bulunan eşyalar (sandalyeler, masalar, baskı kaynakları, clipboardlar, bardaklar, içme suyu) kullanılarak gerçekleştirilebilir. Kameranın tam konumu ve yönü cihaz modeline göre değişirken, (A) yaklaşık bir konum gösterilir; (B) bu konum, içki görevi sırasında deneğin vücudu ve üst uzuvlarını tamamen kapsayan beklenen çalışma alanını yakalamak için ayarlanabilir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 3: Web tabanlı bir klinisyen rehberi tarafından oluşturulan uyumlu görüntüler ve video. Web tabanlı klinisyen rehberinden alınan birincil çıktılar arasında (A) dama tahtası kalibrasyon deseninin senkronize edilmiş bir dizi görüntüsü ve (B) içme görevinin tüm aşamalarındaki performansını yakalayan deneğin senkronize iki videosu yer alır. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Toplanan görüntü ve video verilerine dayanarak, içme görevi sırasında üst uzuv biyomekaniği bilgisayar görüşü kullanılarak çıkarılabilir. Önemli olarak, ham veri toplama ile bilgisayar görme uygulaması birbirinden ayrılabilir. Önceki literatürde bu tür verilere uygulanması için çeşitli bilgisayar görme iş akışları^{tanımlanmıştır 16,18} veya kullanıcılar kendi özel hazırlanmış iş akışlarını uygulayabilirler. Örneğin, daha önce üç boyutlu insan pozunu tahmin etmek için bir bilgisayar görme iş akışı geliştirdik (Şekil 4) ve ardından üç kinematik metrik çıkardık. Kısacası, bu bilgisayar görme iş akışı aşağıdaki temel adımları içerir: (i) pikselleri gerçek dünya boyutlarına eşlemek için içsel ve dışsal kamera özelliklerini çıkarmak için kalibrasyon; (ii) insan duruşu tespiti, iki boyutlu görüntülerde insan vücudunun anatomik anahtar noktalarının piksel konumlarını nota etmek için; (iii) çift iki boyutlu görüntülerden üç boyutlu bilgiyi hesaplamak için kaldırma prosedürünün uygulanması; ve (iv) yörünge düzgünleştirme için filtrelerin uygulanması, örneğin hareketli ortalama ve Kalman filtreleri. Daha ayrıntılı bir açıklama mevcut makalenin kapsamının dışındadır ancak önceki^{çalışma 16'da} erişilebilir. Bu iş akışını uygulayarak, çıkarılan kinematik metrikler hareket akıcılığını (örneğin, hareket birimleri sayısı, NMU), kompensasyonu (örneğin, gövde yer değiştirmesi, TD) ve hareket süresini (MT) nicelikle ölçülür; bunların geçerli, güvenilir ve klinik değişikliklere yanıt verdiği gösterilmiştir; inme rehabilitasyon^{çalışmalarında 5,13,14}. Geleneksel işaretleyici tabanlı hareket yakalama sistemiyle karşılaştırıldığında, bu bilgisayar görüşü iş akışı, klinik olarak anlamlı değişim tahminlerine (3-7 NMU, 20-50 mm TD ve 2,5-5 s MT) kıyasla küçük hata (NMU_hatası -0,12 birim,_{TD hatası} 3,4 mm ve_{MT hatası} 0,15 s) ^verir.16. Belirli bir kinematik ölçütü, yani NMU tarafından hareket akıcılığını (Şekil 5) göstermek için, içme görevi sırasında bilek hızı profilinin bir grafiği, felç öyküsü olan bir bireyin (51 yaşında kadın, sağ el baskın, sağ medullada hafif sol hemipareze yol açan iskemik felç öyküsü) vaka çalışması sırasında ölçülen NMU'yu (örneğin, her hareket birimi kırmızı yıldızla gösterilir) gösterir. inme başlangıcı >6 ay önce, hipertansiyon ve sağ karpal tünel sendromu gibi eş hastalıklar).

Şekil 4: İnsan hareket verilerini çıkarmak için görüntü ve videoya bilgisayar görme uygulaması. İçme görevinin kinematiğini sağlamak için çeşitli bilgisayar görme iş akışları tanımlanmıştır. (A) İlk kalibrasyon adımı, pikselleri gerçek dünyanın boyutlarına eşlemek için 2D görüntüler gerektirir; (B) bu boyutlar projeksiyonel geometri kullanılarak 3D koordinatlara dönüştürülebilir. Daha sonra, insan pozu tahmini içme görevinin videolarına uygulanarak, (C) 2D anatomik anahtar noktalar otomatik olarak tespit edilebilir; bunlar, çeşitli metrik hesaplamalar ve görselleştirmeler için (D) 3D anahtar noktalara dönüştürülebilir; örneğin anahtar nokta yörüngeleri. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 5: İçme görevi sırasında hareket yumuşaklığının kinematik ölçütü. Alkol görevinden elde edilen 3D insan hareket verilerine dayanarak, inme sonrası çeşitli kinematik metrikler elde edilebilir. Kronik inme iyileşme aşamasındaki bir denek temelinde, hareket akıcılığının kinematik bir ölçüsü (örneğin, hareket birimleri sayısı, NMU, bilek hız profilindeki kırmızı yıldız sayısıyla gösterildiği gibi) bilgisayar görüşü ile videodan çıkarılarak (A) sol ve (B) sağ üst ekstremite arasındaki motor fonksiyon farkı objektif olarak ortaya çıkarılabilir. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Tartışma

Alkol görevinin kinematik değerlendirmesi, inme rehabilitasyon araştırmalarında kullanılmak üzere^{önerilmiştir 6}. Ancak, rehabilitasyon araştırmalarında kinematiklerin benimsenmesine engel olarak gösterilen pratik kaygılar arasında gösterilmiştir ve bu endişeler arasında insan biyomekaniğini ölçmek için geleneksel olarak kullanılan hareket yakalama teknolojilerinin maliyeti ve teknik gereksinimleri^{yer alır 15}. Bu endişeler, kinematik değerlendirmenin klinik benimsenmesini ve klinik uygulamaya aktarılmasını engellemektedir. Alternatif olarak, bilgisayar görüşüyle kinematik çıkarmak için daha pratik bir yaklaşım, tek bir stereo kamera, kişisel bilgisayar ve¹⁶ numaralı ayakta tedavi kliniklerinde yaygın olarak bulunan eşyalar kullanılarak gerçekleştirilebilir. Klinisyenler için tasarlanmış bir protokol sunuyoruz; bu protokol, içme görevinin kinematik metriklerini çıkarmak için bilgisayar görme iş akışıyla uyumlu bir görsel ve video kaydetmek için web tabanlı bir rehber kullanıyoruz. Uzun vadeli hedef, daha önce geliştirilmiş ve inme rehabilitasyon araştırmalarında kullanılması önerilen bu metriklere^erişimi artırmaktır 5,6,12,13,14.

Video senkronizasyonu, bilgisayar görüşünde çift kameralı yaklaşımlar için önemlidir. Çift kamera kurulumları insan gözlerini taklit eder; bu gözlerini aynı anda gerçek dünyadaki bir sahneyi biraz farklı noktalardan algılayarak derinlik algısı sağlar. Bilgisayar görüşünde, uygun senkronizasyon iki 2 boyutlu kaynaktan (örneğin, bir fotoğraftaki insan bileğinin piksel konumu) belirlenen 3 boyutlu bilginin doğruluğu için kritik olur (örneğin, bir Kartezyen koordinat sisteminde insan bileğinin konumu). Deneyimimize göre, çift kameralar 1 ms¹⁶ saniye içinde senkronize edildiğinde makul sonuçlar verebilir. Birkaç faktör senkronizasyonu azaltabilir; bunlara güvenilmez kamera kare hızları, kablolarda sınırlı veri aktarım hızları, yazılım verimsizlikleri ve sınırlı donanım özellikleri (örneğin, düşük RAM veya düşük seviye işlemciler) dahildir. Senkronizasyon sorunlarını hafifletmek için, bu protokol, daha küçük fiziksel bir alana sahip ve iki dahili görüntü sensöründen senkronize görüntüleri otomatik olarak yakalamak için takıp çalıştır (örneğin, standart bir kişisel bilgisayara tek USB bağlantısı) tasarlanmış hazır bir stereo kamera kullanır.

Kamera özellikleri, herhangi bir bilgisayar görüş uygulaması için dikkatli bir şekilde değerlendirilmesi gerektirir. Teoride, insan hareketlerinin daha yüksek çözünürlüklü görüntüleri ve daha yüksek kare hızı kayıtları, anatomik anahtar noktaların daha yüksek mekansal ve zamansal hassasiyetle tespit edilmesi için daha fazla veri sunar. Ancak, veri miktarı ile veriyi işlemek için mevcut hesaplama kaynakları arasında kaçınılmaz bir denge gereklidir. Tarif edilen protokol, 1280 x 720 piksel çözünürlükte ve 60 Hz kare hızında video kaydeden stereo kameraya dayanmaktadır; bu, içme görevi kinematiği için bilgisayar görme uygulamalı önceki çalışmalarla^{karşılaştırılabilir (16,18}). Bu videoları kaydederken, daha üst düzey tüketici sınıfı bir bilgisayar kullanırken (örneğin, 128 GB RAM ile 3.2 GHz CPU) ve dizüstü bilgisayarda (örneğin, 16 GB RAM ile 2.6 GHz CPU) karışık başarılar elde ettik. Alt seviye bilgisayarlar uygulandığında, tipik bir sorun eksik video karesidir; bu genellikle 20 saniyelik video kaydından daha kısa bir çıkış videosu olarak sunulur. Dikkat çekici bir şey olarak, veri hesaplama video karelerinin eksikliğinin yaygın bir nedeni olsa da, veri iletimi de önemlidir. Örneğin sağlık sektöründe, bilgisayar erişim portlarıyla (örneğin USB sürücüler) ilişkili güvenlik ayarları, güvenilir video kaydını engelleyen veri iletim gecikmelerine yol açabilir.

Görüş hattı paraziti, kalibrasyon ve insan pozu tahmini gibi bilgisayar görüşü iş akışındaki temel adımları zorlayacaktır. Kalibrasyon, standart boyutlu dama tahtası deseninin dijital görüntülerine dayanır; bu da bilgisayar görüşünün görüntü piksellerini gerçek dünyanın fiziksel boyutlarına eşlemesine olanak tanır. Dama tahtası deseninin net görselleştirmesi, bu haritalamanın başarı oranını artırır. Görsel parazit, aşağıdakiler dahil ancak bunlarla sınırlı olmayan çeşitli nedenlerle ortaya çıkabilir: (i) aydınlatma sorunları (örneğin, yakındaki bir pencereden gelen parlak parlama veya karanlık gölgeler); (ii) dama tahtanın aşırı hızlı hareketleri (örneğin, kamera pozlama süresinin uzaması nedeniyle görüntü bulanıklığı); veya (iii) uygunsuz kamera özellikleri (örneğin, yanlış odak mesafesi veya ciddi lens bozulması). İnsan poz tahmini, yapay zekayı kullanarak tek bir kişinin (tek poz tahmini) veya birden fazla kişinin (çoklu poz tahmini) görüntülerinden otomatik olarak anatomik işaretleri nota eder. İnsanın net görselleştirilmesi, poz tahmininin başarı oranı için kritik öneme sahiptir. Bazı görsel müdahaleler, bilgisayar görüşü parametrelerine (örneğin, yapay zeka mimarisi, tahmin eşikleri) bağlı olarak tolere edilebilir. Ancak, bir videonun insan pozu tahmini için uygunluğunu ölçmek için dikkat edilmesi gereken yaygın tuzaklar şunlardır: (i) tek pozlu tahmin durumunda çevredeki izleyiciler; (ii) gövde segmentleri aralıklı olarak kamera görüş alanının dışında; ve (iii) üst üste binen vücut segmentleri nedeniyle kendini kapamak.

Veri toplama işleminin bilgisayar görme iş akışından ayrılması hem avantaj hem de dezavantajlar sunar. Dikkate değer bir dezavantaj, klinisyenlerin ve hastaların karar alma süreçlerini yönlendirmede klinik olarak ilgili bilgilerin gecikmesidir. Potansiyel bir avantaj, klinisyen-hasta etkileşimindeki azalan müdahaledir. Örneğin, kalibrasyonun hastanın randevusu öncesinde yapıldığını varsayarsak, önceki^{literatür 12'de} tanımlandığı gibi içki görevinin 10 tekrarını video kaydetmek ideal olarak 4 dakikadan az video kayıt süresi ve protokole saf hastaları yönlendirmek için gereken süreyi gerektirir. Ayrıca, bu ayrışma, bilgi sorumluluğunu bölerek klinisyenin kabul görmesini artırabilir. Bu görev ayrımı kapsamında, klinisyen video değerlendirmelerinin ne zaman ve neden gerçekleştiğine sahiplenirken, veri bilimcileri/mühendisleri doğru/güvenilir klinik metriklerden sorumlu bilgisayar görme iş akışını (örneğin içki görevi kinematikleri) geliştirme sorumluluğunu alır. Gerçekten de, bu, klinisyenler tarafından rutin olarak sipariş edilen birçok kan tabanlı (örneğin tam metabolik paneller) ve görüntü tabanlı testlerin (örneğin MRI çalışmaları) mevcut gerçekliğine benzetilebilir. Son olarak, bu ayrışma yapay zeka alanı ilerlemeye devam ettikçe avantajlı olabilir. Bugün elde edilen video verileri, yarının daha gelişmiş bilgisayar görme çözümleri tarafından tekrar tekrar analiz edilebilir; bu da daha yüksek hız, doğruluk ve güvenilirlikle daha fazla kinematik metrik çıkarabilir.

Amacımız, ayaktan tedavi koşullarındaki klinisyenleri ve öngörülebilir şekilde evde çalışan bireyleri (örneğin, telerehabilitasyon) dahil olmak üzere rehabilitasyon topluluğu arasında üst uzuv kinematikasine erişimi daha da ilerletmektir. Bu protokol ve web tabanlı uygulama, şimdiye kadar çok odaklı bir faaliyet (yani içki görevi) ve nispeten odaklanmış bir paydaş grubu (yani klinisyen kullanıcılar ve içme görevini kolayca yerine getirebilen denekler) dikkate alınan erken bir geliştirme aşaması olarak görülmelidir. Daha çeşitli bir kullanıcı grubunu, daha çeşitli aktiviteleri ve daha çeşitli konu popülasyonlarını (örneğin, ciddi eksiklikleri olan ve aktivite uyumu gerektiren bireyler) karşılamak için gelecekteki sürümler gerekli olacaktır. Ayrıca, gelecekteki gelişmeler, yaygın uygulamadan önce elektronik tıbbi kayıtlara entegrasyon ve hasta gizliliği ve gizliliğinin sağlanması gibi önemli kontrol noktalarını içerecektir. Bu gelecekteki sürümler muhtemelen yeni teknolojileri de içerecek ve mevcut teknolojiyi geliştirecek. Örneğin, mevcut protokol, dürbün görüşüne dayalı bir bilgisayar görme iş akışını varsayıyor (örneğin, stereo kameralar). Mantıklı bir sonraki gelişme, dürbün veri setlerinde eğitilmiş yapay zekanın kullanılmasıyla elde edilebilecek monoküler görüş (örneğin daha temel kameralar) içeren bir protokoldür. Dikkate değer olan şu anki protokol, performans açısından zaten yeni çözümlerle yerini alan güncel bilgisayar görüş çözümleriyle uyumlu görüntü ve video verileri^{sağlıyor 18}. Burada açıklanan web tabanlı protokol, klinisyenlerin uygulamalarına bilgisayar görme için bir temel uygulamasını sağlayabilir; bu da yapay zeka teknolojisinin sağlık sektörüne nüfuz etmesi nedeniyle büyük ölçüde ilerlemesi muhtemeldir.

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
Kamera Montaj Kolu, 2 bölümlü, tek kişilikli ve kamera platformu	Manfrotto	196B-2	Stereo kamera için montaj
Kamera Tripod, 1/4 inç ve 3/8 inç standart montaj vidalarıyla uyumlu	iFootage	CB3 Üs	Stereo kameraya üçayaklı
Pano, standart harf boyutu	Yok	Yok	Kalibrasyon desenini sabitlemek için yüzey
Fincan, 8 oz plastik	Yok	Yok	İçme işi için su kabı
Yüksekliği ayarlanabilir sandalye, kilitli tekerlekli tekerlekler	Vermund Larsen A/S	VELA Bağımsızlığı	Konu için kürsü
Yüksekliği ayarlanabilir masa, kilitli tekerlekli	Midmark Corporation	6215 Dikdörtgen İş Istasyonu	İçme görevi için masa kurulumu
Kalibrasyon Checkerboard'un Baskısı	Yok	Yok	Kalibrasyon videosu için desen
İçki Görevi Aktivite Placemat'ının çıktısı,	Yok	Yok	İçme görevini yönlendirmek için yer paspası
Stereo Kamera, 4mm odak mesafesi, polarizator yok, 5m USB 3.0 kablosu	Stereolabs	Zed 2i	Video kaydı için stereo kamera
Bant	Yok	Yok	Baskılar için yapıştırıcı