LSTM Ağları
Tekrarlayan Sinir Ağı (RNN), bir zaman serisindeki önceki gözlemlere dayanarak bir sonraki zaman adımında değeri tahmin edebilen bir sinir ağıydı. RNN'ler, bir zaman serisinden bir gözlemi her seferinde işler ve gizli katmanda sürekli olarak bir "durum vektörü"nü ayarlayarak zaman serisinden tarihsel bilgileri saklar. RNN'lerin amacı tarihsel bilgileri zaman serileriyle öğrenmek olsa da, RNN'ler geri yayılma algoritması kullanılırken karşılaşılan gradyan kaybetme sorunu nedeniyle daha uzun zaman serilerini işlemek için uygun değildi. Uzun Kısa Süreli Bellek (LSTM) ağı, eğitim sırasında karşılaşılan gradyan kaybolma sorununu çözen bir RNN varyantıdır ve bu da onu daha uzun zaman serilerini yönetebilmesini sağlar. Standart RNN'lere kıyasla, LSTM'lerin üç ek kapı kontrol ünitesi vardır: giriş kapısı, unut kapısı ve çıkış kapısı. Şekil 1, LSTM'nin temel yapısını ve beş temel bileşenden oluşan temel mimari çerçevesini tanımlar: üç sigmoid aktivasyon fonksiyonu ve iki hiperbolik teğet (tanh) aktivasyon fonksiyonu. Solda konumlanan sigmoid fonksiyonun, önceki zaman adımından gelen bilginin iletimini düzenlemede kritik bir rol üstlenmesi dikkat çekiciydi; bu düzenleyici süreci desteklemek için bilgiyi filtreleme ve iyileştirme işlevlerini yerine getirmektedir; bu, aşağıdaki denklemle açıklanmıştır:
(1)

Şekil 1. LSTM ağının temel yapısı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Unutma kapısı "ft" olarak hareket ederken, giriş dizileri "xt" olarak hareket eder ve "ht-1" birimin çıkışından önce gizlenmiş bilgidir. Forget gate, hangi bilgilerin atılması veya saklanması gerektiğini belirlemekle sorumluydu, giriş kapısı bellek biriminin durumunu güncelleyebiliyordu ve çıkış kapısı sonraki gizli durumun değerini belirleyebiliyordu. Bu üç kapı ft, it ve ot olarak gösterilir.
(2)
(3)
(4)
(5)
(6)
Denklem (3), tanh fonksiyonu tarafından oluşturulan aday hücre durumu C't'yi tanımlar; bu durum hücre durumuna yeni değerler eklenmesini önerir. Özellikle, modelin girdisi, iki sigmoid fonksiyonun çıktılarının Denklem (5)'te gösterildiği gibi başlangıç tanh fonksiyonunun çıktılarıyla entegre edilmesiyle formüle edilmiştir.
Denklem (4), modelin ilk çıktı değeri olan sağ sigmoid fonksiyonu karakterize eder; bu fonksiyon, daha sonra hiperbolik teğet fonksiyonu (tanh) aracılığıyla [−1, 1] aralığına eşlenmiştir. Bunun ardından, hem tanh fonksiyonundan çıkan değer hem de sigmoid fonksiyonunun çıktısı, Denklem (6)'da örneklendiği gibi, ilgili gerçek çıktı değerlerine dönüştürülür.
LSTM'de, sigmoid fonksiyon mevcut bilgiyi düzenlerken, hiperbolik teğet (tanh) fonksiyonu tarihsel bilgiyi işlemekten sorumlu olabilir. Bu iki fonksiyonun entegrasyonu, LSTM'lere öngörü yeteneklerini kazandırır. Geleneksel RNN'lerle karşılaştırıldığında, LSTM'lerin avantajı, giriş veri belleğinin tamamını t+1 zaman adımına kadar yakalayabilen gelişmiş mimarisindedir. Bu hafızanın bütünlüğü, sigmoid fonksiyonunun kolaylaştırdığı kapı mekanizması sayesinde korunur ve böylece kritik bilgiler uzun süre saklanır.
HP Filtresi
Hodrick-Prescott filtresi (HP filtresi), Hodrick ve Prescott tarafından 1980 yılında önerilen olup, ekonomik analiz ve zaman serileriyle ilgili analizlerde yaygın olarak kullanılmaktadır. HP filtresi, analiz edilecek veri setinin uzun vadeli değişiklikler ve kısa vadeli dalgalanmaların bir kombinasyonu olduğunu varsayar; zaman serisi Y={y1, y2, ⋯, yT} iki alt seriye ayrılır: uzun vadeli trend serisi G={g1, g2, ⋯, gT} ve kısa vadeli dalgalanma serisi S={s1, s2, ⋯, sT}. Uzun vadeli trend serisi gT, burada t=1,2,⋯,T, aşağıdaki ifadenin en aza indirilmesiyle türetilir:
(7)
Burada T, yt zaman serisindeki örnek sayısını temsil eder ve λ 0'dan büyüktür; bu, terimlerin ağırlıklarını gösteren
yumuşatma parametresi
olarak bilinir. λ=0 olduğunda, minimize etme problemini sağlayan uzun vadeli trend serisi G orijinal seri Y'ye eşittir. λ değeri arttıkça, uzun vadeli trend serisindeki toplam değişim sayısı orijinal seridekine göre azalır; yani daha büyük bir λ daha pürüzsüz uzun vadeli trend serisine yol açar. λ sonsuzluğa yaklaştığında, uzun vadeli trend serisi doğrusal bir fonksiyona benzeyecektir. Kısa vadeli dalgalanma serisi, uzun vadeli trend serisinin orijinal zaman serisinden çıkarılmasıyla elde edilebilir, yani S=Y-G.
HP filtresini uygulamadan önce, farklı yumuşatma parametreleri belirgin uzun vadeli eğilimleri ve kısa vadeli dalgalanmaları belirlediği için uygun bir yumuşatma parametresi λ seçmek zorunluydu. Önceki ilgili araştırmalara göre, bu çalışmada λ değeri 100 olarak belirlenmiştir.
Katılımcı Hazırlığı ve Etik Onay
Etik onay, İç Moğolistan Tıp Üniversitesi Etik İnceleme Komitesi'nden alınmıştı (No. YKD202001041) herhangi bir veri toplamadan önce. İç Moğolistan Tıp Üniversitesi Moğol Tıp Fakültesi'nden tam zamanlı bir araştırmacı, Çin Geleneksel Moğol Osteopatisi (CTMO) yuvarlama yönteminde uzman olarak işe alındı. Katılımcıdan yazılı bilgilendirilmiş onay alındı. Tüm prosedürler Helsinki Bildirgesi'nin ilkelerine uydu.
Ekipman Kurulumu ve Kalibrasyonu
CTMO yuvarlama yönteminin mekanik parametrelerini toplamak için 24 mekanik sensörle donatılmış çok kanallı el tutması güç testi sistemi kullanıldı (sistem düzeni ve sensör konumlandırması için Şekil 2 ve Şekil 3'e bakınız). Tüm 24 kuvvet sensörü üreticinin talimatlarına göre kalibre edildi. Veri toplama yazılımı, verileri 100 Hz örnekleme frekansında kaydedecek ve gerçek zamanlı kuvvet okumalarını Newton (N) cinsinden gösterecek şekilde yapılandırıldı. Kayıt süresi deneme başına 60 saniye olarak ayarlandı.

Şekil 2. Çok kanallı el tutuşu güç testi sistemi. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Şekil 3. Çok kanallı tutuş güç testi sistemine dayalı masaj manipülasyonu alma arayüzü. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Veri toplama
Katılımcıya enstrümantlı eldiven takması ve standart başlangıç pozisyonunu alması talimatı verildi. Yapay insan ön kol modeli, katılımcının önünde stabil, yatay bir yüzeye yerleştirildi. Veri kayıt yazılımı başlatıldığında, katılımcı ön kol modelinin belirlenen alanında CTMO yuvarlanan manipülasyonunu 1 dakika boyunca sürekli olarak gerçekleştirdi. Ham veri dosyası, tüm 24 sensörün zaman damgaları ve kuvvet okumalarını içeren yapılandırılmış bir formatta (örneğin .csv veya .txt) kaydedildi. Bu prosedür tekrarlandı ve toplamda 150 bağımsız deneme tamamlandı. Katılımcı, yorgunlukla tetiklenen değişkenliği en aza indirmek için çalışmalar arasında en az 30 saniye dinlendi. R (sürüm 4.2) daha sonra hareket kuralları ve eklem hareket aralığı açılarını hesaplamak ve tekniğin operasyonel özelliklerini özetlemek için kullanıldı.
Özellik Görselleştirme Yoluyla Sensör Seçimi
Tüm denemelerdeki 24 sensörün ham kuvvet verileri R'ye yüklendi. Her sensör için ortalama kuvvet büyüklüğü ve varyans tüm veri seti boyunca hesaplandı. R'deki ggplot2 paketi kullanılarak her parmak falanks/metakarpal figürünün toplam kuvvet etkisine göreceli katkısını göstermek için bir baloncuk doldurma diyagramı oluşturuldu. Bu diyagrama (Şekil 4) dayanarak, sensör 8 (küçük parmak proksimal falanksı), 13 (orta parmak distal falanksı) ve 2 (işaret parmağının distal falanksı) en yüksek kuvvet büyüklüklerini ve değişkenliğini sergilemiş ve bu nedenle sonraki modelleme için birincil giriş özellikleri olarak seçilmiştir.

Şekil 4. Yuvarlama yönteminde eklemlerin baloncuk doldurma diyagramı. (1) işaret parmağının proksimal falanksı; (2) işaret parmağının distal falanksi; (3) işaret parmağının metakarpal kısmı; (4) işaret parmağının orta falanksı; (5) yüzük parmağı proksimal falanks; (6) yüzük parmağının distal falanksı; (7) yüzük parmağı metakarpal falanks; (8) küçük parmak proksimal falanks; (9) küçük parmağın distal falanksı; (10) küçük parmağın metakarpal kısmı; (11) küçük parmak orta falanksı; (12) orta parmak proksimal falanks; (13) orta parmak distal falanks; (14) orta parmağın metakarpal kısmı; (15) Orta parmağın orta falanksı. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Zaman serisi modelleme için veri ön işleme
Seçilen sensörler için zaman serisi kuvvet verileri F8(t), F13(t) ve F2(t) ham veri setinden çıkarıldı. Kayıt zaman damgalarının [0'1] aralığına ölçeklendirilmesiyle normalize edilmiş zaman değişkeni T oluşturuldu. Aşağıdaki formül kullanıldı:

Burada t, orijinal zaman damgası saniye cinsindendi. Her deneme için, kuvvet verileri ve normalize zaman, N × 4 boyutlarında çok değişkenli bir zaman serisi veri setine birleştirildi; burada N, zaman adımlarının sayısı (100 Hz'de 60 saniyelik bir deneme için 6.000 adım) ve sütunlar [T'F8'F 13'F 2] ile karşılık geliyordu.
Hodrick–Prescott (HP) filtreleme
Hodrick–Prescott filtresi, F8, F13 ve F2 kuvvet sinyallerinin her birine bağımsız olarak uygulandı. Düzgünleştirme parametresi λ = 100 olarak ayarlandı. Bu değer, ilk 2.000 veri noktasında gözlemlenen uzun vadeli kuvvet eğiliminin yaklaşık yıllık/döngüsel yapısına göre seçilmişti (Şekil 5'te gösterildiği gibi) ve biyomekanik kuvvet özelliklerini korumak için uygun görüldü.

Şekil 5. HP filtre etkilerinin λ = 100 ve λ = 10.000 ile karşılaştırılması, Sensör 8'den alınan ilk 2.000 veri noktasında. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Uygulama notu: R'deki mFilter paketinden hpfilter fonksiyonu, freq = 100 argümanı ile kullanıldı.
Her sensör sinyali için iki bileşen elde edildi: trend bileşeni G(t) ve döngüsel bileşen C(t), burada
. Son giriş özellik matrisi, normalleştirilmiş zamanın HP-filtreli trend ve seçilen üç sensörün döngüsel bileşenleriyle birleştirilmesiyle oluşturuldu. Bu, N × 7 boyutlu bir veri seti ortaya çıkardı:
. Veri seti kronolojik olarak eğitim (%70), doğrulama (%15) ve test (%15) alt kümelerine ayrılmıştır. Kritik: Zaman dizilerinin rastgele karıştırılması, zaman sızıntısını önlemek için kaçınıldı. Test seti, kaydedilen zaman dizisinin son %15'ini içeriyordu.
HP filtreleme ile iki katmanlı LSTM modelinin inşası
Hesaplama ortamı, R dilinde Keras API'si ile TensorFlow (sürüm 2.10) kullanılarak kuruldu. Sinir ağı mimarisi şu şekilde tanımlanmıştır:
Giriş Katmanı: Şekil = (dizi uzunluğu'7), burada sequence_length, giriş örneği başına zaman adımı sayısıdır (100 adım kullanılmıştır).
İlk LSTM Katmanı: Birim = 50, return_sequences = DOĞRU. Tanh aktivasyon fonksiyonu tekrarlayan adımda, sigmoid ise kapı aktivasyonları için kullanıldı.
İkinci LSTM Katmanı: Birim = 50, return_sequences = YANLIŞ.
Tam Bağlı (Yoğun) Katman: Birim = 1 (tek değişkenli kuvvet tahmini için). HP filtreleme ile çift katmanlı LSTM modelinin veri ön işlemesinden nihai tahmine kadar olan tüm iş akışı Şekil 6'da gösterilmiştir. Çıkış hedefi, bir sonraki zaman adımında (bir adım önde tahmin) Sensör 8'deki kuvvet değeriydi.

Şekil 6. Çift katmanlı LSTM uygulama iş akışı tablosu. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.
Model, aşağıdaki hiperparametrelerle Adam optimizasyon algoritması kullanılarak derlenmiştir: Öğrenme oranı: 0.001; Bozulma oranı: 0.001; Kayıp fonksiyonu: Ortalama Kare Hata (MSE). Model, 32 parti büyüklüğüyle 20 dönem için eğitildi. Erken Durdurma, overfiting'i önlemek için doğrulama kaybını izleyen 5 dönemlik sabırla uygulandı. Düzenleme için LSTM katmanları arasında 0.2 Dropout oranı uygulandı. Eğitim verileri, her dönemde sadece parti düzeyinde—sıralı sırada değil—karıştırıldı; böylece zamansal tutarlılık korunurken gradyan iniş için stokastisite eklendi.
Test veri seti yapılandırması
Önerilen modellerin öngörücü performansını değerlendirmek için, önceden işlenen veri seti kronolojik olarak üç alt kümeye ayrıldı: eğitim (%70), doğrulama (%15) ve test (%15). Kronolojik ayrım, gelecekteki bilgilerin eğitim sürecine sızmamasını sağladı. Test seti, 3 sensör = kaydedilen dizinin 6.000 veri noktası × son 2.000 zaman adımını içeriyordu ve bu da orijinal örnekleme hızı olan 100 Hz'de yaklaşık 20 saniyelik sürekli kuvvet etkisi verisine karşılık geliyordu. Daha uzun süreli tahmin yeteneklerinin değerlendirilmesi için, 20 ardışık 60-saniyelik denemenin zamansal sırası korunarak kronolojik olarak birleştirilerek 1.200 saniyelik (120.000 zaman adımı) genişletilmiş bir test dizisi oluşturuldu. Birleştirilmiş denemeler arasındaki kuvvet sürekliliği, ani geçişlerin olmaması için doğrulandı.
Performans metrikleri
Tahmin doğruluğunu niceliklendirmek için üç standart regresyon metriği hesaplandı:
Belirlenme Katsayısı (R2): Olarak tanımlanır,
burada yi ve
sırasıyla gerçek ve tahmin edilen kuvvet değerlerini gösterir ve
gerçek değerlerin ortalamasıdır. R2, model tarafından açıklanan kuvvet verilerindeki varyans oranını ölçür.
Ortalama Mutlak Hata (MAE): Şöyle tanımlanır.
MAE, tahmin hatalarının ortalama büyüklüğünü Newton (N) birimlerinde sunar.
Kök Ortalama Kare Hatası (RMSE): Olarak tanımlanır.
RMSE, büyük hata sapmalarına duyarlıdır ve Newton (N) cinsinden ifade edilir.
Tüm metrikler, ön işlem sırasında uygulanan normalizasyon veya ölçeklendirme dönüşümleri tersine çevrildikten sonra görünmeyen test setinde hesaplandı.
Karşılaştırmalı temel modeller
Önerilen iki katmanlı LSTM'yi Hodrick–Prescott (HP) filtreleme ile kıyaslamak için, aşağıdaki alternatif modeller aynı eğitim, doğrulama ve test bölünmeleri altında uygulandı ve değerlendirildi. Tüm sinir ağı modelleri için hiperparametreler, adil bir karşılaştırma sağlamak için doğrulama seti kullanılarak ayarlandı.
HP filtreleme olmadan tek katmanlı LSTM
Mimari: 50 gizli birimden oluşan tek bir LSTM katmanı, ardından tek çıkış nöronlu tam bağlantılı yoğun bir katman.
Giriş özellikleri: Sensörler 8, 13 ve 2'den ham kuvvet verileri ve normalize edilmiş zaman (4 boyutlu girdi).
Eğitim: Adam optimizer, öğrenme oranı = 0.001, azalma = 0.001, parti büyüklüğü = 32, erken durma (sabır = 5) ile 20 dönem boyunca eğitilmiş, doğrulama kaybını izlemek.
HP filtreleme olmadan çift katmanlı LSTM
Mimari: Her biri 50 gizli birim içeren iki üst üste yığılmış LSTM katmanı. İlk LSTM katmanı tam dizileri geri getirirken, ikinci LSTM katmanı yalnızca son gizli durumu geri getiriyordu. Ardından bir nöronlu yoğun bir çıkış katmanı geldi.
Giriş özellikleri: Yukarıdaki gibi (4 boyutlu ham kuvvet girişleri).
Eğitim parametreleri: Tek katmanlı LSTM konfigürasyonu ile aynı.
HP filtreleme ile tek katmanlı LSTM
Mimari: 50 gizli birimden oluşan tek bir LSTM katmanı ve ardından yoğun bir çıkış katmanı.
Giriş özellikleri: 8, 13 ve 2 sensörleri için HP-ayrıştırılmış eğilim ve döngüsel bileşenler, ayrıca normalleştirilmiş zaman T (Protokol'de tanımlandığı gibi 7 boyutlu girdi).
Eğitim parametreleri: Yukarıdaki gibi.
PCA-LSTM
Boyutsal küçültme: Ana Bileşen Analizi (PCA), 7 boyutlu HP filtreli özellik matrisine uygulanarak üç ana bileşen çıkarılmış ve bu bileşenler özellik setindeki varyansın %>95'ini topluca açıklamıştır.
Mimari: 50 gizli birimden oluşan tek bir LSTM katmanı, üç ana bileşen zaman serisini giriş olarak alır.
Eğitim parametreleri: Yukarıdaki gibi.
Geri Yayılma (BP) sinir ağı
Mimari: 64 nöron ve ReLU aktivasyonu içeren gizli bir katmana sahip ileriye doğru besleme sinir ağı. Çıkış katmanı tek bir lineer nöron içeriyordu.
Giriş temsili: Zaman serisi verileri, sabit uzunlukta özellik vektörlerine düzleştirildi (100 zaman adımı × 7 özellik = 700 giriş boyutu).
Eğitim: Adam optimizer ile öğrenme oranı = 0.001, ortalama kare hata kaybı, 100 dönem için eğitilmiş, parti boyutu 64. Sabırla erken bırakma = 10 uygulandı.
Rastgele Orman regressoru
Algoritma: 100 karar ağacından oluşan bir topluluk, maksimum derinliği 10 ve bölünme başına minimum örnek 5'e ayarlanmıştır.
Giriş temsili: BP sinir ağı için kullanılan aynı düzleştirilmiş özellik vektörleri (700 boyutlu girdi).
Uygulama: Scikit-learn kütüphanesinden (sürüm 1.2) RandomForestRegressor, yukarıda belirtilen durumlar dışında varsayılan hiperparametrelerle kullanılmıştır.
İstatistiksel değerlendirmeler
Öngörücü performansın sağlamlığını değerlendirmek için, her model konfigürasyonu farklı rastgele başlatmalarla beş kez eğitildi ve değerlendirildi (uygun olduğunda). Bildirilen metrikler, beş koşu boyunca ortalama değerleri temsil eder ve değişkenliği nicelendirmek için standart sapma ile birlikte kullanılır. Zaman dizileri üzerinde zaman sıralamasını korumak için çapraz doğrulama uygulanmadı; Bunun yerine, hiperparametre ayarlaması için sabit kronolojik doğrulama seti kullanıldı.