Summary
Basit, konforlu ve hızlı bir düşme algılama ve insan aktivitesi tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji salıyoruz. Amaç kolayca uygulanabilir ve benimsenebilir doğru sonbahar algılama için bir sistem oluşturmaktır.
Abstract
Bu makale, basit, rahat ve hızlı bir düşme algılama ve kolayca uygulanabilen ve benimsenebilecek insan aktivitesi tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji sunmaktadır. Metodoloji, belirli sensör türlerinin, makine öğrenimi yöntemlerinin ve prosedürlerinin konfigürasyonuna dayanmaktadır. Protokol dört aşamaya ayrılmıştır: (1) veritabanı oluşturma (2) veri analizi (3) sistem basitleştirme ve (4) değerlendirme. Bu metodolojiyi kullanarak, sonbahar algılama ve insan aktivitesi tanıma, yani UP-Fall Detection için bir multimodal veritabanı oluşturduk. 3 deneme sırasında 5 tür düşme ve 6 farklı basit etkinlik gerçekleştiren 17 deneğin veri örneklerini içerir. Tüm bilgiler 5 giyilebilir sensör (üç eksenli ivmeölçer, jiroskop ve ışık yoğunluğu), 1 elektroensefalograf kaskı, ortam sensörleri olarak 6 kızılötesi sensör ve yanal ve ön görüş açılarında 2 kamera kullanılarak toplandı. Önerilen yeni metodoloji, bir sonbahar algılama sistemini basitleştirmek için aşağıdaki tasarım konularının derin bir analizini yapmak için bazı önemli aşamalar ekler: a) basit bir sonbahar algılama sisteminde hangi sensörlerin veya sensörlerin kombinasyonunun kullanılacağını seçmek, b) bilgi kaynaklarının en iyi yerleşimini belirlemek ve c) sonbahar ve insan aktivitesi algılama ve tanıma için en uygun makine öğrenimi sınıflandırma yöntemini seçmek. Literatürde bildirilen bazı multimodal yaklaşımlar sadece yukarıda bahsedilen konulardan bir veya ikisine odaklansa da, metodolojimiz aynı anda insan düşüşü ve etkinlik algılama ve tanıma sistemiile ilgili bu üç tasarım probleminin aynı anda çözülmesine olanak sağlamaktadır.
Introduction
Nüfus yaşlanma dünya fenomeni beri1, sonbahar yaygınlığı artmıştır ve aslında önemli bir sağlık sorunu olarak kabul edilir2. Bir düşüş meydana geldiğinde, insanlar olumsuz sonuçları azaltmak için acil dikkat gerektirir. Güz algılama sistemleri, bir düşüş meydana geldiğinde bir uyarı göndererek bir kişinin tıbbi yardım aldığı süreyi azaltabilir.
Güz algılama sistemlerinin çeşitli kategorirasyonları vardır3. İlk çalışmalar4, düşme algılama sistemlerini algılama yöntemlerine, kabaca analitik yöntemlere ve makine öğrenimi yöntemlerine göre sınıfa sınıfa tır. Daha yakın zamanda, diğer yazarlar3,5,6 sonbahar dedektörleri sınıflandırmak için ana özelliği olarak veri toplama sensörleri kabul etmiş. Igual ve ark.3, sonbahar algılama sistemlerini görüş ve ortam sensörü tabanlı yaklaşımları ve giyilebilir cihaz sistemlerini içeren bağlam duyarlı sistemlere böler. Mubashir ve ark.5, veri toplamada kullanılan cihazlara göre düşme dedektörlerini üç gruba ayırır: giyilebilir cihazlar, ortam sensörleri ve görme tabanlı cihazlar. Perry ve ark.6, ivmeyi ölçme yöntemlerini, ivmeyi ölçme yöntemlerini diğer yöntemlerle birlikte ve ivmeyi ölçmeme yöntemlerini dikkate alır. Bu anketlerden, sensörlerin ve yöntemlerin genel araştırma stratejisini sınıflandırmanın temel unsurları olduğunu belirleyebiliriz.
Sensörlerin her biri Xu ve ark.7'detartışılan zayıf lıklara ve güçlü yönlere sahiptir. Görme tabanlı yaklaşımlar ağırlıklı olarak normal kameralar, derinlik sensörü kameralar ve / veya hareket yakalama sistemleri kullanın. Normal web kameraları düşük maliyetli ve kullanımı kolay, ancak çevre koşullarına duyarlı (ışık değişimi, tıkanıklık, vb), sadece azaltılmış bir alanda kullanılabilir ve gizlilik sorunları var. Kinect gibi derinlik kameraları, tam vücut 3D hareket7 sağlar ve normal kameralara göre ışık koşullarından daha az etkilenir. Ancak, Kinect dayalı yaklaşımlar olarak sağlam ve güvenilir değildir. Hareket yakalama sistemleri daha pahalı ve kullanımı zor.
Dahili ivmeölçerlere sahip ivmeölçer cihazlara ve akıllı telefonlara/saatlere dayalı yaklaşımlar, düşme algılamaiçin çok yaygın olarak kullanılır. Bu cihazların en büyük dezavantajı uzun süre giyilmesi gerektiğidir. Rahatsızlık, obtrusiveness, vücut yerleştirme ve oryantasyon bu yaklaşımlar da çözülmesi gereken tasarım sorunları vardır. Akıllı telefonlar ve akıllı saatler sensörleri daha az rahatsız edici cihazlar olmasına rağmen, yaşlı insanlar genellikle unutmak ya da her zaman bu cihazları giymek yok. Bununla birlikte, bu sensörler ve cihazların avantajı birçok oda ve / veya açık havada kullanılabilir olmasıdır.
Bazı sistemler düşmeleri/aktiviteleri tanımak için çevreye yerleştirilen sensörleri kullanır, böylece insanlar sensörleri takmak zorunda kalmaz. Ancak, bu sensörler de 8konuşlandırılan ve bazen yüklemek zor yerler ile sınırlıdır. Son zamanlarda, multimodal düşme algılama sistemleri daha fazla hassasiyet ve sağlamlık elde etmek için farklı görüş, giyilebilir ve ortam sensörleri kombinasyonları içerir. Ayrıca bazı tek sensör sınırlamalarının üstesinden gelebilirler.
Sonbahar algılamaiçin kullanılan metodoloji, veri toplama, sinyal önişleme ve segmentasyon, özellik çıkarma ve seçme, eğitim ve sınıflandırma aşamalarından oluşan Bulling ve ark.9tarafından sunulan insan aktivitesi tanıma zinciri (ARC) ile yakından ilişkilidir. Bu aşamaların her biri için tasarım sorunları çözülmelidir. Her aşamada farklı yöntemler kullanılır.
Basit, rahat ve hızlı insan düşüşünü ve insan aktivitesi algılama/tanıma sistemini yapılandırmak için multimodal sensörlere dayalı bir metodoloji salıyoruz. Amaç kolayca uygulanabilir ve benimsenebilir doğru sonbahar algılama için bir sistem oluşturmaktır. Önerilen yeni metodoloji ARC'a dayanmaktadır, ancak sistemi basitleştirmek için aşağıdaki konuların derin bir analizini yapmak için bazı önemli aşamalar ekler: (a) basit bir düşme algılama sisteminde hangi sensörlerin veya sensörlerin kombinasyonunun kullanılacağını seçin; (b) bilgi kaynaklarının en iyi yerleşimini belirlemek; ve (c) basit bir sistem oluşturmak için sonbahar algılama ve insan aktivitesi tanıma için en uygun makine öğrenimi sınıflandırma yöntemini seçin.
Literatürde yukarıda bahsedilen tasarım konularından bir ya da ikisini ele alan ilgili çalışmalar vardır, ancak bizim bilgimize göre, tüm bu sorunların üstesinden gelmek için bir metodolojiye odaklanan bir çalışma yoktur.
İlgili çalışmalar, sağlamlık kazanmak ve hassasiyeti artırmak için sonbahar algılama ve insan aktivitesi tanıma10,11,12 için multimodal yaklaşımlar kullanır. Kwolek ve ark.10, ivmeometrik verilere ve derinlik haritalarına dayalı bir sonbahar algılama sisteminin tasarlanmasını ve uygulanmasını önermiştir. Onlar üç eksenli ivmeölçer potansiyel bir düşüş yanı sıra kişinin hareket tespit etmek için uygulanan ilginç bir metodoloji tasarlanmıştır. Hızlanma ölçüsü bir eşiği aşarsa, algoritma bir kişinin derinlik haritasını çevrimiçi güncelleştirilmiş derinlik başvuru haritasından farklı olarak ayıklar. Bir destek vektör makine sınıflandırıcıkullanılarak derinlik ve ivmeölçer kombinasyonlarının analizi yapıldı.
Ofli ve ark.11, yeni insan aktivitesi tanıma sistemleri için bir test yatağı sağlamak amacıyla bir Multimodal Human Action Database (MHAD) sunmuştur. Eylemler 1 optik hareket yakalama sistemi, 4 çok görüntü kamera, 1 Kinect sistemi, 4 mikrofon ve 6 kablosuz ivmeölçer kullanılarak aynı anda toplandığı için veri seti önemlidir. Yazarlar her modalite için sonuçlar sundu: Kinect, mocap, ivmeölçer, ve ses.
Dovgan ve ark.12 yaşlılarda düşme de dahil olmak üzere anormal davranışları tespit etmek için bir prototip önerdi. Düşme ve olağandışı davranış tespiti için en uygun ekipmanı bulmak için üç sensör sistemi için testler tasarladılar. İlk deney, kalçalara, dizlere, ayak bileklerine, bileklerine, dirseklerine ve omuzlara bağlı 12 etiketli akıllı sensör sisteminden elde edilen verilerden oluşuyor. Ayrıca bel, göğüs ve her iki ayak bileği bağlı dört etiketleri ile bir Ubisense sensör sistemi kullanarak bir test veri seti oluşturdu, ve bir Xsens ivmeölçer. Üçüncü bir deneyde, dört denek sadece Ubisense sistemini kullanırken 4 tür düşme, 4 sağlık problemi anormal davranış ve günlük yaşam (ADL) farklı aktivite olarak gerçekleştirir.
Literatürde diğer çalışmalar13,14,15 çeşitli sınıflandırıcılar ile sensörlerçeşitli kombinasyonları performansını karşılaştırarak sonbahar algılama için sensörler veya cihazların en iyi yerleşim bulma sorunu ele. Santoyo ve ark.13, 5 sensörün yerin güz tespiti için önemini değerlendiren sistematik bir değerlendirme sundu. Bu sensör kombinasyonlarının performansını k-en yakın komşular (KNN), destek vektör makineleri (SVM), saf Bayes (NB) ve karar ağacı (DT) sınıflandırıcıları kullanarak karşılaştırdılar. Onlar konu sensörü konumu kullanılan sınıflandırıcı bağımsız güz dedektörü performansı üzerinde önemli bir etkisi olduğu sonucuna varMıştır.
Düşme tespiti için vücuda giyilebilir sensör yerleşimlerinin karşılaştırılması Özdemir14tarafından sunulmuştur. Sensör yerleşimini belirlemek için, yazar aşağıdaki pozisyonların 31 sensör kombinasyonunu analiz etti: baş, bel, göğüs, sağ bilek, sağ ayak bileği ve sağ uyluk. 14 gönüllü 20 simüle düşme ve 16 ADL gerçekleştirdi. O en iyi performans tek bir sensör bu kapsamlı kombinasyon deneyleri bel üzerinde konumlandırılmış elde edildi bulundu. Bir diğer karşılaştırma da Özdemir'in veri seti kullanılarak Ntanasis15 tarafından sunulmuştur. J48, KNN, RF, rastgele komite (RC) ve SVM: Yazarlar aşağıdaki sınıflandırıcılar kullanarak baş, göğüs, bel, bilek, ayak bileği, ayak bileği ve uyluk tek pozisyonları karşılaştırıldı.
Sonbahar tespiti için farklı hesaplama yöntemlerinin performans kriterleri deliteratürdebulunabilir 16,17,18. Bagala ve ark.16, reel düşüşler üzerinde test edilen on üç düşme algılama yönteminin performansını kıyaslamak için sistematik bir karşılaştırma sundu. Onlar sadece bel veya gövde yerleştirilen ivmeölçer ölçümleri dayalı algoritmalar kabul. Bourke ve ark.17, adc'ların bir veri kümesini kullanarak düşüş algılama için beş analitik algoritmanın performansını değerlendirdi ve ivmeölçer okumalarına dayalı olarak düştü. Kerdegari18 de kaydedilen ivme verileri bir dizi için farklı sınıflandırma modellerinin performansı nın bir karşılaştırma yaptı. Sonbahar algılamaiçin kullanılan algoritmalar zeroR, oneR, NB, DT, çok katmanlı perceptron ve SVM idi.
Alazrai ve ark.18 tarafından insan aktivitesinin birikmiş histogram tabanlı temsilini oluşturmak için hareket pozu geometrik tanımlayıcı kullanılarak sonbahar algılama metodolojisi önerilmiştir. Çerçeveyi Kinect sensörleri ile toplanan bir veri kümesi ni kullanarak değerlendirdiler.
Özetle, multimodal sonbahar algılama ile ilgili eserler bulundu10,11,12 yöntemleri farklı kombinasyonları performansını karşılaştırın. Bazı yazarlarsensörler13,14,,15,veya sensörler13 kombinasyonları çeşitli sınıflandırıcılar13,15,,16 aynı modalite ve ivmeölçerbirden fazla sensörler ile en iyi yerleşim bulma sorunu ele. Literatürde adres yerleştirme, multimodal kombinasyonlar ve sınıflandırıcı kıyaslama ile aynı anda herhangi bir çalışma bulunamadı.
Protocol
Burada açıklanan tüm yöntemler Universidad Panamericana Mühendislik Fakültesi Araştırma Komitesi tarafından onaylanmıştır.
NOT: Bu metodoloji, basit, hızlı ve çok modal bir düşüş algılama ve insan aktivitesi tanıma sistemini yapılandırmak için belirli sensör türlerinin, makine öğrenimi yöntem ve prosedürlerinin konfigürasyonuna dayanmaktadır. Bu nedenle, aşağıdaki protokol aşamalara ayrılır: (1) veritabanı oluşturma (2) veri analizi (3) sistem basitleştirme ve (4) değerlendirme.
1. Veritabanı oluşturma
- Veri toplama sistemini ayarlayın. Bu, deneklerden gelen tüm verileri toplar ve bilgileri bir alma veritabanında saklar.
- Bilgi kaynağı olarak giyilebilir sensörler, ortam sensörleri ve görme tabanlı cihazların türlerini seçin. Her bilgi kaynağı, kaynak başına kanal sayısı, teknik özellikler ve her birinin örnekleme oranı için bir kimlik atayın.
- Tüm bilgi kaynaklarını (örneğin, giyilebilir cihazlar ve ortam sensörleri ve görme tabanlı aygıtlar) merkezi bir bilgisayara veya dağıtılmış bir bilgisayar sistemine bağlayın:
- Kablolu tabanlı aygıtların tek bir istemci bilgisayara düzgün şekilde bağlı olduğunu doğrulayın. Kablosuz tabanlı aygıtların tam olarak şarj edilmiş olduğunu doğrulayın. Düşük pilin kablosuz bağlantıları veya sensör değerlerini etkileyebileceğini göz önünde bulundurun. Ayrıca, aralıklı veya kayıp bağlantılar veri kaybını artırır.
- Verileri almak için aygıtların her birini ayarlayın.
- Verileri bulutta depolamak için veri toplama sistemini ayarlayın. Depolanacak büyük miktarda veri nedeniyle, bulut bilgi işlem bu protokolde dikkate alınr.
- Veri toplama sisteminin veri eşitleme ve veri tutarlılığı20 özelliğini karşıladığını doğrulayın. Bu, tüm bilgi kaynaklarından veri depolama bütünlüğünü korur. Veri eşitlemesinde yeni yaklaşımlar gerektirebilir. Örneğin, bkz. Peñafort-Asturiano ve ark.20.
- Bilgi kaynaklarıyla bazı veriler toplamaya başlayın ve verileri tercih edilen bir sistemde depolayın. Tüm verilere zaman damgaları ekleyin.
- Veritabanını sorgulayın ve tüm bilgi kaynaklarının aynı örneklem oranlarında toplanıp toplanmayolmadığını belirleyin. Düzgün yapılırsa, Adım 1.1.6'ya gidin. Aksi takdirde, Peñafort-Asturiano, ve ark. 20'de bildirilen kriterleri kullanarak yukarı örnekleme veya aşağı örneklemegerçekleştirin.
- Gerekli koşulları ve sistemin amacının getirdiği kısıtlamaları göz önünde bulundurarak ortamı (veya laboratuarı) kurmak. Katılımcıların güvenliğini sağlamak için Lachance ve ark.23'te önerilen uyumlu döşeme sistemleri olarak simüle edilen düşmelerde darbe kuvveti zayıflaması için gerekli koşulları belirleyin.
- Bir şilte veya başka uyumlu döşeme sistemi kullanın ve çevrenin merkezine (veya laboratuvara) yerleştirin.
- Tüm çevresinde güvenli alan en az bir metre vermek için yatak tüm nesneleri uzak tutun. Gerekirse katılımcılar için kişisel koruyucu ekipman (örn. eldivenler, şapka, gözlük, diz desteği, vb.) hazırlayın.
NOT: Protokol burada duraklatılabilir.
- İnsan faaliyetlerini belirleyin ve sistemin yapılandırmadan sonra algılatacağı düşüyor. Sonbahar algılama ve insan aktivitesi tanıma sisteminin amacının yanı sıra hedef popülasyonu göz önünde bulundurmak önemlidir.
- Sonbahar algılama ve insan aktivitesi tanıma sisteminin amacını tanımlayın. Bir planlama sayfasına yaz. Bu vaka çalışmasında amaç, yaşlıların kapalı günlük bazda gerçekleştirilen insan düşme türlerini ve etkinliklerini sınıflandırmaktır.
- Denemenin hedef popülasyonunu sistemin amacına uygun olarak tanımlayın. Planlama sayfasına yaz. Çalışmada, hedef nüfus olarak yaşlı insanlar düşünün.
- Günlük aktivitelerin türünü belirleyin. Gerçek düşüş algılamageliştirmek için düşme gibi görünen bazı düşme dışı faaliyetleri ekleyin. Hepsi için bir kimlik atayın ve bunları olabildiğince ayrıntılı olarak tanımlayın. Yürütülecek her etkinlik için süreyi ayarlayın. Tüm bu bilgileri planlama sayfasına yazın.
- İnsan düşmesinin türünü belirleyin. Hepsi için bir kimlik atayın ve bunları olabildiğince ayrıntılı olarak tanımlayın. Her düşüşün yürütülecek zaman dilimini ayarlayın. Şelalenin denekler tarafından kendi kendine oluşturulacağını veya başkaları tarafından oluşturulacağını (örn. konuyu iterek) göz önünde bulundurun. Tüm bu bilgileri planlama sayfasına yazın.
- Planlama sayfasında, bir konunun gerçekleştireceği etkinlik dizilerini ve düşmeleri yazın. Süreyi, etkinlik/düşüş başına deneme sayısını, etkinliği/düşüşü gerçekleştirmek için açıklamayı ve etkinlik/sonbahar dalgınlarını belirtin.
NOT: Protokol burada duraklatılabilir.
- Etkinlik ve düşme dizilerini yürütecek çalışmanın ilgili konularını seçin. Şelaleler gerçek hayatta yakalamak için nadir olaylar dır ve genellikle yaşlı insanlar meydana. Yine de, güvenlik nedenlerinden dolayı, tıbbi tavsiye altında sonbahar simülasyonu yaşlı ve engelli insanlar içermez. Dublörler yaralanmaları önlemek için kullanılmıştır22.
- Deneklerin cinsiyetini, yaş aralığını, ağırlığını ve yüksekliğini belirleyin. Gerekli herhangi bir bozulma koşullarını tanımlayın. Ayrıca, deneme için gereken en az konu sayısını tanımlayın.
- Bir önceki adımda belirtilen koşulları izleyerek, gereken konu kümesini rasgele seçin. Gönüllüler için onları işe almak için bir çağrı kullanın. İnsanlarla deney yaparken kurum ve ülkeden geçerli olan tüm etik yönergeleri ve uluslararası düzenlemeleri yerine getirmek.
NOT: Protokol burada duraklatılabilir.
- Nesnelerden veri alın ve depolayın. Bu bilgiler daha fazla deneysel analiz için yararlı olacaktır. Bir klinik uzmanı veya sorumlu bir araştırmacı tarafından gözetim altında aşağıdaki adımları tamamlayın.
- Adım 1.1'de yapılandırılan veri toplama sistemiyle veri toplamaya başlayın.
- Her deneğin, Adım 1.2'de bildirilen etkinlik ve düşme dizilerini gerçekleştirmesini isteyin. Her etkinliğin/düşüşün başlangıç ve bitiş zaman damgalarını açıkça kaydedin. Tüm bilgi kaynaklarından gelen verilerin buluta kaydedilediğini doğrulayın.
- Etkinlikler doğru şekilde yapılmamışsa veya cihazlarla ilgili sorunlar varsa (örneğin, kayıp bağlantı, düşük pil, aralıklı bağlantı), örnekleri atın ve aygıt sorunları bulununcaya kadar Adım 1.4.1'i tekrarlayın. Adım 1.2 sırasına göre bildirilen her deneme için adım 1.4.2'yi yineleyin.
NOT: Protokol burada duraklatılabilir.
- Elde edilen tüm verileri önceden işleme. Bilgi kaynaklarının her biri için yukarı örnekleme ve aşağı örnekleme uygulayın. Martínez-Villaseñor ve ark.21'desonbahar algılama ve insan aktivitesi tanıma için ön işleme verileri hakkındaki ayrıntılara bakın.
NOT: Protokol burada duraklatılabilir.
2. Veri Analizi
- Veri işleme modunu seçin. Veritabanında depolanan veriler düpedüz kullanılacaksa (örneğin, otomatik özellik çıkarma için derin öğrenme yi kullanarak) Ham Veri'yi seçin ve Adım 2.2'ye gidin. Özellik çıkarma daha fazla analiz için kullanılacaksa Özellik Verileri'ni seçin ve Adım 2.3'e gidin.
- Ham Verileriçin, ek adım gerekmez, bu nedenle Adım 2.5'e gidin.
- Özellik Verileriiçin, ham verilerden özellikler ayıklayın.
- Zaman pencerelerinde ham verileri segmentleyin. Zaman penceresi uzunluğunu (örneğin, bir saniyeboyutundaki çerçeveler) belirleyin ve düzeltin. Ayrıca, bu zaman pencerelerini çakışıyor olup olmayacağını belirleyin. İyi bir uygulama% 50 örtüşen seçmektir.
- Verilerin her kesiminden özellikler ayıklayın. Segmentlerden çıkarılacak zamansal ve sık özellik kümesini belirleyin. Ortak özellik çıkarma için Martínez-Villaseñor ve ark.21'e bakın.
- Özellik ayıklama verilerini buluta bağımsız bir veritabanına kaydedin.
- Farklı zaman pencerelerini seçiliyse, 2.3.1 ile 2.3.3 adımlarını yineleyin ve her özellik veri kümesini bağımsız veritabanlarına kaydedin.
NOT: Protokol burada duraklatılabilir.
- Çıkarılan en önemli özellikleri seçin ve özellik veri kümesini küçültün. Yaygın olarak kullanılan bazı özellik seçim yöntemleri, (örn. tek değişkenli seçim, temel bileşenler analizi, özyinelemeli özellik ortadan kaldırılması, özellik önemi, korelasyon matrisi, vb.) uygulayın.
- Bir özellik seçim yöntemi seçin. Burada, biz özelliği önem kullanılır.
- Belirli bir modeli eğitmek için her özelliği kullanın (RF kullandık) ve doğruluğu ölçmek için (bkz. Denklem 1).
- Özellikleri doğruluk sırasına göre sıralayarak sıralayın.
- En önemli özellikleri seçin. Burada, en iyi sırada ilk on özellikleri kullanılır.
NOT: Protokol burada duraklatılabilir.
- Bir makine öğrenimi sınıflandırma yöntemi seçin ve bir model eğitin. Tanınmış makine öğrenme yöntemleri vardır16,17,18,21gibi: destek vektör makineleri (SVM), rasgele orman (RF), çok katmanlı perceptron (MLP) ve k-en yakın komşuları (KNN), diğerleri arasında.
- İsteğe bağlı olarak, derin öğrenme yaklaşımı seçilirse, o zaman21düşünün: kvolutional sinir ağları (CNN), uzun kısa süreli bellek sinir ağları (LSTM), diğerleri arasında.
- Bir dizi makine öğrenme yöntemi seçin. Burada aşağıdaki yöntemleri kullandık: SVM, RF, MLP ve KNN.
- Literatür21'deönerildiği gibi, makine öğrenme yöntemlerinin her birinin parametrelerini düzeltin.
- Bilgi kaynaklarını birleştirmek için bağımsız özellik veri kümelerini (veya ham veri kümelerini) kullanarak birleştirilmiş bir özellik veri kümesi (veya ham veri kümesi) oluşturun. Örneğin, giyilebilir bir sensör ve bir kameranın birleşimi gerekiyorsa, bu kaynakların her birinden özellik veri kümelerini birleştirin.
- Eğitim ve test kümelerinde özellik veri kümesini (veya ham veri kümesini) bölün. İyi bir seçim rastgele eğitim için% 70 ve test için% 30 bölmektir.
- Her makine öğrenme yöntemi için özellik veri kümesini (veya ham veri kümesini) kullanarak bir k-fold çapraz doğrulama21 çalıştırın. Yöntem başına eğitilmiş en iyi modeli seçmek için doğruluk (bkz. Denklem 1)gibi ortak bir değerlendirme metodu kullanın. Leave-one konu dışı (LOSO)deneyleri 3 de tavsiye edilir.
- Tercih edilen programlama dili yazılımındaki eğitim özelliği veri kümesini (veya ham veri kümesini) açın. Python önerilir. Bu adım için, aşağıdaki gibi bir CSV dosyasını okumak için pandalar kitaplığını kullanın:
training_set = pandas.csv(). - Özellik veri kümesini (veya ham veri kümesini) girdi-çıktı çiftleri halinde bölün. Örneğin, x-değerlerini (girişleri) ve y değerlerini (çıktıları) bildirmek için Python'u kullanın:
training_set_X = training_set.drop('tag',axis=1), training_set_Y = training_set.tag
etiketi hedef değerleri içeren özellik veri kümesinin sütuntemsil eder. - Bir makine öğrenme yöntemi seçin ve parametreleri ayarlayın. Örneğin, Python'da SVM'yi aşağıdaki komut gibi kitaplık sklearn ile kullanın:
classifier = sklearn. SVC(çekirdek = 'poli')
çekirdek fonksiyonu polinom olarak seçilir. - Makine öğrenme modelini eğitin. Örneğin, SVM modelini eğitmek için Python'daki yukarıdaki sınıflandırıcıyı kullanın:
classifier.fit(training_set_X,training_set_Y). - Test özelliği veri kümesini (veya ham veri kümesini) kullanarak modelin tahmin değerlerini hesaplayın. Örneğin, Python'daki tahmin işlevini aşağıdaki gibi kullanın: estimates = classifier.predict(testing_set_X) testing_set_X test kümesinin x değerlerini temsil ettiği yer.
- 2.5.6.1 ile 2.5.6.5 adımlarını, k-fold çapraz doğrulamada belirtilen k sayısını (veya LOSO yaklaşımı için gereken sayıyı) yineleyin.
- Seçilen her makine öğrenme modeli için 2.5.6.1 ile 2.5.6.6 adımlarını yineleyin.
NOT: Protokol burada duraklatılabilir.
- Tercih edilen programlama dili yazılımındaki eğitim özelliği veri kümesini (veya ham veri kümesini) açın. Python önerilir. Bu adım için, aşağıdaki gibi bir CSV dosyasını okumak için pandalar kitaplığını kullanın:
- Seçili modelleri test veri kümesiyle test ederek makine öğrenimi yöntemlerini karşılaştırın. Değerlendirmenin diğer ölçümleri kullanılabilir: doğruluk (Denklem 1), kesinlik (Denklem 2), duyarlılık ( Denklem3), özgüllük (Denklem 4) veya F1-skoru(Denklem 5), TP gerçek pozitifler, TN gerçek negatifler, FP yanlış pozitifler ve FN yanlış negatiflerdir.
- Makine öğrenme modellerinin sınıflandırma görevini değerlendirmek için karışıklıkmatrisi 9 veya karardan bağımsız hassas geri çağırma9 (PR) veya alıcı çalışma karakteristik9 (ROC) eğrisi gibi diğer yararlı performans ölçümlerini kullanın. Bu metodolojide hatırlama ve duyarlılık eşdeğer kabul edilir.
- Makine öğrenimi modellerinin nitel özelliklerini kullanarak aralarında karşılaştırma yapın: makine öğrenimi yorumunun kolaylığı; gerçek zamanlı performans; sınırlı zaman, bellek ve işleme bilgi işlem kaynakları; ve kenar aygıtlarında veya gömülü sistemlerde makine öğrenimi dağıtım kolaylığı.
- Bilgileri kullanarak en iyi makine öğrenimi modelini seçin: Kalite ölçümleri(Denklemler 1-5),performans ölçümleri ve Adım 2.5.6, 2.5.7 ve 2.5.8'in makine öğrenimi fizibilitesinin nitel özellikleri.
NOT: Protokol burada duraklatılabilir.
3. Sistem basitleştirme
- Bilgi kaynaklarının uygun yerleşimlerini seçin. Bazen, bilgi kaynaklarının en iyi yerleşimini belirlemek gerekir (örneğin, giyilebilir bir sensörün hangi konumu daha iyidir).
- Çözümlenecek bilgi kaynaklarının alt kümesini belirleyin. Örneğin, vücutta beş giyilebilir sensör varsa ve en iyi sensör olarak sadece bir tane seçilmelidir, bu sensörlerin her biri alt kümenin bir parçası olacaktır.
- Bu alt kümedeki her bilgi kaynağı için ayrı bir veri kümesi oluşturun ve ayrı ayrı depolayın. Bu veri kümesinin önceki özellik veri kümesi veya ham veri kümesi olabileceğini unutmayın.
NOT: Protokol burada duraklatılabilir.
- Bir makine öğrenimi sınıflandırma yöntemi seçin ve bir bilgi kaynağı için bir model eğitin. Adım 3.1.2'de oluşturulan veri kümelerinin her birini kullanarak 2,5.1'den 2.5.6'ya kadar tüm Adımları tamamlayın. Sıralamaya göre en uygun bilgi yerleştirme kaynağını algıla. Bu vaka çalışması için aşağıdaki yöntemleri kullanıyoruz: SVM, RF, MLP ve KNN.
Not: Protokol burada duraklatılabilir. - Sistem için iki veya daha fazla bilgi kaynağının bir kombinasyonu gerekiyorsa (örneğin, giyilebilir bir sensör ve bir kameranın kombinasyonu) çok modal bir yaklaşımla uygun yerleşimleri seçin. Bu örnek çalışmada, modaliteolarak bel giyilebilir sensör ve kamera 1 (yanal görünüm) kullanın.
- Sistemdeki her modaliteye ait en iyi bilgi kaynağını seçin ve bu bilgi kaynaklarının bağımsız veri kümelerini kullanarak birleştirilmiş bir özellik veri kümesi (veya ham veri kümesi) oluşturun.
- Bir makine öğrenimi sınıflandırma yöntemi seçin ve bu birleştirilmiş bilgi kaynakları için bir model eğitin. Birleştirilmiş özellik veri kümesini (veya ham veri kümesini) kullanarak 2.5.1 ile 2.5.6 adımlarını tamamlayın. Bu çalışmada Aşağıdaki yöntemleri kullanın: SVM, RF, MLP ve KNN.
NOT: Protokol burada duraklatılabilir.
4. Değerlendirme
- Kullanıcılarla daha gerçekçi koşullarda yeni bir veri seti hazırlayın. Yalnızca önceki adımda seçilen bilgi kaynaklarını kullanın. Tercih edilir, sistemi hedef grupta uygulayın (örn. yaşlılar). Daha uzun sürelerde veri toplayın.
- İsteğe bağlı olarak, hedef grup yalnızca kullanılırsa, dışlama koşullarını içeren bir seçim grubu protokolü oluşturun (örn. fiziksel veya psikolojik bozukluklar) ve kriterleri önlemeyi durdurun (örneğin, denemeler sırasında herhangi bir fiziksel yaralanma tespit etmek; mide bulantısı, baş dönmesi ve/veya kusma; bayılma). Ayrıca etik kaygıları ve veri gizliliği konularını da göz önünde bulundurun.
- Şimdiye kadar geliştirilen sonbahar algılama ve insan aktivitesi tanıma sisteminin performansını değerlendirin. Sistemin veya diğer performans ölçümlerinin doğruluğunu ve tahmin gücünü belirlemek için Denklem 1-5'i kullanın.
- Deneysel sonuçlarla ilgili bulgular hakkında tartışın.
Representative Results
Veritabanı Oluşturma
Biz sonbahar algılama ve insan aktivitesi tanıma, yani UP-Sonbahar Algılama21için bir multimodal veri seti oluşturdu. Veriler Universidad Panamericana Mühendislik Okulu'nda (Mexico City, Meksika) dört haftalık bir süre içinde toplanmıştır. Test senaryosu aşağıdaki gereksinimler göz önünde bulundurularak seçilmiştir: (a) deneklerin düşmeleri ve aktiviteleri rahat ve güvenli bir şekilde gerçekleştirebilecekleri bir alan ve (b) multimodal sensör ayarlarına uygun doğal ve yapay ışıkiçeren kapalı bir ortam.
3 denemede 5 tür düşme ve 6 farklı basit etkinlik gerçekleştiren 17 deneğin veri örnekleri vardır. Tüm bilgiler 5 giyilebilir sensör (üç eksenli ivmeölçer, jiroskop ve ışık yoğunluğu), 1 elektroensefalograf kaskı, ortam sensörleri olarak 6 kızılötesi sensör ve yanal ve ön görüş açılarında 2 kamera içeren bir şirket içi veri toplama sistemi kullanılarak toplandı. Şekil 1, sensör yerleşiminin çevreye ve gövdeye yerleşiminin düzenini gösterir. Tüm veri kümesinin örnekleme hızı 18 Hz'dir. Veritabanı iki veri kümesi içerir: birleştirilmiş ham veri kümesi (812 GB) ve bir özellik veri kümesi (171 GB). Genel erişim için bulutta depolanan tüm veritabanları: https://sites.google.com/up.edu.mx/har-up/. Veri toplama, ön işleme, konsolide ve depolama bu veritabanının yanı sıra senkronizasyon ve veri tutarlılığı hakkında daha fazla bilgi Martínez-Villaseñor ve ark.21bulunabilir.
Bu veritabanı için, tüm denekler sağlıklı genç gönüllüler (9 erkek ve 8 kadın) herhangi bir bozukluğu olmadan, 18-24 yaş arasında değişen, ortalama yüksekliği 1.66 m ve ortalama ağırlığı ile 66.8 kg idi. Veri toplama sırasında, teknik sorumlu araştırmacı tüm faaliyetlerin denekler tarafından doğru şekilde gerçekleştirildiğini denetliyordu. Denekler, her biri 10 saniye boyunca olmak üzere beş tür düşme gerçekleştirdiler: elleri kullanarak ileri (1), dizleri kullanarak ileri (2), geriye doğru (3), boş bir sandalyede (4) ve yan (5) otururken. Ayrıca atlama (30's) dışında 60'er s için altı günlük aktivite gerçekleştirdiler: yürümek (6), ayakta durmak (7), bir nesneyi (8), oturma (9), zıplama (10) ve döşeme (11). Simüle düşme gerçek yaşam düşme her türlü çoğaltmak olmasa da, en azından daha iyi sonbahar algılama modelleri oluşturulmasını sağlayan düşme temsili türleri dahil etmek önemlidir. AdL'lerin ve özellikle de bir nesneyi almak gibi düşmelerle karıştırılabilecek etkinliklerin kullanılması da önemlidir. Sonbahar türleri ve ADL'ler ilgili güz algılama sistemlerinin gözden geçirilmesinden sonra seçildi21. Örnek olarak, Şekil 2 bir nesne yan düştüğünde bir denemenin görüntülerinin bir dizi gösterir.
Toplam 75 özellikten oluşan giyilebilir ve ortam sensörlerinin herkanalından 12 temporal (ortalama, standart sapma, maksimal genlik, minimal genlik, kök ortalama kare, ortanca, sıfır geçiş sayısı, çarpıklık, kurtoz, ilk dörtte birlik, üçüncü dörtte birlik ve otokorelasyon) ve 6 sıklıkta (ortalama, ortanca, entropi, enerji, ana frekans ve spektral centroid) çıkardık. Ayrıca, videolardaki iki bitişik görüntü arasındaki piksellerin göreceli hareketi hakkında her kamera için 400 görsel özellik21 hesapladık.
Unimodal ve Multimodal Yaklaşımlar Arasında Veri Analizi
UP-Fall Detection veritabanından, verileri tek modal ve multimodal yaklaşımlar arasında karşılaştırma amacıyla analiz ettik. Bu anlamda, yedi farklı bilgi kaynağı kombinasyonunu karşılaştırdık: yalnızca kızılötesi sensörler (IR); giyilebilir sensörler sadece (IMU); giyilebilir sensörler ve kask (IMU+EEG); kızılötesi ve giyilebilir sensörler ve kask (IR+IMU+EEG); kameralar sadece (CAM); kızılötesi sensörler ve kameralar (IR+CAM); giyilebilir sensörler, kask ve kameralar (IMU+EEG+CAM). Buna ek olarak, üç farklı zaman penceresi boyutlarını %50 örtüşme ile karşılaştırdık: bir saniye, iki saniye ve üç saniye. Her segmentte, özellik seçimi ve sıralaması nı uygulayan en yararlı özellikleri seçtik. Bu stratejiyi kullanarak, 40 özellik kullanarak IR modalitesi dışında, modalite başına sadece 10 özellik kullandık. Ayrıca, karşılaştırma dört iyi bilinen makine öğrenme sınıflandırıcılar üzerinde yapıldı: RF, SVM, MLP ve KNN. Makine öğrenimi modellerini eğitmek için %70 tren ve %30 test veri setleri ile 10 kat çapraz doğrulama yaptık. Tablo 1, makine öğrenme modeline ve en iyi pencere uzunluğu yapılandırmasına bağlı olarak her modalite için elde edilen en iyi performansı bildirerek bu kıyaslama sonuçlarını gösterir. Değerlendirme ölçümleri doğruluk, hassasiyet, duyarlılık, özgüllük ve F1 skoru rapor eder. Şekil 3 bu sonuçları F1 skoru açısından grafiksel bir gösterimle gösterir.
Tablo 1'denmultimodal yaklaşımlar (kızılötesi ve giyilebilir sensörler ve kask, IR+IMU+EEG; ve giyilebilir sensörler ve kask ve kameralar, IMU+EEG+CAM) tek modal yaklaşımlarla karşılaştırıldığında en iyi F1-skor değerlerini elde etti (sadece kızılötesi, IR; ve sadece kameralar, CAM). Ayrıca sadece giyilebilir sensörlerin (IMU) multimodal yaklaşımdan daha benzer bir performans elde ettiğini fark ettik. Bu durumda, farklı bilgi kaynakları diğerlerinden sınırlamaları işleyebilir, çünkü bir multimodal yaklaşım seçti. Örneğin, kameralardaki çıkıntılar giyilebilir sensörler le işlenebilir ve giyilebilir sensörlerin kullanılmaması kameralar veya ortam sensörleri ile tamamlanabilir.
Veri odaklı modellerin kıyaslanabilirliği açısından, Tablo 1'deki deneyler RF'nin hemen hemen tüm deneyde en iyi sonuçları sunduğunu göstermiştir; MLP ve SVM performans açısından çok tutarlı olmasa da (örneğin, bu tekniklerde standart sapma RF'ye göre daha fazla değişkenlik göstermektedir). Pencere boyutları hakkında, bu aralarında önemli bir gelişme temsil etmedi. Bu deneylerin sonbahar ve insan aktivitesi sınıflandırması için yapıldığını fark etmek önemlidir.
Sensör Yerleştirme ve En İyi Multimodal Kombinasyon
Öte yandan, düşme tespiti için multimodal cihazların en iyi kombinasyonunu belirlemeyi amaçladık. Bu analiz için, bilgi kaynaklarını giyilebilir beş sensör ve iki kamerayla sınırlandırdık. Bu cihazlar yaklaşım için en rahat olanlarıdır. Buna ek olarak, biz iki sınıf kabul: güz (düşme herhangi bir tür) veya no-fall (başka bir etkinlik). Tüm makine öğrenme modelleri ve pencere boyutları önceki analizdeki yle aynı kalır.
Her giyilebilir sensör için, her pencere uzunluğu için bağımsız bir sınıflandırıcı modeli inşa ettik. Modeli %70 eğitim ve %30 test veri setleri ile 10 kat çapraz doğrulama kullanarak eğittik. Tablo 2, F1 puanına göre performans sınıflandırıcı başına giyilebilir sensörlerin sıralamasının sonuçlarını özetler. Bu sonuçlar azalan sırada sıralandı. Tablo 2'degörüldüğü gibi, bel, boyun veya dar sağ cebinde (gölgeli bölge) tek bir sensör kullanılarak en iyi performans elde edilir. Buna ek olarak, ayak bileği ve sol bilek giyilebilir sensörler kötü yapıldı. Tablo 3, her sınıflandırıcıda en iyi performansı elde etmek için giyilebilir sensör başına pencere uzunluğu tercihini gösterir. Sonuçlardan, RF sınıflandırıcılı bel, boyun ve dar sağ cep sensörleri ve %50 örtüşen 3 s pencere boyutu, düşme algılaması için en uygun giyilebilir sensörlerdir.
Sistemdeki her kamera için benzer bir analiz yaptık. Her pencere boyutu için bağımsız bir sınıflandırıcı modeli yaptık. Eğitim için % 70 eğitim ve %30 test veri setleri ile 10 kat çapraz doğrulama yaptık. Tablo 4, F1 puanına göre sınıflandırıcı başına en iyi kamera bakış açısı sıralamasını gösterir. Görüldüğü gibi, yanal görünüm (kamera 1) en iyi düşme algılamasını gerçekleştirilmiştir. Buna ek olarak, RF diğer sınıflandırıcılar ile karşılaştırıldığında daha iyi performans gösterdi. Ayrıca, Tablo 5 kamera bakış açısı başına pencere uzunluğu tercihini gösterir. Sonuçlardan, biz bir kameranın en iyi konumu 3 s pencere boyutu ve% 50 örtüşen RF kullanarak yanal bakış açısı olduğunu bulundu.
Son olarak, giyilebilir sensörlerin iki olası yerleşimini seçtik (yani, bel ve dar sağ cep) yanal görüş açısının kamerasıyla birleştirilmelidir. Aynı eğitim prosedüründen sonra, Tablo 6'dansonuçları aldık. Gösterildiği gibi, RF model sınıflandırıcı doğruluk ve F1-skor her iki multimodalities en iyi performans var. Ayrıca, bel ve kamera 1 arasındaki kombinasyon ilk sırada yer aldı ve f1 skorunda %98.72 ve F1 skorunda %95.77 elde etti.
Şekil 1: UP-Fall Detection veritabanındaki giyilebilir (solda) ve ortam (sağ) sensörlerinin düzeni. Giyilebilir sensörler alın, sol bilek, boyun, bel, pantolonun sağ cebine ve sol ayak bileğine yerleştirilir. Ortam sensörleri deneklerin ve iki kameranın varlığını tespit etmek için altı eşleştirilmiş kızılötesi sensördür. Kameralar yanal görüş te ve ön görüşte, hem insan düşüşü ile ilgili olarak bulunmaktadır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 2: UP-Fall Detection veritabanından çıkarılan bir video kaydı örneği. En üstte, yana doğru düşen bir nesnenin görüntüleri dizisi vardır. En altta, çıkarılan görme özelliklerini temsil eden bir görüntü dizisi vardır. Bu özellikler, iki bitişik görüntü arasındaki piksellerin göreli hareketidir. Beyaz pikseller daha hızlı hareketi temsil ederken, siyah pikseller daha yavaş (veya sıfıra yakın) hareketi temsil eder. Bu sıra soldan sağa, kronolojik olarak sıralanır. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
Şekil 3: Karşılaştırmalı sonuçlar, makine öğrenme modeli ve en iyi pencere uzunluğu açısından her modalitenin en iyi F1 puanını rapor. Çubuklar F1-skorunun ortalama değerlerini temsil ediyor. Veri noktalarındaki metin, parantez içinde ortalama ve standart sapmayı temsil eder. Bu rakamın daha büyük bir sürümünü görüntülemek için lütfen buraya tıklayın.
| Modalite | Modeli | Doğruluk (%) | Hassasiyet (%) | Duyarlılık (%) | Özgüllük (%) | F1 puanı (%) |
| ır | RF (3 sn) | 67,38 ± 0,65 | 36,45 ± 2,46 | 31,26 ± 0,89 | 96,63 ± 0,07 | 32,16 ± 0,99 |
| SVM (3 sn) | 65,16 ± 0,90 | 26,77 ± 0,58 | 25,16 ± 0,29 | 96,31 ± 0,09 | 23,89 ± 0,41 | |
| MLP (3 sn) | 65,69 ± 0,89 | 28.19 ± 3.56 | 26,40 ± 0,71 | 96,41 ± 0,08 | 25.13 ± 1.09 | |
| kNN (3 sn) | 61,79 ± 1,47 | 30,04 ± 1,44 | 27,55 ± 0,97 | 96,05 ± 0,16 | 27,89 ± 1,13 | |
| ımu | RF (1 sn) | 95,76 ± 0,18 | 70,78 ± 1,53 | 66,91 ± 1,28 | 99,59 ± 0,02 | 68,35 ± 1,25 |
| SVM (1 sn) | 93,32 ± 0,23 | 66,16 ± 3,33 | 58,82 ± 1,53 | 99,32 ± 0,02 | 60,00 ± 1,34 | |
| MLP (1 sn) | 95,48 ± 0,25 | 73,04 ± 1,89 | 69,39 ± 1,47 | 99,56 ± 0,02 | 70,31 ± 1,48 | |
| kNN (1 sn) | 94,90 ± 0,18 | 69,05 ± 1,63 | 64,28 ± 1,57 | 99,50 ± 0,02 | 66,03 ± 1,52 | |
| IMU+EEG | RF (1 sn) | 95,92 ± 0,29 | 74,14 ± 1,29 | 66,29 ± 1,66 | 99,59 ± 0,03 | 69,03 ± 1,48 |
| SVM (1 sn) | 90,77 ± 0,36 | 62,51 ± 3,34 | 52,46 ± 1,19 | 99.03 ± 0.03 | 53,91 ± 1,16 | |
| MLP (1 sn) | 93,33 ± 0,55 | 74.10 ± 1.61 | 65,32 ± 1,15 | 99,32 ± 0,05 | 68,13 ± 1,16 | |
| kNN (1 sn) | 92.12 ± 0.31 | 66,86 ± 1,32 | 58,30 ± 1,20 | 98,89 ± 0,05 | 60,56 ± 1,02 | |
| IR+IMU+EEG | RF (2 sn) | 95,12 ± 0,36 | 74,63 ± 1,65 | 66,71 ± 1,98 | 99,51 ± 0,03 | 69,38 ± 1,72 |
| SVM (1 sn) | 90,59 ± 0,27 | 64,75 ± 3,89 | 52,63 ± 1,42 | 99.01 ± 0.02 | 53,94 ± 1,47 | |
| MLP (1 sn) | 93,26 ± 0,69 | 73,51 ± 1,59 | 66,05 ± 1,11 | 99.31 ± 0.07 | 68,19 ± 1,02 | |
| kNN (1 sn) | 92,24 ± 0,25 | 67,33 ± 1,94 | 58,11 ± 1,61 | 99,21 ± 0,02 | 60,36 ± 1,71 | |
| CAM | RF (3 sn) | 32,33 ± 0,90 | 14.45 ± 1.07 | 14,48 ± 0,82 | 92,91 ± 0,09 | 14,38 ± 0,89 |
| SVM (2 sn) | 34,40 ± 0,67 | 13,81 ± 0,22 | 14.30 ± 0.31 | 92,97 ± 0,06 | 13.83 ± 0.27 | |
| MLP (3 sn) | 27,08 ± 2,03 | 8,59 ± 1,69 | 10,59 ± 0,38 | 92,21 ± 0,09 | 7.31 ± 0.82 | |
| kNN (3 sn) | 34,03 ± 1,11 | 15,32 ± 0,73 | 15,54 ± 0,57 | 93.09 ± 0.11 | 15.19 ± 0.52 | |
| IR+CAM | RF (3 sn) | 65,00 ± 0,65 | 33,93 ± 2,81 | 29.02 ± 0.89 | 96,34 ± 0,07 | 29,81 ± 1,16 |
| SVM (3 sn) | 64,07 ± 0,79 | 24.10 ± 0.98 | 24.18 ± 0.17 | 96.17 ± 0.07 | 22,38 ± 0,23 | |
| MLP (3 sn) | 65,05 ± 0,66 | 28,25 ± 3,20 | 25.40 ± 0.51 | 96,29 ± 0,06 | 24,39 ± 0,88 | |
| kNN (3 sn) | 60,75 ± 1,29 | 29,91 ± 3,95 | 26,25 ± 0,90 | 95,95 ± 0,11 | 26,54 ± 1,42 | |
| IMU+EEG+CAM | RF (1 sn) | 95,09 ± 0,23 | 75,52 ± 2,31 | 66,23 ± 1,11 | 99,50 ± 0,02 | 69,36 ± 1,35 |
| SVM (1 sn) | 91,16 ± 0,25 | 66,79 ± 2,79 | 53,82 ± 0,70 | 99.07 ± 0.02 | 55,82 ± 0,77 | |
| MLP (1 sn) | 94,32 ± 0,31 | 76,78 ± 1,59 | 67,29 ± 1,41 | 99,42 ± 0,03 | 70,44 ± 1,25 | |
| kNN (1 sn) | 92,06 ± 0,24 | 68,82 ± 1,61 | 58,49 ± 1,14 | 99.19 ± 0.02 | 60,51 ± 0,85 |
Tablo 1: Makine öğrenimi modeli ve en iyi pencere uzunluğu (parantez içinde) açısından her modalitenin en iyi performansını bildiren karşılaştırmalı sonuçlar. Performanstaki tüm değerler ortalamayı ve standart sapmayı temsil emzdir.
| # | IMU tipi | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (98.36) Bel | (83.30) Sağ Cep | (57.67) Sağ Cep | (73.19) Sağ Cep |
| 2 | (95.77) Boyun | (83.22) Bel | (44.93) Boyun | (68.73) Bel |
| 3 | (95.35) Sağ Cep | (83.11) Boyun | (39.54) Bel | (65.06) Boyun |
| 4 | (95.06) Ayak bileği | (82.96) Ayak bileği | (39.06) Sol Bilek | (58.26) Ayak bileği |
| 5 | (94.66) Sol Bilek | (82.82) Sol Bilek | (37.56) Ayak bileği | (51.63) Sol Bilek |
Tablo 2: F1 skoruna göre sıralanan sınıflayıcı başına en iyi giyilebilir sensörün sıralaması (parantez içinde). Gölgedeki bölgeler, sonbahar algılamaiçin ilk üç sınıflandırıcıyı temsil ediyor.
| IMU tipi | Pencere Uzunluğu | |||
| Rf | Svm | Mlp | Knn | |
| Sol Ayak Bileği | 2 sn | 3 sn | 1 sn | 3 sn |
| Bel | 3 sn | 1 sn | 1 sn | 2 sn |
| Boyun | 3 sn | 3 sn | 2 sn | 2 sn |
| Sağ Cep | 3 sn | 3 sn | 2 sn | 2 sn |
| Sol Bilek | 2 sn | 2 sn | 2 sn | 2 sn |
Tablo 3: Sınıflayıcı başına giyilebilir sensörlerde tercih edilen zaman penceresi uzunluğu.
| # | Kamera görünümü | |||
| Rf | Svm | Mlp | Knn | |
| 1 | (62.27) Yanal Görünüm | (24.25) Yanal Görünüm | (13.78) Ön Görünüm | (41.52) Yanal Görünüm |
| 2 | (55.71) Ön Görünüm | (0.20) Ön Görünüm | (5.51) Yanal Görünüm | (28.13) Ön Görünüm |
Tablo 4: F1 skoruna göre sıralanan sınıflandırıcı başına en iyi kamera bakış açısının sıralaması (parantez içinde). Gölgedeki bölgeler, düşme algılama için en üst sınıflandırıcıyı temsil ediyor.
| Kamera | Pencere Uzunluğu | |||
| Rf | Svm | Mlp | Knn | |
| Yanal Görünüm | 3 sn | 3 sn | 2 sn | 3 sn |
| Ön Görünüm | 2 sn | 2 sn | 3 sn | 2 sn |
Tablo 5: Sınıflandırıcı başına kamera bakış açılarında tercih edilen zaman penceresi uzunluğu.
| Multimodal | Sınıflandırıcısı | Doğruluk (%) | Hassasiyet (%) | Duyarlılık (%) | F1 puanı (%) |
| Bel + Yanal Görünüm |
Rf | 98,72 ± 0,35 | 94,01 ± 1,51 | 97,63 ± 1,56 | 95,77 ± 1,15 |
| Svm | 95,59 ± 0,40 | 100 | 70,26 ± 2,71 | 82,51 ± 1,85 | |
| Mlp | 77,67 ± 11,04 | 33,73 ± 11,69 | 37,11 ± 26,74 | 29,81 ± 12,81 | |
| Knn | 91,71 ± 0,61 | 77,90 ± 3,33 | 61,64 ± 3,68 | 68,73 ± 2,58 | |
| Sağ Cep + Yanal Görünüm |
Rf | 98,41 ± 0,49 | 93,64 ± 1,46 | 95,79 ± 2,65 | 94,69 ± 1,67 |
| Svm | 95,79 ± 0,58 | 100 | 71,58 ± 3,91 | 83,38 ± 2,64 | |
| Mlp | 84,92 ± 2,98 | 55,70 ± 11,36 | 48,29 ± 25,11 | 45,21 ± 14,19 | |
| Knn | 91,71 ± 0,58 | 73,63 ± 3,19 | 68,95 ± 2,73 | 71.13 ± 1.69 |
Tablo 6: 3 saniyelik pencere uzunluğu kullanılarak kombine giyilebilir sensör ve kamera bakış açısıkarşılaştırmalı sonuçları. Tüm değerler ortalama ve standart sapmayı temsil emz.
Discussion
Bir veri kümesi oluşturulduğunda eşitleme, kuruluş ve veri tutarsızlık sorunları20 nedeniyle zorluklarla karşılaşmak yaygındır.
Eşitleme
Veri elde inde, birden fazla sensörün genellikle farklı örnekleme hızlarında çalıştığı göz önüne alındığında senkronizasyon sorunları ortaya çıkar. Daha yüksek frekanslara sahip sensörler, daha düşük frekanslara sahip olanlardan daha fazla veri toplar. Bu nedenle, farklı kaynaklardan gelen veriler doğru eşleşmez. Sensörler aynı örnekleme hızlarında çalışmasına rağmen, verilerin hizalanmaması mümkündür. Bu bağlamda, aşağıdaki öneriler bu senkronizasyon sorunları20: (i) kayıt zaman damgası, konu, etkinlik ve deneme sensörleri elde edilen her veri örneğinde ele almak için yardımcı olabilir; (ii) en tutarlı ve daha az sıklıkta bilgi kaynağı senkronizasyon için referans sinyali olarak kullanılmalıdır; ve (iii) manuel denetimin pratik olmadığı video kayıtlarını senkronize etmek için otomatik veya yarı otomatik yordamlar kullanın.
Veri ön işleme
Veri ön işleme de yapılmalıdır ve kritik kararlar bu süreci etkilemelidir: (a) birden fazla ve heterojen kaynakların veri depolama ve veri gösterimi yöntemlerini belirlemek (b) yerel ana bilgisayarda veya bulutta veri depolamanın yollarını belirler (c) dosya adları ve klasörleri (d) verilerin eksik değerlerini ve sensörlerde bulunan fazlalıkları da dahil olmak üzere veri organizasyonunu seçin , diğerleri arasında. Buna ek olarak, veri bulutu için, yükleme zamanında veri kaybını azaltmak için mümkün olduğunda yerel arabelleğe alma önerilir.
Veri tutarsızlığı
Veri tutarsızlığı, veri örneklem boyutlarındaki varyasyonları bulan denemeler arasında yaygındır. Bu sorunlar giyilebilir sensörlerde veri toplama ile ilgilidir. Birden çok sensörden veri toplama ve veri çarpışmasının kısa süreli kesintileri veri tutarsızlıklarına yol açar. Bu gibi durumlarda, tutarsızlık algılama algoritmaları sensörlerde çevrimiçi hataları işlemek için önemlidir. Deneme boyunca kablosuz tabanlı aygıtların sık sık izlenmesi gerektiğini vurgulamak önemlidir. Düşük pil bağlantıyı etkileyebilir ve veri kaybına neden olabilir.
Etik
İnsanların dahil olduğu her türlü deneyde katılım onayı ve etik onayı zorunludur.
Bu metodolojinin sınırlamaları ile ilgili olarak, veri toplama için farklı yöntemler göz önünde bulundurarak yaklaşımlar için tasarlanmış olduğunu fark etmek önemlidir. Sistemler giyilebilir, ortam ve/veya görüş sensörleri içerebilir. Tüm sistemdeki veri toplama kaybı, azalan bağlantı ve güç tüketimi gibi sorunlar nedeniyle cihazların güç tüketimini ve kablosuz tabanlı sensörlerdeki pillerin kullanım ömrünü göz önünde bulundurmanız önerilir. Ayrıca, bu metodoloji makine öğrenme yöntemleri ni kullanan sistemler için tasarlanmıştır. Bu makine öğrenme modellerinin seçiminin analizi önceden yapılmalıdır. Bu modellerin bazıları doğru olabilir, ama son derece zaman ve enerji alıcı. Makine öğrenimi modellerinde bilgisayar kullanımı için doğru tahmin ve sınırlı kaynak kullanılabilirliği arasındaki bir denge göz önünde bulundurulmalıdır. Ayrıca, sistemin veri toplama, faaliyetlerin aynı sırada yürütüldüğünü gözlemlemek önemlidir; Ayrıca, denemeler aynı sırayla yapıldı. Güvenlik nedenlerinden dolayı, deneklerin üzerine düşmesi için koruyucu bir yatak kullanılmıştır. Buna ek olarak, düşme kendi kendine başlatıldı. Bu genellikle sert malzemelere doğru meydana simüle ve gerçek düşme, arasında önemli bir farktır. Bu anlamda, kaydedilen bu dataset düşmemeye çalışan sezgisel bir tepki ile düşüyor. Ayrıca, yaşlı veya engelli insanlarda gerçek düşmeler arasında bazı farklılıklar vardır ve simülasyon düşer; ve bunlar yeni bir sonbahar algılama sistemi tasarlarken dikkate alınmalıdır. Bu çalışma herhangi bir bozukluğu olmayan gençlere odaklanmıştır, ancak deneklerin seçiminin sistemin amacına ve onu kullanacak hedef nüfusa uygun olması gerektiği dikkat çekicidir.
Yukarıda açıklanan ilgili çalışmalardan10,11,12,13,14,15,16,17,18, biz sağlam sonbahar dedektörleri elde veya yerleştirme veya sınıflandırıcı performans odaklanmak odaklanan multimodal yaklaşımlar kullanan yazarlar olduğunu gözlemleyebilirsiniz. Bu nedenle, sadece bir veya iki sonbahar algılama için tasarım sorunları adresi. Metodolojimiz, bir düşme algılama sisteminin temel tasarım problemlerinden üçünüaynı anda çözmenizi sağlar.
Gelecekteki çalışmalarımız için, bu metodoloji den sonra elde edilen bulgulara dayalı basit bir multimodal düşme algılama sistemi tasarlamanızı ve uygulamanızı öneririz. Gerçek dünya benimsenmesi için, transfer öğrenimi, hiyerarşik sınıflandırma ve derin öğrenme yaklaşımları daha sağlam sistemler geliştirmek için kullanılmalıdır. Uygulamamız makine öğrenimi modellerinin nitel ölçümlerini dikkate almamış, ancak insan düşüşü ve faaliyet algılama/tanıma sistemlerinin daha da geliştirilmesi için gerçek zamanlı ve sınırlı bilgi işlem kaynaklarının dikkate alınması gerekmektedir. Son olarak, veri setimizi geliştirmek için, tripping veya neredeyse düşen faaliyetleri ve gönüllülerin günlük yaşamları boyunca gerçek zamanlı izleme düşünülebilir.
Disclosures
Yazarların açıklayacak bir şeyi yok.
Acknowledgments
Bu araştırma Universidad Panamericana tarafından UP-CI-2018-ING-MX-04 proje kodu kapsamında "Fomento a la Investigación UP 2018" hibesi ile finanse edilmiştir.
Materials
| Name | Company | Catalog Number | Comments |
| Inertial measurement wearable sensor | Mbientlab | MTH-MetaTracker | Tri-axial accelerometer, tri-axial gyroscope and light intensity wearable sensor. |
| Electroencephalograph brain sensor helmet MindWave | NeuroSky | 80027-007 | Raw brainwave signal with one forehand sensor. |
| LifeCam Cinema video camera | Microsoft | H5D-00002 | 2D RGB camera with USB cable interface. |
| Infrared sensor | Alean | ABT-60 | Proximity sensor with normally closed relay. |
| Bluetooth dongle | Mbientlab | BLE | Dongle for Bluetooth connection between the wearable sensors and a computer. |
| Raspberry Pi | Raspberry | Version 3 Model B | Microcontroller for infrared sensor acquisition and computer interface. |
| Personal computer | Dell | Intel Xeon E5-2630 v4 @2.20 GHz, RAM 32GB |
References
- United Nations. World Population Prospects: The 2017 Revision, Key Findings and Advance Tables. United Nations. Department of Economic and Social Affairs, Population Division. , ESA/P/WP/248 (2017).
- World Health Organization. Ageing, and Life Course Unit. WHO Global Report on Falls Prevention in Older Age. , (2008).
- Igual, R., Medrano, C., Plaza, I. Challenges, Issues and Trends in Fall Detection Systems. Biomedical Engineering Online. 12 (1), 66 (2013).
- Noury, N., et al. Fall Detection-Principles and Methods. 2007 29th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 1663-1666 (2007).
- Mubashir, M., Shao, L., Seed, L. A Survey on Fall Detection: Principles and Approaches. Neurocomputing. 100, 144-152 (2002).
- Perry, J. T., et al. Survey and Evaluation of Real-Time Fall Detection Approaches. Proceedings of the 6th International Symposium High-Capacity Optical Networks and Enabling Technologies. , 158-164 (2009).
- Xu, T., Zhou, Y., Zhu, J. New Advances and Challenges of Fall Detection Systems: A Survey. Applied Sciences. 8 (3), 418 (2018).
- Rougier, C., Meunier, J., St-Arnaud, A., Rousseau, J. Robust Video Surveillance for Fall Detection Based on Human Shape Deformation. IEEE Transactions on Circuit Systems for Video Technologies. 21, 611-622 (2011).
- Bulling, A., Blanke, U., Schiele, B. A Tutorial on Human Activity Recognition Using Body-Worn Inertial Sensors. ACM Computing Surveys. 46 (3), 33 (2014).
- Kwolek, B., Kepski, M. Human Fall Detection on Embedded Platform Using Depth Maps and Wireless Accelerometer. Computational Methods and Programs in Biomedicine. 117, 489-501 (2014).
- Ofli, F., Chaudhry, R., Kurillo, G., Vidal, R., Bajcsy, R. Berkeley MHAD: A Comprehensive Multimodal Human Action Database. Proceedings of the 2013 IEEE Workshop on Applications of Computer Vision. , 53-60 (2013).
- Dovgan, E., et al. Intelligent Elderly-Care Prototype for Fall and Disease Detection. Slovenian Medical Journal. 80, 824-831 (2011).
- Santoyo-Ramón, J., Casilari, E., Cano-García, J. Analysis of a Smartphone-Based Architecture With Multiple Mobility Sensors for Fall Detection With Supervised Learning. Sensors. 18 (4), 1155 (2018).
- Özdemir, A. An Analysis on Sensor Locations of the Human Body for Wearable Fall Detection Devices: Principles and Practice. Sensors. 16 (8), 1161 (2016).
- Ntanasis, P., Pippa, E., Özdemir, A. T., Barshan, B., Megalooikonomou, V. Investigation of Sensor Placement for Accurate Fall Detection. International Conference on Wireless Mobile Communication and Healthcare. , 225-232 (2016).
- Bagala, F., et al. Evaluation of Accelerometer-Based Fall Detection Algorithms on Real-World Falls. PLoS One. 7, 37062 (2012).
- Bourke, A. K., et al. Assessment of Waist-Worn Tri-Axial Accelerometer Based Fall-detection Algorithms Using Continuous Unsupervised Activities. Proceedings of the Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 2782-2785 (2010).
- Kerdegari, H., Samsudin, K., Ramli, A. R., Mokaram, S. Evaluation of Fall Detection Classification Approaches. 4th International Conference on Intelligent and Advanced Systems. , 131-136 (2012).
- Alazrai, R., Mowafi, Y., Hamad, E. A Fall Prediction Methodology for Elderly Based on a Depth Camera. 37th Annual International Conference of the IEEE Engineering in Medicine and Biology Society. , 4990-4993 (2015).
- Peñafort-Asturiano, C. J., Santiago, N., Núñez-Martínez, J. P., Ponce, H., Martínez-Villaseñor, L. Challenges in Data Acquisition Systems: Lessons Learned from Fall Detection to Nanosensors. 2018 Nanotechnology for Instrumentation and Measurement. , 1-8 (2018).
- Martínez-Villaseñor, L., et al. UP-Fall Detection Dataset: A Multimodal Approach. Sensors. 19 (9), 1988 (2019).
- Rantz, M., et al. Falls, Technology, and Stunt Actors: New approaches to Fall Detection and Fall Risk Assessment. Journal of Nursing Care Quality. 23 (3), 195-201 (2008).
- Lachance, C., Jurkowski, M., Dymarz, A., Mackey, D. Compliant Flooring to Prevent Fall-Related Injuries: A Scoping Review Protocol. BMJ Open. 6 (8), 011757 (2016).
