Evaluation eines Smartphone-basierte Personal Activity Recognition System in einem täglichen Lebens Umwelt

Summary

Es wurde eine standardisierte Bewertungsmethode für tragbare Mobilitätsüberwachungssysteme (WMMS) entwickelt, die kontinuierliche Aktivitäten in einer realistischen täglichen Lebensumgebung umfasst. Das Testen mit einer Reihe von Aktivitäten des täglichen Lebens kann die Empfindlichkeit der Aktivitätserkennung verringern. Daher werden realistische Testschaltungen für eine valide Bewertung der WMMS-Leistung empfohlen.

Abstract

Eine Bewertungsmethode, die kontinuierliche Aktivitäten in einer täglichen Lebensumgebung umfasst, wurde für tragbare Mobilitätsüberwachungssysteme (WMMS) entwickelt, die versuchen, Benutzeraktivitäten zu erkennen. Die Teilnehmer führten innerhalb eines kontinuierlichen Testkreislaufs eine vorgegebene Reihe von Handlungen des täglichen Lebens durch, die Mobilitätsaktivitäten (Gehen, Stehen, Sitzen, Liegen, Treppensteigen/-absteigen), Aufgaben des täglichen Lebens (Haare kämmen, Zähne putzen, Essen zubereiten, Essen, Geschirrspülen) und subtile Veränderungen der Umgebung (Öffnen von Türen, Benutzen eines Aufzugs, Gehen auf Steigungen, Überqueren von Treppenpodesten, Gehen im Freien) umfassten.

Um die WMMS-Leistung auf diesem Parcours zu bewerten, absolvierten fünfzehn nicht-behinderte Teilnehmer die Aufgaben, während sie ein Smartphone am rechten vorderen Becken trugen. Die WMMS-Anwendung verwendete Smartphone-Beschleunigungsmesser- und Gyroskopsignale, um Aktivitätszustände zu klassifizieren. Ein Goldstandard-Vergleichsdatensatz wurde erstellt, indem jeder Versuch auf Video aufgezeichnet und die Zeitpunkte des Einsetzens der Aktivität manuell protokolliert wurden. Goldstandard- und WMMS-Daten wurden offline analysiert. Für jeden Zirkel wurden drei Klassifizierungssätze berechnet: (i) Mobilität oder Immobilität, ii) Sitzen, Stehen, Liegen oder Gehen und (iii) Sitzen, Stehen, Liegen, Gehen, Treppensteigen oder kleine Stehbewegungen. Es wurden Sensitivitäten, Spezifitäten und F-Scores für die Aktivitätskategorisierung und Zustandsänderungen berechnet.

Der Klassifikationssatz von mobil und immobil hatte eine Sensitivität von 86,30 % ± 7,2 % und eine Spezifität von 98,96 % ± 0,6 %, während der zweite Vorhersagesatz eine Sensitivität von 88,35 % ± 7,80 % und eine Spezifität von 98,51 % ± 0,62 % aufwies. Für den dritten Klassifikationssatz betrug die Sensitivität 84,92 % ± 6,38 % und die Spezifität 98,17 ± 0,62. Die F1-Ergebnisse für den ersten, zweiten und dritten Wertungssatz betrugen 86,17 ± 6,3, 80,19 ± 6,36 bzw. 78,42 ± 5,96. Dies zeigt, dass die WMMS-Leistung nicht nur von den Algorithmen, sondern auch vom Auswertungsprotokoll abhängt. Das demonstrierte Protokoll kann für die Evaluierung von Systemen zur Erkennung menschlicher Aktivitäten in der Rehabilitationsmedizin verwendet und angepasst werden, wo die Mobilitätsüberwachung für die klinische Entscheidungsfindung von Vorteil sein kann.

Introduction

Ubiquitous Erkundung hat sich zu einem Eingriffsforschungsbereich aufgrund von immer leistungsfähigeren, kleine, kostengünstige Computing und Erfassungsgeräte ^1. Mobility Überwachung mit tragbaren Sensoren hat ein großes Interesse erzeugt, da Verbraucher-Level-Mikroelektronik sind zum Aufspüren von Bewegungseigenschaften mit hoher Genauigkeit ^1. Menschliche Aktivitäten Erkennung (HAR) unter Verwendung von tragbaren Sensoren ist ein neues Forschungsgebiet, die Vorstudien in den 1980er und 1990er Jahren durchgeführt ^2-4.

Moderne Smartphones enthalten die notwendigen Sensoren und Echtzeitberechnung Fähigkeit zur Mobilität Aktivitätserkennung. Echtzeit-Analyse auf dem Gerät erlaubt Aktivität Klassifikation und Daten-Upload ohne Benutzereingriff oder Prüfer. Ein Smartphone mit Mobilitätsanalysesoftware konnte Fitness Tracking, Gesundheitsberichterstattung liefern, fallen Erkennung, zu Hause oder der Arbeit Automatisierung und selbstverwaltende exercise Programme ^5. Smartphones kann als Trägheitsmessplattformen zur Detektion mobilen Aktivitäten und mobile Muster bei Menschen mit generierten mathematischen Signalmerkmale mit integrierten Sensorausgänge ⁶ berechnet. Erzeugungsverfahren gemeinsames Merkmal umfassen Heuristik Zeitbereich, Frequenzdomäne und Wavelet-Analyse basierende Ansätze ^7.

Modernes Smartphone HAR Systeme wurden bei der Erkennung bestimmter Aktivitäten ^1,5,6,7 hohe Vorhersagegenauigkeit angezeigt. Diese Studien unterscheiden sich in Bewertungsmethodik sowie die Genauigkeit, da die meisten Studien haben ihre eigenen Trainingsgruppe, Umwelt Konfiguration und Datenerfassung Protokoll. Sensitivität, Spezifität, Genauigkeit, Rückruf, Präzision und F-Score werden häufig verwendet, um Vorhersagequalität zu beschreiben. , Wenig bis gar keine Informationen ist jedoch auf Verfahren für "paralleles Arbeiten" Anerkennung und Bewertung der Fähigkeit, Aktivitätsänderungen in Echtzeit zu erfassen^1, für die HAR-Systeme, die verschiedene Aktivitäten zu kategorisieren versuchen. Bewertungsmethoden für die Systemgenauigkeit HAR variieren erheblich zwischen den Studien. Unabhängig von der Klassifikationsalgorithmus oder angewandte Funktionen, sind Beschreibungen der Goldstandard Bewertungsmethoden vage für die meisten HAR Forschung.

Aktivitätserkennung in einer täglichen Lebensumfeld wurde nicht umfassend erforscht. Esten Smartphone basierten Aktivitätserkennungssysteme werden in einer kontrollierten Art und Weise bewertet, was zu einer Bewertung Protokoll, das dem Algorithmus nicht realistisch, eine reale Umgebung vorteilhaft sein. Im Rahmen ihrer Bewertungsschema, Teilnehmer führen oft nur die Aktionen zur Vorhersage bestimmt, anstatt die Anwendung eine große Auswahl an realistischen Aktivitäten für die Teilnehmer nacheinander durchführen, imitiert wirklichen Leben Veranstaltungen.

Einige Smartphone HAR studiert ^8,9 Gruppe ähnliche Aktivitäten zusammen, wie Treppen und Wandern, Schließen jedoch andere Aktivitäten aus dem Datensatz. Vorhersagegenauigkeit wird dann, wie gut der Algorithmus identifiziert die Zielaktivitäten bestimmt. Dernbach et al. ⁹ hatten die Teilnehmer schreiben, die Tätigkeit, die sie dabei, bevor sie ausgeführt werden, zu unterbrechen kontinuierlichen Change-of-Zustandsübergänge waren. HAR-System Bewertungen sollten den Algorithmus zu bewerten, während die Teilnehmer führt natürlichen Aktionen in einem täglichen Lebenseinstellung. Dies würde eine reale Bewertung, die tägliche Nutzung der Anwendung repliziert ermöglichen. Eine realistische Schaltung enthält viele Änderungen-of-Staat als auch einen Mix von Maßnahmen durch das System nicht vorhersehbar. Ein Ermittler dann beurteilen Reaktion des Algorithmus auf diese zusätzlichen Bewegungen, wodurch die Bewertung Robustheit des Algorithmus, um anomale Bewegungen.

Dieser Beitrag stellt eine tragbare Mobility Monitoring System (WMMS) Bewertungsprotokoll, das eine gesteuerte Kurs, der realen täglichen Lebenswelten spiegelt verwendet. WMMSAuswertung kann dann unter kontrollierten, aber realistischen Bedingungen durchgeführt werden. In diesem Protokoll verwenden wir eine der dritten Generation WMMS, die an der Universität von Ottawa und Ottawa Hospital Research Institute ^11-15 entwickelt wurde. Die WMMS wurde für Smartphones mit einem Tri-Achsen-Beschleunigungsmesser und Gyroskop gestaltet. Die Mobilität Algorithmus Konten für Benutzer Variabilität, stellt eine Verringerung der Anzahl von False Positives für Änderungen-of-state Identifikation, und erhöht die Empfindlichkeit der Aktivität Kategorisierung. Minimierung von False Positives ist wichtig, da die WMMS löst kurzen Videoclip-Aufnahme wenn Aktivität Zustandsänderungen erkannt werden, für die kontextbezogene Aktivität Evaluierung, die WMMS Klassifizierung weiter verbessert. Unnötige Videoaufzeichnung erzeugt Ineffizienzen bei der Lagerung und Verwendung von Akkus. Die WMMS Algorithmus wird als Low-Rechenlernmodell strukturiert und ausgewertet mit verschiedenen Vorhersagewerken, in denen eine Erhöhung der Vorhersageniveau bedeutet eine Zunahme in der Mengevon erkennbaren Handlungen.

Protocol

Dieses Protokoll wurde von der Ottawa Health Science Network Research Ethics Board genehmigt.

1. Vorbereitung

1. Bieten den Teilnehmern einen Überblick über die Forschung, alle Fragen zu beantworten und zu erhalten, informierte Zustimmung. Rekordteilnehmer Eigenschaften (zB Alter, Geschlecht, Größe, Gewicht, Taillenumfang, Beinhöhe von der Spina iliaca anterior superior des Innenknöchels) Identifikationscode, und das Datum auf einem Datenblatt. Stellen Sie sicher, dass das zweite Smartphone, das verwendet wird, um Video aufzunehmen, um zumindest ein 30 Bildern pro Sekunde Aufnahmerate eingestellt ist.
2. Befestigen Sie eine Telefon Holster vorne rechts Gürtel oder Hose Taille des Teilnehmers. Starten Sie das Smartphone-Anwendung, die verwendet werden, um die Sensordaten (dh, Datenprotokollierung oder WMMS Anwendung) auf die Mobilität Mess Smartphone sammeln und sicherzustellen, dass die Anwendung in geeigneter Weise ausgeführt wird, wird. Legen Sie das Smartphone in das Holster, mit der Geräterückseite (hinten camera) nach außen zeigt.
3. Starten Sie digitale Videoaufzeichnung auf einer zweiten Smartphone. Nach Anonymität, notieren Sie die Vergleichsvideo, ohne dafür das Gesicht der Person, aber zu gewährleisten, um alle Aktivitätsübergänge aufzuzeichnen. Das Telefon kann Handheld zu sein.

2. Aktivitätsschaltung

1. Folgen Sie den Teilnehmer und Video ihre Aktionen auf der zweiten Smartphone, während sie die folgenden Aktionen aus, vom Prüfer gesprochen ausführen:
   1. Aus dem Stand, schütteln Sie das Smartphone an den Start der Studie zeigen.
   2. Weiterhin stehen für mindestens 10 sec. Diese stehen Phase kann für Telefon Orientierung Kalibrierung ¹⁴ verwendet werden.
   3. Gehen Sie zu einem nahe gelegenen Stuhl und setz dich.
   4. Aufstehen und gehen 60 Meter zu einem Aufzug.
   5. Stehen und warten auf den Aufzug und dann in den Aufzug zu gehen.
   6. Nehmen Sie den Aufzug in den zweiten Stock.
   7. Drehen Sie und gehen Sie in der häuslichen Umgebung.
   8. Gehen Sie ins Badezimmer und siformulieren Zähneputzen.
   9. Simulieren Sie das Kämmen der Haare.
   10. Simulieren Sie die Hände zu waschen.
   11. Trockene Hände mit einem Handtuch.
   12. Gehen Sie in die Küche.
   13. Nehmen Sie Gerichte aus einem Rack und legen Sie sie auf den Tresen.
   14. Füllen Sie einen Wasserkocher mit Wasser aus der Küchenspüle.
   15. Setzen Sie den Wasserkocher auf dem Herd Element.
   16. Legen Sie Brot in einem Toaster.
   17. Gehen Sie bis zum Esszimmer.
   18. Sitzen an einem Esstisch.
   19. Simulieren Sie eine Mahlzeit am Tisch.
   20. Stehen und gehen zurück in die Küchenspüle.
   21. Spülen Sie das Geschirr und legen Sie sie in einem Rack.
   22. Gehen Sie von der Küche zurück zum Aufzug.
   23. Stehen und warten auf den Aufzug und dann in den Aufzug zu gehen.
   24. Nehmen Sie den Aufzug in den ersten Stock.
   25. Gehen Sie 50 Meter zu einem Treppenhaus.
   26. Öffnen Sie die Tür und geben Sie das Treppenhaus.
   27. Gehen Sie die Treppe (13 Stufen, rund Landung, 13 Stufen).
   28. Öffnen Sie die Treppenhaustür in den Flur.
   29. Biegen Sie rechts ab und gehen den Flur entlang zum 15 Meter.
   30. Drehen Sie sich um und gehen Sie 15 Meter zurück zum Treppenhaus.
   31. Öffnen Sie die Tür und geben Sie das Treppenhaus.
   32. Gehen Sie die Treppe (13 Stufen, rund Landung, 13 Stufen).
   33. Verlassen Sie das Treppenhaus und einen Raum betreten.
   34. Liegen auf einem Bett.
   35. Aufstehen und gehen 10 Meter zu einer Rampe.
   36. Gehen Sie die Rampe, sich umdrehen, dann die Rampe hinunter (20 Meter).
   37. Gehen Sie weiter in die Halle und öffnen Sie die Tür nach draußen.
   38. 100 Meter zu Fuß auf dem gepflasterten Weg.
   39. Drehen Sie sich um und gehen zurück in den Raum.
   40. Gehen Sie in den Raum und stehen am Startpunkt.
   41. Weiter stehend, und dann schütteln Sie das Smartphone an das Ende der Studie zeigen.

3. Probe Fertigstellung

1. Stoppen Sie die Videoaufnahme-Smartphone und bitten die Teilnehmer, zu entfernen und das Smartphone und Holster. Stoppen Sie die Datenprotokollierung oder WMMS Anwendung auf dem smartphone. Kopieren Sie die erfassten Bewegungsdaten-Dateien und die Videodatei von beiden Telefonen auf einen Computer für die Nachbearbeitung.

4. Nachbearbeitung

1. Synchronisieren Timing zwischen dem Video und dem Sensor-Rohdaten durch Bestimmung der Zeit, als die Erschütterung Aktion gestartet. Diese Schüttelbewegung entspricht einer deutlichen Beschleunigungsmessersignal und Videorahmen. Erfragen Synchronisationsfehler durch Subtrahieren des Endes Schütteldauer von Anfang Schütteldauer, für Sensor und Video-Datenquellen. Zeitunterschiede sollten ähnlich zwischen den beiden Datensätzen sein.
2. Bestimmen Sie tatsächlichen Change-of-State-mal aus dem Gold-Standard-Video durch die Erfassung der Zeitdifferenz vom Beginn shake Zeit, um den Video-Frame an dem Übergang zwischen Aktivitäten. Verwenden Sie Video-Editing-Software, um Timing innerhalb 0,033 sec zu erhalten (dh, 30 Bilder pro Sekunde Videorate). Verwenden WMMS Software zu vergleichbaren Veränderungen-of-state aus den Sensordaten zu erzeugen.
3. Generieren Sie zwei Datensätzen, einemmit der wahren und über das zweite mit einer vorhergesagten Aktivitäten durch Markierung die Aktivität für jeden Videorahmen (basierend auf dem Zustandswechsel Timing) und dann Berechnen des vorhergesagten Zeit bei jedem Videoframes vom WMMS ausgegeben. Für WMMS Leistungsbewertung, berechnen wahren Positiven, falsche Negative, wahre Negative, False Positives zwischen dem Gold-Standard-Aktivität und WMMS vorhergesagten Aktivität. Verwenden Sie diese Parameter, um die Empfindlichkeit, Spezifität und F-Score Ergebnisse Maßnahmen zu berechnen.
   Hinweis: Ein Toleranzeinstellung von 3 Datenfenstern auf beiden Seiten des Fensters, die analysiert zur Bestimmung Change-of-State-Ergebnisse verwendet werden, und 2 Datenfenster für die Klassifikation Ergebnisse. Da beispielsweise 1 Sekunde Datenfenstern wurden zum WMMS in dieser Studie verwendet, 3 Sekunden vor und nach dem aktuellen Fenster untersucht, so dass aufeinanderfolgende Veränderungen innerhalb der Toleranz liegen ignoriert. Die Überlegung war, dass Zustandsänderungen, die in weniger als 3 Sekunden passieren kann für grobe huma ignoriert werdenn Bewegungsanalyse, da diese Staaten würden als transitorische werden.

Results

Das Studienprotokoll wurde mit einer Gelegenheitsstichprobe von fünfzehn nichtbehinderte Teilnehmer, deren Durchschnittsgewicht betrug 68,9 (± 11,1) kg durchgeführt, Höhe betrug 173,9 (± 11,4) cm, und Alter betrug 26 (± 9) Jahre, gerechnet ab Ottawa Krankenhaus rekrutiert und University of Ottawa Mitarbeiter und Studenten. Ein Smartphone erfassten Sensordaten mit einer variablen 40-50 Hz-Rate. Abtastrate Schwankungen sind typisch für Smartphone-Sensor Probenahme. Ein zweites Smartphone wurde verwendet, um digitale Video...

Discussion

Menschliche Aktivitäten Erkennung mit einer tragbaren Mobilität Überwachungssystem hat mehr Aufmerksamkeit in den letzten Jahren aufgrund der technischen Fortschritte in der Wearable Computing und Smartphones und systematische Anforderungen für quantitative Zielparameter, die mit der klinischen Entscheidungsfindung und Gesundheit Intervention Evaluation helfen erhalten. Die in diesem Dokument beschriebenen Methode wirksam war für die Bewertung WMMS Entwicklung seit Aktivitätsklassifikation Fehler gefunden wurden, die ni...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
Smartphone oder tragbares Messgerät	Blackberry	Z10
Smartphone für Videoaufzeichnung	Blackberry	Z10 oder 9800
Telefonholster	Beliebige
Datenlogger-Anwendung für das Smartphone	BlackBerry World - TOHRC Datenlogger für BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Tragbare Mobilitätsmessung	Benutzerdefinierte Blackberry 10- und Matlab-Software zur Mobilitätsüberwachung		http://www.irrd.ca/cag/smartphone/
Videobearbeitung oder Analysesoftware	Motion Analysis Tools		http://www.irrd.ca/cag/mat/