日常生活環境におけるスマートフォンベースの人間活動の認識システムの評価

Introduction

ユビキタスセンシングが原因で、ますます強力な、小型で低コストのコンピューティングおよび感知装置¹に係研究領域となっています。消費者レベルのマイクロエレクトロニクスは、高精度で¹運動特性を検出することが可能であるため、ウェアラブルセンサを用いて移動度のモニタリングは、大きな関心を生成しました。 ^{4 -}ウェアラブルセンサを用いて人間の行動認識（HAR）は、1980年代と1990年代²で行われる予備的研究と、研究の最近の領域です。

現代のスマートフォンは、移動性活動認識のために必要なセンサおよびリアルタイム計算能力を含みます。デバイス上のリアルタイム解析は、ユーザーや研究者の介入なしに活動の分類とデータのアップロードが可能になります。移動度分析ソフトウェアを使用してスマートフォンを検出、自宅や作業の自動化、および自己管理exercis秋、フィットネス追跡、ヘルスモニタリングを提供することができますEプログラム^5。スマートフォンは、オンボードセンサ出力⁶で計算数学信号生成機能を使用して、ヒトにおいてモバイル活動及びモバイルパターンを検出するための慣性計測プラットフォームと考えることができます。共通の特徴の生成方法は、ヒューリスティック、時間領域、周波数領域、及びウェーブレット解析に基づくアプローチ^{7を含みます} 。

指定されたアクティビティ^{-1,5,6,7-を検出する}現代のスマートフォンHARシステムは、高い予測精度を示しました。ほとんどの研究が自分のトレーニングセット、環境設定、及びデータ収集プロトコルを持っているので、これらの研究は、評価方法と同様の精度が変化します。感度、特異性、精度、再現率、精度、およびF-スコアは、一般的に、予測品質を記述するために使用されます。しかし、情報のほとんどは、リアルタイムでの活動の変化を検出する能力の「コンカレント活動」の認識と評価のための方法で提供されています^1、いくつかの活動を分類しようとするHARシステム用。 HARのシステム精度のための評価法は、研究の間で実質的に変化。かかわらず、分類アルゴリズムまたは適用される機能の、金の説明は、標準的な評価方法は、ほとんどのHAR研究の曖昧です。

日常生活環境で活動認識が広く研究されていません。ほとんどのスマートフォンに基づく行動認識システムは、実世界環境にアルゴリズムではなく、現実的に有利であり得る評価プロトコルにつながる、制御された方法で評価しました。その評価制度の中で、参加者は多くの場合、現実の事象を模倣ではなく、連続して実行するために、参加者のための現実的な活動の広い範囲を適用するよりも、予測のために意図されたアクションのみを実行します。

一部のスマートフォンのHARは、階段や歩行のように、一緒に^8,9グループ同様の活動を研究ただし、データセットから他の活動を除外します。予測精度は、アルゴリズムが標的活性を同定する方法もすることによって決定されます。 Dernbach ら ^9は、参加者が連続チェンジの状態遷移を中断し、移動する前に、実行しようとした活動を記述していました。参加者は日常生活の設定で自然なアクションを実行しながら、HARシステムの評価はアルゴリズムを評価すべきです。これは、アプリケーションの毎日の使用を複製現実の評価を可能にするであろう。現実的な回路は、多くの状態変化、ならびにシステムによって断定ないアクションのミックスが含まれています。研究者はその後、このように異常な動きに、アルゴリズムの堅牢性を評価、これらの追加の動きに対するアルゴリズムの応答を評価することができます。

本論文では、現実の日常生活の環境を反映した制御コースを使用するウェアラブルモビリティモニタリングシステム（WMMS）評価プロトコルを提示します。 WMMS評価はその後、制御されていても、現実的な条件の下で行うことができます。このプロトコルでは、オタワ大学で開発された第三世代WMMSを使用して、オタワ病院研究所^11-15。 WMMSは、3軸加速度計とジャイロスコープを持つスマートフォン用に設計されました。モビリティアルゴリズムは、ユーザの変動を考慮し、変化の状態を同定するための偽陽性の数の減少を提供し、活動の分類に感度を増大させます。 WMMSはさらにWMMS分類を改善状況依存活性評価のために、状態の活動の変化が検出された短いビデオクリップ撮影をトリガーするため、誤検知を最小にすることが重要です。不要な映像記録が保管し、バッテリ使用中の非効率性を作成します。 WMMSアルゴリズムは、予測値の増加は量の増加を意味する異なる予測レベルを用いて低計算学習モデルとして構成され、評価されています認識可能なアクションの。

Protocol

このプロトコルは、オタワ健康科学ネットワーク研究倫理委員会によって承認されました。

1.準備

1. 研究の概要と参加者を提供し、ご質問にお答えし、インフォームドコンセントを得ます。データシート上の（内果に例えば、年齢 、性別、身長、体重、ウエスト周囲径、上前腸骨棘から脚の高さ）レコード参加者の特徴、識別コード、および日付。ビデオをキャプチャするために使用される第2のスマートフォンは、第二の捕捉率あたり少なくとも30フレームに設定されていることを確認してください。
2. 安全参加者の右フロントベルトやズボンの腰に携帯電話のホルスターを接続します。移動度測定のスマートフォンでセンサデータを収集するために使用されるスマートフォンのアプリケーション（ すなわち 、データロギングやWMMSアプリケーション）を起動し、アプリケーションが適切に実行されていることを確認してください。デバイスの背面（背面C​​Aで、ホルスターにスマートフォンを配置外側に向けメラ）。
3. 二スマートフォンでデジタルビデオ録画を開始します。匿名性のために、人の顔を示すことなく、比較のビデオを記録するが、すべてのアクティビティの遷移を記録することを確認してください。携帯電話は、ハンドヘルドすることができます。

2.活動サーキット

1. 彼らは研究者によって話され、次のアクションを実行しながら、第二のスマートフォンで、参加者とビデオ彼らの行動に従ってください：
   1. 立ち位置からは、裁判の開始を示すために、スマートフォンを振ります。
   2. 少なくとも10秒間立って続行します。この立っ相電話姿勢校正¹⁴のために使用することができます。
   3. 近くの椅子に歩き、座ります。
   4. 立ち上がって、エレベーターに60メートルを歩きます。
   5. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   6. 二階にエレベーターを取ります。
   7. 電源を入れて、家庭環境の中に入ります。
   8. バスルーム、SIの中に入ります歯を磨くmulate。
   9. 髪をコーミングシミュレートします。
   10. 手洗いをシミュレートします。
   11. タオルを用いて乾燥した手。
   12. 台所に歩いてください。
   13. ラックから料理を取り、カウンターの上に置きます。
   14. 台所のシンクからの水とのやかんを埋めます。
   15. ストーブ​​の要素にやかんを置きます。
   16. トースターでパンを置きます。
   17. ダイニングルームに歩いてください。
   18. ダイニングルームのテーブルに座っています。
   19. テーブルで食事をシミュレートします。
   20. スタンドと台所の流しに戻って歩いてください。
   21. 料理を洗い流すと、ラックに配置します。
   22. バックエレベーターに台所から徒歩。
   23. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   24. 一階にエレベーターを取ります。
   25. 階段に50メートルを歩きます。
   26. ドアを開けて、階段を入力してください。
   27. （着陸約13段階、13段階の）階段を歩きます。
   28. 廊下に階段のドアを開きます。
   29. 右折して15メートルのために廊下を歩きます。
   30. 振り向くとバック吹き抜けに15メートルを歩きます。
   31. ドアを開けて、階段を入力してください。
   32. （着陸約13段階、13段階の）階段を歩いて。
   33. 階段を終了し、部屋に歩いてください。
   34. ベッドの上で横になって。
   35. アップ取得し、ランプに10メートルを歩きます。
   36. その後、ランプ（20メートル）の下、好転、ランプを歩きます。
   37. ホールに歩いて続行し、外部への扉を開きます。
   38. 舗装された経路上の100メートルを歩きます。
   39. 振り向くと、奥の部屋に歩いてください。
   40. 部屋に入ると、出発点に立っています。
   41. 立って続行した後、試験終了を示すために、スマートフォンを振ります。

3.試用完了

1. ビデオ録画スマートフォンを停止し、削除して、スマートフォンやホルスターを返すために、参加者に依頼してください。 SMAのデータロギングまたはWMMSアプリケーションを停止しますrtphone。後処理のためにコンピュータに両方の電話機から取得したモーションデータファイルとビデオ​​ファイルをコピーします。

4.後処理

1. シェイクアクションが開始された時刻を決定することにより、映像と生のセンサデータとの間のタイミングを同期させます。この振とう運動は、異なる加速度計信号及びビデオフレームに対応します。センサーと映像データ・ソースの場合、スタートブレ時間から終了ぶれ時間を減算することにより、同期エラーをチェックします。時間差は、2つのデータセット間の類似していなければなりません。
2. アクティビティ間の遷移でビデオフレームの開始ぶれ時間から時間差を記録することによって、金標準ビデオからの実際の状態変化回数を決定します。 0.033秒以内にタイミングを得るためにビデオ編集ソフトウェアを使用する（ すなわち 、第2のビデオレート毎秒30フレーム）。同等の変化 - の状態センサデータからを生成するWMMSソフトウェアを使用してください。
3. 二つのデータセットを生成する一真の活動予測活性を有する第二に、各ビデオフレームのための活動を標識することによってWMMS出力から各ビデオフレーム時間における予測の活性を計算し、次に（状態タイミングの変化に基づいて）。 WMMS性能評価のために、金の標準的なアクティビティの間で真の陽性、偽陰性、真陰性、偽陽性を計算し、WMMSは活動を予測しました。感度、特異性、およびF-スコアアウトカム指標を計算するためにこれらのパラメータを使用します。
   注：ウィンドウのいずれかの側の3つのデータウィンドウが分析されるの許容範囲の設定は、変化の状態の結果、分類の結果のための2つのデータウィンドウを決定するために使用することができます。 1第二のデータウィンドウがこの研究にWMMSのために使用されたので、この許容範囲内の連続変化が無視されるように、例えば、3秒前と現在のウィンドウの後を調べました。対価は3秒未満で起こる状態の変化が総フーマーのために無視することができるということでしたこれらの状態以降のn個の運動解析を一時的と考えられます。

Representative Results

研究プロトコルは、オタワ病院から募集平均体重（11.1±）68.9だっキロ、高さは（11.4±）cmの173.9で、年齢は26（±9）であった年間15健常者の利便性のサンプルで実施されました大学オタワのスタッフと学生。スマートフォンは、変数40〜50 Hzのレートでセンサデータを捕獲しました。サンプルレートの変動は、スマートフォンのセンサーサンプリングのための典型的なものです。第二のスマートフォンは、1280×720（720）の解像度でデジタルビデオを記録するために使用されました。

ホルスターは、ロケーションのさらなる標準化することなく、参加者の右フロントベルトやパンツに固定しました。これは、腰にきゅう務員にデバイスを配置するための自​​然な方法を実証しました。ホルスターとデータロガーアプリケーションの実行に置か装置では、それぞれの人は、自己選択のペースで、一度回路を横断しました。回路は、参加者と手続き活動に事前に説明していなかったました試験中に研究者を順番によって話さ。

WMMSは呉によって動作するように同様の上下の境界条件、 らと決定木から成っていた^。13。改訂された分類器は、直線加速度信号（範囲の和、単純移動平均、標準偏差の合計）と重力信号（Yとの差、分散和平均差^）15から1秒のウィンドウサイズと機能を使用していました。三分類セットが評価のために計算した：（II）、座って立って、嘘、または歩行、および（iii）、（ⅰ）移動性または不動、座って立って、嘘、歩行、階段を登るか、小さなスタンディング動き。日常生活の活動は、小さな動きとして標識しました。代表的な結果を表1に示します。

分類					TP		FN		テネシー州		FP		感度 （％）			特異度（％）			F1スコア（％）
分類セット1					350		55		8701		91		86.30±7.2			98.96±0.6			86.17±6.3
分類セット2					359		47		8660		131		88.35±7.80			98.51±0.62			80.19±6.36
分類セット3					423		75		8540		159		98.17±0.62			78.42±5.96
分類セット1
モバイルへの不動					177		19
不動のモバイル					171		36
モバイル時には									3990		73
不動の間に									4711		18
分類セット2
歩いてスタンド					134		17
スタンドまで歩い					137		26
座って歩きます					29		0
歩いて座ります					30		0
リーに歩きます					11		4
ウォークにうそをつきます					15		0
スタンドの間に							2872		73
シット中に									644		9
嘘の間に									447		9
歩行中									4697		40
分類セット3
歩いてスタンド					70		7
スタンドまで歩い					74		14
座って歩きます					29		0
歩いて座ります					30		0
リーに歩きます					15		0
ウォークにうそをつきます					15		0
小型移動するにはウォーク					68		7
ウォークに小さな移動					61		13
13		2
歩いて階段					13		2
小型移動するには小さな移動					35		30
スタンドの間に									1584		25
シット中に							643		10
嘘の間に									447		15
歩行中									4398		56
階段の間に									246		0
ブラシ歯間、									190		12 </ TD>
くし髪の間に									158		2
ウォッシュ手中に									152		6
乾いた手中に									119		4
移動中に料理									93		5
フィルポット中に									190		5
トーストパンの間に									70		1
ウォッシュ料理中に									250		18

表の状態変化決意1.結果。含め、真陽性（TP）、、偽陰性（FN）、真陰性（TN）偽陽性（FP）、総変化 - の状態、感度、特異度、AND F1-スコア。中には、指定された動作中の変更・オブ・状態のためにTNとFPを指します。

第2の予測セットは0.62パーセント±98.51パーセントの7.80パーセント±88.35パーセントの感度と特異性を有していた。表1から、モバイル対不動の分類セットは、0.6％±98.96パーセントの7.2％±86.30パーセントの感度と特異性を持っていました。第三の分類セットの場合、感度は6.38パーセント±84.92パーセントだった、特異度は98.17±0.62でした。第一、第二、第三の分類セットのF1スコアは、それぞれ80.19±6.36、および78.42±5.96、86.17±6.3でした。

図1。3分類・セットの変更・オブ・状態感度、特異性、およびF1-スコア。

Discussion

ウェアラブルモビリティ監視システムと人間の活動の認識はウェアラブルコンピューティングやスマートフォンの技術の進歩と臨床意思決定と健康介入の評価に役立つ定量的なアウトカム指標のための体系的なニーズのために、近年ではより多くの注目を集めています。活動分類エラーは日常生活や歩行シナリオの幅広い活動が評価に含まれていなかった場合に存在していないことが判明したので、この論文に記載の方法は、WMMS開発を評価するために有効でした。

付属のゴールド標準のデータセットとデータ後処理と現実的が、制御された条件下でのデータ収集：WMMS評価プロトコルは、主に2つの部分から構成されます。デジタルビデオは、プロトコル活動全体でWMMSアルゴリズム予測をテストするときに金標準的なデータを提供するための実行可能なソリューションでした。プロトコルにおける重要なステップ（i）は、これは参加者-着用電話から取得したデータで金標準ビデオの同期を可能とするため、金の標準ビデオはスマートフォンの揺れをキャプチャすることを保証するために、および（ii）すべての遷移が行わゴールドスタンダードビデオレコードことを確実にするためにありますトライアル参加者（トライアル参加者を以下のとき、すなわち 、金の標準ビデオの録画者が正しい位置にある必要があります）。

評価プロトコルは、歩行活動、日常生活環境、様々な地形やトランジションを搭載しています。参加者-着用スマートフォンは継続的に、加速度計、ジャイロスコープ、磁力計、およびGPSセンサからのデータを記録しながら、すべてのアクションが連続して行われ、第二のスマートフォンは、ビデオにトライアル参加者によって実行されたすべてのアクティビティを使用します。プロトコルは、日常生活のARの連続実行される活動の範囲限り、テストの位置に基づいて、活動の順序を適応させることによって修飾することができますeが組み込まれています。 10〜15分は、参加者に応じて、回路を完成するために必要でした。パイロットテスト中に、障害を持ついくつかの参加者は、のみですので、単一のトライアルテストは完全なデータセットを確実にするために、いくつかの集団で考慮されるべきで、1サイクルを完了することができます。

提案WMMS評価方法の限界は、解像度、タイミングは、日常生活の活動のためのビデオとは異なる変化の状態のタイミングを識別する金標準コンパレータビデオと難しさを記録するために使用されるカメラのビデオフレームレートに制限されることです。いくつかのフレームによって変化の状態変化を識別による活動の解釈になる可能性がゴールドスタンダードとWMMS結果との違いを開始いうよりWMMSエラーにつながります。各チェンジ・オブ・ステート、全く比較が行われていないで公差は、これらの不一致のアカウントを助けるために実装することができます。

一般的に、数を増やします活動が分類され、分類困難（ すなわち 、階段、小さな動き）は、平均感度、特異性、およびF1スコアを減少されているの。アクティビティの数が増加すると偽陽性と偽陰性の可能性を増加させるので、これは予想されてもよいです。唯一のアルゴリズムに有利である活動を使用した評価プロトコルは、誤解を招くであり、実世界の条件下で評価した場合、同様の結果を生成する可能性が低い結果が得られます。そのため、既存の方法についての重要性は、プロトコルは、文献中に以前の報告よりWMMSシステムのためのより保守的な結果になるということです。しかし、結果はより良い実際に成果が反映されます。 WMMS評価の提案された方法は、測定または人間の動きを補助するウェアラブル技術の範囲を評価することができます。

Materials

Name	Company	Catalog Number	Comments
Smartphone or wearable measurement device	Blackberry	Z10
Smartphone for video recording	Blackberry	Z10 or 9800
Phone holster	Any
Data logger application for the smartphone	BlackBerry World - TOHRC Data Logger for BlackBerry 10		http://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
Wearable mobility measurement	Custom Blackberry 10 and Matlab software for mobility monitoring		http://www.irrd.ca/cag/smartphone/
Video editing or analysis software	Motion Analysis Tools		http://www.irrd.ca/cag/mat/