日常生活環境におけるスマートフォンベースの人間活動の認識システムの評価

Summary

現実的な日常生活環境での継続的な活動を含むウェアラブルモビリティモニタリングシステム(WMMS)のための標準化された評価方法が開発されました。一連の日常生活動作でテストすると、活動認識感度が低下する可能性があります。したがって、WMMS性能の有効な評価のためには、現実的なテスト回路が推奨されます。

Abstract

日常生活環境での継続的な活動を含む評価方法は、ユーザーの活動を認識しようとするウェアラブルモビリティモニタリングシステム(WMMS)のために開発されました。参加者は、移動活動(歩く、立つ、座る、横になる、階段を上る/下りる)、日常生活動作(髪をとかす、歯を磨く、食事を準備する、食事をする、皿を洗う)、微妙な環境の変化(ドアを開ける、エレベーターを使用する、坂道を歩く、階段の踊り場を横断する、屋外を歩く)を含む、連続テスト回路内で事前に決定された一連の日常生活動作を実行しました。

このサーキットでのWMMSのパフォーマンスを評価するために、15人の健常な参加者が右前骨盤にスマートフォンを装着しながらタスクを完了しました。WMMSアプリケーションは、スマートフォンの加速度計とジャイロスコープの信号を使用して、活動状態を分類しました。ゴールドスタンダードの比較データセットは、各試行をビデオ録画し、活動の開始時間を手動で記録することによって作成されました。ゴールドスタンダードとWMMSのデータはオフラインで分析しました。各回路について、(i)可動性または不動性、ii)座る、立つ、横になる、または歩く、および(iii)座る、立つ、横になる、歩く、階段を上る、または小さな立った動きの3つの分類セットが計算されました。活動の分類と状態変化の感度、特異性、および F スコアを計算しました。

移動性対移動性の分類セットは、感度が86.30%±7.2%、特異度が98.96%±0.6%でしたが、2番目の予測セットの感度は88.35%±7.80%、特異度は98.51%±0.62%でした。第3の分類セットでは、感度は84.92%±6.38%、特異度は98.17±0.62であった。F1のスコアは、第1分類セット、第2分類セット、第3分類セットのスコアがそれぞれ86.17±6.3、80.19±6.36、78.42±5.96でした。これは、WMMS のパフォーマンスがアルゴリズムに加えて評価プロトコルに依存することを示しています。実証されたプロトコルは、運動性モニタリングが臨床上の意思決定に有益である可能性のあるリハビリテーション医学における人間の活動認識システムを評価するために使用および調整できます。

Introduction

ユビキタスセンシングが原因で、ますます強力な、小型で低コストのコンピューティングおよび感知装置¹に係研究領域となっています。消費者レベルのマイクロエレクトロニクスは、高精度で¹運動特性を検出することが可能であるため、ウェアラブルセンサを用いて移動度のモニタリングは、大きな関心を生成しました。 ^{4 -}ウェアラブルセンサを用いて人間の行動認識（HAR）は、1980年代と1990年代²で行われる予備的研究と、研究の最近の領域です。

現代のスマートフォンは、移動性活動認識のために必要なセンサおよびリアルタイム計算能力を含みます。デバイス上のリアルタイム解析は、ユーザーや研究者の介入なしに活動の分類とデータのアップロードが可能になります。移動度分析ソフトウェアを使用してスマートフォンを検出、自宅や作業の自動化、および自己管理exercis秋、フィットネス追跡、ヘルスモニタリングを提供することができますEプログラム^5。スマートフォンは、オンボードセンサ出力⁶で計算数学信号生成機能を使用して、ヒトにおいてモバイル活動及びモバイルパターンを検出するための慣性計測プラットフォームと考えることができます。共通の特徴の生成方法は、ヒューリスティック、時間領域、周波数領域、及びウェーブレット解析に基づくアプローチ^{7を含みます} 。

指定されたアクティビティ^{-1,5,6,7-を検出する}現代のスマートフォンHARシステムは、高い予測精度を示しました。ほとんどの研究が自分のトレーニングセット、環境設定、及びデータ収集プロトコルを持っているので、これらの研究は、評価方法と同様の精度が変化します。感度、特異性、精度、再現率、精度、およびF-スコアは、一般的に、予測品質を記述するために使用されます。しかし、情報のほとんどは、リアルタイムでの活動の変化を検出する能力の「コンカレント活動」の認識と評価のための方法で提供されています^1、いくつかの活動を分類しようとするHARシステム用。 HARのシステム精度のための評価法は、研究の間で実質的に変化。かかわらず、分類アルゴリズムまたは適用される機能の、金の説明は、標準的な評価方法は、ほとんどのHAR研究の曖昧です。

日常生活環境で活動認識が広く研究されていません。ほとんどのスマートフォンに基づく行動認識システムは、実世界環境にアルゴリズムではなく、現実的に有利であり得る評価プロトコルにつながる、制御された方法で評価しました。その評価制度の中で、参加者は多くの場合、現実の事象を模倣ではなく、連続して実行するために、参加者のための現実的な活動の広い範囲を適用するよりも、予測のために意図されたアクションのみを実行します。

一部のスマートフォンのHARは、階段や歩行のように、一緒に^8,9グループ同様の活動を研究ただし、データセットから他の活動を除外します。予測精度は、アルゴリズムが標的活性を同定する方法もすることによって決定されます。 Dernbach ら ^9は、参加者が連続チェンジの状態遷移を中断し、移動する前に、実行しようとした活動を記述していました。参加者は日常生活の設定で自然なアクションを実行しながら、HARシステムの評価はアルゴリズムを評価すべきです。これは、アプリケーションの毎日の使用を複製現実の評価を可能にするであろう。現実的な回路は、多くの状態変化、ならびにシステムによって断定ないアクションのミックスが含まれています。研究者はその後、このように異常な動きに、アルゴリズムの堅牢性を評価、これらの追加の動きに対するアルゴリズムの応答を評価することができます。

本論文では、現実の日常生活の環境を反映した制御コースを使用するウェアラブルモビリティモニタリングシステム（WMMS）評価プロトコルを提示します。 WMMS評価はその後、制御されていても、現実的な条件の下で行うことができます。このプロトコルでは、オタワ大学で開発された第三世代WMMSを使用して、オタワ病院研究所^11-15。 WMMSは、3軸加速度計とジャイロスコープを持つスマートフォン用に設計されました。モビリティアルゴリズムは、ユーザの変動を考慮し、変化の状態を同定するための偽陽性の数の減少を提供し、活動の分類に感度を増大させます。 WMMSはさらにWMMS分類を改善状況依存活性評価のために、状態の活動の変化が検出された短いビデオクリップ撮影をトリガーするため、誤検知を最小にすることが重要です。不要な映像記録が保管し、バッテリ使用中の非効率性を作成します。 WMMSアルゴリズムは、予測値の増加は量の増加を意味する異なる予測レベルを用いて低計算学習モデルとして構成され、評価されています認識可能なアクションの。

Protocol

このプロトコルは、オタワ健康科学ネットワーク研究倫理委員会によって承認されました。

1.準備

1. 研究の概要と参加者を提供し、ご質問にお答えし、インフォームドコンセントを得ます。データシート上の（内果に例えば、年齢 、性別、身長、体重、ウエスト周囲径、上前腸骨棘から脚の高さ）レコード参加者の特徴、識別コード、および日付。ビデオをキャプチャするために使用される第2のスマートフォンは、第二の捕捉率あたり少なくとも30フレームに設定されていることを確認してください。
2. 安全参加者の右フロントベルトやズボンの腰に携帯電話のホルスターを接続します。移動度測定のスマートフォンでセンサデータを収集するために使用されるスマートフォンのアプリケーション（ すなわち 、データロギングやWMMSアプリケーション）を起動し、アプリケーションが適切に実行されていることを確認してください。デバイスの背面（背面C​​Aで、ホルスターにスマートフォンを配置外側に向けメラ）。
3. 二スマートフォンでデジタルビデオ録画を開始します。匿名性のために、人の顔を示すことなく、比較のビデオを記録するが、すべてのアクティビティの遷移を記録することを確認してください。携帯電話は、ハンドヘルドすることができます。

2.活動サーキット

1. 彼らは研究者によって話され、次のアクションを実行しながら、第二のスマートフォンで、参加者とビデオ彼らの行動に従ってください：
   1. 立ち位置からは、裁判の開始を示すために、スマートフォンを振ります。
   2. 少なくとも10秒間立って続行します。この立っ相電話姿勢校正¹⁴のために使用することができます。
   3. 近くの椅子に歩き、座ります。
   4. 立ち上がって、エレベーターに60メートルを歩きます。
   5. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   6. 二階にエレベーターを取ります。
   7. 電源を入れて、家庭環境の中に入ります。
   8. バスルーム、SIの中に入ります歯を磨くmulate。
   9. 髪をコーミングシミュレートします。
   10. 手洗いをシミュレートします。
   11. タオルを用いて乾燥した手。
   12. 台所に歩いてください。
   13. ラックから料理を取り、カウンターの上に置きます。
   14. 台所のシンクからの水とのやかんを埋めます。
   15. ストーブ​​の要素にやかんを置きます。
   16. トースターでパンを置きます。
   17. ダイニングルームに歩いてください。
   18. ダイニングルームのテーブルに座っています。
   19. テーブルで食事をシミュレートします。
   20. スタンドと台所の流しに戻って歩いてください。
   21. 料理を洗い流すと、ラックに配置します。
   22. バックエレベーターに台所から徒歩。
   23. スタンドとエレベーターを待ってから、エレベーターの中に入ります。
   24. 一階にエレベーターを取ります。
   25. 階段に50メートルを歩きます。
   26. ドアを開けて、階段を入力してください。
   27. （着陸約13段階、13段階の）階段を歩きます。
   28. 廊下に階段のドアを開きます。
   29. 右折して15メートルのために廊下を歩きます。
   30. 振り向くとバック吹き抜けに15メートルを歩きます。
   31. ドアを開けて、階段を入力してください。
   32. （着陸約13段階、13段階の）階段を歩いて。
   33. 階段を終了し、部屋に歩いてください。
   34. ベッドの上で横になって。
   35. アップ取得し、ランプに10メートルを歩きます。
   36. その後、ランプ（20メートル）の下、好転、ランプを歩きます。
   37. ホールに歩いて続行し、外部への扉を開きます。
   38. 舗装された経路上の100メートルを歩きます。
   39. 振り向くと、奥の部屋に歩いてください。
   40. 部屋に入ると、出発点に立っています。
   41. 立って続行した後、試験終了を示すために、スマートフォンを振ります。

3.試用完了

1. ビデオ録画スマートフォンを停止し、削除して、スマートフォンやホルスターを返すために、参加者に依頼してください。 SMAのデータロギングまたはWMMSアプリケーションを停止しますrtphone。後処理のためにコンピュータに両方の電話機から取得したモーションデータファイルとビデオ​​ファイルをコピーします。

4.後処理

1. シェイクアクションが開始された時刻を決定することにより、映像と生のセンサデータとの間のタイミングを同期させます。この振とう運動は、異なる加速度計信号及びビデオフレームに対応します。センサーと映像データ・ソースの場合、スタートブレ時間から終了ぶれ時間を減算することにより、同期エラーをチェックします。時間差は、2つのデータセット間の類似していなければなりません。
2. アクティビティ間の遷移でビデオフレームの開始ぶれ時間から時間差を記録することによって、金標準ビデオからの実際の状態変化回数を決定します。 0.033秒以内にタイミングを得るためにビデオ編集ソフトウェアを使用する（ すなわち 、第2のビデオレート毎秒30フレーム）。同等の変化 - の状態センサデータからを生成するWMMSソフトウェアを使用してください。
3. 二つのデータセットを生成する一真の活動予測活性を有する第二に、各ビデオフレームのための活動を標識することによってWMMS出力から各ビデオフレーム時間における予測の活性を計算し、次に（状態タイミングの変化に基づいて）。 WMMS性能評価のために、金の標準的なアクティビティの間で真の陽性、偽陰性、真陰性、偽陽性を計算し、WMMSは活動を予測しました。感度、特異性、およびF-スコアアウトカム指標を計算するためにこれらのパラメータを使用します。
   注：ウィンドウのいずれかの側の3つのデータウィンドウが分析されるの許容範囲の設定は、変化の状態の結果、分類の結果のための2つのデータウィンドウを決定するために使用することができます。 1第二のデータウィンドウがこの研究にWMMSのために使用されたので、この許容範囲内の連続変化が無視されるように、例えば、3秒前と現在のウィンドウの後を調べました。対価は3秒未満で起こる状態の変化が総フーマーのために無視することができるということでしたこれらの状態以降のn個の運動解析を一時的と考えられます。

Results

研究プロトコルは、オタワ病院から募集平均体重（11.1±）68.9だっキロ、高さは（11.4±）cmの173.9で、年齢は26（±9）であった年間15健常者の利便性のサンプルで実施されました大学オタワのスタッフと学生。スマートフォンは、変数40〜50 Hzのレートでセンサデータを捕獲しました。サンプルレートの変動は、スマートフォンのセンサーサンプリングのための典型的なものです。第二のスマートフォンは、1280×720（720）の解像度でデジタルビデオを記録するために使用されました。

ホルスターは、ロケーションのさらなる標準化することなく、参加者の右フロントベルトやパンツに固定しました。これは、腰にきゅう務員にデバイスを配置するための自​​然な方法を実証しました。ホルスターとデータロガーアプリケーションの実行に置か装置では、それぞれの人は、自己選択のペースで、一度回路を横断しました。回路は、参加者と手続き活動に事前に説明していなかったました試験中に研究者を順番によって話さ。

WMMSは呉によって動作するように同様の上下の境界条...

Discussion

ウェアラブルモビリティ監視システムと人間の活動の認識はウェアラブルコンピューティングやスマートフォンの技術の進歩と臨床意思決定と健康介入の評価に役立つ定量的なアウトカム指標のための体系的なニーズのために、近年ではより多くの注目を集めています。活動分類エラーは日常生活や歩行シナリオの幅広い活動が評価に含まれていなかった場合に存在していないことが判明したので、この論文に記載の方法は、WMMS開発を評価するために有効でした。

付属のゴールド標準のデータセットとデータ後処理と現実的が、制御された条件下でのデータ収集：WMMS評価プロトコルは、主に2つの部分から構成されます。デジタルビデオは、プロトコル活動全体でWMMSアルゴリズム予測をテストするときに金標準的なデータを提供するための実行可能なソリューションでした。プロトコルにおける重要なステップ（i）は、これは参加者-着用電話から取得したデータで金標準ビデオの同期を可能とするため、金の標準ビデオはスマートフォンの揺れをキャプチャすることを保証するために、および（ii）すべての遷移が行わゴールドスタンダードビデオレコードことを確実にするため...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
スマートフォンまたはウェアラブル測定装置	Blackberry	Z10
ビデオ録画用スマートフォン	Blackberry	Z10または9800
電話ホルスター
データロガーアプリケーション	BlackBerry World - TOHRC BlackBerry 10		用データロガーhttp://appworld.blackberry.com/webstore/content/32013891/?countrycode=CA
ウェアラブルモビリティ測定	カスタムBlackberry 10およびモビリティモニタリング		http://www.irrd.ca/cag/smartphone/
>ビデオ編集または分析ソフトウェア	Motion Analysis Tools		http://www.irrd.ca/cag/mat/