Summary
本稿ではプロトコルの設計と食物摂取のパターンを検出するメガネ型ウェアラブル デバイスを製造、ガラスの両方のヒンジのロードセルを使用してその他の注目の物理的な活動が挿入されます。
Abstract
本研究は、一連の設計および製造食品の摂取量と他の身体活動の間に側頭筋筋活動のパターンを検出するメガネ型ウェアラブル デバイスのプロトコルを示します。メガネとフレームの両方のヒンジに挿入された負荷セル統合プリント回路基板 (PCB) モジュールの 3 D プリントのフレームを作製しました。力信号を集録し、ワイヤレスでそれらを送信モジュールが使用されました。これらの手順は、歩行や waggling といった実用的な身に着けている条件で評価できる高いモビリティとシステムを提供します。分類のパフォーマンスは、食物摂取のパターンを区別するこれらの物理的な活動によっても評価されます。一連のアルゴリズムを用いて信号を前処理特徴ベクトルを生成し、いくつかのパターンを認識する活動 (咀嚼とウインク)、および他の物理的な活動 (、話して、歩いて、残りを定住) を特集します。注目の活動の中で分類の平均 F1スコア 91.4% であったことがわかった。このアプローチは潜在的自動かつ客観的摂食問題を扱うための実用的な手段として精度の高い摂食行動の監視のために有用することができます考えています。
Introduction
継続的かつ客観的は食物摂取の監視は、過剰なエネルギーの蓄積は、overweightness と肥満1、様々 な医療の合併症2になる可能性を引き起こす可能性があります人間の体のエネルギー バランスを維持するために不可欠です。エネルギーの不均衡の主な要因は過剰な食物摂取および十分な身体活動3知られています。毎日のエネルギーの支出の監視の様々 な研究は、でもウェアラブル デバイス4,5,6, 身体活動パターンの自動と客観的測定を導入されている、最終消費者レベルと医療のステージ7。食物摂取量のモニタリングに関する研究はしかし、まだ、研究室の設定に、直接かつ客観的に食品の摂取量の活動を検出することは困難だからです。ここでは、デバイスの設計とその評価食品摂取量と日常生活の中で実践的なレベルで身体活動パターンを監視するための提示を目指します。
咀嚼・嚥下音8,9,10、手首11,12,13の動きを通じて食品の摂取量を監視し、画像に様々 な間接アプローチがあった分析14、および筋電図 (EMG)15。ただし、これらのアプローチが彼らの固有の制限があるため毎日の生活アプリケーションに適用することは困難: 音を使用してメソッドが環境音によって影響を受ける脆弱性食物を消費していない場合他の身体活動から区別するために、手首の動きを使用してメソッドが難しかった画像と筋電位信号を用いた方法は、運動と環境の境界によって制限されます。これらの研究は、センサーを使用して食品の摂取量の自動検出の機能を示したが、まだ実験室の設定を超えて日常生活に実用性の制限があった。
この研究では、食品摂取量の自動かつ客観的監視に側頭筋筋活動のパターンを使用しました。一般的に、側頭筋を繰り返し収縮と食品摂取量16,17; 中に咀嚼筋の一部としてリラクゼーションしたがって、側頭筋の筋活動の周期的なパターンを検出することにより食品摂取量の活動を監視できます。最近、活動18,19,20,21, 筋電図や圧電歪に使用筋肉の側頭筋を利用したいくつかの研究をされている人間の上に直接適用してセンサー皮膚。これらのアプローチは、しかし、筋電図電極またはひずみセンサーの皮膚の場所に敏感だった、運動や汗のため皮膚から簡単にデタッチされました。したがって、側頭筋筋活動両方のヒンジを所定の私たちの以前の研究22で挿入する 2 つのロード セルその意味提案メガネのペアを使用して新しい、有効な方法です。この方法は、肌に触れることがなく高精度な食品摂取量の活動を検出の大きな可能性を示した。また非目障りな非侵入以来だった我々 は一般的なメガネ型デバイスを使用します。
本研究では、メガネ型デバイスを実装する方法と食品の摂取量と身体活動を監視するため側頭筋筋活動のパターンを使用する方法の詳細なプロトコルのシリーズを紹介します。プロトコルは、ハードウェア設計とメガネ、回路モジュール、およびデータ集録モジュールの 3 D プリントのフレームで構成される製造のプロセスを含めるし、データ処理・解析用ソフトウェア アルゴリズムを含めます。さらにいくつかの注目の活動 (例えば、咀嚼、歩行とウインク) の中で分類を行った食品摂取量と他の身体活動の分の違いを伝えることができる実用的なシステムとしての可能性を実証するにはパターン。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
注: 被験者の使用を含むすべての手順は、単にメガネを着ての非侵襲的な方法によって達成されました。すべてのデータは、皮膚との直接接触ではなかったガラスの挿入のロードセルから力信号を測定することによって買収されました。データはワイヤレスでこの場合研究のため指定されたスマート フォンは、データ記録モジュールに送信されました。すべてのプロトコルが体内に関連はなかった/生体外の研究。薬や血液サンプルは、実験のために使用されなかった。インフォームド コンセントは、実験のすべての被験者から得られました。
1. センサー集積回路モジュールの製造
-
回路モジュールを製造するための電子部品を購入します。
- それぞれの 0 N と 15 N の範囲で動作し、3.3 V の励起で最大 120 mV スパンと低い差動電圧の出力を生成する 2 つのボール型負荷セルを購入します。
注: これらの負荷の測定に使用するセルは、左側と右側の眼鏡の両方の信号を強制します。 - 2 つの計装アンプと 2 つの 15 kΩ 利得設定抵抗を購入します。
注: 計装アンプ、ゲイン設定抵抗、960 まで 8 回、ロードセルの力信号を増幅するされる mV。 - 無線機能 (例えばWi-Fi 接続)、10 ビット アナログ-デジタル変換器 (ADC) とマイクロ コントローラ ユニット (MCU) を購入します。
注: MCU は力信号を読み取るし、ワイヤレス データ集録モジュールに送信されます。2 つのアナログの力の入力に 1 つのアナログ入力ピンを使用するため、1.1.4 の次のステップにマルチプレクサーの使用が導入します。 - MCU の 1 つの ADC ピンと 2 つの入力信号を処理する 2 ch アナログ ・ マルチプレクサーを購入します。
- 3.7 V の公称電圧、300 mAh 公称容量、1 C 放電率とリチウム イオン高分子 (リポ) バッテリーを購入します。
注: 以上 200 mAh 1 時間あたり十分な電流を供給して実験の約 1.5 時間に確実にシステムを動作するように、バッテリー容量が選ばれました。 - 3.7 V バッテリー電圧が 3.3 V の線形ダウン規制用の 3.3 V のレギュレータを購入システムの電圧。
- 購入 5 12 kΩ 表面実装部品 (SMD) の形は、MCU のプルアップ抵抗として抵抗器です。抵抗器のフット プリントは、2.0 mm x 1.2 mm (2012 サイズ) です。
- それぞれの 0 N と 15 N の範囲で動作し、3.3 V の励起で最大 120 mV スパンと低い差動電圧の出力を生成する 2 つのボール型負荷セルを購入します。
-
プリント回路基板 (Pcb) を製造します。この手順は、回路基板を描き、基板製造のアートワーク (すなわち、基板レイアウト、.brd ファイル) と (すなわち、.sch ファイル) の回路図を作ることです。アートワークと回路図ファイルの作成のプロセスの基本的な理解は、開発に必要です。
- 図 1 aに示すように、電子設計アプリケーションを使用してバッテリーを含む左の回路の回路図を描画します。アートワーク (.brd) と回路図 (.sch) ファイルとして、結果を保存します。
- 図 1 bに示すように、電子設計アプリケーションを使用して MCU を含む正しい回路の回路図を描画します。アートワーク (.brd) と回路図 (.sch) ファイルとして、結果を保存します。
- プリント基板製作会社に発注することで、回路基板を作製します。
- 図 2と図 3に示すように、Pcb の手順 1.1 で準備すべての電子部品をはんだ付けします。
注意: 計装用アンプのはんだ付け温度に非常に敏感です。リード温度が 300 ° C、10 を超えないことを確認してください s はんだ付け時、それ以外の場合それはコンポーネントに永久的な損傷に原因します。
2 眼鏡のフレームの 3 D プリント
- 図 4 aに示すように、3 D モデリング ツールを使用してガラスの頭の部分の 3 D モデルを描画します。結果を .stl ファイル形式にエクスポートします。
- 図 4 bと図 4に示すように、ツールをモデリング 3D を使用してガラスの左と右の寺院の 3 D モデルを描画します。.Stl ファイル形式に結果をエクスポートします。
- 240 ° C ノズル温度の層の温度 80 ° C で 3 D プリンターと炭素繊維のフィラメントを使用してヘッド部分とテンプル部分を印刷します。
注: 任意の商業 3 D プリンターおよびアクリロニ トリル ・ ブタジエン ・ スチレン (ABS) などポリ乳酸 (PLA) 繊維のすべての種類の使用を許可できます。ノズルとベッドの温度はフィラメントや印刷条件によって調整されます。 - 180 ° C 設定の熱風送風機を使用して寺院の先端を熱し、それら従来のグラスのような側頭筋の表皮を連絡する内側約 15 度を曲げます。
注: 眼鏡のテンプルの曲げ加工の程度は、曲率の目的は、被写体の頭装備に合うメガネを助けることによってフォーム ファクターを増加する厳格なする必要はありません。ただし、注意としての重要なパターンを収集することは不可能になる側頭筋に触れてから寺院を防ぐため、過度の曲げ。 - 図 4に示すように、複数の頭のサイズに合うようにメガネ フレームの 2 つの異なるサイズを印刷する手順 2.1-2.4 から手順を繰り返します。
3. ガラスのすべての部品の組立
- 図 5に示すように、M2 ボルトを用いたガラスの寺院の両側に Pcb を挿入します。
- 蝶番関節に M2 ボルトを挿入して頭の部分と寺院を組み立てます。
- 図 5に示すように、3 ピン接続するワイヤを使用して左と右の Pcb に接続します。
- 左の回路にバッテリーを接続、左のこめかみに粘着テープで取り付けます。PCB デザインにより異なりますので、バッテリの実装側は、重要ではありません。
- 図 5に示すように、人間の皮膚とより多くの摩擦を追加する鼻パッドの先端のゴムのテープでガラスをカバーします。
4. データ収集システムの開発
注: データ集録システムは、伝送モジュールとデータ受信モジュールで構成されます。データ送信モジュール読み取り時間、力、双方の信号し、受信データを収集し、.tsv ファイルに書き込まれます、データ受信モジュールに送信します。
-
手順 4.1.1–4.1.3 の手順に従って基板モジュールの MCU にアプリケーションを送信データをアップロードします。
- コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Server"プロジェクトを実行します。
注: このプロジェクトは、Arduino の統合開発環境 (IDE) でビルドされました。時間を読んで、力、200 サンプル/秒の信号およびデータ受信モジュールに送信する機能を提供します。 - モジュール基板をユニバーサル シリアル バス (USB) コネクタ経由でコンピューターに接続します。
- 4.1.1 ステップイン MCU からプログラミング コードをフラッシュする Arduino IDE の「アップロード」ボタンを押します。
- コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Server"プロジェクトを実行します。
-
手順 4.2.1–4.2.3 の手順に従ってスマート フォン、ワイヤレスでデータを受信するために使用するデータの受信側アプリケーションをアップロードします。
- コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Client"プロジェクトを実行します。
注: このプロジェクトをプログラミング言語 c# でビルドされました。データを受信し、対象者の情報、名前、性別、年齢、ボディマス指数 (BMI) などを含む .tsv ファイルを保存する機能を提供します。 - スマート フォンをデータの受信側アプリケーションを構築する USB コネクタ経由でコンピューターに接続します。
- スマート フォンにデータ受信側アプリケーションを構築するには、c# プロジェクトの「ファイル > ビルドと実行」ボタンを押します。
- コンピューターを使用して補助ファイルに関連付けられている"GlasSense_Client"プロジェクトを実行します。
5 ユーザー調査からデータ収集
注: この研究を収集 6 注目アクティビティ セット: 座りがちな休息 (SR)、座りがちな咀嚼 (SC)、(W) を歩いて、咀嚼 (CW) を歩きながら、座りがちな話 (ST) と座りがちなウインク (SW)。
- テストするユーザーに適切なサイズを持っているメガネのペアを選択します。両方のヒンジ (図 5) でサポート ボルトで気密性を微調整します。
注意: 本研究で用いた力センサーは動作範囲を超えて良い線形特性を失う可能性がありますのでフォース値必要があります 15 N を超えない。力値を緩めることにより微調整できます。 またはボルト締めサポート。 -
4.2.3 のステップに建てられたアプリケーションに「記録」ボタンを押すことによってすべての科目の活動記録。
- 120 のブロックの中にアクティビティを記録し、それの録画ファイルを生成します。
- SR の場合、件名を椅子に座って、スマート フォンを使ったり、本を読んでもらいます。頭の動きを許可するが、全身の動きを避けます。
- SC と CW の場合、食品テクスチャー (トーストしたパンと咀嚼ゼリー) 別食品のプロパティを反映するための 2 つのタイプの食べる科目があります。食べるの良いサイズは 20 mm × 20 mm, スライスでトーストしたパンを提供します。
- W の場合 4.5 キロ/h の速度でトレッドミル上を歩く科目があります。
- ST の場合対象を座って、それらを読んだ本を大声で正常な音とスピードで。
- SW の場合 0.5 の鐘の音のタイミングにウインクする被験者に通知 s 長いすべての 3 s。
- 5.2.1 の手順で収集されたデータから .tsv 形式で録画ファイルを生成します。
注: このファイルには、データが受信された時間順、左力信号、右の力信号と現在の顔のアクティビティを表すラベルが含まれています。ユーザーのブロックのすべての活動の時系列信号の可視化は図 6に描かれています。六つの注目のアクティビティ セット (SR, サウスカロライナ、W、CW、ST、SW) は、それぞれ 1、2、3、4、5、および 6、として標識しました。ラベルは、プロトコルのセクション 8 で予測されたクラスを比較する使用されました。 - 記録ブロック後 60 の休憩を取る。休憩中、メガネを取るし、記録ブロックの再起動時に再度再着用します。
- 各アクティビティの手順 5.2.1 と 5.2.2 のブロック割りセット 4 回を繰り返します。
- SW、場合 1 つのブロックの間に左目と繰り返しまばたきし、し、次のブロックの間に右目と繰り返しウインク件名を持ちます。
- 120 のブロックの中にアクティビティを記録し、それの録画ファイルを生成します。
- 手順 5.1-5.2 と 10 科目からデータを収集します。本研究で我々 使用 5 男女各 5 名、平均年齢 27.9 ± 4.3 (標準偏差; 標準偏差) 年、19-33 歳であったが、平均 BMI は 21.6 ± 3.2 (標準偏差) kg/m217.9-27.4 kg/m2であった。
注: 本研究は、食べ物をかむための医療条件を持っていなかった科目でウィンクし徒歩募集されたとこの条件を基準に使用されました。
6. 信号前処理とセグメンテーション
注: 左と右の信号は、次の手順で別々 に計算されます。
-
2 の時間フレームのシリーズを準備 s 長い。
- セグメント、120 s は、図 6に示すように、MATLAB を使用して 1 の間隔でそれらをホッピングで 2 s フレームのセットに信号を記録しました。
注: 2 の分割フレーム s 長いセクション 7 の特徴を抽出する使用されました。1 s ホッピング サイズは、5.2.1 のステップですでに 3 s ウインク間隔で信号を分割する決定されました。 - フレームごとに 10 Hz のカットオフ周波数を持つ 5th順序バタワース フィルターを使って低域通過フィルター (LPF) を適用します。
- 7.1 の手順で次のステップの時間フレームとして 6.1.2 手順の結果を保存します。
- セグメント、120 s は、図 6に示すように、MATLAB を使用して 1 の間隔でそれらをホッピングで 2 s フレームのセットに信号を記録しました。
-
一連のスペクトルのフレームを準備します。
- 各フレームの眼鏡を掛けて、プリロードを削除する元の信号から中央値を減算します。
注: プリロードの値は次の周波数分析の必要ありません、それでした、しかし、咀嚼、歩行、ウインク、等についての情報が含まれていないのでからの件名、対象から変えることができる重要な情報が含まれてすべての設定、メガネのと瞬間からも主題と眼鏡します。 - ハニング窓を周波数分析に基づくスペクトル漏れを減らすためにフレームごとに適用されます。
- 生成し、高速フーリエ変換 (FFT) を各フレームに適用することにより片面のスペクトルを保存します。
- 各フレームの眼鏡を掛けて、プリロードを削除する元の信号から中央値を減算します。
- 時空間とフレーム ブロックとして同じ時間のスペクトル フレーム (またはフレーム) の組み合わせを定義します。
7. 特徴ベクトルの生成
注: プロトコルのセクション 6 で生成されるフレームごと特徴ベクトルが生成されます。左と右のフレームは別々 に計算され、次の手順で特徴ベクトル結合しています。すべての手順は、MATLAB で実施されました。
- プロトコルの手順 6.1 で一時的なフレームから統計的特徴を抽出します。総数 54 機能のリストは、表 1で与えられます。
- 手順 6.2 プロトコルのスペクトル フレームから統計的特徴を抽出します。総数 30 の機能のリストは、表 2で与えられます。
- 上記時間及び分光特徴を組み合わせることにより 84 次元の特徴ベクトルを生成します。
- プロトコルの手順 5.2 で録音から生成された特徴ベクトルのラベルを付けます。
- フレームのすべてのブロックの手順 7.1-7.4 からの手順を繰り返し、特徴ベクトルのシリーズを生成します。
8 クラスに活動の分類
注: この手順は、与えられた問題 (すなわち、特徴ベクトル) から最高の精度を示すパラメーターを決定することによりサポート ベクトル マシン (SVM)23の分類モデルを選択します。SVM は、よく知られているチャイルド機械学習法を汎化とカーネル関数とクラス最大マージンを使用して堅牢性で優れた性能を示しています。ペナルティパラ メーター C とカーネルを定義するグリッド検索と交差検証法を用いて動径基底関数 (RBF) カーネルのパラメーター γ。機械学習の手法と SVM の最低限の理解は、次の手順を実行する必要です。いくつか参考資料23,24,25は機械学習技術と SVM アルゴリズムの理解を深めるためにお勧めします。このセクションのすべての手順は、LibSVM25ソフトウェア パッケージを用いて実装されていました。
- グリッド検索 (C, γ) のペアのグリッドを定義します。C のシーケンスを指数関数的に成長の使用 (2-10、2-5、...、230) と γ (2-30、2-25、...、210)。
注: これらのシーケンスされたヒューリスティックによって決定されます。 - (C, γ) のペアを定義する (例えば、(2-10、2-30))。
-
8.2 の手順で定義した grid を 10 倍のクロス検証スキームを実行します。
注: この方式 10 一部サブセット全体特徴ベクトルに分けて他のサブセットによって訓練されて分類モデルから 1 つのサブセットをテストし、すべてのサブセットを繰り返して 1 つずつ。したがって、すべての特徴ベクトルを順番にテストできます。- 全体の特徴ベクトルを 10 そのサブセットに分割します。
- サブセット、および残りの 9 のサブセットから設定訓練からテストのセットを定義します。
- 範囲に特徴ベクトルのすべての要素を拡大または縮小スケールのベクターを定義する [0, 1] に、トレーニング セット。
注: スケールのベクターは、特徴ベクトルと同じ次元です。それはの範囲にすべての特徴ベクトルの同じ行 (または列) をスケール乗算器のセットので構成されています [0, 1]。たとえば、特徴ベクトルの最初の機能は線形の範囲に拡大縮小 [0, 1] トレーニング特徴ベクトルのすべての最初の機能です。テストのセットは、知られているに想定されるべきのでスケールのベクターがトレーニング セットから定義されていることに注意してください。この手順は、等しい範囲機能を作成し、計算中に誤差を回避によって分類の精度を向上します。 - トレーニングの範囲セットの各機能を拡張 [0, 1] 手順 8.2.3 で取得したスケールのベクターを使用します。
- テストの範囲に設定の各機能を拡張 [0, 1] 手順 8.2.3 で取得したスケールのベクターを使用します。
- 8.2 の手順で (C, γ) の定義されたペアに SVM をトレーニング セットし、分類モデルを作成します。
- 8.2 の手順で (C, γ) の定義されたペアに SVM によるテストのセットをテストし、訓練のプロシージャから得られる分類モデル。
- テスト セットの分類精度を計算します。精度は、正しく分類された特徴ベクトルの割合から算出しました。
- すべてのサブセットの手順 8.2.2–8.2.8 を繰り返し、すべてのサブセットの平均精度を計算します。
- (C, γ) のペアのすべての格子点の 8.2-8.3.9 手順を繰り返します。
- グリッドの最高精度の局所最大値を見つけます。セクション 8 のすべての手順を図 7に示します。
- (省略可能)粗いグリッドのステップを考えると、ローカル最大値に近い細かいグリッドの手順 8.1-8.5 と 8.5 の手順で見つかったし、細かい格子の新しいローカル最大値を検索を繰り返します。
- 精度、取り消し、および次の方程式から活動の各クラスの F1のスコアを計算します。
式 1
方程式 2
式 3
どこ TP、FP、FN は、それぞれ真陽性、偽陽性、偽陰性、各アクティビティを表します。表 3のすべての活動の混同行列が与えられます。
式 1
方程式 2
式 3Subscription Required. Please recommend JoVE to your librarian.
Representative Results
、プロトコルで説明されている手順を、図 4に示すように頭の部分、LH (133 と 138 mm) や寺院、LT (110 と 125 mm) の長さの差別化で 3 D 印刷されたフレームの 2 つのバージョンを準備しました。そのため、被験者の頭のサイズ、形状など対象を選んだユーザー研究のため自分の頭に合わせてフレームの一つから変えることができるいくつかの身に着けている条件を取り上げることはできません。Lh、蝶番関節とサポートのボルト用の穴との間の垂直距離は、増幅された力が 15 N は、ロードセルの直線動作範囲を超えないように、7.5 mm に設定されました。最後に、頭の部分には、装備したとき両方のサポート ボルトから伝わる曲げモーメントに抵抗できる厚さ tHが必要です。THヒューリスティックなアプローチから炭素繊維材料の使用と 6 mm を選びました。接触点は、図 5に示すように、眼鏡の気密性を微調整するサポート ボルトを調整できます。
表 3は、すべてのアクティビティ セットの分類の代表的な結果を示しています。平均 F1スコアは 80.5% で起因しました。1 つのスコアとして考慮されて場合に、パフォーマンスは、私たちの以前の研究22の結果と比較して比較的劣化する見えるかもしれません。我々 は、しかし、それぞれの活動の成果を比較することによって重要な情報を抽出できます。SR は、W および ST からなく、SC、CW と SW から比較的よく識別されました。両方の咀嚼活動、SC では、CW、互いから区別するために困難であった。その一方で、それは咀嚼の両方の活動が他の物理的な活動を表わす SR、W、ST と SW と簡単に区別できる観察できます。SW の場合ウインク活動その他の活動を通して少し誤ってことを判明しました。
表 3の結果から分類の詳細を確認できます。まず、SC では、CW の 2 つの咀嚼活動が他のアクティビティから明確に区別。その中でも、歩行活動から区別は本研究の主な目的は、食品摂取量の活動ができるようなウォーキングなどのアクティブな身体活動から容易に分離できる私たちのシステムを使用して可能性を示唆しています。図 6に示すように、側頭筋の筋活動からアクティブに咀嚼やウインクの信号が側頭筋筋活動によって有効化されませんそれらと大幅に異なる検証ことができます。その一方で、2 つの咀嚼活動間の区別は比較的高い量を示した。彼らは両方の精度を下げることで優位な役割を果たしたと咀嚼活動のリコール。
検出を咀嚼面で SR、W、および ST は日常生活の中で意図しないノイズと言えます。ウインク活動は、側頭筋の筋からもアクティブ化されますので、他の一方で、有効な測定としては考えることが。上記に基づき、2 つの咀嚼活動された咀嚼活動 (CH) に囲まれた、ウインクを除くその他の活動は身体活動 (PA) に分類しました。表 4は、これらの活動に分類結果を示します: (CH) を咀嚼、身体活動量 (PA) と座りがちなウインク (SW)。それからもっと驚くべき結果を見出すことができます。システムは他の物理的な活動の影響を受けず、食品の摂取量を検出するため堅牢かどうかについての情報を予測しています。さらに、それはウインクなど他の顔の活動と食品の摂取量を区別することが可能かどうかも示します。結果は咀嚼活動が 93.4% の高い F1スコアで他の活動とも区別することができます。ウインク、場合リコール (85.5%) は他の活動よりも若干低かった。これはウインクの収集したデータの質は低いだろう、3 秒間隔で正確な時刻にウインクしていたユーザーを意味します。実際には、ユーザーが、ウインクやユーザー調査の間に時折シフトダウン眼鏡を逃したことが観察されました。
上記から意味のある結果を得るためには、グループ化され、新規に活動を再定義します。SC と CW の 2 つの咀嚼活動は 1 つのアクティビティにグループ化されますされ、咀嚼として定義されています。SR、W、および彼ら自身の中の誤分類の大部分を持っていた、ST がまた身体活動として定義されている、1 つのアクティビティにグループ化されます。その結果、表 4に示すように、咀嚼 (CH)、身体活動 (PA) と座りがちなウインク (SW) として紹介活動を通じて実行される再分類の新しい代表的な結果を得た.その結果、平均 F1スコアの 91.4% の高い予測スコア。
図 1: 左と右の両方の回路の回路図。(A) 左の回路の回路図。左と右の両方の回路に電力を供給するためのバッテリーが含まれています。バイパス コンデンサーと電圧レギュレータが 3.3 V は供給システムに電圧安定に提供されました。ロードセルの紹介は、右の回路図 (B) の回路の両側に挿入されました。Wi-Fi 機能とマイクロ コント ローラーの単一性 (MCU) が含まれています。2 チャネル マルチプレクサーは、MCU の 1 つのアナログ-デジタル変換器 (ADC) で両側から 2 つの力の信号処理に提供されました。普遍的な非同期レシーバー/トランスミッタ (UART) コネクタは、MCU をフラッシュに使用されました。この図の拡大版を表示するのにはここをクリックしてください。
図 2: 左と右の両方の回路の PCB アートワーク。(A) 左側のアートワークのプリント基板。すべての電子部品は、右のプリント基板のアートワーク (B) mm で実測値として表示されます。この図の拡大版を表示するのにはここをクリックしてください。
図 3: すべてのコンポーネントをはんだ付け基板の代表の結果。(A) 左側の回路モジュール。ロードセルは、ボードに統合されました。右のボードに接続するバッテリーの 2 ピンコネクタと 3 pin コネクタが含まれています。(B) 右回路モジュール。ロードセルは、ボードにも統合されました。左の回路に接続する MCU と 3 pin コネクタのモードを点滅するための 4 ピンのコネクタが含まれています。この図の拡大版を表示するのにはここをクリックしてください。
図 4: 眼鏡のフレームの 3 D モデル設計。(A) ヘッドのデザインの作品。右上の図は、正面図と下の図は、頭の部分の平面図。頭の部分、LHの長さは、被験者の様々 な頭のサイズをカバーする設計パラメーターです。我々 の 3 D は差別化で頭の部分の 2 つのバージョンが出力されます。頭の部分、tH厚さは、ヒューリスティックによって定義されました。蝶番関節とサポートのボルト、Lh穴間の距離は、機械増幅率から設定されました。(B) の寺院の設計。右上の図では、左のこめかみと、下の図では、右の寺院。図 3の Pcb スロットに挿入し、バッテリーをバッテリー ホルダーにマウントされていた。この図の拡大版を表示するのにはここをクリックしてください。
図 5: 基板に統合されたガラスの代表的な結果。Pcb は、ボルトでスロットに挿入されました。鼻パッドと寺院のヒントは、肌との摩擦を追加するゴムバンドで覆われていた。眼鏡を装備すると、負荷セルは両側にサポート ボルトで押されています。メガネの気密性を緩めることにより微調整できます。 またはボルト締めサポート。この図の拡大版を表示するのにはここをクリックしてください。
図 6: 記録ブロック ユーザーのすべての活動のための時系列信号します。Y 軸は、可視化の目的のためその記録ブロックの中央の値で減算された測定の力を表します。咀嚼活動の最大振幅は、他の活動よりも大きくなっています。ウインク活動の左と右の信号が反転されます。左のウインクの例を図に示します。2 s フレームは、1 秒間隔で信号のホッピングで特徴ベクトルを定義する使用されました。この図の拡大版を表示するのにはここをクリックしてください。
図 7: (C, γ) のさまざまな組み合わせを使ってローカルの最大精度を見つけることの代表の結果。(A) Aの表 3で定義されているすべてのアクティビティのクロス検証精度の等高線をプロット。各軸が指数関数的に増加し、範囲が選択されたヒューリスティック。(Γ C) で発生した 80.4% のローカル最大精度 = (2520)。(B) A表 4に再定義された活動のクロス検証の精度の等高線をプロットします。92.3% の最大精度 (γ C) で発生した = (2520) と (A) の結果よりも多く正確でした。この図の拡大版を表示するのにはここをクリックしてください。
| 違います。 | 機能の説明 | 違います。 | 機能の説明 | ||
| 1 | 標準偏差 L | 28 | Skenwness R | ||
| 2 | 標準偏差 R | 29 | 尖度 L | ||
| 3 | L 変動係数 | 30 | 尖度 R | ||
| 4 | R 変動係数 | 31 | 自己相関関数係数 L | ||
| 5 | ゼロ交差率 L | 32 | 自己相関関数係数 R | ||
| 6 | ゼロ交差率 R | 33 | 信号エネルギー L | ||
| 7 | 20 位 L | 34 | 信号エネルギー R | ||
| 8 | 20 位 R | 35 | ログ信号エネルギー L | ||
| 9 | 50 パーセン タイル L | 36 | ログ信号エネルギー R | ||
| 10 | 50 パーセン タイル R | 37 | エネルギー L のエントロピー | ||
| 11 | 80 パーセン タイル L | 38 | エネルギー研究のエントロピー | ||
| 12 | 80 パーセン タイル R | 39 | ピーク-ピーク振幅 L | ||
| 13 | 四分位範囲 L | 40 | ピーク-ピーク振幅 R | ||
| 14 | 四分位範囲 R | 41 | L のピーク数 | ||
| 15 | 20 位 L の正方形の合計 | 42 | R のピーク数 | ||
| 16 | 20 位 R の平方の合計 | 43 | L のピークの間の時間を意味します。 | ||
| 17 | 50 パーセンタイル L の正方形の合計 | 44 | R のピークの間の時間を意味します。 | ||
| 18 | 50 パーセンタイル R の平方の合計 | 45 | L のピークの間の時間の標準 | ||
| 19 | 80 パーセン タイル L の正方形の合計 | 46 | R のピークの間の時間の標準 | ||
| 20 | 第 80 百分位数 R の平方の合計 | 47 | 予測比 L | ||
| 21 | ビン分割分布 L 1 箱 | 48 | 予測比 R | ||
| 22 | ビン分割分布 R 1 箱 | 49 | 調和的な比率 L | ||
| 23 | ビン分割分布 L 2 箱 | 50 | 高調波比 R | ||
| 24 | ビン分割分布 R の第 2 箱 | 51 | 基本周波数 L | ||
| 25 | ビン分割配布 L の 3 箱 | 52 | 基本周波数 R | ||
| 26 | ビン分割分布 R 3 箱 | 53 | L と R の相関係数 | ||
| 27 | Skenwness L | 54 | L と R の大きさの sigmal エリア | ||
表 1: 時間フレームの統計的特徴を抽出します。合計 54 の機能を抽出しました。左と右の信号を相関機能を除いて個別に求めた 53、54。
| 違います。 | 機能の説明 | 違います。 | 機能の説明 | ||
| 1 | スペクトル エネルギー L | 16 | スペクトル広がり R | ||
| 2 | スペクトルのエネルギー R | 17 | スペクトル エントロピー L | ||
| 3 | スペクトル帯エネルギー L 1 | 18 | スペクトル エントロピー R | ||
| 4 | スペクトル帯エネルギー R 1 | 19 | L のエネルギーのスペクトルのエントロピー | ||
| 5 | スペクトル帯エネルギー L 2 | 20 | エネルギー研究のスペクトルのエントロピー | ||
| 6 | スペクトル帯エネルギー R 2 | 21 | スペクトル束 L | ||
| 7 | L のエネルギーのスペクトル ゾーン 3 | 22 | スペクトル束 R | ||
| 8 | スペクトル帯エネルギー R 3 | 23 | スペクトル ロールオフ L | ||
| 9 | L のエネルギーのスペクトル ゾーン 4 | 24 | スペクトル ロールオフ R | ||
| 10 | スペクトル帯エネルギー R 4 | 25 | 最大スペクトル クレスト L | ||
| 11 | L のエネルギー スペクトル帯 5 | 26 | 最大スペクトル クレスト R | ||
| 12 | スペクトル帯エネルギー R 5 | 27 | スペクトル歪み度 L | ||
| 13 | スペクトル重心 L | 28 | スペクトル歪み度 R | ||
| 14 | スペクトル重心 R | 29 | スペクトル尖度 L | ||
| 15 | スペクトル広がり L | 30 | スペクトル尖度 R | ||
表 2: スペクトルのフレームの統計的特徴を抽出します。合計 30 の機能を抽出しました。左と右の信号を個別に算出しました。表 1と表 2に機能から特徴ベクトルは、84 の機能の合計で構成されます。
| 予測 アクティビティ |
実際の活動 | 合計 | 精度 | |||||
| 、SR | bSC | cW | dCW | eST | fSW | |||
| SR | 1222 | 18 | 79 | 6 | 168 | 75 | 1568 | 77.9% |
| SC | 10 | 1268 | 17 | 159 | 46 | 15 | 1515 | 83.7% |
| W | 55 | 19 | 1212 | 32 | 144 | 20 | 1482 | 81.8% |
| CW | 3 | 158 | 34 | 1327 | 28 | 12 | 1562 | 85.0% |
| ST | 192 | 75 | 185 | 19 | 1117 | 55 | 1643 | 68.0 パーセント |
| SW | 78 | 22 | 33 | 17 | 57 | 1383 | 1590 | 87.0% |
| 合計 | 1560 | 1560 | 1560 | 1560 | 1560 | 1560 | 9360 | |
| リコール | 78.3% | 81.3% | 77.7% | 85.1% | 71.6% | 88.7% | 80.4% | |
| F1スコア | 78.1% | 82.5% | 79.7% | 85.0% | 69.7% | 87.8% | ||
| F1の平均スコア | 80.5% | |||||||
表 3: 混同行列のすべての活動のとき (C, γ) = (2520) で図 7A.この行列は、すべての活動のすべての予測結果を示しています: SR: 座りがちな残り、 bSC: 座りがちな咀嚼、 c dCW を歩いて w:: eST を歩きながら咀嚼: 座りがちな話、 fSW: 座りがちなウインク。
| 予測 アクティビティ |
実際の活動 | 合計 | 精度 | ||
| 、C | bPA | cSW | |||
| C | 2898 | 162 | 26 | 3086 | 93.9% |
| PA | 201 | 4404 | 200 | 4805 | 91.7% |
| SW | 21 | 114 | 1334 | 1469 | 90.8% |
| 合計 | 3120 | 4680 | 1560 | 9360 | |
| リコール | 92.9% | 94.1% | 85.5% | 92.3% | |
| F1スコア | 93.4% | 92.9% | 88.1% | ||
| F1の平均スコア | 91.4% | ||||
表 4: 混同行列再定義のすべての活動のとき (C, γ) = (2520) で図 7B.この行列はすべて再定義された活動のためのすべての予測結果を示しています: CH: 咀嚼、 bPA: 身体活動、 cSW: 座りがちなウインク。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
この研究では、まず設計と食品の摂取量と身体活動のパターンを感じるガラスの製造プロセスを提案しました。この研究として (歩行、まばたきなど) その他の身体活動から食物摂取を区別するためにデータ分析を中心に、センサーとデータ集録システムの移動記録の実装が必要です。したがって、システムには、センサー、無線通信機能を備えた MCU とバッテリーが含まれています。提案プロトコルは小説と非接触方法で食品の摂取量とウインクのため側頭筋筋活動のパターンを測定する実用的な方法を提供した: ツールとせず日常生活の中で食品の摂取量を簡単に検出する方法論面倒機器が記述されていた。
眼鏡を製造のプロシージャの重要な考慮事項があります。テンプル部分は、ステップ 1.2図 4 bと図 4のように作製した基板モジュールを統合する設計必要があります。ロードセルは、図 5のヒンジ部分の平面図に示すようを装備したときの頭の部分の支持板にサポート ボルトが押されたように配置必要があります。ステップ 2.4 で、メガネのテンプルの曲げ加工の程度は、曲率の目的はより良い件名の頭にメガネに合うようにフォーム ファクターを増加する、厳格なする必要はありません。ただし、注意としての重要なパターンを収集することは不可能になる側頭筋に触れてから寺院を防ぐため、過度の曲げ。
頭サイズが異なると被験者の形状を反映した信頼性の高いデータを取得するには、眼鏡の 2 つのバージョンは、頭の部分と寺院の長さの変化によって提供されました。さらに、摩耗機能を微調整するためのサポート ボルトを利用して、ガラスの堅さを調整でした。したがって、データ収集科目、様々 なメガネを通して、着て条件は内・個人間変動とさまざまなフォーム ファクターを反映することができます。
ユーザー調査の主題は休憩中メガネを離陸し、記録ブロックの再起動時に再びそれらを着ていた。この操作防止データたびにレベルが身に着けている条件 (例えば左と右のバランス、ロードセル、皮膚等との接触面積にプリロード) に変更されたために、特定の身に着けている条件にフィットから件名眼鏡を再。
周波数を咀嚼の以前の研究によると咀嚼の活動は主に 0.94 Hz からであった(5 位) 2.17 Hz(95 パーセンタイル) 26に。そのため、フレームのサイズを 2 に設定しました s フレーム複数咀嚼活動が含まれるようにします。このフレーム サイズも、一般的に 2.5 Hz271.4 Hz から範囲の 1 つまたは複数の歩行サイクルを抑制するために最適です。通常の歩行速度は 3.3 km/h から 6.5 km/h27,28に変わるのでトレッドミルで 4.5 キロ/h の速度で歩行活動を行った。図6 ホップ サイズは被験者たち 3 の間隔でウインクに形成された記録されたウインク データから求めた。10 Hz のカットオフ周波数を使用してデータをフィルター処理も 10 Hz 以上は重要な情報検出22を咀嚼信号我々 の以前の研究から分かったので。
システムが両側に 2 つのロードセルには、私たちの以前の研究22の証明として咀嚼やウインクの左と右のイベントとを区別することが可能です。しかし、以前の研究とは異なり本研究の目的はシステムが効果的な身体活動から食物摂取を識別を示すためだった。十分にユーザー調査を通じてデータが蓄積してきた場合、左側の研究をさらに、右の分類を行うことができるは、特徴ベクトルの相関機能を活用します。一方、座りがちなアクティビティとシステム内の歩行を区別することは困難です。システムにさらに変更は、座って、高精度に移動、食べたりしながら食べるような食品の摂取量の詳細な分類を提供できます。これは、慣性の測定単位 (IMU) を18のシステムに追加することによってセンサー融合技術、実装できます。場合は、システムで同時にエネルギー消費量とエネルギー摂取量を追跡できます。我々 は、我々 のアプローチでは、食品の摂取量と身体活動の検出の実用的で、潜在的な方法と考えています。
エネルギー摂取量の推定食品モニタリング、研究の重要な目標です、たとえば、食品の種類を分類して、定義済みのカロリー情報からのカロリーに変換することによって分析できます。最近の研究は、食品のイメージと深く学習アルゴリズム14を使用して食品の種類を分類する方法を提案しました。しかし、それはこの試験で使用される力センサーで食品の種類を分離することは困難デバイスの前面にイメージ センサーの追加は、画像処理や機械学習技術、食品の種類を認識でき、このように食品の種類を分類します。このセンサー融合の手法により力とイメージ センサーを用いた本研究の可能性が監視アプリケーション一般の食生活への応用です。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者が明らかに何もありません。
Acknowledgments
この作品は、Envisible、株式会社によって支えられました。本研究は韓国健康技術 R & D プロジェクト、厚生・福祉、韓国共和国 (HI15C1027) の助成金によっても支えられました。この研究は、韓国の国立研究財団 (NRF 2016R1A1A1A05005348) によっても支えられました。
Materials
| Name | Company | Catalog Number | Comments |
| FSS1500NSB | Honeywell, USA | Load cell | |
| INA125U | Texas Instruments, USA | Amplifier | |
| ESP-07 | Shenzhen Anxinke Technology, China | MCU with Wi-Fi module | |
| 74LVC1G3157 | Nexperia, The Netherlands | Multiplexer | |
| MP701435P | Maxpower, China | LiPo battery | |
| U1V10F3 | Pololu, USA | Voltage regulator | |
| Ultimaker 2 | Ultimaker, The Netherlands | 3D printer | |
| ColorFabb XT-CF20 | ColorFabb, The Netherlands | Carbon fiber filament | |
| iPhone 6s Plus | Apple, USA | Data acquisition device | |
| Jelly Belly | Jelly Belly Candy Company, USA | Food texture for user study |
References
- Sharma, A. M., Padwal, R. Obesity is a sign-over-eating is a symptom: an aetiological framework for the assessment and management of obesity. Obes Rev. 11 (5), 362-370 (2010).
- Pi-Sunyer, F. X., et al. Clinical guidelines on the identification, evaluation, and treatment of overweight and obesity in adults. Am J Clin Nutr. 68 (4), 899-917 (1998).
- McCrory, P., Strauss, B., Wahlqvist, M. L. Energy balance, food intake and obesity. Exer Obes. , London. (1994).
- Albinali, F., Intille, S., Haskell, W., Rosenberger, M. Proceedings of the 12th ACM international conference on Ubiquitous computing. , ACM. 311-320 (2010).
- Bonomi, A., Westerterp, K. Advances in physical activity monitoring and lifestyle interventions in obesity: a review. Int J Obes. 36 (2), 167-177 (2012).
- Jung, S., Lee, J., Hyeon, T., Lee, M., Kim, D. H. Fabric-Based Integrated Energy Devices for Wearable Activity Monitors. Adv Mater. 26 (36), 6329-6334 (2014).
- Fulk, G. D., Sazonov, E. Using sensors to measure activity in people with stroke. Top Stroke Rehabil. 18 (6), 746-757 (2011).
- Makeyev, O., Lopez-Meyer, P., Schuckers, S., Besio, W., Sazonov, E. Automatic food intake detection based on swallowing sounds. Biomed Signal Process Control. 7 (6), 649-656 (2012).
- Päßler, S., Fischer, W. Food intake activity detection using an artificial neural network. Biomed Tech (Berl). , (2012).
- Passler, S., Fischer, W. -J. Food intake monitoring: Automated chew event detection in chewing sounds. IEEE J Biomed Health Inform. 18 (1), 278-289 (2014).
- Kadomura, A., et al. CHI'13 Extended Abstracts on Human Factors in Computing Systems. , ACM. 1551-1556 (2013).
- Fontana, J. M., Farooq, M., Sazonov, E. Automatic ingestion monitor: A novel wearable device for monitoring of ingestive behavior. IEEE Trans Biomed Eng. 61 (6), 1772-1779 (2014).
- Shen, Y., Salley, J., Muth, E., Hoover, A. Assessing the Accuracy of a Wrist Motion Tracking Method for Counting Bites across Demographic and Food Variables. IEEE J Biomed Health Inform. , (2016).
- Farooq, M., Sazonov, E. International Conference on Bioinformatics and Biomedical Engineering. , Springer. 464-472 (2017).
- Grigoriadis, A., Johansson, R. S., Trulsson, M. Temporal profile and amplitude of human masseter muscle activity is adapted to food properties during individual chewing cycles. J Oral Rehab. 41 (5), 367-373 (2014).
- Strini, P. J. S. A., Strini, P. J. S. A., de Souza Barbosa, T., Gavião, M. B. D. Assessment of thickness and function of masticatory and cervical muscles in adults with and without temporomandibular disorders. Arch Oral Biol. 58 (9), 1100-1108 (2013).
- Standring, S. Gray's anatomy: the anatomical basis of clinical practice. , Elsevier Health Sciences. (2015).
- Farooq, M., Sazonov, E. A novel wearable device for food intake and physical activity recognition. Sensors. 16 (7), 1067 (2016).
- Zhang, R., Amft, O. Proceedings of the 2016 ACM International Symposium on Wearable Computers. , ACM. 50-52 (2016).
- Farooq, M., Sazonov, E. Segmentation and Characterization of Chewing Bouts by Monitoring Temporalis Muscle Using Smart Glasses with Piezoelectric Sensor. IEEE J Biomed Health Inform. , (2016).
- Huang, Q., Wang, W., Zhang, Q. Your Glasses Know Your Diet: Dietary Monitoring using Electromyography Sensors. IEEE Internet of Things Journal. , (2017).
- Chung, J., et al. A glasses-type wearable device for monitoring the patterns of food intake and facial activity. Scientific Reports. 7, 41690 (2017).
- Cristianini, N., Shawe-Taylor, J. An introduction to support Vector Machines: and other kernel-based learning methods. , Cambridge University Press Cambridge. (2000).
- Giannakopoulos, T., Pikrakis, A. Introduction to Audio Analysis: A MATLAB Approach. , Academic Press. (2014).
- Chang, C. -C., Lin, C. -J. LIBSVM: a library for support vector machines. ACM Trans Intell Syst Technol. 2 (3), 27 (2011).
- Po, J., et al. Time-frequency analysis of chewing activity in the natural environment. J Dent Res. 90 (10), 1206-1210 (2011).
- Ji, T. Frequency and velocity of people walking. Struct Eng. 84 (3), 36-40 (2005).
- Knoblauch, R., Pietrucha, M., Nitzburg, M. Field studies of pedestrian walking speed and start-up time. Transp Res Red. 1538, 27-38 (1996).
