Summary
Denne studien presenterer en protokoll i produksjon en briller-type bærbar enhet som oppdager mønstrene av matinntaket og og andre utvalgte fysiske aktiviteter bruker veieceller inn i begge hengsler av glass.
Abstract
Denne studien presenterer en rekke protokoller i produksjon en briller-type bærbar enhet som oppdager de temporalis muskel aktiviteter under matinntaket og andre fysiske aktiviteter og. Vi laget en 3D-trykt rammen av glass og en belastning celle-integrerte kretskort board (PCB) modul i begge hengsler på rammen. Modulen ble brukt til å skaffe kraft signalene, og overføre dem trådløst. Disse fremgangsmåtene gir systemet høyere mobilitet, som kan evalueres i praktisk bruk forhold som gåing og waggling. En forestilling av klassifisering er også evaluert av skille mønstre av matinntaket fra de fysiske aktivitetene. En rekke algoritmer ble brukt til å forhåndsbehandle signalene generere funksjonen vektorer og gjenkjenne mønstre av flere aktiviteter (tygge og blunker) og andre fysiske aktiviteter (stillesittende resten, snakke, og gangavstand). Resultatene viste at gjennomsnittlig F1 poengsummen for klassifisering blant de utvalgte var 91.4%. Vi tror denne tilnærmingen kan være potensielt nyttig for automatisk og objektiv overvåking av ingestive atferd med høyere nøyaktighet som praktisk måte å behandle ingestive problemer.
Introduction
Kontinuerlig og objektiv overvåking av matinntaket er avgjørende for å opprettholde energibalansen i kroppen, overdreven energi opphopning kan forårsake overweightness og fedme1, som kan føre til ulike medisinske komplikasjoner2. De viktigste faktorene i energi ubalansen er kjent for å være både overdreven matinntaket og ikke nok fysisk aktivitet3. Forskjellige studier på overvåking av daglig energiforbruk har blitt introdusert med automatisk og objektiv måling av fysisk aktivitet mønstre gjennom bærbar enheter4,5,6, selv på den forbruker nivå og medisinsk trinn7. Forskning på overvåking av matinntak, men er fortsatt i laboratoriet innstillingen, siden det er vanskelig å oppdage mat inntak aktiviteten i en direkte og objektiv måte. Her, ønsker vi å presentere en konstruksjon og evalueringen for overvåking matinntaket og fysisk aktivitet mønstre på det praktiske nivået i dagliglivet.
Det har vært ulike indirekte tilnærminger til overvåke matinntaket og chewing og svelge lyder8,9,10, bevegelse av håndleddet11,12,13, bilde analyse14, og eletromyografi (EMG)15. Men disse var vanskelig å bruke på daglig livet programmer, på grunn av sine iboende begrensninger: metodene bruke sound var sårbare for påvirkes av miljømessige lyd; metodene bruker bevegelsen av håndleddet var vanskelig å skille fra andre fysiske aktiviteter når ikke konsumere mat. og metodene ved hjelp av bilder og EMG signaler er begrenset av grensen og miljø. Disse studiene viste evnen til Automatisert påvisning av matinntaket med sensorer, men fortsatt hadde en begrensning av praktisk anvendbarhet til hverdagen utover laboratorium innstillinger.
I denne studien brukte vi mønstre av temporalis muskelaktivitet som automatisk og objektiv overvåking av matinntaket. Generelt gjentar temporalis muskelen Sammentrekningen og avslappingen som en del av masticatory muskel under de mat inntak16,17; Dermed kan mat inntak aktiviteten overvåkes ved å registrere periodiske mønstre av temporalis muskelaktivitet. Nylig har det vært flere studier utnytte temporalis muskel aktivitet18,19,20,21, som brukt EMG eller Piezoelektriske press sensor og feste dem direkte på menneskelige huden. Disse metodene, men var hurtigmenyvalgene avhenger huden EMG elektrodene eller belastning sensorer, og var lett løsrevet fra huden på grunn av fysisk bevegelse eller svette. Derfor foreslått vi en ny og effektiv metode som bruker et par briller følelsen temporalis muskel aktivitet gjennom to load cellene i begge hengslene i våre tidligere studie22. Denne metoden viste stort potensial for å oppdage mat inntak aktiviteten med en høy nøyaktighet uten å berøre huden. Det var også un påtrengende og ikke-påtrengende, siden vi brukte en felles briller-type enhet.
I denne studien presenterer vi en rekke detaljerte protokoller av hvordan implementere briller-type enhet og hvordan du bruker mønstre av temporalis muskelaktivitet for overvåking matinntaket og fysisk aktivitet. Protokollene inkluderer prosessen med hardware design og fabrikasjon som består av en 3D-trykt ramme av glass, en krets modul og en data oppkjøpet modul, og inkluderer programvare algoritmer for databehandling og analyse. Vi videre undersøkt klassifisering blant flere utvalgte aktiviteter (f.eks, tygge, vandre og blunker) å demonstrere potensialet som et praktisk system som kan fortelle en liten forskjell mellom matinntaket og andre fysisk aktivitet mønstre.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Merk: Alle prosedyrer inkludert bruk av mennesker ble gjort ved en ikke-invasiv måte å bare iført et par briller. Alle data ble kjøpt opp av måler styrke signalene fra veieceller i glass som ikke var i direkte kontakt med huden. Data overføres trådløst til data innspillingen modulen, som i dette tilfellet er en utpekt smartphone for undersøkelsen. Alle protokollene ble ikke relatert til i vivo/i vitro menneskelige studier. Ikke narkotika og blod prøver ble brukt for eksperimenter. Informert samtykke ble innhentet fra alle fag av eksperimenter.
1. produksjon av en Sensor-integrert krets modul
-
Kjøpe elektroniske komponenter for produksjon av modulen krets.
- Kjøpe to ball-typen veieceller, hver opererer mellom 0 N og 15 N, og produserer en produksjon av differensial lavspenning med maksimum 120 mV spenn i en 3,3 V eksitasjon.
Merk: Disse Last celler brukes til å måle press signaler på både venstre og høyre side av glass. - Kjøp to instrumentering forsterkere og to 15 kΩ gevinst-innstillingen motstander.
Merk: Instrumentering forsterkeren og gevinst-innstillingen Motstandsverdien brukes til å forsterke kraften signalet Last cellen åtte ganger, opptil 960 mV. - Kjøpe en mikro kontrolleren enhet (MCU) med trådløs tilkobling (f.eks, Wi-Fi-tilkobling), og en 10-biters analog til digital omformer (ADC).
Merk: MCU brukes til å lese force signaler og overføre dem til en data oppkjøpet modul trådløst. Fordi en analog inndataflytpunkt brukes for to analoge force innganger, er bruk av en multiplekser innført i neste trinn 1.1.4. - Kjøpe en to-kanals analog multiplexer som håndterer de to inngangssignaler med en ADC pin på MCU.
- Kjøpe en innebyd litiumionbatteri med 3,7 V nettspenning, 300 mAh nominell kapasitet og 1 C utslipp raskt.
Merk: Batterikapasiteten ble valgt til å levere nok strøm per time mer enn 200 mAh og drive systemet pålitelig for ca 1,5 t av et eksperiment. - Kjøpe en 3,3 V spenningsregulator lineær ned-regulering av 3,7 V batterispenning til 3,3 V spenningen av systemet.
- Kjøp fem 12 kΩ utenpåliggende enheter (SMD) type motstander som pull-up motstander av MCU. Motstandsverdiens fotavtrykk er 2,0 x 1,2 mm (størrelse 2012).
- Kjøpe to ball-typen veieceller, hver opererer mellom 0 N og 15 N, og produserer en produksjon av differensial lavspenning med maksimum 120 mV spenn i en 3,3 V eksitasjon.
-
Dikte kretskort (PCB). Dette trinnet er om tegning kretskort, og gjøre kunstverket (dvs., bord layout, filen .brd) og skjematisk (dvsfilen .sch) PCB fabrikasjon. Grunnleggende forståelse for å lage illustrasjoner og skjematisk filer er nødvendig for utvikling.
- Tegne en skjematisk av en venstre krets som inneholder batteriet, via et elektronisk design program som vist i figur 1A. Lagre resultatet som både kunstverk (.brd) og skjematisk (.sch) filer.
- Tegne en skjematisk for en rett som inneholder MCU bruker et elektronisk design program som vist i figur 1B. Lagre resultatet som både kunstverk (.brd) og skjematisk (.sch) filer.
- Dikte kretskort ved å plassere en ordre med en PCB fabrikasjon selskap.
- Lodding hver elektronisk komponent i trinn 1.1 til PCB som vist i figur 2 og Figur 3.
FORSIKTIG: Instrumentering forsterkeren er svært følsomme for lodding temperaturen. Kontroller at ledelsen temperatur ikke overstiger 300 ° C for 10 s under lodding, ellers det kan føre til permanent skade komponenten.
2. 3D utskrift av en ramme av glass
- Tegne 3D-modellen av hodet stykke glass med en 3D-modelleringsverktøy som vist i figur 4A. Eksportere resultatet til .stl-filformatet.
- Tegne 3D modell av venstre og høyre templene i glass med en 3D modellering verktøy som vist i figur 4B og figur 4C. Eksportere resultatene til .stl-filformatet.
- Skrive ut hodet stykke og temple delene bruke en 3D-skriver og en karbonfiber filament på 240 ° C en dyse temperatur og 80 ° C over en seng temperatur.
Merk: Bruk av kommersiell 3D skrivere og noen typer filamenter som akrylonitril butadien styren (ABS) og polylactide (PLA) kan bli tillatt. Munnstykke og seng temperaturene kan justeres i henhold til filament og utskrift. - Varme tips av templene bruker en varme luften blåser for en 180 ° C og bøy dem innover ca 15 grader for å kontakte epidermis temporalis muskel som konvensjonelle briller.
Merk: Graden av bøying av briller tempelet trenger ikke å være strenge som formålet av kurver er å øke en formfaktor ved å hjelpe briller passer på en Emneoversikt hodet når utstyrt. Vær forsiktig, men som overdreven bøying hindrer templene berøre temporalis muskelen, noe som gjør det umulig å samle betydelige mønstre. - Gjenta fra trinn 2.1-2,4 skrive ut to forskjellige størrelser glass rammen for å passe flere størrelser som vist i Figur 4.
3. montering av alle deler av glass
- Sett inn PCB på begge sider av templene i glass med M2 bolter som vist i figur 5.
- Montere hodet stykke og templer av setter inn M2 skruene i hengslene leddene.
- Koble venstre og høyre PCB med 3-pin koble ledningene som vist i figur 5.
- Koble batteriet til venstre krets og fest den med et limbånd til venstre tempelet. Siden montering av batteriet er ikke kritisk, siden det kan variere avhengig av PCB design.
- Dekk glassene med gummi bånd på spissen og nese pad til mer friksjon med den menneskelige huden som vist i figur 5.
4. utvikling av et Data oppkjøpet System
Merk: Data oppkjøpet systemet består av en data overføring modul og en data mottar modul. Modulen data overføring leser tid og kraft signaler på begge sider, og deretter sender dem til data mottar modulen, som samler de mottatte dataene og skriver dem til TSV-filer.
-
Last opp data overføring programmet MCU av PCB modulen følge fremgangsmåten i trinn 4.1.1–4.1.3.
- Kjør "GlasSense_Server"-prosjektet som er knyttet til supplerende filene ved hjelp av en datamaskin.
Merk: Dette prosjektet ble bygget med Arduino integrert utviklingsmiljø (IDE). Det gir muligheten til å lese tiden tvinge signaler med 200 prøver/s og overføre dem til modulen data mottak. - Koble PCB modulen til datamaskinen via en USB (universal serial bus)-kontakt.
- Trykk på "Last opp"-knappen på Arduino IDE å blinke programmering kodene fra trinn 4.1.1 i MCU.
- Kjør "GlasSense_Server"-prosjektet som er knyttet til supplerende filene ved hjelp av en datamaskin.
-
Last opp data applikasjon til en smarttelefon, som brukes til å motta data trådløst, følge fremgangsmåten i trinn 4.2.1–4.2.3.
- Kjør "GlasSense_Client"-prosjektet som er knyttet til supplerende filene ved hjelp av en datamaskin.
Merk: Dette prosjektet ble bygget med C# programmeringsspråk. Det gir muligheten til å motta data og lagre TSV-filer, som inneholder et emne informasjon som navn, kjønn, alder og kroppsmasseindeks (BMI). - Koble til smarttelefon til datamaskinen via en USB-kontakt til å bygge data applikasjon.
- Trykk på "Fil > Bygg & Run" knappen på C# prosjektet å bygge data applikasjon til smarttelefonen.
- Kjør "GlasSense_Client"-prosjektet som er knyttet til supplerende filene ved hjelp av en datamaskin.
5. datainnsamling fra en bruker studie
Merk: Denne studien samlet seks utvalgte aktivitet sett: stillesittende resten (SR), stillesittende tygge (SC), Turgåing (W), tygge mens du går (CW), stillesittende snakker (ST) og stillesittende wink (SW).
- Velg et par briller som har en passende størrelse til brukeren skal testes. Finjustere tetthet med støtte bolter i begge hengslene (figur 5).
FORSIKTIG: Force verdiene må ikke overskride 15 N, siden force sensorene brukt i denne studien kan miste den fine lineære karakteristikk dekningsområdet. Force verdiene kan finjusteres ved å løsne eller stramme støtte bolter. -
Registrere aktivitetene i alle fag ved å trykke på "Record"-knappen på programmet bygget i trinn 4.2.3.
- En aktivitet registreres under en 120-s blokk og generere en opptaksfil på den.
- Hvis SR, sitte emnet i en stol og har dem bruke en smarttelefon eller lese en bok. Tillater bevegelse av hodet, men unngå bevegelse i hele kroppen.
- I tilfeller av SC og CW, har fagene spise to typer mat tekstur (ristet brød og tygge gelé) for å gjenspeile ulike matvarer egenskaper. Server ristet brød skiver av 20 mm x 20 mm, som er en god størrelse for å spise.
- I tilfelle av W, har fagene gå med en hastighet på 4.5 km/t på en tredemølle.
- Ved ST, sitte fagene og har dem lese en bok høyt i en vanlig tone og hastighet.
- I SW, informere fagene å blunke på tidspunktet for en bjelle-lyd på 0,5 s lenge hver 3 s.
- Generere en opptaksfil i TSV-format fra data samlet i trinn 5.2.1 Oppgi.
Merk: Denne filen inneholder en sekvens av tiden når dataene ble mottatt, en venstre force signal, et riktig kraft-signal og en etikett som representerer ansikts aktiviteten. Effekter av timelige signaler av alle aktiviteter i en blokk med en bruker ble avbildet i figur 6. Seks utvalgte aktivitet sett (SR, SC, W, CW, ST og SW) var benevnt idet 1, 2, 3, 4, 5 og 6, henholdsvis. Etikettene ble brukt til å sammenligne forventet klassene i del 8 av protokollen. - Ta en 60-s pause etter innspillingen blokken. Ta av glass i pausen, og å bruke dem igjen når innspillingen blokken starter på nytt.
- Gjenta det blokk-og-break trinnsettet 5.2.1 Oppgi og 5.2.2 fire ganger for hver aktivitet.
- I SW, har du emnet kyss gjentatte ganger med venstre øye under ett kvartal, og deretter kyss gjentatte ganger med høyre øye under neste blokk.
- En aktivitet registreres under en 120-s blokk og generere en opptaksfil på den.
- Gjenta trinn 5.1-5.2 og samle data fra 10 emner. I denne studien vi brukte fem menn og fem kvinner, gjennomsnittlig alder var 27,9 ± 4.3 (standardavvik, SD) år, som varierte 19-33 år, og den gjennomsnittlige BMI var 21,6 ± 3.2 (SD) kg/m2, som varierte 17,9-27,4 kg/m2.
Merk: I denne studien fag som ikke har noen medisinske tilstander å tygge mat, wink og gange ble rekruttert, og dette gjelder inklusjonskriterier.
6. signal forbehandling og segmentering
Merk: Venstre og høyre signalene beregnes separat i følgende prosedyrer.
-
Forberede en rekke timelige rammer 2 s lang.
- Segmentet på 120 s registrert signaler i et sett med 2 s rammer av hopper dem med 1-s mellomrom med MATLAB som vist i figur 6.
Merk: Segmentert rammene av 2 s lang ble brukt til å trekke ut funksjoner i § 7. 1 s hopper størrelsen var besluttet å dele signaler av 3 s kyss intervallet allerede nevnt i trinn 5.2.1 Oppgi. - Bruke et low pass-filter (LPF) bruker en 5th bestille Butterworth filter med en cutoff frekvens på 10 Hz for hver ramme.
- Lagre resultatene av trinn 6.1.2 som timelige rammene for de neste trinnene i trinn 7.1.
- Segmentet på 120 s registrert signaler i et sett med 2 s rammer av hopper dem med 1-s mellomrom med MATLAB som vist i figur 6.
-
Forberede en rekke spectral rammer.
- Trekk medianen fra opprinnelige signaler av hver ramme fjerne preload når iført briller.
Merk: Preload verdien kreves ikke for følgende frekvensanalyse, siden den ikke inneholder informasjon om tygge, vandre, wink, etc. det kan imidlertid inneholde viktig informasjon, som kan variere fra underlagt emne, fra hver innstilling av glass, og selv fra øyeblikket en bærer glass. - Bruke et Hanning vindu hver ramme å redusere en spektral lekkasje på frekvensanalyse.
- Produserer og lagrer en ensidig spektrum ved å bruke en rask Fourier transform (FFT) for hver ramme.
- Trekk medianen fra opprinnelige signaler av hver ramme fjerne preload når iført briller.
- Definere en kombinasjon av en timelig og en spektral ramme av samtidig som en ramme blokk (eller bare en ramme).
7. generasjon funksjonen vektorer
Merk: En funksjon vektor genereres hver ramme produsert i del 6 av protokollen. Venstre og høyre rammene beregnes separat og kombinert i en funksjon vektor i følgende prosedyrer. Alle prosedyrer er gjennomført i MATLAB.
- Pakk ut statistiske funksjoner timelige rammer i trinn 6.1 i protokollen. En liste over antall 54 funksjoner er gitt i tabell 1.
- Pakk ut statistiske funksjoner spectral rammer i trinn 6.2 i protokollen. En liste over antall 30 funksjoner er gitt i tabell 2.
- Generere en 84-dimensjonale funksjonen vektor ved å kombinere timelige og spectral funksjonene ovenfor.
- Etiketten genererte funksjonen vektorer opptak i trinn 5.2 i protokollen.
- Gjenta fra trinn 7.1-7.4 for alle ramme blokker og generere en rekke funksjonen vektorer.
8. klassifisering av aktivitetene i klasser
Merk: Dette trinnet er å velge en støtte vektor maskin (SVM)23 klassifiserer modellen ved å fastsette parametere som viser det beste nøyaktigheten gitt problemet (dvs. funksjonen vektorer). SVM er en velkjent veiledet maskin læring teknikk, som viser gode resultater i generalisering og robusthet med en maksimal margin mellom klassene og kjernen funksjon. Vi brukte et rutenett-søk og kryss-validering metode til å definere en straff parameter C og en kjerne parameter γ av radial basis funksjon (RBF) kjernen. En minimal forståelse av maskinen lære teknikker og SVM kreves for å utføre følgende prosedyrer. Noen referanseintegritet materialer23,24,25 anbefales for bedre forståelse av maskinen lære teknikker og SVM algoritmen. Alle prosedyrene i denne delen er gjennomført med LibSVM25 programvarepakke.
- Definere et rutenett av (C, γ) for rutenett-søk. Bruk eksponensielt voksende sekvenser av C (2-10, 2-5,..., 230) og γ (2-30, 2-25,..., 210).
Merk: Disse sekvensene var bestemt heuristisk. - Definere et par (C, γ) (f.eks, (2-10, 2-30)).
-
Utfør 10 ganger kryss-validering ordningen for definerte rutenettet i trinn 8.2.
Merk: Denne ordningen deler hele funksjonen vektorer i 10-del undergrupper, teste en undergruppe fra klassifiserer modellen trent av andre delsettene, og gjenta det over alle delsettene, én etter én. Derfor, hver funksjonen vektorer kan testes sekvensielt.- Dele hele funksjonen vektorer i 10-del delsett.
- Definere en testing sett fra et delsett og opplæring sett fra de gjenstående 9 delsettene.
- Definere en skala vektor som skalerer alle elementer av funksjonen vektorer utvalg av [0, 1] for treningen sett.
Merk: Skala vektoren har samme dimensjon med funksjonen vektoren. Det består av et sett med multiplikatorer som skalerer i samme rad eller kolonne alle funksjonen vektorer utvalg av [0, 1]. For eksempel den første funksjonen i en funksjon vektor lineært skaleres utvalg av [0, 1] for de første trekk av trening funksjonen vektorer. Merk at skala vektor er definert fra treningen sett, fordi hvilke tester må antas for å være ukjent. Dette trinnet øker nøyaktigheten av klassifiseringen av gjøre funksjonene like utvalg og unngå numeriske feil under beregningen. - Skalere hver funksjon av treningen satt til området [0, 1] bruker skala vektoren fikk i trinn 8.2.3.
- Skalere hver funksjon av testing satt til området [0, 1] bruker skala vektoren fikk i trinn 8.2.3.
- Trene treningen sett gjennom SVM med den definerte par (c, γ) i trinn 8.2, og deretter bygge en klassifiserer modell.
- Test testing sett gjennom SVM med den definerte par (c, γ) i trinn 8.2, og klassifiserer modellen fikk fra trening prosedyren.
- Beregne en klassifisering nøyaktighet på testing settet. Nøyaktigheten ble beregnet fra prosentandelen av funksjonen vektorer som klassifiseres riktig.
- Gjenta trinn 8.2.2–8.2.8 for alle delsettene, og beregne gjennomsnittlig nøyaktigheten av alle delsett.
- Gjenta trinnene 8.2-8.3.9 for alle punktene i et par (c, γ).
- Finn lokale høyeste nøyaktighet i rutenettet. Alle prosedyrer for avsnitt 8 er illustrert i figur 7.
- (Valgfritt) Hvis trinnet i rutenettet anses grov, Gjenta trinnene 8.1-8.5 i et finere rutenett nær lokale maksimalt i trinn 8.5, og finne nye lokale maksimalt fine rutenettet.
- Beregne presisjon, husker og F1 poeng for hver klasse av aktiviteter fra de følgende formlene:
Formel 1
Ligning 2
Formel 3
hvor TP, FP og FN representere sanne positive, falske positiver og falske negative for hver aktivitet, henholdsvis. Forvirring matrix av alle aktivitetene er gitt i tabell 3.
Formel 1
Ligning 2
Formel 3Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Fremgangsmåten beskrevet i protokollen, utarbeidet vi to versjoner av 3D trykt rammen av skille hodet stykke, LH (133 og 138 mm), og templer, LT (110 og 125 mm), som vist i Figur 4. Derfor kan vi dekke flere iført vilkår, som kan varieres fra fagene leder størrelse, form, etc. fagene valgt blant rammene som passer til hodet for brukeren studier. Den loddrette avstanden, Lh, mellom hengsel-joint og hull for støtte bolten ble satt til 7,5 mm slik at forsterket kraft ikke vil overskride 15 N, som er lineær rekkevidden av Last cellen. Til slutt bør hodet stykke ha en tykkelse, tH, som kan motstå bøying øyeblikket fra både støtte boltene når utstyrt. Vi valgte tH å være 6 mm med en bruk av karbonfiber materiale fra en heuristisk tilnærming. Kontakten poeng kan justeres gjennom støtte bolter finjustere tetthet av glass som vist i figur 5.
Tabell 3 viser representant resultatene av klassifisering for alle aktivitet sett. Gjennomsnittlig F1 poeng resulterte i 80,5%. Hvis betraktet som ett poeng, kan ytelsen synes å være relativt dårligere forhold til resultatet av våre tidligere studie22. Vi kan imidlertid trekke ut viktig informasjon ved å sammenligne resultater mellom hver aktivitet. SR var relativt godt skiller seg fra SC, CW og SW, men ikke fra de W og ST. Begge tygge aktiviteter, SC og CW, var vanskelig å skille fra hverandre. Derimot, kan det være observert at begge tygge aktiviteter lett kan skilles fra SR, W, ST og SW, som representerer de andre fysiske aktivitetene. I SW, wink aktiviteten viste seg å være feilkategorisert litt gjennom andre aktiviteter.
Fra resultatene av tabell 3, kan vi observere inngående informasjon av klassifisering. Først var de to tygge aktivitetene, SC og CW, tydelig skiller seg fra de andre aktivitetene. Blant dem antyder skillet fra gå aktiviteten en mulighet at mat inntak aktiviteten, som er det viktigste formålet med denne studien, kan være lett delbar fra den aktive fysisk aktiviteten, som gåing, bruker systemet vårt. Som vist i figur 6, kan det bekreftes at tygge og kyss signaler, aktiveres fra temporalis muskel aktiviteten, var signifikant forskjellig fra de ikke aktivert av temporalis muskel aktiviteten. På den annen side, skillet mellom de to tygge aktivitetene viste relativt høye misclassifications. De spilte en dominerende rolle i å senke den både presisjonen og tygge aktiviteter.
Når det gjelder tygge gjenkjenning, kan SR, W og ST betraktes som uønsket støy i hverdagen. Kyss aktiviteten, kan derimot, anses som meningsfull måling, fordi det er også aktivert fra temporalis muskel aktiviteten også. Basert på ovennevnte, to tygge aktiviteter var avgrenset i en tygge aktivitet (CH), og andre aktiviteter unntatt winket ble gruppert i en fysisk aktivitet (PA). Tabell 4 viser klassifisering resultatene på disse aktivitetene: tygge (CH), fysisk aktivitet (PA) og stillesittende wink (SW). Vi finner mer bemerkelsesverdige resultater fra den. Det spår informasjon om systemet er robust for å oppdage matinntaket uten å bli berørt av andre fysiske aktiviteter. Videre indikerer det også om det er mulig å skille matinntaket fra andre ansikt aktivitet som wink. Resultatene viser at tygging aktiviteten kan godt atskilt fra de andre aktivitetene av en høy F1 score på 93.4%. Når det gjelder wink var husker (85.5%) noe lavere enn de andre aktivitetene. Dette betyr at kvaliteten på de innsamlede dataene av wink var trolig bli lav, som brukerne måtte kyss på nøyaktig tid i 3 s intervaller. Faktisk ble det observert at brukerne savnet kyss eller glass flyttet noen ganger under brukeren studien.
For å få mer meningsfulle resultater fra ovenstående, vi gruppert og re-definert aktiviteter i nye. De to tygge aktivitetene, SC og CW, var gruppert i en aktivitet, og definert som tygde. SR, W, og ST, som hadde en stor grad av Feilklassifisering blant dem selv, var også gruppert i en aktivitet, definert som fysisk aktivitet. Som et resultat innhentet vi nye representant resultater av klassifisering re utført gjennom aktivitetene omtalt som tygge (CH), fysisk aktivitet (PA) og stillesittende wink (SW), som vist i Tabell 4. Resultatene viste at en høy prediksjon score med en gjennomsnittlig F1 score på 91.4% av.
Figur 1: skjematisk diagrammer av både venstre og høyre kretser. (A) skjematisk diagrammer av venstre krets. Det inneholder et batteri for å levere strøm til både venstre og høyre krets. En 3,3 V spenningsregulator med omkjøringsvei kondensator ble gitt for å levere en stabil driftsspenning systemet. Veieceller presenteres her ble satt inn i begge sider av skjemadiagrammer for krets (B) av riktig krets. Den inneholder en mikro kontrolleren enhet (MCU) med Wi-Fi-kapasitet. En to-kanals multiplekser ble gitt for å behandle to force signaler fra begge sider med en analog til digital omformer (ADC) av MCU. En asynkron mottaker/UART (universal transmitter) kobling ble brukt til å flash MCU. Klikk her for å se en større versjon av dette tallet.
Figur 2: PCB kunstverk av både venstre og høyre kretser. (A) et kunstverk av venstre PCB. Alle elektroniske komponenter vises som faktiske mål i mm. (B) et kunstverk av retten PCB. Klikk her for å se en større versjon av dette tallet.
Figur 3: representant resultatene av PCB loddet med alle komponentene. (A) modulen venstre krets. Last cellen var integrert i styret. Den inneholder en 2-pinners kontakt for batteri og en 3-pinners kontakt for å koble til høyre styret. (B) modulen riktig krets. Last cellen var også integrert i styret. Den inneholder en 4-pinners kontakt for blinkende MCU og en 3-pinners kontakt koble venstre krets. Klikk her for å se en større versjon av dette tallet.
Figur 4: en 3D-modell design av rammen av glassene. (A) utformingen av hodet stykke. Øvre figuren viser et bilde, og lavere figuren viser beste utsikt over hodet stykke. Lengden på hodet stykke, LH, er en design parameter å dekke ulike leder kassens fag. Vi 3D trykt to versjoner av hodet stykke av skille den. Tykkelsen på hodet stykke, tH, ble definert av heuristisk. Avstanden mellom en hengsel-joint og et hull for en støtte bolt, Lh, ble satt fra mekanisk forsterkning faktor. (B) utformingen av templene. Øvre figuren viser igjen templet, og lavere figuren viser høyre Tinning. PCB i Figur 3 ble satt inn i sporene og et batteri var montert en batteriholderen. Klikk her for å se en større versjon av dette tallet.
Figur 5: et representativt resultat thePCB integrert briller. PCB ble satt inn i sporene med bolter. Nese pads og tips av templene var dekket av gummi bånd til friksjon med hud. Når glass er utstyrt, er veieceller presset av støtte bolter på begge sider. Tettheten av glass kan finjusteres ved å løsne eller stramme støtte bolter. Klikk her for å se en større versjon av dette tallet.
Figur 6: timelige signaler i en innspilling blokk med en bruker for alle aktiviteter. Y-aksen representerer den målte kraften, som var trukket av sin medianen for opptak blokken for visualisering formål. De maksimale amplituder tygge aktiviteter er større enn de andre aktivitetene. Venstre og høyre signaler wink aktivitet er invertert. Figuren viser et eksempel på venstre kyss. En 2 s rammen ble brukt til å definere en funksjon vektor av hopper signaler på 1 s intervall. Klikk her for å se en større versjon av dette tallet.
Figur 7: representant resultater for å finne den lokale maksimal nøyaktigheten gjennom ulike par (C, γ). (A) A kontur plott av kryss-godkjent nøyaktighet av alle aktiviteter som er definert i tabell 3. Hver akse øker eksponentielt, og området ble heuristisk valgt. Lokale maksimal nøyaktigheten av 80.4% oppstod på (C, γ) = (2520). (B) en kontur plott av kryss-godkjent beskrevne re-definerte aktiviteter i Tabell 4. Maksimal nøyaktigheten av 92.3% oppstod på (C, γ) = (2520), og var mye nøyaktig enn resultatet av (A). Klikk her for å se en større versjon av dette tallet.
| nei. | Funksjonsbeskrivelse | nei. | Funksjonsbeskrivelse | ||
| 1 | Standardavvik L | 28 | Skenwness R | ||
| 2 | Standardavvik R | 29 | Kurtosis L | ||
| 3 | Variasjonskoeffisienten L | 30 | Kurtosis R | ||
| 4 | Variasjonskoeffisienten R | 31 | Autokorrelasjon funksjonen koeffisienter L | ||
| 5 | Null krysset rate L | 32 | Autokorrelasjon funksjonen koeffisienter R | ||
| 6 | Null krysset rate R | 33 | Signalet energi L | ||
| 7 | 20. persentilen L | 34 | Signalet energi R | ||
| 8 | 20. persentilen R | 35 | Logg signal energi L | ||
| 9 | 50th persentil L | 36 | Logg signal energi R | ||
| 10 | 50th persentil R | 37 | Entropi energi L | ||
| 11 | 80th persentil L | 38 | Entropi energi R | ||
| 12 | 80th persentil R | 39 | Topp-til-peak amplitude L | ||
| 13 | Interquartile rekkevidde L | 40 | Topp-til-peak amplitude R | ||
| 14 | Interquartile rekkevidde R | 41 | Antall topper L | ||
| 15 | Firkantet summen av 20. persentilen L | 42 | Antall topper R | ||
| 16 | Firkantet summen av 20. persentilen R | 43 | Mener mellom toppene L | ||
| 17 | Firkantet summen av 50th persentil L | 44 | Mener mellom toppene R | ||
| 18 | Firkantet summen av 50th persentil R | 45 | Standard mellom toppene L | ||
| 19 | Firkantet summen av 80th persentil L | 46 | Standard mellom toppene R | ||
| 20 | Firkantet summen av 80th persentil R | 47 | Prediksjon forholdet L | ||
| 21 | 1 hylle av binned distribusjon L | 48 | Prediksjon forholdet R | ||
| 22 | 1 hylle av binned distribusjon R | 49 | Harmonisk forhold L | ||
| 23 | 2 hylle av binned distribusjon L | 50 | Harmonisk forhold R | ||
| 24 | 2 hylle av binned distribusjon R | 51 | Grunnleggende frekvens L | ||
| 25 | 3 hylle av binned distribusjon L | 52 | Grunnleggende frekvens R | ||
| 26 | 3 hylle av binned distribusjon R | 53 | Korrelasjonskoeffisienten til L og R | ||
| 27 | Skenwness L | 54 | Sigmal omfanget området L og R | ||
Tabell 1: utdraget statistiske funksjoner i en timelig ramme. Totalt 54 funksjoner ble pakket ut. Venstre og høyre signalene ble beregnet separat unntatt funksjonene korrelasjon 53 og 54.
| nei. | Funksjonsbeskrivelse | nei. | Funksjonsbeskrivelse | ||
| 1 | Spectral energi L | 16 | Spectral spredning R | ||
| 2 | Spectral energi R | 17 | Spectral entropi L | ||
| 3 | Spectral sone 1 energi L | 18 | Spectral entropi R | ||
| 4 | Spectral sone 1 energi R | 19 | Spectral entropi energi L | ||
| 5 | Spectral sone 2 energi L | 20 | Spectral entropi energi R | ||
| 6 | Spectral sone 2 energi R | 21 | Spectral flux L | ||
| 7 | Spectral sone 3 energi L | 22 | Spectral flux R | ||
| 8 | Spectral sone 3 energi R | 23 | Spectral rolloff L | ||
| 9 | Spectral sone 4 energi L | 24 | Spectral rolloff R | ||
| 10 | Spectral sone 4 energi R | 25 | Maksimal spectral crest L | ||
| 11 | Spectral sone 5 energi L | 26 | Maksimal spectral crest R | ||
| 12 | Spectral sone 5 energi R | 27 | Spectral skjevfordeling L | ||
| 13 | Spectral centroid L | 28 | Spectral skjevfordeling R | ||
| 14 | Spectral centroid R | 29 | Spectral kurtosen L | ||
| 15 | Spectral spredning L | 30 | Spectral kurtosen R | ||
Tabell 2: utdraget statistiske funksjoner av en spektral ramme. Totalt 30 funksjoner ble pakket ut. Venstre og høyre signalene ble beregnet separat. Fra kronikken i tabell 1 og tabell 2består en funksjon vektor av totalt 84 funksjoner.
| Spådd aktivitet |
Faktiske aktivitet | Totalt | Presisjon | |||||
| en SR | b SC | c W | d CW | e ST | f SW | |||
| SR | 1222 | 18 | 79 | 6 | 168 | 75 | 1568 | 77.9% |
| SC | 10 | 1268 | 17 | 159 | 46 | 15 | 1515 | 83.7% |
| W | 55 | 19 | 1212 | 32 | 144 | 20 | 1482 | 81,8% |
| CW | 3 | 158 | 34 | 1327 | 28 | 12 | 1562 | 85.0% |
| ST | 192 | 75 | 185 | 19 | 1117 | 55 | 1643 | 68.0% |
| SW | 78 | 22 | 33 | 17 | 57 | 1383 | 1590 | 87.0% |
| Totalt | 1560 | 1560 | 1560 | 1560 | 1560 | 1560 | 9360 | |
| Tilbakekalling | 78,3% | 81.3% | 77.7% | 85.1% | 71,6% | 88.7% | 80.4% | |
| F1 poeng | 78,1% | 82.5% | 79.7% | 85.0% | 69,7% | 87,8% | ||
| Gjennomsnittlig F1 poengsum | 80,5% | |||||||
Tabell 3: Forvirring matrise av alle aktiviteter når (C, γ) = (2520) i figur 7A. Dette viser alle prediksjon resultatene for alle aktiviteter: enSR: stillesittende resten, bSC: stillesittende tygge, cW: gå, dCW: tygge stund gåing, eST: stillesittende snakker, fSW: stillesittende wink.
| Spådd aktivitet |
Faktiske aktivitet | Totalt | Presisjon | ||
| en C | b PA | c SW | |||
| C | 2898 | 162 | 26 | 3086 | 93,9% |
| PA | 201 | 4404 | 200 | 4805 | 91,7% |
| SW | 21 | 114 | 1334 | 1469 | 90.8% |
| Totalt | 3120 | 4680 | 1560 | 9360 | |
| Tilbakekalling | 92.9% | 94.1% | 85.5% | 92.3% | |
| F1 poeng | 93.4% | 92.9% | 88.1% | ||
| Gjennomsnittlig F1 poengsum | 91.4% | ||||
Tabell 4: Forvirring matrise av alle re-definerte aktiviteter når (C, γ) = (2520) i figur 7B. Dette viser alle prediksjon resultatene for alle re-definerte aktiviteter: enlm: tygge, bPA: fysisk aktivitet, cSW: stillesittende wink.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
I denne studien foreslått vi først design og produksjonsprosessen briller som forstand mønstre av matinntaket og fysiske aktiviteter. Som denne studien hovedsakelig fokusert på dataanalyse å skille matinntaket fra andre fysiske aktiviteter (som turgåing og blunker), sensoren og data oppkjøpet systemet kreves gjennomføringen av mobilitet opptak. Dermed inkludert systemet sensorer, MCU med trådløs kommunikasjon evne og batteriet. Den foreslåtte protokollen gitt en ny og praktisk måte å måle mønstre av temporalis muskelaktivitet matinntaket og kyss på en ikke-kontakt måte: verktøy og metoder for å enkelt oppdage matinntaket i dagliglivet uten tungvint utstyret ble beskrevet.
Det er viktig hensyn for prosedyren for produksjon briller. Tempelet delene bør være utformet å integrere PCB modulene fabrikkert i trinn 1.2 som vist i figur 4B og figur 4C. Last cellen plasseres slik at det er presset av en støtte bolt på en støtte tallerken med hodet stykke når utstyrt som vist i den øverste visningen av hengslene i figur 5. I trinnet 2.4 trenger graden av bøying av briller tempelet ikke å være streng, som formålet av kurver er å øke en formfaktor for å bedre anfall glass på en emnet hode. Vær forsiktig, men som overdreven bøying hindrer templene berøre temporalis muskelen, noe som ville gjøre det umulig å samle betydelige mønstre.
For å få pålitelige data reflekterer forskjellige størrelser og former av fag, ble to versjoner av glass levert av varierende hodet stykke og templer. Ved å benytte støtte volt for å finjustere slitasje-evnen, kan vi i tillegg justere tettheten av glass. Dermed data samlet inn gjennom ulike glassene, emner, og iført-kan gjenspeile intra - og inter - individual variasjon og forskjellige blankett faktorene.
I brukeren studien, emnet tok av glass i pausen og bar dem igjen når innspillingen blokken restarted. Denne handlingen forhindret dataene fra overfitting til en bestemt seg tilstand fordi det endret seg betingelsene (f.eks, venstre og høyre balanse, preload på veieceller, kontakt området med huden, etc.) hver gang emnet nytt hadde glass.
Ifølge en tidligere studie av chewing frekvens, tygge aktiviteten hovedsakelig varierte fra 0.94 Hz (5th persentil) til 2.17 Hz (95th persentil)26. Derfor vi sette bildestørrelsen til 2 s slik at en ramme inneholder flere chewing aktiviteter. Denne rammestørrelse er også egnet for inneholder én eller flere gangavstand sykluser, som vanligvis spenner fra 1,4 Hz til 2,5 Hz27. Vi gjennomførte gangavstand aktiviteten med en hastighet på 4.5 km/t på en tredemølle fordi det normal gange varierer fra 3.3 km/t til 6.5 km/t27,28. Hop størrelsen i figur 6 identifiserte fra innspilte wink data der fag var informert å blunke til 3-s intervaller. Vi også filtrert data med cutoff frekvensen av 10 Hz, fordi vi fant fra vår forrige studie som signaler over 10 Hz hadde ingen vesentlig informasjon på tygge oppdagelsen22.
Fordi systemet har to veieceller på begge sider, er det mulig å skille de venstre og høyre hendelsene tygge og wink, som vist i våre tidligere studie22. Men i motsetning til tidligere studien var målet med denne studien å demonstrere at systemet kan effektivt skille matinntaket fra de fysiske aktivitetene. Hvis dataene er tilstrekkelig akkumulert gjennom brukeren studiet, deretter videre forskning på venstre og høyre klassifisering kan gjennomføres, utnytte korrelasjon funksjonene i funksjonen vektoren. På den annen side, er det vanskelig å skille mellom stillesittende aktiviteten og gå i systemet. Ytterligere modifiseringer å systemet kan gi detaljert klassifisering av matinntak, som å spise mens sittende og spise på farten, med en høy nøyaktighet. Dette kan gjennomføres gjennom en sensor fusion teknikk ved å legge til en treghet målenhet (IMU) systemet18. I så fall kan systemet spore energiforbruket og energiinntaket samtidig. Vi tror at vår tilnærming gir praktisk og mulige måter for påvisning av matinntaket og fysiske aktiviteter.
Estimering av energiinntaket er et avgjørende mål av forskning på kosttilskudd overvåking, og for eksempel kan analyseres av klassifisere typen mat, og deretter konvertere den til kalorier fra forhåndsdefinerte kalori informasjon. En fersk undersøkelse foreslo en metode for klassifisering mat mat bilder og dype læring algoritmer14. Det er imidlertid vanskelig å skille hvilke mat med kraft sensorene brukt i denne studien; tillegg av en bildesensor på forsiden av enheten kan gjenkjenne hvilke mat gjennom bildebehandling og maskin lære teknikker, og dermed klassifisere typer mat. Gjennom denne sensor fusion teknikken med kraft og bilde sensorer er potensialet i denne studien program mot de generelle kosttilskudd avlytting programmer.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Forfatterne ikke avsløre.
Acknowledgments
Dette arbeidet ble støttet av Envisible, Inc. Denne studien ble også støttet av et tilskudd på koreansk helse teknologi R & D prosjektet, helse og velferd, Sør-Korea (HI15C1027). Denne forskningen ble også støttet av den nasjonale Research Foundation av Korea (NRF-2016R1A1A1A05005348).
Materials
| Name | Company | Catalog Number | Comments |
| FSS1500NSB | Honeywell, USA | Load cell | |
| INA125U | Texas Instruments, USA | Amplifier | |
| ESP-07 | Shenzhen Anxinke Technology, China | MCU with Wi-Fi module | |
| 74LVC1G3157 | Nexperia, The Netherlands | Multiplexer | |
| MP701435P | Maxpower, China | LiPo battery | |
| U1V10F3 | Pololu, USA | Voltage regulator | |
| Ultimaker 2 | Ultimaker, The Netherlands | 3D printer | |
| ColorFabb XT-CF20 | ColorFabb, The Netherlands | Carbon fiber filament | |
| iPhone 6s Plus | Apple, USA | Data acquisition device | |
| Jelly Belly | Jelly Belly Candy Company, USA | Food texture for user study |
References
- Sharma, A. M., Padwal, R. Obesity is a sign-over-eating is a symptom: an aetiological framework for the assessment and management of obesity. Obes Rev. 11 (5), 362-370 (2010).
- Pi-Sunyer, F. X., et al. Clinical guidelines on the identification, evaluation, and treatment of overweight and obesity in adults. Am J Clin Nutr. 68 (4), 899-917 (1998).
- McCrory, P., Strauss, B., Wahlqvist, M. L. Energy balance, food intake and obesity. Exer Obes. , London. (1994).
- Albinali, F., Intille, S., Haskell, W., Rosenberger, M. Proceedings of the 12th ACM international conference on Ubiquitous computing. , ACM. 311-320 (2010).
- Bonomi, A., Westerterp, K. Advances in physical activity monitoring and lifestyle interventions in obesity: a review. Int J Obes. 36 (2), 167-177 (2012).
- Jung, S., Lee, J., Hyeon, T., Lee, M., Kim, D. H. Fabric-Based Integrated Energy Devices for Wearable Activity Monitors. Adv Mater. 26 (36), 6329-6334 (2014).
- Fulk, G. D., Sazonov, E. Using sensors to measure activity in people with stroke. Top Stroke Rehabil. 18 (6), 746-757 (2011).
- Makeyev, O., Lopez-Meyer, P., Schuckers, S., Besio, W., Sazonov, E. Automatic food intake detection based on swallowing sounds. Biomed Signal Process Control. 7 (6), 649-656 (2012).
- Päßler, S., Fischer, W. Food intake activity detection using an artificial neural network. Biomed Tech (Berl). , (2012).
- Passler, S., Fischer, W. -J. Food intake monitoring: Automated chew event detection in chewing sounds. IEEE J Biomed Health Inform. 18 (1), 278-289 (2014).
- Kadomura, A., et al. CHI'13 Extended Abstracts on Human Factors in Computing Systems. , ACM. 1551-1556 (2013).
- Fontana, J. M., Farooq, M., Sazonov, E. Automatic ingestion monitor: A novel wearable device for monitoring of ingestive behavior. IEEE Trans Biomed Eng. 61 (6), 1772-1779 (2014).
- Shen, Y., Salley, J., Muth, E., Hoover, A. Assessing the Accuracy of a Wrist Motion Tracking Method for Counting Bites across Demographic and Food Variables. IEEE J Biomed Health Inform. , (2016).
- Farooq, M., Sazonov, E. International Conference on Bioinformatics and Biomedical Engineering. , Springer. 464-472 (2017).
- Grigoriadis, A., Johansson, R. S., Trulsson, M. Temporal profile and amplitude of human masseter muscle activity is adapted to food properties during individual chewing cycles. J Oral Rehab. 41 (5), 367-373 (2014).
- Strini, P. J. S. A., Strini, P. J. S. A., de Souza Barbosa, T., Gavião, M. B. D. Assessment of thickness and function of masticatory and cervical muscles in adults with and without temporomandibular disorders. Arch Oral Biol. 58 (9), 1100-1108 (2013).
- Standring, S. Gray's anatomy: the anatomical basis of clinical practice. , Elsevier Health Sciences. (2015).
- Farooq, M., Sazonov, E. A novel wearable device for food intake and physical activity recognition. Sensors. 16 (7), 1067 (2016).
- Zhang, R., Amft, O. Proceedings of the 2016 ACM International Symposium on Wearable Computers. , ACM. 50-52 (2016).
- Farooq, M., Sazonov, E. Segmentation and Characterization of Chewing Bouts by Monitoring Temporalis Muscle Using Smart Glasses with Piezoelectric Sensor. IEEE J Biomed Health Inform. , (2016).
- Huang, Q., Wang, W., Zhang, Q. Your Glasses Know Your Diet: Dietary Monitoring using Electromyography Sensors. IEEE Internet of Things Journal. , (2017).
- Chung, J., et al. A glasses-type wearable device for monitoring the patterns of food intake and facial activity. Scientific Reports. 7, 41690 (2017).
- Cristianini, N., Shawe-Taylor, J. An introduction to support Vector Machines: and other kernel-based learning methods. , Cambridge University Press Cambridge. (2000).
- Giannakopoulos, T., Pikrakis, A. Introduction to Audio Analysis: A MATLAB Approach. , Academic Press. (2014).
- Chang, C. -C., Lin, C. -J. LIBSVM: a library for support vector machines. ACM Trans Intell Syst Technol. 2 (3), 27 (2011).
- Po, J., et al. Time-frequency analysis of chewing activity in the natural environment. J Dent Res. 90 (10), 1206-1210 (2011).
- Ji, T. Frequency and velocity of people walking. Struct Eng. 84 (3), 36-40 (2005).
- Knoblauch, R., Pietrucha, M., Nitzburg, M. Field studies of pedestrian walking speed and start-up time. Transp Res Red. 1538, 27-38 (1996).
