Summary
Denna studie presenterar ett protokoll för utformning och tillverkning av en glasögon-typen bärbar enhet som identifierar mönster av födointag och andra utvalda fysiska aktiviteter med lastceller infogas i båda gångjärnen på glasen.
Abstract
Denna studie presenterar en serie av protokoll för utformning och tillverkning av en glasögon-typen bärbar enhet som identifierar mönster av temporalis muskel aktiviteter under födointag och andra fysiska aktiviteter. Vi tillverkade en 3D-tryckt stomme i glasen och en belastning cell-integrerade kretskort styrelsen (PCB) modul införas i båda gångjärnen på ramen. Modulen användes för att förvärva kraft signalerna och sänder dem trådlöst. Dessa förfaranden ger systemet med högre rörlighet, som kan utvärderas i praktiska bär villkor såsom promenader och waggling. En föreställning av klassificeringen är också utvärderas genom att skilja mönster av födointag från de fysiska aktiviteterna. En rad algoritmer användes för att Förbearbeta signalerna, generera funktionen vektorer och identifiera mönster av flera erbjudna aktiviteter (tugga och blinka) och andra fysiska aktiviteter (stillasittande vila, prata och promenader). Resultaten visade att den genomsnittliga F1 poängen av klassificeringen bland de utvalda verksamheter var 91,4%. Vi anser att denna strategi kan vara potentiellt användbara för automatisk och objektiva övervakning av ingestive beteenden med högre noggrannhet som praktiska sätt att behandla ingestive problem.
Introduction
Kontinuerlig och objektiv övervakning av födointag är avgörande för att upprätthålla energibalans i den mänskliga kroppen, eftersom överdriven energi ackumulering kan orsaka overweightness och fetma1, vilket kan leda till olika medicinska komplikationer2. De viktigaste faktorerna i energitillförseln är kända för att vara både överdrivet födointag och otillräcklig fysisk aktivitet3. Olika studier om övervakning av daglig energiförbrukning har införts med automatisk och objektiv mätning av fysisk aktivitetsmönster till bärbara enheter4,5,6, även vid de slutkonsumenten nivå och medicinska etapp7. Forskning om övervakning av födointag, är dock fortfarande i laboratoriet inställningen, eftersom det är svårt att upptäcka aktiviteten mat intag i en direkt och objektivt sätt. Här, vill vi presentera en enhet design och dess utvärdering för att övervaka födointag och fysiska aktivitetsmönster på praktisk nivå i vardagen.
Det har varit olika indirekta metoder för att övervaka födointag genom tugga och svälja ljud8,9,10, rörelse av handleden11,12,13, bild analys14, och Elektromyogram (EMG)15. Dessa metoder var dock svårt att tillämpa på dagliga liv program, på grund av deras inneboende begränsningar: metoderna använder ljud var utsatta påverkas av miljö-ljud; metoderna med rörelsen av handleden var svår att skilja från andra fysiska aktiviteter när inte konsumerar mat; och de metoder som med hjälp av bilder och EMG signaler begränsas av gränsen för rörelse och miljö. Dessa studier visade funktioner för automatisk detektion av födointag med sensorer, men hade fortfarande en begränsning av praktiska tillämplighet på vardagen utanför laboratoriemiljö.
I denna studie använde vi mönster av temporalis muskelaktivitet som automatisk och objektiv övervakning av födointag. I allmänhet, upprepar temporalis muskeln den kontraktion och avslappning som en del av käkmuskulatur muskel under den mat intag16,17; Således kan aktiviteten mat intag övervakas genom att upptäcka de periodiska mönster av temporalis muskelaktivitet. Nyligen har det varit flera studier utnyttjar temporalis muskel aktivitet18,19,20,21, som använde EMG eller piezoelektriska stam sensor och fästa dem direkt på mänskliga huden. Dessa metoder, dock var känsliga för huden platsen av EMG elektroder eller stam sensorer, och var enkelt loss från huden på grund av den fysiska rörelsen eller svett. Vi föreslog därför en ny och effektiv metod med ett par glasögon att känsla temporalis muskel aktivitet genom två lastceller införas i båda gångjärnen i vår tidigare studie22. Denna metod visade stor potential för att upptäcka mat intag aktiviteten med en hög noggrannhet utan att vidröra huden. Det var också un-påträngande och inkräktande eftersom vi använde en gemensam glasögon-typ anordning.
I denna studie presenterar vi en rad detaljerade protokoll för hur du implementerar glasögon-typ enheten och hur man använder mönster av temporalis muskelaktivitet för att övervaka födointag och fysisk aktivitet. Protokollen omfattar hårdvarudesign och fabrication som består av en 3D-tryckt stomme i glasen, en krets-modul och en data förvärv modul, och inkluderar Programvarualgoritmer för databehandling och analys. Vi har dessutom granskat klassificering bland flera utvalda aktiviteter (t.ex., tugga, promenader och winking) kan påvisa att ett praktiskt system som kan tala om en minut skillnad mellan födointag och annan fysisk aktivitet mönster.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Obs: Alla förfaranden inbegripet användning av försökspersoner var fulländade av en icke-invasiv sätt att enkelt bära ett par glasögon. Alla data har förvärvats genom att mäta kraft signalerna från lastceller infogas i glas som inte var i direkt kontakt med huden. Data överfördes trådlöst till modulen data inspelning, som i detta fall är en utsedda smartphone för studien. Alla protokoll inte var närstående i vivo/in vitro- studier på människa. Inga läkemedel och blod prover användes för experiment. Informerat samtycke erhölls från alla ämnen av experimenten.
1. tillverkning av en Sensor-integrerade krets modul
-
Köp elektroniska komponenter för tillverkning av modulen krets.
- Köp två ball-typ lastceller, som var verksam i ett intervall mellan 0 N och 15 N, och producerar ett utflöde av låg differentiell spänning med maximalt 120 mV span i en 3,3 V excitation.
Dessa laddar cellerna används för att mäta tvinga signaler både till vänster och höger sida av glasen. - Köp två instrumentation förstärkare och två 15 kΩ känslighetsinställningen motstånd.
Obs: Instrumentation förstärkaren och känslighetsinställningen resistorn används för att förstärka kraft signalen belastning cellens åtta gånger, upp till 960 mV. - Köpa en micro controller unit (MCU) med trådlös kapacitet (t.ex., WiFi-anslutning), och en 10-bitars analog-till-digital-omvandlare (ADC).
Obs: MCU används för att läsa kraft signalerna och överföra dem till en data förvärv modul trådlöst. Eftersom en analog ingångsstift används för två analoga kraft ingångar, introduceras användning av en multiplexer i nästa steg 1.1.4. - Köp en två-kanals analog multiplexer som hanterar de två insignalerna med en ADC stift på MCU.
- Köpa ett litium-jon polymer (LiPo) batteri med 3,7 V märkspänning 300 mAh nominell kapacitet och 1 C urladdning takt.
Obs: Batterikapaciteten valdes att leverera tillräckligt aktuell per timme mer än 200 mAh och driva systemet tillförlitligt för ca 1.5 h av ett experiment. - Köpa en 3,3 V spänningsregulator för linjär down-förordning av den 3,7 V batterispänningen till 3,3 V driftspänning av systemet.
- Köp fem 12 kΩ utanpåliggande enheter (SMD) typ motstånd som pull-up motstånd av MCU. Resistorns fotavtryck är 2,0 x 1,2 mm (storlek 2012).
- Köp två ball-typ lastceller, som var verksam i ett intervall mellan 0 N och 15 N, och producerar ett utflöde av låg differentiell spänning med maximalt 120 mV span i en 3,3 V excitation.
-
Tillverka kretskort (PCB). Detta steg handlar om Rita kretskorten, och göra konstverket (dvs, styrelsen layout, den .brd fil) och schematiskt (dvsfilen .sch) för PCB tillverkning. En grundläggande förståelse för processen att skapa konstverk och Schematisk filer krävs för utveckling.
- Rita en schematisk bild av en vänster krets som innehåller batteriet med hjälp av en elektronisk designansökan som visas i figur 1A. Spara resultatet som både konstverk (.brd) och Schematisk (.sch) filer.
- Rita en schematisk bild av en höger krets innehållande MCU använder ett elektronisk design program som visas i figur 1B. Spara resultatet som både konstverk (.brd) och Schematisk (.sch) filer.
- Tillverka kretskort genom att beställa med ett PCB tillverkning företag.
- Löda varje elektronisk komponent som bereddes i steg 1.1 till korten som visas i figur 2 och figur 3.
FÖRSIKTIGHET: Instrumentation förstärkaren är mycket känsliga för lödning temperaturen. Kontrollera att bly temperatur inte överstiger 300 ° C för 10 s under lödning, annars det kan orsaka permanent skada på komponenten.
2. 3D-utskrift av en stomme i glasen
- Rita 3D-modellen av head lappa av glas med ett 3D-modelleringsverktyg som visas i figur 4A. Exportera resultatet till .stl filformat.
- Rita en 3D modell av vänster och höger templen i glasen med hjälp av en 3D-modellering verktyg som visas i figur 4B och figur 4 c. Exportera resultaten till .stl filformat.
- Skriva ut huvudet bit och templet delarna med hjälp av en 3D-skrivare och en kolfiber glödtråden på 240 ° C av ett munstycke temperatur och 80 ° C av en bäddtemperatur.
Obs: Användning av någon kommersiell 3D-skrivare och alla typer av filament som akrylnitril-butadien-styren (ABS) och polylaktid (PLA) kan tillåtas. Munstycke och säng temperaturerna kan justeras enligt glödtråden och utskriftsvillkor. - Värm tips av templen med hjälp av en varmluftspistol av en 180 ° C inställning och böj dem inåt cirka 15 grader för att kontakta epidermisen av temporalis muskeln som konventionella glasögon.
Obs: Graden av böjning av glasögon templet behöver inte vara rigorös som syftet med krökning är att öka en formfaktor genom att hjälpa de glasögon som passar på motivets huvud när utrustad. Var försiktig dock, eftersom överdriven böjning kommer att hindra templen från att röra temporalis muskeln, vilket gör det omöjligt att samla in stora mönster. - Upprepa steg från steg 2.1 – 2.4 att skriva ut två olika storlekar av Glasögon ram att passa flera huvudstorlekar som visas i figur 4.
3. montering av alla delar av glasen
- Infoga PCB på båda sidor av templen i glasen med M2 bultar som visas i figur 5.
- Montera huvud lappa och tempel genom att infoga M2 bultarna i gångjärn lederna.
- Anslut vänster och höger PCB med 3-polig anslutande ledningar som visas i figur 5.
- Anslut batteriet till vänster krets och fäst den med en tejp till vänster templet. Montering sidan av batteriet är inte kritisk, eftersom det kan variera beroende på mönsterkortsdesign.
- Täcka glasen med gummi band på spetsen och näsa pad att lägga till mer friktion med den mänskliga huden som visas i figur 5.
4. utveckling av ett System för datainsamling
Obs: Datainsamlingssystemet består av en data sändning modul och en data mottagande modul. Modulen data sändande läser tiden och kraften signaler från båda sidor och skickar dem sedan till mottagande modulen data, som samlar mottagna data och skriver dem till .tsv filer.
-
Ladda upp data överför ansökan till MCU i modulen PCB efter procedurerna i steg 4.1.1–4.1.3.
- Kör ”GlasSense_Server” projektet bifogas de kompletterande filer med en dator.
Obs: Detta projekt byggdes med Arduino integrerad utvecklingsmiljö (IDE). Det ger möjlighet att läsa tiden och tvinga signaler med 200 prover/s och översända dem till modulen data mottagande. - Anslut modulen PCB till datorn via en universal serial bus (USB)-kontakt.
- Tryck på knappen ”Ladda upp” på Arduino IDE att blinka programmering koder från steg 4.1.1 till MCU.
- Kör ”GlasSense_Server” projektet bifogas de kompletterande filer med en dator.
-
Ladda upp data mottagarprogrammet till en smartphone, som används för att ta emot data trådlöst, följa instruktionerna i steg 4.2.1–4.2.3.
- Kör ”GlasSense_Client” projektet bifogas de kompletterande filer med en dator.
Obs: Detta projekt byggdes med C# och programmeringsspråk. Det ger möjlighet att ta emot data och spara de .tsv filer, som innehåller ett ämnes information, såsom namn, kön, ålder och kroppsmasseindex (BMI). - Anslut din smartphone till datorn via en USB-kontakt att bygga data mottagarprogrammet.
- Tryck på knappen ”fil > bygga & Run” i C#-projektet att bygga data mottagarprogrammet till din smartphone.
- Kör ”GlasSense_Client” projektet bifogas de kompletterande filer med en dator.
5. datainsamling från en användare studie
Obs: Denna studie uppsättningar samlats in sex utvalda aktivitet: stillasittande resten (SR), stillasittande tugga (SC), promenader (W), tugga medan promenader (CW), stillasittande talande (ST) och stillasittande wink (SW).
- Välj ett par glasögon som har lämplig storlek till användaren att testas. Finjustera täthet med stöd bultarna på båda gångjärnen (figur 5).
FÖRSIKTIGHET: Kraft värdena skall inte överstiga 15 N, eftersom de kraft-sensorerna som används i denna studie kan förlora fina linjära kännetecken Utöver drift området. Kraft värden går att fininställa genom att lossa eller åtstramning stöd bultar. -
Spela in verksamheten i alla ämnen genom att trycka på knappen ”Record” på ansökan byggdes steg 4.2.3.
- Spela in en aktivitet under ett 120-s-block och generera en inspelningsfil för det.
- När det gäller SR, sitta föremål i en stol och få dem använder en smartphone eller läsa en bok. Tillåter rörlighet av huvudet, men undvika rörlighet för hela kroppen.
- I fall av SC och CW, har försökspersonerna äta två sorters mat textur (rostat bröd och tugga gelé) för att återspegla olika mat boenden. Servera rostat bröd i skivor av 20 mm x 20 mm, som är en bra storlek för att äta.
- När det gäller W, har ämnena som går med en hastighet på 4,5 km/h på ett löpband.
- När det gäller ST, sitta ämnen och har dem läsa en bok högt i en normal ton och hastighet.
- När det gäller SW, informera försökspersonerna att blinka på tidpunkten för en bell ljudet av 0,5 s lång varje 3 s.
- Generera en inspelningsfil i TSV-format från de insamlade i steg 5.2.1.
Obs: Den här filen innehåller en sekvens av när data var emot, en vänster kraft signal, en signal i rätt kraft och en etikett som representerar den aktuella ansiktsbehandling aktiviteten. Visualiseringar av temporal signaler för alla aktiviteter i ett block av en användare var avbildad i figur 6. De sex utvalda aktivitet uppsättningarna (SR, SC, W, CW, ST och SW) var märkt som 1, 2, 3, 4, 5 och 6, respektive. Etiketterna användes för att jämföra de förutspådda klasserna i avsnitt 8 i protokollet. - Ta en 60-s paus efter inspelning blocket. Ta av glasögonen i pausen, och åter bära dem igen när blocket inspelning startas om.
- Upprepa de block-och-break uppsättningen steg 5.2.1 och 5.2.2 fyra gånger för varje aktivitet.
- När det gäller SW, har ämnet wink upprepade gånger med vänster öga under ett kvarter, och sedan blinka upprepade gånger med höger öga under nästa block.
- Spela in en aktivitet under ett 120-s-block och generera en inspelningsfil för det.
- Upprepa steg 5,1 – 5,2 och samla in data från 10 försökspersoner. I denna studie använde vi fem hanar och fem tikar, Medelåldern var 27,9 ± 4,3 (standardavvikelse; s.d.) år, som varierade 19 – 33 år, och den genomsnittliga BMI var 21,6 ± 3.2 (s.d.) kg/m2, som varierade på 17,9 – 27,4 kg/m2.
Obs: I denna studie, de ämnen som inte har några medicinska tillstånd att tugga mat, wink, och promenad rekryterades, och detta villkor användes för inklusionskriterier.
6. signal förbehandling och segmentering
Obs: Vänster och höger signalerna beräknas separat i följande procedurer.
-
Bered en serie av tidsmässiga ramar 2 s lång.
- Segmentet 120 s in signaler till en uppsättning 2 s ramar av hoppande dem på 1-s intervaller med hjälp av MATLAB som visas i figur 6.
Obs: De segmenterade ramarna 2 s lång användes för att extrahera funktioner i avsnitt 7. 1 s hoppande storlek bestämdes att dela signalerna av 3 s wink intervall redan nämnt i steg 5.2.1. - Applicera ett lågpassfilter (LPF) med ett 5th order Butterworth filter med en cutoff frekvens på 10 Hz för varje bildruta.
- Spara resultatet för steg 6.1.2 som de tidsmässiga ramarna för nästa steg i steg 7,1.
- Segmentet 120 s in signaler till en uppsättning 2 s ramar av hoppande dem på 1-s intervaller med hjälp av MATLAB som visas i figur 6.
-
Bered en serie av spektral ramar.
- Subtrahera medianvärdet från de ursprungliga signalerna för varje bildruta ta bort av förspänning när du bär glasögon.
Obs: Förspänning värdet krävs inte för följande frekvensanalys, eftersom den inte omfattar någon information om tugga, promenader, wink, etc. det kan dock innehålla betydande information, som kan variera från omfattas av omfattas, från varje inställning på glasen, och även från ögonblicket ett ämne bär glasögon. - Gäller ett Hanning fönster för varje bildruta att minska en spektral läckage på frekvensanalys.
- Producera och spara en ensidig spektrum genom att tillämpa ett fast Fouriertransform (FFT) varje bildruta.
- Subtrahera medianvärdet från de ursprungliga signalerna för varje bildruta ta bort av förspänning när du bär glasögon.
- Definiera en kombination av en temporal och en spektral ram av samtidigt som en ram block (eller helt enkelt en ram).
7. generering av funktionen vektorer
Obs: En funktionen vector genereras per bildruta produceras i avsnitt 6 i protokollet. Vänster och höger bildrutorna beräknas separat och kombineras till en funktion vektor i följande procedurer. Alla förfaranden genomfördes i MATLAB.
- Extrahera statistiska funktioner från en temporal ram i steg 6.1 i protokollet. En lista över det totala antalet 54 funktioner ges i tabell 1.
- Extrahera statistiska funktioner från en spektral ram i steg 6,2 i protokollet. En lista över det totala antalet 30 funktioner ges i tabell 2.
- Generera en 84-dimensionell funktionen vector genom att kombinera funktionerna temporal och spektrala ovan.
- Märk de genererade funktionen vektorerna av inspelningar i steg 5.2 i protokollet.
- Upprepa steg från trappan 7,1 – 7,4 för alla ram block och skapa en serie av funktionen vektorer.
8. klassificering av verksamhet i klasser
Obs: Detta steg är att välja en klassificerare modell av en stöd vektor maskin (SVM)23 genom att fastställa parametrar som visar de bästa noggrannheten från det givet problemet (dvs funktionen vektorer). SVM är en välkänd övervakade machine learning-teknik, vilket visar utmärkt prestanda i generalisering och robusthet med en maximal marginal mellan klasserna och en kernel-funktionen. Vi använde en grid-sökning och en cross-validering metod för att definiera en straff parameter C och en kärna parametern γ av radial basis funktion (RBF) kärnan. En minsta förståelse för machine learning-tekniker och SVM krävs för att utföra följande procedurer. Vissa refererande material23,24,25 rekommenderas för bättre förståelse av machine learning-tekniker och algoritmen som SVM. Alla procedurer i det här avsnittet genomfördes med LibSVM25 programpaket.
- Definiera ett rutnät av par (C, γ) för grid-sökningen. Använda exponentiellt växande sekvenser av C (2-10, 2-5,..., 230) och γ (2-30, 2-25,..., 210).
Obs: Dessa sekvenser bestämdes heuristiskt. - Definiera ett par (C, γ) (t.ex., (2-10, 2-30)).
-
Utför 10-faldig cross-validering stödordningen för rutnätet definierade i steg 8,2.
Obs: Detta system delar hela funktionen vektorerna i 10-del delmängder, sedan testa en delmängd från klassificerare modellen utbildad av andra delmängder och upprepa det över alla delmängder, en efter en. Varje funktion vektorer kan därför testas sekventiellt.- Dela upp hela funktionen vektorerna i 10-del underuppsättningar.
- Fastställa ett test från en delmängd, och en utbildning från de återstående 9 undergrupper.
- Definiera en skala vektor som skalas alla element av funktionen vektorer till spänna av [0, 1] för utbildning.
Obs: Skala vektorn har samma dimension med funktionen vector. Den består av en uppsättning multiplikatorer som skalor på samma rad (eller kolumn) av alla funktionen vektorer till spänna av [0, 1]. Till exempel den första inslaget i en funktionen vector skalas linjärt till spänna av [0, 1] för den alla första funktioner utbildning funktionen vektorer. Observera att skala vektorn definieras från uppsättningen med utbildning, eftersom den testa uppsättningen bör antas vara okänd. Detta steg ökar precisionen i klassificering genom att göra funktionerna lika spänna och undvika numeriska fel under beräkningen. - Skala varje funktion av utbildningen att spänna av [0, 1] med hjälp av skala vektorn erhölls i steg 8.2.3.
- Skala varje funktion för att testa att spänna av [0, 1] med hjälp av skala vektorn erhölls i steg 8.2.3.
- Utbilda den utbildning som genom SVM med definierade para (c γ) i steg 8,2, och sedan bygga en klassificerare modell.
- Testa den testa uppsättningen genom SVM med definierade para (c γ) i steg 8,2 och klassificerare modellen erhålls från förfarandet utbildning.
- Beräkna en klassificering noggrannhet på den testa uppsättningen. Noggrannheten har beräknats från procentandelen av funktionen vektorer som klassificeras korrekt.
- Upprepa den här 8.2.2–8.2.8 för alla delmängder, och beräkna genomsnittliga riktigheten i alla grupper.
- Upprepa stegen 8,2 – 8.3.9 för alla rasterpunkter av ett par (c γ).
- Hitta lokala maximum av högsta precision i rutnätet. Alla förfaranden av avsnitt 8 illustreras i figur 7.
- (Valfritt) Om steget i rutnätet anses grova, upprepa stegen 8.1 – 8,5 i ett finare rutnät nära den lokala maximalt steg 8,5, och hitta nya lokala högst fina rutnätet.
- Beräkna den precision, återkallande och F1 Poäng för varje klass av aktiviteter från följande ekvationer:
Ekvation 1
Ekvation 2
Ekvation 3
där TP, FP och FN representerar sant positiva, falska positiva och falska negativa för varje aktivitet, respektive. Matrisen förvirring av alla aktiviteter som ges i tabell 3.
Ekvation 1
Ekvation 2
Ekvation 3Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Genom de förfaranden som beskrivs i protokollet, förberett vi två versioner av 3D tryckta ramen genom att differentiera längd huvud lappa, LH (133 och 138 mm), och templen, LT (110 och 125 mm), som visas i figur 4. Vi därför kan omfatta flera bär villkor, som kan varieras från försökspersonernas huvud storlek, form, etc. försökspersonerna valde en av ramarna som passar till deras huvud för användaren studien. Det vertikala avståndet, Lh, mellan gångjärn gemensamma och hålet för stöd bulten var satt till 7,5 mm så att den förstärkta kraften inte skulle överstiga 15 N, som är en lastcell linjär rörelseområde. Slutligen, huvudet lappa bör ha en tjocklek, tH, som kan motstå det Böjande ögonblick överförs från båda stöd bultar när utrustad. Vi valde tH vara 6 mm med en användning av kolfiber material från ett heuristiskt tillvägagångssätt. Kontaktpunkterna kan justeras genom stöd bultarna att finjustera tightnessen av glas som visas i figur 5.
Tabell 3 visar representativa resultat av klassificeringen för alla aktivitet uppsättningar. Den genomsnittliga F1 poängen resulterade i 80,5%. Om det anses som en enda poäng, kan prestanda tyckas vara relativt försämrad jämfört med resultatet av vår tidigare studie22. Vi kan emellertid extrahera väsentlig information genom att jämföra resultaten mellan varje aktivitet. SR var relativt väl distingerad från SC, CW och SW, men inte från W och ST. Båda tugga aktiviteter, SC och CW, var svåra att skilja från varandra. Däremot, kan det påpekas att båda tugga aktiviteter kan lätt skiljas från SR, W, ST, och SW, som representerar de andra fysiska aktiviteterna. När det gäller SW, aktiviteten wink visade sig något felaktigt klassificeras under hela andra aktiviteter.
Från resultaten i tabell 3, kan vi Observera ingående Detaljer för klassificering. Först var två tugga aktiviteterna, SC och CW, klart skiljas från övrig verksamhet. Bland dem antyder skillnaden från vandrande verksamheten en möjlighet att aktiviteten mat intag, vilket är det huvudsakliga syftet med denna studie, kan vara lätta att separera från den aktiva fysisk aktiviteten, såsom promenader, använda vårt system. I figur 6visas det kan verifieras att tugga och blinkning signaler, aktiveras från temporalis muskel aktiviteten, var signifikant från de inte aktiveras av aktiviteten temporalis muskel. Däremot, skillnaden mellan de två tugga verksamheterna visade relativt hög felklassificeringar. De spelade en dominerande roll i att sänka både precisionen och återkallande av tugga verksamhet.
När det gäller tugga upptäckt, kan det SR, W och ST betraktas som oavsiktliga buller i det dagliga livet. Den wink verksamheten, däremot, kan anses meningsfull mätning, eftersom det också är aktiverat från aktiviteten temporalis muskel samt. Baserat på ovanstående, två tugga verksamhet var avgränsas till en tugga aktivitet (CH), och andra aktiviteter förutom blinkning var grupperade i en fysisk aktivitet (PA). Tabell 4 visar klassificeringsresultaten på dessa aktiviteter: tugga (CH), fysisk aktivitet (PA) och stillasittande wink (SW). Vi kan hitta mer anmärkningsvärda resultat från den. Det förutspår information om huruvida systemet är robusta för att upptäcka matintag utan att påverkas av andra fysiska aktiviteter. Dessutom indikerar det också om det är möjligt att skilja födointag från annan ansikte aktivitet såsom wink. Resultaten visar att aktiviteten tugga väl skiljer sig från andra aktiviteter av en hög F1 poäng av 93,4%. I fallet wink var återkallande (85,5%) något lägre än för de andra verksamheterna. Detta innebär att kvaliteten på de insamlade uppgifterna av wink var sannolikt att vara låg, som användarna hade att blinka vid exakt tidpunkt i 3 s intervaller. I själva verket konstaterades det att användarna missade blinkning eller glasen skiftat ibland under användaren studien.
För att erhålla mer meningsfulla resultat från ovan, vi grupperade och omdefinieras verksamheten in i nya. De två tugga aktiviteterna, SC och CW, var grupperade i en aktivitet, och definieras som tuggar. Den SR, W, och ST, som hade en hög grad av felklassificering sinsemellan, var också grupperade i en verksamhet, definierad som fysisk aktivitet. Som ett resultat fått vi nya representativa resultat av klassificeringen åter utförs genom aktiviteter med som tuggar (CH), fysisk aktivitet (PA) och stillasittande wink (SW), som visas i tabell 4. Resultatet visade att en hög prognos poäng med en genomsnitt F1 poäng på 91,4% av.
Figur 1: Schematiskt diagram över både vänster och höger kretsar. (A) Schematiskt diagram över vänster kretsen. Det innehåller ett batteri för att leverera ström till både vänster och höger krets. En 3,3 V spänningsregulator med bypass kondensator lämnades för att leverera en stabil driftspänning till systemet. Lastceller som presenteras här fördes in i båda sidor av de krets (B) Schematiskt diagram över rätt kretsen. Den innehåller en mikrokontroller unity (MCU) med Wi-Fi anlagen. En två-kanals multiplexor lämnades för att bearbeta två kraft signaler från båda sidor med en analog-till-digital-omvandlare (ADC) av MCU. En universal asynchronous receiver/transmitter (UART) koppling användes till flash MCU. Klicka här för att se en större version av denna siffra.
Figur 2: PCB konstverk av både vänster och höger kretsar. (A), ett konstverk av vänster PCB. Alla elektroniska komponenter visas som faktiska mätningar i mm. (B), ett konstverk av rätt PCB. Klicka här för att se en större version av denna siffra.
Figur 3: representativa resultat av PCB lödda med alla komponenter. (A) vänster krets modulen. Lastcell integrerades in i styrelsen. Den innehåller en 2-stiftskontakt för batteri och en 3-polig kontakt för att ansluta till rätt styrelsen. (B) modulen höger krets. Lastcell integrerades också in i styrelsen. Det innehåller en 4-stiftskontakt för blinkande läge av MCU, och en 3-polig kontakt för att ansluta till vänster krets. Klicka här för att se en större version av denna siffra.
Figur 4: en 3D modelldesign av ramen för glasögonen. (A) utformningen av huvudet bit. Övre bilden visar ett framifrån och nedre figuren visar en ovanifrån av huvudet lappa. Längden på huvudet lappa, LH, är en design parameter att täcka olika huvud storlek av försökspersoner. Vi 3D tryckt två versioner av huvudet lappar genom att differentiera det. Tjockleken på huvudet lappa, tH, definierades av heuristisk. Avståndet mellan ett gångjärn gemensamt och ett hål för en stöd bult, Lh, sattes från den mekaniska förstärkningsfaktor. (B) utformningen av templen. Övre bilden visar vänster templet, och den lägre siffran visar högra tinningen. PCB i figur 3 infördes slots och ett batteri var monterad på en batterihållare. Klicka här för att se en större version av denna siffra.
Figur 5: ett representativt resultat av thePCB-integrerad glasögon. PCB infogades öppningarna med bultar. Näsa kuddar och tips av templen täcktes av gummi band att lägga till friktion med hud. När glasen är utrustade, trycks lastcellerna med stöd bultar på båda sidor. Tätheten av glasen går att fininställa genom att lossa eller åtstramning stöd bultar. Klicka här för att se en större version av denna siffra.
Figur 6: Temporal signaler i en inspelning block av en användare för alla aktiviteter. Y-axeln representerar den uppmätta kraften, som var dras av dess median på blocket inspelning för en visualisering ändamål. De högsta amplituderna tugga verksamhet är större än de andra aktiviteterna. Vänster och höger signaler av wink aktivitet inverteras. Figuren visar ett exempel på den vänstra wink. En 2 s-stomme användes för att definiera en funktion vektor av hopping signalerna med 1 s intervall. Klicka här för att se en större version av denna siffra.
Figur 7: representativa resultat för att hitta den lokala maximal noggrannheten genom olika par (C, γ). (A) A kontur tomt kors-validerade exaktheter av all verksamhet som definieras i tabell 3. Varje axel ökar exponentiellt och spänna valdes heuristiskt. 80,4% lokala maximal noggrannhet inträffade vid (C γ) = (25, 20). (B) en kontur tomt kors-validerade exaktheter åter definierade aktiviteter i tabell 4. 92,3% maximal noggrannhet inträffade vid (C γ) = (25, 20), och var mycket exakt än resultatet av (A). Klicka här för att se en större version av denna siffra.
| Lol | Funktion beskrivning | Lol | Funktion beskrivning | ||
| 1 | Standardavvikelse L | 28 | Skenwness R | ||
| 2 | Standardavvikelse R | 29 | Kurtosis L | ||
| 3 | Variationskoefficient L | 30 | Kurtosis R | ||
| 4 | Variationskoefficient R | 31 | Autokorrelation funktion koefficienter L | ||
| 5 | Nolltullsats korsning L | 32 | Autokorrelation funktion koefficienter R | ||
| 6 | Nolltullsats korsning R | 33 | Signal energi L | ||
| 7 | 20: e percentilen L | 34 | Signal energi R | ||
| 8 | 20: e percentilen R | 35 | Logga signal energi L | ||
| 9 | 50: e percentilen L | 36 | Logga signal energi R | ||
| 10 | 50: e percentilen R | 37 | Entropi energi L | ||
| 11 | 80: e percentilen L | 38 | Entropi energi R | ||
| 12 | 80: e percentilen R | 39 | Peak-to-peak amplitud L | ||
| 13 | Interkvartilintervall L | 40 | Peak-to-peak amplitud R | ||
| 14 | Interkvartilintervall R | 41 | Antalet toppar L | ||
| 15 | Fyrkantig summan av 20: e percentilen L | 42 | Antalet toppar R | ||
| 16 | Fyrkantig summan av 20: e percentilen R | 43 | Menar tiden mellan toppar L | ||
| 17 | Fyrkantig summan av 50: e percentilen L | 44 | Menar tiden mellan toppar R | ||
| 18 | Fyrkantig summan av 50: e percentilen R | 45 | STD. tid mellan toppar L | ||
| 19 | Fyrkantig summan av 80: e percentilen L | 46 | STD. tid mellan toppar R | ||
| 20 | Fyrkantig summan av 80: e percentilen R | 47 | Förutsägelse baserat L | ||
| 21 | 1st bin binned distribution L | 48 | Förutsägelse förhållandet R | ||
| 22 | 1st bin binned distribution R | 49 | Harmonisk baserat L | ||
| 23 | 2nd bin binned distribution L | 50 | Harmoniska förhållandet R | ||
| 24 | 2nd bin binned distribution R | 51 | Grundfrekvens L | ||
| 25 | 3rd bin binned distribution L | 52 | Grundfrekvens R | ||
| 26 | 3rd bin binned distribution R | 53 | Korrelationskoefficienten för L och R | ||
| 27 | Skenwness L | 54 | Sigmal magnitud område L och R | ||
Tabell 1: utvinns statistiska funktioner av en temporal ram. Totalt 54 funktioner utvanns. Vänster och höger signalerna beräknades separat utom korrelation funktioner, 53 och 54.
| Lol | Funktion beskrivning | Lol | Funktion beskrivning | ||
| 1 | Spektral energi L | 16 | Spektral spridning R | ||
| 2 | Spektral energi R | 17 | Spektral entropi L | ||
| 3 | Spektral zon 1 energi L | 18 | Spektral entropi R | ||
| 4 | Spektral zon 1 energi R | 19 | Spektral entropi energi L | ||
| 5 | Spektral zon 2 energi L | 20 | Spektral entropi energi R | ||
| 6 | Spektral zon 2 energi R | 21 | Spektral flux L | ||
| 7 | Spektral zon 3 energi L | 22 | Spektral flux R | ||
| 8 | Spektral zon 3 energi R | 23 | Spektral rolloff L | ||
| 9 | Spektral zon 4 energi L | 24 | Spektral rolloff R | ||
| 10 | Spektral zon 4 energi R | 25 | Maximala spektrala crest L | ||
| 11 | Spektral zon 5 energi L | 26 | Maximala spektrala crest R | ||
| 12 | Spektral zon 5 energi R | 27 | Spektral snedheten L | ||
| 13 | Spektral centroiden L | 28 | Spektral snedheten R | ||
| 14 | Spektral centroiden R | 29 | Spektral toppighet L | ||
| 15 | Spektral spridning L | 30 | Spektral toppighet R | ||
Tabell 2: utvinns statistiska funktioner i en spektral ram. Sammanlagt 30 funktioner utvanns. Vänster och höger signalerna beräknades separat. Från funktionerna i tabell 1 och tabell 2består en funktion vektor av totalt 84 funktioner.
| Förutspådde verksamhet |
Faktiska verksamhet | Totalt | Precision | |||||
| en SR | b SC | c W | d CW | e ST | f SW | |||
| SR | 1222 | 18 | 79 | 6 | 168 | 75 | 1568 | 77,9% |
| SC | 10 | 1268 | 17 | 159 | 46 | 15 | 1515 | 83,7% |
| W | 55 | 19 | 1212 | 32 | 144 | 20 | 1482 | 81,8% |
| CW | 3 | 158 | 34 | 1327 | 28 | 12 | 1562 | 85,0% |
| ST | 192 | 75 | 185 | 19 | 1117 | 55 | 1643 | 68,0% |
| SW | 78 | 22 | 33 | 17 | 57 | 1383 | 1590 | 87,0% |
| Totalt | 1560 | 1560 | 1560 | 1560 | 1560 | 1560 | 9360 | |
| Minns | 78,3% | 81,3% | 77,7% | 85,1% | 71,6% | 88,7% | 80,4% | |
| F1 Poäng | 78,1% | 82,5% | 79,7% | 85,0% | 69,7% | 87,8% | ||
| Genomsnittliga F1 Poäng | 80,5% | |||||||
Tabell 3: Förvirring matris av alla aktiviteter när (C, γ) = (25, 20) i figur 7A. Denna matris visar alla prognos Resultat för alla aktiviteter: enSR: stillasittande resten, bSC: stillasittande tugga, cW: promenader, dCW: tugga medan promenader, eST: stillasittande talar, fSW: stillasittande wink.
| Förutspådde verksamhet |
Faktiska verksamhet | Totalt | Precision | ||
| en C | b PA | c SW | |||
| C | 2898 | 162 | 26 | 3086 | 93,9% |
| PA | 201 | 4404 | 200 | 4805 | 91,7% |
| SW | 21 | 114 | 1334 | 1469 | 90,8% |
| Totalt | 3120 | 4680 | 1560 | 9360 | |
| Minns | 92,9% | 94,1% | 85,5% | 92,3% | |
| F1 Poäng | 93,4% | 92,9% | 88,1% | ||
| Genomsnittliga F1 Poäng | 91,4% | ||||
Tabell 4: Förvirring matris av alla åter definierade aktiviteter när (C, γ) = (25, 20) i figur 7B. Denna matris visar alla prognos Resultat för alla åter definierade aktiviteter: enCH: tugga, bPA: fysisk aktivitet, cSW: stillasittande wink.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
I denna studie föreslog vi först design och tillverkningsprocessen för glasögon som känner av mönster av födointag och fysiska aktiviteter. Som denna studie främst fokuserat på dataanalys att skilja födointag från andra fysiska aktiviteter (såsom promenader och winking), systemet sensor och data förvärv krävs för genomförandet av rörlighet inspelning. Systemet ingår således sensorerna, MCU med trådlös kommunikation kapacitet och batteriet. Föreslagna protokollet föreskrivs en roman och praktiska sätt att mäta mönster av temporalis muskelaktivitet beror på födointag och blinkning på ett sätt som icke-kontakt: de verktyg och metoder för att lätt upptäcka födointag i vardagen utan några besvärliga utrustning beskrevs.
Det finns viktiga överväganden för förfarandet för att tillverka glasögonen. Templet delarna bör utformas för att integrera de PCB moduler tillverkas i steg 1.2 som visas i figur 4B och 4 c figur. Lastcell bör placeras så att den trycks av en stöd bult på en stödplatta av huvudet lappar när utrustad som illustreras i den översta vyn av gångjärn delen i figur 5. I steg 2,4 behöver graden av böjning av glasögon templet inte vara stränga, som krökningen syfte är att öka en formfaktor för att bättre passa glasen på motivets huvud. Var försiktig dock, eftersom överdriven böjning kommer att hindra templen från att röra temporalis muskeln, vilket skulle göra det omöjligt att samla stora mönster.
För att erhålla tillförlitliga uppgifter återspeglar olika huvudstorlekar och former av försökspersonerna, tillhandahölls två versioner av glasen av varierande längd huvud lappa och templen. Genom att utnyttja de stöd volt för att finjustera slitage-förmåga, kunde vi dessutom justera tätheten av glasen. Alltså data som samlas in via de olika Glasögon, ämnen, och bär-villkor kan återspegla intra - och inter - individual variationer och olika formfaktorer.
I studien användaren ämnet tog bort glasen i pausen, och bar dem igen när blocket inspelning startas om. Denna åtgärd förhindras data från overfitting till ett visst bär villkor eftersom det ändras de bär villkor (t.ex., vänster och höger balans, förspänning på lastcellerna, kontaktytan med huden, etc.) varje gång ämnet Re bar glasögon.
Enligt en tidigare studie av tugga frekvens, tugga aktiviteten främst varierade från 0,94 Hz (5: e percentilen) till 2,17 Hz (95: e percentilen)26. Således vi anger bildrutestorleken 2 s så att en ram innehåller flera tugga aktiviteter. Denna storlek passar också som innehåller en eller flera promenader cykler, som vanligtvis sträcker sig från 1.4 Hz till 2,5 Hz27. Vi har utfört vandrande verksamheten vid en hastighet på 4,5 km/h på ett löpband eftersom den normala gånghastighet varierar från 3.3 km/h till 6.5 km/h27,28. Storleken på hop i figur 6 bestämdes från inspelade wink data där försökspersonerna informerades att blinka 3-s mellanrum. Vi också filtrerade data med cutoff frekvens på 10 Hz, eftersom vi hittade från vår tidigare studie som signalerar över 10 Hz hade ingen betydande information tugga upptäckt22.
Eftersom systemet har två lastceller på båda sidor, är det möjligt att skilja mellan vänster och höger händelserna av tugga och blinkning, som visade sig i vår tidigare studie22. Syftet med denna studie var dock till skillnad från den tidigare studien, att påvisa att systemet effektivt kunde skilja födointag från de fysiska aktiviteterna. Om data är tillräckligt ackumuleras genom användaren studien, sedan ytterligare forskning på vänster och höger klassificering kan bedrivas, utnyttja korrelation funktioner i funktionen vector. Däremot, är det svårt att skilja mellan stillasittande aktivitet och promenader inom systemet. Ytterligare ändringar i systemet kan ge detaljerad klassificering av födointag, som att äta medan sitta och äta i farten, med en hög noggrannhet. Detta kan genomföras genom en sensor fusion teknik genom att lägga till en tröghetsbaserad måttenhet (IMU) system18. I så fall kan systemet spåra energiförbrukningen och energiintaget samtidigt. Vi anser att vårt förhållningssätt ger praktiska och potentiella sätt för detektion av födointag och fysiska aktiviteter.
Uppskattning av energiintaget är ett avgörande mål av forskning på kost övervakning, och exempelvis kan analyseras genom att klassificera vilken typ av mat, och sedan konvertera den till kalorier från fördefinierade kalori information. En nyligen genomförd studie föreslog en metod för att klassificera typer av livsmedel med mat bilder och djupt lärande algoritmer14. Det är dock svårt att skilja typerna av livsmedel med kraft-sensorer används i denna studie; tillägg av en bildsensor på framsidan av enheten kunde identifiera typerna av livsmedel genom bildbehandling och machine learning-tekniker och därmed klassificera typerna av livsmedel. Genom denna sensor fusion teknik med kraft och bild sensorer är potentialen i denna studie program mot allmänna kosttillskott övervakningstillämpningar.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Författarna har något att avslöja.
Acknowledgments
Detta arbete stöds av Envisible, Inc. Denna studie stöddes också av ett bidrag på koreanska hälsa teknik R & D projekt, ministeriet för hälsa & välfärd, Sydkorea (HI15C1027). Denna forskning stöddes också av den National Research Foundation of Korea (NRF-2016R1A1A1A05005348).
Materials
| Name | Company | Catalog Number | Comments |
| FSS1500NSB | Honeywell, USA | Load cell | |
| INA125U | Texas Instruments, USA | Amplifier | |
| ESP-07 | Shenzhen Anxinke Technology, China | MCU with Wi-Fi module | |
| 74LVC1G3157 | Nexperia, The Netherlands | Multiplexer | |
| MP701435P | Maxpower, China | LiPo battery | |
| U1V10F3 | Pololu, USA | Voltage regulator | |
| Ultimaker 2 | Ultimaker, The Netherlands | 3D printer | |
| ColorFabb XT-CF20 | ColorFabb, The Netherlands | Carbon fiber filament | |
| iPhone 6s Plus | Apple, USA | Data acquisition device | |
| Jelly Belly | Jelly Belly Candy Company, USA | Food texture for user study |
References
- Sharma, A. M., Padwal, R. Obesity is a sign-over-eating is a symptom: an aetiological framework for the assessment and management of obesity. Obes Rev. 11 (5), 362-370 (2010).
- Pi-Sunyer, F. X., et al. Clinical guidelines on the identification, evaluation, and treatment of overweight and obesity in adults. Am J Clin Nutr. 68 (4), 899-917 (1998).
- McCrory, P., Strauss, B., Wahlqvist, M. L. Energy balance, food intake and obesity. Exer Obes. , London. (1994).
- Albinali, F., Intille, S., Haskell, W., Rosenberger, M. Proceedings of the 12th ACM international conference on Ubiquitous computing. , ACM. 311-320 (2010).
- Bonomi, A., Westerterp, K. Advances in physical activity monitoring and lifestyle interventions in obesity: a review. Int J Obes. 36 (2), 167-177 (2012).
- Jung, S., Lee, J., Hyeon, T., Lee, M., Kim, D. H. Fabric-Based Integrated Energy Devices for Wearable Activity Monitors. Adv Mater. 26 (36), 6329-6334 (2014).
- Fulk, G. D., Sazonov, E. Using sensors to measure activity in people with stroke. Top Stroke Rehabil. 18 (6), 746-757 (2011).
- Makeyev, O., Lopez-Meyer, P., Schuckers, S., Besio, W., Sazonov, E. Automatic food intake detection based on swallowing sounds. Biomed Signal Process Control. 7 (6), 649-656 (2012).
- Päßler, S., Fischer, W. Food intake activity detection using an artificial neural network. Biomed Tech (Berl). , (2012).
- Passler, S., Fischer, W. -J. Food intake monitoring: Automated chew event detection in chewing sounds. IEEE J Biomed Health Inform. 18 (1), 278-289 (2014).
- Kadomura, A., et al. CHI'13 Extended Abstracts on Human Factors in Computing Systems. , ACM. 1551-1556 (2013).
- Fontana, J. M., Farooq, M., Sazonov, E. Automatic ingestion monitor: A novel wearable device for monitoring of ingestive behavior. IEEE Trans Biomed Eng. 61 (6), 1772-1779 (2014).
- Shen, Y., Salley, J., Muth, E., Hoover, A. Assessing the Accuracy of a Wrist Motion Tracking Method for Counting Bites across Demographic and Food Variables. IEEE J Biomed Health Inform. , (2016).
- Farooq, M., Sazonov, E. International Conference on Bioinformatics and Biomedical Engineering. , Springer. 464-472 (2017).
- Grigoriadis, A., Johansson, R. S., Trulsson, M. Temporal profile and amplitude of human masseter muscle activity is adapted to food properties during individual chewing cycles. J Oral Rehab. 41 (5), 367-373 (2014).
- Strini, P. J. S. A., Strini, P. J. S. A., de Souza Barbosa, T., Gavião, M. B. D. Assessment of thickness and function of masticatory and cervical muscles in adults with and without temporomandibular disorders. Arch Oral Biol. 58 (9), 1100-1108 (2013).
- Standring, S. Gray's anatomy: the anatomical basis of clinical practice. , Elsevier Health Sciences. (2015).
- Farooq, M., Sazonov, E. A novel wearable device for food intake and physical activity recognition. Sensors. 16 (7), 1067 (2016).
- Zhang, R., Amft, O. Proceedings of the 2016 ACM International Symposium on Wearable Computers. , ACM. 50-52 (2016).
- Farooq, M., Sazonov, E. Segmentation and Characterization of Chewing Bouts by Monitoring Temporalis Muscle Using Smart Glasses with Piezoelectric Sensor. IEEE J Biomed Health Inform. , (2016).
- Huang, Q., Wang, W., Zhang, Q. Your Glasses Know Your Diet: Dietary Monitoring using Electromyography Sensors. IEEE Internet of Things Journal. , (2017).
- Chung, J., et al. A glasses-type wearable device for monitoring the patterns of food intake and facial activity. Scientific Reports. 7, 41690 (2017).
- Cristianini, N., Shawe-Taylor, J. An introduction to support Vector Machines: and other kernel-based learning methods. , Cambridge University Press Cambridge. (2000).
- Giannakopoulos, T., Pikrakis, A. Introduction to Audio Analysis: A MATLAB Approach. , Academic Press. (2014).
- Chang, C. -C., Lin, C. -J. LIBSVM: a library for support vector machines. ACM Trans Intell Syst Technol. 2 (3), 27 (2011).
- Po, J., et al. Time-frequency analysis of chewing activity in the natural environment. J Dent Res. 90 (10), 1206-1210 (2011).
- Ji, T. Frequency and velocity of people walking. Struct Eng. 84 (3), 36-40 (2005).
- Knoblauch, R., Pietrucha, M., Nitzburg, M. Field studies of pedestrian walking speed and start-up time. Transp Res Red. 1538, 27-38 (1996).
