Waiting
Login processing...

Trial ends in Request Full Access Tell Your Colleague About Jove
JoVE Journal Engineering
Click here for the English version

Engineering

Utvärdering av kommersiell-Off-The-Shelf handled Wearables att uppskatta belastningen på studenter

Published: June 16, 2018 doi: 10.3791/57590
Automatic Translation
1, 1, 1, 1
1Department of Telematics Engineering, University of Vigo, Campus Lagoas-Marcosende

Summary

Ett protokoll för att utvärdera lösningar baserade på kommersiell-off-the-shelf (COTS) handled wearables att skatta stress hos elever föreslås. Protokollet genomförs i två faser, en inledande laboratoriebaserade induktion stresstest och en övervakning scenen som äger rum i klassrummet medan studenten utför akademisk verksamhet.

Abstract

Wearable kommersiell-off-the-shelf (COTS) enheter har blivit populär under de senaste åren att övervaka sportaktiviteter, främst bland ungdomar. Enheterna omfattar sensorer för att samla in uppgifter om fysiologiska signaler såsom hjärtfrekvens, hudens temperatur eller galvanic skin response. Genom att tillämpa data analytics tekniker till dessa typer av signaler, är det möjligt att erhålla uppskattningar av högre aspekter av mänskligt beteende. I litteraturen finns det flera arbeten som beskriver användning av fysiologiska data samlas in med kliniska enheter för att få information om sömnmönster eller stress. Det är dock fortfarande en öppen fråga huruvida data fångas med BARNSÄNGAR handled wearables är tillräcklig att karakterisera elevernas psykiska tillstånd i utbildningsmiljöer. Detta paper diskuterar ett protokoll för att utvärdera stress uppskattning från data som erhållits med BARNSÄNGAR handled wearables. Protokollet genomförs i två faser. Den första etappen består av ett kontrollerat laboratorium experiment, där en mobil app används för att framkalla olika stressnivåer i en elev med hjälp av en avkopplande video, en Stroop färg och ordet test, en Paced Auditory Serial dessutom test och ett hyperventilation test. Den andra fasen utförs i klassrummet, där stress analyseras samtidigt utför flera akademiska aktiviteter, nämligen gå till teoretiska föreläsningar, gör övningar och andra enskilda verksamheter och tar kort prov och tentor. I båda fallen betraktas både kvantitativa data som erhållits från BARNSÄNGAR handled wearables och kvalitativa data som samlas in genom enkäter. Detta protokoll innebär en enkel och konsekvent metod med en app för induktion av stress och enkäter, som kräver ett begränsat deltagande av stödpersonal.

Introduction

State-of-the-art bärbar teknik är allmänt tillgängliga, och deras ansökan miljöer växande ständigt. På marknaden kan vi hitta många olika enheter, bland vilka BARNSÄNGAR handled wearables1, såsom smarta klockor och smart band, är populära bland idrottare som en personlig fysisk kondition övervakning verktyg2. Genom att tillämpa analytiska tekniker för data, kan data som erhållits med hjälp av dessa enheter bearbetas ge indikatorer såsom allmänna aggregationstillstånd, sova kvalitet eller återvinning faktor. Påvisade tillämpligheten i detta område väckte intresse inom den akademiska världen om deras möjliga tillämpning på andra områden, särskilt i den hälsa domän3,4, även om de strikta kraven av kliniska prövningar begränsa deras införande. Men i en mindre krävande sammanhang såsom utbildning, kan vi hitta i litteraturen senaste undersökningarna inbegriper användning av olika typer av bärbara enheter, båda relaterade till undervisning verksamhet5,6 och skattning av vissa egenskaper hos studenten såsom sömn mönster7, eller analys av elevernas engagemang i olika pedagogiska aktiviteter8.

I vårt fall fokuserar vi på analysera BARNSÄNGAR handled bärbara enheter som medel för att samla in fysiologiska signaler som så småningom skulle underlätta stress uppskattning, som i sin tur är en viktig aspekt i utbildningssammanhang. Stress har en relevant påverkan på utvecklingen av akademisk verksamhet och övergripande studenternas prestationer. Till exempel stressnivåer är direkt relaterade till uppkomsten av utbrändhet syndrom studenter9,10,11, och höga stressnivåer är särskilt relevant under året förstaårselev där avhopp priser mellan 20% och 30%12,13 är vanliga. Att upptäcka och kontrollera stress indikatorer kan dramatiskt förbättra studieresultat.

Användning av BARNSÄNGAR handled bärbara enheter är motiverat eftersom de har sensorer som ger information om fysiologiska signaler som har använts i stor utsträckning av det vetenskapliga samfundet i stress bedömning och detektion. Några av signalerna som avses i litteraturen används för detta ändamål inkluderar puls (HR)14, puls varaibility15, hud temperatur (ST)16, andning14och galvanic skin response (GSR)17. Dessa signaler kan samlas in av BARNSÄNGAR handled wearables. Dock erbjuder de inte samma prestanda som kliniska enheter. Det finns skillnader relaterade till riktigheten av sensorer bland enheter18,19,20,21. Dock har tidigare verk18,19,20,21 visat att BARNSÄNGAR handled kroppsburna sensorer har fel mönster liknar specialiserade enheter i ett scenario med långsam rörelse.

Syftet med denna uppsats är att införa ett protokoll för att utvärdera olika lösningar för stress uppskattning i studenter använder COTS handled wearables. I området i närheten finns det många arrangemang som kan föreslås att uppskatta stressnivåer, inbegriper användning av olika handled bärbara enheter och data analytics tekniker, och mer specifikt maskin algoritmer. BABYSÄNGAR handled wearables kännetecknas av deras höga fragmentering, heterogenitet och driftskompatibilitet problem22. Tre företag har en sammanlagd marknadsandel på nästan 50%23, men många andra företag konto för mycket mindre enskilda marknaden aktier, med en aggregerad andel över 50%. Däremot, när det gäller heterogenitet, inte alla wearables har samma antal och samma typ av sensorer, med accelerometrar och h sensorer är den vanligaste, och ST: s och GSRS som bara förekommer i 5% av enheterna studeras. När det gäller driftskompatibilitet finns det olika operativsystem och data insamling metoder som inte är kompatibla med varandra. När det gäller de maskininlärning tekniker som kan användas för att uppskatta stress från de insamlade genom en anordning som handleden, finns det många alternativ tillgängliga24, inklusive beslutsträd, neurala nätverk, närmaste granne metoder, Naïve Bayes klassificerare, etc. att summera, det finns en stor variation av lösningar som kan utvecklas för stress uppskattning, så det är avgörande att utforma en utvärdering protokoll att underlätta jämförelsen mellan olika preliminärt alternativ så småningom välja den mest lämplig i ett givet sammanhang.

För genomförandet av protokollet finns flera verktyg behövs (figur 1). Först behövs en BARNSÄNGAR handled bärbar enhet att hämta fysiologiska data. Denna bärbara enheten bör ha minst HR övervakning funktioner, men ytterligare sensorer är önskvärt (t.ex. accelerometer, ST, GSR sensorer). För det andra krävs en smartphone som kör appen PhysiologicalSignal att samla in data fångas av den bärbara enheten. Tredje, en tablett som kör appen StressTest behövs för att köra stress induktion övningar (smartphone kan vara används istället tabletten för detta ändamål). Fjärde, vissa enkäter att samla in kvalitativ data på studenternas uppfattning om stress. För det femte, en server med en Web service25 att utföra datainsamling och förbehandling och en-webbinstrumentpanelen för att visa utvecklingen av signalerna. Och slutligen en data analytics paketet26 att bearbeta data samlas in om elever som använder maskinen inlärningstekniker.

Utvärdering protokollet är indelad i två faser. Den första en, utförs fasen laboratoriet i ett bekvämt rum, där olika stressnivåer (dvs”slappna av”, ”koncentrerad stress” och ”stress”) induceras ett mål ämne (student) genom flera vanliga stress-inducerande uppgifter. Den andra delen sker i klassrummet, och det inbegriper övervakning studenten under prestationen av flera akademiska aktiviteter: teoretiska förklaringar, enskilda aktiviteter, korta tester, tentor, etc. under genomförandet av Detta protokoll, ämnet är fysiologiska signaler fångas med hjälp av en handled. Slutligen, dessa signaler bearbetas av maskininlärning algoritmer för att ge uppskattningar på stressnivån.

Under fasen laboratorium används StressTest appen att framkalla olika stressnivåer. Denna app guidar föremål till avslutningen av fyra olika uppgifter. Den första uppgiften är att skapa en baslinje för stressanalys. I den här uppgiften visualiserar studenten en 4-minuters avkopplande video som visas i olika bilder av en solnedgång på en brygga. Den andra uppgiften är en anpassning av de Stroop färg och ordet Test27 (SCWT). Varannan sekund, måste ämnet välja den färg som är namnet på en färg målad (röd, grön, orange, blå och lila). Flera knappar längst ned på skärmen som innehåller den första bokstaven i varje färg finns för ämnet att välja målad färg varje gång. Till exempel, skildrar den knapp som refererar till blå bokstaven B. I vårt fall, är detta test uppdelad i tre olika nivåer av svårigheter. För den första nivån (SCWT1) visas färgade ”ord av färger” i samma ordning som knapparna, så färg och namn matchar direkt. Denna nivå tas som baslinje, eftersom det inte innebär några svårigheter och föremål ska bara trycka på knapparna ordentligt, alltid i samma ordning. För den andra nivån (SCWT2), färgade ”ord av färger” visas slumpmässigt, men överensstämmelsen mellan namn och färg bibehålls. Varje gång ämnet misslyckas en ljudsignal avges, och om två fel, den rätta färgen poängen kommer att återställas. För den sista och svåraste nivån (SCWT3) matchar namn och färg inte. På detta sätt ska denna nivå vara mer komplexa och stressande för ämnet. Den tredje uppgiften består på Paced Auditory Serial tillägg test (PASAT)28, som mäter hur studenten upplever en koncentration test. En sekvens av siffror i följd spelas högt under denna uppgift, och studeranden måste lägga till de två sista siffror och skriv resultatet i den medföljande rutan på skärmen innan du lyssnar på nästa nummer. I den här uppgiften om ämnet gör ett misstag, en oroande händelse inträffar för att generera stress (två nummer ljud samtidigt eller en lång period av tystnad i underhålls). I det här fallet om tre fel begås, kommer Summa kontot att återställas. Den fjärde uppgiften består hyperventilation verksamhet att framkalla samma variationen i de fysiologiska signaler som skulle framkalla en stressande situation17. I slutet av varje uppgift och nivå har ämnet att ange nivån av upplevd stress, använder själva programmet, enligt en 5-värde Likert-skala.

Under fasen klassrummet studenter genomföra sin ordinarie akademiska verksamhet tillsammans med resten av sina klasskamrater. Protokollet fokuserar på stressnivån som inträffar under klassrummet-specifika aktiviteter. I slutet av föreläsningen avslutas ett kort frågeformulär (bilaga 1) med att studenten ska ange den upplevda nivån av stress i många aktiviteter enligt en 5-värde skala.

Subscription Required. Please recommend JoVE to your librarian.

Protocol

Alla metoder som beskrivs nedan har godkänts av den regionala regeringen på Galiciens kommittén för forskningsetik i Pontevedra-Vigo-Ourense (reg. kod 2017/336). Protokollet genomfördes för första årets studerande vid den School of Telecommunication Engineering - universitet i Vigo, både i ett laboratorium som bekväma rum och i flera föreläsningar och övningssessioner naturligtvis en kandidatexamen på datorarkitekturer.

1. Förbered enheterna

  1. Anslut enhetens smartphone och surfplatta till en stabil internetuppkoppling.
  2. Slå på Bluetooth-kommunikation i smartphone.
  3. I smartphone, söka i motsvarande officiella AppStore programmet wearable handled. Hämta och installera den.
  4. Sök efter appen PhysiologicalSignals att fånga fysiologiska signaler i din smartphone. Hämta och installera den.
    Obs: För närvarande är appen en betaversion och tillgång kan tillhandahållas på begäran.
  5. Sök efter appen StressTest för att användas i forskning laboratorieförsök i tabletten. Hämta och installera den.
    Obs: För närvarande är appen en betaversion och tillgång kan tillhandahållas på begäran.
  6. Slå på BARNSÄNGAR handled bärbara enheten och placera bärbara.
  7. I smartphone, öppna officiella BARNSÄNGAR handled bärbara programmet.
    Obs: Appen fortsätter att synkronisera bärbara enheten med din smartphone. I vissa enheter krävs en e-postadress.
  8. Öppna appen PhysiologicalSignals i din smartphone.
    1. Acceptera det vid underrättats av en sensor åtkomstbegäran.
    2. Kontrollera enheten. Vänta tills appen PhysiologicalSignals att visa ordet Weared i grönt.
      Obs: Detta indikerar att den bärbara enheten har upptäckts och därför överföring av information från sensorerna till din smartphone är aktiverad. Om detta meddelande inte visas upprepa från steg 1,6.

2. laboratorium fas

  1. Förbereda laboratoriemiljö. Välj en bekväm och icke-störande rum utan störande buller och med en behaglig temperatur (mellan 22 ° C och 26 ° C).
  2. Slå på handleden bärbara enheten, placera den runt subject´s icke-dominanta handleden och placera hörlurarna på huvudet av studenten. Passa kroppsburna tätt men bekvämt runt handleden.
  3. Anslut smartphone och surfplatta till en stabil internet-anslutning och kontrollera att Bluetooth-anslutningen är aktiv.
  4. I smartphone, starta appen PhysiologicalSignals.
    1. Vänta tills appen Visa ordet Weared i grönt.
    2. Välj alternativet Change User i menyn vänster konfiguration och ger ID för föremål som kommer att slutföra testerna och klicka på Spara.
  5. I en bärbar dator, tillgång till instrumentpanelen och ange test administratörens ID och lösenord.
    Obs: För närvarande för privata och säkerhetsfrågor, tillgång till instrumentpanelen är endast tillgängliga på begäran.
    1. Välj ämne ID och motivets stress fliken.
    2. Kontrollera den fysiologiska signaler utvecklingen och vänta för den bärbara enheten att nå termisk stabilitet innan experimentet.
      Obs: Termisk stabilitet är identifierad som en platå i grafen.
  6. I tabletten, starta programmet StressTest.
    1. Förklara motivet de fyra laboratorium uppgifterna. Visa några av de skärmar och åtgärder som ska utföras under var och en av aktiviteterna.
      Obs: Detta är mycket viktigt, eftersom ämnet inte bör känna dig stressad eller avslappnad i enlighet med de utförda aktiviteterna, och rädsla eller oro för vad som ska hända.
    2. Tala om den studerande inte för att vila armarna på bordet och att använda handen där den bärbara enheten är placerad för att utföra aktiviteter.
    3. Ange samma användarnamn som i steg 2.4.2 och klicka på pilen.
  7. Starta video uppgiften och ge full kontroll till studenten.
    1. Observera att uppgiften utförs utan incidenter.
    2. När uppgiften är klar, kontrollera att ämnet ger den upplevda stressen.
  8. Starta aktiviteten Stroop färg (SCWT) efter varandra för nivå 1, 2 och 3.
    1. För varje nivå, iaktta att underaktiviteten utförs utan incidenter.
    2. När varje underaktivitet är klar, kontrollera att ämnet ger den upplevda stressen.
    3. Endast för nivå 3 och endast om ämnet inte löser det efter 4 minuter, avsluta uppgiften genom att trycka på pilen längst upp på skärmen.
  9. Starta testet Paced Auditory Serial tillägg (PASAT).
    1. Observera att uppgiften utförs utan incidenter.
    2. Om ämnet inte löser PASAT testet efter 4 minuter, avsluta uppgiften genom att trycka på pilen längst upp på skärmen.
    3. När uppgiften är klar, kontrollera att ämnet ger den upplevda stressen.
  10. Starta testet Hyperventilation.
    1. Följa utvecklingen av HR med hjälp av instrumentpanelen. Om fysiologiska signaler inte förändras avsevärt, be motivet för att öka inspirationen och utgångsdatum gradvis.
    2. I fallet känns ämnet yrsel eller obekväm stoppa denna uppgift. I alla fall, slutföra uppgiften efter fyra minuter.
    3. När uppgiften är klar, kontrollera att ämnet ger den upplevda stressen.

3. fasen klassrummet

  1. Slå på handleden bärbara enheten och placera bärbara runt subject´s icke-dominanta handleden. Passa kroppsburna tätt men bekvämt runt handleden.
  2. Anslut din smartphone till en stabil internet-anslutning och kontrollera Bluetooth-anslutningen är aktiv.
  3. I smartphone, starta appen PhysiologicalSignals.
    1. Vänta tills appen Visa ordet Weared i grönt.
    2. Välj i konfigurationsmenyn alternativet Ändra användare , ge ID för föremål som kommer att slutföra testerna och klicka på Spara.
  4. I en bärbar dator, tillgång till instrumentpanelen och ange test administratörens ID och lösenord.
    1. Välj ämne ID och motivets stress fliken.
    2. Kontrollera utvecklingen av fysiologiska signaler.
  5. Ta anteckningar om alla relevanta händelser som sker i klassrummet i förhållande till elev-lärare interaktion.
    Obs: Relevant information och grundläggande händelser kommer att användas för att märka fysiologiska prover efteråt. Exempel händelser är en fråga från läraren till studenten eller en teoretisk förklaring initieras.
  6. I slutet av föreläsningen, be motivet att fylla i enkäten om deras nivå av stress vid bestämda tidpunkter under sessionen, enligt en 5-nivå skala.

4. dataanalys

  1. I en bärbar dator, tillgång till instrumentpanelen och ange test administratörens ID och lösenord.
    1. Välj ämne ID och motivets stress fliken.
    2. Välj dag av klassrummet experiment.
  2. Märk proverna i ämnet genom att identifiera aktiviteter och upplevd stressnivåer.
    1. Identifiera föreläsa-hyr rum aktiviteter och deras varaktighet enligt de starta- och tiderna och deras typer.
    2. För varje aktivitet, Välj en upplevd stressnivå.
  3. För varje ämne och varje session, Hämta filen med märkta prover.
    Obs: En semikolon-separerade-värden (CSV) fil skapas för varje elev, varje rad som återspeglar värdena av fysiologiska signaler med sin standardavvikelse, lutning och diff, aktivitetstyp, activity based stress (dvs, det stress i samband som standard till aktivitet) och föremål uppfattas stress.
  4. Starta data analytics-paketet.
    1. Välj en uppsättning klassificerare (t.ex., SVM, C4.5, k-NN, Random Forest, Naïve Bayes och noll R) och importera CSV-filen för alla studenter för varje session.
    2. Utbilda och utvärdera klassificerare med 10-faldig cross-validering-tekniken.
      Obs: Beroende på analyser, aktivitetstyp, activity based stress eller stress uppfattas, skall väljas som beroende variabel för analys.
    3. Slutligen, kolla resultaten för noggrannhet och fel priser.

Subscription Required. Please recommend JoVE to your librarian.

Representative Results

Protokollet diskuterades var omsätta i praktiken i en datorarkitekturer kurs under det första året av den telekommunikation ingenjörsexamen på universitet i Vigo. Denna kurs har mer än 200 studenter som är organiserade i 10 arbetsgrupper. För att genomföra detta experiment, inbjöds studenter från fyra av grupperna att registrera i början av läsåret. Projektet väckte stort intresse bland eleverna, och cirka 30 elever frivilligt att delta i studien. Från dem, valdes 12 elever slumpmässigt ut för deltagande.

BABYSÄNGAR handled bärbara enheten valts för våra experiment har HR, ST, GSR och accelerometer sensorer. Valet av denna wearable baserades på dess mängd sensorer och tillhandahållande av realtidsdata utfodring. Tekniska villkor i vilken sensor data samlas beaktades också. Datafångst utförs vid vissa frekvenser, allmänt som införts av driften av sensorer, men också på grund av enhetens energibesparande egenskaper. När det gäller den valda enheten samplades HR varje sekund (1 Hz). Accelerometern erbjuds 62 Hz, 31 Hz och 8 Hz som samplingsfrekvenser, som 8 Hz valdes eftersom det erbjuder tillräckligt granularitet för rörelse capture med rimliga energibehov jämfört med de andra frekvenserna. GSR kan avsmakas på 0,2 eller 5 Hz. I det här fallet valde vi för att samla GSR data när varje 5 understöder. När det gäller accelerometern förutsatt denna frekvens tillräckligt granularitet samtidigt energibehov till ett minimum. Slutligen, ST samplas på samma frekvens som HR (dvs, 1 Hz). Varje sekund, inklusive HR och ST provet, värdet maximal acceleration och det sista värdet för GSR insamlade överförs data samlas in av enheten PhysiologicalSignals-appen i din smartphone. För att minska HR buller, gäller servern mottagna data ett FIR-filter vanligen används i realtidsapplikationer29 och vid filtrering av EKG-signaler30, med ett 15-prov fönster.

Information som samlas in under laboratorium och klassrumspass lagras i databasen servern. Denna information ska laddas ned för att bearbetas med en data analytics paket. Uppsättningen genererade datafiler innehåller rå signaler data och variabler som härrör från dessa signaler. Mer specifikt för varje råa fysiologiska signalen (HR, ST, GSR och accelerometer), dess standardavvikelse (st), backen (sl) och skillnaden mellan nuvärde och extrema värdet i sist registreras 30 sekunder.

Fasen laboratorium i protokollet genomfördes i ett bekvämt rum för telematiktjänster Engineering avdelningen som har lämpliga villkor för experimentet. Figur 2 visar utvecklingen av HR, GSR och ST värden som samlats in under en av sessionerna för en faktisk student. Som kan ses i figuren, uppstå betydande variationer i de fysiologiska signalerna som studenten utför alla uppgifter (video, STC1, STC2, STC3, PASAT och Hyperventilation) som ingår i experimentet. En relativt hög initialvärde HR kan observeras, troligen på grund av stress induceras när inför denna uppgift för första gången samtidigt som övervakas. Den snabba tillväxten av ST under testet hyperventilation är också anmärkningsvärt.

Också observerats under laboratorieförsök var de anmärkningsvärda variationerna i de fysiologiska signalerna vid specifika experimentella stunder, ingen materia som dessa perioder inte var alltid uppfattas som stressande av målet studenten. Detta är på grund av att upplevd stress är en subjektiv variabel, och deltagande studenterna inte helt överens i ett gemensamt begrepp för stress. Under fasen laboratorium avsikten var att generera korta perioder av hög stress. Dessa korta perioder av stress definieras ibland som frustration, men inte som stress, vilket leder deltagande studenterna skulle svara annorlunda på vad deras fysiologiska signaler uttryckt. Denna effekt kan visualiseras i diagrammen i figur 3. Till exempel i intervallet mellan 12:15 och 12:20 (slutförandet av det sista provet av Stroop färg och ordet testa) är stark GSR variationerna ett tydligt symptom på potentiella stress. Dessa starka variationer förekommer också mellan 12:25 och i slutet av testet (Hyperventilation test), men vid båda tillfällena användaren påstod sig känna en likaså låg stressnivå.

Situationen som diskuterats ovan betonar subjektiva karaktär av stress utvärdering i en så kort tidsperiod. Som en följd från kandidater för beroende variabler i datamängder (dvs, aktivitetstyp, activity based stress eller ämne-upplevd stress) valde vi activity based stress. Denna variabel definierar stressnivåer enligt svårighetsgraden av uppgiften tas upp och inte på de svar som tillhandahålls av eleverna om deras upplevda stressnivåer i slutet av varje uppgift. Sätt video vaktande skulle vara Taggade som ”relax” medan SCWT3 och PASAT skulle märkas som ”koncentration” och Hyperventilation testet som ”stress”. Observera att prover från SCWT1 och SCWT2 förkastades i vårt fall eftersom i en tidigare pilot forskning observerades att, i genomsnitt, SCWT1 och SCWT2 är aktiviteter som visar en övergång mellan en avslappnad känsla (nått under video visualisering) och stressande en. Av dessa skäl, vi kasserad från vår analys signalerna från dessa 2 aktiviteter och vi ingår bara de från video visualisering, SCWT3, PASAT- och Hyperventilation. HR, ST och GSR variationer bland dessa stater (slappna av, koncentration, stress) sammanfattas i figur 4. Denna figur illustrerar de fysiologiska signalen kvartiler för tre stressnivån i de 12 eleverna som är involverad i experimentet. Generellt öka HR och GSR signaler gradvis som studenten inför uppgifter i ökande svårighetsgrad. Också, i alla fall temperaturnivå påverkas. Dock i vissa fall ökar för avslappnad händelser och minskar i stressiga situationer, medan i andra fall uppstår det bara den motsatta beroende på personen.

För att kunna analysera korrelationen observerades visuellt i variationen av de fysiologiska signalerna, tillämpades maskin inlärningstekniker över bearbetade CSV-filer. För att undvika initiala tillfälliga variationer för varje uppgift och nivå, anses endast de sista 3 minuterna av varje aktivitet för att undvika icke-representativa prover. I synnerhet flera klassificering algoritmer, särskilt SVM, C4.5, k-NN, Random Forest, NaiveBayes och noll, har utbildats för att upptäcka stressituationer från de insamlade fysiologiska signalerna. Utbildad klassificerare blev hög noggrannhet, låg medelabsolutfel priser och hög Cohens Kappa index nivå stress detektorer, som det visas i tabell 1. För alla 12 patienter och algoritmer (utom noll), stress upptäckt i över 90% noggrannhet, medelabsolutfel värde är nära 0 och Cohens kappa index ligger nära 1.

Fasen klassrummet definieras i protokollet ägde rum under faktiska kurssessioner i föreläsningssalarna av School of Telecommunications Engineering. Flera akademiska verksamheten ansågs för denna studie: teoretiska föreläsningar; godtyckligt frågorna från läraren till eleverna om någon aspekt av kursen; tvivel eller frågor till läraren från studenter; korta tester; regelbundna tentor/finaler bestående av insamling av problem ska lösas av studenten i 50-70 minuter.

Visualisering av utvecklingen av fysiologiska signaler i detta fall visar att variationerna är subtilare, skillnaderna i signalen värden för olika aktiviteter är mindre än under fasen laboratorium. De mest relevanta variationerna observerades under klassrummet sessioner som en vanlig föreläsning uppstår efter en pop quiz är klar. I detta fall lida en eller flera av de fysiologiska signalerna betydande skillnader, som illustreras i figur 5. Denna siffra skildrar signalerna fångas för en student som inför ett kort test (första delen av diagram). Under provningen skall vore den mest relevanta variabeln HR. Det kan noteras att studenten har en högre puls jämfört med teoretisk föreläsning tid. På samma sätt hålls hudens temperatur relativt lågt jämfört med teoretisk föreläsning tid, när det höjer ca 1 ° C.

För att analysera detta i ett numeriskt sätt, korrelationen mellan variationerna i signalerna och de aktiviteter som tas upp av eleverna, tillämpades maskin inlärningstekniker analogt till fasen laboratorium. Resultaten för de kombinerade pop frågesport och föreläsning sessionerna visar en genomsnittlig klassificering noggrannhet på 97,62% (± 3,82) med hjälp av C4.5. Observera att för analys av dessa sessioner hud temperatur förkastades på grund av eventuella fördomar i slutresultatet. Under övergångsperioden mellan popquizet och följande föreläsning studenter lämna klassrummet för cirka 20 minuter, påverkar med dramatiskt temperaturvärden.

En omfattande formell analys av de insamlade klassrumspass pågår fortfarande. Detta är en komplicerad process där flera utmanande situationer behandlas. Första, abrupta kortvariga variationer i de fysiologiska signalerna observeras ofta med ingen stress genererar händelse. I de flesta fall registreras dessa perioder varar i mindre än en minut utan något betydande av forskaren. En annan incidens observerats är ostadigheten av GSR värden när bärbara inte är väl justerade eller om plötsliga rörelser uppstå. Båda situationerna resultera i en mycket låg GSR värden nära 0 µS. På liknande sätt, även om mycket mindre vanligt, finns det felaktiga ST värden, nära omgivningstemperaturen, när bärbara är för stor för handleden av användaren och därför bärs löst. För att eliminera analys-fel som härrör från dessa situationer, ignoreras drabbade variabler. Observera att alla de signaler som övervakas kan vara kandidater för att upptäcka stressituationer och olika klassificerare kan utbildas med hjälp av olika kombinationer av signaler, men avvikande värden skulle äventyra klassificering oavsett den klassificerare som valts.

Figure 1
Figur 1 . Verktyg som används i det föreslagna protokollet. Denna siffra representerar alla element som ingår i protokollet och deras interaktioner. Klicka här för att se en större version av denna siffra.

Figure 2
Figur 2 . Betona variation i en laboration. Denna figur visar de olika delarna där protokollet laboratorium är uppdelat. Varje del presenterar en tydlig variation i de fysiologiska signalerna. Klicka här för att se en större version av denna siffra.

Figure 3
Figur 3 . Betona variation uppfattas för en elev i en laboration. Denna figur visar skillnaderna mellan de starka variationerna av de fysiologiska signalerna av en student under en laboration och deras svar på stress frågesporten. Klicka här för att se en större version av denna siffra.

Figure 4
Figur 4 . Fysiologiska signalen percentiler för 12 studenter som deltar i en laboration. Denna siffra representerar en percentil Sammanfattning för varje ämne. Stark fysiologisk signal variationerna mellan varje stressituation kan visualiseras. Klicka här för att se en större version av denna siffra.

Figure 5
Figur 5 . HR, ST och GSR variationer under klassrumsaktiviteter. Fysiologiska signaler variation under ett kort test (vänster). Fysiologiska signaler variation under en teoretisk föreläsning (höger). Klicka här för att se en större version av denna siffra.

SVM C45 KNN RandomForest NaiveBayes Noll
StudentID Noggrannhet Fel Kappa Noggrannhet Fel Kappa Noggrannhet Fel Kappa Noggrannhet Fel Kappa Noggrannhet Fel Kappa Noggrannhet Fel Kappa
100 99.83 0,22 1 99,75 0 1 100 0 1 100 0 1 98.94 0,01 0,98 43,12 0,43 0
101 98.77 0,22 0,98 99,76 0 1 99.81 0 1 99,93 0,01 1 98.16 0,01 0,97 48,7 0,42 0
102 99.56 0,22 0,99 99.83 0 1 99.77 0 1 99,91 0,01 1 93,5 0,05 0,89 52.41 0,41 0
103 99.71 0,22 1 99,94 0 1 99,97 0 1 99,97 0,01 1 97.24 0,02 0,96 49,64 0,42 0
104 99,82 0,22 1 99.33 0,01 0,99 100 0 1 99,85 0,01 1 97.09 0,02 0,96 42.05 0,44 0
105 100 0,22 1 100 0 1 99.84 0 1 100 0 1 99.83 0 1 43,8 0,43 0
106 98.09 0,23 0,97 99,37 0,01 0,99 99.69 0 1 99,85 0,01 1 96.52 0,02 0,95 47.51 0,42 0
107 100 0,22 1 100 0 1 99,85 0 1 100 0 1 99,96 0 1 50.44 0,42 0
108 99.46 0,22 0,99 99,76 0 1 99,76 0 1 100 0 1 98.55 0,01 0,97 59.76 0,37 0
109 99.54 0,22 0,99 100 0 1 99.78 0 1 99,96 0 1 99.78 0 1 47.34 0,42 0
110 99,86 0,22 1 99,94 0 1 99.72 0 1 99,9 0,01 1 96,4 0,02 0,94 50.35 0,42 0
111 99,97 0,22 1 99.84 0 1 100 0 1 100 0 1 99,35 0 0,99 43,7 0,43 0
Genomsnitt 99.55 0,22 0,99 99.79 0.00 1,00 99,85 0.00 1,00 99,95 0,01 1,00 97.94 0,01 0,97 48.24 0,42 0.00
Standardavvikelse 0,55 0.00 0,01 0,22 0.00 0.00 0,11 0.00 0.00 0,06 0,01 0.00 1,82 0,01 0,03 4.72 0,02 0.00

Tabell 1 . Noggrannhet, menar absolut fel, och Cohen's Kappa indexvärden erhålls för SVM, C4.5, k-NN, Random Forest, NaiveBayes och noll maskininlärning klassificerare som använder data från den 12 studenter som deltar i laboratoriet experimentet.

Subscription Required. Please recommend JoVE to your librarian.

Discussion

BABYSÄNGAR bärbara enheter är bland de mest populära elektroniska konsumentprodukter finns idag. Dessa enheter används vanligtvis för att övervaka fysiska aktiviteter, men deras kapacitet och prestanda kan vara av stort intresse i andra områden. I detta papper diskuteras ett protokoll för att utvärdera användningen av BARNSÄNGAR bärbara enheter för att uppskatta stress i lärande miljöer. Definitionen av sådant protokoll är särskilt relevant för att kunna analysera olika lösningar som inbegriper wearables och maskininlärning algoritmer. Protokollet är avsett att användas i utbildningssammanhang, där validering av stress upptäckt förfaranden och deras eventuella införande kan ge significate fördelar. Till exempel användning av bärbara enheter kan bidra till att minska de höga nivåerna av stress är associerad till den så kallade utbrändhet syndrom9,10,11, och följaktligen dropout Betygsätt universitet12 , 13, samtidigt förbättra studieresultat.

En kritisk aspekt att beakta är Bluetooth kopplingen mellan bärbara och smartphone. Denna trådlösa anslutning mellan båda enheterna vara bruten under provet, så det är nödvändigt att ägna särskild uppmärksamhet åt det genom visualisering av uppgifterna som samlats i instrumentpanelen. Även om återhämtningen sker automatiskt efter en kort tidsperiod (dvs., ett intervall mellan 1 och 10 minuter), kan detta avbrott orsaka förlust av proverna i det intervallet. För att minska mängden information som förlorat, kan det vara bekvämt att manuellt återställa den smartphone-enheten. Annan aspekt som skall beaktas är inledande hud temperatur sensorvärde, som det kan påverka förverkligandet av huden stabilitet, vilket kan fördröjas upp till 10 minuter.

De främsta fördelarna av protokollet föreslås i denna forskning är dess tillämplighet på en stor grupp av studenter, dess minimala behovet av stöd använder automatiserade mobilappar, dess enkelhet i utarbetandet av enheterna som deltar i experimentet och dess låga intrång vid utförandet av fasen klassrummet. Detta protokoll ger en snabb och enkel metod som är tillämplig i kontrollerade miljöer, till exempel klassrum eller universitetslaboratorier. Dessutom är tekniska förmågor av deltagande studenterna inte ett problem, eftersom protokollet är baserat i okomplicerade tekniska begrepp förståeligt av en genomsnittlig universitetsstudent oberoende av deras akademiska fält. Som anges i litteraturen31, kräver reproducerbarhet i experimentella vetenskaper en noggrann och tydlig beskrivning av de protokoll som används och resultaten av dessa. Det protokoll som diskuteras i detta dokument har utformats på ett modulärt sätt enligt enkel steg, vilket underlättar reproduktionen av de experiment som diskuterade och deras förlängning32. Bland de mest relevanta designaspekter underlätta reproducerbarhet, kan vi namnge koncisheten fasen laboratorium och automatiserade genomförandet genom fristående mobilappar. Fasen klassrummet kräver dessutom inte någon interaktion med eleverna utöver akademisk verksamhet. De flesta elever påpekade med enkelheten i processen, och inga klagomål rapporterades i förhållande till deras engagemang i experimenten. Sammanfattningsvis tyder insamlade uppgifter hittills på att detta protokoll kan tillämpas på försökspersoner med en bredare profil och i fälten olika till utbildning, till exempel hälso-och sjukvårdsinrättningar eller arbetsplatsen. Dessutom ger detta protokoll möjlighet att studera flera maskin utbildningslösningar att testa de bästa algoritmerna att genomföra beroende på kraven i experimenten och på den bärbara enhet som valts. Utbildning av anpassade stress modeller i ett enda laboratorium session underlättar av ansökningar att framkalla stress och att tillhandahålla en instrumentpanel till display och tag prover.

De viktigaste begränsningarna hos den föreslagna lösningen är relaterade på försökspersonernas variabilitet och reproducerbarhet av akademisk verksamhet. Det är praktiskt omöjligt att återskapa exakt samma förhållanden och situationer som äger rum i föreläsning-sessioner. Däremot, den stress som upplevs av varje elev är mycket personligt, som i allmänna där är olika svar på de samma stimuli. Dessutom finns det maskinvarurelaterade problem relaterade till bärbara enheter själva, som olika åtkomstmetoder, olika sensorer, tillgång till fysiologiska signaler i realtid eller batteritid. Dessa tekniska krav begränsa stödberättigande wearables till ett begränsat antal enheter. I vårt fall, stödberättigade enheter inkludera dessa kompatibel med smart Bluetooth-kapacitet och smart band med ett SDK som är kompatibel med stora SO smartphone-enheter. Antalet kompatibla enheter förväntas öka längs de kommande åren.

Föreslagna protokollet är avsett att fungera som ett instrument för att så småningom definiera rikare student modeller än de som för närvarande används i learning management system eller student informationssystem. Den nya informationen fångas med den bärbara enheten enligt protokollet diskuteras kan exempelvis tillämpas att tidig upptäckt av situationer som påverkar prestanda såsom trötthet eller stress och guide studenter att övervinna dessa situationer. Ett alternativ till detta protokoll kan baseras på bärbara enheter som bärs också utanför klassrummet för att upptäcka variationer i fysiologiska signaler över en längre tidsperiod. Detta tillvägagångssätt innebär flera utmaningar, såsom en ständigt föränderlig omgivande temperatur, eller föremål under studien att vara Tvingad att alltid vara nära sin smartphone att förhindra dataförlust. Slutligen får detta protokoll tillämpas även för andra kurser och utbildningsnivåer, vilket skulle underlätta tillfångatagandet av ytterligare bevis på hur stress påverkar studieresultat för studenter med olika färdigheter eller ämnesområden.

Subscription Required. Please recommend JoVE to your librarian.

Disclosures

Författarna har något att avslöja.

Acknowledgments

Detta arbete stöds av den spanska statliga forskning byrån och den Europeiska regionala utvecklingsfonden (ERUF) under projektet PALLAS (TIN2016-80515-R AEI/ERUF, EU).

Materials

Name Company Catalog Number Comments
Microsoft Band 2 Microsoft Wearable
Nexus 5 LG/Google Smartphone
PhysiologicalSignals Developed by the paper authors App to collect data from wearables
StressTest Developed by the paper authors App to develop laboraty experiment: Video visualization, Stroop color and word test, paced auditory serial addition test (PASAT) , hyperventilation activity 
Quizs Developed by the paper authors Questionnaires to collect qualitative data on students’ perception on stress
Server Developed by the paper authors Server to store, analyze and display data
Weka application University of Waikato Application to process the data using machine learning techniques

DOWNLOAD MATERIALS LIST

References

  1. IDC. Forecasts Wearables Shipments to Reach 213.6 Million Units Worldwide in 2020 with Watches and Wristbands Driving Volume While Clothing and Eyewear Gain Traction. , at http://www.idc.com/getdoc.jsp?containerId=prUS41530816 (2016).
  2. Piwek, L., Ellis, D. A., Andrews, S., Joinson, A. The rise of consumer health wearables:promises and barriers. PLoS Medicine. 13 (2), (2016).
  3. Rudner, J., et al. Interrogation of Patient Smartphone Activity Tracker to Assist Arrhythmia Management. Annals of Emergency Medicine. 68 (3), 292-294 (2016).
  4. Gao, Y., Li, H., Luo, Y. An empirical study of wearable technology acceptance in healthcare. Industrial Management & Data Systems. 115 (9), 1704-1723 (2015).
  5. Lukowicz, P., et al. Glass-physics: using google glass to support high school physics experiments. Proceedings of the 2015 ACM International Symposium on Wearable Computers - ISWC '15. , 151-154 (2015).
  6. Sapargaliyev, D. Wearables in Education: Expectations and Disappointments. , 73-78 (2015).
  7. de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. How do you sleep? Using off the shelf wrist wearables to estimate sleep quality, sleepiness level, chronotype and sleep regularity indicators. Journal of Ambient Intelligence and Humanized Computing. , 1-21 (2017).
  8. Espinosa, H. G., Lee, J., Keogh, J., Grigg, J., James, D. A. On the Use of Inertial Sensors in Educational Engagement Activities. Procedia Engineering. 112, 262-266 (2015).
  9. Travers, C. J., Cooper, C. L. El Estrés de los profesores la presión en la actividad docente. , Paidós. at https://dialnet.unirioja.es/servlet/libro?codigo=110437 (1997).
  10. Maslach, C., Jackson, S. E. The measurement of experienced burnout. Journal of occupational Behavior. 2, 99-113 (1981).
  11. Maslach, C., Jackson, S., Leiter, M. Maslach Burnout Inventory. , Palo Alto. (1986).
  12. Kitsantas, A., Winsler, A., Huie, F. Self-Regulation and Ability Predictors of Academic Success During College: A Predictive Validity Study. Journal of Advanced Academics. 20, (2008).
  13. Deberard, C., Scott, M., Glen, I., Spielmans, D. C. Julka Predictors of academic achievement and retention among college freshmen: a longitudinal study. College Student Journal. 381, 66-80 (2004).
  14. Healey, J. A. Wearable and automotive systems for affect recognition from physiology. , (2000).
  15. Vrijkotte, T. G. M., van Doornen, L. J. P., de Geus, E. J. C. Effects of Work Stress on Ambulatory Blood Pressure, Heart Rate, and Heart Rate Variability. Hypertension. 35 (4), (2000).
  16. Karthikeyan, P., Murugappan, M., Yaacob, S. Descriptive Analysis of Skin Temperature Variability of Sympathetic Nervous System Activity in Stress. Journal of Physical Therapy Science. 24 (12), 1341-1344 (2012).
  17. de Santos Sierra, A. Design, implementation and evaluation of an unconstrained and contactless biometric system based on hand geometry and stress detection. , (2012).
  18. Natale, V., Drejak, M., Erbacci, A. Monitoring sleep with a smartphone accelerometer. Sleep and Biological Rhythms. , Available from: http://onlinelibrary.wiley.com/doi/10.1111/j.1479-8425.2012.00575.x/full (2012).
  19. Guo, F., Li, Y., Kankanhalli, M., Brown, M. An evaluation of wearable activity monitoring devices. Proceedings of the 1st ACM international workshop on Personal data meets distributed multimedia. , http://dl.acm.org/citation.cfm?id=2512882 (2013).
  20. Wallen, M. P., et al. Accuracy of Heart Rate Watches: Implications for Weight Management. PLOS ONE. 11 (5), e0154420 (2016).
  21. Wang, R., et al. Accuracy of Wrist-Worn Heart Rate Monitors. JAMA Cardiology. 2 (1), 104 (2017).
  22. de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. Collection and Processing of Data from Wrist Wearable Devices in Heterogeneous and Multiple-User Scenarios. Sensors. 16 (9), 1538 (2016).
  23. IDC. Wearables Aren't Dead, They're Just Shifting Focus as the Market Grows 16.9% in the Fourth Quarter, According to IDC. , at https://www.idc.com/getdoc.jsp?containerId=prUS42342317 (2017).
  24. Mark, H., Ian, W., Eibe, F. Data Mining: Practical Machine Learning Tools and Techniques. , Morgan Kaufmann Publishers. (2011).
  25. de Arriba Pérez, F., Santos Gago, J. M., Caeiro Rodríguez, M. Analytics of biometric data from wearable devices to support teaching and learning activities. Journal of Information Systems Engineering & Management. 1, 41-54 (2016).
  26. Machine Learning Group at the University of Waikato. Weka 3 - Data Mining with Open Source Machine Learning Software in Java. , at https://www.cs.waikato.ac.nz/mL/weka/ (2018).
  27. Zhai, J., Barreto, A. Stress Detection in Computer Users Based on Digital Signal Processing of Noninvasive Physiological Variables. 2006 International Conference of the IEEE Engineering in Medicine and Biology Society. , 1355-1358 (2006).
  28. Tombaugh, T. N. A comprehensive review of the Paced Auditory Serial Addition Test (PASAT). Archives of Clinical Neuropsychology. 21 (1), 53-76 (2006).
  29. Fan, Q., Wang, Y. The real-time realization of filtering of speech with DSP TMS320VC5416 Chip. 2010 International Conference on Educational and Information Technology. , (2010).
  30. González Barajas, J. E., Velandia Cárdenas, C., Nieto Camacho, J. Implementación de filtro digital en tiempo real para detección de la onda R. Revista Tecno Lógicas. 18 (34), 75-86 (2015).
  31. Mesirov, J. P. Computer science. Accessible reproducible research. Science (New York, N.Y.). 327 (5964), 415-416 (2010).
  32. American Journal Experts. How to Write an Easily Reproducible Protocol. , at https://www.aje.com/en/arc/how-to-write-an-easily-reproducible-protocol/ (2018).

Tags

Ingenjörsvetenskap stress fråga 136 handled-wearables kvantifiering multimodala analytics upptäckt maskininlärning e-lärande
Utvärdering av kommersiell-Off-The-Shelf handled Wearables att uppskatta belastningen på studenter
Play Video
PDF DOI DOWNLOAD MATERIALS LIST

Cite this Article

de Arriba Pérez, F.,… More

de Arriba Pérez, F., Santos-Gago, J. M., Caeiro-Rodríguez, M., Fernández Iglesias, M. J. Evaluation of Commercial-Off-The-Shelf Wrist Wearables to Estimate Stress on Students. J. Vis. Exp. (136), e57590, doi:10.3791/57590 (2018).

Less
Copy Citation Download Citation Reprints and Permissions
View Video

Get cutting-edge science videos from JoVE sent straight to your inbox every month.

Waiting X
Simple Hit Counter