Summary
Een protocol bij het evalueren van de oplossingen op basis van commerciële-off-the-shelf (COTS) pols wearables te schatten stress in studenten wordt voorgesteld. Het protocol wordt uitgevoerd in twee fasen, een eerste laboratorium gebaseerde inductie stresstest en een toezicht stadium plaatsvinden in de klas, terwijl de student academische activiteiten uitvoert.
Abstract
Wearable commerciële-off-the-shelf (COTS) apparaten zijn te controleren van sportieve activiteiten, voornamelijk onder jongeren de laatste jaren populair geworden. Deze apparaten zijn onder andere sensoren om gegevens te verzamelen op fysiologische signalen zoals hartslag, huidtemperatuur of galvanische huid reactie. Door data analytics technieken om dit soort signalen toe te passen is het mogelijk om te verkrijgen van de schattingen van de hogere aspecten van menselijk gedrag. In de literatuur zijn er verschillende werken met een beschrijving van het gebruik van fysiologische gegevens verzameld met behulp van klinische apparaten informatie te verkrijgen over slaappatronen of stress. Het is echter nog steeds een open vraag of gegevens die zijn vastgelegd met behulp van COTS pols wearables volstaat te karakteriseren van de leerders psychologische toestand in educatieve settings. Dit document bespreekt een protocol om te evalueren van de stress-schatting van de gegevens die zijn verkregen met behulp van COTS pols wearables. Het protocol wordt uitgevoerd in twee fasen. De eerste fase bestaat uit een gecontroleerde laboratorium experiment, waar een mobiele app wordt gebruikt voor het opwekken van verschillende stress niveaus in een student door middel van een ontspannende video, een Stroop kleur en woord test, een tempo auditieve seriële toevoeging test en een hyperventilatie-test. De tweede fase wordt uitgevoerd in de klas, waar stress wordt geanalyseerd tijdens het uitvoeren van de verschillende academische activiteiten, namelijk naar theoretische lezingen bijwonen, doen van oefeningen en andere individuele activiteiten en korte toetsen en examens te nemen. In beide gevallen, worden zowel de kwantitatieve gegevens die zijn verkregen uit COTS pols wearables en de kwalitatieve gegevens verzameld door middel van vragenlijsten beschouwd. Dit protocol omvat een eenvoudige en consistente methode met een app van de inductie spanning en vragenlijsten, waarbij een beperkte deelname van ondersteunend personeel.
Introduction
State-of-the-art wearable technologieën zijn wijd beschikbaar, en hun toepassingsomgevingen breiden voortdurend uit. We kunnen vinden in de markt veel verschillende apparaten, onder welke COTS pols wearables1, zoals slimme horloges en slimme bands, zijn populair onder sporters als een persoonlijke fysieke fitness monitoring tool2. Door gegevens analytische technieken toe te passen, kunnen de gegevens die zijn verkregen met behulp van deze apparaten voorzien van indicatoren zoals algemene fysieke toestand, kwaliteit of herstel factor slapen verwerkt worden. De aantoonbare toepasbaarheid in dit gebied aan de orde gesteld rente in de academische gemeenschap over hun eventuele toepassing op andere gebieden, met name in de gezondheid domein3,4, hoewel de strenge eisen van klinische proeven beperken de invoering ervan. Echter, in een minder veeleisend context, zoals onderwijs, we kunnen vinden in de literatuur recent onderzoek met betrekking tot het gebruik van verschillende soorten draagbare apparaten, beide gerelateerde activiteiten5,6 te onderwijzen en de schatting van bepaalde kenmerken van de student zoals slaap patronen7, of de analyse van de betrokkenheid van de leerlingen in verschillende educatieve activiteiten8.
In ons geval richten we ons op het analyseren van COTS pols draagbare apparaten als middel om te verzamelen van fysiologische signalen die stress-schatting, die op zijn beurt een belangrijk aspect in een educatieve context is uiteindelijk zou vergemakkelijken. Stress heeft een relevante invloed in de ontwikkeling van academische activiteiten en algemene studenten prestaties. Bijvoorbeeld stress niveaus zijn direct gerelateerd aan het begin van de burnout-syndroom in studenten9,10,11, en hoge stress niveaus zijn vooral van belang tijdens het eerste jaar, waar drop-out tarieven tussen 20% en 30%12,13 zijn gemeenschappelijk. Opsporen en beheersen van stress indicatoren kunnen drastisch verbeteren van leerprestaties.
Het gebruik van BABYBEDJES pols draagbare apparaten is gerechtvaardigd omdat zij hebben sensoren die informatie verschaffen over de fysiologische signalen die wijd verbeid door de wetenschappelijke gemeenschap in stress beoordeling en opsporing gebruikt hebben. Sommige van de signalen waarnaar in de literatuur voor dit doel gebruikt zijn hartslag (HR)14, hartslag varaibility15, huid temperatuur (ST)16, ademhaling14en galvanische huid reactie (GSR)17. Deze signalen kunnen worden verzameld door COTS pols wearables. Zij bieden echter niet dezelfde prestaties als klinische apparaten. Er zijn verschillen aan de nauwkeurigheid van de sensoren onder apparaten18,19,20,21gerelateerde. Echter hebben vorige werken18,19,20,21 aangetoond dat, in een langzame beweging scenario, COTS pols draagbare sensoren fout patronen vergelijkbaar met gespecialiseerde apparaten.
Het doel van deze paper is om een protocol om te evalueren van verschillende oplossingen voor stress schatting in studenten met behulp van COTS pols wearables. Er zijn veel regelingen die te schatten stress niveaus, waarbij het gebruik van de verschillende pols draagbare apparaten en gegevens analytics technieken, en meer in het bijzonder machine leren algoritmen kunnen worden voorgesteld. LEDIKANTEN pols wearables worden gekenmerkt door hun hoge fragmentatie, heterogeniteit en interoperabiliteit problemen22. Drie bedrijven hebben een geaggregeerde marktaandeel van bijna 50%23, maar veel andere bedrijven-account voor veel kleinere markt van individuele aandelen, met een geaggregeerde aandeel boven de 50%. Aan de andere kant, in termen van heterogeniteit, niet alle wearables hebben het zelfde aantal en type van sensoren, met versnellingsmeters en h sensoren worden de meest voorkomende, en ST en de GSR alleen aanwezig in 5% van de apparaten bestudeerd. Wat betreft interoperabiliteit zijn er verschillende operating systemen en data collectie benaderingen die niet compatibel zijn met elkaar. Wat betreft de machine leertechnieken die kunnen worden toegepast voor het inschatten van de stress van de gegevens die worden verzameld door middel van een inrichting van de pols, zijn er vele opties beschikbaar24, met inbegrip van beslisbomen, neurale netwerken, dichtstbijzijnde buurman benaderingen, Naïve Bayes classificaties, etc. te vatten, er is een grote verscheidenheid aan oplossingen die kunnen worden ontwikkeld voor stress-schatting, dus het is instrumentale ontwerpen een evaluatie-protocol ter vergemakkelijking van de vergelijking tussen verschillende voorlopig opties om uiteindelijk de meest geschikt in een bepaalde context.
Voor de uitvoering van het protocol zijn verschillende hulpprogramma's die nodig zijn (figuur 1). Ten eerste is een COTS pols wearable apparaat nodig om fysiologische gegevens te halen. Dit draagbare apparaat moet ten minste HR monitoring mogelijkheden, maar extra sensoren wenselijk zijn (b.v., versnellingsmeter, ST, GSR sensoren). Ten tweede, een smartphone met de PhysiologicalSignal app is vereist voor het verzamelen van de gegevens die zijn vastgelegd door het draagbare apparaat. Ten derde, een tablet die de StressTest app in werking is nodig om te draaien van stress inductie oefeningen (de smartphone kan worden gebruikt in plaats daarvan de tablet voor dit doel). Vierde, sommige vragenlijsten kwalitatieve gegevens te verzamelen over studenten perceptie over stress. Ten vijfde, een server met een Web service25 gegevensverzameling en voorbehandeling, en een Web-dashboard te tonen de evolutie van de signalen uit te voeren. En tot slot een data analytics pakket26 voor het verwerken van de gegevens verzameld over de studenten met behulp van machine learning technieken.
Het evaluatie-protocol is onderverdeeld in twee fasen. De ene, wordt de laboratorium-fase, uitgevoerd in een comfortabele kamer, waar verschillende stress niveaus (dat wil zeggen, "ontspannen", "geconcentreerde stress" en "stress") op een doel onderwerp (een student) worden veroorzaakt door verschillende algemene stress-inducerende taken. Het tweede deel vindt plaats in de klas, en het gaat om controle van de student tijdens de voltooiing van verschillende academische activiteiten: theoretische uitleg, individuele activiteiten, korte tests, examens, etc. tijdens de uitvoering van Dit protocol, het onderwerp de fysiologische signalen worden vastgelegd door middel van een inrichting van de pols. Ten slotte, deze signalen worden verwerkt door machine leren algoritmen om schattingen op het niveau van stress.
Tijdens de fase van het laboratorium, wordt de StressTest app gebruikt voor het opwekken van verschillende spanningsniveaus. Deze app helpt het onderwerp aan de voltooiing van vier verschillende taken. De eerste taak is het creëren van een basislijn voor spanningsanalyse. In deze taak visualiseert de student een ontspannen video van 4 minuten, waarin verschillende opnamen van een zonsondergang op een brug worden getoond. De tweede taak is een aanpassing van de Stroop kleur en woord Test27 (SCWT). Elke twee seconden, moet het onderwerp kiezen de kleur waarin de naam van een kleur (rood, groen, oranje, blauw en paars) is geschilderd. Verschillende knoppen onderin het scherm waarin de eerste letter van elke kleur zijn beschikbaar voor het onderwerp de geschilderde kleur kiezen op elk moment. Bijvoorbeeld, beeldt de knop die verwijst blauw de letter B. In ons geval, is deze test onderverdeeld in drie verschillende niveaus van moeilijkheid. Voor het eerste niveau (SCWT1), wordt de gekleurde "woorden van kleuren" weergegeven in dezelfde volgorde staan als de knoppen, zodat kleur en naam overeenkomen met direct. Dit niveau wordt genomen als basislijn, als het geen enkel probleem en het onderwerp moet alleen druk op de toetsen goed, altijd in dezelfde volgorde. Voor het tweede niveau (SCWT2), de gekleurde "woorden van kleuren" willekeurig weergegeven, maar de correspondentie tussen de naam en kleur wordt gehandhaafd. Elke keer het onderwerp er niet in slaagt een pieptoon is te horen, en als twee fouten worden gemaakt, de juiste kleur score zal worden teruggesteld. Voor het laatste, moeilijkste niveau (SCWT3), komen naam en kleuren niet overeen. Op deze manier is dit niveau bedoeld om meer complexe en stressvolle voor het onderwerp. De derde taak bestaat op de auditieve seriële toevoeging tempo test (PASAT)28, die meet hoe de student een concentratie test ervaringen. Tijdens deze taak, een reeks van opeenvolgende nummers hardop wordt gespeeld, en de student moet toevoegen, de laatste twee nummers en schrijf het resultaat in de verstrekte doos op het scherm voordat het luisteren naar het volgende nummer. In deze taak, als het onderwerp een fout maakt, een verontrustende gebeurtenis voor het genereren van stress (twee nummers geluid op hetzelfde moment of een lange periode van stilte in bewaard). In dit geval als drie fouten begaan zijn, zal de som-account worden teruggesteld. De vierde taak bestaat op een hyperventilatie-activiteit voor het opwekken van de dezelfde variatie in de fysiologische signalen die een stressvolle situatie17zou uitlokken. Aan het einde van elke taak en niveau heeft het onderwerp om aan te geven van het niveau van gepercipieerde stress, met behulp van de toepassing zelf, volgens een 5-waarde Likert-schaal.
Tijdens de fase van de klas, studenten verrichten hun gewone academische activiteiten samen met de rest van hun klasgenoten. Het protocol is gericht op de stress niveaus die zich tijdens de klas-specifieke activiteiten voordoen. Aan het eind van de lezing, wordt een korte vragenlijst (bijlage 1) gecompleteerd door de student om aan te geven van het waargenomen niveau van stress in de verschillende activiteiten volgens een schaal van 5-waarde.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Alle onderstaande methoden zijn goedgekeurd door de regionale regering van Galicië van Comité voor ethiek van het onderzoek van Pontevedra-Vigo-Ourense (reg. code 2017/336). Het protocol werd geïmplementeerd voor eerstejaarsstudenten op de School voor telecommunicatieingenieurs - Universiteit van Vigo, zowel in een comfortabele laboratorium kamer en in de verschillende lezingen en een reeks praktische oefensessies natuurlijk een bachelorgraad op computerarchitecturen.
1. Prepareer de apparaten
- Sluit de smartphone en tablet apparaat aan een stabiele internetverbinding.
- Inschakelen Bluetooth communicatie in de smartphone.
- In de smartphone, zoeken in de overeenkomstige officiële app store de pols draagbare toepassing. Download en installeer het.
- In de smartphone, zoekt u de PhysiologicalSignals-app te vangen van fysiologische signalen. Download en installeer het.
Opmerking: Momenteel is een beta-versie van de app en toegang kan worden verleend op verzoek. - In de tablet, zoekt u de StressTest app om te worden gebruikt in het onderzoek laboratoriumexperimenten. Download en installeer het.
Opmerking: Momenteel is een beta-versie van de app en toegang kan worden verleend op verzoek. - Schakel het COTS pols draagbaar apparaat en plaats het draagbaar.
- Open in de smartphone, de officiële COTS pols draagbare toepassing.
Opmerking: De app zal overgaan tot het draagbare apparaat synchroniseren met de smartphone. In sommige apparaten is een e-mailadres vereist. - Open in de smartphone, de PhysiologicalSignals app.
- In het geval van de hoogte te stellen van een toegangsaanvraag sensor, accepteren.
- Controleer het apparaat. Wacht voor de PhysiologicalSignals-app aan het woord Weared in het groen weergegeven.
Opmerking: Dit blijkt dat het draagbare apparaat is geconstateerd en derhalve de overdracht van informatie van de sensoren aan de smartphone is ingeschakeld. Als dit bericht niet wordt weergegeven, herhaal vanaf stap 1.6.
2. de laboratorium-fase
- De laboratorium-instelling voor te bereiden. Kies een comfortabele en niet-storend kamer zonder storende ruis en met een aangename temperatuur (tussen 22 ° C en 26 ° C).
- Schakel het draagbare apparaat van pols, plaats het rond de pols van de niet-dominante subject´s en plaats de hoofdtelefoon op het hoofd van de student. Past de wearable strak maar comfortabel rond de pols.
- De smartphone en tablet verbinden met een stabiele internetverbinding en controleer of de Bluetooth-verbinding actief is.
- In de smartphone, start u de PhysiologicalSignals app.
- Wacht tot de app weer te geven van het woord Weared in groen.
- Selecteer de optie Gebruiker wijzigen in de linker configuratiemenu en bieden de ID van het onderwerp die het voltooien van de tests en klik op Opslaan.
- In een laptop, het dashboard toegang en voer de ID en het wachtwoord van de beheerder van de test.
Opmerking: Op dit moment voor privé- en veiligheidsbeleid zorgen, toegang tot het dashboard is alleen beschikbaar op aanvraag.- Selecteer de ID van het onderwerp en de certificaathouder stress tabblad.
- Controleer de fysiologische signalen evolutie en wacht tot het draagbare apparaat thermische stabiliteit bereiken voordat het experiment.
Opmerking: De thermische stabiliteit wordt geïdentificeerd als een plateau in de grafiek.
- In de tablet, de StressTest-applicatie te starten.
- De vier laboratorium taken aan het onderwerp uitleggen. Tonen enkele van de schermen en acties uit te voeren tijdens elke één van de taken.
Opmerking: Dit is zeer belangrijk, omdat het onderwerp moet gespannen of ontspannen in overeenstemming met de uitgevoerde activiteiten voelen, en niet bang of bezorgd over wat er gaat gebeuren. - Vertellen de student niet gaan rusten hun armen op tafel en gebruik maken van de hand waar het draagbare apparaat wordt geplaatst om de activiteiten te verrichten.
- Voer dezelfde gebruikersnaam als in stap 2.4.2 en klik op de pijl.
- De vier laboratorium taken aan het onderwerp uitleggen. Tonen enkele van de schermen en acties uit te voeren tijdens elke één van de taken.
- Start de video taak en volledig beheer geven de student.
- Let op dat de taak wordt uitgevoerd zonder incidenten.
- Wanneer de taak is voltooid, moet u controleren dat het onderwerp de gepercipieerde stress biedt.
- Start de taak van de Stroop kleur (SCWT) na elkaar voor niveaus 1, 2 en 3.
- Voor elk niveau, Let op dat de subtaak wordt uitgevoerd zonder incidenten.
- Wanneer elke subtaak is voltooid, moet u controleren dat het onderwerp de gepercipieerde stress biedt.
- Alleen voor niveau 3 en alleen beëindigen in het geval dat het onderwerp lost het niet na 4 minuten, de taak door op de pijl bevindt zich aan de bovenkant van het scherm te drukken.
- Start het tempo auditieve seriële toevoeging test (PASAT).
- Let op dat de taak wordt uitgevoerd zonder incidenten.
- In het geval dat het onderwerp niet de PASAT test na 4 minuten is opgelost, de taak te beëindigen door op de pijl bevindt zich aan de bovenkant van het scherm te drukken.
- Wanneer de taak is voltooid, moet u controleren dat het onderwerp de gepercipieerde stress biedt.
- Start de test van hyperventilatie.
- Observeer de evolutie van HR met behulp van het dashboard. Als fysiologische signalen niet aanzienlijk wijzigen, vraagt u het onderwerp geleidelijk te verhogen tarieven van inspiratie en de vervaldatum.
- In het geval dat het onderwerp voelt duizeligheid of ongemakkelijk halt toe te roepen deze taak. In ieder geval de taak voltooien na vier minuten.
- Wanneer de taak is voltooid, moet u controleren dat het onderwerp de gepercipieerde stress biedt.
3. de fase van de klas
- Schakel het draagbare apparaat van pols en plaats de wearable rond de subject´s niet-dominante pols. Past de wearable strak maar comfortabel rond de pols.
- De smartphone verbinden met een stabiele internetverbinding en controleer of dat de Bluetooth-verbinding actief is.
- In de smartphone, start u de PhysiologicalSignals app.
- Wacht tot de app weer te geven van het woord Weared in groen.
- In het configuratiemenu de optie Change User , bieden de ID van het onderwerp die het voltooien van de tests en klik op Opslaan.
- In een laptop, het dashboard toegang en voer de ID en het wachtwoord van de beheerder van de test.
- Selecteer de ID van het onderwerp en de certificaathouder stress tabblad.
- De evolutie van fysiologische signalen controleren.
- Neem aantekeningen over alle relevante gebeurtenis plaatsvindt in de klas met betrekking tot de leerling-leraar-interactie.
Opmerking: Relevante informatie en elementaire gebeurtenissen zal worden gebruikt om fysiologische monsters daarna label. Voorbeeld van de gebeurtenissen zijn een vraag van de docent de student of een theoretische uitleg wordt gestart. - Aan het einde van de lezing, vragen het onderwerp de vragenlijst over hun niveau van stress op bepaalde tijdstippen tijdens de zitting, in te vullen volgens een schaal van 5-niveau.
4. de gegevensanalyse
- In een laptop, het dashboard toegang en voer de ID en het wachtwoord van de beheerder van de test.
- Selecteer de ID van het onderwerp en de certificaathouder stress tabblad.
- Selecteer de dag van een klas-experiment.
- Label de monsters van het onderwerp door het identificeren van activiteiten en gepercipieerde stress niveaus.
- Identificeren collegezaal activiteiten en de duur volgens de begin- en tijden en de typen.
- Selecteer voor elke activiteit een gepercipieerde stressniveau.
- Download het bestand met de tagged monsters voor elk onderwerp en elke sessie.
Opmerking: Een bestand met door komma's-gescheiden-waarden (CSV) wordt gemaakt voor elke student, elke rij als gevolg van de waarden van de fysiologische signalen met hun standaardafwijking, helling en diff, het type van activiteit, de activity based stress (dat wil zeggen, de stress geassocieerd Standaard is de activiteit) en het onderwerp ervaren stress. - Start de data-analytics-pakket.
- Kies een set van classificaties (bijvoorbeeldSVM, C4.5, k-NN, Random Bos, Naïve Bayes en nul-R) en importeert u het CSV-bestand voor alle studenten voor elke sessie.
- Trein en evalueren van classificaties met behulp van de 10-fold Kruis-validatie-techniek.
Opmerking: Afhankelijk van de analyses, activiteitstype, activity based stress of stress ervaren, zullen worden geselecteerd als afhankelijke variabele voor de analyse. - Ten slotte, het resultaat voor nauwkeurigheid en fout tarieven te controleren.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
Het protocol besproken werd gebracht in de praktijk in een cursus computerarchitecturen in het eerste jaar van de telecommunicatie Engineering graad aan de Universiteit van Vigo. Deze cursus heeft meer dan 200 studenten ingeschreven die zijn onderverdeeld in 10 werkgroepen. Voor het uitvoeren van dit experiment, werden studenten van vier van de groepen uitgenodigd om in te schrijven aan het begin van het academiejaar. Het project trok veel belangstelling onder de studenten, en ongeveer 30 studenten vrijwillig deel te nemen aan de studie. Van hen, waren 12 leerlingen willekeurig geselecteerd zijn voor deelname.
De LEDIKANTEN pols wearable apparaat geselecteerd voor onze experimenten heeft HR, ST, GSR en versnellingsmeter sensoren. De keuze van deze draagbaar was gebaseerd op de verscheidenheid van de sensoren en de bepaling van het voederen van real-time gegevens. Ook werd rekening gehouden met technische voorwaarden in welke sensor gegevens worden verzameld. Vastleggen van gegevens wordt uitgevoerd op bepaalde frequenties, over het algemeen opgelegd door de werking van de sensoren, maar ook als gevolg van het apparaat energiebesparende kenmerken. In het geval van het geselecteerde apparaat, werd HR bemonsterd elke seconde (1 Hz). De versnellingsmeter aangeboden 62 Hz, 31 Hz en 8 Hz als samplingfrequenties, waaruit 8 Hz was geselecteerd omdat het biedt genoeg granulatie voor het vastleggen van de beweging met redelijke energiebehoefte in vergelijking met de andere frequenties. GSR kan worden bemonsterd op 0,2 of 5 Hz. In dit geval hebben we gekozen GSR om gegevens te verzamelen om de 5 seconden. Wat betreft de versnellingsmeter verstrekt deze frequentie genoeg granulariteit terwijl energie vereisten tot een minimum te beperken. Ten slotte ST bemonsterd op dezelfde frequentie als HR (d.w.z., 1 Hz). Gegevens die zijn verzameld door het apparaat wordt overgebracht naar de PhysiologicalSignals-app in de smartphone elke seconde, met inbegrip van de HR en ST monster, de waarde van de maximale versnelling, en de laatste waarde voor GSR verzameld. Verklein HR lawaai en geldt de server voor de ontvangen gegevens een FIR filter vaak gebruikt in real-time toepassingen29 en in het filteren van de ECG-signalen30, met behulp van een 15-monster-venster.
Informatie verzameld tijdens laboratorium en klassikale sessies wordt opgeslagen in de database server´s. Deze informatie moet worden gedownload om te worden verwerkt met behulp van een data-analytics-pakket. De set van gegenereerde gegevensbestanden bevat rauwe signalen gegevens en variabelen die zijn afgeleid van deze signalen. Meer in het bijzonder, voor elke ruwe fysiologische signaal (HR, ST, GSR en versnellingsmeter), de standaarddeviatie (st), helling (sl) en het verschil tussen de huidige waarde en de extreme waarde in de laatste worden 30 seconden geregistreerd.
De laboratorium-fase van het protocol werd uitgevoerd in een comfortabele kamer van de telematica Engineering afdeling met de passende voorwaarden voor het experiment. Figuur 2 toont de evolutie van HR, GSR en ST-waarden, die tijdens een van deze sessies zijn verzameld voor een werkelijke student. Zoals kan worden gezien in de figuur, optreden aanzienlijke verschillen in de fysiologische signalen als de student elk van de taken (video, STC1, STC2, STC3, PASSAT en hyperventilatie voert) opgenomen in het experiment. Een relatief hoge initiële HR waarde kan worden waargenomen, waarschijnlijk te wijten aan de stress geïnduceerde wanneer geconfronteerd met deze taak voor de eerste keer terwijl wordt gecontroleerd. De snelle groei van ST tijdens de hyperventilatie-test is ook opmerkelijk.
Ook waargenomen tijdens de laboratoriumexperimenten werden de opmerkelijke verschillen in de fysiologische signalen op specifieke experimentele momenten, geen zaak die deze periodes waren niet altijd gezien als stressvolle door de doel-student. Dit is vanwege het feit dat ervaren stress is een subjectieve variabele, en deelnemende studenten niet volledig eens in een gemeenschappelijk concept van stress. Tijdens de fase van het laboratorium, was het bedoeld voor het genereren van korte perioden van hoge stress. Deze korte perioden van stress zijn soms gedefinieerd als frustratie, maar niet als stress, waardoor de deelnemende studenten reageren anders op wat hun fysiologische signalen uitgedrukt. Dit effect kan worden gevisualiseerd in de grafieken in Figuur 3. Bijvoorbeeld, in de periode tussen 12:15 en 12:20 (voltooiing of de laatste test van de Stroop kleur woord Test) zijn de sterke GSR variaties een duidelijk symptoom van potentiële stress. Deze sterke variaties zijn ook aanwezig tussen 12:25 en het einde van de test (hyperventilatie), maar in beide gevallen, de gebruiker beweerd dat het gevoel van een eveneens lage spanningsniveau.
De situatie hierboven benadrukt het subjectieve karakter van stress evaluatie in zulk een korte periode van tijd. Als gevolg van de kandidaten voor afhankelijke variabelen in gegevensverzamelingen (dat wil zeggen, activiteitstype, activity based stress of onderwerp-ervaren stress) hebben we gekozen voor activity based stress. Deze variabele bepaald stress niveaus volgens het niveau van moeilijkheid van de taak gericht en niet op de antwoorden van de studenten over hun gepercipieerde stress niveaus aan het einde van elke taak. Op deze manier video kijken zou worden gecodeerd als "ontspannen" terwijl SCWT3 en PASAT zou worden geëtiketteerd als "concentratie" en de hyperventilatie-test als "stress". Merk op dat de monsters van SCWT1 en SCWT2 in onze zaak, omdat in een eerdere pilot onderzoek werd vastgesteld dat, gemiddeld, SCWT1 en SCWT2 activiteiten die een overgang tussen een ontspannen gevoel zijn tonen (bereikt tijdens video visualisatie) en stressvolle werden weggegooid een. Om deze reden we verwijderd uit onze analyse de signalen van deze 2 activiteiten, en we alleen die van video visualization, SCWT3, PASSAT en hyperventilatie activiteiten opgenomen. De variaties van het HR, ST en GSR onder deze Staten (ontspannen, concentratie, spanning) zijn samengevat in Figuur 4. Deze afbeelding ziet u de kwartielen fysiologische signaal voor de drie stress niveaus in de 12 studenten die betrokken zijn in het experiment. In het algemeen, HR en GSR signalen geleidelijk te verhogen als de student geconfronteerd met taken van toenemende moeilijkheidsgraad. In alle gevallen wordt het niveau van de temperatuur ook beïnvloed. Echter in sommige gevallen het verhoogt voor ontspannen evenementen en vermindert in stressvolle situaties, terwijl in andere gevallen komt het net het tegenovergestelde, afhankelijk van de persoon.
Om te analyseren de correlatie waargenomen visueel in de variatie van de fysiologische signalen, werden machine leren technieken toegepast over verwerkte CSV-bestanden. Om te voorkomen dat de oorspronkelijke tijdelijke variaties voor elke taak en niveau, worden alleen de laatste 3 minuten van elke activiteit beschouwd als om te voorkomen dat niet-representatieve monsters. In het bijzonder, verschillende algoritmen van de classificatie, met name SVM, C4.5, k-NN, Random Bos, NaiveBayes en ZeroR, werden opgeleid om te detecteren stresssituaties uit de verzamelde fysiologische signalen. De opgeleide classificaties werd hoge nauwkeurigheid, lage gemiddelde absolute foutenpercentages en hoge Cohen Kappa index niveau stress detectoren, zoals wordt weergegeven in tabel 1. Voor alle 12 onderwerpen en algoritmen (behalve ZeroR), de nauwkeurigheid van de detectie van de stress in meer dan 90%, gemiddelde absolute foutwaarde is in de buurt van 0 en Cohen kappa index is dicht bij 1.
De fase van de klas omschreven in het protocol vond plaats tijdens de eigenlijke lessen in de zalen van de School of telecommunicatie Engineering. Verschillende academische activiteiten voor deze studie werden beschouwd: theoretische lezingen; vragen willekeurig door de leraar aan de leerlingen over bepaalde aspecten van de cursus; twijfels of vragen naar de leraar van studenten; korte tests; regelmatig examens/finale die bestaat uit de collectie van problemen worden opgelost door de student in 50-70 minuten.
De visualisatie van de evolutie van fysiologische signalen in dit geval blijkt dat variaties zijn subtieler, dat wil zeggen, de verschillen in signaal waarden voor verschillende activiteiten zijn kleiner dan tijdens de fase van het laboratorium. De meest relevante varianten werden waargenomen tijdens de klassikale sessies waarin een regelmatige lezing treedt op nadat een pop quiz is voltooid. In dit geval lijden een of meerdere van de fysiologische signalen aanzienlijke verschillen, zoals geïllustreerd in Figuur 5. Deze afbeelding ziet u de signalen opgevangen voor een student geconfronteerd met een korte test (eerste deel van de grafieken). Tijdens de test zou de meest relevante variabele HR. Het kan worden waargenomen dat de student heeft een hogere hartslag in vergelijking met theoretische lezing tijd. Op dezelfde manier, huid temperatuur relatief laag is wanneer vergeleken met theoretische lezing tijd, wanneer het werpt ongeveer 1 ° C.
Om dit te analyseren op numerieke wijze, de correlatie tussen de variaties in de signalen en de activiteiten gericht door de studenten, werden machine leren technieken toegepast naar analogie op de laboratorium-fase. De resultaten voor de gecombineerde pop quiz en Hoorcollege sessies blijkt een gemiddelde classificatie nauwkeurigheid van 97.62% (± 3.82) met behulp van C4.5. Merk op dat voor de analyse van deze sessies huid temperatuur werd verworpen vanwege eventuele vooroordelen in het eindresultaat. Tijdens de overgangsperiode tussen de pop quiz en de volgende Hoorcollege studenten laat de klas gedurende ongeveer 20 minuten, met drastisch invloed op temperatuur waarden.
Een uitgebreide formele analyse van de verzamelde klassikale sessies is nog in volle gang. Dit is een complex proces waarbij verschillende uitdagende situaties worden aangepakt. Eerste, abrupte korte termijn variaties in de fysiologische signalen worden vaak waargenomen met geen gekoppelde genereren van stress gebeurtenis. In de meeste gevallen, deze periodes laatst voor minder dan één minuut zonder iets wordt opgenomen door de onderzoeker. Een ander incidentie waargenomen is de instabiliteit van de GSR waarden wanneer het draagbaar niet goed aangepast of als plotselinge bewegingen optreden. Beide situaties leiden tot een zeer lage GSR waarden, dicht bij 0 µS. Op een vergelijkbare manier, hoewel veel minder gebruikelijk, er zijn onjuiste ST-waarden, dicht bij de omgevingstemperatuur, wanneer de draagbaar te groot voor de pols van de gebruiker is en wordt daarom losjes gedragen. Om te elimineren de analyse fouten afgeleid van deze situaties, worden waarin dit probleem optreedt variabelen verwijderd. Merk op dat alle signalen gecontroleerd kandidaten kunnen te detecteren stresssituaties en verschillende classificaties kunnen worden getraind met behulp van verschillende combinaties van signalen, maar afwijkende waarden zou het compromis van indeling ongeacht de classificatie geselecteerd.
Figuur 1 . Instrumenten die gebruikt worden in het voorgestelde protocol. Deze grafiek is een weergave van alle elementen die betrokken zijn bij het protocol en hun interacties. Klik hier voor een grotere versie van dit cijfer.
Figuur 2 . Variatie in een laboratorium sessie benadrukken. In deze afbeelding ziet u de verschillende onderdelen waar het laboratorium protocol is verdeeld. Elk deel geeft een duidelijke variatie in de fysiologische signalen. Klik hier voor een grotere versie van dit cijfer.
Figuur 3 . Benadrukken van variatie gezien voor een student in een laboratorium sessie. Deze figuur toont de verschillen tussen de sterke variaties van de fysiologische signalen van een student tijdens een sessie van het laboratorium en hun antwoord op de quiz van de stress. Klik hier voor een grotere versie van dit cijfer.
Figuur 4 . Fysiologische signaal percentielen voor 12 studenten die deelnemen aan een sessie laboratorium. Dit bedrag vertegenwoordigt een percentiel samenvatting voor elk onderwerp. De fysiologische signaal variaties tussen elke stress situatie kunnen worden gevisualiseerd. Klik hier voor een grotere versie van dit cijfer.
Figuur 5 . HR, ST en GSR variaties tijdens klassikale activiteiten. Fysiologische signalen variatie tijdens een korte test (links). Fysiologische signalen variatie tijdens een theoretische lezing (rechts). Klik hier voor een grotere versie van dit cijfer.
| SVM | C45 | Pauw | RandomForest | NaiveBayes | ZeroR | |||||||||||||
| Collegekaart | Nauwkeurigheid | Fout | Kappa | Nauwkeurigheid | Fout | Kappa | Nauwkeurigheid | Fout | Kappa | Nauwkeurigheid | Fout | Kappa | Nauwkeurigheid | Fout | Kappa | Nauwkeurigheid | Fout | Kappa |
| 100 | 99.83 | 0.22 | 1 | 99,75 | 0 | 1 | 100 | 0 | 1 | 100 | 0 | 1 | 98.94 | 0,01 | 0.98 | 43.12 | 0,43 | 0 |
| 101 | 98.77 | 0.22 | 0.98 | 99,76 | 0 | 1 | 99,81 | 0 | 1 | 99,93 | 0,01 | 1 | 98.16 | 0,01 | 0.97 | 48,7 | 0,42 | 0 |
| 102 | 99.56 | 0.22 | 0.99 | 99.83 | 0 | 1 | 99.77 | 0 | 1 | 99.91 | 0,01 | 1 | 93,5 | 0,05 | 0,89 | 52.41 | 0,41 | 0 |
| 103 | 99.71 | 0.22 | 1 | 99.94 | 0 | 1 | 99,97 | 0 | 1 | 99,97 | 0,01 | 1 | 97.24 | 0.02 | 0.96 | 49.64 | 0,42 | 0 |
| 104 | 99.82 | 0.22 | 1 | 99.33 | 0,01 | 0.99 | 100 | 0 | 1 | 99,85 | 0,01 | 1 | 97.09 | 0.02 | 0.96 | 42.05 | 0.44 | 0 |
| 105 | 100 | 0.22 | 1 | 100 | 0 | 1 | 99.84 | 0 | 1 | 100 | 0 | 1 | 99.83 | 0 | 1 | 43,8 | 0,43 | 0 |
| 106 | 98.09 | 0.23 | 0.97 | 99.37 | 0,01 | 0.99 | 99.69 | 0 | 1 | 99,85 | 0,01 | 1 | 96.52 | 0.02 | 0.95 | 47.51 | 0,42 | 0 |
| 107 | 100 | 0.22 | 1 | 100 | 0 | 1 | 99,85 | 0 | 1 | 100 | 0 | 1 | 99,96 | 0 | 1 | 50.44 | 0,42 | 0 |
| 108 | 99.46 | 0.22 | 0.99 | 99,76 | 0 | 1 | 99,76 | 0 | 1 | 100 | 0 | 1 | 98.55 | 0,01 | 0.97 | 59.76 | 0.37 | 0 |
| 109 | 99,54 | 0.22 | 0.99 | 100 | 0 | 1 | 99.78 | 0 | 1 | 99,96 | 0 | 1 | 99.78 | 0 | 1 | 47.34 | 0,42 | 0 |
| 110 | 99.86 | 0.22 | 1 | 99.94 | 0 | 1 | 99,72 | 0 | 1 | 99,9 | 0,01 | 1 | 96,4 | 0.02 | 0.94 | 50.35 | 0,42 | 0 |
| 111 | 99,97 | 0.22 | 1 | 99.84 | 0 | 1 | 100 | 0 | 1 | 100 | 0 | 1 | 99.35 | 0 | 0.99 | 43,7 | 0,43 | 0 |
| Gemiddelde | 99.55 | 0.22 | 0.99 | 99.79 | 0,00 | 1,00 | 99,85 | 0,00 | 1,00 | 99,95 | 0,01 | 1,00 | 97.94 | 0,01 | 0.97 | 48.24 | 0,42 | 0,00 |
| Standaarddeviatie | 0,55 | 0,00 | 0,01 | 0.22 | 0,00 | 0,00 | 0.11 | 0,00 | 0,00 | 0,06 | 0,01 | 0,00 | 1.82 | 0,01 | 0.03 | 4.72 | 0.02 | 0,00 |
Tabel 1 . Nauwkeurigheid, gemiddelde absolute fout, en Cohen's Kappa indexwaarden verkregen voor SVM, C4.5, k-NN, Random Bos, NaiveBayes en ZeroR machine leren classificaties met gegevens uit de 12 studenten die deelnemen aan het laboratorium experiment.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
LEDIKANTEN draagbare apparaten behoren tot de meest populaire consumentenelektronica die vandaag beschikbaar zijn. Deze apparaten worden meestal gebruikt om fysieke activiteiten te controleren, maar hun mogelijkheden en prestaties zou van groot belang in andere gebieden. In deze paper wordt een protocol bij het evalueren van het gebruik van BABYBEDJES draagbare apparaten voor het inschatten van de stress in leeromgevingen besproken. De definitie van zo'n protocol is met name relevant om te analyseren verschillende oplossingen waarbij wearables en machine leren van algoritmes. Het protocol is bedoeld om te worden gebruikt in educatieve settings, waar de validering van stress detectie procedures en hun uiteindelijke invoering betekenis voordelen kan bieden. Bijvoorbeeld het gebruik van draagbare apparaten kan bijdragen om het hoge niveau van stress geassocieerd met de zogenaamde burnout syndroom9,10,11, en dientengevolge de dropout stem op universiteiten12 , 13, terwijl het verbeteren van de leerprestaties.
Een kritisch aspect dat aandacht verdient is de Bluetooth-verbinding tussen het draagbaar en de smartphone. Deze draadloze verbinding tussen beide apparaten mag worden verbroken tijdens de test, dus er moet bijzondere aandacht besteden aan het door de visualisatie van de gegevens die zijn verzameld in het dashboard. Hoewel herstel wordt automatisch uitgevoerd na een korte periode van tijd (dat wil zeggen, een interval, variërend van 1 tot 10 minuten), deze onderbreking kan leiden tot het verlies van de monsters in het opgegeven interval. Verklein de hoeveelheid informatie verloren en is het wellicht handig om handmatig opnieuw instellen van het smartphoneapparaat. Andere aspect beschouwd is de oorspronkelijke huid temperatuur sensor waarde, aangezien het van invloed kan zijn op de verwezenlijking van stabiliteit van de huid, die maximaal 10 minuten kan worden uitgesteld.
De belangrijkste voordelen van het protocol voorgesteld in dit onderzoek zijn de toepasbaarheid ervan aan een grote groep studenten, de minimale behoefte aan ondersteuning met behulp van geautomatiseerde mobiele apps, zijn eenvoud in de voorbereiding van de apparaten die betrokken zijn bij het experiment en de lage opdringerigheid terwijl het uitvoeren van de klas-fase. Dit protocol biedt een snelle en eenvoudige methode die van toepassing zijn in gecontroleerde omgevingen, zoals klaslokalen of universitaire laboratoria. Bovendien, technologische capaciteiten van de deelnemende leerlingen zijn niet een probleem, aangezien het protocol is gebaseerd in eenvoudige technische concepten te begrijpen door een gemiddelde universiteitsstudent onafhankelijk van hun academische veld. Zoals in de literatuur31, vereist reproduceerbaarheid in proefondervindelijke wetenschappen een grondige en duidelijke beschrijving van de protocollen die zijn toegepast en de resultaten daarvan. Het protocol in dit Groenboek besproken is ontworpen op een modulaire manier volgens eenvoudige stappen, die de reproductie van de experimenten besproken en hun extensie32vergemakkelijkt. Onder de meest relevante ontwerpaspecten reproduceerbaarheid te vergemakkelijken, kunnen we de naam van de beknoptheid van de fase van het laboratorium en de geautomatiseerde uitvoering ervan door middel van standalone mobiele apps. De klas fase hoeft bovendien niet elke interactie met de studenten buiten de academische activiteiten. De meeste studenten gewezen in de eenvoud van het proces, en geen klachten werden gemeld in verband met hun deelname aan de experimenten. Samenvattend, blijkt verzamelde tot nu toe dat dit protocol kan worden toegepast op onderwerpen met een breder profiel en in de velden anders dan onderwijs, zoals medische voorzieningen of de werkplek. Bovendien, dit protocol biedt de mogelijkheid te bestuderen van de verschillende machine learning-oplossingen waarmee voor het testen van de beste algoritmen om afhankelijk van de vereisten van de experimenten en op het draagbare apparaat geselecteerd. Het gebruik van toepassingen voor het opwekken van stress en zorgen voor een dashboard weergeven en tag monsters faciliteert de opleiding van aangepaste stressmodellen in een sessie van één laboratorium.
De belangrijkste beperkingen van de voorgestelde oplossing hebben betrekking op de onderwerpen variabiliteit en de reproduceerbaarheid van de wetenschapsbeoefening. Herscheppen van precies de zelfde voorwaarden en situaties plaatsvinden in Hoorcollege sessies is vrijwel onmogelijk. Aan de andere kant, de stress ervaren door elke student is zeer persoonlijk, zoals in de algemene daar zijn verschillende reacties op de dezelfde prikkels. Daarnaast zijn er hardware-gerelateerde kwesties in verband met de draagbare apparaten zelf, zoals de verschillende toegangsmethoden, verschillende sensoren, accessible fysiologische signalen in real time, of de levensduur van de batterij. Deze technische voorschriften beperken in aanmerking komende wearables tot een beperkt aantal apparaten. In ons geval, in aanmerking komende apparaten omvatten die compatibel met smart Bluetooth-mogelijkheden en slimme bands met een compatibel met grote SO smartphoneapparaten SDK. Het aantal compatibele apparaten naar verwachting toenemen langs de komende jaar.
Het voorgestelde protocol is bedoeld om te dienen als een instrument om uiteindelijk definiëren rijker student modellen dan die momenteel worden gebruikt in het leren van managementsystemen of student informatiesystemen. De nieuwe gegevens vastgelegd met het draagbare apparaat volgens het protocol besproken kan bijvoorbeeld worden toegepast op de vroegtijdige opsporing van situaties op het gebied van prestaties zoals vermoeidheid of stress, en voor gids studenten tot het overwinnen van deze situaties. Een alternatief voor dit protocol kan worden gebaseerd op draagbare apparaten gedragen ook buiten het klaslokaal oog op de opsporing van variaties in fysiologische signalen over een langere periode van tijd. Deze aanpak impliceert verschillende uitdagingen, zoals een voortdurend veranderende omgevingstemperatuur, of het onderwerp van de studie wordt gedwongen om altijd dicht bij hun smartphone om gegevensverlies te voorkomen. Tot slot, dit protocol kan ook worden toegepast op andere cursussen en opleidingsniveaus, die de verovering van aanvullend bewijs over hoe stress de leerprestaties van studenten met verschillende vaardigheden of velden van studie beïnvloedt zou vergemakkelijken.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
De auteurs hebben niets te onthullen.
Acknowledgments
Dit werk wordt ondersteund door de Spaanse staat onderzoek Agentschap en het Europees Fonds voor regionale ontwikkeling (EFRO) onder het project PALLAS (TIN2016-80515-R AEI/EFRO, EU).
Materials
| Name | Company | Catalog Number | Comments |
| Microsoft Band 2 | Microsoft | Wearable | |
| Nexus 5 | LG/Google | Smartphone | |
| PhysiologicalSignals | Developed by the paper authors | App to collect data from wearables | |
| StressTest | Developed by the paper authors | App to develop laboraty experiment: Video visualization, Stroop color and word test, paced auditory serial addition test (PASAT) , hyperventilation activity | |
| Quizs | Developed by the paper authors | Questionnaires to collect qualitative data on students’ perception on stress | |
| Server | Developed by the paper authors | Server to store, analyze and display data | |
| Weka application | University of Waikato | Application to process the data using machine learning techniques |
References
- IDC. Forecasts Wearables Shipments to Reach 213.6 Million Units Worldwide in 2020 with Watches and Wristbands Driving Volume While Clothing and Eyewear Gain Traction. , at http://www.idc.com/getdoc.jsp?containerId=prUS41530816 (2016).
- Piwek, L., Ellis, D. A., Andrews, S., Joinson, A. The rise of consumer health wearables:promises and barriers. PLoS Medicine. 13 (2), (2016).
- Rudner, J., et al. Interrogation of Patient Smartphone Activity Tracker to Assist Arrhythmia Management. Annals of Emergency Medicine. 68 (3), 292-294 (2016).
- Gao, Y., Li, H., Luo, Y. An empirical study of wearable technology acceptance in healthcare. Industrial Management & Data Systems. 115 (9), 1704-1723 (2015).
- Lukowicz, P., et al. Glass-physics: using google glass to support high school physics experiments. Proceedings of the 2015 ACM International Symposium on Wearable Computers - ISWC '15. , 151-154 (2015).
- Sapargaliyev, D. Wearables in Education: Expectations and Disappointments. , 73-78 (2015).
- de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. How do you sleep? Using off the shelf wrist wearables to estimate sleep quality, sleepiness level, chronotype and sleep regularity indicators. Journal of Ambient Intelligence and Humanized Computing. , 1-21 (2017).
- Espinosa, H. G., Lee, J., Keogh, J., Grigg, J., James, D. A. On the Use of Inertial Sensors in Educational Engagement Activities. Procedia Engineering. 112, 262-266 (2015).
- Travers, C. J., Cooper, C. L. El Estrés de los profesores la presión en la actividad docente. , Paidós. at https://dialnet.unirioja.es/servlet/libro?codigo=110437 (1997).
- Maslach, C., Jackson, S. E. The measurement of experienced burnout. Journal of occupational Behavior. 2, 99-113 (1981).
- Maslach, C., Jackson, S., Leiter, M. Maslach Burnout Inventory. , Palo Alto. (1986).
- Kitsantas, A., Winsler, A., Huie, F. Self-Regulation and Ability Predictors of Academic Success During College: A Predictive Validity Study. Journal of Advanced Academics. 20, (2008).
- Deberard, C., Scott, M., Glen, I., Spielmans, D. C. Julka Predictors of academic achievement and retention among college freshmen: a longitudinal study. College Student Journal. 381, 66-80 (2004).
- Healey, J. A. Wearable and automotive systems for affect recognition from physiology. , (2000).
- Vrijkotte, T. G. M., van Doornen, L. J. P., de Geus, E. J. C. Effects of Work Stress on Ambulatory Blood Pressure, Heart Rate, and Heart Rate Variability. Hypertension. 35 (4), (2000).
- Karthikeyan, P., Murugappan, M., Yaacob, S. Descriptive Analysis of Skin Temperature Variability of Sympathetic Nervous System Activity in Stress. Journal of Physical Therapy Science. 24 (12), 1341-1344 (2012).
- de Santos Sierra, A. Design, implementation and evaluation of an unconstrained and contactless biometric system based on hand geometry and stress detection. , (2012).
- Natale, V., Drejak, M., Erbacci, A. Monitoring sleep with a smartphone accelerometer. Sleep and Biological Rhythms. , Available from: http://onlinelibrary.wiley.com/doi/10.1111/j.1479-8425.2012.00575.x/full (2012).
- Guo, F., Li, Y., Kankanhalli, M., Brown, M. An evaluation of wearable activity monitoring devices. Proceedings of the 1st ACM international workshop on Personal data meets distributed multimedia. , http://dl.acm.org/citation.cfm?id=2512882 (2013).
- Wallen, M. P., et al. Accuracy of Heart Rate Watches: Implications for Weight Management. PLOS ONE. 11 (5), e0154420 (2016).
- Wang, R., et al. Accuracy of Wrist-Worn Heart Rate Monitors. JAMA Cardiology. 2 (1), 104 (2017).
- de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. Collection and Processing of Data from Wrist Wearable Devices in Heterogeneous and Multiple-User Scenarios. Sensors. 16 (9), 1538 (2016).
- IDC. Wearables Aren't Dead, They're Just Shifting Focus as the Market Grows 16.9% in the Fourth Quarter, According to IDC. , at https://www.idc.com/getdoc.jsp?containerId=prUS42342317 (2017).
- Mark, H., Ian, W., Eibe, F. Data Mining: Practical Machine Learning Tools and Techniques. , Morgan Kaufmann Publishers. (2011).
- de Arriba Pérez, F., Santos Gago, J. M., Caeiro Rodríguez, M. Analytics of biometric data from wearable devices to support teaching and learning activities. Journal of Information Systems Engineering & Management. 1, 41-54 (2016).
- Machine Learning Group at the University of Waikato. Weka 3 - Data Mining with Open Source Machine Learning Software in Java. , at https://www.cs.waikato.ac.nz/mL/weka/ (2018).
- Zhai, J., Barreto, A. Stress Detection in Computer Users Based on Digital Signal Processing of Noninvasive Physiological Variables. 2006 International Conference of the IEEE Engineering in Medicine and Biology Society. , 1355-1358 (2006).
- Tombaugh, T. N. A comprehensive review of the Paced Auditory Serial Addition Test (PASAT). Archives of Clinical Neuropsychology. 21 (1), 53-76 (2006).
- Fan, Q., Wang, Y. The real-time realization of filtering of speech with DSP TMS320VC5416 Chip. 2010 International Conference on Educational and Information Technology. , (2010).
- González Barajas, J. E., Velandia Cárdenas, C., Nieto Camacho, J. Implementación de filtro digital en tiempo real para detección de la onda R. Revista Tecno Lógicas. 18 (34), 75-86 (2015).
- Mesirov, J. P. Computer science. Accessible reproducible research. Science (New York, N.Y.). 327 (5964), 415-416 (2010).
- American Journal Experts. How to Write an Easily Reproducible Protocol. , at https://www.aje.com/en/arc/how-to-write-an-easily-reproducible-protocol/ (2018).
