Summary
É proposto um protocolo para avaliar soluções baseadas em wearables de pulso commercial-off-the-shelf (COTS) para estimar o stress em estudantes. O protocolo é realizado em duas fases, um teste de indução de estresse de base laboratorial inicial e uma fase de monitoramento ocorrendo na sala de aula, enquanto o estudante está realizando atividades acadêmicas.
Abstract
Wearable dispositivos de commercial-off-the-shelf (COTS) tornaram-se populares durante os últimos anos para monitorar as atividades de esportes, principalmente entre os jovens. Estes dispositivos incluem sensores para obter dados sobre sinais fisiológicos como ritmo cardíaco, temperatura da pele ou resposta galvânica da pele. Através da aplicação de técnicas de análise de dados para estes tipos de sinais, é possível obter estimativas de alto nível aspectos do comportamento humano. Na literatura, existem diversos trabalhos descrevendo o uso de dados fisiológicos coletados usando dispositivos clínicos para obter informações sobre os padrões de sono ou estresse. No entanto, ainda é uma questão em aberto se dados capturados usando wearables pulso de berços são suficientes para caracterizar o estado psicológico dos alunos em contextos educativos. Este artigo discute um protocolo para avaliar a estimativa de esforço de dados obtidos usando wearables pulso de berços. O protocolo é realizado em duas fases. A primeira fase consiste de um experimento de laboratório controlado, onde um aplicativo móvel é usado para induzir a níveis diferentes de estresse em um aluno por meio de um vídeo relaxante, um Stroop Color e palavra teste, um teste de ritmo auditivo adição Serial e um teste de hiperventilação. A segunda fase é realizada na sala de aula, onde o stress é analisada enquanto realizando diversas actividades académicas, nomeadamente atendendo às aulas teóricas, fazendo exercícios e outras atividades individuais e levando os exames e testes de curtos. Em ambos os casos, são considerados tanto dados quantitativos obtidos de wearables pulso de berços e dados qualitativos recolhidos através de questionários. Este protocolo envolve um método simples e consistente com um app de indução de estresse e questionários, exigindo uma participação limitada de pessoal de apoio.
Introduction
Estado-da-arte wearable tecnologias estão amplamente disponíveis, e os ambientes de aplicativos estão continuamente expandindo. Podemos encontrar no mercado muitos dispositivos diferentes, entre os qual um berço wearables pulso1, tais como relógios inteligentes e espertos, bandas, são populares entre os atletas como uma aptidão física pessoal2da ferramenta de monitoramento. Através da aplicação de técnicas analíticas de dados, os dados obtidos usando estes dispositivos podem ser processados para fornecer indicadores como estado físico geral, fator de qualidade ou recuperação de dormir. A aplicabilidade demonstrada neste domínio gerado interesse na comunidade acadêmica sobre sua possível aplicação a outros domínios, especialmente na saúde domínio3,4, apesar de limitam as rigorosas exigências de ensaios clínicos sua introdução. No entanto, em um menos exigente contexto como a educação, podemos encontrar nas investigações recentes literatura envolvendo o uso de diferentes tipos de dispositivos wearable, ambos relacionados ao ensino de atividades5,6 e para a estimativa da certas características do estudante como padrões de sono7, ou a análise de envolvimento dos alunos em diferentes atividades educacionais8.
No nosso caso, nós focamos analisando dispositivos de wearable COTS pulso como meio para coletar os sinais fisiológicos que eventualmente facilitaria a estimativa de estresse, que por sua vez, é um aspecto-chave no contexto educacional. Estresse tem uma influência relevante no desenvolvimento de atividades acadêmicas e desempenho global dos alunos. Por exemplo, os níveis de estresse estão diretamente relacionados com o aparecimento da síndrome de burnout em estudantes de10,9,11, e os níveis de stress elevado são especialmente relevantes durante o ano de caloiro, onde as taxas de abandono entre 20% e 30%12,13 são comuns. Detectar e controlar indicadores de estresse podem melhorar drasticamente o desempenho acadêmico.
Justifica-se a utilização de berços pulso wearable dispositivos porque eles têm sensores que fornecem informações sobre sinais fisiológicos que têm sido amplamente utilizados pela comunidade científica em avaliação de estresse e deteção. Alguns dos sinais referidos na literatura usada para esta finalidade incluem frequência cardíaca (FC)14, frequência cardíaca varaibility15, pele temperatura (ST)16, respiração14e resposta galvânica da pele (GSR)17. Estes sinais podem ser recolhidos por wearables pulso de berços. No entanto, eles não oferecem o mesmo desempenho de dispositivos clínicos. Existem diferenças relacionadas com a precisão dos sensores entre dispositivos18,19,20,21. No entanto, anterior obras18,19,20,21 demonstraram que, em um cenário de movimento lento, sensores de wearable COTS pulso padrões de erro semelhantes a dispositivos especializados.
O objetivo deste trabalho é apresentar um protocolo para avaliar diferentes soluções para estimativa de estresse em estudantes usando wearables pulso de berços. Existem muitos arranjos que podem ser propostos para estimar os níveis de estresse, envolvendo o uso de diferentes pulso wearable dispositivos e dados de análises técnicas e mais especificamente algoritmos de aprendizado de máquina. Wearables de pulso berços são caracterizadas por sua alta interoperabilidade, heterogeneidade e fragmentação problemas22. Três empresas têm uma quota de mercado de agregados de quase 50%23, mas compartilha de muitas outra empresas esclarecem o mercado individual muito menor, com uma quota de agregados acima de 50%. Por outro lado, em termos de heterogeneidade, wearables nem todas têm o mesmo número e tipo de sensores, acelerômetros e sensores h, sendo os mais comuns, e do ST e do GSR só estando presente em 5% dos dispositivos estudados. Quanto a interoperabilidade, existem diferentes sistemas operacionais e dados coleção abordagens que não são compatíveis uns com os outros. Quanto a máquina de aprender técnicas que podem ser aplicadas para estimar o estresse a partir dos dados coletados por meio de um dispositivo de pulso, há muitas opções disponíveis24, incluindo árvores de decisão, redes neurais, mais próximo vizinho abordagens, Naïve Bayes classificadores, etc. em suma, há uma grande variedade de soluções que podem ser desenvolvidas para estimativa de estresse, então é instrumental para projetar um protocolo de avaliação para facilitar a comparação entre diferentes opções provisórias eventualmente selecionar o o mais apropriado em um determinado contexto.
Para a implementação do protocolo, diversas ferramentas são necessários (Figura 1). Em primeiro lugar, um dispositivo wearable de pulso de um berço é necessário buscar dados fisiológicos. Este dispositivo wearable deve ter pelo menos HR monitoramento de recursos, mas os sensores adicionais é desejável (por exemplo, sensores de acelerômetro, ST, GSR). Em segundo lugar, um smartphone rodando o app PhysiologicalSignal é necessário para coletar os dados capturados pelo dispositivo wearable. Em terceiro lugar, um tablet rodando o app StressTest é necessário para executar exercícios de indução de estresse (o smartphone pode ser usado em vez disso, o tablet para essa finalidade). Em quarto lugar, alguns questionários para coletar dados qualitativos na percepção dos alunos sobre stress. Em quinto lugar, um servidor com uma Web serviço25 para realizar coleta de dados e pré-processamento e um painel de controle Web para mostrar a evolução dos sinais. E, finalmente, um pacote analytics dados26 para processar os dados coletados sobre estudantes usando técnicas de aprendizagem de máquina.
O protocolo de avaliação está organizado em duas fases. O primeiro deles, a fase de laboratório, é realizado em um quarto confortável, onde os níveis de estresse diferente (ou seja, "relax", "esforço concentrado" e "estresse") são induzidos a um assunto de destino (um estudante) através de várias tarefas comuns indutoras de stress. A segunda parte tem lugar na sala de aula, e envolve o acompanhamento do aluno durante a realização de várias atividades acadêmicas: explicações teóricas, atividades individuais, poucos testes, exames, etc. durante a execução do Este protocolo, o assunto é fisiológico sinais são capturados por meio de um dispositivo de pulso. Finalmente, estes sinais são processados pela máquina aprendendo algoritmos para fornecer estimativas sobre o nível de estresse.
Durante a fase de laboratório, o StressTest app é usado para induzir a níveis diferentes de estresse. Este app orienta o sujeito para a realização de quatro tarefas diferentes. A primeira tarefa é criar uma linha de base para a análise de stress. Nesta tarefa, o aluno visualiza um vídeo de 4 minutos relaxante em que são mostradas diferentes cenas de um pôr do sol sobre uma ponte. A segunda tarefa é uma adaptação da cor de Stroop e a palavra teste27 (SCWT). A cada dois segundos, o sujeito deve escolher a cor na qual o nome de uma cor é pintado (vermelho, verde, laranja, azul e roxo). Vários botões localizados na parte inferior da tela que contém a letra inicial de cada cor estão disponíveis para o assunto escolher a cor pintada em cada tempo. Por exemplo, o botão que refere-se ao azul retrata a letra B. No nosso caso, este teste é dividido em três diferentes níveis de dificuldade. Para o primeiro nível (SCWT1), as palavras"coloridas de cores" irão aparecer na mesma ordem em que os botões, para que cor e corresponder diretamente. Este nível é tomado como linha de base, como não envolve qualquer dificuldade e o assunto deve apenas pressione os botões corretamente, sempre na mesma ordem. Para o segundo nível (SCWT2), as palavras"coloridas de cores" aparecem aleatoriamente, mas a correspondência entre o nome e a cor é mantida. Cada vez que o assunto falha um sinal sonoro é emitido, e se forem dois erros, a pontuação de cor correta será redefinida. Para a última e mais difícil nível (SCWT3), nome e cor não coincidem. Desta forma este nível destina-se a ser mais complexo e estressante para o assunto. A terceira tarefa consiste o ritmo auditivo adição Serial test (PASAT)28, que mede o quanto o aluno experimenta um teste de concentração. Durante esta tarefa, uma sequência de números consecutivos é jogada em voz alta, e o aluno deve adicionar os dois últimos números e escreva o resultado em fornecida na tela da caixa antes de ouvir o próximo número. Nesta tarefa, se o sujeito comete um erro, um evento perturbador ocorre para gerar stress (dois números de som ao mesmo tempo ou um longo período de silêncio em mantida). Neste caso, se três erros são cometidos, a conta de soma será redefinida. A quarta tarefa consiste em uma atividade de hiperventilação para induzir a mesma variação em sinais fisiológicos que provocaria uma situação estressante,17. No final de cada tarefa e o nível, o assunto tem que indicar o nível de estresse percebido, usando o aplicativo em si, de acordo com uma escala de Likert de 5-valor.
Durante a fase de sala de aula, os alunos realizam suas atividades acadêmicas comuns juntamente com o resto dos seus colegas. O protocolo incide sobre os níveis de stress que ocorrem durante as atividades de sala de aula específica. No final da palestra, um breve questionário (anexo 1) é concluído, o aluno para indicar o nível de percepção de esforço nas várias atividades de acordo com uma escala de 5-valor.
Subscription Required. Please recommend JoVE to your librarian.
Protocol
Todos os métodos descritos a seguir foram aprovados pelo governo regional da Comissão da Galiza para ética em pesquisa de Pontevedra-Vigo-Ourense (código reg. 2017/336). O protocolo foi implementado para estudantes de primeiro ano para a escola de engenharia de telecomunicações - Universidade de Vigo, em uma sala confortável de laboratório e em várias palestras e sessões de treinos de um curso de bacharelado em arquiteturas de computador.
1. prepare os dispositivos
- Conecte o dispositivo de smartphone e tablet para uma conexão de internet estável.
- Ative as comunicações Bluetooth em smartphone.
- No smartphone, pesquise na correspondente oficial app store o aplicativo wearable do pulso. Fazer o download e instalá-lo.
- No smartphone, procure o app PhysiologicalSignals capturar sinais fisiológicos. Fazer o download e instalá-lo.
Nota: Atualmente, o aplicativo é uma versão beta e o acesso pode ser fornecido por solicitação. - A tabuleta, procure o StressTest app ser usado em experimentos de laboratório de pesquisa. Fazer o download e instalá-lo.
Nota: Atualmente, o aplicativo é uma versão beta e o acesso pode ser fornecido por solicitação. - Ligue o dispositivo wearable pulso de berços e coloque o wearable.
- No smartphone, abra o pedido oficial de wearable de pulso em um berço.
Nota: O app seguirá para sincronizar o dispositivo wearable com o smartphone. Em alguns dispositivos, um endereço de email é necessário. - No smartphone, abra o app PhysiologicalSignals.
- No caso de ser notificado de uma solicitação de acesso do sensor, aceitá-lo.
- Verifique se o dispositivo. Espere para o app PhysiologicalSignals exibir a palavra Weared em verde.
Nota: Isso indica que o dispositivo wearable foi detectado e, portanto, a transmissão de informação dos sensores para o smartphone é habilitada. Se esta mensagem não aparecer repita da etapa 1.6.
2. a fase de laboratório
- Prepare o ambiente de laboratório. Escolha uma sala confortável e não incomodando sem ruído perturbador e com uma temperatura confortável (entre 22 ° C e 26 ° C).
- Ligue o dispositivo de pulso wearable, coloque-o em torno do pulso de não-dominante de subject´s e coloque os fones de ouvido na cabeça do aluno. Cabe a wearable firmemente mas confortavelmente em torno do pulso.
- Conecte o smartphone e o tablet para uma conexão de internet estável e verificar se a conexão Bluetooth está ativa.
- No smartphone, inicie o aplicativo PhysiologicalSignals.
- Espere para o app exibir a palavra Weared em verde.
- Selecione a opção de Alterar o usuário no menu de configuração à esquerda e fornecer a identificação do sujeito que irá completar os testes e clique em salvar.
- Em um laptop, acessar o painel de controle e insira a ID e a senha do administrador teste.
Nota: Atualmente, para as preocupações de segurança e privado, acesso ao painel de controle só está disponível sob pedido.- Selecione o ID do assunto e guia de stress do sujeito.
- Verificar a evolução de sinais fisiológicos e espere o dispositivo wearable alcançar estabilidade térmica antes de iniciar o experimento.
Nota: A estabilidade térmica é identificada como um platô no gráfico.
- A tabuleta, inicie o aplicativo StressTest.
- Explica o assunto das tarefas de quatro laboratório. Mostre algumas das telas e ações para realizar durante cada uma das tarefas.
Nota: Isto é muito importante, porque o assunto deve se sentir estressado ou relaxada de acordo com as atividades realizadas e não medo ou preocupação com o que vai acontecer. - Diz o aluno não para descansar os braços sobre a mesa e usar a mão onde o dispositivo wearable é colocado para realizar as atividades.
- Digite a mesma ID de usuário, como na etapa 2.4.2 e clique na seta.
- Explica o assunto das tarefas de quatro laboratório. Mostre algumas das telas e ações para realizar durante cada uma das tarefas.
- Lançar a vídeo tarefa e dar controle total para o aluno.
- Observe que a tarefa seja realizada sem incidentes.
- Quando a tarefa for concluída, verifique que o tema fornece o stress percebido.
- Inicie a tarefa de cor Stroop (SCWT) consecutivamente para os níveis 1, 2 e 3.
- Para cada nível, observe que a subtarefa é realizada sem incidentes.
- Quando cada subtarefa for concluída, verifique que o tema fornece o stress percebido.
- Somente para o nível 3 e somente no caso do assunto não resolvê-lo depois de 4 minutos, finalizar a tarefa pressionando a seta localizada na parte superior da tela.
- Lançar o teste passeado auditivo adição Serial (PASAT).
- Observe que a tarefa seja realizada sem incidentes.
- No caso do assunto não resolve o teste PASAT após 4 minutos, finalizar a tarefa, pressionando a seta localizada na parte superior da tela.
- Quando a tarefa for concluída, verifique que o tema fornece o stress percebido.
- Lançar o teste de hiperventilação.
- Observe a evolução do RH, usando o painel de controle. Se sinais fisiológicos não alterar significativamente, pedir o assunto aumentar gradualmente as taxas de inspiração e expiração.
- No caso do sujeito se sente tonturas ou desconfortável parada esta tarefa. Em qualquer caso, complete a tarefa logo aos quatro minutos.
- Quando a tarefa for concluída, verifique que o tema fornece o stress percebido.
3. a fase de sala de aula
- Ligue o dispositivo de pulso wearable e coloque o wearable em torno do pulso de não-dominante de subject´s. Cabe a wearable firmemente mas confortavelmente em torno do pulso.
- Conecte o smartphone para uma conexão de internet estável e verifique se que a conexão Bluetooth está ativa.
- No smartphone, inicie o aplicativo PhysiologicalSignals.
- Espere para o app exibir a palavra Weared em verde.
- Selecione no menu de configuração, a opção de Alterar usuário , fornecer a identificação do sujeito que irá completar os testes e clique em salvar.
- Em um laptop, acessar o painel de controle e insira a ID e a senha do administrador teste.
- Selecione o ID do assunto e guia de stress do sujeito.
- Verifica a evolução dos sinais fisiológicos.
- Tome anotações sobre qualquer evento relevante que ocorrem na sala de aula em relação a interação aluno-professor.
Nota: Informações relevantes e eventos básicos serão usados para rotular amostras fisiológicas depois. Eventos de exemplo são uma pergunta do professor para o aluno, ou uma explicação teórica é iniciada. - No final da palestra, pedir o assunto para preencher o questionário sobre seu nível de stress em momentos específicos durante a sessão, de acordo com uma escala de 5 níveis.
4. análise de dados
- Em um laptop, acessar o painel de controle e insira a ID e a senha do administrador teste.
- Selecione o ID do assunto e guia de stress do sujeito.
- Selecione o dia de uma experiência de sala de aula.
- Rotule as amostras do sujeito, identificando atividades e níveis de esforço percebido.
- Identifica as atividades de sala de aula e sua duração de acordo com os horários de partida e acabamentos e seus tipos.
- Para cada atividade, selecione um nível de estresse percebido.
- Para cada assunto e cada sessão, baixe o arquivo com as amostras marcados.
Nota: Um vírgula-separados-arquivo CSV (valores) é criado para cada aluno, cada linha, refletindo os valores dos sinais fisiológicos com seu desvio-padrão e diff, inclinação, tipo de atividade, o estresse baseado na atividade (ou seja, o estresse associado Por padrão, a atividade) e o objecto percebido stress. - Lançar o pacote de análise de dados.
- Escolher um conjunto de classificadores (por exemplo, SVM, C4.5, k-NN, Random floresta, Naïve Bayes e R Zero) e importar o arquivo CSV para todos os alunos para cada sessão.
- Treinar e avaliar classificadores usando a técnica de validação cruzada 10 vezes.
Nota: Dependendo da análises, tipo de atividade, baseado na atividade de stress ou stress percebido, selecciona-se como variável dependente para a análise. - Finalmente, verificar os resultados para as taxas de precisão e erro.
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
O protocolo discutido foi posto em prática em um curso de arquiteturas de computador no primeiro ano de engenharia de telecomunicações do grau na Universidade de Vigo. Este curso tem mais de 200 alunos matriculados que estão organizados em 10 grupos de trabalho. Para realizar esta experiência, alunos de quatro dos grupos foram convidados a inscrever-se no início do ano letivo. O projeto atraiu considerável interesse entre os alunos, e cerca de 30 alunos se ofereceu para participar do estudo. Deles, 12 alunos foram selecionados aleatoriamente para participação.
COTS pulso wearable dispositivo selecionado para nossos experimentos tem sensores de RH, ST, GSR e acelerômetro. A escolha do presente wearable baseou-se na sua variedade de sensores e o fornecimento de alimentação de dados em tempo real. Condições técnicas em que sensor de dados são coletados foram também tidos em conta. Captura de dados é executada em determinadas frequências, geralmente impostas pela operação dos sensores, mas também devido às características de poupança de energia do dispositivo. No caso do dispositivo selecionado, HR foi amostrado a cada segundo (1 Hz). O acelerômetro oferecido 62 Hz, 31 Hz e 8 Hz como frequência de amostragem, do qual 8 Hz foi selecionado porque oferece suficiente granularidade para captura de movimento com requisitos de energia razoável quando comparado com outras frequências. GSR pode ser degustada no 0,2 ou 5 Hz. Neste caso, optamos por coletar dados de GSR uma vez a cada 5 segundos. Quanto o acelerômetro, esta frequência fornecida suficiente granularidade mantendo os requisitos de energia ao mínimo. Finalmente, o ST é amostrado na mesma frequência que HR (ou seja, 1 Hz). Dados coletados pelo dispositivo são transferidos para o app PhysiologicalSignals no smartphone cada segundo, incluindo a amostra de RH e ST, o valor de aceleração máxima e o último valor de pólvora coletada. Para reduzir o ruído do HR, o servidor aplica-se para os dados recebidos de um filtro FIR comumente usado em aplicações em tempo real29 e na filtragem de ECG sinais30, usando uma janela de 15-amostra.
Informações coletadas durante o laboratório e as aulas presenciais é armazenado no banco de dados server´s. Esta informação deve ser baixada para ser processado usando um pacote de análise de dados. O conjunto de arquivos de dados gerados contém dos crus sinais dados e variáveis derivadas desses sinais. Mais especificamente, para cada sinal fisiológico bruto (HR, ST, GSR e acelerômetro), seu desvio-padrão (st), inclinação (sl) e a diferença entre o valor presente e o valor extremo nos últimos 30 segundos são registrados.
A fase de laboratório do protocolo foi realizada em um quarto confortável do departamento de engenharia telemática que tem as condições adequadas para o experimento. A Figura 2 mostra a evolução do RH, GSR e ST valores coletados durante uma dessas sessões para um aluno real. Como pode ser visto na figura, variações significativas em sinais fisiológicos ocorrem como o aluno executa cada uma das tarefas (vídeo, STC1, STC2, STC3, PASAT e hiperventilação) incluídas no experimento. Um valor relativamente elevado de HR inicial pode ser observado, provavelmente devido ao estresse induzido ao enfrentar esta tarefa pela primeira vez enquanto sendo monitorado. O rápido crescimento da ST durante o teste de hiperventilação é também digno de nota.
Também observadas durante os experimentos de laboratório foram as variações notáveis em sinais fisiológicos em momentos específicos experimentais, não importa o que esses períodos não foram sempre percebida como estressante pelo aluno alvo. Isto é devido ao fato de que percebida estresse é uma variável subjetiva, e os alunos participantes não concordo plenamente em um conceito comum de stress. Durante a fase de laboratório, pretendia gerar breves períodos de alto estresse. Esses breves períodos de stress as vezes foram definidos como frustração, mas não como o stress, que leva os alunos participantes que respondem de forma diferente para que seus sinais fisiológicos expressas. Este efeito pode ser visualizado nos gráficos na Figura 3. Por exemplo, no intervalo entre 12:15 e 12:20 (conclusão do último teste da cor Stroop e a palavra teste) as fortes variações de GSR são um claro sintoma de stress potencial. Estas variações fortes também estão presentes entre as 12:25 e o final do teste (hiperventilação), mas em ambas as ocasiões, afirmou o usuário sente-se um nível de estresse da mesma forma baixa.
A situação discutida acima salienta o caráter subjetivo da avaliação de estresse em um período tão curto de tempo. Como consequência, entre os candidatos para variáveis dependentes em conjuntos de dados (ou seja, tipo de atividade, baseado na atividade estresse ou stress percebido por assunto) optou-se por estresse baseado na atividade. Esta variável define os níveis de estresse, de acordo com o nível de dificuldade da tarefa dirigida e não nas respostas fornecidas pelos alunos sobre seus níveis de stress percebidos no final de cada tarefa. Desta forma, assistindo vídeo iria ser marcado como "relaxar", enquanto SCWT3 e PASAT iria ser rotulados como "concentração" e o teste de hiperventilação como "stress". Observe que as amostras de SCWT1 e SCWT2 foram descartadas em nosso caso, porque em uma pesquisa piloto anterior observou-se que, em média, SCWT1 e SCWT2 são atividades que mostram uma transição entre uma sensação relaxante (alcançada durante a visualização de vídeo) e estressante um. Por estas razões, nós descartada de nossa análise os sinais a partir destes 2 atividades e foram incluídos somente aqueles de visualização de vídeo, SCWT3, PASAT e hiperventilação atividades. Os RH, ST e GSR variações entre estes Estados (calma, concentração, stress) são resumidas na Figura 4. Esta figura retrata os quartis sinal fisiológico para os níveis de três stress nos 12 alunos envolvidos no experimento. Em geral, RH e GSR sinais aumentam gradualmente como o aluno enfrenta tarefas de dificuldade crescente. Além disso, em todos os casos o nível de temperatura é afetado. No entanto, em alguns casos aumenta para eventos relaxados e diminui em situações estressantes, enquanto em outros casos ocorre apenas o oposto dependendo da pessoa.
A fim de analisar a correlação observada visualmente a variação dos sinais fisiológicos, técnicas de aprendizagem de máquina foram aplicadas sobre arquivos CSV processados. Para evitar variações transitórias iniciais para cada tarefa e o nível, apenas os últimos 3 minutos de cada atividade são considerados para evitar amostras não representativas. Em particular, vários algoritmos de classificação, particularmente SVM, C4.5, k-NN, Random floresta, NaiveBayes e ZeroR, foram treinados para detectar situações de stress dos coletados sinais fisiológicos. Os classificadores treinados tornou-se alta precisão, taxas de erro absoluto médio baixo e detectores de nível de stress índice Kappa alta Cohen, como é mostrado na tabela 1. Para todos os 12 indivíduos e algoritmos (exceto ZeroR), a precisão da detecção de estresse em mais de 90%, o valor do erro absoluto é perto de 0 e índice kappa de Cohen é próximo de 1.
A fase de sala de aula, definida no protocolo teve lugar durante as sessões do curso real nas salas de aula da escola de engenharia de telecomunicações. Várias atividades acadêmicas foram consideradas para este estudo: aulas teóricas; perguntas feitas arbitrariamente pelo professor aos alunos sobre algum aspecto do curso; dúvidas ou questões colocadas ao professor pelos alunos; testes de curtos; exames regulares/finais que consiste de uma coleção de problemas a serem resolvidos pelo aluno em 50-70 minutos.
A visualização da evolução dos sinais fisiológicos, neste caso, mostra que as variações são mais sutis, ou seja, as diferenças nos valores de sinal para diferentes atividades são menores do que durante a fase de laboratório. As variações mais relevantes foram observadas durante as aulas presenciais, em que um regular palestra ocorre depois que um teste é concluído. Neste caso, um ou vários dos sinais fisiológicos sofrem diferenças significativas, conforme ilustrado na Figura 5. Esta figura mostra os sinais capturados para um aluno de frente para um pequeno teste (primeira parte dos gráficos). Durante o ensaio, a variável mais relevante seria HR. Pode-se observar que o aluno tem uma maior taxa de coração, quando comparado ao tempo de aula teórica. Da mesma forma, a temperatura da pele é mantida relativamente baixa quando comparado ao tempo de aula teórica, quando ele gera cerca de 1 ° C.
Para analisar isto de forma numérica, a correlação entre as variações em sinais e as atividades abordadas pelos alunos, técnicas de aprendizagem de máquina foram aplicadas de forma análoga à fase de laboratório. Os resultados para os combinado pop quiz e palestra de sessões mostram uma precisão de classificação média de 97.62% (± 3,82) usando C4.5. Observe que, para a análise dessas sessões, temperatura de pele foi descartado devido a possíveis enviesamentos no resultado final. Durante o período de transição entre o questionário e os seguintes estudantes palestra deixe a sala de aula por aproximadamente 20 minutos, com valores de temperatura afeta drasticamente.
Uma abrangente análise formal das sessões de sala de aula coletados ainda está em andamento. Este é um processo complexo, onde várias situações desafiadoras são abordadas. Primeiras, bruscas variações de curto prazo em sinais fisiológicos são frequentemente observadas com nenhum evento associado geradora de stress. Na maioria dos casos, esses períodos duram menos de um minuto sem nada significativo sendo gravada pelo pesquisador. Outra incidência observada é a instabilidade dos valores de GSR quando o wearable não está bem ajustada ou se ocorrerem movimentos bruscos. Ambas as situações resultam em um muito baixo valores de GSR, perto de 0 µS. De forma semelhante, embora muito menos usual, existem valores incorretos de ST, perto da temperatura ambiente, quando o wearable é muito grande para o pulso do usuário e, portanto, é usado frouxamente. Para eliminar os erros de análise derivados nestas situações, variáveis afetadas são descartadas. Observe que todos os sinais monitorados podem ser candidatos para detectar situações de stress e classificadores diferentes podem ser treinados usando diferentes combinações de sinais, mas valores anômalos comprometeria a classificação não importa o classificador selecionado.
Figura 1 . Ferramentas usadas no protocolo proposto. Esta figura representa todos os elementos envolvidos no protocolo e suas interações. Clique aqui para ver uma versão maior desta figura.
Figura 2 . Salientar a variação em uma sessão de laboratório. Esta figura mostra as diferentes partes em que o protocolo do laboratório é dividido. Cada parte apresenta uma variação clara em sinais fisiológicos. Clique aqui para ver uma versão maior desta figura.
Figura 3 . Salientar a variação percebida por um aluno em uma sessão de laboratório. Esta figura mostra as discrepâncias entre as fortes variações dos sinais fisiológicos de um estudante durante uma sessão de laboratório e sua resposta para o teste de estresse. Clique aqui para ver uma versão maior desta figura.
Figura 4 . Percentis de sinal fisiológico para 12 alunos participantes em uma sessão de laboratório. Esta figura representa um resumo de percentil para cada disciplina. As variações de sinal fisiológico forte entre cada situação de estresse podem ser visualizadas. Clique aqui para ver uma versão maior desta figura.
Figura 5 . RH, ST e GSR variações durante as atividades de sala de aula. Fisiológico sinaliza variação durante um ensaio curto (à esquerda). Variação de sinais fisiológicos durante uma palestra teórica (à direita). Clique aqui para ver uma versão maior desta figura.
| SVM | C45 | Knn | RandomForest | NaiveBayes | ZeroR | |||||||||||||
| StudentID | Precisão | Erro | Kappa | Precisão | Erro | Kappa | Precisão | Erro | Kappa | Precisão | Erro | Kappa | Precisão | Erro | Kappa | Precisão | Erro | Kappa |
| 100 | 99.83 | 0.22 | 1 | 99,75 | 0 | 1 | 100 | 0 | 1 | 100 | 0 | 1 | 98,94 | 0.01 | 0,98 | 43.12 | 0,43 | 0 |
| 101 | 98.77 | 0.22 | 0,98 | 99.76 | 0 | 1 | 99,81 | 0 | 1 | 99.93 | 0.01 | 1 | 98.16 | 0.01 | 0,97 | 48,7 | 0.42 | 0 |
| 102 | 99.56 | 0.22 | 0,99 | 99.83 | 0 | 1 | 99.77 | 0 | 1 | 99.91 | 0.01 | 1 | 93,5 | 0.05 | 0,89 | 52.41 | 0,41 | 0 |
| 103 | 99.71 | 0.22 | 1 | 99,94 | 0 | 1 | 99,97 | 0 | 1 | 99,97 | 0.01 | 1 | 97.24 | 0.02 | 0,96 | 49.64 | 0.42 | 0 |
| 104 | 99.82 | 0.22 | 1 | 99.33 | 0.01 | 0,99 | 100 | 0 | 1 | 99.85 | 0.01 | 1 | 97,09 | 0.02 | 0,96 | 42.05 | 0,44 | 0 |
| 105 | 100 | 0.22 | 1 | 100 | 0 | 1 | 99,84 | 0 | 1 | 100 | 0 | 1 | 99.83 | 0 | 1 | 43,8 | 0,43 | 0 |
| 106 | 98.09 | 0.23 | 0,97 | 99.37 | 0.01 | 0,99 | 99.69 | 0 | 1 | 99.85 | 0.01 | 1 | 96.52 | 0.02 | 0,95 | 47.51 | 0.42 | 0 |
| 107 | 100 | 0.22 | 1 | 100 | 0 | 1 | 99.85 | 0 | 1 | 100 | 0 | 1 | 99,96 | 0 | 1 | 50,44 | 0.42 | 0 |
| 108 | 99.46 | 0.22 | 0,99 | 99.76 | 0 | 1 | 99.76 | 0 | 1 | 100 | 0 | 1 | 98.55 | 0.01 | 0,97 | 59.76 | 0,37 | 0 |
| 109 | 99.54 | 0.22 | 0,99 | 100 | 0 | 1 | 99.78 | 0 | 1 | 99,96 | 0 | 1 | 99.78 | 0 | 1 | 47.34 | 0.42 | 0 |
| 110 | 99,86 | 0.22 | 1 | 99,94 | 0 | 1 | 99.72 | 0 | 1 | 99,9 | 0.01 | 1 | 96,4 | 0.02 | 0.94 | 50.35 | 0.42 | 0 |
| 111 | 99,97 | 0.22 | 1 | 99,84 | 0 | 1 | 100 | 0 | 1 | 100 | 0 | 1 | 99,35 | 0 | 0,99 | 43,7 | 0,43 | 0 |
| Média | 99,55 | 0.22 | 0,99 | 99.79 | 0,00 | 1.00 | 99.85 | 0,00 | 1.00 | 99,95 | 0.01 | 1.00 | 97.94 | 0.01 | 0,97 | 48.24 | 0.42 | 0,00 |
| Desvio-padrão | 0.55 | 0,00 | 0.01 | 0.22 | 0,00 | 0,00 | 0.11 | 0,00 | 0,00 | 0,06 | 0.01 | 0,00 | 1.82 | 0.01 | 0,03 | 4.72 | 0.02 | 0,00 |
Tabela 1 . Precisão, com média erro absolutoe Cohen'valores de índice s Kappa obtidos para SVM, C4.5, k-NN, Random floresta, NaiveBayes e ZeroR máquina aprendizagem classificadores usando os dados da 12 alunos participando da experiência laboratorial.
Subscription Required. Please recommend JoVE to your librarian.
Discussion
Wearable dispositivos berços estão entre os mais populares produtos eletrônicos de consumo disponíveis hoje. Estes dispositivos são normalmente usados para monitorar atividades físicas, mas suas capacidades e desempenho poderiam ser de grande interesse em outras áreas. Neste trabalho, um protocolo para avaliar a utilização de dispositivos de wearable berços para estimar o estresse em ambientes de aprendizagem é discutido. A definição de um protocolo de tal é especialmente relevante para analisar diferentes soluções envolvendo wearables e algoritmos de aprendizagem de máquina. O protocolo destina-se a ser usado em contextos educativos, onde a validação de procedimentos de deteção de stress e sua eventual introdução pode fornecer benefícios de significante. Por exemplo o uso de dispositivos wearable pode contribuir para reduzir os altos níveis de estresse associado para o chamado burnout síndrome9,10,11, e como consequência o abandono a taxa em universidades12 , 13, melhorando o desempenho acadêmico.
Um aspecto importante a considerar é a ligação Bluetooth entre o wearable e o smartphone. Esta conexão sem fio entre dois dispositivos pode ser quebrado durante o teste, por isso é necessário prestar atenção especial a ele através da visualização dos dados recolhidos no painel de controle. Embora a recuperação é executada automaticamente após um curto período de tempo (ou seja, um intervalo que varia de 1 a 10 minutos), esta interrupção pode causar a perda das amostras nesse intervalo. Para reduzir a quantidade de informações perdidas, pode ser conveniente reiniciar manualmente o dispositivo de smartphone. Outro aspecto a ser considerado é o valor de sensor de temperatura inicial da pele, como pode afetar a consecução da estabilidade da pele, que pode ser adiada até a 10 minutos.
As principais vantagens do protocolo proposto nesta pesquisa são sua aplicabilidade para um grande grupo de alunos, sua necessidade mínima de suporte usando aplicativos móveis automatizados, sua simplicidade na preparação dos dispositivos envolvidos no experimento e sua baixa intrusão durante a realização da fase de sala de aula. Este protocolo fornece um método rápido e simples, aplicável em ambientes controlados, tais como salas de aula ou laboratórios universitários. Além disso, habilidades tecnológicas dos alunos participantes não são um problema, como o protocolo é baseado em conceitos técnicos simples e compreensíveis por um estudante de Universidade média independentemente de seu campo acadêmico. Conforme a literatura31, reprodutibilidade em ciências experimentais requer uma descrição clara e exaustiva os protocolos aplicados e os respectivos resultados. O protocolo discutido neste trabalho foi concebido de forma modular, de acordo com passos simples, direta, que facilita a reprodução dos experimentos discutidos e sua extensão de32. Entre os aspectos mais relevantes do projeto facilitando a reprodutibilidade, podemos nomear a concisão, a fase de laboratório e sua implementação automatizada por meio de aplicativos móveis autônomos. Além disso, a fase de sala de aula não exige nenhuma interação com os alunos, além de atividades acadêmicas. A maioria dos estudantes apontou a simplicidade do processo, e não tenho queixas foram relatadas em relação à sua participação nas experiências. Para resumir, provas recolhidas até agora indicam que este protocolo pode ser aplicado aos indivíduos com um perfil mais amplo e em campos diferentes para a educação, tais como centros de saúde ou o local de trabalho. Além disso, este protocolo oferece a possibilidade de estudar as várias soluções de aprendizagem de máquina com o qual deseja testar os melhores algoritmos para implementar dependendo dos requisitos das experiências e no wearable dispositivo selecionado. A utilização de aplicações para induzir stress e para fornecer um painel para exibição e tag amostras facilita a formação de modelos personalizados de stress em uma sessão única de laboratório.
As principais limitações da solução proposta estão relacionadas na variabilidade dos assuntos e a reprodutibilidade de atividades acadêmicas. Recriar exatamente as mesmas condições e situações que ocorrem em sessões de palestra é praticamente impossível. Por outro lado, o estresse experimentado por cada aluno é muito pessoal, como em geral lá são respostas diferentes aos mesmos estímulos. Além disso, há questões relacionadas a hardware relacionadas com wearable próprios dispositivos, tais como métodos de acesso diferentes, diferentes sensores, acesso aos sinais fisiológicos em tempo real, ou a vida útil da bateria. Estes requisitos técnicos restringem wearables elegíveis para uma gama limitada de dispositivos. No nossos casos, elegíveis dispositivos incluem aqueles compatível com capacidades de Bluetooth inteligentes e espertos bandas com um SDK compatível com os principais dispositivos do smartphone SO. O número de dispositivos compatíveis é esperado para aumentar ao longo dos próximos anos.
O protocolo proposto destina-se a servir como um instrumento para eventualmente definir modelos de estudantes mais ricos do que os atualmente utilizados em sistemas de gestão ou sistemas de informação do estudante de aprendizagem. Por exemplo, as novas informações capturadas com o dispositivo wearable de acordo com o protocolo discutido poderiam ser aplicadas para a detecção precoce de situações que afetam o desempenho, tais como fadiga ou estresse e para estudantes de guia para superar essas situações. Uma alternativa ao presente protocolo pode basear-se dispositivos wearable usados também fora da sala de aula, a fim de detectar variações em sinais fisiológicos durante um longo período de tempo. Esta abordagem envolve vários desafios, como a uma temperatura ambiente de constante mudança, ou o assunto sob estudo sendo forçado a estar sempre perto do seu smartphone para evitar perda de dados. Finalmente, este protocolo pode ser também aplicado a outros cursos e níveis educacionais, o que facilitariam a captação de provas adicionais sobre como o estresse influencia desempenho acadêmico para alunos com diferentes habilidades ou campos de estudo.
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
Os autores não têm nada para divulgar.
Acknowledgments
Este trabalho é apoiado pela agência espanhola de investigação sobre o estado e o Europeu fundo Desenvolvimento Regional (FEDER) no âmbito do projecto de PALLAS (TIN2016-80515-R AEI/FEDER, UE).
Materials
| Name | Company | Catalog Number | Comments |
| Microsoft Band 2 | Microsoft | Wearable | |
| Nexus 5 | LG/Google | Smartphone | |
| PhysiologicalSignals | Developed by the paper authors | App to collect data from wearables | |
| StressTest | Developed by the paper authors | App to develop laboraty experiment: Video visualization, Stroop color and word test, paced auditory serial addition test (PASAT) , hyperventilation activity | |
| Quizs | Developed by the paper authors | Questionnaires to collect qualitative data on students’ perception on stress | |
| Server | Developed by the paper authors | Server to store, analyze and display data | |
| Weka application | University of Waikato | Application to process the data using machine learning techniques |
References
- IDC. Forecasts Wearables Shipments to Reach 213.6 Million Units Worldwide in 2020 with Watches and Wristbands Driving Volume While Clothing and Eyewear Gain Traction. , at http://www.idc.com/getdoc.jsp?containerId=prUS41530816 (2016).
- Piwek, L., Ellis, D. A., Andrews, S., Joinson, A. The rise of consumer health wearables:promises and barriers. PLoS Medicine. 13 (2), (2016).
- Rudner, J., et al. Interrogation of Patient Smartphone Activity Tracker to Assist Arrhythmia Management. Annals of Emergency Medicine. 68 (3), 292-294 (2016).
- Gao, Y., Li, H., Luo, Y. An empirical study of wearable technology acceptance in healthcare. Industrial Management & Data Systems. 115 (9), 1704-1723 (2015).
- Lukowicz, P., et al. Glass-physics: using google glass to support high school physics experiments. Proceedings of the 2015 ACM International Symposium on Wearable Computers - ISWC '15. , 151-154 (2015).
- Sapargaliyev, D. Wearables in Education: Expectations and Disappointments. , 73-78 (2015).
- de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. How do you sleep? Using off the shelf wrist wearables to estimate sleep quality, sleepiness level, chronotype and sleep regularity indicators. Journal of Ambient Intelligence and Humanized Computing. , 1-21 (2017).
- Espinosa, H. G., Lee, J., Keogh, J., Grigg, J., James, D. A. On the Use of Inertial Sensors in Educational Engagement Activities. Procedia Engineering. 112, 262-266 (2015).
- Travers, C. J., Cooper, C. L. El Estrés de los profesores la presión en la actividad docente. , Paidós. at https://dialnet.unirioja.es/servlet/libro?codigo=110437 (1997).
- Maslach, C., Jackson, S. E. The measurement of experienced burnout. Journal of occupational Behavior. 2, 99-113 (1981).
- Maslach, C., Jackson, S., Leiter, M. Maslach Burnout Inventory. , Palo Alto. (1986).
- Kitsantas, A., Winsler, A., Huie, F. Self-Regulation and Ability Predictors of Academic Success During College: A Predictive Validity Study. Journal of Advanced Academics. 20, (2008).
- Deberard, C., Scott, M., Glen, I., Spielmans, D. C. Julka Predictors of academic achievement and retention among college freshmen: a longitudinal study. College Student Journal. 381, 66-80 (2004).
- Healey, J. A. Wearable and automotive systems for affect recognition from physiology. , (2000).
- Vrijkotte, T. G. M., van Doornen, L. J. P., de Geus, E. J. C. Effects of Work Stress on Ambulatory Blood Pressure, Heart Rate, and Heart Rate Variability. Hypertension. 35 (4), (2000).
- Karthikeyan, P., Murugappan, M., Yaacob, S. Descriptive Analysis of Skin Temperature Variability of Sympathetic Nervous System Activity in Stress. Journal of Physical Therapy Science. 24 (12), 1341-1344 (2012).
- de Santos Sierra, A. Design, implementation and evaluation of an unconstrained and contactless biometric system based on hand geometry and stress detection. , (2012).
- Natale, V., Drejak, M., Erbacci, A. Monitoring sleep with a smartphone accelerometer. Sleep and Biological Rhythms. , Available from: http://onlinelibrary.wiley.com/doi/10.1111/j.1479-8425.2012.00575.x/full (2012).
- Guo, F., Li, Y., Kankanhalli, M., Brown, M. An evaluation of wearable activity monitoring devices. Proceedings of the 1st ACM international workshop on Personal data meets distributed multimedia. , http://dl.acm.org/citation.cfm?id=2512882 (2013).
- Wallen, M. P., et al. Accuracy of Heart Rate Watches: Implications for Weight Management. PLOS ONE. 11 (5), e0154420 (2016).
- Wang, R., et al. Accuracy of Wrist-Worn Heart Rate Monitors. JAMA Cardiology. 2 (1), 104 (2017).
- de Arriba Pérez, F., CaeiroRodríguez, M., Santos Gago, J. M. Collection and Processing of Data from Wrist Wearable Devices in Heterogeneous and Multiple-User Scenarios. Sensors. 16 (9), 1538 (2016).
- IDC. Wearables Aren't Dead, They're Just Shifting Focus as the Market Grows 16.9% in the Fourth Quarter, According to IDC. , at https://www.idc.com/getdoc.jsp?containerId=prUS42342317 (2017).
- Mark, H., Ian, W., Eibe, F. Data Mining: Practical Machine Learning Tools and Techniques. , Morgan Kaufmann Publishers. (2011).
- de Arriba Pérez, F., Santos Gago, J. M., Caeiro Rodríguez, M. Analytics of biometric data from wearable devices to support teaching and learning activities. Journal of Information Systems Engineering & Management. 1, 41-54 (2016).
- Machine Learning Group at the University of Waikato. Weka 3 - Data Mining with Open Source Machine Learning Software in Java. , at https://www.cs.waikato.ac.nz/mL/weka/ (2018).
- Zhai, J., Barreto, A. Stress Detection in Computer Users Based on Digital Signal Processing of Noninvasive Physiological Variables. 2006 International Conference of the IEEE Engineering in Medicine and Biology Society. , 1355-1358 (2006).
- Tombaugh, T. N. A comprehensive review of the Paced Auditory Serial Addition Test (PASAT). Archives of Clinical Neuropsychology. 21 (1), 53-76 (2006).
- Fan, Q., Wang, Y. The real-time realization of filtering of speech with DSP TMS320VC5416 Chip. 2010 International Conference on Educational and Information Technology. , (2010).
- González Barajas, J. E., Velandia Cárdenas, C., Nieto Camacho, J. Implementación de filtro digital en tiempo real para detección de la onda R. Revista Tecno Lógicas. 18 (34), 75-86 (2015).
- Mesirov, J. P. Computer science. Accessible reproducible research. Science (New York, N.Y.). 327 (5964), 415-416 (2010).
- American Journal Experts. How to Write an Easily Reproducible Protocol. , at https://www.aje.com/en/arc/how-to-write-an-easily-reproducible-protocol/ (2018).
