Protocolo multimodal para evaluar la metacognición y la autorregulación en adultos con dificultades de aprendizaje
Summary
El trabajo actual propone un protocolo de evaluación multimodal centrado en los procesos metacognitivos, autorreguladores del aprendizaje y emocionales, que conforman la base de las dificultades en adultos con LDs.
Abstract
Las discapacidades de aprendizaje (CD) abarcan trastornos de aquellos que tienen dificultad para aprender y usar habilidades académicas, exhibiendo un desempeño por debajo de las expectativas para su edad cronológica en las áreas de lectura, escritura y/o matemáticas. Cada uno de los trastornos que componen los LD implican diferentes déficits; sin embargo, algunos puntos en común se pueden encontrar dentro de esa heterogeneidad, como en términos de autoregulación de aprendizaje y metacognición. A diferencia de las primeras edades y los niveles educativos posteriores, apenas hay protocolos de evaluación basados en evidencia para adultos con LDs. Los LD influyen en el rendimiento académico, pero también tienen graves consecuencias en contextos profesionales, sociales y familiares. En respuesta a esto, el trabajo actual propone un protocolo de evaluación multimodal centrado en los procesos metacognitivos, autorreguladores del aprendizaje y emocionales, que conforman la base de las dificultades en adultos con LD. La evaluación se lleva a cabo mediante el análisis del proceso de aprendizaje en línea utilizando una variedad de métodos, técnicas y sensores (por ejemplo, seguimiento ocular, expresiones faciales de emoción, respuestas fisiológicas, verbalizaciones simultáneas, archivos de registro, grabaciones de pantalla de interacciones hombre-máquina) y métodos fuera de línea (por ejemplo, cuestionarios, entrevistas y medidas de autoinforme). Esta directriz teóricamente impulsada y empíricamente tiene como objetivo proporcionar una evaluación precisa de los CD en la edad adulta con el fin de diseñar propuestas eficaces de prevención e intervención.
Introduction
Los trastornos específicos del aprendizaje (SLD) abarcan trastornos de aquellos que tienen dificultad para aprender y utilizar habilidades académicas, exhibiendo un desempeño por debajo de las expectativas para su edad cronológica en las áreas de lectura, escritura y/o matemáticas1,,2. Existen diferentes estimaciones de las tasas de prevalencia en función de la edad, el idioma y la cultura analizadas, pero están entre el 5% y el 15%1,,3. Dentro de la categoría mundial de trastornos del neurodesarrolloth en el Manual Diagnóstico y Estadístico de los Trastornos Mentales (5o Ed.) 1, también es necesario centrarse en la incidencia del Trastorno por Déficit de Atención/Hiperactividad (en adelante TDAH), ya que se trata de un trastorno común que ha dado lugar a diversas controversias sobre cómo abordarlo en los últimos años. Basado en el DSM-51,se puede definir como un patrón de comportamientos persistentes de falta de atención y/o hiperactividad-impulsividad. Asimismo, el trastorno del espectro autista (en adelante ASD) es una categoría en el mismo manual que incluye a los estudiantes que presentan trastornos del neurodesarrollo como resultado de disfunciones multifactoriales del sistema nervioso central, que dan lugar a disfunciones cualitativas en tres áreas fundamentales del desarrollo de la persona: interacción social, comunicación e intereses y comportamientos1,,2.
En estas líneas, ha surgido un nuevo concepto alejándose de la sensación de déficit y ofreciendo un enfoque más positivo de estos trastornos para ser coherente con las ideas actuales de dificultades del neurodesarrollo como altamente coexistentes y superpuestos4. A partir de estos nuevos modelos, se entiende que las habilidades involucradas en procesos cognitivos de alto nivel, que permiten gestionar y regular el comportamiento deseado para alcanzar un objetivo deseado, son cruciales para la autorregulación y, por lo tanto, para las actividades de la vida diaria, incluidas las académicas5. En el contexto de la edad adulta, la neurodiversidad ha evolucionado para incluir varios tipos de dificultades, incluyendo TDAH y TEA, así como dislexia, dispraxia y/o discalculia. En consecuencia, nos acercamos a esta neurodiversidad desde una concepción amplia de las dificultades de aprendizaje (LD). El aumento de los estudiantes con esta diversidad matriculados en la educación postsecundaria está bien documentado y se debe, en parte, al aumento de las tasas de graduación de la escuela secundaria para los estudiantes con discapacidades6,pero al mismo tiempo, hay menos investigación sobre el proceso de aprendizaje de estos estudiantes de lo necesario7.
Cada uno de los trastornos abordados aisladamente implica diferentes déficits y manifestaciones; sin embargo, se puede encontrar cierta similitud dentro de esa heterogeneidad en términos de LD, tales como metacognitivo, autorregulación, y funcionamiento emocional8,9,10,11. Tres fundamentos fundamentales en la literatura del aprendizaje en general, y los LD en particular, que representan la base del aprendizaje exitoso y desempeñan un papel esencial en estas dificultades bien conocidas en el nivel académico12. Además de esto, otros enfoques entienden que podría haber una cierta similitud entre los déficits en las funciones ejecutivas, tales como problemas en el procesamiento automático o la memoria de trabajo, que ocurren en diferentes trastornos como el TDAH y los trastornos de lectura13 o TDAH y TEA5. Sin embargo, todavía queda trabajo por hacer en este campo, ya que no todos los estudios llegan a las mismas conclusiones sobre estos puntos en común en relación con las funciones ejecutivas. Podría deberse a las variaciones presentadas por las muestras a partir de las cuales se basan los estudios y a los procedimientos de evaluación de las funciones ejecutivas utilizadas en las investigaciones5,,14.
En términos educativos, esta mezcla diversa afecta no sólo a la calidad del aprendizaje, debido a la naturaleza fundamental de las funciones afectadas, sino también a fenómenos como la deserción escolar, el cambio de grado, etc., con implicaciones económicas para los gobiernos y las universidades15. La tasa de deserción escolar para los estudiantes con LD es mayor que para los estudiantes de la población general16, pero también más alta que las tasas de deserción para cualquier otra categoría de discapacidades psicológicas, excepto para aquellos estudiantes con trastornos emocionales17. Por el contrario, el número de estudiantes con LD que acceden a la educación post-obligatoria (formación profesional, colegio, etc.) está aumentando15,concretamente en la educación superior19,,20,,21,,22. Además, uno bien podría suponer que hay muchos más estudiantes con DA que aquellos que pasan oficialmente por los servicios estudiantiles y por lo general conforman las estadísticas de prevalencia23.
Estas dificultades no siempre se detectan durante la infancia, especialmente en adultos nacidos antes de que estos trastornos fueran considerados en el sistema académico regular, y los síntomas de estos trastornos persisten a lo largo de la vida de las personas y causan dificultades en el trabajo, la educación y la vida personal24. Las investigaciones han demostrado que aunque las personas podrían superar algunas de sus dificultades, la mayoría continúan presentando dificultades con el aprendizaje durante la edad adulta y su persistencia sigue siendo problemática en los niveles educativos superiores25.
Paradójicamente, a diferencia de los niveles educativos anteriores y las edades anteriores, apenas hay instrumentos basados en evidencia o protocolos de evaluación para adultos con LD. A pesar de la proliferación de herramientas de diagnóstico para evaluar los DATOS durante la infancia, la disponibilidad de instrumentos y metodologías válidos y fiables para la población adulta está significativamente limitada24. Una revisión reciente de la literatura sobre discapacidades de aprendizaje en la educación superior encontró que la mayor parte de la información recopilada en este sentido se hace a través de entrevistas, y sólo ocasionalmente se utilizan cuestionarios de autoinforme26. La metodología y las entrevistas de autoindidancia, aunque valiosas, no son suficientes para evaluar con precisión los procesos metacognitivos, autorreguladores y de habilidades emocionales, de hecho, entre otros, debido a la naturaleza del proceso. La importancia de las escalas y la metodología de entrevistas para medir esos procesos es innegable27,,28,pero también lo son los problemas asociados de validez29 e incongruencia con otros métodos innovadores de evaluación30. Un problema adicional en la detección de LD es el sesgo en el diagnóstico del trastorno debido a la ausencia de protocolos de evaluación integrales. El hecho de que los profesionales no tengan un protocolo de referencia basado en variables objetivas suele causar muchos casos falsos positivos y falsos negativos de LDs31.
En respuesta tanto a la escasez de instrumentos para adultos como a la necesidad de mejorar la metodología existente, el estudio actual propone un protocolo de evaluación multimodal centrado en procesos metacognitivos, autorreguladores y emocionales, que conforman la base de las dificultades en adultos con LD. En línea con la literatura actual, proponemos un paso hacia la medición integradora y multicanal32,,33. La evaluación se lleva a cabo a través de un análisis del proceso de aprendizaje en línea utilizando varios métodos, técnicas y sensores (por ejemplo, entorno de aprendizaje hipermedia, realidad virtual, seguimiento ocular, expresiones faciales de emoción, respuestas fisiológicas, archivos de registro, grabaciones de pantalla de interacciones hombre-máquina) y métodos fuera de línea (por ejemplo, cuestionarios, entrevistas y medidas de autoinforme). Esta metodología mixta proporciona evidencia de la implementación de los procesos objetivo antes, durante y después del aprendizaje que se puede triangular para mejorar la comprensión de cómo los estudiantes aprenden y dónde se encuentra el problema, si hay uno34.
El protocolo de evaluación se lleva a cabo a lo largo de dos sesiones. Las sesiones se pueden hacer en una sola sesión o pueden necesitar aplicaciones parciales dependiendo de la persona. El primero se centra en la detección o confirmación de LDs y a qué tipo específico de trastorno nos enfrentamos, y el segundo está diseñado para entrar en los procesos metacognitivos, autorreguladores y emocionales de cada caso individual en profundidad.
La sesión 1 está destinada a ser una evaluación diagnóstica o de confirmación de las discapacidades de aprendizaje del participante: SLD, TDAH y/o TEA (alto funcionamiento) para determinar qué tipo de problemas específicos tienen los participantes. Esta evaluación es esencial por dos razones. 1) Los adultos con discapacidades de aprendizaje rara vez tienen información precisa sobre su comportamiento disfuncional. Algunos de ellos sospechan que tienen una DA pero nunca han sido evaluados. Otros pueden haber sido evaluados cuando eran niños, pero no tienen ningún informe o información adicional. 2) Puede haber discrepancias con diagnósticos anteriores (por ejemplo, un diagnóstico previo de dislexia en comparación con un diagnóstico actual de déficit de atención y velocidad de procesamiento lenta; diagnóstico previo de TEA en contraste con la capacidad intelectual limitada actual, etc.). El participante es entrevistado, y se aplican cuestionarios y pruebas estandarizadas. Esta sesión aquí es realizada por terapeutas con experiencia en el diagnóstico de dificultades de desarrollo y aprendizaje en el contexto de investigación y clínica en diferentes oficinas de una Facultad de Psicología Española. La sesión comienza con una entrevista estructurada que recopila información biográfica junto con la presencia de síntomas relacionados con los SLD a los que se hace referencia en el DSM-51. A continuación, la prueba de capacidad intelectual de referencia WAIS-IV35 se utiliza en caso de aplicación del criterio de exclusión y porque proporciona información muy valiosa para las dificultades de aprendizaje de las escalas “memoria de trabajo” y “velocidad de procesamiento”36. Además, la Prueba ProLEC SE-Revisada37 se utiliza ampliamente para evaluar discapacidades de lectura (procesos léxicos, semánticos y/o sintácticos de lectura), una de las dificultades más frecuentes e incapacitantes para el aprendizaje en los contextos académicos actuales, que se superpone con otros trastornos como el TDAH38. Esta evaluación recopila la precisión de la lectura, la velocidad y la fluidez junto con las discapacidades de lectura, y lo que es más importante, en qué proceso de lectura se produce37 (esta prueba ha sido evaluada con estudiantes preuniversitarios. Actualmente, no hay pruebas en España que se adapten a la población adulta general, por lo que esta prueba fue seleccionada porque es la más cercana a la población objetivo. A continuación, examinamos los síntomas del TDAH a través de la Escala de Autoindete de TDAH para Adultos de la Organización Mundial de la Salud (ASRS)39 y refinamos la evaluación de este trastorno, introduciendo la multimodalidad con una prueba de rendimiento continuo de realidad virtual de vanguardia para la evaluación de procesos de atención y memoria funcional en adultos, el Acuario Nesplora31,,40. Esta prueba es una herramienta muy útil para diagnosticar el TDAH en adultos y adolescentes mayores de 16 años en un escenario ecológico, proporcionando datos objetivos y fiables. Evalúa la atención selectiva y sostenida, la impulsividad, el tiempo de reacción, la atención auditiva y visual, la perseverancia, la calidad del enfoque atencional, la actividad motora, la memoria laboral y el costo del cambio de tarea. Además, junto con el WAIS-IV35 en su conjunto para recopilar información sobre la capacidad intelectual del participante, prestamos especial atención a las escalas “memoria de trabajo” y “velocidad de procesamiento” porque están relacionadas con dificultades de aprendizaje y los resultados de estas escalas se utilizan en la decisión final. Por último, incluimos el AC-Quotient autismo (AQ-Short)41 en el protocolo, la versión corta del fiable AQ-Adult de Baron-Cohen, Wheelwright, Skinner, Martin y Clubley42.
La Sesión 2 se centra en una evaluación multimodal del proceso de aprendizaje del participante. La clave para entender el aprendizaje complejo reside en entender el despliegue de los procesos cognitivos, metacognitivos, motivacionales y afectivos de los estudiantes43. Con ese fin, los participantes trabajan con MetaTutor, donde se observa el uso de estrategias metacognitivas y cognitivas desplegadas mientras están aprendiendo. MetaTutor es un entorno de aprendizaje hipermedia que está diseñado para detectar, modelar, rastrear y fomentar el aprendizaje autorregulado de los estudiantes mientras aprenden diferentes temas científicos44. El diseño de MetaTutor se basa en una extensa investigación de Azevedo y sus colegas43,45,46,47 y pertenece a una nueva tendencia en la medición de SRL, la llamada tercera onda,que se caracteriza por el uso combinado de las tecnologías de medición y aprendizaje avanzado33. El uso de MetaTutor también proporciona datos traza multimodal, incorporando medidas tales como, seguimiento ocular, respuestas fisiológicas emocionales (respuesta cutánea galvánica (GSR) y expresiones faciales de emociones)48,log-data y cuestionarios. Todas estas medidas se combinan para lograr una comprensión más profunda de los participantes SRL y la metacognición.
El seguimiento ocular proporciona una comprensión de lo que atrae la atención inmediata, qué elementos de destino se ignoran, en qué orden se notan los elementos o cómo los elementos se comparan con otros; la actividad electrodérmica nos permite saber cómo la excitación emocional cambia en respuesta al medio ambiente; el reconocimiento facial-emoción permite el reconocimiento y análisis automático de expresiones faciales; y el registro de datos recopila y almacena la interacción del estudiante con el entorno de aprendizaje para su posterior análisis. En cuanto a los cuestionarios, el Mini International Personality Item Pool49 informa sobre una serie de actividades y pensamientos que las personas experimentan en la vida cotidiana evaluando cada uno de los cinco rasgos principales de la personalidad (extraversión, comodidad, conciencia, neuroticismo y apertura). Los Aspectos Connotantes de las Creencias Epistemológicas50 proporcionan información sobre las creencias de los participantes sobre el conocimiento. La escala de autoestima de Rosenberg muestra cómo se sienten los participantes sobre sí mismos en general51. El Cuestionario de Regulación de Emociones52 proporciona información sobre la regulación de las emociones de los participantes. El Cuestionario de Emociones De Logro (AEQ)53 informa sobre las emociones típicamente experimentadas en la universidad.
En resumen, evaluar los LD durante la edad adulta es particularmente difícil. La educación y la experiencia permiten a muchos adultos compensar sus déficits y luego mostrar síntomas indiferenciados o enmascarados, en los que el conocimiento científico es todavía escaso. Teniendo en cuenta la brecha crítica de investigación que surge, este trabajo actual tiene como objetivo asegurar directrices teóricamente impulsadas y basadas empíricamente para la evaluación precisa de los CD durante la edad adulta con el fin de diseñar acciones eficaces de prevención e intervención.
Para ayudar a los lectores a decidir si el método descrito es apropiado o no, es necesario especificar que el protocolo no es adecuado para personas con discapacidad intelectual porque su diagnóstico invalida el diagnóstico de dificultades de aprendizaje. Además, debido a las singularidades del equipo utilizado y al formato de mostrar el contenido de aprendizaje, todavía no es posible evaluar a las personas con discapacidades motoras (extremidades superiores, cuello y/o cara), discapacidad auditiva o visual. Tampoco sería adecuado para participantes con trastornos psiquiátricos graves. Se requeriría el uso de drogas que podrían alterar el procesamiento de la información o la expresión fisiológica de las emociones.
Protocol
Representative Results
Discussion
El protocolo actual propone una evaluación multimodal centrada en procesos metacognitivos, autorreguladores y emocionales, que conforman la base de las dificultades en adultos con LDs.
La sesión 1 es esencial porque está destinada a ser una evaluación diagnóstica de las discapacidades de aprendizaje del participante. Tenga en cuenta que esta sesión aquí es llevada a cabo por terapeutas con experiencia en el diagnóstico de dificultades de desarrollo y aprendizaje en el contexto de inves…
Disclosures
The authors have nothing to disclose.
Acknowledgements
Este manuscrito fue apoyado por la financiación de la Fundación Nacional de Ciencias (DRL-1660878, DRL-1661202, DUE-1761178, DRL-1916417), el Consejo de Investigación de Ciencias Sociales y Humanidades de Canadá (SSHRC 895-2011-1006), el Ministerio de Ciencias e Innovación I+D+i (PID2019-107201GB-100), y la Unión Europea a través de los Fondos Europeos de Desarrollo Regional (FEDER) y el Principado de Asturias (FC-GRUPIN-IDI/2018/000199). Todas las opiniones, hallazgos, conclusiones o recomendaciones expresadas en este material son las del autor o autores y no reflejan necesariamente las opiniones de la Fundación Nacional de Ciencias o del Consejo de Investigación de Ciencias Sociales y Humanidades de Canadá. Los autores también desean agradecer a los miembros del SMART Lab de LA UCF por su asistencia y contribuciones.
Materials
| AQUARIUM | Nesplora | ||
| Eye-tracker RED500 Systems | SensoMotoric Instruments GmbH | ||
| Face API | Microsoft | ||
| GSR NUL-217 | NeuLog |
References
- American Psychiatric Association. . Diagnostic and statistical manual of mental disorders (5th ed.). , (2013).
- World Health Organization. . International statistical classification of diseases and related health problems (11th Revision). , (2018).
- . Education’s Individuals with Disabilities Education Act. 2018 Annual Report to Congress on the Individuals with Disabilities Education Act Available from: https://sites.ed.gov/idea/data (2018)
- Armstrong, T. The myth of the normal brain: Embracing neurodiversity. AMA Journal of Ethics. 17 (4), 348-352 (2015).
- Berenger, C., Roselló, B., Miranda, A., Baixauli, I., Palomero, B. Executive functions and motivation in children with autism spectrum disorder and attention deficit hyperactivity disorder. International Journal of Developmental and Educational Psychology. 1 (1), 103-112 (2016).
- Brinkerhoff, L. C., McGuire, J. M., Shaw, S. F. . Postsecondary education and transition for students with learning disabilities (2nd ed.). , (2002).
- Allsopp, D. H., Minskoff, E. H., Bolt, L. Individualized course-specific strategy instruction for college students with learning disabilities and ADHD: Lessons learned from a model demonstration project. Learning Disabilities Research & Practice. 20 (2), 103-118 (2005).
- Crane, N., Zusho, A., Ding, Y., Cancelli, A. Domain-specific metacognitive calibration in children with learning disabilities. Contemporary Educational Psychology. 50, 72-79 (2017).
- Harris, K. R., Reid, R. R., Graham, S., Wong, B. Self-regulation among students with LD and ADHD. Learning about Learning Disabilities. , 167-195 (2004).
- National Joint Committee on Learning Disabilities. . Collective Perspectives on Issues Affecting Learning Disabilities. , (1994).
- Sawyer, A. C., Williamson, P., Young, R. Metacognitive processes in emotion recognition: Are they different in adults with Asperger’s disorder. Journal of Autism and Developmental Disorders. 44 (6), 1373-1382 (2014).
- Meltzer, L. . Executive function in education: From theory to practice. , (2018).
- Martino, G., Capri, T., Castriciano, C., Fabio, R. A. Automatic Deficits can lead to executive déficits. Mediterranean Journal of Clinical Psychology. 5 (3), 1-31 (2017).
- Fabio, R. A., et al. Frequency bands in seeing and remembering: comparing ADHD and typically developing children. Neuropsychological Trends. 24, 97-116 (2018).
- Bernardo, A. B., Esteban, M., Cerezo, R., Muñiz, L. J. Principales variables influyentes en el abandono de titulación en la Universidad de Oviedo. Informe PRIOR: PRoyecto Integral de ORientación Académico-Profesional. , (2013).
- Cortiella, C. . Diplomas at risk: A critical look at the graduation rate of students with learning disabilities. , (2013).
- Plasman, J. S., Gottfried, M. A. Applied STEM coursework, high school dropout rates, and students with learning disabilities. Educational Policy. 32 (5), 664-696 (2018).
- Cortiella, C., Horowitz, S. H. . The state of learning disabilities: Facts, trends and emerging issues (3rd Ed). , (2014).
- Chevalier, T. M., Parrila, R., Ritchie, K. C., Deacon, S. H. The role of metacognitive reading strategies, metacognitive study and learning strategies, and behavioral study and learning strategies in predicting academic success in students with and without a history of reading difficulties. Journal of Learning Disabilities. 50 (1), 34-48 (2017).
- Goroshit, M., Hen, M. Academic procrastination and academic performance: Do learning disabilities matter. Current Psychology. , 1-9 (2019).
- Grinblat, N., Rosenblum, S. Why are they late? Timing abilities and executive control among students with learning disabilities. Research in Developmental Disabilities. 59, 105-114 (2016).
- Heiman, T., Fichten, C. S., Olenik-Shemesh, D., Keshet, N. S., Jorgensen, M. Access and perceived ICT usability among students with disabilities attending higher education institutions. Education and Information Technologies. 22 (6), 2727-2740 (2017).
- Couzens, D., et al. Support for students with hidden disabilities in universities: A case study. International Journal of Disability. Development and Education. 62 (1), 24-41 (2015).
- Schelke, M. W., et al. Diagnosis of developmental learning and attention disorders in adults: A review of clinical modalities. Neurology, Psychiatry and Brain Research. 23, 27-35 (2017).
- Madaus, J. W., Shaw, S. F. The impact of the IDEA 2004 on transition to college for students with learning disabilities. Learning Disabilities Research & Practice. 21 (4), 273-281 (2006).
- Santos, C. G., Fernández, E., Cerezo, R., Núñez, J. C. Dificultades de aprendizaje en Educación Superior: un reto para la comunidad universitaria. Publicaciones. 48 (1), 63-75 (2018).
- Jiménez, L., García, A. J., López-Cepero, J., Saavedra, F. J. The brief-ACRA scale on learning strategies for university students. Revista de Psicodidáctica. 23 (1), 63-69 (2018).
- Zimmerman, B. J., Zimmerman, B. J., Schunk, D. H. Motivational sources and outcomes of self-regulated learning and performance. Handbook of Self-Regulation of Learning and Performance. , 49-65 (2011).
- Pike, G. R., Kuh, G. D. A tipology of student engagement for Amer-ican colleges and universities. Research in Higher Education. 46, 185-209 (2005).
- Winne, P. H., Perry, N. E., Boekaerts, M., Pintrich, P. R., Zeidner, M. Measuring self-regulated learning. Handbook of Self-Regulation. , 531-566 (2000).
- Areces, D., Cueli, M., García, T., González-Castro, P., Rodríguez, C. Using brain activation (nir-HEG/Q-EEG) and execution measures (CPTs) in an ADHD assessment protocol. Journal of Visualized Experiments. (134), e56796 (2018).
- Azevedo, R., Taub, M., Mudrick, N. V., Alexander, P. A., Schunk, D. H., Greene, J. A. Understanding and reasoning about real-time cognitive, affective, and metacognitive processes to foster self-regulation with advanced learning technologies. Handbook of Self-Regulation of Learning and Performance. , (2017).
- Panadero, E., Klug, J., Järvelä, S. Third wave of measurement in the self-regulated learning field: when measurement and intervention come hand in hand. Scandinavian Journal of Educational Research. 60 (6), 723-735 (2016).
- Greene, J. A., Azevedo, R. The measurement of learners’ self-regulated cognitive and metacognitive processes while using computer-based learning environments. Educational Psychologist. 45 (4), 203-209 (2010).
- Wechsler, D. A. . Wechsler Adult Intelligence Scale (4th ed.). , (2008).
- Theiling, J., Petermann, F. Neuropsychological profiles on the WAIS-IV of adults with ADHD. Journal of Attention Disorders. 20 (11), 913-924 (2016).
- Cuetos, F., Arribas, D., Ramos, J. L. . Prolec-SE-R, Batería para la evaluación de los procesos lectores en Secundaria y Bachillerato – Revisada. , (2016).
- Mayes, S. D., Calhoun, S. L., Crowell, E. W. Learning disabilities and ADHD: Overlapping spectrum disorders. Journal of Learning Disabilities. 33 (5), 417-424 (2000).
- Kessler, R. C., et al. The World Health Organization Adult ADHD Self-Report Scale (ASRS): a short screening scale for use in the general population. Psychological Medicine. 35 (2), 245-256 (2005).
- Climent, G., Banterla, F., Iriarte, Y. . AULA: Theoretical manual. , (2011).
- Hoekstra, R. A., et al. The construction and validation of an abridged version of the autism-spectrum quotient (AQ-Short). Journal of Autism and Developmental Disorders. 41, 589-596 (2010).
- Baron-Cohen, S., Wheelwright, S., Skinner, R., Martin, J., Clubley, E. The autism-spectrum quotient (AQ): evidence from Asperger syndrome/high-functioning autism, males and females, scientists and mathematicians. Journal of Autism and Developmental Disorders. 31, 5-17 (2001).
- Azevedo, R., Johnson, A., Chauncey, A., Burkett, C., Khine, M., Saleh, I. Self-regulated learning with MetaTutor: Advancing the science of learning with MetaCognitive tools. New Science of Learning. , 225-247 (2010).
- Azevedo, R., Witherspoon, A., Chauncey, A., Burkett, C., Fike, A. MetaTutor: A MetaCognitive tool for enhancing self-regulated learning. 2009 AAAI Fall Symposium Series. , (2009).
- Azevedo, R. Theoretical, methodological, and analytical challenges in the research on metacognition and self-regulation: A commentary. Metacognition & Learning. 4 (1), 87-95 (2009).
- Feyzi-Behnagh, R., Trevors, G., Bouchet, F., Azevedo, R. Aligning multiple sources of SRL data in MetaTutor: Towards interactive scaffolding in multi-agent systems. 18th biennial meeting of the European Association for Research on Learning and Instruction (EARLI). , (2013).
- Harley, J. M., et al. Assessing learning with MetaTutor: A Multi-Agent Hypermedia Learning Environment. Annual meeting of the American Educational Research Association. , (2014).
- Azevedo, R., Feyzi-Behnagh, R., Harley, J., Bouchet, F. Analyzing temporally unfolding self-regulatory process during learning with multi-agent technologies. EARLI Biannual Conference 2013. , (2013).
- Donnellan, M. B., Oswald, F. L., Baird, B. M., Lucas, R. E. The mini-IPIP scales: tiny-yet-effective measures of the Big Five factors of personality. Psychological Assessment. 18 (2), 192 (2006).
- Stahl, E., Bromme, R. The CAEB: An instrument for measuring connotative aspects of epistemological beliefs. Learning and Instruction. 17 (6), 773-785 (2007).
- Gray-Little, B., Williams, V. S. L., Hancock, T. D. An item response theory analysis of the Rosenberg Self-Esteem Scale. Personality and Social Psychology Bulletin. 23, 443-451 (1997).
- Gross, J. J., John, O. P. Individual differences in two emotion regulation processes: implications for affect, relationships, and well-being. Journal of Personality and Social Psychology. 85 (2), 348 (2003).
- Pekrun, R., Goetz, T., Frenzel, A. C., Barchfeld, P., Perry, R. P. Measuring emotions in students’ learning and performance: The Achievement Emotions Questionnaire (AEQ). Contemporary Educational Psychology. 36 (1), 36-48 (2011).
- American Psychiatric Association. . Diagnostic and statistical manual of mental disorders – reviewed (DSM-IV-TR). , (2000).
- . Face API [Computer software] Available from: https://azure.microsoft.com/es-es/services/cognitive-services/face/ (2019)
- Picard, R. W. . Affective computing. , (2000).
- Grills-Taquechel, A. E., Fletcher, J. M., Vaughn, S. R., Stuebing, K. K. Anxiety and reading difficulties in early elementary school: Evidence for unidirectional-or bi-directional relations. Child Psychiatry & Human Development. 43 (1), 35-47 (2012).
- Mammarella, I. C., et al. Anxiety and depression in children with nonverbal learning disabilities, reading disabilities, or typical development. Journal of Learning Disabilities. 49, 130-139 (2014).
- Nelson, J. M., Harwood, H. Learning disabilities and anxiety: A meta-analysis. Journal of Learning Disabilities. 44 (1), 3-17 (2011).
- Arora, M. R., Sharma, J., Mali, U., Sharma, A., Raina, P. Microsoft Cognitive Services. International Journal of Engineering Science. 8 (4), 17323-17326 (2018).
- Bondareva, D., et al. Inferring learning from gaze data during interaction with an environment to support self-regulated learning. International Conference on Artificial Intelligence in Education. , 229-238 (2013).
- Mason, L., Tornatora, M. C., Pluchino, P. Do fourth graders integrate text and picture in processing and learning from an illustrated science text? Evidence from eye-movement patterns. Computers & Education. 60 (1), 95-109 (2013).
- Duffy, M. C., Azevedo, R. Motivation matters: Interactions between achievement goals and agent scaffolding for self-regulated learning within an intelligent tutoring system. Computers in Human Behavior. 52, 338-348 (2015).
- Cerezo, R., et al. Mediating Role of Self-efficacy and Usefulness Between Self-regulated Learning Strategy Knowledge and its Use. Revista de Psicodidáctica. 24 (1), 1-8 (2019).
- Mudrick, N. V., Azevedo, R., Taub, M. Integrating metacognitive judgments and eye movements using sequential pattern mining to understand processes underlying multimedia learning. Computers in Human Behavior. 96, 223-234 (2019).
- Taub, M., Azevedo, R. How Does Prior Knowledge Influence Eye Fixations and Sequences of Cognitive and Metacognitive SRL Processes during Learning with an Intelligent Tutoring System. International Journal of Artificial Intelligence in Education. 29 (1), 1-28 (2019).
- Bogarín, A., Cerezo, R., Romero, C. A survey on educational process mining. Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery. 8 (1), 1230 (2018).
- Cerezo, R., Bogarín, A., Esteban, M., Romero, C. Process mining for self-regulated learning assessment in e-learning. Journal of Computing in Higher Education. , (2019).
- Levenson, R. W. Blood, sweat, and fears. Annals of the New York Academy of Sciences. 1000 (1), 348-366 (2003).
- Meer, Y., Breznitz, Z., Katzir, T. Calibration of Self-Reports of Anxiety and Physiological Measures of Anxiety While Reading in Adults With and Without Reading Disability. Dyslexia. 22 (3), 267-284 (2016).
- Daley, S. G., Willett, J. B., Fischer, K. W. Emotional responses during reading: Physiological responses predict real-time reading comprehension. Journal of Educational Psychology. 106 (1), 132-143 (2014).
- Pekrun, R., Goetz, T., Titz, W., Perry, R. P. Academic emotions in students’ self-regulated learning and achievement: A program of qualitative and quantitative research. Educational Psychologist. 37 (2), 91-105 (2002).
- Antonietti, A., Colombo, B., Di Nuzzo, C. Metacognition in self-regulated multimedia learning: Integrating behavioural, psychophysiological and introspective measures. Learning, Media and Technology. 40 (2), 187-209 (2015).
- Bogarin, A., Cerezo, R., Romero, C. Discovering learning processes using inductive miner: a case study with Learning Management Systems (LMSs). Psicothema. 30 (3), 322-329 (2018).
- Lang, C., Siemens, G., Wise, A., Gašević, D. . Handbook of learning analytics. , (2017).
- Romero, C., Ventura, S., Pechenizkiy, M., Baker, R. S. J. . Handbook of educational data mining. , (2010).
- Azevedo, R., Gašević, Analyzing Multimodal Multichannel Data about Self-Regulated Learning with Advanced Learning Technologies: Issues and Challenges. Computers in Human Behavior. 96, 207-210 (2019).
- Veenman, M. V. J., Van Hout-Wolters, B., Afflerbach, P. Metacognition and Learning: Conceptual and Methodological Considerations. Metacognition Learning. 1, 3-14 (2006).
- Brusilovsky, P., Millán, E., Brusilovsky, P., Kobsa, A., Nejdl, W. User models for adaptive hypermedia and adaptive educational systems. The adaptive web. , 3-53 (2007).
- Taub, M., et al. using multi-channel data with multi-level modeling to assess in-game performance during gameplay with CRYSTAL ISLAND. Computers in Human Behavior. 76, 641-655 (2017).
