Artículo de método

Validación cualitativa y cuantitativa de herramientas con escalas de calificación orientadas a evaluar la calidad del aprendizaje-servicio universitario

DOI:

10.3791/68648

⸱

29 de agosto de 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

En este artículo

Resumen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

En este trabajo se describe el protocolo para validar cualitativa y cuantitativamente un instrumento de aprendizaje-servicio universitario, siguiendo el criterio de parsimonia para crear la versión más robusta y óptima posible. Para este propósito se utiliza el método de validación cualitativa Delphi y el Análisis Factorial Exploratorio de Mínimos Cuadrados No Ponderados Robustos, como método cuantitativo de optimización de ítems.

Resumen

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

El aprendizaje-servicio (APS) se ha convertido en una metodología de aprendizaje altamente efectiva en los últimos años, cerrando la brecha entre la teoría y la práctica al tiempo que contextualiza el aprendizaje en escenarios del mundo real. Se ha implementado con éxito en todos los niveles de educación superior, lo que ha dado lugar a mejoras notables en las habilidades de los estudiantes universitarios. Sin embargo, como metodología transformadora, el APS aún se encuentra en las primeras etapas de desarrollo en términos de métodos de evaluación. En consecuencia, existe una necesidad urgente de diseñar y validar instrumentos de medición fiables y, sobre todo, válidos, ya que la aplicación de la APS a contextos del mundo real es su valor principal. Este artículo demuestra cómo diseñar y validar de manera óptima los instrumentos universitarios de APS para evaluar la calidad de las experiencias de APS a nivel universitario desde el punto de vista de los profesores universitarios, guiados por el principio de parsimonia. El método Delphi modificado en línea, el Análisis Factorial Exploratorio de Mínimos Cuadrados No Ponderados Robustos y el Análisis Factorial Confirmatorio se han aplicado para crear un nuevo instrumento, el QaSLu-27, validado a través de una muestra de 16 expertos que utilizan el método Delphi modificado en línea y 118 profesores universitarios que implementan proyectos de APS. Los resultados muestran condiciones psicométricas óptimas para el nuevo instrumento (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI= 0,979; WRMR= 0,0985; RMSEA= 0,046), lo que lleva al desarrollo de nuevas escalas de calificación que permiten comparaciones de futuros usuarios de esta metodología, considerando sus características atribucionales y demográficas. El diseño de nuevos instrumentos validados, capaces de ser utilizados en el mundo real y que permitan la creación de escalas, será de gran utilidad para medir la implementación de nuevas experiencias en APS, para evaluar su progreso, sus participantes, sus gestores y sus monitores, contribuyendo al establecimiento de este campo de estudio en el marco académico actual y en la generación de nuevo conocimiento científico.

Introducción

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

El aprendizaje-servicio (AP), un enfoque educativo que integra el aprendizaje académico con el servicio comunitario, ha ganado cada vez más reconocimiento en la educación contemporánea. Este enfoque pedagógico permite a los estudiantes aplicar el conocimiento del aula a los desafíos del mundo real, al tiempo que fomenta la responsabilidad cívica y la participación de la comunidad1. No se puede exagerar la importancia del APS en la educación actual, ya que equipa a los estudiantes con competencias profesionales prácticas, promueve el compromiso cívico y proporciona una comprensión más profunda de los problemas sociales2.

La investigación reciente sobre el APS ha crecido significativamente, impulsada por el creciente reconocimiento de su potencial para mejorar tanto el aprendizaje académico como la participación de la comunidad. Este crecimiento está impulsado por la creciente demanda de modelos educativos que no solo promuevan el desarrollo académico, sino que también aborden los desafíos sociales3. Los estudiantes han explorado los diversos impactos del APS, desde la promoción de la justicia social hasta el cultivo de la mentalidad cívica entre los estudiantes4. Además, la investigación sobre el aprendizaje-servicio se ha centrado cada vez más en su aplicación en campos específicos como STEM, atención médica y ciencias ambientales, donde la resolución de problemas del mundo real es fundamental 5,6,7. A medida que se expande el cuerpo de literatura, los investigadores también están comenzando a explorar cómo el aprendizaje-servicio puede cerrar efectivamente la brecha entre la teoría y la práctica de manera que sea significativa tanto para los estudiantes como para las comunidades a lasque sirven.

Sin embargo, a pesar de su papel creciente, siguen existiendo importantes desafíos para medir la eficacia de los programas de APS9. Existen diversas propuestas en forma de rúbrica, como las de Furco10, Martín et al.11, Lorenzo y Belando-Montoro12, Shek et al.13, o Lu y Lambright14, que, a pesar de su probada utilidad en estudios de campo, aún no han sido validadas. Por otro lado, existen otras propuestas, como las de Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19, o Gul et al.20 que carecen de validación cualitativa o presentan validaciones cuantitativas muy limitadas. Otras deficiencias observadas en las herramientas de evaluación anteriores son la falta de optimización de factores e ítems para cumplir con el principio de parsimonia y la falta total de escalas de calificación. Esta situación es común en los nuevos campos científicos y es el proceso natural por el que pasan todas las áreas de estudio para lograr instrumentos óptimos para su uso generalizado.

En el momento de la creación del Cuestionario para la Autoevaluación de Experiencias Universitarias de Aprendizaje-Servicio (QaSLu), una herramienta para evaluar la calidad de las experiencias de APS a nivel universitario desde el punto de vista de los profesores universitarios, las herramientas más reconocidas que definieron los estándares para asegurar la calidad de las experiencias de APS fueron las siguientes: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín y Rubio-Serrano (2017)25, y Rubio-Serrano, Puig-Rovira, Martín y Palos (2015)26. Si bien ahora existen herramientas adicionales, los instrumentos de medición actuales a menudo no logran capturar adecuadamente los resultados de aprendizaje amplios y matizados asociados con estos programas, especialmente en términos de crecimiento personal a largo plazo, impacto en la comunidad, y algunos son demasiado generales o no se basan en marcos científicos rigurosos 9,27. Esta brecha en las herramientas de medición dificulta una comprensión integral y la optimización del impacto del APS tanto en los estudiantes como en las comunidades.

El siguiente paso en el avance de la investigación de SL implica desarrollar instrumentos de medición científicamente rigurosos. Estas herramientas deben diseñarse no solo para capturar los resultados académicos, sino también para evaluar los impactos personales y sociales que el SL puede tener en los estudiantes y las comunidades a las que sirven. Nuestra investigación tiene como objetivo abordar esta brecha mediante la creación de un instrumento basado en el rigor científico, que ofrezca una evaluación más completa de los proyectos de APS y guíe su implementación futura.

Además de crear el instrumento, se validará, primero cualitativamente y luego cuantitativamente. Para la validación inicial, se utilizará el método Delphi en línea modificado28. El término "modificado" se refiere a la propuesta de Cabero de limitar el método Delphi a dos rondas de consulta, evitando así el abandono entre los miembros del grupo de expertos. El término "online" fue introducido por Cruz-Ramírez y Rúa-Vásquez29 para destacar que las consultas se realizaban vía correo electrónico, ya que Internet ayuda a superar ciertas limitaciones inherentes a Delphi tradicionales, como el pensamiento grupal o la influencia de las opiniones dominantes de expertos, que podrían afectar la selección de ítems 30,31.

Utilizando el método Delphi en línea modificado, se evaluarán dos tipos de validez: la validez de constructo, siguiendo el proceso descrito en el estudio de Bakieva et al.32, donde se consulta a expertos sobre la relevancia de cada ítem, y la validez de contenido, a partir del trabajo de Gil y Pascual-Ezama33, que evalúa la claridad de cada ítem a través de la consulta de expertos.

A los expertos se les proporcionará una escala Likert que contiene cuatro opciones de respuesta (ninguna, poco, bastante, mucho). Al no introducir alternativas de respuesta intermedia, los expertos deben tomar una posición definitiva a favor o en contra de cada ítem34, facilitando así el proceso de toma de decisiones sobre si mantener o eliminar ítems del cuestionario.

En cuanto a la validación cuantitativa, se basa en la ley de la parsimonia, un principio fundamental en la ciencia que establece que, dado un problema científico, en igualdad de condiciones, es preferible la solución más corta35,36. Por lo tanto, la búsqueda del instrumento válido más corto y optimizado ofrece las mismas garantías científicas, siendo más práctico, exportable y general para el uso cotidiano en contextos reales sin sacrificar la fiabilidad ni la validez. El Análisis Factorial Confirmatorio (AFC)37 y el Análisis Factorial Exploratorio de Mínimos Cuadrados No Ponderados Robustos (RULS)38,39 se utilizarán como técnicas analíticas para reducir ítems innecesarios y validar la estructura final del instrumento. Los índices de ajuste y confiabilidad se utilizan como indicadores de la validez de la nueva estructura con respecto a la anterior, tomando como referencia mantener o mejorar la confiabilidad y validez del instrumento optimizado dentro de los niveles que garantizan la adecuación y robustez de la nueva estructura del cuestionario reducido y optimizado.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo fue aprobado éticamente en 2020 por la Comisión Nacional de Investigación Científica y Tecnológica de Chile (CONICYT Fondecyt/Iniciación) bajo el número de aprobación: 11170623. Un grupo de expertos externos revisó y validó todo el proceso. De acuerdo con la Declaración de Helsinki40, se requirió que los participantes proporcionaran un consentimiento informado por escrito para participar en el estudio, y se les comunicó claramente que no participarían en ninguna condición experimental.

1. Diseño del primer borrador de un QaSLu

  1. Realizar un análisis de contenido de los ítems de las herramientas primarias reconocidas para evaluar las experiencias de APS. Para ello, se revisaron los ítems de las herramientas internacionales que definen estándares para garantizar la calidad de las experiencias de APS, así como las principales rúbricas reconocidas por la comunidad de expertos en APS.
    NOTA: Como resultado de esta revisión, QaSLu aborda explícitamente la justicia social, un enfoque característico de la SL europea.
  2. Clasifique todos los elementos en función de las fases involucradas en el diseño de experiencias de NM (1. Diseño, 2. Implementación, 3. Evaluación) y la aplicación de experiencias de APS (A. Fase inicial, B. Planificación, C. Ejecución, D. Cierre y replicación).
    NOTA: Para garantizar la confiabilidad de la categorización, se utilizó la concordancia absoluta entre evaluadores, aceptando solo aquellas categorizaciones en las que todos los autores estuvieron de acuerdo.
  3. Seleccione los ítems finales para el primer borrador del instrumento de evaluación del Aprendizaje-Servicio Universitario (USL).
    1. En primer lugar, eliminar los elementos duplicados dentro de cada categoría, tanto en las fases relacionadas con el diseño como en la aplicación de las experiencias de APS.
    2. En segundo lugar, se eliminan los elementos no pertinentes que no se ajusten a los objetivos del nuevo instrumento.
    3. Finalmente, crear o adaptar ítems para que se adapten a la población objetivo (profesorado universitario) y a los objetivos del estudio (evaluar la calidad de las experiencias de APS).
      NOTA: QaSLu está diseñado para el aprendizaje-servicio universitario. Si bien la mayoría de las herramientas evaluaron la calidad del APS a nivel universitario, algunos ítems de herramientas anteriores tuvieron que ser reformulados y se crearon nuevos ítems para garantizar que QaSLu se adaptara completamente al contexto universitario.
  4. Diseñar el primer borrador del cuestionario para cumplir con los objetivos del estudio.
    NOTA: El borrador de QaSLu se creó con Microsoft Word para facilitar el intercambio y la modificación. Inicialmente, constaba de 54 ítems respondidos a través de una escala Likert de 5 puntos (Nunca, Rara vez, A veces, Casi siempre, Siempre). El cuestionario se diseñó teniendo en cuenta una estructura de un solo factor o componente principal para que su puntaje final pudiera usarse para comparar a los usuarios según sus características mediante escalas de calificación estandarizadas.

2. Selección del grupo de expertos para el método Delphi

  1. Seleccione una gran muestra de expertos en USL que puedan evaluar el instrumento diseñado previamente. En este proceso, establezca criterios esenciales de inclusión: 1. Un mínimo de cuatro años de experiencia en investigación y diseño/implementación de experiencias de USL; 2. Membresía en un cuerpo académico universitario; y 3. Ser doctorando o doctorado.
    NOTA: Con base en los criterios de inclusión, se creó una lista de 20 expertos que podrían desempeñar un papel destacado en la comunidad de la USL.
  2. Enviar un correo electrónico a todos los expertos seleccionados en el paso 2.1, explicando los objetivos de la investigación, las fases del método Delphi, los plazos previstos, los criterios de inclusión, y preguntando sobre su disponibilidad y disposición para participar en el proceso de validación, junto con su aceptación del consentimiento informado por escrito.
    NOTA: Todos los expertos aceptaron participar.
  3. Configure el grupo de expertos final para evaluar el instrumento definitivo para evaluar USL. Establecer los nuevos criterios de inclusión en función de las características de los expertos que aceptaron participar. La configuración final del grupo de expertos tuvo como objetivo: 1. Diversidad académica y profesional, es decir, representación de diferentes estratos académicos; 2. Diversidad geográfica en los lugares donde se llevaron a cabo las experiencias de APS; y 3. Diversidad de género.
    NOTA: Dieciséis expertos de la USL se comprometieron y completaron el proceso en su totalidad. El grupo final de expertos estaba formado por un 75% de mujeres y un 25% de hombres.

3. Validación cualitativa del cuestionario QaSLu a través del Método Delphi en línea modificado

  1. Enviar un correo electrónico a cada miembro del grupo de expertos con una plantilla para evaluar los elementos del primer borrador del instrumento para evaluar la USL, junto con las instrucciones pertinentes (Ronda 1 del Método Delphi).
    NOTA: Los expertos evalúan la relevancia (validez de constructo) y la claridad (validez de contenido) de cada ítem utilizando una escala Likert de 4 puntos, donde 1 representa "no relevante o no claro" y 4 representa "muy relevante o muy claro". Al lado de cada elemento, hay un cuadro para evaluar la relevancia y otro para mayor claridad, donde los expertos deben calificar cada elemento en una escala del 1 al 4. Debajo de estos recuadros, una sección adicional les permite explicar cualitativamente su evaluación y sugerir posibles revisiones de los ítems (ver un borrador de muestra del cuestionario proporcionado como Archivo Suplementario 1). Al no incluir ninguna opción de respuesta intermedia, los expertos se vieron obligados a adoptar una postura definitiva, lo que facilitó el proceso de toma de decisiones sobre la retención o eliminación de elementos en el cuestionario.
  2. Recopile las respuestas de los expertos para la Ronda 1 de la consulta Delphi en un solo archivo.
    NOTA: Los expertos tuvieron 2 semanas para completar la evaluación de la relevancia (validez de constructo) y la claridad (validez de contenido) de los 54 ítems de la plantilla.
  3. Calcule el coeficiente de Kendall para determinar el nivel de acuerdo entre las respuestas de los expertos en cuanto a relevancia y claridad.
    1. Primero acceda al menú Analizar > pruebas no paramétricas > Cuadros de diálogo heredados > Ejemplos relacionados con K (consulte la Figura 1). Seleccione todas las respuestas de los expertos en cuanto a relevancia y claridad. Haga esto por separado, primero relevancia y luego claridad.
    2. Mueva los elementos al cuadro Lista de variables de prueba. En la sección Tipo de prueba, seleccione la opción W de Kendall. Finalmente, haga clic en Aceptar para ejecutar el análisis y obtener los resultados correspondientes.
      NOTA: El análisis de concordancia reveló que hubo un acuerdo estadísticamente significativo entre los expertos encuestados sobre la relevancia (validez de constructo) y la claridad (validez de contenido).
  4. Evaluar la validez de constructo (relevancia) y la validez de contenido (claridad).
    1. Realizar un análisis descriptivo utilizando el paquete de software estadístico 1. Primero, seleccione el menú Analizar > Estadísticas descriptivas > frecuencias y, en el cuadro de diálogo Frecuencias , seleccione las puntuaciones de relevancia para todos los elementos del instrumento y agréguelas al cuadro Variables haciendo clic en el icono de flecha.
    2. A continuación, haga clic en el icono Estadísticas , active la casilla Percentil(es) y agregue los percentiles 25, 50 y 75 al cuadro de diálogo Frecuencias: Estadísticas y, a continuación, haga clic en Continuar para volver al cuadro de diálogo Frecuencias .
    3. Finalmente, haga clic en el icono Aceptar para generar los percentiles deseados para cada elemento (consulte la Figura 2). Después de la salida, vaya a Analizar > Estadísticas descriptivas > Descriptivo y, en el cuadro de diálogo Descriptivos , seleccione las puntuaciones de claridad para todos los elementos del instrumento y agréguelas al cuadro Variable(s) haciendo clic en el icono de flecha (consulte la Figura 3). Finalmente, haga clic en Aceptar para generar los resultados.
  5. Eliminar los elementos que el 75% de los expertos consideran muy irrelevantes y reformular los elementos que se calificaron como muy relevantes pero poco claros.
    NOTA: Después de la primera ronda de consultas, se eliminaron 10 elementos del borrador inicial de QaSLu: puntos 4, 5, 9, 16, 27, 45, 51, 52, 53 y 54. Además, se reformularon 16 ítems del primer borrador de QaSLu: ítems 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 y 49. La reformulación o reformulación se basó en las sugerencias de los expertos.
  6. Preparar un informe de resultados para la Ronda 1 de la consulta que incluya lo siguiente: 1. El resultado con respecto al nivel de acuerdo sobre la relevancia o la validez de constructo (coeficiente de Kendall); 2. Los criterios de toma de decisiones establecidos; 3. El número de elementos validados; 4. El número de elementos eliminados; 5. El número de artículos reformulados que aún se están revisando; y 6. La versión modificada del instrumento para evaluar la USL.
    NOTA: El propósito de crear este informe fue informar al grupo de expertos sin abrumarlos con datos excesivos y sin influir en sus evaluaciones futuras.
  7. Enviar un correo electrónico a cada miembro del grupo de expertos con el informe sobre los resultados de la Ronda 1 de la consulta, junto con una plantilla para evaluar los ítems reformulados en la versión modificada del instrumento de evaluación de la USL, con instrucciones específicas (Ronda 2 del Método Delphi).
    NOTA: Los expertos evalúan la claridad (validez de contenido) de cada ítem reformulado utilizando una escala Likert de 4 puntos, donde 1 representa "no relevante o no claro" y 4 representa "muy relevante o muy claro". Junto a cada ítem, hay un cuadro para calificar la claridad con un número del 1 al 4, seguido de otra sección donde pueden explicar cualitativamente su evaluación y proponer posibles revisiones adicionales al ítem (ver un borrador de muestra del cuestionario proporcionado como Archivo Suplementario 2). Al no introducir ninguna opción de respuesta intermedia, los expertos se vieron obligados a adoptar una postura definitiva, ya sea a favor o en contra de los artículos. Esto facilitó el proceso de toma de decisiones con respecto a la inclusión o exclusión de ítems del cuestionario.
  8. Recopile las respuestas de los expertos en la Ronda 2 de la consulta Delphi en un solo archivo.
    NOTA: Nuevamente se les dio a los expertos dos semanas para completar su evaluación de la claridad (validez de contenido) de los 16 ítems de la plantilla.
  9. Repita los pasos de 3.3, pero esta vez seleccione solo los puntajes de claridad para los elementos reformulados del instrumento e incorpórelos al cuadro Variable(s).
  10. Repita los pasos de 3.4, eliminando todos los elementos que fueron calificados como altamente claros por el 75% de los expertos.
    NOTA: Después de la segunda ronda de consultas, se eliminaron los siguientes puntos: puntos 1, 23, 31 y 41.
  11. Incluir varios ítems de control con el objetivo de evaluar la consistencia interna en el futuro (se recomienda incluir aproximadamente un ítem de control por cada 10 ítems).
    NOTA: Se agregaron cuatro elementos de control a esta versión del instrumento.
  12. Preparar un informe de resultados para la Ronda 2 de la consulta, que incluya lo siguiente: 1. El resultado sobre el nivel de acuerdo sobre la claridad o la validez de contenido (coeficiente de Kendall); 2. Los criterios de toma de decisiones establecidos; 3. El número de elementos validados; 4. El número de artículos eliminados; 5. El número de elementos incluidos como elementos de control; y 6. La versión modificada del QaSLu-45 (41 ítems validados + 4 ítems de control).
    NOTA: La versión final del cuestionario se estructuró de la siguiente manera: 1) Propósito del cuestionario, consentimiento informado por escrito e instrucciones; 2) Organización o institución, género, edad, nivel de educación y años de experiencia profesional en aprendizaje-servicio del encuestado (esta información no permite la identificación del participante); 3) Datos sobre la experiencia de aprendizaje-servicio; 4) 45 ítems para la autoevaluación de experiencias de aprendizaje-servicio; y 5) Agradecimiento por la participación (se proporciona un borrador de muestra del cuestionario como Archivo complementario 3).
  13. Envíe el informe de resultados de la segunda ronda de consulta al grupo de expertos, que contiene la versión final del cuestionario diseñado (QaSLu-45), y agradézcales su participación en el Método Delphi en línea modificado.

figure-protocol-1
Figura 1: Cálculo del coeficiente de Kendall en el paquete de software estadístico 1. (1) Haga clic en el icono K Muestras relacionadas; (2) Seleccione la W de Kendall; (3) haga clic en el icono Aceptar. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-2
Figura 2: Extracción de percentiles en el paquete de software estadístico 1. (1) Haga clic en el icono Frecuencias; (2) Haga clic en el icono Estadísticas; (3) en el cuadro de diálogo Frecuencias: Estadísticas, agregue los percentiles. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-3
Figura 3: Extracción de descriptivos en el paquete de software estadístico 1. (1) Haga clic en el icono Descriptivo; (2) Agregue la(s) variable(s); (3) haga clic en el icono Aceptar.

4. Adaptación del cuestionario a la especificación en línea de un servidor seguro

  1. Vaya a la página principal de la plataforma de software como servicio (SaaS) con un servidor privado (consulte la tabla de materiales) como usuario registrado. Este registro debe completarse previamente proporcionando datos personales. Una vez registrado, seleccione Crear su encuesta desde cero (consulte la Figura 4).
  2. Cree la primera página, que debe incluir el consentimiento informado de aceptación obligatoria para continuar.
  3. Cree la segunda página con preguntas atribucionales de los participantes, que se utilizarán en la investigación como variables intervinientes o de control en la investigación.
    NOTA: Este estudio incluye el análisis de tres variables cuantitativas discretas y cinco variables categóricas nominales. A continuación se muestra la descripción operativa de estas ocho variables incluidas en el estudio:
    Sexo: Variable nominal, atributiva y dicotómica con dos niveles (masculino/femenino).
    Edad: Variable cuantitativa discreta que determina la edad del participante en el estudio.
    Experiencia USL: Una variable cuantitativa discreta que mide la experiencia de aprendizaje de servicio del participante. La escala comienza en 0, lo que representa menos de un año de experiencia en aprendizaje-servicio (que no equivale a "sin experiencia"), sin límite superior.
    Nivel académico: Variable nominal, dicotómica con dos niveles (PhD/No PhD), que refleja si el participante tiene un doctorado profesional.
    Organización Colaboradora de la Actividad USL: Variable nominal con cinco niveles (Centros Sociales, ONG, Fundaciones, Escuelas, Alianzas con Instituciones de Educación Superior o Universidades, Administraciones Públicas Gubernamentales, Centros de Mayores y otros centros relacionados con la salud). Esta variable identifica el tipo de organización o institución con la que el participante colabora en la experiencia de aprendizaje-servicio.
    Grupo objetivo de la actividad USL: Una variable nominal con cinco niveles (Grupos con discapacidad, Estudiantes, Minorías étnicas, Personas mayores, Grupos desfavorecidos en riesgo social). Esta variable identifica el grupo de beneficiarios primarios de la actividad de aprendizaje-servicio.
    Modo de intervención para la actividad de la USL: Variable nominal, dicotómica (Aprendizaje servicio exclusivamente presencial / Incluye actividades en línea en su totalidad o en parte). Esta variable indica si la actividad de aprendizaje-servicio implica un componente en línea.
  4. Crear varias páginas para el cuestionario previamente diseñado, incluyendo las preguntas y posibles respuestas, a través de la plataforma SaaS con un servidor privado.
  5. Después de crear y guardar la encuesta (ver el cuestionario final en el Archivo Complementario 2), regrese al menú principal de la plataforma, seleccione el cuestionario y haga clic en el icono Abrir > Cerrar encuesta pública para ponerlo a disposición de los participantes. Luego, haga clic en el ícono Obtener un enlace a la encuesta , eligiendo entre varias opciones para el acceso de los participantes (por ejemplo, un enlace incrustado en un correo electrónico o en un sitio web, un iframe en un sitio web, una ventana emergente en un sitio web o un enlace proporcionado a las computadoras de un centro de llamadas, consulte la Figura 5).
    NOTA: La versión final del cuestionario se estructuró de la siguiente manera: 1) Propósito del cuestionario, consentimiento informado por escrito e instrucciones; 2) Datos de los participantes (institución u organización, edad, sexo, nivel educativo y años de experiencia profesional en aprendizaje-servicio). Esta información garantiza el anonimato de los participantes; 3) Datos sobre la experiencia de aprendizaje-servicio; 4) 45 ítems para la autoevaluación de experiencias de aprendizaje-servicio; y 5) Una sección que expresa gratitud por la participación.

figure-protocol-4
Figura 4: Creación del cuestionario desde cero. (1) Haga clic en el icono Nueva encuesta ; (2) Selecciona Crear tu encuesta desde cero. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-5
Figura 5: Diseño del cuestionario. (1) Edite la encuesta; (2) Agregar y configurar páginas y preguntas; (3-5) Desarrolle páginas, preguntas y respuestas. Haga clic aquí para ver una versión más grande de esta figura.

5. Método de muestreo

  1. Revisar todas las actas de las jornadas organizadas por la Red Española de Aprendizaje-Servicio Universitario en los últimos 3 años. Compile una lista de autores que han trabajado en el aprendizaje-servicio en los últimos años y recopile sus direcciones de correo electrónico.
    NOTA: El muestreo fue incidental y oportunista.
  2. Enviar un correo electrónico a todos los autores invitándolos a participar en el estudio. Vuelva a enviar el correo electrónico una y dos semanas después.
    NOTA: El correo electrónico alentaba a los destinatarios a reenviarlo a los contactos que pudieran estar interesados en participar. Por lo tanto, el método de muestreo incidental se complementó con una técnica de muestreo de bola de nieve.
  3. Acceda a la página principal de la plataforma SaaS como usuario registrado, seleccione el cuestionario creado y haga clic en Resultados. En el menú emergente, haga clic en el icono Cuestionario para acceder directamente a los cuestionarios completados. Elimine cualquier respuesta incompleta o errónea a través de la plataforma SaaS (consulte la Figura 6).
  4. Una vez que los cuestionarios alcancen el número mínimo requerido de participantes (>100), después de excluir las respuestas incompletas, navegue a la página principal de la plataforma SaaS como usuario registrado, seleccione el cuestionario y haga clic en el icono Abrir/Cerrar encuesta pública para cerrar la encuesta y evitar cualquier participación adicional (consulte el Paso 1 en la Figura 5 nuevamente).
    NOTA: Participaron 118 educadores de 43 instituciones de educación superior, de los cuales el 67,80% se identificaron como mujeres y el 32,20% como hombres. La edad promedio fue de 46,16 años (DE = 9,60), con edades comprendidas entre los 24 y los 65 años. En cuanto a la titulación académica, una importante mayoría (76,3%) tenía un título de doctor, mientras que el resto de los participantes tenían al menos un título de licenciatura. En cuanto a la experiencia de aprendizaje-servicio, el promedio fue de 6,69 años (DE = 5,39 años), siendo el más bajo registrado a medio año y el más alto a los 34 años. Las instituciones con las que colaboraron las universidades de los participantes incluyeron centros educativos (incluidas otras universidades), centros sociales, centros de personas mayores, centros de salud, ONG, fundaciones y agencias gubernamentales como ayuntamientos y ayuntamientos. Se formaron alianzas de aprendizaje-servicio con dos tipos de instituciones: centros de educación formal, que comprenden el 50,85% de la muestra, y centros de educación no formal, que comprenden el 49,15% restante. En cuanto a la modalidad de las experiencias de aprendizaje-servicio, el 64,41% fueron presenciales, mientras que el 35,59% involucró algún tipo de actividad virtual.

figure-protocol-6
Figura 6: Obtención de un enlace a la encuesta. (1) Abra la encuesta; (2) Haga clic en el icono Obtener un enlace a la encuesta ; (3) Seleccione el método deseado. Haga clic aquí para ver una versión más grande de esta figura.

6. Validación cuantitativa del cuestionario mediante análisis factorial

  1. Navegue a la página principal de la plataforma SaaS como usuario registrado, seleccione la encuesta creada y haga clic en el icono Resultados . En el menú emergente, haga clic en Exportar y seleccione las opciones detalladas del informe (formato de hoja de cálculo avanzado), en Texto, con una extensión de valores separados por comas (.csv) (ver Figura 7). Una vez que los participantes completen los cuestionarios, exporte los datos a una cuenta de correo electrónico en formato .csv, asegurándose de que se almacenen en un lugar seguro, privado y protegido.
  2. Abra el paquete de software estadístico 1 (consulte Tabla de materiales) y seleccione Menú Archivo > Importar datos > datos CSV. Elija el archivo .csv guardado anteriormente. Este proceso transforma los datos anónimos en el formato de análisis requerido para el paquete de software estadístico 1 (ver Figura 8).
  3. Seleccione las variables a analizar estadísticamente (Sexo, Edad, Calificación educativa, Organización colaboradora de la actividad USL, Grupo objetivo de la actividad USL, Modo de intervención para la actividad USL y los 45 ítems de la QaSLu), y elimine cualquier dato irrelevante importado a través del archivo .sav generado por el paquete de software estadístico 1.
  4. Evaluar la consistencia interna del cuestionario QaSLu-45 utilizando el paquete de software estadístico Alpha with statistical de Cronbach 1. Para ello, seleccione el menú Analizar > Escala > Análisis de fiabilidad y transfiera todas las variables relevantes al cuadro de diálogo Análisis de fiabilidad . Finalmente, haga clic en el botón Aceptar para generar el resultado deseado (consulte la Figura 9).
    NOTA: El cuestionario demostró alta confiabilidad y consistencia interna, medida por el Alfa de Cronbach (α = 0,917).
  5. Realizar el análisis factorial exploratorio utilizando el paquete de software estadístico 1.
    1. Para realizar este análisis, seleccione Menú Analizar > Factor de reducción de > de dimensión. En el cuadro de diálogo Análisis factorial , seleccione todos los elementos del cuestionario, luego haga clic en Descriptivos y seleccione Descriptivos univariados y KMO y prueba de esfericidad de Bartlett.
    2. Haga clic en Continuar para volver al menú principal del cuadro de diálogo Análisis factorial . A continuación, haga clic en Extracción y seleccione Componentes principales como método de extracción.
    3. Marque las opciones de Solución factorial no rotada y Gráfico de pedregal, luego haga clic en Continuar nuevamente para volver al menú principal del cuadro de diálogo Análisis factorial . Finalmente, haga clic en el icono Aceptar para generar la salida (consulte la Figura 10).
      NOTA: La significancia de la prueba de esfericidad de Bartlett (χ2 = 2689.72; p = 0.00) y la prueba de adecuación de muestreo de Kaiser-Meyer-Olkin (KMO) (KMO = 0.793) confirman la idoneidad de este análisis factorial debido al fuerte diseño de los ítems y el muestreo para la validación de QaSLu-45. Los resultados del análisis de componentes principales revelaron 13 componentes con valores propios superiores a 1,0, explicando el 69,95% de la varianza total. Sin embargo, el gráfico de sedimentación (ver Figura 11) muestra que el primer componente tiene una relevancia tan desproporcionada que la importancia de los componentes restantes se vuelve insignificante. Por lo tanto, se recomienda reducir el QaSLu-45 a un solo componente, obteniendo así una puntuación final única para el QaSLu-45 diseñado.
  6. Convertir el archivo de resultados del cuestionario, excluyendo las variables de atributo, al formato fijo ASCII (dat), compatible con el paquete de software estadístico 2 (ver Tabla de Materiales).
    1. Primero elimine todas las variables de atributo, dejando solo los ítems del cuestionario como variables en el paquete de software estadístico 1. Luego, seleccione Menú Archivo > Exportar datos > texto fijo (consulte la Figura 12).
    2. Guarde el archivo en una ubicación segura con un nombre reconocible. Este proceso transforma los datos anónimos en el formato requerido para el análisis en el paquete de software estadístico 2.
  7. Realice un análisis factorial confirmatorio (AFC) con el paquete de software estadístico 2 para determinar la bondad del ajuste para el modelo de un factor del cuestionario.
    1. Para realizar este análisis, seleccione Leer datos y, a continuación, en el cuadro de diálogo Ejemplo, haga clic en Examinar y seleccione el archivo ASCII creado anteriormente. El número de participantes y variables se mostrará en verde en la sección Tamaño de las matrices de datos .
    2. A continuación, haga clic en el icono Abrir conjunto de datos de un solo grupo y regrese al menú principal del paquete de software estadístico 2. En el menú principal, haga clic en Configurar análisis. En el menú de diálogo , marque Análisis factorial confirmatorio y haga clic en el botón Confirmar .
    3. En la ventana CFA: Configuración de análisis factorial , acepte la configuración predeterminada y haga clic en Confirmar para volver al menú principal. Finalmente, se verá un mensaje "Análisis factorial confirmatorio listo" en el menú principal; luego, haga clic en el botón Calcular (consulte la Figura 13) y espere los resultados.
      NOTA: Los ítems de QaSLu-45 demostraron una excelente bondad de ajuste robusta según lo evaluado por las medidas de ajuste del modelo CFA. De acuerdo con el criterio sugerido por Kelley, el índice de ajuste comparativo de los ítems de QaSLu-45 fue de >0,95 (CFI = 0,973) ya que la diferencia mínima-máxima en el CFA/grados de libertad fue entre 1 y 3 (CMIN/DF = 1,053), el error cuadrático medio de aproximación fue de <0,06 (RMSEA = 0,042) y el residuo cuadrático medio ponderado fue de <1,0 (WRMR = 0,0978).

figure-protocol-7
Figura 7: Exportación de datos para su uso en los paquetes de software estadístico 1 y 2. (1) Haga clic en el icono Resultados ; (2) Haga clic en el icono Cuestionarios ; (3) Seleccione Texto y CSV en la opción Detallado. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-8
Figura 8: Importación de datos en un paquete de software estadístico 1. Seleccione el menú Archivo > Importar datos > datos CSV. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-9
Figura 9: Evaluación de la consistencia interna del cuestionario. Seleccione el menú Analizar > Escalar > Análisis de confiabilidad. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-10
Figura 10: Realización del análisis factorial exploratorio con el paquete de software estadístico 1. (1) Haga clic en el icono Factores ; (2) Haga clic en el icono Descriptivos ; (3) Seleccione KMO y la prueba de esfericidad de Bartlett en la opción Detallado; (4) Haga clic en el icono de extracción ; (5) Seleccione Trazado de pedregal en la opción Detallado; (6) haga clic en el icono Aceptar . Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-11
Figura 11: Gráfico de sedimentos del análisis factorial de componentes principales en la versión inicial de 45 ítems. Nótese cómo el componente número 1, según el análisis factorial exploratorio, destaca enormemente con respecto al resto, destacando que su relevancia es mucho mayor que la del resto de componentes combinados, verificando que la estructura de un solo factor es la más adecuada para el cuestionario. Esta tabla ha sido reeditada a partir de López-de-Arana Prado et al.9. Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-12
Figura 12: Conversión del archivo de resultados a formato ASCII en formato fijo. (1) Haga clic en el icono de texto fijo ; (2) Seleccione ASCII fijo en el menú Guardar como tipo; (3) haga clic en el icono Guardar . Haga clic aquí para ver una versión más grande de esta figura.

figure-protocol-13
Figura 13: Realización de un análisis factorial confirmatorio con un paquete de software estadístico 2. (1) Haga clic en el icono Leer datos ; (2) Seleccione el archivo ASCII en el menú Muestra; (3) Haga clic en el icono Abrir conjunto de datos de un solo grupo ; (4) Haga clic en el icono Configurar análisis ; (5) Seleccione Análisis factorial confirmatorio en la opción Detallado; (6) haga clic en el icono Aceptar ; (7) haga clic en el icono Computar . Haga clic aquí para ver una versión más grande de esta figura.

7. Optimización del cuestionario para un solo componente principal, reduciendo el exceso de ítems según el principio de parsimonia

  1. Identifique los elementos para eliminar en la versión optimizada del cuestionario que tienen una relación inversa con el componente principal.
    1. Revise la matriz de componentes obtenida en el paso 6.5 utilizando el paquete de software estadístico 1 para determinar qué elementos exhiben una relación inversa con el factor principal. Excluir estos ítems de la versión reducida y optimizada del cuestionario para un solo factor.
      NOTA: Con base en la matriz de puntuación de cada ítem para el componente principal, los ítems 6, 16, 28 y 35 se descartaron de la configuración final porque exhibían una relación inversa con el componente principal. Dado que el cuestionario ofrece una única puntuación final, los ítems inversos deben eliminarse, ya que enmascaran las diferencias reales entre los usuarios del cuestionario.
  2. Realice un análisis factorial exploratorio robusto de mínimos cuadrados no ponderados (RULS) con el paquete de software estadístico 2.
    1. Para llevar a cabo este análisis, seleccione Leer datos, luego en el cuadro de diálogo Muestra, haga clic en Examinar y seleccione el archivo ASCII creado anteriormente. El número de participantes y variables se mostrará en verde en la sección Tamaño de las matrices de datos .
    2. A continuación, haga clic en el icono Abrir conjunto de datos de un solo grupo y regrese al menú principal del paquete de software estadístico 2. En el menú principal, haga clic en Configurar análisis. En el menú de diálogo , seleccione Análisis factorial exploratorio y haga clic en el botón Confirmar .
    3. En el menú de configuración del análisis factorial exploratorio , seleccione los elementos con una relación inversa al componente principal de acuerdo con el análisis factorial exploratorio realizado con el paquete de software estadístico 1 y muévalos al cuadro con el cuadro de variables excluidas.
    4. A continuación, marque las opciones Matriz de correlación de Pearson y Análisis paralelo, cambie el Número de factores/componentes a 1 y seleccione Análisis factorial robusto (consulte la Figura 14). Finalmente, haga clic en el botón Confirmar para volver al menú principal y luego haga clic en Calcular para generar los resultados.
  3. Identifique los elementos para eliminar de la versión optimizada del cuestionario que tengan una Medida de Adecuación de Muestreo (MSA) inferior a 0.49 MSA. Para ello, revisamos los resultados obtenidos del Análisis Factorial Exploratorio RULS con el paquete de software estadístico 2, específicamente los Índices de Ubicación de Ítems y Adecuación de Ítems.
    NOTA: El Análisis Factorial Exploratorio de RULS sugiere descartar 14 ítems para adaptar el diseño a un solo componente principal: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 y 42. Esto da como resultado una configuración final de 27 ítems, optimizada para un solo componente principal, con una alta robustez psicométrica asociada. Esta versión se denominó QaSLu-27 (se proporciona un borrador de muestra del cuestionario como Archivo complementario 4).

figure-protocol-14
Figura 14: Realización de mínimos cuadrados robustos no ponderados con el paquete de software estadístico 2. (1) Haga clic en el icono Leer datos ; (2) Seleccione el archivo ASCII en el menú Muestra; (3) Haga clic en el icono Abrir conjunto de datos de un solo grupo ; (4) Haga clic en el icono Configurar análisis ; (5) Seleccione Análisis factorial exploratorio en la opción Detallado; (6) Compruebe las opciones Matriz de correlación de Pearson y Análisis paralelo ; (7) Cambiar el número de factores/componentes a 1; (8) marque Análisis factorial robusto en las opciones; (9) haga clic en el botón Confirmar ; (10) Haga clic en el icono Computar . Haga clic aquí para ver una versión más grande de esta figura.

8. Revisión de la adecuación de las propiedades psicométricas del QaSLu-27 con respecto al QaSLu-45.

  1. Vuelva a aplicar el paso 6.4, excluyendo del análisis cualquier ítem que no forme parte de la versión optimizada del cuestionario.
  2. Vuelva a aplicar el paso 6.5, excluyendo del análisis cualquier ítem que no forme parte de la versión optimizada del cuestionario.
  3. Vuelva a aplicar el paso 6.7, excluyendo del análisis cualquier ítem que no forme parte de la versión optimizada del cuestionario.
  4. Compare la adecuación de las propiedades psicométricas de la versión optimizada del cuestionario con la versión original en formato de tabla.
    NOTA: Se observó una mejora significativa en la prueba de adecuación de muestreo KMO (KMO = 0,863) y la prueba de esfericidad de Bartlett (χ2 = 1447,76; p = 0,000). El análisis factorial de componentes principales con QaSLu-27 reveló siete componentes con valores propios > 1,0, que representan el 65,59% de la varianza total. Las estadísticas robustas de bondad de ajuste, determinadas mediante AFC, mostraron resultados ligeramente mejorados, y la confiabilidad medida por el alfa de Cronbach, aumentó (α = 0,92), a pesar de que el QaSLu-27 contenía solo 27 ítems en lugar de 45. Estos hallazgos apoyan la conclusión de que la validez y robustez de la configuración final son significativamente mayores que las de la versión de 45 ítems.

9. Desarrollo de escalas de calificación

  1. Cree una nueva variable sumando las puntuaciones de todos los ítems en la versión optimizada del cuestionario.
    1. Seleccione Menú Transformar > Calcular variable y asigne a la nueva variable el nombre SUM27 en el cuadro de diálogo Calcular variable .
    2. Seleccione la función Suma y complete la Expresión numérica, incluidos los elementos de la versión optimizada del cuestionario. Por último, haga clic en el icono Aceptar para generar la nueva variable SUM27 (consulte la figura 15).
  2. Calcule los diferentes percentiles del resultado final a partir de la versión optimizada del cuestionario.
    1. Seleccione el menú Analizar > Estadísticas descriptivas > frecuencias y, en el cuadro de diálogo Frecuencias , seleccione la variable SUM27 y muévala al cuadro Variables haciendo clic en el icono de flecha.
    2. A continuación, haga clic en el icono Estadísticas , seleccione Percentil(es) y agregue los siguientes percentiles: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 y 99. Haga clic en el icono Continuar para volver al cuadro de diálogo Frecuencias. Finalmente, haga clic en el icono Aceptar para generar los percentiles deseados para SUM27 (consulte la Figura 1).
    3. Repita este proceso para cada escala de calificación aplicando filtros de acuerdo con las variables agregadas. Para ello, haga clic en el icono Dividir archivo , seleccione cada variable nominal u ordinal que considere relevante, elija Organizar salida por grupos, haga clic en el icono de flecha y, finalmente, haga clic en el icono Aceptar para generar los percentiles deseados para SUM27, filtrados por cada variable.
  3. Cree una tabla para cada escala de calificación.
    1. Cree una fila para los títulos de las tablas, seguida de una fila para Bajo (con subfilas para los percentiles 1, 10 y 20), Medio/Bajo (con subfilas para los percentiles 30 y 40), Medio (percentil 50), Medio/Alto (con subfilas para los percentiles 60 y 70) y Alto (con subfilas para los percentiles 80, 90 y 99).
    2. En la fila del título, cree varias columnas: la primera etiquetada como Nivel (con los nombres de nivel enumerados a continuación), la segunda etiquetada como Percentil (con cada percentil enumerado a continuación) y, a partir de la tercera columna, enumere los nombres de las diferentes condiciones de la variable seleccionada para cada tabla.
    3. Complete la tabla con el rango de puntuación para los percentiles calculados anteriormente. Es decir, Percentil 1 = 0 -, Percentil 4, Percentil 10 = Percentil 5 - Percentil 14, Percentil 20 = Percentil 15 - Percentil 24, Percentil 30 = Percentil 25 - Percentil 34, Percentil 40 = Percentil 35 - Percentil 44, Percentil 50 = Percentil 45 - Percentil 54, Percentil 60 = Percentil 55 - Percentil 64, Percentil 70 = Percentil 65 - Percentil 74, Percentil 80 = Percentil 75 - Percentil 84, Percentil 90 = Percentil 85 - Percentil 94, y Percentil 99 = Percentil 95 -Percentil 99. Repita este proceso para cada escala de calificación con las variables nominales u ordinales seleccionadas.

figure-protocol-15
Figura 15: Creación de una nueva variable sumando las puntuaciones de todos los elementos en el paquete de software estadístico 1. (1) Haga clic en el icono Calcular variable ; (2) Seleccione la función Suma; (3) complete la Expresión Numérica con todos los elementos; (4) Asigne un nombre a la nueva variable; (5) haga clic en el icono Aceptar . Haga clic aquí para ver una versión más grande de esta figura.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Siguiendo este riguroso protocolo de validación cualitativa-cuantitativa, desarrollamos un instrumento robusto, optimizado y parsimonioso para la autoevaluación de experiencias de aprendizaje-servicio universitario, denominado QaSLu (Cuestionario para la Autoevaluación de Experiencias de Aprendizaje-Servicio en Educación Superior). Este instrumento final ha recibido la aprobación cualitativa de 16 expertos en APS bajo el método Delphi, con dos rondas de consultas y adaptaciones en línea,...

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Discusión

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los métodos utilizados para la validación de instrumentos ofrecen varias ventajas. El método Delphi facilitó la recopilación de información de un panel de expertos, lo que permitió la organización sistemática de esta información para su análisis. Permitió seleccionar y perfeccionar las respuestas sobre la base de las estimaciones y sugerencias de los expertos 32,47,48,49.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Divulgaciones

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los autores no tienen nada que revelar.

Agradecimientos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Los autores desean expresar su agradecimiento a la Comisión Nacional de Investigación Científica y Tecnológica de Chile (CONICYT Fondecyt/Iniciación), así como a todos los expertos que participaron en la validación cualitativa a través del método Delphi y a todos los participantes en la validación cuantitativa y puntuación.

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Materiales

Lista de materiales utilizados en este artículo
NombreEmpresaNúmero de catálogoComentarios
Encuestafacil.com SaasEncuestafacil.com2025Software como servicio en el servidor de datos privado Encuestafacil.com
Análisis factorialUniversitat Rovira i Virgili12.06.07Paquete de software utilizado en el análisis factorial de datos
Paquete estadístico para las ciencias sociales (SPSS)IBM24Paquete de software utilizado en el análisis estadístico de datos

Referencias

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Acceso restringido. Inicie sesión o comience una prueba gratuita para ver este contenido.

Reimpresiones y permisos

Solicitar permiso para reutilizar el texto o las figuras de este artículo de JoVE

Solicitar permiso

Etiquetas

Evaluaci n del Aprendizaje ServicioValidaci n de InstrumentosValidaci n CualitativaAn lisis Factorial ExploratorioAn lisis Factorial ConfirmatorioEvaluaci n Psicom tricaDesarrollo de Cuestionarios

Artículos relacionados