Validación cualitativa y cuantitativa de herramientas con escalas de calificación orientadas a evaluar la calidad del aprendizaje-servicio universitario

En el campo emergente del aprendizaje-servicio universitario, carecemos de instrumentos estandarizados que combinen confiabilidad y validez, tanto cualitativa como cuantitativa, y lo suficientemente breves como para ser utilizados fácilmente. La incorporación de calificaciones y escalas permiten la comparación entre profesionales para evaluar la calidad del aprendizaje-servicio universitario. Actualmente, no existe ningún otro instrumento que logre esto.

QaSLu es el primer instrumento creado a través de un riguroso proceso de validación cualitativa y cuantitativa guiado por el principio de parsimonia. Es breve, pero extremadamente sólido científicamente. Este protocolo establece el camino a seguir para nuevos instrumentos científicos que sean válidos, robustos y prácticos.

No solo para el aprendizaje-servicio, sino también en el ámbito de la educación en general. Planeamos crear nuevas calificaciones y escalas para otros grupos diferentes y expandir la muestra participante para mejorar la valoración de QaSLu y hacerla útil en diferentes contextos. Para comenzar, cree el primer borrador de un QaSLu en un escritorio.

Realizar un análisis de contenido de los elementos de las herramientas primarias reconocidas para evaluar las experiencias de aprendizaje-servicio. Revise los elementos de las herramientas internacionales que definen los estándares de calidad y de las rúbricas primarias reconocidas por la comunidad de expertos en aprendizaje-servicio. Clasifique todos los elementos por las fases involucradas en el diseño de la experiencia de aprendizaje-servicio, como el diseño, la implementación y la evaluación.

Luego, clasifique todos los elementos por la aplicación del aprendizaje de servicio, como la fase inicial, la planificación, la ejecución, el cierre y la replicación. Seleccionar una amplia muestra de expertos en aprendizaje-servicio universitario para evaluar el proyecto de instrumento. Configurar el grupo de expertos final para evaluar el instrumento definitivo de evaluación de las USL, con el objetivo de obtener una lista de expertos con diversidad académica y profesional, diversidad geográfica y diversidad de género.

Una vez que se hayan recibido los datos de los expertos en la ronda 1, calcule el coeficiente de concordancia de Kendall para su relevancia haciendo clic secuencialmente en Analizar, Pruebas no paramétricas, Diálogos heredados y K muestras relacionadas. Elija la W de Kendall en Tipo de prueba. Luego seleccione todas las respuestas de los expertos con respecto a la relevancia y la claridad.

Mueva los elementos a la lista Variables de prueba y haga clic en Aceptar para ejecutar el análisis. Después de recibir los comentarios de los expertos de la ronda 2, vuelva a evaluar el coeficiente de concordancia de Kendall antes y elimine los elementos calificados como altamente irrelevantes. Reformular los ítems considerados muy relevantes pero poco claros para mejorar la redacción y la precisión para obtener la versión final del Cuestionario para la Autoevaluación de Experiencias Universitarias de Aprendizaje-Servicio, QaSLu-45.

Una vez que se hayan obtenido suficientes cuestionarios completados, evalúe la consistencia interna del cuestionario utilizando el paquete de software estadístico uno. Haga clic en Analizar, seguido de Escala y, a continuación, en Análisis de confiabilidad. Elija Alfa en el cuadro de diálogo, luego transfiera todas las variables relevantes al cuadro de diálogo Análisis de confiabilidad y haga clic en Aceptar para generar la salida.

Realice un análisis factorial exploratorio en el paquete de software estadístico uno abriendo Analizar, luego haga clic en Reducción de dimensión, seguido de Factor. En el cuadro de diálogo Análisis factorial, transfiera todos los elementos del cuestionario al cuadro Variables, luego presione Descriptivos y KMO y prueba de esfericidad de Bartlett y seleccione Descriptivos univariantes. Haga clic en Continuar.

A continuación, presione Extracción y seleccione Componentes principales como método de extracción. Compruebe las opciones de Solución factorial sin girar y Gráfico de sedimento, haga clic en Continuar y pulse OK para generar la salida. Identifique los elementos para la eliminación que muestran una relación inversa con el componente principal.

Utilizando la matriz de componentes obtenida en los resultados del análisis factorial exploratorio, marque los ítems con cargas negativas en el factor principal y los excluya de la versión reducida y optimizada de un solo factor de QaSLu. A continuación, realice un análisis factorial confirmatorio con el paquete de software estadístico dos para evaluar la bondad de ajuste del modelo de un factor. Seleccione Leer datos, haga clic en Examinar en el cuadro de diálogo Ejemplo y seleccione el archivo de datos ASCII creado anteriormente.

Compruebe que el número de participantes y variables se muestra en verde en Tamaño de las matrices de datos. Ahora presione Abrir conjunto de datos de un solo grupo y regrese al menú principal. Haga clic en Configurar análisis en el menú principal, luego marque Análisis factorial confirmatorio en el menú de diálogo y haga clic en Confirmar, en la ventana de configuración CFA:Análisis factorial.

Acepte la configuración predeterminada y haga clic en Confirmar para volver al menú principal. Cuando el mensaje, ¡Análisis Factorial Confirmatorio listo! , haga clic en el botón Calcular y espere los resultados.

A continuación, abra el paquete de software estadístico dos para realizar un análisis factorial exploratorio de mínimos cuadrados no ponderados robusto. Seleccione Leer datos y, a continuación, haga clic en Examinar en el cuadro de diálogo Ejemplo y elija el archivo ASCII creado anteriormente. El número de participantes y variables se mostrará en verde en la sección Tamaño de las matrices de datos.

Ahora, haga clic en el icono Abrir conjunto de datos de un solo grupo para volver al menú principal. En el menú principal, haga clic en Configurar análisis, luego seleccione Análisis factorial exploratorio en el menú de diálogo y haga clic en el botón Confirmar. En el menú Configuración de análisis factorial exploratorio, elija los elementos identificados como que tienen una relación inversa con el componente principal y muévalos al cuadro Variables excluidas.

Ahora, compruebe las opciones de matriz de correlación de Pearson y Análisis paralelo, establezca Número de factores o componentes en 1 y seleccione Análisis factorial robusto. Haga clic en Confirmar para volver al menú principal y, a continuación, haga clic en Calcular para generar los resultados. Para identificar los ítems para su eliminación que tienen una medida de adecuación muestral o puntuación MSA inferior a 0,49, revise los resultados obtenidos del análisis factorial exploratorio de RULS con el paquete de software estadístico dos, específicamente los índices de ubicación y adecuación de ítems, y exclúyalos de la versión reducida optimizada de un solo factor de QaSLu.

Cree una nueva variable en el paquete de software estadístico uno sin los elementos eliminados seleccionando el menú Transformar y presionando Calcular variable. Asigne a la nueva variable el nombre SUM 27, luego seleccione la función SUM y complete la expresión numérica con la lista de elementos optimizados. Haga clic en Aceptar para generar la nueva variable, SUM 27.

Calcule los percentiles para SUM 27 seleccionando Analizar, seguido de Estadísticas descriptivas y frecuencias. Mueva SUM 27 al cuadro Variables y luego haga clic en el icono Estadísticas. Seleccione Percentiles y agregue 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 y 99.

Haga clic en Continuar y luego en Aceptar para generar percentiles. Repita el procedimiento de percentil para cada escala de calificación haciendo clic en el icono Dividir archivo y eligiendo cada variable relevante, luego seleccione Organizar salida por grupos. Haga clic en el botón de flecha y presione OK para generar percentiles agrupados para SUM 27.

Para crear una tabla para cada escala de calificación, primero agregue una fila de título y filas para los niveles Bajo, Medio/Bajo, Medio, Medio/Alto y Alto con las subfilas de percentil especificadas. En la fila de título, agregue una columna Nivel, una columna Percentil y columnas adicionales para las condiciones de la variable seleccionada. Complete cada tabla con rangos de puntuación asignados a los percentiles calculados.

Los resultados obtenidos de la muestra participante se presentan a comparaciones establecidas basadas en las escalas de calificación utilizadas en el estudio. Los diferentes rangos para cada categoría estaban formados por los puntos intermedios entre ellos. Por ejemplo, el percentil 50 se obtuvo a partir de las puntuaciones del percentil 45 y el percentil 54.

Todos los rangos, excepto los percentiles 1 y 99, muestran rangos perfectamente acotados que corresponden a los percentiles 4 y 95 más cualquier posible ajuste de puntuación. Cada una de estas escalas permite comparar las puntuaciones de cada usuario en perspectiva seleccionando la escala de valoración adecuada según sus características.