Validation qualitative et quantitative d’outils à l’aide d’échelles de notation visant à évaluer la qualité de l’apprentissage par le service universitaire

Dans le domaine émergent de l’apprentissage par le service universitaire, nous manquons d’instruments standardisés qui allient fiabilité et validité, à la fois qualitatifs et quantitatifs, et suffisamment brefs pour être facilement utilisés. L’incorporation de notations et d’échelles permet de comparer les professionnels pour évaluer la qualité de l’apprentissage par le service universitaire. À l’heure actuelle, il n’existe aucun autre instrument permettant d’atteindre cet objectif.

QaSLu est le premier instrument créé grâce à un processus de validation qualitative et quantitative rigoureux guidé par le principe de parcimonie. Il est bref, mais extrêmement solide sur le plan scientifique. Ce protocole ouvre la voie à de nouveaux instruments scientifiques valides, robustes et pratiques.

Non seulement pour l’apprentissage par le service, mais aussi dans le domaine de l’éducation en général. Nous prévoyons de créer de nouvelles évaluations et échelles pour d’autres groupes différents et d’élargir l’échantillon participant afin d’améliorer l’évaluation de QaSLu et de le rendre utile dans différents contextes. Pour commencer, créez le premier brouillon d’un QaSLu sur un ordinateur de bureau.

Effectuez une analyse de contenu des éléments des principaux outils reconnus pour l’évaluation des expériences d’apprentissage par le service. Examinez les éléments des outils internationaux qui définissent des normes de qualité et des principales rubriques reconnues par la communauté d’experts en apprentissage par le service. Catégorisez tous les éléments en fonction des phases impliquées dans la conception de l’expérience d’apprentissage par le service, comme la conception, la mise en œuvre et l’évaluation.

Ensuite, catégorisez tous les éléments en fonction de l’application de l’apprentissage par le service, comme la phase initiale, la planification, l’exécution, la clôture et la réplication. Sélectionner un large échantillon d’experts en apprentissage par le service universitaire pour évaluer le projet d’instrument. Configurer le groupe d’experts final pour évaluer l’instrument définitif d’évaluation de l’USL, en visant une liste d’experts ayant une diversité académique et professionnelle, une diversité géographique et une diversité de genre.

Une fois que les données des experts du tour 1 ont été reçues, calculez le coefficient de concordance de Kendall pour la pertinence en cliquant séquentiellement sur Analyser, Tests non paramétriques, Dialogues hérités et Échantillons associés à K. Choisissez le W de Kendall sous Type de test. Sélectionnez ensuite toutes les réponses des experts en fonction de la pertinence et de la clarté.

Déplacez les éléments vers la liste Variables de test et cliquez sur OK pour exécuter l’analyse. Après avoir reçu les commentaires des experts du tour 2, réévaluez le coefficient de concordance de Kendall plus tôt et supprimez les éléments jugés très non pertinents. Reformuler les éléments considérés comme très pertinents mais peu clairs afin d’améliorer la formulation et la précision pour produire la version finale du Questionnaire d’auto-évaluation des expériences d’apprentissage par le service universitaire, QaSLu-45.

Une fois que vous avez obtenu un nombre suffisant de questionnaires remplis, évaluez la cohérence interne du questionnaire à l’aide du premier progiciel statistique. Cliquez sur Analyser, puis sur Échelle, puis sur Analyse de fiabilité. Choisissez Alpha dans la boîte de dialogue, puis transférez toutes les variables pertinentes dans la boîte de dialogue Analyse de fiabilité, puis cliquez sur OK pour générer la sortie.

Effectuez une analyse factorielle exploratoire dans le progiciel statistique un en ouvrant Analyser, puis en cliquant sur Réduction de dimension, puis sur Facteur. Dans la boîte de dialogue Analyse factorielle, transférez tous les éléments du questionnaire dans la zone Variables, puis appuyez sur Descriptifs et KMO et Test de sphéricité de Bartlett et sélectionnez Descriptifs univariés. Cliquez sur Continuer.

Ensuite, appuyez sur Extraction et sélectionnez Composants principaux comme méthode d’extraction. Cochez les options de la solution factorielle non pivotée et du tracé d’éboulis, puis cliquez sur Continuer et appuyez sur OK pour générer la sortie. Identifiez les articles à prélever qui présentent une relation inverse avec le composant principal.

À l’aide de la matrice de composantes obtenue dans les résultats de l’analyse factorielle exploratoire, marquez les éléments présentant des charges négatives sur le facteur principal et excluez-les de la version réduite et optimisée à facteur unique de QaSLu. Ensuite, effectuez une analyse factorielle confirmatoire avec le progiciel statistique deux pour évaluer la qualité de l’ajustement du modèle à un facteur. Sélectionnez Lire les données, cliquez sur Parcourir dans la boîte de dialogue Exemple et sélectionnez le fichier de données ASCII créé précédemment.

Vérifiez que le nombre de participants et de variables est affiché en vert dans Taille des matrices de données. Appuyez maintenant sur Ouvrir un ensemble de données de groupe unique et revenez au menu principal. Cliquez sur Configurer l’analyse dans le menu principal, puis cochez la case Analyse factorielle de confirmation dans le menu de dialogue et cliquez sur Confirmer dans la fenêtre de configuration de l’analyse factorielle CFA :.

acceptez les paramètres par défaut et cliquez sur Confirmer pour revenir au menu principal. Lorsque le message, l’analyse factorielle de confirmation est prête ! apparaît, cliquez sur le bouton Calculer et attendez les résultats.

Ensuite, ouvrez le progiciel statistique deux pour effectuer une analyse factorielle exploratoire robuste des moindres carrés non pondérés. Sélectionnez Lire les données, puis cliquez sur Parcourir dans la boîte de dialogue Exemple et choisissez le fichier ASCII créé précédemment. Le nombre de participants et les variables seront affichés en vert dans la section Taille des matrices de données.

Maintenant, cliquez sur l’icône Ouvrir un ensemble de données de groupe unique pour revenir au menu principal. Dans le menu principal, cliquez sur Configurer l’analyse, puis sélectionnez Analyse factorielle exploratoire dans le menu de dialogue et cliquez sur le bouton Confirmer. Dans le menu Configuration de l’analyse factorielle exploratoire, choisissez les éléments identifiés comme ayant une relation inverse avec le composant principal et déplacez-les vers la zone Variables exclues.

Maintenant, vérifiez la matrice de corrélation de Pearson et les options d’analyse parallèle, définissez Nombre de facteurs ou de composants sur 1 et sélectionnez Analyse factorielle robuste. Cliquez sur Confirmer pour revenir au menu principal, puis sur Calculer pour générer les résultats. Pour identifier les éléments à éliminer dont la mesure de l’adéquation de l’échantillonnage ou le score MSA est inférieur à 0,49, examinez les résultats obtenus de l’analyse factorielle exploratoire RULS avec le progiciel statistique deux, en particulier les indices d’emplacement et d’adéquation des éléments, et excluez-les de la version monofactorielle optimisée réduite de QaSLu.

Créez une nouvelle variable dans un progiciel statistique, une variable sans les éléments éliminés, en sélectionnant le menu Transformer et en appuyant sur Calculer la variable. Nommez la nouvelle variable SUM 27, puis sélectionnez la fonction SUM et complétez l’expression numérique avec la liste d’éléments optimisée. Cliquez sur OK pour générer la nouvelle variable, SUM 27.

Calculez les percentiles pour SUM 27 en sélectionnant Analyser, puis Statistiques descriptives et Fréquences. Déplacez SUM 27 dans la boîte Variables, puis cliquez sur l’icône Statistiques. Sélectionnez Percentiles et ajoutez 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 et 99.

Cliquez sur Continuer puis OK pour générer des percentiles. Répétez la procédure de centile pour chaque échelle d’évaluation en cliquant sur l’icône Diviser le fichier et en choisissant chaque variable pertinente, puis sélectionnez Organiser la sortie par groupes. Cliquez sur le bouton fléché et appuyez sur OK pour générer des percentiles groupés pour SUM 27.

Pour créer un tableau pour chaque échelle d’évaluation, ajoutez d’abord une ligne de titre et des lignes pour les niveaux Faible, Moyen/Bas, Moyen, Moyen/Élevé et Élevé avec les sous-lignes de centile spécifiées. Dans la ligne de titre, ajoutez une colonne Niveau, une colonne Centile et des colonnes supplémentaires pour les conditions de la variable sélectionnée. Complétez chaque tableau avec des plages de scores mappées aux centiles calculés.

Les résultats obtenus à partir de l’échantillon participant sont présentés à des comparaisons établies en fonction des échelles de notation utilisées dans l’étude. Les différents rangs de chaque catégorie étaient constitués des points intermédiaires entre eux. Par exemple, le 50e centile a été obtenu à partir des scores du 45e centile et du 54e centile.

Tous les rangs, à l’exception du 1er et du 99e centile, montrent des fourchettes parfaitement délimitées correspondant aux 4e et 95e centiles, plus tout ajustement de score possible. Chacune de ces échelles permet de comparer les scores de chaque utilisateur de perspective en sélectionnant l’échelle d’évaluation appropriée en fonction de leurs caractéristiques.