Article de méthode

Validation qualitative et quantitative d’outils à l’aide d’échelles de notation visant à évaluer la qualité de l’apprentissage par le service universitaire

DOI :

10.3791/68648

⸱

29 août 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

Dans cet article

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Cet article décrit le protocole de validation qualitative et quantitative d’un instrument d’apprentissage par le service universitaire, en suivant le critère de parcimonie pour créer la version la plus robuste et optimale possible. La méthode de validation qualitative Delphi et l’analyse factorielle exploratoire des moindres carrés non pondérés robustes, en tant que méthode d’optimisation quantitative des éléments, sont utilisées à cette fin.

Résumé

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’apprentissage par le service (SL) est devenu une méthodologie d’apprentissage très efficace ces dernières années, comblant le fossé entre la théorie et la pratique tout en contextualisant l’apprentissage dans des scénarios du monde réel. Il a été mis en œuvre avec succès à tous les niveaux de l’enseignement supérieur, ce qui a permis d’améliorer sensiblement les compétences des étudiants universitaires. Cependant, en tant que méthodologie transformatrice, la traduction automatique en est encore aux premiers stades de développement en termes de méthodes d’évaluation. Par conséquent, il est urgent de concevoir et de valider des instruments de mesure fiables et, surtout, valides, car l’application de la SL à des contextes réels est sa valeur principale. Cet article démontre comment concevoir et valider de manière optimale des instruments de traduction automatique universitaire pour évaluer la qualité des expériences de traduction technique au niveau universitaire du point de vue des professeurs d’université, guidés par le principe de parcimonie. La méthode Delphi modifiée en ligne, l’analyse factorielle exploratoire des moindres carrés non pondérés robuste et l’analyse factorielle confirmatoire ont été appliquées pour créer un nouvel instrument, le QaSLu-27, validé par un échantillon de 16 experts utilisant la méthode Delphi modifiée en ligne et 118 enseignants d’université qui mettent en œuvre des projets SL. Les résultats montrent des conditions psychométriques optimales pour le nouvel instrument (W = 0,11 ; α = 0,92 ; CMIN/DF = 1,027 ; CFI = 0,979 ; WRMR= 0,0985 ; RMSEA = 0,046), ce qui a conduit à l’élaboration de nouvelles échelles de notation qui permettent de comparer les futurs utilisateurs de cette méthodologie, en tenant compte de leurs caractéristiques attributaires et démographiques. La conception de nouveaux instruments validés, capables d’être utilisés dans le monde réel et permettant la création d’échelles, sera très utile pour mesurer la mise en œuvre de nouvelles expériences en SL, pour évaluer leurs progrès, leurs participants, leurs gestionnaires et leurs moniteurs, contribuant ainsi à l’établissement de ce champ d’étude dans le cadre académique actuel et à la génération de nouvelles connaissances scientifiques.

Introduction

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

L’apprentissage par le service (SL), une approche éducative qui intègre l’apprentissage académique au service communautaire, est de plus en plus reconnu dans l’éducation contemporaine. Cette approche pédagogique permet aux élèves d’appliquer les connaissances acquises en classe à des défis du monde réel, tout en favorisant la responsabilité civique et l’engagement communautaire1. On ne saurait trop insister sur l’importance de la NM dans l’éducation actuelle, car elle dote les élèves de compétences professionnelles pratiques, favorise l’engagement civique et permet une compréhension plus profonde des problèmes sociaux2.

Les recherches récentes sur le SL ont considérablement augmenté, alimentées par la reconnaissance croissante de son potentiel à améliorer à la fois l’apprentissage académique et l’engagement communautaire. Cette croissance est tirée par la demande croissante de modèles éducatifs qui non seulement favorisent le développement académique, mais répondent également aux défis sociétaux3. Les élèves ont exploré les divers impacts de la traduction nationale, de la promotion de la justice sociale à la culture de l’esprit civique chez les élèves4. De plus, la recherche sur l’apprentissage par le service s’est de plus en plus concentrée sur son application dans des domaines spécifiques tels que les STIM, les soins de santé et les sciences de l’environnement, où la résolution de problèmes du monde réel est essentielle 5,6,7. À mesure que le corpus de la littérature s’élargit, les chercheurs commencent également à explorer comment l’apprentissage par le service peut combler efficacement le fossé entre la théorie et la pratique d’une manière qui est significative à la fois pour les étudiants et les communautés qu’ils servent8.

Cependant, malgré son rôle croissant, il reste d’importants défis à relever pour mesurer l’efficacité des programmes de traduction durable9. Il existe différentes propositions sous forme de rubrique, comme celles de Furco10, Martín et al.11, Lorenzo et Belando-Montoro12, Shek et al.13, ou Lu et Lambright14, qui, malgré leur utilité prouvée dans les études de terrain, n’ont pas encore été validées. D’autre part, il existe d’autres propositions, telles que celles d’Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19, ou Gul et al.20 qui manquent de validation qualitative ou présentent des validations quantitatives très limitées. D’autres lacunes observées dans les outils d’évaluation précédents sont le manque d’optimisation des facteurs et des éléments pour se conformer au principe de parcimonie et l’absence totale d’échelles de notation. Cette situation est courante dans les nouveaux domaines scientifiques et constitue le processus naturel par lequel tous les domaines d’étude passent pour obtenir des instruments optimaux pour une utilisation généralisée.

Au moment de la création du Questionnaire d’auto-évaluation des expériences d’apprentissage par le service universitaire (QaSLu), un outil permettant d’évaluer la qualité des expériences de SL au niveau universitaire du point de vue des professeurs d’université, les outils les plus reconnus qui définissaient les normes pour garantir la qualité des expériences de SL étaient les suivants : Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín et Rubio-Serrano (2017)25, et Rubio-Serrano, Puig-Rovira, Martín et Palos (2015)26. Bien qu’il existe maintenant d’autres outils, les instruments de mesure actuels ne parviennent souvent pas à saisir adéquatement les résultats d’apprentissage larges et nuancés associés à ces programmes, en particulier en termes de croissance personnelle à long terme, d’impact communautaire, certains étant jugés trop généraux ou ne reposant pas sur des cadres scientifiques rigoureux 9,27. Cette lacune dans les outils de mesure entrave une compréhension globale et une optimisation de l’impact du SL sur les étudiants et les communautés.

La prochaine étape dans l’avancement de la recherche sur les langues autochtones consiste à mettre au point des instruments de mesure scientifiquement rigoureux. Ces outils devraient être conçus non seulement pour saisir les résultats scolaires, mais aussi pour évaluer les impacts personnels et sociaux que le SL peut avoir sur les étudiants et les communautés qu’ils servent. Notre recherche vise à combler cette lacune en créant un instrument fondé sur la rigueur scientifique, offrant une évaluation plus complète des projets de SL et guidant leur mise en œuvre future.

En plus de la création de l’instrument, celui-ci sera validé, d’abord qualitativement puis quantitativement. Pour la validation initiale, la méthode Delphi en ligne modifiée sera utilisée28. Le terme « modifié » fait référence à la proposition de Cabero de limiter la méthode Delphi à deux cycles de consultation, évitant ainsi l’abandon parmi les membres du groupe d’experts. Le terme « en ligne » a été introduit par Cruz-Ramírez et Rúa-Vásquez29 pour souligner que les consultations étaient menées par courrier électronique, car Internet aide à surmonter certaines limites inhérentes à Delphi traditionnel, telles que la pensée de groupe ou l’influence des opinions d’experts dominants, qui pouvaient affecter la sélection des articles30,31.

À l’aide de la méthode Delphi en ligne modifiée, deux types de validité seront évalués : la validité conceptuelle, suivant le processus décrit dans l’étude32 de Bakieva et al., où des experts sont consultés sur la pertinence de chaque élément, et la validité du contenu, basée sur les travaux de Gil et Pascual-Ezama33, qui évalue la clarté de chaque élément par le biais d’une consultation d’experts.

Les experts recevront une échelle de Likert contenant quatre options de réponse (aucune, peu, beaucoup, beaucoup). En n’introduisant pas d’alternatives de réponse intermédiaire, les experts sont tenus de prendre une position définitive pour ou contre chaque élément34, facilitant ainsi le processus de prise de décision sur le maintien ou la suppression d’éléments dans le questionnaire.

En ce qui concerne la validation quantitative, elle est basée sur la loi de parcimonie, un principe fondamental en science qui stipule que, étant donné un problème scientifique, à conditions égales, la solution la plus courte est préférable35,36. Par conséquent, la recherche de l’instrument valide le plus court et le plus optimisé offre les mêmes garanties scientifiques, étant plus pratique, exportable et général pour une utilisation quotidienne dans des contextes réels sans sacrifier la fiabilité ou la validité. L’analyse factorielle confirmatoire (CFA)37 et l’analyse factorielle exploratoire RULS (RULS)38,39 seront utilisées comme techniques analytiques pour réduire les éléments inutiles et valider la structure finale de l’instrument. Les indices d’ajustement et de fiabilité sont utilisés comme indicateurs de la validité de la nouvelle structure par rapport à la précédente, en prenant comme référence pour maintenir ou améliorer la fiabilité et la validité de l’instrument optimisé à l’intérieur des niveaux qui garantissent l’adéquation et la robustesse de la nouvelle structure du questionnaire réduit et optimisé.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Protocole

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Ce protocole a été approuvé éthiquement en 2020 par la Commission nationale de la recherche scientifique et technologique du Chili (CONICYT Fondecyt/Initiation) sous le numéro d’approbation : 11170623. Un groupe d’experts externes a examiné et validé l’ensemble du processus. Conformément à la Déclaration d’Helsinki40, les participants devaient fournir un consentement éclairé écrit pour participer à l’étude, et il a été clairement indiqué qu’ils ne seraient impliqués dans aucune condition expérimentale.

1. Conception de la première ébauche d’un QaSLu

  1. Effectuer une analyse de contenu des éléments des principaux outils reconnus pour l’évaluation des expériences de SL. Pour ce faire, les éléments des outils internationaux définissant des normes pour assurer la qualité des expériences de SL, ainsi que les principales rubriques reconnues par la communauté d’experts en SL, ont été examinés.
    REMARQUE : À la suite de cette revue, QaSLu aborde explicitement la justice sociale, un objectif caractéristique de la SL européenne.
  2. Catégorisez tous les éléments en fonction des phases impliquées dans la conception d’expériences SL (1. Design, 2. Mise en œuvre, 3. évaluation) et l’application des expériences de SL (A. Phase initiale, B. Planification, C. Exécution, D. Clôture et réplication).
    REMARQUE : Pour assurer la fiabilité de la catégorisation, une concordance absolue entre les juges a été utilisée, n’acceptant que les catégorisations où tous les auteurs étaient d’accord.
  3. Sélectionnez les derniers éléments de la première ébauche de l’instrument d’évaluation de l’apprentissage par le service universitaire (USL).
    1. Tout d’abord, éliminez les éléments en double au sein de chaque catégorie, tant dans les phases liées à la conception qu’à l’application des expériences SL.
    2. Deuxièmement, les éléments non pertinents qui ne correspondent pas aux objectifs du nouvel instrument sont supprimés.
    3. Enfin, créez ou adaptez des articles en fonction de la population cible (corps professoral universitaire) et des objectifs de l’étude (évaluation de la qualité des expériences de SL).
      REMARQUE : QaSLu est conçu pour l’apprentissage par le service universitaire. Bien que la plupart des outils aient évalué la qualité de la traduction linguistique au niveau universitaire, certains éléments des outils précédents ont dû être reformulés et de nouveaux éléments ont été créés pour s’assurer que QaSLu était pleinement adapté au contexte universitaire.
  4. Concevoir la première ébauche du questionnaire pour répondre aux objectifs de l’étude.
    REMARQUE : L’ébauche de QaSLu a été créée à l’aide de Microsoft Word pour faciliter le partage et la modification. Initialement, il s’agissait de 54 questions répondues via une échelle de Likert à 5 points (Jamais, Rarement, Parfois, Presque Toujours, Toujours). Le questionnaire a été conçu en tenant compte d’un seul facteur ou d’une structure de composantes principales, de sorte que son score final puisse être utilisé pour comparer les utilisateurs en fonction de leurs caractéristiques au moyen d’échelles d’évaluation normalisées.

2. Sélection du groupe d’experts pour la méthode Delphi

  1. Sélectionnez un large échantillon d’experts de l’USL qui pourraient évaluer l’instrument conçu précédemment. Dans ce processus, établissez des critères d’inclusion essentiels : 1. Un minimum de quatre ans d’expérience dans la recherche et la conception/mise en œuvre d’expériences USL ; 2. Appartenance à un organisme académique universitaire ; et 3. Être candidat au doctorat ou titulaire d’un doctorat.
    REMARQUE : Sur la base des critères d’inclusion, une liste de 20 experts qui pourraient jouer un rôle de premier plan dans la communauté de l’USL a été créée.
  2. Envoyez un courriel à tous les experts sélectionnés à l’étape 2.1, expliquant les objectifs de la recherche, les phases de la méthode Delphi, les délais prévus, les critères d’inclusion, et demandant leur disponibilité et leur volonté de participer au processus de validation, ainsi que leur acceptation du consentement éclairé écrit.
    NOTE : Tous les experts ont accepté de participer.
  3. Configurez le groupe d’experts final pour évaluer l’instrument définitif d’évaluation de l’USL. Établir les nouveaux critères d’inclusion en fonction des caractéristiques des experts qui ont accepté de participer. La configuration finale du groupe d’experts visait à : 1. La diversité académique et professionnelle, c’est-à-dire la représentation des différentes couches académiques ; 2. Diversité géographique des lieux où les expériences de SL ont été menées ; et 3. Diversité des genres.
    REMARQUE : Seize experts de l’USL se sont engagés et ont mené à bien le processus dans son intégralité. Le dernier groupe d’experts était composé de 75 % de femmes et de 25 % d’hommes.

3. Validation qualitative du questionnaire QaSLu via la méthode Delphi en ligne modifiée

  1. Envoyez un e-mail à chaque membre du groupe d’experts avec un modèle pour évaluer les éléments de la première ébauche de l’instrument d’évaluation de l’USL, ainsi que les instructions pertinentes (Round 1 de la méthode Delphi).
    REMARQUE : Les experts évaluent la pertinence (validité conceptuelle) et la clarté (validité du contenu) de chaque élément à l’aide d’une échelle de Likert à 4 points, où 1 représente « non pertinent ou pas clair » et 4 représente « très pertinent ou très clair ». À côté de chaque élément, il y a une case pour évaluer la pertinence et une autre pour plus de clarté, où les experts doivent noter chaque élément sur une échelle de 1 à 4. Sous ces encadrés, une autre section leur permet d’expliquer qualitativement leur évaluation et de suggérer d’éventuelles révisions aux éléments (voir un exemple de brouillon du questionnaire fourni dans le fichier supplémentaire 1). En n’incluant aucune option de réponse intermédiaire, les experts ont été contraints d’adopter une position définitive, ce qui a facilité le processus de prise de décision concernant le maintien ou le retrait des éléments du questionnaire.
  2. Rassemblez les réponses des experts pour le 1er tour de la consultation Delphi dans un seul fichier.
    REMARQUE : Les experts ont eu 2 semaines pour terminer l’évaluation de la pertinence (validité conceptuelle) et de la clarté (validité du contenu) des 54 éléments du modèle.
  3. Calculez le coefficient de Kendall pour déterminer le niveau d’accord entre les réponses des experts en ce qui concerne la pertinence et la clarté.
    1. Tout d’abord, accédez au menu Analyser > tests non paramétriques > boîtes de dialogue héritées > K Échantillons associés (voir Figure 1). Sélectionnez toutes les réponses des experts en fonction de la pertinence et de la clarté. Faites-le séparément, d’abord la pertinence, puis la clarté.
    2. Déplacez les éléments vers la zone de liste des variables de test. Dans la section Type de test, sélectionnez l’option W de Kendall. Enfin, cliquez sur OK pour lancer l’analyse et obtenir les résultats correspondants.
      REMARQUE : L’analyse de concordance a révélé qu’il y avait un accord statistiquement significatif entre les experts interrogés sur la pertinence (validité conceptuelle) et la clarté (validité du contenu).
  4. Évaluez la validité conceptuelle (pertinence) et la validité du contenu (clarté).
    1. Effectuer une analyse descriptive à l’aide d’un progiciel statistique 1. Tout d’abord, sélectionnez le menu Analyser > Statistiques descriptives > fréquences, puis dans la boîte de dialogue Fréquences , sélectionnez les scores de pertinence de tous les éléments de l’instrument et ajoutez-les à la boîte Variable(s) en cliquant sur l’icône en forme de flèche.
    2. Ensuite, cliquez sur l’icône Statistiques , cochez la case Centile(s) et ajoutez les centiles 25, 50 et 75 à la boîte de dialogue Fréquences : statistiques , puis cliquez sur Continuer pour revenir à la boîte de dialogue Fréquences .
    3. Enfin, cliquez sur l’icône OK pour générer les percentiles souhaités pour chaque élément (voir Figure 2). Après la sortie, allez dans Analyser > statistiques descriptives > Descriptive, et dans la boîte de dialogue Descriptifs , sélectionnez les scores de pureté pour tous les éléments de l’instrument et ajoutez-les à la boîte Variable(s) en cliquant sur l’icône en forme de flèche (voir Figure 3). Enfin, cliquez sur OK pour générer les résultats.
  5. Supprimez tous les éléments que 75 % des experts considèrent comme très non pertinents et reformulez les éléments jugés très pertinents mais peu clairs.
    REMARQUE : Après la première série de consultations, 10 points ont été retirés de la version initiale de QaSLu : les points 4, 5, 9, 16, 27, 45, 51, 52, 53 et 54. De plus, 16 points de la première version de QaSLu ont été reformulés : points 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 et 49. La reformulation a été fondée sur les suggestions des experts.
  6. Préparer un rapport sur les résultats pour la première ronde de la consultation qui comprend les éléments suivants : 1. Le résultat concernant le niveau d’accord sur la pertinence ou la validité conceptuelle (coefficient de Kendall) ; 2. Les critères de décision établis ; 3. Le nombre d’articles validés ; 4. Le nombre d’articles retirés ; 5. Le nombre d’articles reformulés qui font encore l’objet d’un examen ; et 6. La version modifiée de l’instrument d’évaluation de l’USL.
    REMARQUE : L’objectif de la création de ce rapport était d’informer le groupe d’experts sans le submerger de données excessives et sans influencer ses évaluations futures.
  7. Envoyez un courriel à chaque membre du groupe d’experts avec le rapport sur les résultats du 1er tour de la consultation, ainsi qu’un modèle pour évaluer les éléments reformulés dans la version modifiée de l’instrument d’évaluation de l’USL, avec des instructions spécifiques (2e tour de la méthode Delphi).
    REMARQUE : Les experts évaluent la clarté (validité du contenu) de chaque élément reformulé à l’aide d’une échelle de Likert à 4 points, où 1 représente « non pertinent ou pas clair » et 4 représente « très pertinent ou très clair ». À côté de chaque élément, il y a une case pour évaluer la clarté avec un nombre de 1 à 4, suivie d’une autre section où ils peuvent expliquer qualitativement leur évaluation et proposer d’éventuelles révisions supplémentaires à l’élément (voir un exemple de brouillon du questionnaire fourni dans le fichier supplémentaire 2). En n’introduisant aucune option de réponse intermédiaire, les experts ont été contraints de prendre une position définitive, soit pour soit contre les articles. Cela a facilité le processus de prise de décision concernant l’inclusion ou l’exclusion d’éléments du questionnaire.
  8. Compilez les réponses des experts de la 2e ronde de la consultation Delphi en un seul fichier.
    REMARQUE : Les experts ont de nouveau eu deux semaines pour terminer leur évaluation de la clarté (validité du contenu) des 16 éléments du modèle.
  9. Répétez les étapes de la section 3.3, mais cette fois-ci, sélectionnez uniquement les scores de pureté des éléments reformulés de l’instrument et incorporez-les dans la case Variable(s).
  10. Répétez les étapes de la section 3.4, en supprimant tous les éléments qui ont été jugés très clairs par 75 % des experts.
    REMARQUE : À la suite de la deuxième ronde de consultations, les points suivants ont été retirés : les points 1, 23, 31 et 41.
  11. Incluez plusieurs éléments de contrôle dans le but d’évaluer l’uniformité interne à l’avenir (il est recommandé d’inclure environ un élément de contrôle pour 10 éléments).
    REMARQUE : Quatre éléments de contrôle ont été ajoutés à cette version de l’instrument.
  12. Préparer un rapport sur les résultats pour la deuxième ronde de la consultation, qui comprend les éléments suivants : 1. Le résultat concernant le niveau d’accord sur la clarté ou la validité du contenu (coefficient de Kendall) ; 2. Les critères de décision établis ; 3. Le nombre d’articles validés ; 4. Le nombre d’articles éliminés ; 5. Le nombre d’articles inclus comme articles de contrôle ; et 6. La version modifiée du QaSLu-45 (41 éléments validés + 4 éléments de contrôle).
    REMARQUE : La version finale du questionnaire a été structurée comme suit : 1) Objectif du questionnaire, consentement éclairé écrit et instructions ; 2) l’organisation ou l’institution, le sexe, l’âge, le niveau d’éducation et les années d’expérience professionnelle dans l’apprentissage par le service du répondant (ces informations ne permettent pas d’identifier les participants) ; 3) Données sur l’expérience d’apprentissage par le service ; 4) 45 items pour l’auto-évaluation des expériences d’apprentissage par le service ; et 5) Appréciation de la participation (un exemple de brouillon du questionnaire est fourni dans le fichier supplémentaire 3).
  13. Envoyer le rapport des résultats de la deuxième série de consultations au groupe d’experts, contenant la version finale du questionnaire conçu (QaSLu-45), et les remercier de leur participation à la méthode Delphi en ligne modifiée.

figure-protocol-1
Figure 1 : Calcul du coefficient de Kendall dans le progiciel statistique 1. (1) Cliquez sur l’icône K Échantillons connexes ; (2) Sélectionnez le W de Kendall ; (3) cliquez sur l’icône OK. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-2
Figure 2 : Extraction des percentiles dans un progiciel statistique 1. (1) Cliquez sur l’icône Fréquences ; (2) Cliquez sur l’icône Statistiques ; (3) dans la boîte de dialogue Fréquences : Statistiques, ajoutez les percentiles. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-3
Figure 3 : Extraction de descriptifs dans un progiciel statistique 1. (1) Cliquez sur l’icône descriptive ; (2) Ajouter la ou les variables ; (3) cliquez sur l’icône OK.

4. Adaptation du questionnaire à la spécification en ligne d’un serveur sécurisé

  1. Accédez à la page principale de la plateforme SaaS (Software-as-a-Service) avec un serveur privé (voir la table des matériaux) en tant qu’utilisateur enregistré. Cette inscription doit être complétée au préalable en fournissant des données personnelles. Une fois inscrit, sélectionnez Créer votre sondage à partir de zéro (voir la figure 4).
  2. Créez la première page, qui doit inclure l’acceptation obligatoire, le consentement éclairé pour continuer.
  3. Créez la deuxième page avec des questions d’attribution des participants, qui seront utilisées dans la recherche comme variables d’intervention ou de contrôle dans la recherche.
    REMARQUE : Cette étude comprend l’analyse de trois variables quantitatives discrètes et de cinq variables catégorielles nominales. Voici la description opérationnelle de ces huit variables incluses dans l’étude :
    Sexe : Variable nominale, attributive et dichotomique à deux niveaux (mâle/femelle).
    Âge : Variable quantitative discrète qui détermine l’âge du participant à l’étude.
    Expérience USL : Une variable quantitative discrète qui mesure l’expérience d’apprentissage par le service du participant. L’échelle commence à 0, ce qui représente moins d’un an d’expérience dans l’apprentissage par le service (ce qui n’est pas équivalent à « aucune expérience »), sans limite supérieure.
    Niveau académique : Variable nominale dichotomique à deux niveaux (doctorat/non doctorat), indiquant si le participant est titulaire d’un doctorat professionnel.
    Organisation collaboratrice pour l’activité de l’USL : Une variable nominale à cinq niveaux (centres sociaux, ONG, fondations, écoles, alliances avec des établissements d’enseignement supérieur ou des universités, administrations publiques gouvernementales, centres pour personnes âgées et autres centres liés à la santé). Cette variable identifie le type d’organisation ou d’institution avec laquelle le participant collabore dans l’expérience d’apprentissage par le service.
    Groupe cible de l’USL Activité : Une variable nominale à cinq niveaux (Groupes handicapés, Etudiants, Minorités ethniques, Personnes âgées, Groupes défavorisés à risque social). Cette variable identifie le principal groupe de bénéficiaires de l’activité d’apprentissage par le service.
    Mode d’intervention pour l’activité USL : Une variable nominale et dichotomique (Exclusivement en présentiel-apprentissage par le service / Comprend les activités en ligne en tout ou en partie). Cette variable indique si l’activité d’apprentissage par le service comporte un volet en ligne.
  4. Créez plusieurs pages pour le questionnaire préalablement conçu, y compris les questions et les réponses possibles, via la plateforme SaaS avec un serveur privé.
  5. Après avoir créé et enregistré l’enquête (voir le questionnaire final dans le fichier supplémentaire 2), retournez au menu principal de la plateforme, sélectionnez le questionnaire et cliquez sur l’icône Ouvrir > Fermer l’enquête publique pour la mettre à la disposition des participants. Ensuite, cliquez sur l’icône Obtenir un lien vers l’enquête , en choisissant parmi plusieurs options d’accès pour les participants (par exemple, un lien intégré dans un e-mail ou sur un site Web, un iframe sur un site Web, une fenêtre contextuelle sur un site Web ou un lien fourni aux ordinateurs d’un centre d’appels, voir la figure 5).
    REMARQUE : La version finale du questionnaire a été structurée comme suit : 1) Objectif du questionnaire, consentement éclairé écrit et instructions ; 2) Données du participant (institution ou organisation, âge, sexe, niveau d’éducation et années d’expérience professionnelle dans l’apprentissage par le service). Ces informations garantissent l’anonymat des participants ; 3) Données sur l’expérience d’apprentissage par le service ; 4) 45 items pour l’auto-évaluation des expériences d’apprentissage par le service ; et 5) une section exprimant la gratitude pour la participation.

figure-protocol-4
Figure 4 : Création du questionnaire à partir de zéro. (1) Cliquez sur l’icône Nouveau sondage ; (2) Sélectionnez Créer votre sondage à partir de zéro. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-5
Figure 5 : Conception du questionnaire. (1) Modifier l’enquête ; (2) Ajouter et configurer des pages et des questions ; (3-5) Élaborez des pages, des questions et des réponses. Veuillez cliquer ici pour voir une version agrandie de cette figure.

5. Méthode d’échantillonnage

  1. Passez en revue tous les actes des conférences organisées par le Réseau espagnol de service-apprentissage universitaire au cours des 3 dernières années. Compilez une liste d’auteurs qui ont travaillé sur l’apprentissage par le service au cours des dernières années et recueillez leurs adresses e-mail.
    REMARQUE : L’échantillonnage était fortuit et opportuniste.
  2. Envoyez un courriel à tous les auteurs pour les inviter à participer à l’étude. Renvoyez l’e-mail une et deux semaines plus tard.
    REMARQUE : L’e-mail encourageait les destinataires à le transmettre aux contacts susceptibles d’être intéressés à participer. Ainsi, la méthode d’échantillonnage accidentel a été complétée par une technique d’échantillonnage en boule de neige.
  3. Accédez à la page principale de la plateforme SaaS en tant qu’utilisateur enregistré, sélectionnez le questionnaire créé et cliquez sur Résultats. Dans le menu contextuel, cliquez sur l’icône Questionnaire pour accéder directement aux questionnaires terminés. Éliminez toutes les réponses incomplètes ou erronées via la plateforme SaaS (voir Figure 6).
  4. Une fois que les questionnaires ont atteint le nombre minimum requis de participants (>100), après avoir exclu les réponses incomplètes, accédez à la page principale de la plateforme SaaS en tant qu’utilisateur enregistré, sélectionnez le questionnaire et cliquez sur l’icône Ouvrir/Fermer l’enquête publique pour fermer l’enquête et empêcher toute participation ultérieure (voir à nouveau l’étape 1 de la figure 5 ).
    REMARQUE : Au total, 118 éducateurs de 43 établissements d’enseignement supérieur y ont participé, dont 67,80 % se sont identifiés comme des femmes et 32,20 % comme des hommes. L’âge moyen était de 46,16 ans (écart-type = 9,60), avec des âges allant de 24 à 65 ans. En ce qui concerne les titres universitaires, une majorité significative (76,3 %) détenait un doctorat, tandis que les autres participants avaient au moins un baccalauréat. En ce qui concerne l’expérience d’apprentissage par le service, la moyenne était de 6,69 ans (ET = 5,39 ans), la plus basse étant enregistrée à six mois et la plus élevée à 34 ans. Les institutions avec lesquelles les universités des participants ont collaboré comprenaient des centres éducatifs (y compris d’autres universités), des centres sociaux, des centres pour personnes âgées, des centres de santé, des ONG, des fondations et des agences gouvernementales telles que des mairies et des conseils. Des partenariats d’apprentissage par le service ont été établis avec deux types d’établissements : les centres d’éducation formelle, qui représentent 50,85 % de l’échantillon, et les centres d’éducation non formelle, qui représentent les 49,15 % restants. En ce qui concerne la modalité des expériences d’apprentissage par le service, 64,41 % étaient en face à face, tandis que 35,59 % impliquaient une forme d’activité virtuelle.

figure-protocol-6
Figure 6 : Obtention d’un lien vers l’enquête. (1) Ouvrez l’enquête ; (2) Cliquez sur l’icône Obtenir un lien vers l’enquête ; (3) Sélectionnez la méthode souhaitée. Veuillez cliquer ici pour voir une version agrandie de cette figure.

6. Validation quantitative du questionnaire par analyse factorielle

  1. Accédez à la page principale de la plateforme SaaS en tant qu’utilisateur enregistré, sélectionnez l’enquête créée et cliquez sur l’icône Résultats . Dans le menu contextuel, cliquez sur Exporter et sélectionnez les options de rapport détaillé (format de feuille de calcul avancée), dans Texte, avec une extension de valeurs séparées par des virgules (.csv) (voir Figure 7). Une fois que les participants ont rempli les questionnaires, exportez les données vers un compte de messagerie au format .csv, en veillant à ce qu’elles soient stockées dans un endroit sûr, privé et protégé.
  2. Ouvrez le progiciel statistique 1 (voir Table des matériaux) et sélectionnez Menu Fichier > Importer des données > des données CSV. Choisissez le fichier .csv précédemment enregistré. Ce processus transforme les données anonymes dans le format d’analyse requis pour le progiciel statistique 1 (voir figure 8).
  3. Sélectionnez les variables à analyser statistiquement (sexe, âge, niveau d’études, organisation collaboratrice de l’activité USL, groupe cible de l’activité USL, mode d’intervention pour l’activité USL et les 45 éléments du QaSLu), et supprimez toutes les données non pertinentes importées via le fichier .sav généré par le progiciel statistique 1.
  4. Évaluer la cohérence interne du questionnaire QaSLu-45 à l’aide de l’Alpha de Cronbach avec le progiciel statistique 1. Pour ce faire, sélectionnez le menu Analyser > Mettre à l’échelle > l’analyse de fiabilité, puis transférez toutes les variables pertinentes dans la boîte de dialogue Analyse de fiabilité . Enfin, cliquez sur le bouton OK pour générer la sortie souhaitée (voir Figure 9).
    REMARQUE : Le questionnaire a démontré une fiabilité et une cohérence interne élevées, telles que mesurées par l’alpha de Cronbach (α = 0,917).
  5. Effectuer l’analyse factorielle exploratoire à l’aide d’un progiciel statistique 1.
    1. Pour effectuer cette analyse, sélectionnez le menu Analyser > Facteur de réduction de > de dimension. Dans la boîte de dialogue Analyse factorielle , sélectionnez tous les éléments du questionnaire, puis cliquez sur Descriptifs et sélectionnez Descriptifs univariés et KMO et Test de sphéricité de Bartlett.
    2. Cliquez sur Continuer pour revenir au menu principal de la boîte de dialogue Analyse factorielle . Ensuite, cliquez sur Extraction et sélectionnez Composants principaux comme méthode d’extraction.
    3. Cochez les options pour la solution factorielle non pivotée et le diagramme d’éboulis, puis cliquez à nouveau sur Continuer pour revenir au menu principal de la boîte de dialogue Analyse factorielle . Enfin, cliquez sur l’icône OK pour générer la sortie (voir Figure 10).
      REMARQUE : La signification du test de sphéricité de Bartlett (χ2 = 2689,72 ; p = 0,00) et du test d’adéquation de l’échantillonnage de Kaiser-Meyer-Olkin (KMO) (KMO = 0,793) confirme la pertinence de cette analyse factorielle en raison de la conception solide des éléments et de l’échantillonnage pour la validation de QaSLu-45. Les résultats de l’analyse en composantes principales ont révélé 13 composantes avec des valeurs propres supérieures à 1,0, ce qui explique 69,95 % de la variance totale. Cependant, le graphique d’éboulis (voir figure 11) montre que la première composante a une pertinence si disproportionnée que l’importance des autres composantes devient négligeable. Par conséquent, il est recommandé de réduire le QaSLu-45 à un seul composant, obtenant ainsi un score final unique pour le QaSLu-45 conçu.
  6. Convertir le fichier de résultats du questionnaire, à l’exclusion des variables d’attribut, au format ASCII fixe (dat), compatible avec le progiciel statistique 2 (voir la table des matières).
    1. Supprimez d’abord toutes les variables d’attribut, en ne laissant que les éléments du questionnaire comme variables dans le progiciel statistique 1. Ensuite, sélectionnez le menu Fichier > Exporter les données > texte fixe (voir Figure 12).
    2. Enregistrez le fichier dans un emplacement sécurisé avec un nom reconnaissable. Ce processus transforme les données anonymes dans le format requis pour l’analyse dans le progiciel statistique 2.
  7. Effectuer une analyse factorielle confirmatoire (CFA) à l’aide du progiciel statistique 2 pour déterminer la qualité de l’ajustement pour le modèle à un facteur du questionnaire.
    1. Pour effectuer cette analyse, sélectionnez Lire les données, puis dans la boîte de dialogue Exemple, cliquez sur Parcourir et sélectionnez le fichier ASCII créé précédemment. Le nombre de participants et de variables s’affichera en vert dans la section Taille des matrices de données .
    2. Ensuite, cliquez sur l’icône Ouvrir un ensemble de données de groupe unique et revenez au menu principal du progiciel statistique 2. Dans le menu principal, cliquez sur Configurer l’analyse. Dans le menu de la boîte de dialogue , cochez la case Analyse factorielle de confirmation et cliquez sur le bouton Confirmer .
    3. Dans la fenêtre CFA : Configuration de l’analyse factorielle , acceptez les paramètres par défaut et cliquez sur Confirmer pour revenir au menu principal. Enfin, un message « Analyse factorielle de confirmation prête » s’affichera dans le menu principal ; ensuite, cliquez sur le bouton Calculer (voir Figure 13) et attendez les résultats.
      REMARQUE : Les éléments du QaSLu-45 ont démontré une excellente qualité d’ajustement robuste, telle qu’évaluée par les mesures d’ajustement du modèle CFA. Selon le critère suggéré par Kelley, l’indice d’ajustement comparatif des éléments QaSLu-45 était de >0,95 (CFI = 0,973) puisque la différence minimale-maximale entre le CFA et les degrés de liberté était comprise entre 1 et 3 (CMIN/DF = 1,053), la racine carrée moyenne de l’erreur quadratique d’approximation était de <0,06 (RMSEA = 0,042) et la racine carrée moyenne pondérée résiduelle était de <1,0 (WRMR = 0,0978).

figure-protocol-7
Figure 7 : Exportation de données à utiliser dans les progiciels statistiques 1 et 2. (1) Cliquer sur l’icône Résultats ; (2) Cliquez sur l’icône Questionnaires ; (3) Sélectionnez Texte et CSV dans l’option Détaillé. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-8
Figure 8 : Importation de données dans un progiciel statistique 1. Sélectionnez le menu Fichier > Importer des données > des données CSV. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-9
Figure 9 : Évaluation de la cohérence interne du questionnaire. Sélectionnez le menu Analyser > mettre à l’échelle > l’analyse de fiabilité. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-10
Figure 10 : Réalisation de l’analyse factorielle explorative à l’aide d’un progiciel statistique 1. (1) Cliquer sur l’icône Facteurs ; (2) Cliquez sur l’icône descriptive ; (3) Sélectionnez KMO et le test de sphéricité de Bartlett dans l’option Détaillé ; (4) Cliquez sur l’icône d’extraction ; (5) Sélectionnez Tracé d’éboulis dans l’option Détaillé ; (6) cliquez sur l’icône OK. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-11
Figure 11 : Graphique sédimentaire de l’analyse factorielle en composantes principales sur la version initiale de 45 éléments. Remarquons comment la composante numéro 1, selon l’analyse factorielle exploratoire, se démarque énormément par rapport aux autres, en soulignant que sa pertinence est bien supérieure à celle du reste des composantes combinées, en vérifiant que la structure monofactorielle est la plus appropriée pour le questionnaire. Ce tableau a été republié à partir de López-de-Arana Prado et al.9. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-12
Figure 12 : Conversion du fichier de résultats au format ASCII dans un format fixe. (1) Cliquez sur l’icône Texte fixe ; (2) Sélectionnez ASCII fixe dans le menu Enregistrer sous type ; (3) cliquez sur l’icône Enregistrer. Veuillez cliquer ici pour voir une version agrandie de cette figure.

figure-protocol-13
Figure 13 : Réalisation d’une analyse factorielle confirmatoire à l’aide d’un progiciel statistique 2. (1) Cliquez sur l’icône Lire les données ; (2) Sélectionnez le fichier ASCII dans le menu Échantillon ; (3) Cliquez sur l’icône Ouvrir un ensemble de données de groupe unique ; (4) Cliquez sur l’icône Configurer l’analyse ; (5) Sélectionnez Analyse factorielle de confirmation dans l’option Détaillé ; (6) cliquez sur l’icône OK ; (7) cliquez sur l’icône Calculer. Veuillez cliquer ici pour voir une version agrandie de cette figure.

7. Optimisation du questionnaire pour une seule composante principale, réduisant les éléments excédentaires selon le principe de parcimonie

  1. Identifiez les éléments à supprimer dans la version optimisée du questionnaire qui ont une relation inverse avec la composante principale.
    1. Examinez la matrice des composantes obtenue à l’étape 6.5 à l’aide du progiciel statistique 1 pour déterminer quels éléments présentent une relation inverse avec le facteur principal. Exclure ces éléments de la version réduite et optimisée du questionnaire pour un seul facteur.
      REMARQUE : D’après la matrice de scores de chaque élément pour la composante principale, les éléments 6, 16, 28 et 35 ont été écartés de la configuration finale parce qu’ils présentaient une relation inverse avec la composante principale. Étant donné que le questionnaire offre un score final unique, les éléments inverses doivent être éliminés, car ils masquent les différences réelles entre les utilisateurs du questionnaire.
  2. Effectuez une analyse factorielle exploratoire RULS (Robust Unweighted Least Squares) à l’aide d’un progiciel statistique 2.
    1. Pour effectuer cette analyse, sélectionnez Lire les données, puis dans la boîte de dialogue Exemple, cliquez sur Parcourir et sélectionnez le fichier ASCII précédemment créé. Le nombre de participants et de variables s’affichera en vert dans la section Taille des matrices de données .
    2. Ensuite, cliquez sur l’icône Ouvrir un ensemble de données de groupe unique et revenez au menu principal du progiciel statistique 2. Dans le menu principal, cliquez sur Configurer l’analyse. Dans le menu de la boîte de dialogue , sélectionnez Analyse factorielle exploratoire et cliquez sur le bouton Confirmer .
    3. Dans le menu de configuration de l’analyse factorielle exploratoire , sélectionnez les éléments ayant une relation inverse avec la composante principale selon l’analyse factorielle exploratoire effectuée avec le progiciel statistique 1 et déplacez-les dans la case contenant les variables exclues.
    4. Vérifiez ensuite les options Matrice de corrélation de Pearson et Analyse parallèle , définissez le nombre de facteurs/composants sur 1 et sélectionnez Analyse factorielle robuste (voir Figure 14). Enfin, cliquez sur le bouton Confirmer pour revenir au menu principal, puis cliquez sur Calculer pour générer les résultats.
  3. Identifiez les éléments à retirer de la version optimisée du questionnaire dont la mesure de suffisance de l’échantillonnage (MSA) est inférieure à 0,49 MSA. Pour ce faire, il faut examiner les résultats obtenus de l’analyse factorielle exploratoire RULS à l’aide du progiciel statistique 2, en particulier les indices de localisation et d’adéquation des éléments.
    REMARQUE : L’analyse factorielle exploratoire RULS suggère d’écarter 14 éléments pour adapter la conception à un seul composant principal : 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 et 42. Il en résulte une configuration finale de 27 éléments, optimisée pour un seul composant principal, avec une forte robustesse psychométrique associée. Cette version s’appelait QaSLu-27 (un exemple de brouillon du questionnaire est fourni dans le fichier supplémentaire 4).

figure-protocol-14
Figure 14 : Réalisation d’un système des moindres carrés non pondérés robuste à l’aide d’un progiciel statistique 2. (1) Cliquez sur l’icône Lire les données ; (2) Sélectionnez le fichier ASCII dans le menu Échantillon ; (3) Cliquez sur l’icône Ouvrir un ensemble de données de groupe unique ; (4) Cliquez sur l’icône Configurer l’analyse ; (5) Sélectionnez Analyse factorielle exploratoire dans l’option Détaillé ; (6) Cochez les options Matrice de corrélation de Pearson et Analyse parallèle ; (7) Changer le nombre de facteurs/composants à 1 ; (8) cochez Analyse factorielle robuste dans les options ; (9) cliquez sur le bouton Confirmer ; (10) Cliquez sur l’icône Calculer. Veuillez cliquer ici pour voir une version agrandie de cette figure.

8. Examen de la pertinence des propriétés psychométriques du QaSLu-27 par rapport au QaSLu-45.

  1. Réappliquez l’étape 6.4, en excluant de l’analyse tous les éléments qui ne font pas partie de la version optimisée du questionnaire.
  2. Réappliquez l’étape 6.5, en excluant de l’analyse tous les éléments qui ne font pas partie de la version optimisée du questionnaire.
  3. Réappliquez l’étape 6.7, en excluant de l’analyse tous les éléments qui ne font pas partie de la version optimisée du questionnaire.
  4. Comparer la pertinence des propriétés psychométriques de la version optimisée du questionnaire à la version originale sous forme de tableau.
    REMARQUE : Une amélioration significative a été observée dans le test d’adéquation de l’échantillonnage KMO (KMO = 0,863) et le test de sphéricité de Bartlett (χ2 = 1447,76 ; p = 0,000). L’analyse factorielle en composantes principales avec QaSLu-27 a révélé sept composantes avec des valeurs propres > 1,0, représentant 65,59 % de la variance totale. Les statistiques robustes de qualité de l’ajustement, déterminées à l’aide de la CFA, ont montré des résultats légèrement améliorés, et la fiabilité mesurée par l’alpha de Cronbach a augmenté (α = 0,92), bien que le QaSLu-27 ne contienne que 27 éléments au lieu de 45. Ces résultats soutiennent la conclusion selon laquelle la validité et la robustesse de la configuration finale sont nettement supérieures à celles de la version à 45 éléments.

9. Élaboration d’échelles d’évaluation

  1. Créez une nouvelle variable en additionnant les scores de tous les éléments de la version optimisée du questionnaire.
    1. Sélectionnez le menu Transformer > Variable de calcul et nommez la nouvelle variable SUM27 dans la boîte de dialogue Variable de calcul .
    2. Sélectionnez la fonction Somme et complétez l’expression numérique, y compris les éléments de la version optimisée du questionnaire. Enfin, cliquez sur l’icône OK pour générer la nouvelle variable SUM27 (voir Figure 15).
  2. Calculez les différents percentiles du résultat final à partir de la version optimisée du questionnaire.
    1. Sélectionnez le menu Analyser > Statistiques descriptives > fréquences, puis dans la boîte de dialogue Fréquences , sélectionnez la variable SUM27 et déplacez-la dans la zone Variable(s) en cliquant sur l’icône en forme de flèche.
    2. Ensuite, cliquez sur l’icône Statistiques , sélectionnez Centile(s) et ajoutez les centiles suivants : 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 et 99. Cliquez sur l’icône Continuer pour revenir à la boîte de dialogue Fréquences. Enfin, cliquez sur l’icône OK pour générer les percentiles souhaités pour SUM27 (voir Figure 1).
    3. Répétez ce processus pour chaque échelle d’évaluation en appliquant des filtres en fonction des variables ajoutées. Pour ce faire, cliquez sur l’icône Diviser le fichier , sélectionnez chaque variable nominale ou ordinale considérée comme pertinente, choisissez Organiser la sortie par groupes, cliquez sur l’icône de la flèche , et enfin, cliquez sur l’icône OK pour générer les percentiles souhaités pour SUM27, filtrés par chaque variable.
  3. Créez un tableau pour chaque échelle d’évaluation.
    1. Créez une ligne pour les titres de table, suivie d’une ligne pour Faible (avec des sous-lignes pour les centiles 1, 10 et 20), Moyenne/Faible (avec des sous-lignes pour les centiles 30 et 40), Moyenne (centile 50), Moyenne/Élevée (avec des sous-lignes pour les centiles 60 et 70) et Élevée (avec des sous-lignes pour les centiles 80, 90 et 99).
    2. Dans la ligne de titre, créez plusieurs colonnes : la première étiquetée Niveau (avec les noms de niveau répertoriés ci-dessous), la seconde étiquetée Centile (avec chaque centile répertorié ci-dessous) et, à partir de la troisième colonne, listez les noms des différentes conditions de la variable sélectionnée pour chaque table.
    3. Complétez le tableau avec la plage de scores pour les percentiles calculés précédemment. C’est-à-dire, centile 1 = 0 -, centile 4, centile 10 = centile 5 - centile 14, centile 20 = centile 15 - centile 24, centile 30 = centile 25 - centile 34, centile 40 = centile 35 - centile 44, centile 50 = centile 45 - centile 54, centile 60 = centile 55 - centile 64, centile 70 = centile 65 - centile 74, centile 80 = centile 75 - centile 84, centile 90 = centile 85 - centile 94, et Percentile 99 = Percentile 95 -Percentile 99. Répétez ce processus pour chaque échelle d’évaluation avec les variables nominales ou ordinales sélectionnées.

figure-protocol-15
Figure 15 : Création d’une nouvelle variable en additionnant les scores de tous les éléments du progiciel statistique 1. (1) Cliquez sur l’icône Calculer la variable ; (2) Sélectionnez la fonction Somme ; (3) complétez l’expression numérique avec tous les éléments ; (4) Attribuez un nom à la nouvelle variable ; (5) cliquez sur l’icône OK. Veuillez cliquer ici pour voir une version agrandie de cette figure.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Résultats

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

À la suite de ce protocole de validation qualitative-quantitative rigoureux, nous avons développé un instrument robuste, optimisé et parcimonieux d’auto-évaluation des expériences d’apprentissage par le service universitaire, nommé QaSLu (Questionnaire for the Self-Assessment of Service-Learning Experiences in Higher Education). Cet instrument final a reçu l’approbation qualitative de 16 experts SL dans le cadre de la méthode Delphi, avec deux séries de consultations et d’adaptations en ...

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Discussion

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les méthodes utilisées pour la validation des instruments offrent plusieurs avantages. La méthode Delphi a facilité la collecte d’informations auprès d’un panel d’experts, ce qui a permis d’organiser systématiquement ces informations pour l’analyse. Il a permis de sélectionner et d’affiner les réponses sur la base d’estimations et de suggestions d’experts 32,47,48,49.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Déclarations de divulgation

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs n’ont rien à divulguer.

Remerciements

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Les auteurs tiennent à exprimer leur gratitude à la Commission nationale de la recherche scientifique et technologique du Chili (CONICYT Fondecyt/Initiation), ainsi qu’à tous les experts qui ont participé à la validation qualitative par la méthode Delphi et à tous les participants à la validation quantitative et à la notation.

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Matériaux

Liste des matériaux utilisés dans cet article
NomEntrepriseNuméro de catalogueCommentaires
Encuestafacil.com SaasEncuestafacil.com2025Logiciel en tant que service dans le Encuestafacil.com serveur de données privées
Analyse factorielleUniversitat Rovira i Virgili12.06.07Progiciel utilisé dans l’analyse factorielle des données
Paquet statistique pour les sciences sociales (SPSS)IBM24Progiciel utilisé dans l’analyse statistique des données

Références

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Accès restreint. Veuillez vous connecter ou commencer un essai pour afficher ce contenu.

Réimpressions et autorisations

Demander l’autorisation de réutiliser le texte ou les figures de cet article JoVE

Demander une autorisation

Mots-clés

valuation de l apprentissage par le servicevalidation d instrumentvalidation qualitativeanalyse factorielle exploratoireanalyse factorielle confirmatoirevaluation psychom triquelaboration de questionnaire

Articles connexes