Artigo de método

Validação Qualitativa e Quantitativa de Ferramentas com Escalas de Avaliação Destinadas a Avaliar a Qualidade do Serviço-Aprendizagem Universitária

DOI:

10.3791/68648

⸱

29 de agosto de 2025

 ,  ,  , 
1Faculty of Education and Teacher Training, Autonomous University of Madrid

Neste artigo

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este artigo descreve o protocolo para validar qualitativa e quantitativamente um instrumento universitário de aprendizagem-serviço, seguindo o critério de parcimônia para criar a versão mais robusta e ideal possível. Para esse fim, são utilizados o método de validação qualitativa Delphi e a Análise Fatorial Exploratória de Mínimos Quadrados Não Ponderados Robustos, como método quantitativo de otimização de itens.

Resumo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

O Service-Learning (SL) tornou-se uma metodologia de aprendizagem altamente eficaz nos últimos anos, preenchendo a lacuna entre teoria e prática enquanto contextualiza a aprendizagem em cenários do mundo real. Foi implementado com sucesso em todos os níveis do ensino superior, resultando em melhorias notáveis nas habilidades dos estudantes universitários. No entanto, como uma metodologia transformadora, o SL ainda está nos estágios iniciais de desenvolvimento em termos de métodos de avaliação. Consequentemente, há uma necessidade premente de projetar e validar instrumentos de medição confiáveis e, acima de tudo, válidos, pois a aplicação da LS a contextos do mundo real é seu principal valor. Este artigo demonstra como projetar e validar de forma otimizada os instrumentos universitários de LS para avaliar a qualidade das experiências de LS no nível universitário do ponto de vista dos professores universitários, guiados pelo princípio da parcimônia. O método Delphi modificado online, a Análise Fatorial Exploratória Robusta de Mínimos Quadrados Não Ponderados e a Análise Fatorial Confirmatória foram aplicados para criar um novo instrumento, o QaSLu-27, validado por meio de uma amostra de 16 especialistas usando o método Delphi modificado online e 118 professores universitários que implementam projetos de SL. Os resultados mostram condições psicométricas ótimas para o novo instrumento (W = 0,11; α = 0,92; CMIN/DF=1,027; CFI= 0,979; WRMR= 0,0985; RMSEA= 0,046), levando ao desenvolvimento de novas escalas de classificação que permitem comparações de futuros usuários dessa metodologia, considerando suas características atribucionais e demográficas. O desenho de novos instrumentos validados, capazes de serem utilizados no mundo real e permitindo a criação de escalas, será muito útil para medir a implementação de novas experiências em LS, para avaliar seu progresso, seus participantes, seus gestores e seus monitores, contribuindo para o estabelecimento desse campo de estudo no atual quadro acadêmico e na geração de novos conhecimentos científicos.

Introdução

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

A Aprendizagem-Serviço (SL), uma abordagem educacional que integra a aprendizagem acadêmica com o serviço comunitário, tem ganhado cada vez mais reconhecimento na educação contemporânea. Essa abordagem pedagógica permite que os alunos apliquem o conhecimento da sala de aula aos desafios do mundo real, ao mesmo tempo em que promovem a responsabilidade cívica e o envolvimento da comunidade1. A importância da LS na educação atual não pode ser exagerada, pois equipa os alunos com competências profissionais práticas, promove o engajamento cívico e fornece uma compreensão mais profunda das questões sociais2.

Pesquisas recentes sobre SL cresceram significativamente, alimentadas pelo crescente reconhecimento de seu potencial para melhorar o aprendizado acadêmico e o envolvimento da comunidade. Esse crescimento é impulsionado pela crescente demanda por modelos educacionais que não apenas promovam o desenvolvimento acadêmico, mas também abordem os desafios sociais3. Os alunos exploraram os diversos impactos do SL, desde a promoção da justiça social até o cultivo da mentalidade cívica entre os alunos4. Além disso, a pesquisa de aprendizado de serviço tem se concentrado cada vez mais em sua aplicação em campos específicos, como STEM, saúde e ciência ambiental, onde a resolução de problemas do mundo real é crítica 5,6,7. À medida que o corpo da literatura se expande, os pesquisadores também estão começando a explorar como o aprendizado de serviço pode efetivamente preencher a lacuna entre teoria e prática de maneiras significativas para os alunos e as comunidades que atendem8.

No entanto, apesar de seu papel crescente, desafios significativos permanecem na medição da eficácia dos programas de LS9. Existem várias propostas em forma de rubrica, como as de Furco10, Martín et al.11, Lorenzo e Belando-Montoro12, Shek et al.13 ou Lu e Lambright14, que, apesar de comprovada utilidade em estudos de campo, ainda não foram validadas. Por outro lado, existem outras propostas, como as de Escofet-Roig et al.15, Rodríguez-Izquierdo16, León-Carrascosa et al.17, Ruiz-Ordoñez et al.18, Santos-Pastor et al.19 ou Gul et al.20 que carecem de validação qualitativa ou apresentam validações quantitativas muito limitadas. Outras deficiências observadas em instrumentos de avaliação anteriores são a falta de otimização de fatores e itens para cumprir o princípio da parcimônia e a completa falta de escalas de avaliação. Essa situação é comum em novos campos científicos e é o processo natural pelo qual todas as áreas de estudo passam para obter instrumentos ideais para uso generalizado.

No momento da criação do Questionário para a Autoavaliação das Experiências de Aprendizagem-Serviço Universitário (QaSLu), uma ferramenta para avaliar a qualidade das experiências de LS em nível universitário do ponto de vista dos professores universitários, as ferramentas mais reconhecidas que definiram os padrões para garantir a qualidade das experiências de LS foram as seguintes: Campo (2015)21, Europe Engage (2017)22, GREM (2014)23, RMC Research Corporation (2008)24, Puig-Rovira, Martín e Rubio-Serrano (2017)25 e Rubio-Serrano, Puig-Rovira, Martín e Palos (2015)26. Embora agora existam ferramentas adicionais, os instrumentos de medição atuais muitas vezes não conseguem capturar adequadamente os resultados de aprendizagem amplos e diferenciados associados a esses programas, especialmente em termos de crescimento pessoal de longo prazo, impacto na comunidade, com alguns considerados excessivamente gerais ou não baseados em estruturas científicas rigorosas 9,27. Essa lacuna nas ferramentas de medição dificulta uma compreensão abrangente e otimização do impacto da SL em alunos e comunidades.

O próximo passo no avanço da pesquisa de SL envolve o desenvolvimento de instrumentos de medição cientificamente rigorosos. Essas ferramentas devem ser projetadas não apenas para capturar resultados acadêmicos, mas também para avaliar os impactos pessoais e sociais que o SL pode ter sobre os alunos e as comunidades que atendem. Nossa pesquisa visa colmatar essa lacuna criando um instrumento fundamentado no rigor científico, oferecendo uma avaliação mais abrangente dos projetos de SL e orientando sua implementação futura.

Além da criação do instrumento, ele será validado, primeiro qualitativamente e depois quantitativamente. Para a validação inicial, será utilizado o método Delphi online modificado28. O termo "modificado" refere-se à proposta de Cabero de limitar o método Delphi a duas rodadas de consulta, evitando assim o abandono entre os membros do grupo de especialistas. O termo "online" foi introduzido por Cruz-Ramírez e Rúa-Vásquez29 para destacar que as consultas eram realizadas por e-mail, pois a Internet ajuda a superar certas limitações inerentes ao Delphi tradicional, como o pensamento de grupo ou a influência de opiniões de especialistas dominantes, que poderiam afetar a seleção de itens30,31.

Utilizando o método Delphi on-line modificado, serão avaliados dois tipos de validade: validade de construto, seguindo o processo descrito no estudo de Bakieva et al.32, onde especialistas são consultados sobre a relevância de cada item, e validade de conteúdo, com base no trabalho de Gil e Pascual-Ezama33, que avalia a clareza de cada item por meio de consulta a especialistas.

Os especialistas receberão uma escala Likert contendo quatro opções de resposta (nenhuma, pouco, bastante, muito). Ao não introduzir alternativas de resposta intermediária, os especialistas são obrigados a tomar uma posição definitiva a favor ou contra cada item34, facilitando assim o processo de tomada de decisão sobre a manutenção ou remoção de itens do questionário.

Quanto à validação quantitativa, ela se baseia na lei da parcimônia, um princípio fundamental da ciência que afirma que, diante de um problema científico, em igualdade de condições, a solução mais curta é preferível35,36. Portanto, a busca pelo instrumento válido mais curto e otimizado oferece as mesmas garantias científicas, sendo mais prático, exportável e geral para uso cotidiano em contextos reais sem sacrificar a confiabilidade ou validade. A Análise Fatorial Confirmatória (AFC)37 e a Análise Fatorial Exploratória Robusta Não Ponderada (RULS)38,39 serão utilizadas como técnicas analíticas para reduzir itens desnecessários e validar a estrutura final do instrumento. Os índices de ajuste e confiabilidade são utilizados como indicadores da validade da nova estrutura em relação à anterior, tomando como referência manter ou melhorar a confiabilidade e validade do instrumento otimizado dentro dos níveis que garantem a adequação e robustez da nova estrutura do questionário reduzido e otimizado.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Protocolo

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Este protocolo foi aprovado eticamente em 2020 pela Comissão Nacional de Pesquisa Científica e Tecnológica do Chile (CONICYT Fondecyt/Iniciação) sob o número de aprovação: 11170623. Um grupo de especialistas externos revisou e validou todo o processo. De acordo com a Declaração de Helsinque40, os participantes foram obrigados a fornecer consentimento informado por escrito para participar do estudo, e foi claramente comunicado que eles não estariam envolvidos em nenhuma condição experimental.

1. Projetando o primeiro rascunho de um QaSLu

  1. Realize uma análise de conteúdo dos itens das principais ferramentas reconhecidas para avaliar as experiências de SL. Para isso, foram revisados os itens das ferramentas internacionais que definem padrões para garantir a qualidade das experiências de LS, bem como as principais rubricas reconhecidas pela comunidade de especialistas em LS.
    NOTA: Como resultado desta revisão, o QaSLu aborda explicitamente a justiça social, um foco característico do SL europeu.
  2. Categorize todos os itens com base nas fases envolvidas na concepção de experiências de SL (1. Projeto, 2. Implementação, 3. Avaliação) e a aplicação de experiências de LS (A. Fase Inicial, B. Planejamento, C. Execução, D. Fechamento e Replicação).
    NOTA: Para garantir a confiabilidade da categorização, foi utilizada a concordância absoluta entre os avaliadores, aceitando-se apenas as categorizações em que todos os autores concordassem.
  3. Selecione os itens finais para o primeiro rascunho do instrumento para avaliar o University Service-Learning (USL).
    1. Primeiro, elimine itens duplicados dentro de cada categoria, tanto nas fases relacionadas ao design quanto na aplicação de experiências de SL.
    2. Em segundo lugar, remover itens não relevantes que não estejam alinhados com os objetivos do novo instrumento são removidos.
    3. Por fim, crie ou adapte itens para se adequar à população-alvo (corpo docente da universidade) e aos objetivos do estudo (avaliar a qualidade das experiências de LS).
      NOTA: O QaSLu foi projetado para o aprendizado de serviço universitário. Embora a maioria das ferramentas tenha avaliado a qualidade da SL no nível universitário, alguns itens de ferramentas anteriores tiveram que ser reformulados e novos itens foram criados para garantir que o QaSLu fosse totalmente adaptado ao contexto universitário.
  4. Desenhe o primeiro rascunho do questionário para atender aos objetivos do estudo.
    NOTA: O rascunho do QaSLu foi criado usando o Microsoft Word para facilitar o compartilhamento e a modificação. Inicialmente, foi composto por 54 itens respondidos por meio de uma escala Likert de 5 pontos (Nunca, Raramente, Às vezes, Quase Sempre, Sempre). O questionário foi elaborado tendo em mente uma estrutura de fator único ou componente principal para que sua pontuação final pudesse ser utilizada para comparar os usuários de acordo com suas características por meio de escalas de avaliação padronizadas.

2. Seleção do grupo de especialistas para o método Delphi

  1. Selecione uma grande amostra de especialistas em USL que possam avaliar o instrumento projetado anteriormente. Nesse processo, estabelecer critérios essenciais de inclusão: 1. Um mínimo de quatro anos de experiência em pesquisa e concepção/implementação de experiências de USL; 2. Participação em um corpo acadêmico universitário; e 3. Ser doutorando ou doutorado.
    NOTA: Com base nos critérios de inclusão, foi criada uma lista de 20 especialistas que poderiam desempenhar um papel de destaque na comunidade USL.
  2. Envie um e-mail para todos os especialistas selecionados na etapa 2.1, explicando os objetivos da pesquisa, as fases do método Delphi, os cronogramas esperados, os critérios de inclusão e perguntando sobre sua disponibilidade e vontade de participar do processo de validação, juntamente com a aceitação do consentimento informado por escrito.
    NOTA: Todos os especialistas concordaram em participar.
  3. Configure o grupo de especialistas final para avaliar o instrumento definitivo de avaliação da USL. Estabelecer os novos critérios de inclusão com base nas características dos especialistas que concordaram em participar. A configuração final do grupo de especialistas teve como objetivos: 1. Diversidade acadêmica e profissional, ou seja, representação de diferentes estratos acadêmicos; 2. Diversidade geográfica nas localidades onde foram realizadas as experiências de LS; e 3. Diversidade de gênero.
    NOTA: Dezesseis especialistas da USL se comprometeram e concluíram o processo em sua totalidade. O grupo final de especialistas consistiu em 75% de mulheres e 25% de homens.

3. Validação qualitativa do questionário QaSLu por meio do Método Delphi Online Modificado

  1. Envie um e-mail para cada membro do grupo de especialistas com um modelo para avaliar os itens do primeiro rascunho do instrumento de avaliação da USL, juntamente com as instruções relevantes (Rodada 1 do Método Delphi).
    NOTA: Os especialistas avaliam a relevância (validade de construto) e clareza (validade de conteúdo) de cada item usando uma escala Likert de 4 pontos, onde 1 representa "não relevante ou não está claro" e 4 representa "muito relevante ou muito claro". Ao lado de cada item, há uma caixa para avaliar a relevância e outra para maior clareza - onde os especialistas devem classificar cada item em uma escala de 1 a 4. Abaixo dessas caixas, uma seção adicional permite que eles expliquem qualitativamente sua avaliação e sugiram possíveis revisões dos itens (veja um rascunho de amostra do questionário fornecido como Arquivo Suplementar 1). Ao não incluir opções intermediárias de resposta, os especialistas foram forçados a assumir uma posição definitiva, o que facilitou o processo de tomada de decisão quanto à retenção ou remoção de itens do questionário.
  2. Colete as respostas dos especialistas para a Rodada 1 da consulta Delphi em um único arquivo.
    NOTA: Os especialistas tiveram 2 semanas para concluir a avaliação da relevância (validade de construto) e clareza (validade de conteúdo) dos 54 itens do modelo.
  3. Calcule o coeficiente de Kendall para determinar o nível de concordância entre as respostas dos especialistas em relação à relevância e clareza.
    1. Primeiro acesse o menu Analisar > Testes Não Paramétricos > Diálogos Legados > K Amostras Relacionadas (veja a Figura 1). Selecione todas as respostas dos especialistas em relação à relevância e clareza. Faça isso separadamente, primeiro relevância e depois clareza.
    2. Mova os itens para a caixa Lista de Variáveis de Teste. Na seção Tipo de teste, selecione a opção W de Kendall. Por fim, clique em OK para executar a análise e obter os resultados correspondentes.
      NOTA: A análise de concordância revelou que houve concordância estatisticamente significativa entre os especialistas questionados sobre relevância (validade de construto) e clareza (validade de conteúdo).
  4. Avalie a validade de construto (relevância) e a validade de conteúdo (clareza).
    1. Realizar uma análise descritiva usando o pacote de software estatístico 1. Primeiro, selecione o menu Analisar > Estatísticas Descritivas > Frequências e, na caixa de diálogo Frequências , selecione as pontuações de relevância para todos os itens do instrumento e adicione-as à caixa Variável(is) clicando no ícone de seta.
    2. Em seguida, clique no ícone Estatísticas , marque a caixa Percentil(es) e adicione os percentis 25, 50 e 75 à caixa de diálogo Frequências: Estatísticas e clique em Continuar para retornar à caixa de diálogo Frequências .
    3. Por fim, clique no ícone OK para gerar os percentis desejados para cada item (consulte a Figura 2). Após a saída, vá para Analisar > Estatística Descritiva > Descritiva e, na caixa de diálogo Descritivos , selecione as pontuações de clareza para todos os itens do instrumento e adicione-as à caixa Variável(is) clicando no ícone de seta (consulte a Figura 3). Por fim, clique em OK para gerar os resultados.
  5. Remova todos os itens que 75% dos especialistas consideram altamente irrelevantes e reformule os itens que foram classificados como altamente relevantes, mas pouco claros.
    NOTA: Após a primeira rodada de consulta, 10 itens foram removidos do rascunho inicial do QaSLu: itens 4, 5, 9, 16, 27, 45, 51, 52, 53 e 54. Além disso, 16 itens do primeiro rascunho do QaSLu foram reformulados: itens 1, 2, 10, 13, 14, 15, 23, 30, 31, 33, 37, 41, 42, 43, 48 e 49. A reformulação ou reformulação foi baseada nas sugestões dos especialistas.
  6. Preparar um relatório de resultados para a Rodada 1 da consulta que inclua o seguinte: 1. O resultado em relação ao nível de concordância sobre relevância ou validade de construto (coeficiente de Kendall); 2. Os critérios de tomada de decisão estabelecidos; 3. O número de itens validados; 4. O número de itens removidos; 5. O número de itens reformulados ainda em revisão; e 6. A versão modificada do instrumento de avaliação da USL.
    NOTA: O objetivo da criação deste relatório foi informar o grupo de especialistas sem sobrecarregá-los com dados excessivos e sem influenciar suas avaliações futuras.
  7. Enviar um e-mail para cada membro do grupo de especialistas com o relatório dos resultados da Rodada 1 da consulta, juntamente com um modelo para avaliar os itens reformulados na versão modificada do instrumento de avaliação da USL, com instruções específicas (Rodada 2 do Método Delphi).
    NOTA: Os especialistas avaliam a clareza (validade de conteúdo) de cada item reformulado usando uma escala Likert de 4 pontos, onde 1 representa "não relevante ou não está claro" e 4 representa "muito relevante ou muito claro". Ao lado de cada item, há uma caixa para clareza de classificação com um número de 1 a 4, seguida por outra seção onde eles podem explicar qualitativamente sua avaliação e propor possíveis revisões adicionais para o item (veja um rascunho de amostra do questionário fornecido como Arquivo Suplementar 2). Ao não introduzir nenhuma opção de resposta intermediária, os especialistas foram obrigados a tomar uma posição definitiva, a favor ou contra os itens. Isso facilitou o processo de tomada de decisão quanto à inclusão ou exclusão de itens do questionário.
  8. Compile as respostas dos especialistas na Rodada 2 da consulta Delphi em um único arquivo.
    NOTA: Os especialistas tiveram novamente duas semanas para concluir sua avaliação da clareza (validade de conteúdo) dos 16 itens do modelo.
  9. Repita as etapas em 3.3, mas desta vez selecione apenas as pontuações de clareza para os itens reformulados do instrumento e incorpore-os na caixa Variável(is).
  10. Repita as etapas em 3.4, removendo todos os itens que foram classificados como altamente claros por 75% dos especialistas.
    NOTA: Após a segunda rodada de consulta, os seguintes itens foram removidos: itens 1, 23, 31 e 41.
  11. Inclua vários itens de controle com o objetivo de avaliar a consistência interna no futuro (recomenda-se incluir aproximadamente um item de controle para cada 10 itens).
    NOTA: Quatro itens de controle foram adicionados a esta versão do instrumento.
  12. Preparar um relatório de resultados para a 2ª rodada da consulta, que inclui o seguinte: 1. O resultado sobre o nível de concordância sobre clareza ou validade de conteúdo (coeficiente de Kendall); 2. Os critérios de tomada de decisão estabelecidos; 3. O número de itens validados; 4. O número de itens eliminados; 5. O número de itens incluídos como itens de controle; e 6. A versão modificada do QaSLu-45 (41 itens validados + 4 itens de controle).
    NOTA: A versão final do questionário foi estruturada da seguinte forma: 1) Objetivo do questionário, consentimento informado por escrito e instruções; 2) Organização ou instituição, sexo, idade, nível de escolaridade e anos de experiência profissional em aprendizagem-serviço do entrevistado (esta informação não permite a identificação do participante); 3) Dados sobre a experiência de aprendizagem-serviço; 4) 45 itens para autoavaliação de experiências de aprendizagem-serviço; e 5) Agradecimento pela participação (um rascunho de amostra do questionário é fornecido como Arquivo Suplementar 3).
  13. Enviar o relatório de resultados da segunda rodada de consulta ao grupo de especialistas, contendo a versão final do questionário elaborado (QaSLu-45), e agradecê-los por sua participação no Método Delphi on-line modificado.

figure-protocol-1
Figura 1: Cálculo do coeficiente de Kendall no pacote estatístico 1. (1) Clique no ícone K Amostras relacionadas; (2) Selecione o W de Kendall; (3) clique no ícone OK. Clique aqui para ver uma versão maior desta figura.

figure-protocol-2
Figura 2: Extraindo percentis no pacote de software estatístico 1. (1) Clique no ícone Frequências; (2) Clique no ícone Estatísticas; (3) na caixa de diálogo Frequências: Estatísticas, adicione os percentis. Clique aqui para ver uma versão maior desta figura.

figure-protocol-3
Figura 3: Extração de descritivos no pacote de software estatístico 1. (1) Clique no ícone Descritivo; (2) adicione a(s) variável(is); (3) clique no ícone OK.

4. Adaptação do questionário à especificação online de um servidor seguro

  1. Ir Navegue até a página principal da plataforma de software como serviço (SaaS) com um servidor privado (consulte Tabela de Materiais) como usuário registrado. Este registo deve ser concluído previamente, fornecendo dados pessoais. Depois de registrado, selecione Criar sua pesquisa do zero (consulte a Figura 4).
  2. Crie a primeira página, que deve incluir o consentimento informado de aceitação obrigatória para prosseguir.
  3. Crie a segunda página com perguntas de atribuição dos participantes, que serão utilizadas na pesquisa como variáveis intervenientes ou de controle na pesquisa.
    NOTA: Este estudo inclui a análise de três variáveis quantitativas discretas e cinco variáveis categóricas nominais. Abaixo está a descrição operacional dessas oito variáveis incluídas no estudo:
    Sexo: Variável nominal, atributiva e dicotômica com dois níveis (masculino/feminino).
    Idade: Uma variável quantitativa discreta que determina a idade do participante no estudo.
    Experiência USL: Uma variável quantitativa discreta que mede a experiência de aprendizado de serviço do participante. A escala começa em 0, representando menos de um ano de experiência em aprendizagem-serviço (o que não equivale a 'sem experiência'), sem limite superior.
    Nível Acadêmico: Uma variável nominal, dicotômica, com dois níveis (Doutorado/Não Doutorado), refletindo se o participante possui doutorado profissional.
    Organização Colaboradora para a Atividade da USL: Uma variável nominal com cinco níveis (Centros Sociais, ONGs, Fundações, Escolas, Alianças com Instituições de Ensino Superior ou Universidades, Administrações Públicas Governamentais, Centros Seniores e outros centros relacionados à saúde). Essa variável identifica o tipo de organização ou instituição com a qual o participante colabora na experiência de aprendizagem-serviço.
    Grupo-alvo da atividade USL: Uma variável nominal com cinco níveis (Grupos com deficiência, Estudantes, Minorias étnicas, Idosos, Grupos desfavorecidos em risco social). Essa variável identifica o principal grupo de beneficiários da atividade de aprendizado de serviço.
    Modo de Intervenção para a Atividade USL: Uma variável dicotômica nominal (Exclusivamente aprendizagem de serviço presencial / Inclui atividades online no todo ou em parte). Essa variável indica se a atividade de aprendizado de serviço envolve um componente online.
  4. Crie várias páginas para o questionário previamente elaborado, incluindo as perguntas e possíveis respostas, através da plataforma SaaS com um servidor privado.
  5. Após criar e salvar a pesquisa (veja o questionário final no Arquivo Suplementar 2), retorne ao menu principal da plataforma, selecione o questionário e clique no ícone Abrir > Fechar Pesquisa Pública para disponibilizá-lo aos participantes. Em seguida, clique no ícone Obter um link para a pesquisa , escolhendo entre várias opções de acesso do participante (por exemplo, um link incorporado em um e-mail ou em um site, um iframe em um site, um pop-up em um site ou um link fornecido para computadores de um call center, consulte a Figura 5).
    NOTA: A versão final do questionário foi estruturada da seguinte forma: 1) Objetivo do questionário, consentimento informado por escrito e instruções; 2) Detalhes do participante (instituição ou organização, idade, sexo, nível educacional e anos de experiência profissional em aprendizagem-serviço). Essas informações garantem o anonimato do participante; 3) Dados sobre a experiência de aprendizagem-serviço; 4) 45 itens para autoavaliação de experiências de aprendizagem-serviço; e 5) Uma seção expressando gratidão pela participação.

figure-protocol-4
Figura 4: Criando o questionário do zero. (1) Clique no ícone Nova pesquisa ; (2) Selecione Criar seu questionário do zero. Clique aqui para ver uma versão maior desta figura.

figure-protocol-5
Figura 5: Elaboração do questionário. (1) Editar a pesquisa; (2) Adicionar e configurar páginas e perguntas; (3-5) Desenvolva páginas, perguntas e respostas. Clique aqui para ver uma versão maior desta figura.

5. Método de amostragem

  1. Revise todos os procedimentos das conferências organizadas pela Rede Espanhola de Aprendizagem de Serviço Universitário nos últimos 3 anos. Compile uma lista de autores que trabalharam com aprendizado de serviço nos últimos anos e colete seus endereços de e-mail.
    NOTA: A amostragem foi incidental e oportunista.
  2. Envie um e-mail a todos os autores convidando-os a participar do estudo. Reenvie o e-mail uma e duas semanas depois.
    NOTA: O e-mail incentivava os destinatários a encaminhá-lo para contatos que pudessem estar interessados em participar. Assim, o método de amostragem incidental foi complementado por uma técnica de amostragem bola de neve.
  3. Acesse a página principal da plataforma SaaS como usuário cadastrado, selecione o questionário criado e clique em Resultados. No menu pop-up, clique no ícone Questionário para acessar diretamente os questionários preenchidos. Elimine quaisquer respostas incompletas ou errôneas por meio da plataforma SaaS (consulte a Figura 6).
  4. Quando os questionários atingirem o número mínimo necessário de participantes (>100), após excluir as respostas incompletas, navegue até a página principal da plataforma SaaS como usuário registrado, selecione o questionário e clique no ícone Abrir/Fechar Pesquisa Pública para fechar a pesquisa e impedir qualquer participação adicional (consulte a Etapa 1 na Figura 5 novamente).
    NOTA: Participaram 118 educadores de 43 instituições de ensino superior, sendo que 67,80% se identificaram como mulheres e 32,20% como homens. A média de idade foi de 46,16 anos (DP = 9,60), com idades variando de 24 a 65 anos. Em relação à habilitação acadêmica, uma maioria significativa (76,3%) possuía título de doutor, enquanto os demais participantes possuíam pelo menos o diploma de bacharel. Em termos de experiência de aprendizagem-serviço, a média foi de 6,69 anos (DP = 5,39 anos), com a menor registrada em meio ano e a maior em 34 anos. As instituições com as quais as universidades dos participantes colaboraram incluíram centros educacionais (incluindo outras universidades), centros sociais, centros de idosos, centros de saúde, ONGs, fundações e agências governamentais, como prefeituras e conselhos. As parcerias de aprendizagem-serviço foram formadas com dois tipos de instituições: centros de educação formal, compreendendo 50,85% da amostra, e centros de educação não formal, compreendendo os 49,15% restantes. Em relação à modalidade das experiências de aprendizagem-serviço, 64,41% foram presenciais, enquanto 35,59% envolveram alguma forma de atividade virtual.

figure-protocol-6
Figura 6: Obtenção de um link para a pesquisa. (1) Abra a pesquisa; (2) Clique no ícone Obter um link para a pesquisa ; (3) Selecione o método desejado. Clique aqui para ver uma versão maior desta figura.

6. Validação quantitativa do questionário por análise fatorial

  1. Navegue até a página principal da plataforma SaaS como usuário registrado, selecione a pesquisa criada e clique no ícone Resultados . No menu pop-up, clique em Exportar e selecione as opções de relatório detalhado (formato de planilha avançado), em Texto, com extensão de valores separados por vírgula (.csv) (consulte a Figura 7). Depois que os participantes preencherem os questionários, exporte os dados para uma conta de e-mail em formato .csv, garantindo que sejam armazenados em um local seguro, privado e protegido.
  2. Abra o pacote de software estatístico 1 (consulte Tabela de materiais) e selecione o menu Arquivo > Importar dados > dados CSV. Escolha o arquivo .csv salvo anteriormente. Esse processo transforma os dados anônimos no formato de análise necessário para o pacote de software estatístico 1 (ver Figura 8).
  3. Selecione as variáveis a serem analisadas estatisticamente (Sexo, Idade, Qualificação Educacional, Organização Colaboradora da Atividade USL, Grupo-Alvo da Atividade USL, Modo de Intervenção para a Atividade USL e os 45 itens do QaSLu) e remova quaisquer dados irrelevantes importados por meio do arquivo .sav gerado pelo pacote de software estatístico 1.
  4. Avaliar a consistência interna do questionário QaSLu-45 usando o Alfa de Cronbach com o pacote de software estatístico 1. Para fazer isso, selecione o menu Analisar > Escala > Análise de confiabilidade e transfira todas as variáveis relevantes para a caixa de diálogo Análise de confiabilidade . Por fim, clique no botão OK para gerar a saída desejada (consulte a Figura 9).
    NOTA: O questionário demonstrou alta confiabilidade e consistência interna, medida pelo Alfa de Cronbach (α = 0,917).
  5. Realizar a análise fatorial exploratória utilizando o pacote de software estatístico 1.
    1. Para realizar essa análise, selecione o menu Analisar > Redução de dimensão > Fator. Na caixa de diálogo Análise fatorial , selecione todos os itens do questionário, clique em Descritivos e selecione Descritivos Univariados e KMO e Teste de Esfericidade de Bartlett.
    2. Clique em Continuar para retornar ao menu principal da caixa de diálogo Análise fatorial . Em seguida, clique em Extração e selecione Componentes principais como método de extração.
    3. Marque as opções para Solução de fator não girado e Gráfico de cascalho e clique em Continuar novamente para retornar ao menu principal da caixa de diálogo Análise de fator . Por fim, clique no ícone OK para gerar a saída (consulte a Figura 10).
      NOTA: A significância do Teste de Esfericidade de Bartlett (χ2 = 2689,72; p = 0,00) e do Teste de Adequação Amostral de Kaiser-Meyer-Olkin (KMO) (KMO = 0,793) confirmam a adequação dessa análise fatorial devido ao forte desenho dos itens e à amostragem para a validação do QaSLu-45. Os resultados da análise de componentes principais revelaram 13 componentes com autovalores maiores que 1,0, explicando 69,95% da variância total. No entanto, o gráfico de seixo (ver Figura 11) mostra que o primeiro componente tem uma relevância tão desproporcional que a importância dos componentes restantes se torna insignificante. Portanto, recomenda-se reduzir o QaSLu-45 a um único componente, obtendo assim uma pontuação final única para o QaSLu-45 projetado.
  6. Converter o arquivo de resultados do questionário, excluindo variáveis de atributos, para o formato fixo ASCII (dat), compatível com o pacote de software estatístico 2 (ver Tabela de Materiais).
    1. Primeiro, remova todas as variáveis de atributo, deixando apenas os itens do questionário como variáveis no pacote de software estatístico 1. Em seguida, selecione o menu File > Export Data > Fixed Text (consulte a Figura 12).
    2. Salve o arquivo em um local seguro com um nome reconhecível. Esse processo transforma os dados anônimos no formato necessário para análise no pacote de software estatístico 2.
  7. Realize a Análise Fatorial Confirmatória (CFA) com o pacote de software estatístico 2 para determinar a qualidade do ajuste para o modelo de um fator do questionário.
    1. Para realizar essa análise, selecione Ler Dados e, na caixa de diálogo Exemplo, clique em Procurar e selecione o arquivo ASCII criado anteriormente. O número de participantes e variáveis será exibido em verde na seção Tamanho das matrizes de dados .
    2. Em seguida, clique no ícone Abrir conjunto de dados de grupo único e retorne ao menu principal do pacote de software estatístico 2. No Menu Principal, clique em Configurar Análise. No menu de diálogo , marque Análise fatorial confirmatória e clique no botão Confirmar .
    3. Na janela CFA: Configuração da análise fatorial , aceite as configurações padrão e clique em Confirmar para retornar ao menu principal. Por fim, uma mensagem "Análise fatorial confirmatória pronta" será vista no Menu Principal; em seguida, clique no botão Compute (veja a Figura 13) e aguarde os resultados.
      NOTA: Os itens QaSLu-45 demonstraram excelente qualidade de ajuste robusta, conforme avaliado pelas medidas de ajuste do modelo CFA. De acordo com o critério sugerido por Kelley, o Índice de Ajuste Comparativo dos itens do QaSLu-45 foi de >0,95 (CFI = 0,973), uma vez que a diferença mínima-máxima no CFA/graus de liberdade foi entre 1 e 3 (CMIN/DF = 1,053), a raiz quadrada média do erro de aproximação foi de <0,06 (RMSEA = 0,042) e a raiz quadrada média ponderada do resíduo foi de <1,0 (WRMR = 0,0978).

figure-protocol-7
Figura 7: Exportando dados para uso nos pacotes de software estatístico 1 e 2. (1) Clique no ícone Resultados ; (2) Clique no ícone Questionários ; (3) Selecione Texto e CSV na opção Detalhado. Clique aqui para ver uma versão maior desta figura.

figure-protocol-8
Figura 8: Importando dados para o pacote de software estatístico 1. Selecione o menu Arquivo > Importar dados > dados CSV. Clique aqui para ver uma versão maior desta figura.

figure-protocol-9
Figura 9: Avaliação da consistência interna do questionário. Selecione o menu Analisar > Dimensionar > Análise de confiabilidade. Clique aqui para ver uma versão maior desta figura.

figure-protocol-10
Figura 10: Realização da análise fatorial exploratória com o pacote de software estatístico 1. (1) Clique no ícone Fatores ; (2) Clique no ícone Descritivos ; (3) Selecione KMO e teste de esfericidade de Bartlett na opção Detalhado; (4) Clique no ícone Extração ; (5) Selecione Scree Plot na opção Detalhado; (6) clique no ícone OK . Clique aqui para ver uma versão maior desta figura.

figure-protocol-11
Figura 11: Gráfico de sedimentos da análise fatorial de componentes principais na versão inicial de 45 itens. Observe como o componente número 1, de acordo com a análise fatorial exploratória, se destaca enormemente em relação aos demais, destacando que sua relevância é muito maior do que a dos demais componentes combinados, verificando que a estrutura unifatorial é a mais adequada para o questionário. Esta tabela foi republicada a partir de López-de-Arana Prado et al.9. Clique aqui para ver uma versão maior desta figura.

figure-protocol-12
Figura 12: Convertendo o arquivo de resultados para o formato ASCII no formato fixo. (1) Clique no ícone Texto fixo ; (2) Selecione ASCII fixo no menu Salvar como tipo; (3) clique no ícone Salvar . Clique aqui para ver uma versão maior desta figura.

figure-protocol-13
Figura 13: Realização da Análise Fatorial Confirmatória com o pacote de software estatístico 2. (1) Clique no ícone Ler dados ; (2) Selecione o arquivo ASCII no menu Exemplo; (3) Clique no ícone Abrir conjunto de dados de grupo único ; (4) Clique no ícone Configurar análise ; (5) Selecione Análise fatorial confirmatória na opção Detalhado; (6) clique no ícone OK ; (7) clique no ícone Compute . Clique aqui para ver uma versão maior desta figura.

7. Otimização do questionário para um único componente principal, reduzindo o excesso de itens de acordo com o princípio da parcimônia

  1. Identifique os itens para remoção na versão otimizada do questionário que têm uma relação inversa com o componente principal.
    1. Revise a Matriz de Componentes obtida na etapa 6.5 usando o pacote de software estatístico 1 para determinar quais itens exibem uma relação inversa com o fator principal. Exclua esses itens da versão reduzida e otimizada do questionário para um único fator.
      NOTA: Com base na matriz de pontuação de cada item para o componente principal, os itens 6, 16, 28 e 35 foram descartados da configuração final por apresentarem uma relação inversa com o componente principal. Como o questionário oferece uma única pontuação final, os itens inversos devem ser eliminados, pois mascaram as reais diferenças entre os usuários do questionário.
  2. Realize uma análise fatorial exploratória robusta de mínimos quadrados não ponderados (RULS) com o pacote de software estatístico 2.
    1. Para realizar esta análise, selecione Ler dados e, na caixa de diálogo Exemplo, clique em Procurar e selecione o arquivo ASCII criado anteriormente. O número de participantes e variáveis será exibido em verde na seção Tamanho das matrizes de dados .
    2. Em seguida, clique no ícone Abrir conjunto de dados de grupo único e retorne ao menu principal do pacote de software estatístico 2. No Menu Principal, clique em Configurar Análise. No menu de diálogo , selecione Análise fatorial exploratória e clique no botão Confirmar .
    3. No Menu de Configuração da Análise Fatorial Exploratória , selecione os itens com relação inversa ao componente principal de acordo com a análise fatorial exploratória realizada com o pacote de software estatístico 1 e mova-os para a caixa com a caixa de variáveis excluídas.
    4. Em seguida, marque as opções Matriz de correlação de Pearson e Análise paralela , altere o Número de fatores/componentes para 1 e selecione Análise fatorial robusta (consulte a Figura 14). Por fim, clique no botão Confirmar para retornar ao menu principal e, em seguida, clique em Calcular para gerar os resultados.
  3. Identifique os itens para remoção da versão otimizada do questionário que tenham uma Medida de Adequação de Amostragem (MSA) abaixo de 0,49 MSA. Para isso, revise os resultados obtidos na Análise Fatorial Exploratória RULS com o pacote estatístico 2, especificamente os Índices de Localização de Itens e Adequação de Itens.
    NOTA: A Análise Fatorial Exploratória RULS sugere descartar 14 itens para adaptar o design a um único componente principal: 1, 4, 7, 8, 9, 11, 18, 20, 23, 25, 31, 38, 41 e 42. Isso resulta em uma configuração final de 27 itens, otimizados para um único componente principal, com alta robustez psicométrica associada. Essa versão foi chamada de QaSLu-27 (um rascunho de amostra do questionário é fornecido como Arquivo Suplementar 4).

figure-protocol-14
Figura 14: Execução de mínimos quadrados não ponderados robustos com o pacote de software estatístico 2. (1) Clique no ícone Ler dados ; (2) Selecione o arquivo ASCII no menu Exemplo; (3) Clique no ícone Abrir conjunto de dados de grupo único ; (4) Clique no ícone Configurar análise ; (5) Selecione Análise fatorial exploratória na opção Detalhado; (6) Marque as opções Matriz de Correlação de Pearson e Análise Paralela ; (7) Altere o número de fatores/componentes para 1; (8) verificar a Análise Fatorial Robusta nas opções; (9) clique no botão Confirmar ; (10) Clique no ícone Compute . Clique aqui para ver uma versão maior desta figura.

8. Revisar a adequação das propriedades psicométricas do QaSLu-27 em relação ao QaSLu-45.

  1. Reaplique a etapa 6.4, excluindo da análise quaisquer itens que não façam parte da versão otimizada do questionário.
  2. Reaplique a etapa 6.5, excluindo da análise quaisquer itens que não façam parte da versão otimizada do questionário.
  3. Reaplique a etapa 6.7, excluindo da análise quaisquer itens que não façam parte da versão otimizada do questionário.
  4. Compare a adequação das propriedades psicométricas da versão otimizada do questionário com a versão original em formato de tabela.
    NOTA: Observou-se melhora significativa no Teste de Adequação Amostral KMO (KMO = 0,863) e no Teste de Esfericidade de Bartlett (χ2 = 1447,76; p = 0,000). A análise fatorial de componentes principais com QaSLu-27 revelou sete componentes com autovalores > 1,0, representando 65,59% da variância total. As estatísticas robustas de qualidade de ajuste, determinadas por meio da AFC, mostraram resultados ligeiramente melhores, e a confiabilidade medida pelo alfa de Cronbach aumentou (α = 0,92), apesar do QaSLu-27 conter apenas 27 itens em vez de 45. Esses achados apóiam a conclusão de que a validade e a robustez da configuração final são significativamente maiores do que as da versão de 45 itens.

9. Desenvolvimento de escalas de classificação

  1. Crie uma nova variável somando as pontuações de todos os itens na versão otimizada do questionário.
    1. Selecione Menu Transformar > Calcular Variável e nomeie a nova variável como SUM27 na caixa de diálogo Calcular Variável .
    2. Selecione a função Soma e preencha a Expressão Numérica, incluindo os itens da versão otimizada do questionário. Por fim, clique no ícone OK para gerar a nova variável SUM27 (consulte a Figura 15).
  2. Calcule os diferentes percentis do resultado final da versão otimizada do questionário.
    1. Selecione o menu Analisar > Estatísticas descritivas > frequências e, na caixa de diálogo Frequências , selecione a variável SUM27 e mova-a para a caixa Variável(is) clicando no ícone de seta.
    2. Em seguida, clique no ícone Estatísticas , selecione Percentil(is) e adicione os seguintes percentis: 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 e 99. Clique no ícone Continuar para retornar à caixa de diálogo Frequências. Por fim, clique no ícone OK para gerar os percentis desejados para SUM27 (consulte a Figura 1).
    3. Repita esse processo para cada escala de classificação aplicando filtros de acordo com as variáveis adicionadas. Para fazer isso, clique no ícone Dividir arquivo , selecione cada variável nominal ou ordinal considerada relevante, escolha Organizar saída por grupos, clique no ícone de seta e, finalmente, clique no ícone OK para gerar os percentis desejados para SUM27, filtrados por cada variável.
  3. Crie uma tabela para cada escala de classificação.
    1. Crie uma linha para os títulos da tabela, seguida por uma linha para Baixo (com sublinhas para os percentis 1, 10 e 20), Médio/Baixo (com sublinhas para os percentis 30 e 40), Médio (percentil 50), Médio/Alto (com sublinhas para os percentis 60 e 70) e Alto (com sublinhas para os percentis 80, 90 e 99).
    2. Na linha de título, crie várias colunas: a primeira rotulada Nível (com os nomes de nível listados abaixo), a segunda rotulada Percentil (com cada percentil listado abaixo) e, da terceira coluna em diante, liste os nomes das diferentes condições da variável selecionada para cada tabela.
    3. Preencha a tabela com o intervalo de pontuação para os percentis calculados anteriormente. Ou seja, Percentil 1 = 0 -, Percentil 4, Percentil 10 = Percentil 5 - Percentil 14, Percentil 20 = Percentil 15 - Percentil 24, Percentil 30 = Percentil 25 - Percentil 34, Percentil 40 = Percentil 35 - Percentil 44, Percentil 50 = Percentil 45 - Percentil 54, Percentil 60 = Percentil 55 - Percentil 64, Percentil 70 = Percentil 65 - Percentil 74, Percentil 80 = Percentil 75 - Percentil 84, Percentil 90 = Percentil 85 - Percentil 94, e Percentil 99 = Percentil 95 - Percentil 99. Repita esse processo para cada escala de classificação com as variáveis nominais ou ordinais selecionadas.

figure-protocol-15
Figura 15: Criando uma nova variável somando as pontuações de todos os itens no pacote de software estatístico 1. (1) Clique no ícone Calcular variável ; (2) Selecione a função Soma; (3) completar a Expressão Numérica com todos os itens; (4) Atribua um nome à nova variável; (5) clique no ícone OK . Clique aqui para ver uma versão maior desta figura.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Resultados

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Seguindo esse rigoroso protocolo de validação quali-quantitativa, desenvolvemos um instrumento robusto, otimizado e parcimonioso para a autoavaliação das experiências universitárias de aprendizagem-serviço, denominado QaSLu (Questionário para a Autoavaliação das Experiências de Aprendizagem-Serviço no Ensino Superior). Este instrumento final recebeu aprovação qualitativa de 16 especialistas em LS sob o método Delphi, com duas rodadas de consultas e adaptações online, bem como validação q...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Discussão

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os métodos utilizados para validação de instrumentos oferecem várias vantagens. O método Delphi facilitou a coleta de insights de um painel de especialistas, possibilitando a organização sistemática dessas informações para análise. Permitiu a seleção e o refinamento das respostas com base em estimativas e sugestões de especialistas 32,47,48,49. Além disso, essa...

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Divulgações

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores não têm nada a divulgar.

Agradecimentos

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,

Os autores gostariam de expressar sua gratidão à Comissão Nacional de Pesquisas Científicas e Tecnológicas do Chile (CONICYT Fondecyt/Iniciação), bem como a todos os especialistas que participaram da validação qualitativa através do método Delphi e a todos os participantes da validação quantitativa e pontuação.

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Materiais

Lista de materiais utilizados neste artigo
NomeEmpresaNúmero de catálogoComentários
Encuestafacil.com SaasEncuestafacil.com2025Software como serviço no servidor de dados privado Encuestafacil.com
Análise fatorialUniversitat Rovira i Virgili12.06.07Pacote de software utilizado na análise fatorial de dados
Pacote Estatístico para as Ciências Sociais (SPSS)IBM24Pacote de software utilizado na análise estatística de dados

Referências

$$\rightleftharpoonup{xx}$$ $$\longleftharp{xx}$$, $$\longrightharp{xx}$$,
  1. Furco, A., Norvell, K. What is Service Learning? Making Sense of the Pedagogy and Practice. Embedding Service Learning in European Higher Education. , Roultledge. London and New York. (2019).
  2. Salam, M., Awang Iskandar, D. N., Ibrahim, D. H. A., Farooq, M. S. Service learning in higher education: A systematic literature review. Asia Pac Educ Rev. 20 (4), 573-593 (2019).
  3. Mabborang, J. M., Dumlao, D., Cusap, K. W. Effect of servicelearning program on student's outcomes. Int J Res Innov Soc Sci. 8 (8), 2580-2589 (2024).
  4. Albanesi, C., Compare, C. Integrating academic learning: Promoting civic engagement, responsibility, and social justice through servicelearning. Form@re - Open J per la form in rete. 23 (2), 80-92 (2023).
  5. Stewart, T., Wubbena, Z. An overview of infusing servicelearning in medical education. Int J Med Educ. 5, 147-156 (2014).
  6. Mahmud, S. N. D., Ismail, N. K. STEM service learning in higher education: A systematic literature review. Eurasia J Math Sci Technol Educ. 20 (12), em2549(2024).
  7. Cebrián, G., Fernández, M., Fuertes, M. T., Moraleda, Á, Segalàs, J. La influencia del aprendizajeservicio en el desarrollo de competencias en sostenibilidad en estudiantes universitarios. Bordón Rev Pedagogía. 71 (3), 151-167 (2019).
  8. Resch, K., Schrittesser, I. Using the servicelearning approach to bridge the gap between theory and practice in teacher education. Int J Inclus Educ. 27 (10), 1118-1132 (2023).
  9. LópezdeArana Prado, E., Aramburuzabala, P., Cerrillo, R., SánchezCabrero, R. Validation and standardization of a questionnaire for the selfassessment of servicelearning experiencesin higher education (QaSLu27). Educ Sci. 14 (6), 615(2024).
  10. Furco, A. Self-assessment rubric for the institutionalization of service-learning in higher education (2003 revision). International Journal of Research in Global and Development Education. , https://dialnet.unirioja.es/servlet/articulo?codigo=6368177 (2011).
  11. MartínGarcía, X., Puig Rovira, J. M., Palos Rodríguez, J., Rubio Serrano, L. Improving the quality of service-learning practices. Teaching & Teaching: Interuniversity Journal of Didactics. 36 (1), 111(2018).
  12. Lorenzo, M., BelandoMontoro, M. R. Service-Learning. The challenges of assessment. Madrid: Narcea. Theory of Education. Interuniversity Journal. 31, 71-80 (2019).
  13. Shek, D. T. L., Li, X., Yu, L., Lin, L., Chen, Y. Evaluation of electronic servicelearning (eservicelearning) projects in Mainland China under COVID19. Appl Res Qual Life. 17 (5), 3175-3198 (2022).
  14. Lu, Y., Lambright, K. T. Looking beyond the undergraduate classroom: Factors influencing service learning's effectiveness at improving graduate students' professional skills. College Teach. 58 (4), 118-126 (2010).
  15. EscofetRoig, A., Folgueiras Bertomeu, P., LunaGonzález, E., PalouJulián, B. Elaboration and Validation of a Questionnaire for the Evaluation of Service-Learning Projects. Revista Mexicana de Investigación Educativa. , https://diposit.ub.edu/dspace/handle/2445/149639 (2016).
  16. RodríguezIzquierdo, R. M. Service learning and academic commitment in higher education. Journal of Psychodidactics. 25 (1), 45-51 (2020).
  17. LeónCarrascosa, V., SánchezSerrano, S., BelandoMontoro, M. R. Design and validation of a questionnaire to evaluate the Service-Learning methodology. Studies on Education. 39, 247-266 (2020).
  18. RuizOrdóñez, Y., SalcedoMateu, A., Turbi, Á, Novella, C., MoretTatay, C. VALU: Psychometric properties of a values and civic attitudes scale for university students' servicelearning. Psicol Reflex Crít. 35 (1), 3(2022).
  19. SantosPastor, M. L., Cañadas, L., Muñoz, L. F. M., Rico, L. G. Design and validation scale to assess university service-learning in physical activity and sports. Educ XX1. 23 (2), (2020).
  20. Gul, D. R., Ahmad, D. I., Tahir, D. T., Ishfaq, D. U. Development and factor analysis of an instrument to measure servicelearning management. Heliyon. 8 (4), e09205(2022).
  21. Campo, L. A rubric for assessing and improving service learning projects at university. RIDAS Rev Iberoam AprendizajeServicio. 1, 91-111 (2015).
  22. Europe Engage Quality Standards for Service Learning Activities. , At https://ec.europa.eu/programmes/erasmus-plus/project-result-content/4676aec5-7f74-4a0c-bdff-cda07beb4892/guidelines-euengage-2.pdf (2017).
  23. Martín, X. Tools for improving service-learning projects. RIDAS Ibero-American Journal of Learning and Service. 14, 61-84 (2022).
  24. Pickeral, T., Lennon, T., Piscatelli, J. ServiceLearning policies and practices: A researchbased advocacy paper. , National Service Learning Clearinghouse. https://www.ecs.org/clearinghouse/78/58/7858.pdf (2008).
  25. PuigRovira, J. M., MartínGarcía, X., RubioSerrano, L. How to evaluate service learning projects. Voices of Education. 2 (4), 122-132 (2017).
  26. RubioSerrano, L., PuigRovira, J. M., MartínGarcía, X., PalosRodríguez, J. Analyzing, Rethinking, and Improving Projects: A Rubric for Self-Assessment of Service-Learning Experiences. Profesorado, Journal of Curriculum and Teacher Training. 19 (1), 111-126 (2015).
  27. Hallinger, P., Narong, D. K. A bibliometric review of service learning research, 1950-2022. J Experiential Educ. 47 (4), 566-590 (2024).
  28. LópezdeArana, E., Higuera, P. A., Carvajal, H. O. Design and validation of a questionnaire for self-assessment of university service-learning experiences. Educ XX1. 23 (1), (2020).
  29. CruzRamírez, M., RúaVásquez, J. A. Emergence and development of the Delphi method: a scientometric perspective. Biblios J Librarianship Inf Sci. 71, 90-107 (2018).
  30. Donohoe, H., Stellefson, M., Tennant, B. Advantages and limitations of the eDelphi technique: Implications for health education researchers. Am J Health Educ. 43 (1), 38-46 (2012).
  31. von der Gracht, H. A. Consensus measurement in Delphi studies: Review and implications for future quality assurance. Technol Forecast Soc Change. 79 (8), 1525-1536 (2012).
  32. Bakieva, M., Meliá, J. M. J., GonzálezSuch, J., Barajas, Y. E. L. Teacher collegiality: logical validation of the teacher self-assessment instrument in Spain and Mexico. Studies on Education. 34, 99-127 (2018).
  33. Gil, B., PascualEzama, D. The Delphi methodology as a technique for studying content validity. Ann Psychol. 28 (3), 1011-1020 (2012).
  34. Abal, F. J. P., Auné, S. E., Lozzia, G. S., Attorresi, H. F. Functioning of the Central Category in Confidence Items for Mathematics. Evaluate Magazine. 17 (2), (2017).
  35. Shulman, L. S., Elstein, A. S. Studies of problem solving, judgment, and decision making: Implications for educational research. Rev Res Educ. 3, 3-42 (1975).
  36. Bardach, E., Patashnik, E. M. A Practical Guide for Policy Analysis: The Eightfold Path to More Effective Problem Solving. , CQ Press. Washington, D.C. (2023).
  37. Marsh, H. W., Morin, A. J. S., Parker, P. D., Kaur, G. Exploratory structural equation modeling: An integration of the best features of exploratory and confirmatory factor analysis. Annu Rev Clin Psychol. 10 (1), 85-110 (2014).
  38. LorenzoSeva, U., Ferrando, P. J. Robust Promin: A method for diagonally weighted factor rotation. Liberabit. 25 (1), 99-106 (2019).
  39. SánchezCabrero, R., SandovalMena, M., SaezSuanes, G. P., Prado, E. L. A. Design and validation of the classroom climate for an inclusive education questionnaire (CCIEQ). Environ Soc Psychol. 9 (5), (2024).
  40. WMA Declaration of Helsinki-Ethical principles for medical research involving human subjects At . , World Medical Association. At https://www.wma.net/policies-post/wma-declaration-of-helsinki-ethical-principles-for-medical-research-involving-human-subjects (2013).
  41. Schreiber, J. B. Issues and recommendations for exploratory factor analysis and principal component analysis. Res Soc Admin Pharmacy. 17 (5), 1004-1011 (2021).
  42. Ferrando, P. J., HernándezDorado, A. A simple twostep procedure for fitting fully unrestricted exploratory factor analytic solutions with correlated residuals. Struct Eq Modeling: A Multidiscip J. 31 (3), 420-428 (2024).
  43. Hu, L., Bentler, P. M. Cutoff criteria for fit indexes in covariance structure analysis: Conventional criteria versus new alternatives. Struct Eq Modeling: A Multidiscip J. 6 (1), 1-55 (1999).
  44. LorenzoSeva, U., Ferrando, P. J. MSA: The forgotten index for identifying inappropriate items before computing exploratory item factor analysis. Methodology. 17 (4), 296-306 (2021).
  45. MartínAntón, L. J., Almedia, L. S., SáizManzanares, M. C., ÁlvarezCañizo, M., Carbonero, M. A. Psychometric properties of the academic procrastination scale in Spanish university students. Assess Eval High Educ. 48 (5), 642-656 (2023).
  46. SánchezCabrero, R., Lópezde Arana Prado, E., Aramburuzabala, P., Cerrillo, R. Dataset on the validation and standardization of the questionnaire for the selfassessment of servicelearning experiences in higher education (QaSLu). Data. 9 (9), 108(2024).
  47. Almenara, J. C. University teacher training in ICT. Application of Delphi Method for the selection of training content. Educ XX1. 17 (1), 111-132 (2014).
  48. GeorgeReyes, C. E., TrujilloLiñán, L. Application of the Modified Delphi Method for the validation of a questionnaire on the incorporation of ICT in teaching practice. Ibero American Journal of Eductaional Evaluation. 11 (1), 113-135 (2018).
  49. LópezMeneses, E. J., BernalBravo, C., LeivaOlivencia, J. J., MartínPadilla, A. H. Validation of the CUVOMOOC® educational tool for assessing digital observatories on MOOCs using the Delphi Method. Virtual Campuses. 7 (1), 95-110 (2018).
  50. Hung, H. L., Altschuld, J. W., Lee, Y. F. Methodological and conceptual issues confronting a crosscountry Delphi study of educational program evaluation. Eval Program Planning. 31 (2), 191-198 (2008).
  51. Linstone, H., Turoff, M. Delphi: A brief look backward and forward. Technol Forecast Soc Change. 78, 1712-1719 (2011).
  52. Rowe, G., Wright, G. The Delphi technique: Past, present, and future prospects - Introduction to the special issue. Technol Forecast Soc Change. 78 (9), 1487-1490 (2011).
  53. Steurer, J. The Delphi method: An efficient procedure to generate knowledge. Skeletal Radiol. 40 (8), 959-961 (2011).
  54. Aramburuzabala, P., Gezuraga, M., LópezdeArana, E. How to approach evaluation in Service-Learning projects . Service-Learning: The Challenges of Evaluation. Chapter 9, 27-37 (2018).
  55. PuigRovira, J. M. 11 Key Ideas: How to Implement a Service-Learning Project. , Grao, Barcelona. (2015).
  56. Eyler, J., Giles, D. E. Where's the Learning in ServiceLearning. JosseyBass Higher and Adult Education Series. , JosseyBass, Inc. San Francisco, CA. (1999).

Acesso restrito. Inicie sessão ou comece um teste para visualizar este conteúdo.

Reimpressões e permissões

Solicitar permissão para reutilizar o texto ou as figuras deste artigo JoVE

Solicitar permissão

Etiquetas

Avalia o de Aprendizagem Servi oValida o de InstrumentoValida o QualitativaAn lise Fatorial Explorat riaAn lise Fatorial Confirmat riaAvalia o Psicom tricaDesenvolvimento de Question rio

Artigos relacionados