Validação Qualitativa e Quantitativa de Ferramentas com Escalas de Avaliação Destinadas a Avaliar a Qualidade do Serviço-Aprendizagem Universitária

No campo emergente do aprendizado de serviço universitário, carecemos de instrumentos padronizados que combinem confiabilidade e validade, tanto qualitativa quanto quantitativa, e breves o suficiente para serem facilmente usados. A incorporação de classificações e escalas permite a comparação entre profissionais para avaliar a qualidade do serviço-aprendizagem universitário. Atualmente, não há outro instrumento que consiga isso.

O QaSLu é o primeiro instrumento criado por meio de um rigoroso processo de validação qualitativa e quantitativa guiado pelo princípio da parcimônia. É breve, mas extremamente robusto cientificamente. Este protocolo define o caminho a seguir para novos instrumentos científicos válidos, robustos e práticos.

Não apenas para o aprendizado de serviço, mas também no campo da educação em geral. Planejamos criar novas classificações e escalas para outros grupos diferentes e expandir a amostra participante para melhorar a avaliação do QaSLu e torná-lo útil em diferentes contextos. Para começar, crie o primeiro rascunho de um QaSLu em um desktop.

Realize uma análise de conteúdo de itens das principais ferramentas reconhecidas para avaliar experiências de aprendizado de serviço. Revise itens de ferramentas internacionais que definem padrões de qualidade e das principais rubricas reconhecidas pela comunidade de especialistas em aprendizado de serviço. Categorize todos os itens pelas fases envolvidas no design da experiência de aprendizado de serviço, como design, implementação e avaliação.

Em seguida, categorize todos os itens pela aplicação do aprendizado de serviço, como fase inicial, planejamento, execução, fechamento e replicação. Selecione uma grande amostra de especialistas em aprendizado de serviço universitário para avaliar o rascunho do instrumento. Configurar o grupo de especialistas final para avaliar o instrumento definitivo de avaliação da USL, visando uma lista de especialistas com diversidade acadêmica e profissional, diversidade geográfica e diversidade de gênero.

Depois que os dados dos especialistas da rodada 1 forem recebidos, calcule o coeficiente de concordância de Kendall para relevância clicando sequencialmente em Analisar, Testes não paramétricos, Diálogos legados e K Amostras relacionadas. Escolha W de Kendall em Tipo de teste. Em seguida, selecione todas as respostas dos especialistas em relação à relevância e clareza.

Mova os itens para a lista Variáveis de teste e clique em OK para executar a análise. Depois de receber o feedback do especialista da 2ª rodada, reavalie o coeficiente de concordância de Kendall mais cedo e remova os itens classificados como altamente irrelevantes. Reformular itens considerados altamente relevantes, mas pouco claros, para melhorar a redação e a precisão para produzir a versão final do Questionário para a Autoavaliação de Experiências de Aprendizagem de Serviço Universitário, QaSLu-45.

Uma vez obtidos questionários preenchidos suficientes, avalie a consistência interna do questionário usando o pacote de software estatístico um. Clique em Analisar, seguido de Escala e, em seguida, em Análise de confiabilidade. Selecione Alfa na caixa de diálogo, transfira todas as variáveis relevantes para a caixa de diálogo Análise de confiabilidade e clique em OK para gerar a saída.

Realize a análise fatorial exploratória no pacote de software estatístico um abrindo Analisar, clique em Redução de Dimensão, seguido de Fator. Na caixa de diálogo Análise fatorial, transfira todos os itens do questionário para a caixa Variáveis, pressione Descritivos e KMO e teste de esfericidade de Bartlett e selecione Descritivos Univariados. Clique em Continuar.

Em seguida, pressione Extração e selecione Componentes principais como o método de extração. Marque as opções para Solução de fator não girado e Gráfico de Scree, clique em Continuar e pressione OK para gerar a saída. Identifique os itens para remoção que mostram uma relação inversa com o componente principal.

Usando a matriz de componentes obtida nos resultados da análise fatorial exploratória, sinalize itens com cargas negativas no fator principal e exclua-os da versão de fator único reduzida e otimizada do QaSLu. Em seguida, realize a análise fatorial confirmatória com o pacote de software estatístico dois para avaliar a qualidade do ajuste do modelo de um fator. Selecione Ler dados, clique em Procurar na caixa de diálogo Exemplo e selecione o arquivo de dados ASCII criado anteriormente.

Verifique se o número de participantes e variáveis é exibido em verde em Tamanho das matrizes de dados. Agora pressione Abrir conjunto de dados de grupo único e retorne ao menu principal. Clique em Configurar Análise no menu principal, marque Análise Fatorial Confirmatória no menu de diálogo e clique em Confirmar, na janela de configuração CFA:Análise fatorial.

aceite as configurações padrão e clique em Confirmar para retornar ao menu principal. Quando a mensagem, Análise Fatorial Confirmatória pronta! aparecer, clique no botão Compute e aguarde os resultados.

Em seguida, abra o pacote de software estatístico dois para realizar uma análise fatorial exploratória robusta de mínimos quadrados não ponderados. Selecione Ler dados, clique em Procurar na caixa de diálogo Exemplo e escolha o arquivo ASCII criado anteriormente. O número de participantes e variáveis será exibido em verde na seção Tamanho das matrizes de dados.

Agora, clique no ícone Abrir conjunto de dados de grupo único para retornar ao menu principal. No menu principal, clique em Configurar análise, selecione Análise fatorial exploratória no menu de diálogo e clique no botão Confirmar. No menu Configuração da Análise Fatorial Exploratória, escolha os itens identificados como tendo uma relação inversa com o componente principal e mova-os para a caixa Variáveis excluídas.

Agora, marque as opções Matriz de correlação de Pearson e Análise paralela, defina Número de fatores ou componentes como 1 e selecione Análise fatorial robusta. Clique em Confirmar para retornar ao menu principal e, em seguida, clique em Calcular para gerar os resultados. Para identificar itens para remoção que tenham uma medida de adequação amostral ou pontuação MSA abaixo de 0,49, revise os resultados obtidos na análise fatorial exploratória RULS com o pacote de software estatístico dois, especificamente os índices de localização e adequação do item, e exclua-os da versão de fator único otimizado reduzido do QaSLu.

Crie uma nova variável no pacote de software estatístico um sem os itens eliminados selecionando o menu Transformar e pressionando Calcular Variável. Nomeie a nova variável como SOMA 27, selecione a função SOMA e conclua a expressão numérica com a lista de itens otimizada. Clique em OK para gerar a nova variável, SOMA 27.

Calcule os percentis para SUM 27 selecionando Analisar, seguido por Estatísticas Descritivas e Frequências. Mova SUM 27 para a caixa Variáveis e clique no ícone Estatísticas. Selecione Percentis e adicione 1, 5, 15, 25, 35, 45, 55, 65, 75, 85, 95 e 99.

Clique em Continuar e depois em OK para gerar percentis. Repita o procedimento de percentil para cada escala de classificação clicando no ícone Dividir arquivo e escolhendo cada variável relevante e selecione Organizar saída por grupos. Clique no botão de seta e pressione OK para gerar percentis agrupados para SUM 27.

Para criar uma tabela para cada escala de classificação, primeiro adicione uma linha de título e linhas para os níveis Baixo, Médio/Baixo, Médio, Médio/Alto e Alto com as sub-linhas de percentil especificadas. Na linha de título, adicione uma coluna Nível, uma coluna Percentil e colunas adicionais para as condições da variável selecionada. Complete cada tabela com intervalos de pontuação mapeados para os percentis calculados.

Os resultados obtidos da amostra participante são apresentados para comparações estabelecidas com base nas escalas de avaliação utilizadas no estudo. As diferentes classificações para cada categoria foram compostas pelos pontos intermediários entre elas. Por exemplo, o percentil 50 foi obtido a partir dos escores do percentil 45 e do percentil 54.

Todas as classificações, exceto o 1º e o 99º percentil, mostram intervalos perfeitamente delimitados correspondentes aos percentis 4º e 95, além de quaisquer possíveis ajustes de pontuação. Cada uma dessas escalas permite comparar as pontuações de cada usuário em perspectiva, selecionando a escala de classificação apropriada de acordo com suas características.