$$\rightleftharpoonup{xx}$$
$$\longleftharp{xx}$$,
$$\longrightharp{xx}$$,
Os resultados representativos mostram as saídas geradas pelo protocolo de aprimoramento do curso de Gestão Estratégica integrado à competição de 16 semanas. Os resultados são organizados por fidelidade de implementação, qualidade do ensino, desfechos em nível de estudante, desfechos em nível de equipe e padrões pré-definidos de alerta. Como os dados foram obtidos de turmas educacionais de rotina com um grupo histórico de comparação, em vez de atribuição aleatória, todos os resultados devem ser interpretados como saídas contextuais de implementação e avaliação, não como evidência causal de eficácia.
Fidelidade da implementação e qualidade do ensino
O conjunto de dados de registros educacionais disponível incluiu 88 estudantes na coorte de comparação histórica e 92 estudantes na coorte do protocolo. O conjunto de dados por equipe incluiu 22 equipes da coorte de comparação e 23 equipes da coorte do protocolo. Após aplicar a regra de teste de conhecimento pareado pré e pós, 79 estudantes da coorte de comparação e 84 estudantes da coorte do protocolo foram mantidos para a análise de ganho de conhecimento.
A fidelidade de implementação foi verificada antes da interpretação dos resultados de aprendizagem. A coorte do protocolo concluiu 15 das 16 atividades semanais planejadas (93,8%), enquanto a coorte de comparação concluiu 13 das 16 (81,3%). A sessão empresarial ou de caso estruturado foi realizada na coorte do protocolo, mas não fazia parte da estrutura histórica completa de comparação. Na coorte do protocolo, 88 dos 92 alunos concluíram as três tarefas da competição, correspondendo a 95,7%. Na coorte de comparação, 18 dos 88 alunos tinham registros completos para três avaliações baseadas em projetos comparáveis, correspondendo a 20,5%; esses registros foram mantidos apenas para comparação descritiva, pois o curso histórico não implementou toda a sequência da competição. O feedback foi devolvido em até 7 dias corridos em 243 das 268 submissões da coorte do protocolo, correspondendo a 90,7%, comparado com 49 das 66 submissões da coorte de comparação, correspondendo a 74,2%. O tempo médio de devolução do feedback foi de 5,8 ± 1,9 dias e 8,4 ± 2,7 dias, respectivamente. A conclusão das observações atingiu 81,3% e 62,5%. O ICC para duas avaliadoras na coorte do protocolo, para a pontuação subjetiva com sobreposição, foi de 0,82, superando o limiar pré-definido de 0,75. No geral, a coorte do protocolo alcançou 5 dos 5 indicadores principais de fidelidade de implementação, enquanto a coorte de comparação alcançou 2 dos 5.
Os indicadores de qualidade instrucional foram maiores no grupo do protocolo. A interação em sala de aula foi de 3,70 ± 0,44 no grupo do protocolo e de 3,15 ± 0,48 no grupo de comparação. A completude do delineamento do caso foi de 4,08 ± 0,36 e 3,23 ± 0,42. O alinhamento entre tarefa e matriz de avaliação foi de 4,01 ± 0,39 e 2,30 ± 0,51. O engajamento dos alunos aumentou em 0,42 ± 0,41 pontos no grupo do protocolo, superando o limiar de sinal pré-definido de 0,30 ponto, enquanto o grupo de comparação aumentou em 0,07 ± 0,34 pontos. A frequência foi semelhante entre os grupos: 89,6% ± 5,8% e 89,1% ± 6,2%. Tabela 5 resume esses indicadores.
| Indicador | Fonte de dados | Limiar predefinido | Cohorte histórica de comparação | Cohorte do protocolo | Interpretação |
| Conclusão planejada das atividades semanais | Registro de implementação do curso | ≥85% | 13/16 semanas, 81,3% | 15/16 semanas, 93,8% | Alcançado na cohorte do protocolo |
| Implementação de sessão empresarial ou estruturada por caso | Registro de engajamento empresarial | ≥1 sessão implementada | 0/1 sessão, 0,0% | 1/1 sessão, 100,0% | Alcançado na cohorte do protocolo |
| Conclusão da tarefa completa ou do registro do projeto mapeado | Registros de submissões | ≥85% | 18/88 alunos, 20,5% | 88/92 alunos, 95,7% | Alcançado na cohorte do protocolo; registros históricos apenas descritivos |
| Feedback devolvido em até 7 dias | Registro de feedback | ≥80% | 49/66 submissões, 74,2% | 243/268 submissões, 90,7% | Alcançado na cohorte do protocolo |
| Conclusão da lista de verificação de observação | Formulários de observação | ≥75% | 10/16 sessões, 62,5% | 13/16 sessões, 81,3% | Alcançado na cohorte do protocolo |
| Concordância entre dois avaliadores | Pontuações dos avaliadores | CCI ≥0,75 | Não exigido | CCI = 0,82 | Alcançado na cohorte do protocolo |
| Tempo de retorno do feedback | Registro de feedback | Média ≤7 dias (preferencial) | 8,4 ± 2,7 dias | 5,8 ± 1,9 dias | Dentro da faixa preferencial na cohorte do protocolo |
| Interação em sala de aula | Lista de verificação de observação | Média ≥3,50 ou aumento ≥0,30 | 3,15 ± 0,48 | 3,70 ± 0,44 | Maior na cohorte do protocolo |
| Completude do design do caso | Lista de verificação de design do caso | Média ≥4,00 (preferencial) | 3,23 ± 0,42 | 4,08 ± 0,36 | Maior na cohorte do protocolo |
| Alinhamento entre tarefa e rubrica | Lista de verificação de alinhamento | Média ≥4,00 | 2,30 ± 0,51 | 4,01 ± 0,39 | Alcançado na cohorte do protocolo |
| Ganho de engajamento dos alunos | Presença, registros, itens de pesquisa | Aumento ≥0,30 pontos | +0,07 ± 0,34 | +0,42 ± 0,41 | Alcançado na cohorte do protocolo |
| Taxa de frequência | Registro de frequência | Descritivo | 89,1% ± 6,2% | 89,6% ± 5,8% | Semelhante entre as coortes |
| Resumo da fidelidade da implementação principal | Indicadores de implementação | Alcançados a maioria dos limiares principais | 2/5 limiares alcançados | 5/5 limiares alcançados | Protocolo implementado conforme o planejado |
Tabela 5: Indicadores representativos de fidelidade de implementação e qualidade do ensino. Esta tabela apresenta indicadores representativos de fidelidade de implementação e resultados de qualidade do ensino para o grupo controle histórico e o grupo do protocolo, indicando se os limiares operacionais pré-definidos foram alcançados.
Figura 2 apresenta o perfil de fidelidade de implementação e qualidade instrucional. Figura 2A mostra a conclusão planejada das atividades semanais. Figura 2B mostra a conclusão da sequência de três tarefas. Figura 2C mostra o retorno de feedback dentro de 7 dias corridos. Figura 2D mostra a interação em sala de aula, a completude do design do caso, o alinhamento com a rubrica da tarefa e os ganhos de engajamento dos alunos. Figura 2E mostra a conclusão da observação e a conclusão da sessão de caso empresarial ou estruturado. Medidas de fidelidade baseadas em porcentagem e indicadores instrucionais baseados em escala devem ser interpretados dentro de suas próprias escalas de medição.

Figura 2: Perfil de fidelidade de implementação e qualidade instrucional. Esta figura resume os indicadores de fidelidade de implementação e qualidade instrucional para a coorte de comparação histórica e a coorte do protocolo. (A) Conclusão planejada das atividades semanais. (B) Conclusão da tarefa completa ou do registro do projeto mapeado, distinguindo a sequência completa de três tarefas da coorte do protocolo dos registros de projetos mapeados na coorte de comparação histórica. (C) Devolução do feedback dentro de 7 dias corridos, com o tempo de retorno do feedback apresentado como informação complementar. (D) Indicadores de qualidade instrucional, incluindo interação em sala de aula, completude do design do caso, alinhamento da tarefa com a rubrica e ganho de engajamento dos alunos. (E) Conclusão da lista de verificação de observação e implementação da sessão de caso empresarial ou estruturada. Clique aqui para visualizar uma versão maior desta figura.
Resultados de aprendizagem em nível de estudante
Os resultados em nível de estudante foram examinados separadamente dos resultados em nível de equipe. Os escores de conhecimento inicial foram de 64,18 ± 8,74 na coorte do protocolo e 62,37 ± 8,91 na coorte de comparação, com uma pequena diferença inicial de 1,81 ponto (d = 0,21). Os escores de conhecimento pós-curso foram de 71,08 ± 8,58 e 66,41 ± 9,06, com uma diferença de 4,67 pontos (d = 0,53). O ganho de conhecimento foi de 6,90 ± 5,41 pontos e 4,04 ± 5,26 pontos, com uma diferença de 2,86 pontos (d = 0,54). A coorte do protocolo superou o sinal pré-definido de ganho de conhecimento de 5 pontos.
O desempenho na análise individual de casos no final do semestre foi de 82,31 ± 7,06 na turma do protocolo e de 76,42 ± 7,38 na turma de comparação, com uma diferença de 5,89 pontos (d = 0,82). Esse resultado foi interpretado como um indicador de desempenho pós-curso, e não como um ganho pareado, porque nenhuma avaliação de linha de base verdadeira para análise de casos foi aplicada. A satisfação foi de 3,66 ± 0,58 e 3,34 ± 0,62 (d = 0,53). A relevância prática percebida foi de 3,91 ± 0,55 e 3,41 ± 0,59 (d = 0,88). A pressão competitiva foi maior na turma do protocolo, 3,12 ± 0,76, em comparação com 2,48 ± 0,71 (d = 0,87), mas alta pressão de carga de trabalho foi relatada por 13 dos 92 estudantes da turma do protocolo, correspondendo a 14,1%, abaixo do limiar de alerta pré-definido de 20%. A nota final do curso foi tratada como um desfecho educacional secundário e foi de 87,20 ± 6,10 na turma do protocolo e de 84,80 ± 6,70 na turma de comparação (d = 0,37). Tabela 6 resume os desfechos em nível individual e em nível de equipe.
| Resultado | Nível | Grupo histórico de comparação | Grupo do protocolo | Diferença | Tamanho do efeito | Interpretação |
| Amostra disponível de registros educacionais | Estudante | n = 88 | n = 92 | — | — | Registros de curso anonimizados utilizáveis |
| Amostra emparelhada para análise de conhecimento | Estudante | n = 79 | n = 84 | — | — | Estudantes com escores de conhecimento pré e pós-curso |
| Pontuação de conhecimento inicial | Estudante | 62,37 ± 8,91 | 64,18 ± 8,74 | 1,81 | 0,21 | Pequena diferença inicial |
| Pontuação de conhecimento pós-curso | Estudante | 66,41 ± 9,06 | 71,08 ± 8,58 | 4,67 | 0,53 | Maior no grupo do protocolo |
| Ganho de conhecimento | Estudante | 4,04 ± 5,26 | 6,90 ± 5,41 | 2,86 | 0,54 | O grupo do protocolo superou o sinal de ≥5 pontos |
| Pontuação de análise de caso individual | Estudante | 76,42 ± 7,38 | 82,31 ± 7,06 | 5,89 | 0,82 | Superou o sinal de análise de caso de ≥3 pontos |
| Ganho de engajamento do estudante | Estudante | +0,07 ± 0,34 | +0,42 ± 0,41 | +0,35 | 0,93 | Superou o sinal de ≥0,30 pontos |
| Pontuação de satisfação | Estudante | 3,34 ± 0,62 | 3,66 ± 0,58 | 0,32 | 0,53 | Maior no grupo do protocolo |
| Relevância prática percebida | Estudante | 3,41 ± 0,59 | 3,91 ± 0,55 | 0,5 | 0,88 | Maior no grupo do protocolo |
| Pontuação de pressão competitiva | Estudante | 2,48 ± 0,71 | 3,12 ± 0,76 | 0,64 | 0,87 | Pressão mais alta no grupo do protocolo |
| Pressão de alta carga de trabalho | Estudante | Não avaliado como pressão competitiva | 13/92, 14,1% | — | — | Abaixo do limite de alerta de 20% |
| Pontuação final do curso | Estudante | 84,80 ± 6,70 | 87,20 ± 6,10 | 2,4 | 0,37 | Resultado educacional secundário |
| Número de equipes | Equipe | n = 22 | n = 23 | — | — | Análises em nível de equipe relatadas separadamente |
| Exposição à rodada de decisões | Equipe | 0,77 ± 0,81 rodadas | 5,09 ± 0,79 rodadas | 4,32 | Não estimado | Indicador de exposição à implementação |
| Tarefa 1 ou pontuação de diagnóstico mapeado | Equipe | 69,84 ± 6,45 | 72,18 ± 6,28 | 2,34 | 0,37 | Diferença modesta em nível de equipe |
| Tarefa 2 ou pontuação de decisão mapeada | Equipe | 71,09 ± 6,12 | 73,52 ± 5,91 | 2,43 | 0,4 | Diferença modesta em nível de equipe |
| Tarefa 3 ou pontuação de defesa final mapeada | Equipe | 72,71 ± 6,36 | 77,20 ± 6,04 | 4,49 | 0,72 | Maior diferença em nível de equipe |
| Pontuação final da equipe | Equipe | 71,21 ± 5,81 | 74,30 ± 5,52 | 3,09 | 0,55 | Diferença moderada em nível de equipe |
| Dimensão de diagnóstico estratégico | Equipe | 14,60 ± 1,80 | 15,60 ± 1,70 | 1 | — | Dimensão da rubrica de defesa final |
| Dimensão de escolha estratégica | Equipe | 17,90 ± 2,20 | 19,10 ± 2,10 | 1,2 | — | Dimensão da rubrica de defesa final |
| Dimensão de viabilidade de implementação | Equipe | 14,40 ± 1,90 | 15,50 ± 1,80 | 1,1 | — | Dimensão da rubrica de defesa final |
| Dimensão de inovação | Equipe | 10,80 ± 1,60 | 11,50 ± 1,50 | 0,7 | — | Dimensão da rubrica de defesa final |
| Dimensão de uso de evidências | Equipe | 7,10 ± 1,00 | 7,50 ± 0,90 | 0,4 | — | Dimensão da rubrica de defesa final |
| Dimensão de defesa oral | Equipe | 7,91 ± 1,10 | 8,00 ± 1,00 | 0,09 | — | Dimensão da rubrica de defesa final |
| Média de contribuição entre pares | Equipe | 3,72 ± 0,41 | 3,91 ± 0,36 | 0,19 | 0,49 | Sem falha grave no processo da equipe |
| Equipes com desequilíbrio de contribuição | Equipe | 4/22, 18,2% | 3/23, 13,0% | −5,2 pontos percentuais | — | Sem padrão sistemático de desequilíbrio |
| Distribuição de prêmios | Equipe | Não aplicável | 10 sem prêmio; 8 terceiro lugar; 2 segundo lugar; 3 primeiro lugar | — | — | Apenas no grupo do protocolo |
| Padrão de alerta de inflação de pontuação | Equipe | Não aplicável | 2/23 equipes, 8,7% | — | — | Sinalizado para solução de problemas |
Tabela 6: Resultados representativos em nível de estudante e em nível de equipe. Esta tabela apresenta resultados representativos em nível de estudante e em nível de equipe, incluindo amostra disponível de registros educacionais, amostra pareada para análise de conhecimento, pontuações de conhecimento, ganho de conhecimento, pontuação individual na análise de caso, engajamento, satisfação, relevância prática percebida, pressão de carga de trabalho, pontuação final no curso, pontuações das tarefas em equipe, pontuações nas dimensões da rubrica da defesa final, contribuição entre pares, distribuição de prêmios e indicadores de alerta.
Figura 3 apresenta os resultados em nível de estudante com estimativas de incerteza, quando aplicável. Figura 3A mostra os escores de conhecimento na linha de base e após o curso. Figura 3B mostra o ganho de conhecimento. Figura 3C mostra o desempenho individual na análise de casos. Figura 3D mostra o ganho de engajamento, satisfação e relevância prática percebida. Figura 3E mostra o escore final do curso como um desfecho secundário.

Figura 3: Resultados representativos de aprendizagem em nível individual. Esta figura apresenta os resultados individuais separadamente dos resultados da competição em nível de equipe. (A) Pontuações de conhecimento em Gestão Estratégica antes e após o curso. (B) Ganho de conhecimento da avaliação inicial até a avaliação final. (C) Pontuação da análise de caso individual no final do semestre. (D) Indicadores de ganho de engajamento e percepção nos questionários, incluindo satisfação e relevância prática percebida, mostrados com escalas separadas quando necessário. (E) Pontuação final no curso como um resultado educacional secundário e pressão relativa de alta carga de trabalho na coorte do protocolo em comparação com o limiar de alerta pré-definido. Os valores são apresentados como média ± DP onde os valores ± são mostrados, e as barras de erro representam o DP. Em (E), a linha tracejada indica o limiar de alerta pré-definido de alta pressão de carga de trabalho de 20%. Clique aqui para visualizar uma versão maior desta figura.
Resultados de competição em nível de equipe
Os resultados em nível de equipe foram analisados separadamente dos resultados em nível de estudante. Para a apresentação descritiva, os registros de projetos de casos da coorte de comparação foram associados aos pontos comparáveis de avaliação quando disponíveis, mas esses registros não representavam a conclusão da sequência completa integrada à competição. A exposição nas rodadas de decisão foi relatada como um indicador de implementação da exposição, e não como uma estimativa do efeito de aprendizagem. A coorte do protocolo completou 5,09 ± 0,79 rodadas de decisão, enquanto a coorte de comparação completou 0,77 ± 0,81 rodadas mapeadas.
Na coorte do protocolo, a pontuação média da Tarefa 1 foi de 72,18 ± 6,28, a pontuação média da Tarefa 2 foi de 73,52 ± 5,91 e a pontuação média da Tarefa 3 foi de 77,20 ± 6,04. As pontuações correspondentes da coorte de comparação foram de 69,84 ± 6,45, 71,09 ± 6,12 e 72,71 ± 6,36. A pontuação final da equipe foi de 74,30 ± 5,52 na coorte do protocolo e de 71,21 ± 5,81 na coorte de comparação. As dimensões da rubrica final da defesa ou do projeto final mapeado foram as seguintes: diagnóstico estratégico, 15,60 ± 1,70 e 14,60 ± 1,80; escolha estratégica, 19,10 ± 2,10 e 17,90 ± 2,20; viabilidade de implementação, 15,50 ± 1,80 e 14,40 ± 1,90; inovação, 11,50 ± 1,50 e 10,80 ± 1,60; uso de evidências, 7,50 ± 0,90 e 7,10 ± 1,00; e defesa oral, 8,00 ± 1,00 e 7,91 ± 1,10, respectivamente.
A distribuição dos prêmios foi relatada apenas para a coorte do protocolo, porque a coorte de comparação não utilizou a estrutura completa de competição baseada em prêmios. Na coorte do protocolo, 10 equipes não receberam prêmio, 8 receberam o terceiro prêmio, 2 receberam o segundo prêmio e 3 receberam o primeiro prêmio. A contribuição média entre pares foi de 3,91 ± 0,36 na coorte do protocolo e de 3,72 ± 0,41 na coorte de comparação. O desequilíbrio de contribuição foi identificado em 3 das 23 equipes da coorte do protocolo e em 4 das 22 equipes da coorte de comparação. Um padrão de alerta de inflação de pontuação foi identificado em 2 das 23 equipes da coorte do protocolo, correspondendo a 8,7%.
Figura 4 apresenta os resultados em nível de equipe e os padrões de alerta. Figura 4A mostra as pontuações das equipes nas Tarefa 1, Tarefa 2 e Tarefa 3. Figura 4B mostra as pontuações por dimensão da matriz de avaliação da defesa final. Figura 4C mostra apenas a distribuição de premiações por coorte de protocolo. Figura 4D mostra os casos de alerta de inflação de nota. Figura 4E mostra o equilíbrio nas contribuições entre colegas e as contagens de desequilíbrio de contribuição.

Figura 4: Resultados da competição em nível de equipe e padrões de alerta. Esta figura apresenta os resultados em nível de equipe separadamente dos resultados de aprendizagem em nível de estudante. (A) Pontuações das equipes por etapa da tarefa para o diagnóstico estratégico da Tarefa 1, a decisão estratégica da Tarefa 2 e a defesa final da Tarefa 3, com as pontuações dos projetos mapeados mostradas para a coorte de comparação histórica, quando disponíveis. (B) Pontuações por dimensão da rubrica da defesa final, incluindo diagnóstico estratégico, escolha estratégica, viabilidade de implementação, inovação, uso de evidências e defesa oral. (C) Distribuição de prêmios apenas para a coorte do protocolo, pois a coorte de comparação histórica não utilizou a estrutura completa de competição baseada em prêmios. (D) Padrão de alerta de inflação de nota, definido como alto desempenho na defesa final sem apoio de solidez diagnóstica ou evidência de aprendizagem individual. (E) As pontuações de contribuição entre pares e as contagens de desequilíbrio de contribuição são exibidas como indicadores separados em nível de equipe. Clique aqui para visualizar uma versão maior desta figura.
Padrões subótimos e indicadores de solução de problemas
Duas das 23 equipes de protocolo-coorte apresentaram um padrão predefinido de alerta de inflação de pontuação. Essas equipes obtiveram pontuações finais de defesa relativamente altas, mas pontuações diagnósticas mais baixas na Tarefa 1 e ganhos individuais de conhecimento abaixo da média. Esse padrão foi sinalizado para acompanhamento na próxima iteração do curso, em vez de ser interpretado como evidência de melhoria na aprendizagem. Nenhum alerta importante de efeito teto foi observado, pois as pontuações iniciais de conhecimento estavam abaixo de 85 em 100, e a satisfação inicial estava abaixo de 4,50 em 5. A frequência foi semelhante entre as coortes, e nenhuma desigualdade sistemática na contribuição das equipes foi observada, embora três equipes de protocolo-coorte tenham exigido monitoramento.
No geral, os resultados representativos mostraram que o protocolo gerou saídas interpretáveis em três níveis: fidelidade de implementação, evidências de aprendizagem em nível de aluno e desempenho da equipe em competições. Os casos de alerta corroboraram o uso do protocolo para monitoramento do curso, solução de problemas e refinamento subsequente do curso.
O conjunto de dados com identificação removida que sustenta este estudo foi depositado no figshare.com e está disponível em https://doi.org/10.6084/m9.figshare.33094931. O conjunto de dados inclui registros em nível de estudante, registros de competição em nível de equipe, indicadores de implementação, registros de fluxo de participantes, registros de auditoria de dados ausentes e registros de pontuações dos avaliadores. Identificadores de estudantes, registros de consentimento, arquivos de vinculação e comentários em texto livre identificáveis não estão incluídos.
Tabela Suplementar S1: Treinamento dos avaliadores, concordância de pontuação e procedimento de reconciliação das notas. Esta tabela fornece as atribuições dos avaliadores, verificação de independência, orientação sobre a matriz de avaliação, pontuação de calibração, verificação de concordância nas pontuações, regra de lacuna de pontuação, procedimento de reconciliação, auditoria da entrada de dados, bloqueio das pontuações e procedimento de arquivamento.Clique aqui para baixar este arquivo.
Tabela Suplementar S2: Matriz de solução de problemas para desvios do protocolo e implementação subótima. Esta tabela lista desvios do protocolo e padrões de implementação subótima, incluindo regras de acionamento, ações corretivas, registros necessários e notas interpretativas.Clique aqui para baixar este arquivo.
Tabela Suplementar S3: Estrutura do conjunto de dados e dicionário de variáveis para o conjunto de dados educacionais anonimizado. Esta tabela define variáveis no nível do estudante, no nível da equipe e no nível da aula, incluindo códigos de variáveis, descrições, tipos de dados, intervalos de codificação, fontes de dados e regras para dados ausentes.Clique aqui para baixar este arquivo.
Arquivo Suplementar 1: Modelos operacionais, materiais de avaliação e caderno de trabalho do conjunto de dados desidentificados. Este arquivo suplementar fornece os modelos operacionais, materiais de avaliação, formulários de pontuação, itens de pesquisa, verificação de desenho de caso, regras para dados ausentes, estrutura do caderno de trabalho do conjunto de dados desidentificados, registro de limpeza, modelo de resumo de análise e registro de controle de versão utilizados para apoiar a reprodutibilidade.Clique aqui para baixar este arquivo.