Интеграция соревнований в рамках учебного курса в преподавание стратегического менеджмента: воспроизводимый протокол по совершенствованию курса

Краткое содержание

Данный протокол интегрирует в курс стратегического менеджмента для студентов бакалавриата последовательность соревнований по диагностике, принятию решений и защите стратегии с помощью поэтапных командных заданий, структурированной обратной связи, обучения оценивающих, мониторинга точности реализации и раздельного анализа результатов на уровне студентов и команд.

Аннотация

Обучение стратегическому менеджменту требует от студентов применения аналитических моделей к неопределенным бизнес-ситуациям в условиях ограниченности ресурсов и необходимости компромиссных решений. Курсовые соревнования могут поддержать этот процесс, если они организованы как структурированная система обучения, а не как разовое мероприятие по представлению работ. В данной статье описывается воспроизводимый протокол интеграции трехэтапного курса соревнований в программу бакалавриата по стратегическому менеджменту. Протокол следует 16-недельной последовательности, которая включает базовую оценку, основное обучение, введение в кейс предприятия, формирование команд, стратегическую диагностику, симуляцию принятия стратегических решений или заполнение листа решений, финальную защиту стратегии, итоговую оценку по завершении курса и обзор курса. Механизм обучения сочетает в себе поэтапную практику, работу с кейсом предприятия, структурированную формирующую обратную связь, командную ответственность, устную защиту и оценку на основе рубрик. Локально операционализированные показатели процесса используются для мониторинга взаимодействия в аудитории, полноты разработки кейса, своевременности обратной связи, соответствия задач рубрикам, вовлеченности студентов и точности реализации протокола. Результаты на уровне студентов, результаты соревнований на уровне команд, согласованность оценок экспертов, закономерности отсутствующих данных, раскрытие использования искусственного интеллекта и признаки завышения баллов анализируются отдельно во избежание проблем с единицей анализа. Представленные репрезентативные результаты следует интерпретировать как специфические для данного контекста результаты внедрения, полученные в ходе ретроспективного нерандомизированного сравнения образовательных записей, а не как доказательство причинно-следственной эффективности. Данный протокол представляет собой проверяемую процедуру проектирования, внедрения, документирования, оценки и совершенствования обучения стратегическому менеджменту с интегрированными соревнованиями в рамках цикла улучшения курса.

Введение

Курсы по стратегическому менеджменту требуют от студентов выхода за рамки простого воспроизведения концепций. Студенты должны применять такие идеи, как отраслевая структура, конкурентное преимущество, распределение ресурсов, стратегический выбор и реализация в условиях неполной информации и конфликтующих приоритетов. Конкурентное позиционирование объясняет, как фирмы выбирают позиции с учетом внешних ограничений¹, в то время как ресурсоориентированный подход делает акцент на специфических ресурсах и возможностях фирмы, которые определяют стратегические варианты². Эти перспективы делают стратегический менеджмент подходящим для прикладных методов обучения, при которых студенты диагностируют бизнес-ситуацию, делают стратегический выбор, обосновывают его и пересматривают свои рассуждения после получения обратной связи. Лекции и разрозненные обсуждения кейсов остаются полезными, но они могут не в полной мере раскрыть то, как студенты рассуждают в условиях неопределенности, компромиссных решений и ограничений при реализации. Соревнование в рамках курса может создать более требовательную среду обучения только в том случае, если оно связано с целями курса, последовательностью задач, критериями оценки и циклами обратной связи. Без этих элементов соревнование может поощрять уверенность в презентации или разделение задач, а не стратегическое мышление.

Предыдущие исследования деловых игр и симуляций показали, что для того, чтобы эта деятельность функционировала как образовательный метод, а не как развлечение в аудитории, необходимы четкие правила, циклы принятия решений, доказательства оценки и разбор результатов^3,4. Активное обучение также зависит от проектирования задач, а не только от самого действия. Студенты могут казаться вовлеченными, при этом применяя концепции поверхностно. Следовательно, структурированный конкурс по стратегическому менеджменту должен требовать от студентов анализа ситуации, обоснования решения, получения формирующей обратной связи, пересмотра своих рассуждений и защиты плана реализации. Такая последовательность отражает принципы активного обучения, поскольку студенты создают, проверяют и совершенствуют свои собственные рассуждения, а не просто слушают инструкции⁵. Это также отражает принципы эмпирического обучения, так как цикл конкурса связывает непосредственное изучение конкретного кейса, рефлексивный анализ, принятие решения и скорректированные действия⁶.

Опубликованные отчеты о бизнес-симуляциях и соревнованиях значительно различаются по степени детализации процедур. В некоторых работах описывается использование симуляции или соревнования, но предоставляется ограниченная информация о формировании команд, постановке задач, сроках предоставления обратной связи, подготовке экспертов, разработке критериев оценки (рубрик), обработке пропущенных данных или разграничении индивидуальных и командных результатов. Предыдущие обзоры и таксономии также показали, что бизнес-игры не являются единым методом обучения; они различаются по правилам, степени реалистичности, ролям учащихся, структуре принятия решений, использованию технологий, дизайну оценки и процедурам дебрифинга^7,8. Таким образом, воспроизводимый протокол по стратегическому менеджменту должен определять не только факт проведения соревнования, но и то, как это соревнование было интегрировано в курс и каким образом контролировалось его выполнение.

Данный протокол следует рассматривать как многокомпонентный комплекс по улучшению курса, интегрирующий элементы соревнования. Ожидаемый образовательный эффект не может быть приписан исключительно соревновательному аспекту, так как протокол также включает в себя работу с бизнес-кейсами, повторяющуюся практику, структурированную обратную связь, командную ответственность, публичную защиту, калибровку оценщиков и систематический анализ курса. Элемент соревнования полезен с образовательной точки зрения, поскольку он создает временные ограничения (дедлайны), возможность сравнения, ответственность и необходимость публичного обоснования, однако эти элементы намеренно сочетаются с поэтапными учебными задачами и контролем оценивания. Данная процедура отличается от традиционного обучения стратегическому менеджменту, основанного на эмпирическом подходе, симуляциях или соревнованиях, тремя аспектами. Во-первых, соревновательный процесс разбит на этапы диагностики, принятия решений и финальной защиты, а не сосредоточен в одной итоговой презентации. Во-вторых, перед интерпретацией результатов обучения контролируется точность соблюдения методики реализации. В-третьих, результаты обучения на индивидуальном уровне отделены от результатов соревнования на командном уровне. Это различие важно, так как команда может успешно выступить на финальной защите, в то время как некоторые ее члены продемонстрируют ограниченный индивидуальный прогресс. Командное обучение требует ответственности, взаимодействия и совместного обоснования выводов, а не просто членства в группе⁹. Таким образом, в протоколе используются уставы команд, журналы процессов, формы оценки вклада участников, обучение оценщиков, проверки согласованности оценок и правила предупреждения о завышении баллов.

Протокол был внедрен в качестве регулярного учебного мероприятия в рамках курса «Стратегический менеджмент» для студентов бакалавриата в Бизнес-школе Колледжа науки и технологий города Чжухай, Китай. Обучение группы, следовавшей протоколу, проходило в секции курса SM-2025-F01 в осеннем семестре 2025–2026 учебного года. Контрольная группа представляла собой историческую когорту, обучавшуюся в секции курса SM-2024-F01 в осеннем семестре 2024–2025 учебного года. В секцию курса по протоколу было зачислено 96 студентов; 94 студента предоставили письменное или электронное согласие на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до включения в исследовательский набор данных, 2 студента были исключены по причине отчисления с курса до 8-й недели или отсутствия каких-либо достоверных результатов после завершения курса, и в итоге финальная аналитическая группа протокола составила 92 студента. В историческую контрольную секцию было зачислено 92 студента; 90 студентов согласились на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до ретроспективного извлечения данных, 2 студента были исключены согласно тем же правилам в отношении отсутствующих данных и отчислений, и в итоге финальная аналитическая контрольная группа составила 88 студентов.

Обе когорты состояли из студентов третьего курса бакалавриата по направлению «бизнес». Специальности включали бизнес-администрирование, маркетинг, электронную коммерцию и международный бизнес. В основную когорту вошли 51 студентка и 41 студент, средний возраст которых составил 20,4 ± 0,7 лет. В контрольную когорту вошли 49 студенток и 39 студентов со средним возрастом 20,5 ± 0,8 лет. О наличии опыта участия в соревнованиях сообщили 27 студентов в основной когорте и 24 студента в контрольной когорте. Доля выбывших до проведения окончательного анализа составила 4,2% в основной когорте и 4,3% в контрольной когорте. Количество пропусков данных в основной когорте составило: 2 исходных теста на знания, 3 итоговых теста на знания, 4 опроса об обучении после курса и 4 неполных записи о выполнении конкурсных заданий. Количество пропусков данных в контрольной когорте составило: 3 исходных теста на знания, 4 итоговых теста на знания, 5 опросов об обучении после курса и 70 неполных записей о выполнении конкурсных заданий, поскольку исторический курс не предусматривал полный трехэтапный процесс соревнований.

Контрольная группа прошла традиционное обучение стратегическому менеджменту на основе разбора кейсов без полного трехэтапного цикла соревнований. Обе группы обучал один и тот же преподаватель. Для обеих групп использовались сопоставимые ожидаемые результаты обучения, основные темы по стратегическому менеджменту, объем проверки знаний, система оценки индивидуального анализа кейсов и структура итогового оценивания курса. Группа, следовавшая протоколу, дополнительно получила пакет корпоративных кейсов, поэтапные задания для соревнований, структурированные циклы обратной связи, формальные записи о командном процессе, процедуры обучения оценщиков и мониторинг точности реализации. В данной статье протокол описывается как воспроизводимый метод улучшения курса, а не как утверждение о причинно-следственной эффективности. Представленные результаты демонстрируют типы выходных данных по реализации, качеству обучения, показателям на уровне студентов и команд, надежности оценивания, пропущенным данным и устранению неполадок, полученные в ходе применения протокола. Поскольку сравнение является ретроспективным, нерандомизированным и специфичным для данного контекста, различия между группами следует интерпретировать как свидетельство улучшения курса в рамках одного контекста реализации, а не как доказательство того, что только соревновательный метод в курсе привел к наблюдаемым результатам.

Общая цель данного протокола — помочь преподавателям проектировать, документировать, оценивать и совершенствовать обучение стратегическому менеджменту с интеграцией соревновательных элементов. Он обеспечивает подтверждение качества обучения путем установления связей между преподавательской деятельностью, результатами работы студентов, критериями оценивания (рубриками), записями о реализации и решениями по пересмотру курса¹⁰. Протокол также учитывает проблемы, обсуждаемые в исследованиях геймификации и конкурентного обучения, согласно которым игровые элементы могут давать неоднозначные результаты, если акцент делается на мотивации без достаточного внимания к структуре заданий, качеству обратной связи и валидности оценки^11,12. Ожидаемые результаты включают записи о реализации, операционализированные на местном уровне показатели качества обучения, индивидуальные результаты обучения студентов, результаты соревнований на уровне команд, доказательства согласованности оценок экспертов, раскрытие информации об использовании искусственного интеллекта, документацию по отсутствующим данным и записи об устранении возникших проблем.

Протокол

Использование в исследовательских целях деидентифицированных образовательных записей обеих когорт было одобрено Комитетом по этике педагогических исследований Колледжа науки и технологий города Чжухай, Чжухай, Китай (номер одобрения 20260507001; дата одобрения: 7 мая 2026 г.). Одобрение распространялось на когорту протокола и когорту исторического сравнения, включая рутинные записи по курсу, опросы, наблюдения в аудиториях, записи процессов командной работы, баллы за соревнования, оценки экспертов, записи с образовательной платформы и деидентифицированные переменные из журнала оценок. 16-недельный курс преподавался в рамках стандартного обучения по дисциплине «Стратегический менеджмент» до извлечения данных для исследования; до получения этического одобрения никакие идентифицируемые наборы исследовательских данных не извлекались, не кодировались, не анализировались и не представлялись в отчетах. Письменное или электронное согласие на использование деидентифицированных записей курса в исследовательских целях было получено после одобрения комитета по этике и до включения в набор данных. Участие в курсе было отделено от использования данных в исследовании; студенты, не давшие согласия, прошли курс в обычном режиме, но были исключены из исследовательского анализа. Записи о согласии хранились отдельно от журнала оценок, доступ к файлу соответствия кодов личностям был ограничен менеджером данных, а набор данных, готовый к анализу, был создан только после подачи оценок, проверки согласий, назначения кодов и удаления прямых идентификаторов и идентифицируемых текстовых комментариев.

1. Разработка протокола совершенствования курса с интеграцией соревновательного элемента.

1. Определите протокол как 16-недельный процесс улучшения курса, интегрированный в конкурс, для программы бакалавриата по стратегическому менеджменту. Инструктивным механизмом является поэтапный цикл «диагноз — решение — защита», связывающий стратегический анализ, принятие решений на основе фактических данных, обратную связь, командную ответственность, устную защиту и обзор курса.
2. Определите качество обучения через взаимодействие в аудитории, полноту разработки кейсов, своевременность обратной связи, соответствие заданий критериям оценки (рубрикам) и вовлеченность студентов. Определите точность реализации (fidelity) через выполнение запланированных мероприятий, завершение сессий по предприятиям или кейсам, выполнение заданий, время обработки обратной связи, заполнение рубрик, проведение наблюдений и завершение обучения оценивающих. Агрегируйте показатели только в тех случаях, когда надежность и размерность данных обосновывают такую агрегацию.
3. Перед началом курса согласуйте результаты обучения, преподавательскую деятельность, конкурсные задания, рубрики, точки обратной связи и показатели результатов для обеспечения конструктивного согласования¹³.
4. Распределите роли преподавателя курса, координатора конкурса, связного с предприятиями, наблюдателя в аудитории, координатора оценивающих и менеджера по данным. В небольших программах преподавательские роли могут быть совмещены, однако менеджер по данным, по возможности, должен быть отделен от итогового выставления оценок и подготовки исследовательского набора данных.
5. Подготовьте папку реализации курса с контролем версий, содержащую учебный план, файлы кейсов, руководство, шаблоны заданий, рубрики, формы наблюдения, опросы, записи о командах, формы оценки, журналы обратной связи, формы раскрытия использования ИИ и записи о контроле версий. После получения одобрения этического комитета создайте папку воспроизводимости исследования, содержащую запись об одобрении, запись о подтверждении согласия, журнал деидентификации, деидентифицированные наборы данных, словарь данных, журнал очистки, скрипты анализа, статистические результаты, исходные файлы рисунков, таблицы и дополнительные файлы (Рисунок 1 и Таблица материалов; операционные шаблоны представлены в Дополнительном файле 1).

Рисунок 1: Рабочий процесс протокола по улучшению курса «Стратегический менеджмент» с интеграцией конкурса.На схеме показана последовательность действий: от подготовки курса до реализации стандартного 16-недельного учебного плана, формирования обычных учебных записей, подачи оценок, подготовки к использованию данных в исследованиях (после одобрения комитетом по этике), проверки согласий, деидентификации, блокировки набора данных, анализа, отчетности, устранения проблем и доработки курса. На рисунке разделены текущая преподавательская деятельность и последующее извлечение и анализ исследовательских данных после выставления оценок. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Набор группы студентов и подготовка набора исследовательских данных.

1. Включите студентов, официально зачисленных на выбранную группу курса «Стратегический менеджмент» для бакалавриата. Зафиксируйте учебное заведение, академический год, семестр, группу, тип когорты, специальность, курс обучения, количество учебных недель, количество контактных часов, число зачисленных, объем выборки с полученным согласием, исключения, окончательную аналитическую выборку, демографические данные, предшествующий опыт участия в конкурсах, отсев и количество пропущенных данных.
2. Определите протокольную когорту как группу, прошедшую полный протокол с интеграцией конкурса, а контрольную когорту — как историческую группу, получившую традиционное обучение по «Стратегическому менеджменту» на основе анализа кейсов без полной трехэтапной последовательности конкурса. Зафиксируйте, обучал ли обе когорты один и тот же преподаватель, а также были ли сопоставимы результаты обучения, охват оцениваемых материалов, требования к индивидуальному анализу кейсов и структура выставления оценок.
3. После получения одобрения комитета по этике подтвердите наличие согласия, присвойте студентам и командам неидентифицируемые коды, удалите прямые идентификаторы и примените правила включения, исключения и обработки пропущенных данных, указанные в Таблице 1.
4. Включите давших согласие студентов, имеющих хотя бы один действительный результат после завершения курса. Исключите студентов из парного анализа знаний, если отсутствует любой из тестов на знания, и из анализа, связанного с конкурсом, если отсутствуют записи по всем трем заданиям. Сохраните доступные записи для других подходящих видов анализа.
5. Обозначьте пропущенные данные исследования как NA. Не присваивайте значение ноль, за исключением случаев, когда ноль отражает фактический балл за курс в соответствии с утвержденной политикой курса. Создайте запись о движении участников для каждой когорты.

Объект	Операциональное определение	Правило применения	Переменная набора данных	Значение анализа
Целевой курс	Курс стратегического менеджмента для студентов бакалавриата, проводимый в выбранном семестре	Включить студентов, официально зачисленных на выбранную секцию курса	раздел курса	Определяет подходящую группу преподавателей
Когорта протокола	Группа, прошедшая полный протокол улучшения курса с интеграцией соревновательного элемента	Кодировать как 1	тип когорты	Когорта протокола
Историческая когорта сравнения	Контрольная группа, проходившая традиционное обучение по курсу «Стратегический менеджмент» на основе анализа конкретных ситуаций (кейсов) без полного трехэтапного процесса соревнования	Код 0	тип когорты	Нерандомизированная историческая когорта сравнения
Официальное зачисление	Студент значится в официальном списке курса	Отбор потенциально подходящих кандидатов	статус соответствия критериям	Необходимо выполнить перед проведением скрининга для научно-исследовательских целей
Информированное согласие на участие в исследовании	Студент предоставляет письменное или электронное согласие на использование обезличенных записей курса после получения одобрения комитета по этике	Включайте в набор исследовательских данных только студентов, давших свое согласие	статус согласия	Студенты, не давшие своего согласия, проходят курс в обычном режиме, но исключаются из исследовательского анализа.
Участие в курсе	Обычные учебные мероприятия, выполняемые независимо от согласия на участие в исследовании	Разрешить всем зачисленным студентам посещать занятия, вступать в команды, выполнять курсовые задания и получать оценки	статус участия в курсе	Разграничивает участие в преподавательской деятельности и участие в научно-исследовательской деятельности
Валидный результат по окончании курса	Доступен как минимум один валидный результат после прохождения курса	Включить в анализы те случаи, по которым доступны соответствующие данные об исходах	результат доступен	позволяет проводить анализ имеющихся данных
Отчисление с курса до середины семестра	Студент отчисляется (забирает документы) до 8-й недели обучения	Исключить из окончательного набора исследовательских данных	статус отзыва	Снижает систематическую ошибку, связанную с неполным воздействием
Тест на определение пробелов в базовых знаниях	Отсутствует тест по знаниям за 1-ю неделю	Обозначить как NA	отсутствуют предварительные знания	Исключить только из анализа парных знаний
Отсутствует итоговый тест по проверке знаний после курса	Тест по знаниям за 16-ю неделю отсутствует	Обозначить как Н/Д	Отсутствие дополнительных знаний	Исключить только из анализа парных знаний
Отсутствуют оба теста на знание материала	Отсутствуют баллы за проверку знаний как на исходном этапе, так и по окончании курса	Исключить из анализа показателей знаний	статус пары знаний	Сохранить для других подходящих анализов при наличии данных
Отсутствует опрос по завершении курса	Отсутствует анонимный опрос по окончании курса	Обозначить как NA	опрос_отсутствует	Сохранять в анализах объективной производительности
Отсутствие одной или двух записей о заданиях конкурса	Отсутствует одна или две записи о задачах или сопоставленных проектах	Обозначайте отсутствующие записи как NA, если только правилами курса не предусмотрено присвоение нуля	отсутствует_балл_за_задание	Сохраните доступные записи задач или сопоставленных проектов
Отсутствуют записи по всем трем конкурсным заданиям	Отсутствуют допустимые записи для Задачи 1, Задачи 2 или Задачи 3	Исключить из анализов, связанных с конкуренцией	завершение соревнования	Сохранить для анализа отсутствия конкуренции, если доступны другие исходы
Дублирующая запись	Для одного и того же кода студента отображается более одной строки	Сохраните проверенную окончательную запись после сверки с исходным файлом	проверка на дубликаты	Разделение перед анализом
Утечка идентификаторов	имя, номер студенческого билета, номер телефона, адрес электронной почты, учетная запись на платформе, идентификатор устройства или идентифицируемый текстовый комментарий в свободной форме	Удалите идентификатор перед проведением анализа	проверка идентификатора	Анализ набора данных не может быть проведен до его деидентификации
Окончательная аналитическая проба	Студенты, давшие согласие, с пригодными для анализа данными после применения правил исключения и обработки пропущенных данных	Укажите итоговое количество и причины исключения	анализ_образца	Необходимо для отчетности о потоке участников

Таблица 1: Структура когорты, критерии включения, критерии исключения и правила обработки пропущенных данных.В этой таблице определены когорта протокола, когорта исторического сравнения, критерии соответствия, разрешение на использование в исследовательских целях, критерии исключения, способы обработки пропущенных данных и порядок формирования аналитической выборки.

3. Реализуйте 16-недельную последовательность курса.

1. Проводите курс в течение 16 учебных недель, включая 32 часа аудиторных занятий и примерно 24–30 часов самостоятельной командной работы. Отдельно фиксируйте часы обучения, время командной работы, взаимодействие по кейсу, обратную связь, репетиции и время проведения оценки.
2. На 1-й неделе в рамках стандартных мероприятий курса проведите вводный инструктаж, базовый тест знаний и базовый опрос по уровню вовлеченности. Разъясните процесс обучения, последовательность заданий, правила оценки, принципы защиты данных и возможность последующего использования деидентифицированных записей в исследовательских целях. Проведите основное обучение по стратегическому менеджменту на 2–3-й неделях и краткое закрепление концепций в течение 4–15-й недель.
3. На 4-й неделе представьте пакет материалов по кейсу предприятия и руководство по конкурсу, включая последовательность заданий, правила подачи работ, критерии оценки (рубрики), график предоставления обратной связи, обязанности команд, правила академической этики, требования к раскрытию использования ИИ, процедуру устного подтверждения и процесс апелляции.
4. Реализуйте Задание 1 на 5–6-й неделях и предоставьте обратную связь в течение 7 календарных дней на 7-й неделе. Потребуйте пересмотра формулировки стратегической проблемы перед выполнением Задания 2¹⁴. Реализуйте Задание 2 на 8–10-й неделях, коучинг по кейсу со структурированным подходом или с участием ментора от предприятия на 11-й неделе и Задание 3 на 12–15-й неделях.
5. На 16-й неделе в рамках стандартных мероприятий курса проведите итоговый тест знаний, послекурсовый опрос, аудит данных и обзор курса. Экспорт, кодирование, деидентификация и анализ записей для исследовательских целей должны проводиться только после получения одобрения комитета по этике, проверки согласий и выставления оценок (см. Таблицу 2).
   ТОЧКА ОСТАНОВКИ: Приостановите процесс после 4-й недели, если распределение по командам, файлы кейсов, руководство, критерии оценки, форма раскрытия использования ИИ, шаблоны заданий или формы регистрации данных не завершены. Для подготовки исследовательского отчета приостановите анализ до получения одобрения комитета по этике, проверки согласий, выставления оценок, деидентификации и блокировки набора данных.

Неделя	Активность	Методический акцент	Результат работы студента или команды	Необходимая запись	Контроль качества
Неделя 1	Вводный инструктаж по курсу и базовая оценка	Процесс обучения, правила оценивания, тест на определение базового уровня знаний, опрос о базовом уровне вовлеченности	Входное тестирование знаний; вводный опрос	Посещаемость; файл с результатами исходного тестирования; файл с результатами исходного опроса; запись о брифинге по курсу	Подтвердите завершение исходной оценки и разделение стандартных записей курса и данных для последующего использования в исследованиях
Неделя 2	Основы стратегического менеджмента: руководство I	Экологический анализ, отраслевой анализ, анализ конкурентов	Рабочий лист для аудиторных занятий	Посещаемость; запись в рабочем листе	Проверка заполнения рабочего листа
Неделя 3	Основы стратегического менеджмента: инструкция II	Анализ внутренних ресурсов, стратегический выбор, планирование реализации, оценка эффективности	Краткий ответ для обсуждения клинического случая	Посещаемость; протокол обсуждения клинического случая	Подтверждение основных концепций перед запуском конкурса
Неделя 4	Введение в бизнес-кейс и брифинг по конкурсу	Пакет материалов по кейсу, руководство, последовательность задач, критерии оценивания, раскрытие информации об использовании ИИ, правила работы в команде, процедура апелляции	Список участников команды; устав команды; подтверждение использования ИИ	Список участников команды; устав команды; журнал доступа к справочнику; журнал доступа к делу	Приостановите работу, если материалы дел, руководство, критерии оценивания, записи команды, шаблоны задач или формы использования ИИ заполнены не полностью
Неделя 5	Задача 1 начинается	Структура отчета по стратегической диагностике и требования к доказательной базе	Проект отчета по стратегической диагностике	Журнал рабочих процессов группы; протокол консультации	Подтвердите распределение ролей в команде
Неделя 6	Сдача задания 1	Стратегическая диагностика, отраслевой и внутренний анализ, использование доказательств	Отчет по итогам Задачи 1	Запись о подаче; файл отчета	Выявление отсутствующих или неправильно оформленных заявок
Неделя 7	Отзыв по заданию 1	Обратная связь и направление доработки на основе критериев оценивания (рубрик)	Пересмотренная формулировка стратегической проблемы	Журнал обратной связи; запись о сроках обработки обратной связи	Приостановить, если >15% отчетов не соответствуют требуемой структуре
Неделя 8	Начинается задание 2	Лист принятия решений, допущения моделирования, переменные принятия решений	Лист принятия первоначальных стратегических решений	Журнал процессов команды; протокол наблюдений	Подтверждение понимания переменных принятия решений
Неделя 9	Уточнение стратегических решений	Позиционирование на рынке, распределение ресурсов, последовательность реализации, допущения о рисках	Пересмотренный лист принятия решений	Журнал коучинга; контрольный список наблюдений	Проверить обоснованность на основе фактических данных
Неделя 10	Сдача задания 2	Логика принятия окончательного стратегического решения	Лист принятия окончательного решения по заданию 2	балл за задание 2; запись о подаче; файл с решением	Проверка полноты представленных материалов
Неделя 11	Корпоративный или структурированный кейс-коучинг	Наставничество или обратная связь на основе конкретных ситуаций по стратегическим дилеммам	Лист рефлексии ментора; план доработки команды	Журнал взаимодействия с предприятием; вопросы студентов; запись рефлексии	Подтвердите посещение и заполнение формы рефлексии
Неделя 12	Начинается задание 3	Формат итоговой защиты, резюме, структура слайдов, вопросы и ответы&Правила	Черновик плана презентации	Журнал процессов команды; обновление раскрытия информации об использовании ИИ	Проверка распределения рабочей нагрузки с помощью формы оценки вклада участников
Неделя 13	Подготовка к итоговой защите	Стратегическая согласованность, осуществимость, контроль рисков, использование фактических данных	Черновик презентации; резюме для руководства	Журнал коучинга; контрольный список наблюдений	Подтвердите связь между диагнозом, выбором метода и его реализацией
Неделя 14	Репетиция и калибровка экспертов	Пробная защита и обучение экспертов	Репетиционная презентация	Протокол обучения экспертов; предварительная проверка рубрики	Подтверждение калибровки подсчета баллов
Неделя 15	Защита итоговой стратегии	8-минутный доклад и 5-минутная сессия вопросов и ответов&A	Финальный набор слайдов; резюме; устная защита	Баллы за задание 3; баллы экспертов; Q&Примечания	Расчет коэффициента внутриклассовой корреляции (ICC) для перекрывающихся субъективных оценок
Неделя 16	Итоговая оценка и обзор курса	Итоговый тест по курсу, послекурсовой опрос, обзор курса, плановый аудит данных	Итоговый тест по курсу; послекурсовый опрос	Файл итогового тестирования; файл опроса; запись о рецензировании курса	Приостановить анализ данных исследования до завершения выставления оценок, получения одобрения комитета по этике, проверки наличия информированного согласия, деидентификации данных и блокировки набора данных

Таблица 2: Шестнадцатинедельный график реализации протокола курса «Стратегический менеджмент», интегрированного в соревновательный процесс.В этой таблице обобщены еженедельные мероприятия по протоколу, основные направления обучения, результаты работы студентов или команд, необходимые записи и контрольные точки контроля качества на протяжении всего 16-недельного курса.

4. Подготовьте бизнес-кейсы и материалы для конкурса.

1. Выберите один основной кейс предприятия и два дополнительных поддерживающих кейса из открытых, анонимизированных или одобренных предприятием учебных материалов. Проверьте каждый кейс на наличие отраслевого контекста, проблемы принятия управленческого решения, ресурсных ограничений, стратегического компромисса, сложностей внедрения и измеримых последствий. Используйте критерий «полноты разработки кейса» вместо «аутентичности кейса», если нет возможности независимой валидации.
2. Подготовьте анонимизированный модельный кейс, если одобренные предприятием материалы недоступны. Укажите отрасль, размер фирмы, сегмент клиентов, конкурентное давление, ресурсные ограничения, стратегическое решение, риск внедрения и ожидаемые последствия. Удалите конфиденциальную информацию предприятия, включая названия компаний, точные финансовые показатели, сведения о клиентах, данные о сотрудниках, проприетарные данные и стратегические документы при отсутствии письменного разрешения. Шаблон кейса представлен в Supplementary File 1.
3. Подготовьте руководство, шаблоны заданий, форму оценки вклада коллег, журнал командного процесса, журнал обратной связи, форму раскрытия использования ИИ, форму записи устного опроса, рубрикаторы и таблицу контроля версий. Разрешите заявленное использование ИИ для стилистической правки текста, форматирования, проверки грамматики, общего мозгового штурма и улучшения макета слайдов. Запретите использование ИИ, которое заменяет самостоятельно выполненную студентами диагностику, выбор доказательств, обоснование решения, анализ рисков, планирование внедрения или устную защиту.
4. Разработайте рубрикаторы, в которых приоритет отдается стратегическому мышлению, а не внешней выверенности текста. Оценивайте использование доказательств, обоснование компромиссов, осуществимость внедрения, внутреннюю согласованность и устную защиту отдельно от стиля презентации. Загрузите руководство, шаблоны, рубрикаторы, материалы кейсов, правила использования ИИ и процедуру апелляции до 4-й недели.

5. Сформируйте студенческие команды и распределите роли в них.

1. Сформируйте команды из 4–6 студентов. Используйте стратифицированное группирование, если доступны данные об успеваемости по курсу, специализации, гендере или предыдущем опыте участия в конкурсах, и если это разрешено правилами учебного заведения.
2. Назначьте каждому студенту одну основную роль перед началом Задания 1. Потребуйте от каждой команды представить устав команды и вести журнал процесса, в котором фиксируются распределение ролей, правила коммуникации, ожидания по вкладу каждого участника, сроки, ответственность за использование ИИ, посещаемость, принятые решения, изученные доказательства, нерешенные проблемы и последующие действия.
3. Соберите оценки взаимного вклада участников на промежуточном и финальном этапах для выявления дисбаланса в распределении работы. Проведите индивидуальные устные проверки во время коучинга, репетиции или финальной защиты, попросив выбранных студентов своими словами объяснить диагноз команды, доказательную базу, логику принятия решений, допущения о рисках или план реализации.

6. Проведите базовую оценку.

1. Проведите исходное тестирование знаний по стратегическому менеджменту на 1-й неделе, до представления корпоративного кейса и выполнения конкурсных заданий, в рамках текущего оценивания курса.
2. Используйте тест из 24 вопросов с оценкой от 0 до 100 баллов, охватывающий анализ внешней среды, анализ отрасли и конкурентов, анализ внутренних ресурсов, стратегический выбор, планирование реализации и стратегическую оценку. Спецификация, правила разработки вопросов, форма рецензирования и правила подсчета баллов представлены в Supplementary File 1.
3. Разработайте варианты А и Б как эквивалентные, но не идентичные версии, согласованные по охвату тем, формату вопросов, когнитивному уровню, диапазону баллов, ожидаемой сложности и правилам оценивания. Привлеките двух преподавателей стратегического менеджмента и одного рецензента по оценке бизнес-образования для анализа релевантности, ясности, когнитивного уровня и охвата тем вопросов. Проведите пилотное тестирование обоих вариантов с 24 студентами, не входящими в аналитическую выборку.
4. Оставьте вопросы с показателями сложности 0.30–0.80 и показателями дискриминативности выше 0.20, где это возможно. Считайте внутреннюю согласованность приемлемой, если KR-20 или альфа Кронбаха ≥0.70. Считайте варианты приемлемыми для парного использования, если разница средних значений по результатам пилотного тестирования составляет ≤3 баллов, а стандартизированная разница <0.20.
5. Примените контрбалансировку вариантов, если это возможно. Назначьте половине студентов вариант А для исходного тестирования и вариант Б после курса, а другой половине — вариант Б для исходного тестирования и вариант А после курса. Если используется один фиксированный порядок, зафиксируйте это как ограничение исследования.
6. Проведите исходный опрос вовлеченности после теста знаний. Используйте 5-балльную шкалу для оценки интереса к стратегическому менеджменту, воспринимаемой практической значимости, уверенности в анализе кейсов, готовности участвовать в командных заданиях, готовности к командной работе и наличия предыдущего опыта участия в конкурсах. Анализируйте концептуально разные вопросы отдельно, если данные о надежности и размерности не подтверждают возможность расчета совокупного балла.
7. Зафиксируйте исходные данные о посещаемости, выполнении теста знаний, заполнении опроса и версии формы в ходе обычного проведения курса. Экспортируйте исходные данные для исследовательских целей только после получения одобрения комитета по этике, проверки согласия, присвоения кодов и удаления прямых идентификаторов.

7. Осуществление обучения стратегическому менеджменту на основе корпоративных кейсов.

1. Проводите обучение на основе конкретных ситуаций (кейсов) с помощью кратких лекций, модерируемых дискуссий, командных рабочих листов и кратких упражнений по принятию решений. Используйте задания по активному обучению, чтобы перевести студентов от этапа восприятия концепций к анализу, принятию решений, командному обсуждению и рефлексии¹⁵.
2. Приглашайте менеджеров предприятий, предпринимателей или отраслевых наставников, если есть такая возможность. Минимум за 7 дней до занятия предоставьте информацию о целях курса, уровне студентов, теме кейса, требованиях к конфиденциальности, фокусе дискуссии и временных затратах. В случае отсутствия возможности пригласить наставника используйте анонимизированный или открытый брифинг по кейсу.
3. Представьте одну неконфиденциальную стратегическую проблему, связанную с неопределенностью рынка, конкурентным давлением, корректировкой бизнес-модели, ограниченностью ресурсов, барьерами при внедрении или контролем рисков. Потребуйте от каждой команды определить проблему, доказательную базу, альтернативы, риски и рекомендуемое решение, используя структурированный рабочий лист.
4. Потребуйте от каждой команды представить рефлексию объемом 300–500 слов, связывающую проблему кейса с одной концепцией стратегического менеджмента и одним решением в рамках активного соревнования. Зафиксируйте сведения о наставнике, источнике кейса, посещаемости, вопросах студентов, заполнении рабочего листа и сдаче рефлексии в журнале взаимодействия с предприятиями. Свяжите разбор кейса, рефлексию, принятие решений и их пересмотр на протяжении всего цикла соревнований с помощью мероприятий по эмпирическому обучению¹⁶.

8. Реализуйте трехэтапный конкурс по преподаванию.

1. На 4-й неделе проведите официальный инструктаж по конкурсу. Разъясните последовательность заданий, график, критерии оценивания, правила предоставления обратной связи, требования к академической добросовестности, порядок раскрытия использования ИИ, процедуру устной проверки и порядок подачи апелляций.
2. Реализуйте Задание 1 на 5–6-й неделях в виде отчета по стратегической диагностике объемом 1 500–2 000 слов, охватывающего анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностику стратегических проблем, использование доказательной базы и первоначальные рекомендации. Предоставьте обратную связь в течение 7 календарных дней и используйте доработанную формулировку стратегической проблемы в качестве отправной точки для Задания 2.
3. Реализуйте Задание 2 на 8–10-й неделях в виде симуляции принятия стратегического решения или структурированного листа принятия решений, охватывающего позиционирование на рынке, распределение ресурсов, логику ценообразования или затрат, последовательность реализации, допущения по рискам и ожидаемый результат.
4. Реализуйте Задание 3 на 12–15-й неделях в виде финальной защиты стратегии. Потребуйте презентацию из 8–12 слайдов, резюме для руководства объемом 1 000–1 500 слов, 8-минутный доклад и 5 минут на вопросы. Убедитесь, что защита связывает диагностику из Задания 1, логику принятия решений из Задания 2, план реализации, контроль рисков и ожидаемый результат.
5. Оцените все три задания, используя 100-балльные критерии, и примените структуру и параметры оценки, приведенные в Таблице 3.
   ТОЧКА ПРИОСТАНОВКИ: Сделайте паузу после оценивания Задания 1, если более 15% работ не соответствуют требуемой структуре или если эксперты выявят нечеткие дескрипторы. Пересмотрите инструкции к заданию или руководство для экспертов перед началом Задания 2.

Задача	Недели	Требуемый результат	Основное содержание	Балл	Критерии оценки
Задание 1: Отчет о стратегической диагностике	Недели 5–6	групповой отчет объемом 1500–2000 слов	Анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностика стратегических проблем, использование доказательной базы, первичные рекомендации	100	Анализ отрасли и рынка, 20
					анализ внутренних ресурсов, 20
					диагностика стратегических проблем, 20
					использование доказательств, 20
					логика и ясность изложения, 20
Задание 2: Симуляция принятия стратегических решений или лист принятия решений	Недели 8–10	Лист структурированного принятия командных решений	Позиционирование на рынке, распределение ресурсов, логика ценообразования или затрат, последовательность реализации, допущения о рисках, ожидаемый результат	100	Стратегическая согласованность, 25
					рыночная логика, 20
					операционная осуществимость, 20
					анализ рисков, 20
					обоснование решения, 15
Задание 3: Финальная защита стратегии	Недели 12–15	презентация из 8–12 слайдов, резюме для руководства на 1000–1500 слов, 8-минутный доклад, 5-минутная сессия вопросов и ответов&A	Стратегический диагноз, стратегический выбор, план реализации, контроль рисков, ожидаемые показатели эффективности	100	Стратегическая диагностика, 20
					стратегический выбор, 25
					возможность реализации, 20
					инновации, 15
					использование доказательств, 10
					устная защита, 10

Таблица 3: Структура трехэтапного учебного конкурса и критерии оценивания.В данной таблице определены три конкурсных задания, недели реализации, требуемые результаты, основные требования к содержанию, общий балл и критерии оценивания.

9. Стандартизация оценки и обучение экспертов.

1. При наличии персонала привлеките как минимум двух экспертов для субъективной оценки; в случае отсутствия второго эксперта задокументируйте факт проведения оценки одним специалистом.
2. Обучите экспертов, используя рубрики, дескрипторы, калибровочные работы, перечень типичных ошибок при оценивании, правила раскрытия использования ИИ и критерии устного опроса. Эксперты независимо оценивают две калибровочные работы и обсуждают расхождения в баллах, превышающие 10 пунктов.
3. После обучения зафиксируйте рубрику и используйте одну и ту же версию на протяжении всего цикла реализации. Рассчитывайте коэффициент внутриклассовой корреляции (ICC), когда одну и ту же работу оценивают два или более экспертов. Значение ICC ≥ 0,75 считается приемлемым; при ICC < 0,75 или разнице в баллах более 10 пунктов проведите согласование оценок. Сохраняйте первичные баллы, согласованные баллы и примечания по согласованию.
4. Используйте оценивание на основе рубрик для уточнения ожиданий и поддержки формирующего оценивания¹⁷. Следуйте процедуре обучения экспертов, достижения согласия по оценкам и их согласования, приведенной в Дополнительной таблице S1.

10. Сбор данных о качестве обучения и точности реализации.

1. Оценивайте качество обучения по таким показателям, как взаимодействие в классе, полнота разработки кейсов, своевременность обратной связи, соответствие заданий критериям оценки (рубрикам) и вовлеченность студентов. Анализируйте показатели по отдельности, за исключением случаев, когда данные о надежности и размерности подтверждают возможность их объединения.
2. Используйте термин «полнота разработки кейсов» вместо «аутентичность кейсов», если нет данных независимой проверки аутентичности.
3. Оценивайте точность реализации (fidelity) по таким показателям, как выполнение запланированных мероприятий, завершение сессий по предприятиям или кейсам, сдача заданий, время предоставления обратной связи, заполнение рубрик, проведение наблюдений и прохождение обучения экспертов по оценке.
4. Рассматривайте пороговые значения в Таблице 4 как предопределенные операционные правила контроля качества, а не как внешне валидированные граничные значения. Эти пороги были установлены до начала анализа данных на основе пилотной проверки осуществимости, консенсуса преподавательской группы и ограничений по рабочей нагрузке.
5. Используйте показатели, источники данных, пороговые значения, предупреждающие правила и корректирующие действия, указанные в Таблице 4. Дополнительные процедуры по устранению неполадок приведены в Дополнительной таблице S2.
6. Считайте реализацию адекватной, если выполнено ≥85% запланированных еженедельных мероприятий, ≥85% студентов когорты по протоколу выполнили все три задания, ≥80% обратной связи предоставлено в течение 7 календарных дней, заполнены все основные рубрики и имеются необходимые данные наблюдений. Считайте реализацию субоптимальной, если выполнение заданий составляет <75%, срок предоставления обратной связи превышает 14 календарных дней для >20% работ, ICC <0.75 или отсутствует >25% запланированных наблюдений.

Категория	Индикатор	Источник данных	Временная точка	Шкала	Положительный сигнал или порог	Правило предупреждения	Корректирующее действие
Точность реализации	Завершение запланированной деятельности	Журнал реализации курса	Недели 1–16	% выполненного	≥85% запланированных мероприятий выполнено	<85% выполнено	Проанализировать пропущенные занятия и пересмотреть контроль графика
Точность реализации	Сессия по корпоративному или структурированному кейсу	Журнал взаимодействия с предприятием	Неделя 11	Реализовано / не реализовано	Запланированная сессия проведена или заменена коучингом по структурированному кейсу	Запланированная сессия отсутствует без замены	Использовать анонимизированную сессию по кейсу или коучинг по структурированному кейсу
Точность реализации	Завершение последовательности из трех заданий	Записи о сдаче работ	Недели 6, 10, 15	% студентов	≥85% студентов когорты протокола выполняют все три задания	<75% выполняют все задания	Упростить инструкции и добавить проверки прогресса
Точность реализации	Своевременность обратной связи	Журнал обратной связи	Недели 7, 10, 15	Календарные дни	≥80% обратной связи предоставлено в течение 7 дней	>20% обратной связи предоставлено спустя 14 дней	Сократить форму обратной связи и перераспределить нагрузку по оцениванию
Точность реализации	Завершение наблюдений	Формы наблюдения	Недели 1–16	% запланированных наблюдений	≥75% запланированных наблюдений проведено	>25% запланированных наблюдений пропущено	Добавить резервного наблюдателя и установить фиксированный график наблюдений
Качество оценивания	Согласованность экспертов	Оценки экспертов	Подмножество Задания 1 и защита Задания 3	ICC	ICC ≥0.75	ICC <0.75	Повторно обучить экспертов, уточнить дескрипторы, согласовать затронутые оценки
Качество обучения	Взаимодействие в аудитории	Контрольный список наблюдений	Выбранные занятия	балл 1–5	Среднее ≥3.50 или прирост ≥0.30	Среднее <3.50	Усилить стимулирующие вопросы для дискуссии и фасилитацию
Качество обучения	Полнота разработки кейса	Контрольный список кейса	До 4-й недели	балл 0–5 или 1–5	Среднее ≥4.00	Среднее <3.50	Пересмотреть контекст кейса, проблему принятия решения, ограничения и последствия
Качество обучения	Соответствие задания рубрике	Контрольный список соответствия	До 4-й недели и обзор после курса	балл 0–5 или 1–5	Среднее ≥4.00	Среднее <3.50	Пересмотреть соответствие «задание — результат — рубрика — обратная связь»
Качество обучения	Вовлеченность студентов	Посещаемость, участие, журналы, пункты опроса	Недели 1–16	балл по пункту или 1–5	Прирост ≥0.30 балла	Снижение >0.30 балла	Снизить перегрузку, уточнить ожидания, усилить формирующую поддержку
Результат обучения	Знания по стратегическому менеджменту	Входные и итоговые тесты	Недели 1 и 16	0–100	Средний прирост ≥5 баллов	Прирост <3 баллов	Проверить охват преподавания, соответствие пунктов и эквивалентность тестов
Результат обучения	Индивидуальный анализ кейса	Рубрика анализа кейса	Конец семестра	0–100	Преимущество когорты протокола ≥3 баллов	Отсутствие преимущества или снижение	Добавить практику анализа кейсов и аннотированные примеры
Командный результат	Результативность в командном соревновании	Рубрики соревнований	Недели 6, 10, 15	0–100	Прогрессивное улучшение по заданиям	Высокий итоговый балл при слабых ранних показателях	Проверить завышение оценок и перебалансировать рубрику в сторону обоснования
Восприятие студентов	Удовлетворенность	Опрос по окончании курса	Неделя 16	балл 1–5	Среднее ≥4.00	Среднее <3.50	Проанализировать нагрузку, ясность заданий, качество обратной связи и командную координацию
Восприятие студентов	Практическая значимость	Опрос по окончании курса	Неделя 16	балл 1–5	Среднее ≥4.00	Среднее <3.50	Повысить специфичность кейсов и связь с реальными стратегическими решениями
Безопасность нагрузки	Давление соревнований	Опрос по окончании курса	Неделя 16	балл 1–5 или %	Высокое давление ≤20% студентов	Высокое давление >20% студентов	Уменьшить перекрытие заданий и скорректировать интервалы между дедлайнами
Предупреждение об интерпретации	Эффект потолка	Входной тест и опрос	Неделя 1	0–100 или 1–5	Базовые знания ≤85 и удовлетворенность ≤4.50	Знания >85 или удовлетворенность >4.50	Осторожно интерпретировать небольшое улучшение
Предупреждение об интерпретации	Завышение оценок	Командные и индивидуальные результаты	Конец семестра	Оценка паттерна	Прирост команды сопровождается доказательствами индивидуального обучения	Командные баллы растут, но индивидуальное обучение нет	Повысить индивидуальную ответственность и оценивание на основе обоснования
Командный процесс	Баланс вклада участников	Форма вклада коллег	Середина и финальный этап	балл 1–5	Отсутствие повторяющегося значительного дисбаланса	Один или несколько участников неоднократно получают очень низкие оценки	Потребовать перераспределения ролей и провести проверку с преподавателем
Академическая честность	Прозрачность использования ИИ	Раскрытие использования ИИ и устный опрос	Каждое основное задание	Раскрыто / не раскрыто	Использование ИИ раскрыто в соответствии с правилами организации	Нераскрытое или ненадлежащее использование ИИ	Применить процедуру обеспечения академической честности организации и уточнить правила использования ИИ

Таблица 4: Показатели точности реализации, качества обучения, интерпретации результатов и устранения неполадок.В этой таблице указаны показатели точности реализации, показатели качества обучения, показатели результатов на уровне студента и команды, показатели качества оценивания, пороги интерпретации, предупреждающие правила и корректирующие действия.

11. Сбор данных о результатах после завершения курса.

1. Проведите итоговое тестирование знаний по стратегическому менеджменту на 16-й неделе, используя эквивалентную форму послекурсового теста, а не точно такую же форму, которая использовалась для исходного замера.
2. Соберите индивидуальные баллы за анализ кейса в конце семестра, используя рубрикатор, охватывающий выявление проблем, использование доказательств, стратегическую логику, осуществимость и ясность изложения. Укажите этот результат в качестве показателя эффективности после прохождения курса, если только не проводилась полноценная исходная оценка анализа кейсов.
3. Соберите командные баллы за Задания 1–3 и храните их отдельно от результатов обучения на индивидуальном уровне.
4. Соберите данные об уровне удовлетворенности, воспринимаемой практической значимости, полезности обратной связи, командном взаимодействии, давлении конкуренции, рабочей нагрузке и воспринимаемом прогрессе с помощью анонимного послекурсового опроса. Не объединяйте пункты в один общий балл, если надежность и размерность данных не подтверждают возможность создания композитного показателя.
5. Соберите итоговые баллы за курс только после подачи оценок. Экспортируйте послекурсовые записи для исследовательских целей только после получения одобрения комитета по этике, проверки согласий, присвоения кодов и удаления прямых идентификаторов и идентифицируемых комментариев.
   ТОЧКА ОСТАНОВКИ: Приостановите исследовательский анализ до подачи итоговых оценок, получения одобрения по этике, завершения проверки согласий, отделения списка согласий от набора исследовательских данных и подтверждения деидентификации.

12. Очистка и объединение деидентифицированного набора данных.

1. После получения одобрения комитета по этике и проверки согласий сформируйте деидентифицированные наборы данных на уровне студентов, команд и классных занятий. Проверьте наличие дубликатов записей, недопустимых значений, отсутствующих кодов, несоответствий в кодах команд и прямых идентификаторов.
2. Объедините данные студенческого и командного уровней исключительно по коду команды. Очистите и закодируйте все наборы данных, используя шаблон в Supplementary File 1 и словарь переменных в Supplementary Table S3.
3. Обозначьте отсутствующие значения как NA. Не заменяйте отсутствующие результаты, за исключением случаев, когда политика курса предусматривает повторную аттестацию или нулевой балл за конкретное задание. Исключите студентов, не прошедших тест на знания, только из парного анализа знаний; студентов, не выполнивших все три конкурсных задания, исключите из анализов, связанных с конкурсом. Сохраните доступные записи для других подходящих видов анализа.
4. Сохраните очищенный набор данных, словарь данных, журнал очистки, файл, готовый к анализу, и заблокированный выходной файл. Вносите изменения в заблокированные данные только с ведением датированного журнала исправлений.

13. Проанализируйте точность реализации, качество обучения и результаты обучения.

1. Проанализируйте точность реализации (implementation fidelity) перед интерпретацией результатов обучения. С осторожностью интерпретируйте различия в результатах, если пороговые значения точности реализации не были достигнуты.
2. Приведите описательную статистику для непрерывных переменных и частоты для категориальных переменных, включая тип когорты, основную группу, опыт участия в предыдущих конкурсах, выполнение задания, категорию пропущенных данных и уровень награждения в протокольной когорте. Указывайте уровень награждения только для протокольной когорты, если только в контрольной когорте не использовалась такая же структура наград.
3. Сравните исходные характеристики с помощью t-критериев для независимых выборок, критериев хи-квадрат или точного критерия Фишера, в зависимости от ситуации, чтобы описать сопоставимость исходных данных, а не причинную эквивалентность.
4. Оцените изменение знаний внутри когорты с помощью парных t-критериев или критериев знаковых рангов Вилкоксона. Сравните результаты после курса между когортами, используя t-критерии для независимых выборок, U-критерий Манна-Уитни, ANCOVA или регрессионные модели с поправкой на исходные различия. Интерпретируйте все сравнения когорт как анализ образовательных записей в конкретном контексте, а не как оценки причинно-следственных связей.
5. Используйте модели с повторными измерениями или смешанные модели при анализе данных в нескольких временных точках. Включайте случайные эффекты на уровне студента для повторных измерений, а также случайные эффекты на уровне команды или робастные стандартные ошибки для кластеров, если студенты распределены по командам.
6. Анализируйте результаты на уровне команд отдельно от результатов на уровне студентов. Не рассматривайте командные баллы как независимые индивидуальные наблюдения, если вопрос кластеризации не был решен.
7. Приведите значение d-Коэна для основных различий средних, где 0,20, 0,50 и 0,80 интерпретируются как малый, средний и большой эффекты соответственно. По возможности указывайте 95% доверительные интервалы и в рамках анализа чувствительности сравнивайте результаты для полных случаев (complete-case) и доступных случаев (available-case).
8. Сохраните статистический скрипт, выходные данные программного обеспечения, исходные файлы рисунков и итоговые таблицы. Представьте все таблицы в виде отдельных редактируемых файлов и архивируйте исходные данные рисунков.

14. Интерпретация успешного и субоптимального выполнения.

1. Определите критерии успешности реализации до интерпретации окончательных результатов. Протокол считается успешно реализованным, если основные пороги точности соблюдения (fidelity thresholds) в Таблица 4 соблюдены.
2. Интерпретируйте результаты обучения только после проверки достоверности, надежности оценивания, паттернов пропусков данных, сопоставимости исходных показателей и единицы анализа.
3. При условии надлежащей точности исполнения (fidelity), положительным сигналом внедрения следует считать увеличение объема знаний после курса на ≥5 баллов, преимущество в индивидуальном анализе конкретных случаев в конце семестра на ≥3 балла или рост показателя процесса обучения на ≥0,30 по 5-балльной шкале.
4. Определите предупреждающие паттерны перед началом анализа: эффект потолка, когда базовый уровень знаний превышает 85/100 или базовый уровень удовлетворенности превышает 4,50/5; завышение показателей, когда баллы команды растут при отсутствии доказательств индивидуального обучения; чрезмерное конкурентное давление, при котором удовлетворенность снижается на >0,30 балла или >20% студентов сообщают о высоком уровне нагрузки.
5. Рассматривайте оценку не как единый балл, а как многоуровневый процесс: от точности реализации до реакции студентов, подтверждения усвоения материала и совершенствования курса.¹⁸Избегайте формулировок, указывающих на причинно-следственную связь, поскольку в дизайне исследования используются обычные учебные когорты, группа исторического контроля и ретроспективные обезличенные записи о прохождении курсов, а не рандомизированное распределение.

15. Проведите поиск и устранение неисправностей, адаптацию и итерацию курса.

1. После завершения каждой основной задачи проверяйте соблюдение протокола (fidelity) и выявляйте такие проблемы, как задержка обратной связи, низкая активность участников команды, неясные инструкции, незаполненные формы оценивания, отсутствие наблюдений, недостаточная проработка дизайна клинического случая, расхождения в оценках экспертов или ненадлежащее использование ИИ.
2. Применяйте корректирующие действия, указанные в Дополнительной таблице S2, включая пересмотр инструкций, дополнительный коучинг, переподготовку экспертов, перераспределение ролей, корректировку рабочей нагрузки или институциональную проверку академической добросовестности.
3. Для краткосрочных курсов объедините Задачи 1 и 2 в краткий отчет по диагностике и принятию решения, сохранив при этом финальную защиту, запись обратной связи и проверки соблюдения протокола. Для онлайн-, гибридного или масштабного многопоточного обучения используйте цифровые брифинги, журналы подачи работ, онлайн-опросы по устным ответам, стандартизированные шаблоны обратной связи, общие рубрики оценивания, совместное обучение экспертов, наблюдателей на уровне каждой группы, командные панели мониторинга и централизованное управление данными.
4. После 16-й недели проанализируйте соблюдение протокола, процессуальные показатели, результаты студентов, заметки экспертов, паттерны пропусков данных, записи об использовании ИИ, комментарии студентов и рефлексию преподавателей. Внесите правки в руководство, пакет материалов по случаям, рубрики, шаблоны, график обратной связи и формы записи данных перед началом следующего цикла.
5. После получения одобрения комитета по этике и подготовки исследовательских данных архивируйте карту протокола, график, руководство, файлы клинических случаев, рубрики, формы наблюдений, инструменты опроса, деидентифицированный набор данных, словарь данных, скрипт анализа, статистические результаты, исходные файлы рисунков, таблицы и дополнительные материалы. Зафиксируйте все изменения в таблице контроля версий.

Результаты

Репрезентативные результаты демонстрируют итоги, полученные в ходе применения 16-недельного протокола по совершенствованию курса стратегического менеджмента с интеграцией соревновательного элемента. Результаты систематизированы по точности реализации, качеству преподавания, результатам на уровне студентов, результатам на уровне команд и предопределенным паттернам предупреждений. Поскольку данные были получены от обычных образовательных когорт с исторической контрольной группой, а не в результате рандомизированного распределения, все результаты следует интерпретировать как результаты реализации и оценки в конкретном контексте, а не как причинно-следственные доказательства эффективности.

Точность реализации и качество обучения

Доступный набор данных образовательных записей включал 88 студентов в когорте исторического сравнения и 92 студента в когорте протокола. Набор данных на уровне команд включал 22 команды когорты сравнения и 23 команды когорты протокола. После применения правила парного предварительного и последующего тестирования знаний для анализа прироста знаний были отобраны 79 студентов из когорты сравнения и 84 студента из когорты протокола.

Перед интерпретацией результатов обучения была проверена точность реализации протокола. Группа протокола выполнила 15 из 16 запланированных еженедельных мероприятий (93,8%), тогда как контрольная группа выполнила 13 из 16 (81,3%). Сессия по корпоративному или структурированному кейсу была проведена в группе протокола, но не входила в полную структуру исторического контроля. В группе протокола 88 из 92 студентов выполнили все три конкурсных задания, что соответствует 95,7%. В контрольной группе 18 из 88 студентов имели полные записи по трем сопоставимым проектным оценкам, что соответствует 20,5%; эти записи были сохранены только для описательного сравнения, поскольку в историческом курсе не была реализована полная последовательность конкурса. Обратная связь была предоставлена в течение 7 календарных дней для 243 из 268 работ группы протокола (90,7%) по сравнению с 49 из 66 работ контрольной группы (74,2%). Среднее время предоставления обратной связи составило 5,8 ± 1,9 дня и 8,4 ± 2,7 дня соответственно. Доля завершенных наблюдений достигла 81,3% и 62,5%. Коэффициент внутриклассовой корреляции (ICC) для двух оценивающих в группе протокола при перекрывающемся субъективном скоринге составил 0,82, что превысило установленный порог 0,75. В целом, группа протокола достигла 5 из 5 основных показателей точности реализации, в то время как контрольная группа достигла 2 из 5.

Показатели качества обучения были выше в когорте с использованием протокола. Взаимодействие в аудитории составило 3.70 ± 0.44 в когорте с протоколом и 3.15 ± 0.48 в контрольной когорте. Полнота разработки кейсов составила 4.08 ± 0.36 и 3.23 ± 0.42 соответственно. Соответствие заданий критериям оценивания составило 4.01 ± 0.39 и 2.30 ± 0.51. Вовлеченность студентов в когорте с протоколом увеличилась на 0.42 ± 0.41 балла, что превысило заранее определенный порог значимости в 0.30 балла, тогда как в контрольной когорте рост составил 0.07 ± 0.34 балла. Посещаемость в обеих когортах была схожей: 89.6% ± 5.8% и 89.1% ± 6.2%. В Таблице 5 приведены сводные данные по этим показателям.

Показатель	Источник данных	Предопределенный порог	Историческая когорта сравнения	Когорта протокола	Интерпретация
Завершение запланированной еженедельной активности	Журнал реализации курса	≥85%	13/16 недель, 81.3%	15/16 недель, 93.8%	Достигнуто в когорте протокола
Реализация сессии по корпоративным или структурированным кейсам	Журнал корпоративного взаимодействия	≥1 реализованной сессии	0/1 сессий, 0.0%	1/1 сессий, 100.0%	Достигнуто в когорте протокола
Завершение всех заданий или соответствующих записей проекта	Записи о сдаче работ	≥85%	18/88 студентов, 20.5%	88/92 студентов, 95.7%	Достигнуто в когорте протокола; исторические данные носят только описательный характер
Предоставление обратной связи в течение 7 дней	Журнал обратной связи	≥80%	49/66 работ, 74.2%	243/268 работ, 90.7%	Достигнуто в когорте протокола
Заполнение контрольного списка наблюдений	Формы наблюдения	≥75%	10/16 сессий, 62.5%	13/16 сессий, 81.3%	Достигнуто в когорте протокола
Согласованность двух экспертов	Оценки экспертов	ICC ≥0.75	Не требуется	ICC = 0.82	Достигнуто в когорте протокола
Время обработки обратной связи	Журнал обратной связи	Предпочтительно среднее ≤7 дней	8.4 ± 2.7 дней	5.8 ± 1.9 дней	В пределах предпочтительного диапазона в когорте протокола
Взаимодействие в аудитории	Контрольный список наблюдений	Среднее ≥3.50 или прирост ≥0.30	3.15 ± 0.48	3.70 ± 0.44	Выше в когорте протокола
Полнота разработки кейса	Контрольный список разработки кейса	Предпочтительно среднее ≥4.00	3.23 ± 0.42	4.08 ± 0.36	Выше в когорте протокола
Соответствие задания критериям оценки	Контрольный список соответствия	Среднее ≥4.00	2.30 ± 0.51	4.01 ± 0.39	Достигнуто в когорте протокола
Прирост вовлеченности студентов	Посещаемость, журналы, пункты опроса	Прирост ≥0.30 баллов	+0.07 ± 0.34	+0.42 ± 0.41	Достигнуто в когорте протокола
Уровень посещаемости	Запись о посещаемости	Описательный	89.1% ± 6.2%	89.6% ± 5.8%	Схож в обеих когортах
Общий итог точности реализации	Показатели реализации	Большинство основных порогов достигнуто	Достигнуто 2/5 порогов	Достигнуто 5/5 порогов	Протокол реализован в соответствии с замыслом

Таблица 5: Репрезентативные показатели точности реализации и качества обучения.В этой таблице представлены репрезентативные результаты точности реализации и качества обучения для когорты исторического сравнения и когорты протокола, а также указано, были ли достигнуты предопределенные операционные пороги.

Рисунок 2 представляет профиль точности реализации и качества обучения. На рисунке 2A показана завершенность запланированных еженедельных мероприятий. На рисунке 2B показана завершенность последовательности из трех заданий. На рисунке 2C показана обратная связь, предоставленная в течение 7 календарных дней. На рисунке 2D показаны взаимодействие в классе, полнота разработки кейсов, соответствие заданий критериям оценивания и прирост вовлеченности студентов. На рисунке 2E показана завершенность наблюдений и завершенность корпоративных или структурированных сессий по кейсам. Показатели точности в процентах и индикаторы обучения на основе шкал следует интерпретировать в рамках их собственных измерительных шкал.

Рисунок 2: Профиль точности реализации и качества обучения.На данном рисунке обобщены показатели точности реализации и качества обучения для исторической контрольной когорты и когорты по протоколу. (A) Полнота выполнения запланированных еженедельных мероприятий. (B) Полнота выполнения завершенного задания или сопоставленного проекта, с разграничением полной последовательности из трех заданий в когорте по протоколу и сопоставленных записей проектов в исторической контрольной когорте. (C) Обратная связь, предоставленная в течение 7 календарных дней; время обработки обратной связи приведено в качестве вспомогательной информации. (D) Показатели качества обучения, включая взаимодействие в классе, полноту разработки кейса, соответствие задания критериям оценки (рубрикам) и прирост вовлеченности студентов. (E) Полнота заполнения контрольного списка наблюдений и реализация корпоративного или структурированного кейс-сеанса. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты обучения для студентов

Результаты на уровне студентов изучались отдельно от результатов соревнований на уровне команд. Исходные показатели знаний составили 64.18 ± 8.74 в основной группе и 62.37 ± 8.91 в контрольной группе, при этом небольшая разница на базовом уровне составила 1.81 балла (d = 0.21). После окончания курса показатели знаний составили 71.08 ± 8.58 и 66.41 ± 9.06 соответственно, с разницей в 4.67 балла (d = 0.53). Прирост знаний составил 6.90 ± 5.41 балла и 4.04 ± 5.26 балла, с разницей в 2.86 балла (d = 0.54). Показатели основной группы превысили заранее определенный порог прироста знаний в 5 баллов.

Показатели индивидуального анализа клинических случаев в конце семестра составили 82,31 ± 7,06 в когорте протокола и 76,42 ± 7,38 в контрольной когорте, разница составила 5,89 балла (d = 0,82). Этот результат интерпретировался как показатель успеваемости по окончании курса, а не как парный прирост, поскольку истинная исходная оценка навыков анализа случаев не проводилась. Уровень удовлетворенности составил 3,66 ± 0,58 и 3,34 ± 0,62 (d = 0,53). Воспринимаемая практическая значимость составила 3,91 ± 0,55 и 3,41 ± 0,59 (d = 0,88). Давление конкуренции было выше в когорте протокола (3,12 ± 0,76) по сравнению с контрольной группой (2,48 ± 0,71) (d = 0,87), однако высокая нагрузка была отмечена 13 из 92 студентов когорты протокола, что соответствует 14,1%, т. е. ниже заранее определенного предупредительного порога в 20%. Итоговый балл за курс рассматривался как вторичный образовательный результат и составил 87,20 ± 6,10 в когорте протокола и 84,80 ± 6,70 в контрольной когорте (d = 0,37). В Таблице 6 обобщены результаты на уровне отдельных студентов и команд.

Результат	Уровень	Историческая когорта сравнения	Когорта протокола	Различие	Величина эффекта	Интерпретация
Доступный образец учебной записи	Студент	n = 88	n = 92	—	—	Пригодные для использования обезличенные записи курсов
Образец для парного анализа знаний	Студент	n = 79	n = 84	—	—	Студенты с показателями знаний до и после прохождения курса
Исходный показатель уровня знаний	Студент	62.37 ± 8.91	64.18 ± 8.74	1.81	0.21	Незначительная разница в исходных показателях
Балл за итоговое тестирование по окончании курса	Студент	66.41 ± 9.06	71.08 ± 8.58	4.67	0.53	Более высокий показатель в когорте протокола
Приобретение знаний	Студент	4.04 ± 5.26	6.90 ± 5.41	2.86	0.54	Когорта протокола превысила порог сигнала ≥5 баллов
Балл анализа отдельного случая	Студент	76.42 ± 7.38	82.31 ± 7.06	5.89	0.82	Сигнал анализа конкретных случаев превысил порог ≥3 баллов
Повышение вовлеченности студентов	Студент	+0.07 ± 0.34	+0.42 ± 0.41	+0.35	0.93	Превышен порог сигнала ≥0,30 балла
Показатель удовлетворенности	Студент	3.34 ± 0.62	3.66 ± 0.58	0.32	0.53	Более высокий показатель в когорте по протоколу
Воспринимаемая практическая значимость	Студент	3.41 ± 0.59	3.91 ± 0.55	0.5	0.88	Более высокий показатель в когорте протокола
Показатель конкурентного давления	Студент	2.48 ± 0.71	3.12 ± 0.76	0.64	0.87	Более высокое давление в когорте протокола
Высокая рабочая нагрузка	Студент	Не расценивается как конкурентное давление	13/92, 14.1%	—	—	Ниже предупредительного порога в 20%
Итоговый балл за курс	Студент	84.80 ± 6.70	87.20 ± 6.10	2.4	0.37	Вторичный образовательный результат
Количество команд	Команда	n = 22	n = 23	—	—	Анализы на уровне команд представлены отдельно
Экспозиция в раунде принятия решения	Команда	0,77 ± 0,81 циклов	5,09 ± 0,79 раундов	4.32	Не определено	Индикатор степени воздействия при внедрении
Задание 1 или сопоставленный балл диагноза	Команда	69.84 ± 6.45	72.18 ± 6.28	2.34	0.37	Незначительная разница на уровне команд
Задача 2 или сопоставленный показатель принятия решения	Команда	71.09 ± 6.12	73.52 ± 5.91	2.43	0.4	Незначительная разница на уровне команд
Задание 3 или приведенный балл за итоговую защиту	Команда	72.71 ± 6.36	77.20 ± 6.04	4.49	0.72	Наибольшая разница на уровне команд
Итоговый командный счет	Команда	71.21 ± 5.81	74.30 ± 5.52	3.09	0.55	Умеренное различие на уровне команды
Измерение стратегического диагноза	Команда	14.60 ± 1.80	15.60 ± 1.70	1	—	Критерии оценки финальной защиты
Измерение стратегического выбора	Команда	17.90 ± 2.20	19.10 ± 2.10	1.2	—	Критерий оценки итоговой защиты
Измерение возможности реализации	Команда	14.40 ± 1.90	15.50 ± 1.80	1.1	—	Критерии оценки итоговой защиты
Измерение инноваций	Команда	10.80 ± 1.60	11.50 ± 1.50	0.7	—	Критерии оценки итоговой защиты
Измерение использования доказательств	Команда	7.10 ± 1.00	7.50 ± 0.90	0.4	—	Критерии оценки итоговой защиты
Аспект устной защиты	Команда	7.91 ± 1.10	8.00 ± 1.00	0.09	—	Критерий оценки итоговой защиты
Средний вклад коллег	Команда	3.72 ± 0.41	3.91 ± 0.36	0.19	0.49	Отсутствие серьезных сбоев в командных процессах
Команды с дисбалансом вклада	Команда	4/22, 18.2%	3/23, 13.0%	−5,2 процентного пункта	—	Отсутствие систематического паттерна дисбаланса
Распределение наград	Команда	Неприменимо	10 нет; 8 третий; 2 второй; 3 первый	—	—	Только когорта протокола
Паттерн предупреждения о завышении баллов	Команда	Неприменимо	2/23 групп, 8,7%	—	—	Отмечено для поиска и устранения неисправностей

Таблица 6: Репрезентативные результаты на уровне студентов и команд. В этой таблице представлены репрезентативные результаты на уровне студентов и команд, включая доступную выборку из образовательных записей, парную выборку анализа знаний, баллы за знания, прирост знаний, индивидуальный балл за анализ кейсов, вовлеченность, удовлетворенность, воспринимаемую практическую значимость, нагрузку, итоговый балл за курс, баллы за командные задания, баллы по критериям рубрики итоговой защиты, вклад коллег, распределение наград и индикаторы предупреждения.

Рисунок 3 представляет результаты на уровне студентов с оценками неопределенности, где это применимо. Рисунок 3A показывает баллы за знания на исходном этапе и после прохождения курса. Рисунок 3B показывает прирост знаний. Рисунок 3C показывает индивидуальные результаты анализа конкретных случаев. Рисунок 3D показывает прирост вовлеченности, уровень удовлетворенности и воспринимаемую практическую значимость. Рисунок 3E показывает итоговый балл за курс в качестве вторичного результата.

Рисунок 3: Репрезентативные результаты обучения на уровне студентов.На данном рисунке представлены индивидуальные результаты отдельно от результатов командных соревнований. (A) Баллы за знания по стратегическому менеджменту на исходном уровне и после прохождения курса. (B) Прирост знаний от исходного уровня до итоговой оценки по курсу. (C) Индивидуальный балл за анализ кейса в конце семестра. (D) Прирост вовлеченности и показатели восприятия по результатам опроса, включая удовлетворенность и воспринимаемую практическую значимость; там, где это необходимо, используются отдельные шкалы. (E) Итоговый балл за курс как вторичный образовательный результат и высокая нагрузка в когорте протокола относительно заранее определенного предупредительного порога. Значения представлены как среднее ± SD там, где указаны значения ±, а планки погрешностей соответствуют SD. На графике (E) пунктирная контрольная линия указывает на заранее определенный предупредительный порог высокой нагрузки, равный 20%. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты соревнований на командном уровне

Результаты на уровне команд анализировались отдельно от результатов на уровне студентов. Для описательного отчета записи кейс-проектов когорты сравнения были соотнесены с сопоставимыми точками оценки, где это было возможно, однако эти записи не означали завершения всей интегрированной последовательности соревнований. Участие в раундах принятия решений представлялось в качестве индикатора реализации, а не оценки эффекта обучения. Когорта по протоколу завершила 5.09 ± 0.79 раундов принятия решений, тогда как когорта сравнения завершила 0.77 ± 0.81 сопоставимых раундов.

В группе протокола средний балл за Задание 1 составил 72.18 ± 6.28, средний балл за Задание 2 — 73.52 ± 5.91, а средний балл за Задание 3 — 77.20 ± 6.04. Соответствующие сопоставимые баллы контрольной группы составили 69.84 ± 6.45, 71.09 ± 6.12 и 72.71 ± 6.36. Итоговый командный балл составил 74.30 ± 5.52 в группе протокола и 71.21 ± 5.81 в контрольной группе. Показатели по критериям оценки итоговой защиты или сопоставимого итогового проекта были следующими: стратегическая диагностика — 15.60 ± 1.70 и 14.60 ± 1.80; стратегический выбор — 19.10 ± 2.10 и 17.90 ± 2.20; осуществимость реализации — 15.50 ± 1.80 и 14.40 ± 1.90; инновационность — 11.50 ± 1.50 и 10.80 ± 1.60; использование доказательств — 7.50 ± 0.90 и 7.10 ± 1.00; и устная защита — 8.00 ± 1.00 и 7.91 ± 1.10 соответственно.

Распределение наград было представлено только для протокольной когорты, так как в контрольной когорте не использовалась полная структура конкурса на основе наград. В протокольной когорте 10 команд не получили наград, 8 получили третий приз, 2 — второй приз и 3 — первый приз. Средний вклад коллег составил 3.91 ± 0.36 в протокольной когорте и 3.72 ± 0.41 в контрольной когорте. Дисбаланс вклада был выявлен в 3 из 23 команд протокольной когорты и в 4 из 22 команд контрольной когорты. Паттерн предупреждения о завышении баллов был выявлен в 2 из 23 команд протокольной когорты, что составляет 8.7%.

Рисунок 4 представляет результаты на уровне команд и паттерны предупреждений. На Рисунке 4A показаны баллы команд за Задание 1, Задание 2 и Задание 3. На Рисунке 4B показаны баллы по критериям рубрикатора финальной защиты. На Рисунке 4C показано только распределение наград по когортам протоколов. На Рисунке 4D показаны случаи предупреждения о завышении баллов. На Рисунке 4E показан баланс вклада участников и количество случаев дисбаланса вклада.

Рисунок 4: Результаты соревнований на уровне команд и паттерны предупреждений. На данном рисунке представлены результаты на уровне команд отдельно от результатов обучения на уровне студентов. (A) Баллы команд на этапах выполнения заданий: стратегическая диагностика (Задание 1), стратегическое решение (Задание 2) и финальная защита (Задание 3); для когорты исторического сравнения приведены соответствующие баллы за проекты, где они доступны. (B) Баллы по критериям рубрики финальной защиты, включая стратегическую диагностику, стратегический выбор, осуществимость реализации, инновационность, использование доказательств и устную защиту. (C) Распределение наград только для когорты по протоколу, так как в когорте исторического сравнения не использовалась полная структура соревнований на основе наград. (D) Паттерн предупреждения о завышении баллов, определяемый как высокая эффективность финальной защиты при отсутствии подтверждающей диагностической силы или свидетельств индивидуального обучения. (E) Баллы за вклад коллег и количество случаев дисбаланса вкладов представлены в виде отдельных показателей на уровне команд. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Субоптимальные паттерны и индикаторы для поиска и устранения неисправностей

У двух из 23 команд протокольной когорты наблюдался заранее определенный паттерн предупреждения о завышении баллов. Эти команды имели относительно высокие итоговые баллы за защиту, но более низкие диагностические баллы по Заданию 1 и ниже среднего прирост индивидуальных знаний. Данный паттерн был отмечен для последующего анализа в следующей итерации курса, а не интерпретирован как свидетельство улучшения процесса обучения. Серьезного предупреждения об «эффекте потолка» отмечено не было, так как исходные баллы за знания были ниже 85 из 100, а исходный уровень удовлетворенности — ниже 4,50 из 5. Посещаемость в когортах была схожей, и систематического дисбаланса вклада участников команд не наблюдалось, хотя три команды протокольной когорты потребовали мониторинга.

В целом, репрезентативные результаты показали, что данный протокол позволил получить интерпретируемые данные на трех уровнях: точность реализации, свидетельства обучения на уровне студента и результаты соревнований на уровне команды. Случаи, вызвавшие предупреждения, подтвердили целесообразность использования протокола для мониторинга курса, поиска и устранения неисправностей, а также последующей доработки курса.

Обезличенный набор данных, поддерживающий данное исследование, был размещен на сайте figshare.com и доступен по адресу https://doi.org/10.6084/m9.figshare.33094931. Набор данных включает записи на уровне отдельных студентов, записи о соревнованиях на уровне команд, показатели реализации, записи о потоке участников, записи аудита пропущенных данных и записи баллов экспертов. Идентификаторы студентов, записи о согласии, файлы связей и идентифицируемые текстовые комментарии в свободном формате не включены.

Дополнительная таблица S1: Обучение экспертов, согласованность оценок и процедура согласования баллов.В этой таблице представлены сведения о назначении экспертов, проверке независимости, ознакомлении с критериями оценивания, калибровочном оценивании, проверке согласованности оценок, правиле разрыва в баллах, процедуре согласования, аудите ввода данных, блокировке баллов и процедуре архивации.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S2: Матрица поиска и устранения неисправностей при отклонениях от протокола и субоптимальной реализации. В данной таблице перечислены отклонения от протокола и примеры субоптимальной реализации, включая триггерные правила, корректирующие действия, необходимые записи и примечания по интерпретации.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S3: Структура набора данных и словарь переменных для деидентифицированного образовательного набора данных.В этой таблице определены переменные на уровне студента, команды и учебного занятия, включая коды переменных, описания, типы данных, диапазоны кодирования, источники данных и правила обработки пропущенных данных.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 1: Операционные шаблоны, материалы для оценки и рабочая книга с деидентифицированным набором данных.Этот дополнительный файл содержит операционные шаблоны, материалы для оценки, формы подсчета баллов, пункты опроса, проверку дизайна кейсов, правила обработки пропущенных данных, структуру рабочей книги с деидентифицированным набором данных, журнал очистки, шаблон резюме анализа и запись контроля версий, используемые для обеспечения воспроизводимости.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Данный протокол предлагает воспроизводимый подход к внедрению последовательности «обучение-соревнование» в курс стратегического менеджмента для студентов бакалавриата. Его цель состоит не в том, чтобы просто добавить соревновательное мероприятие в существующий курс, а в том, чтобы превратить соревнование в структурированный процесс совершенствования курса, который связывает стратегическую диагностику, принятие решений, формирующее оценивание, финальную защиту и итоговую оценку по окончании курса. Таким образом, образовательная ценность зависит от дизайна этой последовательности, а не от самого факта наличия соревнования. Деятельность, основанная на соревновании или игровых элементах, может повысить уровень участия, однако ее образовательную ценность становится трудно интерпретировать, если цели обучения, результаты заданий, критерии оценки и записи данных не определены четко¹⁹. Настоящий протокол решает эту проблему, определяя последовательность обучения, рубрики оценивания, период предоставления обратной связи, записи о реализации и структуру деидентифицированных данных, необходимых для репликации.

Центральным принципом проектирования является согласованность. Каждое задание связано с результатом обучения по курсу, темой занятия, результатом работы студента и критерием оценивания. Задание 1 требует от студентов диагностировать стратегическую проблему, Задание 2 — выбрать и обосновать стратегическое решение, а Задание 3 — защитить итоговую стратегию с помощью письменных и устных доказательств. Такая последовательность «диагностика — решение — защита» призвана предотвратить восприятие конкурса студентами лишь как упражнения по созданию презентации. Это также дает студентам многократные возможности пересмотреть свои аргументы перед финальной защитой. Данная структура соответствует исследованиям в области обучения на базе симуляций и эмпирического обучения, согласно которым прикладное обучение оказывается более эффективным, когда студенты участвуют в активных циклах принятия решений, получают обратную связь и объясняют свой выбор, а не просто наблюдают за сценарием или проходят его^20,21.

Для обеспечения надлежащей работы протокола необходимы несколько этапов контроля качества. Во-первых, обратная связь должна предоставляться достаточно своевременно, чтобы повлиять на выполнение следующего задания. Таким образом, 7-дневное окно обратной связи используется как требование к педагогическому дизайну, а не просто как административная цель. Во-вторых, необходимо контролировать качество оценивания. Рубрики могут повысить прозрачность, но только в том случае, если оценивающие имеют общее понимание дескрипторов и требований к доказательствам²². По этой причине протокол включает обучение оценивающих, калибровочное оценивание, проверку разрывов в баллах, мониторинг ICC, примечания по согласованию и блокировку баллов. В-третьих, показатели эффективности команды должны быть отделены от свидетельств индивидуального обучения. Высокий итоговый балл за защиту может отражать качество презентации или неравномерный вклад участников команды, а не широту индивидуальных знаний. Следовательно, в рамках протокола отдельно анализируются баллы за проверку знаний, индивидуальные баллы за анализ кейсов, восприятие студентов, вклад сверстников и командные баллы.

Протокол также включает правила устранения неполадок, поскольку обучение с использованием интегрированных соревнований может давать сбои предсказуемым образом. Обратная связь может быть задержана, вклад участников команды может стать неравномерным, студенты могут слишком полагаться на внешнюю polished-оформленность презентации, а групповые баллы могут вырасти без соответствующего подтверждения индивидуального обучения. Эти риски отслеживаются с помощью журналов обратной связи, записей о вкладе однокурсников, форм раскрытия использования ИИ, устных проверок, данных о согласованности оценок рецензентов и правил предупреждения о завышении баллов. Компоненты раскрытия использования ИИ и устной проверки особенно важны, так как студенты могут использовать цифровые инструменты для улучшения языка, форматирования или мозгового штурма, однако они по-прежнему должны продемонстрировать собственное стратегическое мышление. Протокол не запрещает любую поддержку ИИ, но требует раскрытия информации и защищает основную задачу обучения: студенты должны быть способны объяснить диагноз, привести доказательства, описать логику принятия решения, риски реализации и итоговую рекомендацию.

Протокол может быть адаптирован под особенности конкретного учебного заведения, однако основная последовательность этапов должна быть сохранена. В случае отсутствия платформы для бизнес-симуляции в качестве замены раунда симуляции может быть использован структурированный лист принятия решений. Если корпоративные менторы не могут присутствовать, допускается использование анонимизированного кейса, публичного брифинга по кейсу или записанного комментария ментора. Для больших групп могут потребоваться параллельные судейские коллегии и стандартизированные шаблоны обратной связи, в то время как для меньших групп возможны более длительные сессии защиты. Данные адаптации должны быть задокументированы, поскольку протоколы улучшения курса зависят не только от дидактической идеи, но и от точности реализации, поддержки преподавателя, условий оценивания и полноты данных²³. Основным требованием является сохранение в курсе взаимосвязанной последовательности: диагностика, принятие решения, защита, обратная связь и оценка.

Следует признать ряд ограничений. Данный протокол направлен на улучшение курса и не является рандомизированным контролируемым исследованием. Таким образом, различия между когортой протокола и контрольной когортой следует интерпретировать как результаты внедрения и оценки, а не как причинное доказательство эффективности. Исторические или параллельные контрольные когорты могут отличаться по составу студентов, динамике в классе, институциональным срокам или условиям аттестации. Итоговые баллы за курс также являются вторичными результатами, поскольку они могут включать рутинные компоненты курса, помимо конкурсных заданий. Кроме того, результаты на уровне команд не могут быть использованы в качестве замены результатов обучения на уровне отдельных студентов. Эти ограничения учитываются путем раздельного представления данных о точности реализации, показателях качества обучения, результатах на уровне студентов, результатах на уровне команд, нагрузке и закономерностях возникновения предупреждений²⁴.

Данный протокол наиболее подходящ для курсов, в которых студенты должны связать концептуальные знания с прикладным управленческим суждением. Стратегический менеджмент является естественной средой для этого, так как от студентов ожидается анализ внешней среды, оценка ресурсов, сравнение стратегических вариантов и обоснование выбора способов реализации. Аналогичную структуру можно адаптировать для курсов по предпринимательству, маркетинговой стратегии, управлению инновациями, проектированию бизнес-моделей и других управленческих дисциплин, требующих принятия решений на основе фактических данных. Более широкий вклад данного метода носит практический характер: он предоставляет преподавателям проверяемый способ документирования того, как осуществлялись внедрение, мониторинг, оценка, деидентификация, анализ и пересмотр деятельности по улучшению курса. В управленческом образовании эмпирическое обучение часто ценится за реалистичность, однако его процедуры не всегда описываются достаточно детально для воспроизведения. Настоящий протокол устраняет этот пробел, объединяя точность реализации, согласованность оценки, управление данными и поиск неисправностей в единый воспроизводимый процесс²⁵.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Форма раскрытия использования ИИ	Разработанный авторами	Раскрытие информации об использовании ИИ-v1.0; Дополнительный файл 1	В отчетах было указано использование ИИ для каждого основного документа, представленного на рассмотрение
Базовый тест по знаниям в области стратегического менеджмента	Разработано автором	SMKT-Pre-v1.0; Дополнительный файл 1	Оценка базового уровня знаний на 1-й неделе
Контрольный список для наблюдения за учебным процессом в аудитории	Разработано автором	Наблюдение-v1.0; Дополнительный файл 1	Регистрация качества взаимодействия в классе и процесса обучения
Журнал очистки	Разработанный автором	Журнал-очистки-v1.0; Дополнительный файл 1	Проверка данных, внесение исправлений, исключение данных и блокировка наборов данных
Руководство для участников конкурса	Разработанный автором	Руководство-v1.0; Дополнительный файл 1	Определяет последовательность выполнения заданий, правила подачи работ, критерии оценивания, раскрытие использования ИИ, устные проверки, порядок апелляций и сроки исполнения
Словарь данных	Разработано автором	Словарь данных-v1.0; Дополнительная таблица 2	Определяет переменные, диапазоны кодирования, источники данных и правила обработки пропущенных данных
Рабочая книга деидентифицированного набора данных	Разработанный автором	Набор данных-Рабочая тетрадь-v1.0; Дополнительный файл 1	Содержит переменные на уровне студента, уровне команды и уровне учебного занятия
Пакет корпоративных или анонимизированных клинических случаев	Разработанный автором или утвержденный организацией	CasePack-v1.0; Дополнительный файл 1	Обеспечивает контекст для принятия стратегических решений
Шаблон слайдов для финальной защиты	Разработанный автором	FSD-Template-v1.0; Дополнительный файл 1	Структура презентации для Задания 3 Руководства
Форма оценки итоговой защиты стратегии	Разработано авторами	FSDSF-v1.0; Дополнительный файл 1	Регистрирует баллы экспертов по заданию 3 и Q&оценка amp;A
IBM SPSS Statistics	IBM	Версия 27.0; институциональная или персональная лицензия	Описательная статистика, сравнение групп, величины эффекта и анализ коэффициента внутриклассовой корреляции (ICC)
Лист задания для индивидуального анализа клинического случая	Разработанный авторами	ICATS-v1.0; Дополнительный файл 1	Определяет требования к анализу отдельных случаев и области оценки
Ключи к тесту по проверке знаний	Разработано авторами	SMKT-Key-v1.0; Дополнительный файл 1	Поддерживает подсчет баллов за тест на проверку знаний
Microsoft Excel	Microsoft	Excel 2021; институциональная или персональная лицензия	Ввод данных, словарь данных, журнал очистки данных, подготовка таблиц и проверка исходных данных
Форма регистрации результатов полости рта	Разработанный автором	Oral-Check-v1.0; Дополнительный файл 1	Регистрирует ответы и вопросы в ходе индивидуальных устных проверок
Форма подтверждения вклада авторов	Разработано авторами	PCF-v1.0; Дополнительный файл 1	Регистрация вклада коллег и дисбаланса вкладов
Опрос по итогам обучения	Разработанный автором	PCLS-v1.0; Дополнительный файл 1	Оценивает удовлетворенность, релевантность, полезность обратной связи, сотрудничество, рабочую нагрузку и воспринимаемое улучшение
Итоговый тест по курсу «Стратегический менеджмент»	Разработано автором	SMKT-Post-v1.0; Дополнительный файл 1	Оценка знаний по окончании курса на 16-й неделе с использованием эквивалентной формы теста
Файл для обучения экспертов-оценщиков	Разработано автором	Обучение экспертов-оценщиков-v1.0; Дополнительный файл 1	Предоставляет калибровочные файлы, дескрипторы, примеры и типичные ошибки при подсчете результатов
Файл с результатами статистической обработки	Сгенерировано программным обеспечением	Статистические данные-v1.0; архивировано с заблокированной папкой анализа	Сохраняет статистические результаты вместе с файлом анализа и версией набора данных
Лист принятия стратегических решений	Разработан авторами	SDS-v1.0; Дополнительный файл 1	Результат принятия решения по Задаче 2 для руководств
Шаблон отчета о стратегической диагностике	Разработанный авторами	SDR-Template-v1.0; Дополнительный файл 1	Структура отчета по заданию 1 руководства
Файл связи кодов студентов	Файл с ограниченным доступом, разработанный автором	Связь-код-студента-v1.0; хранится отдельно менеджером данных	Связывает личность студента и исследовательский код до проведения деидентификации
Контрольный список согласования задания и критериев оценивания	Разработанный авторами	Выравнивание-v1.0; Дополнительный файл 1	Проверка согласованности между ожидаемыми результатами обучения, результатами выполнения заданий, критериями оценивания и пунктами обратной связи
Шаблон устава команды	Разработанный автором	Устав команды-v1.0; Дополнительный файл 1	Фиксирует распределение ролей, правила коммуникации, сроки и ожидания по вкладу каждого участника
Журнал процессов команды	Разработано автором	Журнал командных процессов-v1.0; Дополнительный файл 1	Регистрация посещаемости совещаний, принятых решений, прогресса, проблем и последующих действий
Таблица контроля версий	Разработано автором	Версия-контроля-v1.0; Дополнительный файл 1	Отслеживает номер версии, дату, редактора, причину и статус утверждения
Онлайн-платформа для опросов Wenjuanxing	Wenjuanxing	Веб-платформа; доступ через институциональную или пользовательскую учетную запись	Исходный опрос, итоговый опрос по окончании курса, форма оценки вклада коллег и выгрузки с раскрытием использования ИИ