Интеграция соревнований в рамках учебного курса в преподавание стратегического менеджмента: воспроизводимый протокол по совершенствованию курса

Краткое содержание

Данный протокол интегрирует в курс стратегического менеджмента для студентов бакалавриата последовательность соревнований по диагностике, принятию решений и защите стратегии с помощью поэтапных командных заданий, структурированной обратной связи, обучения оценивающих, мониторинга точности реализации и раздельного анализа результатов на уровне студентов и команд.

Аннотация

Обучение стратегическому менеджменту требует от студентов применения аналитических моделей к неопределенным бизнес-ситуациям в условиях ограниченности ресурсов и необходимости компромиссных решений. Курсовые соревнования могут поддержать этот процесс, если они организованы как структурированная система обучения, а не как разовое мероприятие по представлению работ. В данной статье описывается воспроизводимый протокол интеграции трехэтапного курса соревнований в программу бакалавриата по стратегическому менеджменту. Протокол следует 16-недельной последовательности, которая включает базовую оценку, основное обучение, введение в кейс предприятия, формирование команд, стратегическую диагностику, симуляцию принятия стратегических решений или заполнение листа решений, финальную защиту стратегии, итоговую оценку по завершении курса и обзор курса. Механизм обучения сочетает в себе поэтапную практику, работу с кейсом предприятия, структурированную формирующую обратную связь, командную ответственность, устную защиту и оценку на основе рубрик. Локально операционализированные показатели процесса используются для мониторинга взаимодействия в аудитории, полноты разработки кейса, своевременности обратной связи, соответствия задач рубрикам, вовлеченности студентов и точности реализации протокола. Результаты на уровне студентов, результаты соревнований на уровне команд, согласованность оценок экспертов, закономерности отсутствующих данных, раскрытие использования искусственного интеллекта и признаки завышения баллов анализируются отдельно во избежание проблем с единицей анализа. Представленные репрезентативные результаты следует интерпретировать как специфические для данного контекста результаты внедрения, полученные в ходе ретроспективного нерандомизированного сравнения образовательных записей, а не как доказательство причинно-следственной эффективности. Данный протокол представляет собой проверяемую процедуру проектирования, внедрения, документирования, оценки и совершенствования обучения стратегическому менеджменту с интегрированными соревнованиями в рамках цикла улучшения курса.

Введение

Курсы по стратегическому менеджменту требуют от студентов выхода за рамки простого воспроизведения концепций. Студенты должны применять такие идеи, как отраслевая структура, конкурентное преимущество, распределение ресурсов, стратегический выбор и реализация в условиях неполной информации и конфликтующих приоритетов. Конкурентное позиционирование объясняет, как фирмы выбирают позиции с учетом внешних ограничений¹, в то время как ресурсоориентированный подход делает акцент на специфических ресурсах и возможностях фирмы, которые определяют стратегические варианты². Эти перспективы делают стратегический менеджмент подходящим для прикладных методов обучения, при которых студенты диагностируют бизнес-ситуацию, делают стратегический выбор, обосновывают его и пересматривают свои рассуждения после получения обратной связи. Лекции и разрозненные обсуждения кейсов остаются полезными, но они могут не в полной мере раскрыть то, как студенты рассуждают в условиях неопределенности, компромиссных решений и ограничений при реализации. Соревнование в рамках курса может создать более требовательную среду обучения только в том случае, если оно связано с целями курса, последовательностью задач, критериями оценки и циклами обратной связи. Без этих элементов соревнование может поощрять уверенность в презентации или разделение задач, а не стратегическое мышление.

Предыдущие исследования деловых игр и симуляций показали, что для того, чтобы эта деятельность функционировала как образовательный метод, а не как развлечение в аудитории, необходимы четкие правила, циклы принятия решений, доказательства оценки и разбор результатов^3,4. Активное обучение также зависит от проектирования задач, а не только от самого действия. Студенты могут казаться вовлеченными, при этом применяя концепции поверхностно. Следовательно, структурированный конкурс по стратегическому менеджменту должен требовать от студентов анализа ситуации, обоснования решения, получения формирующей обратной связи, пересмотра своих рассуждений и защиты плана реализации. Такая последовательность отражает принципы активного обучения, поскольку студенты создают, проверяют и совершенствуют свои собственные рассуждения, а не просто слушают инструкции⁵. Это также отражает принципы эмпирического обучения, так как цикл конкурса связывает непосредственное изучение конкретного кейса, рефлексивный анализ, принятие решения и скорректированные действия⁶.

Опубликованные отчеты о бизнес-симуляциях и соревнованиях значительно различаются по степени детализации процедур. В некоторых работах описывается использование симуляции или соревнования, но предоставляется ограниченная информация о формировании команд, постановке задач, сроках предоставления обратной связи, подготовке экспертов, разработке критериев оценки (рубрик), обработке пропущенных данных или разграничении индивидуальных и командных результатов. Предыдущие обзоры и таксономии также показали, что бизнес-игры не являются единым методом обучения; они различаются по правилам, степени реалистичности, ролям учащихся, структуре принятия решений, использованию технологий, дизайну оценки и процедурам дебрифинга^7,8. Таким образом, воспроизводимый протокол по стратегическому менеджменту должен определять не только факт проведения соревнования, но и то, как это соревнование было интегрировано в курс и каким образом контролировалось его выполнение.

Данный протокол следует рассматривать как многокомпонентный комплекс по улучшению курса, интегрирующий элементы соревнования. Ожидаемый образовательный эффект не может быть приписан исключительно соревновательному аспекту, так как протокол также включает в себя работу с бизнес-кейсами, повторяющуюся практику, структурированную обратную связь, командную ответственность, публичную защиту, калибровку оценщиков и систематический анализ курса. Элемент соревнования полезен с образовательной точки зрения, поскольку он создает временные ограничения (дедлайны), возможность сравнения, ответственность и необходимость публичного обоснования, однако эти элементы намеренно сочетаются с поэтапными учебными задачами и контролем оценивания. Данная процедура отличается от традиционного обучения стратегическому менеджменту, основанного на эмпирическом подходе, симуляциях или соревнованиях, тремя аспектами. Во-первых, соревновательный процесс разбит на этапы диагностики, принятия решений и финальной защиты, а не сосредоточен в одной итоговой презентации. Во-вторых, перед интерпретацией результатов обучения контролируется точность соблюдения методики реализации. В-третьих, результаты обучения на индивидуальном уровне отделены от результатов соревнования на командном уровне. Это различие важно, так как команда может успешно выступить на финальной защите, в то время как некоторые ее члены продемонстрируют ограниченный индивидуальный прогресс. Командное обучение требует ответственности, взаимодействия и совместного обоснования выводов, а не просто членства в группе⁹. Таким образом, в протоколе используются уставы команд, журналы процессов, формы оценки вклада участников, обучение оценщиков, проверки согласованности оценок и правила предупреждения о завышении баллов.

Протокол был внедрен в качестве регулярного учебного мероприятия в рамках курса «Стратегический менеджмент» для студентов бакалавриата в Бизнес-школе Колледжа науки и технологий города Чжухай, Китай. Обучение группы, следовавшей протоколу, проходило в секции курса SM-2025-F01 в осеннем семестре 2025–2026 учебного года. Контрольная группа представляла собой историческую когорту, обучавшуюся в секции курса SM-2024-F01 в осеннем семестре 2024–2025 учебного года. В секцию курса по протоколу было зачислено 96 студентов; 94 студента предоставили письменное или электронное согласие на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до включения в исследовательский набор данных, 2 студента были исключены по причине отчисления с курса до 8-й недели или отсутствия каких-либо достоверных результатов после завершения курса, и в итоге финальная аналитическая группа протокола составила 92 студента. В историческую контрольную секцию было зачислено 92 студента; 90 студентов согласились на использование деидентифицированных учебных записей в исследовательских целях после получения этического одобрения и до ретроспективного извлечения данных, 2 студента были исключены согласно тем же правилам в отношении отсутствующих данных и отчислений, и в итоге финальная аналитическая контрольная группа составила 88 студентов.

Обе когорты состояли из студентов третьего курса бакалавриата по направлению «бизнес». Специальности включали бизнес-администрирование, маркетинг, электронную коммерцию и международный бизнес. В основную когорту вошли 51 студентка и 41 студент, средний возраст которых составил 20,4 ± 0,7 лет. В контрольную когорту вошли 49 студенток и 39 студентов со средним возрастом 20,5 ± 0,8 лет. О наличии опыта участия в соревнованиях сообщили 27 студентов в основной когорте и 24 студента в контрольной когорте. Доля выбывших до проведения окончательного анализа составила 4,2% в основной когорте и 4,3% в контрольной когорте. Количество пропусков данных в основной когорте составило: 2 исходных теста на знания, 3 итоговых теста на знания, 4 опроса об обучении после курса и 4 неполных записи о выполнении конкурсных заданий. Количество пропусков данных в контрольной когорте составило: 3 исходных теста на знания, 4 итоговых теста на знания, 5 опросов об обучении после курса и 70 неполных записей о выполнении конкурсных заданий, поскольку исторический курс не предусматривал полный трехэтапный процесс соревнований.

Контрольная группа прошла традиционное обучение стратегическому менеджменту на основе разбора кейсов без полного трехэтапного цикла соревнований. Обе группы обучал один и тот же преподаватель. Для обеих групп использовались сопоставимые ожидаемые результаты обучения, основные темы по стратегическому менеджменту, объем проверки знаний, система оценки индивидуального анализа кейсов и структура итогового оценивания курса. Группа, следовавшая протоколу, дополнительно получила пакет корпоративных кейсов, поэтапные задания для соревнований, структурированные циклы обратной связи, формальные записи о командном процессе, процедуры обучения оценщиков и мониторинг точности реализации. В данной статье протокол описывается как воспроизводимый метод улучшения курса, а не как утверждение о причинно-следственной эффективности. Представленные результаты демонстрируют типы выходных данных по реализации, качеству обучения, показателям на уровне студентов и команд, надежности оценивания, пропущенным данным и устранению неполадок, полученные в ходе применения протокола. Поскольку сравнение является ретроспективным, нерандомизированным и специфичным для данного контекста, различия между группами следует интерпретировать как свидетельство улучшения курса в рамках одного контекста реализации, а не как доказательство того, что только соревновательный метод в курсе привел к наблюдаемым результатам.

Общая цель данного протокола — помочь преподавателям проектировать, документировать, оценивать и совершенствовать обучение стратегическому менеджменту с интеграцией соревновательных элементов. Он обеспечивает подтверждение качества обучения путем установления связей между преподавательской деятельностью, результатами работы студентов, критериями оценивания (рубриками), записями о реализации и решениями по пересмотру курса¹⁰. Протокол также учитывает проблемы, обсуждаемые в исследованиях геймификации и конкурентного обучения, согласно которым игровые элементы могут давать неоднозначные результаты, если акцент делается на мотивации без достаточного внимания к структуре заданий, качеству обратной связи и валидности оценки^11,12. Ожидаемые результаты включают записи о реализации, операционализированные на местном уровне показатели качества обучения, индивидуальные результаты обучения студентов, результаты соревнований на уровне команд, доказательства согласованности оценок экспертов, раскрытие информации об использовании искусственного интеллекта, документацию по отсутствующим данным и записи об устранении возникших проблем.

Протокол

Использование в исследовательских целях обезличенных образовательных записей обеих когорт было одобрено Комитетом по этике педагогических исследований Колледжа науки и технологий города Чжухай, Чжухай, Китай (номер одобрения 20260507001; дата одобрения: 7 мая 2026 г.). Одобрение распространялось на когорту протокола и историческую сравнительную когорту, включая обычные записи по курсу, опросы, наблюдения в аудиториях, записи о командном взаимодействии, баллы за конкурсы, оценки экспертов, записи с обучающей платформы и обезличенные переменные журнала оценок. 16-недельный курс преподавался в рамках стандартного обучения стратегическому менеджменту до извлечения данных для исследования; никакие идентифицируемые наборы исследовательских данных не извлекались, не кодировались, не анализировались и не представлялись до получения этического одобрения. Письменное или электронное согласие на исследовательское использование обезличенных записей курса было получено после этического одобрения и до включения в набор данных. Участие в курсе было отделено от использования исследовательских данных; студенты, не давшие согласия, прошли курс в обычном режиме, но были исключены из исследовательского анализа. Записи о согласии хранились отдельно от журнала оценок, доступ к файлу сопоставления кодов с личностями был ограничен менеджером данных, а набор данных, готовый к анализу, был создан только после подачи оценок, проверки согласия, присвоения кодов и удаления прямых идентификаторов и идентифицируемых текстовых комментариев.

1. Разработайте протокол совершенствования курса с интеграцией соревновательного элемента.

1. Определите протокол как 16-недельный процесс улучшения курса, интегрированный в конкурс, для программы бакалавриата по стратегическому менеджменту. Механизмом обучения является поэтапный цикл «диагностика — решение — защита», связывающий стратегический анализ, принятие решений на основе доказательств, обратную связь, командную ответственность, устную защиту и обзор курса.
2. Определите качество обучения через взаимодействие в аудитории, полноту разработки кейсов, своевременность обратной связи, соответствие заданий критериям оценивания (рубрикам) и вовлеченность студентов. Определите точность реализации через выполнение запланированных мероприятий, завершение сессий по предприятиям или кейсам, выполнение заданий, сроки предоставления обратной связи, заполнение рубрик, проведение наблюдений и завершение обучения оценивающих. Агрегируйте показатели только в тех случаях, когда надежность и размерность данных подтверждают возможность агрегации.
3. Перед началом курса согласуйте результаты обучения, преподавательскую деятельность, конкурсные задания, рубрики, точки обратной связи и показатели результатов для обеспечения конструктивного согласования¹³.
4. Распределите роли преподавателя курса, координатора конкурса, представителя предприятия, наблюдателя в аудитории, координатора оценивающих и менеджера по данным. В небольших программах преподавательские роли могут быть совмещены, однако менеджер по данным должен, по возможности, быть отделен от процесса выставления итоговых оценок и подготовки набора данных для исследования.
5. Подготовьте папку реализации курса с контролем версий, содержащую учебный план, файлы кейсов, руководство, шаблоны заданий, рубрики, формы наблюдения, опросы, записи по командам, оценочные листы, журналы обратной связи, формы раскрытия использования ИИ и записи о контроле версий. После получения одобрения комитета по этике создайте папку воспроизводимости исследования, содержащую запись об одобрении, запись о подтверждении согласия, журнал деидентификации, деидентифицированные наборы данных, словарь данных, журнал очистки, скрипты анализа, результаты статистической обработки, исходные файлы рисунков, таблицы и дополнительные файлы (Рисунок 1 и Таблица материалов; операционные шаблоны представлены в Дополнительном файле 1).

Рисунок 1: Схема протокола совершенствования курса «Стратегический менеджмент» с интеграцией конкурса.На схеме показана последовательность этапов: от подготовки курса до реализации программы в течение 16 недель, формирования текущей образовательной документации, выставления оценок, подготовки к использованию данных в исследованиях (после одобрения этическим комитетом), проверки согласий, деидентификации, блокировки набора данных, анализа, отчетности, устранения проблем и доработки курса. На рисунке разделены текущие преподавательские мероприятия и последующее извлечение и анализ исследовательских данных после выставления оценок. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

2. Сформируйте группу студентов и подготовьте набор исследовательских данных.

1. Включите студентов, официально зачисленных на выбранный курс бакалавриата по стратегическому менеджменту. Зафиксируйте учебное заведение, академический год, семестр, группу, тип когорты, специальность, курс обучения, количество учебных недель, количество контактных часов, общую численность учащихся, размер согласившейся выборки, исключения, окончательную аналитическую выборку, демографические данные, наличие предыдущего опыта участия в соревнованиях, отсев и количество пропущенных данных.
2. Определите когорту протокола как группу, прошедшую полный интегрированный протокол соревнований, и контрольную когорту как историческую группу, получившую традиционное обучение стратегическому менеджменту на основе кейс-метода без полной трехэтапной последовательности соревнований. Отметьте, обучал ли обе когорты один и тот же преподаватель, а также были ли сопоставимы результаты обучения, охват программы оценки, требования к индивидуальному анализу кейсов и структура выставления оценок.
3. После получения одобрения комитета по этике проверьте наличие согласия, присвойте студентам и командам неидентифицируемые коды, удалите прямые идентификаторы и примените правила включения, исключения и обработки пропущенных данных, указанные в Таблице 1.
4. Включите давших согласие студентов, имеющих хотя бы один валидный показатель результата после завершения курса. Исключите студентов из парного анализа знаний, если отсутствует любой из тестов на знания, и из анализа, связанного с соревнованиями, если отсутствуют записи по всем трем заданиям. Сохраните доступные записи для других подходящих видов анализа.
5. Кодируйте пропущенные исследовательские данные как NA. Не присваивайте значение «0», за исключением случаев, когда ноль отражает фактический балл за курс согласно утвержденной политике курса. Создайте запись о потоке участников для каждой когорты.

Элемент	Операциональное определение	Правило применения	Переменная набора данных	Интерпретация результатов анализа
Целевой курс	Курс «Стратегический менеджмент» для студентов бакалавриата, проводимый в выбранном семестре	Включите студентов, официально зачисленных на выбранную секцию курса	раздел курса	Определяет подходящую популяцию учащихся
Когорта протокола	Группа, прошедшая полный протокол по улучшению курса с интеграцией соревновательного элемента	Код 1	тип когорты	Когорта протокола
Историческая когорта сравнения	Контрольная группа, проходившая традиционное обучение стратегическому менеджменту на основе анализа кейсов без полного трехэтапного процесса соревнований	Код 0	тип когорты	Нерандомизированная историческая когорта сравнения
Официальное зачисление	Студент числится в официальном списке курса	Скрининг на предмет потенциального соответствия критериям включения	статус соответствия критериям	Необходимо выполнить перед скринингом для исследовательских целей
Информированное согласие на участие в исследовании	Студент предоставляет письменное или электронное согласие на использование деидентифицированных материалов курса после получения одобрения комитета по этике	Включайте в набор данных исследования только студентов, давших свое согласие	статус согласия	Студенты, не давшие своего согласия, проходят курс в обычном режиме, но исключаются из исследовательского анализа.
Участие в курсе	Обычные учебные мероприятия курса, выполняемые независимо от согласия на участие в исследовании	Предоставьте всем зачисленным студентам возможность посещать занятия, вступать в команды, выполнять курсовые задания и получать оценки	статус участия в курсе	Разграничивает участие в преподавательской деятельности и участие в научно-исследовательской деятельности
Валидный результат после прохождения курса	Доступен как минимум один валидный результат после прохождения курса	Включите в анализ те случаи, для которых доступны соответствующие результаты.	результат доступен	Позволяет проводить анализ доступных случаев
Отказ от курса до середины семестра	Студент отчисляется до 8-й недели	Исключить из окончательного набора данных исследования	статус отзыва	Снижает систематическую ошибку, связанную с неполным воздействием
Тест на определение недостаточных базовых знаний	Тест по материалам первой недели отсутствует	Кодировать как NA	отсутствие предварительных знаний	Исключить только из анализа парных знаний
Отсутствует проверочный тест по окончании курса	Отсутствует проверочный тест по материалам 16-й недели	Кодировать как NA	Поскольку исходный текст не был предоставлен, я не могу выполнить перевод. Пожалуйста, отправьте текст, который необходимо перевести на русский язык.	Исключить только из анализа парных знаний
Отсутствуют оба теста на проверку знаний	Отсутствуют показатели знаний как на исходном уровне, так и после прохождения курса	Исключить из анализа показателей знаний	статус пары знаний	Сохранить для других подходящих анализов при наличии данных
Отсутствует опрос по завершении курса	Отсутствует анонимный опрос по окончании курса	Обозначить как НД (нет данных)	опрос_отсутствует	Сохранять при анализе объективных показателей эффективности
Отсутствуют одна или две записи о заданиях конкурса	Отсутствует одна или две записи задач или сопоставленных проектов	Обозначайте отсутствующие записи как NA, за исключением случаев, когда правилами курса предусмотрено присвоение нуля.	отсутствует_оценка_задания	Сохраните доступные записи задач или сопоставленных проектов
Отсутствуют все три записи о заданиях конкурса	Отсутствуют действительные записи для Задачи 1, Задачи 2 или Задачи 3	Исключить из анализов, связанных с конкуренцией	завершение соревнования	Сохранить для анализа отсутствия конкуренции, если доступны другие результаты
Дублирующая запись	Для одного и того же кода студента отображается более одной строки	Сохраните проверенную итоговую запись после проверки исходного файла	проверка на дубликаты	Разделение перед анализом
Утечка идентификаторов	Имя, номер студенческого билета, номер телефона, адрес электронной почты, аккаунт платформы, идентификатор устройства или идентифицируемый текстовый комментарий в свободной форме	Удалите идентификатор перед проведением анализа	проверка_идентификатора	Набор данных не может быть проанализирован до проведения деидентификации
Конечная аналитическая проба	Студенты, предоставившие согласие и имеющие пригодные данные после применения правил исключения и обработки пропущенных данных	Укажите итоговое количество и причины исключения	анализ_образца	Необходимо для отчетности о потоке участников

Таблица 1: Структура когорты, критерии включения, критерии исключения и правила обработки пропущенных данных.В этой таблице определены когорта протокола, когорта для исторического сравнения, критерии соответствия, разрешение на использование в исследовательских целях, критерии исключения, способы обработки пропущенных данных и построение аналитической выборки.

3. Реализуйте последовательность 16-недельного курса.

1. Реализуйте курс в течение 16 учебных недель, включая 32 часа аудиторных занятий и примерно 24–30 часов самостоятельной командной работы. Отдельно фиксируйте учебные часы, время командной работы, взаимодействие по кейсу, обратную связь, репетиции и время проведения аттестации.
2. На 1-й неделе проведите вводный инструктаж по курсу, базовый тест на определение уровня знаний и базовый опрос об уровне вовлеченности в рамках стандартных мероприятий курса. Разъясните процесс обучения, последовательность заданий, правила аттестации, принципы защиты данных и возможность последующего использования деидентифицированных записей в исследовательских целях. Преподайте основной материал по стратегическому менеджменту на 2–3-й неделях и проведите краткое закрепление концепций в период с 4-й по 15-ю неделю.
3. На 4-й неделе представьте пакет материалов по корпоративному кейсу и руководство по конкурсу, включая последовательность заданий, правила подачи работ, критерии оценивания (рубрики), график предоставления обратной связи, обязанности команд, правила академической добросовестности, требования к раскрытию использования ИИ, процедуру устного опроса и процесс апелляции.
4. Выполните Задание 1 на 5–6-й неделях и предоставьте обратную связь в течение 7 календарных дней на 7-й неделе. Потребуйте пересмотра формулировки стратегической проблемы перед выполнением Задания 2¹⁴. Выполните Задание 2 на 8–10-й неделях, организуйте менторство со стороны предприятия или структурированный коучинг по кейсу на 11-й неделе, и Задание 3 на 12–15-й неделях.
5. На 16-й неделе проведите итоговый тест по знаниям, послекурсовой опрос, аудит данных и обзор курса в качестве стандартных мероприятий. Экспортируйте, закодируйте, деидентифицируйте и проанализируйте записи исключительно для исследовательских целей только после получения одобрения комитета по этике, проверки согласия и выставления оценок (см. Таблицу 2).
   ТОЧКА ОСТАНОВКИ: Сделайте паузу после 4-й недели, если распределение по командам, файлы кейсов, руководство, критерии оценивания, форма раскрытия использования ИИ, шаблоны заданий или формы регистрации данных не готовы. Для отчетности по исследованию приостановите анализ до завершения процесса одобрения этическим комитетом, проверки согласия, выставления оценок, деидентификации и блокировки набора данных.

Неделя	Активность	Обучающая направленность	Результат работы студента или команды	Необходимая запись	Контроль качества
Неделя 1	Вводный инструктаж по курсу и базовое тестирование	Процесс обучения, правила оценивания, тест на определение базового уровня знаний, опрос по базовому уровню вовлеченности	Исходный тест знаний; исходный опрос	Посещаемость; файл с результатами базового тестирования; файл с результатами базового опроса; протокол ознакомления с курсом	Подтвердите завершение исходного обследования и разделение рутинных записей курса и данных, предназначенных для последующего использования в исследованиях
Неделя 2	Основы стратегического менеджмента: инструкция I	Анализ внешней среды, отраслевой анализ, анализ конкурентов	Рабочий лист для занятий в классе	Посещаемость; запись в рабочем листе	Проверьте заполнение рабочего листа
Неделя 3	Основы стратегического менеджмента: инструкция II	Анализ внутренних ресурсов, стратегический выбор, планирование реализации, оценка эффективности	Краткий ответ для обсуждения клинического случая	Посещаемость; протокол обсуждения клинического случая	Подтвердите основные концепции перед запуском конкурса
Неделя 4	Введение в бизнес-кейс и брифинг по конкурсу	Пакет материалов по кейсу, руководство, последовательность заданий, критерии оценивания (рубрики), раскрытие информации об использовании ИИ, правила команды, процедура апелляции	Список участников команды; устав команды; подтверждение использования ИИ	Список участников команды; устав команды; журнал доступа к справочнику; журнал доступа к делу	Приостановите работу, если файлы дел, руководство, критерии оценивания, записи команды, шаблоны заданий или формы использования ИИ заполнены не полностью
Неделя 5	Задача 1 начинается	Структура отчета о стратегическом диагностическом анализе и требования к доказательной базе	Проект отчета о стратегической диагностике	Журнал процессов команды; протокол консультации	Подтвердите распределение ролей в команде
Неделя 6	Сдача Задания 1	Стратегический диагноз, отраслевой и внутренний анализ, использование доказательств	Итоговый отчет по Задаче 1	Запись о подаче; файл отчета	Выявление отсутствующих или неправильно оформленных заявок
Неделя 7	Отзыв по заданию 1	Обратная связь на основе критериев и рекомендации по доработке	Пересмотренная формулировка стратегической проблемы	Журнал обратной связи; запись о сроках предоставления обратной связи	Приостановить, если >15% отчетов не соответствуют требуемой структуре
Неделя 8	Начинается задание 2	Лист принятия решений, допущения моделирования, переменные принятия решений	Лист принятия первоначальных стратегических решений	Журнал процессов команды; протокол наблюдений	Подтверждение понимания переменных принятия решений
Неделя 9	Уточнение стратегических решений	Рыночное позиционирование, распределение ресурсов, последовательность реализации, допущения о рисках	Пересмотренный лист принятия решений	Журнал коучинга; контрольный список наблюдений	Проверка доказательного обоснования
Неделя 10	Сдача задания 2	Логика принятия окончательного стратегического решения	Лист принятия окончательного решения по заданию 2	Балл за задание 2; запись о подаче; файл листа принятия решения	Проверка полноты предоставленных материалов
Неделя 11	Корпоративный коучинг или структурированный кейс-коучинг	Менторская обратная связь или обратная связь на основе конкретных ситуаций по стратегическим дилеммам	Лист рефлексии ментора; план доработки команды	Журнал взаимодействия с предприятием; вопросы студентов; запись рефлексии	Подтвердите посещение и выполнение рефлексии
Неделя 12	Начинается задание 3	Формат итоговой защиты, краткое резюме, структура слайдов, вопросы и ответы& Правила A	План презентации (черновик)	Журнал процессов команды; обновление раскрытия информации об использовании ИИ	Проверьте распределение рабочей нагрузки с помощью формы оценки вклада участников
Неделя 13	Подготовка к финальной защите	Стратегическая согласованность, осуществимость, контроль рисков, использование доказательств	Черновик презентации; резюме для руководства	Журнал коучинга; контрольный список наблюдений	Подтверждение связи между диагнозом, выбором метода и его реализацией
Неделя 14	Репетиция и калибровка экспертов	Пробная защита и обучение экспертов	Репетиционная презентация	Протокол обучения экспертов; предварительная проверка рубрики	Подтверждение калибровки системы подсчета
Неделя 15	Защита итоговой стратегии	8-минутный доклад и 5-минутная сессия вопросов и ответов&A	Финальный набор слайдов; краткое изложение; устная защита	Баллы за задание 3; баллы экспертов; Q&Примечания	Вычисление коэффициента внутриклассовой корреляции (ICC) для перекрывающихся субъективных оценок
Неделя 16	Послекурсовая оценка и обзор курса	Итоговый тест по курсу, итоговый опрос по курсу, обзор курса, плановый аудит данных	Итоговый тест по курсу; итоговый опрос по курсу	Файл итогового теста; файл опроса; запись о рецензировании курса	Приостановите анализ данных исследования до завершения выставления оценок, получения этического одобрения, проверки информированного согласия, деидентификации данных и блокировки набора данных

Таблица 2: Шестнадцатинедельный график реализации протокола курса «Стратегический менеджмент», интегрированного в соревновательный процесс.В данной таблице обобщены еженедельные действия по протоколу, основные направления обучения, результаты работы студентов или команд, необходимые записи и контрольные точки контроля качества на протяжении 16-недельного курса.

4. Подготовьте кейсы предприятий и материалы для конкурса.

1. Выберите один основной корпоративный кейс и два дополнительных вспомогательных кейса из открытых, анонимизированных или одобренных предприятием учебных материалов. Проверьте каждый кейс на наличие отраслевого контекста, управленческой проблемы принятия решения, ограниченности ресурсов, стратегического компромисса, сложности реализации и измеримого последствия. Используйте критерий «полноты дизайна кейса» вместо «аутентичности кейса», если нет возможности независимой валидации.
2. Подготовьте анонимизированный модельный кейс, если одобренные предприятием материалы недоступны. Укажите отрасль, размер фирмы, сегмент клиентов, конкурентное давление, ограничение ресурсов, стратегическое решение, риск реализации и ожидаемое последствие. Удалите конфиденциальную корпоративную информацию, включая названия компаний, точные финансовые показатели, сведения о клиентах, данные о сотрудниках, проприетарные данные и стратегические документы без письменного разрешения. Шаблон кейса представлен в Supplementary File 1.
3. Подготовьте руководство, шаблоны заданий, форму учета вклада участников, журнал командных процессов, журнал обратной связи, форму раскрытия использования ИИ, форму записи устного опроса, критерии оценивания (рубрики) и таблицу контроля версий. Разрешите заявленное использование ИИ для стилистической правки текста, форматирования, проверки грамматики, общего мозгового штурма и улучшения макета слайдов. Запретите использование ИИ в тех аспектах, которые заменяют самостоятельно выполненную студентом диагностику, подбор доказательств, обоснование решения, анализ рисков, планирование реализации или устную защиту.
4. Разработайте критерии оценивания, чтобы приоритет отдавался стратегическому мышлению, а не качеству текста. Оценивайте использование доказательств, обоснование компромиссов, осуществимость реализации, внутреннюю согласованность и устную защиту отдельно от стиля презентации. Загрузите руководство, шаблоны, критерии оценивания, материалы кейсов, правила использования ИИ и процедуру апелляции до 4-й недели.

5. Сформируйте студенческие группы и распределите роли в командах.

1. Сформируйте команды по 4–6 студентов. Используйте стратифицированное группирование, если доступны данные о базовой успеваемости по курсу, специальности, гендере или предыдущем опыте участия в соревнованиях, и если это разрешено правилами курса вашего учебного заведения.
2. Назначьте каждому студенту одну основную роль до начала Задания 1. Потребуйте от каждой команды представить устав команды и вести журнал процесса, в котором фиксируются распределение ролей, правила коммуникации, ожидания от вклада каждого участника, сроки, ответственность за использование ИИ, посещаемость, принятые решения, изученные доказательства, нерешенные проблемы и последующие действия.
3. Соберите оценки вкладов участников от их сверстников на промежуточном и финальном этапах, чтобы выявить дисбаланс в участии. Проведите индивидуальные устные проверки во время коучинга, репетиции или финальной защиты, попросив выбранных студентов своими словами объяснить диагноз команды, доказательную базу, логику принятия решений, допущения о рисках или план реализации.

6. Проведите базовую оценку.

1. На первой неделе, перед представлением кейса предприятия и выполнением конкурсных заданий, проведите базовое тестирование знаний по стратегическому менеджменту в качестве стандартной оценки курса.
2. Используйте тест из 24 заданий с оценкой от 0 до 100, охватывающий анализ внешней среды, анализ отрасли и конкурентов, анализ внутренних ресурсов, стратегический выбор, планирование реализации и стратегическую оценку. План теста, правила разработки заданий, форма рецензирования и правила подсчета баллов представлены в Дополнительном файле 1.
3. Разработайте форму А и форму Б как эквивалентные, но не идентичные версии, согласованные по охвату тем, формату заданий, когнитивному уровню, диапазону баллов, ожидаемой сложности и правилам подсчета. Привлеките двух преподавателей стратегического менеджмента и одного рецензента по оценке бизнес-образования для анализа релевантности, ясности, когнитивного уровня и охвата тем заданий. Проведите апробацию обеих форм с 24 студентами, не входящими в аналитическую выборку.
4. Оставляйте задания со значениями сложности 0.30–0.80 и значениями дискриминативности выше 0.20, где это возможно. Считайте внутреннюю согласованность приемлемой, если KR-20 или альфа Кронбаха ≥0.70. Считайте формы пригодными для парного использования, если средняя разница при апробации составляет ≤3 баллов, а стандартизированная разница <0.20.
5. По возможности используйте метод уравновешивания форм. Назначьте половине студентов форму А для базового тестирования и форму Б после курса, а другой половине — форму Б для базового тестирования и форму А после курса. Если используется один фиксированный порядок, укажите это в качестве ограничения.
6. После теста знаний проведите базовый опрос по вовлеченности. Используйте 5-балльные шкалы для оценки интереса к стратегическому менеджменту, воспринимаемой практической значимости, уверенности в анализе кейсов, готовности участвовать в командных заданиях, готовности к командной работе и предшествующего опыта участия в конкурсах. Анализируйте концептуально разные пункты опроса отдельно, если данные о надежности и размерности не подтверждают возможность расчета совокупного балла.
7. В ходе обычного проведения курса фиксируйте посещаемость, факт прохождения теста знаний, заполнение опроса и версию использованной формы. Экспортируйте базовые данные для исследовательских целей только после получения одобрения комитета по этике, подтверждения согласия, присвоения кодов и удаления прямых идентификаторов.

7. Проведение обучения по стратегическому менеджменту на основе корпоративных кейсов.

1. Осуществляйте обучение на основе конкретных ситуаций (кейсов) с помощью коротких лекций, направляемых дискуссий, групповых рабочих листов и кратких упражнений по принятию решений. Используйте задания для активного обучения, чтобы перевести студентов от этапа восприятия концепции к анализу, принятию решений, групповому обсуждению и рефлексии¹⁵.
2. Приглашайте руководителей предприятий, предпринимателей или отраслевых менторов, если есть такая возможность. Предоставьте цели курса, уровень подготовки студентов, тему кейса, требования к конфиденциальности, фокус обсуждения и временные затраты минимум за 7 дней до занятия. Если живой ментор недоступен, используйте анонимизированный или общедоступный брифинг по кейсу.
3. Представьте одну неконфиденциальную стратегическую проблему, связанную с рыночной неопределенностью, конкурентным давлением, корректировкой бизнес-модели, ограниченностью ресурсов, барьерами внедрения или контролем рисков. Потребуйте от каждой команды определить проблему, доказательную базу, альтернативы, риски и рекомендованное решение, используя структурированный рабочий лист.
4. Потребуйте от каждой команды представить рефлексию объемом 300–500 слов, связывающую проблему кейса с одной концепцией стратегического менеджмента и одним решением в условиях активной конкуренции. Зафиксируйте данные о квалификации ментора, источнике кейса, посещаемости, вопросах студентов, заполнении рабочих листов и сдаче рефлексии в журнале взаимодействия с предприятиями. Свяжите знакомство с кейсом, рефлексию, принятие решений и их пересмотр на протяжении всего цикла конкурса посредством мероприятий по эмпирическому обучению¹⁶.

8. Реализуйте трехэтапное соревнование по обучению.

1. Проведите официальный инструктаж по конкурсу на 4-й неделе. Разъясните последовательность заданий, график, критерии оценивания, правила предоставления обратной связи, требования к академической добросовестности, правила раскрытия использования ИИ, процедуру устного контроля и порядок подачи апелляций.
2. Реализуйте Задание 1 на 5–6-й неделях в виде отчета о стратегическом диагнозе объемом 1500–2000 слов, включающего анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностику стратегических проблем, использование доказательной базы и первоначальную рекомендацию. Предоставьте обратную связь в течение 7 календарных дней; используйте уточненную формулировку стратегической проблемы в качестве отправной точки для Задания 2.
3. Реализуйте Задание 2 на 8–10-й неделях в виде симуляции принятия стратегического решения или структурированного листа решений, охватывающего позиционирование на рынке, распределение ресурсов, логику ценообразования или затрат, последовательность реализации, допущения по рискам и ожидаемый результат.
4. Реализуйте Задание 3 на 12–15-й неделях в виде финальной защиты стратегии. Потребуйте презентацию из 8–12 слайдов, резюме для руководства объемом 1000–1500 слов, 8-минутный доклад и 5 минут на ответы на вопросы. Убедитесь, что защита связывает диагностику из Задания 1, логику принятия решений из Задания 2, план реализации, контроль рисков и ожидаемый результат.
5. Оцените все три задания по 100-балльной шкале, используя структуру и параметры оценивания, приведенные в Таблице 3.
   ТОЧКА ПРИОСТАНОВКИ: Сделайте паузу после оценивания Задания 1, если более 15% работ не соответствуют требуемой структуре или если проверяющие отмечают неясности в дескрипторах. Пересмотрите инструкции к заданию или руководство для проверяющих перед началом Задания 2.

Задание	Недели	Необходимый результат	Основное содержание	Балл	Критерии оценки
Задание 1: Отчет о стратегической диагностике	Недели 5–6	командный отчет объемом 1 500–2 000 слов	Анализ отрасли, анализ конкурентов, анализ внутренних ресурсов, диагностика стратегических проблем, использование доказательств, первоначальная рекомендация	100	Анализ отрасли и рынка, 20
					анализ внутренних ресурсов, 20
					диагностика стратегических проблем, 20
					использование доказательств, 20
					логика и ясность изложения, 20
Задание 2: Симуляция принятия стратегических решений или лист принятия решений	Недели 8–10	Лист структурированного принятия командных решений	Позиционирование на рынке, распределение ресурсов, логика ценообразования или затрат, последовательность реализации, допущения по рискам, ожидаемый результат	100	Стратегическая согласованность, 25
					рыночная логика, 20
					операционная осуществимость, 20
					анализ рисков, 20
					обоснование решения, 15
Задание 3: Финальная защита стратегии	Недели 12–15	Презентация из 8–12 слайдов, краткий отчет для руководства на 1 000–1 500 слов, 8-минутный доклад, 5-минутная сессия вопросов и ответов&A	Стратегическая диагностика, стратегический выбор, план реализации, контроль рисков, ожидаемые показатели эффективности	100	Стратегическая диагностика, 20
					стратегический выбор, 25
					возможность реализации, 20
					инновации, 15
					использование доказательств, 10
					защита диссертации, 10

Таблица 3: Структура трехэтапного учебного конкурса и критерии оценивания.В этой таблице определены три конкурсных задания, недели реализации, требуемые результаты, основные требования к содержанию, общий балл и критерии оценивания.

9. Стандартизируйте систему оценки и проведите обучение экспертов.

1. При наличии персонала привлеките как минимум двух экспертов для субъективного оценивания; если второй эксперт недоступен, задокументируйте факт оценивания одним специалистом.
2. Проведите обучение экспертов, используя рубрики, дескрипторы, калибровочные работы, перечни типичных ошибок оценивания, правила раскрытия использования ИИ и критерии устных проверок. Эксперты независимо оценивают две калибровочные работы, после чего обсуждают расхождения в баллах, превышающие 10 пунктов.
3. После завершения обучения зафиксируйте окончательную версию рубрики и используйте её на протяжении всего цикла реализации. Рассчитайте коэффициент внутриклассовой корреляции (ICC), когда одну и ту же работу оценивают два или более экспертов. Считайте значение ICC ≥ 0,75 приемлемым; при ICC <0,75 или разнице в баллах более 10 пунктов проведите согласование оценок. Сохраняйте исходные баллы, согласованные баллы и примечания к согласованию.
4. Используйте оценивание на основе рубрик для уточнения ожиданий и поддержки формирующего оценивания¹⁷. Следуйте процедуре обучения экспертов, согласования оценок и сверки результатов, изложенной в Дополнительной таблице S1.

10. Сбор данных о качестве обучения и точности реализации.

1. Оценивайте качество обучения по взаимодействию в классе, полноте разработки кейсов, своевременности обратной связи, соответствию задач критериям оценки (рубрикам) и вовлеченности студентов. Анализируйте показатели по отдельности, если только данные о надежности и размерности не подтверждают возможность их объединения.
2. Используйте термин «полнота разработки кейса» вместо «аутентичность кейса», если нет возможности независимой проверки аутентичности.
3. Оценивайте точность реализации (fidelity) по завершению запланированных мероприятий, завершению корпоративных сессий или сессий по кейсам, сдаче заданий, срокам предоставления обратной связи, заполнению рубрик, проведению наблюдений и прохождению обучения оценщиками.
4. Рассматривайте пороговые значения в Таблице 4 как заранее определенные операционные правила контроля качества, а не как внешне валидированные критерии отсечения. Эти пороги были установлены до проведения анализа данных на основе предварительной проверки осуществимости, консенсуса преподавательского состава и ограничений по рабочей нагрузке.
5. Используйте показатели, источники данных, пороговые значения, правила предупреждения и корректирующие действия, указанные в Таблице 4. Дополнительные процедуры по устранению проблем приведены в Дополнительной таблице S2.
6. Считайте реализацию адекватной, если завершено ≥85% запланированных еженедельных мероприятий, ≥85% студентов когорты по протоколу выполнили все три задания, ≥80% ответов с обратной связью предоставлено в течение 7 календарных дней, все основные рубрики заполнены и проведены необходимые наблюдения. Считайте реализацию субоптимальной, если процент выполнения заданий составляет <75%, срок предоставления обратной связи превышает 14 календарных дней для >20% работ, ICC составляет <0.75 или отсутствует >25% запланированных наблюдений.

Категория	Индикатор	Источник данных	Временная точка	Шкала	Положительный сигнал или порог	Предупреждающее правило	Корректирующее действие
Точность реализации	Завершение запланированных мероприятий	Журнал реализации курса	Недели 1–16	% завершения	≥85% запланированных мероприятий завершено	<85% завершено	Проанализировать пропущенные занятия и пересмотреть контроль графика
Точность реализации	Занятие по корпоративному или структурированному кейсу	Журнал корпоративного взаимодействия	Неделя 11	Реализовано / не реализовано	Запланированное занятие проведено или заменено коучингом по структурированному кейсу	Запланированное занятие пропущено без замены	Использовать анонимизированный кейс или коучинг по структурированному кейсу
Точность реализации	Завершение последовательности из трех заданий	Записи о сдаче работ	Недели 6, 10, 15	% студентов	≥85% студентов протокольной когорты выполнили все три задания	<75% выполнили все задания	Упростить инструкции и добавить проверку прогресса
Точность реализации	Своевременность обратной связи	Журнал обратной связи	Недели 7, 10, 15	Календарные дни	≥80% обратной связи предоставлено в течение 7 дней	>20% обратной связи предоставлено спустя 14 дней	Сократить форму обратной связи и распределить нагрузку по оцениванию
Точность реализации	Завершение наблюдений	Формы наблюдения	Недели 1–16	% запланированных наблюдений	≥75% запланированных наблюдений завершено	>25% запланированных наблюдений пропущено	Добавить резервного наблюдателя и установить фиксированный график наблюдений
Качество оценивания	Согласие оценщиков	Баллы оценщиков	Подмножество Задания 1 и защита Задания 3	ICC	ICC ≥0.75	ICC <0.75	Повторно обучить оценщиков, уточнить дескрипторы, согласовать проблемные баллы
Качество преподавания	Взаимодействие в аудитории	Чек-лист наблюдения	Выбранные занятия	Балл 1–5	Среднее ≥3.50 или рост ≥0.30	Среднее <3.50	Усилить стимулирующие вопросы для дискуссии и фасилитацию
Качество преподавания	Полнота разработки кейса	Чек-лист кейса	До 4-й недели	Балл 0–5 или 1–5	Среднее ≥4.00	Среднее <3.50	Пересмотреть контекст кейса, проблему принятия решения, ограничения и последствия
Качество преподавания	Соответствие задания и рубрики	Чек-лист соответствия	До 4-й недели и обзор после курса	Балл 0–5 или 1–5	Среднее ≥4.00	Среднее <3.50	Пересмотреть соответствие «задание — результат — рубрика — обратная связь»
Качество преподавания	Вовлеченность студентов	Посещаемость, участие, журналы, пункты опроса	Недели 1–16	Балл по пункту или 1–5	Рост ≥0.30 балла	Снижение >0.30 балла	Снизить перегрузку, уточнить ожидания, усилить формирующую поддержку
Результат обучения	Знания в области стратегического менеджмента	Входное и итоговое тестирование	Недели 1 и 16	0–100	Средний рост ≥5 баллов	Рост <3 баллов	Проверить охват материала, соответствие пунктов теста и эквивалентность тестов
Результат обучения	Индивидуальный анализ кейса	Рубрика анализа кейса	Конец семестра	0–100	Преимущество протокольной когорты ≥3 балла	Отсутствие преимущества или снижение	Добавить практику анализа кейсов и аннотированные примеры
Командный результат	Результаты командного соревнования	Рубрики соревнования	Недели 6, 10, 15	0–100	Прогрессивное улучшение по заданиям	Высокий итоговый балл при слабых доказательствах на ранних этапах	Проверить завышение баллов и перебалансировать рубрику в сторону аргументации
Восприятие студентами	Удовлетворенность	Послекурсовый опрос	Неделя 16	Балл 1–5	Среднее ≥4.00	Среднее <3.50	Проанализировать нагрузку, ясность заданий, качество обратной связи и командную координацию
Восприятие студентами	Практическая значимость	Послекурсовый опрос	Неделя 16	Балл 1–5	Среднее ≥4.00	Среднее <3.50	Повысить специфичность кейсов и связь с реальными стратегическими решениями
Безопасность нагрузки	Давление соревнования	Послекурсовый опрос	Неделя 16	Балл 1–5 или %	Высокое давление ≤20% студентов	Высокое давление >20% студентов	Уменьшить перекрытие заданий и скорректировать интервалы между дедлайнами
Предупреждение по интерпретации	Эффект потолка	Входной тест и опрос	Неделя 1	0–100 или 1–5	Базовые знания ≤85 и удовлетворенность ≤4.50	Знания >85 или удовлетворенность >4.50	Осторожно интерпретировать небольшое улучшение
Предупреждение по интерпретации	Инфляция баллов	Командные и индивидуальные результаты	Конец семестра	Оценка паттерна	Прирост команды сопровождается доказательствами индивидуального обучения	Командные баллы растут, но индивидуальное обучение — нет	Повысить индивидуальную ответственность и внедрить оценивание на основе аргументации
Командный процесс	Баланс вклада сверстников	Форма оценки вклада сверстников	Средний и финальный этапы	Балл 1–5	Отсутствие повторных серьезных дисбалансов	Один или несколько участников неоднократно получили очень низкие оценки	Потребовать перераспределения ролей и проведения проверки преподавателем
Академическая честность	Прозрачность использования ИИ	Раскрытие использования ИИ и устный опрос	Каждое основное задание	Раскрыто / не раскрыто	Использование ИИ раскрыто согласно правилам учебного заведения	Нераскрытое или ненадлежащее использование ИИ	Применить процедуру академической честности заведения и уточнить правила использования ИИ

Таблица 4: Показатели точности реализации, качества обучения, интерпретации результатов и устранения неполадок.В этой таблице указаны показатели точности реализации, показатели качества обучения, показатели результатов на уровне студентов и команд, показатели качества оценки, пороговые значения интерпретации, предупреждающие правила и корректирующие действия.

11. Сбор данных об итогах после прохождения курса.

1. Проведите итоговый тест по знаниям в области стратегического менеджмента на 16-й неделе, используя эквивалентную форму итогового теста, а не форму, применявшуюся при базовом тестировании.
2. Соберите индивидуальные баллы за анализ кейсов в конце семестра, используя рубрику, охватывающую выявление проблемы, использование доказательств, стратегическую логику, осуществимость и ясность изложения. Укажите этот показатель как индикатор успеваемости после прохождения курса, если только не проводилась полноценная базовая оценка анализа кейсов.
3. Соберите баллы команд за Задания 1–3 и храните их отдельно от результатов обучения на индивидуальном уровне.
4. Соберите данные об удовлетворенности, воспринимаемой практической значимости, полезности обратной связи, командном взаимодействии, конкурентном давлении, рабочей нагрузке и воспринимаемом прогрессе с помощью анонимного послекурсового опроса. Не объединяйте пункты в один общий балл, если данные о надежности и размерности не подтверждают возможность создания композитного показателя.
5. Соберите итоговые баллы за курс только после подачи оценок. Экспортируйте записи по окончании курса для исследовательских целей только после получения этического одобрения, проверки согласия, присвоения кодов и удаления прямых идентификаторов и идентифицирующих комментариев.
   ТОЧКА ОСТАНОВКИ: Приостановите исследовательский анализ до подачи итоговых оценок, получения этического одобрения, завершения проверки согласия, отделения списка согласий от исследовательского набора данных и подтверждения деидентификации.

12. Очистка и объединение деидентифицированного набора данных.

1. После получения этического одобрения и проверки согласия создайте деидентифицированные наборы данных на уровне студентов, команд и сессий занятий. Проверьте наличие дублирующих записей, недопустимых значений, отсутствующих кодов, противоречивых кодов команд и прямых идентификаторов.
2. Объедините данные на уровне студентов и команд только по коду команды. Очистите и закодируйте все наборы данных, используя шаблон в Supplementary File 1 и словарь переменных в Supplementary Table S3.
3. Обозначьте пропущенные значения как NA. Не заменяйте отсутствующие результаты, если только правилами курса не предусмотрена повторная аттестация или нулевой балл за конкретное задание. Исключите студентов, не прошедших тест на знания, только из парного анализа знаний; студентов, не выполнивших все три соревновательных задания, исключите из анализов, связанных с соревнованиями. Сохраните доступные записи для других подходящих видов анализа.
4. Сохраните очищенный набор данных, словарь данных, журнал очистки, файл для анализа и заблокированный выходной файл. Вносите изменения в заблокированные данные только с помощью датированного журнала исправлений.

13. Проанализируйте точность реализации, качество обучения и результаты обучения.

1. Проанализируйте точность реализации (fidelity) перед интерпретацией результатов обучения. Осторожно интерпретируйте различия в результатах, если пороговые значения точности реализации не были достигнуты.
2. Приведите описательную статистику для непрерывных переменных и частоты для категориальных переменных, включая тип когорты, основную группу, опыт участия в соревнованиях, выполнение задания, категорию пропущенных данных и уровень награждения в протокольной когорте. Указывайте уровень награждения только для протокольной когорты, за исключением случаев, когда в контрольной когорте использовалась такая же структура наград.
3. Сравните исходные характеристики с использованием t-критериев для независимых выборок, критериев хи-квадрат или точного критерия Фишера, в зависимости от ситуации, чтобы описать сопоставимость исходных данных, а не причинную эквивалентность.
4. Сравните изменение знаний внутри когорт с помощью t-критериев для парных выборок или критерия знаковых рангов Уилкоксона. Сравните результаты после курса между когортами, используя t-критерии для независимых выборок, U-критерий Манна-Уитни, ANCOVA или регрессионные модели с поправкой на исходные различия. Интерпретируйте все сравнения когорт как анализ образовательных записей в конкретном контексте, а не как оценки причинно-следственной связи.
5. Используйте модели с повторными измерениями или смешанные модели при анализе данных за несколько временных точек. Включайте случайные эффекты на уровне учащихся для повторных измерений и случайные эффекты на уровне команд или кластерно-робастные стандартные ошибки, если учащиеся объединены в команды.
6. Анализируйте результаты на уровне команд отдельно от результатов на уровне учащихся. Не рассматривайте командные баллы как независимые индивидуальные наблюдения, если проблема кластеризации не была устранена.
7. Укажите d-коэффициент Коэна для значимых различий средних значений, где 0,20, 0,50 и 0,80 интерпретируются как малый, средний и большой эффекты соответственно. По возможности приводите 95% доверительные интервалы и сравнивайте результаты по полным случаям (complete-case) с результатами по доступным случаям (available-case) в рамках анализа чувствительности.
8. Сохраните статистический скрипт, выходные данные программного обеспечения, исходные файлы фигур и итоговые таблицы. Предоставьте все таблицы в виде отдельных редактируемых файлов и архивируйте исходные данные фигур.

14. Интерпретация успешного и субоптимального выполнения.

1. Определите успех реализации до интерпретации конечных результатов. Протокол считается успешно реализованным, если основные пороговые значения точности в Таблица 4 соблюдены.
2. Интерпретируйте результаты обучения только после проверки достоверности, надежности оценивания, структуры пропусков в данных, сопоставимости исходных показателей и единицы анализа.
3. При условии адекватной точности соблюдения протокола (fidelity), положительным сигналом внедрения считается: увеличение объема знаний после завершения курса на ≥5 баллов, преимущество при индивидуальном анализе клинических случаев в конце семестра на ≥3 балла или рост показателя процесса обучения на ≥0,30 по 5-балльной шкале.
4. Определите предупреждающие признаки перед началом анализа: эффект потолка, если базовый уровень знаний превышает 85/100 или базовый уровень удовлетворенности превышает 4,50/5; завышение баллов, если командные показатели улучшаются при отсутствии доказательств индивидуального обучения; чрезмерное давление конкуренции, если удовлетворенность снижается на >0,30 балла или >20% студентов сообщают о высокой нагрузке.
5. Рассматривайте оценку не как получение единого балла, а как многоуровневый процесс: от анализа точности реализации до изучения реакции студентов, поиск доказательств обучения и последующего совершенствования курса.¹⁸Избегайте формулировок, указывающих на причинно-следственную связь, поскольку в дизайне исследования используются обычные учебные когорты, историческая контрольная группа и ретроспективные обезличенные записи о прохождении курса, а не рандомизированное распределение.

15. Проведите поиск и устранение неисправностей, адаптацию и итерацию курса.

1. Проверяйте соблюдение протокола (fidelity) после каждого основного задания и выявляйте такие проблемы, как задержка обратной связи, низкое участие команды, нечеткие инструкции, незаполненные формы оценивания, отсутствие наблюдений, недостаточная проработка дизайна кейса, разногласия между экспертами или ненадлежащее использование ИИ.
2. Применяйте корректирующие действия, указанные в Дополнительной таблице S2, включая пересмотр инструкций, дополнительный коучинг, переподготовку экспертов, перераспределение ролей, корректировку рабочей нагрузки или институциональную проверку академической честности.
3. Для более коротких учебных периодов объедините Задания 1 и 2 в краткий отчет о диагностическом решении, сохранив при этом финальную защиту, запись обратной связи и проверки соблюдения протокола. Для онлайн-, гибридного или многопоточного обучения используйте цифровые брифинги, журналы отправки работ, онлайн-опросы, стандартизированные шаблоны обратной связи, общие рубрики, совместную подготовку экспертов, наблюдателей на уровне потоков, командные дашборды и централизованное управление данными.
4. После 16-й недели проанализируйте соблюдение протокола, показатели процесса, результаты студентов, заметки экспертов, закономерности отсутствия данных, записи об использовании ИИ, комментарии студентов и размышления преподавателя. Внесите правки в руководство, пакет кейсов, рубрики, шаблоны, график обратной связи и формы регистрации данных перед следующим циклом.
5. После получения этического одобрения и подготовки исследовательских данных архивируйте карту протокола, график, руководство, файлы кейсов, рубрики, формы наблюдения, инструменты опроса, деидентифицированный набор данных, словарь данных, скрипт анализа, статистические результаты, исходные файлы рисунков, таблицы и дополнительные материалы. Зафиксируйте все изменения в таблице контроля версий.

Результаты

Представленные результаты демонстрируют итоги применения 16-недельного протокола по совершенствованию курса «Стратегический менеджмент» с интеграцией соревновательного элемента. Результаты систематизированы по точности реализации, качеству обучения, результатам на уровне студентов, результатам на уровне команд и заранее определенным тревожным паттернам. Поскольку данные были получены от обычных учебных групп с использованием исторической контрольной группы, а не путем рандомизации, все результаты следует интерпретировать как результаты внедрения и оценки в конкретном контексте, а не как причинно-следственное доказательство эффективности.

Точность реализации и качество обучения

Доступный набор данных образовательных записей включал 88 студентов в когорте исторического сравнения и 92 студентов в когорте протокола. Набор данных на уровне команд включал 22 команды из когорты сравнения и 23 команды из когорты протокола. После применения правила парного предварительного и последующего тестирования знаний для анализа прироста знаний были отобраны 79 студентов из когорты сравнения и 84 студента из когорты протокола.

Перед интерпретацией результатов обучения была проверена точность реализации протокола. Когорта протокола выполнила 15 из 16 запланированных еженедельных мероприятий (93,8%), в то время как контрольная когорта выполнила 13 из 16 (81,3%). Сессия по корпоративному или структурированному кейсу была проведена в когорте протокола, но не входила в полную структуру исторического сравнения. В когорте протокола 88 из 92 студентов выполнили все три конкурсных задания, что составило 95,7%. В контрольной когорте 18 из 88 студентов имели полные записи по трем сопоставимым проектным оцениваниям, что составило 20,5%; эти записи были сохранены только для описательного сравнения, так как в историческом курсе не была реализована полная последовательность конкурсов. Обратная связь была предоставлена в течение 7 календарных дней для 243 из 268 работ когорты протокола (90,7%) по сравнению с 49 из 66 работ контрольной когорты (74,2%). Среднее время предоставления обратной связи составило 5,8 ± 1,9 дня и 8,4 ± 2,7 дня соответственно. Завершенность наблюдений достигла 81,3% и 62,5%. Коэффициент внутриклассовой корреляции (ICC) для двух оценивающих в когорте протокола при перекрывающемся субъективном оценивании составил 0,82, что превысило заранее определенный порог 0,75. В целом, когорта протокола достигла 5 из 5 основных показателей точности реализации, тогда как контрольная когорта достигла 2 из 5.

Показатели качества обучения были выше в когорте, следовавшей протоколу. Взаимодействие в аудитории составило 3,70 ± 0,44 в когорте протокола и 3,15 ± 0,48 в контрольной когорте. Полнота разработки кейсов составила 4,08 ± 0,36 и 3,23 ± 0,42 соответственно. Соответствие заданий критериям оценки составило 4,01 ± 0,39 и 2,30 ± 0,51. Вовлеченность студентов увеличилась на 0,42 ± 0,41 балла в когорте протокола, что превысило заранее определенный порог значимости в 0,30 балла, в то время как в контрольной когорте прирост составил 0,07 ± 0,34 балла. Посещаемость была схожей в обеих когортах: 89,6% ± 5,8% и 89,1% ± 6,2%. Таблица 5 обобщает эти показатели.

Показатель	Источник данных	Предустановленный порог	Группа исторического сравнения	Протокольная группа	Интерпретация
Выполнение запланированной еженедельной активности	Журнал реализации курса	≥85%	13/16 недель, 81.3%	15/16 недель, 93.8%	Достигнуто в протокольной группе
Реализация сессии по корпоративным или структурированным кейсам	Журнал корпоративного взаимодействия	≥1 реализованной сессии	0/1 сессии, 0.0%	1/1 сессии, 100.0%	Достигнуто в протокольной группе
Завершение полного задания или соответствующей записи проекта	Записи о сдаче работ	≥85%	18/88 студентов, 20.5%	88/92 студентов, 95.7%	Достигнуто в протокольной группе; исторические данные носят только описательный характер
Предоставление обратной связи в течение 7 дней	Журнал обратной связи	≥80%	49/66 работ, 74.2%	243/268 работ, 90.7%	Достигнуто в протокольной группе
Заполнение контрольного списка наблюдений	Формы наблюдения	≥75%	10/16 сессий, 62.5%	13/16 сессий, 81.3%	Достигнуто в протокольной группе
Согласие двух оценивающих	Оценки экспертов	ICC ≥0.75	Не требуется	ICC = 0.82	Достигнуто в протокольной группе
Время подготовки обратной связи	Журнал обратной связи	Среднее ≤7 дней (предпочтительно)	8.4 ± 2.7 дней	5.8 ± 1.9 дней	В пределах предпочтительного диапазона в протокольной группе
Взаимодействие в аудитории	Контрольный список наблюдений	Среднее ≥3.50 или прирост ≥0.30	3.15 ± 0.48	3.70 ± 0.44	Выше в протокольной группе
Полнота разработки кейса	Контрольный список разработки кейса	Среднее ≥4.00 (предпочтительно)	3.23 ± 0.42	4.08 ± 0.36	Выше в протокольной группе
Соответствие задания критериям оценки (рубрикам)	Контрольный список соответствия	Среднее ≥4.00	2.30 ± 0.51	4.01 ± 0.39	Достигнуто в протокольной группе
Прирост вовлеченности студентов	Посещаемость, журналы, пункты опроса	Прирост ≥0.30 балла	+0.07 ± 0.34	+0.42 ± 0.41	Достигнуто в протокольной группе
Уровень посещаемости	Журнал посещаемости	Описательный	89.1% ± 6.2%	89.6% ± 5.8%	Схож в обеих группах
Общий итог точности реализации	Индикаторы реализации	Достигнуто большинство основных пороговых значений	Достигнуто 2/5 пороговых значений	Достигнуто 5/5 пороговых значений	Протокол реализован в соответствии с замыслом

Таблица 5: Репрезентативные показатели точности реализации и качества обучения.В этой таблице представлены репрезентативные результаты точности реализации и качества обучения для когорты исторического сравнения и когорты протокола, а также указано, были ли достигнуты заранее определенные операционные пороги.

Рисунок 2 представляет профиль точности реализации и качества обучения. На рисунке 2A показано выполнение запланированных еженедельных мероприятий. На рисунке 2B показано выполнение последовательности из трех задач. На рисунке 2C показано предоставление обратной связи в течение 7 календарных дней. На рисунке 2D показаны взаимодействие в классе, полнота разработки кейса, соответствие рубрик задач и рост вовлеченности студентов. На рисунке 2E показано завершение наблюдений и выполнение корпоративных или структурированных сессий по кейсам. Показатели точности в процентах и индикаторы обучения на основе шкал следует интерпретировать в рамках соответствующих измерительных шкал.

Рисунок 2: Профиль точности реализации и качества обучения.На данном рисунке обобщены показатели точности реализации и качества обучения для исторической когорты сравнения и когорты протокола. (A) Выполнение запланированных еженедельных мероприятий. (B) Завершение полной задачи или сопоставимой записи проекта, с разграничением полной последовательности из трех задач для когорты протокола и сопоставимых записей проектов в исторической когорте сравнения. (C) Обратная связь, предоставленная в течение 7 календарных дней; время предоставления обратной связи приведено в дополнительных материалах. (D) Показатели качества обучения, включая взаимодействие в аудитории, полноту разработки кейса, соответствие задачи критериям оценки (рубрикам) и прирост вовлеченности студентов. (E) Заполнение контрольного списка наблюдений и проведение корпоративного или структурированного занятия по кейсу. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты обучения для студентов

Результаты на студенческом уровне анализировались отдельно от результатов командных соревнований. Исходные показатели знаний составили 64.18 ± 8.74 в группе протокола и 62.37 ± 8.91 в контрольной группе, при этом небольшая разница на исходном уровне составила 1.81 балла (d = 0.21). Показатели знаний после прохождения курса составили 71.08 ± 8.58 и 66.41 ± 9.06 соответственно, с разницей в 4.67 балла (d = 0.53). Прирост знаний составил 6.90 ± 5.41 балла и 4.04 ± 5.26 балла, с разницей в 2.86 балла (d = 0.54). Группа протокола превысила заранее определенный порог значимого прироста знаний в 5 баллов.

Результаты индивидуального анализа клинических случаев в конце семестра составили 82,31 ± 7,06 в основной группе и 76,42 ± 7,38 в контрольной группе, при разнице в 5,89 балла (d = 0,82). Данный результат интерпретировался как показатель успеваемости после прохождения курса, а не как парный прирост, поскольку полноценная предварительная оценка навыков анализа случаев не проводилась. Уровень удовлетворенности составил 3,66 ± 0,58 и 3,34 ± 0,62 (d = 0,53). Воспринимаемая практическая значимость составила 3,91 ± 0,55 и 3,41 ± 0,59 (d = 0,88). Давление конкуренции было выше в основной группе — 3,12 ± 0,76 по сравнению с 2,48 ± 0,71 (d = 0,87), однако высокая нагрузка была отмечена 13 из 92 студентов основной группы, что соответствует 14,1%, что ниже заранее установленного предупредительного порога в 20%. Итоговый балл за курс рассматривался как вторичный образовательный результат и составил 87,20 ± 6,10 в основной группе и 84,80 ± 6,70 в контрольной группе (d = 0,37). В Таблице 6 обобщены результаты на индивидуальном и командном уровнях.

Результат	Уровень	Историческая контрольная группа	Протокольная группа	Разница	Размер эффекта	Интерпретация
Доступная выборка образовательных записей	Студент	n = 88	n = 92	—	—	Пригодные обезличенные записи курсов
Парная выборка для анализа знаний	Студент	n = 79	n = 84	—	—	Студенты с результатами тестов по знаниям до и после курса
Исходный уровень знаний (балл)	Студент	62.37 ± 8.91	64.18 ± 8.74	1.81	0.21	Незначительная разница в исходных данных
Результат теста по знаниям после курса (балл)	Студент	66.41 ± 9.06	71.08 ± 8.58	4.67	0.53	Выше в протокольной группе
Прирост знаний	Студент	4.04 ± 5.26	6.90 ± 5.41	2.86	0.54	Протокольная группа превысила порог сигнала ≥5 баллов
Балл индивидуального анализа случая	Студент	76.42 ± 7.38	82.31 ± 7.06	5.89	0.82	Превышен порог сигнала анализа случая ≥3 балла
Прирост вовлеченности студентов	Студент	+0.07 ± 0.34	+0.42 ± 0.41	+0.35	0.93	Превышен порог сигнала ≥0.30 балла
Балл удовлетворенности	Студент	3.34 ± 0.62	3.66 ± 0.58	0.32	0.53	Выше в протокольной группе
Воспринимаемая практическая значимость	Студент	3.41 ± 0.59	3.91 ± 0.55	0.5	0.88	Выше в протокольной группе
Балл давления конкуренции	Студент	2.48 ± 0.71	3.12 ± 0.76	0.64	0.87	Более высокое давление в протокольной группе
Давление из-за высокой рабочей нагрузки	Студент	Не оценивалось как давление конкуренции	13/92, 14.1%	—	—	Ниже предупредительного порога в 20%
Итоговый балл за курс	Студент	84.80 ± 6.70	87.20 ± 6.10	2.4	0.37	Вторичный образовательный результат
Количество команд	Команда	n = 22	n = 23	—	—	Анализы на уровне команд представлены отдельно
Опыт прохождения раундов принятия решений	Команда	0.77 ± 0.81 раунда	5.09 ± 0.79 раунда	4.32	Не оценивалось	Индикатор степени внедрения
Балл за Задание 1 или соответствующий диагноз	Команда	69.84 ± 6.45	72.18 ± 6.28	2.34	0.37	Умеренная разница на уровне команд
Балл за Задание 2 или соответствующее решение	Команда	71.09 ± 6.12	73.52 ± 5.91	2.43	0.4	Умеренная разница на уровне команд
Балл за Задание 3 или соответствующую финальную защиту	Команда	72.71 ± 6.36	77.20 ± 6.04	4.49	0.72	Наибольшая разница на уровне команд
Итоговый балл команды	Команда	71.21 ± 5.81	74.30 ± 5.52	3.09	0.55	Средняя разница на уровне команд
Критерий стратегического диагноза	Команда	14.60 ± 1.80	15.60 ± 1.70	1	—	Критерий рубрики финальной защиты
Критерий стратегического выбора	Команда	17.90 ± 2.20	19.10 ± 2.10	1.2	—	Критерий рубрики финальной защиты
Критерий осуществимости внедрения	Команда	14.40 ± 1.90	15.50 ± 1.80	1.1	—	Критерий рубрики финальной защиты
Критерий инновационности	Команда	10.80 ± 1.60	11.50 ± 1.50	0.7	—	Критерий рубрики финальной защиты
Критерий использования доказательств	Команда	7.10 ± 1.00	7.50 ± 0.90	0.4	—	Критерий рубрики финальной защиты
Критерий устной защиты	Команда	7.91 ± 1.10	8.00 ± 1.00	0.09	—	Критерий рубрики финальной защиты
Средний вклад коллег	Команда	3.72 ± 0.41	3.91 ± 0.36	0.19	0.49	Серьезных сбоев в командных процессах не выявлено
Команды с дисбалансом вклада	Команда	4/22, 18.2%	3/23, 13.0%	−5.2 процентных пункта	—	Системного паттерна дисбаланса не выявлено
Распределение наград	Команда	Неприменимо	10 нет; 8 третьих; 2 вторых; 3 первых	—	—	Только для протокольной группы
Паттерн предупреждения о завышении баллов	Команда	Неприменимо	2/23 команды, 8.7%	—	—	Отмечено для устранения неполадок

Таблица 6: Репрезентативные результаты на уровне студентов и команд.В данной таблице представлены репрезентативные результаты на уровне студентов и команд, включая доступную выборку образовательных записей, парную выборку анализа знаний, показатели знаний, прирост знаний, индивидуальный балл анализа кейса, уровень вовлеченности, удовлетворенность, воспринимаемую практическую значимость, нагрузку, итоговый балл по курсу, баллы за командные задания, баллы по критериям рубрики итоговой защиты, вклад коллег, распределение наград и индикаторы предупреждения.

Рисунок 3 представляет результаты на уровне студентов с оценками неопределенности, где это применимо. Рисунок 3A показывает баллы за проверку знаний до и после прохождения курса. Рисунок 3B показывает прирост знаний. Рисунок 3C показывает индивидуальные результаты анализа конкретных случаев. Рисунок 3D показывает прирост вовлеченности, уровень удовлетворенности и воспринимаемую практическую значимость. Рисунок 3E показывает итоговый балл за курс в качестве вторичного результата.

Рисунок 3: Репрезентативные результаты обучения на уровне студентов.На этом рисунке представлены индивидуальные результаты отдельно от результатов командных соревнований. (A) Исходные и итоговые баллы по знаниям в области стратегического менеджмента. (B) Прирост знаний от исходного до итогового оценивания. (C) Балл за индивидуальный анализ кейса в конце семестра. (D) Прирост вовлеченности и показатели восприятия по результатам опроса, включая удовлетворенность и воспринимаемую практическую значимость; там, где это необходимо, используются разные шкалы. (E) Итоговый балл за курс как вторичный образовательный результат и высокий уровень нагрузки когорты протокола относительно заранее определенного предупредительного порога. Значения представлены как среднее ± SD там, где указаны значения ±, а планки погрешностей соответствуют SD. На графике (E) пунктирная контрольная линия указывает на заранее определенный предупредительный порог высокой нагрузки в 20%. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Результаты соревнований на командном уровне

Результаты на уровне команд анализировались отдельно от результатов на уровне студентов. Для описательного отчета записи кейс-проектов контрольной когорты были сопоставлены с соответствующими точками оценки, где это было возможно, однако эти записи не означали завершения всей интегрированной последовательности конкурса. Участие в раундах принятия решений представлялось как индикатор реализации, а не как оценка эффекта обучения. Когорта протокола прошла 5,09 ± 0,79 раундов принятия решений, в то время как контрольная когорта прошла 0,77 ± 0,81 сопоставимых раундов.

В группе протокола средний балл за Задание 1 составил 72,18 ± 6,28, средний балл за Задание 2 — 73,52 ± 5,91, а средний балл за Задание 3 — 77,20 ± 6,04. Соответствующие сопоставимые баллы контрольной группы составили 69,84 ± 6,45, 71,09 ± 6,12 и 72,71 ± 6,36. Итоговый командный балл составил 74,30 ± 5,52 в группе протокола и 71,21 ± 5,81 в контрольной группе. Показатели критериев оценки финальной защиты или сопоставимых финальных проектов были следующими: стратегический диагноз, 15,60 ± 1,70 и 14,60 ± 1,80; стратегический выбор, 19,10 ± 2,10 и 17,90 ± 2,20; осуществимость реализации, 15,50 ± 1,80 и 14,40 ± 1,90; инновационность, 11,50 ± 1,50 и 10,80 ± 1,60; использование доказательств, 7,50 ± 0,90 и 7,10 ± 1,00; и устная защита, 8,00 ± 1,00 и 7,91 ± 1,10 соответственно.

Распределение наград было представлено только для протокольной когорты, так как в контрольной когорте не использовалась полная структура соревнований на основе наград. В протокольной когорте 10 команд не получили наград, 8 получили третий приз, 2 получили второй приз и 3 получили первый приз. Средний вклад коллег составил 3,91 ± 0,36 в протокольной когорте и 3,72 ± 0,41 в контрольной когорте. Дисбаланс вклада был выявлен в 3 из 23 команд протокольной когорты и в 4 из 22 команд контрольной когорты. Паттерн предупреждения о завышении баллов был выявлен в 2 из 23 команд протокольной когорты, что соответствует 8,7%.

Рисунок 4 демонстрирует результаты на уровне команд и закономерности появления предупреждений. На Рисунке 4A показаны баллы команд за Задание 1, Задание 2 и Задание 3. На Рисунке 4B представлены баллы по критериям рубрики итоговой защиты. На Рисунке 4C показано только распределение наград по когортам протокола. На Рисунке 4D отображены случаи предупреждений о завышении баллов. На Рисунке 4E показан баланс вкладов участников и количество случаев дисбаланса вкладов.

Рисунок 4: Результаты соревнований на уровне команд и паттерны предупреждений. На данном рисунке представлены результаты на уровне команд отдельно от результатов обучения на уровне студентов. (A) Баллы команд на этапах выполнения заданий: стратегический диагноз (Задание 1), стратегическое решение (Задание 2) и итоговая защита (Задание 3); для когорты исторического сравнения приведены соответствующие баллы по проектам, где они доступны. (B) Баллы по критериям рубрики итоговой защиты, включая стратегический диагноз, стратегический выбор, осуществимость реализации, инновационность, использование доказательств и устную защиту. (C) Распределение наград только для когорты протокола, так как в когорте исторического сравнения не использовалась полная структура соревнований на основе наград. (D) Паттерн предупреждения о завышении баллов, определяемый как высокая эффективность итоговой защиты при отсутствии подтверждающей диагностической силы или доказательств индивидуального обучения. (E) Балл вклада сверстников и количество случаев дисбаланса вклада представлены в качестве отдельных индикаторов на уровне команд. Пожалуйста, нажмите здесь, чтобы просмотреть увеличенную версию этого рисунка.

Субоптимальные паттерны и показатели для поиска и устранения неисправностей

Две из 23 команд в когорте протокола продемонстрировали заранее определенный паттерн предупреждения о завышении баллов. Эти команды имели относительно высокие итоговые баллы за защиту, но более низкие диагностические баллы по Заданию 1 и ниже среднего индивидуальный прирост знаний. Данный паттерн был отмечен для последующего анализа в следующей итерации курса, а не интерпретирован как свидетельство улучшения обучения. Существенного эффекта потолка не наблюдалось, поскольку исходные баллы знаний были ниже 85 из 100, а исходный уровень удовлетворенности — ниже 4,50 из 5. Посещаемость между когортами была схожей, и систематического дисбаланса вклада участников команды не наблюдалось, хотя три команды в когорте протокола потребовали мониторинга.

В целом, репрезентативные результаты показали, что протокол позволил получить интерпретируемые данные на трех уровнях: точность реализации, доказательства обучения на уровне студентов и показатели эффективности команд в соревновании. Случаи с предупреждающими сигналами подтвердили применимость протокола для мониторинга курса, поиска и устранения неисправностей, а также последующей доработки курса.

Обесличенный набор данных, поддерживающий данное исследование, был размещен на сайте figshare.com и доступен по адресу https://doi.org/10.6084/m9.figshare.33094931. Набор данных включает записи на уровне студентов, записи о соревнованиях на уровне команд, индикаторы реализации, записи о потоке участников, записи аудита пропущенных данных и записи оценок экспертов. Идентификаторы студентов, записи о согласии, файлы связей и идентифицируемые текстовые комментарии не включены.

Дополнительная таблица S1: Процедура обучения экспертов, согласования оценок и устранения расхождений.В данной таблице представлены сведения о назначении экспертов, проверке независимости, ознакомлении с критериями оценки, калибровочном оценивании, проверке согласованности оценок, правилах при наличии разрыва в оценках, процедуре согласования, аудите ввода данных, фиксации оценок и процедуре архивирования.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S2: Матрица устранения неполадок при отклонениях от протокола и неоптимальном выполнении. В этой таблице перечислены отклонения от протокола и примеры неоптимального выполнения, включая триггерные правила, корректирующие действия, необходимые записи и примечания по интерпретации.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительная таблица S3: Структура набора данных и словарь переменных для деидентифицированного образовательного набора данных.В этой таблице определены переменные на уровне студента, команды и занятия, включая коды переменных, описания, типы данных, диапазоны кодирования, источники данных и правила обработки пропущенных данных.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Дополнительный файл 1: Операционные шаблоны, оценочные материалы и рабочая книга с деидентифицированным набором данных. Этот дополнительный файл содержит операционные шаблоны, оценочные материалы, формы подсчета баллов, пункты опроса, проверку дизайна случаев, правила обработки пропущенных данных, структуру рабочей книги с деидентифицированным набором данных, журнал очистки, шаблон резюме анализа и запись контроля версий, используемые для обеспечения воспроизводимости.Пожалуйста, нажмите здесь, чтобы скачать этот файл.

Обсуждение

Данный протокол предлагает воспроизводимый подход к внедрению последовательности «обучение-соревнование» в курс стратегического менеджмента для студентов бакалавриата. Его цель состоит не в том, чтобы просто добавить соревновательное мероприятие в существующий курс, а в том, чтобы превратить соревнование в структурированный процесс совершенствования курса, который связывает стратегическую диагностику, принятие решений, формирующее оценивание, финальную защиту и итоговую оценку по окончании курса. Таким образом, образовательная ценность зависит от дизайна этой последовательности, а не от самого факта наличия соревнования. Деятельность, основанная на соревновании или игровых элементах, может повысить уровень участия, однако ее образовательную ценность становится трудно интерпретировать, если цели обучения, результаты заданий, критерии оценки и записи данных не определены четко¹⁹. Настоящий протокол решает эту проблему, определяя последовательность обучения, рубрики оценивания, период предоставления обратной связи, записи о реализации и структуру деидентифицированных данных, необходимых для репликации.

Центральным принципом проектирования является согласованность. Каждое задание связано с результатом обучения по курсу, темой занятия, результатом работы студента и критерием оценивания. Задание 1 требует от студентов диагностировать стратегическую проблему, Задание 2 — выбрать и обосновать стратегическое решение, а Задание 3 — защитить итоговую стратегию с помощью письменных и устных доказательств. Такая последовательность «диагностика — решение — защита» призвана предотвратить восприятие конкурса студентами лишь как упражнения по созданию презентации. Это также дает студентам многократные возможности пересмотреть свои аргументы перед финальной защитой. Данная структура соответствует исследованиям в области обучения на базе симуляций и эмпирического обучения, согласно которым прикладное обучение оказывается более эффективным, когда студенты участвуют в активных циклах принятия решений, получают обратную связь и объясняют свой выбор, а не просто наблюдают за сценарием или проходят его^20,21.

Для обеспечения надлежащей работы протокола необходимы несколько этапов контроля качества. Во-первых, обратная связь должна предоставляться достаточно своевременно, чтобы повлиять на выполнение следующего задания. Таким образом, 7-дневное окно обратной связи используется как требование к педагогическому дизайну, а не просто как административная цель. Во-вторых, необходимо контролировать качество оценивания. Рубрики могут повысить прозрачность, но только в том случае, если оценивающие имеют общее понимание дескрипторов и требований к доказательствам²². По этой причине протокол включает обучение оценивающих, калибровочное оценивание, проверку разрывов в баллах, мониторинг ICC, примечания по согласованию и блокировку баллов. В-третьих, показатели эффективности команды должны быть отделены от свидетельств индивидуального обучения. Высокий итоговый балл за защиту может отражать качество презентации или неравномерный вклад участников команды, а не широту индивидуальных знаний. Следовательно, в рамках протокола отдельно анализируются баллы за проверку знаний, индивидуальные баллы за анализ кейсов, восприятие студентов, вклад сверстников и командные баллы.

Протокол также включает правила устранения неполадок, поскольку обучение с использованием интегрированных соревнований может давать сбои предсказуемым образом. Обратная связь может быть задержана, вклад участников команды может стать неравномерным, студенты могут слишком полагаться на внешнюю polished-оформленность презентации, а групповые баллы могут вырасти без соответствующего подтверждения индивидуального обучения. Эти риски отслеживаются с помощью журналов обратной связи, записей о вкладе однокурсников, форм раскрытия использования ИИ, устных проверок, данных о согласованности оценок рецензентов и правил предупреждения о завышении баллов. Компоненты раскрытия использования ИИ и устной проверки особенно важны, так как студенты могут использовать цифровые инструменты для улучшения языка, форматирования или мозгового штурма, однако они по-прежнему должны продемонстрировать собственное стратегическое мышление. Протокол не запрещает любую поддержку ИИ, но требует раскрытия информации и защищает основную задачу обучения: студенты должны быть способны объяснить диагноз, привести доказательства, описать логику принятия решения, риски реализации и итоговую рекомендацию.

Протокол может быть адаптирован под особенности конкретного учебного заведения, однако основная последовательность этапов должна быть сохранена. В случае отсутствия платформы для бизнес-симуляции в качестве замены раунда симуляции может быть использован структурированный лист принятия решений. Если корпоративные менторы не могут присутствовать, допускается использование анонимизированного кейса, публичного брифинга по кейсу или записанного комментария ментора. Для больших групп могут потребоваться параллельные судейские коллегии и стандартизированные шаблоны обратной связи, в то время как для меньших групп возможны более длительные сессии защиты. Данные адаптации должны быть задокументированы, поскольку протоколы улучшения курса зависят не только от дидактической идеи, но и от точности реализации, поддержки преподавателя, условий оценивания и полноты данных²³. Основным требованием является сохранение в курсе взаимосвязанной последовательности: диагностика, принятие решения, защита, обратная связь и оценка.

Следует признать ряд ограничений. Данный протокол направлен на улучшение курса и не является рандомизированным контролируемым исследованием. Таким образом, различия между когортой протокола и контрольной когортой следует интерпретировать как результаты внедрения и оценки, а не как причинное доказательство эффективности. Исторические или параллельные контрольные когорты могут отличаться по составу студентов, динамике в классе, институциональным срокам или условиям аттестации. Итоговые баллы за курс также являются вторичными результатами, поскольку они могут включать рутинные компоненты курса, помимо конкурсных заданий. Кроме того, результаты на уровне команд не могут быть использованы в качестве замены результатов обучения на уровне отдельных студентов. Эти ограничения учитываются путем раздельного представления данных о точности реализации, показателях качества обучения, результатах на уровне студентов, результатах на уровне команд, нагрузке и закономерностях возникновения предупреждений²⁴.

Данный протокол наиболее подходящ для курсов, в которых студенты должны связать концептуальные знания с прикладным управленческим суждением. Стратегический менеджмент является естественной средой для этого, так как от студентов ожидается анализ внешней среды, оценка ресурсов, сравнение стратегических вариантов и обоснование выбора способов реализации. Аналогичную структуру можно адаптировать для курсов по предпринимательству, маркетинговой стратегии, управлению инновациями, проектированию бизнес-моделей и других управленческих дисциплин, требующих принятия решений на основе фактических данных. Более широкий вклад данного метода носит практический характер: он предоставляет преподавателям проверяемый способ документирования того, как осуществлялись внедрение, мониторинг, оценка, деидентификация, анализ и пересмотр деятельности по улучшению курса. В управленческом образовании эмпирическое обучение часто ценится за реалистичность, однако его процедуры не всегда описываются достаточно детально для воспроизведения. Настоящий протокол устраняет этот пробел, объединяя точность реализации, согласованность оценки, управление данными и поиск неисправностей в единый воспроизводимый процесс²⁵.

Материалы

Список материалов, использованных в этой статье

Имя	Компания	Каталожный номер	Комментарии
Форма раскрытия использования ИИ	Разработанный авторами	Раскрытие информации об использовании ИИ-v1.0; Дополнительный файл 1	В отчетах было указано использование ИИ для каждого основного документа, представленного на рассмотрение
Базовый тест по знаниям в области стратегического менеджмента	Разработано автором	SMKT-Pre-v1.0; Дополнительный файл 1	Оценка базового уровня знаний на 1-й неделе
Контрольный список для наблюдения за учебным процессом в аудитории	Разработано автором	Наблюдение-v1.0; Дополнительный файл 1	Регистрация качества взаимодействия в классе и процесса обучения
Журнал очистки	Разработанный автором	Журнал-очистки-v1.0; Дополнительный файл 1	Проверка данных, внесение исправлений, исключение данных и блокировка наборов данных
Руководство для участников конкурса	Разработанный автором	Руководство-v1.0; Дополнительный файл 1	Определяет последовательность выполнения заданий, правила подачи работ, критерии оценивания, раскрытие использования ИИ, устные проверки, порядок апелляций и сроки исполнения
Словарь данных	Разработано автором	Словарь данных-v1.0; Дополнительная таблица 2	Определяет переменные, диапазоны кодирования, источники данных и правила обработки пропущенных данных
Рабочая книга деидентифицированного набора данных	Разработанный автором	Набор данных-Рабочая тетрадь-v1.0; Дополнительный файл 1	Содержит переменные на уровне студента, уровне команды и уровне учебного занятия
Пакет корпоративных или анонимизированных клинических случаев	Разработанный автором или утвержденный организацией	CasePack-v1.0; Дополнительный файл 1	Обеспечивает контекст для принятия стратегических решений
Шаблон слайдов для финальной защиты	Разработанный автором	FSD-Template-v1.0; Дополнительный файл 1	Структура презентации для Задания 3 Руководства
Форма оценки итоговой защиты стратегии	Разработано авторами	FSDSF-v1.0; Дополнительный файл 1	Регистрирует баллы экспертов по заданию 3 и Q&оценка amp;A
IBM SPSS Statistics	IBM	Версия 27.0; институциональная или персональная лицензия	Описательная статистика, сравнение групп, величины эффекта и анализ коэффициента внутриклассовой корреляции (ICC)
Лист задания для индивидуального анализа клинического случая	Разработанный авторами	ICATS-v1.0; Дополнительный файл 1	Определяет требования к анализу отдельных случаев и области оценки
Ключи к тесту по проверке знаний	Разработано авторами	SMKT-Key-v1.0; Дополнительный файл 1	Поддерживает подсчет баллов за тест на проверку знаний
Microsoft Excel	Microsoft	Excel 2021; институциональная или персональная лицензия	Ввод данных, словарь данных, журнал очистки данных, подготовка таблиц и проверка исходных данных
Форма регистрации результатов полости рта	Разработанный автором	Oral-Check-v1.0; Дополнительный файл 1	Регистрирует ответы и вопросы в ходе индивидуальных устных проверок
Форма подтверждения вклада авторов	Разработано авторами	PCF-v1.0; Дополнительный файл 1	Регистрация вклада коллег и дисбаланса вкладов
Опрос по итогам обучения	Разработанный автором	PCLS-v1.0; Дополнительный файл 1	Оценивает удовлетворенность, релевантность, полезность обратной связи, сотрудничество, рабочую нагрузку и воспринимаемое улучшение
Итоговый тест по курсу «Стратегический менеджмент»	Разработано автором	SMKT-Post-v1.0; Дополнительный файл 1	Оценка знаний по окончании курса на 16-й неделе с использованием эквивалентной формы теста
Файл для обучения экспертов-оценщиков	Разработано автором	Обучение экспертов-оценщиков-v1.0; Дополнительный файл 1	Предоставляет калибровочные файлы, дескрипторы, примеры и типичные ошибки при подсчете результатов
Файл с результатами статистической обработки	Сгенерировано программным обеспечением	Статистические данные-v1.0; архивировано с заблокированной папкой анализа	Сохраняет статистические результаты вместе с файлом анализа и версией набора данных
Лист принятия стратегических решений	Разработан авторами	SDS-v1.0; Дополнительный файл 1	Результат принятия решения по Задаче 2 для руководств
Шаблон отчета о стратегической диагностике	Разработанный авторами	SDR-Template-v1.0; Дополнительный файл 1	Структура отчета по заданию 1 руководства
Файл связи кодов студентов	Файл с ограниченным доступом, разработанный автором	Связь-код-студента-v1.0; хранится отдельно менеджером данных	Связывает личность студента и исследовательский код до проведения деидентификации
Контрольный список согласования задания и критериев оценивания	Разработанный авторами	Выравнивание-v1.0; Дополнительный файл 1	Проверка согласованности между ожидаемыми результатами обучения, результатами выполнения заданий, критериями оценивания и пунктами обратной связи
Шаблон устава команды	Разработанный автором	Устав команды-v1.0; Дополнительный файл 1	Фиксирует распределение ролей, правила коммуникации, сроки и ожидания по вкладу каждого участника
Журнал процессов команды	Разработано автором	Журнал командных процессов-v1.0; Дополнительный файл 1	Регистрация посещаемости совещаний, принятых решений, прогресса, проблем и последующих действий
Таблица контроля версий	Разработано автором	Версия-контроля-v1.0; Дополнительный файл 1	Отслеживает номер версии, дату, редактора, причину и статус утверждения
Онлайн-платформа для опросов Wenjuanxing	Wenjuanxing	Веб-платформа; доступ через институциональную или пользовательскую учетную запись	Исходный опрос, итоговый опрос по окончании курса, форма оценки вклада коллег и выгрузки с раскрытием использования ИИ