전략 경영 교육에 과정 기반 경진대회 통합하기: 재현 가능한 강의 개선 프로토콜

요약

본 프로토콜은 단계별 팀 과제, 구조화된 피드백, 평가자 교육, 실행 충실도 모니터링, 그리고 학생 및 팀 수준의 개별 결과 검토를 통해 학부 전략 경영 수업에 진단-결정-방어 경쟁 시퀀스를 통합하는 방법을 제시합니다.

초록

전략 경영 교육은 학생들이 불확실하고 자원이 제한적이며 트레이드오프(trade-off)가 발생하는 비즈니스 상황에 분석적 프레임워크를 적용하도록 요구합니다. 강의 내 경진대회는 이를 단순한 일회성 발표 활동이 아닌 구조화된 교수법 시스템으로 조직할 때 이러한 학습 과정을 지원할 수 있습니다. 본 논문은 학부 전략 경영 과정에 3단계 기반의 강의 내 경진대회를 통합하기 위한 재현 가능한 프로토콜을 설명합니다. 이 프로토콜은 기초 평가, 핵심 강의, 기업 사례 소개, 팀 구성, 전략적 진단, 전략적 의사결정 시뮬레이션 또는 의사결정 시트 작성, 최종 전략 방어, 강의 후 평가 및 강의 검토를 포함하는 16주 과정을 따릅니다. 교육 기제는 단계별 연습, 기업 사례 노출, 구조화된 형성적 피드백, 팀 책임감, 구술 방어 및 루브릭 기반 채점을 결합한 형태입니다. 강의실 상호작용, 사례 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도, 학생 참여도 및 구현 충실도를 모니터링하기 위해 국소적으로 운용되는 프로세스 지표가 사용됩니다. 분석 단위의 오류를 방지하기 위해 학생 수준의 성과, 팀 수준의 경진대회 결과, 평가자 간 일치도, 결측 데이터 패턴, 인공지능 사용 공개 여부 및 점수 인플레이션 경고 패턴을 각각 별도로 분석합니다. 대표 결과가 보고될 때, 이는 소급적이고 비무작위적인 교육 기록 비교를 통한 상황 특정적 구현 결과로 해석해야 하며, 인과적 효과의 증거로 해석해서는 안 됩니다. 본 프로토콜은 강의 개선 주기 내에서 경진대회가 통합된 전략 경영 교육을 설계, 구현, 문서화, 평가 및 개선하기 위한 감사 가능한 절차를 제공합니다.

서론

전략 경영 과정은 학생들이 단순한 개념 회상을 넘어선 능력을 갖출 것을 요구합니다. 학생들은 불완전한 정보와 상충하는 우선순위가 존재하는 조건 하에서 산업 구조, 경쟁 우위, 자원 배분, 전략적 선택 및 실행과 같은 아이디어들을 적용할 수 있어야 합니다. 경쟁 포지셔닝은 기업이 외부 제약 조건 하에서 어떻게 포지션을 선택하는지를 설명하는 반면¹, 자원 기반 관점은 전략적 옵션을 형성하는 기업 특유의 자원과 역량을 강조합니다². 이러한 관점들 덕분에 전략 경영은 학생들이 비즈니스 상황을 진단하고, 전략적 선택을 내리며, 그 선택을 옹호하고, 피드백을 받은 후 논리를 수정하는 응용 교육 설계에 적합합니다. 강의와 개별적인 사례 토론도 여전히 유용하지만, 학생들이 불확실성, 트레이드오프 및 실행 제약을 어떻게 논리적으로 해결하는지 완전히 드러내지 못할 수 있습니다. 과정 기반의 경쟁은 교육 목표, 과제 순서, 채점 기준 및 피드백 주기와 연결될 때만 더욱 도전적인 학습 환경을 조성할 수 있습니다. 이러한 요소들이 없다면, 경쟁은 전략적 추론보다는 발표의 자신감이나 과제 분담 능력에 보상을 주는 결과로 이어질 수 있습니다.

비즈니스 게임 및 시뮬레이션에 관한 선행 연구에 따르면, 이러한 활동이 단순한 강의실 오락이 아닌 교육적 방법으로 기능하기 위해서는 명시적인 규칙, 의사결정 주기, 평가 근거 및 디브리핑이 필요함이 밝혀졌습니다^3,4. 능동적 학습은 단순히 활동 자체보다는 과제 설계에 따라 달라집니다. 학생들은 개념을 피상적으로 적용하면서도 참여하는 것처럼 보일 수 있습니다. 따라서 구조화된 전략 경영 경진대회는 학생들이 상황을 분석하고, 결정의 타당성을 입증하며, 형성적 피드백을 받고, 논거를 수정하며, 실행 계획을 옹호하도록 요구해야 합니다. 이러한 과정은 학생들이 단순히 지시를 듣는 것이 아니라 스스로 논거를 생성, 테스트 및 정교화하기 때문에 능동적 학습 원리를 반영합니다⁵. 또한 경진대회 주기가 구체적인 사례 노출, 성찰적 분석, 의사결정 및 수정된 행동을 연결하므로 경험 학습을 반영하기도 합니다⁶.

출판된 비즈니스 시뮬레이션 및 경진대회 보고서들은 절차적 세부 사항에서 매우 큰 차이를 보입니다. 일부 보고서는 시뮬레이션이나 경진대회의 사용에 대해 설명하지만, 팀 구성, 과제 단계 설정, 피드백 타이밍, 평가자 교육, 루브릭 작성, 결측 데이터 처리 또는 개인 및 팀 성과의 구분과 관련된 정보는 제한적으로 제공합니다. 이전의 리뷰와 분류 체계에서도 비즈니스 게임이 단일한 교육 방법이 아님이 밝혀졌으며, 이들은 규칙, 충실도, 학습자 역할, 의사결정 구조, 기술 활용, 평가 설계 및 디브리핑 절차에서 서로 다릅니다^7,8. 따라서 재현 가능한 전략 경영 프로토콜은 경진대회가 개최되었다는 사실뿐만 아니라, 해당 경진대회가 어떻게 교과 과정에 통합되었으며 그 실행 과정이 어떻게 모니터링되었는지를 명시해야 합니다.

본 프로토콜은 다성분 경쟁 통합형 강의 개선 패키지로 이해하는 것이 가장 적절합니다. 본 프로토콜에는 기업 사례 노출, 반복 실습, 구조화된 피드백, 팀 책임성, 공개 방어, 평가자 보정 및 체계적인 강의 검토가 포함되어 있으므로, 기대되는 교육적 효과를 단순히 경쟁의 결과로만 돌릴 수는 없습니다. 경쟁 요소는 마감 기한, 비교, 책임성 및 공개적 정당화를 생성한다는 점에서 교육적으로 유용하지만, 이러한 요소들은 단계별 학습 과제 및 평가 제어 장치와 의도적으로 결합되어 있습니다. 이 절차는 기존의 경험 중심, 시뮬레이션 기반 및 경쟁 기반 전략 경영 교수법과 세 가지 면에서 차이가 있습니다. 첫째, 경쟁이 단일 최종 발표에 집중되지 않고 진단, 결정, 최종 방어 단계에 걸쳐 단계적으로 진행됩니다. 둘째, 학습 성과를 해석하기 전 실행 충실도를 모니터링합니다. 셋째, 학생 수준의 학습 성과를 팀 수준의 경쟁 결과와 분리합니다. 이러한 구분은 팀이 최종 방어에서 좋은 성과를 거두더라도 일부 구성원은 개별 학습 정도가 제한적일 수 있기 때문에 중요합니다. 팀 학습은 단순한 그룹 멤버십이 아니라 책임성, 상호작용 및 공유된 추론을 필요로 합니다⁹. 따라서 본 프로토콜에서는 팀 헌장, 프로세스 로그, 동료 기여도 양식, 평가자 교육, 평가자 일치도 확인 및 점수 인플레이션 경고 규칙을 사용합니다.

본 프로토콜은 중국 주하이 과학기술대학교 경영대학의 학부 전략 경영 과정의 정규 교육 활동으로 실시되었습니다. 프로토콜 코호트는 2025-2026학년도 가을 학기 SM-2025-F01 강좌 섹션에서 교육을 받았습니다. 비교 코호트는 2024-2025학년도 가을 학기 SM-2024-F01 강좌 섹션에서 교육을 받은 과거 코호트였습니다. 프로토콜 강좌 섹션에는 96명의 학생이 등록하였으며, 윤리 승인 후 연구 데이터 세트에 포함되기 전 94명의 학생이 비식별화된 강의 기록의 연구용 사용에 대해 서면 또는 전자 동의서를 제출하였습니다. 8주 이전에 수강을 철회했거나 유효한 사후 결과가 없는 학생 2명을 제외하여, 최종적으로 92명의 학생이 분석용 프로토콜 코호트를 구성하였습니다. 과거 비교 섹션에는 92명의 학생이 등록하였으며, 윤리 승인 후 소급 추출 전 90명의 학생이 비식별화된 강의 기록의 연구용 사용에 동의하였습니다. 동일한 결측 데이터 및 철회 규칙을 적용하여 2명을 제외하였으며, 최종적으로 88명의 학생이 분석용 비교 코호트를 구성하였습니다.

두 코호트 모두 경영학 전공 3학년 학부생으로 구성되었습니다. 전공으로는 경영학, 마케팅, 이커머스 및 국제경영학이 포함되었습니다. 프로토콜 코호트는 여성 51명과 남성 41명의 학생으로 구성되었으며, 평균 연령은 20.4 ± 0.7세였습니다. 대조 코호트는 여성 49명과 남성 39명의 학생으로 구성되었으며, 평균 연령은 20.5 ± 0.8세였습니다. 이전의 대회 참여 경험은 프로토콜 코호트에서 27명, 대조 코호트에서 24명의 학생이 보고하였습니다. 최종 분석 전 탈락률은 프로토콜 코호트에서 4.2%, 대조 코호트에서 4.3%였습니다. 프로토콜 코호트의 결측치 수는 기초 지식 테스트 2건, 과정 후 지식 테스트 3건, 과정 후 학습 설문 4건, 불완전한 대회 과제 기록 4건이었습니다. 대조 코호트의 결측치 수는 기초 지식 테스트 3건, 과정 후 지식 테스트 4건, 과정 후 학습 설문 5건, 불완전한 대회 과제 기록 70건이었는데, 이는 과거의 교육 과정에 3단계 전체 대회 프로세스가 포함되지 않았기 때문입니다.

대조군 코호트는 완전한 3단계 경쟁 시퀀스가 없는 기존의 사례 기반 전략 경영 수업을 받았습니다. 두 코호트 모두 동일한 강사가 지도하였습니다. 두 코호트는 유사한 강의 학습 성과, 핵심 전략 경영 주제, 지식 평가 범위, 개별 사례 분석 평가 및 최종 강의 성적 산출 구조를 적용하였습니다. 실험군 코호트는 이에 더해 기업 사례 패키지, 단계별 경쟁 과제, 구조화된 피드백 사이클, 공식 팀 프로세스 기록, 평가자 교육 절차 및 실행 충실도 모니터링을 추가로 제공받았습니다. 본 논문은 인과적 효과에 대한 주장보다는 재현 가능한 강의 개선 방법으로서의 프로토콜을 설명합니다. 대표적인 결과는 해당 프로토콜을 통해 생성된 실행 유형, 교육의 질, 학생 수준 및 팀 수준의 결과, 채점 신뢰도, 누락 데이터 및 문제 해결 출력물을 보여줍니다. 본 비교는 과거 데이터 기반의 비무작위 및 특정 상황 기반 연구이므로, 코호트 간의 차이는 단일 실행 맥락 내에서의 강의 개선 증거로 해석해야 하며, 강의 기반 경쟁만으로 관찰된 결과가 도출되었다는 증거로 해석해서는 안 됩니다.

이 프로토콜의 광범위한 목적은 교육자가 경쟁 통합형 전략 경영 교육을 설계, 문서화, 평가 및 개선하는 것을 돕는 것입니다. 이는 교수 활동, 학생 결과물, 채점 루브릭, 실행 기록 및 강의 검토 결정 사항을 연결함으로써 학습 보증을 지원합니다¹⁰. 또한, 과업 설계, 피드백 품질 및 평가 타당성에 충분한 주의를 기울이지 않고 동기 부여만을 강조할 경우 게임과 같은 요소가 엇갈린 결과를 초래할 수 있다는 게이미피케이션 및 경쟁 학습 연구의 우려 사항을 다룹니다^11,12. 예상되는 결과물에는 실행 기록, 지역적으로 실행 가능한 교육 품질 지표, 학생 수준의 학습 성과, 팀 수준의 경쟁 결과, 평가자 간 일치 증거, 인공지능 사용 공개 내역, 누락 데이터 문서 및 문제 해결 기록이 포함됩니다.

프로토콜

두 코호트의 비식별화된 교육 기록의 연구 사용은 중국 주하이의 주하이 과학기술대학 교육연구윤리위원회의 승인을 받았습니다 (승인 번호 20260507001; 승인 날짜: 2026년 5월 7일). 해당 승인은 일반 강의 기록, 설문 조사, 강의실 관찰, 팀 프로세스 기록, 경진대회 점수, 평가자 점수, 학습 플랫폼 기록 및 비식별화된 성적부 변수를 포함하여 프로토콜 코호트와 과거 비교 코호트 모두를 대상으로 하였습니다. 16주 과정의 강의는 연구를 위한 데이터 추출 전에 일반적인 전략 경영 강의로 제공되었으며, 윤리 승인 전에는 식별 가능한 연구 데이터 세트를 추출, 코딩, 분석 또는 보고하지 않았습니다. 비식별화된 강의 기록의 연구 사용에 대한 서면 또는 전자 동의서는 윤리 승인 후 데이터 세트 포함 전에 수집되었습니다. 강의 참여는 연구 데이터 사용과 분리되었습니다. 동의하지 않은 학생들은 정상적으로 강의를 수료하였으나 연구 분석에서는 제외되었습니다. 동의 기록은 성적부와 별도로 보관되었으며, 코드-식별자 파일은 데이터 관리자로 접근이 제한되었습니다. 분석 가능 데이터 세트는 성적 제출, 동의 확인, 코드 할당, 직접 식별자 및 식별 가능한 자유 텍스트 의견 제거 후에만 생성되었습니다.

1. 경진대회 통합 교과과정 개선 프로토콜을 수립합니다.

1. 본 프로토콜을 학부 전략경영 과정의 16주 경쟁 통합형 강의 개선 프로세스로 정의합니다. 교육 메커니즘은 전략적 분석, 증거 기반 의사결정, 피드백, 팀 책임감, 구술 방어 및 강의 검토를 연결하는 단계적 진단-결정-방어 사이클로 구성됩니다.
2. 교육의 질을 강의실 상호작용, 케이스 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도 및 학생 참여도로 정의합니다. 실행 충실도는 계획된 활동 완료 여부, 기업 또는 케이스 세션 완료 여부, 과제 완료 여부, 피드백 회신 속도, 루브릭 작성 완료 여부, 관찰 완료 여부 및 평가자 교육 완료 여부를 통해 정의합니다. 신뢰도와 차원적 근거가 집계(aggregation)를 뒷받침하는 경우에만 지표를 통합합니다.
3. 구성적 정렬(constructive alignment)¹³을 유지하기 위해 강의 전달 전 학습 결과, 교수 활동, 경쟁 과제, 루브릭, 피드백 시점 및 성과 측정 지표를 정렬합니다.
4. 강의 담당 교수, 경쟁 코디네이터, 기업 연락 담당자, 강의실 관찰자, 평가 코디네이터 및 데이터 관리자의 역할을 배정합니다. 소규모 프로그램에서는 교수 역할이 통합될 수 있으나, 데이터 관리자는 가능한 한 최종 성적 산출 및 연구 데이터셋 준비 과정에서 독립된 상태를 유지해야 합니다.
5. 강의 계획서, 케이스 파일, 핸드북, 과제 템플릿, 루브릭, 관찰 양식, 설문지, 팀 기록, 채점표, 피드백 로그, AI 사용 공개 양식 및 버전 관리 기록이 포함된 버전 제어 강의 실행 폴더를 준비합니다. 윤리 승인 후, 승인 기록, 동의 확인 기록, 비식별화 로그, 비식별화 데이터셋, 데이터 딕셔너리, 클리닝 로그, 분석 스크립트, 통계 출력물, 그림 소스 파일, 표 및 보충 파일(그림 1 및 재료 표; 운영 템플릿은 보충 파일 1에 제공됨)이 포함된 연구 재현성 폴더를 생성합니다.

그림 1: 경쟁 통합형 전략 경영 강의 개선 프로토콜의 워크플로.이 워크플로는 강의 준비부터 16주간의 정규 강의 실시, 정규 교육 기록 생성, 성적 제출, 윤리 승인된 연구용 준비, 동의 확인, 비식별화, 데이터셋 잠금, 분석, 보고, 문제 해결 및 강의 개선에 이르는 순서를 보여줍니다. 이 그림은 정규 교수 활동과 성적 제출 후의 연구 데이터 추출 및 분석 과정을 구분하여 나타냅니다. 여기를 클릭하여 이 그림의 확대 버전을 확인하십시오.

2. 학생 코호트를 모집하고 연구 데이터셋을 준비합니다.

1. 선정된 학부 전략 경영(Strategic Management) 분반에 정식으로 등록된 학생들을 포함한다. 기관, 학년도, 학기, 분반, 코호트 유형, 전공, 학년, 교육 주수, 접촉 시간, 등록 인원, 동의한 표본, 제외 대상, 최종 분석 표본, 인구통계학적 특성, 이전 경진대회 경험, 중도 탈락 및 결측 데이터 수를 기록한다.
2. 프로토콜 코호트를 전체 경진대회 통합 프로토콜을 적용받은 수업으로 정의하고, 비교 코호트를 3단계 경진대회 시퀀스가 없는 기존의 사례 기반 전략 경영 교육을 받은 과거 수업으로 정의한다. 동일한 강사가 두 코호트를 모두 가르쳤는지 여부와 학습 결과, 평가 범위, 개별 사례 분석 요구 사항 및 성적 산출 구조가 유사했는지 기록한다.
3. 윤리 승인 후, 동의 여부를 확인하고 식별 불가능한 학생 및 팀 코드를 할당하며, 직접 식별자를 제거하고 Table 1에 명시된 포함, 제외 및 결측 데이터 규칙을 적용한다.
4. 최소 하나 이상의 유효한 교육 후 결과물이 있는 동의 학생들을 포함한다. 두 지식 테스트 중 하나라도 누락된 경우 짝지은 지식 분석(paired knowledge analysis)에서 제외하고, 세 가지 과제 기록이 모두 누락된 경우 경진대회 관련 분석에서 제외한다. 그 외 적격한 분석을 위해 사용 가능한 기록은 유지한다.
5. 결측 연구 데이터는 NA로 코딩한다. 승인된 강의 정책에 따라 실제 강의 점수가 0점인 경우가 아니면 0을 할당하지 않는다. 각 코호트별로 참여자 흐름 기록을 생성한다.

항목	조작적 정의	적용 규칙	데이터 세트 변수	분석적 시사점
대상 과정	해당 학기에 개설된 학부 전략 경영 과정	선택한 강좌 분반에 정식으로 등록된 학생들을 포함하십시오.	강의 섹션	적격 교육 대상 인구를 정의합니다
프로토콜 코호트	전체 경쟁 통합 과정 개선 프로토콜을 적용받은 학급	1로 코드화함	코호트 유형	프로토콜 코호트
역사적 대조군 코호트	전체 3단계 경쟁 과정 없이 전통적인 사례 기반 전략 경영 교육을 받은 과거 대조군 학급	0으로 코딩함	코호트 유형	비무작위적 과거 대조군 코호트
공식 등록	학생이 공식 수강 명단에 기재되어 있음	잠재적 적격자로 선별함	적격 상태	연구용 스크리닝 전 필수 단계
연구 동의	학생은 윤리 위원회의 승인 후, 비식별화된 강의 기록 사용에 대해 서면 또는 전자적 동의를 제공한다.	동의한 학생들만 연구 데이터 세트에 포함하십시오.	동의 상태	동의하지 않은 학생들은 코스를 정상적으로 이수하지만, 연구 분석 대상에서는 제외됩니다.
강의 참여도	연구 동의 여부와 관계없이 완료된 일상적인 교과 과정 학습 활동	모든 등록 학생이 수업에 참여하고, 팀에 합류하며, 코스 과제를 수행하고, 성적을 받을 수 있도록 허용하십시오.	강좌 참여 상태	교육 참여와 연구 참여를 구분함
유효한 교육 과정 후 성과	최소 하나 이상의 유효한 과정 후 결과가 제공됩니다.	해당 결과값을 사용할 수 있는 분석에 포함시키십시오.	결과 이용 가능함	가용 사례 분석(available-case analysis)이 가능함
학기 중간 지점 이전의 수강 철회	학생이 8주 차 이전에 철회함	최종 연구 데이터 세트에서 제외하십시오	철회 상태	불완전 노출 편향을 감소시킴
누락된 기초 지식 테스트	1주 차 지식 테스트가 누락되었습니다.	NA로 코딩하십시오	사전 지식 누락	쌍 결합 지식 분석에서만 제외
누락된 과정 후 지식 테스트	16주 차 지식 테스트가 누락되었습니다.	NA로 코딩함	사후 지식 누락	쌍을 이룬 지식 분석에서만 제외
두 지식 테스트 모두 누락됨	기초 및 과정 후 지식 점수가 모두 누락되었습니다.	지식 점수 분석에서 제외	지식 쌍 상태	데이터가 있는 경우, 다른 적격 분석을 위해 보존하십시오.
누락된 과정 후 설문조사	익명 강의 후 설문조사가 누락되었습니다.	NA로 코딩함	설문조사 누락	객관적 성능 분석 시 유지함
하나 또는 두 개의 경쟁 과제 기록 누락	하나 또는 두 개의 작업 혹은 매핑된 프로젝트 기록이 누락되었습니다.	강의 정책에서 0점으로 처리하도록 규정하지 않은 한, 누락된 기록은 NA로 코딩하십시오.	작업 점수 누락	사용 가능한 작업 또는 매핑된 프로젝트 기록 유지
세 가지 경쟁 과제 기록 모두 누락됨	작업 1, 작업 2 또는 작업 3에 대한 유효한 기록이 없습니다.	경쟁 관련 분석에서 제외	경쟁 완료	다른 결과물이 있는 경우, 비경쟁 분석을 위해 유지하십시오.
중복 기록	동일한 학생 코드에 대해 두 개 이상의 행이 나타납니다.	소스 파일 확인 후 검증된 최종 기록을 유지하십시오.	중복 확인	분석 전 분리
식별자 누출	성명, 학번, 전화번호, 이메일, 플랫폼 계정, 기기 식별자 또는 식별 가능한 자유 형식 텍스트 의견이 나타남	분석 전 식별자 제거	식별자 확인	비식별화 전까지는 데이터셋을 분석할 수 없습니다.
최종 분석 시료	제외 기준 및 결측 데이터 규칙 적용 후 사용 가능한 데이터를 보유한 동의 학생 수	최종 수치 및 제외 사유를 보고하십시오.	분석 시료	참가자 흐름 보고에 필요함

표 1: 코호트 구조, 선정 기준, 제외 기준 및 결측 데이터 규칙.이 표는 프로토콜 코호트, 역사적 대조 코호트, 적격성 기준, 연구 이용 허가, 제외 기준, 결측 데이터 처리 및 분석 샘플 구성을 정의합니다.

3. 16주 과정 시퀀스를 시행합니다.

1. 본 과정은 16주의 교육 기간 동안 진행하며, 32시간의 강의실 대면 수업과 약 24-30시간의 독립적인 팀워크 시간을 갖습니다. 강의 시간, 팀워크 시간, 케이스 상호작용, 피드백, 리허설 및 평가 시간을 각각 별도로 기록하십시오.
2. 1주 차에는 정규 과정 활동으로 과정 브리핑, 기초 지식 테스트 및 기초 참여도 설문조사를 실시합니다. 과정 진행 절차, 과제 순서, 평가 규칙, 데이터 보호 원칙 및 익명화된 기록의 향후 연구 활용에 대해 설명하십시오. 2-3주 차에는 전략 경영 핵심 강의를 진행하고, 4-15주 차 동안 짧은 개념 강화 학습을 실시합니다.
3. 4주 차에는 과제 순서, 제출 규칙, 루브릭, 피드백 일정, 팀 책임, 학문적 정직성 규칙, AI 공개, 구두 확인 절차 및 이의 제기 프로세스가 포함된 기업 케이스 패키지와 경진대회 핸드북을 소개합니다.
4. 5-6주 차에 과제 1을 실시하고, 7주 차에 7일(달력 기준) 이내에 피드백을 제공합니다. 과제 2를 수행하기 전 전략적 이슈 진술서의 수정을 요구하십시오¹⁴. 8-10주 차에 과제 2를 실시하고, 11주 차에 기업 멘토 또는 구조화된 케이스 코칭을 진행하며, 12-15주 차에 과제 3을 실시합니다.
5. 16주 차에는 정규 과정 활동으로 과정 후 지식 테스트, 과정 후 설문조사, 데이터 감사 및 과정 리뷰를 실시합니다. 연구용 기록의 수출, 코딩, 익명화 및 분석은 윤리 승인, 동의 확인 및 성적 제출이 완료된 후에만 수행하십시오 (표 2 참조).
   일시 중단 지점: 팀 배정, 케이스 파일, 핸드북, 루브릭, AI 공개 양식, 과제 템플릿 또는 데이터 기록 양식이 미비한 경우 4주 차 이후에 일시 중단하십시오. 연구 보고를 위한 분석은 윤리 승인, 동의 확인, 성적 제출, 익명화 및 데이터 세트 잠금이 완료될 때까지 중단하십시오.

주	활동	교육적 중점 사항	학생 또는 팀 결과물	필수 기록물	품질 검사
1주 차	강좌 브리핑 및 기초 평가	강의 프로세스, 평가 규칙, 기초 지식 테스트, 기초 참여도 조사	기초 지식 테스트; 기초 설문조사	출석부; 기초 수준 테스트 파일; 기초 설문조사 파일; 강의 브리핑 기록	기초 평가 완료 여부를 확인하고, 일상적인 강의 기록과 추후 연구용 기록을 분리하십시오.
2주 차	핵심 전략 경영 지침 I	환경 분석, 산업 분석, 경쟁사 분석	수업용 워크시트	출석; 워크시트 기록	워크시트 작성 완료 여부 확인
3주 차	핵심 전략 경영 교육 II	내부 자원 분석, 전략적 선택, 실행 계획, 성과 평가	단례 토론 답변	출석; 케이스 토론 기록	경연 시작 전 핵심 개념 확인
4주 차	기업 사례 소개 및 경진대회 브리핑	케이스 패키지, 핸드북, 과업 순서, 루브릭, AI 공개, 팀 규칙, 이의 제기 절차	팀 명단; 팀 헌장; AI 사용 확인서	팀 명단; 팀 헌장; 핸드북 접근 기록; 케이스 접근 기록	케이스 파일, 핸드북, 루브릭, 팀 기록, 작업 템플릿 또는 AI 사용 양식이 불완전한 경우 일시 중단하십시오.
5주 차	작업 1 시작	전략적 진단 보고서 구조 및 증거 요구사항	전략 진단 보고서 초안	팀 프로세스 로그; 협의 기록	팀 역할 배정 확인
6주차	과제 1 제출	전략적 진단, 산업 및 내부 분석, 증거 활용	최종 과제 1 보고서	제출 기록; 보고서 파일	누락되었거나 형식이 잘못된 제출물 식별
7주차	작업 1 피드백	루브릭 기반 피드백 및 수정 방향	수정된 전략적 현안 진술서	피드백 로그; 피드백 처리 기록	~할 경우 일시 중지하십시오 >보고서의 15%가 요구되는 구조를 충족하지 못함
8주 차	작업 2 시작	결정 시트, 시뮬레이션 가정, 결정 변수	초기 전략 결정서	팀 프로세스 로그; 관찰 기록	결정 변수에 대한 이해 확인
9주차	전략적 의사결정 정교화	시장 포지셔닝, 자원 배분, 실행 순서, 리스크 가정	수정된 결정 시트	코칭 기록; 관찰 체크리스트	근거 기반으로 정당성을 확인하십시오
10주 차	과제 2 제출	최종 전략적 결정 로직	최종 과제 2 결정 시트	과제 2 점수; 제출 기록; 결정서 파일	제출 완료 여부 확인
11주 차	기업 또는 구조화된 사례 코칭	전략적 딜레마에 대한 멘토 또는 사례 기반 피드백	멘토 성찰 시트; 팀 수정 계획서	기업 참여 로그, 학생 질문, 성찰 기록	출석 및 성찰 일지 작성 완료 확인
12주 차	과제 3 시작	최종 심사 형식, 요약 보고서, 슬라이드 구성, 질의응답&A 규칙	발표 개요 초안	팀 프로세스 로그; AI 공개 업데이트	동료 기여도 양식을 사용하여 업무 부하 균형 확인
13주 차	최종 심사 준비	전략적 일관성, 실행 가능성, 리스크 관리, 증거 활용	슬라이드 덱 초안; 요약 보고서	코칭 로그; 관찰 체크리스트	진단-선택-실행 연결 확인
14주차	리허설 및 평가자 보정	시연 방어 및 평가자 교육	리허설 발표	평가자 교육 기록; 예비 루브릭 확인	점수 보정 확인
15주차	최종 전략 방어	8분 발표 및 5분 질의응답&A	최종 슬라이드 덱; 요약 보고서; 구두 심사	과제 3 점수; 평가자 점수; Q&A 노트	중첩된 주관적 점수 측정에 대한 급내상관계수(ICC) 계산
16주차	강좌 후 평가 및 강좌 검토	강좌 후 지식 테스트, 강좌 후 설문조사, 강좌 검토, 정기 데이터 감사	강좌 후 지식 테스트; 강좌 후 설문조사	사후 테스트 파일; 설문 조사 파일; 강의 리뷰 기록	성적 제출, 윤리 승인, 동의 확인, 비식별화 및 데이터셋 잠금이 완료될 때까지 연구 분석을 일시 중단하십시오.

표 2: 경쟁 통합형 전략 경영 과정 프로토콜의 16주 시행 일정. 이 표는 16주 과정 전반에 걸친 주차별 프로토콜 활동, 교육 중점 사항, 학생 또는 팀 결과물, 필수 기록 및 품질 관리 점검 항목을 요약하여 보여줍니다.

4. 기업 사례 및 경진대회 자료를 준비합니다.

1. 공개된 자료, 익명화된 자료 또는 기업 승인을 받은 교육 자료 중에서 주요 기업 사례 1개와 선택적 보조 사례 2개를 선정합니다. 각 사례에 대해 산업적 맥락, 관리적 의사결정 문제, 자원 제약, 전략적 상충 관계(trade-off), 실행 과제 및 측정 가능한 결과가 포함되어 있는지 확인합니다. 독립적인 검증이 가능한 경우가 아니라면 '사례의 실제성'보다는 '사례 설계의 완결성'을 기준으로 사용합니다.
2. 기업 승인을 받은 자료를 사용할 수 없는 경우 익명화된 모델 사례를 준비합니다. 산업 분야, 기업 규모, 고객 세그먼트, 경쟁 압력, 자원 제약, 전략적 결정, 실행 리스크 및 예상 결과를 명시합니다. 서면 허가 없이 회사명, 정확한 재무 수치, 고객 정보, 직원 정보, 독점 데이터 및 전략 문서를 포함한 기밀 기업 정보를 제거합니다. 사례 템플릿은 Supplementary File 1에 제공되어 있습니다.
3. 핸드북, 과제 템플릿, 동료 기여도 양식, 팀 프로세스 로그, 피드백 로그, AI 사용 공개 양식, 구술 확인 기록지, 루브릭 및 버전 관리 표를 준비합니다. 언어 다듬기, 서식 지정, 문법 검사, 일반적인 브레인스토밍 및 슬라이드 레이아웃 개선을 위한 공개된 AI 사용은 허용합니다. 학생이 직접 수행해야 하는 진단, 근거 선택, 결정 정당화, 리스크 분석, 실행 계획 수립 또는 구술 방어를 대체하는 AI 사용은 금지합니다.
4. 다듬어진 텍스트보다 전략적 추론에 우선순위를 두도록 루브릭을 설계합니다. 근거 활용, 상충 관계 추론, 실행 가능성, 내부 일관성 및 구술 방어를 발표 스타일과 별도로 평가합니다. 4주 차 이전에 핸드북, 템플릿, 루브릭, 사례 자료, AI 사용 규칙 및 이의 신청 절차를 업로드합니다.

5. 학생 팀을 구성하고 팀 역할을 배정합니다.

1. 4~6명의 학생으로 팀을 구성합니다. 기초 과정 성적, 전공, 성별 또는 이전 대회 경험 데이터가 있고 기관의 교과 과정 정책상 허용되는 경우, 층화 그룹화(stratified grouping)를 적용하십시오.
2. 과제 1 시작 전에 각 학생에게 하나의 주역할을 할당합니다. 각 팀이 팀 헌장을 제출하고 역할 배분, 소통 규칙, 기여 예상치, 마감 기한, AI 사용 책임, 출결, 결정 사항, 검토된 근거, 미해결 문제 및 향후 조치 사항을 기록하는 프로세스 로그를 유지하도록 요구하십시오.
3. 중간 단계와 최종 단계에서 동료 기여도 점수를 수집하여 기여도 불균형을 확인합니다. 코칭, 리허설 또는 최종 발표 중에 일부 학생을 선정하여 팀의 진단, 근거 기반, 결정 논리, 위험 가정 또는 실행 계획을 본인의 말로 설명하게 함으로써 개별 구두 점검을 실시하십시오.

6. 기저 평가를 수행합니다.

1. 정규 교과 과정 평가의 일환으로, 기업 사례 소개 및 경진대회 과제 수행 전인 1주 차에 기초 전략 경영 지식 테스트를 실시합니다.
2. 환경 분석, 산업 및 경쟁자 분석, 내부 자원 분석, 전략적 선택, 실행 계획, 전략적 평가를 다루는 0점에서 100점 척도의 24개 문항 테스트를 사용합니다. 청사진, 문항 개발 규칙, 검토 양식 및 채점 규칙은 Supplementary File 1에 제공되어 있습니다.
3. 주제 범위, 문항 형식, 인지 수준, 점수 범위, 예상 난이도 및 채점 규칙을 일치시킨, 동등하지만 서로 다른 버전인 Form A와 Form B를 개발합니다. 두 명의 전략 경영 강사와 한 명의 경영 교육 평가 검토자가 문항의 관련성, 명확성, 인지 수준 및 주제 범위를 평가하도록 합니다. 분석 대상 샘플 외의 학생 24명을 대상으로 두 가지 양식의 예비 조사를 실시합니다.
4. 가능한 경우, 난이도 값이 0.30–0.80이고 문항 변별도 값이 0.20 이상인 문항을 유지합니다. KR-20 또는 Cronbach’s alpha가 ≥0.70인 경우 내부 일관성을 수용 가능한 것으로 간주합니다. 예비 조사에서의 평균 차이가 ≤3점이고 표준화된 차이가 <0.20인 경우, 해당 양식들을 짝지어 사용하기에 적합한 것으로 간주합니다.
5. 가능한 경우 양식을 균형 배치(counterbalance)합니다. 학생의 절반은 기초 조사 시 Form A를, 과정 종료 후 Form B를 할당하고, 나머지 절반은 기초 조사 시 Form B를, 과정 종료 후 Form A를 할당합니다. 고정된 순서를 사용하는 경우, 이를 연구의 제한점으로 기록합니다.
6. 지식 테스트 후에 기초 참여도 설문 조사를 실시합니다. 전략 경영에 대한 관심도, 인지된 실무 관련성, 사례 분석 자신감, 팀 과제 참여 의지, 팀워크 준비도 및 이전 경진대회 경험을 기록하기 위해 5점 척도 문항을 사용합니다. 신뢰도 및 차원적 근거가 합성 점수를 지원하지 않는 한, 개념적으로 서로 다른 문항들은 개별적으로 분석합니다.
7. 정규 강의 진행 중에 기초 출석률, 지식 테스트 완료 여부, 설문 완료 여부 및 양식 버전을 기록합니다. 윤리 승인, 동의 확인, 코드 부여 및 직접 식별자 제거 후, 연구용으로만 기초 데이터를 내보냅니다.

7. 기업 사례 기반의 전략 경영 교육을 실시합니다.

1. 짧은 강의, 가이드된 토론, 팀 워크시트 및 간단한 의사결정 연습를 통해 사례 기반 교육을 실시한다. 능동적 학습 과제를 활용하여 학생들이 개념 수용 단계에서 분석, 의사결정, 팀 토론 및 성찰 단계로 나아갈 수 있도록 한다¹⁵.
2. 가능한 경우 기업 관리자, 창업가 또는 업계 멘토를 초청한다. 세션 시작 최소 7일 전에 강의 목표, 학생 수준, 사례 주제, 기밀 유지 요구사항, 토론 중점 사항 및 소요 시간을 제공한다. 실시간 멘토를 섭외할 수 없는 경우에는 익명화된 또는 공개된 사례 브리핑을 활용한다.
3. 시장 불확실성, 경쟁 압력, 비즈니스 모델 조정, 자원 제약, 실행 장벽 또는 리스크 제어와 관련된 비기밀 전략적 문제 하나를 제시한다. 각 팀이 구조화된 워크시트를 사용하여 문제, 근거 기반, 대안, 리스크 및 권장 결정 사항을 식별하도록 한다.
4. 각 팀이 사례 문제와 하나의 전략 경영 개념 및 하나의 능동적 경쟁 결정을 연결하여 300–500 단어 분량의 성찰서를 제출하도록 한다. 멘토 배경, 사례 출처, 출석 여부, 학생 질문, 워크시트 완료 및 성찰서 제출 내용을 기업 참여 로그에 기록한다. 경험 학습 활동을 통해 경쟁 주기 전반에 걸쳐 사례 접촉, 성찰, 의사결정 및 수정을 연결한다¹⁶.

8. 3단계 교수법 경진대회를 실시합니다.

1. 4주 차에 공식 경진대회 브리핑을 실시합니다. 과제 순서, 일정, 평가 루브릭, 피드백 규칙, 학술적 정직성 요구사항, AI 사용 공개, 구술 확인 절차 및 이의 신청 절차에 대해 설명합니다.
2. 5~6주 차에 과제 1을 실시하며, 이는 산업 분석, 경쟁사 분석, 내부 자원 분석, 전략적 이슈 진단, 근거 활용 및 초기 제안을 포함하는 1,500~2,000단어 분량의 전략 진단 보고서입니다. 피드백은 7일(캘린더 데이) 이내에 제공하고, 수정된 전략적 이슈 정의서를 과제 2의 시작점으로 활용합니다.
3. 8~10주 차에 과제 2를 실시하며, 이는 시장 포지셔닝, 자원 배분, 가격 책정 또는 비용 논리, 실행 순서, 리스크 가정 및 예상 결과를 다루는 전략적 의사결정 시뮬레이션 또는 구조화된 의사결정 시트로 구성합니다.
4. 12~15주 차에 과제 3으로 최종 전략 방어를 실시합니다. 8~12장의 슬라이드 덱, 1,000~1,500단어의 요약 보고서(executive summary), 8분간의 발표 및 5분간의 질의응답을 요구합니다. 방어 단계에서 과제 1의 진단, 과제 2의 의사결정 논리, 실행 계획, 리스크 제어 및 예상 결과가 유기적으로 연결되었는지 확인합니다.
5. 세 가지 과제 모두 100점 만점의 루브릭을 사용하여 채점하며, 표 3의 구조와 채점 차원을 적용합니다.
   중단 지점(PAUSE POINT): 제출물의 15% 이상이 요구된 구조를 따르지 않았거나 평가자가 서술어의 모호함을 식별한 경우, 과제 1 채점 후 일정을 중단합니다. 과제 2를 시작하기 전에 과제 지침이나 평가자 가이드를 수정합니다.

작업	주(週)	필수 결과물	주요 내용	점수	채점 차원
과업 1: 전략적 진단 보고서	5~6주차	1,500~2,000 단어 분량의 팀 보고서	산업 분석, 경쟁사 분석, 내부 자원 분석, 전략적 이슈 진단, 근거 활용, 초기 권고안	100	산업 및 시장 분석, 20
					내부 자원 분석, 20
					전략적 이슈 진단, 20
					근거 활용, 20
					작성 논리 및 명확성, 20
과제 2: 전략적 의사결정 시뮬레이션 또는 의사결정 시트	8~10주차	구조화된 팀 결정 시트	시장 포지셔닝, 자원 배분, 가격 책정 또는 비용 논리, 실행 순서, 리스크 가정, 기대 결과	100	전략적 일관성, 25
					마켓 로직, 20
					운영 가능성, 20
					위험 분석, 20
					결정 근거, 15
과제 3: 최종 전략 변론	12~15주차	8~12장의 슬라이드 덱, 1,000~1,500단어 분량의 요약 보고서, 8분 발표, 5분 질의응답&A	전략적 진단, 전략적 선택, 실행 계획, 리스크 제어, 기대 성과	100	전략적 진단, 20
					전략적 선택, 25
					실행 가능성, 20
					혁신, 15
					근거 활용, 10
					구술 심사, 10

표 3: 3단계 교수법 경진대회 구조 및 채점 항목. 이 표는 세 가지 경진대회 과제, 실시 주차, 요구 산출물, 주요 내용 요구사항, 총점 및 채점 항목을 정의합니다.

9. 점수 산정 표준화 및 평가자 교육.

1. 인력 충원이 가능한 경우 주관적 점수 산정을 위해 최소 2명의 평가자를 모집하십시오. 두 번째 평가자를 확보할 수 없는 경우에는 단일 평가자가 점수를 산정했음을 기록하십시오.
2. 루브릭, 기술어, 보정 제출물, 일반적인 채점 오류, AI 공개 규칙 및 구두 확인 기준을 사용하여 채점자를 교육하십시오. 채점자들은 두 개의 보정 제출물을 독립적으로 채점하고, 10점 이상의 점수 차이가 발생하는 경우 이에 대해 논의합니다.
3. 훈련 후 루브릭을 고정하고 구현 주기 전반에 걸쳐 동일한 버전을 사용하십시오. 두 명 이상의 평가자가 동일한 제출물을 채점할 때 ICC를 계산하십시오. ICC ≥ 0.75인 경우를 수용 가능한 것으로 간주하고, ICC가 그 미만일 때는 점수를 조정하십시오. <0.75 또는 점수 차이가 10점을 초과하는 경우. 원점수, 조정 점수 및 조정 메모를 보존하십시오.
4. 루브릭 기반 채점을 사용하여 기대치를 명확히 하고 형성 평가를 지원하십시오.¹⁷다음의 평가자 교육, 점수 일치 및 조정 절차를 따르십시오. 부록 표 S1.

10. 교육 품질 및 실행 충실도 데이터를 수집합니다.

1. 교실 내 상호작용, 케이스 설계 완결성, 피드백의 적시성, 과제-루브릭 일치도 및 학생 참여도를 통해 교육 품질을 측정하십시오. 신뢰도와 차원적 근거가 통합을 뒷받침하지 않는 한 각 지표를 개별적으로 분석하십시오.
2. 독립적인 진정성 검증이 가능한 경우가 아니라면 "케이스 진정성" 대신 "케이스 설계 완결성"을 사용하십시오.
3. 계획된 활동 완료 여부, 기업 또는 케이스 세션 완료 여부, 과제 제출, 피드백 처리 시간, 루브릭 작성 완료, 관찰 완료 및 평가자 교육 완료 여부를 통해 실행 충실도를 측정하십시오.
4. 표 4의 임계값은 외부에서 검증된 컷오프가 아니라, 사전에 정의된 운영상의 품질 관리 규칙으로 취급하십시오. 해당 임계값은 파일럿 타당성, 교육팀의 합의 및 업무량 제한을 근거로 연구 분석 전에 설정되었습니다.
5. 표 4에 제시된 지표, 데이터 소스, 임계값, 경고 규칙 및 시정 조치를 사용하십시오. 추가적인 문제 해결 절차는 부록 표 S2에 제공됩니다.
6. 계획된 주간 활동의 ≥85%가 완료되고, 프로토콜 코호트 학생의 ≥85%가 세 가지 과제를 모두 완료하며, 피드백의 ≥80%가 7일 이내에 반환되고, 모든 주요 루브릭이 작성되었으며, 필수 관찰 기록이 확보된 경우 실행이 적절한 것으로 간주하십시오. 과제 완료율이 <75%이거나, 제출물의 >20%에 대해 피드백 기간이 14일을 초과하거나, ICC가 <0.75이거나, 계획된 관찰의 >25%가 누락된 경우 실행이 최적이지 않은 것으로 간주하십시오.

카테고리	지시약	데이터 소스	시점	척도	양성 신호 또는 임계값	경고 규칙	시정 조치
이행 충실도	계획된 활동 완료	강좌 실행 기록	1~16주차	완료율(%)	계획된 활동의 85% 이상 완료	<85% 완료됨	누락된 세션을 검토하고 일정 제어를 수정하십시오.
이행 충실도	기업용 또는 구조화된 케이스 세션	기업 참여 로그	11주 차	구현됨 / 구현되지 않음	계획된 세션이 구조화된 사례 코칭으로 구현 또는 대체됨	대체 항목 없이 계획된 세션이 누락됨	익명화된 사례 세션 또는 구조화된 사례 코칭을 활용하십시오.
이행 충실도	3가지 과제 순차 완료	제출 기록	6주, 10주, 15주	% 학생들	프로토콜 코호트 학생의 85% 이상이 세 가지 과제를 모두 완료함	<모든 과업의 75% 완료	지침을 단순화하고 진행 상황 확인 단계를 추가하십시오.
이행 충실도	피드백의 적시성	피드백 로그	7주, 10주, 15주	달력 일수	7일 이내에 80% 이상의 피드백 회신 완료	>14일 후 20%의 피드백 회수됨	피드백 양식 단축 및 채점 업무 분담
이행 충실도	관찰 완료	관찰 양식	1~16주차	계획된 관찰 백분율	계획된 관찰의 75% 이상 완료	>계획된 관찰치의 25% 누락	관찰자 백업 및 고정 관찰 일정 추가
점수 품질	평가자 간 일치도	평가자 점수	작업 1 하위 집합 및 작업 3 방어	면역세포화학염색(ICC)	ICC ≥0.75	면역세포화학염색 (Immunocytochemistry) <0.75	평가자 재교육, 기술어 명확화, 영향받은 점수 조정
교육적 품질	교실 내 상호작용	관찰 체크리스트	선택된 세션	1~5점 척도	평균 ≥3.50 또는 증가분 ≥0.30	평균 <3.50	토론 유도 질문 및 촉진 강화
교육 품질	케이스 설계 완결성	케이스 체크리스트	4주 차 이전	0~5점 또는 1~5점 점수	평균 ≥4.00	평균값 <3.50	사례 맥락, 의사결정 문제, 제약 조건 및 결과물을 수정하십시오.
교육 품질	과업-루브릭 정렬	정렬 체크리스트	4주 차 이전 및 과정 종료 후 복습	0~5점 또는 1~5점 점수	평균 ≥4.00	평균 <3.50	작업-출력-루브릭-피드백 정렬 수정
교육적 품질	학생 참여도	출석, 참여, 로그, 설문 항목	1~16주차	항목별 점수 또는 1~5점 척도 점수	0.30점 이상 증가	감소 >0.30점	과부하 감소, 기대치 명확화, 형성적 지원 확대
학습 결과	전략 경영 지식	사전 및 사후 테스트	1주 및 16주 차	0–100	평균 증가량 ≥5점	증가 <3점	교수 내용 범위, 문항 일치도 및 시험 동등성 검토
학습 결과	개별 사례 분석	사례 분석 루브릭	학기 말	0–100	프로토콜-코호트 이점 ≥3점	이점 또는 감소 없음	사례 분석 실습 및 주석이 달린 예시 추가
팀 성과	팀 경쟁 성과	경진 대회 평가 기준표	6주, 10주, 15주	0–100	과제 전반에 걸친 점진적 개선	초기 근거는 부족하나 최종 점수가 높은 경우	점수 인플레이션을 확인하고 추론 중심으로 루브릭을 재조정하십시오.
학생 인식	만족도	강좌 후 설문조사	16주차	1-5점 척도	평균 ≥4.00	평균 <3.50	업무량, 과업의 명확성, 피드백의 질 및 팀 협업 상태를 검토하십시오.
학생의 인식	실질적 관련성	강의 후 설문조사	16주차	1~5점 척도	평균 ≥4.00	평균 <3.50	사례의 구체성을 높이고 실제 전략적 의사결정과의 연결성을 강화하십시오.
작업 부하 안전	경쟁 압박	강의 후 설문조사	16주차	1–5점 또는 %	고압 ≤20% 학생들	고압 >학생의 20%	작업 중복을 줄이고 마감 기한 간격을 조정하십시오.
해석 주의 사항	천장 효과	기초선 검사 및 설문조사	1주 차	0–100 또는 1–5	기초 지식 ≤85 및 만족도 ≤4.50	지식 >85 또는 만족도 >4.50	작은 개선 사항은 신중하게 해석하십시오.
해석 주의사항	점수 인플레이션	팀 및 개인 성과	학기 말	패턴 판별	개별 학습 증거가 동반된 팀 성과 향상	팀 점수는 향상되나 개별 학습은 그렇지 않음	개별 책임감 강화 및 추론 기반 채점
팀 프로세스	동료 기여도 균형	동료 기여 양식	중간 단계 및 최종 단계	1–5점 척도	반복적인 주요 불균형 없음	한 명 이상의 구성원이 반복적으로 매우 낮은 점수를 부여함	역할 재할당 및 지도교수 확인 필요
학술적 정직성	AI 사용 투명성	AI 공개 및 구두 확인	각 주요 작업	공개됨 / 공개되지 않음	기관 규정에 따라 AI 사용을 공개함	공개되지 않았거나 부적절한 AI 사용	기관의 학술적 정직성 절차를 적용하고 AI 관련 규칙을 명확히 하십시오.

표 4: 실행 충실도, 교육 품질, 결과 해석 및 문제 해결 지표.이 표는 실행 충실도 지표, 교육 품질 지표, 학생 수준 및 팀 수준의 결과 지표, 채점 품질 지표, 해석 임계값, 경고 규칙 및 교정 조치를 명시합니다.

11. 교육 후 결과 데이터를 수집합니다.

1. 16주 차에 기초선 양식과 동일한 구성의 사후 테스트 양식을 사용하여 전략 경영 지식 사후 테스트를 실시합니다.
2. 문제 식별, 증거 활용, 전략적 논리, 타당성 및 서술적 명확성을 포함하는 루브릭을 사용하여 학기 말 개인 사례 분석 점수를 수집합니다. 실제 기초선 사례 분석 평가가 실시되지 않은 경우, 이를 사후 성과 지표로 보고합니다.
3. 과제 1~3의 팀 점수를 수집하고, 이를 개인 수준의 학습 성과와 분리하여 유지합니다.
4. 익명 사후 설문조사를 통해 만족도, 인지된 실무 관련성, 피드백 유용성, 팀 협업, 경쟁 압박, 학습량 및 인지된 개선도를 수집합니다. 신뢰도와 차원적 근거가 복합 점수를 뒷받침하지 않는 한, 항목들을 하나의 점수로 통합하지 않습니다.
5. 성적 제출이 완료된 후에만 최종 과목 점수를 수집합니다. 연구용 사후 기록의 내보내기는 윤리 승인, 동의 확인, 코드 부여, 직접 식별자 및 식별 가능한 의견 제거가 완료된 후에만 수행합니다.
   중단 지점: 최종 성적이 제출되고, 윤리 승인을 득하며, 동의 확인이 완료되고, 동의자 명단이 연구 데이터셋에서 분리되며, 비식별화가 확인될 때까지 연구 분석을 중단합니다.

12. 비식별화된 데이터 세트를 정제하고 병합합니다.

1. 윤리 승인 및 동의 확인 후, 비식별화된 학생 수준, 팀 수준 및 수업 세션 데이터셋을 생성합니다. 중복 기록, 불가능한 값, 누락된 코드, 일치하지 않는 팀 코드 및 직접 식별자를 확인합니다.
2. 팀 코드를 기준으로만 학생 수준 데이터와 팀 수준 데이터를 병합합니다. Supplementary File 1의 템플릿과 Supplementary Table S3의 변수 사전을 사용하여 모든 데이터셋을 정제하고 코딩합니다.
3. 결측값은 NA로 코딩합니다. 강의 정책에서 특정 요구 사항에 대해 보충 평가 또는 0점 처리를 정의하지 않는 한 결측 결과값을 대체하지 마십시오. 쌍을 이룬 지식 분석(paired knowledge analysis)에서만 지식 테스트가 누락된 학생을 제외하고, 경쟁 관련 분석에서는 세 가지 경쟁 과제 모두가 누락된 학생을 제외합니다. 다른 적격 분석을 위해 사용 가능한 기록은 유지합니다.
4. 정제된 데이터셋, 데이터 사전, 정제 로그, 분석 준비 파일 및 잠금 처리된 출력 파일을 저장합니다. 잠금 처리된 데이터는 날짜가 기록된 수정 로그가 있을 때만 수정하십시오.

13. 실행 충실도, 교육의 질 및 학습 성과를 분석합니다.

1. 학습 결과를 해석하기 전에 구현 충실도(implementation fidelity)를 분석하십시오. 충실도 임계값이 충족되지 않은 경우, 결과의 차이를 해석할 때 주의가 필요합니다.
2. 연속형 변수에 대해서는 기술 통계량을, 범주형 변수에 대해서는 빈도를 보고하십시오. 여기에는 코호트 유형, 주요 그룹, 이전 대회 경험, 과제 완료 여부, 결측 데이터 범주 및 프로토콜 코호트 수상 수준이 포함됩니다. 비교 코호트가 동일한 수상 구조를 사용하지 않은 경우, 수상 수준은 프로토콜 코호트에 대해서만 보고하십시오.
3. 인과적 동등성이 아닌 기초선 비교 가능성을 설명하기 위해, 적절한 경우 독립 표본 t-검정, 카이제곱 검정 또는 Fisher의 정확 검정을 사용하여 기초선 특성을 비교하십시오.
4. 대응 표본 t-검정 또는 Wilcoxon 부호 순위 검정을 사용하여 코호트 내 지식 변화를 비교하십시오. 독립 표본 t-검정, Mann-Whitney U 검정, ANCOVA 또는 기초선 차이를 보정한 회귀 모델을 사용하여 코호트 간 교육 후 결과를 비교하십시오. 모든 코호트 비교는 인과적 추정치가 아닌 상황 특이적 교육 기록 분석으로 해석하십시오.
5. 여러 시점을 분석하는 경우 반복 측정 또는 혼합 효과 모델을 사용하십시오. 반복 측정 시에는 학생 수준의 임의 효과를 포함하고, 학생이 팀 내에 중첩된 경우에는 팀 수준의 임의 효과 또는 클러스터 강건 표준 오차(cluster-robust standard errors)를 포함하십시오.
6. 팀 수준의 결과는 학생 수준의 결과와 분리하여 분석하십시오. 클러스터링 문제를 해결하지 않은 한, 팀 점수를 독립적인 개별 관측치로 처리하지 마십시오.
7. 주요 평균 차이에 대해 Cohen’s d를 보고하며, 0.20, 0.50, 0.80을 각각 작음, 중간, 큼으로 해석하십시오. 가능한 경우 95% 신뢰 구간을 보고하고, 민감도 분석에서 완전 사례(complete-case) 결과와 가용 사례(available-case) 결과를 비교하십시오.
8. 통계 스크립트, 소프트웨어 출력물, 그림 소스 파일 및 최종 표를 저장하십시오. 모든 표는 편집 가능한 별도의 파일로 제출하고, 그림 소스 데이터는 아카이브하십시오.

14. 성공적인 구현과 최적화되지 않은 구현의 해석.

1. 최종 결과를 해석하기 전에 구현 성공의 정의를 내립니다. Table 4의 핵심 충실도 임계값이 충족되었을 때 프로토콜이 성공적으로 구현된 것으로 간주합니다.
2. 충실도, 점수 신뢰도, 결측 데이터 패턴, 기저선 비교 가능성 및 분석 단위를 확인한 후에만 학습 성과를 해석합니다.
3. 충실도가 적절할 때, 코스 후 지식이 ≥5점 증가하거나, 학기 말 개인 사례 분석 점수가 ≥3점 높거나, 5점 척도 기준 교수 과정 지표가 ≥0.30 증가한 경우를 긍정적인 구현 신호로 간주합니다.
4. 분석 전 경고 패턴을 정의합니다: 기저선 지식이 85/100을 초과하거나 기저선 만족도가 4.50/5를 초과할 때의 천장 효과, 개인 학습 증거 없이 팀 점수만 향상될 때의 점수 인플레이션, 만족도가 >0.30점 감소하거나 학생의 >20%가 높은 업무 부하 압박을 보고할 때의 과도한 경쟁 압박 등이 있습니다.
5. 평가를 단일 점수가 아니라 구현 충실도부터 학생 반응, 학습 증거, 코스 개선에 이르는 계층적 프로세스로 해석합니다¹⁸. 본 설계는 무작위 배정 대신 일상적인 교육 코호트, 역사적 비교군 및 익명화된 소급 코스 기록을 사용하므로 인과적인 표현은 피합니다.

15. 문제 해결, 적응 및 과정 반복을 수행하십시오.

1. 각 주요 과업 종료 후 충실도를 검토하고, 지연된 피드백, 낮은 팀 참여도, 불분명한 지침, 미완성된 채점표, 누락된 관찰 내용, 케이스 설계의 완결성 부족, 평가자 간 불일치 또는 부적절한 AI 사용 여부를 확인하십시오.
2. ~의 시정 조치를 적용하십시오. 보충 표 S2지침 수정, 추가 코칭, 평가자 재교육, 역할 재배분, 업무량 조정 또는 기관의 학문적 정직성 검토를 포함하여.
3. 짧은 기간의 과정인 경우, 최종 방어, 피드백 기록 및 충실도 점검은 유지하면서 과제 1과 2를 하나의 진단 결정 브리핑으로 통합하십시오. 온라인, 하이브리드 또는 대규모 다중 섹션 운영의 경우, 디지털 브리핑, 제출 로그, 온라인 구술 점검, 표준화된 피드백 템플릿, 공통 루브릭, 공유 평가자 교육, 섹션별 관찰자, 팀 대시보드 및 중앙 데이터 관리를 활용하십시오.
4. 16주 차 이후에 충실도, 과정 지표, 학생 성과, 평가자 노트, 결측 데이터 패턴, AI 사용 기록, 학생 의견 및 교수자 성찰 내용을 검토하십시오. 다음 사이클이 시작되기 전에 핸드북, 사례 패키지, 루브릭, 템플릿, 피드백 일정 및 데이터 기록 양식을 수정하십시오.
5. 윤리 승인 및 연구 데이터 준비가 완료되면 프로토콜 맵, 일정표, 핸드북, 사례 파일, 루브릭, 관찰 양식, 설문 도구, 비식별화된 데이터 세트, 데이터 사전, 분석 스크립트, 통계 출력물, 그림 소스 파일, 표 및 보충 자료를 보관하십시오. 모든 수정 사항을 버전 관리 표에 기록하십시오.

결과

대표 결과는 16주간의 경진대회 통합 전략 경영 강의 개선 프로토콜을 통해 생성된 성과물을 보여줍니다. 결과는 실행 충실도, 교육 품질, 학생 수준 성과, 팀 수준 성과 및 사전 정의된 경고 패턴별로 구성되어 있습니다. 데이터가 무작위 배정이 아닌 과거 비교 집단이 포함된 일상적인 교육 코호트에서 도출되었으므로, 모든 결과는 효과성에 대한 인과적 증거가 아니라 맥락 특이적인 실행 및 평가 결과로 해석해야 합니다.

실행 충실도 및 교육 품질

사용 가능한 교육 기록 데이터셋에는 대조군 코호트 학생 88명과 프로토콜 코호트 학생 92명이 포함되었습니다. 팀 수준의 데이터셋에는 대조군 코호트 팀 22개와 프로토콜 코호트 팀 23개가 포함되었습니다. 사전-사후 지식 테스트 쌍 분석 규칙을 적용한 후, 지식 습득 분석을 위해 대조군 코호트 학생 79명과 프로토콜 코호트 학생 84명이 유지되었습니다.

학습 성과를 해석하기 전에 실행 충실도를 점검하였다. 프로토콜 집단은 계획된 16개의 주간 활동 중 15개(93.8%)를 완료한 반면, 비교 집단은 16개 중 13개(81.3%)를 완료하였다. 기업 또는 구조화된 케이스 세션은 프로토콜 집단에서 완료되었으나, 전체 과거 비교 구조에는 포함되지 않았다. 프로토콜 집단에서는 92명의 학생 중 88명이 세 가지 경쟁 과제를 모두 완료하여 95.7%에 해당하였다. 비교 집단에서는 88명의 학생 중 18명이 세 가지의 유사한 프로젝트 기반 평가에 대한 완전한 기록을 보유하여 20.5%에 해당하였으며, 과거 과정에서는 전체 경쟁 시퀀스가 구현되지 않았으므로 이 기록들은 기술적 비교 용도로만 유지되었다. 피드백은 프로토콜 집단 제출물 268건 중 243건(90.7%)에 대해 7일 이내에 제공된 반면, 비교 집단 제출물 66건 중 49건(74.2%)에 대해 제공되었다. 평균 피드백 소요 시간은 각각 5.8 ± 1.9일과 8.4 ± 2.7일이었다. 관찰 완료율은 81.3%와 62.5%에 도달하였다. 중복 주관적 채점에 대한 프로토콜 집단의 2인 평가자 ICC는 0.82로, 사전 정의된 임계값인 0.75를 초과하였다. 종합적으로 프로토콜 집단은 5개의 핵심 실행 충실도 지표 중 5개를 달성한 반면, 비교 집단은 5개 중 2개를 달성하였다.

교육 품질 지표는 프로토콜 코호트에서 더 높게 나타났다. 강의실 상호작용은 프로토콜 코호트에서 3.70 ± 0.44, 비교 코호트에서 3.15 ± 0.48이었다. 사례 설계 완성도는 각각 4.08 ± 0.36 및 3.23 ± 0.42였다. 과제-루브릭 일치도는 4.01 ± 0.39 및 2.30 ± 0.51이었다. 학생 참여도는 프로토콜 코호트에서 0.42 ± 0.41점이 증가하여 사전 정의된 신호 임계값인 0.30점을 초과한 반면, 비교 코호트는 0.07 ± 0.34점이 증가했다. 출석률은 코호트 간에 유사하게 나타났다: 89.6% ± 5.8% 및 89.1% ± 6.2%. 표 5에 이러한 지표들이 요약되어 있다.

지표	데이터 소스	사전 정의된 임계값	과거 비교 코호트	프로토콜 코호트	해석
계획된 주간 활동 완료도	강의 시행 로그	≥85%	13/16 weeks, 81.3%	15/16 weeks, 93.8%	프로토콜 코호트에서 달성됨
기업 또는 구조화된 케이스 세션 시행	기업 참여 로그	≥1 시행 세션	0/1 session, 0.0%	1/1 session, 100.0%	프로토콜 코호트에서 달성됨
전체 과제 또는 매핑된 프로젝트 기록 완료도	제출 기록	≥85%	18/88 students, 20.5%	88/92 students, 95.7%	프로토콜 코호트에서 달성됨; 과거 기록은 기술적 분석만 수행
7일 이내 피드백 제공	피드백 로그	≥80%	49/66 submissions, 74.2%	243/268 submissions, 90.7%	프로토콜 코호트에서 달성됨
관찰 체크리스트 완료도	관찰 양식	≥75%	10/16 sessions, 62.5%	13/16 sessions, 81.3%	프로토콜 코호트에서 달성됨
두 평가자 간 일치도	평가자 점수	ICC ≥0.75	필요 없음	ICC = 0.82	프로토콜 코호트에서 달성됨
피드백 처리 시간	피드백 로그	평균 ≤7 days 선호	8.4 ± 2.7 days	5.8 ± 1.9 days	프로토콜 코호트에서 선호 범위 내에 있음
교실 내 상호작용	관찰 체크리스트	평균 ≥3.50 또는 증가분 ≥0.30	3.15 ± 0.48	3.70 ± 0.44	프로토콜 코호트에서 더 높음
케이스 설계 완결성	케이스 설계 체크리스트	평균 ≥4.00 선호	3.23 ± 0.42	4.08 ± 0.36	프로토콜 코호트에서 더 높음
과제-루브릭 정렬도	정렬 체크리스트	평균 ≥4.00	2.30 ± 0.51	4.01 ± 0.39	프로토콜 코호트에서 달성됨
학생 참여도 증가분	출석, 로그, 설문 항목	증가분 ≥0.30 points	+0.07 ± 0.34	+0.42 ± 0.41	프로토콜 코호트에서 달성됨
출석률	출석 기록	기술적 분석	89.1% ± 6.2%	89.6% ± 5.8%	코호트 간 유사함
핵심 시행 충실도 요약	시행 지표	대부분의 핵심 임계값 달성	5개 중 2개 임계값 달성	5개 중 5개 임계값 달성	프로토콜이 의도대로 시행됨

표 5: 대표적인 실행 충실도 및 교수 품질 지표. 이 표는 과거 대조군과 프로토콜 군의 대표적인 실행 충실도 및 교수 품질 결과물을 보고하며, 미리 정의된 운영 임계값이 달성되었는지 여부를 나타냅니다.

그림 2는 구현 충실도와 교수 품질 프로필을 보여줍니다. 그림 2A는 계획된 주간 활동 완료율을 나타냅니다. 그림 2B는 3단계 과제 시퀀스 완료율을 보여줍니다. 그림 2C는 7일 이내에 제공된 피드백을 나타냅니다. 그림 2D 는 강의실 상호작용, 사례 설계 완결성, 과제 루브릭 일치도 및 학생 참여도 증가분을 보여줍니다. 그림 2E는 관찰 완료 및 기업 또는 구조화된 사례 세션 완료율을 나타냅니다. 백분율 기반의 충실도 측정값과 척도 기반의 교수 지표는 각각의 측정 척도 내에서 해석해야 합니다.

그림 2: 실행 충실도 및 교육 품질 프로필. 이 그림은 역사적 비교 코호트와 프로토콜 코호트의 실행 충실도 및 교육 품질 지표를 요약한 것입니다. (A) 계획된 주간 활동 완료도. (B) 전체 과제 또는 매핑된 프로젝트 기록 완료도이며, 프로토콜 코호트의 전체 3단계 과제 시퀀스와 역사적 비교 코호트의 매핑된 프로젝트 기록을 구분하여 나타냅니다. (C) 7일 이내에 반환된 피드백이며, 피드백 처리 시간은 보조 정보로 표시되었습니다. (D) 강의실 상호작용, 케이스 설계 완성도, 과제-루브릭 일치도, 학생 참여도 증가분을 포함한 교육 품질 지표. (E) 관찰 체크리스트 완료도 및 기업 또는 구조화된 케이스 세션 실행 여부. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

학생 수준 학습 결과

학생 수준의 결과는 팀 수준의 경쟁 결과와 별도로 분석되었습니다. 기초 지식 점수는 프로토콜 집단이 64.18 ± 8.74점, 대조 집단이 62.37 ± 8.91점으로, 기초 단계에서 1.81점의 적은 차이(d = 0.21)를 보였습니다. 과정 종료 후 지식 점수는 각각 71.08 ± 8.58점과 66.41 ± 9.06점으로, 4.67점의 차이(d = 0.53)가 나타났습니다. 지식 습득량은 각각 6.90 ± 5.41점과 4.04 ± 5.26점으로, 2.86점의 차이(d = 0.54)를 보였습니다. 프로토콜 집단은 사전에 정의된 5점의 지식 습득 신호 기준을 초과했습니다.

학기 말 개인 사례 분석 성적은 프로토콜 군에서 82.31 ± 7.06, 비교 군에서 76.42 ± 7.38로 나타났으며, 두 군의 차이는 5.89점(d = 0.82)이었습니다. 실제 기초 사례 분석 평가가 실시되지 않았으므로, 이 결과는 쌍을 이룬 향상도보다는 과정 후 성취도 지표로 해석되었습니다. 만족도는 각각 3.66 ± 0.58 및 3.34 ± 0.62(d = 0.53)였습니다. 인지된 실무 관련성은 3.91 ± 0.55 및 3.41 ± 0.59(d = 0.88)였습니다. 경쟁 압박은 프로토콜 군이 3.12 ± 0.76로, 비교 군의 2.48 ± 0.71보다 높았으나(d = 0.87), 높은 학습량 압박을 보고한 프로토콜 군 학생은 92명 중 13명으로 14.1%에 해당하며, 이는 사전에 정의된 경고 임계치인 20%보다 낮았습니다. 최종 코스 점수는 이차 교육 결과로 처리되었으며, 프로토콜 군은 87.20 ± 6.10, 비교 군은 84.80 ± 6.70(d = 0.37)이었습니다. 표 6은 학생 수준 및 팀 수준의 결과를 요약하여 보여줍니다.

결과	수준	과거 비교 코호트	프로토콜 코호트	차이	효과 크기	해석
가용한 교육 기록 샘플	학생	n = 88	n = 92	—	—	사용 가능한 비식별화 강좌 기록
쌍을 이룬 지식 분석 샘플	학생	n = 79	n = 84	—	—	사전 및 사후 강좌 지식 점수가 있는 학생
사전 지식 점수	학생	62.37 ± 8.91	64.18 ± 8.74	1.81	0.21	작은 사전 차이
사후 지식 점수	학생	66.41 ± 9.06	71.08 ± 8.58	4.67	0.53	프로토콜 코호트에서 더 높음
지식 습득량	학생	4.04 ± 5.26	6.90 ± 5.41	2.86	0.54	프로토콜 코호트가 ≥5점 신호 기준을 초과함
개별 사례 분석 점수	학생	76.42 ± 7.38	82.31 ± 7.06	5.89	0.82	≥3점 사례 분석 신호 기준을 초과함
학생 참여도 증가량	학생	+0.07 ± 0.34	+0.42 ± 0.41	+0.35	0.93	≥0.30점 신호 기준을 초과함
만족도 점수	학생	3.34 ± 0.62	3.66 ± 0.58	0.32	0.53	프로토콜 코호트에서 더 높음
인지된 실무 관련성	학생	3.41 ± 0.59	3.91 ± 0.55	0.5	0.88	프로토콜 코호트에서 더 높음
경쟁 압박 점수	학생	2.48 ± 0.71	3.12 ± 0.76	0.64	0.87	프로토콜 코호트에서 압박이 더 높음
높은 업무량 압박	학생	경쟁 압박으로 평가되지 않음	13/92, 14.1%	—	—	20% 경고 임계값 미만
최종 강좌 점수	학생	84.80 ± 6.70	87.20 ± 6.10	2.4	0.37	이차 교육 결과
팀 수	팀	n = 22	n = 23	—	—	팀 수준 분석은 별도로 보고됨
의사결정 라운드 노출	팀	0.77 ± 0.81 rounds	5.09 ± 0.79 rounds	4.32	추정되지 않음	실행 노출 지표
과제 1 또는 매핑된 진단 점수	팀	69.84 ± 6.45	72.18 ± 6.28	2.34	0.37	완만한 팀 수준 차이
과제 2 또는 매핑된 결정 점수	팀	71.09 ± 6.12	73.52 ± 5.91	2.43	0.4	완만한 팀 수준 차이
과제 3 또는 매핑된 최종 방어 점수	팀	72.71 ± 6.36	77.20 ± 6.04	4.49	0.72	가장 큰 팀 수준 차이
최종 팀 점수	팀	71.21 ± 5.81	74.30 ± 5.52	3.09	0.55	중등도의 팀 수준 차이
전략적 진단 차원	팀	14.60 ± 1.80	15.60 ± 1.70	1	—	최종 방어 루브릭 차원
전략적 선택 차원	팀	17.90 ± 2.20	19.10 ± 2.10	1.2	—	최종 방어 루브릭 차원
실행 가능성 차원	팀	14.40 ± 1.90	15.50 ± 1.80	1.1	—	최종 방어 루브릭 차원
혁신 차원	팀	10.80 ± 1.60	11.50 ± 1.50	0.7	—	최종 방어 루브릭 차원
근거 활용 차원	팀	7.10 ± 1.00	7.50 ± 0.90	0.4	—	최종 방어 루브릭 차원
구술 방어 차원	팀	7.91 ± 1.10	8.00 ± 1.00	0.09	—	최종 방어 루브릭 차원
동료 기여도 평균	팀	3.72 ± 0.41	3.91 ± 0.36	0.19	0.49	주요 팀 프로세스 실패 없음
기여도 불균형이 있는 팀	팀	4/22, 18.2%	3/23, 13.0%	−5.2 퍼센트 포인트	—	체계적인 불균형 패턴 없음
수상 분포	팀	해당 없음	없음 10; 3위 8; 2위 2; 1위 3	—	—	프로토콜 코호트 전용
점수 인플레이션 경고 패턴	팀	해당 없음	2/23개 팀, 8.7%	—	—	문제 해결을 위해 표시됨

표 6: 대표적인 학생 수준 및 팀 수준 결과. 이 표는 이용 가능한 교육 기록 샘플, 쌍을 이룬 지식 분석 샘플, 지식 점수, 지식 습득도, 개별 사례 분석 점수, 참여도, 만족도, 인식된 실무 관련성, 업무량 압박, 최종 강좌 점수, 팀 과제 점수, 최종 발표 루브릭 차원 점수, 동료 기여도, 시상 분포 및 경고 지표를 포함한 대표적인 학생 수준 및 팀 수준의 결과를 보고합니다.

그림 3은 해당되는 경우 불확실성 추정치와 함께 학생 수준의 결과물을 보여줍니다. 그림 3A는 기초 및 강좌 후 지식 점수를 나타냅니다. 그림 3B는 지식 습득도를 보여줍니다. 그림 3C는 개별 사례 분석 성과를 보여줍니다. 그림 3D는 참여도 증가, 만족도 및 인지된 실무 관련성을 보여줍니다. 그림 3E 는 이차 결과로서 최종 강좌 점수를 보여줍니다.

그림 3: 학생 수준의 대표적 학습 성과. 이 그림은 팀 수준의 경쟁 결과와 별개로 개인 수준의 결과를 보여줍니다. (A) 기초선 및 과정 후 전략 경영 지식 점수. (B) 기초선부터 과정 후 평가까지의 지식 습득량. (C) 학기 말 개인 사례 분석 점수. (D) 참여도 증가분과 만족도 및 인지된 실무적 관련성을 포함한 설문 인식 지표가 필요한 경우 별도의 척도로 표시되어 있습니다. (E) 이차적 교육 성과로서의 최종 과정 점수 및 사전 정의된 경고 임계값 대비 프로토콜 코호트의 높은 업무 부하 압박. 값은 ± 값이 표시된 경우 평균 ± SD로 나타내며, 오차 막대는 SD를 나타냅니다. (E)에서 점선 참조선은 사전 정의된 20%의 고업무-부하-압박 경고 임계값을 나타냅니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

팀 수준의 경쟁 결과

팀 수준의 결과는 학생 수준의 결과와 별도로 분석되었습니다. 기술적 보고를 위해, 비교 코호트의 사례 프로젝트 기록은 가능한 경우 상응하는 평가 지점에 매핑되었으나, 이러한 기록이 전체 경쟁 통합 시퀀스의 완료를 의미하지는 않았습니다. 결정 라운드 노출은 학습 효과 추정치가 아닌 구현 노출 지표로 보고되었습니다. 프로토콜 코호트는 5.09 ± 0.79회의 결정 라운드를 완료한 반면, 비교 코호트는 0.77 ± 0.81회의 매핑된 라운드를 완료하였습니다.

프로토콜 코호트의 과제 1 평균 점수는 72.18 ± 6.28, 과제 2 평균 점수는 73.52 ± 5.91, 과제 3 평균 점수는 77.20 ± 6.04였습니다. 이에 대응하는 매핑된 비교 코호트 점수는 각각 69.84 ± 6.45, 71.09 ± 6.12, 72.71 ± 6.36이었습니다. 최종 팀 점수는 프로토콜 코호트에서 74.30 ± 5.52, 비교 코호트에서 71.21 ± 5.81이었습니다. 최종 방어 또는 매핑된 최종 프로젝트 루브릭 항목별 점수는 다음과 같았습니다: 전략적 진단 15.60 ± 1.70 및 14.60 ± 1.80, 전략적 선택 19.10 ± 2.10 및 17.90 ± 2.20, 실행 가능성 15.50 ± 1.80 및 14.40 ± 1.90, 혁신성 11.50 ± 1.50 및 10.80 ± 1.60, 근거 활용 7.50 ± 0.90 및 7.10 ± 1.00, 구술 방어 8.00 ± 1.00 및 7.91 ± 1.10 순입니다.

비교군에서는 전체 상금 기반 경쟁 구조를 사용하지 않았기 때문에 프로토콜 군에 대해서만 상금 분포를 보고하였습니다. 프로토콜 군에서는 10개 팀이 수상을 하지 못했고, 8개 팀이 3등상, 2개 팀이 2등상, 3개 팀이 1등상을 받았습니다. 평균 동료 기여도는 프로토콜 군에서 3.91 ± 0.36, 비교군에서 3.72 ± 0.41이었습니다. 기여도 불균형은 프로토콜 군의 23개 팀 중 3개 팀과 비교군의 22개 팀 중 4개 팀에서 확인되었습니다. 점수 인플레이션 경고 패턴은 프로토콜 군 23개 팀 중 2개 팀에서 확인되었으며, 이는 8.7%에 해당합니다.

그림 4는 팀 수준의 결과와 경고 패턴을 보여줍니다. 그림 4A는 과제 1, 과제 2 및 과제 3의 팀 점수를 나타냅니다. 그림 4B는 최종 방어 루브릭 차원 점수를 보여줍니다. 그림 4C는 프로토콜 코호트 시상 분포만을 나타냅니다. 그림 4D는 점수 인플레이션 경고 사례를 보여줍니다. 그림 4E는 동료 기여도 균형과 기여 불균형 횟수를 나타냅니다.

그림 4: 팀 수준의 경쟁 결과 및 경고 패턴. 이 그림은 학생 수준의 학습 결과와 별개로 팀 수준의 결과를 보여줍니다. (A>) 과제 1 전략적 진단, 과제 2 전략적 결정, 과제 3 최종 방어에 대한 단계별 팀 점수이며, 가능한 경우 과거 비교 코호트에 대해 매핑된 프로젝트 점수가 표시됩니다. (B>) 전략적 진단, 전략적 선택, 구현 가능성, 혁신성, 증거 활용 및 구두 방어를 포함한 최종 방어 루브릭 차원별 점수입니다. (C>) 과거 비교 코호트는 전체 수상 기반 경쟁 구조를 사용하지 않았기 때문에 프로토콜 코호트의 수상 분포만 표시됩니다. (D>) 진단적 강점이나 개별 학습 증거가 뒷받침되지 않은 상태에서 최종 방어 성적이 높은 경우로 정의되는 점수 인플레이션 경고 패턴입니다. (E>) 동료 기여도 점수와 기여 불균형 횟수가 별도의 팀 수준 지표로 표시됩니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

최적화되지 않은 패턴 및 문제 해결 지표

23개의 프로토콜 코호트 팀 중 2개 팀에서 사전 정의된 점수 인플레이션 경고 패턴이 나타났습니다. 이 팀들은 최종 방어 점수는 상대적으로 높았으나, 과제 1(Task 1) 진단 점수는 더 낮았으며 개인별 지식 습득 정도는 평균 미만이었습니다. 이러한 패턴은 학습 개선의 증거로 해석되기보다는 다음 강의 회차에서 후속 조치가 필요한 사항으로 분류되었습니다. 기초 지식 점수가 100점 만점에 85점 미만이었고, 기초 만족도가 5점 만점에 4.50 미만이었으므로 주요 천장 효과(ceiling-effect) 경고는 관찰되지 않았습니다. 출석률은 코호트 간에 비슷했으며, 3개 프로토콜 코호트 팀에 대한 모니터링이 필요했지만 체계적인 팀 기여도 불균형은 관찰되지 않았습니다.

전반적으로, 대표 결과들에 따르면 본 프로토콜은 구현 충실도, 학생 수준의 학습 증거, 그리고 팀 수준의 경쟁 성적이라는 세 가지 수준에서 해석 가능한 결과물을 생성하는 것으로 나타났습니다. 경고 사례들은 강의 모니터링, 문제 해결 및 후속 강의 개선을 위한 본 프로토콜의 활용 가능성을 뒷받침하였습니다.

본 연구를 뒷받침하는 비식별 데이터셋은 figshare.com에 저장되었으며, https://doi.org/10.6084/m9.figshare.33094931에서 확인할 수 있습니다. 해당 데이터셋에는 학생 수준의 기록, 팀 수준의 경쟁 기록, 실행 지표, 참여자 흐름 기록, 누락 데이터 감사 기록 및 평가자 점수 기록이 포함되어 있습니다. 학생 식별자, 동의 기록, 연결 파일 및 식별 가능한 자유 형식의 텍스트 의견은 포함되지 않았습니다.

보충 표 S1: 평가자 교육, 점수 일치도 및 점수 조정 절차.이 표는 평가자 배정, 독립성 확인, 루브릭 오리엔테이션, 캘리브레이션 점수 산정, 점수 일치도 확인, 점수 차이 규칙, 조정 절차, 데이터 입력 감사, 점수 확정 및 아카이브 절차를 제공합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 S2: 프로토콜 편차 및 최적화되지 않은 실행을 위한 문제 해결 매트릭스.이 표에는 트리거 규칙, 시정 조치, 필수 기록 및 해석 참고 사항을 포함하여 프로토콜 편차와 최적화되지 않은 실행 패턴이 나열되어 있습니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 표 S3: 비식별 처리된 교육용 데이터셋의 데이터셋 구조 및 변수 사전.이 표는 변수 코드, 설명, 데이터 유형, 코딩 범위, 데이터 소스 및 결측 데이터 규칙을 포함하여 학생 수준, 팀 수준 및 수업 세션 수준 변수를 정의합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

보충 파일 1: 운영 템플릿, 평가 자료 및 비식별 데이터 세트 워크북. 이 보충 파일은 재현성을 지원하기 위해 사용된 운영 템플릿, 평가 자료, 채점 양식, 설문 항목, 사례 설계 점검표, 결측치 처리 규칙, 비식별 데이터 세트 워크북 구조, 정제 로그, 분석 요약 템플릿 및 버전 관리 기록을 제공합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

본 프로토콜은 학부 전략 경영 과정에 교육-경연 시퀀스를 통합하기 위한 재현 가능한 접근 방식을 제공합니다. 본 방식의 목적은 기존 과정에 단순한 경연 행사를 추가하는 것이 아니라, 전략적 진단, 의사 결정, 형성적 피드백, 최종 변론 및 과정 후 평가를 연결하는 구조화된 과정 개선 프로세스로 경연을 전환하는 것입니다. 따라서 교육적 가치는 단순히 경연의 유무보다는 시퀀스의 설계 방식에 따라 달라집니다. 경연 기반 또는 게임 기반 활동은 참여도를 높일 수 있으나, 학습 목표, 과제 결과물, 채점 기준 및 데이터 기록이 명확하게 규정되지 않을 경우 그 교육적 가치를 해석하기 어렵습니다¹⁹. 본 프로토콜은 재현에 필요한 교수 시퀀스, 채점 루브릭, 피드백 창구, 구현 기록 및 비식별 데이터 구조를 정의함으로써 이 문제를 해결합니다.

핵심 설계 원칙은 정렬입니다. 각 과제는 강의 결과, 강의실 주제, 학생 결과물 및 채점 기준과 연결되어 있습니다. 과제 1에서는 학생들이 전략적 문제를 진단해야 하며, 과제 2에서는 전략적 결정을 선택하고 정당화해야 하며, 과제 3에서는 서면 및 구두 증거를 통해 최종 전략을 방어해야 합니다. 이러한 '진단-결정-방어' 순서는 학생들이 경쟁을 단순히 발표 연습으로만 취급하는 것을 방지하기 위해 고안되었습니다. 또한 이는 학생들이 최종 방어 전에 자신의 논리를 수정할 수 있는 반복적인 기회를 제공합니다. 이러한 구조는 시뮬레이션 기반 및 경험 학습 연구와 일치하며, 해당 연구들은 학생들이 시나리오를 관찰하거나 단순히 실행하는 것보다 능동적인 결정 주기에 참여하고, 피드백을 받으며, 자신의 선택을 설명할 때 응용 학습이 더 유용하다는 점을 시사합니다^20,21.

프로토콜이 의도한 대로 작동하기 위해서는 몇 가지 품질 관리 단계가 필요합니다. 첫째, 피드백은 다음 과제에 영향을 줄 수 있을 만큼 시의적절해야 합니다. 따라서 7일의 피드백 기간은 단순한 행정적 목표가 아니라 교수 설계 요구 사항으로 활용됩니다. 둘째, 채점 품질을 모니터링해야 합니다. 루브릭은 투명성을 높일 수 있지만, 이는 평가자들이 기술어와 증거 요구 사항에 대해 공통된 이해를 공유할 때만 가능합니다²². 이러한 이유로 본 프로토콜에는 평가자 교육, 보정 채점, 점수 격차 확인, ICC 모니터링, 조정 노트 및 점수 잠금 단계가 포함됩니다. 셋째, 팀 성과와 개인의 학습 증거를 분리해야 합니다. 최종 방어 점수가 높더라도 이는 폭넓은 개인적 학습보다는 발표 능력이나 불균형한 팀 기여도를 반영하는 것일 수 있습니다. 따라서 본 프로토콜에서는 지식 점수, 개인별 사례 분석 점수, 학생 인식, 동료 기여도 및 팀 점수를 각각 별도로 분석합니다.

경쟁 통합형 교육은 예측 가능한 방식으로 실패할 수 있으므로, 본 프로토콜에는 문제 해결 규칙이 포함되어 있습니다. 피드백이 지연되거나, 팀원 간의 기여도가 불균형해질 수 있으며, 학생들이 발표 자료의 외관에 지나치게 의존하거나, 개별 학습의 증거 없이 그룹 점수만 향상될 수 있습니다. 이러한 리스크는 피드백 로그, 동료 기여 기록, AI 사용 공개 양식, 구술 점검, 평가자 간 일치도 결과 및 점수 인플레이션 경고 규칙을 통해 모니터링됩니다. 학생들은 언어 교정, 서식 지정 또는 브레인스토밍을 위해 디지털 도구를 사용할 수 있지만, 여전히 본인의 전략적 추론 능력을 입증해야 하므로 AI 사용 공개와 구술 점검 구성 요소가 특히 중요합니다. 본 프로토콜은 모든 AI 지원을 금지하지는 않으나, 공개를 요구하며 핵심 학습 과제를 보호합니다. 즉, 학생들은 진단, 근거, 결정 논리, 실행 리스크 및 최종 권고 사항을 설명할 수 있어야 합니다.

이 프로토콜은 기관에 따라 조정 가능하지만, 핵심 순서는 유지되어야 합니다. 비즈니스 시뮬레이션 플랫폼을 사용할 수 없는 경우, 구조화된 결정 시트(decision sheet)를 시뮬레이션 라운드의 대체제로 사용할 수 있습니다. 기업 멘토가 참석할 수 없는 경우에는 익명화된 사례, 공개 사례 브리핑 또는 녹화된 멘토 의견을 활용할 수 있습니다. 수강생 수가 많은 강의의 경우 병렬 심사 그룹과 표준화된 피드백 템플릿이 필요할 수 있으며, 수강생 수가 적은 강의에서는 더 긴 답변(defense) 세션을 진행할 수 있습니다. 이러한 조정 사항은 기록되어야 하는데, 이는 강의 개선 프로토콜이 교수법적 아이디어뿐만 아니라 실행 충실도, 강사 지원, 평가 조건 및 데이터의 완결성에 따라 달라지기 때문입니다²³. 필수 요구 사항은 해당 강의가 진단, 결정, 답변, 피드백 및 평가로 이어지는 연계된 순서를 유지하는 것입니다.

몇 가지 제한 사항을 인정해야 합니다. 본 프로토콜은 강의 개선 프로토콜이며, 무작위 대조 시험이 아닙니다. 따라서 프로토콜 코호트와 비교 코호트 간의 차이는 효과에 대한 인과적 증거라기보다 대표적인 구현 및 평가 결과로 해석해야 합니다. 과거 또는 병행 비교 코호트는 학생 구성, 강의실 역학, 기관의 시기 또는 평가 조건에서 차이가 있을 수 있습니다. 최종 강의 성적은 경쟁 과제 외의 일상적인 강의 구성 요소가 포함될 수 있으므로 이차 결과 변수입니다. 또한, 팀 수준의 결과는 학생 수준의 학습 결과를 대체하여 사용할 수 없습니다. 이러한 제한 사항은 구현 충실도, 교육 품질 지표, 학생 수준 결과, 팀 수준 결과, 작업 부하 압력 및 경고 패턴을 각각 별도로 보고함으로써 해결하였습니다²⁴.

본 프로토콜은 학생들이 개념적 지식을 실제 경영 판단에 연결해야 하는 과정에 가장 적합합니다. 학생들이 환경을 분석하고, 자원을 평가하며, 전략적 대안을 비교하고, 실행 선택지를 옹호해야 하는 전략 경영 과목이 이에 해당하는 자연스러운 설정입니다. 동일한 구조를 창업, 마케팅 전략, 혁신 관리, 비즈니스 모델 설계 및 증거 기반 의사결정이 필요한 기타 경영 과정에 적용할 수 있습니다. 본 프로토콜의 더 넓은 기여도는 실무적인 면에 있습니다. 즉, 교수자에게 강좌 개선 활동이 어떻게 실행, 모니터링, 점수 산정, 비식별화, 분석 및 수정되었는지를 기록할 수 있는 감사 가능한 방법을 제공합니다. 경영 교육에서 경험 학습은 흔히 현실성 때문에 가치 있게 평가되지만, 그 절차가 복제를 위해 충분히 상세하게 보고되지 않는 경우가 많습니다. 본 프로토콜은 실행 충실도, 채점 일관성, 데이터 거버넌스 및 문제 해결 방법을 하나의 재현 가능한 프로세스로 결합함으로써 이러한 간극을 메웁니다²⁵.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
AI 사용 공개 양식	저자 개발	AI-Disclosure-v1.0; Supplementary File 1	주요 제출물별 AI 사용 공개 기록
기초 전략 경영 지식 테스트	저자 개발	SMKT-Pre-v1.0; Supplementary File 1	1주 차 기초 지식 측정
강의실 관찰 체크리스트	저자 개발	Observation-v1.0; Supplementary File 1	강의실 상호작용 및 교수 프로세스 품질 기록
데이터 정제 로그	저자 개발	Cleaning-Log-v1.0; Supplementary File 1	데이터 확인, 수정, 제외 및 데이터셋 잠금 기록
경진대회 핸드북	저자 개발	Handbook-v1.0; Supplementary File 1	과제 순서, 제출 규칙, 루브릭, AI 공개, 구술 확인, 이의 신청 및 마감일 정의
데이터 사전	저자 개발	Data-Dictionary-v1.0; Supplementary Table 2	변수, 코딩 범위, 데이터 소스 및 결측 데이터 규칙 정의
비식별화 데이터셋 워크북	저자 개발	Dataset-Workbook-v1.0; Supplementary File 1	학생 수준, 팀 수준 및 강의 세션 수준 변수 저장
기업 또는 익명화 사례 패키지	저자 개발 또는 기업 승인	CasePack-v1.0; Supplementary File 1	전략적 의사결정 맥락 제공
최종 방어 슬라이드 템플릿	저자 개발	FSD-Template-v1.0; Supplementary File 1	과제 3 슬라이드 덱 구조 안내
최종 전략 방어 채점표	저자 개발	FSDSF-v1.0; Supplementary File 1	과제 3 평가자 점수 및 Q&A 평가 기록
IBM SPSS Statistics	IBM	Version 27.0; 기관 또는 개인 라이선스	기술 통계, 그룹 비교, 효과 크기 및 ICC 분석
개별 사례 분석 과제 시트	저자 개발	ICATS-v1.0; Supplementary File 1	개별 사례 분석 요구사항 및 채점 영역 정의
지식 테스트 정답지	저자 개발	SMKT-Key-v1.0; Supplementary File 1	지식 테스트 채점 지원
Microsoft Excel	Microsoft	Excel 2021; 기관 또는 개인 라이선스	데이터 입력, 데이터 사전, 정제 로그, 표 작성 및 원천 데이터 확인
구술 확인 기록 양식	저자 개발	Oral-Check-v1.0; Supplementary File 1	개별 구술 확인 질문 및 응답 기록
동료 기여도 양식	저자 개발	PCF-v1.0; Supplementary File 1	동료 기여도 및 기여 불균형 기록
강좌 후 학습 설문조사	저자 개발	PCLS-v1.0; Supplementary File 1	만족도, 관련성, 피드백 유용성, 협업, 학습량 및 인지적 개선도 측정
강좌 후 전략 경영 지식 테스트	저자 개발	SMKT-Post-v1.0; Supplementary File 1	동등한 형태의 평가지를 사용하여 16주 차 강좌 후 지식 측정
평가자 교육 파일	저자 개발	Rater-Training-v1.0; Supplementary File 1	교정 파일, 기술어, 예시 및 일반적인 채점 오류 제공
통계 출력 파일	소프트웨어 생성	Statistical-Output-v1.0; 잠금 처리된 분석 폴더에 보관	분석 파일 및 데이터셋 버전과 함께 통계 출력값 저장
전략적 의사결정 시트	저자 개발	SDS-v1.0; Supplementary File 1	과제 2 의사결정 결과물 안내
전략 진단 보고서 템플릿	저자 개발	SDR-Template-v1.0; Supplementary File 1	과제 1 보고서 구조 안내
학생 코드 연결 파일	저자 개발 제한 파일	Student-Code-Linkage-v1.0; 데이터 관리자가 별도 보관	비식별화 전 학생 신원과 연구 코드 연결
과제-루브릭 정렬 체크리스트	저자 개발	Alignment-v1.0; Supplementary File 1	학습 성과, 과제 결과물, 채점 기준 및 피드백 포인트 간의 정렬 확인
팀 헌장 템플릿	저자 개발	Team-Charter-v1.0; Supplementary File 1	역할 분담, 소통 규칙, 마감일 및 기여 기대치 기록
팀 프로세스 로그	저자 개발	Team-Process-Log-v1.0; Supplementary File 1	회의 참석, 의사결정, 진행 상황, 문제점 및 향후 조치 기록
버전 관리 표	저자 개발	Version-Control-v1.0; Supplementary File 1	버전 번호, 날짜, 편집자, 사유 및 승인 상태 추적
Wenjuanxing 온라인 설문 플랫폼	Wenjuanxing	웹 기반 플랫폼; 기관 또는 사용자 계정 접속	기초 조사, 강좌 후 조사, 동료 기여도 양식 및 AI 공개 데이터 내보내기