본 프로토콜은 단계별 팀 과제, 구조화된 피드백, 평가자 교육, 실행 충실도 모니터링, 그리고 학생 및 팀 수준의 개별 결과 검토를 통해 학부 전략 경영 수업에 진단-결정-방어 경쟁 시퀀스를 통합하는 방법을 제시합니다.
이 논문에서
요약
초록
전략 경영 교육은 학생들이 불확실하고 자원이 제한적이며 트레이드오프(trade-off)가 발생하는 비즈니스 상황에 분석적 프레임워크를 적용하도록 요구합니다. 강의 내 경진대회는 이를 단순한 일회성 발표 활동이 아닌 구조화된 교수법 시스템으로 조직할 때 이러한 학습 과정을 지원할 수 있습니다. 본 논문은 학부 전략 경영 과정에 3단계 기반의 강의 내 경진대회를 통합하기 위한 재현 가능한 프로토콜을 설명합니다. 이 프로토콜은 기초 평가, 핵심 강의, 기업 사례 소개, 팀 구성, 전략적 진단, 전략적 의사결정 시뮬레이션 또는 의사결정 시트 작성, 최종 전략 방어, 강의 후 평가 및 강의 검토를 포함하는 16주 과정을 따릅니다. 교육 기제는 단계별 연습, 기업 사례 노출, 구조화된 형성적 피드백, 팀 책임감, 구술 방어 및 루브릭 기반 채점을 결합한 형태입니다. 강의실 상호작용, 사례 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도, 학생 참여도 및 구현 충실도를 모니터링하기 위해 국소적으로 운용되는 프로세스 지표가 사용됩니다. 분석 단위의 오류를 방지하기 위해 학생 수준의 성과, 팀 수준의 경진대회 결과, 평가자 간 일치도, 결측 데이터 패턴, 인공지능 사용 공개 여부 및 점수 인플레이션 경고 패턴을 각각 별도로 분석합니다. 대표 결과가 보고될 때, 이는 소급적이고 비무작위적인 교육 기록 비교를 통한 상황 특정적 구현 결과로 해석해야 하며, 인과적 효과의 증거로 해석해서는 안 됩니다. 본 프로토콜은 강의 개선 주기 내에서 경진대회가 통합된 전략 경영 교육을 설계, 구현, 문서화, 평가 및 개선하기 위한 감사 가능한 절차를 제공합니다.
서론
전략 경영 과정은 학생들이 단순한 개념 회상을 넘어선 능력을 갖출 것을 요구합니다. 학생들은 불완전한 정보와 상충하는 우선순위가 존재하는 조건 하에서 산업 구조, 경쟁 우위, 자원 배분, 전략적 선택 및 실행과 같은 아이디어들을 적용할 수 있어야 합니다. 경쟁 포지셔닝은 기업이 외부 제약 조건 하에서 어떻게 포지션을 선택하는지를 설명하는 반면1, 자원 기반 관점은 전략적 옵션을 형성하는 기업 특유의 자원과 역량을 강조합니다2. 이러한 관점들 덕분에 전략 경영은 학생들이 비즈니스 상황을 진단하고, 전략적 선택을 내리며, 그 선택을 옹호하고, 피드백을 받은 후 논리를 수정하는 응용 교육 설계에 적합합니다. 강의와 개별적인 사례 토론도 여전히 유용하지만, 학생들이 불확실성, 트레이드오프 및 실행 제약을 어떻게 논리적으로 해결하는지 완전히 드러내지 못할 수 있습니다. 과정 기반의 경쟁은 교육 목표, 과제 순서, 채점 기준 및 피드백 주기와 연결될 때만 더욱 도전적인 학습 환경을 조성할 수 있습니다. 이러한 요소들이 없다면, 경쟁은 전략적 추론보다는 발표의 자신감이나 과제 분담 능력에 보상을 주는 결과로 이어질 수 있습니다.
비즈니스 게임 및 시뮬레이션에 관한 선행 연구에 따르면, 이러한 활동이 단순한 강의실 오락이 아닌 교육적 방법으로 기능하기 위해서는 명시적인 규칙, 의사결정 주기, 평가 근거 및 디브리핑이 필요함이 밝혀졌습니다3,4. 능동적 학습은 단순히 활동 자체보다는 과제 설계에 따라 달라집니다. 학생들은 개념을 피상적으로 적용하면서도 참여하는 것처럼 보일 수 있습니다. 따라서 구조화된 전략 경영 경진대회는 학생들이 상황을 분석하고, 결정의 타당성을 입증하며, 형성적 피드백을 받고, 논거를 수정하며, 실행 계획을 옹호하도록 요구해야 합니다. 이러한 과정은 학생들이 단순히 지시를 듣는 것이 아니라 스스로 논거를 생성, 테스트 및 정교화하기 때문에 능동적 학습 원리를 반영합니다5. 또한 경진대회 주기가 구체적인 사례 노출, 성찰적 분석, 의사결정 및 수정된 행동을 연결하므로 경험 학습을 반영하기도 합니다6.
출판된 비즈니스 시뮬레이션 및 경진대회 보고서들은 절차적 세부 사항에서 매우 큰 차이를 보입니다. 일부 보고서는 시뮬레이션이나 경진대회의 사용에 대해 설명하지만, 팀 구성, 과제 단계 설정, 피드백 타이밍, 평가자 교육, 루브릭 작성, 결측 데이터 처리 또는 개인 및 팀 성과의 구분과 관련된 정보는 제한적으로 제공합니다. 이전의 리뷰와 분류 체계에서도 비즈니스 게임이 단일한 교육 방법이 아님이 밝혀졌으며, 이들은 규칙, 충실도, 학습자 역할, 의사결정 구조, 기술 활용, 평가 설계 및 디브리핑 절차에서 서로 다릅니다7,8. 따라서 재현 가능한 전략 경영 프로토콜은 경진대회가 개최되었다는 사실뿐만 아니라, 해당 경진대회가 어떻게 교과 과정에 통합되었으며 그 실행 과정이 어떻게 모니터링되었는지를 명시해야 합니다.
본 프로토콜은 다성분 경쟁 통합형 강의 개선 패키지로 이해하는 것이 가장 적절합니다. 본 프로토콜에는 기업 사례 노출, 반복 실습, 구조화된 피드백, 팀 책임성, 공개 방어, 평가자 보정 및 체계적인 강의 검토가 포함되어 있으므로, 기대되는 교육적 효과를 단순히 경쟁의 결과로만 돌릴 수는 없습니다. 경쟁 요소는 마감 기한, 비교, 책임성 및 공개적 정당화를 생성한다는 점에서 교육적으로 유용하지만, 이러한 요소들은 단계별 학습 과제 및 평가 제어 장치와 의도적으로 결합되어 있습니다. 이 절차는 기존의 경험 중심, 시뮬레이션 기반 및 경쟁 기반 전략 경영 교수법과 세 가지 면에서 차이가 있습니다. 첫째, 경쟁이 단일 최종 발표에 집중되지 않고 진단, 결정, 최종 방어 단계에 걸쳐 단계적으로 진행됩니다. 둘째, 학습 성과를 해석하기 전 실행 충실도를 모니터링합니다. 셋째, 학생 수준의 학습 성과를 팀 수준의 경쟁 결과와 분리합니다. 이러한 구분은 팀이 최종 방어에서 좋은 성과를 거두더라도 일부 구성원은 개별 학습 정도가 제한적일 수 있기 때문에 중요합니다. 팀 학습은 단순한 그룹 멤버십이 아니라 책임성, 상호작용 및 공유된 추론을 필요로 합니다9. 따라서 본 프로토콜에서는 팀 헌장, 프로세스 로그, 동료 기여도 양식, 평가자 교육, 평가자 일치도 확인 및 점수 인플레이션 경고 규칙을 사용합니다.
본 프로토콜은 중국 주하이 과학기술대학교 경영대학의 학부 전략 경영 과정의 정규 교육 활동으로 실시되었습니다. 프로토콜 코호트는 2025-2026학년도 가을 학기 SM-2025-F01 강좌 섹션에서 교육을 받았습니다. 비교 코호트는 2024-2025학년도 가을 학기 SM-2024-F01 강좌 섹션에서 교육을 받은 과거 코호트였습니다. 프로토콜 강좌 섹션에는 96명의 학생이 등록하였으며, 윤리 승인 후 연구 데이터 세트에 포함되기 전 94명의 학생이 비식별화된 강의 기록의 연구용 사용에 대해 서면 또는 전자 동의서를 제출하였습니다. 8주 이전에 수강을 철회했거나 유효한 사후 결과가 없는 학생 2명을 제외하여, 최종적으로 92명의 학생이 분석용 프로토콜 코호트를 구성하였습니다. 과거 비교 섹션에는 92명의 학생이 등록하였으며, 윤리 승인 후 소급 추출 전 90명의 학생이 비식별화된 강의 기록의 연구용 사용에 동의하였습니다. 동일한 결측 데이터 및 철회 규칙을 적용하여 2명을 제외하였으며, 최종적으로 88명의 학생이 분석용 비교 코호트를 구성하였습니다.
두 코호트 모두 경영학 전공 3학년 학부생으로 구성되었습니다. 전공으로는 경영학, 마케팅, 이커머스 및 국제경영학이 포함되었습니다. 프로토콜 코호트는 여성 51명과 남성 41명의 학생으로 구성되었으며, 평균 연령은 20.4 ± 0.7세였습니다. 대조 코호트는 여성 49명과 남성 39명의 학생으로 구성되었으며, 평균 연령은 20.5 ± 0.8세였습니다. 이전의 대회 참여 경험은 프로토콜 코호트에서 27명, 대조 코호트에서 24명의 학생이 보고하였습니다. 최종 분석 전 탈락률은 프로토콜 코호트에서 4.2%, 대조 코호트에서 4.3%였습니다. 프로토콜 코호트의 결측치 수는 기초 지식 테스트 2건, 과정 후 지식 테스트 3건, 과정 후 학습 설문 4건, 불완전한 대회 과제 기록 4건이었습니다. 대조 코호트의 결측치 수는 기초 지식 테스트 3건, 과정 후 지식 테스트 4건, 과정 후 학습 설문 5건, 불완전한 대회 과제 기록 70건이었는데, 이는 과거의 교육 과정에 3단계 전체 대회 프로세스가 포함되지 않았기 때문입니다.
대조군 코호트는 완전한 3단계 경쟁 시퀀스가 없는 기존의 사례 기반 전략 경영 수업을 받았습니다. 두 코호트 모두 동일한 강사가 지도하였습니다. 두 코호트는 유사한 강의 학습 성과, 핵심 전략 경영 주제, 지식 평가 범위, 개별 사례 분석 평가 및 최종 강의 성적 산출 구조를 적용하였습니다. 실험군 코호트는 이에 더해 기업 사례 패키지, 단계별 경쟁 과제, 구조화된 피드백 사이클, 공식 팀 프로세스 기록, 평가자 교육 절차 및 실행 충실도 모니터링을 추가로 제공받았습니다. 본 논문은 인과적 효과에 대한 주장보다는 재현 가능한 강의 개선 방법으로서의 프로토콜을 설명합니다. 대표적인 결과는 해당 프로토콜을 통해 생성된 실행 유형, 교육의 질, 학생 수준 및 팀 수준의 결과, 채점 신뢰도, 누락 데이터 및 문제 해결 출력물을 보여줍니다. 본 비교는 과거 데이터 기반의 비무작위 및 특정 상황 기반 연구이므로, 코호트 간의 차이는 단일 실행 맥락 내에서의 강의 개선 증거로 해석해야 하며, 강의 기반 경쟁만으로 관찰된 결과가 도출되었다는 증거로 해석해서는 안 됩니다.
이 프로토콜의 광범위한 목적은 교육자가 경쟁 통합형 전략 경영 교육을 설계, 문서화, 평가 및 개선하는 것을 돕는 것입니다. 이는 교수 활동, 학생 결과물, 채점 루브릭, 실행 기록 및 강의 검토 결정 사항을 연결함으로써 학습 보증을 지원합니다10. 또한, 과업 설계, 피드백 품질 및 평가 타당성에 충분한 주의를 기울이지 않고 동기 부여만을 강조할 경우 게임과 같은 요소가 엇갈린 결과를 초래할 수 있다는 게이미피케이션 및 경쟁 학습 연구의 우려 사항을 다룹니다11,12. 예상되는 결과물에는 실행 기록, 지역적으로 실행 가능한 교육 품질 지표, 학생 수준의 학습 성과, 팀 수준의 경쟁 결과, 평가자 간 일치 증거, 인공지능 사용 공개 내역, 누락 데이터 문서 및 문제 해결 기록이 포함됩니다.
프로토콜
두 코호트 모두에서 비식별화된 교육 기록을 연구 용도로 사용하는 것은 중국 주하이 과학기술대학교의 교육연구윤리위원회로부터 승인을 받았습니다 (승인 번호 20260507001; 승인 날짜: 2026년 5월 7일). 해당 승인 범위에는 프로토콜 코호트와 과거 비교 코호트가 포함되었으며, 여기에는 일반 강의 기록, 설문조사, 강의실 관찰, 팀 프로세스 기록, 경진대회 점수, 평가자 점수, 학습 플랫폼 기록 및 비식별화된 성적부 변수가 포함되었습니다. 16주 과정의 강의는 연구를 위한 데이터 추출 전에 일반적인 전략 경영 강의로 제공되었으며, 윤리 승인 전에는 식별 가능한 어떤 연구 데이터 세트도 추출, 코딩, 분석 또는 보고되지 않았습니다. 비식별화된 강의 기록의 연구 활용에 대한 서면 또는 전자 동의서는 윤리 승인 후 데이터 세트 포함 전에 수집되었습니다. 강의 참여는 연구 데이터 활용과 분리되었으며, 동의하지 않은 학생들은 강의를 정상적으로 수료하였으나 연구 분석에서는 제외되었습니다. 동의 기록은 성적부와 별도로 저장되었으며, 코드-신원 매칭 파일은 데이터 관리자에게만 제한적으로 공개되었습니다. 분석 가능 데이터 세트는 성적 제출, 동의 확인, 코드 할당, 그리고 직접 식별자 및 식별 가능한 자유 텍스트 의견 제거가 모두 완료된 후에 생성되었습니다.
1. 경진대회 통합형 교육과정 개선 프로토콜을 수립합니다.
- 본 프로토콜을 학부 전략 경영 과정의 16주 경쟁 통합형 교육과정 개선 프로세스로 정의한다. 교육 메커니즘은 전략적 분석, 증거 기반 의사결정, 피드백, 팀 책임, 구술 방어 및 과정 검토를 연결하는 단계별 진단-결정-방어 사이클로 구성된다.
- 강의실 상호작용, 케이스 설계의 완결성, 피드백의 적시성, 과제-루브릭 일치도 및 학생 참여도를 통해 교육의 질을 정의한다. 계획된 활동 완료, 기업 또는 케이스 세션 완료, 과제 완료, 피드백 회신, 루브릭 작성, 관찰 완료 및 평가자 교육 완료를 통해 실행 충실도를 정의한다. 신뢰도와 차원적 근거가 뒷받침되는 경우에만 지표를 통합한다.
- 구성적 일치도를 유지하기 위해 교육과정 전달 전 학습 결과, 교수 활동, 경쟁 과제, 루브릭, 피드백 시점 및 결과 측정 항목을 정렬한다13.
- 강좌 강사, 경쟁 코디네이터, 기업 연락 담당자, 강의실 관찰자, 평가 코디네이터 및 데이터 관리자의 역할을 배정한다. 소규모 프로그램에서는 교수 역할이 통합될 수 있으나, 데이터 관리자는 가능한 한 최종 성적 산출 및 연구 데이터셋 준비 과정에서 분리되어야 한다.
- 강의계획서, 케이스 파일, 핸드북, 과제 템플릿, 루브릭, 관찰 양식, 설문지, 팀 기록, 채점표, 피드백 로그, AI 사용 공개 양식 및 버전 관리 기록이 포함된 버전 관리 기반의 교육과정 실행 폴더를 준비한다. 윤리 승인 후, 승인 기록, 동의 확인 기록, 비식별화 로그, 비식별 데이터셋, 데이터 딕셔너리, 클리닝 로그, 분석 스크립트, 통계 결과물, 그림 소스 파일, 표 및 보충 파일이 포함된 연구 재현성 폴더를 생성한다(그림 1 및 재료 표; 운영 템플릿은 보충 파일 1에 제공됨).
그림 1: 경진대회 통합형 전략 경영 강좌 개선 프로토콜의 워크플로우. 이 워크플로우는 강좌 준비부터 16주간의 정규 강좌 시행, 정규 교육 기록 생성, 성적 제출, 윤리 승인된 연구 활용 준비, 동의 확인, 비식별화, 데이터셋 잠금, 분석, 보고, 문제 해결 및 강좌 개선에 이르는 순서를 보여줍니다. 이 그림은 정규 교수 활동과 성적 처리 후의 연구 데이터 추출 및 분석 과정을 구분하여 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
2. 학생 코호트를 모집하고 연구 데이터 세트를 준비합니다.
- 선택된 학부 전략 경영(Strategic Management) 분반에 정식으로 등록된 학생들을 포함합니다. 기관, 학년도, 학기, 분반, 코호트 유형, 전공, 학년, 강의 주수, 접촉 시간, 등록 인원, 동의 표본, 제외 인원, 최종 분석 표본, 인구통계학적 특성, 이전 공모전 경험, 중도 탈락 및 결측치 수를 기록합니다.
- 전체 공모전 통합 프로토콜을 적용받은 학급을 프로토콜 코호트로 정의하고, 3단계 공모전 시퀀스가 없는 전통적인 사례 기반 전략 경영 교육을 받은 과거의 학급을 비교 코호트로 정의합니다. 동일한 강사가 두 코호트를 모두 가르쳤는지 여부와 학습 결과, 평가 범위, 개별 사례 분석 요구사항 및 성적 산출 구조가 유사했는지 여부를 기록합니다.
- 윤리 승인 후 동의 여부를 확인하고, 식별 불가능한 학생 및 팀 코드를 부여하며, 직접 식별자를 제거하고, Table 1에 명시된 포함, 제외 및 결측치 규칙을 적용합니다.
- 최소 하나 이상의 유효한 과정 후 결과값이 있는 동의 학생들을 포함합니다. 지식 테스트 중 하나라도 누락된 학생은 쌍체 지식 분석에서 제외하고, 세 가지 과제 기록이 모두 누락된 학생은 공모전 관련 분석에서 제외합니다. 그 외 적격한 분석을 위해 사용 가능한 기록은 유지합니다.
- 누락된 연구 데이터는 NA로 코딩합니다. 승인된 강의 정책에 따라 실제 강의 점수가 0점인 경우가 아니면 0을 부여하지 않습니다. 각 코호트에 대한 참여자 흐름 기록을 생성합니다.
| 항목 | 조작적 정의 | 적용 규칙 | 데이터세트 변수 | 분석적 시사점 |
| 대상 과정 | 선택된 학기에 제공되는 학부 전략 경영 과정 | 선택한 강좌 분반에 정식으로 등록된 학생들을 포함하십시오. | 강의 섹션 | 적격 교육 대상 집단을 정의합니다 |
| 프로토콜 코호트 | 전체 경쟁 통합 과정 개선 프로토콜을 적용받은 학급 | 1로 코딩하십시오. | 코호트 유형 | 프로토콜 코호트 |
| 역사적 대조 코호트 | 전체 3단계 경쟁 프로세스 없이 전통적인 사례 기반 전략 경영 교육을 받은 과거 대조군 클래스 | 0으로 코딩함 | 코호트 유형 | 비무작위 역사적 대조 코호트 |
| 공식 등록 | 학생이 공식 수강생 명단에 기재되어 있음 | 잠재적 적격자로 스크리닝함 | 적격 상태 | 연구용 스크리닝 전 필수 사항 |
| 연구 동의서 | 윤리 승인 후, 학생은 비식별화된 강의 기록 사용에 대해 서면 또는 전자 동의서를 제공한다. | 연구 데이터 세트에는 동의한 학생들만 포함시키십시오. | 동의 상태 | 동의하지 않은 학생들은 교육 과정을 정상적으로 이수하지만, 연구 분석 대상에서는 제외됩니다. |
| 강의 참여 | 연구 동의 여부와 관계없이 완료된 일상적인 교육 과정 학습 활동 | 등록된 모든 학생이 수업에 참여하고, 팀에 합류하며, 코스 과제를 완료하고 성적을 받을 수 있도록 허용하십시오. | 강의 참여 상태 | 교육 참여와 연구 참여를 분리함 |
| 유효한 교육 후 성과 | 최소 하나 이상의 유효한 과정 후 결과가 존재합니다. | 해당 결과값을 사용할 수 있는 분석에 포함하십시오. | 결과 이용 가능 | 가용 사례 분석을 가능하게 함 |
| 중간 지점 이전의 수강 철회 | 학생이 8주 차 이전에 수강 철회함 | 최종 연구 데이터 세트에서 제외하십시오 | 철회 상태 | 불완전 노출 편향을 감소시킵니다 |
| 기초 지식 결손 테스트 | 1주 차 지식 테스트가 누락되었습니다. | NA로 코딩하십시오 | 사전 지식 누락 | 쌍을 이룬 지식 분석에서만 제외 |
| 과정 후 지식 테스트 누락 | 16주 차 지식 테스트가 누락되었습니다. | NA로 코딩함 | 사후 지식 결손 | 쌍으로 묶인 지식 분석에서만 제외 |
| 두 지식 테스트 모두 누락됨 | 기초선 및 교육 후 지식 점수가 모두 누락되었습니다. | 지식 점수 분석에서 제외 | 지식 쌍 상태 | 데이터를 사용할 수 있는 경우, 다른 적격 분석을 위해 보관하십시오. |
| 누락된 강좌 후 설문조사 | 익명 강의 후 설문조사가 누락되었습니다. | NA로 코딩함 | 설문조사 누락 | 객관적 성능 분석 시 유지함 |
| 한두 개의 경진대회 과제 기록 누락 | 하나 또는 두 개의 작업 또는 매핑된 프로젝트 레코드가 누락되었습니다. | 교과 과정 정책에서 0점으로 처리하도록 규정하지 않은 경우, 누락된 기록은 NA로 코딩하십시오. | 작업 점수 누락 | 사용 가능한 작업 또는 매핑된 프로젝트 기록 유지 |
| 세 가지 경쟁 과제 기록 모두 누락됨 | 작업 1, 작업 2 또는 작업 3에 대한 유효한 기록이 없습니다. | 경쟁 관련 분석에서 제외 | 경쟁 완료 | 다른 결과가 이용 가능한 경우, 비경쟁 분석을 위해 보관하십시오. |
| 중복 기록 | 동일한 학생 코드에 대해 둘 이상의 행이 나타납니다. | 소스 파일 확인 후 검증된 최종 기록을 유지하십시오. | 중복 확인 | 분석 전 분리 |
| 식별자 유출 | 성명, 학번, 전화번호, 이메일, 플랫폼 계정, 기기 식별자 또는 식별 가능한 자유 형식의 텍스트 의견이 표시됨 | 분석 전 식별자 제거 | 식별자 확인 | 비식별화 처리가 완료될 때까지 데이터 세트를 분석할 수 없습니다. |
| 최종 분석 시료 | 제외 및 결측치 처리 규칙 적용 후 사용 가능한 데이터를 보유한 동의 학생 수 | 최종 수치 및 제외 사유 보고 | 분석 샘플 | 참가자 흐름 보고에 필요함 |
표 1: 코호트 구조, 선정 기준, 제외 기준 및 결측 데이터 처리 규칙.이 표는 프로토콜 코호트, 과거 비교 코호트, 적격성 기준, 연구 이용 허가, 제외 기준, 결측 데이터 처리 및 분석 샘플 구성을 정의합니다.
3. 16주 과정 시퀀스를 시행합니다.
- 본 과정은 16주의 수업 주간 동안 진행하며, 32시간의 강의실 대면 수업과 약 24-30시간의 독립적인 팀워크 시간을 배정합니다. 교수 학습 시간, 팀워크 시간, 케이스 상호작용, 피드백, 리허설 및 평가 시간을 각각 별도로 기록하십시오.
- 1주차에는 일상적인 과정 활동으로 과정 브리핑, 기초 지식 테스트 및 기초 참여도 설문조사를 실시합니다. 과정 진행 방식, 과제 순서, 평가 규칙, 데이터 보호 원칙 및 추후 익명화된 기록의 연구 활용에 대해 설명하십시오. 2~3주차에는 전략 경영 핵심 강의를 진행하고, 4~15주차 동안은 짧은 개념 강화 학습을 실시합니다.
- 4주차에는 과제 순서, 제출 규칙, 루브릭, 피드백 일정, 팀 책임, 학문적 정직성 규칙, AI 공개, 구두 확인 절차 및 이의 신청 절차를 포함한 기업 케이스 패키지와 경진대회 핸드북을 소개합니다.
- 5~6주차에 과제 1을 실시하고, 7주차 중 7일 이내에 피드백을 제공합니다. 과제 2를 수행하기 전14에 전략적 이슈 진술서의 수정을 요구하십시오. 8~10주차에 과제 2를 실시하고, 11주차에 기업 멘토링 또는 구조화된 케이스 코칭을 진행하며, 12~15주차에 과제 3을 실시합니다.
- 16주차에는 일상적인 과정 활동으로 과정 종료 후 지식 테스트, 사후 설문조사, 데이터 감사 및 과정 검토를 실시합니다. 윤리 승인, 동의 확인 및 성적 제출이 완료된 후에만 연구 목적으로 기록을 내보내고, 코딩 및 익명화하여 분석하십시오(표 2 참조).
일시 중단 지점: 팀 배정, 케이스 파일, 핸드북, 루브릭, AI 공개 양식, 과제 템플릿 또는 데이터 기록 양식이 미비한 경우 4주차 이후에 진행을 일시 중단하십시오. 연구 보고의 경우, 윤리 승인, 동의 확인, 성적 제출, 익명화 및 데이터셋 잠금이 완료될 때까지 분석을 중단하십시오.
| 주 | 활동 | 교육적 중점 사항 | 학생 또는 팀 결과물 | 필수 기록물 | 품질 검사 |
| 1주 차 | 강의 브리핑 및 기초 평가 | 강의 과정, 평가 규칙, 기초 지식 테스트, 기초 참여도 설문조사 | 기초 지식 테스트; 기초 설문조사 | 출석부; 기초 수준 테스트 파일; 기초 설문 조사 파일; 강의 오리엔테이션 기록 | 기초 평가 완료 여부를 확인하고, 일상적인 강의 기록이 추후 연구 용도로 사용되는 것과 분리되었는지 확인하십시오. |
| 2주 차 | 핵심 전략 경영 지침 I | 환경 분석, 산업 분석, 경쟁자 분석 | 수업용 워크시트 | 출석; 워크시트 기록 | 워크시트 완료 여부 확인 |
| 3주차 | 핵심 전략 경영 지침 II | 내부 자원 분석, 전략적 선택, 실행 계획, 성과 평가 | 단례 토론 답변 | 출석부; 사례 토론 기록 | 경연 시작 전 핵심 개념 확인 |
| 4주 차 | 기업 사례 소개 및 경진대회 브리핑 | 사례 패키지, 핸드북, 과업 순서, 루브릭, AI 사용 공개, 팀 규칙, 이의 신청 절차 | 팀 명단; 팀 헌장; AI 사용 확인서 | 팀 목록; 팀 헌장; 핸드북 접속 기록; 케이스 접속 기록 | 사례 파일, 핸드북, 루브릭, 팀 기록, 작업 템플릿 또는 AI 사용 양식이 미비한 경우 일시 중단하십시오. |
| 5주차 | 작업 1 시작 | 전략적 진단 보고서 구조 및 증거 요구사항 | 전략적 진단 보고서 초안 | 팀 프로세스 로그; 상담 기록 | 팀 역할 할당 확인 |
| 6주차 | 과제 1 제출 | 전략적 진단, 산업 및 내부 분석, 근거 활용 | 최종 작업 1 보고서 | 제출 기록; 보고서 파일 | 누락되었거나 형식이 잘못된 제출물 식별 |
| 7주차 | 작업 1 피드백 | 루브릭 기반 피드백 및 수정 방향 | 수정된 전략적 현안 진술서 | 피드백 로그; 피드백 처리 기록 | 다음의 경우 일시 정지하십시오. >보고서의 15%가 요구되는 구조를 충족하지 못함 |
| 8주차 | 작업 2 시작 | 결정 시트, 시뮬레이션 가정, 결정 변수 | 초기 전략 결정 시트 | 팀 프로세스 로그; 관찰 기록 | 결정 변수에 대한 이해 확인 |
| 9주차 | 전략적 의사결정 정교화 | 시장 포지셔닝, 자원 배분, 실행 순서, 리스크 가정 | 수정된 결정 시트 | 코칭 기록; 관찰 체크리스트 | 근거 기반 정당성 확인 |
| 10주차 | 과제 2 제출 | 최종 전략적 결정 로직 | 최종 과제 2 결정 시트 | 과제 2 점수; 제출 기록; 결정서 파일 | 제출 완료 여부 확인 |
| 11주차 | 기업 또는 구조화된 사례 코칭 | 전략적 딜레마에 관한 멘토 또는 사례 기반 피드백 | 멘토 성찰 시트; 팀 수정 계획서 | 기업 참여 로그; 학생 질문; 성찰 기록 | 출석 및 성찰 일지 작성 완료 확인 |
| 12주차 | 과제 3 시작 | 최종 심사 형식, 요약 보고서, 슬라이드 구성, 질의응답&규정 | 발표 개요 초안 | 팀 프로세스 로그; AI 공개 업데이트 | 동료 기여도 양식을 사용하여 업무 부하 균형을 확인하십시오 |
| 13주차 | 최종 심사 준비 | 전략적 일관성, 실행 가능성, 리스크 제어, 증거 활용 | 슬라이드 덱 초안; 실행 요약본 | 코칭 로그; 관찰 체크리스트 | 진단-선택-이행 연계 확인 |
| 14주차 | 리허설 및 평가자 보정 | 예비 심사와 평가자 교육 | 리허설 발표 | 평가자 교육 기록; 예비 루브릭 점검 | 점수 산정 보정 확인 |
| 15주차 | 최종 전략 변론 | 8분 발표 및 5분 질의응답&A | 최종 슬라이드 덱; 요약 보고서; 구두 심사 | 과제 3 점수; 평가자 점수; Q&참고 사항 | 중첩된 주관적 점수 산출을 위한 ICC 계산 |
| 16주차 | 강좌 후 평가 및 강좌 검토 | 강좌 후 지식 테스트, 강좌 후 설문조사, 강좌 검토, 정기 데이터 감사 | 강좌 후 지식 테스트; 강좌 후 설문조사 | 사후 테스트 파일; 설문 조사 파일; 강의 검토 기록 | 성적 제출, 윤리 승인, 동의 확인, 비식별화 및 데이터 세트 잠금이 완료될 때까지 연구 분석을 중단하십시오. |
표 2: 경진대회 통합형 전략 경영 과정 프로토콜의 16주 실행 일정. 이 표는 16주 과정 동안의 주차별 프로토콜 활동, 교육 중점 사항, 학생 또는 팀 결과물, 필수 기록 및 품질 관리 점검 항목을 요약하여 보여줍니다.
4. 기업 사례 및 경진대회 자료를 준비합니다.
- 공개되었거나 익명화된, 또는 기업이 승인한 교육 자료에서 주요 기업 사례 하나와 선택적 보조 사례 두 개를 선정하십시오. 각 사례에 대해 산업적 맥락, 관리적 의사결정 문제, 자원 제약, 전략적 트레이드오프, 구현 과제 및 측정 가능한 결과가 포함되어 있는지 검토하십시오. 독립적인 검증이 불가능한 경우 '사례의 실제성'보다는 '사례 설계의 완결성'을 기준으로 사용하십시오.
- 기업 승인 자료를 사용할 수 없는 경우 익명화된 모델 사례를 준비하십시오. 산업군, 기업 규모, 고객 세그먼트, 경쟁 압력, 자원 제약, 전략적 의사결정, 구현 리스크 및 예상 결과를 구체적으로 명시하십시오. 서면 허가 없이 회사명, 정확한 재무 수치, 고객 정보, 직원 정보, 독점 데이터 및 전략 문서를 포함한 기업 기밀 정보를 모두 삭제하십시오. 사례 템플릿은 보충 파일 1에 제공됩니다.
- 핸드북, 과제 템플릿, 동료 기여도 양식, 팀 프로세스 로그, 피드백 로그, AI 사용 공개 양식, 구술 점검 기록지, 루브릭 및 버전 관리 표를 준비하십시오. 언어 교정, 서식 지정, 문법 검사, 일반적인 브레인스토밍 및 슬라이드 레이아웃 개선을 위한 공개된 AI 사용은 허용하십시오. 학생이 직접 수행해야 하는 진단, 증거 선정, 의사결정 정당화, 리스크 분석, 구현 계획 수립 또는 구술 방어를 대체하는 AI 사용은 금지하십시오.
- 다듬어진 텍스트보다 전략적 추론을 우선시하도록 루브릭을 설계하십시오. 증거 활용, 트레이드오프 추론, 구현 가능성, 내부 일관성 및 구술 방어를 발표 스타일과 별개로 채점하십시오. 4주 차 이전에 핸드북, 템플릿, 루브릭, 사례 자료, AI 사용 규칙 및 이의 신청 절차를 업로드하십시오.
5. 학생 팀을 구성하고 팀 역할을 배정합니다.
- 4~6명의 학생으로 팀을 구성합니다. 기초 코스 성적, 전공, 성별 또는 이전 대회 경험 데이터를 사용할 수 있고 기관의 코스 정책상 허용되는 경우 층화 집단 구성 방식을 사용하십시오.
- 과제 1 시작 전에 각 학생에게 하나의 주 역할을 배정합니다. 각 팀은 팀 헌장을 제출하고 역할 분담, 소통 규칙, 기여 기대치, 마감일, AI 사용 책임, 출석, 결정 사항, 검토된 증거, 미해결 문제 및 향후 조치 사항을 기록하는 프로세스 로그를 유지하도록 합니다.
- 중간 단계와 최종 단계에서 동료 기여도 점수를 수집하여 기여도 불균형을 확인합니다. 코칭, 리허설 또는 최종 발표 중에 선정된 학생에게 팀의 진단, 근거 기반, 결정 논리, 위험 가정 또는 실행 계획을 자신의 말로 설명하도록 요청함으로써 개별 구두 확인을 실시합니다.
6. 기선 평가를 수행합니다.
- 정규 과정 평가의 일환으로, 기업 사례 소개 및 경진대회 과제 수행 전인 1주 차에 기초 전략 경영 지식 테스트를 실시합니다.
- 환경 분석, 산업 및 경쟁자 분석, 내부 자원 분석, 전략적 선택, 실행 계획, 전략적 평가를 다루는 0점에서 100점까지의 24문항 테스트를 사용합니다. 설계도, 문항 개발 규칙, 검토 양식 및 채점 규칙은 Supplementary File 1에 제공됩니다.
- 주제 범위, 문항 형식, 인지 수준, 점수 범위, 예상 난이도 및 채점 규칙이 일치하지만 서로 동일하지는 않은 동등한 버전인 Form A와 Form B를 개발합니다. 두 명의 전략 경영 강사와 한 명의 경영 교육 평가 검토자가 문항의 관련성, 명확성, 인지 수준 및 주제 범위를 평가하도록 합니다. 분석 표본 외의 학생 24명을 대상으로 두 양식 모두에 대해 파일럿 테스트를 실시합니다.
- 가능한 경우 난이도 값이 0.30–0.80이고 문항 변별도 값이 0.20 이상인 문항을 유지합니다. KR-20 또는 Cronbach’s alpha가 ≥0.70인 경우 내부 일관성이 수용 가능한 것으로 간주합니다. 파일럿 평균 차이가 ≤3점이고 표준화된 차이가 <0.20인 경우, 해당 양식들을 쌍으로 사용하기에 적합한 것으로 간주합니다.
- 가능한 경우 양식을 균형 배치합니다. 학생의 절반은 기초 단계에서 Form A를, 과정 종료 후 Form B를 할당하고, 나머지 절반은 기초 단계에서 Form B를, 과정 종료 후 Form A를 할당합니다. 하나의 고정된 순서를 사용하는 경우, 이를 제한 사항으로 기록합니다.
- 지식 테스트 후에 기초 참여도 설문조사를 실시합니다. 5점 척도 문항을 사용하여 전략 경영에 대한 관심도, 인지된 실무적 관련성, 사례 분석 자신감, 팀 과제 참여 의지, 팀워크 준비도 및 이전 경진대회 경험을 기록합니다. 신뢰도 및 차원적 근거가 합성 점수를 뒷받침하지 않는 한, 개념적으로 서로 다른 문항은 개별적으로 분석합니다.
- 정규 과정 진행 중에 기초 출석, 지식 테스트 완료 여부, 설문 완료 여부 및 양식 버전을 기록합니다. 윤리 승인, 동의 확인, 코드 할당 및 직접 식별자 제거 후에만 연구 목적으로 기초 데이터를 내보냅니다.
7. 기업 사례 기반의 전략 경영 교육을 실시합니다.
- 짧은 강의, 유도된 토론, 팀 워크시트 및 간략한 의사결정 연습를 통해 사례 기반 교육을 진행하십시오. 능동적 학습 과제를 활용하여 학생들이 개념 수용 단계에서 분석, 의사결정, 팀 토론 및 성찰 단계로 나아가도록 유도하십시오15.
- 가능한 경우 기업 관리자, 기업가 또는 산업 멘토를 초빙하십시오. 세션 시작 최소 7일 전에 강의 목표, 학생 수준, 사례 주제, 기밀 유지 요구 사항, 토론 중점 사항 및 소요 시간을 제공하십시오. 라이브 멘토를 섭외할 수 없는 경우에는 익명화된 사례 브리핑이나 공개 사례 브리핑을 사용하십시오.
- 시장 불확실성, 경쟁 압박, 비즈니스 모델 조정, 자원 제약, 실행 장벽 또는 리스크 제어와 관련된 비기밀 전략적 문제 하나를 제시하십시오. 각 팀이 구조화된 워크시트를 사용하여 문제, 근거 기반, 대안, 리스크 및 권장 의사결정을 식별하도록 하십시오.
- 각 팀이 사례 문제와 하나의 전략 경영 개념 및 하나의 능동적 경쟁 의사결정을 연결한 300~500단어 분량의 성찰 보고서를 제출하도록 하십시오. 멘토의 이력, 사례 출처, 출석 여부, 학생 질문, 워크시트 완료 및 성찰 보고서 제출 내용을 기업 참여 로그에 기록하십시오. 경험 학습 활동을 통해 경쟁 주기 전반에 걸쳐 사례 노출, 성찰, 의사결정 및 수정을 연결하십시오16.
8. 3단계 교수 경쟁 학습을 실시합니다.
- 4주 차에 공식 경진대회 브리핑을 실시합니다. 과제 순서, 일정, 평가 루브릭, 피드백 규칙, 학문적 진실성 요구 사항, AI 사용 공개, 구두 확인 절차 및 이의 신청 절차에 대해 설명합니다.
- 5~6주 차에 과제 1을 수행합니다. 산업 분석, 경쟁사 분석, 내부 자원 분석, 전략적 이슈 진단, 근거 활용 및 초기 제언을 포함하는 1,500~2,000 단어 분량의 전략 진단 보고서를 작성하게 합니다. 피드백은 7일 이내에 제공하며, 수정된 전략적 이슈 정의서를 과제 2의 시작점으로 활용합니다.
- 8~10주 차에 과제 2를 수행합니다. 시장 포지셔닝, 자원 배분, 가격 또는 비용 로직, 실행 순서, 리스크 가정 및 예상 결과가 포함된 전략적 의사결정 시뮬레이션 또는 구조화된 의사결정 시트를 작성하게 합니다.
- 12~15주 차에 과제 3으로 최종 전략 방어를 수행합니다. 8~12장의 슬라이드 덱, 1,000~1,500 단어의 요약 보고서, 8분 발표 및 5분 질의응답을 요구합니다. 방어 과정에서 과제 1의 진단, 과제 2의 의사결정 로직, 실행 계획, 리스크 제어 및 예상 결과가 서로 연결되는지 확인합니다.
- 세 가지 과제 모두 100점 만점의 루브릭을 사용하여 채점하며, 표 3의 구조와 채점 항목을 적용합니다.
일시 중단 지점: 제출물의 15% 이상이 요구된 구조를 따르지 않았거나 평가자가 설명 문구가 불분명하다고 판단한 경우, 과제 1 채점 후 절차를 일시 중단합니다. 과제 2를 시작하기 전에 과제 지침이나 평가자 가이드를 수정합니다.
| 과제 | 주(Weeks) | 필수 출력물 | 주요 내용 | 점수 | 채점 기준 |
| 과제 1: 전략적 진단 보고서 | 5~6주차 | 1,500~2,000 단어 분량의 팀 보고서 | 산업 분석, 경쟁사 분석, 내부 역량 분석, 전략적 이슈 진단, 근거 활용, 초기 권고안 | 100 | 산업 및 시장 분석, 20 |
| 내부 자원 분석, 20 | |||||
| 전략적 이슈 진단, 20 | |||||
| 근거 활용, 20 | |||||
| 작성 논리 및 명확성, 20 | |||||
| 과제 2: 전략적 의사결정 시뮬레이션 또는 의사결정 시트 | 8~10주차 | 구조화된 팀 의사결정 시트 | 시장 포지셔닝, 자원 배분, 가격 책정 또는 비용 논리, 실행 순서, 리스크 가정, 예상 결과 | 100 | 전략적 일관성, 25 |
| 시장 논리, 20 | |||||
| 운영 가능성, 20 | |||||
| 위험 분석, 20 | |||||
| 결정 근거, 15 | |||||
| 과제 3: 최종 전략 변론 | 12~15주차 | 8~12장의 슬라이드 덱, 1,000~1,500단어 분량의 요약 보고서, 8분 발표, 5분 질의응답&A | 전략적 진단, 전략적 선택, 실행 계획, 리스크 제어, 기대 성과 | 100 | 전략적 진단, 20 |
| 전략적 선택, 25 | |||||
| 실행 가능성, 20 | |||||
| 혁신, 15 | |||||
| 근거 활용, 10 | |||||
| 구두 심사, 10 |
표 3: 3단계 교수법 경진대회 구조 및 평가 항목. 이 표는 세 가지 경진대회 과제, 시행 주차, 제출물, 주요 내용 요구사항, 총점 및 평가 항목을 정의합니다.
9. 점수 산정 방식을 표준화하고 평가자를 교육합니다.
- 인력 상황이 허용되는 경우 주관적 점수 산정을 위해 최소 2명의 평가자를 모집하십시오. 두 번째 평가자를 확보할 수 없는 경우에는 단일 평가자에 의한 점수 산정 내용을 기록하십시오.
- 루브릭, 기술어, 캘리브레이션 제출물, 흔한 채점 오류, AI 공개 규칙 및 구두 확인 기준을 사용하여 평가자를 교육하십시오. 평가자들은 두 개의 캘리브레이션 제출물을 독립적으로 채점하며, 10점 이상의 점수 차이가 발생하는 경우 이에 대해 논의합니다.
- 훈련 후 루브릭을 고정하고 구현 주기 전반에 걸쳐 동일한 버전을 사용하십시오. 두 명 이상의 평가자가 동일한 제출물을 채점한 경우 ICC를 계산하십시오. ICC ≥ 0.75인 경우를 수용 가능한 것으로 간주하며, ICC가 그 미만일 때는 점수를 조정하십시오. <0.75 또는 점수 차이가 10점을 초과하는 경우. 원점수, 조정 점수 및 조정 메모를 보존하십시오.
- 루브릭 기반 채점을 사용하여 기대치를 명확히 하고 형성 평가를 지원하십시오17의 평가자 교육, 점수 일치도 및 조정 절차를 따르십시오. 부록 표 S1.
10. 교수 품질 및 실행 충실도 데이터를 수집합니다.
- 강의실 상호작용, 케이스 설계 완결성, 피드백 적시성, 과제-루브릭 일치도 및 학생 참여도를 통해 교육 품질을 측정하십시오. 신뢰도 및 차원적 근거가 통합을 뒷받침하지 않는 한 지표를 개별적으로 분석하십시오.
- 독립적인 실제성 검증이 가능한 경우가 아니라면 "케이스 실제성" 대신 "케이스 설계 완결성"을 사용하십시오.
- 계획된 활동 완료도, 기업 또는 케이스 세션 완료도, 과제 제출률, 피드백 반환 속도, 루브릭 작성 완료도, 관찰 완료도 및 평가자 교육 완료도를 통해 실행 충실도를 측정하십시오.
- 표 4의 임계값은 외부에서 검증된 컷오프가 아니라 사전 정의된 운영 품질 관리 규칙으로 취급하십시오. 해당 임계값은 파일럿 타당성, 교수팀 합의 및 업무 부하 제약을 바탕으로 연구 분석 전에 설정되었습니다.
- 표 4에 명시된 지표, 데이터 소스, 임계값, 경고 규칙 및 시정 조치를 사용하십시오. 추가적인 문제 해결 절차는 부록 표 S2에 제공됩니다.
- 계획된 주간 활동의 ≥85%가 완료되고, 프로토콜 코호트 학생의 ≥85%가 3가지 과제를 모두 완료하며, 피드백의 ≥80%가 달력 기준 7일 이내에 반환되고, 모든 주요 루브릭이 작성되었으며, 필수 관찰 결과가 확보된 경우 실행이 적절한 것으로 간주하십시오. 과제 완료도가 <75%이거나, 제출물의 >20%에 대해 피드백이 달력 기준 14일을 초과하거나, ICC가 <0.75이거나, 계획된 관찰의 >25%가 누락된 경우 실행이 최적화되지 않은 것으로 간주하십시오.
| 카테고리 | 지시약 | 데이터 소스 | 시점 | 척도 | 양성 신호 또는 임곗값 | 경고 규칙 | 시정 조치 |
| 이행 충실도 | 계획된 활동 완료 | 강좌 시행 기록 | 1~16주차 | 완료율(%) | 계획된 활동의 85% 이상 완료 | <85% 완료됨 | 누락된 세션을 검토하고 일정 제어를 수정하십시오. |
| 이행 충실도 | 기업 또는 구조화된 사례 세션 | 기업 참여 로그 | 11주차 | 구현됨 / 구현되지 않음 | 계획된 세션이 구조화된 사례 코칭으로 구현되거나 대체됨 | 대체 세션 없이 계획된 세션 누락됨 | 익명화된 사례 세션 또는 구조화된 사례 코칭을 사용하십시오. |
| 이행 충실도 | 세 가지 과제 순차 완료 | 제출 기록 | 6주, 10주, 15주 | % 학생들 | 프로토콜 코호트 학생의 85% 이상이 세 가지 과제를 모두 완료함 | <모든 작업의 75% 완료 | 지침을 간소화하고 진행 상황 점검 항목을 추가하십시오. |
| 이행 충실도 | 피드백의 적시성 | 피드백 로그 | 7주, 10주, 15주 | 달력 기준 일수 | 7일 이내에 80% 이상의 피드백 회신 완료 | >14일 후 피드백 회수율 20% | 피드백 양식 단축 및 채점 업무 분담 |
| 이행 충실도 | 관찰 완료 | 관찰 양식 | 1~16주차 | 계획된 관측 비율 (%) | 계획된 관찰의 75% 이상 완료 | >계획된 관찰치의 25% 누락 | 관찰자 백업 및 고정 관찰 일정 추가 |
| 점수 산정 품질 | 평가자 간 일치도 | 평가자 점수 | 작업 1 하위 집합 및 작업 3 방어 | 면역세포화학염색 | ICC ≥0.75 | 면역세포화학염색 (ICC) <0.75 | 평가자 재교육, 기술어 명확화, 영향받은 점수 조정 |
| 교육적 품질 | 교실 상호작용 | 관찰 체크리스트 | 선택된 세션 | 1~5점 척도 | 평균 ≥3.50 또는 증가분 ≥0.30 | 평균 <3.50 | 토론 유도 질문 및 퍼실리테이션 강화 |
| 교육적 품질 | 케이스 설계 완결성 | 케이스 체크리스트 | 4주 차 이전 | 0~5점 또는 1~5점 점수 | 평균 ≥4.00 | 평균 <3.50 | 사례 배경, 의사결정 문제, 제약 조건 및 결과를 수정하십시오. |
| 교육 품질 | 과제-루브릭 일치성 | 정렬 체크리스트 | 4주 차 이전 및 과정 종료 후 검토 | 0~5점 또는 1~5점 척도 | 평균 ≥4.00 | 평균 <3.50 | 작업-결과물-루브릭-피드백 정렬 수정 |
| 교육 품질 | 학생 참여도 | 출석, 참여, 로그, 설문 항목 | 1~16주 차 | 항목별 점수 또는 1~5점 척도 점수 | 0.30점 이상 증가 | 감소 >0.30점 | 과부하 감소, 기대치 명확화, 형성적 지원 확대 |
| 학습 성과 | 전략 경영 지식 | 기초 및 교육 후 테스트 | 1주 및 16주 차 | 0–100 | 평균 증가량 ≥5점 | 증가 <3점 | 교수 범위, 문항 정렬 및 시험 동등성 검토 |
| 학습 결과 | 개별 사례 분석 | 사례 분석 루브릭 | 학기 말 | 0–100 | 프로토콜-코호트 이점 ≥3점 | 이점이나 감소 없음 | 사례 분석 연습 문제와 주석이 달린 예시를 추가하십시오. |
| 팀 성과 | 팀 경쟁 성과 | 경진대회 평가 기준표 | 6주, 10주, 15주 | 0–100 | 작업 전반에 걸친 점진적 개선 | 초기 근거는 부족하나 최종 점수가 높은 경우 | 점수 인플레이션을 확인하고 추론 중심으로 루브릭을 재조정하십시오. |
| 학생 인식 | 만족도 | 강좌 후 설문조사 | 16주차 | 1–5점 척도 | 평균 ≥4.00 | 평균 <3.50 | 업무량, 과업 명확성, 피드백 품질 및 팀 협업 검토 |
| 학생 인식 | 실무적 관련성 | 강의 후 설문조사 | 16주차 | 1~5점 척도 | 평균 ≥4.00 | 평균 <3.50 | 사례 특이성을 높이고 실제 전략적 결정과의 연계성을 강화하십시오. |
| 작업 부하 안전 | 경쟁 압박 | 강좌 후 설문조사 | 16주차 | 1~5점 또는 % | 고압 ≤20% 학생들 | 고압 >학생의 20% | 작업 중복을 줄이고 마감 기한 간격을 조정하십시오. |
| 해석 주의 사항 | 천장 효과 | 기초선 검사 및 설문조사 | 1주차 | 0–100 또는 1–5 | 기초 지식 ≤85 및 만족도 ≤4.50 | 지식 >85점 또는 만족 >4.50 | 작은 개선 사항은 신중하게 해석하십시오. |
| 해석 주의 사항 | 점수 인플레이션 | 팀 및 개인 성과 | 학기 말 | 패턴 판단 | 개별 학습 증거가 수반된 팀 성과 향상 | 팀 점수는 향상되지만 개인의 학습은 이루어지지 않음 | 개별 책임성 강화 및 추론 기반 채점 도입 |
| 팀 프로세스 | 동료 기여도 균형 | 동료 기여 양식 | 중간 단계 및 최종 단계 | 1~5점 척도 | 반복적인 주요 불균형 없음 | 하나 이상의 구성원이 반복적으로 매우 낮게 평가함 | 역할 재배분 및 지도 교수 확인 필요 |
| 연구 윤리 | AI 사용 투명성 | AI 공개 및 구두 확인 | 각 주요 과업 | 공개됨 / 공개되지 않음 | 기관 규정에 따라 AI 사용을 공개함 | 미공개 또는 부적절한 AI 사용 | 기관의 학술적 정직성 절차를 적용하고 AI 관련 규정을 명확히 하십시오. |
표 4: 실행 충실도, 교육 품질, 결과 해석 및 문제 해결 지표. 이 표는 실행 충실도 지표, 교육 품질 지표, 학생 수준 및 팀 수준의 결과 지표, 채점 품질 지표, 해석 임계값, 경고 규칙 및 시정 조치를 명시합니다.
11. 교육 과정 후 결과 데이터를 수집합니다.
- 16주 차에 동일한 구성의 사후 테스트 양식을 사용하여 전략 경영 지식 테스트를 실시하되, 기초선 테스트 양식을 그대로 사용하지 마십시오.
- 문제 식별, 근거 활용, 전략적 논리, 실현 가능성 및 서술의 명확성을 포함하는 루브릭을 사용하여 학기 말 개인별 사례 분석 점수를 수집하십시오. 실제 기초선 사례 분석 평가가 실시되지 않았다면, 이를 사후 성과 지표로 보고하십시오.
- 과제 1~3의 팀 점수를 수집하고, 이를 개인 수준의 학습 성과와 분리하여 관리하십시오.
- 익명 사후 설문조사를 통해 만족도, 인지된 실무 관련성, 피드백 유용성, 팀 협업, 경쟁 압박, 학습량 및 인지된 개선 정도를 수집하십시오. 신뢰도와 차원적 근거가 복합 점수를 뒷받침하지 않는 한, 항목들을 하나의 점수로 통합하지 마십시오.
- 성적 제출이 완료된 후에만 최종 강의 점수를 수집하십시오. 연구용 사후 기록 내보내기는 윤리 승인, 동의 확인, 코드 부여, 그리고 직접 식별자 및 식별 가능한 의견 제거가 완료된 후에만 수행하십시오.
중단 지점: 최종 성적이 제출되고, 윤리 승인을 획득하며, 동의 확인이 완료되고, 동의자 명단이 연구 데이터 세트와 분리되며, 비식별화가 확인될 때까지 연구 분석을 중단하십시오.
12. 비식별화된 데이터셋을 정제하고 병합합니다.
- 윤리 승인 및 동의 확인 후, 비식별화된 학생 수준, 팀 수준 및 수업 세션 데이터셋을 생성합니다. 중복 기록, 불가능한 값, 누락된 코드, 일치하지 않는 팀 코드 및 직접 식별자를 확인합니다.
- 팀 코드만을 기준으로 학생 수준 데이터와 팀 수준 데이터를 병합합니다. Supplementary File 1의 템플릿과 Supplementary Table S3의 변수 사전을 사용하여 모든 데이터셋을 정제하고 코딩합니다.
- 결측값은 NA로 코딩합니다. 강의 정책에서 특정 요구 사항에 대한 보충 평가나 0점 처리를 정의하지 않는 한, 누락된 결과값을 대체하지 마십시오. 쌍을 이룬 지식 분석(paired knowledge analysis)에서는 지식 테스트가 누락된 학생만 제외하고, 경기 관련 분석에서는 세 가지 경기 과제를 모두 누락한 학생을 제외합니다. 그 외 적격한 분석을 위해 사용 가능한 기록은 유지합니다.
- 정제된 데이터셋, 데이터 사전, 정제 로그, 분석 준비 파일 및 잠금 처리된 출력 파일을 저장합니다. 잠금 처리된 데이터는 날짜가 기록된 수정 로그가 있는 경우에만 수정하십시오.
13. 실행 충실도, 교수 품질 및 학습 성과를 분석합니다.
- 학습 결과를 해석하기 전에 실행 충실도(implementation fidelity)를 분석하십시오. 충실도 임계값이 충족되지 않은 경우, 결과의 차이를 해석할 때 주의가 필요합니다.
- 연속형 변수에 대해서는 기술 통계량을, 범주형 변수에 대해서는 빈도를 보고하십시오. 여기에는 코호트 유형, 전공 그룹, 이전 대회 경험, 과제 완료 여부, 결측 데이터 범주 및 프로토콜 코호트 수상 수준이 포함됩니다. 비교 코호트가 동일한 수상 구조를 사용하지 않은 한, 수상 수준은 프로토콜 코호트에 대해서만 보고하십시오.
- 인과적 동등성이 아닌 기초선 비교 가능성을 설명하기 위해, 적절한 경우 독립 표본 t-검정, 카이제곱 검정 또는 Fisher의 정확 검정을 사용하여 기초선 특성을 비교하십시오.
- 대응 표본 t-검정 또는 Wilcoxon 부호 순위 검정을 사용하여 코호트 내 지식 변화를 비교하십시오. 기초선 차이를 보정한 독립 표본 t-검정, Mann-Whitney U 검정, ANCOVA 또는 회귀 모델을 사용하여 코호트 간 과정 후 결과를 비교하십시오. 모든 코호트 비교는 인과적 추정치가 아니라 맥락 특이적인 교육 기록 분석으로 해석하십시오.
- 여러 시점을 분석하는 경우 반복 측정 모델 또는 혼합 효과 모델을 사용하십시오. 반복 측정의 경우 학생 수준의 무작위 효과를 포함하고, 학생이 팀 내에 중첩된 경우에는 팀 수준의 무작위 효과 또는 클러스터 강건 표준 오차를 포함하십시오.
- 팀 수준의 결과는 학생 수준의 결과와 분리하여 분석하십시오. 클러스터링 문제가 해결되지 않은 한, 팀 점수를 독립적인 개인 관측치로 처리하지 마십시오.
- 주요 평균 차이에 대해 Cohen’s d를 보고하며, 0.20, 0.50, 0.80을 각각 작음, 중간, 큼으로 해석하십시오. 가능한 경우 95% 신뢰 구간을 보고하고, 민감도 분석에서 완전 사례(complete-case) 결과와 가용 사례(available-case) 결과를 비교하십시오.
- 통계 스크립트, 소프트웨어 출력물, 그림 소스 파일 및 최종 표를 저장하십시오. 모든 표는 별도의 편집 가능한 파일로 제출하고 그림 소스 데이터를 보관하십시오.
14. 성공적 및 최적화되지 않은 구현 결과 해석하기.
- 최종 결과를 해석하기 전에 구현 성공의 정의를 설정하십시오. 다음과 같은 핵심 충실도 임계값이 충족되었을 때 프로토콜이 성공적으로 구현된 것으로 간주합니다. 표 4 충족되었습니다.
- 충실도, 점수 신뢰도, 결측치 패턴, 기선 비교 가능성 및 분석 단위를 확인한 후에만 학습 성과를 해석하십시오.
- 충실도가 적절한 경우, 과정 후 지식 점수 5점 이상의 증가, 학기 말 개별 사례 분석 점수 3점 이상의 우위, 또는 5점 척도 기준 교수 과정 지표 0.30 이상의 증가를 긍정적인 구현 신호로 간주한다.
- 분석 전 경고 패턴을 다음과 같이 정의한다: 기초 지식이 85/100을 초과하거나 기초 만족도가 4.50/5를 초과하는 경우의 천장 효과; 개인적 학습 증거 없이 팀 점수만 향상되는 경우의 점수 인플레이션; 만족도가 감소하는 경우의 과도한 경쟁 압박 >0.30점 또는 >학생의 20%가 높은 학업 부담을 보고했습니다.
- 평가를 단일 점수가 아니라, 실행 충실도부터 학생의 반응, 학습 증거, 그리고 교과 과정 개선으로 이어지는 계층적 과정으로 해석하십시오.18무작위 배정이 아닌 통상적인 교육 코호트, 역사적 대조군 및 익명화된 사후 강좌 기록을 설계에 사용하였으므로 인과 관계를 나타내는 표현은 피하십시오.
15. 문제 해결, 적응 및 과정 반복을 수행합니다.
- 각 주요 과업 후 충실도를 검토하여 지연된 피드백, 낮은 팀 참여도, 불분명한 지침, 불완전한 채점표, 누락된 관찰 내용, 취약한 사례 설계 완결성, 평가자 간 불일치 또는 부적절한 AI 사용 여부를 식별하십시오.
- ~에 시정 조치를 적용하십시오. 보충 표 S2지침 수정, 추가 코칭, 평가자 재교육, 역할 재배분, 업무량 조정 또는 기관의 학문적 진실성 검토를 포함하여.
- 단기 과정의 경우, 최종 변론, 피드백 기록 및 충실도 점검 사항은 유지하면서 과제 1과 2를 하나의 진단-결정 요약서로 통합하십시오. 온라인, 하이브리드 또는 다수의 분반으로 운영되는 대규모 강의의 경우에는 디지털 브리핑, 제출 로그, 온라인 구두 점검, 표준화된 피드백 템플릿, 공통 루브릭, 공유 평가자 교육, 분반별 참관인, 팀 대시보드 및 중앙 데이터 관리 시스템을 활용하십시오.
- 16주 차 이후에 충실도, 과정 지표, 학생 성과, 평가자 메모, 결측 데이터 패턴, AI 사용 기록, 학생 의견 및 교수자 성찰 내용을 검토하십시오. 다음 주기 시작 전에 핸드북, 사례 패키지, 루브릭, 템플릿, 피드백 일정 및 데이터 기록 양식을 수정하십시오.
- 윤리 승인 및 연구 데이터 준비를 마친 후, 프로토콜 맵, 일정표, 핸드북, 사례 파일, 루브릭, 관찰 양식, 설문 도구, 비식별화된 데이터셋, 데이터 사전, 분석 스크립트, 통계 결과물, 그림 소스 파일, 표 및 보충 자료를 보관하십시오. 모든 수정 사항은 버전 관리 표에 기록하십시오.
결과
대표 결과는 16주간의 경진대회 통합 전략 경영 과정 개선 프로토콜을 통해 생성된 결과물을 보여줍니다. 결과는 실행 충실도, 교육 품질, 학생 수준 성과, 팀 수준 성과 및 사전 정의된 경고 패턴별로 정리되었습니다. 데이터가 무작위 배정이 아닌, 과거 비교 그룹이 있는 일상적인 교육 코호트로부터 수집되었으므로, 모든 결과는 효과성에 대한 인과적 증거가 아니라 상황 특이적인 실행 및 평가 결과로 해석되어야 합니다.
실행 충실도 및 교육의 질
사용 가능한 교육 기록 데이터셋에는 대조군 코호트 학생 88명과 프로토콜 코호트 학생 92명이 포함되었습니다. 팀 수준 데이터셋에는 대조군 코호트 팀 22개와 프로토콜 코호트 팀 23개가 포함되었습니다. 사전-사후 지식 테스트 쌍 규칙을 적용한 후, 지식 습득 분석을 위해 대조군 코호트 학생 79명과 프로토콜 코호트 학생 84명이 유지되었습니다.
학습 성과를 해석하기 전에 실행 충실도를 점검하였습니다. 프로토콜 코호트는 계획된 16가지 주간 활동 중 15가지(93.8%)를 완료한 반면, 비교 코호트는 16가지 중 13가지(81.3%)를 완료하였습니다. 기업 사례 또는 구조화된 사례 세션은 프로토콜 코호트에서는 완료되었으나, 전체 과거 비교 구조에는 포함되지 않았습니다. 프로토콜 코호트의 경우, 학생 92명 중 88명이 세 가지 경쟁 과제를 모두 완료하여 95.7%에 해당하였습니다. 비교 코호트에서는 학생 88명 중 18명이 이에 상응하는 세 가지 프로젝트 기반 평가의 완전한 기록을 보유하여 20.5%에 해당하였습니다. 과거 과정에서는 전체 경쟁 시퀀스가 구현되지 않았으므로, 이 기록들은 기술적 비교 목적으로만 유지되었습니다. 피드백은 프로토콜 코호트 제출물 268건 중 243건(90.7%)에 대해 7일(달력일 기준) 이내에 제공되었으며, 비교 코호트 제출물 66건 중 49건(74.2%)에 대해 제공되었습니다. 평균 피드백 소요 시간은 각각 5.8 ± 1.9일과 8.4 ± 2.7일이었습니다. 관찰 완료율은 81.3%와 62.5%에 도달하였습니다. 중첩된 주관적 채점에 대한 프로토콜 코호트의 두 평가자 간 ICC는 0.82로, 사전 정의된 임계값인 0.75를 초과하였습니다. 종합적으로, 프로토콜 코호트는 5가지 핵심 실행 충실도 지표 중 5가지를 달성한 반면, 비교 코호트는 5가지 중 2가지를 달성하였습니다.
교육 품질 지표는 프로토콜 코호트에서 더 높게 나타났습니다. 강의실 상호작용은 프로토콜 코호트에서 3.70 ± 0.44, 대조 코호트에서 3.15 ± 0.48였습니다. 사례 설계 완결성은 각각 4.08 ± 0.36 및 3.23 ± 0.42였습니다. 과제-루브릭 일치도는 4.01 ± 0.39 및 2.30 ± 0.51이었습니다. 학생 참여도는 프로토콜 코호트에서 0.42 ± 0.41점 증가하여 사전 정의된 0.30점의 신호 임계값을 초과한 반면, 대조 코호트는 0.07 ± 0.34점 증가했습니다. 출석률은 두 코호트 간에 유사하게 나타났습니다: 89.6% ± 5.8% 및 89.1% ± 6.2%. 표 5에 이러한 지표들이 요약되어 있습니다.
| 지표 | 데이터 소스 | 사전 정의된 임계값 | 역사적 대조 코호트 | 프로토콜 코호트 | 해석 |
| 계획된 주간 활동 완료 | 강의 실행 기록 | ≥85% | 13/16주, 81.3% | 15/16주, 93.8% | 프로토콜 코호트에서 달성됨 |
| 기업 또는 구조화된 케이스 세션 구현 | 기업 참여 로그 | 1회 이상의 구현 세션 | 0/1 세션, 0.0% | 1/1 세션, 100.0% | 프로토콜 코호트에서 달성됨 |
| 작업 완료 또는 매핑된 프로젝트 기록 완료 | 제출 기록 | ≥85% | 학생 88명 중 18명, 20.5% | 학생 88/92명, 95.7% | 프로토콜 코호트에서 달성됨; 과거 기록은 기술적 내용으로만 제공됨 |
| 7일 이내에 피드백 제공 | 피드백 로그 | ≥80% | 66건의 제출물 중 49건, 74.2% | 243/268건 제출, 90.7% | 프로토콜 코호트에서 달성됨 |
| 관찰 체크리스트 작성 | 관찰 양식 | ≥75% | 10/16 세션, 62.5% | 13/16 세션, 81.3% | 프로토콜 코호트에서 달성됨 |
| 평가자 간 일치도 | 평가자 점수 | ICC ≥0.75 | 필요하지 않음 | ICC = 0.82 | 프로토콜 코호트에서 달성됨 |
| 피드백 처리 시간 | 피드백 로그 | 평균 7일 이하 권장 | 8.4 ± 2.7일 | 5.8 ± 1.9일 | 프로토콜 코호트 내 선호 범위 내에 있음 |
| 교실 상호작용 | 관찰 체크리스트 | 평균 ≥3.50 또는 증가량 ≥0.30 | 3.15 ± 0.48 | 3.70 ± 0.44 | 프로토콜 코호트에서 더 높음 |
| 케이스 설계 완결성 | 사례 설계 체크리스트 | 평균 ≥4.00 선호 | 3.23 ± 0.42 | 4.08 ± 0.36 | 프로토콜 코호트에서 더 높음 |
| 과업-루브릭 정렬 | 정렬 체크리스트 | 평균 ≥4.00 | 2.30 ± 0.51 | 4.01 ± 0.39 | 프로토콜 코호트에서 달성됨 |
| 학생 참여도 향상 | 출석부, 로그, 설문 항목 | 0.30점 이상 증가 | +0.07 ± 0.34 | +0.42 ± 0.41 | 프로토콜 코호트에서 달성됨 |
| 출석률 | 출석 기록 | 서술적 | 89.1% ± 6.2% | 89.6% ± 5.8% | 코호트 간 유사함 |
| 핵심 실행 충실도 요약 | 이행 지표 | 대부분의 핵심 임계값 달성 | 2/5 임계값 달성 | 5/5 임계값 달성 | 의도한 대로 수행된 프로토콜 |
표 5: 대표적인 실행 충실도 및 교수 품질 지표. 이 표는 과거 비교 코호트와 프로토콜 코호트에 대한 대표적인 실행 충실도 및 교수 품질 결과를 보고하며, 미리 정의된 운영 임계값의 달성 여부를 나타냅니다.
그림 2는 이행 충실도와 교수 품질 프로필을 나타냅니다. 그림 2A는 계획된 주간 활동 완료율을 보여줍니다. 그림 2B는 3가지 과제 시퀀스 완료율을 보여줍니다. 그림 2C는 달력 기준 7일 이내에 반환된 피드백을 보여줍니다. 그림 2D 는 강의실 상호작용, 케이스 설계 완결성, 과제 루브릭 일치도 및 학생 참여도 증가분을 보여줍니다. 그림 2E는 관찰 완료 및 기업 또는 구조화된 케이스 세션 완료율을 보여줍니다. 백분율 기반의 충실도 측정값과 척도 기반의 교수 지표는 각각의 측정 척도 내에서 해석되어야 합니다.
그림 2: 실행 충실도 및 교수 품질 프로필. 이 그림은 과거 비교 코호트와 프로토콜 코호트의 실행 충실도 및 교수 품질 지표를 요약한 것이다. (A) 계획된 주간 활동 완료도. (B) 완료된 과제 또는 매핑된 프로젝트 기록의 완료도로, 프로토콜 코호트의 전체 3단계 과제 시퀀스와 과거 비교 코호트의 매핑된 프로젝트 기록을 구분하여 나타내었다. (C) 달력 기준 7일 이내에 반환된 피드백이며, 피드백 처리 시간은 보조 정보로 표시되었다. (D) 강의실 상호작용, 사례 설계 완결성, 과제-루브릭 일치도 및 학생 참여도 증가를 포함한 교수 품질 지표. (E) 관찰 체크리스트 완료도 및 기업 사례 또는 구조화된 사례 세션 실행 여부. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.
학생 수준의 학습 결과
학생 수준의 결과는 팀 수준의 경연 결과와 별도로 분석되었습니다. 기초 지식 점수는 프로토콜 집단이 64.18 ± 8.74점, 비교 집단이 62.37 ± 8.91점으로, 기초 단계에서 1.81점(d = 0.21)의 작은 차이를 보였습니다. 과정 후 지식 점수는 각각 71.08 ± 8.58점과 66.41 ± 9.06점으로, 4.67점(d = 0.53)의 차이가 났습니다. 지식 향상도는 각각 6.90 ± 5.41점과 4.04 ± 5.26점으로, 2.86점(d = 0.54)의 차이를 보였습니다. 프로토콜 집단은 사전에 정의된 5점의 지식 향상 신호 수치를 초과하였습니다.
학기 말 개인별 사례 분석 성적은 프로토콜 군이 82.31 ± 7.06, 대조 군이 76.42 ± 7.38로 나타났으며, 5.89점의 차이를 보였습니다 (d = 0.82). 실제 기초 사례 분석 평가가 실시되지 않았기 때문에, 이 결과는 짝지은 이득(paired gain)보다는 교육 과정 종료 후의 성취 지표로 해석되었습니다. 만족도는 각각 3.66 ± 0.58 및 3.34 ± 0.62 (d = 0.53)였으며, 인지된 실무 관련성은 3.91 ± 0.55 및 3.41 ± 0.59 (d = 0.88)였습니다. 경쟁 압박은 프로토콜 군이 3.12 ± 0.76로, 대조 군의 2.48 ± 0.71보다 높았으나 (d = 0.87), 높은 학습량 압박은 프로토콜 군 학생 92명 중 13명(14.1%)이 보고하여, 미리 정의된 경고 임계치인 20%보다 낮았습니다. 최종 강좌 성적은 이차적 교육 성과로 처리되었으며, 프로토콜 군은 87.20 ± 6.10, 대조 군은 84.80 ± 6.70 (d = 0.37)였습니다. 표 6은 학생 수준 및 팀 수준의 성과를 요약하여 보여줍니다.
| 결과 | 수준 | 역사적 대조 코호트 | 프로토콜 코호트 | 차이점 | 효과 크기 | 해석 |
| 이용 가능한 교육 기록 샘플 | 학생 | n = 88 | n = 92 | — | — | 사용 가능한 비식별화된 강의 기록 |
| 쌍을 이룬 지식 분석 샘플 | 학생 | n = 79 | n = 84 | — | — | 기초 및 과정 후 지식 점수를 보유한 학생들 |
| 기초 지식 점수 | 학생 | 62.37 ± 8.91 | 64.18 ± 8.74 | 1.81 | 0.21 | 작은 기선 차이 |
| 강좌 후 지식 점수 | 학생 | 66.41 ± 9.06 | 71.08 ± 8.58 | 4.67 | 0.53 | 프로토콜 코호트에서 더 높음 |
| 지식 습득 | 학생 | 4.04 ± 5.26 | 6.90 ± 5.41 | 2.86 | 0.54 | 프로토콜 코호트가 5점 이상의 신호 강도를 초과함 |
| 개별 사례 분석 점수 | 학생 | 76.42 ± 7.38 | 82.31 ± 7.06 | 5.89 | 0.82 | ≥3포인트 케이스 분석 신호 초과 |
| 학생 참여도 향상 | 학생 | +0.07 ± 0.34 | +0.42 ± 0.41 | +0.35 | 0.93 | 0.30점 이상의 신호를 초과함 |
| 만족도 점수 | 학생 | 3.34 ± 0.62 | 3.66 ± 0.58 | 0.32 | 0.53 | 프로토콜 코호트에서 더 높음 |
| 인지된 실무적 관련성 | 학생 | 3.41 ± 0.59 | 3.91 ± 0.55 | 0.5 | 0.88 | 프로토콜 코호트에서 더 높음 |
| 경쟁 압박 점수 | 학생 | 2.48 ± 0.71 | 3.12 ± 0.76 | 0.64 | 0.87 | 프로토콜 코호트의 더 높은 압력 |
| 높은 업무 부하 압박 | 학생 | 경쟁 압력으로 평가되지 않음 | 13/92, 14.1% | — | — | 20% 경고 임계값 미만 |
| 최종 강의 점수 | 학생 | 84.80 ± 6.70 | 87.20 ± 6.10 | 2.4 | 0.37 | 이차 교육 결과 |
| 팀 수 | 팀 | n = 22 | n = 23 | — | — | 팀 단위 분석 결과 별도 보고 |
| 결정 라운드 노출 | 팀 | 0.77 ± 0.81회 | 5.09 ± 0.79회 | 4.32 | 추정되지 않음 | 이행 노출 지표 |
| 작업 1 또는 매핑된 진단 점수 | 팀 | 69.84 ± 6.45 | 72.18 ± 6.28 | 2.34 | 0.37 | 완만한 팀 수준의 차이 |
| 과제 2 또는 매핑된 결정 점수 | 팀 | 71.09 ± 6.12 | 73.52 ± 5.91 | 2.43 | 0.4 | 완만한 팀 수준의 차이 |
| 과제 3 또는 매핑된 최종 방어 점수 | 팀 | 72.71 ± 6.36 | 77.20 ± 6.04 | 4.49 | 0.72 | 가장 큰 팀 수준의 차이 |
| 최종 팀 점수 | 팀 | 71.21 ± 5.81 | 74.30 ± 5.52 | 3.09 | 0.55 | 중등도의 팀 수준 차이 |
| 전략적 진단 차원 | 팀 | 14.60 ± 1.80 | 15.60 ± 1.70 | 1 | — | 최종 심사 루브릭 평가 항목 |
| 전략적 선택 차원 | 팀 | 17.90 ± 2.20 | 19.10 ± 2.10 | 1.2 | — | 최종 심사 루브릭 평가 항목 |
| 실행 가능성 차원 | 팀 | 14.40 ± 1.90 | 15.50 ± 1.80 | 1.1 | — | 최종 논문 심사 루브릭 평가 항목 |
| 혁신 차원 | 팀 | 10.80 ± 1.60 | 11.50 ± 1.50 | 0.7 | — | 최종 심사 루브릭 평가 항목 |
| 근거 활용 차원 | 팀 | 7.10 ± 1.00 | 7.50 ± 0.90 | 0.4 | — | 최종 심사 루브릭 평가 항목 |
| 구술 심사 영역 | 팀 | 7.91 ± 1.10 | 8.00 ± 1.00 | 0.09 | — | 최종 심사 루브릭 평가 항목 |
| 동료 기여도 평균 | 팀 | 3.72 ± 0.41 | 3.91 ± 0.36 | 0.19 | 0.49 | 주요 팀 프로세스 실패 없음 |
| 기여도 불균형이 있는 팀 | 팀 | 4/22, 18.2% | 3/23, 13.0% | −5.2 퍼센트 포인트 | — | 계통적 불균형 패턴 없음 |
| 시상 분포 | 팀 | 해당 사항 없음 | 10 없음; 8 셋째; 2 둘째; 3 첫째 | — | — | 프로토콜 코호트 전용 |
| 점수 인플레이션 경고 패턴 | 팀 | 해당 없음 | 23개 팀 중 2개 팀, 8.7% | — | — | 문제 해결을 위해 표시됨 |
표 6: 대표적인 학생 수준 및 팀 수준 결과. 이 표는 가용 교육 기록 샘플, 짝지어진 지식 분석 샘플, 지식 점수, 지식 습득량, 개별 사례 분석 점수, 참여도, 만족도, 인지된 실무 관련성, 업무량 압박, 최종 과목 점수, 팀 과제 점수, 최종 변론 루브릭 차원 점수, 동료 기여도, 수상 분포 및 경고 지표를 포함한 대표적인 학생 수준 및 팀 수준 결과를 보고합니다.
그림 3은 해당되는 경우 불확실성 추정치와 함께 학생 수준의 결과를 나타냅니다. 그림 3A는 기초 및 교육 과정 후의 지식 점수를 보여줍니다. 그림 3B는 지식 습득 정도를 보여줍니다. 그림 3C는 개별 사례 분석 성과를 보여줍니다. 그림 3D는 참여도 증가, 만족도 및 인지된 실제 관련성을 보여줍니다. 그림 3E 는 이차 결과로서 최종 과정 점수를 보여줍니다.
그림 3: 학생 수준의 대표적 학습 성과. 이 그림은 팀 수준의 경쟁 결과와 별도로 개인 수준의 결과를 나타냅니다. (A) 기초 및 과정 후 전략 경영 지식 점수. (B) 기초 평가부터 과정 후 평가까지의 지식 습득량. (C) 학기 후반 개인 사례 분석 점수. (D) 참여도 향상 및 만족도와 인지된 실무 관련성을 포함한 설문 인식 지표가 필요에 따라 개별 척도로 표시됩니다. (E) 이차 교육 성과로서의 최종 과정 점수와 사전 정의된 경고 임계값 대비 프로토콜 코호트의 높은 업무 부하 압박. ± 값이 표시된 경우 값은 mean ± SD로 나타내며, 오차 막대는 SD를 나타냅니다. (E)에서 점선 참조선은 사전 정의된 20%의 높은 업무 부하 압박 경고 임계값을 나타냅니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
팀 수준의 경쟁 결과
팀 수준의 결과는 학생 수준의 결과와 분리하여 분석되었습니다. 기술적 보고를 위해, 비교 코호트의 사례 프로젝트 기록을 가능한 경우 비교 가능한 평가 시점에 매핑하였으나, 이러한 기록이 전체 경쟁 통합 시퀀스의 완료를 나타내지는 않았습니다. 의사결정 라운드 노출은 학습 효과 추정치가 아닌 구현 노출 지표로 보고되었습니다. 프로토콜 코호트는 5.09 ± 0.79회의 의사결정 라운드를 완료한 반면, 비교 코호트는 0.77 ± 0.81회의 매핑된 라운드를 완료했습니다.
프로토콜 코호트의 과제 1 평균 점수는 72.18 ± 6.28, 과제 2 평균 점수는 73.52 ± 5.91, 과제 3 평균 점수는 77.20 ± 6.04였습니다. 이에 대응하는 매핑된 비교 코호트 점수는 각각 69.84 ± 6.45, 71.09 ± 6.12, 72.71 ± 6.36이었습니다. 최종 팀 점수는 프로토콜 코호트에서 74.30 ± 5.52, 비교 코호트에서 71.21 ± 5.81이었습니다. 최종 방어 또는 매핑된 최종 프로젝트 루브릭 차원은 다음과 같았습니다: 전략적 진단 15.60 ± 1.70 및 14.60 ± 1.80, 전략적 선택 19.10 ± 2.10 및 17.90 ± 2.20, 실행 가능성 15.50 ± 1.80 및 14.40 ± 1.90, 혁신성 11.50 ± 1.50 및 10.80 ± 1.60, 근거 활용 7.50 ± 0.90 및 7.10 ± 1.00, 구두 방어 8.00 ± 1.00 및 7.91 ± 1.10 순이었습니다.
대조군 코호트는 전체 상금 기반 경쟁 구조를 사용하지 않았기 때문에 프로토콜 코호트에 대해서만 상금 분포가 보고되었습니다. 프로토콜 코호트에서는 10개 팀이 상을 받지 못했고, 8개 팀이 3등상, 2개 팀이 2등상, 3개 팀이 1등상을 받았습니다. 평균 동료 기여도는 프로토콜 코호트에서 3.91 ± 0.36, 대조군 코호트에서 3.72 ± 0.41이었습니다. 기여도 불균형은 프로토콜 코호트 팀 23개 중 3개 팀과 대조군 코호트 팀 22개 중 4개 팀에서 확인되었습니다. 점수 인플레이션 경고 패턴은 프로토콜 코호트 팀 23개 중 2개 팀에서 확인되었으며, 이는 8.7%에 해당합니다.
그림 4는 팀 수준의 결과와 경고 패턴을 나타냅니다. 그림 4A는 과제 1, 과제 2 및 과제 3의 팀 점수를 보여줍니다. 그림 4B는 최종 방어 루브릭 차원별 점수를 보여줍니다. 그림 4C는 프로토콜 코호트 시상 분포만을 보여줍니다. 그림 4D는 점수 인플레이션 경고 사례를 보여줍니다. 그림 4E는 동료 기여도 균형 및 기여도 불균형 횟수를 보여줍니다.
그림 4: 팀 수준의 경쟁 결과 및 경고 패턴. 이 그림은 학생 수준의 학습 결과와 구분하여 팀 수준의 결과를 보여줍니다. (A) 과제 1 전략적 진단, 과제 2 전략적 결정, 과제 3 최종 변론의 과제 단계별 팀 점수이며, 가능한 경우 역사적 비교 코호트의 매핑된 프로젝트 점수가 함께 표시되었습니다. (B) 전략적 진단, 전략적 선택, 실행 가능성, 혁신성, 근거 활용, 구두 변론을 포함한 최종 변론 루브릭 차원 점수입니다. (C) 역사적 비교 코호트에서는 전체 수상 기반 경쟁 구조를 사용하지 않았으므로 프로토콜 코호트의 수상 분포만 표시되었습니다. (D) 진단 역량이나 개별 학습 근거가 뒷받침되지 않은 상태에서 높은 최종 변론 성과를 보인 경우로 정의된 점수 인플레이션 경고 패턴입니다. (E) 동료 기여도 점수와 기여 불균형 횟수가 별도의 팀 수준 지표로 표시되었습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.
최적이지 않은 패턴 및 문제 해결 지표
23개의 프로토콜 코호트 팀 중 2개 팀에서 사전 정의된 점수 팽창 경고 패턴이 나타났습니다. 이 팀들은 최종 방어 점수는 상대적으로 높았으나, 과제 1의 진단 점수가 더 낮았고 개인별 지식 습득량은 평균 미만이었습니다. 이러한 패턴은 학습 개선의 증거로 해석되기보다 다음 강의 반복 시 후속 조치가 필요한 사항으로 표시되었습니다. 기초 지식 점수가 100점 만점에 85점 미만이었고 기초 만족도가 5점 만점에 4.50점 미만이었으므로, 주요 천장 효과 경고는 관찰되지 않았습니다. 코호트 간 출석률은 비슷했으며, 3개의 프로토콜 코호트 팀에 대해 모니터링이 필요했으나 체계적인 팀 기여도 불균형은 관찰되지 않았습니다.
종합적으로, 대표적인 결과들은 본 프로토콜이 구현 충실도, 학생 수준의 학습 증거, 그리고 팀 수준의 경쟁 성과라는 세 가지 수준에서 해석 가능한 출력물을 생성했음을 보여주었습니다. 경고 사례들은 강의 모니터링, 문제 해결 및 이후의 강의 개선을 위한 본 프로토콜의 활용 가능성을 뒷받침하였습니다.
본 연구를 뒷받침하는 비식별화된 데이터 세트는 figshare.com에 저장되었으며, https://doi.org/10.6084/m9.figshare.33094931에서 이용 가능합니다. 해당 데이터 세트에는 학생 수준 기록, 팀 수준 경진 대회 기록, 구현 지표, 참가자 흐름 기록, 결측 데이터 감사 기록 및 평가자 점수 기록이 포함되어 있습니다. 학생 식별자, 동의 기록, 연결 파일 및 식별 가능한 자유 형식 텍스트 의견은 포함되지 않았습니다.
보충 표 S1: 평가자 교육, 점수 일치도 및 점수 조정 절차. 이 표는 평가자 배정, 독립성 확인, 루브릭 오리엔테이션, 보정 점수 산정, 점수 일치도 확인, 점수 차이 규칙, 조정 절차, 데이터 입력 감사, 점수 잠금 및 아카이브 절차를 제공합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 표 S2: 프로토콜 편차 및 최적화되지 않은 실행을 위한 문제 해결 매트릭스. 이 표에는 트리거 규칙, 시정 조치, 필수 기록 및 해석 참고 사항를 포함하여 프로토콜 편차와 최적화되지 않은 실행 패턴이 나열되어 있습니다.여기를 클릭하여 이 파일을 다운로드하십시오.
보충 표 S3: 비식별화된 교육용 데이터 세트의 데이터 세트 구조 및 변수 사전.이 표는 변수 코드, 설명, 데이터 유형, 코딩 범위, 데이터 소스 및 결측치 규칙을 포함한 학생 수준, 팀 수준 및 클래스 세션 수준의 변수를 정의합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.
보충 파일 1: 운영 템플릿, 평가 자료 및 비식별화 데이터셋 워크북.이 보충 파일은 재현성을 지원하기 위해 사용된 운영 템플릿, 평가 자료, 채점 양식, 설문 항목, 사례 설계 체크리스트, 결측치 처리 규칙, 비식별화 데이터셋 워크북 구조, 정제 로그, 분석 요약 템플릿 및 버전 관리 기록을 제공합니다.이 파일을 다운로드하려면 여기를 클릭하십시오.
토론
본 프로토콜은 학부 전략 경영 과정에 교육-경연 시퀀스를 통합하기 위한 재현 가능한 접근 방식을 제공합니다. 본 방식의 목적은 기존 과정에 단순한 경연 행사를 추가하는 것이 아니라, 전략적 진단, 의사 결정, 형성적 피드백, 최종 변론 및 과정 후 평가를 연결하는 구조화된 과정 개선 프로세스로 경연을 전환하는 것입니다. 따라서 교육적 가치는 단순히 경연의 유무보다는 시퀀스의 설계 방식에 따라 달라집니다. 경연 기반 또는 게임 기반 활동은 참여도를 높일 수 있으나, 학습 목표, 과제 결과물, 채점 기준 및 데이터 기록이 명확하게 규정되지 않을 경우 그 교육적 가치를 해석하기 어렵습니다19. 본 프로토콜은 재현에 필요한 교수 시퀀스, 채점 루브릭, 피드백 창구, 구현 기록 및 비식별 데이터 구조를 정의함으로써 이 문제를 해결합니다.
핵심 설계 원칙은 정렬입니다. 각 과제는 강의 결과, 강의실 주제, 학생 결과물 및 채점 기준과 연결되어 있습니다. 과제 1에서는 학생들이 전략적 문제를 진단해야 하며, 과제 2에서는 전략적 결정을 선택하고 정당화해야 하며, 과제 3에서는 서면 및 구두 증거를 통해 최종 전략을 방어해야 합니다. 이러한 '진단-결정-방어' 순서는 학생들이 경쟁을 단순히 발표 연습으로만 취급하는 것을 방지하기 위해 고안되었습니다. 또한 이는 학생들이 최종 방어 전에 자신의 논리를 수정할 수 있는 반복적인 기회를 제공합니다. 이러한 구조는 시뮬레이션 기반 및 경험 학습 연구와 일치하며, 해당 연구들은 학생들이 시나리오를 관찰하거나 단순히 실행하는 것보다 능동적인 결정 주기에 참여하고, 피드백을 받으며, 자신의 선택을 설명할 때 응용 학습이 더 유용하다는 점을 시사합니다20,21.
프로토콜이 의도한 대로 작동하기 위해서는 몇 가지 품질 관리 단계가 필요합니다. 첫째, 피드백은 다음 과제에 영향을 줄 수 있을 만큼 시의적절해야 합니다. 따라서 7일의 피드백 기간은 단순한 행정적 목표가 아니라 교수 설계 요구 사항으로 활용됩니다. 둘째, 채점 품질을 모니터링해야 합니다. 루브릭은 투명성을 높일 수 있지만, 이는 평가자들이 기술어와 증거 요구 사항에 대해 공통된 이해를 공유할 때만 가능합니다22. 이러한 이유로 본 프로토콜에는 평가자 교육, 보정 채점, 점수 격차 확인, ICC 모니터링, 조정 노트 및 점수 잠금 단계가 포함됩니다. 셋째, 팀 성과와 개인의 학습 증거를 분리해야 합니다. 최종 방어 점수가 높더라도 이는 폭넓은 개인적 학습보다는 발표 능력이나 불균형한 팀 기여도를 반영하는 것일 수 있습니다. 따라서 본 프로토콜에서는 지식 점수, 개인별 사례 분석 점수, 학생 인식, 동료 기여도 및 팀 점수를 각각 별도로 분석합니다.
경쟁 통합형 교육은 예측 가능한 방식으로 실패할 수 있으므로, 본 프로토콜에는 문제 해결 규칙이 포함되어 있습니다. 피드백이 지연되거나, 팀원 간의 기여도가 불균형해질 수 있으며, 학생들이 발표 자료의 외관에 지나치게 의존하거나, 개별 학습의 증거 없이 그룹 점수만 향상될 수 있습니다. 이러한 리스크는 피드백 로그, 동료 기여 기록, AI 사용 공개 양식, 구술 점검, 평가자 간 일치도 결과 및 점수 인플레이션 경고 규칙을 통해 모니터링됩니다. 학생들은 언어 교정, 서식 지정 또는 브레인스토밍을 위해 디지털 도구를 사용할 수 있지만, 여전히 본인의 전략적 추론 능력을 입증해야 하므로 AI 사용 공개와 구술 점검 구성 요소가 특히 중요합니다. 본 프로토콜은 모든 AI 지원을 금지하지는 않으나, 공개를 요구하며 핵심 학습 과제를 보호합니다. 즉, 학생들은 진단, 근거, 결정 논리, 실행 리스크 및 최종 권고 사항을 설명할 수 있어야 합니다.
이 프로토콜은 기관에 따라 조정 가능하지만, 핵심 순서는 유지되어야 합니다. 비즈니스 시뮬레이션 플랫폼을 사용할 수 없는 경우, 구조화된 결정 시트(decision sheet)를 시뮬레이션 라운드의 대체제로 사용할 수 있습니다. 기업 멘토가 참석할 수 없는 경우에는 익명화된 사례, 공개 사례 브리핑 또는 녹화된 멘토 의견을 활용할 수 있습니다. 수강생 수가 많은 강의의 경우 병렬 심사 그룹과 표준화된 피드백 템플릿이 필요할 수 있으며, 수강생 수가 적은 강의에서는 더 긴 답변(defense) 세션을 진행할 수 있습니다. 이러한 조정 사항은 기록되어야 하는데, 이는 강의 개선 프로토콜이 교수법적 아이디어뿐만 아니라 실행 충실도, 강사 지원, 평가 조건 및 데이터의 완결성에 따라 달라지기 때문입니다23. 필수 요구 사항은 해당 강의가 진단, 결정, 답변, 피드백 및 평가로 이어지는 연계된 순서를 유지하는 것입니다.
몇 가지 제한 사항을 인정해야 합니다. 본 프로토콜은 강의 개선 프로토콜이며, 무작위 대조 시험이 아닙니다. 따라서 프로토콜 코호트와 비교 코호트 간의 차이는 효과에 대한 인과적 증거라기보다 대표적인 구현 및 평가 결과로 해석해야 합니다. 과거 또는 병행 비교 코호트는 학생 구성, 강의실 역학, 기관의 시기 또는 평가 조건에서 차이가 있을 수 있습니다. 최종 강의 성적은 경쟁 과제 외의 일상적인 강의 구성 요소가 포함될 수 있으므로 이차 결과 변수입니다. 또한, 팀 수준의 결과는 학생 수준의 학습 결과를 대체하여 사용할 수 없습니다. 이러한 제한 사항은 구현 충실도, 교육 품질 지표, 학생 수준 결과, 팀 수준 결과, 작업 부하 압력 및 경고 패턴을 각각 별도로 보고함으로써 해결하였습니다24.
본 프로토콜은 학생들이 개념적 지식을 실제 경영 판단에 연결해야 하는 과정에 가장 적합합니다. 학생들이 환경을 분석하고, 자원을 평가하며, 전략적 대안을 비교하고, 실행 선택지를 옹호해야 하는 전략 경영 과목이 이에 해당하는 자연스러운 설정입니다. 동일한 구조를 창업, 마케팅 전략, 혁신 관리, 비즈니스 모델 설계 및 증거 기반 의사결정이 필요한 기타 경영 과정에 적용할 수 있습니다. 본 프로토콜의 더 넓은 기여도는 실무적인 면에 있습니다. 즉, 교수자에게 강좌 개선 활동이 어떻게 실행, 모니터링, 점수 산정, 비식별화, 분석 및 수정되었는지를 기록할 수 있는 감사 가능한 방법을 제공합니다. 경영 교육에서 경험 학습은 흔히 현실성 때문에 가치 있게 평가되지만, 그 절차가 복제를 위해 충분히 상세하게 보고되지 않는 경우가 많습니다. 본 프로토콜은 실행 충실도, 채점 일관성, 데이터 거버넌스 및 문제 해결 방법을 하나의 재현 가능한 프로세스로 결합함으로써 이러한 간극을 메웁니다25.
공개 사항
저자들은 선언할 이해상충이 없음을 밝힙니다.
감사의 글
저자들은 교과 과정 기반의 경진 대회 활동의 수행에 참여하고 지원해 준 학생들과 교수진에게 감사를 표합니다. 또한, 일상적인 교육 수행, 교과 과정 조정 및 데이터 정리를 위해 비재정적 기관 지원을 제공한 Zhuhai College of Science and Technology 경영대학에 감사를 표합니다. 본 연구는 2024년 고등 교육 교수법 개혁의 광동성 학부 대학 교육 품질 및 교육 개혁 프로젝트(Grant No. 1174)의 지원을 받아 수행되었습니다.
재료
| 이름 | 회사 | 카탈로그 번호 | 댓글 |
|---|---|---|---|
| AI 사용 공개 양식 | 저자 개발 | AI-Disclosure-v1.0; Supplementary File 1 | 주요 제출물별 AI 사용 공개 기록 |
| 기초 전략 경영 지식 테스트 | 저자 개발 | SMKT-Pre-v1.0; Supplementary File 1 | 1주 차 기초 지식 측정 |
| 강의실 관찰 체크리스트 | 저자 개발 | Observation-v1.0; Supplementary File 1 | 강의실 상호작용 및 교수 프로세스 품질 기록 |
| 데이터 정제 로그 | 저자 개발 | Cleaning-Log-v1.0; Supplementary File 1 | 데이터 확인, 수정, 제외 및 데이터셋 잠금 기록 |
| 경진대회 핸드북 | 저자 개발 | Handbook-v1.0; Supplementary File 1 | 과제 순서, 제출 규칙, 루브릭, AI 공개, 구술 확인, 이의 신청 및 마감일 정의 |
| 데이터 사전 | 저자 개발 | Data-Dictionary-v1.0; Supplementary Table 2 | 변수, 코딩 범위, 데이터 소스 및 결측 데이터 규칙 정의 |
| 비식별화 데이터셋 워크북 | 저자 개발 | Dataset-Workbook-v1.0; Supplementary File 1 | 학생 수준, 팀 수준 및 강의 세션 수준 변수 저장 |
| 기업 또는 익명화 사례 패키지 | 저자 개발 또는 기업 승인 | CasePack-v1.0; Supplementary File 1 | 전략적 의사결정 맥락 제공 |
| 최종 방어 슬라이드 템플릿 | 저자 개발 | FSD-Template-v1.0; Supplementary File 1 | 과제 3 슬라이드 덱 구조 안내 |
| 최종 전략 방어 채점표 | 저자 개발 | FSDSF-v1.0; Supplementary File 1 | 과제 3 평가자 점수 및 Q&A 평가 기록 |
| IBM SPSS Statistics | IBM | Version 27.0; 기관 또는 개인 라이선스 | 기술 통계, 그룹 비교, 효과 크기 및 ICC 분석 |
| 개별 사례 분석 과제 시트 | 저자 개발 | ICATS-v1.0; Supplementary File 1 | 개별 사례 분석 요구사항 및 채점 영역 정의 |
| 지식 테스트 정답지 | 저자 개발 | SMKT-Key-v1.0; Supplementary File 1 | 지식 테스트 채점 지원 |
| Microsoft Excel | Microsoft | Excel 2021; 기관 또는 개인 라이선스 | 데이터 입력, 데이터 사전, 정제 로그, 표 작성 및 원천 데이터 확인 |
| 구술 확인 기록 양식 | 저자 개발 | Oral-Check-v1.0; Supplementary File 1 | 개별 구술 확인 질문 및 응답 기록 |
| 동료 기여도 양식 | 저자 개발 | PCF-v1.0; Supplementary File 1 | 동료 기여도 및 기여 불균형 기록 |
| 강좌 후 학습 설문조사 | 저자 개발 | PCLS-v1.0; Supplementary File 1 | 만족도, 관련성, 피드백 유용성, 협업, 학습량 및 인지적 개선도 측정 |
| 강좌 후 전략 경영 지식 테스트 | 저자 개발 | SMKT-Post-v1.0; Supplementary File 1 | 동등한 형태의 평가지를 사용하여 16주 차 강좌 후 지식 측정 |
| 평가자 교육 파일 | 저자 개발 | Rater-Training-v1.0; Supplementary File 1 | 교정 파일, 기술어, 예시 및 일반적인 채점 오류 제공 |
| 통계 출력 파일 | 소프트웨어 생성 | Statistical-Output-v1.0; 잠금 처리된 분석 폴더에 보관 | 분석 파일 및 데이터셋 버전과 함께 통계 출력값 저장 |
| 전략적 의사결정 시트 | 저자 개발 | SDS-v1.0; Supplementary File 1 | 과제 2 의사결정 결과물 안내 |
| 전략 진단 보고서 템플릿 | 저자 개발 | SDR-Template-v1.0; Supplementary File 1 | 과제 1 보고서 구조 안내 |
| 학생 코드 연결 파일 | 저자 개발 제한 파일 | Student-Code-Linkage-v1.0; 데이터 관리자가 별도 보관 | 비식별화 전 학생 신원과 연구 코드 연결 |
| 과제-루브릭 정렬 체크리스트 | 저자 개발 | Alignment-v1.0; Supplementary File 1 | 학습 성과, 과제 결과물, 채점 기준 및 피드백 포인트 간의 정렬 확인 |
| 팀 헌장 템플릿 | 저자 개발 | Team-Charter-v1.0; Supplementary File 1 | 역할 분담, 소통 규칙, 마감일 및 기여 기대치 기록 |
| 팀 프로세스 로그 | 저자 개발 | Team-Process-Log-v1.0; Supplementary File 1 | 회의 참석, 의사결정, 진행 상황, 문제점 및 향후 조치 기록 |
| 버전 관리 표 | 저자 개발 | Version-Control-v1.0; Supplementary File 1 | 버전 번호, 날짜, 편집자, 사유 및 승인 상태 추적 |
| Wenjuanxing 온라인 설문 플랫폼 | Wenjuanxing | 웹 기반 플랫폼; 기관 또는 사용자 계정 접속 | 기초 조사, 강좌 후 조사, 동료 기여도 양식 및 AI 공개 데이터 내보내기 |
참고문헌
- Porter ME. Competitive strategy: techniques for analyzing industries and competitors. Free Press; New York; 1980.
- Barney J. Firm resources and sustained competitive advantage. J Manage. 1991;17(1):99-120.
- Keys JB, Wolfe J. The role of management games and simulations in education and research. J Manage. 1990;16(2):307-36.
- Crookall D. Serious games, debriefing, and simulation/gaming as a discipline. Simul Gaming. 2010;41(6):898-920.
- Prince M. Does active learning work? A review of the research. J Eng Educ. 2004;93(3):223-31.
- Morris TH. Experiential learning: a systematic review and revision of Kolb’s model. Interact Learn Environ. 2020;28(8):1064-77.
- Greco M, Baldissin N, Nonino F. An exploratory taxonomy of business games. Simul Gaming. 2013;44(5):645-82.
- Vlachopoulos D, Makri A. The effect of games and simulations on higher education: a systematic literature review. Int J Educ Technol High Educ. 2017;14:22.
- Johnson DW, Johnson RT, Smith KA. Cooperative learning returns to college: what evidence is there that it works? Change. 1998;30(4):26-35.
- Martell K. Assessing student learning: are business schools making the grade? J Educ Bus. 2007;82(4):189-95.
- Hamari J, Koivisto J, Sarsa H. Does gamification work? A literature review of empirical studies on gamification. In: Proceedings of the 47th Hawaii International Conference on System Sciences. IEEE; 2014. p. 3025-34.
- Buckley P, Doyle E. Gamification and student motivation. Interact Learn Environ. 2016;24(6):1162-75.
- Biggs J, Tang C. Teaching for quality learning at university: what the student does. 4th ed. Open University Press; Maidenhead; 2011.
- Hattie J, Timperley H. The power of feedback. Rev Educ Res. 2007;77(1):81-112.
- Freeman S, et al. Active learning increases student performance in science, engineering, and mathematics. Proc Natl Acad Sci U S A. 2014;111(23):8410-5.
- Kolb DA. Experiential learning: experience as the source of learning and development. 2nd ed. Pearson FT Press; Upper Saddle River; 2014.
- Panadero E, Jonsson A. The use of scoring rubrics for formative assessment purposes revisited: a review. Educ Res Rev. 2013;9:129-44.
- Frye AW, Hemmer PA. Program evaluation models and related theories: AMEE Guide No. 67. Med Teach. 2012;34(5):e288-99.
- Garris R, Ahlers R, Driskell JE. Games, motivation, and learning: a research and practice model. Simul Gaming. 2002;33(4):441-67.
- Sitzmann T. A meta-analytic examination of the instructional effectiveness of computer-based simulation games. Pers Psychol. 2011;64(2):489-528.
- Shute VJ. Focus on formative feedback. Rev Educ Res. 2008;78(1):153-89.
- Jonsson A, Svingby G. The use of scoring rubrics: reliability, validity, and educational consequences. Educ Res Rev. 2007;2(2):130-44.
- O’Donnell CL. Defining, conceptualizing, and measuring fidelity of implementation and its relationship to outcomes in K-12 curriculum intervention research. Rev Educ Res. 2008;78(1):33-84.
- Marsden E, Torgerson CJ. Single group, pre- and post-test research designs: some methodological concerns. Oxf Rev Educ. 2012;38(5):583-616.
- Gosen J, Washbush J. A review of scholarship on assessing experiential learning effectiveness. Simul Gaming. 2004;35(2):270-93.