대학생의 자기주도적 영어 학습을 위한 8주 대기 목록 대조군 교실 프로토콜

요약

본 방법론 논문은 대학생들의 자기주도적 영어 학습을 구현, 모니터링 및 평가하기 위한 8주간의 대기 목록 대조군 기반 강의실 프로토콜에 대해 설명합니다.

초록

자기주도 학습은 성공적인 언어 학습의 중요한 구성 요소이지만, 교수 활동, 학생 결과물, 통제 조건, 충실도 절차 및 평가 규칙이 불충분하게 기술된 경우 교실 기반 중재를 재현하기 어려운 경우가 많습니다. 본 방법론 논문은 대학생을 대상으로 자기주도 영어 학습을 구현하고 평가하기 위한 8주간의 대기 명단 통제 교실 프로토콜을 제시합니다. 학생들은 구조화된 자기주도 영어 학습 프로토콜 그룹 또는 중재 자료에 대한 접근이 지연된 일반 영어 수업 그룹 중 하나에 배정됩니다. 매주 구체적인 교수 초점이 설정되어 있지만, 프로토콜에는 목표 검토, 전략 사용, 모니터링, 성찰 및 조정으로 이어지는 순환적 자기주도 학습 단계가 반복적으로 포함됩니다. 주간 활동에는 자기 진단, 측정 가능한 목표 설정, 전략적 계획, 어휘 및 독해 전략 연습, 작문 수정, 학습 일지, 동료 피드백 및 최종 전이 계획이 포함됩니다. 각 세션에서는 사전 정의된 학생 결과물이 생성되어 충실도, 출석, 워크시트 완료 여부, 준수 정도, 프로토콜 이탈 및 오염 제어 절차를 문서화할 수 있습니다. 이 프로토콜은 설문지 기반 결과와 영어 성취도 및 작문 성과를 포함한 성과 기반 측정치를 결합하며, 기초선 평가, 층화 블록 무작위 배정, 블라인드 작문 채점, 병행 검사 절차, 결측 데이터 규칙 및 조정된 통계 분석을 명시합니다. 대표적인 결과는 교실 환경에서 프로토콜이 어떻게 구현, 모니터링 및 분석될 수 있는지를 보여줍니다. 이러한 결과는 중재 효능에 대한 일반화 가능한 근거가 아니라, 구현 및 결과 데이터의 예시로 제시됩니다. 본 프로토콜은 고등 교육에서 자기주도 영어 학습을 연구하기 위해 실용적이고 윤리적으로 수용 가능하며 재현 가능한 절차가 필요한 연구자와 교육자에게 적합합니다.

서론

자기주도 학습(Self-regulated learning)은 유사한 교육 조건에 노출된 학생들이 왜 서로 다른 학습 궤적을 보이는지 이해하는 데 중요한 틀이 되었습니다. 이 체계에서 학습자는 단순히 지시를 받는 수동적인 수혜자가 아니라, 목표를 설정하고 전략을 선택하며 자신의 진전 상황을 모니터링하고 학습 조건이 변할 때 자신의 행동을 수정하는 참여자로 간주됩니다. Zimmerman은 자기주도 학습자를 외부의 지시에만 의존하기보다 사전 계획(forethought), 수행 제어(performance control) 및 자기 성찰(self-reflection)을 능동적으로 활용하여 학습 행동을 이끄는 학생으로 정의했습니다¹. Pintrich는 자기 조절이 인지, 동기, 행동 및 맥락의 모니터링과 제어를 포함한다는 점을 더욱 강조했으며, 이는 학생들이 노력, 시간, 전략 활용 및 피드백을 조율해야 하는 교실 기반의 언어 학습에서 특히 유의미한 개념입니다².

자기 조절(self-regulation)의 중요성은 대학 영어 학습에서 특히 명확하게 드러납니다. 많은 학생이 어휘, 독해, 작문 또는 의사소통 능력을 향상시켜야 한다는 점을 인지하고 있지만, 실제 학습 행동은 단편적인 상태에 머무는 경우가 많습니다. 학생이 “더 열심히 공부하겠다”는 의도를 가질 수는 있으나, 이러한 의도가 측정 가능한 목표, 계획된 과업, 모니터링되는 학습 행동, 또는 피드백 후의 전략 수정으로 이어지는 경우는 드뭅니다. 언어 학습 전략 연구는 학습자들이 공부하는 양뿐만 아니라, 과업 전반에 걸쳐 전략을 선택, 조합 및 평가하는 방식에서도 차이가 있음을 오랫동안 보여주었습니다³. 그러나 언어 수업에서는 이러한 전략 사용법을 교수하고, 관찰하며, 기록하고, 일반적인 강의실 수업과 비교할 수 있는 재현 가능한 구조가 항상 제공되는 것은 아닙니다. 이는 방법론적인 문제를 야기합니다. 즉, 연구자는 자기 조절 학습을 연구한다고 주장할 수 있지만, 교수 절차가 너무 일반적이어서 다른 강의실에서 이를 재현하기 어려울 수 있습니다.

기존 연구들은 자기주도적 언어 학습의 측정 및 교육적 중요성을 분명히 해왔습니다. 외국어 자기주도 학습 전략 측정에 관한 검증된 연구들은 이 개념을 하나의 모호한 학습 습관으로 취급하기보다 식별 가능한 전략 차원으로 구성할 수 있음을 보여주었습니다⁴. 제2언어 쓰기에 관한 연구 또한 자기주도적 전략 교육이 계획, 초안 작성, 수정 및 성찰 과정을 교실 수업에서 더욱 명시적으로 만들어줌으로써 쓰기 발달을 지원할 수 있음을 보여주었습니다⁵. 고등교육 중재 연구는 더 나아가 자기주도 학습 지원의 효과가 단순히 교육 과정 설계에 "자기주도 학습"이라는 용어가 포함되었는지 여부가 아니라, 중재가 어떻게 실행되었는지에 달려 있음을 시사합니다⁶. 따라서 교실 프로토콜에는 학생이 무엇을 언제 수행하는지, 무엇을 산출하는지, 대조군 조건과는 어떻게 다른지, 그리고 연구자가 절차가 의도한 대로 전달되었음을 어떻게 확인하는지가 구체적으로 명시되어야 합니다.

교실 기반의 자기주도 학습 연구에는 여러 한계점이 남아 있습니다. 일부 연구는 사후 설문조사에 크게 의존하는데, 이는 인지된 변화는 보여줄 수 있으나 그러한 변화를 일으킨 주간 학습 행동에 대해서는 제한적인 정보만을 제공합니다. 다른 연구들은 전략 교육에 대해 설명하지만, 수업 시간 배분, 워크시트 구조, 대조군 활동, 충실도 모니터링, 준수 임계값 또는 오염 방지에 대한 세부 정보가 부족합니다. 언어 학습 환경에서는 전략 사용, 동기, 불안, 작문 수행 능력 및 성취도가 서로 다른 속도로 변화할 수 있기 때문에 이러한 문제가 특히 중요합니다. 온라인 및 고등 교육 환경에서의 자기주도 학습에 관한 검토 논문들은 중재 설계, 학습 과정의 증거, 그리고 결과 측정 사이의 더 강력한 정렬이 필요함을 강조했습니다⁷. 이러한 정렬이 없으면, 약하거나 일관되지 않은 결과가 비효율적인 이론적 접근, 미흡한 실행, 부적절한 측정, 또는 연구 집단 간의 오염 중 무엇을 반영하는지 판단하기 어렵습니다.

본 방법론 논문은 자기주도적 영어 학습을 사전 정의된 주간 결과물이 포함된 8주간의 대기 명단 대조군 교실 프로토콜로 전환함으로써 이러한 공백을 메우고자 합니다. 이 프로토콜은 학생들이 하나의 자기조절 단계를 완료하고 영구적으로 다음 단계로 이동하는 단일 선형 시퀀스로 구성되지 않았습니다. 대신, 매주 지배적인 교육적 초점이 설정되어 있으면서도 반복적인 자기주도 학습 사이클을 유지합니다. 즉, 학생들은 목표를 검토하거나 수정하고, 영어 학습 과제에 전략을 적용하며, 자신의 수행 능력을 모니터링하고, 결과에 대해 성찰하며, 다음 학습 활동을 위한 조정을 수행합니다. 이러한 구조는 자기조절 전략 교수법의 실질적인 함의를 따릅니다. 학습자는 목표를 전략, 행동, 피드백 및 수정과 연결할 수 있는 반복적인 기회가 필요합니다⁸. 주간 초점은 자기 진단 및 목표 설정에서 계획, 전략 사용, 작문 수정, 모니터링, 피드백 활용, 그리고 독립적인 전이 단계로 점진적으로 이동하지만, 기저에 깔린 사이클은 8주 동안 반복됩니다.

본 프로토콜은 윤리적으로 적절하고 방법론적으로 해석 가능한 교실 내 실행을 지원하기 위해 대기 명단 대조군 조건을 포함합니다. 대조군에 속한 학생들은 8주 동안 일반적인 영어 수업을 계속 받으며, 사후 검사 평가가 끝난 후 자기주도 학습 워크시트를 제공받습니다. 이러한 설계는 잠재적으로 유용한 학습 자료를 제공하지 않는 것에 대한 윤리적 우려를 줄이는 동시에, 구조화된 프로토콜을 일반 수업과 비교할 수 있게 합니다. 참가자들이 동일한 교실 내에서 무작위로 배정될 수 있으므로, 본 프로토콜에는 별도의 활동 시간 또는 작업 공간 지정, 워크시트 배포 제한, 대조군 학급의 주간 콘텐츠 기록, 중재 자료의 지연 제공 등 오염 제어 절차가 포함되어 있습니다. 이러한 절차가 학생들 간의 모든 비공식적 소통 위험을 완전히 제거하지는 못하지만, 대표성 있는 결과를 해석할 때 오염 여부를 가시화하고 문서화할 수 있게 합니다.

본 프로토콜은 자기 보고 및 수행 기반 결과물을 모두 사용합니다. 자기 조절 학습, 자기 효능감, 동기 및 불안은 구조화된 설문지를 통해 측정하며, 영어 성취도와 작문 수행 능력은 학습 변화에 대한 과업 기반의 증거를 제공합니다. 이러한 조합은 의도적인 것입니다. 자기 효능감은 학생들이 학습 행동을 시작하고 유지하려는 의지와 밀접하게 연관되어 있지만, 자신감만으로는 수행 능력의 향상과 동일하지 않습니다⁹. 작문 수행 능력 또한 학생들이 아이디어를 계획 및 조직하고, 언어를 선택하며, 오류를 수정하고, 과업 요구 사항에 대응해야 하므로 유용합니다. 대학 환경에서의 작문 전략 교수법 연구에 따르면, 자기 조절은 별도의 학습 기술 수업으로 다루기보다 계획 및 수정 과정에 포함될 수 있음이 밝혀졌습니다¹⁰. 따라서 본 프로토콜은 자기 조절 학습 활동을 관찰 가능한 영어 학습 과업과 연결합니다.

본 방법은 절차적 통제를 통해 재현성을 강화합니다. 무작위 배정 전에 기초 평가를 완료합니다. 배정은 학급 및 기초 숙련도에 따라 층화하여 수행합니다. 중재군은 표준화된 주간 워크시트 패키지를 제공받는 반면, 대기 명단 대조군은 사후 테스트 평가 전까지 구조화된 자기 조절 학습 자료를 이용하지 않고 일반적인 수업을 계속합니다. 작문 샘플은 채점 전 블라인드 처리됩니다. 8주의 기간 동안 충실도, 출석률, 워크시트 완료 여부, 일기 작성 완료 여부, 프로토콜 이탈 및 오염 제어 지표를 기록합니다. 이러한 요소들은 참여자의 흐름, 배정, 추적 관찰 및 분석 포함 여부가 투명하게 공개되어야 하는 무작위 시험의 광범위한 보고 기대치와 일치합니다¹¹. 교실 연구에서 이러한 통제는 단순한 행정적 절차가 아닙니다. 이는 구조화된 학습 프로토콜의 구현을 일반적인 교사 피드백, 학생의 동기 부여 또는 그룹 간의 비공식적인 자료 공유와 구분하는 데 도움을 줍니다.

본 논문의 전반적인 목표는 대학생들의 자기주도적 영어 학습을 구현, 모니터링 및 평가하기 위한 재현 가능한 강의실 프로토콜을 제시하는 것입니다. 이 프로토콜은 실제 수업에서 윤리적으로 구현 가능하면서도 해석 가능한 실행 및 결과 데이터를 생성할 수 있는 실용적인 방법이 필요한 연구자와 교수자를 위해 설계되었습니다. 이 방법은 학생들이 매주 학습 활동지, 사전 및 사후 설문지, 영어 성취도 평가 및 작문 과제를 수행할 수 있는 대학 영어 강의에 가장 적합합니다. 활동지 접근성, 타이밍, 충실도 모니터링, 오염 제어 및 데이터 보안이 유지된다면, 이 프로토콜은 블렌디드 또는 온라인 강의 방식으로도 조정하여 적용할 수 있습니다. 기술 지원 자기주도적 언어 학습에 관한 현재의 증거들은 이러한 적응 가능한 절차에 대한 관심이 높아지고 있음을 시사하는 동시에, 더 명확한 중재 구조와 더 일관된 결과 보고의 필요성을 보여줍니다¹².

프로토콜

본 논문에 기술된 강의실 적용 사례는 2026년 6월 3일 정저우 성다 대학교 외국어 윤리 위원회(승인 번호 20260606)의 검토 및 승인을 받았습니다. 데이터 수집 전 모든 참여자로부터 서면 동의서를 얻었습니다. 참여는 자발적으로 이루어졌으며, 학생들은 교과 성적에 영향을 주지 않고 언제든지 참여를 철회할 수 있었습니다. 대기 명단 대조군은 사후 검사 평가 후에 자기주도 학습 자료에 접근할 수 있었습니다. 담당 강사는 교과 성적을 최종 확정하기 전까지 개별 설문 응답, 일기 항목, 동의 여부 또는 참여자 수준의 연구 데이터에 접근하지 않았습니다.

1. 강의실 실험 준비

1. 강의 계획서, 수업 일정, 평가 방식, 주당 접촉 시간, 과제 요구 사항 및 학사 일정이 유사한 학부 영어 수업을 선정하십시오. 본 연구를 영어 학습 과정에 등록된 대학생을 대상으로 하는 개인 수준의 무작위 대기 목록 대조군 교실 프로토콜로 정의하십시오.
2. 모집을 시작하기 전, 참여자 흐름도를 사용하여 스크리닝, 동의, 기저선 평가, 무작위 배정, 중재 제공, 사후 검사 평가 및 분석 포함 사항을 계획하십시오(그림 1).
3. 8주 프로토콜을 반복적인 자기주도 학습 사이클 중심으로 구성하십시오. 매주 학생들은 목표를 검토하거나 수정하고, 영어 학습 과제에 전략을 적용하며, 수행 능력을 모니터링하고, 결과에 대해 성찰하며, 다음 과제를 위한 조정 사항을 기록합니다. 이 순서는 학습자가 사전 계획, 수행 모니터링, 자기 성찰 과정을 반복적으로 거치는 자기주도 학습의 순환 모델을 기반으로 합니다13,14.
   핵심 단계: 프로토콜을 하나의 자기 조절 단계가 단 한 번만 완료되는 단일 선형 순서로 제공하지 마십시오. 주차별 주제는 바뀔 수 있지만, 목표 검토, 전략 사용, 모니터링, 성찰 및 조정은 8주 기간 동안 반복되어야 합니다.
4. 모집 전, 주요 결과 지표, 예상 효과 크기, 양측 α 수준 0.05, 검정력 0.80 및 예상 탈락률을 사용하여 표본 크기를 추정하십시오. 대표적 구현을 위해 160명의 학생을 모집하십시오.
5. 모집 전 참여자 정보지, 동의서, 인구통계학적 양식, 설문지 세트, 영어 성취도 검사, 작문 프롬프트, 작문 루브릭, 주간 학습지, 학습 일기, 충실도 체크리스트, 출석 기록지, 대조군 수업 내용 기록지, 오염 제어 기록지, 무작위 배정 목록, 코드북 및 통계 스크립트를 준비하십시오.
6. 기존에 발표된 자기주도 학습, 외국어 학습 전략, 자기 효능감, 동기 및 언어 학습 불안 척도15,16에서 선택하거나 수정한 항목을 사용하여 설문지 세트를 준비하십시오. 목표 설정, 전략적 계획, 전략 사용, 모니터링 및 성찰을 다루는 1~5점 리커트 척도의 24개 항목 자기주도 영어 학습 설문지를 사용하십시오. 동일한 1~5점 형식의 8개 항목 영어 자기 효능감, 동기 및 학습 불안 척도를 사용하십시오. 데이터 수집 전 역코딩 항목을 정의하고, 유효한 항목 응답의 평균을 내어 척도 점수를 계산하십시오.
   참고: 자기주도 학습 측정 도구는 일반적인 학습 태도만이 아니라 목표 설정, 계획, 전략 사용, 모니터링 및 성찰을 포착해야 합니다.
7. 두 명의 영어 교육 전문가에게 수정된 설문 항목의 어구 명확성, 구성 개념 일치성 및 대학 영어 학습자에 대한 적합성을 검토 요청하십시오.
8. 기저선 영어 성취도 검사 1종과 이에 대응하는 평행 사후 검사 양식 1종을 준비하십시오. 두 양식 모두 동일한 강의 계획서 및 평가 청사진에 맞추십시오. 항목 유형, 항목 수, 측정 기술 범위, 총점, 제한 시간 및 예상 난이도를 일치시키십시오. 각 양식의 점수는 0점에서 100점으로 산출하십시오.
9. 사전 검사와 사후 검사를 위해 두 개의 평행한 영어 작문 프롬프트를 준비하십시오. 장르, 주제 친숙도, 예상 길이, 응답 시간, 인지적 요구도 및 채점 루브릭을 일치시키십시오. 기저선과 사후 검사에는 서로 다른 프롬프트를 사용하십시오.
10. 채점에 참여하지 않는 두 명의 영어 강사에게 성취도 검사와 작문 프롬프트의 내용 범위, 언어 수준, 주제 친숙도 및 과제 난이도를 검토 요청하십시오.
    핵심 단계: 기저선과 사후 검사에서 동일한 성취도 검사나 작문 프롬프트를 재사용하지 마십시오. 유사한 난이도를 유지하면서 연습 효과를 줄이기 위해 평행 양식을 사용하십시오.
11. 내용 관련성, 조직력, 어휘 사용, 문법 정확성 및 과제 완수도를 포함하는 0~20점의 분석적 작문 루브릭을 준비하십시오. 루브릭, 앵커 샘플, 채점 예시, 영역별 기술어 및 불일치 해결 규칙을 사용하여 두 명의 독립적인 작문 채점자를 교육하십시오.
12. 주간 수업 스크립트, 필수 학생 결과물, 타이밍 규칙, 충실도 체크리스트, 오염 제어 절차 및 프로토콜 위반 기록지를 사용하여 프로토콜 강사 또는 연구 보조원을 교육하십시오. 일반적인 교과 과정 성적 매기기를 담당하지 않는 교육받은 연구 보조원에게 충실도 평가를 배정하십시오. 8회 세션 모두에 동일한 충실도 체크리스트를 사용하십시오.
13. 모집 전 대기 목록 대조군 조건을 준비하십시오. 대조군 학생들은 8주 동안 일반적인 영어 수업, 일반적인 숙제 및 일반적인 교사 피드백을 받지만, 사후 검사 평가 전까지 구조화된 자기주도 학습 학습지, 학습 일기, 목표 카드, 전략 체크리스트 또는 성찰 템플릿은 제공받지 않습니다.
14. 재료 목록 표에 나열된 모든 연구 재료를 준비하고 표 1에 제시된 등록, 중재 및 평가 일정을 따르십시오.
15. 동의서, 참여자 코드 목록, 설문지, 작문 파일, 검사 파일, 충실도 기록, 준수 기록, 대조군 수업 내용 기록지, 오염 제어 기록지, 프로토콜 위반 기록지 및 익명화된 데이터 세트를 별도의 보안 폴더에 저장하십시오.
    중단 지점: 재료 준비 후 프로토콜을 일시 중단했다가 윤리 승인, 강사 교육, 채점자 교육 및 데이터 보안 폴더 준비가 완료되면 재개할 수 있습니다.
16. 참여자 식별 파일을 모든 결과 데이터와 분리하여 보관하십시오. 식별 가능한 데이터에 대한 접근은 책임 연구자 또는 권한이 있는 연구 직원으로만 제한하십시오.

2. 참여자 모집 및 동의서 작성

1. 기초 평가 전 정규 수업 시간에 연구에 대해 소개합니다. 18세 이상이며, 선택된 영어 강좌에 등록하고, 영어 작성 과제와 설문지를 작성할 수 있으며, 고지된 동의서에 서명할 의사가 있는 학생들을 모집합니다.
2. 동의를 제공하지 않거나, 기초 평가 전에 철회하거나, 8주의 연구 기간을 완료할 수 없거나, 설문 기반 평가와 수행 기반 평가를 모두 완료할 수 없는 학생들은 제외합니다.
3. 가능한 한 강의 평가를 담당하는 강사가 아닌 연구 보조원이 동의서를 배포하고 수거하도록 합니다.
4. 참여는 자발적이며, 설문 응답 내용은 기밀로 유지되고, 연구 참여가 공식적인 강의 성적 산출에 포함되지 않음을 설명합니다. 연구 도구를 실시하기 전에 서명된 동의서를 수집하고, 동의한 각 학생에게 SRL001, SRL002, SRL003과 같은 고유한 참여자 식별 코드를 부여합니다.
5. 등록 로그에 참여자 코드, 학급, 연령, 성별, 전공, 학년, 이전 영어 학습 경험 및 기초 영어 숙달도 범주를 기록합니다. 동의하지 않은 학생은 일반적인 수업 활동은 계속할 수 있도록 하되, 연구 데이터 수집 대상에서는 제외합니다.

3. 기저 평가 수행

1. 무작위 배정과 자기주도 학습 콘텐츠 제공 전에 기초 평가를 실시합니다. 모든 양식, 테스트 및 작성지에 학생들의 참가자 식별 코드만 기재하도록 안내합니다.
2. 인구통계학적 양식, 자기주도 영어 학습 설문지, 영어 자기효능감 척도, 동기 척도 및 학습 불안 척도를 일관된 응답 지침과 1-5점 응답 척도를 사용하여 한 번에 실시합니다.
3. 기초 영어 성취도 테스트를 45분의 제한 시간 내에 실시합니다. 영어 성취도 테스트 직후에 첫 번째 작문 프롬프트를 사용하여 기초 작문 과제를 실시하며, 예상 길이는 120–180 단어, 응답 시간은 20분으로 고정합니다.
4. 완료 직후 모든 양식과 과제지를 수거합니다. 학생들이 퇴실하기 전 참가자 코드, 작성 완료 여부 및 명백한 중복 기입 사항을 확인합니다. 결석한 학생은 기초 출석부에 기록하고, 기초 데이터가 없는 학생은 무작위 배정에서 제외합니다.
5. 참가자 식별 코드만을 사용하여 기초 데이터를 마스터 데이터 세트에 입력합니다. 입력된 기록의 최소 10%를 원본 양식과 대조하여 재확인하고, 무작위 배정 전에 모든 입력 오류를 수정합니다.
6. 무작위 배정 목록을 생성하기 전에 기초 데이터 세트를 잠금 처리합니다.
   중요 단계: 배정이 기초 데이터 수집이나 데이터 입력에 영향을 주는 것을 방지하기 위해, 무작위 배정 전에 기초 평가와 데이터 세트 잠금 처리를 완료해야 합니다.

4. 참가자 무작위 배정 및 배정 은폐

1. 기초선 데이터 정제 후 무작위 배정 목록을 생성합니다. 학급 및 기초선 영어 숙달도 범주에 따라 무작위 배정을 층화합니다.
2. 참가자를 자기주도 학습 프로토콜 집단 또는 대기 목록 대조군에 1:1 비율로 무작위 배정합니다. 각 학급 및 숙달도 층 내에서 블록 무작위 배정을 사용합니다. 블록 크기, 무작위 시드 및 할당 목록 생성에 사용된 소프트웨어를 기록합니다.
3. 무작위 배정 파일은 기초선 및 사후 검사 결과 파일과 분리하여 저장합니다. 기대되는 결과의 차이에 대해 논의하지 않고 학생들에게 배정된 교실 활동 일정을 알립니다.
4. 사용 가능한 학급 섹션 수가 너무 적어 학급 단위 무작위 배정을 지원할 수 없는 경우에는 개인 수준 무작위 배정을 사용합니다. 이러한 설계 선택 사항을 연구 로그에 기록합니다.
   참고: 동일한 교실 내에서 무작위 배정을 실시할 경우, 학생들이 학습 자료에 대해 소통하면 오염이 발생할 수 있습니다. 별도의 활동 시간이나 작업 공간을 사용하고, 워크시트 배포 시점을 늦추며, 오염 로그를 작성하여 이러한 위험을 기록하십시오.
5. 가능한 한 정규 강의 계획서, 일반 교육 내용, 과정 평가 일정 및 일반 과제 기대치를 집단 간에 유사하게 유지합니다. 점수 산정 전 모든 작문 파일에서 집단 및 평가 라벨을 제거하여 작문 평가자가 집단 할당 및 시점을 알 수 없도록 눈가림 상태를 유지합니다.
6. 변수 코딩, 결측 데이터 처리 규칙 및 기본 분석 계획이 확정될 때까지 기본 데이터 분석자가 집단 라벨을 알 수 없도록 눈가림 상태를 유지합니다.
7. 구조화된 자기주도 학습 활동을 별도의 활동 시간, 소그룹 배치 또는 온라인 작업 공간에서 제공합니다. 사후 검사 평가가 완료될 때까지 중재 워크시트, 학습 일기, 목표 카드, 전략 체크리스트 또는 성찰 템플릿을 공유 과정 그룹에 업로드하지 마십시오.
8. 참가자들에게 사후 검사 평가 전에 대기 목록 대조군 학생들과 중재 워크시트나 구조화된 학습 템플릿을 교환하지 않도록 요청합니다. 워크시트 조기 공유 또는 대조군의 중재 자료 접근을 포함하여 오염이 의심되는 사건을 기록합니다.
9. 데이터 수집이 완료된 후 최종 할당, 중재 노출, 사후 검사 완료 및 분석 포함 여부를 참가자 흐름도에 기록합니다17.

5. 자기주도적 영어 학습 프로토콜 전달

1. 정규 영어 과정 내 또는 병행하여 8주 연속으로 매주 1회 30–45분 분량의 구조화된 자기주도 학습 세션을 진행한다.
2. 그림 2에 제시된 주간 강의실 워크플로를 따르고, 보조 표 1에 제시된 워크시트 패키지를 사용한다.
3. 매주 세션마다 목표 검토 및 수정, 전략 연습, 모니터링, 짧은 성찰, 그리고 다음 단계 조정을 포함한다.
   중요 단계: 매주 미리 정의된 학생 결과물을 수집한다. 이 결과물은 준수 여부 모니터링, 충실도 평가 및 프로토콜 재현성에 필수적이다.
4. 1주차: 오리엔테이션, 자기 진단 및 첫 번째 학습 목표 설정. 자기주도 영어 학습을 목표 설정, 전략 선택, 모니터링, 성찰 및 조정의 반복적인 사이클로 설명한다. 학생들에게 자신의 영어 학습 습관, 강점, 어려움, 장애물 및 이전 전략 사용 경험을 검토하게 한다. 각 학생은 하나의 목표 학습 문제와 하나의 예비 전략이 포함된 학습 프로필 시트를 작성한다.
5. 2주차: 목표 설정 및 목표 확인 방법. 1주차의 목표 문제와 예비 전략을 검토한다. 학생들에게 광범위한 영어 학습 목적 하나를 측정 가능한 주간 목표로 전환하도록 요청한다. 각 목표 카드에는 대상 과제, 학습 시간, 예상 결과물, 마감일, 확인 방법 및 조정 계획이 포함된다.
6. 3주차: 전략적 계획, 시간 관리 및 장애물 대응. 2주차의 목표 카드를 검토한다. 학생들에게 주간 목표를 3~5개의 더 작은 과제로 나누고, 각 과제를 특정 요일과 시간대에 배정하며, 어휘, 읽기 또는 듣기, 쓰기 또는 말하기 연습을 포함하고, 하나의 장애물과 대응책 및 조정을 식별하도록 요청한다.
7. 4주차: 어휘 및 읽기 전략 연습. 3주차의 학습 계획을 검토한다. 짧은 어휘 목록과 짧은 영어 단락을 사용하여 인출 연습, 간격 반복 복습 및 읽기 주석 달기를 시연한다. 학생들은 주석이 달린 읽기 샘플과 하나의 전략 계획서를 제출한다.
8. 5주차: 쓰기 전략 사이클. 4주차의 전략 계획서를 검토한다. '계획-초안 작성-수정-성찰'의 쓰기 사이클을 소개한다. 학생들은 짧은 단락을 계획하고 초안을 작성한 뒤, 분석적 쓰기 루브릭을 사용하여 이를 수정하며, 유용한 전략, 반복되는 쓰기 문제 및 하나의 수정 목표를 식별하는 성찰문을 한 편 작성한다.
9. 6주차: 모니터링 및 자기 기록. 5주차의 수정 목표를 검토한다. 학생들은 일일 학습 시간, 과제 완료 여부, 사용한 전략, 직면한 장애물 및 수행한 조정을 기록한다. 최소 3개의 일기 항목을 작성하게 하며, 공유하고 싶지 않은 개인적인 내용은 생략할 수 있도록 한다.
10. 7주차: 피드백 활용 및 동료 교정. 6주차의 일기 항목을 검토한다. 학생들은 쓰기 루브릭을 사용하여 연습 단락의 점수를 매기고, 점수 차이에 대해 토론하며, 루브릭 기반의 동료 피드백을 제공하고, 한 문장 또는 단락을 수정하며, 피드백 활용 성명서를 한 편 작성한다.
11. 8주차: 성찰, 전이 계획 및 마무리. 학생들은 자신의 학습 프로필, 목표 카드, 학습 계획서, 전략 시트, 쓰기 수정본, 일기 항목, 동료 피드백 기록 및 이전의 조정 사항들을 검토한다. 이들은 하나의 효과적인 전략, 하나의 비효과적인 전략, 하나의 지속적인 장애물, 하나의 향후 학습 목표 및 하나의 계획된 모니터링 방법을 식별한다.
12. 사후 검사 평가 전 모든 최종 학습 자료를 수집하고, 대기 명단 대조군에게는 사후 검사 데이터 수집이 완전히 완료된 후에만 전체 워크시트 패키지에 대한 접근 권한을 제공한다.

6. 대기 명단 대조군 조건 실시

1. 8주간의 연구 기간 동안 대기 명단 대조군에게 일반적인 영어 수업을 지속적으로 제공한다. 강의 계획서, 주차별 교육 내용, 과제 기대치, 교사 피드백 형식 및 평가 일정을 프로토콜 그룹이 받는 정규 과정 활동과 유사하게 유지한다.
2. 사후 검사 전까지 대기 명단 대조군에게 구조화된 자기주도 학습 워크시트, 학습 일지, 목표 카드, 전략 체크리스트, 동료 피드백 템플릿 또는 성찰지를 제공하지 않는다.
3. 대조군 수업 내용 로그에 주차별 대조군 수업 내용, 과제, 출석, 교사 피드백 형식 및 자기주도 학습 자료에 대한 모든 노출 여부를 기록한다.
4. 사후 검사 전까지 공유된 코스 그룹에 중재 자료를 업로드하지 않도록 주의한다. 조기 노출이나 의심되는 자료 공유 사례는 오염 관리 로그에 기록한다.
   중요 단계: 대조군 조건을 비구조화되거나 비활성 상태가 아닌 일반적인 영어 수업으로 유지한다. 이를 통해 대조군 학생들의 지연된 접근 권한을 보장하면서 프로토콜 그룹을 일반적인 교실 수업 관행과 비교할 수 있다.
5. 모든 사후 검사 데이터 수집이 완료된 후에만 대기 명단 대조군에게 전체 자기주도 학습 워크시트 패키지를 제공한다.

7. 사후 평가 실시

1. 최종 프로토콜 세션을 마친 후 8주 차에 사후 검사 평가를 실시합니다.
2. 기초선 조사 때 사용했던 것과 동일한 도구 순서, 지침, 시간 제한, 교실 규칙 및 응답 형식을 사용하여 두 그룹 모두에게 동일한 주에 사후 검사 평가를 실시합니다.
3. 자기주도 영어 학습 설문지, 영어 자기효능감 척도, 동기 척도, 학습 불안 척도, 병행 영어 성취도 검사 및 사후 검사 쓰기 과제를 실시합니다.
4. 사후 검사 쓰기에는 두 번째 쓰기 프롬프트를 사용합니다. 장르, 예상 길이, 응답 시간, 채점 루브릭 및 과제 난이도를 기초선 쓰기 과제와 유사하게 유지하십시오.
   중요 단계: 기초선 검사나 기초선 프롬프트를 반복하는 대신, 병행 사후 검사 성취도 양식과 두 번째 매칭 쓰기 프롬프트를 사용하십시오.
5. 사후 검사 평가에 결석한 학생을 기록하고, 해당 사후 검사 결과는 결측치로 표시합니다. 결측된 사후 검사 값을 인위적인 값으로 대체하지 마십시오.
6. 모든 사후 검사 자료를 수집하고, 참가자 코드와 완료 상태를 확인한 후 모든 파일을 참가자 식별 코드로 저장합니다.
7. 완료 여부 확인 후, 그룹 간 비교 분석 전에 사후 검사 데이터 세트를 잠금 처리합니다.

8. 결과 점수 산출 및 데이터 처리

1. 표 2에 제시된 정의, 점수 범위, 채점 규칙 및 시점에 따라 모든 결과 지표를 채점하십시오.
2. 각 척도 내의 유효한 항목 응답 값의 평균을 내어 설문지 결과 지표를 채점하십시오. 척도 설명서에 역코딩이 명시된 항목에 대해서만 역코딩을 수행하십시오.
3. 해당 척도 내 항목의 80% 이상이 유효한 경우에만 척도 점수를 산출하십시오. 항목의 20% 초과로 누락된 경우, 해당 척도 점수를 결측치로 표시하십시오.
4. 미리 지정된 정답지 및 채점 가이드를 사용하여 영어 성취도 검사를 0점에서 100점 사이로 채점하십시오.
5. 채점 전 모든 작문 파일에서 그룹 라벨을 제거하십시오. 할당 상태가 드러나지 않도록 코드화된 식별자를 사용하여 작문 파일의 이름을 변경하십시오.
6. 정식 채점 전, 분석적 작문 루브릭, 앵커 샘플, 채점 예시 및 불일치 해결 규칙을 사용하여 두 명의 독립적인 평가자를 교육하십시오.
7. 두 평가자 모두에게 0–20점 분석적 루브릭을 사용하여 모든 작문 샘플을 독립적으로 채점하도록 요청하십시오. 내용 관련성, 구성, 어휘 사용, 문법 정확성 및 과제 완수 정도에 대한 영역별 점수를 기록하십시오.
8. 절대 일치도를 확인하기 위해 이원 랜덤 효과 내내 상관계수(two-way random-effects intraclass correlation coefficient)를 사용하여 평가자 간 신뢰도를 계산하십시오. 전체 작문 점수에 대한 신뢰도를 보고하고 영역별 일치도를 검토하십시오.
9. 3점보다 큰 전체 점수 불일치는 토론이나 제3 평가자의 판정을 통해 해결하십시오. 불일치 해결 후, 두 평가자 점수의 평균값을 최종 작문 점수로 사용하십시오.
   중요 단계: 블라인드 처리가 되지 않은 단일 강사가 작문 결과 지표를 채점하지 마십시오. 독립적인 채점을 실시하고 평가자 간 신뢰도를 보고하십시오.
10. 분석 전 모든 설문지, 테스트, 작문, 충실도, 준수도 및 프로세스 점수가 허용 범위 내에 있는지 확인하십시오.

9. 충실도, 준수 여부 및 프로토콜 편차 모니터링

1. 각 중재 세션이 끝난 후 충실도 체크리스트를 1회 작성하십시오. 체크리스트는 일반 강의 성적 평가를 담당하지 않는 숙련된 연구 보조원이 작성해야 합니다.
2. 계획된 주간 목표, 강사 설명, 학생 활동, 학생 결과물, 시간 요구 사항 및 수집 절차의 완료 여부를 기록하십시오.
3. 각 세션을 1-5점의 충실도 척도로 평가하며, 여기서 1점은 매우 낮은 충실도를, 5점은 계획된 구성 요소의 완전한 수행을 나타냅니다.
4. 매주 출석 여부, 워크시트 완료, 일지 작성 완료, 피드백 시트 완료, 최종 성찰 작성 완료, 오염 사건 및 프로토콜 이탈 사항을 기록하십시오.
5. 출석률은 8회 세션 중 참석한 세션 수로 계산하십시오. 일지 작성 완료율은 실제 작성된 일지 항목 수를 예상 일지 항목 수로 나누어 계산하십시오.
6. 프로토콜 준수 민감도 분석을 위해 8회 세션 중 6회 이상 출석한 경우를 적절한 중재 노출로 정의하십시오.
7. 수업 취소, 세션 시간 단축, 워크시트 누락, 강사 교체, 기술적 오류, 예기치 않은 강의실 혼란 또는 사전 자료 노출을 포함한 프로토콜 이탈 사항을 각 세션 직후에 기록하십시오.
8. 표 3에 제시된 기준을 사용하여 충실도 및 준수 지표를 기록하십시오.

10. 분석 데이터 세트 구축

1. 무작위 배정된 참가자별로 하나의 행을 생성합니다.
2. 참가자 코드, 학급, 무작위 배정 블록, 그룹 할당, 연령, 성별, 전공, 기초 영어 숙달도 범주 및 사후 검사 완료 여부를 포함합니다.
3. 출석, 워크시트 작성, 일기 작성률, 충실도 등급, 오염 상태 및 프로토콜 이탈 상태를 포함한 중재 노출 및 과정 변수를 포함합니다.
4. 자기주도적 영어 학습, 영어 자기효능감, 동기, 학습 불안, 영어 성취도 및 작문 수행력에 대한 사전 및 사후 검사 점수를 포함합니다.
5. 사후 검사 점수에서 사전 검사 점수를 빼서 기술 보고를 위한 변화 점수 변수를 생성합니다.
6. 모든 무작위 배정 참가자를 포함하는 전체 무작위 배정 데이터셋과 분석 대상 결과 변수에 대해 유효한 기초 및 사후 검사 값을 가진 참가자를 포함하는 1차 가용 사례 분석(available-case analysis) 데이터셋을 생성합니다.
   참고: 가용 사례 1차 분석을 완전한 ITT(intention-to-treat) 분석으로 설명하지 마십시오. 할당, 추적 관찰, 결측치 및 민감도 분석을 설명할 때는 전체 무작위 배정 데이터셋을 사용하십시오.
7. 사후 검사 평가를 완료하고 미리 정의된 중재 노출 임계값을 충족한 참가자를 포함하는 프로토콜 준수(per-protocol) 데이터셋을 생성합니다.
8. 최종 익명화된 데이터셋을 스프레드시트 및 통계 소프트웨어 형식으로 저장합니다. 모든 변수, 코딩 규칙, 점수 범위, 결측값 규칙 및 분석 역할을 정의한 코드북을 저장합니다.
9. 데이터셋 확정일, 결측 데이터 검토, 범위 확인, 평가자 신뢰도 결과, 충실도 요약, 오염 로그 검토 및 최종 변수명이 기록된 분석 준비 체크리스트를 유지합니다.

11. 데이터 분석

1. 참가자 흐름, 기초 특성, 중재 노출, 사후 검사 완료 여부, 결측치 및 분석 포함 대상을 요약하십시오.
2. 무작위 배정 품질의 주요 근거로 기초 단계의 유의성 검정에 의존하지 말고, 그룹별 기초 특성을 보고하십시오.
3. 사후 검사의 자기주도 영어 학습 점수를 종속 변수로, 그룹을 독립 변수로, 기초 단계의 자기주도 영어 학습 점수를 공변량으로 하여 공분산 분석을 통해 주 결과 지표를 분석하십시오.
4. 교실 환경을 고려하기 위해 주 모델에 학급을 고정 효과로 포함하십시오. 학급 수가 학급 수준의 무작위 효과¹⁸를 지원하기에 충분한 경우, 민감도 분석으로 혼합 효과 모델을 사용하십시오.
5. 동일한 보정 접근 방식을 사용하여 이차 결과 지표를 분석하십시오. 사후 검사의 영어 자기효능감, 동기, 학습 불안, 쓰기 점수 및 영어 성취도 점수에 대해 각각 별도의 모델을 적용하십시오.
6. ANCOVA 결과를 해석하기 전에 기초 점수와 사후 점수 간의 선형성, 회귀 계수의 동질성, 잔차 분포, 등분산성, 영향력 있는 관측치 및 모델 적합도를 평가하십시오.
   중요 단계: 최종 ANCOVA 해석 전 그룹과 기초 점수 간의 상호작용을 확인하십시오. 유의미한 상호작용이 나타나면 회귀 계수의 동질성 가정이 성립하지 않을 수 있습니다.
7. 각 결과 지표에 대해 보정된 평균 차이, 95% 신뢰 구간, p 값 및 효과 크기를 보고하십시오. 그룹별 사전 검사 평균, 사후 검사 평균, 평균 변화량 및 변화량의 표준 편차를 보고하여 기술적 변화 점수 분석을 수행하십시오.
8. 분석 대상 결과 지표에 대해 유효한 기초 및 사후 데이터를 가진 참가자를 대상으로 주 분석을 수행하십시오. 사후 검사 결측치가 5%를 초과하는 경우, 무작위 결측 가정을 바탕으로 그룹, 학급, 기초 점수, 인구통계학적 변수 및 가용 결과 변수를 대체 모델에 포함하여 다중 대체 민감도 분석을 수행하십시오.
9. 사전에 정의된 노출 임계값을 충족하는 참가자를 대상으로 프로토콜 준수(per-protocol) 민감도 분석을 수행하십시오.
10. 탐색적 과정 근거로서 프로토콜 준수 그룹 내에서 준수 지표와 자기주도 학습 향상 간의 연관성을 조사하십시오. 준수 여부는 무작위로 배정된 것이 아니므로 준수 관련 연관성을 인과 효과로 해석하지 마십시오.
11. 주 결과 지표에 대해 양측 검정을 사용하고 유의 수준을 0.05로 설정하십시오. 이차 결과 지표는 확증적 종결점이 아닌 보조적 지표로 해석하십시오.

12. 철회, 기밀 유지 및 지연된 접근 관리

1. 학생들이 학업상의 불이익 없이 언제든지 연구 참여를 철회할 수 있도록 합니다. 철회, 결석, 불편함 또는 중단 사항을 연구 로그에 기록하십시오.
2. 동의를 철회한 학생의 경우 연구 참여를 중단시키십시오. 이전에 수집된 익명화된 데이터는 동의서에 해당 절차가 명시되어 있고 윤리 위원회의 승인을 받은 경우에만 보관하십시오.
3. 분석 데이터셋에서 모든 직접 식별자를 제거하고, 참가자 코드 목록을 설문지, 작문, 일기 및 테스트 데이터와 분리하여 저장하십시오. 대기 명단 대조군에게는 사후 테스트 평가 후에 자기주도 학습 패키지 전체에 대한 지연된 접근 권한을 제공하십시오.
4. 윤리 승인 및 학술지 정책에서 허용하는 경우, 익명화된 데이터셋, 코드북, 채점 루브릭, 충실도 체크리스트, 오염 제어 로그, 프로토콜 위반 로그 및 통계 스크립트를 보충 파일로 보관하십시오.

결과

참가자 흐름, 기초 특성 및 사후 검사 완료 여부

대표 데이터셋에는 적격성을 평가받은 180명의 학생이 포함되었습니다. 무작위 배정 전 20명의 학생이 제외되었는데, 8명은 선정 기준을 충족하지 않았고, 9명은 참여를 거절했으며, 3명은 8주간의 전체 추적 관찰 기간 동안 참여가 불가능했습니다. 최종 무작위 배정 표본에는 160명의 학생이 포함되었으며, 80명은 자기주도 학습 프로토콜 그룹에, 80명은 대기 명단 대조군에 배정되었습니다. 사후 검사 평가는 프로토콜 그룹의 76명과 대기 명단 대조군의 75명 학생이 완료하여, 무작위 배정 표본의 94.4%에 해당하는 151명의 학생으로 구성된 가용 사례 분석 표본이 도출되었습니다. 사후 검사 결측률은 프로토콜 그룹에서 5.0%, 대기 명단 대조군에서 6.3%였습니다. 프로토콜 그룹에서는 8회 세션 중 최소 6회 이상 참석한 72명의 학생이 프로토콜 준수 민감도 분석 표본에 포함되었습니다(그림 1).

기초 특성은 그룹 간에 유사하였다. 평균 연령은 프로토콜 그룹이 20.1 ± 1.2세, 대기 명단 대조군이 20.0 ± 1.1세였다. 여성 학생의 비율은 두 그룹에서 각각 58.8%와 57.5%였다. 기초 영어 능숙도 또한 유사하게 분포되었다: 프로토콜 그룹 학생의 22.5%는 A2, 53.8%는 B1, 23.8%는 B2로 분류되었으며, 대기 명단 대조군의 해당 비율은 각각 23.8%, 52.5%, 23.8%였다. 기초 자기주도 영어 학습 점수는 프로토콜 그룹과 대기 명단 대조군에서 각각 3.12 ± 0.44와 3.10 ± 0.45, 기초 영어 성취도 점수는 68.4 ± 8.7과 68.7 ± 8.5, 기초 쓰기 수행 점수는 12.6 ± 2.1과 12.7 ± 2.0로 나타났다(표 4).

프로토콜 충실도, 준수 및 대조군 모니터링

프로토콜 그룹에서는 계획된 8회의 주간 세션이 모두 진행되었습니다. 평균 충실도 점수는 5점 만점에 4.5 ± 0.3점이었으며, 모든 세션이 4점 이상의 충실도 점수를 받았습니다. 평균 출석 횟수는 8회 중 7.1 ± 1.0회였으며, 프로토콜 그룹의 90.0%에 해당하는 72명의 학생이 사전 정의된 노출 임계값을 충족했습니다. 워크시트 평균 완료 횟수는 8회 중 6.8 ± 1.2회였습니다. 완료율은 1주 차 학습 프로필 97.5%, 2주 차 목표 카드 95.0%, 3주 차 학습 계획 워크시트 92.5%, 4주 차 읽기 및 어휘 전략 시트 91.3%, 5주 차 쓰기 주기 워크시트 90.0%, 6주 차 학습 일기 87.5%, 7주 차 동료 피드백 시트 88.8%, 8주 차 최종 성찰 시트 87.5%였습니다.

대기 명단 대조군은 8주 동안 일반적인 영어 수업, 일반적인 숙제 및 일반적인 교사 피드백을 제공받았습니다. 대조군 수업 내용 기록을 통해 구조화된 자기주도 학습 워크시트, 학습 일기, 목표 카드, 전략 체크리스트, 동료 피드백 템플릿 및 성찰 시트가 사후 검사 평가 전에 대조군에 제공되지 않았음을 확인했습니다. 오염 제어 기록에는 학습 습관에 관한 비공식적인 그룹 간 토론이 두 차례 기록되었으나, 워크시트의 조기 공개, 템플릿 공유 또는 대조군의 중재 자료 접근은 확인되지 않았습니다. 자기주도 학습 패키지 전체에 대한 지연 접근 권한은 사후 검사 데이터 수집 후에 제공되었습니다(표 5).

설문지 기반 결과

이 대표 데이터 세트에서, 자기주도 영어 학습 점수는 프로토콜 군에서 3.12 ± 0.44에서 3.68 ± 0.42로 증가하였고, 대기자 대조군에서는 3.10 ± 0.45에서 3.16 ± 0.44로 증가하였습니다. 기초 점수와 학급을 보정한 후, 사후 검사 자기주도 영어 학습 점수의 그룹 간 차이는 0.49였으며, 95% 신뢰 구간은 0.36에서 0.62, p 값은 < 0.001이었습니다 (표 6). 영어 자기효능감은 프로토콜 군에서 3.18 ± 0.48에서 3.54 ± 0.46으로 증가하였고, 대기자 대조군에서는 3.20 ± 0.47에서 3.31 ± 0.45로 증가하였습니다. 보정된 그룹 간 차이는 0.24였으며, 95% 신뢰 구간은 0.10에서 0.38, p 값은 0.001이었습니다. 영어 학습 동기는 프로토콜 군에서 3.42 ± 0.46에서 3.62 ± 0.43으로 증가하였고, 대기자 대조군에서는 3.40 ± 0.45에서 3.45 ± 0.44로 증가하였습니다. 보정된 그룹 간 차이는 0.14였으며, 95% 신뢰 구간은 0.02에서 0.26, p 값은 0.023이었습니다. 영어 학습 불안은 프로토콜 군에서 3.01 ± 0.52에서 2.72 ± 0.49로 감소하였고, 대기자 대조군에서는 3.00 ± 0.50에서 2.99 ± 0.51로 감소하였습니다. 보정된 그룹 간 차이는 −0.26이었으며, 95% 신뢰 구간은 −0.41에서 −0.11, p 값은 0.001이었습니다 (표 6).

성과 기반 결과

영어 성취도 점수는 프로토콜 그룹에서 68.4 ± 8.7에서 77.3 ± 8.1로 증가했으며, 대기 목록 대조군에서는 68.7 ± 8.5에서 71.9 ± 8.3로 증가했습니다. 사후 검사에서의 조정된 그룹 간 차이는 5.3점이었으며, 95% 신뢰 구간은 3.1에서 7.5, p 값은 < 0.001이었습니다. 작문 수행 점수는 프로토콜 그룹에서 12.6 ± 2.1에서 14.8 ± 2.0으로 증가했고, 대기 목록 대조군에서는 12.7 ± 2.0에서 13.2 ± 2.1로 증가했습니다. 사후 검사에서의 조정된 그룹 간 차이는 1.5점이었으며, 95% 신뢰 구간은 0.8에서 2.2, p 값은 < 0.001이었습니다(표 6). 설문지 기반 및 수행 기반 결과의 사전 검사 대비 사후 검사 변화는 그림 3A–F에 요약되어 있습니다.

데이터 품질, 점수 산정 신뢰도 및 민감도 분석

작문 샘플은 그룹 배정 및 평가 시점을 알지 못하는 두 명의 독립적인 평가자가 점수를 매겼습니다. 급내 상관 계수는 총 작문 점수의 경우 0.86, 내용 관련성의 경우 0.82, 조직 구성의 경우 0.80, 어휘 사용의 경우 0.78, 문법적 정확성의 경우 0.84, 그리고 과제 완수도의 경우 0.81이었습니다. 0-20점 척도에서 3점 이상의 총점 차이가 11건 확인되었으며, 여기에는 프로토콜 그룹 6건과 대기 명단 대조군 5건이 포함되었습니다. 모든 불일치 사항은 최종 점수 계산 전에 해결되었습니다. 모델 검토 결과 ANCOVA 가정을 심각하게 위반하는 사항은 나타나지 않았습니다. 기초선 점수와 사후 검사 점수 간의 관계는 대략적으로 선형적이었으며, 잔차 도표에서 강한 이분산성은 관찰되지 않았고, 조정된 그룹 추정치의 방향을 바꾸는 영향력 있는 관측치도 없었습니다. 기본 모델에 대한 그룹별 기초선 점수 상호작용은 통계적으로 유의하지 않았습니다 (p = 0.42).

주요 분석 대상 사례에는 유효한 사전 및 사후 테스트 데이터가 포함된 151명의 학생이 포함되었습니다. 전반적인 사후 테스트 결측치가 5%를 초과했기 때문에, 무작위 결측(missing-at-random) 가정을 바탕으로 다중 대체 민감도 분석을 수행하였습니다. 자기주도 영어 학습의 조정된 집단 간 차이에 대한 대체 추정치는 0.47이었으며, 95% 신뢰 구간은 0.34에서 0.60이었습니다. 프로토콜 준수(per-protocol) 민감도 분석 결과, 조정된 집단 간 차이는 0.52였으며, 95% 신뢰 구간은 0.38에서 0.66이었습니다. 데이터셋 잠금 전, 프로토콜 군에서 3건, 대기 명단 대조군에서 2건을 포함하여 총 5건의 범위 확인 오류가 발견되었습니다. 이 모든 오류는 원본 기록을 대조하여 수정되었습니다. 결과 평가에 영향을 주는 프로토콜 위반은 기록되지 않았으며, 불편함으로 인한 참가자 중도 탈락 또한 기록되지 않았습니다(표 7).

그림 1: 무작위 배정 교실 프로토콜에 따른 참가자 흐름도.이 흐름도는 적격성 스크리닝, 동의, 기초 평가, 무작위 배정, 자기주도 학습 프로토콜 그룹 또는 대기 명단 대조군으로의 할당, 사후 검사 완료 및 분석 포함 과정을 보여줍니다. 대기 명단 대조군은 8주 동안 일반적인 영어 수업을 계속 받았으며, 사후 검사 평가 후에 학습 자료에 대한 지연 접근 권한을 부여받았습니다. 이 그림의 더 큰 버전을 보려면 여기를 클릭하십시오.

그림 2: 8주간의 자기주도 영어 학습 교실 워크플로우. 이 워크플로우는 기초 평가, 무작위 배정, 주차별 프로토콜 실시, 사후 평가, 그리고 대기 명단 대조군을 위한 지연 접근 과정을 요약한 것입니다. 8주간의 순서는 오리엔테이션 및 자기 진단, 목표 설정, 전략적 계획, 어휘 및 읽기 전략 연습, 쓰기 전략 연습, 모니터링 및 자기 기록, 동료 피드백 보정, 그리고 최종 성찰을 포함합니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

그림 3: 대표적인 설문지 기반 및 수행 기반 결과의 사전-사후 검사 변화. (A) 자기주도 영어 학습. (B) 영어 자기효능감. (C) 영어 학습 동기. (D) 영어 학습 불안. (E) 영어 성취도. (F) 작문 수행 능력. 이 그림의 더 큰 버전을 보시려면 여기를 클릭하십시오.

표 1: 등록, 중재, 대조군 조건 및 평가 일정. 이 표는 무작위 배정 교실 프로토콜의 각 단계별 시기, 기간, 주요 절차, 집단 노출, 핵심 기록 및 담당자 또는 담당 팀을 요약하여 보여줍니다. 해당 표를 다운로드하려면 여기를 클릭하십시오.

표 2: 결과 정의, 채점 규칙 및 데이터 세트 변수. 이 표는 일차 결과, 이차 결과, 작문 루브릭 영역, 과정 지표, 데이터 완료 변수, 데이터 세트 변수 이름, 채점 규칙, 결측 데이터 규칙 및 데이터 소스를 정의합니다. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 3: 충실도, 준수도, 오염 제어, 데이터 품질 및 분석 준비 지표. 이 표는 프로토콜 수행, 학생 노출, 워크시트 작성 완료, 대조군 조건의 무결성, 오염 위험, 작문 점수 신뢰도, 데이터 정제, ANCOVA 가정 검토, 프로토콜 편차, 윤리 모니터링 및 재현성을 모니터링하는 데 사용되는 지표를 정의합니다. 여기를 클릭하여 이 표를 다운로드하십시오.

표 4: 무작위 배정 참가자의 기초 특성. 이 표는 자기주도 학습 프로토콜 그룹과 대기자 대조군으로 배정된 참가자들의 인구통계학적 특성, 기초 영어 숙달도 범주 및 기초 결과 점수를 보여줍니다. 값은 평균 ± SD 또는 n (%)로 표시되었습니다. 자기주도 영어 학습, 자기효능감, 동기 및 불안은 1점에서 5점까지 점수를 매겼습니다. 영어 성취도는 0점에서 100점 척도로 측정되었습니다. 쓰기 수행 능력은 0점에서 20점까지 점수를 매겼습니다. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 5: 프로토콜 충실도, 준수 여부, 대조군 조건의 무결성 및 안전 지표. 이 표는 세션 제공, 충실도 등급, 출석률, 워크시트 작성 완료, 일기 작성 완료, 대기 목록 대조군의 일반 수업 진행, 오염 제어 상태, 지연 접근, 프로토콜 이탈 및 불편함으로 인한 중도 탈락 내용을 요약하여 보여줍니다. 충실도는 1~5점 척도로 평가되었으며, 점수가 높을수록 프로토콜 제공 충실도가 높음을 나타냅니다. 대기 목록 대조군의 출석률은 일반 영어 수업 출석을 의미합니다. 구조화된 자기주도 학습 워크시트, 학습 일기, 목표 카드, 전략 체크리스트, 동료 피드백 템플릿 및 성찰지는 사후 검사 평가 전까지 대기 목록 대조군에게 제공되지 않았습니다. 여기를 클릭하여 이 표를 다운로드하십시오.

표 6: 대표적인 사전-사후 검사 결과 및 보정된 집단 간 차이. 이 표는 주요 및 보조 결과 변수에 대한 사전 검사 점수, 사후 검사 점수, 평균 변화량, 보정된 집단 간 차이, 95% 신뢰 구간, 표준화된 효과 크기 및 p-값을 나타냅니다. 보정된 집단 간 차이는 해당 기초선 점수와 학급을 공변량으로 하는 공분산 분석을 사용하여 추정되었습니다. 자기주도 영어 학습, 자기 효능감, 동기 부여, 영어 성취도 및 쓰기 수행력의 경우 양수 값은 프로토콜 집단에 유리함을 나타냅니다. 불안의 경우 음수 값은 프로토콜 집단의 사후 검사 불안 수준이 더 낮음을 나타냅니다. 이 표를 다운로드하려면 여기를 클릭하십시오.

표 7: 데이터 품질, 사후 검사 완료 및 민감도 분석 지표. 이 표는 사후 검사 완료, 가용 사례 분석 포함, 사후 검사 누락, 프로토콜 준수 민감도 표본 포함, 쓰기 점수 평가자 일치도, 불일치 해결, 범위 확인 수정, ANCOVA 가정 검토, 민감도 분석 추정치, 결과 평가에 영향을 미치는 프로토콜 이탈 및 불편함으로 인한 중도 탈락을 요약하여 보여줍니다. 완료된 사후 검사 구성 요소에는 사후 검사 설문지 세트, 평행 영어 성취도 검사 및 사후 검사 쓰기 과제가 포함되었습니다. 가용 사례 분석에는 주요 결과에 대해 유효한 기초선 및 사후 검사 데이터를 가진 참가자가 포함되었습니다. 프로토콜 준수 민감도 표본에는 사후 검사 평가를 완료하고 8회 세션 중 최소 6회에 참석한 프로토콜 그룹 참가자가 포함되었습니다. ICC는 내내 상관 계수(intraclass correlation coefficient)를 나타냅니다. 대시(—)는 그룹별로 구분하지 않고 전체 데이터셋 또는 모델 수준에서 요약된 지표를 나타냅니다. 여기에서 이 표를 다운로드하십시오.

보충 표 1: 주차별 자기주도 학습 워크시트 패키지. 이 보충 표는 8주간의 자기주도 학습 프로토콜의 각 주차별 워크시트 코드, 주차, 프로토콜 구성 요소, 학생 결과물, 필수 작성 항목, 완료 기준 및 학습 기록을 명시합니다. 워크시트 패키지는 사후 테스트 전의 자기주도 학습 프로토콜 그룹에서만 사용되었습니다. 대기 목록 대조군은 사후 테스트 데이터 수집 후에 전체 워크시트 패키지를 제공받았습니다. 완료 기록은 순응도 모니터링 및 프로토콜 준수 여부에 따른 민감도 분류에 사용되었습니다.이 파일을 다운로드하려면 여기를 클릭하십시오.

토론

본 방법론 논문은 무작위 대기 명단 대조군 조건 하에서 대학생들의 자기주도적 영어 학습을 구현하기 위한 재현 가능한 강의실 프로토콜을 제시합니다. 이 프로토콜은 목표 설정, 전략적 계획, 전략 활용, 모니터링, 피드백 수용 및 성찰을 매주 학생들의 결과물로 변환함으로써, 자기주도적 학습이라는 광범위한 이론적 개념을 관찰 가능한 강의실 활동으로 전환합니다. 이러한 구조는 강의실 기반 중재 연구에서 학생들이 학습 과정 동안 실제로 수행한 활동에 대한 가시적인 증거가 필요하며, 단순히 중재 후 학생들의 자기 보고에만 의존해서는 안 되기 때문에 중요합니다. 최근 고등 교육 분야의 근거에 따르면, 중재 내용, 구현 과정 및 측정 전략이 명확하게 정렬되었을 때 자기주도적 학습 중재의 해석 가능성이 더 높아지는 것으로 나타났습니다^19,20,21.

8주간의 과정은 일회성 학습 기술 강의가 아닌 반복적인 자기조절 학습 주기를 따릅니다. 초기 세션에서는 학습 인식과 측정 가능한 목표 설정을 구축하고, 중간 세션에서는 목표를 계획된 영어 학습 과제, 전략 연습, 작문 수정 및 모니터링으로 전환하며, 마지막 세션에서는 피드백 활용, 성찰 및 전이 계획에 집중합니다. 이러한 순서는 성찰이 실제 학습 근거에 기반하도록 하며, 전략 사용이 목표, 행동 및 조정과 연결된 상태를 유지하게 합니다. 따라서 매주 제공되는 워크시트는 교수 지원 도구이자 과정 기록지로서의 기능을 모두 수행합니다. 이러한 설계는 반복적인 전략 연습, 교사의 지원, 학습자가 자신의 진도를 모니터링할 수 있는 기회를 강조하는 외국어 자기조절 학습 연구와 일치합니다²².

대표적인 결과는 본 프로토콜이 대학 영어 수업 시간에 구현 및 기록될 수 있음을 보여줍니다. 계획된 모든 주간 세션이 진행되었으며, 충실도 평가는 높았고, 출석률은 안정적으로 유지되었으며, 중재 기간 동안 워크시트 완료율이 지속되었습니다. 대기 목록 대조군 상태 또한 일반 수업 기록, 워크시트 배포 기록, 지연 접근 기록 및 오염 제어 모니터링을 통해 기록되었습니다. 이러한 결과 패턴은 일반화 가능한 중재 효능의 결정적 증거라기보다 대표적인 프로토콜 결과물로 해석되어야 합니다. 본 데이터셋에서 프로토콜 그룹은 자기주도적 영어 학습에서 더 큰 조정 후검사 이득을 보였으며, 자기 효능감, 동기 부여, 영어 성취도 및 작문 수행 능력에서도 유사한 방향성 패턴을 보인 반면, 영어 학습 불안은 감소했습니다. 이러한 결과는 무작위 배정 수업 프로토콜에서 구현, 채점, 결측치 처리, 조정 분석 및 민감도 체크를 어떻게 보고할 수 있는지 보여줍니다. 무작위 배정 전 기초 평가 실시, 층화 할당, 블라인드 작문 채점, 보호된 대기 목록 자료 제공 및 투명한 분석 포함 기준 적용은 광범위한 무작위 임상 시험 보고 원칙²³과 일치합니다.

재현을 위해 몇 가지 절차적 요소가 핵심적입니다. 기저선 평가는 무작위 배정 전에 완료되어야 하며, 무작위 배정 목록은 기저선 데이터의 정제 및 확정이 끝난 후에만 생성해야 합니다. 작문 평가는 고정 반응식 검사보다 평가자의 기대치에 더 취약하므로, 채점 전 작문 샘플을 블라인드 처리해야 합니다. 대기 목록 대조군 조건 또한 적극적인 보호가 필요합니다. 목표 카드, 학습 일지, 전략 체크리스트, 동료 피드백 템플릿 및 성찰지는 사후 검사 평가 전까지 대조군 학생들에게 제공해서는 안 됩니다. 이 프로토콜은 기간이 짧거나 작문에 집중된 과정, 블렌디드 또는 온라인 강의에 맞게 조정될 수 있으나, 목표 설정, 전략 사용, 모니터링, 피드백, 성찰 및 조정으로 이어지는 핵심 사이클은 유지되어야 합니다. 반복적인 프롬프트, 모니터링 기회 및 구조화된 피드백이 자기주도 학습 지원의 핵심이므로, 본 프로토콜을 단일 목표 설정 활동으로 축소해서는 안 됩니다²⁴.

이 프로토콜에는 몇 가지 제한 사항이 있습니다. 동일한 교실 내에서 개인 단위로 무작위 배정을 할 경우, 특히 학생들이 비공식적인 수업 그룹을 통해 소통할 때 오염(contamination)의 위험이 증가할 수 있습니다. 워크시트 배포를 엄격히 관리하고, 가능한 경우 활동 공간을 분리하며, 오염 방지 기록지를 작성함으로써 이러한 위험을 줄일 수 있으나, 학생 간의 소통을 완전히 차단할 수는 없습니다. 분리가 불가능한 환경에서는 학급 단위의 무작위 배정이 더 적절할 수 있는데, 이 설계는 학생들이 교수 그룹 내에 중첩되어 있으므로 다른 보고 및 분석 절차가 필요합니다²⁵. 측정 방법 또한 또 다른 제한 사항입니다. 설문지 점수는 학생들이 보고한 자기주도 학습, 자기 효능감, 동기 및 불안 수준을 파악하지만, 이러한 구성 개념들은 자기 보고만으로는 완전히 관찰되지 않습니다. 이러한 이유로 본 프로토콜에서는 설문지와 더불어 영어 성취도 점수, 쓰기 점수, 출석률, 워크시트 완료 여부, 일기 작성 완료 여부, 충실도 평가 및 데이터 품질 지표를 병행하여 측정합니다. 프로토콜을 수정하여 적용할 때는 핵심적인 자기주도 학습 사이클을 유지하면서, 학습자의 숙련도, 교육 과정의 길이 및 교육적 맥락에 맞게 자료를 조정해야 합니다²⁶.

본 프로토콜의 주요 기여도는 재현 가능한 강의실 구조에 있습니다. 이는 자기주도 학습 이론, 주간 영어 학습 활동, 과정 모니터링, 대조군 문서화 및 결과 평가를 연결하는 실용적인 방법을 제공합니다. 대기자 명단 설계는 대조군이 연구 기간 동안 일반적인 교육을 받고 사후 평가 후에 구조화된 자료에 지연 접근할 수 있도록 하여 강의실 내 실행 가능성을 지원합니다. 향후 응용 단계에서는 주간 워크시트를 학습 분석, 교사 피드백 기록, 작문 포트폴리오 또는 학습 관리 시스템 데이터와 연계할 수 있습니다. 순응도 지표는 모니터링 및 성찰 활동의 완료가 더 강력한 학습 변화와 관련이 있는지 조사하는 데 사용될 수 있으나, 순응도는 무작위로 배정된 것이 아니므로 이러한 분석은 탐색적 수준으로 유지되어야 합니다. 최근의 고등 교육 및 기술 강화 언어 학습 연구는 맥락 전반에 걸쳐 더 명확한 절차와 더 일관된 측정의 필요성을 지속적으로 강조하고 있으며, 본 프로토콜은 이를 위한 하나의 구조화된 워크플로를 제공합니다^27,28.

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
품목명	출처 / 담당 부서	사양	프로토콜 내 목적
분석적 글쓰기 루브릭	연구팀	총점 0–20점; 5개 영역별 0–4점	내용 관련성, 조직, 어휘 사용, 문법 정확성 및 과제 완수도를 채점하는 데 사용됨.
사전 및 사후 영어 성취도 검사	연구팀 또는 교과 교육 부서	40–50분 분량의 병행 검사 2종; 0점에서 100점까지 채점	교과 과정과 연계된 영어 성취도를 평가하는 데 사용됨. 사후 검사지는 문항 유형, 길이, 주제 범위 및 예상 난이도 면에서 사전 검사지와 일치하도록 구성됨.
사전 및 사후 글쓰기 프롬프트	연구팀	20분 분량의 병행 글쓰기 과제 2종; 예상 길이 120–180단어	글쓰기 수행 능력을 평가하는 데 사용됨. 사후 프롬프트는 사전 프롬프트를 반복하지 않으나, 동일한 장르, 답변 시간 및 예상 난이도를 유지함.
블라인드 글쓰기 샘플 폴더	연구팀	참가자 ID와 시점만으로 라벨링된 글쓰기 파일	독립적 채점 전, 그룹 라벨 없이 사전 및 사후 글쓰기 샘플을 저장하는 데 사용됨.
대조군 및 오염 제어 로그	연구팀	대조군 수업 내용 로그, 워크시트 배포 로그 및 오염 제어 로그	대기 목록 대조군의 일반 교육, 지연된 접근, 제한된 워크시트 배포 및 그룹 간 노출 가능성을 기록하는 데 사용됨.
데이터 입력 및 분석 데이터셋 템플릿	연구팀 / 데이터 관리자	고정된 변수명, 유효 범위, 코딩 규칙 및 결측치 규칙이 포함된 스프레드시트	데이터 입력, 범위 확인, 척도 채점, 결측 데이터 검토 및 분석용 데이터셋 구축에 사용됨.
인구통계학적 설문지	연구팀	참가자 코드 기반 양식	연령, 성별, 전공, 학년, 학급 ID, 이전 영어 학습 경험 및 사전 영어 숙달도 범주를 수집하는 데 사용됨.
8주 과정 자기주도 학습 워크시트 패키지	연구팀	W1 학습 프로필, W2 목표 카드, W3 학습 계획, W4 읽기/어휘 전략 시트, W5 글쓰기 사이클 워크시트, W6 학습 일기, W7 동료 피드백 시트 및 W8 최종 성찰 시트	구조화된 자기주도 학습 프로토콜을 제공하고, 준수 여부 모니터링을 위해 매주 학생 결과물을 생성하는 데 사용됨.
적격성 및 등록 양식	연구팀	스크리닝 및 등록 기록	적격성, 동의 여부, 학급, 인구통계학적 특성, 사전 숙달도 범주 및 참가자 식별 코드를 확인하는 데 사용됨.
영어 학습 불안 척도	연구팀; 언어 학습 불안 측정 도구에서 수정	8개 문항; 1–5 리커트 척도	영어 학습 불안을 평가하는 데 사용됨. 역코딩 문항은 데이터 수집 전에 정의하며, 최종 점수가 높을수록 불안도가 높음을 나타냄.
영어 학습 동기 척도	연구팀; 학습 동기 측정 도구에서 수정	8개 문항; 1–5 리커트 척도	노력, 지속성, 인지된 가치 및 영어 학습 지속 의지를 평가하는 데 사용됨.
영어 자기효능감 척도	연구팀; 영어 학습 자기효능감 측정 도구에서 수정	8개 문항; 1–5 리커트 척도	어휘 학습, 독해, 작문, 과제 완수 및 독립적인 영어 학습에 대한 자신감을 평가하는 데 사용됨.
충실도 및 준수 모니터링 양식	연구팀	충실도 체크리스트, 출석 기록, 워크시트 완료 기록 및 일기 완료 기록	세션 충실도, 출석, 워크시트 완료, 일기 완료, 노출 수준 및 프로토콜 준수 적격성을 기록하는 데 사용됨.
참가자 정보 시트 및 서면 동의서	연구팀	윤리 위원회 승인을 받은 연구 정보 및 동의 문서	데이터 수집 전 연구 목적, 자발적 참여, 비밀 유지, 철회 권리, 지연된 접근 및 참여가 교과 성적에 영향을 미치지 않는다는 점을 설명하는 데 사용됨.
프로토콜 이탈 및 사후 검사 완료 로그	연구팀	이탈 기록 및 사후 검사 완료 기록	이탈 사항, 시정 조치, 사후 설문지 완료, 사후 성취도 검사 완료 및 사후 글쓰기 과제 완료를 기록하는 데 사용됨.
무작위 배정 목록	통계학자 / 데이터 관리자	학급 및 사전 숙달도 범주에 따른 층화 블록 무작위 배정	사전 데이터 정제 후 참가자를 자기주도 학습 프로토콜 그룹 또는 대기 목록 대조군에 1:1로 배정하는 데 사용됨.
채점자 교육 패키지	연구팀	루브릭, 채점 가이드, 앵커 샘플, 예시 점수 및 불일치 처리 규칙	공식 채점 전 독립 채점자를 교육하고 글쓰기 평가의 일관성을 유지하는 데 사용됨.
보안 전자 저장소	기관	암호화된 기관 프로젝트 폴더	동의서, 제한된 참가자 코드 파일, 원시 데이터, 익명화된 데이터, 글쓰기 샘플, 채점 파일, 로그, 통계 스크립트 및 보관된 재현성 자료를 저장하는 데 사용됨.
자기주도 영어 학습 설문지	연구팀; 발표된 자기주도 학습 도구에서 수정	24개 문항; 1–5 리커트 척도	목표 설정, 전략적 계획, 전략 사용, 모니터링 및 성찰을 평가하는 데 사용됨. 척도 점수는 유효한 문항 응답의 평균값으로 계산됨.
통계 패키지	R 패키지 세트	tidyverse, emmeans, effectsize, mice, lme4, psych, irr, gtsummary 또는 flextable	데이터 관리, 보정된 그룹 평균, 효과 크기, 다중 대치, 혼합 효과 민감도 분석, ICC 계산 및 논문 표 생성에 사용됨.
통계 소프트웨어	R Foundation for Statistical Computing	R 버전 4.4.2 이상	기술 통계, 신뢰도 분석, ANCOVA, 민감도 분석, 다중 대치 및 표 내보내기에 사용됨.
주차별 수업 스크립트 패키지	연구팀	8주차 수업 스크립트	1–8주 동안 세션 목표, 타이밍, 강사 설명, 학생 과제, 필수 결과물 및 충실도 모니터링을 표준화하는 데 사용됨.