생성형 AI 지원 학습에서 자기보고적 고차 사고를 분류하기 위한 재현 가능한 설문조사 점수 및 C5.0 의사결정 트리 워크플로우

요약

이 프로토콜은 자기보고 설문 데이터 수집, 학습자 관련 변수 점수 산정, 고차 사고 점수 이분법, C5.0 의사결정 트리 적용을 위한 재현 가능한 워크플로우를 제시하여 생성형 인공지능 지원 학업 학습에서 해석 가능한 학습자 분류를 입증합니다.

초록

생성형 인공지능은 고등교육에서 점점 더 많이 사용되고 있지만, 연구자들은 여전히 빠르게 변화하는 상황에서 학습자 수준의 설문 데이터를 수집, 채점, 조직하는 투명한 절차가 필요합니다. 이 글은 생성형 인공지능 도구를 학업 학습에 사용한 대학생들의 자기보고적 고차 사고를 분류하기 위한 재현 가능한 설문조사 점수 및 C5.0 의사결정 트리 워크플로우를 제시합니다. 프로토콜은 참가자 모집, 설문지 관리, 응답 품질 선별, 복합 점수 계산, 이진 코딩, 훈련-테스트 분할, C5.0 트리 구축, 가지치기, 모델 출력 내보내기, 노드 기반 분류 경로 해석을 포함합니다. 이 워크플로우는 2023년 3월 7일부터 3월 15일까지 중국에서 수집된 776명의 학부생을 대상으로 한 단일 대학 설문조사 데이터셋을 사용하여 시연되었습니다. 고차원 사고는 직접 관찰된 인지 수행보다는 자기보고 설문지 점수로 운영됩니다. 시연 데이터셋에서 가지치기 트리는 생성형 인공지능 불안, 생성형 인공지능에 대한 신뢰, 문제 있는 스마트폰 사용, 학업 미루기, 학업 성과, 부모 양도, 부정적 감정, 생성형 인공지능에 대한 태도 등 8가지 학습자 관련 변수를 유지했습니다. 보존된 모델은 훈련 하위 집합에서 89.52%의 정확도, 테스트 하위 집합에서 86.21%의 정확도를 달성했습니다. 그러나 클래스별 평가에서는 성능이 고르지 않아 저-HOT 클래스가 고-HOT 클래스보다 회상 능력이 현저히 약한 것으로 나타났다. 따라서 트리는 검증된 스크리닝 도구보다는 보조 해석 가능한 워크플로우 시연으로 해석되어야 합니다. 이 프로토콜은 생성형 인공지능 지원 학습 환경에서 설문 기반 학습자 프로파일링을 위한 문서화되고 반복 가능한 절차가 필요한 연구자들을 지원할 수 있습니다.

서론

고차원적 사고는 대학 교육에서 핵심적인 관심사입니다. 대학 학습은 사실 지식의 기억을 넘어 분석, 평가, 성찰, 문제 해결,^{지식 창출로} 나아가야 하기 때문입니다. 블룸의 분류법 후속 개정판에서는 고급 학습이 단순히 기억하고 이해하는 것뿐만 아니라 점점 더 복잡해지는 맥락에서 지식을 적용, 분석, 평가, 창조하는 것을 포함한다는 점을 더욱 명확히 했다^. 이 구분은 현재 프로토콜에서 중요한데, 고차원적 사고는 단순한 성취 점수가 아니라 신중한 조작이 필요한 학습자 수준의 개념으로 간주되기 때문입니다. 교육 연구에서 고차원적 사고는 비판적 추론, 메타인지 모니터링, 문제 맥락 간 학습 전이와도 연관되어 있습니다^. 기술 지원 학습에서는 학생들이 단순히^{수업 내용을 받는} 것이 아니라 개념을 연결하고, 생성된 정보를 평가하며, 문제 해결 활동 중에 의사결정을 내려야 하므로 이 문제가 특히 중요해집니다.

생성형 인공지능의 급속한 확산은 고차원적 사고의 측정을 더욱 복잡하게 만들었습니다. 생성형 인공지능 도구는 대규모 데이터셋에서 학습된 패턴을 바탕으로 텍스트, 코드, 이미지, 설명, 요약 및 기타 학술적 지원을 생성할 수^{있습니다.} ChatGPT를 포함한 대형 언어 모델은 2022년 말과 2023년 초 대중 채택 초기 시기에 고등교육에서 특히 두드러지게 되었습니다. 학술 환경에서 학생들은 정보 검색, 개념 설명, 개요 개발, 아이디어 생성, 과제 수정, 번역 지원 및 기타 강의 관련 활동에 이 도구들을 사용할 수 있습니다. 이러한 활용은 일상적인 업무량을 줄일 수 있지만, 학생들이 주의를 집중하고 정보를 평가하며 자신의 인지 노력을 조절하는 방식을 바꿀 수 있습니다. 이러한 이유로, 생성형 인공지능 지원 학습 연구는 학습자 수준 변수가 어떻게 수집되고, 점수를 매기며, 코딩되고, 해석되는지를 명확히 문서화하는 절차가 필요합니다.

디지털 및 혼합 학습에 관한 이전 연구들은 학생들이 환경을 수^{동적으로 사용하지} 않고 학습 과제에 적극적으로 참여할 때 기술이 고차원적 사고를 지원할 수 있음을 보여주었습니다. 모바일 및 기술 강화 학습 연구들도 동료 상호작용, 학습 인식, 능동적 참여가 학생들의 고차원적 사고 경향과 관련이 있음을 시사^{했습니다.} 데이터 마이닝 접근법은 온라인 학습 행동이 고차원 사고 기술과 어떻게 연관되는지 탐구하는 데에도 사용되었으며, 교육 데이터를 해석 가능한 학습^{자 패턴으로} 조직하는 것의 가치를 보여줍니다. 9. 기술 사용 연구의 상당 부분은 기술 수용 모델(Technology Acceptance Model)에 의해 이루어졌으며, 이 모델은 사용 행동을 인지된 유용성과 인지된 사용 편의성을 통해 설명합니다¹⁰. 하지만 생성형 인공지능 지원 학습은 이전 디지털 학습 맥락과 달리, 학생들이 개방형 반응을 생성하고 자신감을 형성하며 비판적 참여를 자극하거나 감소시킬 수 있는 시스템과 상호작용한다는 점에서 다릅니다. 따라서 이 주제에 대한 프로토콜은 학생들이 기술을 수용하는지 기록할 뿐만 아니라, 감정, 행동, 학업, 맥락적 지표가 분석을 위해 어떻게 준비되는지 문서화해야 합니다.

이 환경에서 특히 학습자 관련 변수가 여러 가지 중요합니다. 인공지능에 대한 신뢰는 학생들이 생성된 결과물에 의존할지, 의문을 제기할지, 아니면 학업에 신중하게 통합할지 영향을 미칠 수 있습니다. 기술이나 인공지능에 대한 불안도 영향을 미칠 수 있으나, 경험적 주의 없이 한 방향으로 해석해서는 안 된다. 문제 있는 스마트폰 사용도 또 다른 중요한 행동 지표로, 분산된 주의력과 기기 관련 산만함이 연구 중 지속적인 인지 참여를 방해할 수 있습니다¹³. 보다 일반적인 학습 연구는 자기조절 학습 전략이 온라인 및 기술 지원 환경에서 학업 성취도와 연관되어 있음을 시사합니다. 탐구 기반 및 협력 학습 연구는 의미 있는 학습이 학생들이 학습 과제에 어떻게 참여하고, 증거를 조직하며, 설명을 구성하는지에 달려 있음을^{보여줍니다.} 이러한 고려사항은 생성형 인공지능 노출만을 좁게 측정하기보다는 다변수 설문조사 워크플로우 사용을 뒷받침합니다.

인지 부하 이론은 동일한 작업 흐름에서 감정 및 행동 지표를 문서화하는 추가적인 근거를 제공합니다. 작업 기억이 제한적이기 때문에, 과도하거나 조직되지 않은 정보는 학습과 문제 해결에 방해가 될 수 있습니다¹⁶. 생성형 인공지능 지원 학습에서는 학생들이 풍부한 생성 결과물, 일관성 없는 설명, 관련 없는 제안, 또는 상반된 정보원에 직면할 때 이 문제가 드러납니다. 감정 활동은 멀티미디어 학습 중 인지 부하와도 관련이 있음이 밝혀졌으며, 정서 상태가 기술 중심 환경에서 학습자가 정보를 처리하는 방식을 형성할 수 있음을 시사합니다. 동시에, 인공지능과 미래 교육에 대한 현재 논의는 인공지능이 전통적인 교육 시스템이 적응하는 것보다 학습 방식을 더 빠르게 재구성할 수 있음을 강조하고^{있습니다.} 이러한 조건들은 기술적 태도뿐만 아니라 정서적 상태, 자기 조절, 학문적 배경, 맥락적 변수도 기록하는 방법을 사용할 필요가 있게 만듭니다. 현재 워크플로우에서는 이 변수들이 직접 관찰되는 행동 흔적이나 인과 메커니즘이 아닌 자가 보고 설문 지표로 취급됩니다.

방법론적 어려움은 학습자 프로필이 단 하나의 변수만으로 형성되는 경우가 드물다는 점입니다. 교육 설문조사 데이터는 감정, 행동, 학업, 맥락, 기술 관련 지표가 겹겹이 결합된 경우가 많습니다. 기존의 회귀 모델은 순연관성 추정에 유용하지만, 조건부 분기, 하위 그룹 분별, 규칙 기반 분류를 나타내는 것이 목표일 때는 덜 직관적입니다. 의사결정 트리 분석은 케이스를 재귀적으로 해석 가능한 분기로 나누고, 분류 시퀀스를 노드 구조를 통해 보이게 하여 보완적인 접근법을^{제공합니다.} 더 복잡한 머신러닝 모델과 비교할 때, 단일 의사결정 트리가 재현 가능한 워크플로우의 일부로서 검사, 설명, 내보내기가 더 쉽습니다. 표준 선형 모델링과 비교하면, 학습자 지표들의 조합이^{교육 데이터에서} 실용적인 분류 경로를 형성하는 방식을 보여줄 수 있습니다. 하지만 단일 트리는 클래스 불균형, 분할 결정, 가지치기 설정, 샘플 특성에도 민감합니다. 따라서 이 프로토콜에서 결정 트리는 보편적 예측 엔진이나 인과 모델²¹이 아니라 보조 해석 가능한 분류 단계로 사용됩니다.

이 글은 생성형 인공지능 지원 학술 학습에서 자기보고된 고차 사고를 분류하기 위한 재현 가능한 설문조사 점수 및 C5.0 의사결정 트리 워크플로우를 제시합니다. 이 워크플로우는 2023년 3월 7일부터 3월 15일까지 중국에서 수집된 776명의 학부생을 대상으로 한 단일 대학 설문조사 데이터셋으로 시연됩니다. 결과는 보조 분류를 위해 이분법된 자기보고적 고차 사고 설문지 점수입니다; 이는 인지 수행을 직접 측정하는 지표가 아닙니다. 이 시연에서 생성형 인공지능 노출은 학생들이 지난 4주 동안 정보 검색, 개념 설명, 아이디어 생성, 개요 작성, 과제 수정 등 강의 관련 학업 활동에 생성형 인공지능 도구를 자기보고로 사용한 것을 의미합니다. 도구 사용은 플랫폼 로그, 알림 기록, 실시간 활동 추적을 통해 확인되지 않았습니다.

프로토콜의 목적은 보유된 트리가 모든 기관, 코호트 또는 현재의 생성형 인공지능 환경에 일반화된다고 주장하는 것이 아닙니다. 이러한 주의는 시연 데이터가 2023년 초 한 대학에서 수집되었는데, 당시 학생들이 생성형 인공지능에 노출되던 시기가 빠르게 발전하던 시기였기 때문입니다. 대신 이 글의 기여는 전체 절차를 반복 가능하게 만드는 데 있습니다: 설문 맥락 정의, 설문지 실행, 응답 선별, 점수 매김, 신뢰성 문서화, 고정 코딩 규칙 적용, 데이터셋 분할, C5.0 트리 훈련 및 가지치기, 모델 출력 내보내기, 그리고 클래스별 성능을 고려한 노드 기반 분류 경로 해석 등이 포함됩니다. 이 방법 중심의 워크플로우는 교육 연구자, 교실 중심 조사자, 교육 분석가들이 생성형 인공지능 지원 학습에서 설문 기반 학습자 프로파일링에 투명한 접근법을 재현하거나 적응하는 데 도움을 줄 수 있습니다.

프로토콜

이 연구는 인간 참가자를 대상으로 한 것으로, 이리사범대학교 교육과학부 윤리위원회(참고문헌 번호)의 검토 및 승인을 받았습니다. LZEDU2023003). 이 연구는 2023년 3월 7일부터 3월 15일까지 진행되었습니다. 위원회는 이 연구가 신체적, 심리적, 사회적 피해 없이 익명적이고 자발적인 설문지 절차만을 포함했기 때문에 윤리적 면제 대상이 된다고 판단했습니다. 모든 참가자는 설문지를 작성하기 전에 전자 동의서를 제공했습니다.

분석 전에 응답자 기록을 되돌릴 수 없는 사건 번호로 교체하고 모든 직접 식별자를 제거하세요. 분석 파일에 이름, 학생 식별 번호, 전화번호, 계정명, 클래스 식별자, 인터넷 프로토콜 주소, 장치 식별자 또는 원시 플랫폼 계정 표시자를 보관하지 마십시오. 응답 스크리닝에만 중복 통제 정보를 사용하고, 분석 데이터셋을 잠그기 전에 제거하세요.

1. 조사 설정 및 샘플링 절차를 확립한다

1. 연구 환경과 자격 기준을 정의하세요
   1. 2023년 3월 7일부터 3월 15일까지 중국 광시 좡자치구 류저우 폴리테크닉 대학교에서 조사를 실시하세요.
   2. 대상 인구를 참여 대학에 현재 재학 중인 학부생으로 정의하세요.
   3. 지난 4주 동안 수업 관련 학업 학습을 위해 최소 하나의 생성형 인공지능 도구를 사용한 학생을 포함하세요.
   4. 자격 있는 학술 활용을 정보 검색, 개념 설명, 아이디어 생성, 개요 작성, 과제 수정, 번역 지원, 코드 관련 지원 또는 기타 강의 관련 업무로 정의하세요.
   5. 오락, 가벼운 대화, 비학습 실험 또는 기타 과목과 관련 없는 사용만 보고한 학생들은 제외합니다.
   6. 현재 재학생이 아니거나, 생성형 인공지능의 학문적 사용을 보고하지 않거나, 전자 동의를 거부하거나, 아래 선별 규칙에 따라 무효 설문지를 제출한 응답자는 제외합니다.
   7. 도구 범주 또는 도구명, 최근 4주간의 대략적인 사용 빈도, 도구가 지원하는 학업 과제를 포함하는 자기 보고 항목을 통해 생성형 인공지능 노출을 기록합니다. 이 노출 데이터를 검증된 플랫폼 사용 기록으로 간주하지 마십시오.
2. 표본 프레임을 구성하고 참가자를 모집하세요
   1. 참여 대학으로부터 기관 학부 표본집 표본 프레임을 받아야 합니다. 이 프레임은 46개 전공에서 15,000명 이상의 학생을 포함합니다.
   2. 전공 분야와 학년별로 층화된 무작위 표본을 적용하여 초청 명단을 작성하여, 다양한 학문 분야와 학업 단계의 학생들이 초청 표본에 포함되도록 합니다.
   3. 주요 카테고리와 학년별로 무작위 표본을 추출하여 초대 명단을 선정하세요.
   4. 표준화된 모집 공고를 사용해 800명의 선정된 학생을 초대합니다.
   5. 온라인 설문지 플랫폼 설문지 신속 응답 코드를 수업 휴식 시간이나 학생 상담 세션과 같은 비수업 시간에만 초대받은 학생에게만 배포하세요.
   6. 전체 채용 및 심사 과정을 기록하세요. 이 작업 흐름에서 800명의 학생이 초대되었고 792개의 설문지가 반환되었습니다. 16개의 설문지는 제외되었습니다: 4건은 부적격 생성 인공지능 사용, 3건은 중복 제출, 5건은 최소 기준 미만 완료 시간, 4건은 무효 직선 응답 패턴에 해당합니다. 최종 분석 샘플에는 776개의 유효한 설문지가 포함되어 있었습니다.

2. 설문지 관리 및 데이터 프라이버시 절차를 설정합니다

1. 온라인 설문지 구성
   1. 온라인 설문지 플랫폼(Questionnaire Star)을 사용하여 설문지를 제작하고 배포하세요.
   2. 빠른 응답 코드 배포, 필수 항목별 응답, 제출 시간 내보내기, 중복 통제 확인, 스프레드시트 내보내기를 활성화합니다.
   3. 응답자 대상 설문지를 잠가서 첫 유효한 응답을 수집하세요. 문항 문구, 문항 순서, 응답 앵커, 지침, 저울 라벨, 동의 문구, 접근 경로는 설문 기간 내내 변경하지 않도록 하세요.
   4. 모든 스케일 아이템을 필수 아이템으로 설정하세요. 척도 응답에 사후 추정 적용을 사용하지 마세요.
   5. 가장 식별하기 어려운 플랫폼 옵션을 통해 원한 제출 제어를 가능하게 합니다. 중복 심사를 위해서는 계정 수준, 기기 단위, 플랫폼 생성 마커만 사용하세요.
2. 완성 조건 표준화
   1. 응답자들에게 개별적으로, 한 번에 진행하며, 동료와의 토론 없이 설문지를 작성하도록 요청하세요.
   2. 응답자에게 지난 4주 동안 생성형 인공지능을 실제로 학업적으로 사용한 내용에 따라 답변하도록 지시합니다.
   3. 응답자에게 조용한 환경에서 설문지를 작성하도록 요청하고, 기기 전환, 장기 일시정지, 제출 후 반복 접근을 피하세요.
   4. 예상 완료 시간 창을 530분으로 설정하세요. 완료 시간은 오직 응답 품질 지표로만 사용하세요.

3. 응답을 차단하고 분석 데이터셋을 잠그기

1. 원시 응답 파일을 내보내기
   1. 설문 창이 종료된 후 온라인 설문지 플랫폼에서 원시 설문지 파일을 내보내세요.
   2. 제외, 점수 매김, 코딩, 모델 구축 전에 원시 내보내기를 보존하세요.
   3. 선별 전에 반환된 모든 기록에 식별 불가능한 사건 번호를 할당하세요. 이 워크플로우에서는 792개의 회고된 설문지에 사건 번호를 할당합니다.
2. 응답 품질 배제 규칙 적용
   1. 전자 동의 없이 기록을 제외하세요.
   2. 현재 학생 신분이나 학업 자격에 부합하지 않는 기록은 제외합니다.
   3. 수출 후 비인구통계학적 척도 응답이 누락된 기록은 제외합니다. 이 워크플로우에서는 필수 응답 설정이 누락된 척도 응답을 방지했습니다.
   4. 폐쇄형 문항당 평균 2초의 완료 시간 임계값을 사용하여 문항 수준의 읽기 및 응답 처리를 반영하지 않을 레코드를 식별합니다. 이 기준값 이하의 기록은 제외합니다.
   5. 5분 미만 또는 30분 이내에 완료된 기록을 저품질 또는 중단된 응답으로 점검하십시오. 중복 검사와 응답 패턴 검사가 무효 완료를 나타내지 않을 때만 이 시간 창 외의 기록을 유지합니다.
   6. 직선 응답을 추가적인 응답 품질 지표로 활용하세요. 리커트 척도 문항의 최소 90%에서 동일한 응답 옵션이 선택된 기록은 제외하라. 이 패턴은 문항 내용에 대한 참여가 제한적임을 시사한다.
   7. 플랫폼 중복 마커에 따른 중복 제출은 제외하고, 가장 이른 완전 유효 기록을 유지하세요.
   8. 응답자 대상 설문지는 보충 파일 1로 보존하세요.
   9. 스크리닝 로그를 보조 파일 2로 보존하세요. 선별 기록에는 초대받은 학생, 반환된 설문지, 제외된 설문지, 제외 사유, 최종 보류 사례가 보고되어야 합니다.
3. 잠긴 분석 데이터셋을 생성하세요
   1. 선별 후 유효한 776건의 설문지를 보관하세요. 채점 전에 응답자 대상 설문지와 분석 데이터셋을 잠정하여 자료 수집 후 문항 문구, 자격 기준, 제외 결정, 변수 정의가 변경되지 않도록 해야 합니다.
   2. 분석 전에 직접 식별자, 원시 타임스탬프, 계정 수준 마커, 장치 단위 추적, 중복 제어 마커를 제거하세요. 이 식별 해제 단계를 사용하여 참가자의 익명성을 보호하고 분석 데이터셋이 개별 학생과 연결되는 것을 방지하세요.
   3. 식별 해제된 776건의 사례 데이터셋을 잠긴 분석 데이터셋으로 저장하세요.
   4. 잠긴 분석 데이터셋을 점수 매기기, 코딩, 분류의 유일한 출처로 사용하세요.

4. 학습자 관련 변수 측정

1. 설문지를 정리하세요
   1. 설문지를 네 가지 섹션으로 나누세요: 정보에 기반한 동의, 인구통계학적 및 학업 배경, 생성형 인공지능 노출, 학습자 관련 척도.
   2. 성별, 나이, 전공, 학년, 자기보고한 학업 성과를 기록하세요.
   3. 생성형 인공지능 노출을 도구 범주별, 대략적인 사용 빈도, 지원 학술 과제별로 기록하세요.
   4. 자기보고된 고차원적 사고, 생성형 인공지능 불안, 생성형 인공지능에 대한 신뢰, 부정적 감정, 생성형 인공지능에 대한 태도, 문제성 있는 스마트폰 사용, 학업 미루기, 그리고 부모 양육 과정을 측정하세요.
   5. 모든 척도 기반 변수를 직접 행동 관찰이나 인지 수행 관찰이 아닌 자가 보고 설문 지표로 취급하세요.
2. 보유 측정값의 정의
   1. 문제 해결, 비판적 사고, 팀워크, 의사소통, 혁신을 포함하는 23문항 도구를 사용해 자기보고한 고차원적 사고를 측정하세요²².
   2. 생성형 인공지능 불안을 11개 항목으로 조정한 기술 불안 척도로 측정하세요.²³.
   3. 생성형 인공지능에 대한 신뢰도를 12개 항목으로 조정한^{자동화 신뢰 척}도로 측정합니다.
   4. 일반적인 부정적 감정 지표로 사용되는 적응형 우울-불안 스트레스 척도21-항목 세트로 부정적 감정을 측정하세요. 이 점수를 임상적 진단으로 해석하지 마십시오.
   5. 생성형 인공지능에 대한 태도를 18문항으로 적용한 적응형 기술-태도 척도로 측정합니다.²⁶.
   6. 학생 설문 맥락에 맞게 조정된 스마트폰 중독 척도 단축판으로 문제 있는 스마트폰 사용을 측정하세요²⁷.
   7. 16개 항목으로 구성된 학업 미루기 척도로 학업 미루기를 측정합니다²⁸.
   8. 학업 성과를 5점 자기보고 문항으로 측정하세요: 1 = 평균 이하, 2 = 평균 이하, 3 = 평균, 4 = 평균 이상, 5 = 우수.
   9. 부모 양육 배경을 5가지 자기보고적 맥락 항목으로 측정하세요: 1 = 매우 지지적이지 않고, 2 = 지지적이지 않으며, 3 = 중립적 또는 혼합형, 4 = 지지적, 5 = 매우 지지적.
3. 응답 앵커와 적응 절차를 명시하세요
   1. 보유 척도 변수에는 1–5 리커트 유형 반응 형식을 사용하세요.
   2. 일반적인 기준을 사용하세요: 1 = 강하게 반대, 2 = 동의하지 않음, 3 = 중립 또는 불확실, 4 = 동의, 5 = 강하게 동의합니다.
   3. 참여 대학에서 사용하는 교육 및 언어 맥락에서 모든 척도 문항을 완료하도록 설문지를 중국어로 실시하세요.
   4. 생성형 인공지능 지원 학습을 위한 번역, 전문가 검토, 문구 조정, 시범 가독성 검사를 통해 의도된 개념 의미를 보존하고 중국 학부생 응답자에게 맥락적 명확성을 향상시키는 데 적응합니다.
   5. 전문가 검토를 통해 적응된 문항이 원래 구성, 응답 기준, 점수 방향, 연구 맥락과 일치하는지 확인하세요. 생성형 인공지능 지원 학습 환경에서 모호성, 맥락 불일치 또는 오해를 초래할 수 있는 문구만 수정하세요.
   6. 보충 파일 1에는 항목 문구, 응답 앵커, 항목 순서, 점수 방향, 최종 변수 라벨을 포함하세요.

5. 측정 점수 부여 및 측정 품질 검증

1. 점수 처리된 작업 파일을 준비하세요
   1. IBM SPSS Statistics 26.0에서 잠긴 분석 데이터셋을 열어보세요.
   2. 행당 응답자 한 명, 열당 항목 또는 변수 하나를 보존하세요.
   3. 누락된 값, 응답 범위, 항목 라벨, 변수 이름을 확인하세요.
   4. 종합 점수를 계산하기 전에 선별된 문항 수준 데이터셋을 저장하세요.
2. 복합 점수 계산
   1. 각 다항목 구성에 대해 응답자 평균 복합 점수를 계산합니다.
   2. 역점수 항목은 종합 점수 계산 전에 점수 키에서 역키로 식별된 항목입니다.
   3. 이 워크플로우에서 DASS21에서 파생된 부정적 감정 문항은 역평가하지 마세요. 모든 보유 문항은 같은 방향으로 점수를 매기며, 더 높은 점수는 부정적 감정 경험이 더 강함을 나타냅니다.
   4. 부분적으로 변환된 척도에서 종합 점수를 계산하지 마십시오.
   5. 종합 점수 계산 후 연속 점수 작업 파일을 저장하세요.
3. 내부 측정 품질 검증
   1. IBM SPSS Statistics 26.0에서 각 보유 다중 항목 척도에 대한 크론바흐 알파를 계산하세요. 크론바흐 알파를 내부 일관성 지수로 사용하여 같은 척도 내 문항들이 종합 점수 계산에 충분한 일관성을 보인지를 나타냅니다.
   2. 각 보존 척도별로 수정된 문항-총 상관관계와 알파-항목 삭제 시 값을 검사합니다. 수정된 문항-총 상관관계를 사용하여 각 문항이 해당 문항을 제외한 후 해당 척도의 총점과 충분히 일치하는지 점검합니다.
   3. 알파-if-item-deleted 값을 사용하여 내부 일관성을 유지할 경우 발생할 수 있는 항목을 식별합니다. 통계적 근거만으로 항목을 자동으로 제거하지 마십시오; 문항의 의미, 채점 방향, 그리고 적응된 설문지와의 일치를 확인한 후에만 항목을 유지하거나 삭제할 수 있습니다.
   4. 적응된 척도 세트에 대해 Kaiser-Meyer-Olkin과 Bartlett의 시험 검사를 수행하세요.
   5. 주요 크론바흐의 알파 값을 본문에 보고하세요.
   6. 전체 점수 및 측정 기록을 보충표 1로 제공해 주십시오. 문항 수, 응답 범위, 응답 앵커, 점수 방향, 역키 문항, 종합 점수 규칙, 크론바흐 알파, 수정된 항목-총 상관관계 검사 결과, 알파-항목 삭제 시 검사 결과, 최종 변수 라벨을 포함하세요.

6. 연속 점수를 보조 분류 입력으로 변환

1. 이진 코딩 적용
   1. 연속 악보 작업 파일을 소스 파일로 사용하세요.
   2. Recode는 자기보고한 고차 사고를 이진 표적 변수로 삼았습니다.
   3. 코드는 0점으로 ≤3, >3이 1점으로 나옵니다.
   4. 복합 점수 계산 후 모든 보유 예측 변수에 동일한 임계값을 적용하세요.
   5. 3의 임계점을 1–5 반응 척도의 중간점으로 사용하여 투명하고 재현 가능한 코딩 규칙을 만드세요.
   6. C5.0 의사결정 트리 시연을 위한 이진 입력을 생성하기 위해서만 이분법을 수행하세요.
   7. 이분법 후 수업 수를 확인하세요.
   8. 연속 점수 작업 파일을 유지하세요.
2. 코딩된 분석 파일 생성
   1. 새로운 이진 코드 분석 파일을 생성하세요.
   2. 생성형 인공지능의 불안, 생성형 인공지능에 대한 신뢰, 문제적인 스마트폰 사용, 학업 미루기, 학업 성과, 부모 양육, 부정적 감정, 생성형 인공지능에 대한 태도를 같은 기준으로 재코딩하세요.
   3. 각 이진 변수의 클래스 수를 검증하세요.
   4. 표 1에 코딩 규칙과 클래스 수를 보고하세요.
   5. 이진 코드 분석 파일을 보존하세요.
   6. 코딩된 분석 파일 구조를 보조 파일 3으로 제공합니다.

7. 보조 C5.0 결정 트리 분류기를 구축합니다

1. 모델링 환경을 구성하세요
   1. Windows 10 64비트 운영체제에서 IBM SPSS 모델러 18.4를 엽니다.
   2. 이진 코드 분석 파일을 가져오세요.
   3. 이진 자기보고된 고차원적 사고를 목표 영역으로 지정하세요.
   4. 다른 모든 보존된 이진 변수를 입력 필드로 할당하세요.
   5. 필드 이름, 가치 라벨, 타겟/입력 역할을 검증하세요.
   6. 보충 표 2에 소프트웨어명, 버전, 운영체제, C5.0 구현, 프로젝트 파일명, 분석 날짜를 기록하세요.
2. 데이터셋 분할
   1. 776건의 사례를 70:30 교육-시험 비율로 나누세요.
   2. 고정된 무작위 시드 20230307을 사용하세요.
   3. 이진 고차 사고 대상에 따른 층별 분할을 적용하세요.
   4. 훈련 하위 집합에 544건, 테스트 하위 집합에 232건을 할당합니다.
   5. 전체 데이터셋, 훈련 하위 집합, 테스트 하위 집합에서 낮은 HOT 및 높은 HOT 수를 검증합니다.
   6. 보조 표 2의 파티션 기록을 보존하세요.
3. C5.0 트리를 훈련시키고 가지치기하세요
   1. 훈련 서브셋에 C5.0 분류기 하나를 훈련시키세요.
   2. 분할^{선택 규칙으로} 이득 비율을 사용하세요.
   3. 엔트로피를 다음과 같이 정의하자:
      엔트로피(D) = −Σp_ilog₂(p_i)
      여기서 p_i 는 데이터셋 D 내에서 클래스 I 사례의 비율입니다.
   4. 이득 비율을 다음과 같이 정의하자:
      이득 비율 (D, C) = [엔트로피(D) − 엔트로피(D|C)]/SplitInfo (D, C)
      여기서 C는 후보 분할 변수입니다.
   5. 가지치기를 활성화하여 훈련 하위 집합 소음에 맞출 수 있는 지나치게 특정한 가지를 줄이세요.
   6. 다음 C5.0 설정을 사용하세요: 가지치기 = 활성화됨; 부스트 = 비활성화; 시험 횟수 = 1; 오분류 비용 = 적용되지 않음; 클래스 가중치 = 적용되지 않음; 자식 지기당 최소 기록 = 2; 전역 가지치기 = 활성화; 서브트리 레이징 = 활성화됨; 신뢰 계수 = 0.25; 중단 규칙 = 별도의 언급이 없는 한 IBM SPSS 모델러 C5.0 기본 설정.
   7. 주요 작업 흐름에서 합성 과표링, 클래스 가중치, 비용 민감 학습을 적용하지 마십시오.
   8. 초기 트리와 유지된 가지치기 트리를 내보내세요.
   9. 최종 노드 구조, 터미널 노드 요약, 변수 중요도 출력, 분류 규칙, 모델 설정을 저장하세요.
4. 문서 등급 불균형
   1. 모델 학습 전에 저HOT 분포와 고HOT 분포를 계산하세요.
   2. 전체 데이터셋과 테스트 하위 집합에서 무정보 비율을 다수 클래스 비율로 기록하세요.
   3. 트리를 최적화된 스크리닝 모델이 아니라 보조 해석 가능한 분류 출력으로 해석하세요.
   4. 향후 스크리닝 지향 응용을 위해 클래스 가중치, 비용 민감성 학습, 재샘플링, 반복 트레인-테스트 분할, k-중개 교차 검증, 또는 임계값 조정을 고려하세요.

8. 분류 결과물을 평가하고 보존한다

1. 수출 성과
   1. 보존된 가지치기 트리를 훈련 하위 집합에 적용합니다.
   2. 학습 혼동 행렬, 정확도, 클래스별 회상, 클래스별 정밀도, 터미널 노드 출력을 내보내세요.
   3. 같은 트리를 테스트 하위 집합에 적용하세요.
   4. 테스트 혼동 행렬, 정확도, 클래스별 호출, 클래스별 정밀도, 터미널 노드 출력을 내보내세요.
   5. 회상을 TP/(TP + FN)로 계산하세요.
   6. 정밀도를 TP/(TP + FP)로 계산합니다.
   7. 전체 정확도를 올바르게 분류된 사건을 총 사건으로 나누어 계산합니다.
   8. 정보 부족률을 계산하고 다수 학급 기준선과 시험 정확도를 비교하세요.
   9. 클래스별 지표와 전체 정확도를 함께 보고하세요.
2. 내보내기 해석 가능성 출력
   1. 변수 중요도 표를 수치 값으로 내보내세요.
   2. 노드 표본 크기, 예측 클래스, 클래스 분포, 클래스 확률을 포함한 최종 트리 다이어그램을 내보내세요.
   3. 전체 트리 다이어그램이 시각적으로 복잡하다면, 단순화된 주요 그림을 제공하고 완전한 노드 테이블을 보조 파일 4에 배치하세요.
   4. 규칙 경로, 노드 표본 크기, 예측 클래스, 저HOT 카운트, 고HOT 카운트, 분류 신뢰도를 포함한 터미널-노드 요약을 내보냅니다.
   5. 대표성 결과에서 대표성 분류 경로 한두 개를 설명하세요.
3. 재현성 패키지를 보존하세요
   1. 원시 응답 파일, 식별 해제 기록, 스크리닝 로그, 스크리닝된 항목 수준 데이터셋, 연속 점수 작업 파일, 이진 코드 분석 파일, 샘플링 플로우 테이블, 점수 키, 신뢰성 테이블, C5.0 프로젝트 파일, 초기 트리 파일, 가지치기 트리 파일, 변수 중요도 출력, 터미널 노드 테이블, 혼동 행렬, 내보내진 모델 요약을 보존합니다.
   2. 점수 및 측정 기록으로 보충 표 1 을 제공하십시오.
   3. 모델 설정 및 출력 기록으로 보조 표 2 를 제공하세요.
   4. 응답자 대상 설문지로 보충 파일 1 을 제공하세요.
   5. 샘플 스크리닝 로그로 보조 파일 2 를 제공하세요.
   6. 보조 파일 3을 코딩된 분석 파일 구조로 제공합니다.
   7. 터미널 노드와 변수 중요도 출력으로 보조 파일 4 를 제공합니다.
   8. 워크플로우 경로를 다음과 같이 보존합니다: 원시 설문지 내보내기>, 식별 해제 및 스크리닝 로그> 선별된 항목 수준 데이터셋> 연속 점수 작업 파일>, 이진 코딩 분석 파일 > 초기 C5.0 트리> 가지치기된 C5.0 트리> 보충 재현성 패키지> 내보내는 분류 출력> 학습/테스트 파티션 학습/테스트 파티션 보존합니다.

결과

보존 변수의 기술적 통계

표 2는 이진 재코딩 전 연속 점수 데이터셋에서 보유된 자기보고 설문조사 변수의 기술적 통계를 보고합니다. 자기보고 고차 사고 점수의 평균 3.71(SD = 0.68)로, 1–5 반응 척도에서 고정된 중간 임계값 3을 초과했습니다. 생성형 인공지능에 대한 신뢰도 이 기준을 초과하여 평균 3.54(SD = 0.60)를 기록했고, 학업 성과도 임계값에 근접해 평균 3.07(SD = 1.12)를 기록했습니다. 나머지 변수들은 생성 인공지능 불안에서 평균 점수 3.48, 문제적 스마트폰 사용 2.72, 학업 미루기 2.59, 부모 양육 2.99, 부정적 감정 2.12, 생성 인공지능에 대한 태도 3.26을 기록했으며, 표준편차는 각각 0.75, 0.74, 0.64, 0.43, 0.75, 0.57이었습니다.

토론

이 프로토콜은 생성형 인공지능 지원 학술 학습에서 자기보고 학습자 데이터를 조직하기 위한 재현 가능한 설문조사 점수 매기기와 C5.0 의사결정 트리 워크플로우를 제시합니다. 이 연구의 주요 기여는 예측보다는 방법론적입니다. 워크플로우는 설문 맥락 정의, 응답 스크리닝, 다중 항목 구성 점수 부여, 고정 중간 지점 코딩 규칙 적용, 데이터셋 분할, C5.0 트리 학습 및 가지치기, 노드 수준 출력 내보내기, 클래스별 성능 평가 방법을 명시합니다. C5.0이 선택된 이유는 해석 가능한 규칙 기반 트리를 생성하고, 이득 비율 기반 분할 및 가지치기를 지원하며, 학습자 관련 변수 조합이 최종 분류 경로로 어떻게 이어지는지 연구자들이 검토할 수 있기 때문입니다. 덜 투명한 분류 접근법과 비교할 때, 이 구조는 최대 예측 최적화보다는 재현성, 감사 가능성, 학습자 프로필 해석을 강조하는 방법 논문의 목적에 부합한다²⁹. 이 구분은 생성형...

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
IBM SPSS 모델러	IBM 주식회사	버전 18.4	70:30 층별 데이터 분할, C5.0 의사결정 트리 구성, 가지치기, 분류 평가, 트리 출력 내보내기에 사용됩니다.
IBM SPSS 통계	IBM 주식회사	버전 26.0	데이터 검사, 종합 점수 계산, 신뢰도 분석, 빈도 검사, 이진 재코딩에 사용됩니다.
인터넷 연결 응답자 장치	응답자 소유 기기	스마트폰, 태블릿, 또는 브라우저 접근 가능한 노트북	응답자가 온라인 설문지를 작성하는 데 사용됩니다. 연구별 기기는 제공되지 않았습니다.
마이크로소프트 엑셀	마이크로소프트 코퍼레이션	Microsoft 365 또는 Excel 2019 이후 버전	스크리닝 로그 검토, 코딩 검증, 표 서식, 내보내기 출력 검사에 사용됩니다.
QR 코드 분배 함수	원쥐안싱 / 설문지 별	내장된 설문지 링크 QR-코드 기능	설문 기간 동안 초청 학생들에게 표준화된 설문지 접근을 제공하는 데 사용되었습니다.
조용한 측량 완료 설정	참가 대학	비수업 시간 또는 학생 지도 환경	1회 설문지 작성 시 응답-맥락 변동을 줄이기 위해 사용됨.
보안 데이터 저장 디렉터리	저자 / 참여 기관	접근 제어 기관 저장	원시 내보내기, 스크리닝된 데이터셋, 점수 데이터셋, 코딩된 데이터셋, 모델 파일, 로그, 내보낸 출력을 버전 관리와 함께 보존하는 데 사용됩니다.
원쥐행 / 설문지 스타 온라인 설문조사 플랫폼	창사 란싱 정보기술유한회사.	웹 기반 플랫폼; 공식 원쥐안싱 웹사이트를 통한 접근	설문지 제작, QR 코드 배포, 의무 응답 설정, 중복 통제 확인, 타임스탬프 내보내기, 스프레드시트 내보내기에 사용됩니다.
윈도우 운영체제	마이크로소프트 코퍼레이션	윈도우 10, 64비트	IBM SPSS Statistics 26.0과 IBM SPSS 모델러 18.4의 운영 환경입니다.