生成AI支援学習における自己申告高次思考を分類するための再現可能な調査採点およびC5.0意思決定ツリーワークフロー

サマリー

このプロトコルは、自己申告調査データの収集、学習者関連変数のスコアリング、高次の思考スコアの二分法、そして生成型人工知能支援の学術学習における解釈可能な学習者分類を示すC5.0意思決定ツリーの適用のための再現可能なワークフローを提供します。

要約

生成型人工知能は高等教育でますます利用されていますが、研究者はこの急速に変化する状況下で学習者レベルの調査データの収集、採点、整理のための透明な手順を必要としています。本稿では、生成型人工知能ツールを学術学習に使用した大学生の自己申告高次思考を分類するための、再現可能な調査スコアリングとC5.0意思決定ツリーのワークフローを提示します。このプロトコルは、参加者募集、アンケート管理、回答質のスクリーニング、複合スコア計算、バイナリコーディング、トレーニング・テストの分割、C5.0ツリー構築、剪定、モデル出力エクスポート、ノードベースの分類経路の解釈をカバーしています。このワークフローは、2023年3月7日から3月15日にかけて中国で収集された776人の学部生を対象とした単一大学の調査データセットを用いて実証されています。高次思考は、直接観察された認知パフォーマンスではなく、自己申告のアンケートスコアとして操作化されます。デモンストレーションデータセットでは、剪定された木構造には生成型人工知能への不安、生成型人工知能への信頼、問題のあるスマートフォン使用、学業の先延ばし、学業成績、親の育ち、否定的な感情、生成型人工知能に対する態度など、8つの学習者関連変数が保持されていました。保持モデルは訓練サブセットで89.52%の精度、テストサブセットで86.21%の精度を記録しました。しかし、クラス別評価では性能が不均一で、低HOTクラスの方が高HOTクラスよりも大幅にリコールが弱かった。したがって、ツリーは検証済みのスクリーニングツールとしてではなく、補助的で解釈可能なワークフローデモンストレーションとして解釈されるべきです。このプロトコルは、生成型人工知能支援学習環境において、調査ベースの学習者プロファイリングのために文書化され再現可能な手順を必要とする研究者を支援する可能性があります。

概要

高次の思考は高等教育における中心的な関心事であり、大学の学習は事実知識の想起を超えて分析、評価、反省、問題解決、^{知識創造へ}と進むことが期待されています。ブルームの分類法の後の改訂では、高度な学習とは単に記憶や理解だけでなく、ますます複雑化する文脈で知識を適用し、分析し、評価し、創造することも含まれることがさらに明確になりました^。この区別は、本プロトコルにおいて重要です。なぜなら、高次の思考は単なる達成度スコアとして扱われるのではなく、分析前に慎重な操作化が必要な学習者レベルの構成要素として扱われるからです。教育研究において、高次の思考は批判的推論、メタ認知モニタリング、問題文脈を越えた学習の移転とも関連付けられています^。技術支援学習において、この問題は特に重要になります。なぜなら、学生は単に^{教育内容を受け}取るだけでなく、概念をつなげ、生成された情報を評価し、意思決定を行う必要があることが多いからです。

生成型人工知能の急速な普及により、高次思考の測定はより複雑になりました。生成型人工知能ツールは、大規模なデータセットから学習したパターンからテキスト、コード、画像、説明、要約、その他の学術的支援を生成^{できます。}ChatGPTを含む大規模言語モデルは、2022年末から2023年初頭の一般普及初期に高等教育で特に注目を集め^ました。学術的な場面では、学生はこれらのツールを使って情報検索、概念の説明、アウトライン作成、アイデア生成、課題の修正、翻訳支援、その他のコース関連活動を行うことができます。これらの利用は日常的な負担を減らすかもしれませんが、学生の注意配分、情報の質の判断、自身の認知努力の調整方法を変える可能性があります。このため、生成型人工知能支援学習の研究には、学習者レベルの変数がどのように収集され、スコアリングされ、符号化され、解釈されるかを明確に記録する手順が必要です。

デジタル学習とブレンデッドラーニングに関する以前の研究では、学生が^環境を受動的に使うのではなく、学習課題に積極的に関与し続けることで、技術が高次の思考を支援できることが示されています。モバイルやテクノロジー強化学習の研究も同様に、仲間との交流、学習知覚、能動的な関与が学生の高次の思考傾向に関連していることを示唆^{しています。}データマイニング手法は、オンライン学習行動が高次の思考スキルとどのように関連しているかを探るためにも用いられており、教育データを解釈可能な学習パターンに整理することの価値を示しています^。技術利用研究のかなりの部分は、認知された有用性と認識された使いやすさを通じて利用行動を説明する技術受容モデルに基づいています。¹⁰。しかし、生成型人工知能支援学習は、従来のデジタル学習の文脈とは異なります。なぜなら、学生は開放的な回答を生成し、自信を形成し、批判的な関与を刺激したり減らしたりするシステムと関わるからです。したがって、このトピックのプロトコルは、学生が技術を受け入れているかどうかを記録するだけでなく、感情的、行動的、学業的、文脈的な指標がどのように分析のために準備されるかも記録すべきです。

この環境では、学習者に関連するいくつかの変数が特に重要です。人工知能への信頼は、学生が生成された成果物に依存するか、疑問を呈するか、あるいは学術的な作業に慎重に統合するかに影響を与える^{可能性があります。}技術や人工知能に対する不安も影響する場合がありますが、経験的注意なしに一方向に解釈すべきではありません。問題のあるスマートフォン使用も、注意力の断片化やデバイス関連の気晴らしが持続的な認知的関与を妨げる可能性があるため、関連する行動指標の一つです。¹³。より一般的な学習研究では、自己調整型学習戦略がオンラインおよび技術支援環境における学業成績と関連していることが示唆されています¹⁴。探究型かつ協同的な学習研究は、意味のある学習は学生が学習課題にどのように参加し、証拠を整理し、説明を構築するかに依存することを示^{しています。}これらの考慮事項は、生成型人工知能の露出を狭く測定するのではなく、多変数調査ワークフローの利用を支持しています。

認知負荷理論は、同じワークフロー内で感情と行動の指標を記録しるための追加の根拠を提供します。作業記憶は限られているため、過剰または不十分な情報は学習や問題解決に支障をきたす可能性があります^。生成型人工知能支援学習において、学生が豊富な生成結果、一貫性のない説明、無関係な提案、または競合する情報源に遭遇することでこの問題が明らかになります。感情活動はマルチメディア学習中の認知負荷とも関連していることが示されており、感情状態が技術豊富な環境での学習者の情報処理の仕方に影響を与える可能性を示唆しています。¹⁷。同時に、人工汎用知能と将来の教育に関する現在の議論では、人工知能が従来の教育システムが適応するよりも速く学習慣行を再構築する可能性があることが強調^{されています。}これらの条件により、技術的な態度だけでなく、感情状態、自己調整、学歴、文脈変数も記録する手法が必要となります。現在のワークフローでは、これらの変数は直接観察された行動の痕跡や因果メカニズムとしてではなく、自己申告による調査指標として扱われています。

方法論的な難点は、学習者プロファイルが単一の変数だけで形成されることは稀である点です。教育調査データは、感情、行動、学業、文脈、技術関連の指標が層状に組み合わさったものが多いです。従来の回帰モデルは純連合の推定に有用ですが、条件分岐、サブグループ微分、ルールベースの分類を表示することを目的とする場合、直感的ではありません。意思決定木解析は、ケースを再帰的に解釈可能な分岐に分割し、ノード構造を通じて分類シーケンスを可視化するため、補完的なアプローチ^{を提供します。}より複雑な機械学習モデルと比べて、単一の意思決定ツリーは再現可能なワークフローの一部として検査、説明、エクスポートが容易です。標準的な線形モデリングと比較して、学習者指標の組み合わせが^{教育データにおける}実用的な分類経路をどのように形成するかを示すことができます。しかし、単一の木はクラスの不均衡、分割の決定、剪定設定、サンプル特性にも敏感です。そのため、このプロトコルの決定木は補助的な解釈可能な分類ステップとして使用されており、普遍予測エンジンや因^{果モデルとして}は使われていません。

本稿では、生成型人工知能支援の学術学習における自己申告高次思考を分類するための再現可能な調査スコアリングおよびC5.0意思決定ツリーワークフローを提示します。このワークフローは、2023年3月7日から3月15日にかけて中国で収集された776人の学部生を対象とした単一の大学調査データセットで実証されています。結果は補助分類のために二分法された自己申告の高次思考質問票スコアです。これは認知能力の直接的な測定ではありません。このデモンストレーションにおける生成型人工知能の露出とは、過去4週間にわたり、情報検索、概念説明、アイデア生成、アウトライン作成、課題修正など、コース関連の学術活動において学生が自己申告で生成型人工知能ツールを使用したことを指しています。ツールの使用はプラットフォームログ、プロンプト履歴、リアルタイムのアクティビティトレースで検証されませんでした。

このプロトコルの目的は、保持された木がすべての機関、コホート、または現在の生成的人工知能環境に一般化すると主張することではありません。この注意が必要なのは、デモンストレーションデータが2023年初頭の短い期間中にある大学で収集されたためです。当時、生成人工知能への学生の接触が急速に発展していた時期です。むしろ、本記事の貢献は、調査文脈の定義、アンケートの実施、回答のスクリーニング、構成要素の採点、信頼性の記録、固定符号ルールの適用、データセットの分割、C5.0ツリーの学習と剪定、モデル出力のエクスポート、そしてクラス固有の性能に配慮したノードベースの分類経路の解釈など、全手順を再現可能にすることにあります。この手法重視のワークフローは、教育研究者、教室志向の調査員、指導分析者が、生成型人工知能支援学習において、調査ベースの学習者プロファイリングに透明性のあるアプローチを再現または適応させるのに役立つかもしれません。

プロトコル

この人間参加者を対象とした研究は、宜里師範大学教育科学部倫理委員会によって審査・承認されました(参考文献番号:LZEDU2023003)。この調査は2023年3月7日から3月15日まで実施されました。委員会は、この研究が匿名で任意のアンケート手続きのみを含み、参加者に身体的、心理的、社会的損害を与えなかったため、倫理的免除の対象と判断しました。すべての参加者はアンケートに記入する前に電子インフォームドコンセントを提供しました。

分析前に、回答者記録を不可逆のケース番号に置き換え、すべての直接識別子を削除してください。分析ファイルには、名前、学生識別番号、電話番号、アカウント名、クラス識別子、インターネットプロトコルアドレス、デバイス識別子、生のプラットフォームアカウントマーカーを保持しないでください。重複コントロール情報は応答スクリーニングにのみ使用し、解析データセットをロックする前に削除してください。

1. 調査設定とサンプリング手順を確立する

1. 研究環境と適格基準を定義する
   1. 2023年3月7日から3月15日まで、中国広西荘族自治区の柳州理工大学で調査を実施してください。
   2. 対象対象集団を、参加大学の現在在籍中の学部生と定義してください。
   3. 過去4週間に少なくとも1つの生成型人工知能ツールを授業関連の学術学習に使用したと報告した学生も含めます。
   4. 適格な学術利用を情報検索、概念説明、アイデア生成、アウトライン作成、課題修正、翻訳サポート、コード関連支援、またはその他のコース関連業務と定義します。
   5. 娯楽利用、カジュアルな会話、学習以外の実験、その他授業に関係のない使用のみを報告した学生は除外します。
   6. 在学中の学生でない回答者、生成人工知能の学術的使用を報告していない者、電子的インフォームドコンセントを拒否する者、または無効なアンケートを提出する回答者は以下のスクリーニングルールに従って除外します。
   7. ツールカテゴリやツール名、直近4週間のおよその使用頻度、ツールがサポートする学術課題などを自己申告項目を通じて生成AI露出を記録します。これらの曝露データを検証済みのプラットフォーム利用記録として扱わないでください。
2. サンプリングフレームを構築し、参加者を募集します
   1. 参加大学から機関の学部生サンプリングフレームを取得してください。この枠組みは46の専攻で15,000人以上の学生を対象としています。
   2. 専攻カテゴリーや学年ごとに階層化されたランダム抽出を適用して招待リストを作成し、異なる分野や学習段階の学生が招待サンプルに反映されるようにします。
   3. 主要カテゴリーと学年ごとに階層化されたランダム抽出を適用して招待リストを作成します。
   4. 標準化された募集通知を使って800名の選ばれた学生を招待します。
   5. オンラインアンケートプラットフォームのクイックレスポンスコードは、授業休憩や学生アドバイジングセッションなどの非授業時間に招待された学生にのみ配布します。
   6. 採用とスクリーニングの全過程を記録してください。このワークフローでは800名の学生が招待され、792件のアンケートが返送されました。16件のアンケートが除外されました:4件は不適格な生成型人工知能使用、3件は重複提出、5件は最低閾値未満の完了時間、4件は無効な直線回答パターンでした。最終的な分析サンプルには776件の有効なアンケートが含まれていました。

2. アンケート管理およびデータプライバシー手続きの設定

1. オンラインアンケートの設定
   1. オンラインアンケートプラットフォーム(Questionnaire Star)を使ってアンケートを作成・配布します。
   2. 迅速なレスポンスコード配布、必須のスケールアイテム回答、提出時間のエクスポート、重複管理チェック、スプレッドシートエクスポートを有効にします。
   3. 最初の有効な回答を収集する前に、回答者向けのアンケートをロックしてください。調査期間中、項目の表現、順序、回答アンカー、指示、体重計ラベル、同意の文言、アクセスルートは変更しないようにしてください。
   4. すべてのスケールアイテムを必須アイテムに設定してください。スケール回答に事後補完は使わないでください。
   5. 最も識別しにくいプラットフォームオプションを通じて、1回の投稿管理を有効にしましょう。重複スクリーニングにはアカウントレベル、デバイスレベル、プラットフォーム生成マーカーのみを使用してください。
2. 完成条件の標準化
   1. 回答者には個別に、一度に、ピアディスカッションなしでアンケートに記入してもらうよう求めてください。
   2. 回答者には、過去4週間の生成人工知能の実際の学術的使用に基づいて回答するよう指示します。
   3. 回答者には静かな環境でアンケートに回答し、デバイスの切り替えや長時間の中断、提出後の繰り返しアクセスを避けるよう促してください。
   4. 予定の完了時間枠を530分に設定してください。完了時間は応答の質指標としてのみ使用してください。

3. 回答をスクリーニングし、解析データセットをロックする

1. 生のレスポンスファイルをエクスポートしてください
   1. アンケートウィンドウが終了した後、オンラインアンケートプラットフォームから生のアンケートファイルをエクスポートしてください。
   2. 除外、スコアリング、コーディング、モデル構築の前に生のエクスポートを保存してください。
   3. スクリーニング前に、返送されたすべての記録に識別不能なケース番号を割り当ててください。このワークフローでは、792件の返送されたアンケートにケース番号を割り当てます。
2. 応答品質除外ルールを適用する
   1. 電子的なインフォームド・コンセントなしに記録を除外すること。
   2. 現在の学生ステータスや学術的資格に該当しない記録は除外してください。
   3. エクスポート後に非人口統計的スケール回答が欠落している記録は除外します。このワークフローでは、必須の応答設定によりスケールの応答が欠如するのを防ぎました。
   4. 閉鎖型項目あたり平均2秒の完了時間閾値を用いて、項目レベルの読解や応答処理を反映しにくいレコードを特定します。この閾値以下の記録は除外してください。
   5. 5分未満または30分以上で完了した記録を、低品質または中断された回答の可能性を検査してください。この時間枠外の記録は、重複チェックや応答パターン検査で無効完了が示されない場合のみ保持してください。
   6. 直線応答を追加の回答質指標として活用しましょう。リッカート尺度の項目の少なくとも90%で同じ回答選択肢が選択されたレコードは除外してください。このパターンは項目内容への関与が限られていることを示唆しています。
   7. プラットフォームの重複マーカーに基づく重複投稿は除外し、最も古い完全な有効記録を保持します。
   8. 回答者向けのアンケートは 補足ファイル1として保存してください。
   9. スクリーニングログは 補足ファイル2として保存してください。スクリーニングログには招待された学生、返送されたアンケート、除外されたアンケート、除外理由、最終的な保留案件を報告する必要があります。
3. ロックされた解析データセットを作成します
   1. スクリーニング後は有効な776件のアンケートを保持してください。採点前に回答者向けアンケートと分析データセットをロックし、データ収集後に項目の表現、適格基準、除外決定、変数定義が変更されないようにしてください。
   2. 解析前に直接識別子、生のタイムスタンプ、アカウントレベルのマーカー、デバイスレベルのトレース、重複制御マーカーを削除してください。この非識別化ステップを使って参加者の匿名性を守り、分析データセットが個々の学生に紐づくのを防ぎます。
   3. 非識別化された776件の症例データセットをロックされた分析データセットとして保存します。
   4. スコアリング、コーディング、分類の唯一のソースとしてロックされた解析データセットを使用してください。

4. 学習者に関連する変数の測定

1. アンケートを整理しましょう
   1. アンケートはインフォームドコンセント、人口統計学的および学歴的背景、生成型人工知能曝露、学習者関連の4つのセクションに分けます。
   2. 性別、年齢、専攻、学年、自己申告の学業成績を記録してください。
   3. ツールカテゴリ別に生成型人工知能の露出、おおよその使用頻度、支援された学術課題を記録します。
   4. 自己申告による高次思考、生成型人工知能への不安、生成型人工知能への信頼、否定的な感情、生成型人工知能に対する態度、問題のあるスマートフォン使用、学業の先延ばし、親育ちなどを測定します。
   5. すべての尺度ベースの変数は、直接的な行動観察や直接観察された認知パフォーマンスではなく、自己申告による調査指標として扱ってください。
2. 保持指標の定義
   1. 問題解決、批判的思考、チームワーク、コミュニケーション^{、イノベーションを}カバーする23項目の保持ツールで自己申告の高次思考を測定します。
   2. 生成型人工知能の不安を11項目からなる適応技術^不安尺度で測定します。
   3. 生成型人工知能への信頼度を、自動化に対する12項目適応された^{信頼度スケール}で測定します。
   4. 一般的なネガティブ感情指標として用いられる適応されたうつ・不安・ストレス・スケール21項目セットでネガティブ感情を測定する²⁵。このスコアを臨床診断として解釈しないでください。
   5. 生成型人工知能に対する態度を18項目の適応技術・態度尺度で測定する²⁶.
   6. 学生調査文脈に合わせて適応したスマートフォン依存症尺度短縮版で問題のあるスマートフォン使用を測定^します。
   7. 16項目の学業先延ば^し尺度で学業先延ばしを測定します。
   8. 学業成績を5点の自己申告項目で測定します:1=平均以下、2=平均以下、3=平均、4=平均以上、5=優秀。
   9. 親の育ちを5つの自己申告の文脈項目で測定します:1=非常に非支援的、2=非支持、3=中立または混合、4=支持的、5=非常に支持的。
3. 応答アンカーと適応手順を指定してください
   1. 保持スケール変数には1–5リッカート型応答フォーマットを使用します。
   2. 一般的な基準を用いてください:1 = 強く反対、2 = 反対、3 = 中立または不確か、4 = 同意、5 = 強く同意します。
   3. アンケートは中国語で実施し、回答者が参加大学で使用される教育および言語文脈ですべてのスケール項目を回答していることを確認しましょう。
   4. 前方翻訳、専門家のレビュー、生成AI支援学習のための表現調整、パイロットの可読性チェックを通じて、意図された構成概念の意味を保持しつつ、中国の学部生回答者にとって文脈の明確さを向上させます。
   5. 専門家レビューを用いて、適応された項目が元の構成要素、応答のアンカー、スコアリング方向、学習文脈と一貫しているかを確認しましょう。生成AI支援学習の環境において、曖昧さや文脈の不一致、誤解を生じる可能性のある表現のみを修正してください。
   6. 補足ファイル1には、項目の文言、応答アンカー、項目順序、スコア方向、最終変数ラベルを含めてください。

5. 測定のスコアと測定の質の検証

1. スコア付きの作業ファイルを準備してください
   1. IBM SPSS Statistics 26.0でロックされた解析データセットを開きます。
   2. 各行に1人の回答者、1つの項目または変数を1列に保持します。
   3. 欠損した数値、応答範囲、アイテムラベル、変数名をチェックします。
   4. 複合スコアを計算する前に、スクリーニング済みの項目レベルのデータセットを保存してください。
2. 複合スコアの計算
   1. 各多項目構成要素に対して回答者レベルの平均複合スコアを1つ計算します。
   2. スコアの逆評価のみを、合成スコア計算前にスコアキーで逆にキー化した項目を選びます。
   3. このワークフローではDASS21由来のネガティブな感情項目を逆スコアリングしないでください。保持されたすべての項目は同じ方向にスコアリングされ、高い値は強いネガティブな感情体験を示します。
   4. 部分的に変換された尺度から複合スコアを計算しないでください。
   5. 総合スコア計算後に連続スコア作業ファイルを保存してください。
3. 内部測定品質の検証
   1. IBM SPSS Statistics 26.0の各保持マルチアイテムスケールのクロンバックαを計算してください。クロンバックのアルファを内部整合性指数として用い、同じ尺度内の項目が複合スコア計算に十分な一貫性を示すかどうかを示します。
   2. 各保持尺度の修正済み項目-総相関および項目削除時のアルファ値を調べます。修正済みの項目-総相関を用いて、各項目がそのスケールの合計スコアと十分に一致しているかを除外します。
   3. 保持すると内部一貫性を損なう可能性のある項目を特定するために、アルファ-if-item-delete値を使用します。統計的根拠だけで自動的に項目を削除しないでください。問題の構成意味、採点方向、適応アンケートとの整合性を確認した後にのみ、項目の保持または削除を行います。
   4. カイザー・マイヤー・オルキンおよびバートレットの適応スケールセットのテストチェックを実施します。
   5. 本文でクロンバックのアルファ値を報告してください。
   6. 補 足表1として、完全なスコアリングおよび測定記録を提供してください。項目数、回答範囲、応答アンカー、スコア方向、逆鍵項目、複合スコアルール、クロンバックのアルファ、修正済み項目と総相関チェック結果、項目削除時のアルファチェック結果、最終変数ラベルを含めてください。

6. 連続スコアを補助分類入力に変換する

1. バイナリ符号化の適用
   1. 連続スコアワーキングファイルをソースファイルとして使ってください。
   2. リコードは自己申告の高次思考を二項のターゲット変数として扱いました。
   3. コードは≤3が0、>3が1となります。
   4. 複合スコア計算後、すべての保持予測変数に同じ閾値を適用します。
   5. 反応スケール1から5の中間点として閾値を3にして、透明で再現可能なコーディングルールを作成します。
   6. C5.0の意思決定木デモンストレーション用のバイナリ入力を作成するためだけに二分法を行います。
   7. 二分法後にクラス数を確認してください。
   8. 連続したスコア作業ファイルを保持してください。
2. コード化された解析ファイルを作成する
   1. 新しいバイナリ符号化解析ファイルを生成します。
   2. 生成型人工知能の不安、生成型人工知能への信頼、問題のあるスマートフォン使用、学業の先延ばし、学業成績、親の育ち、ネガティブな感情、そして生成型人工知能に対する態度を同じ閾値で再コーディングします。
   3. 各二値変数のクラス数を確認します。
   4. 表1でコーディングルールとクラス数を報告してください。
   5. バイナリコード解析ファイルを保存してください。
   6. 符号化された解析ファイル構造を 補足ファイル3として提供してください。

7. 補助的なC5.0決定木分類器を構築する

1. モデリング環境の設定
   1. Windows 10 64ビットオペレーティングシステム上でIBM SPSS Modeler 18.4を開いてください。
   2. バイナリコード化された解析ファイルをインポートします。
   3. 二進法の自己申告高次思考を対象フィールドとして割り当てます。
   4. 他の保持された2進変数をすべて入力フィールドとして割り当てます。
   5. フィールド名、値ラベル、ターゲット/入力ロールを検証します。
   6. ソフトウェア名、バージョン、オペレーティングシステム、C5.0実装、プロジェクトファイル名、解析日を 補足表2に記載してください。
2. データセットの分割
   1. 776件のケースを70:30のトレーニング・テストに分割します。
   2. 固定されたランダムシード20230307を使いましょう。
   3. 二項高次の思考ターゲットによる階層分割を適用します。
   4. トレーニングサブセットに544ケース、テストサブセットに232ケースを割り当てます。
   5. 全データセット、トレーニングサブセット、テストサブセットで低HOTと高HOTカウントを検証します。
   6. 補足表2のパーティションレコードを保持してください。
3. C5.0ツリーのトレーニングと剪定
   1. トレーニングサブセットで1つのC5.0クラシファイアを訓練します。
   2. 利得比を分割選択ルールとして使う²⁹。
   3. エントロピーを次のように定義します:
      エントロピー(D) = −Σp_ilog₂(p_i)
      ここで_pi はデータセットD内のクラスiの症例の割合です。
   4. 利得比を次のように定義します:
      利得比 (D, C) = [エントロピー(D) − エントロピー(D|C)]/SplitInfo (D, C)
      ここで C は候補分割変数です。
   5. 訓練サブセットノイズに合う可能性のある過度に特定の枝を減らすために剪定を有効にします。
   6. 以下のC5.0設定をご利用ください:pruning = 有効;ブースト=無効化;試行回数=1;誤分類コスト=適用されなかった;クラスの重み=適用されず;子枝あたりの最小記録数=2;グローバル剪定 = 有効;部分木レイズ = enabled;信頼係数=0.25;停止ルール = 特に記載がない限りIBM SPSS Modeler C5.0のデフォルト設定。
   7. 主要なワークフローでは合成的なオーバーサンプリング、クラス重み付け、コスト依存学習を適用しないでください。
   8. 最初の木と保持された剪定木をエクスポートします。
   9. 最終ノード構造、ターミナルノードの要約、変数重要度の出力、分類ルール、モデル設定を保存します。
4. 文書クラスの不均衡
   1. モデルトレーニング前に低HOT分布と高HOT分布を計算します。
   2. 情報なし率を、全データセットおよびテスト部分セットの多数派クラスの割合として記録します。
   3. 木を最適化されたスクリーニングモデルとしてではなく、補助的な解釈可能な分類出力として解釈してください。
   4. 将来のスクリーニング指向の応用には、クラス重み、コスト依存型学習、リサンプリング、繰り返しトレインテスト分割、k重クロス検証、または閾値調整を考慮します。

8. 分類出力の評価と保存

1. 輸出性能の成果
   1. 保持された剪定木をトレーニングのサブセットに適用します。
   2. トレーニング混乱行列、精度、クラス固有のリコール、クラス固有の精度、ターミナルノード出力をエクスポートします。
   3. 同じ木構造をテストのサブセットにも適用します。
   4. テストの混乱行列、精度、クラス固有のリコール、クラス固有の精度、ターミナルノード出力をエクスポートします。
   5. リコール率はTP/(TP + FN)で計算します。
   6. 精度はTP/(TP + FP)で計算します。
   7. 正しく分類された症例を総症例で割ったものとして、全体の精度を計算します。
   8. 情報不足率を計算し、テストの精度と多数派の基準値を比較します。
   9. クラスごとの指標と全体的な精度を一緒に報告しましょう。
2. エクスポート解釈可能性の出力
   1. 変数重要度表を数値付きでエクスポートします。
   2. ノードサンプルサイズ、予測クラス、クラス分布、クラス確率を含む最終木図をエクスポートします。
   3. ツリー全体の図が視覚的に混雑している場合は、簡略化された主図を提供し、完全なノードテーブルを 補足ファイル4に配置します。
   4. ルールパス、ノードサンプルサイズ、予測クラス、低HOTカウント、高HOTカウント、分類信頼度を含むターミナルノードの要約をエクスポートします。
   5. 代表的な結果の中で1つまたは2つの代表的な分類経路を説明してください。
3. 再現性パッケージを保持する
   1. 生応答ファイル、非識別記録、スクリーニングログ、スクリーニング項目レベルデータセット、連続スコアワーキングファイル、バイナリコード解析ファイル、サンプリングフローテーブル、スコアリングキー、信頼性テーブル、C5.0プロジェクトファイル、初期ツリーファイル、剪定木ファイル、変数重要度出力、ターミナルノードテーブル、混乱行列、エクスポート済みモデル概要を保持します。
   2. 補足表1をスコアリングおよび測定記録として提供してください。
   3. モデル設定および出力記録として 補足表2 を提供してください。
   4. 回答者向けの質問票として 補足ファイル1 を提出してください。
   5. サンプルスクリーニングログとして 補足ファイル2 を提供してください。
   6. コード化された解析ファイル構造として 補助ファイル3 を提供します。
   7. ターミナルノードおよび可変重要度出力として 補足ファイル4 を提供します。
   8. ワークフローパスを、生のアンケートエクスポート>非特定化およびスクリーニングログ>スクリーニング済みの項目レベルデータセット>連続スコアワーキングファイル>バイナリコーディング分析ファイル>初期C5.0木>>トリーン化されたC5.0木>編集済みの分類出力>補足再現性パッケージエクスポートするなどとして保持します。

結果

保持変数の記述的統計

表2は 、二値再コーディング前の連続スコアデータセットにおける保持された自己報告調査変数の記述的統計を示しています。自己申告の高次思考スコアの平均は3.71(SD = 0.68)で、1〜5の反応スケールの固定中間閾値3を超えていました。生成型人工知能への信頼もこの閾値を超え、平均3.54(SD = 0.60)となり、学業成績も閾値近くで平均3.07(SD = 1.12)でした。残りの変数は、生成型人工知能不安で平均スコアが3.48、問題のあるスマートフォン使用で2.72、学業先延ばしで2.59、親からの育ちが2.99、ネガティブな感情が2.12、生成的人工知能に対する態度が3.26で、標準偏差はそれぞれ0.75、0.74、0.64、0.43、0.75、0.57でした。

これらの記述統計は、保持変数が二値再コーディング以前に同一の分布を持っていなかったことを示しています。自...

ディスカッション

このプロトコルは、生成型人工知能支援の学術学習において自己申告学習者データを整理するための再現可能な調査スコアリングおよびC5.0意思決定ツリーワークフローを提供します。その主な貢献は予測よりも方法論的にあります。ワークフローは、調査コンテキストの定義、回答のスクリーニング、多項目構成のスコアリング、固定中間点コーディングルールの適用、データセットの分割、C5.0ツリーの学習・プルーン、ノードレベルの出力のエクスポート、クラス固有の性能評価の方法を指定します。C5.0が選ばれた理由は、解釈可能なルールベースの木構造を生成し、ゲイン比率に基づく分割と剪定をサポートし、学習者関連変数の組み合わせが終端分類経路にどのように導くかを研究者が検証できるからです。透明性の低い分類手法と比較して、この構造は最大予測最適化ではなく再現性、監査可能性、学習者プロファイルの解釈を重視する手法記事の目的に合致^{しています。}この区別は、生成型人工知能教育研究において重要であり、学生の学習はツールへのアクセスだけでなく、認知的関与、技術関連の認識、学...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
IBM SPSS モデラー	IBM社	バージョン18.4	70:30の階層化データ分割、C5.0の意思決定木構築、剪定、分類評価、木出力のエクスポートに使用されます。
IBM SPSS統計	IBM社	バージョン26.0	データチェック、複合スコア計算、信頼性解析、頻度チェック、バイナリコーディングに使用されます。
インターネット接続対応デバイス	被申立人所有のデバイス	スマートフォン、タブレット、またはブラウザアクセス可能なノートパソコン	回答者がオンラインアンケートの回答に使用します。研究特有の機器は提供されませんでした。
Microsoft Excel	マイクロソフト社	Microsoft 365またはExcel 2019以降	スクリーニングログのレビュー、コーディング検証、表の書式化、エクスポート出力のチェックに使用されます。
QRコード分配関数	文響星 / アンケートスター	組み込みのアンケートリンクQRコード機能	招待学生に対して、調査期間中に標準化されたアンケートアクセスを提供するために使用されました。
静音調査完了設定	参加大学	非授業の教室休憩や生徒指導の場	1回問わずアンケート回答時の回答文脈のばらつきを減らすために使用されました。
セキュアデータストレージディレクトリ	著者/参加機関	アクセス制御型機関ストレージ	生のエクスポート、スクリーニングデータセット、スコアリングデータセット、コード化されたデータセット、モデルファイル、ログ、エクスポートされた出力をバージョン管理付きで保存するために使用されます。
文娟星/アンケートスターオンライン調査プラットフォーム	長沙蘭興情報技術有限公司	ウェブベースのプラットフォーム;文娟星公式ウェブサイトからのアクセス	アンケート作成、QRコード配布、必須回答設定、重複管理チェック、タイムスタンプエクスポート、スプレッドシートエクスポートに使用されます。
Windowsオペレーティングシステム	マイクロソフト社	Windows 10、64ビット	IBM SPSS Statistics 26.0およびIBM SPSS Modeler 18.4の運用環境。