大学のサービスラーニングの質を評価することを目的とした評価尺度を使用したツールの定性的および定量的検証

大学のサービスラーニングという新興分野では、信頼性と妥当性を両立させ、定性的・定量的で、使いやすいほど簡潔な標準化された手段が不足しています。評価と尺度を組み込むことで、専門家間の比較が可能になり、大学のサービスラーニングの質を評価できます。現在、これを実現する機器は他にありません。

QaSLuは、倹約の原則に基づいた厳格な定性的および定量的検証プロセスを通じて作成された最初の機器です。短いですが、科学的に非常に堅牢です。このプロトコルは、有効で堅牢かつ実用的な新しい科学機器への道筋を設定します。

サービスラーニングだけでなく、教育の分野全般でも。他の異なるグループ向けに新しい評価と尺度を作成し、参加サンプルを拡大して QaSLu の評価を改善し、さまざまな状況で役立つようにする予定です。まず、デスクトップ上でQaSLuの最初のドラフトを作成します。

サービスラーニングエクスペリエンスを評価するために認識されている主要なツールの項目のコンテンツ分析を実施します。品質の基準を定義する国際的なツールと、サービスラーニングの専門家コミュニティによって認識されている主要なルーブリックの項目を確認します。設計、実装、評価など、サービスラーニングエクスペリエンスの設計に関連するフェーズごとにすべての項目を分類します。

次に、初期フェーズ、計画、実行、終了、レプリケーションなど、サービスラーニングのアプリケーションによってすべての項目を分類します。大学のサービスラーニングの専門家の大規模なサンプルを選択して、ドラフト手段を評価します。学術的および職業的多様性、地理的多様性、ジェンダーの多様性を持つ専門家のリストを目指して、USL を評価するための決定的な手段を評価するための最終専門家グループを構成します。

ラウンド 1 のエキスパートからデータを受け取ったら、[分析]、[ノンパラメトリック テスト]、[レガシー ダイアログ]、および [K 関連サンプル] を順番にクリックして、関連性に関する Kendall の一致係数を計算します。[テストタイプ]で[Kendall's W]を選択します。次に、関連性と明確さに関する専門家からの回答をすべて選択します。

項目を「テスト変数」リストに移動し、「OK」をクリックして分析を実行します。ラウンド 2 の専門家のフィードバックを受け取った後、ケンダルの一致係数が以前に行われたことを再評価し、非常に無関係と評価された項目を削除します。関連性が高いと考えられるが不明確な項目を再定式化して、大学のサービスラーニング経験の自己評価のためのアンケート QaSLu-45 の最終版を作成します。

十分に記入されたアンケートが得られたら、統計ソフトウェア パッケージ 1 を使用してアンケートの内部一貫性を評価します。[分析]をクリックし、次に[スケール]、[信頼性分析]の順にクリックします。ダイアログボックスで「アルファ」を選択し、関連するすべての変数を「信頼性分析」ダイアログボックスに転送し、「OK」をクリックして出力を生成します。

統計ソフトウェアパッケージ1で探索的因子分析を実行するには、分析を開き、次元削減、次に係数をクリックします。「因子分析」ダイアログで、すべてのアンケート項目を「変数」ボックスに転送し、「記述」と「KMO」および「バートレットの真球度検定」を押して、「単変量記述」を選択します。「続行」 をクリックして下さい。

次に、抽出 を押して、抽出方法として主成分を選択します。[回転されていない因子解] と [スクリー プロット] のオプションをオンにして、[続行] をクリックし、[OK] を押して出力を生成します。主成分と反比例の関係を示す除去対象の項目を特定します。

探索的因子分析の結果で得られた成分行列を使用して、主因子に負の負荷がある項目にフラグを立て、QaSLuの削減された最適化された単一因子バージョンから除外します。次に、統計ソフトウェアパッケージ2で確認因子分析を実行し、1因子モデルの適合度を評価します。「データの読み取り」を選択し、「サンプル」ダイアログで「参照」をクリックして、以前に作成したASCIIデータ・ファイルを選択します。

参加者と変数の数が [データ行列のサイズ] に緑色で表示されていることを確認します。次に、[単一グループデータセットを開く] を押して、メインメニューに戻ります。メインメニューの「分析の設定」をクリックし、ダイアログメニューの「確認因子分析」にチェックを入れて、「CFA:因子分析」設定ウィンドウで「確認」をクリックします。

デフォルト設定を受け入れ、[確認] をクリックしてメイン メニューに戻ります。メッセージが表示されたら、確認因子分析の準備が整いました!表示されたら、[計算] ボタンをクリックして結果を待ちます。

次に、統計ソフトウェア パッケージ 2 を開いて、堅牢な重み付けされていない最小二乗探索的因子分析を実行します。「データの読み取り」を選択し、「サンプル」ダイアログボックスで「参照」をクリックして、以前に作成したASCIIファイルを選択します。参加者と変数の数は、[データ マトリックスのサイズ] セクションに緑色で表示されます。

次に、[単一グループデータセットを開く] アイコンをクリックして、メインメニューに戻ります。メインメニューで[分析の構成]をクリックし、ダイアログメニューで[探索的因子分析]を選択して、[確認]ボタンをクリックします。探索的因子分析の構成メニューで、主成分と逆の関係を持つと識別された項目を選択し、それらを除外変数ボックスに移動します。

次に、[ピアソン相関行列] オプションと [並列分析] オプションをオンにし、[因子または成分の数] を 1 に設定して、[ロバスト因子分析] を選択します。「確認」をクリックしてメイン・メニューに戻り、「計算」をクリックして結果を生成します。サンプリングの妥当性またはMSAスコアが0.49未満の測定値を持つ削除対象の項目を特定するには、統計ソフトウェアパッケージ2を使用したRULS探索的因子分析から得られた結果、特に項目の場所と項目の妥当性指数を確認し、QaSLuの縮小最適化された単一因子バージョンから除外します。

[変換] メニューを選択して [変数の計算] を押して、削除された項目のない統計ソフトウェア パッケージに新しい変数を作成します。新しい変数に SUM 27 という名前を付け、SUM 関数を選択して、最適化された項目リストで数値式を完成させます。[OK] をクリックして、新しい変数 SUM 27 を生成します。

SUM 27 のパーセンタイルを計算するには、[分析] を選択し、続いて [記述統計量と頻度] を選択します。SUM 27を変数ボックスに移動し、統計アイコンをクリックします。[パーセンタイル] を選択し、1、5、15、25、35、45、55、65、75、85、95、99 を追加します。

[続行]、[OK]の順にクリックしてパーセンタイルを生成します。[ファイルの分割] アイコンをクリックし、関連する各変数を選択して、各評価スケールに対してパーセンタイル手順を繰り返し、[グループごとに出力を整理] を選択します。矢印ボタンをクリックして [OK] を押して、SUM 27 のグループ化されたパーセンタイルを生成します。

各評価スケールの表を作成するには、まずタイトル行と、指定したパーセンタイルサブ行を含むレベル「低」、「中/低」、「中」、「中/高」の行を追加します。タイトル行に、選択した変数の条件の「レベル」列、「パーセンタイル」列、および追加の列を追加します。計算されたパーセンタイルにマッピングされたスコア範囲で各テーブルに入力します。

参加サンプルから得られた結果は、研究で使用された評価尺度に基づいて確立された比較に提示されます。各カテゴリの異なるランクは、それらの間の中間ポイントで構成されていました。たとえば、50 パーセンタイルは、45 パーセンタイルと 54 パーセンタイルのスコアから取得されました。

1 パーセンタイルと 99 パーセンタイルを除くすべてのランクは、4 パーセンタイルと 95 パーセンタイルに可能なスコア調整に対応する完全に制限された範囲を示しています。これらの各スケールでは、各パースペクティブ ユーザーの特性に応じて適切な評価スケールを選択することで、各パースペクティブ ユーザーのスコアを比較できます。