大学のサービスラーニングの質を評価することを目的とした評価尺度を使用したツールの定性的および定量的検証

サマリー

この論文では、可能な限り最も堅健で最適なバージョンを作成するための倹約基準に従って、大学のサービスラーニング手段を定性的および定量的に検証するためのプロトコルの概要を説明します。この目的のために、定量的項目最適化手法として、Delphi定性的検証法とロバスト重み付けされていない最小二乗探索的因子分析が利用されます。

要約

サービスラーニング (SL) は近年、非常に効果的な学習方法論となっており、現実世界のシナリオでの学習を文脈化しながら、理論と実践の間のギャップを埋めます。これはあらゆるレベルの高等教育で成功裏に実施されており、その結果、大学生のスキルが大幅に向上しました。しかし、革新的な方法論として、SL は評価方法に関してはまだ開発の初期段階にあります。その結果、SLを現実世界の状況に適用することがその主な価値であるため、信頼性が高く、何よりも有効な測定機器を設計および検証することが緊急に必要とされています。本稿では、倹約の原則に基づき、大学教授の視点から大学レベルでのSL体験の質を評価するために、大学SL機器を最適に設計・検証する方法を実証する。オンライン修正デルファイ法、ロバスト重み付けされていない最小二乗探索的因子分析、および確認因子分析を適用して、オンライン修正デルファイ法を使用した16人の専門家とSLプロジェクトを実施する118人の大学教師のサンプルを通じて検証された新しい機器であるQaSLu-27が作成されました。結果は、新しい機器に最適な心理測定条件を示しています (W = 0.11; α = 0.92;CMIN/DF=1.027;CFI= 0.979;WRMR = 0.0985;RMSEA= 0.046)、帰属的および人口統計学的特徴を考慮して、この方法論の将来のユーザーを比較できる新しい評価尺度の開発につながりました。現実世界で使用でき、スケールの作成を可能にする新しい検証済み機器の設計は、SLでの新しい経験の実装を測定し、その進歩、参加者、マネージャー、モニターを評価するのに非常に役立ちます。

概要

サービスラーニング (SL) は、学問的学習と社会奉仕を統合する教育アプローチであり、現代の教育においてますます認知されています。この教育的アプローチにより、学生は教室での知識を現実世界の課題に適用すると同時に、市民の責任とコミュニティへの関与を促進することができます¹。現在の教育における SL の重要性は、学生に実践的な専門的能力を身につけ、市民参加を促進し、社会問題へのより深い理解を提供するため、どれだけ強調してもしすぎることはありません².

SL に関する最近の研究は、学術的学習とコミュニティへの参加の両方を強化する SL の可能性に対する認識の高まりにより、大幅に成長しました。この成長は、学業の発展を促進するだけでなく、社会的課題にも対処する教育モデルに対する需要の高まりによって推進されています³。学生は、社会正義の促進から学生の市民意識の育成まで、SL の多様な影響を探求してきました⁴.さらに、サービスラーニング研究は、現実世界の問題解決が重要なSTEM、ヘルスケア、環境科学などの特定の分野での応用にますます焦点を当てています^5,6,7。文献が拡大するにつれて、研究者は、サービスラーニングが学生と彼らが奉仕するコミュニティの両方にとって意味のある方法で理論と実践の間のギャップを効果的に埋める方法を探求し始めています⁸。

しかし、その役割が増大しているにもかかわらず、SL プログラムの有効性を測定するには重大な課題が残っています⁹。Furco¹⁰、Martín et ^al.11、Lorenzo and Belando-Montoro¹²、Shek et ^al.13、Lu and Lambright¹⁴ など、ルーブリックの形でさまざまな提案があり、フィールド研究での有用性が証明されているにもかかわらず、まだ検証されていません。一方、Escofet-Roig et ^al.15、Rodríguez-Izquierdo¹⁶、León-Carrascosa et ^al.17、Ruiz-Ordoñez et al.18、Santos-Pastor et ^al.19、Gul et ^al.20 など、定性的検証が欠けているか、定量的検証が非常に限られている提案もあります。以前の評価ツールで観察されたその他の欠点は、倹約の原則に準拠するための要素と項目の最適化の欠如と、評価尺度の完全な欠如です。この状況は新しい科学分野で一般的であり、広く使用されるための最適な機器を達成するためにすべての研究分野が通過する自然なプロセスです。

大学教授の視点から大学レベルでのSL体験の質を評価するためのツールであるQaSLu(Questionnaire for the Self-Assessment of University Service-Learning Experiences)の作成当時、SL体験の質を確保するための基準を定義する最も認識されているツールは次のとおりです。 Campo (2015)²¹、Europe Engage (2017)²²、GREM (2014)²³、RMC Research Corporation (2008)²⁴、Puig-Rovira、Martín、および Rubio-Serrano (2017)²⁵、および Rubio-Serrano、Puig-Rovira、Martín、および Palos (2015)²⁶。現在、追加のツールがありますが、現在の測定手段は、特に長期的な個人の成長、コミュニティへの影響の観点から、これらのプログラムに関連する広範で微妙な学習成果を適切に捉えることができないことが多く、中には過度に一般的であるか、厳密な科学的枠組みに基づいていないことが判明したものもあります ^9,27。測定ツールにおけるこのギャップは、学生とコミュニティの両方に対する SL の影響の包括的な理解と最適化を妨げています。

SL研究を進めるための次のステップは、科学的に厳密な測定機器の開発です。これらのツールは、学業成績を把握するだけでなく、SL が学生や学生がサービスを提供するコミュニティに与える個人的および社会的影響を評価するように設計する必要があります。私たちの研究は、科学的厳密さに基づいた手段を作成し、SL プロジェクトのより包括的な評価を提供し、将来の実施を導くことで、このギャップに対処することを目的としています。

機器の作成に加えて、最初に定性的に検証され、次に定量的に検証されます。初期検証には、修正されたオンラインDelphi法が使用されます²⁸。「修正」という用語は、デルファイ法を2ラウンドの協議に制限し、それによって専門家グループのメンバーの脱落を回避するというカベロの提案を指します。「オンライン」という用語は、クルス・ラミレスとルア・バスケス²⁹ によって導入され、インターネットは、集団思考や項目の選択に影響を与える可能性のある支配的な専門家の意見の影響など、従来のデルファイに固有の特定の制限を克服するのに役立つため、相談が電子メールで行われたことを強調するために導入されました^30,31。

修正されたオンライン Delphi 法を使用して、2 種類の妥当性が評価されます: Bakieva らの研究³² で概説されているプロセスに従った構成妥当性、各項目の関連性について専門家に相談するプロセス、および専門家との相談を通じて各項目の明確さを評価する Gil と Pascual-Ezama³³ の研究に基づく内容の妥当性。

専門家には、4 つの回答オプション (なし、少し、かなり多い、たくさん) を含むリッカート スケールが提供されます。中間回答の代替案を導入しないことで、専門家は各項目³⁴ に賛成または反対の決定的な立場をとることが求められ、質問書の項目を保持するか削除するかの意思決定プロセスが容易になります。

定量的検証に関しては、科学的な問題が与えられた場合、同じ条件下で最短の解が望ましいと述べている科学の基本原理である倹約の法則に基づいています^35,36。したがって、最短かつ最も最適化された有効な機器を探すことは、信頼性や妥当性を犠牲にすることなく、より実用的で、輸出可能で、実際の状況での日常的な使用に共通する、同じ科学的保証を提供します。確認因子分析 (CFA)³⁷ およびロバスト非重み最小二乗法 (RULS) 探索的因子分析^38,39 は、不要な項目を減らし、機器の最終構造を検証するための分析手法として使用されます。適合度と信頼性の指標は、以前の構造に対する新しい構造の妥当性の指標として使用され、削減および最適化されたアンケートの新しい構造の妥当性と堅牢性を保証するレベル内で最適化された手段の信頼性と妥当性を維持または改善するための参照として使用されます。

プロトコル

このプロトコルは、2020 年にチリ国家科学技術研究委員会 (CONICYT Fondecyt/Initiation) によって承認番号 11170623 で倫理的に承認されました。外部の専門家グループがプロセス全体をレビューし、検証しました。ヘルシンキ宣言⁴⁰ に従って、参加者は研究に参加するために書面によるインフォームドコンセントを提供する必要があり、いかなる実験条件にも関与しないことが明確に伝えられました。

1. QaSLuの最初のドラフトを設計する

1. SL エクスペリエンスを評価するために認識されている主要なツールの項目のコンテンツ分析を実行します。これを達成するために、SL エクスペリエンスの品質を確保するための基準を定義する国際ツールの項目と、SL 専門家コミュニティによって認識されている主要なルーブリックがレビューされました。
   注:このレビューの結果、QaSLuは、ヨーロッパSLの特徴的な焦点である社会正義に明確に取り組んでいます。
2. SL エクスペリエンスの設計に関連するフェーズに基づいてすべての項目を分類します (1.デザイン、2.実装、3.評価)とSL経験の適用(A.初期段階、B.計画、C.実行、D.クロージャとレプリケーション)。
   注:分類の信頼性を確保するために、評価者間の絶対的な合意が使用され、すべての著者が同意した分類のみを受け入れました。
3. 大学のサービスラーニング(USL)を評価するための機器の最初のドラフトの最終項目を選択します。
   1. まず、SL エクスペリエンスの設計と適用に関連するフェーズの両方で、各カテゴリ内の重複項目を排除します。
   2. 第二に、新しい手段の目的と一致しない無関係な項目を削除します。
   3. 最後に、対象集団 (大学教員) と研究の目的 (SL エクスペリエンスの質の評価) に合わせて項目を作成または適応させます。
      注: QaSLu は、大学のサービスラーニング向けに設計されています。ほとんどのツールは大学レベルでSLの質を評価していましたが、以前のツールのいくつかの項目を再定式化する必要があり、QaSLuが大学の状況に完全に適合するように新しい項目が作成されました。
4. 調査の目標を達成するためにアンケートの最初のドラフトを設計します。
   注: QaSLu のドラフトは、共有と変更を容易にするために Microsoft Word を使用して作成されています。当初は、54段階のリッカート尺度(決して、まれに、時々、ほとんど常に、常に)で回答された5項目で構成されていました。アンケートは、標準化された評価尺度を使用して、最終スコアを使用してユーザーの特性に応じてユーザーを比較できるように、単一要素または主要コンポーネント構造を念頭に置いて設計されました。

2. デルファイ法の専門家グループの選定

1. 以前に設計された機器を評価できるUSLの専門家の大規模なサンプルを選択します。このプロセスでは、重要な包含基準を確立します。1. USL 経験の調査と設計/実装における最低 4 年の経験。2. 大学の学術団体の会員であること。そして3.博士課程の候補者または博士号の保有者であること。
   注: 包含基準に基づいて、USL コミュニティで重要な役割を果たす可能性のある 20 人の専門家のリストが作成されました。
2. ステップ 2.1 で選ばれたすべての専門家に電子メールを送信し、研究目的、Delphi 法のフェーズ、予想されるスケジュール、包含基準を説明し、検証プロセスに参加できるかどうか、および書面によるインフォームド コンセントの受諾について尋ねます。
   注:すべての専門家が参加に同意しました。
3. USLを評価するための決定的な手段を評価するための最終的な専門家グループを構成します。参加に同意した専門家の特性に基づいて、新しい選択基準を確立します。専門家グループの最終構成は、次のことを目的としていました。1.学術的および専門的多様性、つまり、さまざまな学問層からの代表。2. SL体験が実施された場所の地理的多様性。そして3.ジェンダーの多様性。
   注:16人のUSL専門家がプロセス全体にコミットし、完了しました。最終的な専門家グループは、女性75%、男性25%で構成されていました。

3. 修正オンラインデルファイ法によるQaSLuアンケートの定性的検証

1. USLを評価するための機器の最初のドラフトの項目を評価するためのテンプレートと、関連する指示(デルファイ法のラウンド1)を専門家グループの各メンバーに電子メールで送信します。
   注: 専門家は、4 段階のリッカート スケールを使用して、各項目の関連性 (構成の妥当性) と明確さ (内容の妥当性) を評価し、1 は「関連性がない、または明確ではない」を表し、4 は「非常に関連性がある、または非常に明確」を表します。各項目の横には、関連性を評価するためのボックスと、わかりやすくするためのボックスがあり、専門家は各項目を 1 から 4 までのスケールで評価する必要があります。これらのボックスの下には、評価を定性的に説明し、項目の修正の可能性を提案できるセクションがあります ( 補足ファイル 1 として提供されているアンケートのサンプル ドラフトを参照)。中間回答オプションを含めないことで、専門家は決定的な立場を取ることを余儀なくされ、質問書の項目の保持または削除に関する意思決定プロセスが容易になりました。
2. Delphiコンサルテーションのラウンド1の専門家からの回答を1つのファイルに集めます。
   注: 専門家には、テンプレート内の 54 項目の関連性 (構成妥当性) と明確さ (内容妥当性) の評価を完了するために 2 週間が与えられました。
3. ケンダル係数を計算して、関連性と明確さに関する専門家の回答間の一致レベルを決定します。
   1. まず、メニューの [Analyze > Nonparametric Tests > Legacy Dialogs > K Related Samples にアクセスします( 図1を参照)。関連性と明確さに関する専門家からの回答をすべて選択します。これを個別に行い、最初に関連性、次に明確さを行います。
   2. 項目を [テスト変数リスト] ボックスに移動します。[テスト タイプ] セクションで、[Kendall's W] オプションを選択します。最後に、[OK]をクリックして解析を実行し、対応する結果を取得します。
      注: 一致分析により、関連性 (構成の妥当性) と明確さ (内容の妥当性) について、質問された専門家の間で統計的に有意な一致があったことが明らかになりました。
4. 構成の妥当性(関連性)と内容の妥当性(明確さ)を評価します。
   1. 統計ソフトウェアパッケージ1を使用して記述分析を実行します。まず、[分析] メニュー>[記述統計量]>[度数]を選択し、[ 頻度 ]ダイアログボックスで、機器のすべての項目の関連性スコアを選択し、矢印アイコンをクリックして[ 変数] ボックスに追加します。
   2. 次に、[ 統計情報] アイコンをクリックし、[ パーセンタイル] ボックスをオンにして、パーセンタイル 25、50、および 75 を [ 頻度: 統計 ] ダイアログ ボックスに追加し、[ 続行 ] をクリックして [ 頻度 ] ダイアログ ボックスに戻ります。
   3. 最後に、[ OK ]アイコンをクリックして、各項目に必要なパーセンタイルを生成します( 図2を参照)。出力後、[記述 統計量>分析]> [記述的]に移動し、[ 記述的] ダイアログボックスで、機器のすべての項目の明瞭度スコアを選択し、矢印アイコンをクリックして [変数] ボックスに追加します( 図3を参照)。最後に、[ OK ]をクリックして結果を生成します。
5. 専門家の75%が非常に無関係であると考える項目を削除し、関連性が高いが不明確であると評価された項目を再定式化します。
   注:第1ラウンドの協議の後、QaSLuの初期草案から10項目(項目4、5、9、16、27、45、51、52、53、および54)が削除されました。さらに、QaSLuの初稿から16項目が再定式化されました:項目1、2、10、13、14、15、23、30、31、33、37、41、42、43、48、および49。再定式化または言い換えは、専門家の提案に基づいていました。
6. 以下を含む協議のラウンド 1 の結果レポートを作成します。1. 関連性または構成の妥当性に関する合意レベルに関する結果 (ケンダル係数)。2. 意思決定基準の確立。3. 検証されたアイテムの数。4. 削除されたアイテムの数。5. まだ検討中の再定式化品の数。そして6。USLを評価するための機器の修正版。
   注:このレポートを作成する目的は、過剰なデータで専門家グループを圧倒したり、将来の評価に影響を与えたりすることなく、専門家グループに情報を提供することでした。
7. 専門家グループの各メンバーに、協議のラウンド 1 の結果に関するレポートと、USL を評価するための機器の修正版で再定式化された項目を評価するためのテンプレートを、具体的な指示とともに電子メールで送信します (デルファイ法のラウンド 2)。
   注: 専門家は、4 段階のリッカート スケールを使用して、再定式化された各項目の明確さ (内容の妥当性) を評価し、1 は「関連性がない、または明確ではない」を表し、4 は「非常に関連性がある、または非常に明確」を表します。各項目の横には、1から4までの数字で明確さを評価するためのボックスがあり、その後に評価を定性的に説明し、項目のさらなる改訂の可能性を提案できる別のセクションがあります( 補足ファイル2として提供されているアンケートのサンプルドラフトを参照)。中間的な対応オプションを導入しなかったため、専門家は項目に賛成または反対の決定的な立場をとらざるを得ませんでした。これにより、アンケートからの項目の包含または除外に関する意思決定プロセスが容易になりました。
8. Delphi コンサルテーションのラウンド 2 の専門家からの回答を 1 つのファイルにまとめます。
   注: 専門家には、テンプレート内の 16 項目の明確さ (内容の妥当性) の評価を完了するために再び 2 週間の時間が与えられました。
9. 3.3 の手順を繰り返しますが、今回は装置の再定式化された項目のクラリティスコアのみを選択し、それらを 変数 ボックスに組み込みます。
10. 3.4 の手順を繰り返して、エキスパートの 75% によって非常にクリアと評価されたすべての項目を削除します。
    注: 2 回目の協議の後、次の項目が削除されました: 項目 1、23、31、および 41。
11. 将来の内部整合性を評価することを目的として、いくつかの管理項目を含めます (10 項目ごとに約 1 つの制御項目を含めることをお勧めします)。
    注:このバージョンの機器には、4つのコントロールアイテムが追加されました。
12. 以下を含む協議のラウンド 2 の結果報告書を作成します。1. 明確さまたは内容の妥当性に関する合意レベルに関する結果 (ケンダル係数)。2. 意思決定基準の確立。3. 検証されたアイテムの数。4. 削除された項目の数。5. 管理項目として含まれる項目の数。そして6。QaSLu-45の修正版(検証済みアイテム41個+コントロールアイテム4個)。
    注: アンケートの最終版は次のように構成されました: 1) アンケートの目的、書面によるインフォームドコンセント、および指示。2) 回答者の組織または機関、性別、年齢、教育レベル、およびサービスラーニングにおける専門的経験年数 (この情報では参加者の特定はできません)。3) サービスラーニング体験に関するデータ。4) サービスラーニング経験の自己評価のための 45 項目。5) 参加に対する感謝の気持ち (アンケートのサンプル ドラフトは 補足ファイル 3 として提供されます)。
13. 設計されたアンケート (QaSLu-45) の最終版を含む第 2 ラウンドの協議の結果レポートを専門家グループに送信し、修正されたオンライン デルファイ メソッドへの参加に感謝します。

図1:統計ソフトウェアパッケージ1でのケンダル係数の計算。 (1) [K 関連サンプル] アイコンをクリックします。(2) ケンダルの W を選択します。(3) [OK] アイコンをクリックします。 この図の拡大版を表示するには、ここをクリックしてください。

図2:統計ソフトウェアパッケージ1のパーセンタイルの抽出。 (1)周波数アイコンをクリックします。(2)統計アイコンをクリックします。(3) [頻度: 統計] ダイアログ ボックスに、パーセンタイルを追加します。この図の拡大版を表示するには、ここをクリックしてください。

図3:統計ソフトウェアパッケージ1の記述の抽出。(1) 説明アイコンをクリックします。(2) 変数を追加します。(3) [OK] アイコンをクリックします。

4. 安全なサーバーのオンライン仕様にアンケートを適応させる

1. 登録ユーザーとしてプライベート サーバー ( 資料表を参照) を持つ SaaS (Software-as-a-Service) プラットフォームのメイン ページに移動します。この登録は、事前に個人データを提供して完了する必要があります。登録したら、[ アンケートを最初から作成 する] を選択します ( 図 4 を参照)。
2. 続行するには、必須の受け入れインフォームドコンセントを含める必要がある最初のページを作成します。
3. 参加者の帰属に関する質問を含む 2 ページ目を作成し、研究の介入変数または制御変数として研究で使用します。
   注: この調査には、3 つの離散量的変数と 5 つの名義カテゴリ変数の分析が含まれています。以下は、調査に含まれるこれら 8 つの変数の運用上の説明です。
   性別: 2 つのレベル (男性/女性) を持つ名目変数、定属性変数、および二分変数。
   年齢: 研究の参加者の年齢を決定する離散の量的変数。
   USL 経験: 参加者のサービスラーニング体験を測定する離散の量的変数。スケールは0から始まり、サービスラーニングの経験が1年未満(「経験なし」に相当しない)を表し、上限はありません。
   学術レベル: 参加者が専門博士号を取得しているかどうかを反映する、2 つのレベル (博士号/博士号ではない) を持つ名目上の二分変数。
   USL活動協力組織:5つのレベル(ソーシャルセンター、NGO、財団、学校、高等教育機関または大学との提携、政府行政、高齢者センター、およびその他の健康関連センター)の名目変数。この変数は、参加者がサービスラーニング体験で共同作業する組織または機関のタイプを識別します。
   USL活動の対象グループ:5つのレベル(障害のあるグループ、学生、少数民族、高齢者、社会的リスクのある弱い立場にあるグループ)の名目変数。この変数は、サービスラーニング活動の主要な受益者グループを識別します。
   USL 活動への介入モード: 名目上の二分変数 (もっぱら対面サービスラーニング / オンライン活動の全部または一部を含む)。この変数は、サービス・ラーニング・アクティビティーにオンライン・コンポーネントが含まれるかどうかを示します。
4. 以前にデザインしたアンケートのページを、プライベートサーバーを備えたSaaSプラットフォームを通じて、質問や回答など、複数のページを作成します。
5. アンケートを作成して保存した後 ( 補足ファイル 2 の最終アンケートを参照)、プラットフォームのメイン メニューに戻り、アンケートを選択し、[ 公開アンケートを開く>閉じ る] アイコンをクリックして、参加者が利用できるようにします。次に、[ アンケートへのリンクを取得する] アイコンをクリックし、参加者がアクセスするためのいくつかのオプションから選択します (例: 電子メールまたは Web サイトに埋め込まれたリンク、Web サイト上の iframe 、Web サイト上のポップアップ、またはコールセンターのコンピューターに提供されるリンク、 図 5 を参照)。
   注: アンケートの最終版は次のように構成されました: 1) アンケートの目的、書面によるインフォームドコンセント、および指示。2) 参加者の詳細 (機関または組織、年齢、性別、教育レベル、およびサービスラーニングにおける専門的経験年数)。この情報により、参加者の匿名性が確保されます。3) サービスラーニング体験に関するデータ。4) サービスラーニング経験の自己評価のための 45 項目。5) 参加に感謝の気持ちを表すセクション。

図4:アンケートを最初から作成する。 (1) 新しいアンケート アイコンをクリックします。(2) [ アンケートを最初から作成]を選択します。 この図の拡大版を表示するには、ここをクリックしてください。

図5:アンケートの設計( 1)アンケートを編集します。(2) ページと質問を追加および構成します。(3-5) ページ、質問、回答を作成します。 この図の拡大版を表示するには、ここをクリックしてください。

5. サンプリング方法

1. 過去3年間にスペイン大学サービスラーニングネットワークが主催した会議のすべての議事録を確認します。近年サービスラーニングに取り組んでいる著者のリストを作成し、電子メールアドレスを収集します。
   注:サンプリングは偶発的で日和見的なものでした。
2. すべての著者に、研究への参加を招待する電子メールを送信します。1週間後と2週間後にメールを再送信します。
   注: この電子メールは、受信者に、参加に関心のある連絡先に転送するよう促しました。したがって、偶発的なサンプリング方法は、雪だるま式サンプリング技術によって補完されました。
3. 登録ユーザーとしてSaaSプラットフォームのメインページにアクセスし、作成したアンケートを選択して、「 結果」をクリックします。ポップアップメニューで、[ アンケート] アイコンをクリックして、完了したアンケートに直接アクセスします。SaaSプラットフォームを通じて、不完全または誤った応答を排除します( 図6を参照)。
4. アンケートが必要な最小参加者数 (>100) に達したら、不完全な回答を除外した後、登録ユーザーとして SaaS プラットフォームのメイン ページに移動し、アンケートを選択し、[ 公開調査を開いたり閉じたり ] アイコンをクリックして調査を閉じ、それ以上の参加を禁止します ( 図 5 のステップ 1 をもう一度参照してください)。
   注: 43 の高等教育機関から合計 118 人の教育者が参加し、67.80% が女性、32.20% が男性であると認識しました。平均年齢は46.16歳(SD = 9.60)で、年齢は24歳から65歳でした。学歴に関しては、大多数(76.3%)が博士号を取得しており、残りの参加者は少なくとも学士号を取得していました。サービスラーニング経験は平均6.69年(SD=5.39年)で、最低は半年、最高は34年でした。参加大学が連携した機関には、教育センター(他大学を含む)、社会センター、高齢者センター、保健センター、NGO、財団、市役所や議会などの政府機関が含まれる。サービスラーニングパートナーシップは、サンプルの50.85%を占めるフォーマル教育センターと、残りの49.15%を占めるノンフォーマル教育センターの2種類の機関と形成された。サービスラーニング体験のモダリティに関しては、64.41%が対面で、35.59%が何らかの形の仮想活動を含んでいました。

図6:アンケートへのリンクの取得。 (1)アンケートを開きます。(2) [ アンケートへのリンクを取得する] アイコンをクリックします。(3)ご希望の方法を選択します。 この図の拡大版を表示するには、ここをクリックしてください。

6. 因子分析によるアンケートの定量的検証

1. 登録ユーザーとして SaaS プラットフォームのメイン ページに移動し、作成したアンケートを選択して、[ 結果] アイコンをクリックします。ポップアップメニューで [エクスポート] をクリックし、カンマ区切り値 (.csv) 拡張子を付けて [ テキスト] で詳細なレポートオプション (高度なスプレッドシート形式) を選択します ( 図 7 を参照)。参加者がアンケートに回答したら、データを.csv形式で電子メール アカウントにエクスポートし、安全でプライベートで保護された場所に確実に保存されるようにします。
2. 統計ソフトウェアパッケージ1( 材料表を参照)を開き、[ ファイル]メニュー>[データをCSVデータ>インポート]を選択します。以前に保存した.csvファイルを選択します。このプロセスにより、匿名データが統計ソフトウェアパッケージ1に必要な分析形式に変換されます( 図8を参照)。
3. 統計的に分析する変数(性別、年齢、学歴、USL活動の協力組織、USL活動の対象グループ、USL活動の介入方法、 QaSLuの45項目)を選択し、統計ソフトウェアパッケージ1によって生成された.savファイルからインポートされた無関係なデータを削除します。
4. 統計ソフトウェア パッケージ 1 を備えた Cronbach's Alpha を使用して、QaSLu-45 アンケートの内部一貫性を評価します。これを行うには、[ 分析]メニュー>[スケール]>信頼性分析を選択し、関連するすべての変数を[ 信頼性分析 ]ダイアログボックスに転送します。最後に、[ OK ]ボタンをクリックして、目的の出力を生成します( 図9を参照)。
   注: アンケートは、Cronbach のアルファ (α = 0.917) によって測定されたように、高い信頼性と内部の一貫性を示しました。
5. 統計ソフトウェアパッケージ1を使用して探索的因子分析を実行します。
   1. この解析を実行するには、[ 解析]メニュー>[寸法削減>係数]を選択します。[ 因子分析 ]ダイアログボックスで、アンケートからすべての項目を選択し、[ 記述] をクリックして、[ 単変量記述] と [KMO]および[Bartlett's Test of Sphericity]を選択します。
   2. [ 続行] をクリックして、[ 因子分析 ]ダイアログボックスのメインメニューに戻ります。次に、「 抽出」 をクリックし、抽出方法として「 主成分」 を選択します。
   3. [ 回転されていない因子解 ]と [スクリープロット]のオプションをチェックし、[ 続行] をもう一度クリックして、[ 因子分析 ]ダイアログボックスのメインメニューに戻ります。最後に、[ OK ]アイコンをクリックして出力を生成します( 図10を参照)。
      注:Bartlettの真球度検定(χ2 = 2689.72; p = 0.00)とKaiser-Meyer-Olkin(KMO)サンプリング妥当性検定(KMO = 0.793)の重要性は、項目の強力な設計とQaSLu-45の検証のためのサンプリングによるこの因子分析の適切性を確認します。主成分分析の結果、固有値が1.0より大きい成分が13個で、全分散の69.95%が説明されました。ただし、スクリープロット( 図11を参照)は、最初の成分が不均衡な関連性を持っているため、残りの成分の重要性が無視できることを示しています。したがって、QaSLu-45 を 1 つのコンポーネントに減らして、設計された QaSLu-45 に対して独自の最終スコアを取得することをお勧めします。
6. 属性変数を除くアンケートの結果ファイルを、統計ソフトウェアパッケージ2と互換性のあるASCII固定形式(dat)に変換します( 材料 表を参照)。
   1. まず、すべての属性変数を削除し、アンケート項目のみを統計ソフトウェアパッケージ1の変数として残します。次に、[ ファイル] メニュー> [固定テキスト>データをエクスポート ] を選択します ( 図 12 を参照)。
   2. ファイルを安全な場所に認識可能な名前で保存します。このプロセスにより、匿名データは統計ソフトウェアパッケージ2で分析するために必要な形式に変換されます。
7. 統計ソフトウェア パッケージ 2 を使用して確認因子分析 (CFA) を実行し、アンケートの 1 因子モデルの適合度を判断します。
   1. この分析を実行するには、[ データの読み取り ] を選択し、[サンプル] ダイアログ ボックスで [ 参照 ] をクリックして、以前に作成した ASCII ファイルを選択します。参加者と変数の数は、[ データ マトリックスのサイズ ] セクションに緑色で表示されます。
   2. 次に、[ 単一グループデータセットを開く ]アイコンをクリックし、統計ソフトウェアパッケージ2のメインメニューに戻ります。メインメニューで、 分析の構成をクリックします。 ダイアログメニュー で、 確認因子分析 にチェックを入れ、 確認 ボタンをクリックします。
   3. 「 CFA: 因子分析コンフィギュレーション 」ウィンドウで、デフォルト設定を受け入れ、「 確認 」をクリックしてメイン・メニューに戻ります。最後に、メインメニューに「確認因子分析の準備完了」というメッセージが表示されます。次に、「 計算」 ボタン ( 図 13 を参照) をクリックして、結果を待ちます。
      注: QaSLu-45 項目は、CFA モデルの適合度測定によって評価されたように、優れた堅牢な適合度を示しました。Kelley が提案した基準によると、CFA/自由度の最小値と最大値の差が 1 と 3 (CMIN/DF = 1.053)、近似の二乗平均平方根誤差が <0.06 (RMSEA = 0.042)、加重二乗平均平方根残差が <1.0 (WRMR = 0.0978) であったため、QaSLu-45 項目の比較適合指数は >0.95 (CFI = 0.973) でした。

図7:統計ソフトウェアパッケージ1および2で使用するデータのエクスポート。 (1) [結果] アイコンをクリックします。(2) アンケートアイコン をクリックします。(3) 詳細オプションで テキスト と CSV を選択します。 この図の拡大版を表示するには、ここをクリックしてください。

図8:統計ソフトウェアパッケージ1へのデータのインポート。 [ファイル]メニュー>[CSVデータ>データをインポート]を選択します。この図の拡大版を表示するには、ここをクリックしてください。

図9:アンケートの内部一貫性の評価。 [分析]メニュー>[信頼性分析>スケール]を選択します。この図の拡大版を表示するには、ここをクリックしてください。

図10:統計ソフトウェアパッケージ1を使用した探索的因子分析の実行。 (1) 要因アイコン をクリックします。(2) 説明アイコンをクリックします 。(3) 詳細オプションで KMO と Bartlett の真球度テスト を選択します。(4) [ 抽出] アイコンをクリックします。(5)選択 スク リープロット 詳細オプション。(6) OK アイコンをクリックします。 この図の拡大版を表示するには、ここをクリックしてください。

図11:45項目の初期バージョンにおける主成分因子分析の堆積グラフ。 探索的因子分析によると、コンポーネント番号1が残りのコンポーネントと比較して非常に際立っていることに注目し、その関連性が他のコンポーネントを合わせたものよりもはるかに大きいことを強調し、単一要素構造がアンケートに最も適切であることを検証します。この表は、López-de-Arana Prado et ^al.9から再発行されています。 この図の拡大版を表示するには、ここをクリックしてください。

図12:結果ファイルを固定形式のASCII形式に変換する。 (1) 固定テキスト アイコンをクリックします。(2) [名前を付けて保存] メニューで [固定 ASCII] を選択します。(3) 保存 アイコンをクリックします。 この図の拡大版を表示するには、ここをクリックしてください。

図13:統計ソフトウェアパッケージ2を使用した確認因子分析の実行。 (1) [データの読み取り ] アイコンをクリックします。(2) サンプルメニューでASCIIファイルを選択します。(3) [単一グループデータセットを開く ] アイコンをクリックします。(4) [分析の設定 ]アイコンをクリックします。(5) 詳細オプションで 確認因子分析 を選択します。(6) [OK ]アイコンをクリックします。(7) [コンピューティング] アイコンをクリックします。 この図の拡大版を表示するには、ここをクリックしてください。

7. 倹約の原則に従って余分な項目を削減する、単一の主成分に対するアンケートの最適化

1. 最適化されたバージョンのアンケートで、主成分と反比例の関係にある削除する項目を特定します。
   1. 統計ソフトウェアパッケージ1を使用してステップ6.5で取得した成分行列を確認し、どの項目が主因子と反比例の関係を示すかを判断します。これらの項目は、単一要素のアンケートの縮小および最適化バージョンから除外します。
      注:主成分の各項目のスコアマトリックスに基づいて、項目6、16、28、および35は、主成分と反比例の関係を示したため、最終構成から破棄されました。アンケートは単一の最終スコアを提供するため、アンケートのユーザー間の実際の違いを覆い隠すため、逆の項目は排除する必要があります。
2. 統計ソフトウェアパッケージ2を使用して、ロバストな重み付けされていない最小二乗(RULS)探索的因子分析を実行します。
   1. この分析を実行するには、[ データの読み取り] を選択し、[サンプル] ダイアログ ボックスで [ 参照 ] をクリックして、以前に作成した ASCII ファイルを選択します。参加者と変数の数は、[ データ マトリックスのサイズ ] セクションに緑色で表示されます。
   2. 次に、[ 単一グループデータセットを開く ]アイコンをクリックし、統計ソフトウェアパッケージ2のメインメニューに戻ります。メインメニューで、 分析の構成をクリックします。ダイアログ メニュー で、 探索的因子分析 を選択し、 確認 ボタンをクリックします。
   3. 探索的因子分析構成メニューで、統計ソフトウェアパッケージ1で実施した探索的因子分析に従って主成分と反比例の項目を選択し、除外変数ボックスのボックスに移動します。
   4. 次に、[ ピアソン相関行列] オプションと [並列分析 ]オプションをオンにし、[ 因子/成分の数 ]を1に変更して、[ ロバスト因子分析 ]を選択します( 図14を参照)。最後に、「確認」ボタンをクリックしてメインメニューに戻り、「計算」をクリックして結果を生成します。
3. サンプリングの妥当性の尺度 (MSA) が 0.49 MSA 未満の、最適化されたバージョンのアンケートから削除する項目を特定します。これを行うには、統計ソフトウェア パッケージ 2 を使用した RULS 探索的因子分析から得られた結果、特に 項目の場所と項目の妥当性指数を確認します。
   注:RULS探索的因子分析では、設計を単一の主成分に適合させるために14項目を破棄することを提案しています:1、4、7、8、9、11、18、20、23、25、31、38、41、および42。これにより、1 つの主成分に最適化された 27 項目の最終構成が得られ、関連する心理測定の堅牢性が高くなります。このバージョンは QaSLu-27 と呼ばれていました (アンケートのサンプル ドラフトは 補足ファイル 4 として提供されています)。

図14:統計ソフトウェアパッケージ2を使用したロバストな重み付けされていない最小二乗法の実行。 (1) [データの読み取り] アイコンをクリックします。(2) サンプルメニューでASCIIファイルを選択します。(3) [単一グループデータセットを開く] アイコンをクリックします。(4)[分析の設定]アイコンをクリックします。(5) [詳細] オプションで [探索的因子分析] を選択します。(6)ピアソン相関行列と並列分析オプションをオンにします。(7)要因/成分の数を1に変更します。(8)オプションでロバストファクター分析をチェックします。(9) [確認] ボタンをクリックします。(10) [コンピューティング] アイコンをクリックします。この図の拡大版を表示するには、ここをクリックしてください。

8. QaSLu-45 に関する QaSLu-27 の心理測定特性の妥当性をレビューする。

1. 手順 6.4 を再適用し、アンケートの最適化バージョンの一部ではない項目を分析から除外します。
2. 手順 6.5 を再適用し、アンケートの最適化バージョンの一部ではない項目を分析から除外します。
3. 手順 6.7 を再適用し、アンケートの最適化バージョンの一部ではない項目を分析から除外します。
4. アンケートの最適化されたバージョンの心理測定特性の妥当性を元のバージョンと表形式で比較します。
   注:KMOサンプリング妥当性検定(KMO = 0.863)およびバートレットの真球度検定(χ2 = 1447.76; p = 0.000)で有意な改善が観察されました。QaSLu-27による主成分因子分析では、固有値が1.0>7つの成分が明らかになり、全分散の65.59%を占めました。CFAを使用して決定された堅牢な適合度統計は、QaSLu-27に45項目ではなく27項目しか含まれていないにもかかわらず、わずかに改善された結果を示し、Cronbachのアルファで測定された信頼性は増加しました(α = 0.92)。これらの発見は、最終構成の妥当性と堅牢性が 45 項目バージョンの妥当性と堅牢性よりも有意に高いという結論を裏付けています。

9. 評価尺度の開発

1. 最適化されたバージョンのアンケートのすべての項目のスコアを合計して、新しい変数を作成します。
   1. [ Transform Menu] > [Compute Variable] を選択し、[ Compute Variable ] ダイアログ ボックスで新しい変数に SUM27 という名前を付けます。
   2. 合計関数を選択し、最適化されたバージョンのアンケートの項目を含む数値式に入力します。最後に、「OK」アイコンをクリックして、新しい変数 SUM27 を生成します (図 15 を参照)。
2. アンケートの最適化バージョンから最終結果のさまざまなパーセンタイルを計算します。
   1. [ 分析] メニュー> [記述統計量] > [頻度] を選択し、[ 頻度 ] ダイアログ ボックスで変数 SUM27 を選択し、矢印アイコンをクリックして [変数] ボックスに移動します。
   2. 次に、「 統計」 アイコンをクリックし、「 パーセンタイル」を選択して、 1、5、15、25、35、45、55、65、75、85、95、99 のパーセンタイルを追加します。[ 続行 ]アイコンをクリックして、[周波数]ダイアログボックスに戻ります。最後に、[ OK ]アイコンをクリックして、SUM27に必要なパーセンタイルを生成します( 図1を参照)。
   3. 追加した変数に応じてフィルターを適用して、評価尺度ごとにこのプロセスを繰り返します。これを行うには、[ ファイルの分割 ]アイコンをクリックし、関連性があると見なされる各名義変数または順序変数を選択し、[ グループ別出力の整理]を選択し、 矢印 アイコンをクリックし、最後に[ OK ]アイコンをクリックして、各変数でフィルタリングされたSUM27の目的のパーセンタイルを生成します。
3. 評価尺度ごとに表を作成します。
   1. テーブルタイトルの行を作成し、その後に低 (パーセンタイル 1、10、20 のサブ行)、中/低 (パーセンタイル 30 と 40 のサブ行)、中 (パーセンタイル 50)、中/高 (パーセンタイル 60 と 70 のサブ行)、および高 (パーセンタイル 80、90、99 のサブ行) の行を作成します。
   2. タイトル行に、いくつかの列を作成します: 最初の列は「レベル」というラベルの付いた列(レベル名は以下にリストされています)、2番目の列は「パーセンタイル」というラベルの付いたパーセンタイル(各パーセンタイルは以下にリストされています)、3番目の列以降は、各テーブルで選択された変数のさまざまな条件の名前をリストします。
   3. 前に計算したパーセンタイルのスコア範囲で表に入力します。つまり、パーセンタイル 1 = 0 -、パーセンタイル 4、パーセンタイル 10 = パーセンタイル 5 - パーセンタイル 14、パーセンタイル 20 = パーセンタイル 15 - パーセンタイル 24、パーセンタイル 30 = パーセンタイル 25 - パーセンタイル 34、パーセンタイル 40 = パーセンタイル 35 - パーセンタイル 44、パーセンタイル 50 = パーセンタイル 45 - パーセンタイル 54、パーセンタイル 60 = パーセンタイル 55 - パーセンタイル 64、パーセンタイル 70 = パーセンタイル 65 - パーセンタイル 74、パーセンタイル 80 = パーセンタイル 75 - パーセンタイル 84、パーセンタイル 90 = パーセンタイル 85 - パーセンタイル 94、 パーセンタイル 99 = パーセンタイル 95 -パーセンタイル 99。選択した名義変数または順序変数を使用して、評価スケールごとにこのプロセスを繰り返します。

図15:統計ソフトウェアパッケージ1のすべての項目のスコアを合計して新しい変数を作成します。 (1) 変数の計算 アイコンをクリックします。(2)合計関数を選択します。(3) すべての項目を含む数値式を完成させます。(4) 新しい変数に名前を割り当てます。(5) OK アイコンをクリックします。 この図の拡大版を表示するには、ここをクリックしてください。

結果

この厳格な定性的・定量的検証プロトコルに従って、私たちは、QaSLu (高等教育におけるサービスラーニング体験の自己評価のためのアンケート) という名前の、大学のサービスラーニング経験の自己評価のための堅牢で最適化された倹約的な手段を開発しました。この最終的な手段は、デルファイ法に基づいて16人のSL専門家から定性的承認を受けており、2回のオンライン相談と適応、および確認因子分析による堅牢な定量的検証、および堅牢な重み付けされていない最小二乗因子探索的分析38,41,42SLの専門知識を持つ118人の大学教授のサンプルを使用します。最終的に、この労働集約的で複雑な定性的定量的検証プロセスは、年齢、性別、学力レベル、大学のサービスラーニングの経験、介入における主な役割、受領機関または組織などの変数に適応し、大学人口の比較ベンチマークを確立できる評価尺度の作成で終了しました。 SL活動の主...

ディスカッション

機器の検証に使用される方法には、いくつかの利点があります。デルファイ法は、専門家パネルからの洞察の収集を容易にし、分析のためにこの情報を体系的に整理することを可能にしました。これにより、専門家の推定と提案に基づいて回答を選択し、改良することができました 32,47,48,49。さらに、このアプローチは比較的短い時間枠内で重要な結果をもたらしました⁴⁸。さらに、電子メールで実施されたコンサルテーションラウンドの実行段階では、修正された「オンライン」Delphiメソッドが採用されました。この適応は、従来のデルファイ法 30,31,50,51,52,53 に関連する制限に対処しました。

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
Encuestafacil.com サース	Encuestafacil.com	2025	Encuestafacil.com プライベートデータサーバーのサービスとしてのソフトウェア
因子分析	ロビラ・イ・ヴィルギリ大学	12.06.07	データの要因分析に使用されるソフトウェアパッケージ
社会科学のための統計パッケージ(SPSS)	アイビーエム	24	データの統計分析に使用されるソフトウェアパッケージ