Summary
このプロトコルは、大量の類似性判断を得るための実験的心理物理学パラダイムと、それに付随する分析ワークフローを提示する。パラダイムはコンテキスト効果を調査し、少なくとも5次元のユークリッド空間の観点から類似性データのモデリングを可能にします。
Abstract
類似性判断は、心的表現とその神経相関を研究するために一般的に使用されます。このアプローチは、色、オブジェクト、画像、単語、音など、多くの領域の知覚空間を特徴付けるために使用されてきました。理想的には、すべての刺激のペア間で知覚される類似性の推定値を比較したいかもしれませんが、これはしばしば実用的ではありません。たとえば、被験者に2つの項目の類似度と他の2つの項目の類似度を比較するように依頼すると、比較の数は刺激セットサイズの4乗とともに増加します。別の戦略は、被験者に孤立したペアの類似性を評価するように依頼することです(例えば、リッカートスケール)。これははるかに効率的です(評価の数は、四分位ではなく、設定されたサイズで2次的に増加します)が、これらの評価は不安定で解像度が限られている傾向があり、このアプローチではコンテキスト効果がないことも前提としています。
ここでは、類似性判定の効率的な収集のための新しいランキングパラダイムと、ユークリッド距離モデルがデータを説明するかどうかをテストする分析パイプライン(ソフトウェア提供)が提示されます。典型的な試験は、中央の基準刺激の周りの8つの刺激からなる:被験者は、参照との類似性の順に刺激をランク付けする。各試験で使用される刺激の組み合わせを慎重に選択することにより、このアプローチは一貫性と文脈効果のための内部制御を有する。このアプローチは、最大5次元のユークリッド空間から引き出された刺激について検証された。
このアプローチは、37の単語間の類似性を測定する実験で示されています。各試行では、「B が参照に似ていたよりも A が参照に似ていたか」という形式の 28 のペアワイズ比較の結果が得られます。刺激のペアのすべてのペアを直接比較するには221445試行が必要でしたが、この設計により、222回の試行から得られた5994のそのような比較から知覚空間の再構成が可能になります。
Introduction
人間は、物体認識、ナビゲーション、環境に関する推論など、幅広いタスクを実行するために、入ってくる感覚情報を精神的に処理して表現します。類似性判断は、これらの精神的表現を調査するために一般的に使用されます1。心的表象の構造を理解することは、概念的知識の組織化への洞察を提供することができます2。また、類似性判定を脳の活性化パターンに関連付けることで、神経計算に関する洞察を得ることもできます3。さらに、類似性判断は、知覚において顕著な特徴を明らかにする4。発達中に心表象がどのように変化するかを研究することは、それらがどのように学習されるかを明らかにすることができます5。したがって、類似性判断は、脳内の情報処理に関する貴重な洞察を提供します。
類似性を用いた精神表現の一般的なモデルは、幾何学的空間モデル6,7,8である。感覚領域に適用されるこの種のモデルは、しばしば知覚空間9と呼ばれます。空間内の点は刺激を表し、点間の距離はそれらの間の知覚される非類似性に対応します。類似性の判断から、非類似性の定量的推定値を得ることができます。これらのペアワイズ非類似性(または知覚距離)は、多次元スケーリング10を介して知覚空間をモデル化するために使用することができる。
類似性判断を収集する方法は多数あり、それぞれに長所と短所があります。非類似性の定量的尺度を得る最も直接的な方法は、被験者に刺激の各ペア間の非類似性の程度を尺度で評価するように依頼することである。これは比較的速いですが、被験者が以前の判断に戻ることができず、文脈の影響が存在する場合は検出できないため、長いセッションでは推定値が不安定になる傾向があります。(ここで、コンテキスト効果は、比較されていない他の刺激の存在に基づいて、2つの刺激間の判断された類似性の変化として定義される。あるいは、被験者は、刺激のすべてのペアを他のすべてのペアの刺激と比較するように求めることができる。これにより、非類似性のより信頼性の高い順位付けが得られますが、比較の数は刺激数の4乗でスケールが必要であり、小さな刺激セットでのみ実現可能です。定義済みの数のクラスター11へのソートやフリーソートなど、より迅速な代替手段には独自の制限があります。自由なソート(任意の数の山への)は直感的ですが、刺激が分類に容易に役立たなくても、被験者に刺激を分類することを強制します。より最近のマルチアレンジメント法である逆MDSは、これらの制限の多くを回避し、非常に効率的です12。しかし、この方法では、被験者が自分の心的表現を2Dユークリッド平面に投影し、類似性を特定の幾何学的方法で考慮し、類似性構造が平面上のユークリッド距離から回復できると仮定する必要があります。したがって、判断の根底にある幾何学的形状について仮定することなく、大量の類似性判定を収集する効率的な方法が依然として必要とされている。
ここで説明するのは、合理的に効率的であり、上記の潜在的な落とし穴を回避する方法です。被験者に、各試行13において中央参照との類似度順に刺激をランク付けするように依頼することにより、被験者の応答の幾何学的構造について何も仮定することなく、相対的類似性を直接プローブすることができる。パラダイムは、同一のコンテキストと異なるコンテキストの両方で比較のサブセットを繰り返し、コンテキスト効果の直接的な評価と、選択確率の観点からの段階的な応答の獲得を可能にします。分析手順では、これらのランク判定を複数のペアワイズ比較に分解し、それらを使用して、判定を説明する知覚空間のユークリッドモデルを構築して検索します。この方法は、中程度のサイズ(例えば、19〜49)の刺激セットの表現を詳細に記述するのに適している。
このアプローチの実現可能性を実証するために、37匹の動物を刺激として使用して実験を実施した。データは、10回の1時間のセッションにわたって収集され、次いで、各被験者について別々に分析された。分析の結果、被験者間の一貫性と文脈上の影響はごくわずかであることが明らかになった。また、刺激と知覚空間のユークリッドモデルとの間の知覚された非類似性の一貫性を評価した。この論文で概説したパラダイムと解析手順は柔軟性があり、さまざまな知覚空間の幾何学的特性を特徴付けることに関心のある研究者に役立つことが期待されています。
Subscription Required. Please recommend JoVE to your librarian.
Protocol
実験を開始する前に、すべての被験者は、機関のガイドラインとヘルシンキ宣言に従ってインフォームドコンセントを提供します。この研究の場合、プロトコルはWeill Cornell Medical Collegeの施設内審査委員会によって承認されました。
1. インストールとセットアップ
- GitHubリポジトリ、類似点(https://github.com/jvlab/similarities)からコードをダウンロードしてください。コマンドラインで、git clone https://github.com/jvlab/similarities.git を実行します。- git がインストールされていない場合は、リポジトリから zip 形式のフォルダとしてコードをダウンロードします。
注: リポジトリには、2 つのサンプル実験を含む experiments と、収集された類似性データを分析するための一連の python スクリプトを含む analysis の 2 つのサブディレクトリがあります。実験ディレクトリでは、1つ(word_exp)は単語刺激を使用し、もう1つ(image_exp)は画像刺激を表示します。Python に精通していれば役に立つでしょうが、必ずしもそうである必要はありません。コマンドラインに精通していることを前提としています:複数のステップでは、コマンドラインからスクリプトを実行する必要があります。 - 次のツールをインストールし、仮想環境を設定します。
- python 3:手順についてはリンクを参照してください: https://realpython.com/installing-python/.このプロジェクトには Python バージョン 3.8 が必要です。
- PsychoPy:リンク(https://www.psychopy.org/download.html)から、[インストール]の下の青いボタンを使用して、関連するオペレーティングシステム用のPsychoPyの最新のスタンドアロンバージョンをダウンロードします。このプロジェクトでは、PsychoPyバージョン2021.2を使用しています。提供されたサンプル実験は、以下に指定されているように、正しいバージョンのPsychoPyで実行する必要があります。
- conda: リンク (https://docs.conda.io/projects/conda/en/latest/user-guide/install/index.html#regular-installation) から、Miniconda または Anaconda から、関連するオペレーティング システム用の conda をダウンロードします。
- コマンドラインで、次のコマンドを実行して、必要なPythonパッケージを含む仮想環境を作成します。
cd ~/類似点
conda env create -f environment.yaml - 仮想環境が作成されたかどうかを確認し、次のようにしてアクティブ化します。
conda env list # venv_sim_3.8 がリストされているはずです
Conda は venv_sim_3.8 # をアクティブ化 して仮想環境に入ります
Conda は # を非アクティブ化 して、スクリプトの実行後に仮想環境を終了します
メモ: 環境でのスクリプトの実行は、時間がかかることがあります。スクリプトの実行時にコマンドラインで印刷出力が表示されるまで、最大 1 分かかりますのでご了承ください。
- ダウンロードしたコードが期待どおりに動作することを確認するには、次の手順を使用して、提供されているサンプル実験を実行します。
注: 実験ディレクトリ (類似点/実験) には、単語と画像の 2 種類の刺激を使用して、サンプル実験 (word_exp と image_exp) が含まれています。- サイコパイを開きます。PsychoPyのデフォルトビルダーは.pyのファイルを開くことができないため、[ 表示]に移動し、[ Coder]をクリックします。 [ファイル] に移動し、[ 開く] をクリックして、 word_exp.py (類似点/実験/word_exp/word_exp.py) を開きます。
- 実験を読み込むには、緑色の [ 実験の実行] ボタンをクリックします。イニシャルまたは名前とセッション番号を入力し、「 OK」をクリックします。
- 指示に従って、いくつかの試行を実行して、クリックすると刺激がグレーアウトすることを確認します。終了する準備ができたら 、エスケープ を押します。
注:PsychoPyはフルスクリーンで開き、最初に指示が表示され、次に刺激の言葉の代わりにプレースホルダテキストでいくつかの試行が表示されます。クリックすると、単語がグレー表示されます。すべての単語がクリックされると、次の試行が開始されます。PsychoPyはいつでも エスケープ キーを押すことで終了できます。手順 1.3.2 または 1.3.3 でプログラムが終了した場合、ユーザーのオペレーティング システムがキーボードとマウスへのアクセスを必要とする可能性があります。その場合は、説明的なエラーメッセージがPsychoPy Runnerウィンドウに印刷され、ユーザーをガイドします。 - 次に、プレースホルダー画像で画像実験が実行されることを確認します。サイコパイを開きます。 [ファイル] に移動します。「 開く 」をクリックし、 image_exp.psyexp (類似点/実験/image_exp/image_exp.psyexp) を選択します。
- 正しいバージョンが使用されていることを確認するには、[ 歯車] アイコンをクリックします。[ PsychoPyバージョンを使用する ]オプションから、ドロップダウンメニューから [2021.2 ]を選択します。
- 前と同じように、緑色の [ 実験の実行] ボタンをクリックします。イニシャルまたは名前とセッション番号を入力し、「 OK」をクリックします。
注:ステップ1.3.2と同様に、PsychoPyは最初に命令を表示し、画像がロードされた後に試行をレンダリングします。各トライアルには、中央の画像を囲む8つのプレースホルダ画像が含まれます。画像をクリックするとグレー表示されます。プログラムは、 エスケープを押すことで終了できます。 - 各実験ディレクトリのデータ ディレクトリに移動して、出力を確認します。
類似点/実験/image_exp/データ
類似点/実験/word_exp/データ
注: 実験データはデータディレクトリに書き込まれます。応答.csvファイルには、試行ごとのクリック応答が含まれています。ログファイルには、すべてのキー押下とマウスクリックが含まれています。これは、PsychoPyが予期せず終了した場合のトラブルシューティングに役立ちます。
- 必要に応じて、分析スクリプトが期待どおりに動作することを確認するために、次のように [代表的な結果] セクションの数値の一部を再現します。
- 前処理されたデータ用のディレクトリを作成します。
cd ~/類似点
mkdirサンプル材料/被験者データ/前処理済み - すべての応答.csvファイルの生データを1つのjsonファイルに結合します。コマンドラインで、次のコマンドを実行します。
cd の類似点
コンダはvenv_sim_3.8をアクティブにします
python -m analysis.preprocess.py - プロンプトが表示されたら、入力パラメーターに次の値を入力します: 1) 被験者データへのパス: ./サンプル材料/被験者データ 2), 実験名: sample_word, 3) 被験者 ID: S7.jsonファイルは類似点/サンプル材料/被験者データ/前処理されています。
- データが前処理されたら、プロジェクトREADMEの「図の再現」の手順に従います。これらの分析スクリプトは、後で実行され、ユーザー自身の実験から収集されたデータを分析します。
- 前処理されたデータ用のディレクトリを作成します。
2. カスタム実験の設定によるデータ収集
注: 手順は、手順 3.1 までのイメージと単語の両方の実験について概説されています。このステップの後、プロセスは両方の実験で同じであるため、画像実験は明示的に言及されていません。
- 実行する実験を選択します。「実験」(類似性/実験/word_exp)または画像実験(類似性/実験/image_exp)という単語に移動します。
- 刺激の数を決めます。刺激セットのデフォルトサイズは 37 です。これを変更するには、ソースコードエディタで設定ファイル(類似点/分析/config.yaml)を開きます。解析構成ファイルのnum_stimuliパラメータで、整数kとmの実験計画で要求される刺激サイズをmk + 1に設定します。
メモ: 標準設計では、 k ≥ 3 で、 m = 6 です。したがって、num_stimuliの有効な値には、19、25、31、37、43、および 49 が含まれます (設計の可能な拡張については 、表 1 を参照してください)。 - 実験刺激を確定する。単語の実験を実行している場合は、単語のリストを準備します。画像実験では、新しいディレクトリを作成し、その中にすべての刺激画像を配置します。サポートされている画像の種類は、png と jpeg です。ファイル名の区切り文字としてピリオドを使用しないでください (たとえば、image.1.png は無効ですが、image1.png または image_1.png は有効です)。
- 「実験」という単語を実行する場合は、次のように刺激を準備します。
- 実験/word_expで stimuli.txt という名前の新しいファイルを作成します。このファイルはステップ 3.3 で読み取られます。
- ファイルに、ディスプレイに表示されるように設定された刺激セット内の単語を、各単語を別々の行に書き込みます。単語の横に余分な空行や余分なスペースを入れないでください。参考までにサンプル資料 (類似性/サンプル資料/単語経験資料/sample_word_stimuli.txt)を参照してください。
- 画像実験を実行している場合は、刺激セットへのパスを次のように設定します。
- 実験ディレクトリで、config.yaml (similarities/experiments/config.yaml) という名前の設定ファイルを見つけます。
- ソースコードエディタでファイルを開き、files 変数の値を刺激セットを含むディレクトリへのパスに更新します(ステップ2.3)。これは、PsychoPyが画像刺激を探す場所です。
3. ランキングトライアルの作成
- 刺激.txtファイルを使用します。単語実験を実行している場合は、手順 2.4 で作成したファイルを使用できます。それ以外の場合は、ファイル名のリストを使用します (参考までに、類似点/サンプル材料/画像 - exp 材料/sample_image_stimuli.txtを参照してください)。このファイルを適切な実験ディレクトリ (word_exp またはimage_exp) に配置します。
- 余分な空行や名前のスペースは避けてください。刺激名にはキャメルケースまたはsnake_caseを使用します。
- 次に、試用版の構成を作成します。解析ディレクトリで config.yaml ファイルを開き、path_to_stimulus_listパラメータの値を stimuli.txt へのパス (手順 3.1 で作成) に設定します。
- similarities ディレクトリーから、以下のコマンドを順番に実行してスクリプトを実行します。
cd ~/類似点
コンダはvenv_sim_3.8をアクティブにします
python -m analysis.trial_configuration
コンダの非アクティブ化 # 仮想環境を終了する - これにより、類似点のtrial_conditions.csvと呼ばれるファイルが作成され、各行には試行に現れる刺激の名前と、ディスプレイ内のそれらの位置が含まれます。サンプルtrial_conditions.csvファイル(類似点/サンプル材料)が提供されています。分析スクリプトの入力パラメータの詳細については、プロジェクト README の「使用法」を参照してください。
- similarities ディレクトリーから、以下のコマンドを順番に実行してスクリプトを実行します。
図1:試行の代表例(ステップ3.3)。 (A) 各行には、1 つの試行の詳細が含まれます。ヘッダーは、円の周りの刺激の位置を示します。ref の下の刺激が中央に表示され、刺激 1 から刺激 8 が参照の周囲に表示されます。(B)Aからの最初の試行(行)は、PsychoPyによってレンダリングされ、基準刺激、サルの周りの8つの刺激を表示します。 この図の拡大版を表示するには、ここをクリックしてください。
注: この時点で、1 つの完全な実験実行、つまり 1 つの完全なデータセットに対して 222 回の試行の完全なセットが生成されました。 図1Aは 、上記のスクリプトによって生成された条件ファイルの一部を、単語experimentについて示しています(代表的な結果を参照)。
- 次に、これらの222件の試行をセッションに分割し、試行順序をランダム化します。一般的な設計では、セッションは 111 の試行で構成され、各試行の実行には約 1 時間かかります。
- これを行うには、コマンドラインで次のコマンドを実行します。
コンダはvenv_sim_3.8をアクティブにします
cd ~/類似点
python -m analysis.randomize_session_trials - プロンプトが表示されたら、次の入力パラメータを入力します: ステップ 3.3.2 で作成したtrial_conditions.csvへのパス。出力ディレクトリ;セッションあたりの試行回数: 111;繰り返し回数:5。
注: 繰り返し回数も変更できますが、手順 4 で実施するセッションの数に影響します (「ディスカッション: 実験パラダイム」を参照)。繰り返し回数のデフォルト値を変更する場合は、設定ファイル内のnum_repeatsパラメータの値(類似性/分析/config.yaml)を必ず編集してください。必要に応じて、READMEファイルの「トライアルの作成」セクションの下にある、上記を手動で実行するためのステップバイステップの手順を確認してください。
- これを行うには、コマンドラインで次のコマンドを実行します。
- 生成された各ファイルの名前を変更し、条件.csvとして独自のディレクトリに保存します。推奨されるディレクトリ構造は、類似点/サンプル資料/主題データとプロジェクトREADMEを参照してください。
注: ステップ 4 で概説したように、各実験は標準計画で 5 回、10 時間にわたるセッションでそれぞれ別々の日に繰り返されます。被験者は、疲労を避けるために1日に1回のセッションのみに来るように求められるべきです。異なるサイズの刺激セットに必要な試行回数とセッション数については、 表1 を参照してください。
4. 実験の実行と類似性データの収集
- 被験者にタスクを説明し、指示を与えます。各試験において、被験者は、8つの刺激に囲まれた中心基準刺激を表示し、中心基準との類似性の順に、周囲の刺激をクリックするように求められる、すなわち、最も類似した最初と最も類似していない最後をクリックするべきである。
- 一貫した戦略を使うように言います。10回のセッションの間に同じ刺激の構成を複数回見せることを伝えます。研究が意味情報の表現をプローブする場合は、開始する前に被験者が刺激に精通していることを確認してください。
- 関連する実験ディレクトリに移動します (手順 2.1 を参照)。実験を初めて実行する場合は、被験者の応答を格納する subject-data というディレクトリを作成します。その中に2つのサブディレクトリ(生と前処理済み)を作成します。サブジェクトごとに、サブジェクト・データ/raw内にサブディレクトリーを作成します。
- 手順3で準備した条件.csvファイルを特定のセッション用にコピーし、現在のディレクトリ、つまりpsyexpファイルを含むディレクトリに貼り付けます。条件.csvという名前のファイルが既に存在する場合は、必ず現在のセッションのファイルに置き換えてください。
- PsychoPy を開き、関連する実験のディレクトリにある psyexp または py ファイルを開きます。PsychoPyで、緑色の 再生 ボタンをクリックして実験を実行します。モーダルポップアップで、サブジェクト名または ID とセッション番号を入力します。「 OK」 をクリックして開始します。手順は、各セッションの開始時に表示されます。
- 被験者がタスクを完了するのに約1時間かかります。タスクは自己ペースなので、必要に応じて休憩を取るように被験者に勧めます。被験者がセッションを終了すると、PsychoPyは自動的に終了し、類似点/実験/<画像または単語>_exp/データディレクトリにファイルが生成されます。
- これらをサブジェクト・データ/生/
ディレクトリー (ステップ 4.3 で作成) に転送します。推奨されるディレクトリ構造については、README を参照してください。
メモ: 前述のように、ログファイルはトラブルシューティング用です。PsychoPyが予期せず閉じる最も一般的な原因は、セッション中に被験者が誤って Escape を押したことです。この場合も、最後に完了した試用期間までの試行の応答は、引き続き応答.csvファイルに書き込まれます。 - PsychoPyが予期せず閉じた場合は、再度開いて、試行されていない試行のみを含む新しい条件.csvファイルを作成します。既存のセッションの条件ファイルをこのファイルに置き換えて、実験を再実行します。生成されたファイルは、必ず適切な場所に保存してください。セッションの終了時に、2 つの応答ファイルを手動で 1 つに結合できますが、これは必須ではありません。
- 残りのセッションごとに、手順 4.4 ~ 4.8 を繰り返します。
- すべてのセッションが完了したら、生データファイルを結合し、さらに処理するためにそれらを単一のjsonファイルに再フォーマットします。これを行うには、ターミナルで preprocess.py(類似点/分析/前処理.py)を次のように実行します。
cd ~/類似点
コンダはvenv_sim_3.8をアクティブにします
python -m analysis.preprocess - プロンプトが表示されたら、要求された入力パラメーター (被験者 - データ ディレクトリへのパス、データの前処理に使用する被験者 ID、および実験名 (出力ファイルに名前を付けるために使用) を入力します。 実行キーを押してください。
- 仮想環境を終了します。
コンダの非アクティブ化
注:これにより、出力ディレクトリにjsonファイルが作成され、各試行の繰り返し間で応答が結合されます。類似性データは、サブジェクト・データ/生から読み込まれ、サブジェクト・データ/前処理済みに書き込まれます。
5. 類似性判断の分析
注:被験者は、参照と類似している順に刺激をクリックするように求められ、したがって、各試験におけるランキングを提供する。標準的な実験では、各試行を5回繰り返し、同じ8つの刺激の5つのランク順序を生成します( 図2B参照)。これらのランク判定は、被験者が知覚距離のペアを比較する一連の比較として解釈される。被験者は、クリックするたびに「基準と刺激Aの間の(知覚的な)距離は、基準と刺激Bの間の距離よりも小さいか」という質問をしていると仮定されます。 図2Cに示すように、これにより、各試行の複数のペアワイズ類似度比較の選択確率が得られます。以下の分析では、これらの選択確率を使用します。
図2:順位付け判定から選択確率を求める (A)私たちが行った実験という言葉からの試みのイラスト。(B)複数のセッションの過程で、同じ試験について5つのランク順序が得られた。(C)ランキング判定が表すペアワイズ非類似度比較の選択確率。 この図の拡大版を表示するには、ここをクリックしてください。
- ランク順判定からペアワイズ選択確率を決定します。
- 類似点/分析では、コマンドライン でdescribe_data.py を実行します。
cd ~/類似点
コンダはvenv_sim_3.8をアクティブにします
python -m analysis.describe_data - プロンプトが表示されたら、サブジェクト・データ/前処理済みへのパスと、分析を実行するサブジェクトのリストを入力します。
注:これにより、i)特定の被験者の完全なデータセットの選択確率の分布、ii)被験者のペアの選択確率間の一貫性を評価するヒートマップ、iii)コンテキスト効果を評価するために2つのコンテキストで発生するすべての比較に対する選択確率のヒートマップの3種類のプロットが作成されます。操作的には、これは、リング内の同じ参照と共通の刺激のペアを含むが、リング内の他のすべての刺激では異なる試行のペアで選択確率を比較することを意味します:ヒートマップは、選択確率がこのコンテキストにどのように依存するかを示します。
- 類似点/分析では、コマンドライン でdescribe_data.py を実行します。
- 選択確率を使用して、知覚空間の低次元ユークリッドモデルを生成します。コマンドラインで model_fitting.py を次のように実行します。
cd ~/類似点
コンダはvenv_sim_3.8をアクティブにします
python -m analysis.model_fitting- プロンプトが表示されたら、次の入力パラメーターを指定します: サブジェクト・データ/前処理済みディレクトリーへのパス。刺激の数(デフォルトでは37)。反復回数(モデリング分析を実行する回数)。出力ディレクトリ。ガウスノイズの量(デフォルトでは0.18)。
メモ: このスクリプトの実行には数時間かかります。終了すると、類似度データを記述する1D、2D、3D、4D、および5Dモデルの最適な座標を含むnpyファイルが出力ディレクトリに書き込まれます。さまざまなモデルの対数尤度値を含むcsvファイルが生成されます。
- プロンプトが表示されたら、次の入力パラメーターを指定します: サブジェクト・データ/前処理済みディレクトリーへのパス。刺激の数(デフォルトでは37)。反復回数(モデリング分析を実行する回数)。出力ディレクトリ。ガウスノイズの量(デフォルトでは0.18)。
- 得られたモデルの対数尤度を視覚化し、それらの適合度を評価します。これを行うには、コマンドラインで 類似性/分析/model_fitting_figure.py を実行します。
cd ~/類似点
python -m analysis.model_fitting_figure- プロンプトが表示されたら、必要なパラメータを入力します:ログ尤度を含むcsvファイルへのパス(ステップ5.2から)。
- 生成された図を分析し、Y 軸に対数尤度、X 軸にモデル寸法を表示します。健全性チェックとして、ユークリッド モデルに加えて、ランダム選択モデルと可能な限り最良のモデルという 2 つのモデルが含まれています。
注: ランダム選択モデルでは、被験者がランダムにクリックすることを前提としています。したがって、ランダムよりも優れたモデルの対数尤度の絶対下限を提供します。同様に、対数尤度(最良とラベル付け)の上限として、経験的選択確率をモデル確率として使用するモデルの対数尤度があります。 - 最良のモデルは設計上、過剰適合であり、幾何学的考慮事項によって制約されていないため、ユークリッド モデルが最適なモデルよりも優れていることを確認します。プロットされた尤度が、最適な対数尤度を基準にしていることを確認します。
- 各被験者の知覚空間を視覚化します。最初の2つの主成分に投影された5Dモデルの点を示す散布図を生成します。これを行うには、コマンドラインで 類似点/分析/perceptual_space_visualizations.py を実行します。
cd ~/類似点
python -m analysis.perceptual_space_visualizations- プロンプトが表示されたら、サブジェクト ID (スペースで区切られたもの) と、ステップ 5.2 で取得した 5D ポイントを含む npy ファイルへのパスというパラメータを入力します。
- スクリプトの実行が完了したら、仮想環境を終了します。
コンダの非アクティブ化
注: このスクリプトは、類似性判断を視覚化するためのものです。5D ポイントを最初の 2 つの主成分に投影し、等分散を持つように正規化することによって、2D 散布図を作成します。被験者がそれらをあまり類似していないと考え、 その逆もすると、2つのポイントはより遠くなります。
Subscription Required. Please recommend JoVE to your librarian.
Representative Results
図 1A は、ステップ 3.3 のスクリプトによって生成された条件ファイルの一部を、単語実験用に示しています。各行は試行に対応します。ref 列の刺激がディスプレイの中央に表示されます。列名 stim1 から stim8 は、中央参照の右側の位置から始まる反時計回りに走る円に沿った 8 つの位置に対応します。「実験」という単語からのサンプル試行を図 1B に示します。
実現可能性と再現性を実証するために、刺激セットが37匹の動物の名前で構成された実験が行われました。研究の一環として、視力が正常な8人の健常者から完全なデータセットが収集された。この方法を実証するために、これらの被験者のうち3人からのデータがここに示されており、そのうちの2人は研究の目的に素朴であった。インフォームドコンセントは、ヘルシンキ宣言とワイルコーネル医科大学の制度ガイドラインに従って取得されました。
データ収集後、上記で概説した初期処理(プロトコルステップ4.10〜4.12)が実行された。各試行における被験者の応答は、周囲のリング内のすべての対の刺激について、「基準とs1の間の距離は、参照とs2の間の距離よりも小さいか?」という形式の独立したバイナリ選択のセットとして解釈された。ランク判定は、 図2Cに示すように、このようなペアワイズ選択に分解された。
図3Aは、被験者間で高度に一貫性があったこれらの選択確率の分布を示しています(プロトコルステップ5.1)。各試行が5回繰り返されたため、選択確率は0、0.2、0.4、0.6、0.8、および1の値をとった。最も頻度の高い選択確率は0および1であり、各被験者のすべての決定の50%〜70%に相当する。これらは、毎回1つの選択肢が選択される判断です。たとえば、s1 と s2 の間の距離を s1 と s3 の間の距離よりも小さいと判断すると、5 回のうち 0 回は選択確率 0 に相当します。この判断を5回のうち5回行うことは、選択確率1に相当します。特に、図3Bの各パネルの対角線付近のデータのクラスタリングによって見られるように、極端にない判定であっても、被験者間の選択確率には大きな一貫性があります。
次に、コンテキスト効果を評価した。これは、実験計画の重要な特徴のために可能であった:基準刺激の多くのトリプレットと2つの比較刺激s1 およびs2 は、2つのコンテキストで繰り返される(すなわち、刺激アレイを完成させるために6つの他の刺激の別個のセットを有する)。次に、各ペアワイズ比較の選択確率を、各コンテキストで別々に表にした。 図 4 の優勢な対角線は、各被験者について、2 つのコンテキストにおける選択確率 (0 と 1 の中間にある選択確率を含む) がほぼ同一であることを示しています。選択確率がコンテキストに大きく依存している場合、それらは強く相関しておらず、この対角線は目立たないでしょう。
文脈的効果も統計的尺度によって評価された。コンテキスト効果の尺度は、次のように構成される。最初のステップは、観測されたデータセットの不均衡統計量を計算することであり(以下で詳述)、観測された判断が文脈に依存するように見える程度を定量化する。次に、実際のデータと同じ試行構成、試行回数、および全体的な選択確率を持つが、観察された判断を2つのコンテキストにランダムに割り当てることによって、コンテキスト効果を含まない方法で生成された10000のシミュレーションデータセットを構築します。次に、観測された応答に対して行ったのと同じように、これらのシミュレートされたデータセットの不均衡統計量を計算します。最後に、観測された応答の不均衡統計量とシミュレートされたデータセットの不均衡統計量を比較して、観測された不均衡がコンテキスト効果のないデータセットから得られた可能性がある確率を判断します。経験的p値が<0.05の場合、コンテキスト効果が存在することが示唆されます。 図4のデータでは、p値は0.98、0.30、0.33であり、S4、S7、S9ではそれぞれ、すなわち、すべての値が0.05>であった。
データセットの不均衡統計量は、2 つのコンテキストで発生するすべてのトライアドに対する寄与度の合計として計算されます。各トライアドの寄与度 (たとえば、d(ref, s1) と d(ref, s2) の比較) は次のように決定されます。 まず、このトライアドの判断は 2 x 2 の表に集計されます。列は 2 つのコンテキストに対応するため、列の合計は、そのコンテキスト内のプレゼンテーションの合計数によって制限されます。行は、d(ref, s1) < d(ref, s2) または d(ref, s1) > d(ref, s2) の代替判断のカウントに対応するため、行の合計は、コンテキスト間で合計された、観察された選択肢によって制約されます。両側フィッシャー正確検定14は、行と列(判定とコンテキスト)の間に観測された(またはそれ以上の)交互作用を持つ表が実際に存在しない場合に見られる確率を生成するので、この確率の負の対数を、全体的な不均衡統計量に対するこの三つ組の寄与として使用します。したがって、負の対数を合計して全体的な不均衡統計量を作成すると、コンテキスト効果なしの帰無仮説の下で、トライアド間で観測された不均衡の共同確率がキャプチャされます。
動物名の精神表現をモデル化するために、1、2、3、4、および5次元の知覚空間のユークリッドモデルを最尤法を用いて導出した。被験者の応答は、推定の誤差を表す加法ガウスノイズ、すなわち決定段階でのノイズと2つの距離の比較を反映した決定としてモデル化された。 図 5 は、5 つのユークリッド モデルの対数尤度 (決定ごと) を示しています。対数尤度は、最良のモデル、すなわち、観察された選択確率を各比較に割り当てるモデルの対数尤度に対して相対的に示され、これらの確率を幾何学的考慮によって制約するものではない。これらの対数尤度を視野に入れるために、ランダム選択モデルの対数尤度も示されます。これは、モデルのパフォーマンスの下限として機能します。モデルの適合度は、ディメンションが追加されるたびに向上します。最大のジャンプは 1D モデルと 2D モデルの間であり、単純な 1D モデルではデータを完全に説明できないことを示しています。しかし、寸法4~5の周りのプラトーは、5Dモデルでさえ類似性判定を説明する距離を完全には捉えていないことを示しています。アプローチを検証するために、パイプラインもシミュレートされたデータに対して実行されました。別々の実験をシミュレートして、それぞれ1D、2D、3D、4D、5D空間から描画された点間の類似性判定を生成しました。いずれの場合も、このメソッドは次元を正しく識別しました。さらに、正しい次元性を持つモデルは、モデルから得られたグランドトゥルース対数尤度と一致する対数尤度を生成しました。
最後に、知覚空間モデル内の点の編成が視覚化されました。図6は、1人の被験者、S7についてのこれらのデータを示す。主成分分析(PCA)は、知覚空間の5Dモデルからの点に対して実行された。最初の2つの主成分と第1と第3の主成分にそれぞれ投影された点を図6Aと図6Bに示し、軸は等分散のために正規化されています。実験的に得られた類似性判定に整合した点間の距離:類似として知覚された動物は、互いに近接した点によって表された。
図 3: サブジェクト間の一貫性 (A)すべてのペアワイズ比較のための3つの被験者にわたる選択確率の分布。(B)被験者のペア間での同じペアワイズ比較の選択確率。カラーバーは、独立した関節確率に対する観測された関節確率の比率を示す。主対角線に沿った高い値は、被験者間の一貫性を示します。 この図の拡大版を表示するには、ここをクリックしてください。
図 4: コンテキスト効果 3 つの被験者のそれぞれについて、2 つのコンテキストで行われたすべてのペアワイズ比較の選択確率。A は任意に、トライアドが提示された 1 つのコンテキストを参照し、B は他のコンテキストを参照します。カラーバーは、独立した関節確率に対する観測された関節確率の比率を示す。メインの対角線に沿った高い値は、コンテキスト効果がないことを示します。 この図の拡大版を表示するには、ここをクリックしてください。
図5:モデル適合解析の結果 異なる次元のモデルおよびランダム選択(下限)モデルの相対対数尤度(3つの被験者について示されている)。相対対数尤度ゼロは、選択確率が幾何学を考慮せずに経験的選択確率と一致する最適モデルの対数尤度に対応します。 この図の拡大版を表示するには、ここをクリックしてください。
図6:1つの被験者の知覚空間(S7)をより詳細に。 モデリングから得られた 5D 座標の射影は、(A) の最初の 2 つの主成分と (B) の第 1 主成分と第 3 主成分に投影されます。軸は、各軸に沿った分散が等しくなるようにスケーリングされます。 この図の拡大版を表示するには、ここをクリックしてください。
表 1: パラメーター・セットの例 実験パラダイムは、刺激、試行、およびペアワイズ比較を少なくまたは多くするように変化させることができる。太字の行は、使用したパラメーターを示します。 この表をダウンロードするには、ここをクリックしてください。
表 2: analysis/config.yaml および experiments/config.yaml のパラメータ。 この表をダウンロードするには、ここをクリックしてください。
Subscription Required. Please recommend JoVE to your librarian.
Discussion
ここで概説したプロトコルは、視覚的に提示できる刺激に対する類似性判定を取得・分析するのに有効である。実験パラダイム、分析、および可能な拡張が最初に議論され、後でこの方法の長所と短所が議論される。
実験パラダイム:提案手法は,37匹の動物名のドメインを用いて実証され,ステップ5の解析に従い,図3~図6の一部を再現できるように,知覚的判断のサンプルデータセットを提供する(プロトコルステップ1.4)。実験計画は、これらの37個の刺激を222回の試行(それぞれが中心に基準刺激を含み、周囲のリングに8つの比較刺激を含む)にグループ化し、いくつかの基準が成り立つようにする:a)37個の刺激のそれぞれが基準として等しい回数(6回)の回数(222 = 37×6)、b)刺激が基準である6回の試行にわたって、 残りの36個の刺激の全てが、少なくとも1回は比較刺激として使用され、c)24個の刺激は、所与の基準とのちょうど1回の比較において生じ、d)6対の刺激は、2つの別々の試行において基準と共に現れる。6組の比較刺激が各基準刺激に対して別々のコンテキストで発生するというパラダイムのこの側面は、ステップ5でコンテキスト効果をチェックすることを可能にする(図4参照)。この標準計画は、「s1への参照の類似度がs2への参照の類似度よりも大きいか小さいか」という形式の6216 = 222×28の比較を生成します。この効率が可能なのは、222 回の試行のそれぞれで 8 つの類似度のランク付けが行われ、8 つの類似度で 28 のペアワイズ比較が生成されるためです。これらの 6216 個の比較のうち、222 個が繰り返され、5994 個の一意の比較が得られます。
刺激領域が選択されると、次に重要な設計上の決定事項はサンプル数です。多くの代替設計が可能であり(表1)、刺激が異なるコンテキストで繰り返される方法に関する他の選択肢もある。図4で述べたように、各試行内には、参照と2つの周囲の刺激を含むトリプレットがあり、それらは他の1つの試行で一緒に現れる。共通の参照を持つ別の試行(この場合は2に等しい)とオーバーラップする周囲の刺激の数は、解析コンフィギュレーションファイルのオーバーラップパラメータによって制御されます。このパラメータを増やすと、2つの試行間でより多くの刺激が共有され、距離ランキングのより広範な比較が可能になります(たとえば、「s1はs2よりも参照に似ており、s2はs3よりも似ていますか?」など)。このパラメータと他のパラメータの値を異ならせて可能な他の実験計画の例については、表1を参照してください。すべてのパラメーター、パラメーターが制御する内容、およびパラメーターを変更する場所について詳しくは、表 2 を参照してください。特に、画像および単語実験のパラメータnum_images_per_trialおよびnum_words_per_trialをそれぞれ変更することによって、各試行において基準の周りに現れる刺激の数を変更することも可能である。サラウンドのサイズを大きくすると、試行ごとの比較の数が増え、研究コンテキストの効果が向上します。これを減らすと、タスクの複雑さが軽減されます。試行における比較刺激の数(Ncircle)、実験における刺激の数(Nstim)、試行の数(N試行)、一意の比較の数(Ncomparisons)、および繰り返し比較の数(Nrepeated)は相互に関連しており、前述の試行間の重複のサイズ(Noverlap)を基準刺激当たりの試行回数(k)とする。刺激セットサイズは、任意の整数であるmによって決定される。これらの関係を以下に示します。
パラダイムとデータ収集手順には、交絡を最小限に抑えるのに役立つその他の詳細があります。刺激の配置と試行順序をランダム化すること(ステップ3.4)は、セッションが繰り返される場合でも、被験者が刺激の配置における空間的または時間的パターンを認識し始めないようにするために重要である。また、類似性を測定する方法(ステップ4)について被験者に直接手がかりを与えないことも重要です。彼らは、特定の実験の文脈で類似性が彼らにとって何を意味するのかを決めるべきです。ただし、被験者が実験を完了した後に報告することは、被験者間で所見がどのように異なるかを理解するのに役立つ可能性があるため、有用です。何らかの理由でセッションが破損または中止された場合は、すべての試行が等しい回数完了するように、セッション全体を削除することをお勧めします。
類似性データの分析: 実験では、試行ごとに、Ncircle比較刺激と参照との間の類似性の順位付けが得られます。刺激のペアの比較に分解すると、これらの試行は、一意の比較のそれぞれについて選択確率を生成します。次に、選択確率を分析して、知覚空間の幾何学的モデルを検索する(プロトコルステップ5)。この解析では、ユークリッド空間における刺激 d(si, sj) 間の距離の観点から選択確率を説明しようとします。つまり、目標は、s2の前にs1をクリックする選択確率が、被験者がd(ref, s1)をd(ref, s2)と判断した確率を反映するように、各刺激に座標を割り当てるこ<です。このフィッティング手順は、いくつかの新しい要素を持っているため、およびユーザーがそれを変更できるようにするために、ここで説明されています(プロトコルステップ5.2)。
この分析は多次元スケーリングの問題の一種ですが、いくつかの際立った特徴があります。まず、データは、距離の推定値ではなく、非類似性判定のランク順を提供します。第 2 に、データセットは広範ではありますが、ペアワイズ距離のすべての可能な比較のサブセットのみが含まれています。最後に、目的は選択確率を説明することであり、どの距離が大きいかのバイナリ決定だけではありません。これらの考慮事項を念頭に置いて、モデル予測された選択確率が実験的に観察された選択確率をもたらす可能性が最も高い場合に、その値が最小になるようにコスト関数が選択されます。したがって、これは、モデルの下で観察された選択確率の負の対数尤度として定義され、ペアワイズ比較の総数によって正規化され、前の研究から適応されています15:
ここで、N0 = N比較。Nrepeats、およびNrepeatsはプロトコルの繰り返し回数(すなわち、各一意の試行が繰り返される回数)であり、
ここで、srは試行における基準刺激、siおよびsj、およびsrの周りのリング内の刺激を示す。P(d(sr, si)
刺激座標をモデル選択確率と結びつけるために、被験者は、試行でクリックする2つの刺激の中から選択するとき、基準に対する相対距離、すなわちd(sr、si)とd(sr、sj)の内部比較を行うと仮定します。これらの距離は、(デフォルトでは)刺激sr、si、sjに割り当てられた点間の通常のユークリッド距離です。さらに、この精神的な比較には内部ノイズがあると考えられており、標準偏差σの加法ガウス源としてモデル化し、Maloneyらによって1次元ドメインに導入され、多次元ドメインにも使用されるモデル15。モデル選択確率は、次式で座標に関連付けられます。
内部ノイズσは、解析設定ファイル内のシグマを変更することで制御できます。一連の刺激座標でアルゴリズムを初期化するために、ランク順判定を使用して近似距離のセットを取得し、次に標準の多次元スケーリング10をこれらの距離に適用して初期座標を取得しました。これらのおおよその距離は、刺激の各ペアの勝敗を集計することによって決定された。つまり、データ内のすべてのペアワイズ比較を見ると、距離d(sr、sk)が別のd(sr、sn)よりも大きいと判断されるたびに、より大きな距離d(sr、sk)に対して勝利が記録され、d(sr、sn)に対して損失が記録されます。).核心的な考え方は、2つの刺激間の距離が大きいほど、(勝利の点で)別の距離よりも大きいと判断されることが多く、その逆も同様であるということです。すべての比較を反復処理し、刺激の各ペアの勝敗を表にした後、距離推定値は次のように計算されます。
これが完了すると、座標の初期セットは、標準メトリック多次元スケーリングを dinit (si、sj) に適用することによって決定されます。
このように説明した最小化ルーチンは、独立して実行され、1、2、3、4、および 5 次元のモデルを取得します。いずれの場合も、推論された刺激点の最適座標、ならびにコスト関数の値、すなわち、経験的選択確率の負の対数尤度が返される。対数尤度は、式1と同様に計算される、可能な限り最良の対数尤度を基準として 図5にプロットされます。
,
すべての比較のために。サニティチェックとして、 図5では、ランダムモデル対数尤度と、モデルの性能を判断するための下限もプロットされている。ランダム選択対数尤度を計算するとき、我々は
すべての比較のために。
可能な拡張: まず、前述のように、実験パラダイムは、異なるサイズの刺激セットに対応するように変更することができ、リング内の刺激の数を変更して、試行ごとに異なる数のペアワイズ比較をもたらすことができる( 表 1参照)。
第二に、非ユークリッド距離メトリックを分析に利用することが有用であり得る。たとえば、ある研究では、都市ブロックのメトリックが表面の明度と照明の知覚空間をよりよく表していることがわかりました18。提案された方法は一般化することができるので、他の距離メトリック(例えば、都市ブロック距離、ミンコフスキー距離、双曲線距離19)を有するモデルは、類似性データに適合する。これを行うには、提供されたコードを変更し、別の距離メトリックを実装する必要があります。必要な主な変更は、ファイルの 類似性/分析/dist_model_ll_vectorizedの105行目(関数名:pairwise_likelihood_analysis.py)です。
強みと限界: 提案されたアプローチの主な強みは、さまざまな刺激セットサイズ、さまざまな比較数、繰り返し数、または試行ごとの刺激数、およびコンテキスト効果を測定するためのさまざまな重複セットサイズを使用して実験を設計するための柔軟なフレームワークを提供することです。試行間のオーバーラップのサイズと試行内のサラウンドのサイズを変更することで、類似性判定におけるコンテキストの役割を探りながら、試行ごとに多数のペアワイズ類似性判定を得ることができます。この方法は、類似性データを収集するための以前の実験パラダイムの多くの制限に対処する。例えば、配置ベースの方法12,20(刺激を2次元ユークリッド平面上に配置し、類似の項目を一緒に配置し、異なる項目を別々に配置する必要がある)やソート方法(刺激を山に分類する必要がある)とは異なり11、ランク付け方法は被験者にその内部表現を幾何学的構造に投影するように促さない。いくつかの過去の方法のもう一つの制限 - 例えば、2つの刺激が迅速な認識タスク21で互いに混同されている場合、それらが類似していると考えられる混同行列 - は、それらが等級化された尺度をもたらさないことである。この方法は、段階的な尺度、すなわち選択確率をもたらす。
上で強調したように、収集方法は、内部表現がユークリッド空間であると仮定しないという点で柔軟である。ここで、解析方法はユークリッドモデルのみをテストします。ただし、ソースコードにローカライズされた変更を加えることで、非ユークリッドモデルを含むように拡張することもできます。ただし、モデリングフレームワークは、コンテキスト効果を考慮に入れるようには設計されていません。それらが重要であれば、それは引き出すことができる結論に警告を置くでしょう。
提案された方法は、ペア比較アプローチよりも時間効率が良い。パラダイムの各試行には約30秒かかり(被験者は1時間に111回の試行を行い)、1時間あたり111×28 = 3108回の比較が得られます。単一比較試行では、1 回の試行につき 3 秒未満かかる可能性は低く、1 時間あたり 1200 回の比較が行われます。さらに、効率の2番目のレベルがあります:現在のアプローチでは、すべてのペアワイズ距離の比較は必要ありません。原稿の例では、ペアワイズ距離の完全なセットは221445の比較に相当しますが、現在のアプローチでは、5994の一意の比較のまばらなサブセット(それぞれが5回または10回繰り返される)で類似性データをモデル化するのに十分です。しかし、この方法は効率的ではありますが、依然として時間がかかり、被験者からのかなりのコミットメントが必要です。その結果、データが被験者間でプールされない限り、何百もの刺激のセットに対して実行可能なアプローチではありません。最後に、このアプローチは非視覚的刺激に直接適用できない。
Subscription Required. Please recommend JoVE to your librarian.
Disclosures
著者らは開示するものは何もありません。
Acknowledgments
この研究は、国立衛生研究所(NIH)からの資金提供、助成金EY07977によって支えられています。著者らはまた、ソフトウェアのテストに協力してくれたウスマン・アイヤズと、原稿に対する彼のコメントに対するムハンマド・ナイエム・アイヤズに感謝したいと思います。
Materials
| Name | Company | Catalog Number | Comments |
| Computer Workstation | N/A | N/A | OS: Windows/ MacOS 10 or higher/ Linux; 3.1 GHz Dual-Core Intel Core i5 or similar; 8GB or more memory; User permissions for writing and executing files |
| conda | Version 4.11 | OS: Windows/ MacOS 10 or higher/ Linux | |
| Microsoft Excel | Microsoft | Any | To open and shuffle rows and columns in trial conditions files. |
| PsychoPy | N/A | Version 2021.2 | Framework for running psychophysical studies |
| Python 3 | Python Software Foundation | Python Version 3.8 | Python3 and associated built-in libraries |
| Required Python Libraries | N/A | numpy version: 1.17.2 or higher; matplotlib version 3.4.3 or higher; scipy version 1.3.1 or higher; pandas version 0.25.3 or higher; seaborn version 0.9.0 or higher; scikit_learn version 0.23.1 or higher; yaml version 6.0 or higher | numpy, scipy and scikit_learn are computing modules with in-built functions for optimization and vector operations. matplotlib and seaborn are plotting libraries. pandas is used to reading in and edit data from csv files. |
References
- Edelman, S.
- Hahn, U., Chater, N. Concepts and similarity. Knowledge, Concepts and Categories. , The MIT Press. 43-84 (1997).
- Kriegeskorte, N., Kievit, R. A. Representational geometry: integrating cognition, computation, and the brain. Trends in Cognitive Sciences. 17 (8), 401-412 (2013).
- Hebart, M. N., Zheng, C. Y., Pereira, F., Baker, C. I. Revealing the multidimensional mental representations of natural objects underlying human similarity judgements. Nature Human Behaviour. 4 (11), 1173-1185 (2020).
- Deng, W. S., Sloutsky, V. M. The development of categorization: Effects of classification and inference training on category representation. Developmental Psychology. 51 (3), 392-405 (2015).
- Shepard, R. N. Stimulus and response generalization: tests of a model relating generalization to distance in psychological space. Journal of Experimental Psychology. 55 (6), 509-523 (1958).
- Coombs, C. H. A method for the study of interstimulus similarity. Psychometrika. 19 (3), 183-194 (1954).
- Gärdenfors, P. Conceptual Spaces: The Geometry of Thought. , The MIT Press. (2000).
- Zaidi, Q., et al. Perceptual spaces: mathematical structures to neural mechanisms. The Journal of Neuroscience The Official Journal of the Society for Neuroscience. 33 (45), 17597-17602 (2013).
- Krishnaiah, P. R., Kanal, L. N. Handbook of Statistics 2. , Elsevier. (1982).
- Tsogo, L., Masson, M. H., Bardot, A. Multidimensional Scaling Methods for Many-Object Sets: A Review. Multivariate Behavioral Research. 35 (3), 307-319 (2000).
- Kriegeskorte, N., Mur, M. Inverse MDS: Inferring dissimilarity structure from multiple item arrangements. Frontiers in Psychology. 3, 245 (2012).
- Rao, V. R., Katz, R. Alternative Multidimensional Scaling Methods for Large Stimulus Sets. Journal of Marketing Research. 8 (4), 488-494 (1971).
- Hoffman, J. I. E. Hypergeometric Distribution. Biostatistics for Medical and Biomedical Practitioners. , Academic Press. 179-182 (2015).
- Victor, J. D., Rizvi, S. M., Conte, M. M. Two representations of a high-dimensional perceptual space. Vision Research. 137, 1-23 (2017).
- Knoblauch, K., Maloney, L. T. Estimating classification images with generalized linear and additive models. Journal of Vision. 8 (16), 1-19 (2008).
- Maloney, L. T., Yang, J. N.
- Logvinenko, A. D., Maloney, L. T. The proximity structure of achromatic surface colors and the impossibility of asymmetric lightness matching. Perception & Psychophysics. 68 (1), 76-83 (2006).
- Zhou, Y., Smith, B. H., Sharpee, T. O.
- Goldstone, R. An efficient method for obtaining similarity data. Behavior Research Methods, Instruments, & Computers. 26 (4), 381-386 (1994).
- Townsend, J. T. Theoretical analysis of an alphabetic confusion matrix. Perception & Psychophysics. 9, 40-50 (1971).
