知覚と知覚学習を研究するためのオブジェクトとオブジェクトのカテゴリを作成する

この手順は、視覚や触覚によってオブジェクトをどのように認識し、知覚することを学ぶかを研究するためのオブジェクトとオブジェクトカテゴリを作成することを目的としています。まず、仮想形態形成(VM)を使用して、初期胚発生のプロセスをシミュレートし、デジタル胚と呼ばれる新しい自然主義的な仮想3Dオブジェクトを作成します。次に、仮想phy agenesisまたはVPオブジェクトカテゴリを使用して、入力されたデジタル胚に基づいて正確に定義された統計的特性でオブジェクトカテゴリが作成されます。

必要に応じて、主成分解析を使用して、仮想形態形成および仮想物理無形成によって作成された仮想オブジェクト間に追加の形状バリエーションを作成できます。特定のオブジェクトが特定のカテゴリに属する可能性は、特徴ベースのベイズ推論を使用して正確に計算できます。必要に応じて、得られた仮想オブジェクトの触覚プリントを3Dプリンターを使用して生成できます。

これらの各方法については、後で詳しく説明します 既存の方法と比較します。これらの新しいアプローチは、自然でありながら正確に測定可能な形状のバリエーションを生み出し、研究者が課す制約を必要とせずに生じます。彼らは、視覚および触覚知覚、知覚学習、およびマシンビジョンの分野で新しいツールを提供し、視覚触覚クロスメタルトレーニングを通じて多くの種類の視覚障害のリハビリテーションに応用できる可能性があります。

興味深いことに、この方法は、形態形成と進化のプロセス自体を研究するためにも適用できます、そして、私たちが最初にこの方法のアイデアを持っていたのは、研究と計算視覚のための自然主義的でありながら正確に定義可能な視覚刺激を生成する方法を探していたときでした。当初、この方法を通じて知っていた個人は、数学とプログラミングを集中的に使用する側面に苦労する可能性があるため、この視覚的なデモンストレーションでは、この方法を適切に実装して使用する方法を示します。デジタル胚ワークショップで、単一の胚を生成するための一連の設定または遺伝子型を指定して、複数の胚を生成します。

このプロセスを複数回繰り返して、仮想形態形成によってより複雑な形状を生成します。成長サイクルの数を増やして、胚の細胞が分裂する回数を指定します。デジタル胚ワークショップでは、各胚をOBJファイルとして自動的に保存するため、後で商用の3Dモデリングツールキットで胚を使用することができます。

向き、サイズ、照明、表面テクスチャ、背景などのさまざまな標準グラフィカルパラメータを設定して、オブジェクトカテゴリを生成することにより、視覚刺激を生成します。先祖オブジェクトの子孫を階層的に作成します。また、モーフィングを使用して形状をスムーズに変化させながら、オブジェクト間の頂点の 1 対 1 の対応を維持することもできます。

興味深いことに、デジタル胚以外の仮想オブジェクトも、仮想phy agenesisへの入力として使用できます。特定のカテゴリ内のオブジェクトを選択して、特定のフィーチャの分布を実現します。たとえば、サイズが異なる 2 つのカテゴリを作成する場合は、中サイズのオブジェクトを選択的に除外して、オブジェクト サイズの二峰性分布を生成します。

次に、共音声相関などの利用可能な系統発生方法を使用して、特定のカテゴリのペア間の類似性を客観的に測定します。これらの計算は、MATLABやRなどの一般的に利用可能な解析ツールキットを使用して、1つのオブジェクトの各頂点が他のオブジェクトの1つの頂点に正確に対応する任意のオブジェクトのペアに対して実行できます。補間ポイントを選択し、2つのオブジェクト間で線形モーフィングを使用して、対応する頂点間をスムーズに補間します。

まず、主成分を特定のオブジェクトセットの特定の記述子として決定します。主成分は、MATLAB または R 平均、すべての N 個の入力オブジェクトにわたる各頂点の座標を使用して計算して平均オブジェクトを生成し、任意の成分 P に対応する egen 値 lambda と目的の重み wj を乗算し、平均オブジェクトに加算して新しいオブジェクトを生成できます。AjはWJを滑らかに変化させ続け、与えられた主成分に沿って滑らかな形状のバリエーションを作り出します。

形状の多次元グリッドを作成するには、いくつかの主要コンポーネントのそれぞれに一連の重みを使用します。3Dプロトタイプを使用して3Dオブジェクトを印刷します。必要に応じて、オブジェクトのサイズを調整し、オブジェクトの表面を滑らかにして、印刷を最適化します。

視覚処理における重要なタスクは、特定の観測対象が属するカテゴリを推測することです。部分的には、オブジェクトの既知の特徴に関する情報を使用することにより、デジタル胚が有用です。この推論プロセスを調べるとき、分類タスクがバイナリであると仮定しましょう。

つまり、可能なカテゴリは2つだけであり、私たちのタスクはカテゴリKをカテゴリLと区別することを含み、Cをカテゴリ変数とし、CはKに等しい、またはCはLに等しく、観測された画像IがそれぞれカテゴリKまたはLに属しているかどうかに応じて行います。バイナリ特徴 F が 1 つだけあると仮定して、イメージ内の情報に基づいてカテゴリが K である確率を計算します。同様に、カテゴリが L である確率については、確率が高いカテゴリを選択します。

たとえば、この情報フラグメント機能としきい値 0.69 から開始します。タスクは、この特徴が道路 G 3 の右端の画像のような特定の画像に存在するかどうかを判断することです。まず、テンプレートを画像内のすべての可能な場所にスライドさせ、各場所で計算し、テンプレートと基になるサブ画像との間の正規化された相互相関の絶対値を計算します。

次に、最も高い値を持つ画像の場所を選択します。この値がしきい値を超えている場合は、機能が存在すると結論付け、そうでない場合は存在しないと結論付けます。特徴ベースの推論のフレームワーク内では、オブザーバーが画像から抽出するすべての情報が、この特徴の値に含まれていると仮定します。

したがって、タスクは、与えられた画像内のFの値を決定することになり、その値Fの確率を計算し、確率の高いカテゴリを選択します。これは、関連するすべての確率をまとめるためのベイズフレームワークです。2 つの方程式の分母は同じであるため、分子に注意を限定することに注意してください。

フラットな事前確率、つまり両方のカテゴリが先験的であると仮定します。同様に、タスクは、特定のカテゴリ C の画像内の特定の特徴値の確率の確率を計算することである可能性が 1 つあります。たとえば、カテゴリ L の 6 つの画像を例に使用して、特徴がカテゴリ L の画像に存在する確率を計算します。まず、各画像について L に属するすべてのトレーニング イメージを取ります。 特徴値が 1 であるか (イメージに特徴が存在するか、0 で特徴が存在しないか) を判定します。次に、特徴値が 1 であるイメージの割合を計算します。

したがって、正確な推定のためには、カテゴリ L の画像に特徴が存在する確率は 0.33 であり、カテゴリごとに少なくとも 30 個の画像を使用します。典型的な実験では、この確率の被験者の内部推定値を知る必要があります。デジタル胚を使用すると、これが特に簡単になることに注意してください。

私たちは被験者のデジタル胚への曝露を完全に制御しているため、被験者の内部的に計算された値が私たちの推定値と一致しており、制御されていない未知の以前の経験の影響を受けていないことを確認できます。同様に、カテゴリ K と L におけるイメージの不在と存在の確率を計算します。これらの値を考えると、この新しいイメージのカテゴリ ラベルを識別するための推論を実行できます。まず、非正規確率とちょうど計算した値について決定された前の式を使用して、特徴Fが画像に存在するかどうかを判断し、カテゴリKおよびLの画像内に存在する確率を計算します。これらのデータは、画像がカテゴリKからのものであることを示しています。比較的低い信頼性ではありますが、仮想形態形成は新しい3D形状の無限の供給を提供します。

ここでは、生物学的胚形成の主要なプロセスをシミュレートすることにより、デジタル胚が生成されます。各ランは二十面体から始まり、ユニークな胚を生成します。モルフォゲンの設定に基づいて、デジタル胚をグラフィカルに操作し、標準的なグラフィカルツールキットを使用して任意の複雑さのビジュアルシーンを作成できます。

たとえば、同じデジタル胚を異なるテクスチャリングで、必要に応じて照明を当てることができます。さらに、同様のテクスチャの背景に対してデジタル胚がカモフラージュされたこのシーンのような任意の複雑さの視覚的なシーンは、市販の3Dモデリングおよびレンダリング環境を使用して作成できます。仮想phy無形成アルゴリズムは、生物学的進化をエミュレートします。

仮想phy無形成アルゴリズムは、生物学的進化をエミュレートします。新しいオブジェクトとオブジェクトのカテゴリは、選択的に蓄積する遺伝的なバリエーションとして現れますが、それらが発展するにつれて独自の形状バリエーションが発生します。この特定の例では、1 つの共通の祖先である二十面体は 3 世代の子孫を生成します。

二十面体からジェネレーションGまでは、セルの数を増やすことができるため、形状の複雑さが増しますが、ジェネレーションG以降では全体的な形状の複雑さは変わりません。この家系図は他の点で同等ですが、仮想オブジェクトベンダーからダウンロードした非胚オブジェクトを使用します。共通の祖先を共有するオブジェクトは、直接的にカテゴリを構成することに注意してください。

どの世代でも細胞分裂は許されていなかったため、すべての形状の変化は、与えられた物体の個々の細胞の動きや成長のみに起因します。このシナリオでは、モーフィングは、指定された 2 つのオブジェクトの対応する頂点間を補間することにより、形状の滑らかなバリエーションを作成します。左端と右端。

胚の主成分は、形状の滑らかな変化も生み出します。この胚は、400個の胚の算術平均を表します。この特定のケースでは、最初の 2 つの主成分がそれぞれ形状情報の 73% と 19% を占めていました。

胚は、重み付けされた固有値を変化させることによって得られた。これらのデジタル胚は、仮想3Dオブジェクトとしてレンダリングし、その後、推論としての視覚、特にベイズ推論としての研究のために、標準的な市販の3Dプリンタまたはプロトタイプを使用して触覚オブジェクトとして印刷することができます。デジタル胚は、事前確率や尤度などの制御されたパラメーターを持つ新しいカテゴリを作成するための非常に貴重なツールです。

このビデオを見れば、特定の実験に適したデジタル胚のセットを作成する方法を十分に理解できるはずです。変動性や複雑さの度合いが異なる個々のオブジェクトやカテゴリ全体は、すべて簡単に作成できます。得られた画像は、物体認識、分類、カテゴリ学習などの実験に使用できます。