ルールベースの言語分析とコンピュータビジョンに基づくマルチモーダル知識グラフ

Summary

VISHAM-KGは、ヒンディー語の視覚文書からテキストと視覚的エンティティを整合させることで知識グラフを構築するマルチモーダルフレームワークです。ルールベースの言語分析とコンピュータビジョン技術を組み合わせ、資源の少ないインド系言語環境で主語・関係・目的語の三連字を生成します。

Abstract

視覚・意味論的ヒンディー語整合マルチモーダル知識グラフ(VISHAM-KG)は、ヒンディー語の視覚文書から一貫したマルチモーダル知識グラフ(KG)を構築するために設計されたフレームワークです。これは、視覚とテキストのエンティティを体系的に整列させることで、本研究の目的は、規則ベースの言語分析とコンピュータビジョンに基づくオブジェクト検出を統合し、低資源のインド言語における構造化された意味表現と根基ある推論を支援することです。提案されたアルゴリズムは、自然言語処理(NLP)ヒンディー語のビジュアル文書の準備から始まり、その後、デーヴァナーガリー文字抽出および言語前処理のための光学文字認識(OCR)を用い、トークン化、レマタイズ、品詞タグ付け、依存構文解析などの様々な処理を行います。同時に、物体検出を用いて画像から視覚的実体を抽出し、信頼度閾値を用いてフィルタリングします。テキストおよび視覚的エンティティは、多言語トランスフォーマーモデルXLM-RとCLIP-ViTを用いて共有の意味空間に埋め込まれ、余弦類似度に基づく閾値で整列されます。これらのアラインメントされたエンティティはルールベースの依存関係と組み合わせられ、マルチモーダルトリプレットを生成します。このプロトコルは、インドの知識ベースに基づく明示的な視覚的基盤を持つ主語-関係-目的の三つ項として符号化された構造化されたマルチモーダル知識グラフを生成します。この成果は、ヒンディー語の視覚文書におけるクロスモーダルクエリ、エンティティアラインメント、ナレッジグラフ推論をサポートし、資源の少ない言語環境におけるマルチモーダル知識構築の再現可能なフレームワークを提供します。

Introduction

知識グラフ(KG)は、エンティティをノードとして、関係をエッジとしてモデル化する構造化された意味的グラフィカル表現です。質問応答、推薦システム、情報抽出など多様な応用分野で効率的な知識検索と文脈的推論^{を可能にします。}過去10年間で、KGの建設手法は大幅に発展してきました。しかし、既存のほとんどのアプローチは、主に大規模なテキストコーパス2に依存するリソース豊富な言語向けに設計^{されています。}その結果、資源の少ない言語は依然として過小代表であり、文化的・言語的に^{多様な環境における}KGベースの技術の適用性を制約しています。同時に、教育、文化、遺産の分野では、テキスト中心の^{グラフ構築手法}では十分に捉えられない豊富な視覚情報を持つ実際の文書の割合が増加しています。

マルチモーダル知識グラフ(MMKG)は、画像、音声、ビデオなどの非テキストモダリティを統合することで、従来のKGを拡張し、グラウンディングセマンティック表現^{を可能にします。}IMGpedia、Richpedia、ImageGraphなどの従来のMMKGフレームワークは、視覚情報とテキストエンティティを関連付けることの価値を示し、意味クエリや推論の改善に役立っています^(6,7,8)。これらの進歩にもかかわらず、既存の手法は主に英語中心であり、厳選されたメタデータや静的データセットに依存し、非構造化の視覚文書から直接MMKGを構築するための手続き的指針は限定的です。さらに、これらのフレームワークは、スクリプト固有の光学文字認識(OCR)エラー、形態的変動、注釈付きデータの希少さなど、低リソース言語に固有の課題に明示的に対処していません(^9,10)。

このフレームワークの目的は、ヒンディー語の視覚文書からテキストと視覚的エンティティを体系的に整合させることで、マルチモーダル知識グラフを構築するための段階的な方法論を実行することです。提案されたフレームワークであるVisual-Semantic Hindi-aligned Multimodal Knowledge Graph(VISHAM-KG)は、ルールベースの言語分析とオブジェクト抽出に基づくコンピュータビジョンを統合し、視覚文書の動的グラフ構築を可能にします。既存のMMKG手法とは異なり、VISHAM-KGは生のヒンディー語テキストや画像からエンティティや関係を直接抽出し、関係識別のために依存関係に基づく文法ルールを適用し、外部^11,12に依存するのではなく埋め込みベースの類似度閾値を用いてクロスモーダルエンティティアライメントを行います。

VISHAM-KGは、テキストと視覚的内容が意味的に関連付けられるイラスト付き文書、例えば児童物語¹³、教育資料、新聞¹¹、文化的根拠のある物語などを対象としています。前述のフレームワークを実行する際に、光学文字認識品質への依存、オブジェクト検出カバレッジ、ドメイン固有の語彙の利用可能性などの制限に直面しています。各手続きステップを明示的に文書化することで、VISHAM-KGは低リソースの言語文脈におけるマルチモーダル知識グラフ構築のための再現可能なプロトコルを提供しつつ、基盤のある意味論的推論とクロスモーダル解析をサポートします。

VISHAM-KGは、非構造化ヒンディー語のテキストや画像からエンティティや関係を直接抽出する点で、既存のMMKGアプローチとは異なります。ルールベースの依存構文解析を用いて関係抽出を行い、また、^{メタデータが8,10}にマッチするのではなく、埋め込みに基づく類似性閾値でテキストおよび視覚的エンティティを整合させることも含まれます(図1)。

図1:エンドツーエンドのフレームワーク。 図はマルチモーダル知識グラフVISHAM-KGのエンドツーエンドフレームワークを示しています。 この図の拡大版はこちらをクリックしてご覧ください。

このプロトコルは、教育資料や文化的物語など、テキストと画像が一致したイラスト付き文書に適用されます。このフレームワークにおいて、YOLOv8は視覚文書上のオブジェクト検出において効率性と堅牢性が評価されています。XLM-Rは強力なクロスリンガル表現が特徴で、低リソースのヒンディー語テキスト処理に適しているため選ばれ、CLIP-ViTは共有視覚テキスト埋め込み空間の学習能力が実証されているため、効果的なクロスモーダルアライメントを可能にします。しかし、OCRの精度、オブジェクト検出のカバレッジ、ドメイン固有の語彙の制約により制限があります。

関連活動

伝統的な知識グラフ G=(E,R,F)は、エンティティ E、関係 R、そして各トリプレット F からなり、各トリプレットは (h,r,t)⁸ の形をとります。これを拡張して、マルチモーダル知識グラフ(MMKG)は、画像、音声^{、ビデオなどの}非テキストモダリティに関連するEエンティティを組み込みます。

MMKGでは視覚データを表現するために主に2つの戦略が用いられます。
テキスト上の実体に付与される属性として
特定の注釈付き関係を通じてつながる視覚的実体として

注目すべき研究の一つにIMGpediaがあり、これは視覚的記述や類似度の測定を組み合わせてウィキメディアの画像データを強化しています。このモデルは主にメタデータを含む従来のデータセットの限界に対応し、画像をDBpedia^{Commons 9}とリンクすることで視覚的意味クエリや類似性評価を可能にします。

同様に、別のMMKGリッチペディアは学術研究における不完全な知識グラフの課題に取り組んでいます。ウィキペディアから2,883,162の視覚的エンティティと、ウィキデータから30,638のテキストエンティティを集約しています。Richpediaはアスペクトレベルのクエリをサポートし、画像要素、関連テキスト、ハイ^{パーリンクを含む}非構造化コンテンツから意味的関係を抽出する手法を用いています。

ImageGraphは、FB15Kデータセットに基づく関係型知識グラフを構築し、829,931枚のウェブクロール画像とキャプションをさらに活用しています。14,870のエンティティと1,330の関係タイプを含み、概念ベースの^{クエリパラメータをサポートする}ことで視覚的・文脈的なクエリやより正確な応答を可能にします。

VisualSemは、視覚情報とテキスト情報を統合したもう一つの包括的な多言語知識グラフです。89,896のエンティティ、130万枚以上のグロス、938,100枚の画像で構成されています。データ拡張やグラウンディングなどの用途向けに設計されたVisualSemは、言語を超えた意味解釈を強化し、さまざまな処理パイプラインにシームレスに組み込むことができます^。

リンク予測、トリプレット分類、エンティティマッチングなどのタスクを支援するために、いくつかのMMKGモデルも開発されています。これらのモデルは、特にクロスモーダル情報の複雑さを捉えきれない単一モーダルグラフの限界を解決しています 16,17,18。

言語ベースのMMKGモデルとVISHAM-KGとの重要な比較は 表1に示されています。特にヒンディー語、タミル語、サンスクリット語のような資源の少ない言語における彼らの強さと限界に焦点を当てています。これらの手法は、高品質なテキストコーパス、信頼できる言語学的注釈、大規模な事前学習モデルへのアクセスを前提としています。これらの要因が、資源の少ない言語への適用性を制約しています。特に、OCR依存のパイプラインはラテン文字に最適化されることが多く、インド文字では精度が低下し、ノイズや不完全なテキスト抽出を引き起こします。さらに、言語的前処理、品詞タグ付け、名前付きエンティティ認識は、リソースの多い言語で一般的に訓練されています。ヒンディー語のように形態学的に豊かで構文的に柔軟な言語に適用すると、性能が大幅に低下します。

MMKGモデル	強み	資源の少ない環境での制限
IMGpedia(イングランド・メディア・ミテリア)	画像をDBpediaと統合	英語の内容のみに焦点を当てています
	視覚的類似性クエリをサポートします	非ラテン文字のサポートはありません
		地域的な文化的背景の限定的なビジュアル
リッチペディア	ウィキペディアおよびウィキデータの視覚的およびテキスト的要素を組み合わせています	インドや民間知識の不十分な表現
	アスペクトレベルのクエリが利用可能です	地域別データセットでは高品質なアライメントが不足していると仮定しています
イメージグラフ	画像とキャプション付きの関係性KG	英語コーパス向けに調整されたエンティティおよび関係抽出
	拡張トリプレットベースのクエリをサポートしています	キャプションが少ない環境やメタデータが欠如している環境での失敗
VisualSem	多言語サポート	アジアの低資源言語の不十分な表現
	ニューラルセマンティックパイプラインで有用	デーヴァナーガリーや文化的根拠に基づく視覚的意味論への支持はありません
ヴィシャム-KG	インド語の画像を含む関係性KG	言語依存
	形態的に豊かな構文のためのセマンティックパイプライン	言語やPOSタグによって異なります。

表1:低資源言語におけるMMKGと制限の重要比較。

既存のMMKGモデルは静的な知識グラフに依存しており、単一のデータセットの訓練によって新しいエンティティタイプや関連付けが形成される動的な現実世界の文脈には適応していません。そのため、^{動的能力を持つ}モデルを開発することが極めて重要になります。この文脈では以下の制限が見られます:オブジェクト識別、抽出、注釈などの視覚的活動におけるテキストデータの誤用;異種なソースからマルチモーダル知識グラフを構築するスケーラブルな手法の開発;また、理解と解釈の向上のために、文脈情報をマルチモーダル知識グラフに組み込むこと。

これらの条件下で、VISHAM-KGは高度な視覚抽出技術を用いて視覚文書からノードや関係を直接定義する点で従来のアプローチとは異なります。トークン化、ストップワード除去、品詞タグ付けなどの標準的なテキスト処理ステップと、セマンティックグラフ技術を組み合わせて抽出された知識を構造化します。コンピュータビジョンとオントロジーを融合させることで、このシステムはいくつかの利点を提供します^。19:応用特有のニーズに応じて知識ベースが進化できる適応性の向上;システム間の相互運用性を支援する意味表現の改善;そしてより良い意味論的推論と検索を行い、文脈レベルの知識ベースの強化を可能にします。

Protocol

このプロトコルは、公開されている非人間・非機密の視覚およびテキストデータのみを使用しているため、倫理的承認は不要です。 表2は すべてのツールと技術、そしてそれらの依存関係を示しています。マルチモーダル知識グラフ構築パイプラインを再現するために必要なすべてのソースコード、設定ファイル、スクリプトは公開のGitHubリポジトリ(preeti017phdit22-wq/VISHAM_KG.)で利用可能です。リポジトリには再現性を促進するためのインストール手順や依存関係仕様が含まれています。

モジュール	モデル/ツール	バージョン	フレームワーク	目的
光学検査(OCR)	イージーOCR	v1.7.1	パイトーチ	ヒンディー語テキスト抽出
POS + 依存性解析	スタンザ(こんにちは)	v1.6.1	パイトーチ	言語解析
NER	BiLSTM-CRF	カスタムトレーニング	パイトーチ	ヒンディー語エンティティ認識
物体検出	YOLOv8	v8.0.208	ウルトラリティクス	ビジュアルエンティティ抽出
テキスト埋め込み	XLM-Rベース	2023-05	ハギングフェイス	多言語テキスト符号化
視覚的埋め込み	CLIP-ViT-B/32	2022-09	OpenAI	画像符号化
グラフ保存	ネオ4j	v5.13	ネオ4j	KGの建設
類似点	コサイン類似度	–	NumPy	クロスモーダルアライメント

表2:VISHAM-KGの各建設段階で使用されるツールと技術。

1. 知識グラフの構築

1. データ準備
   1. 前述^の情報源から10点の児童物語資料を集め^{てください。}各文書の画像文書の入手可能性を確認してください。
   2. 各文書は、画像ファイル(PNGまたはJPG)と対応するヒンディー語テキストを含む構造化された単位として保存します。
   3. 各画像を関連するテキストにリンクする固有の文書識別子を割り当てます。
2. テキスト抽出と前処理
   1. EasyOCR(デーヴァナーガリ文字設定)を使ってスキャン画像からテキストを抽出し、ドキュメント画像からヒンディー語テキストを抽出します(図2)。
   2. 抽出されたテキストは、OCRのアーティファクトや余計な記号を除去して正規化します。
   3. 文の分割とトークン化を実行します。テキストを単語にトークン化しましょう。あらかじめ定義されたヒンディー語のストップワードリストを使ってストップワードを削除してください。
   4. Stanza(Hi)を用いたヒンディー語互換NLPを使って品詞タグ付けと依存関係解析を行います。
   5. BiLSTM-CRFモデルを用いて名前付きエンティティを識別します。
   6. 依存ルールテンプレートを用いて主語-関係-目的語のトリプレットを抽出します。意味のある三つ項を構成するために、文法関係にラベル付けされた依存木を生成します(図3)。

図2:動詞のみ関係を用いてヒンディー語テキストから単純な主語-動詞-目的語三つ項を抽出する。 このフローチャートは、動詞のみの関係を用いてヒンディー語テキストから単純な主語-動詞-目的語の三連字を抽出する方法を説明しています。 この図の拡大版はこちらをクリックしてご覧ください。

図3:拡張動詞前置詞関係。 図は三連語形成を特定するための拡張された動詞前置詞関係を示しています。 この図の拡大版はこちらをクリックしてご覧ください。

3. ビジュアルエンティティ抽出
   1. 各画像を読み込み、YOLOv8オブジェクト検出モデル(図4)を使ってオブジェクト検出を適用します。
   2. 画像内で特定された対象の境界ボックス、クラスラベル、信頼度スコアを抽出します(図5)。
   3. 検出をフィルタリングし、検出時の信頼度スコアは0.50≥保持しました。フィルタリングされたオブジェクトを視覚的エンティティとして記録してください(任意)。バウンディングボックス座標付きの視覚的エンティティを保存し、それらのエンティティのリストを生成します。

図4:物体検出。 図はYOLOv8を用いた物体検出を示しています。 この図の拡大版はこちらをクリックしてご覧ください。

図5:視覚的特徴抽出および物体検出・識別。 図は、畳み込み層とYOLOv8を用いた視覚的特徴抽出を示し、その後、類似度スコアに基づく領域の精緻化とアラインメントが行われます。 この図の拡大版はこちらをクリックしてご覧ください。

4. エンティティの埋め込みとアライメント
   1. XLM-R埋め込みを用いてテキストエンティティの文脈埋め込みを生成する。CLIP-ViT埋め込みを用いて検出対象の視覚的な埋め込みを生成します(図6)。
   2. テキストやビジュアルの埋め込みを共有の潜在空間に投影し、単位長に正規化します。
   3. 各テキストとビジュアルの埋め込みペア間の余弦類似度を計算します。類似度があらかじめ定められた閾値τ≥(デフォルトτ=0.65)に達した場合にエンティティをアライメントします。アラインメントされたテキストと画像のエンティティペアのリストを作成します。

図6:視覚物体検出とPOSタグの融合。 図は、知識グラフトリプレット抽出のための視覚的オブジェクト検出とPOSタグの融合を示しています。YOLOとCIFAR-100は、マルチモーダルアライメントを示す天体を特定します。 この図の拡大版はこちらをクリックしてご覧ください。

5. トリプレット抽出
   1. 主語-動詞-目的語構造をマッピングする依存ルールを用いてテキストトリプレットを抽出します。
   2. 空間的近接性と共現ルールを用いて視覚的関係を導き出します。
   3. 関係ラベルを使って、アラインメントされたテキストと視覚的エンティティをリンクすることでマルチモーダルトリプレットを生成します。三つ組の統語的・意味的一貫性を検証します。
6. 知識グラフの構築
   1. アラインメントされたエンティティをRDF互換トリプレットに変換します。テキストとビジュアルの三つを統合して統一グラフにまとめます。
   2. エンティティをノードとして、リレーションをエッジとして挿入します。明示的な述語を用いてマルチモーダルリンクをエンコードします。得られたグラフをNeo4jに保存します(任意)。テキスト画像のトリプレットがアラインメントされた最終的なマルチモーダル知識グラフが生成されます。
      注:ヒンディー語の視覚文書からマルチモーダル知識グラフを構築するための体系的なアプローチは 図7に示されています。

図7:マルチモーダル知識グラフ構築のためのパイプライン。 フローチャートはVISHAM-KGのパイプラインを表しています。 この図の拡大版はこちらをクリックしてご覧ください。

3. 知識グラフの作成には以下の擬似コードを使用してください。
   入力:
   D:ヒンディー語テキスト画像文書のセット
   τ : アライメントの類似閾値
   各文書ペア(T,I)∈Dを前処理します
   Tをスキャンした場合、OCRPerformトークン化、レマタイズ、ストップワード除去を用いてテキストT'を抽出します
   Stanzaを使ったPOSタグ付けと依存関係解析を適用します
   YOLOv8を使ってI内のオブジェクトを検出
   境界ボックス、ラベル_L、i、信頼度スコア>0.5を抽出します。
   埋め込み生成
   BiLSTM-CRFを用いてT'から名前付きエンティティE_Tを識別します
   L_i から視覚的実体 E_V を抽出する
   テキスト埋め込みE_Tを XLM-Rで計算します。
   CLIP-ViTでE_V の視覚的埋め込みを計算します
   トリプレット抽出によるエンティティアライメント
   E_T x E_V の各ペア(e_{t,e v})に対して:
   余弦類似度 S = cos(E_{V,E T}) を計算します
   設定閾値 τ=0.6
   s≥τ の場合、三つ項 (e_t, has_image, e_v) を加えて F を定める。
   依存規則を用いてT'から(h,r,t)三つ項を抽出します。
   空間的またはキャプションに基づく共生から視覚的関係を導き出します。
   E_t と_{E v} を共有の潜在空間に投影する。
   三つ字はスコアをつけ、信頼度の閾値を超えるものは保持してください。
   検証済みの三つ組とエンティティをグラフ Gに追加します。
   出力: Neo4jで最終KGを出します。

2. 評価手続き

注:VISHAM-KGフレームワークの評価対象として、ヒンディー語の子ども向けストーリーは、明確な実体と関係を持つ制御された視覚的に根拠のある物語を提供し、ドメインスケール展開前にマルチモーダルアライメント、グラフ構築、推論の信頼できる検証を可能にするため選ばれます。すべてのハイパーパラメータ設定は 表3に示されています。

モジュール	ハイパーパラメータ	寸法
光学検査(OCR)	信頼閾値	0.5
エンティティ抽出	埋め込み次元	300
物体検出	信頼閾値	0.5
	入力画像サイズ	640×640
テキスト埋め込み	言語モデル	XLM-R
	埋め込み次元	768
画像埋め込み	ビジョンモデル	CLIP-ViT-B/32
	埋め込み次元	768
アライメント	類似度指標	余弦類似性
テキストと画像の整合	コサイン類似度閾値(τ)	0.6
リンク予測	埋め込み次元	100
	訓練時代	50
	ネガティブサンプリング	制服
評価	列車と試験の分割	80 / 20

表3:フレームワークのハイパーパラメータ設定。

構成要素	伯爵
ドキュメント画像	10
テキスト上の存在	186
ビジュアルエンティティ	97
テキスト派生関係	105
視覚由来の関係	41
テキストと視覚の三連文字	312

表4:知識グラフと三つ項統計。

1. データセットの構成と分割
   1. 評価データセットは10の子どもたちの物語で構成されており、それぞれにイラスト画像が添えられています。ステップ1.2-1.4で述べたエンティティ抽出プロセスを実行します。結果は 表4に示されています。
   2. 2つのグラフバリアントを構築します。1つはテキストのみの知識グラフ(T-KG)でテキストトリプレットのみを使用し、もう1つはテキストと視覚のトリプレットを融合させたマルチモーダル知識グラフ(MM-KG)です。
   3. 制御された評価を確保するために、両グラフに対して同一のデータ分割を使用します。
   4. 80:20でランダムに分割抽出されたトリプレット、すなわちグラフ構築(トレーニングセット)が80%、評価(テストセット)が20%保留されます。この分割をテキストのKGとMMKGの両方に一貫して適用し、公平な比較を確保しましょう。
2. 基準値と評価指標
   1. テキストKGが基準となります。提案されたフレームワークであるVISHAM KGは、提案された方法を表しています。両方のグラフに対して、エンティティ識別子と評価クエリを用いた同一のオントロジーを使用します。両グラフの唯一の違いは、VISHAM-KGに視覚的エンティティが含まれていることです。
3. 評価指標とリンク予測
   1. 標準的なリンク予測指標²⁰:平均相互順位(MRR)、Hits@1、Hits@3、Hits@10を使用します。Hit@Kは、正しいエンティティが上位Nランクに入ったケースの割合として定義されます。
   2. 各テストトリプレット(ヘッド、リレーション、テイル)に対して、ヘッドエンティティまたはテールエンティティのいずれかをマスクします。共有埋め込み空間内の余弦類似度に基づいてすべての候補エンティティをランク付けします(表5参照)。

テクスチュアル・エンティティ	ビジュアル・エンティティ	コサイン類似度
शेर		0.78
लोमड़ी		0.82

表5:テキストと画像の埋め込み間のコサイン類似度スコア。

3. テキストのみ埋め込みとマルチモーダル埋め込み(VISHAM-KG)に対して独立して予測を生成する。
4. 結果は、すべてのクエリにおける正しい実体の相互順位の平均として、平均相互順位(MRR)を用いて計算^します。表6を用いて、実験間の一貫性を高めるためにすべての結果を10進形式で表^します。

モデル	MRR	Hits@1	Hits@3	Hits@10
トランスE	0.42	0.21	0.48	0.72
コンプレックス	0.47	0.26	0.52	0.74
ロータトE	0.51	0.31	0.58	0.74
ヴィシャム-KG(テキスト)	0.49	0.36	0.62	0.76

表6:テキストのみ三つ組におけるリンク予測性能。

5. 表7に示されているように、欠損リンクの回復におけるマルチモーダル知識グラフの予測力を検証するために、指標を活用します。

モデル	MRR	Hits@1	Hits@3	Hits@10
IKRL	0.46	0.34	0.63	0.72
ビジュアルバート	0.52	0.35	0.61	0.72
ヴィルバート	0.54	0.38	0.64	0.75
ヴィシャム-KG	0.57	0.41	0.66	0.79

表7:クロスモーダル三重項予測タスクでの性能。

4. 評価には以下の擬似コードを使用してください。
   各ナレッジグラフバリアントについて G∈{G_{T,G MM}}:
   トリプレット分割
   Gからすべての三つ子T_オール を抽出します。
   Tをランダムにトレーニングセット(80_{%)とテスト}セットT_テスト(20%)に分割します。
   T_{トレインの三}つ組を用いてグラフGを構成します。
   類似度スコアと埋め込み
   各テストトリプレット(h、r、t)∈T_検定について:
   ヘッドエンティティまたはテイルエンティティをマスクしてクエリ(h,r,?)または(?,r,t)を形成します。
   G_トレイン内のエンティティから候補エンティティ集合Cを生成します。
   各_{e c} ∈ C に対して埋め込み類似度スコア S=cos(e_query, e_c) を計算します。
   すべての候補企業を類似度スコアの降順に基づいてランク付けしてください。
   計量計算
   各クエリごとに正しいエンティティのランクを計算します。
   すべてのテストクエリで平均逆順位(MRR)を計算します。
   Hits@1、Hits@3、Hits@10を計算してください。
   テキストのみのKG G_T とマルチモーダルのKG G_MMの評価スコアを比較します。
   出力: 多峰積分に直接帰属する定性的および定量的な結果を提供すること
5. クロスモーダル類似性
   1. 類似度スコアを計算して、テキストと視覚的な埋め込みの整合性を評価します。テキスト埋め込みと視覚的埋め込みの両方を単位長に正規化し、スケールの一貫性を確保します。主要な^計量として余弦類似度を用いましょう。
   2. テキストエンティティ埋め込みと視覚的エンティティ埋め込みのペア(e_t, e_v)ごとに類似度スコア²³を計算します。
      Score(e_{t,e v}) = λ · sim_text(e_{t,e v}) + (1-λ) · sim_visual (e_{t,e v}) 。
      ここで:
      λ∈ [0,1] はモダリティ重み付けパラメータである。
      sim_テキスト はテキスト埋め込み間の余弦類似度です。
      Sim_Visual とは、視覚的埋め込み同士の余弦類似性のことです。

Results

提案されたVISHAM-KGは、知識表現ベンチマークデータセットで一般的に用いられる類似度スコア計算およびリンク予測タスクを通じて評価されます。

実験装置

構築されたマルチモーダル知識グラフを、確立された2つの課題((i)クロスモーダル類似性評価と(ii)知識グラフリンク予測を用いて評価します。すべての評価はプロトコルのエンドポイントで生成された最終グラフ出力のみで行われます。評価前にすべてのランダムシードを固定し、実験全体で同一の前処理を適用します(図8)。

図8

Discussion

VISHAM-KGフレームワークの性能は主に3つの重要な要素に基づいています。すなわち、デーヴァナーガリーテキストのOCR(ステップ1.2)、Clip-ViTを用いた信頼度ベースの視覚オブジェクト検出(ステップ1.3)、埋め込みベースのクロスモーダルアライメント(ステップ1.4)です。OCRの精度は、下流の言語解析やエンティティ抽出に直接影響を与えます。この段階で導入される誤差は関係識別に伝播し、アライメント精度を低下させます。この効果は、ヒンディー語特有の正規化、レマタイゼーション、依存関係ベースのルール強制によって緩和されており、トリプレット生成¹⁰の前にエンティティ表現が安定化します。すべての比較は以下の 表10に示されています。

アス...

Materials

List of materials used in this article

Name	Company	Catalog Number	Comments
BiLSTM-CRFとインド系NERモデル	カスタムトレーニング	パイトーチ	命名エンティティ認識
CLIP-ViT-B/32	2022-09	OpenAI	視覚的埋め込み生成
CPU	Intel i9	インテル	一般計算
イージーOCR	v1.7.1	ジャイデッドAI	画像からのヒンディー語テキスト抽出
GPU	NVIDIA RTX 3090	NVIDIA	モデル推論加速
ヒンディー語の子どもたちの物語	10の物語	キュレーションされたデータセット	評価コーパス
ネオ4j	v5.13	ネオ4j株式会社	ナレッジグラフの保存
NumPy	v1.24	NumPyコミュニティ	数値計算
パンダ	v2.0	パンダス・コミュニティ	データ処理
パイソン	v3.10	Pythonソフトウェア財団	パイプライン実装
パイトーチ	v2.0	メタAI	ディープラーニングフレームワーク
スタンザ(ヒンディー語モデル)	v1.6.1	スタンフォードNLP	POSタグ付けと依存関係解析
XLM-R(ベース)	2023-05	ハギングフェイス	テキスト埋め込み生成
YOLOv8	v8.0.208	ウルトラリティクス	視覚的物体検出