本研究では、主張レベルの検証と適応的な統計的しきい値設定を通じて、大規模言語モデルにおけるハルシネーションを低減するための軽量なフレームワークを提示します。自然言語推論を用いて根拠のない主張を選択的に修正することで、低い応答レイテンシと実用的な展開効率を維持しながら、事実上の正確性を向上させます。
この記事について
サマリー
要約
大規模言語モデル（LLM）は、事実として不正確でありながら言語的に流暢な出力を生成するという、ハルシネーション（幻覚）と呼ばれる重大な傾向があり、これは精度が極めて重要なアプリケーションにおいて深刻なリスクとなります。検索拡張生成や自己整合性サンプリングなどの既存の軽減策は、大幅な推論レイテンシを導入するか、あるいは外部の知識インフラに依存しており、リアルタイム展開における適用性が制限されています。本論文では、LLMの回答をアトミックな事実主張に分解し、独立した事実想起プロンプトを通じて別途生成されたリファレンスと照らし合わせて、抽出された各主張を個別に検証する、軽量な2ステップの主張検証フレームワークを提案します。生成器と検証器は同じ基盤言語モデルを共有していますが、回答生成を事実想起から分離することで、直接的な回答条件付けを減少させ、自然言語推論（NLI）による検証時の確証バイアスを軽減します。また、NLIの信頼度スコア分布に対して τ = µ + kσ と定義される適応的な統計しきい値を適用し、矛盾する主張のみを選択的に修正します。固定された決定境界に依存する従来のNLIベースの手法とは異なり、提案するフレームワークは各回答の信頼度分布に合わせて検証しきい値を動的に適応させ、モデルの再学習を必要とせずに、評価したベンチマーク全体で一貫したパフォーマンスを示しました。TruthfulQAおよびFEVERでの評価において、本フレームワークはTruthfulQAのハルシネーション率を28%から9%に減少させ（相対的に67.9%の削減）、ベースラインのLLMに対してわずか160 msの追加レイテンシしか発生させず、ハルシネーション検出精度においてSelfCheckGPTやFActScoreを上回りました。これらの結果は、本フレームワークが評価ベンチマークにおいて事実の信頼性と回答レイテンシの良好なバランスを提供できることを示していますが、他のドメインや展開設定におけるさらなる検証が必要です。
概要
大規模言語モデル（LLM）は、現代の人工知能システムの基盤的なコンポーネントとして台頭しており、テキスト生成、質問回答、要約、複雑な推論を含む、幅広い自然言語タスクにおいて顕著な能力を示しています1。流暢で文脈的に一貫した回答を生成できる能力により、臨床意思決定支援、法的分析、ソフトウェアエンジニアリング、教育技術などの影響力の大きい領域での導入が加速しています2。しかし、これらの環境における信頼性を損なう、重大かつ根深い制限が存在します。それが「ハルシネーション（幻覚）」であり、モデルが言語的には流暢であるものの、事実として不正確、根拠がない、あるいは完全に捏造された回答を生成することを指します 3。実証研究では、タスクやモデルによって15%から40%以上のハルシネーション率が報告されており、GPT-4のような最先端のシステムであっても、ドメイン固有の評価において測定可能な事実的不一致を示しています2,3。この制限は、誤った出力が誤報、誤診、または欠陥のある意思決定につながる可能性がある、精度が極めて重要なアプリケーションにおいて深刻なリスクをもたらします4。ハルシネーションは、根本的に言語モデリングの確率的な性質から生じます。つまり、LLMは検証済みの事実的知識を検索したり推論したりするのではなく、入力シーケンスの統計的に可能性の高い後続トークンを予測することによって生成を行うためです5。その結果、生成された出力には、もっともらしく聞こえるが不正確な主張が組み込まれたり、根拠のない断定が導入されたり、あるいは意味的には関連しているが事実としては異なる概念が混同されたりすることがあります6。
既存の緩和策では、いくつかのパラダイムを通じてこの問題に取り組んでいますが、それぞれに顕著な限界があります。検索拡張生成（RAG）は、外部から検索したドキュメントに基づいて回答を生成することでハルシネーションを低減しますが、大幅なレイテンシのオーバーヘッドが発生し、整備されたナレッジベースへのアクセスが必要となるほか、専門的なドメインやリソースの少ないドメインにおける検索失敗に対して脆弱なままであります7,8,9。
応答生成器とリファレンス生成器は、いずれも同一の基盤となるGPT-3.5 Turboモデルを用いてインスタンス化されていますが、それぞれ異なるプロンプティング目的と実行コンテキストの下で動作します。応答生成器はユーザーのクエリに対して制約のない回答を生成する一方、リファレンス生成器は、 previously generated response（先に生成された応答）へのアクセスなしに、独立した事実想起タスクを実行します。この分離により、応答による直接的な条件付けの影響が軽減され、主張の検証時における確証バイアスが抑制されます。したがって、本フレームワークでは、生成されたリファレンスを統計的に独立しているのではなく、手順的に独立しているものとして扱います。
近年の研究では、外部リトリーバルや繰り返しの検証に頼ることなく、テキスト生成におけるハルシネーションを低減させる軽量なデコーディング戦略も探索されています。その代表的なアプローチの一つがDecoding by Contrasting Layers (DoLA)であり、これはデコーディング中にトランスフォーマーの中間層と最終層の表現を対比させることで、事実性を向上させます。生成後の検証フレームワークとは異なり、このような手法はトークン生成時に直接介入するため、言語生成プロセスの異なる段階を最適化することになります。これらの相補的な戦略は、ハルシネーションの軽減がデコーディング時または生成後の検証のいずれかによって達成可能であることを示しており、それぞれの手法が計算オーバーヘッド、実装の複雑さ、および事実的な信頼性において異なるトレードオフを提供しています。
自己整合性（Self-consistency）法は、複数の回答をサンプリングし、最も頻出または一貫性のある出力を選択することで事実としての信頼性を向上させますが、計算コストがサンプル数に比例して増大するため、低遅延が求められる運用には適していません8。自己フィードバックループを通じて出力を繰り返し修正する反復的洗練（Iterative refinement）アプローチは、段階的にエラー率を低下させますが、パスを増やすたびに推論時間が大幅に延びることになります9。NLI（自然言語推論）ベースの検証法は、生成された主張と参照テキストとの間の意味的含意（semantic entailment）を評価することで、より的を絞った代替案を提示しますが、既存の実装は固定された決定しきい値に依存しており、自信度の分布、ドメイン、またはモデルの挙動の変化に適応できないという課題があります10,11。総括すると、これらのアプローチは、許容できない計算オーバーヘッドを課すか、外部インフラに依存するか、あるいは汎用的な展開に必要とされる適応性に欠けています。これらのハルシネーション検証アプローチの主な特性の比較を補足表1（Supplementary Table 1）に示します。
本論文では、応答レイテンシを低く抑えつつ、LLMの出力におけるハルシネーションを低減するように設計された、軽量な2ステップの主張検証フレームワークを提案する。第1ステップでは、LLMが初期応答を生成し、それを原子的な事実的主張へと分解する。第2ステップでは、元の生成応答にアクセスしない独立した推論パスを通じて別途生成された事実参照を用いて、自然言語推論（NLI）により各主張を検証し、統計的に導出された信頼度しきい値に基づいて、主張レベルでの「採択」または「修正」の決定を行う。本研究の主な貢献は以下の通りである：(1) 応答生成と事実検証を分離した2ステップの主張レベル検証パイプラインを構築し、外部検索や応答全体の再生成を必要とせずに、各原子的主張の独立した標的型評価を可能にした点。(2) NLI信頼度スコアの分布に基づく適応的な統計的しきい値メカニズム（τ = µ + kσ）を導入し、固定の決定ルールに頼らずに採択と修正の境界を動的に決定することで、多様な信頼度分布における堅牢性を向上させた点。(3) 矛盾していると分類された主張のみに再生成を限定する選択的修正戦略を採用し、応答全体の再サンプリングや反復的な洗練手法と比較して、計算オーバーヘッドを大幅に削減した点。(4) ハルシネーションに特化したベンチマークによる実証的評価を行い、提案フレームワークが応答レイテンシを実用的な展開範囲内に維持しつつ、ハルシネーション率を28%から9%に低減させることを示した点。
プロトコル
本研究では、ヒト参加者、動物、生物学的試料、または患者データは使用していません。したがって、機関の倫理承認およびインフォームドコンセントは不要でした。
研究デザインの概要
大規模言語モデル（LLM）の出力における事実的信頼性を向上させるため、2段階の検証フレームワークを実装した。この手順は、回答の生成、主張の抽出、独立参照の構築、自然言語推論（NLI）に基づく検証、適応的統計的意思決定、選択的修正、および最終回答の組み立てで構成される。本フレームワークの評価には、TruthfulQAおよびFEVERのベンチマークデータセットを用いた。
全体のワークフロー
ユーザークエリ → 初期回答の生成 → 主張の抽出 → 独立した参照文献の生成 → NLI検証 → 統計的閾値の算出 → 主張の修正 → 最終的な検証済み回答。適応的な主張検証フレームワークの全体的なワークフローを図1に示す。
データセットの準備
817件の事実に基づいた質問を含むTruthfulQAデータセット12をダウンロードし、評価に向けて準備した。 FEVERデータセット13は、「支持（Supported）」、「反駁（Refuted）」、「情報不足（Not Enough Information）」のラベルが付与された185,445件のアノテーション済み主張で構成されており、本評価では、主張、根拠、および正解ラベルのフィールドを持つラベル付き開発データを使用した。各主張は提供された根拠に照らして評価され、検証のための参照結果として元のFEVERラベルを保持した。事実検証用の主張・根拠ペアを含むFEVERデータセットを取得し、前処理を行った。入力される質問と主張は、標準化されたテキスト形式に変換した。実験前に、重複エントリおよび不完全なサンプルを除去した。TruthfulQAは検証用サブセットとテスト用サブセットに分割した。TruthfulQAサンプルの約20%（164件の質問）を閾値の調整に使用し、残りの653件の質問を性能評価用に確保した。FEVERについては、ベンチマークで提供されている主張をそのまま検証単位として使用し、TruthfulQAに適用した回答生成および主張抽出の手順は行わなかった。フレームワークの開発および評価に使用したベンチマークデータセットの特性を表1にまとめる。
初期応答の生成
各クエリをベース言語モデルに送信しました。回答は、温度0.7、top-p 0.9のニュークリアスサンプリングを用いて生成されました。最大出力長は256トークンに制限されました。生成された回答は、後処理や手動修正を行うことなく保存されました。生成されたテキストは、そのまま主張抽出段階へと送られました。
主張の抽出
生成された各回答は、独立して検証可能な事実記述へと分解されました。原子的な主張を特定するために、構造化された分解プロンプトが使用されました。複合的な記述は、最小限の事実単位に分離されました。主観的な意見、文体上の表現、および会話的なフィラーは除去されました。抽出された各主張は、独立した検証単位として保存されました。
例：
元の回答：
「マリ・キュリーはポーランド生まれの物理学者であり化学者で、放射能に関する先駆的な研究を行いました。」
抽出された主張：(1) マリー・キュリーはポーランド生まれである；(2) マリー・キュリーは物理学者であり化学者であった；(3) マリー・キュリーは放射能の研究を行った。
単離参照構築：
抽出されたすべての主張に対し、独立した事実参照が生成されました。検証モデルには元のユーザークエリのみが提供されました。確証バイアスを避けるため、生成された元の回答へのアクセスは制限されました。簡潔で根拠に基づいた回答を促すために、事実想起プロンプトが使用されました。生成された参照は、その後の検証のために保存されました。
自然言語推論の検証
各主張と参照文献のペアを、事前学習済みのNLIモデルに投入しました。NLIモデルは、その関係性を「含意（Entailment）」、「中立（Neutral）」、「矛盾（Contradiction）」のいずれかに分類しました。これら3つのクラスすべてに対する信頼確率を記録しました。その後、符号付きの検証スコアを割り当てました。含意の場合は正の値、中立の場合は0、矛盾の場合は負の値としました。閾値算出のため、すべての検証スコアを収集しました。
適応的統計閾値の算出
NLIモデルによって算出される検証信頼度は、クエリごとに生成される主張の数、意味的な複雑さ、および信頼度の分布が異なるため、回答によって大きく変動します。固定のグローバルしきい値を用いる方法は、すべての回答が同様の信頼度プロファイルに従うことを前提としていますが、実際にはそのようなケースは稀です。この変動に対応するため、提案されたフレームワークでは、各回答の検証スコアの平均値と標準偏差を用いて、回答ごとに個別に判定境界を推定します。平均値は回答全体の信頼度レベルを反映し、標準偏差は抽出された主張間の信頼度値の分散を捉えます。この適応的な定式化により、すべての入力に対して単一のしきい値に依存するのではなく、回答固有の不確実性に合わせて採択基準を調整することが可能になります。
すべての署名済み検証スコアの平均値(µ)および標準偏差(σ)を算出した。
適応的決定しきい値は次のように算出されました：
ここで、τは適応しきい値を表し、µは検証スコアの平均、σは標準偏差、kは感度パラメータを表します。
感度パラメータは0.7に初期化されました。スコアが+τ以上のEntailment（含意）として分類された主張は受理されました。スコアが−τ以下のContradiction（矛盾）として分類された主張は、修正対象としてマークされました。スコアが(−τ, +τ)の範囲内にある主張は、中立として保持されました。
選択的な請求項の補正
NLIモデルが主張と参照文献のペアを「矛盾（Contradiction）」と分類し、かつ対応する符号付き検証スコアが適応閾値基準 si ≤ -τ を満たした場合にのみ、その主張は修正のために転送されました。したがって、修正の決定はNLIのクラスラベルと回答固有の統計的閾値によって共同で決定されました。si ≥ τ で「含意（Entailment）」と分類された主張は受理され、一方で -τ < si < τ の範囲に収まる主張は中立として扱われ、修正せずに保持されました。この複合的な基準により、意味的な矛盾と十分に強い負の検証根拠の両方を示す主張にのみ修正が適用されることが保証されました。
反応の再構成
承認および修正されたクレームを元の順序で配置しました。可読性を維持するため、文の区切りを復元しました。必要に応じて軽微な文法調整を行いました。組み立てられた出力結果を、最終的な検証済み回答として保存しました。
性能評価
本フレームワークは、次の4つの指標を用いて評価されました：(1) 正解率（Accuracy）：検証後に事実として正しいまま維持された回答の割合。(2) F1スコア（F1 Score）：ハルシネーション検出の適合率と再現率の調和平均。(3) 回答レイテンシ（Response Latency）：クエリの送信から検証済み回答の生成までの総処理時間。(4) ハルシネーション率（Hallucination Rate）
レイテンシは、繰り返し測定による平均実行時間として報告した。個々のランごとのレイテンシ値は保持しなかったため、標準偏差および信頼区間は算出していない。
ベンチマーク固有の正解性評価
TruthfulQAについては、最終的に検証された回答を、ベンチマークの人間に検証済みの正解リファレンスおよび不正解リストと比較しました。事実に関する主張が、承認された回答情報と一致し、かつ特定された不正解の回答パターンに該当する内容が含まれていない場合に、その回答を正解としてカウントしました。FEVERについては、最終的な出力に含まれる各主張を、関連する根拠および元のFEVERアノテーションに照らして評価しました。「Supported」の主張は事実として検証済みとして扱い、「Refuted」の主張は不正解としてカウントしました。「Not Enough Information」のケースは、肯定的な事実根拠として扱うのではなく、判定不能として保持しました。得られた主張レベルの判定を各ベンチマーク全体で集計し、報告されたAccuracy（正解率）およびHallucination Rate（ハルシネーション率）を算出しました。
実験環境
本フレームワークはPython 3.9を用いて実装されました。データ処理操作は、数値および表形式の解析ライブラリを使用して行われました。NLIモデルは、追加のファインチューニングなしで推論モードで動作しました。実験は、Intel Core i5プロセッサ、16 GB RAM、および64ビットオペレーティングシステムを備えたワークステーションで実行されました。低レイテンシ動作を確保するため、すべての評価はシングルパス推論設定で実施されました。データセットおよびベースライン手法間で一貫した評価を確保するため、すべての実験は同一のハードウェアおよびソフトウェア構成を用いて行われました。
期待される結果
本プロトコルは、根拠が不十分な可能性がある主張を特定し、強く矛盾する主張を選択的に修正に回すことで、主張レベルの検証判定を生成するように設計されています。期待される出力は、実験的評価で観察されたパフォーマンスに従い、事実上の不整合を減らし、かつ追加の処理オーバーヘッドを限定的に抑えた検証済みレスポンスです。
結果
初期応答の生成
ベースラインの言語モデルは、両方のベンチマークデータセットからの質問に対して、流暢で文脈に即した回答を生成しました。しかし、詳細な検証により、いくつかの回答に根拠のない事実誤認を含む記述があることが明らかになりました。TruthfulQAデータセットでは、ベースラインシステムのハルシネーション率は28%であり、FEVERデータセットでは26%のハルシネーション率が観察されました。これらの結果から、高い事実信頼性が求められるアプリケーションにおいて、単なる直接的な言語生成だけでは不十分であることが確認され、以降のすべての検証手順における比較対象となるベースライン条件が確立されました。
主張の抽出
主張抽出の手順により、生成された回答を独立して検証可能な事実単位に正常に分解することができた。TruthfulQAからの回答には平均3.2個の原子レベルの主張が含まれていたが、FEVERのサンプルは一般的に単一の主張で構成されていた。分解プロセスでは、追加情報を導入することなく事実上の断定を分離し、個々の記述を個別に評価することを可能にした。この観察結果は、回答全体を単一の単位として評価するよりも、主張レベルの検証の方が高い精度が得られるという仮説を支持するものであった。
独立したリファレンスの構築
抽出された各主張に対して、元のクエリのみを条件とした個別の推論プロセスを用いて、独立したリファレンスを生成した。生成されたリファレンスは、元の回答とは十分に区別可能な簡潔な事実記述であり、独立した検証ソースとして機能した。リファレンスの生成プロセスは、事実リファレンスがモデルの以前の出力に直接依存することを避けるため、初期回答から切り離された。この分離は、潜在的な確証バイアスを軽減し、その後の主張レベルの検証に制御された根拠を提供することを目的としていたが、本研究ではこの効果の程度を独立して定量化してはいない。独立したリファレンスの生成に成功したことは、知識の想起と回答の生成を分離するという提案された設計原理を支持するものである。
自然言語推論の検証
NLI検証ステージにより、主張と根拠のペアを含意、矛盾、および中立のカテゴリーに効果的に分類することができた。矛盾する主張には一貫して負の検証スコアが割り当てられた一方、事実に基づいた根拠がある主張には正のスコアが割り当てられた。中立の分類は、十分な根拠が得られなかった主張に対して割り当てられた。この挙動は、意味推論によって根拠のない事実陳述を確実に特定できることを示しており、標的を絞った修正に必要なエビデンスを提供した。単純な整合性チェック戦略と比較して、NLI検証はハルシネーション率を20%から15%に低減させ、検出能力の向上が示された。
適応統計しきい値処理
適応的統計閾値の設定を適用することで、各回答の信頼度スコアの分布に基づいて決定境界を動的に調整し、検証性能をさらに向上させました。閾値の感度分析により、閾値パラメータを0.3から0.7に増加させるにつれて性能が向上することが示されました。感度値0.7において、本フレームワークは0.87の正解率を達成し、同時にハルシネーションを9%まで低減させました（図2）。評価したkの値に関する完全な感度分析の結果は、付録表2に記載しています。閾値をこれ以上に上げても、正解率の向上はわずかであり、一方でレイテンシが増大しました。これらの観察結果は、回答間で異なる信頼度分布を処理する場合、適応的閾値が固定された決定境界よりも効果的であるという仮説を裏付けるものでした。
適応型閾値は、各回答内における信頼度スコアの変動性も反映しています。検証スコアの整合性が非常に高い回答では標準偏差が小さくなり、結果としてより選択的な決定境界が形成されます。対照的に、信頼度の値にばらつきがある主張を含む回答では標準偏差が大きくなり、許容範囲が広がることで、不確実な主張に対する不要な修正が減少します。この適応的な挙動ですべての偽陽性や偽陰性を排除することはできませんが、すべての入力に一律の基準を適用するのではなく、各回答の不確実性の特性に応じて決定境界を応答させることが可能になります。
選択的なクレーム補正および応答書の作成
矛盾していると特定された主張のみを修正のために提出し、裏付けのある主張および中立的な主張は変更せずに保持した。この選択的な修正戦略により、不要な再生成を最小限に抑え、回答の元の構造を維持した。修正および回答の再構築後、TruthfulQAにおけるハルシネーション率は28%から9%に低下し、相対的に67.9%の減少を示した。同様の改善がFEVERでも観察され、ハルシネーションは26%から10%に減少した。評価した構成間における精度とハルシネーション率の比較を以下に示す。 図3および4、それぞれ。
性能評価
比較評価の結果、提案したフレームワークは、テストしたすべての手法の中で最高の総合性能を達成した。TruthfulQAにおいて、本フレームワークは正解率0.87、F1スコア0.85を達成し、固定しきい値による検証および自己整合性（self-consistency）に基づくアプローチの両方を上回った（表2、図3および4）。FEVERにおいては、本フレームワークは正解率0.89、F1スコア0.87を達成した（表3、図3および4）。フレームワーク構成要素による漸増的な寄与については、表4に示すアブレーション解析を通じて検討している。これらの改善により、クレームレベルの検証と適応的な統計的意思決定を組み合わせることで、複数のデータセットにわたって事実上の信頼性が向上することが確認された。SelfCheckGPT、FActScore、および提案フレームワークのハルシネーション検出精度を図5で比較している。
潜伏期間解析
完全な検証パイプラインは、低い計算オーバーヘッドを維持した。平均レスポンスタイムは、ベースラインモデルの820 msからフルフレームワークの980 msへと増加したが、これは処理時間のわずかな増加に留まっている（表5）。全レイテンシの大部分はレスポンス生成によるものであり、検証および修正ステージによる追加のオーバーヘッドは相対的に少なかった。ステージごとの処理時間の内訳は、付録表3に記載されている。1クエリあたり約1600 msを要した検索ベースの検証システムと比較して、提案したフレームワークは同等の事実正確性を維持しつつ、大幅に低いレイテンシを実現した。これらの結果は、リアルタイムのユーザビリティを犠牲にすることなく、ハルシネーションの低減が可能であるという仮説を支持するものである。
応答の生成はクラウドベースの言語モデルに依存しているため、個々のレイテンシ測定値は決定論的な実行時間ではなく、ネットワーク状況やサーバー側のスケジューリングによる変動の影響を受けます。そのため、繰り返し測定を行うことで代表的な平均値を算出し、一過性の実行変動による影響を軽減しつつ、評価した手法間の相対的な比較を維持しました。レイテンシの値は、繰り返し実施した実験ラン全体の平均実行時間として報告しています。個々のランごとのレイテンシ値は保持されていないため、事後的に分散や信頼区間、その他の変動尺度の算出を行うことはできませんでした。したがって、図6におけるレイテンシの値および速度と精度の比較は、エラーバーのない点推定値として提示しています。
結論として、主張の抽出、独立した参照の生成、自然言語推論による検証、適応的な統計的閾値設定、および選択的な修正を組み合わせることで、大規模言語モデルの出力における事実上の信頼性が向上することが実証された。このフレームワークにより、ハルシネーション率はTruthfulQAで28%から9%に、FEVERで26%から10%に低減した。これらの結果は、適応的な主張レベルの検証が、評価条件下での応答レイテンシの増加を抑制しつつ、事実上の信頼性指標を向上させたことを示している。
データの利用可能性
本研究で分析されたデータセットは、それぞれの公式ソースを通じて公開されています。本稿では、記載された分析の再現を支援するために必要なデータセット情報、モデル構成、および手法の詳細を提供しています。研究中に生成された処理済みの評価データおよび補足結果は、補足ファイルに提供されています。
図 1: 適応型主張検証フレームワークのワークフロー。LLMによって生成された初期回答を事実に基づく主張に分解し、続いて独立したリファレンスの生成、NLIに基づく検証、信頼度スコアリング、および統計的閾値判定を行う。受理基準を満たす主張は保持され、修正基準を満たす主張は最終的な回答の組み立て前に標的を絞った修正が行われる。こちらのリンクをクリックして、この図の拡大版を表示してください。
図2: 検証正解率に対する感度パラメータ(k)の影響。kの値が0.3、0.5、0.7、および1.0におけるTruthfulQAおよびFEVERの正解率。両データセットにおいてkと共に正解率は向上し、主要な評価にはk = 0.7が採用された。こちらのリンクをクリックして、この図の拡大版を表示してください。
図 3: 検証手法間での正解率の比較。TruthfulQAおよびFEVERにおける、ベースラインLLM、NLIベースの検証、および提案する適応的検証フレームワークの正解率。こちらのリンクをクリックして、この図の拡大版を表示してください。
図 4: 検証手法間におけるハルシネーション率の比較。TruthfulQAおよびFEVERにおける、ベースラインLLM、NLIベースの検証、および提案フレームワークのハルシネーション率。提案フレームワークにより、ハルシネーション率はTruthfulQAでは28%から9%に、FEVERでは26%から10%に減少した。こちらのリンクをクリックして、この図の拡大版を表示してください。
図 5: 手法ごとのハルシネーション検出精度。TruthfulQAおよびFEVERにおけるSelfCheckGPT、FActScore、および提案フレームワークの検出精度。こちらのリンクをクリックして、この図の拡大版を表示してください。
図6検証方法間における応答時間と精度のトレードオフ。 TruthfulQAおよびFEVERにおいて評価した手法の応答レイテンシと正解率の関係であり、提案フレームワークと対照手法に関連するパフォーマンスとレイテンシのトレードオフを示している。 こちらの図の拡大版を表示するには、ここをクリックしてください。
| データセット | 使用試料 | 領域 | 平均回答長（トークン数） | ベースラインLLMハルシネーション率 |
| TruthfulQA | 817 | 38（科学、歴史、法律など） | 42 | 28% |
| 発熱 | 1,000 | 一般的な事実に関する主張 | 18 | 26% |
表 1: ベンチマークデータセットの特性。フレームワークの開発および評価に使用したTruthfulQAおよびFEVERデータセットの概要であり、サンプル数、ベースライン精度、ベースラインハルシネーション率、およびサンプルあたりの平均主張数を含む。
| 方法 | 正確性 | 精度 | 再現率 | F1スコア | ハルシネーション率（%） |
| ベースラインLLM（単一推論） | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| NLIに基づく検証（固定しきい値） | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| 提案フレームワーク（統計的閾値） | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
表2：TruthfulQAにおける性能比較。ベースラインLLM、SelfCheckGPT、FActScore、NLI検証、および提案フレームワークにおける正解率、適合率、再現率、F1スコア、およびハルシネーション率。
| 方法 | 正確性 | 精度 | 再現率 | F1スコア | ハルシネーション率（％） |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| ベースラインLLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| NLIに基づく検証（固定しきい値） | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| 提案フレームワーク（統計的閾値） | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
表3：FEVERにおける性能比較。ベースラインLLM、SelfCheckGPT、FActScore、NLI検証、および提案フレームワークにおける正解率、適合率、再現率、F1スコア、およびハルシネーション率。
| 構成 | 正解率 (Accuracy) | 適合率 (Precision) | 再現率 (Recall) | F1スコア (追加) | ハルシネーション率 |
| ベースライン言語モデル | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| ベースライン + 二次チェック (NLIなし) | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| ベースライン + NLIベース検証 (固定しきい値) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| ベースライン + 統計的決定モジュール (フル) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
表4：フレームワーク構成要素のアブレーション解析。二次検証、NLI検証、および適応的統計閾値設定を順次導入した後の、精度、F1スコア、およびハルシネーション率の変化。
| 方法 | 平均反応時間 (ms) |
| ベースラインLLM（単一生成） | 820 |
| 自己検証メカニズム | 910 |
| 提案される統計的枠組み | 980 |
| 検索拡張検証 (RAG) | 1600 |
表 5：検証手法別の応答レイテンシ。Self-Validation（提案フレームワーク）および検索拡張検証における、ベースラインLLMに対する平均応答時間と追加レイテンシ。
補足表1：ハルシネーション検証アプローチの比較。外部リトリーバル、クレームレベルの検証、適応的しきい値設定、および低遅延処理の観点における、提案フレームワークと既存手法の比較。こちらをクリックしてファイルをダウンロードしてください。
補足表2：閾値パラメータ（k）の感度分析。 閾値パラメータの値として0.3、0.5、0.7、1.0における正解率（Accuracy）、適合率（Precision）、再現率（Recall）、F1スコア、およびハルシネーション率を算出した。主要な評価にはk = 0.7の値を使用した。こちらをクリックしてファイルをダウンロードしてください。
補足表3：検証パイプラインの各ステージにおける処理時間 初期回答生成、主張の分解、参照生成、NLI推論、および選択的修正が、総応答時間に占める平均実行時間と寄与率。こちらをクリックして、このファイルをダウンロードしてください。
補足表4：検証中に特定されたエラーの分布 偽陰性、偽陽性、および修正エラーの数と割合、ならびに各エラータイプに関連する主要なハルシネーションカテゴリ。こちらをクリックしてファイルをダウンロードしてください。
ディスカッション
提案されたフレームワークは、繰り返しサンプリングや外部検索を回避しつつ、事実検証の性能を向上させました。TruthfulQAにおいて、ハルシネーション率はベースラインのLLMの28%から、完全なフレームワークを用いた場合は9%まで低下し、一方で正解率は0.72から0.87へと向上しました。FEVERにおいては、ハルシネーション率が26%から10%に低下し、正解率は0.74から0.89に上昇しました。これらの比較は、あらゆる導入条件下での普遍的な優位性の証拠としてではなく、本研究で用いた実験設定および実装の範囲内で解釈されるべきです。本フレームワークは、独立した事実参照と選択的な修正を用いて、生成後の主張レベルの検証を行い、外部知識への根拠付け、繰り返しの推論、および軽量な生成後検証の間でトレードオフを実現しています。回答生成器と参照生成器は、どちらも基盤として同じGPT-3.5 Turboモデルを使用していますが、異なるプロンプティング目的と独立した実行コンテキストの下で動作します。参照生成器は元のクエリのみを受け取り、以前に生成された回答にはアクセスしません。したがって、これら2つの生成プロセスは統計的にではなく手続き的に独立しており、共有された学習済みモデルに由来する相関した事実的バイアスを保持している可能性があります。
既存の手法との比較
固定閾値NLIベースラインでは、NLIベースの事実性検証に関する先行研究に基づき、0.7の信頼度閾値を適用します。14. SelfCheckGPT15 FActScoreは、複数の確率的サンプルを生成し、NLI（自然言語推論）を用いて不整合な主張を特定する、ゼロリソースのハルシネーション検出アプローチを提示している。16 生成された回答をアトミックな事実に分解し、Wikipediaベースの知識ソースから取得した参照文献に照らして検証します。対照的に、提案されたフレームワークでは、完全な回答の再生成や外部検索を行うことなく、クレームレベルの検証を実行します。
DoLAは、推論時に異なるトランスフォーマー層から得られるトークン確率を対比させることで、事実に基づいた生成を強化する相補的で軽量なアプローチです。DoLAはトークン生成プロセス自体を修正するのに対し、提案したフレームワークは生成後のクレームレベルでの検証と選択的な修正を行うため、直接的な実験比較は行いませんでした。DoLAの実装には、本研究で使用したGPT-3.5 Turbo APIでは公開されていない、トランスフォーマー層の内部表現へのアクセスが必要です。外部リトリーバルの不在により、リトリーバルへの依存度とそれに伴う処理要件は低減されますが、検証が基盤モデルが保持する知識に限定されるという制約も生じます。その結果、完全な捏造や、検証者の知識範囲外にある専門的なクレームを修正することは依然として困難です。
適応的統計しきい値設定および選択的補正
適応的しきい値は、経験的な信頼度スコアの分布から導出され、ハルシネーション検出の再現率と修正の適合率のトレードオフを制御します。感度分析では、TruthfulQAのホールドアウト検証用データセットを用い、0.3、0.5、0.7、および1.0の値を評価しました。評価したベンチマークにおいて、k = 0.7という値が、ハルシネーションの低減と計算効率の間で最もバランスの取れたトレードオフを提供しました。
NLIの信頼性スコアの分布は生成されるコンテンツの性質に依存するため、最適な閾値はアプリケーションドメインによって異なる場合があります。したがって、新しいドメインに適用する場合、対象となるアプリケーションを反映した検証セットを使用して候補値を評価し、事実検証の性能、修正率、および処理レイテンシのバランスが取れた値を選択することが可能です。閾値の最適化はモデルの再学習ではなく単一のスカラーパラメータによる調整であるため、適応させる際に基礎となるモデルを修正する必要はありません。
選択的修正により、再生は「矛盾（Contradiction）」に分類され、かつ統計的閾値基準を満たす主張に限定されます。これにより、修正基準を満たさない主張を繰り返し処理することを回避でき、本フレームワークを全回答のリサンプリングや反復的洗練の手法から区別することができます。
レイテンシとパフォーマンスのトレードオフ
提案されたフレームワークは、ベースラインのLLMの820 ms、検索拡張検証の1600 msに対し、平均応答時間980 msを達成した。ステージレベルの分析では、初期応答の生成が全レイテンシの83.7%を占め、NLI推論が3.9%、選択的修正は平均で1%未満であった。レイテンシ値は、反復的な実験ランにおける平均実行時間として報告している。個々のランごとのレイテンシ値は保持されていないため、分散、信頼区間、またはその他の変動性の指標の後置計算は不可能であった。したがって、レイテンシ値および速度と精度の比較は、エラーバーのない点推定値として提示している。報告されたレイテンシ値は本研究で使用した実験環境を反映したものであり、特にクラウドベースの言語モデルAPIを利用する場合など、異なる展開条件下では変動する可能性がある。ネットワークのレイテンシ、サーバーの負荷、およびサービスの可用性は、提案された検証フレームワークに関わらず、絶対的な応答時間に独立して影響を及ぼす可能性がある。
誤差解析
TruthfulQAテストセットにおいて不適切に処理された主張は、偽陰性、偽陽性、または修正エラーに分類されました。これらのエラーの分布および主要なカテゴリーは、Supplementary Table 4にまとめられています。偽陰性は全エラーの52.6%を占め、主に時間的なハルシネーションや微細な事実の置換に関連していました。時間的なエラーは、検証者がベースモデルと同じトレーニングカットオフを共有している場合に見逃される可能性があり、一方で微細な事実の置換は、「矛盾（Contradiction）」ではなく「中立（Neutral）」の範囲のNLIスコアを得る可能性があります。
偽陽性はエラーの35.9%を占め、主に検証モデルの高信頼度知識範囲外にある、一般的ではない事実、極めて専門的な事実、または最近確立された事実において発生しました。これらのケースでは、主張が事実として正しかったにもかかわらず、NLIの含意スコアが低くなりました。修正エラーは全エラーの11.5%を占め、完全な捏造が特定されたものの、検証モデルの知識範囲が不十分であったため、修正プロセスによって別の不正確な記述が生成された場合に発生しました。
これらの知見は、残留誤差がNLI識別と検証者の知識範囲の両方から生じていることを示しており、特に時間的な不正確さ、微妙な事実の置き換え、稀な事実、および完全な捏造において顕著である。
統計解析
ハルシネーション率は、固定しきい値NLI検証では15%であったのが、提案された統計的フレームワークを用いることで9%に低下し、またTruthfulQAにおいては、完全なフレームワークを適用することでベースラインの28%から9%まで減少しました。これらの差は記述的なパフォーマンスの変化として報告されており、今回の評価にはそのような推論を裏付けるために必要な統計的検定結果および効果量の推定値が含まれていないため、正式な統計的有意性は主張していません17,18
限界
本フレームワークの検証性能は、基盤となるNLIモデルの能力によって制限されます。DeBERTa-v3-largeは、詳細な数値比較、時間的な推論、および複数の事実にわたるマルチホップ推論を必要とする主張において、困難に直面する可能性があります。また、NLIモデルの限界は、微妙な事実の置換を伴う偽陰性と関連しており、NLIモデルにおける系統的な弱点が検証結果に伝播する可能性があります。
回答ジェネレーターとリファレンスジェネレーターは、いずれも同じ基盤となるGPT-3.5 Turboモデルを使用しています。プロンプティングの目的が異なり、実行コンテキストが分離されているため、手順上の独立性は確保されていますが、これら2つのプロセスは統計的に独立しているわけではなく、共有された学習済みモデルに由来する相関した事実上のバイアスを保持している可能性があります。
評価者と検証者の結合が、さらなる制限となります。最終的なハルシネーション評価には、提案されたパイプライン内で主張を検証するのと同じNLIモデルが使用されています。これにより、検証者と評価者の間に一致が生じ、測定された改善度に影響を与える可能性があります。したがって、報告された結果は、ハルシネーション低減の完全に独立した証拠としてではなく、定義されたNLIベースの評価手順下での性能として解釈されるべきです。独立した人間による評価、または個別に開発された評価モデルを用いれば、より強力な検証が可能になります。
クレーム分解段階は、エンドツーエンドの検証への寄与のみについて評価され、人間がアノテーションしたクレーム境界に基づいた独立した評価は行われませんでした。その結果、本研究では分解精度の個別の定量的な推定値や、それが後続の検証に及ぼす個別の誤差伝播については提供していません。
評価はTruthfulQAおよびFEVER、ならびに英語のコンテンツに限定されました。したがって、観察された性能は、専門領域、多言語設定、または長文生成への汎用性を立証するものではありません。また、NLIの信頼度スコアの分布は生成されるコンテンツの性質に依存するため、kの最適値はアプリケーションドメインによって異なる可能性があります。したがって、本研究で評価した条件以外に知見を広げるには、ドメイン固有のキャリブレーションとより広範な評価が必要です。
最後に、レイテンシの測定値は実験構成に依存し、実行環境によって異なる可能性があります。個々のランごとのレイテンシ測定値を保持していなかったため、事後的に変動および信頼区間を推定することはできませんでした。今後の評価では、個々の測定値を保持し、実行環境におけるレイテンシのより広範な統計的特性評価を含めるべきです。
今後の課題
今後の研究では、本フレームワークで特定された主要な制限に対処する必要がある。TruthfulQAを用いて選択された固定値（k = 0.7）は、NLIの信頼度スコアの分布が異なる専門領域においては最適ではない可能性があるため、ドメインを考慮した閾値のキャリブレーションが必要である。閾値のキャリブレーションにはドメイン固有の検証データを使用し、必要に応じて偽陰性と偽陽性のエラーに対して非対称なペナルティを適用することが考えられる19。
改良されたクレーム分解には、完全性、正確性、および後続のエラー伝播を定量化するために、人間がアノテーションしたクレーム境界を用いた独立した評価を含めるべきである。微調整された分解モデルや分解信頼度の指標を用いることで、不適切にセグメント化されたクレームから生じるエラーをさらに低減できる可能性がある。今後の比較評価には、統一された実験プロトコルの下で、DoLAのような軽量なデコーディングベースのアプローチも組み込むべきである。
軽量な検索拡張（retrieval augmentation）は、検証者が十分な事実知識を持っていない場合に困難となる完全な捏造（fabrication）への対処に役立つ可能性があります。信頼度の低い矛盾した主張に対して標的を絞った検索フォールバックを導入することで、すべての主張に検索を行うことなく、外部からの事実的な裏付けを提供できる可能性があります20。
現在の評価は英語のベンチマークに限定されているため3、多言語への拡張も必要である。今後の研究では、多言語のNLIモデル、および言語固有のクレーム分解および修正プロンプトを、多言語のハルシネーション・ベンチマークで評価すべきである。
結論
本研究では、アトミックな主張分解、個別にプロンプトを用いた事実参照生成、NLI検証、適応的統計閾値設定、および選択的修正を組み合わせた2段階の主張検証フレームワークを提示しました。TruthfulQAにおいて、本フレームワークはハルシネーション率を28%から9%に低減させ、一方で平均レイテンシはベースラインのLLMと比較して160 ms増加しました。FEVERにおいては、ハルシネーション率が26%から10%に減少しました。
提案されたフレームワークは、フルレスポンスの繰り返しサンプリングや外部検索を行うことなく、事実検証において競争力のある性能を達成しました。適応的しきい値設定と選択的修正が、追加の処理オーバーヘッドを制限しつつ、観察された性能向上に寄与しました。しかし、これらの知見は評価したベンチマークと実験条件に限定されており、NLIモデルへの依存性、評価者と検証者の結合、主張分解の不確実性、ドメイン固有のしきい値校正、およびレイテンシの変動の影響を受けます。したがって、より広範な展開設定にこれらの知見を適用する前に、より広範で独立した、ドメイン固有および多言語による評価が必要です。
開示事項
著者は、開示すべき利益相反がないことを宣言します。
謝辞
著者らは、本研究を遂行するために必要な学術的環境および計算リソースを提供した所属機関に対し、心より深く感謝いたします。また、提案したフレームワークの包括的な評価を可能にした、本研究で使用した公開ベンチマークデータセットの開発者および維持管理者に感謝いたします。さらに、本研究の質と明快さを向上させるのに役立った建設的なフィードバックをいただいた同僚および査読者に感謝いたします。また、実験、データ分析、および結果の可視化を容易にしたソフトウェアライブラリおよびツールを提供したオープンソースの研究コミュニティにも謝意を表します。彼らの継続的な取り組みは、自然言語処理および信頼できる人工知能の研究を大きく前進させました。なお、本研究において外部からの資金的な援助または助成金は受けていないことを宣言いたします。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| FEVERベンチマークデータセット | FEVER Shared Task (Thorne et al.) | https://fever.ai/dataset/fever.html | 評価に使用された、主張と根拠のペアからなる公開事実検証データセット |
| GPT-3.5 Turbo (大規模言語モデル) | OpenAI | Model ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | OpenAI APIを通じてアクセスし、応答生成器および独立した参照生成器の両方として使用 |
| NumPy | NumPy Developers (オープンソース) | https://numpy.org/ | NLI検証スコアの平均および標準偏差を含む統計計算に使用した数値計算ライブラリ |
| Openai (Python APIクライアントライブラリ) | OpenAI | https://github.com/openai/openai-python | GPT-3.5 Turboへのプロンプト送信および完了回答の取得に使用したPythonクライアントライブラリ |
| pandas | pandas Development Team (オープンソース) | https://pandas.pydata.org/ | データセットの前処理および結果処理に使用した表形式データ分析ライブラリ |
| 学習済み自然言語推論 (NLI) 分類モデル | Hugging Faceモデルハブ (MicrosoftのDeBERTa-v3-largeアーキテクチャに基づいたモデル) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | ファインチューニングなしで推論モードで使用し、各主張と参照のペアを含意、中立、または矛盾に分類 |
| Python | Python Software Foundation | Version 3.9; https://www.python.org/downloads/release/python-390/ | 検証フレームワークの実装に使用した基幹プログラミング言語 |
| SciPy | SciPy Developers (オープンソース) | https://scipy.org/ | 実験結果の統計分析をサポートするために使用した科学計算ライブラリ |
| Transformers (Hugging Face Transformersライブラリ) | Hugging Face | https://github.com/huggingface/transformers | 学習済みNLIモデルのロードおよび実行に使用したPythonライブラリ |
| TruthfulQAベンチマークデータセット | Lin, Hilton, および Evansにより当初リリース | https://github.com/sylinrl/TruthfulQA | 閾値調整および評価に使用された、817件の事実指向の質問からなる公開ベンチマーク |
| ワークステーションコンピュータ | 原稿に記載なし (メーカー/モデルを確認してください) | Intel Core i5プロセッサ; 16 GB RAM; 64ビットオペレーティングシステム | 同一構成で全ての実験を実行するために使用したハードウェア |
| 注：上記に記載されたすべてのURLは、本表の作成日時点で有効であることが確認済みです。 |
参考文献
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
再版と許可
この記事は公開されました
動画は近日公開