本研究では、主張レベルの検証と適応的な統計的しきい値設定を通じて、大規模言語モデルにおけるハルシネーションを低減するための軽量なフレームワークを提示します。自然言語推論を用いて根拠のない主張を選択的に修正することで、低い応答レイテンシと実用的な展開効率を維持しながら、事実上の正確性を向上させます。
この記事について
サマリー
要約
大規模言語モデル（LLM）は、事実として不正確でありながら言語的に流暢な出力を生成するという、ハルシネーション（幻覚）と呼ばれる重大な傾向があり、これは精度が極めて重要なアプリケーションにおいて深刻なリスクとなります。検索拡張生成や自己整合性サンプリングなどの既存の軽減策は、大幅な推論レイテンシを導入するか、あるいは外部の知識インフラに依存しており、リアルタイム展開における適用性が制限されています。本論文では、LLMの回答をアトミックな事実主張に分解し、独立した事実想起プロンプトを通じて別途生成されたリファレンスと照らし合わせて、抽出された各主張を個別に検証する、軽量な2ステップの主張検証フレームワークを提案します。生成器と検証器は同じ基盤言語モデルを共有していますが、回答生成を事実想起から分離することで、直接的な回答条件付けを減少させ、自然言語推論（NLI）による検証時の確証バイアスを軽減します。また、NLIの信頼度スコア分布に対して τ = µ + kσ と定義される適応的な統計しきい値を適用し、矛盾する主張のみを選択的に修正します。固定された決定境界に依存する従来のNLIベースの手法とは異なり、提案するフレームワークは各回答の信頼度分布に合わせて検証しきい値を動的に適応させ、モデルの再学習を必要とせずに、評価したベンチマーク全体で一貫したパフォーマンスを示しました。TruthfulQAおよびFEVERでの評価において、本フレームワークはTruthfulQAのハルシネーション率を28%から9%に減少させ（相対的に67.9%の削減）、ベースラインのLLMに対してわずか160 msの追加レイテンシしか発生させず、ハルシネーション検出精度においてSelfCheckGPTやFActScoreを上回りました。これらの結果は、本フレームワークが評価ベンチマークにおいて事実の信頼性と回答レイテンシの良好なバランスを提供できることを示していますが、他のドメインや展開設定におけるさらなる検証が必要です。
概要
大規模言語モデル（LLM）は、現代の人工知能システムの基盤的なコンポーネントとして台頭しており、テキスト生成、質問回答、要約、複雑な推論を含む、幅広い自然言語タスクにおいて顕著な能力を示しています1。流暢で文脈的に一貫した回答を生成できる能力により、臨床意思決定支援、法的分析、ソフトウェアエンジニアリング、教育技術などの影響力の大きい領域での導入が加速しています2。しかし、これらの環境における信頼性を損なう、重大かつ根深い制限が存在します。それが「ハルシネーション（幻覚）」であり、モデルが言語的には流暢であるものの、事実として不正確、根拠がない、あるいは完全に捏造された回答を生成することを指します 3。実証研究では、タスクやモデルによって15%から40%以上のハルシネーション率が報告されており、GPT-4のような最先端のシステムであっても、ドメイン固有の評価において測定可能な事実的不一致を示しています2,3。この制限は、誤った出力が誤報、誤診、または欠陥のある意思決定につながる可能性がある、精度が極めて重要なアプリケーションにおいて深刻なリスクをもたらします4。ハルシネーションは、根本的に言語モデリングの確率的な性質から生じます。つまり、LLMは検証済みの事実的知識を検索したり推論したりするのではなく、入力シーケンスの統計的に可能性の高い後続トークンを予測することによって生成を行うためです5。その結果、生成された出力には、もっともらしく聞こえるが不正確な主張が組み込まれたり、根拠のない断定が導入されたり、あるいは意味的には関連しているが事実としては異なる概念が混同されたりすることがあります6。
既存の緩和策では、いくつかのパラダイムを通じてこの問題に取り組んでいますが、それぞれに顕著な限界があります。検索拡張生成（RAG）は、外部から検索したドキュメントに基づいて回答を生成することでハルシネーションを低減しますが、大幅なレイテンシのオーバーヘッドが発生し、整備されたナレッジベースへのアクセスが必要となるほか、専門的なドメインやリソースの少ないドメインにおける検索失敗に対して脆弱なままであります7,8,9。
応答生成器とリファレンス生成器は、いずれも同一の基盤となるGPT-3.5 Turboモデルを用いてインスタンス化されていますが、それぞれ異なるプロンプティング目的と実行コンテキストの下で動作します。応答生成器はユーザーのクエリに対して制約のない回答を生成する一方、リファレンス生成器は、 previously generated response（先に生成された応答）へのアクセスなしに、独立した事実想起タスクを実行します。この分離により、応答による直接的な条件付けの影響が軽減され、主張の検証時における確証バイアスが抑制されます。したがって、本フレームワークでは、生成されたリファレンスを統計的に独立しているのではなく、手順的に独立しているものとして扱います。
近年の研究では、外部リトリーバルや繰り返しの検証に頼ることなく、テキスト生成におけるハルシネーションを低減させる軽量なデコーディング戦略も探索されています。その代表的なアプローチの一つがDecoding by Contrasting Layers (DoLA)であり、これはデコーディング中にトランスフォーマーの中間層と最終層の表現を対比させることで、事実性を向上させます。生成後の検証フレームワークとは異なり、このような手法はトークン生成時に直接介入するため、言語生成プロセスの異なる段階を最適化することになります。これらの相補的な戦略は、ハルシネーションの軽減がデコーディング時または生成後の検証のいずれかによって達成可能であることを示しており、それぞれの手法が計算オーバーヘッド、実装の複雑さ、および事実的な信頼性において異なるトレードオフを提供しています。
自己整合性（Self-consistency）法は、複数の回答をサンプリングし、最も頻出または一貫性のある出力を選択することで事実としての信頼性を向上させますが、計算コストがサンプル数に比例して増大するため、低遅延が求められる運用には適していません8。自己フィードバックループを通じて出力を繰り返し修正する反復的洗練（Iterative refinement）アプローチは、段階的にエラー率を低下させますが、パスを増やすたびに推論時間が大幅に延びることになります9。NLI（自然言語推論）ベースの検証法は、生成された主張と参照テキストとの間の意味的含意（semantic entailment）を評価することで、より的を絞った代替案を提示しますが、既存の実装は固定された決定しきい値に依存しており、自信度の分布、ドメイン、またはモデルの挙動の変化に適応できないという課題があります10,11。総括すると、これらのアプローチは、許容できない計算オーバーヘッドを課すか、外部インフラに依存するか、あるいは汎用的な展開に必要とされる適応性に欠けています。これらのハルシネーション検証アプローチの主な特性の比較を補足表1（Supplementary Table 1）に示します。
本論文では、応答レイテンシを低く抑えつつ、LLMの出力におけるハルシネーションを低減するように設計された、軽量な2ステップの主張検証フレームワークを提案する。第1ステップでは、LLMが初期応答を生成し、それを原子的な事実的主張へと分解する。第2ステップでは、元の生成応答にアクセスしない独立した推論パスを通じて別途生成された事実参照を用いて、自然言語推論（NLI）により各主張を検証し、統計的に導出された信頼度しきい値に基づいて、主張レベルでの「採択」または「修正」の決定を行う。本研究の主な貢献は以下の通りである：(1) 応答生成と事実検証を分離した2ステップの主張レベル検証パイプラインを構築し、外部検索や応答全体の再生成を必要とせずに、各原子的主張の独立した標的型評価を可能にした点。(2) NLI信頼度スコアの分布に基づく適応的な統計的しきい値メカニズム（τ = µ + kσ）を導入し、固定の決定ルールに頼らずに採択と修正の境界を動的に決定することで、多様な信頼度分布における堅牢性を向上させた点。(3) 矛盾していると分類された主張のみに再生成を限定する選択的修正戦略を採用し、応答全体の再サンプリングや反復的な洗練手法と比較して、計算オーバーヘッドを大幅に削減した点。(4) ハルシネーションに特化したベンチマークによる実証的評価を行い、提案フレームワークが応答レイテンシを実用的な展開範囲内に維持しつつ、ハルシネーション率を28%から9%に低減させることを示した点。
プロトコル
本研究では、ヒト被験者、動物、生物学的試料、または患者データは使用していません。したがって、機関の倫理承認およびインフォームドコンセントは不要でした。
研究デザインの概要
大規模言語モデル（LLM）の出力における事実上の信頼性を向上させるため、2段階の検証フレームワークを実装しました。この手順は、回答の生成、主張の抽出、独立参照構築（Isolated Reference Construction）、自然言語推論（NLI）に基づく検証、適応的統計意思決定、選択的修正、および最終的な回答の組み立てで構成されています。このフレームワークは、TruthfulQAおよびFEVERのベンチマークデータセットを用いて評価されました。
全体のワークフロー
ユーザークエリ → 初期回答の生成 → 主張の抽出 → 独立した参照文献の生成 → NLI検証 → 統計的しきい値の計算 → 主張の修正 → 最終的に検証された回答。適応型主張検証フレームワークの全体的なワークフローを図1に示す。
データセットの準備
817個の事実指向の質問を含むTruthfulQAデータセット12をダウンロードし、評価に向けて準備した。 FEVERデータセット13は、「Supported（支持）」、「Refuted（反駁）」、「Not Enough Information（情報不足）」としてラベル付けされた185,445個のアノテーション済み主張で構成されており、評価には主張、根拠、および正解ラベルのフィールドを持つラベル付き開発データを使用した。各主張は提供された根拠に照らして評価され、元のFEVERラベルは検証のための参照結果として保持された。事実検証のための主張と根拠のペアを含むFEVERデータセットを入手し、前処理を行った。入力質問と主張は標準的なテキスト形式に変換した。実験前に、重複エントリと不完全なサンプルを削除した。TruthfulQAは検証用とテスト用のサブセットに分割した。TruthfulQAサンプルの約20%（164問）を閾値の調整に使用し、残りの653問を性能評価用に留保した。FEVERについては、ベンチマークで提供された主張を検証ユニットとして直接使用し、TruthfulQAに適用した応答生成および主張抽出の手順は行わなかった。フレームワークの開発および評価に使用したベンチマークデータセットの特徴を表1にまとめる。
初期応答の生成
各クエリをベース言語モデルに送信しました。レスポンスは、温度0.7、top-p 0.9の核サンプリングを用いて生成されました。最大出力長は256トークンに制限されました。生成されたレスポンスは、後処理や手動修正を一切行わずに保存されました。生成されたテキストは、そのまま主張抽出ステージへ転送されました。
請求項の抽出
生成された各回答を、独立して検証可能な事実記述へと分解しました。アトミックな主張を特定するために、構造化された分解プロンプトを使用しました。複合的な記述は、最小限の事実単位に分離されました。主観的な意見、文体上の表現、および会話的なフィラーは除去されました。抽出された各主張は、独立した検証単位として保存されました。
例：
元の回答：
「マリ・キュリーは、放射能に関する先駆的な研究を行ったポーランド生まれの物理学者であり化学者でした。」
抽出された主張：（1）マリ・キュリーはポーランド生まれである。（2）マリ・キュリーは物理学者および化学者であった。（3）マリ・キュリーは放射能の研究を行った。
単離参照構築：
抽出された各主張に対して、独立した事実参照が生成されました。検証モデルには、元のユーザークエリのみが提供されました。確証バイアスを避けるため、最初に生成された回答へのアクセスは制限されました。簡潔で根拠に基づいた回答を促すため、事実リコールプロンプトが使用されました。生成された参照資料は、その後の検証のために保存されました。
自然言語推論の検証
各主張-参照のペアを、事前学習済みのNLIモデルに投入しました。NLIモデルは、その関係を「含意（Entailment）」、「中立（Neutral）」、または「矛盾（Contradiction）」に分類しました。これら3つのクラスすべてについて、確信度確率を記録しました。また、検証スコアを次のように割り当てました：含意には正の値、中立にはゼロ、矛盾には負の値としました。しきい値計算のため、すべての検証スコアを収集しました。
適応的統計しきい値計算
NLIモデルによって生成される検証信頼度は、クエリごとに生成される主張の数、意味的な複雑さ、および信頼度の分布が異なるため、回答によって大幅に変動します。固定のグローバルしきい値は、すべての回答が同様の信頼度プロファイルに従うことを前提としていますが、実際にはそのようなケースは稀です。この変動性に対応するため、提案されたフレームワークでは、各回答の検証スコアの平均と標準偏差を用いて、回答ごとに個別の決定境界を推定します。平均は回答全体の信頼度レベルを反映し、標準偏差は抽出された主張間の信頼度値の分散を捉えます。この適応的な定式化により、すべての入力に単一のしきい値を適用するのではなく、回答固有の不確実性に応じて受理基準を調整することが可能になります。
すべての署名検証スコアの平均（µ）および標準偏差（σ）を算出した。
適応的決定閾値は以下のように計算されました：
ここで、τは適応閾値を表し、µは平均検証スコア、σは標準偏差、そしてkは感度パラメータを表します。
感度パラメータを0.7に設定しました。スコアが+τ以上の「含意（Entailment）」として分類された主張は、正解として受理されました。スコアが−τ以下の「矛盾（Contradiction）」として分類された主張は、修正対象としてマークされました。スコアが（−τ, +τ）の範囲内にある主張は、中立として保持されました。
選択的請求項補正
NLIモデルがクレームとリファレンスのペアを「矛盾（Contradiction）」と分類し、かつそれに対応する符号付き検証スコアが適応的しきい値基準sを満たした場合にのみ、そのクレームは修正のために転送された。i ≤ -τしたがって、修正の決定は、NLIのクラスラベルと応答固有の統計的閾値によって共同で決定されました。Entailmentと分類され、si ≥ τ は受理されたが、一方で-の範囲に含まれる請求はτ < si < τ 中立として扱われ、修正なしに保持された。この複合的な基準により、意味的な矛盾と十分に強力な否定的な検証根拠の両方を示す主張にのみ、修正が適用されることが保証された。
応答の再構成
承認および修正された請求内容は、元の順序で配列されました。可読性を維持するため、文の境界が復元されました。必要に応じて、軽微な文法上の調整が行われました。組み立てられた出力は、最終的な検証済み回答として保存されました。
性能評価
このフレームワークは、次の4つの指標を用いて評価されました：(1) 正解率（Accuracy）：検証後に事実として正確なままであった回答の割合、(2) F1スコア（F1 Score）：ハルシネーション検出における適合率（precision）と再現率（recall）の調和平均、(3) 回答遅延（Response Latency）：クエリの送信から検証済み回答の生成までにかかる総処理時間、(4) ハルシネーション率（Hallucination Rate）
レイテンシは、繰り返し測定された実行時間の平均値として報告されました。個々の実行ごとのレイテンシ値は保持されていなかったため、標準偏差および信頼区間は算出していません。
ベンチマーク固有の正当性評価
TruthfulQAでは、最終的な検証済み回答を、ベンチマークの人間が検証した正解のリファレンスおよび不正解リストと比較しました。事実に関する主張が認められた正解情報と一致し、かつ特定された不正解パターンの内容を含まない場合に、その回答を正解としました。FEVERでは、最終的な出力に含まれる各主張を、関連するエビデンスおよび元のFEVERアノテーションに照らして評価しました。「Supported（支持）」とされた主張は事実として検証済みとみなし、「Refuted（反駁）」とされた主張は不正解としてカウントしました。「Not Enough Information（情報不足）」の場合については、肯定的な事実的根拠として扱うのではなく、不確定として保持しました。こうして得られた主張レベルの判定結果を各ベンチマークで集計し、報告された正解率（Accuracy）およびハルシネーション率（Hallucination Rate）を算出しました。
実験環境
フレームワークはPython 3.9を用いて実装されました。データ処理操作は、数値および表形式の分析ライブラリを使用して行われました。NLIモデルは、追加のファインチューニングなしで推論モードで動作しました。実験は、Intel Core i5プロセッサ、16 GB RAM、および64ビットオペレーティングシステムを搭載したワークステーションで実行されました。すべての評価は、低レイテンシ動作を確保するために、シングルパス推論設定を用いて行われました。データセットおよびベースライン手法間での一貫した評価を確実にするため、すべての実験は同一のハードウェアおよびソフトウェア構成を用いて実施されました。
期待される結果
このプロトコルは、根拠が不十分である可能性がある主張を特定し、強く矛盾する主張を選択的に修正に回すことで、クレームレベルの検証判定を生成するように設計されています。期待される出力は、事実との不整合が軽減され、追加の処理オーバーヘッドが限定的な検証済み回答であり、これは実験的評価で観察されたパフォーマンスに従います。
結果
初期応答の生成
ベースラインの言語モデルは、両方のベンチマークデータセットからの質問に対して、流暢で文脈に即した回答を生成しました。しかし、詳細に検討したところ、いくつかの回答に根拠のない事実誤認を含む記述があることが判明しました。TruthfulQAデータセットでは、ベースラインシステムのハルシネーション率は28%であり、FEVERデータセットでは26%のハルシネーション率が観察されました。これらの結果から、高い事実信頼性が求められるアプリケーションにおいて、直接的な言語生成のみでは不十分であることが確認され、その後のすべての検証手順を比較するためのベースライン条件が設定されました。
クレーム抽出
主張抽出の手順により、生成された回答を独立して検証可能な事実単位へと正常に分解することができた。TruthfulQAからの回答には平均3.2個のアトミックな主張が含まれていたが、FEVERのサンプルは一般的に単一の主張で構成されていた。分解プロセスにおいて、追加情報を導入することなく事実としての断定を分離できたため、各記述を個別に評価することが可能となった。この観察結果は、回答全体を単一の単位として評価するよりも、主張レベルで検証を行う方がより高い精度が得られるという仮説を支持するものである。
独立した参照構築
元のクエリのみを条件とした個別の推論プロセスを用いて、抽出された各主張に対して独立した参照資料を作成した。生成された参照資料は、元の回答とは十分に異なる簡潔な事実記述を提供しており、独立した検証ソースとして機能した。参照資料の生成プロセスは、事実参照がモデルの以前の出力に直接影響を受けることを避けるため、初期回答から分離された。この分離は、潜在的な確証バイアスを軽減し、その後の主張レベルの検証のための制御された根拠を提供することを目的としていたが、本研究ではこの効果の程度を独立して定量化してはいない。独立した参照資料の生成に成功したことは、知識の想起と回答の生成を分離するという提案された設計原理を支持するものである。
自然言語推論の検証
NLI検証ステージにより、主張と参照文献のペアを含意、矛盾、および中立のカテゴリーに効果的に分類することができました。矛盾する主張には一貫して負の検証スコアが割り当てられ、一方で事実に基づいた裏付けがある主張には正のスコアが割り当てられました。裏付けとなる証拠が不十分な主張には、中立の分類が割り当てられました。この挙動は、意味推論によって裏付けのない事実記述を確実に特定でき、標的を絞った修正に必要な根拠が得られることを示しました。単純な一貫性チェック戦略と比較して、NLI検証はハルシネーション率を20%から15%に低下させ、検出能力が向上したことを示しました。
適応統計的しきい値処理
適応的統計しきい値処理を適用することで、各回答の信頼度スコア分布に基づいて決定境界を動的に調整し、検証性能をさらに向上させました。しきい値の感度分析により、しきい値パラメータを0.3から0.7に増加させるにつれて性能が向上することが示されました。感度値0.7において、本フレームワークは0.87の精度を達成し、ハルシネーションを9%まで低減しました（図2）。評価したkの値に関する完全な感度分析の結果は、付録表2に記載されています。しきい値をこれ以上に高くしても、精度の向上はわずかであり、一方でレイテンシが増大しました。これらの観察結果は、回答間で異なる信頼度分布を処理する場合、固定の決定境界よりも適応的なしきい値の方が効果的であるという仮説を支持するものでした。
適応的閾値は、各回答内における信頼度スコアの変動性をも反映しています。検証スコアの一貫性が高い回答では標準偏差が小さくなり、結果としてより選択的な決定境界が形成されます。対照的に、信頼度値が不均一な主張を含む回答では標準偏差が大きくなり、許容範囲が広がるため、不確実な主張に対する不要な修正を減らすことができます。この適応的な挙動によって、すべての入力に対して一律の基準を適用するのではなく、個々の回答の不確実性の特性に応じて決定境界を調整することが可能になります。ただし、この手法ですべての偽陽性や偽陰性を排除できるわけではありません。
選択的な請求項の補正および応答書の作成
矛盾していると特定された主張のみが修正のために送信され、裏付けがある主張および中立的な主張は変更せずに保持された。この選択的な修正戦略により、不要な再生成が最小限に抑えられ、回答の元の構造が維持された。修正および回答の再構成後、TruthfulQAにおけるハルシネーション率は28%から9%に低下し、相対的に67.9%の減少を示した。同様の改善がFEVERでも観察され、ハルシネーションは26%から10%に減少した。評価した各構成における精度とハルシネーション率の比較を、以下に提示する。 図3および4それぞれ。
性能評価
比較評価の結果、提案されたフレームワークは、テストしたすべての手法の中で最高の総合性能を達成した。TruthfulQAにおいて、本フレームワークは正解率0.87、F1スコア0.85を達成し、固定しきい値検証および自己一貫性に基づくアプローチの両方を上回った（表2、図3および4）。FEVERにおいて、本フレームワークは正解率0.89、F1スコア0.87を達成した（表3、図3および4）。フレームワークの各コンポーネントによる漸進的な寄与については、表4に提示したアブレーション解析を通じて検証している。これらの改善により、主張レベルの検証と適応的な統計的意思決定を組み合わせることで、複数のデータセットにわたって事実の信頼性が向上することが確認された。SelfCheckGPT、FActScore、および提案フレームワークのハルシネーション検出精度を図5で比較している。
潜時分析
完全な検証パイプラインは、低い計算オーバーヘッドを維持した。平均応答時間は、ベースラインモデルの820 msからフルフレームワークでは980 msに増加したが、これは処理時間のわずかな増加に留まっている（表5）。応答生成が全レイテンシの大部分を占めており、検証および修正ステージによる追加のオーバーヘッドは相対的に少なかった。ステージレベルの処理時間の内訳は、付録表3に示されている。1クエリあたり約1600 msを要した検索ベースの検証システムと比較して、提案されたフレームワークは、同等の事実正確性を維持しながら、大幅に低いレイテンシを実現した。これらの知見は、リアルタイムのユーザビリティを損なうことなくハルシネーションの抑制が可能であるという仮説を裏付けるものである。
応答の生成はクラウドベースの言語モデルに依存しているため、個々のレイテンシ測定値は、決定論的な実行時間ではなく、ネットワークの状態やサーバー側のスケジューリングによる変動の影響を受けます。したがって、代表的な平均値を得るために繰り返し測定を行い、評価手法間の相対的な比較を維持しつつ、一時的な実行のばらつきによる影響を低減させました。レイテンシ値は、繰り返し実施した実験ランの平均実行時間として報告しています。個々のランごとのレイテンシ値は保持していないため、事後的に分散、信頼区間、またはその他のばらつきの指標を算出することは不可能でした。そのため、図6におけるレイテンシ値および速度と精度の比較は、エラーバーのない点推定値として提示しています。
結論として、主張の抽出、独立した参照文献の生成、自然言語推論（NLI）による検証、適応的統計しきい値設定、および選択的修正を組み合わせることで、大規模言語モデルの出力における事実上の信頼性が向上することが実証されました。本フレームワークにより、ハルシネーション率はTruthfulQAで28%から9%に、FEVERでは26%から10%に減少しました。これらの結果は、評価条件下において、適応的な主張レベルの検証が応答レイテンシへの影響を限定的に抑えつつ、事実上の信頼性指標を向上させたことを示しています。
データの利用可能性
本研究で分析したデータセットは、それぞれの公式ソースを通じて公開されています。本稿では、記載された分析の再現をサポートするために必要なデータセット情報、モデル構成、および手法の詳細を提供しています。研究中に生成された処理済みの評価データおよび補完的な結果は、補足ファイルに提供されています。
図1: 適応型主張検証フレームワークのワークフロー。LLMによって生成された初期回答を事実に基づく主張に分解し、続いて独立した参照文献の生成、NLIベースの検証、信頼度スコアリング、および統計的閾値処理を行う。採択基準を満たす主張は保持され、修正基準を満たす主張は、最終的な回答を組み立てる前に標的を絞った修正が行われる。こちらのリンクをクリックして、この図の拡大版を表示してください。
図2: 感度パラメータ(k)が検証精度に与える影響。k値が0.3、0.5、0.7、および1.0におけるTruthfulQAおよびFEVERの精度。両データセットにおいてkに伴い精度が向上し、主要な評価にはk = 0.7が選択された。この図の拡大版を表示するには、ここをクリックしてください。
図3: 検証方法間における精度の比較。TruthfulQAおよびFEVERにおける、ベースラインLLM、NLIベースの検証、および提案した適応的検証フレームワークの精度。こちらのリンクをクリックして、この図の拡大版を表示してください。
図4検証方法間におけるハルシネーション発生率の比較。 TruthfulQAおよびFEVERにおける、ベースラインLLM、NLIベースの検証、および提案フレームワークのハルシネーション率。提案フレームワークにより、ハルシネーション率はTruthfulQAで28%から9%へ、FEVERで26%から10%へと低下した。 こちらの図の拡大版を表示するには、ここをクリックしてください。
図 5: 各手法におけるハルシネーション検出精度の比較。TruthfulQAおよびFEVERにおけるSelfCheckGPT、FActScore、および提案フレームワークの検出精度。ここをクリックして、この図の拡大版を表示してください。
図 6検証方法間における応答時間と正確性のトレードオフ。 TruthfulQAおよびFEVERにおいて評価した手法の応答レイテンシと精度の関係であり、提案フレームワークと対照手法に関連する性能とレイテンシのトレードオフを示している。 こちらの図の拡大版を表示するには、ここをクリックしてください。
| データセット | 使用サンプル | 領域 | 平均応答長（トークン） | ベースラインLLMハルシネーション率 |
| TruthfulQA | 817 | 38（科学、歴史、法学など） | 42 | 28% |
| 発熱 | 1,000 | 一般的な事実に基づく主張 | 18 | 26% |
表1：ベンチマークデータセットの特性。フレームワークの開発および評価に使用したTruthfulQAおよびFEVERデータセットの要約であり、サンプル数、ベースライン精度、ベースラインのハルシネーション率、およびサンプルあたりの平均主張数が含まれています。
| 手法 | 正解率 (Accuracy) | 適合率 (Precision) | 再現率 (Recall) | F1スコア | ハルシネーション率 (%) |
| ベースラインLLM (単一推論) | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| NLIベース検証 (固定しきい値) | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| SelfCheckGPT | 0.76 | 0.755 | 0.725 | 0.74 | 22% |
| FActScore | 0.85 | 0.8425 | 0.8175 | 0.83 | 11% |
| 提案フレームワーク (統計的しきい値) | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
表2：TruthfulQAにおける性能比較。ベースラインLLM、SelfCheckGPT、FActScore、NLI検証、および提案フレームワークの正解率、適合率、再現率、F1スコア、およびハルシネーション率。
| 方法 | 正確度 | 精度 | 再現率 | F1スコア | ハルシネーション率（%） |
| SelfCheckGPT | 0.78 | — | — | — | — |
| FActScore | 0.87 | — | — | — | — |
| ベースラインLLM† | 0.74 | 0.73 | 0.71 | 0.72 | 26% |
| NLIに基づく検証（固定しきい値） | 0.83 | 0.8225 | 0.7975 | 0.81 | 14% |
| 提案されるフレームワーク（統計的しきい値） | 0.89 | 0.8775 | 0.8625 | 0.87 | 10% |
表3：FEVERにおける性能比較。ベースラインLLM、SelfCheckGPT、FActScore、NLI検証、および提案フレームワークの正解率、適合率、再現率、F1スコア、およびハルシネーション率。
| 構成 | 精度 | 精度 | 再現率 | F1（添加済み） | ハルシネーション率 |
| ベースライン言語モデル | 0.72 | 0.71 | 0.69 | 0.7 | 28% |
| ベースライン＋二次チェック（NLIなし） | 0.78 | 0.7725 | 0.7475 | 0.76* | 20% |
| ベースライン + NLIベースの検証（固定しきい値） | 0.82 | 0.815 | 0.785 | 0.8 | 15% |
| ベースライン + 統計的決定モジュール（完全版） | 0.87 | 0.86 | 0.84 | 0.85 | 9% |
表4：フレームワーク構成要素のアブレーション解析。二次検証、NLI検証、および適応的統計しきい値処理を順次導入した後の、正解率、F1スコア、およびハルシネーション率の変化。
| 方法 | 平均反応時間 (ms) |
| ベースラインLLM（単一生成） | 820 |
| 自己検証メカニズム | 910 |
| 提案される統計的枠組み | 980 |
| 検索増強検証 (RAG) | 1600 |
表5：検証方法別の応答レイテンシ。自己検証（提案フレームワーク）および検索拡張検証における、平均応答時間とベースラインLLMに対する追加レイテンシ。
付録表1：ハルシネーション検証アプローチの比較。外部検索、クレームレベルの検証、適応的閾値設定、および低遅延処理の観点から、提案されたフレームワークと既存の手法を比較したものである。こちらのリンクからファイルをダウンロードしてください。
補足表2：閾値パラメータ（k）の感度分析。閾値パラメータの値を0.3、0.5、0.7、および1.0としたときの正解率、適合率、再現率、F1スコア、およびハルシネーション率を算出した。一次評価では、k = 0.7の値を用いた。こちらをクリックしてファイルをダウンロードしてください。
補足表3：検証パイプラインの各ステージにおける処理時間 初回応答生成、主張の分解、参照文献の生成、NLI推論、および選択的修正の平均実行時間と、総応答時間に対するそれぞれの寄与率。こちらをクリックしてファイルをダウンロードしてください。
補足表4：検証中に特定されたエラーの分布 偽陰性、偽陽性、および修正エラーの数と割合、ならびに各エラータイプに関連する主要なハルシネーションカテゴリー。こちらのファイルをダウンロードするには、ここをクリックしてください。
ディスカッション
提案されたフレームワークは、繰り返しサンプリングや外部検索を回避しつつ、事実検証の性能を向上させました。TruthfulQAにおいて、ハルシネーション率はベースラインのLLMの28%から、完全なフレームワークを用いた場合は9%まで低下し、一方で正解率は0.72から0.87へと向上しました。FEVERにおいては、ハルシネーション率が26%から10%に低下し、正解率は0.74から0.89に上昇しました。これらの比較は、あらゆる導入条件下での普遍的な優位性の証拠としてではなく、本研究で用いた実験設定および実装の範囲内で解釈されるべきです。本フレームワークは、独立した事実参照と選択的な修正を用いて、生成後の主張レベルの検証を行い、外部知識への根拠付け、繰り返しの推論、および軽量な生成後検証の間でトレードオフを実現しています。回答生成器と参照生成器は、どちらも基盤として同じGPT-3.5 Turboモデルを使用していますが、異なるプロンプティング目的と独立した実行コンテキストの下で動作します。参照生成器は元のクエリのみを受け取り、以前に生成された回答にはアクセスしません。したがって、これら2つの生成プロセスは統計的にではなく手続き的に独立しており、共有された学習済みモデルに由来する相関した事実的バイアスを保持している可能性があります。
既存の手法との比較
固定閾値NLIベースラインでは、NLIベースの事実性検証に関する先行研究に基づき、0.7の信頼度閾値を適用します。14. SelfCheckGPT15 FActScoreは、複数の確率的サンプルを生成し、NLI（自然言語推論）を用いて不整合な主張を特定する、ゼロリソースのハルシネーション検出アプローチを提示している。16 生成された回答をアトミックな事実に分解し、Wikipediaベースの知識ソースから取得した参照文献に照らして検証します。対照的に、提案されたフレームワークでは、完全な回答の再生成や外部検索を行うことなく、クレームレベルの検証を実行します。
DoLAは、推論時に異なるトランスフォーマー層から得られるトークン確率を対比させることで、事実に基づいた生成を強化する相補的で軽量なアプローチです。DoLAはトークン生成プロセス自体を修正するのに対し、提案したフレームワークは生成後のクレームレベルでの検証と選択的な修正を行うため、直接的な実験比較は行いませんでした。DoLAの実装には、本研究で使用したGPT-3.5 Turbo APIでは公開されていない、トランスフォーマー層の内部表現へのアクセスが必要です。外部リトリーバルの不在により、リトリーバルへの依存度とそれに伴う処理要件は低減されますが、検証が基盤モデルが保持する知識に限定されるという制約も生じます。その結果、完全な捏造や、検証者の知識範囲外にある専門的なクレームを修正することは依然として困難です。
適応的統計しきい値設定および選択的補正
適応的しきい値は、経験的な信頼度スコアの分布から導出され、ハルシネーション検出の再現率と修正の適合率のトレードオフを制御します。感度分析では、TruthfulQAのホールドアウト検証用データセットを用い、0.3、0.5、0.7、および1.0の値を評価しました。評価したベンチマークにおいて、k = 0.7という値が、ハルシネーションの低減と計算効率の間で最もバランスの取れたトレードオフを提供しました。
NLIの信頼性スコアの分布は生成されるコンテンツの性質に依存するため、最適な閾値はアプリケーションドメインによって異なる場合があります。したがって、新しいドメインに適用する場合、対象となるアプリケーションを反映した検証セットを使用して候補値を評価し、事実検証の性能、修正率、および処理レイテンシのバランスが取れた値を選択することが可能です。閾値の最適化はモデルの再学習ではなく単一のスカラーパラメータによる調整であるため、適応させる際に基礎となるモデルを修正する必要はありません。
選択的修正により、再生は「矛盾（Contradiction）」に分類され、かつ統計的閾値基準を満たす主張に限定されます。これにより、修正基準を満たさない主張を繰り返し処理することを回避でき、本フレームワークを全回答のリサンプリングや反復的洗練の手法から区別することができます。
レイテンシとパフォーマンスのトレードオフ
提案されたフレームワークは、ベースラインのLLMの820 ms、検索拡張検証の1600 msに対し、平均応答時間980 msを達成した。ステージレベルの分析では、初期応答の生成が全レイテンシの83.7%を占め、NLI推論が3.9%、選択的修正は平均で1%未満であった。レイテンシ値は、反復的な実験ランにおける平均実行時間として報告している。個々のランごとのレイテンシ値は保持されていないため、分散、信頼区間、またはその他の変動性の指標の後置計算は不可能であった。したがって、レイテンシ値および速度と精度の比較は、エラーバーのない点推定値として提示している。報告されたレイテンシ値は本研究で使用した実験環境を反映したものであり、特にクラウドベースの言語モデルAPIを利用する場合など、異なる展開条件下では変動する可能性がある。ネットワークのレイテンシ、サーバーの負荷、およびサービスの可用性は、提案された検証フレームワークに関わらず、絶対的な応答時間に独立して影響を及ぼす可能性がある。
誤差解析
TruthfulQAテストセットにおいて不適切に処理された主張は、偽陰性、偽陽性、または修正エラーに分類されました。これらのエラーの分布および主要なカテゴリーは、Supplementary Table 4にまとめられています。偽陰性は全エラーの52.6%を占め、主に時間的なハルシネーションや微細な事実の置換に関連していました。時間的なエラーは、検証者がベースモデルと同じトレーニングカットオフを共有している場合に見逃される可能性があり、一方で微細な事実の置換は、「矛盾（Contradiction）」ではなく「中立（Neutral）」の範囲のNLIスコアを得る可能性があります。
偽陽性はエラーの35.9%を占め、主に検証モデルの高信頼度知識範囲外にある、一般的ではない事実、極めて専門的な事実、または最近確立された事実において発生しました。これらのケースでは、主張が事実として正しかったにもかかわらず、NLIの含意スコアが低くなりました。修正エラーは全エラーの11.5%を占め、完全な捏造が特定されたものの、検証モデルの知識範囲が不十分であったため、修正プロセスによって別の不正確な記述が生成された場合に発生しました。
これらの知見は、残留誤差がNLI識別と検証者の知識範囲の両方から生じていることを示しており、特に時間的な不正確さ、微妙な事実の置き換え、稀な事実、および完全な捏造において顕著である。
統計解析
ハルシネーション率は、固定しきい値NLI検証では15%であったのが、提案された統計的フレームワークを用いることで9%に低下し、またTruthfulQAにおいては、完全なフレームワークを適用することでベースラインの28%から9%まで減少しました。これらの差は記述的なパフォーマンスの変化として報告されており、今回の評価にはそのような推論を裏付けるために必要な統計的検定結果および効果量の推定値が含まれていないため、正式な統計的有意性は主張していません17,18
限界
本フレームワークの検証性能は、基盤となるNLIモデルの能力によって制限されます。DeBERTa-v3-largeは、詳細な数値比較、時間的な推論、および複数の事実にわたるマルチホップ推論を必要とする主張において、困難に直面する可能性があります。また、NLIモデルの限界は、微妙な事実の置換を伴う偽陰性と関連しており、NLIモデルにおける系統的な弱点が検証結果に伝播する可能性があります。
回答ジェネレーターとリファレンスジェネレーターは、いずれも同じ基盤となるGPT-3.5 Turboモデルを使用しています。プロンプティングの目的が異なり、実行コンテキストが分離されているため、手順上の独立性は確保されていますが、これら2つのプロセスは統計的に独立しているわけではなく、共有された学習済みモデルに由来する相関した事実上のバイアスを保持している可能性があります。
評価者と検証者の結合が、さらなる制限となります。最終的なハルシネーション評価には、提案されたパイプライン内で主張を検証するのと同じNLIモデルが使用されています。これにより、検証者と評価者の間に一致が生じ、測定された改善度に影響を与える可能性があります。したがって、報告された結果は、ハルシネーション低減の完全に独立した証拠としてではなく、定義されたNLIベースの評価手順下での性能として解釈されるべきです。独立した人間による評価、または個別に開発された評価モデルを用いれば、より強力な検証が可能になります。
クレーム分解段階は、エンドツーエンドの検証への寄与のみについて評価され、人間がアノテーションしたクレーム境界に基づいた独立した評価は行われませんでした。その結果、本研究では分解精度の個別の定量的な推定値や、それが後続の検証に及ぼす個別の誤差伝播については提供していません。
評価はTruthfulQAおよびFEVER、ならびに英語のコンテンツに限定されました。したがって、観察された性能は、専門領域、多言語設定、または長文生成への汎用性を立証するものではありません。また、NLIの信頼度スコアの分布は生成されるコンテンツの性質に依存するため、kの最適値はアプリケーションドメインによって異なる可能性があります。したがって、本研究で評価した条件以外に知見を広げるには、ドメイン固有のキャリブレーションとより広範な評価が必要です。
最後に、レイテンシの測定値は実験構成に依存し、実行環境によって異なる可能性があります。個々のランごとのレイテンシ測定値を保持していなかったため、事後的に変動および信頼区間を推定することはできませんでした。今後の評価では、個々の測定値を保持し、実行環境におけるレイテンシのより広範な統計的特性評価を含めるべきです。
今後の課題
今後の研究では、本フレームワークで特定された主要な制限に対処する必要がある。TruthfulQAを用いて選択された固定値（k = 0.7）は、NLIの信頼度スコアの分布が異なる専門領域においては最適ではない可能性があるため、ドメインを考慮した閾値のキャリブレーションが必要である。閾値のキャリブレーションにはドメイン固有の検証データを使用し、必要に応じて偽陰性と偽陽性のエラーに対して非対称なペナルティを適用することが考えられる19。
改良されたクレーム分解には、完全性、正確性、および後続のエラー伝播を定量化するために、人間がアノテーションしたクレーム境界を用いた独立した評価を含めるべきである。微調整された分解モデルや分解信頼度の指標を用いることで、不適切にセグメント化されたクレームから生じるエラーをさらに低減できる可能性がある。今後の比較評価には、統一された実験プロトコルの下で、DoLAのような軽量なデコーディングベースのアプローチも組み込むべきである。
軽量な検索拡張（retrieval augmentation）は、検証者が十分な事実知識を持っていない場合に困難となる完全な捏造（fabrication）への対処に役立つ可能性があります。信頼度の低い矛盾した主張に対して標的を絞った検索フォールバックを導入することで、すべての主張に検索を行うことなく、外部からの事実的な裏付けを提供できる可能性があります20。
現在の評価は英語のベンチマークに限定されているため3、多言語への拡張も必要である。今後の研究では、多言語のNLIモデル、および言語固有のクレーム分解および修正プロンプトを、多言語のハルシネーション・ベンチマークで評価すべきである。
結論
本研究では、アトミックな主張分解、個別にプロンプトを用いた事実参照生成、NLI検証、適応的統計閾値設定、および選択的修正を組み合わせた2段階の主張検証フレームワークを提示しました。TruthfulQAにおいて、本フレームワークはハルシネーション率を28%から9%に低減させ、一方で平均レイテンシはベースラインのLLMと比較して160 ms増加しました。FEVERにおいては、ハルシネーション率が26%から10%に減少しました。
提案されたフレームワークは、フルレスポンスの繰り返しサンプリングや外部検索を行うことなく、事実検証において競争力のある性能を達成しました。適応的しきい値設定と選択的修正が、追加の処理オーバーヘッドを制限しつつ、観察された性能向上に寄与しました。しかし、これらの知見は評価したベンチマークと実験条件に限定されており、NLIモデルへの依存性、評価者と検証者の結合、主張分解の不確実性、ドメイン固有のしきい値校正、およびレイテンシの変動の影響を受けます。したがって、より広範な展開設定にこれらの知見を適用する前に、より広範で独立した、ドメイン固有および多言語による評価が必要です。
開示事項
著者は、開示すべき利益相反がないことを宣言します。
謝辞
著者らは、本研究を遂行するために必要な学術的環境および計算リソースを提供した所属機関に対し、心より深く感謝いたします。また、提案したフレームワークの包括的な評価を可能にした、本研究で使用した公開ベンチマークデータセットの開発者および維持管理者に感謝いたします。さらに、本研究の質と明快さを向上させるのに役立った建設的なフィードバックをいただいた同僚および査読者に感謝いたします。また、実験、データ分析、および結果の可視化を容易にしたソフトウェアライブラリおよびツールを提供したオープンソースの研究コミュニティにも謝意を表します。彼らの継続的な取り組みは、自然言語処理および信頼できる人工知能の研究を大きく前進させました。なお、本研究において外部からの資金的な援助または助成金は受けていないことを宣言いたします。
材料
| 名前 | 会社 | カタログ番号 | コメント |
|---|---|---|---|
| FEVERベンチマークデータセット | FEVER Shared Task (Thorne et al.) | https://fever.ai/dataset/fever.html | 評価に使用された、主張と根拠のペアからなる公開事実検証データセット |
| GPT-3.5 Turbo (大規模言語モデル) | OpenAI | Model ID: gpt-3.5-turbo; https://developers.openai.com/api/docs/models/gpt-3.5-turbo | OpenAI APIを通じてアクセスし、応答生成器および独立した参照生成器の両方として使用 |
| NumPy | NumPy Developers (オープンソース) | https://numpy.org/ | NLI検証スコアの平均および標準偏差を含む統計計算に使用した数値計算ライブラリ |
| Openai (Python APIクライアントライブラリ) | OpenAI | https://github.com/openai/openai-python | GPT-3.5 Turboへのプロンプト送信および完了回答の取得に使用したPythonクライアントライブラリ |
| pandas | pandas Development Team (オープンソース) | https://pandas.pydata.org/ | データセットの前処理および結果処理に使用した表形式データ分析ライブラリ |
| 学習済み自然言語推論 (NLI) 分類モデル | Hugging Faceモデルハブ (MicrosoftのDeBERTa-v3-largeアーキテクチャに基づいたモデル) | MoritzLaurer/DeBERTa-v3-large-mnli-fever-anli-ling-wanli | ファインチューニングなしで推論モードで使用し、各主張と参照のペアを含意、中立、または矛盾に分類 |
| Python | Python Software Foundation | Version 3.9; https://www.python.org/downloads/release/python-390/ | 検証フレームワークの実装に使用した基幹プログラミング言語 |
| SciPy | SciPy Developers (オープンソース) | https://scipy.org/ | 実験結果の統計分析をサポートするために使用した科学計算ライブラリ |
| Transformers (Hugging Face Transformersライブラリ) | Hugging Face | https://github.com/huggingface/transformers | 学習済みNLIモデルのロードおよび実行に使用したPythonライブラリ |
| TruthfulQAベンチマークデータセット | Lin, Hilton, および Evansにより当初リリース | https://github.com/sylinrl/TruthfulQA | 閾値調整および評価に使用された、817件の事実指向の質問からなる公開ベンチマーク |
| ワークステーションコンピュータ | 原稿に記載なし (メーカー/モデルを確認してください) | Intel Core i5プロセッサ; 16 GB RAM; 64ビットオペレーティングシステム | 同一構成で全ての実験を実行するために使用したハードウェア |
| 注：上記に記載されたすべてのURLは、本表の作成日時点で有効であることが確認済みです。 |
参考文献
- Dai Z, et al. Promptagator: Few-shot dense retrieval from 8 examples [conference presentation]. Presented at: The Eleventh International Conference on Learning Representations; 2022. [https://iclr.cc/virtual/2023/poster/10937]
- Achiam J, et al. GPT-4 technical report. arXiv. 2023;arXiv:2303.08774. [https://arxiv.org/abs/2303.08774]
- Ji Z, et al. Survey of hallucination in natural language generation. ACM Comput Surv. 2023;55(12):1-38.
- Bender EM, McMillan-Major A, Shmitchell S, Gebru T. On the dangers of stochastic parrots: Can language models be too big? [conference presentation]. Presented at: 2021 ACM Conference on Fairness, Accountability, and Transparency; 2021. [https://dl.acm.org/doi/10.1145/3442188.3445922]
- Devlin J, et al. BERT: Pre-training of deep bidirectional transformers for language understanding [conference presentation]. Presented at: 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2019. [https://arxiv.org/abs/1810.04805]
- Maynez J, Narayan S, Bohnet B, McDonald R. On faithfulness and factuality in abstractive summarization [conference presentation]. Presented at: 58th Annual Meeting of the Association for Computational Linguistics; 2020. [https://arxiv.org/abs/2005.00661]
- Brown T, et al. Language models are few-shot learners. Adv Neural Inf Process Syst. 2020;33:1877-901.
- Guu K, et al. Retrieval augmented language model pre-training [conference presentation]. Presented at: International Conference on Machine Learning; 2020. [https://arxiv.org/abs/2002.08909]
- Izacard G, Grave E. Leveraging passage retrieval with generative models for open domain question answering [conference presentation]. Presented at: 16th Conference of the European Chapter of the Association for Computational Linguistics; 2021. [https://arxiv.org/abs/2007.01282]
- Bowman SR, Angeli G, Potts C, Manning CD. A large annotated corpus for learning natural language inference [conference presentation]. Presented at: 2015 Conference on Empirical Methods in Natural Language Processing; 2015. [https://arxiv.org/abs/1508.05326]
- Platt J. Probabilistic outputs for support vector machines and comparisons to regularized likelihood methods. Adv Large Margin Classif. 1999;10(3):61-74.
- Lin S, Hilton J, Evans O. Truthfulqa: Measuring how models mimic human falsehoods. InProceedings of the 60th annual meeting of the association for computational linguistics (volume 1: long papers) 2022 May (pp. 3214-3252).
- Thorne J, Vlachos A, Christodoulopoulos C, Mittal A. FEVER: A large-scale dataset for fact extraction and verification [conference presentation]. Presented at: 2018 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies; 2018. [https://aclanthology.org/N18-1074/]
- Williams A, Nangia N, Bowman SR. A broad-coverage challenge corpus for sentence understanding through inference. arXiv. 2017;arXiv:1704.05426.
- Manakul P, Liusie A, Gales M. SelfCheckGPT: Zero-resource black-box hallucination detection for generative large language models [conference presentation]. Presented at: 2023 Conference on Empirical Methods in Natural Language Processing; 2023.
- Min S, et al. FActScore: Fine-grained atomic evaluation of factual precision in long-form text generation. arXiv. 2023;arXiv:2305.14251.
- Cohen J. Statistical power analysis for the behavioral sciences. Routledge; New York; 2013.
- Kadavath S, et al. Language models (mostly) know what they know. arXiv. 2022;arXiv:2207.05221.
- Hendrycks D, et al. Aligning AI with shared human values. arXiv. 2020;arXiv:2008.02275.
- Lewis P, et al. Retrieval-augmented generation for knowledge-intensive NLP tasks. Adv Neural Inf Process Syst. 2020;33:9459-74.
再版と許可
