SHAP最適化における時間的重み付け、因果推論、階層的帰属のアンサンブル

サマリー

本記事では、時間的重み付け、因果推論、階層的帰属が解釈可能性の最適化に与える影響を評価することを目的としています。

要約

ここ数年、データ駆動型モデルの大きな進歩により、透明性と解釈可能性の必要性が高まり、説明可能人工知能(XAI)の登場につながりました。いくつかの伝統的なXAIアプローチが広く使われています。しかし、これらは動的関係の解釈能力に限界を持っています。現在の研究は、この制約に対処するため、時間的重み付け、因果推論、階層的帰属、解釈可能性最適化に焦点を当てた新しいEnsemble SHapley加法説明(SHAP)フレームワーク(TCHSHAP)を提案することを目指しています。TCHSHAPは、指数関数的減衰による時間的重み付けによって、現在の情報を歴史情報よりも優先します。さらに、因果推論は相関と因果関係を分離し、実践的な洞察を得る。さらに、階層的帰属は細分化(地域レベル)および集約レベル(特徴群への影響)での洞察を可能にします。これらのアプローチは統合され、より解釈可能で説明可能なモデルを実現します。提案モデルの有効性を検証するため、Kaggleから収集した作物収量データセットで実験を実施しました。実験評価に先立ち、データ前処理はワンホットエンコーディングを用いて行われます。データの正規化は最小最大スケーリングによって行われ、外れ値は四分位範囲を通じて除去されます。実験的評価のため、著者らはランダムフォレストにSHAP XAIモデルを用いました。提案されたTCHSHAPモデルの有効性を評価すると、従来のSHAPの平均予測値は161.137ですが、時間的重み付けと因果推論を取り入れると161.506に上昇し、時間的および因果的有意性の有効性を支持しています。さらに、階層的帰属の際には、農業的特徴が対象変数に対して最も強い優位性を持つことが観察されています。この優位性の後には、地理的および環境的要因が順に続きます。したがって、得られた結果は提案されたアプローチがグローバルおよび局所的な解釈可能性を高める効果を裏付け、ユーザーのモデル予測への信頼を強化します。現在の研究は、モデルのパフォーマンスに影響を与えずに透明性と解釈性を向上させる方法を提供しています。提案モデルはまた、複雑でデータ駆動型のアプリケーションにおける解釈可能かつ効率的な回帰モデリングを可能にし、実際の環境での広範な応用を可能にします。

概要

回帰分析は予測分析において重要な役割を果たし、気候モデリング、財務予測、医療診断、農業収量推定など複数の分野を含みます。しかし、特に勾配ブースティングマシン(GBM)、ランダムフォレスト、ディープニューラルネットワーク(DNN)などの非線形かつ高容量モデルの回帰モデルの説明されていない結果は、特に透明性と実践的な洞察を必要とするアプリケーションにおいて大きな課題をもたらしています。この解釈可能性のギャップは、まだ発展途上の説明可能な人工知能(XAI)技術を用いることで埋めることができます。現在、SHAPや局所解釈モデル無依存説明(LIME)などの従来のXAIフレームワークは、静的な特徴説明のみを提供しています^。3.これらのXAI手法は、時間的依存関係、階層的特徴構造、因果関係に関わる回帰タスクの複雑さを説明できず^、研究の道筋を生み出^{しています。}これらの要素を考慮していないため、XAIは時に誤った結論を導き出すことがあります。例えば、従来のSHAPは因果関係を考慮せず、属性と対象変数の相関のみを考慮します。タバコ消費と染みた歯の2つの入力二項特徴を持つデータセットを考えてみましょう。このデータセットの対象変数はがんの確率です。このような状況では、入力特徴とターゲット変数の間に相関が得られると、がんは両方の特徴(タバコ摂取と歯の着色)と高い相関を示します。しかし、歯の着色ががんを引き起こすと結論づけるのは誤解を招きます。なぜなら、それは定期的なタバコ摂取によって引き起こされるからです。したがって、XAIの分野で大きな進展があったにもかかわらず、回帰分析の文脈で対処すべき主な課題は以下の通りであることをまとめることができます。

時間的依存性を考慮しられないと、動的なデータが存在する文脈では機能しない静的な説明しか得られません。

従来のSHAP適応に因果推論が含まれていないと、価値ある因果的洞察ではなく誤った相関関係が生じます。

階層的解釈への注意の欠如は、高次の集約説明が不十分に生じます。

これらの課題に対処するため、現在の研究では、時間的重み付け、因果推論、階層的帰属を含む新しいXAIフレームワーク「TCHSHAP」を提案し、現在のXAIモデルの解釈可能性と計算効率の向上を目指しています。同様に、提案された枠組みは時間的重み因子 w_t を考慮し、過去の値と比較して最近の特徴寄与により高い重みを割り当てます。この重み付け係数は、収量予測や販売予測など動的回帰問題における重要な特徴の解釈可能性が時間的意義と整合していることを保証することを目的としています。さらに、従来の回帰モデルは因果関係を示さず、帰属が曖昧な結果をもたらします^。この課題に対処するため、提案されたフレームワークは構造的因果モデル(SCM)を採用し、特徴F_iが出力に与える因果的影響を評価します。さらに、リアルタイムデータセットは特徴同士の階層的関係(空間的またはカテゴリ的)を示すことが多く、既存のXAIフレームワーク^4,5,6ではほとんど示されていません。一方、提案されたXAIフレームワークは個々の特徴(F_i)を集約して高次の特徴(H_j)を得て、説明の細分化を実現しています。

時間的、因果的、階層的な意義を組み込むだけでなく、提案されたアンサンブルは解釈可能性と説明可能性の向上も目指しています。このような目的は、解釈可能性と正確さのトレードオフを確立し、TCHSHAPから得られる説明が正確^{かつ解釈可能}であることを保証する努力です。提案されたXAIフレームワークは数学的に次のように記述でき、使用変数の記述は表1に示されています。特徴の伝統的なSHAP値は式(1)^5,6で計算されます。

(1)

この伝統的なSHAPの定式化は、時間的、因果的、階層的な調整を考慮しずに寄与を合計します。

変数	定義
Fi	Shap値が計算されている特徴
Shapi	特徴のシェイップ値
S	総特徴の集合
M	すべての特徴の部分集合
FT	特徴の総数
P(M)	Mの特徴のみが使用されるモデル予測
λ > 0	減衰率
T	基準予測時間
Y	アウトプット

表1:使用変数の記述。 この表は、使用されたさまざまな変数の有意性を示しています。

この従来のSHAP定式化は、動的依存関係に対応するために時間的重み付けを加えることで修正されています。この時間的な重み付けは、重み付け係数 wt = ^{e-λ |t - T|}ここでλは減衰因子(λ > 0)を表します。前述の通り、この指数関数的な重み付けは過去の値よりも最近の値により重みを与えます。この指数関数的な減衰は、最近の特徴値が過去の数値よりも重要性が高いという理解とともに含まれています。時間的有意性を含んだ後の修正SHAP値は式(2)に示されています。

(2)

この時間的情報は、利回りや株価の予測などの動的回帰作業において重要です。

さらに、説明をより堅牢にするために、SCMを用いて特徴F_i が出力Yに与える因果的影響を評価します。因果的SHAPの数学的定式化は式(3)に示されます。

(3)

ここで do(F_i)は変化に寄与した特徴を表します。この方法を用いることで、モデルは相関ではなく因果関係を説明する能力を得ています。SCMに基づく因果効果の計算により、直接的な因果影響を持つ特徴のみが評価され、誤相関が排除されることは注目に値します。

さらに、提案モデルでは階層構造が提案され、さまざまなレベルで属性を集約します。階層的SHAPの数学的定式化は式(4)に示されます。

(4)

推奨モデルに階層を組み込むことで、説明の細かな達成が保証されます。提案された枠組みは 図1に示されています。

図1:提案された枠組みの各要素の図示。 この図は、提案されたTCHSHAPフレームワークのさまざまな要素、すなわち時間的重み付け、因果推論、階層的帰属の図示を示しています。 この図の拡大版はこちらをクリックしてご覧ください。

提案されたモデルTCHSHAPの新規性は、これら3つの矛盾を、時間的重み付け(現在の情報により重みを置くため)、構造的因果モデル(SCM、因果効果の評価)、SHAP値の階層的集約(多層的な洞察を得るため)を用いて処理することにあります。したがって、提案されたアンサンブルはSHAPを静的制約を超えて拡張し、回帰最適化された説明フレームワークを提供します。

提案されたTCHSHAPは、回帰モデルの出力の詳細な説明を特定し、モデリングと意思決定をシームレスに結びつけることで、より良い意思決定が求められるシナリオでのリアルタイム応用において大きな意義を持つ可能性があります。まとめると、本論文の主な貢献は、時間的重み付け、因果推論、階層的関係を組み合わせ、従来のSHAPモデルの実行可能な説明を強化する新しい枠組みを設計することにあります。

関連活動

XAIは、異なる機械学習モデルの透明性と解釈性を高めるために特別に設計されたさまざまな手法を組み込んでいます。これらのXAI戦略は、結果から必要な洞察を提供することで、結果への信頼を確立します。例えば、LIMEやSHAPといった注目すべきXAI手法は、金融、教育、医療分野など様々な分野でブラックボックスモデルの解釈可能性と透明性を高め^{ています7。}また、XAI技術はソフトウェア分析、クローン検出、ジャストインタイム欠陥予測に関連するタスクにも適用^{されています。}さらに、アワルとロイも矛盾点を強調し、説明の生成において信頼性が低いことを示^{しました。}ここでは、評価の一貫性を減らすために細分レベル評価指標を適用しました。XAIは医療分野でも広く活用されており、分類タスクの結果に影響を与える最も顕著な要因を理解し、医療従事者の間でAIベースの診断を活用する信頼を育^{んでいます。}さらに、ベルギーの住宅賃料予測のような分野では、XAIアプローチは複雑なモデルの解釈を促進し、品質管理を強化し生産エラーの最小化に寄与します¹³。Bommerらは、XAI手法と勾配の統合が、気候科学における堅牢性、忠実さ、複雑性、ランダム化の面でXAI手法のパフォーマンスを向上させることを示しました¹⁴。多くの研究者がアンサンブル技法やハイブリッド技法の開発を試みてきました。アンサンブル手法の提案に加え、研究者たちはこれらのハイブリッド手法が複雑なモデルに対する包括的な洞察を提供する効果も示しました^15,16。技術、最適化、さまざまな応用例の詳細なレビューは表2に示されており、最も広く適用されている技術がLIMEとSHAPであることが明確に示されています。今後の研究方向は、これらの手法における最適化を模索し、モデルの解釈可能性を高めることを目指しています。この研究の流れを継続し、現在の研究の著者たちは因果推論、階層的帰属、時間的重み付けを加えることでSHAP最適化に焦点を当てています。

引用	XAI技術	最適化	洞察 力	アプリケーション	今後の研究方向
(Anushreeら、2024年)	ライム	提供されていません	金融、教育、医療分野のさまざまな応用におけるブラックボックスモデルの解釈可能性と透明性の向上。	·金融、教育、医療分野における正確性と解釈可能性のトレードオフ	·さまざまなXAIモデルを評価するための詳細な指標リストを作成する必要があります
	シャップ
	摂動機構
	注意に基づくメカニズム
(アワル&ロイ、2024年)	PyExplainer	評価の一貫性を減らすための細かいレベルの評価指標。	矛盾点を強調し、説明の信頼性が低いことを示しています。	·ソフトウェア分析に関連する業務	·ソフトウェア分析に関連するタスクにおいて、XAIモデルの信頼性を高めるためには高度な研究手法が必要です
	ライム			·クローン検出
				·ジャストインタイム欠陥予測
(Bommer ら、2024年)	統合勾配	XAI手法と勾配の統合	XAI手法と勾配の統合により、気候科学における堅牢性、忠実性、複雑性、ランダム化の面で性能が向上します。	·気候科学予測	·気候科学のタスク別評価に焦点を当てましょう。
	層ごとの関連伝播			·年間平均気温マップ予測
	入力時間勾配
	グラデーション、SmoothGrad、NoiseGrad、FusionGradなどの感度手法
(バトナガル&アグラワル、2024年)	ライム	XAI技術のアンサンブル	アンサンブルは複雑なモデルの包括的な洞察を提供し、解釈可能性と説明可能性を高めます。	·結果の解釈可能性を高めるために道徳データセットに適用	·複数の手法を組み合わせたハイブリッドXAI手法を探る
	シャップ				·ユーザーのニーズに応じて特定のモデル向けに様々なXAIアルゴリズムをカスタマイズすること
(ディアス、2024年)	ライム	XAI技術の統合	解釈性と正確性の向上	·有害コメント分類	·分類目的で強度を高めること。
	Eli5
(Hajare ら、2024年)	シャップ	提供されていません	SHAPは急性冠動脈症候群の予測におけるリスク要因について詳細な洞察を提供します。	·急性冠動脈症候群(ACS)	·ACS予測における新しいリスク要因を明らかにすること。
(Hamidaら、2024年)	さまざまなXAI技術の包括的なレビュー	提供されていません	XAIの応用に関する洞察を提供します。医療分野におけるAIの意思決定の説明可能性の重要性を強調し、AIがもたらす結果を理解するために。	·医療分野における実践的な洞察	·XAIコンポーネントの理解可能性、透明性、解釈可能性、説明可能性の向上。
					·医療分野向けのカスタムXAI技術による詳細な洞察
(Ihongbe ら、2024年)	Grad-CAM(勾配重みクラス活性化マッピング)	勾配加重クラス活性化マッピング	肺炎とCOVID-19の診断精度の向上。	·医療診断の精度向上	実生活での応用におけるXAI技術の使いやすさへの認知度向上
(Lenaers, & De Moor, 2023)	6 XAI技術	CatBoostモデル上の6つのXAI技術のアンサンブル	複数の手法により、家賃予測におけるXAIの解釈性が向上します。	·ベルギーの住宅賃料予測	XAIは意思決定に活用できます
(Makumburaら、2024年)	シャップ	RF、LightGBM、XGBoostとSHAPのアンサンブル	SHAPは水質の評価と予測に関わるさまざまな要因を明らかにします。	·水質の評価と予測	意思決定に活用できる
(シュレーゲル&カイム、2023年)	摂動解析を用いたXAI手法	摂動解析	時系列データの分類作業に効果的に利用できます	·金融、医療、気候科学の時系列データ	複数のXAI技術を組み合わせて解釈性を高めること。
(シルバ&ケラー、2023年)	XAI	提供されていません	XAIモデルは相関特徴の場合の結果を説明する際に制限があります。地球科学や大気科学にも利用可能です。	·大気科学	XAIは誤った説明を避けるために相関特徴に最適化する必要があります。
	生体分子反応速度			·大気化学
(Y, S., & Challa, M. 2023)	シャップ	提供されていません	ここでは、XAIモデルを解釈可能性と重要特徴の理解度で比較し、SHAPとLIMEが最も効果的であると結論づけました。	·医療応用	高度な医療応用のための解釈性向上
	ライム
	PDP
	ギャム

表2:XAI手法に関する各種最適化の包括的なレビュー。 この表は、さまざまな研究者によって提案されたさまざまな最適化手法の包括的なレビューを示しています。

プロトコル

注:この節では、 図1に示されるすべての提案された修正案を含む提案されたアンサンブル法について論じます。

データ準備

提案されたフレームワークの有効性を検証するため、著者らはKaggle¹⁷から収集された作物収量データセットで実験を行いました。このデータセットは、1997年から2020年までのさまざまな作物に関するインドの農業データで構成されており、2025年3月にアクセスされました。このデータセットには、季節、crop_year、肥料、農薬、作物、収量(目標変数)など多くの特徴が含まれています。検討されているデータセットは、カテゴリカル値を扱うためにワンホットエンコーディングを用いて効率を高めるために事前処理されています。季節、作物、状態などのカテゴリ別特徴はワンホットエンコードされています。また、面積、生産量、annual_rainfall、肥料、農薬などの数値的特徴を[0,1]の範囲にスケールするためにもMinMaxスケーリングが用いられます。外れ値を処理するために、閾値Q₁ - 1.5 • IQR¹⁷の四分位範囲間規則を用いました。結果の再現性を得るために、すべての前処理ステップにランダムな42のシードが適用されました。さらに、前処理後、データセットはトレーニング(80%)とテスト(20%)に分割されました。

実験装置

実験は、A100 GPUサーバー(デュアルAMD Rome 7742、128コア、1TB RAM)を搭載したA100 GPUサーバー上で実施されました。シミュレーション用にインポートされたライブラリは、scikit-learn 1.3.0、XGBoost 1.7.6、TensorFlow 2.13、SHAP 0.41.0、LIME 0.2.0.1、ELI5 0.13.0です。

機械学習モデルの評価

ここでは、著者らはLinearRegression()、Ridge(alpha=1,random_state=42)、Lasso(alpha=0.1、random_state = 42)、Decision TreeRegressor(max_depth = 10, random_state = 42)、RandomForestRegressor(max_depth = 15random_state = 42)、GradientBoostingRegressor(n_estimators = 200、learning_rate = 0.1、random_state = 42)、XGBoost、CNNなどの回帰モデルを用いて、ターゲット変数¹⁸への各種変数の影響を算出しています.XGBoostは300の推定量と学習率0.05を使用しています。CNNモデルでは、ReLU活性化とAdam optimizerという2つの隠れ層が学習率0.001で使用されます。これらのモデルの効率は異なる性能指標で比較されます。これらのモデルはまた、ハイパーパラメータチューニングも行います。例えば、リッジ回帰とラッソ回帰は、それぞれアルファが1.0、アルファが0.1で訓練されます。Decision TreeとRandom Forestでは、最大深さがそれぞれ10と15に設定されていました。グラデーションブースティングは200の推定量と学習率0.1を使用します。これらのモデルの性能は、平均二乗誤差(MSE)とR2二乗を用いた5重クロス検証を用いて評価されました。

XAIモデルの評価

前述の通り、現在の研究では様々なXAIモデルを用いて結果を比較しています。ここでは著者たちはshapを使っています。ツリーベースのモデル(ランダムフォレスト、勾配ブースティング、XGBoost)向けのTreeExplainer(model, data = crop_yield)。帰属を安定化するために、トレーニングデータセットからランダムに選ばれた100件のケースの背景データセットが選ばれました。さらに、 形を作ってください。KernelExplainer() は、SHAP値に近づくために1000回の摂動を持つ非木モデル(Linear、Ridge、Lasso、CNN)に使用されました。表形式解説(lime.lime_tabular)。LimeTabularExplainer)は、同じバックグラウンドデータセット上でLIMEを実行し、局所的な説明が安定していることを保証するために、1インスタンスあたり5000の摂動を組み合わせて使用されました。カーネル幅は特性に基づいて設定され、モデルの予測関数を使って説明を推論しました。局所的な説明は explainer.explain_instance(x,model.predict)を呼び出して生成されました。ELI5は、検証分割を10回繰り返してテストデータの過学習を避けるために置換重要度として利用され、 eli5.sklearn.PermutationImportance(推定量random_state = 42)でシミュレーションされました。実験中に繰り返しの平均と分散の重要性が示されました。最後に、フィットモデルは検証分割に用いられ、部分依存プロット(PDP)を得られ、PartialDependencyDisplay.from_estimator (モデル,X_val,特徴 = [特徴])を用いて実装されました。

TCHSHAPフレームワークの設立

その後、TCHSHAPは様々なステップを順番に適用して実装されました。この一連の最初のステップは、λ [0.7.0.95]にわたる消融研究に基づいて選ばれた、λ = 0.85の崩壊率を持つ指数関数減衰関数を用いた時間重み付けでした。参照時期(T_current)はデータセット内の直近の作作年として選ばれました。これにより、モデルの説明は農業生産予測の動態を考慮し、最近の指標(降雨、肥料使用、農薬)が意思決定においてより重要となります。時間的重み付けの後、SCMが因果推論を採用しました。提案された方法論は、ドット演算子を用いて介入をシミュレートし、平均因果効果を計算するものです。因果推論はPython doWhy 0.13ライブラリを用いて適用されました。これにより、生産や面積などの相関した投入による誤解を招くつながりを軽減し、実際の因果関係のつながりを実現できます。パイプラインの最終段階は階層的帰属であり、特徴はより高次のドメインに整理されました。現在のデータセットには、農業投入物(肥料、農薬)、地理的要因(州、 面積、 Crop_Year)、環境要因(Annual_Rainfall、 季節)の3つの階層的特徴があります。正規化された合計を用いてSHAPデータをグループ化することで、詳細および一般の両レベルでの説明を得ることができます。

まとめると、TCHSHAPパイプラインは時間調整、因果帰属、階層的グループ化の3つのステップを一つのプロセスに統合しています。ここでは、まずベースラインSHAPが説明を行い、その後3つの改善点が追加されます。この構造化されたパイプラインにより、TCHSHAPの出力は一貫性があり、再現可能で、局所的およびグローバルな説明の両方を提供します。提案されたフレームワークの段階的な説明は以下の擬似コードに示されています。

インプット：
X:特徴量Xが₁、X_、2、_X、3,........,X_、nを持つデータセット。
t: データセット内の時間変数
T_電流:基準時刻
λ:崩壊率
G:特徴グループ
時間的重みを計算する
各インスタンス i X に対して、w_t = ^e-λ|t-T|を評価します。
Shap 値の計算 Shap_i
Shap_テンプル = Shap_i * w_t を計算します
因果推論の計算
各特徴に対して、X_i X
形状因_果 = 形状_i * 因果効果(X_j →Y)
階層的帰属
各特徴に対して、X_i X
Shap 値の計算 Shap_i
各 G_i G に対して 

アウトプット： 階層的に集約されたSHAP値の集合

トラブルシューティングを促進するための定量的なチェックポイントは以下の通りです:すべての機械学習モデルにおいて、ランダムフォレストは最も低いMSEと最も高い^R2を得ます。取得された特徴的重要性は農薬>肥料面積>で、季節と Crop_Yearは最小限でした。世界基準SHAPの予測値は161.137でした。さらに、λ = 0.85を適用すると、Crop_yearと季節の寄与は増加します。グループレベルの貢献は、農業投入物>地理的要因>環境要因の順に進みます。

結果

このセクションでは、実験研究で用いられたさまざまな手法を適用した結果について論じます。以下のいくつかの小節で構成されています。

データ収集と前処理

提案されたフレームワークの実験的評価を行うために、Kaggle¹⁹から作物収量に関するデータセットが収集されました。収集されたデータは事前処理され、ラベルのエンコーディング、スケーリング、前述の外れ値除去などの手順が実施されました。望ましい目標に基づき、変数の特徴的有意性が評価されました。検討対象データセットの特徴重要度グラフは 図2に示されており、肥料と農薬が収量に高い相関がある...

ディスカッション

本研究の主な目的は、従来のSHAPモデルに時間的重み付け、因果推論、階層的意義を取り入れ、TCHSHAPモデルを生み出すことです。これらの要素をXAI手法に組み込む動機は、結果の解釈可能性を高めるためです。時間的な重み付けについては、過去の値よりも最近の値により多くの重みを与える指数関数的減衰法を検討しました。因果的有意性において、著者は予測変数に対する様々な特徴の直接的な影響を評価しようとします。さらに、入力パラメータはさまざまな階層的特徴に分類され、結果をよりよく理解しています。提案された解決策の有効性を検証するために、著者らはKaggleで利用可能なデータセットcrop_yieldを考慮しました。得られた結果は、時間的重み付け、因果推論、階層的帰属(TCHSHAPで示唆されている通り)が、従来のSHAPの限界に対処することで解釈可能性の向上につながることを明確に示している(^20,21)。

しか...

材料

この記事で使用された材料の一覧

名前	会社	カタログ番号	コメント
ELI5	0.13.0	PyPI
ライム	0.2.0.1	PyPI
Nvidia DGX A100 GPUサーバー	CPUデュアルAMD Rome 7742、合計128コア	Nvidia
システムメモリ 1TB
ニシキヘビ	3.1	ニシキヘビ
シャップ	0.41.0	PyPI
scikit-learn	1.3.0	PyPI
テンソルフロー	2.13	テンソルフロー
XGBoost	1.7.6	PyPI