Zamansal Ağırlıklandırma, Nedensel Çıkarım ve SHAP Optimizasyonuna Hiyerarşik Atıfedici Topluluk

Özet

Bu makale, zamansal ağırlıklandırma, nedensel çıkarım ve hiyerarşik atıfedenin yorumlanabilirlik optimizasyonu üzerindeki etkisini değerlendirmeyi amaçlamaktadır.

Özet

Son birkaç yılda, veri odaklı modellerdeki önemli ilerlemeler nedeniyle şeffaflık ve yorumlanabilirlik ihtiyacı arttı ve bu da Açıklanabilir Yapay Zeka'nın (XAI) ortaya çıkmasına yol açtı. Birkaç geleneksel XAI yaklaşımı yaygındır; ancak bu kişilerin dinamik ilişkileri yorumlama konusunda sınırlı yetkinliği vardır. Mevcut araştırma, TCHSHAP olarak adlandırılan zamansal ağırlıklandırma, nedensel çıkarım, hiyerarşik atıflama ve yorumlanabilirlik optimizasyonuna odaklanan yeni bir Ensemble SHapley Additive ExPlanations (SHAP) çerçevesi önererek bu sınırlamayı ele almayı amaçlamaktadır. TCHSHAP, güncel bilgileri tarihsel bilgilere göre önceliklendirir, üstel bozulma yoluyla zamansal ağırlıklandırma yapar. Ayrıca, nedensel çıkarım korelasyonu nedensellikten ayırarak pratik içgörüler elde eder. Ayrıca, hiyerarşik atıflama granüler (bölge düzeyinde) ve toplu düzeylerde (özellik grubu etkileri) içgörüler sağlar. Bu yaklaşımlar, daha yorumlanabilir ve açıklanabilir bir model elde etmek için entegre edilmiştir. Önerilen modelin etkinliğini doğrulamak için, Kaggle'dan toplanan ürün verisi veri seti üzerinde bir deney yürütüyoruz. Deneysel değerlendirmeden önce, veri ön işleme tek sıcak kodlama kullanılarak gerçekleştirilir. Veri normalizasyonu min-max ölçeklendirme ile yapılır ve outliler Interquartile aralığı üzerinden kaldırılır. Deneysel değerlendirme amacıyla yazarlar, Random Forest için SHAP XAI modelini kullandılar. Önerilen TCHSHAP modelinin etkinliği değerlendirilirken, geleneksel SHAP için ortalama tahminin 161.137 olduğu, zamansal ağırlıklandırma ve nedensel çıkarım dahil edildikten sonra 161.506'ya yükseldiği gözlemlenmiştir; bu da zaman ve nedensel anlamlılığın etkinliğini savunmaktadır. Ayrıca, hiyerarşik atıflama sırasında, tarımsal özelliklerin hedef değişkene karşı en güçlü baskına sahip olduğu gözlemlenmektedir. Bu hakimiyet, coğrafi ve çevresel faktörler sırayla takip eder. Böylece, elde edilen sonuçlar, önerilen yaklaşımın küresel ve yerel yorumlanabilirliği artırma etkinliğini onaylar ve kullanıcının model tahminlerine olan güvenini güçlendirir. Mevcut çalışmalar, model performansını etkilemeden şeffaflığı ve yorumlanabilirliği artırmanın yollarını sunmaktadır. Önerilen model ayrıca karmaşık, veri odaklı uygulamalarda yorumlanabilir ve verimli regresyon modellemesini mümkün kılarak gerçek dünyada yaygın uygulanmasını sağlar.

Giriş

Regresyon, iklim modellemesi, finansal tahmin, sağlık tanıları ve tarımsal verim tahmini gibi çeşitli alanları kapsayan öngörücü analitikte önemli bir rol^{oynar 1,2}. Ancak, özellikle Gradient Boosting Machines (GBM), Random Forests ve Deep Neural Networks (DNN) gibi doğrusal olmayan ve yüksek kapasiteli modeller gibi regresyon modellerinin açıklanamayan sonuçları, özellikle şeffaflık ve uygulanabilir içgörüler gerektiren uygulamalar için önemli zorluklar yaratmaktadır. Bu yorumlanabilirlik farkı, henüz gelişmekte olan Açıklanabilir Yapay Zeka (XAI) kullanılarak kapatılabilir. Şu anda, SHAP ve Yerel Yorumlanabilir Model Agnostik Açıklama (LIME) gibi geleneksel XAI çerçeveleri yalnızca statik özellik açıklamaları^{sunar 3}. Bu XAI teknikleri, zamansal bağımlılıklar, hiyerarşik özellik yapıları ve nedensellikleri içeren regresyon görevlerinin karmaşıklıklarını şu anda açıklayamıyor ve bu da bir araştırma yolu^{oluşturuyor 4,5}. Bu faktörlerin dikkate alınmaması nedeniyle, XAI bazen yanlış sonuçlar çıkarabilir. Örneğin, geleneksel SHAP yalnızca niteliklerin hedef değişkenle korelasyonunu dikkate alır ve nedenselliği dikkate almaz. İki giriş ikili özelliğine sahip bir veri seti ele alalım: tütün tüketimi ve lekeli dişler. Bu veri setindeki hedef değişken kanser olasılığıdır. Böyle bir senaryoda, giriş özellikleri ile hedef değişken arasında korelasyon sağlanırsa, kanser her iki özellikle (tütün tüketimi ve lekeli dişler) yüksek derecede korelasyon gösterir. Şimdi, lekelenmiş dişlerin kansere neden olduğu sonucuna varmak oldukça yanıltıcıdır; çünkü bu durum düzenli tütün tüketiminden kaynaklanıyor. Böylece, XAI alanında önemli ilerlemelere rağmen, regresyon bağlamlarında ele alınması gereken temel sorunlar şunlardır:

Zamansal bağımlılıkları dikkate alamamak, dinamik veri bağlamlarında çalışmayabilecek sadece statik açıklamalara yol açar.

Geleneksel SHAP uyarlamalarında nedensel çıkarımın dahil edilmemesi, değerli nedensel içgörülerden ziyade yanlış korelasyonlara yol açar.

Hiyerarşik yoruma dikkat eksikliği, yetersiz üst düzey toplu açıklamalara yol açar.

Bu sorunları ele almak için, mevcut araştırma çalışmaları, zamansal ağırlıklandırma, nedensel çıkarım ve hiyerarşik atıflamayı kapsayan, mevcut XAI modellerinin yorumlanabilirliğini ve hesaplama verimliliğini artırmayı amaçlayan yeni bir XAI çerçevesi olan TCHSHAP'ı önermeyi amaçlamaktadır. Aynı şekilde, önerilen çerçeve, önceki değerlere kıyasla son özellik katkısına daha yüksek ağırlıklar veren bir zamansal ağırlık faktörü_wt dikkate alır. Bu ağırlıklandırma faktörü, getirilebilirliğin, getiri tahmini ve satış tahmini gibi dinamik regresyon problemlerinde kritik özelliklerin zamansal önemiyle uyum sağlamasını sağlar. Ayrıca, geleneksel regresyon modelleri nedensel ilişkiler göstermez ve belirsiz atıflamalara^{yol açar 6}. Bu zorluğu ele almak için, önerilen çerçeve, F_i özelliğinin çıktı üzerindeki nedensel etkisini değerlendirmek için Yapısal Nedensel Modelleri (SCM) benimsemektedir. Ayrıca, gerçek zamanlı veri setleri genellikle özellikler arasında hiyerarşik ilişkiler (mekânsal veya kategorik) gösterir; bu ilişkiler mevcut XAI^{çerçeveleri} 4,5,6'da nadiren gösterilir. Buna karşılık, önerilen XAI çerçevesi, açıklamaların ayrıntılı olmasını sağlamak için bireysel özellikleri (F_i) toplayarak daha yüksek seviyeli özellikler (H_j) elde eder.

Zamansal, nedensel ve hiyerarşik önemi dahil etmenin yanı sıra, önerilen topluluk yorumlanabilirliği ve açıklanabilirliği artırmayı da amaçlamaktadır. Böyle bir hedef, yorumlanabilirlik ile doğruluk arasındaki dengeyi belirlemeye yönelik bir çabadır ve TCHSHAP'tan elde edilen açıklamaların doğru ve yorumlanabilir olmasını^{sağlar 4}. Önerilen XAI çerçevesi matematiksel olarak şu şekilde tanımlanabilirken, kullanılan değişkenlerin tanımı Tablo 1'de verilmiştir. Özellik için geleneksel SHAP değeri denklem (1)^5,6 olarak hesaplanır.

(1)

Bu geleneksel SHAP formülasyonu, zamansal, nedensel veya hiyerarşik ayarlamaları dikkate almadan katkıları toplar.

Değişken	Tanım
Fi	Shap değeri hesaplanan özellik
Shapi	Özelliğin Shap değeri
S	Toplam Özellikler Seti
M	Tüm özelliklerin alt kümesi
FT	Toplam Özellikler Sayısı
P(M)	Yalnızca M'deki özellikler kullanıldığında Model Tahmini
λ > 0	Bozulma Hızı
T	Referans Tahmin Süresi
Y	Çıktı

Tablo 1: Kullanılan değişkenlerin tanımı. Bu tablo, kullanılan çeşitli değişkenlerin önemini açıklar.

Bu geleneksel SHAP formülasyonu, dinamik bağımlılıkları yönetmek için zamansal ağırlık da dahil edilerek değiştirilmiştir. Bu zamansal ağırlıklandırma, ağırlık katsayısı wt = ^{e-λ |t - T|} burada λ, bozulma faktörünü (λ > 0) temsil eder. Daha önce bahsedildiği gibi, bu üstel ağırlıklandırma, geçmişe kıyasla son değerlere daha fazla ağırlık verir. Bu üstel düşüş, yakın zamandaki özellik değerlerinin geçmiş değerlerden daha yüksek anlamlılığa sahip olduğu anlayışıyla dahil edilmiştir. Değiştirilmiş SHAP değeri (zamansal anlam dahil edildikten sonra) denklem (2)'de verilmiştir.

(2)

Bu zamansal bilgi, getiri veya hisse senedi tahmini gibi dinamik regresyon görevleri için önemlidir.

Ayrıca, açıklamaları daha sağlam kılmak için, SCM_{F i} özelliğinin çıktı Y üzerindeki nedensel etkisini değerlendirmek için uygulanır. Nedensel SHAP için matematiksel formülasyon (3) denkleminde verilmiştir

(3)

Burada do(_{F i}) değişikliğe katkıda bulunan özelliği temsil eder. Bunu kullanarak, model korelasyon yerine nedenselliği açıklama yetkinliğini kazanır. SCM tabanlı nedensel etkiler hesaplamasının, yalnızca doğrudan nedensel etkiye sahip özelliklerin kredi verilmesini sağlayarak yanlış korelasyonları ortadan kaldırdığını belirtmekte fayda var.

Ayrıca, önerilen modelde hiyerarşi, çeşitli seviyelerde nitelikleri toplamak için önerilir. Hiyerarşik SHAP için matematiksel formülasyon (4) denkleminde verilmiştir.

(4)

Önerilen modele hiyerarşinin dahil edilmesi, açıklamaların ayrıntılı olarak sağlanmasını sağlar. Önerilen çerçeve Şekil 1'de gösterilmiştir.

Şekil 1: Önerilen çerçevedeki çeşitli unsurların resimsel illüstrasyonu. Bu şekil, önerilen TCHSHAP çerçevesinde zamansal ağırlıklandırma, nedensel çıkarım ve hiyerarşik atıflama gibi çeşitli unsurların resimsel bir örneği sunar. Bu figürün daha büyük bir versiyonunu görmek için lütfen buraya tıklayın.

Önerilen model TCHSHAP'ın yeniliği, bu üç tutarsızlığı zamansal ağırlıklandırma (mevcut bilgilere daha fazla ağırlık vermek için), Yapısal Nedensel Modeller (SCM; nedensel etkileri değerlendirmek için) ve SHAP değerlerinin hiyerarşik toplanması (çok katmanlı içgörüler elde etmek için) kullanarak ele almakta yatmaktadır. Böylece, önerilen topluluk SHAP'ı statik kısıtlamalarının ötesine genişleterek regresyon için optimize edilmiş bir açıklayıcı çerçeve sağlar.

Önerilen TCHSHAP, daha iyi karar alma gerektiren senaryolarda gerçek zamanlı uygulamalar için büyük bir önem kazanma potansiyeline sahiptir; çünkü regresyon modellerinde çıktının ayrıntılı açıklamalarını tanımlayarak modellemeyi karar verme ile sorunsuz bir şekilde birbirine bağlar. Özetle, bu makalenin başlıca katkısı, geleneksel SHAP modelinin uygulanabilir açıklamalarını geliştirmek için zamansal ağırlık, nedensel çıkarım ve hiyerarşik ilişkileri birleştiren yeni bir çerçeve tasarlamaktır.

İlgili çalışmalar

XAI, farklı makine öğrenimi modellerinin şeffaflığını ve yorumlanabilirliğini artırmak için özel olarak tasarlanmış farklı metodolojileri içerir. Bu XAI stratejileri, sonuçlardan gerekli içgörüleri sağlayarak sonuçlara güven sağlar. Örneğin, LIME ve SHAP gibi önemli XAI yöntemleri, finans, eğitim ve sağlık sektörü gibi çeşitli alanlarda aksi takdirde kara kutu modellerinin yorumlanabilirliğini ve şeffaflığını artırır^. Ayrıca, XAI teknikleri yazılım analizi, klon tespiti ve Tam Zamanında hata tahmini^{ile ilgili görevlerde de kullanılır 8}. Ayrıca, Awal ve Roy da tutarsızlıkları vurguladı ve açıklamaları oluşturmada daha düşük^{güvenilirlik gösterdi 8}. Burada yazarlar, değerlendirmede tutarlılığı azaltmak için Granular Level Değerlendirme Metriklerini uyguladılar. XAI ayrıca sınıflandırma görevinin sonuçlarını etkileyen en belirgin faktörleri anlamak ve böylece sağlık uygulayıcıları arasında yapay zeka tabanlı tanı^{kullanmaya olan} inancı artırmak için tıbbi alanda yaygın olarak kullanılmıştır 9,10,11,12. Ayrıca, Belçika konut kira tahmini gibi sektörlerde, XAI yaklaşımları karmaşık modellerin yorumlanmasını kolaylaştırır, böylece kalite kontrolünü artırır ve üretim hatalarını en aza^{indirir 13}. Bommer ve ark., XAI yöntemlerinin gradyanlarla entegrasyonunun, iklim biliminde sağlamlık, sadakat, karmaşıklık ve rastgeleleştirme açısından XAI yöntemlerinin performansını artırdığını^{göstermiştir 14}. Birçok araştırmacı, topluluk ve hibrit teknikler yaratmaya çalıştı. Toplu teknikler önermenin yanı sıra, araştırmacular bu hibrit tekniklerin karmaşık modeller için kapsamlı içgörü sağlama etkinliğini^{de göstermiştir 15,16}. Tekniklerin, optimizasyonların ve çeşitli uygulamaların ayrıntılı bir incelemesi Tablo 2'de tablolanmıştır; bu da en yaygın kullanılan tekniklerin LIME ve SHAP olduğunu açıkça göstermektedir. Gelecek araştırma yönleri, bu modellerin yorumlanabilirliğini artırmak için bu yöntemlerde optimizasyonun araştırılmasına yönelik göstermektedir. Araştırma hattını sürdürerek, mevcut araştırma çalışmalarında yazarlar nedensel çıkarım, hiyerarşik atıflama ve zamansal ağırlıklandırma ekleyerek SHAP optimizasyonuna odaklanmaktadır.

Alıntı	XAI Teknikleri	Optimizasyon	Anlayış	Uygulama	Gelecekteki Araştırma Yönleri
(Anushree ve ark., 2024)	KİREÇ	Sağlanmadı	Finans, eğitim ve sağlık sektöründe çeşitli uygulamalarda kara kutu modellerinin yorumlanabilirliği ve şeffaflığının artırılması.	· Finans, Eğitim ve Sağlık sektöründe Doğruluk ile Yorumlanabilirlik Arasındaki Denge	· Çeşitli XAI modellerini değerlendirmek için ayrıntılı metrikler listesi geliştirmemiz gerekiyor
	SHAP
	Bozulma mekanizmaları
	Dikkat temelli mekanizmalar
(Awal & Roy, 2024)	PyExplainer	Değerlendirmede tutarlılığı azaltmak için Granular Seviye Değerlendirme Metrikleri.	Tutarsızlıkları vurgular ve açıklamaların oluşturulmasında daha az güvenilirlik gösterir.	· Yazılım Analitiği ile İlgili Görevler	· Yazılım analitiği ile ilgili görevler için XAI modellerinin güvenilirliğini artırmak amacıyla gelişmiş araştırma yöntemleri gereklidir
	KİREÇ			· Klon tespiti
				· Tam Zamanında Kusur Tahmini
(Bommer ve ark., 2024)	Entegre Gradyanlar	XAI yöntemlerinin Gradientlerle Entegrasyonu	XAI yöntemlerinin gradyanlarla entegrasyonu, iklim biliminde sağlamlık, sadakat, karmaşıklık ve rastgeleleştirme açısından performansı artırır.	· İklim Bilimi Tahmini	· İklim biliminin görev özel değerlendirmesine odaklanın.
	katman bazında ilgililik yayımı			· Yıllık ortalama Sıcaklık haritaları tahmini
	giriş zamanları gradyanları
	Gradyent, SmoothGrad, NoiseGrad ve FusionGrad gibi duyarlılık yöntemleri
(Bhatnagar & Agrawal, 2024)	KİREÇ	XAI Teknikleri Topluluğu	Ensemble, kapsamlı bir içgörü sağlar ve karmaşık modellerin yorumlanabilirliğini ve açıklanabilirliğini artırır.	· Sonuçların yorumlanabilirliğini artırmak için Moral veri setinde uygulanmıştır	· Birden fazla tekniği birleştirerek hibrit XAI yöntemlerini keşfedin
	SHAP				· Kullanıcıların farklı ihtiyaçlarına uygun belirli modeller için çeşitli XAI algoritmalarının özelleştirilmesi
(Dias, 2024)	KİREÇ	XAI Tekniklerinin Entegrasyonu	Geliştirilmiş Yorumlanabilirlik ve Doğruluk	· Zehirli Yorum Sınıflandırması	· Sınıflandırma amacıyla gücü artırmak.
	Eli5
(Hajare ve ark. ,2024)	SHAP	Sağlanmadı	SHAP, Akut Koroner Sendromu tahmin etmedeki risk faktörlerine dair ayrıntılı bilgiler sunar.	· Akut Koroner Sendrom (ACS)	· ACS tahmininde yeni risk faktörlerini öğrenmek.
(Hamida ve ark., 2024)	Çeşitli XAI Tekniklerinin kapsamlı incelemesi	Sağlanmadı	XAI uygulamaları hakkında içgörüler sunar ve YZ kararlarının açıklanabilirliğinin YZ'nin sağladığı sonuçları anlamak için önemini vurgular.	· Sağlık sektöründe Uygulanabilir İçgörüler	· XAI bileşenlerinin geliştirilmesi, yani anlaşılabilirlik, şeffaflık, yorumlanabilirlik ve açıklanabilirlik.
					· Sağlık sektörü için özel XAI teknikleri, sağlık alanı için detaylı içgörüler
(Ihongbe ve ark., 2024)	Grad-CAM (Gradient ağırlıklı sınıf aktivasyon eşleme)	Gradient ağırlıklı sınıf aktivasyon haritalaması	Zatürre ve COVID-19 tanısı için daha iyi doğruluk.	· Tıbbi tanı için Geliştirilmiş Doğruluk	XAI tekniklerinin gerçek hayat uygulamaları için kullanılabilirliği konusunda farkındalığı artırmak
(Lenaers & De Moor, 2023).	6 XAI Teknikleri	CatBoost Modelinde 6 XAI Tekniği Topluluğu	Birden fazla teknik, kira tahmini için XAI'nin yorumlanabilirliğini artırır.	· Belçika konut kira tahmini	XAI karar verme için kullanılabilir
(Makumbura ve ark., 2024)	SHAP	RF, LightGBM, XGBoost ve SHAP topluluğu	SHAP, su kalitesini değerlendirmek ve tahmin etmekte sorumlu olan çeşitli faktörleri ortaya koyar.	· Su kalitesinin değerlendirilmesi ve tahmini	Karar verme için kullanılabilir
(Schlegel & Keim, 2023).	Bozulma Analiziyle XAI Teknikleri	Bozulma Analizi	Zaman Serisi Verilerinin sınıflandırma görevleri için etkili şekilde kullanılabilir	· Finans, Sağlık, İklim Bilimi Zaman Serisi Verileri	Gelişmiş yorumlanabilirlik için birden fazla XAI tekniğini birleştirmek.
(Silva & Keller, 2023)	XAI	Sağlanmadı	XAI modellerin, ilişkili özellikler durumunda sonuçları açıklama konusunda bir sınırlaması vardır. Dünya ve atmosfer bilimleri için kullanılabilir.	· Atmosfer bilimleri	XAI, yanlış açıklamalardan kaçınmak için korelasyonlu özellikler için optimize edilmelidir.
	Biyomoleküler Reaksiyon Hızı			· Atmosfer Kimyası
(Y, S., & Challa, M. 2023)	SHAP	Sağlanmadı	Burada, XAI modelleri yorumlanabilirlik ve önemli özelliklerin anlaşılması açısından karşılaştırılmış ve SHAP ile LIME'ın en etkili olduğu sonucuna varılmıştır.	· Tıbbi Uygulamalar	İleri tıbbi uygulamalar için yorumlanabilirliği artırmak
	KİREÇ
	PDP
	GAM

Tablo 2: XAI tekniklerinde yapılan çeşitli optimizasyonların kapsamlı incelemesi. Bu tablo, çeşitli araştırmacılar tarafından önerilen farklı optimizasyon tekniklerinin kapsamlı bir incelemesini sunmaktadır.

Protokol

NOT: Bu bölüm, önerilen topluluk yöntemini ve Şekil 1'de gösterilen tüm önerilen değişiklikleri tartışmaktadır.

Veri hazırlama

Önerilen çerçevenin etkinliğini doğrulamak için yazarlar, Kaggle^17'den toplanan ürün verisi veri seti üzerinde bir deney gerçekleştirdiler. Bu veri seti, 1997'den 2020'ye kadar çeşitli ürünler için Hindistan tarımsal verilerinden oluşmakta olup, Mart 2025'te erişilmiştir. Bu veri seti, mevsim, crop_year, gübre, pestisit, ürün ve verim (hedef değişken) gibi birçok özelliği içerir. Dikkate alınan veri seti, kategorik değerleri işlemek için tek sıcak kodlama kullanılarak verimliliği artırmak için önceden işlenir. Mevsim, ürün ve durum gibi kategorik özellikler tek sıcak kodlanır. MinMax ölçeklendirmesi ayrıca alan, üretim, annual_rainfall, gübre ve pestisit gibi sayısal özellikleri [0,1] aralığına ölçeklendirmek için de kullanılır. Dışnamaları ele almak için, Q₁ - 1.5 • IQR¹⁷ eşiği olan Çeyreklerarası Aralık kuralı kullandık. Sonuçların tekrarlanabilirliğini elde etmek için tüm ön işleme aşamalarında rastgele 42 tohum uygulandı. Ayrıca, veri seti ön işlemeden sonra eğitim (%80) ve test veri seti (%20) olarak ikiye ayrılmıştır.

Deneysel kurulum

Deney, Python 3.10 ile A100 GPU sunucusu üzerinde gerçekleştirildi: Çift AMD Rome 7742, 128 çekirdek, 1TB RAM. Simülasyon için içe aktarılan kütüphaneler scikit-learn 1.3.0, XGBoost 1.7.6, TensorFlow 2.13, SHAP 0.41.0, LIME 0.2.0.1 ve ELI5 0.13.0'dır.

ML modellerinin değerlendirilmesi

Burada yazarlar, çeşitli regresyon modelleri kullanarak, LinearRegression(), Ridge(alpha=1,random_state=42), Lasso(alpha=0.1, random_state = 42), Decision TreeRegressor(max_depth = 10, random_state = 42), RandomForestRegressor(max_depth = 15random_state = 42), GradientBoostingRegressor(n_estimators = 200, learning_rate = 0.1, random_state = 42), XGBoost ve CNN gibi çeşitli regresyon modelleri kullandılar ve hedef değişken^{verimi 18}. XGBoost 300 tahmin cihazı ve 0.05 öğrenme hızı kullanır. CNN modelinde, iki gizli katman, ReLU aktivasyonları ve Adam optimizer, öğrenme oranı 0.001 ile kullanılır. Bu modellerin verimliliği farklı performans metrikleri kullanılarak karşılaştırılır. Bu modeller ayrıca hiperparametre ayarlaması da gerçekleştirir. Örneğin, Ridge regresyonu ve Lasso regresyonu, alfa 1.0 ve alfa 0.1 ile eğitilir. Karar Ağacı ve Rastgele Orman'da maksimum derinlik sırasıyla 10 ve 15 olarak ayarlanmıştı. Gradient Boosting 200 tahmin cihazı ve 0.1 öğrenme oranı kullanır. Bu modellerin performansı, Ortalama Kare Hatası (MSE) ve R2 kare açısından 5 katlı çapraz doğrulama kullanılarak değerlendirildi.

XAI modellerinin değerlendirilmesi

Tartışıldığı gibi, mevcut çalışma sonuçları karşılaştırmak için çeşitli XAI modellerini kullanıyor. Burada yazarlar shhap kullanıyor. Ağaç tabanlı modeller için TreeExplainer(model,data = crop_yield) (Random Forest, Gradient Boosting ve XGBoost). Eğitim veri setinden rastgele seçilmiş 100 vakadan oluşan bir arka plan veri seti seçilerek atıfları stabilize etti. Daha sonra, shap. KernelExplainer(), ağaç dışı modeller (Linear, Ridge, Lasso ve CNN) için 1000 perturbasyonla SHAP değerlerine yaklaşmak için kullanıldı. Tablo açıklayıcı (lime.lime_tabular. LimeTabularExplainer) aynı arka plan veri setinde LIME'ı çalıştırmak için her örnek başına 5000 perturbasyonla kullanıldı ve böylece yerel açıklamalar stabil oldu. Çekirdek genişliği özelliklere göre ayarlandı ve modelin tahmin fonksiyonu açıklamaları çıkarmak için kullanıldı. Yerel açıklamalar explainer.explain_instance(x,model.predict) çağrılarak oluşturuldu. ELI5, test verilerinin aşırı uyumlanmasını önlemek için doğrulama bölünmesinde 10 tekrar ile permütasyon önemi olarak kullanıldı ve eli5.sklearn.PermutationImportance (tahminci,random_state = 42) kullanılarak simüle edildi. Deney sırasında tekrarlar arasındaki ortalama ve varyansın önemi gösterildi. Son olarak, uyarlanmış model doğrulama bölünmesi için kullanıldı ve Kısmi Bağımlılık Grafikleri (PDP) elde edildi; bu grafikler PartialDependencyDisplay.from_estimator kullanılarak uygulandı (model,X_val,features = [feature]),

TCHSHAP çerçevesinin kurulumu

Daha sonra, TCHSHAP çeşitli adımların ardışık olarak uygulanmasıyla uygulanmıştır. Dizinin ilk adımı, λ = 0.85 bozulma oranına sahip üstel bir bozulma fonksiyonu kullanan zamansal ağırlıklandırma oldu; bu çalışma, λ [0.7.0.95] boyunca yapılan bir ablasyon çalışmasına dayanarak seçildi. Referans zamanı (T_current) veri setinde son hasil yılı olarak seçilmiştir. Bu, model açıklamalarının tarımsal çıktı tahmininin dinamiklerini dikkate almasını sağlar; burada son özellikler (yağış, gübre kullanımı veya pestisit) karar vermede daha önemli olur. Zamansal ağırlıklandırmadan sonra SCM nedensel çıkarımlar benimsendi. Önerilen metodoloji, müdahaleleri simüle etmek ve Ortalama Nedensel Etki'yi hesaplamak için nokta operatörünü kullanır. Nedensel çıkarım, python doWhy 0.13 kütüphanesi kullanılarak uygulandı. Bu, üretim ve alan gibi korelasyonlu girdiler nedeniyle yanıltıcı bağlantıları azaltmaya yardımcı olur ve gerçek neden-sonuç bağlantıları elde edilir. Pipeline'ın son adımı, özelliklerin daha üst düzey alanlara düzenlendiği hiyerarşik atıflamaydı. Mevcut veri setinde 3 hiyerarşik özellik vardır: Tarımsal Girdiler (Gübre, Pestisit), Coğrafi Faktörler (Eyalet, Alan, Crop_Year) ve Çevresel Faktörler (Annual_Rainfall, Mevsim). SHAP verilerini gruplamak için normalleştirilmiş toplamlama kullanılarak, her iki düzeyde (ayrıntılı ve genel) açıklamalar elde edilebilir.

Özetle, TCHSHAP boru hattı üç adımı birleştirir: zamansal ayarlama, nedensel atıflama ve hiyerarşik gruplama, tek bir süreçte. Burada, temel SHAP önce açıklamalar yapar, ardından üç iyileştirme eklenir. Bu yapılandırılmış boru hattı, TCHSHAP'ın çıktılarının tutarlı olmasını, yeniden üretilebilmesini ve hem yerel hem de küresel açıklamalar sunmasını sağlar. Önerilen çerçevenin adım adım açıklaması aşağıdaki sözde kodda verilmiştir.

Girdi:
X: X_{1,X 2,X 3},........,X_n. özelliklere sahip veri seti.
t: veri setindeki zamansal değişken
T_akımı: Referans zamanı
λ: Bozulma hızı
G: Özellik Grupları
Zamansal Ağırlıkları Hesaplayın
Her örnek için, i X, w_t = ^e-λ|t-T| değerini değerlendirin,
Shap Değerlerini Hesapla Shap_i
Shap_Tempral = Shap_i * w_t hesaplayın
Nedensel Çıkarım Hesaplama
Her Özellik için, X_i X
Shap_nedensel = Shap_i * nedensel etki(X_j →Y) hesaplayın
Hiyerarşik Atıflama
Her Özellik için, X_i X
Shap Değerlerini Hesapla Shap_i
Her G_i G için 

Çıktı: Hiyerarşik olarak toplanan SHAP değerleri kümesi

Sorun gidermeyi kolaylaştırmak için nicel kontrol noktası aşağıda verilmiştir: Tüm ML modellerinde en düşük MSE ve en yüksek R² verdiği Random Forest. Elde edilen özellik önemi > Pestisit > Gübre Alanı oldu; Mevsim ve Crop_Year ise minimumdu. Küresel temel SHAP tahmini 161.137 idi. Ayrıca, λ = 0.85 uygulandıktan sonra Crop_year ve Season katkısı artar. Grup düzeyindeki katkılar Tarımsal Girdiler>Coğrafi Faktörler> Çevresel Faktörler sırasına göre yapılır.

Sonuçlar

Bu bölüm, deney çalışması sırasında kullanılan çeşitli yöntemlerin uygulanmasıyla elde edilen sonuçları tartışır ve aşağıdaki alt bölümlerden oluşur:

Veri toplama ve ön işleme

Önerilen çerçevenin deneysel bir değerlendirmesini yapmak için, Kaggle^19'dan ürün verimine ilişkin bir veri seti topland...

Tartışma

Mevcut çalışmanın temel amacı, geleneksel SHAP modeline zamansal ağırlıklandırma, nedensel çıkarım ve hiyerarşik önemi dahil ederek TCHSHAP modelini ortaya çıkarmaktır. Bu bileşenlerin XAI tekniklerine dahil edilmesinin amacı, sonuçların yorumlanabilirliğini artırmaktır. Zamansal ağırlıklandırma için, eski değerlere kıyasla yeni değerlere daha fazla ağırlık veren üstel azalma tekniğini değerlendirdik. Nedensel anlamlılık açısından yazarlar, çeşitli özelliklerin tahmin değişkeni üzerindek...

Malzemeler

Bu makalede kullanılan malzemelerin listesi

Ad	Şirket	Katalog numarası	Yorumlar
ELI5	0.13.0	PyPI
KİREÇ	0.2.0.1	PyPI
Nvidia DGX A100 GPU Sunucusu	CPU Çift AMD Rome 7742, toplam 128 çekirdek	Nvidia
Sistem Belleği 1TB
Piton	3.1	Piton
SHAP	0.41.0	PyPI
scikit-learn	1.3.0	PyPI
TensorFlow	2.13	Tensör Akışı
XGBoost	1.7.6	PyPI