Ensemble van temporele weging, causale inferentie en hiërarchische attributie richting SHAP-optimalisatie

Samenvatting

Dit artikel heeft als doel de impact van temporele weging, causale inferentie en hiërarchische attributie op interpreteerbaarheidsoptimalisatie te beoordelen.

Samenvatting

In de afgelopen jaren is de behoefte aan transparantie en interpreteerbaarheid toegenomen door aanzienlijke vooruitgang in datagedreven modellen, wat heeft geleid tot de opkomst van Verklarbare Kunstmatige Intelligentie (XAI). Verschillende traditionele XAI-benaderingen zijn gangbaar; deze hebben echter beperkte competentie in het interpreteren van dynamische relaties. Het huidige onderzoek heeft als doel deze beperking aan te pakken door een nieuw Ensemble SHapley Additive exPlanations (SHAP) kader voor te stellen dat zich richt op temporele weging, causale inferentie, hiërarchische attributie en interpreteerbaarheidsoptimalisatie, aangeduid als TCHSHAP. TCHSHAP geeft prioriteit aan huidige informatie boven historische informatie door temporele weging via exponentiële afname. Bovendien scheidt causale inferentie correlatie van causaliteit om praktische inzichten te verkrijgen. Daarnaast biedt hiërarchische attributie inzichten op granulair (regioniveau) en geaggregeerd niveau (feature-group impacts). Deze benaderingen worden geïntegreerd om een beter interpreteerbaar en verklaarbaar model te bereiken. Om de effectiviteit van het voorgestelde model te valideren, voeren we een experiment uit op de gewasopbrengstdataset verzameld van Kaggle. Voorafgaand aan de experimentele evaluatie wordt datapreprocessing uitgevoerd met behulp van one-hot encoding. Datanormalisatie wordt gedaan door min-max scaling, en uitschieters worden verwijderd via het Interkwartielbereik. Voor experimentele evaluatie gebruikten de auteurs het SHAP XAI-model voor Random Forest. Bij het beoordelen van de effectiviteit van het voorgestelde TCHSHAP-model wordt opgemerkt dat hoewel de gemiddelde voorspelling voor traditionele SHAP 161,137 is, deze oploopt naar 161,506 na opname van temporele weging en causale inferentie, waarmee de effectiviteit van het gebruik van temporele en causale significantie wordt benadrukt. Daarnaast wordt tijdens hiërarchische attributie waargenomen dat landbouwkenmerken de sterkste dominantie hebben over de doelvariabele. Deze dominantie wordt gevolgd door geografische en omgevingsfactoren in volgorde. De verkregen resultaten bevestigen dus de effectiviteit van de voorgestelde aanpak om de globale en lokale interpreteerbaarheid te verbeteren, waardoor het vertrouwen van de gebruiker in modelvoorspellingen wordt versterkt. Het huidige werk biedt manieren om transparantie en interpreteerbaarheid te verbeteren zonder de prestaties van het model te beïnvloeden. Het voorgestelde model maakt ook interpreteerbare en efficiënte regressiemodellering mogelijk in complexe, datagedreven toepassingen, waardoor het breed toegepast kan worden in echte omgevingen.

Inleiding

Regressie speelt een grote rol in voorspellende analyses en omvat verschillende domeinen, waaronder klimaatmodellering, financiële voorspellingen, gezondheidszorgdiagnostiek en landbouwopbrengstschatting ^1,2. De onverklaarde resultaten van regressiemodellen, vooral niet-lineaire en hoogcapaciteitsmodellen zoals Gradient Boosting Machines (GBM's), Random Forests en Deep Neural Networks (DNN's), vormen echter aanzienlijke uitdagingen, vooral voor toepassingen die transparantie en bruikbare inzichten vereisen. Deze interpreteerbaarheidskloof kan worden overbrugd door gebruik te maken van Explainable Artificial Intelligence (XAI), een techniek die nog in de kinderschoenen staat. Momenteel geven conventionele XAI-frameworks zoals SHAP en Local Interpretable Model Agnostic Explanation (LIME) alleen statische feature-verklaringen³. Deze XAI-technieken slaagen er momenteel niet in de complexiteit van regressietaken met betrekking tot temporele afhankelijkheden, hiërarchische structuurstructuren en oorzakelijkheden te verklaren, waardoor een onderzoeksrichting^{ontstaat 4,5}. Door het niet in overweging nemen van deze factoren kan XAI soms verkeerde conclusies trekken. Traditionele SHAP beoordeelt bijvoorbeeld alleen de correlatie van attributen met de doelvariabele zonder rekening te houden met de causaliteit. Laten we een dataset beschouwen met twee binaire inputkenmerken, namelijk tabaksconsumptie en gekleurde tanden. De doelvariabele in deze dataset is de kans op kanker. In zo'n scenario, als correlatie wordt verkregen tussen inputkenmerken en de doelvariabele, zal kanker sterk gecorreleerd zijn met beide kenmerken (tabaksconsumptie en gekleurde tanden). Het is echter misleidend om te concluderen dat gekleurde tanden kanker veroorzaken, omdat het wordt veroorzaakt door regelmatig tabaksgebruik. Het kan dus worden samengevat dat ondanks aanzienlijke vooruitgang op het gebied van XAI, de belangrijkste kwesties die in regressiecontexten moeten worden aangepakt zijn:

Het onvermogen om temporele afhankelijkheden te overwegen leidt alleen tot statische verklaringen die mogelijk niet werken in contexten met dynamische data.

Het niet opnemen van causale inferentie in traditionele SHAP-adaptaties veroorzaakt valse correlaties in plaats van waardevolle causale inzichten.

Gebrek aan aandacht voor hiërarchische interpretatie leidt tot onvoldoende hoger-niveau geaggregeerde verklaringen.

Om deze kwesties aan te pakken, streeft huidig onderzoek ernaar een nieuw XAI-kader voor te stellen, TCHSHAP, dat temporele weging, causale inferentie en hiërarchische attributie omvat, met als doel de interpreteerbaarheid en rekenkundige efficiëntie van huidige XAI-modellen te verbeteren. Hiervoor beschouwt het voorgestelde kader een temporele wegingsfactor w_t die hogere gewichten toekent aan de recente feature-bijdrage in vergelijking met eerdere waarden. Deze wegingsfactor is bedoeld om ervoor te zorgen dat de interpreteerbaarheid overeenkomt met de temporele betekenis van cruciale kenmerken in dynamische regressieproblemen zoals opbrengstvoorspelling en verkoopvoorspelling. Bovendien tonen traditionele regressiemodellen geen causale relaties aan, wat leidt tot dubbelzinnige attributies⁶. Om deze uitdaging aan te pakken, gebruikt het voorgestelde kader Structurele Causale Modellen (SCM's) om de causale impact van een kenmerk F_i op de output te beoordelen. Daarnaast tonen de realtime datasets vaak hiërarchische relaties (ruimtelijk of categorisch) tussen features, die zelden worden getoond in bestaande XAI-frameworks ^4,5,6. Integendeel, het voorgestelde XAI-framework aggregeert individuele kenmerken (F_i) om hogere niveaukenmerken (H_j) te verkrijgen, om zo granulariteit van de verklaringen te bereiken.

Naast het opnemen van temporele, causale en hiërarchische betekenis, streeft het voorgestelde ensemble er ook naar interpreteerbaarheid en verklaarbaarheid te vergroten. Zo'n doel is een poging om de afweging tussen interpreteerbaarheid en nauwkeurigheid vast te stellen, zodat de uitleg die uit TCHSHAP wordt verkregen accuraat en interpreteerbaar zijn⁴. Het voorgestelde XAI-kader kan wiskundig als volgt worden beschreven, terwijl de beschrijving van de gebruikte variabelen in Tabel 1 wordt gegeven. De traditionele SHAP-waarde voor de eigenschap wordt berekend als vergelijking (1)^5,6.

(1)

Deze traditionele SHAP-formulering telt bijdragen op zonder rekening te houden met temporele, causale of hiërarchische aanpassingen.

Veranderlijk	Definitie
Fi	Kenmerk waarvan de Shap-waarde wordt berekend
Shapi	Shapwaarde van het kenmerk
S	Set van totale kenmerken
M	Subset van alle kenmerken
FT	Totaal aantal functies
P(M)	Modelvoorspelling wanneer alleen kenmerken in M worden gebruikt
λ > 0	Vervalsnelheid
T	Referentievoorspellingstijd
Y	Uitvoer

Tabel 1: Beschrijving van gebruikte variabelen. Deze tabel beschrijft de betekenis van verschillende gebruikte variabelen.

Deze traditionele SHAP-formulering is aangepast om dynamische afhankelijkheden te verwerken door temporele weging toe te voegen. Deze temporele weging wordt opgenomen door de wegingscoëfficiënt wt = ^{e-λ | in te voerent - T|} waarbij λ de vervalfactor (λ > 0) vertegenwoordigt. Zoals eerder besproken, geeft deze exponentiële weging meer gewicht aan recente waarden dan aan eerdere waarden. Deze exponentiële afname wordt geassocieerd met het besef dat recente featurewaarden een hogere significantie hebben dan eerdere waarden. De aangepaste SHAP-waarde (na opname van temporele significantie) wordt gegeven in vergelijking (2).

(2)

Deze temporele informatie is belangrijk voor dynamische regressietaken zoals het voorspellen van rendementen of aandelen.

Verder wordt SCM toegepast om de verklaringen robuuster te maken om de causale impact van kenmerk F_i op de output Y te beoordelen. De wiskundige formulering van causale SHAP wordt gegeven in vergelijking (3)

(3)

Hier stelt do(F_i) de eigenschap voor die heeft bijgedragen aan de verandering. Door dit te gebruiken, bereikt het model de competentie om de causaliteit te verklaren in plaats van de correlatie. Het is vermeldenswaard dat SCM-gebaseerde berekening van causale effecten ervoor zorgt dat alleen kenmerken met directe causale invloed worden gecrediteerd, waardoor valse correlaties worden geëlimineerd.

Verder wordt de hiërarchie voorgesteld in het voorgestelde model om attributen over verschillende niveaus te aggregeren. De wiskundige formulering voor de hiërarchische SHAP wordt gegeven in vergelijking (4).

(4)

De opname van hiërarchie in het voorgestelde model zorgt voor het bereiken van granulariteit van de verklaringen. Het voorgestelde kader is weergegeven in Figuur 1.

Figuur 1: Beeldillustratie van verschillende elementen in het voorgestelde kader. Deze figuur geeft een beeldende illustratie van verschillende elementen in het voorgestelde raamwerk TCHSHAP, waaronder temporele weging, causale inferentie en hiërarchische attributie. Klik hier om een grotere versie van deze figuur te bekijken.

De nieuwigheid van het voorgestelde model TCHSHAP ligt in het omgaan met deze drie inconsistenties door gebruik te maken van temporele weging (om meer gewicht te geven aan actuele informatie), Structurele Causale Modellen (SCM; om causale effecten te beoordelen) en hiërarchische aggregatie van SHAP-waarden (om meerlagige inzichten te verkrijgen). Zo breidd het voorgestelde ensemble SHAP uit voorbij zijn statische beperkingen en biedt het een regressie-geoptimaliseerd verklarend kader.

Het voorgestelde TCHSHAP heeft het potentieel om grote betekenis te bereiken voor realtime toepassingen in scenario's die betere besluitvorming vereisen, omdat het de gedetailleerde uitleg van de output in regressiemodellen identificeert en modellering naadloos verbindt met besluitvorming. Samenvattend is de belangrijkste bijdrage van dit manuscript het ontwerpen van een nieuw kader dat temporele weging, causale inferentie en hiërarchische relaties combineert om de uitvoerbare verklaringen van het traditionele SHAP-model te verbeteren.

Gerelateerd werk

XAI bevat verschillende methodologieën die speciaal zijn ontworpen om de transparantie en interpreteerbaarheid van verschillende machine learning-modellen te verbeteren. Deze XAI-strategieën creëren vertrouwen in de resultaten door de benodigde inzichten uit de resultaten te verschaffen. Zo verbeteren opmerkelijke XAI-methodologieën zoals LIME en SHAP de interpreteerbaarheid en transparantie van anders black box-modellen in diverse domeinen, namelijk financiën, onderwijs en de gezondheidszorgsector⁷. Ook worden XAI-technieken toegepast in taken die verband houden met softwareanalyse, kloondetectie en Just-in-Time defectvoorspelling⁸. Daarnaast benadrukten Awal en Roy ook de afwijkingen en toonden minder betrouwbaarheid aan bij het genereren van de verklaringen⁸. Hier pasten de auteurs Granular Level Evaluation Metrics toe om consistentie in evaluatie te verminderen. XAI is ook veel ingezet in het medische domein om de meest prominente factoren te begrijpen die de resultaten van de classificatietaak beïnvloeden en zo het vertrouwen onder zorgverleners te bevorderen om AI-gebaseerde diagnostiek^{te gebruiken 9,10,11,12}. Bovendien faciliteren XAI-benaderingen in sectoren zoals de Belgische woninghuurvoorspelling de interpretatie van ingewikkelde modellen, waardoor kwaliteitscontrole wordt verbeterd en^{productiefouten} worden geminimaliseerd. Bommer et al. toonden aan dat integratie van XAI-methoden met gradiënten de prestaties van XAI-methoden verbetert op het gebied van robuustheid, trouw, complexiteit en randomisatie in de klimaatwetenschap¹⁴. Veel onderzoekers hebben geprobeerd ensemble- en hybride technieken te ontwikkelen. Naast het voorstellen van ensembletechnieken toonden onderzoekers ook de effectiviteit van deze hybride technieken aan om uitgebreide inzichten te bieden voor complexe modellen^15,16. Een gedetailleerde overzicht van de technieken, optimalisaties en de verschillende toepassingen is in tabel 2 weergegeven, wat duidelijk aangeeft dat de meest toegepaste technieken LIME en SHAP zijn. De toekomstige onderzoeksrichting wijst op het verkennen van optimalisatie in deze methoden om de interpreteerbaarheid van deze modellen te verbeteren. In voortzetting van de onderzoekslijn richten auteurs in het huidige onderzoek zich op SHAP-optimalisatie door causale inferentie, hiërarchische attributie en temporele weging toe te voegen.

Citaat	XAI-technieken	Optimalisering	Inzichten	Toepassingen	Toekomstige onderzoeksrichtingen
(Anushree et al., 2024)	KALK	Niet verstrekt	Verbetering van de interpreteerbaarheid en transparantie van black box-modellen in diverse toepassingen in de financiële sector, onderwijs en gezondheidszorg.	· Afweging tussen nauwkeurigheid en interpreteerbaarheid in de financiële sector, onderwijs en gezondheidszorg	· Moet een lijst met gedetailleerde metrics ontwikkelen voor het evalueren van verschillende XAI-modellen
	SHAP
	Perturbatiemechanismen
	Aandachtgebaseerde mechanismen
(Awal & Roy, 2024)	PyExplainer	Granular Level Evaluation Metrics voor het verminderen van consistentie in evaluatie.	Benadrukt de afwijkingen en toont een mindere betrouwbaarheid in het genereren van de verklaringen.	· Taken gerelateerd aan softwareanalyse	· Geavanceerde onderzoeksmethoden zijn nodig om de betrouwbaarheid van XAI-modellen voor taken gerelateerd aan softwareanalyse te verbeteren
	KALK			· Kloondetectie
				· Just in Time Defect Voorspelling
(Bommer et al., 2024)	Geïntegreerde gradiënten	Integratie van XAI-methoden met gradiënten	De integratie van XAI-methoden met gradiënten verbetert de prestaties op het gebied van robuustheid, trouw, complexiteit en randomisatie in de klimaatwetenschap.	· Voorspelling van de Klimaatwetenschap	· Focus op taakspecifieke evaluatie van klimaatwetenschap.
	Laaggewijze relevantiepropagatie			· Jaarlijkse gemiddelde Temperatuurkaarten voorspelling
	Ingangstijdgradiënten
	gevoeligheidsmethoden zoals gradient, SmoothGrad, NoiseGrad en FusionGrad
(Bhatnagar & Agrawal, 2024)	KALK	Ensemble van XAI-technieken	Ensemble biedt uitgebreide inzichten en verbetert de interpreteerbaarheid en verklaarbaarheid van complexe modellen.	· Toegepast op de morele dataset om de interpreteerbaarheid van de resultaten te verbeteren	· Verken hybride XAI-methoden door meerdere technieken te combineren
	SHAP				· Het aanpassen van verschillende XAI-algoritmen voor specifieke modellen die aansluiten bij de verschillende behoeften van gebruikers
(Dias, 2024)	KALK	Integratie van XAI-technieken	Verbeterde interpreteerbaarheid en nauwkeurigheid	· Classificatie van toxische opmerkingen	· Het versterken van de kracht voor classificatiedoeleinden.
	Eli5
(Hajare et al., 2024)	SHAP	Niet verstrekt	SHAP biedt gedetailleerde inzichten in de risicofactoren bij het voorspellen van het Acute Coronair Syndroom.	· Acuut Coronair Syndroom (ACS)	· Om nieuwe risicofactoren bij ACS-voorspelling te ontdekken.
(Hamida et al., 2024)	Uitgebreide review van verschillende XAI-technieken	Niet verstrekt	Biedt inzichten over XAI-toepassingen XAI in de gezondheidszorgsector en benadrukt het belang van verklaarbaarheid van AI-beslissingen om de resultaten van AI te begrijpen.	· Uitvoerbare inzichten in de gezondheidszorgsector	· Verbetering van XAI-componenten, namelijk begrijpelijkheid, transparantie, interpreteerbaarheid en verklaarbaarheid.
					· Aangepaste XAI-technieken voor de zorgsector voor gedetailleerde inzichten voor het zorgdomein
(Ihongbe et al., 2024)	Grad-CAM (Gradiëntgewogen Class-Activation Mapping)	Gradiëntgewogen Class Activation Mapping	Betere nauwkeurigheid voor longontsteking en COVID-19-diagnose.	· Verbeterde nauwkeurigheid voor medische diagnose	Het vergroten van het bewustzijn van de bruikbaarheid van XAI-technieken voor toepassingen in de praktijk
(Lenaers, & De Moor, 2023).	6 XAI-technieken	Ensemble van 6 XAI-technieken op het CatBoost-model	Meerdere technieken verbeteren de interpreteerbaarheid van XAI voor huurvoorspelling.	· Belgische huurvoorspelling van woningen	XAI kan worden gebruikt voor besluitvorming
(Makumbura et al., 2024)	SHAP	Ensemble van RF, LightGBM, XGBoost met SHAP	SHAP onthult de verschillende factoren die verantwoordelijk zijn voor het beoordelen en voorspellen van de waterkwaliteit.	· Beoordeling en voorspelling van de waterkwaliteit	Kan worden ingezet voor besluitvorming
(Schlegel & Keim, 2023).	XAI-technieken met perturbatieanalyse	Perturbatieanalyse	Kan effectief worden ingezet voor classificatietaken van tijdreeksgegevens	· Tijdreeksgegevens van financiën, gezondheidszorg, klimaatwetenschap	Het combineren van meerdere XAI-technieken voor verbeterde interpreteerbaarheid.
(Silva & Keller, 2023)	XAI	Niet verstrekt	XAI-modellen hebben een beperking om de resultaten te verklaren in het geval van gecorreleerde kenmerken. Kan worden ingezet voor aard- en atmosferische wetenschappen.	· Atmosferische wetenschappen	XAI moet geoptimaliseerd worden voor gecorreleerde functies om valse verklaringen te voorkomen.
	Biomoleculaire reactiesnelheid			· Atmosferische chemie
(Y, S., & Challa, M. 2023)	SHAP	Niet verstrekt	Hier worden XAI-modellen vergeleken met betrekking tot interpreteerbaarheid en begrip van belangrijke kenmerken en concluderen ze dat SHAP en LIME het meest effectief zijn.	· Medische toepassingen	Om de interpreteerbaarheid voor geavanceerde medische toepassingen te verbeteren
	KALK
	PDP
	GAM

Tabel 2: Uitgebreide review van diverse optimalisaties uitgevoerd op XAI-technieken. Deze tabel presenteert een uitgebreide overzicht van verschillende optimalisatietechnieken die door diverse onderzoekers zijn voorgesteld.

Protocol

OPMERKING: Deze sectie bespreekt de voorgestelde ensemblemethode, inclusief alle voorgestelde wijzigingen zoals geïllustreerd in Figuur 1.

Datavoorbereiding

Om de effectiviteit van het voorgestelde kader te valideren, voerden de auteurs een experiment uit op de gewasopbrengstdataset verzameld van Kaggle¹⁷. Deze dataset bestaat uit Indiase landbouwgegevens voor verschillende gewassen van 1997 tot 2020 en werd in maart 2025 geraadpleegd. Deze dataset omvat tal van kenmerken, namelijk seizoen, crop_year, meststof, pesticide, gewas en opbrengst (streefvariabele), enzovoort. De betreffende dataset wordt vooraf bewerkt voor verhoogde efficiëntie met behulp van one-hot encoding om categorische waarden te verwerken. De categorische kenmerken zoals seizoen, oogst en staat zijn one-hot gecodeerd. MinMax-schaal wordt ook toegepast om numerieke kenmerken zoals oppervlakte, productie, annual_rainfall, meststof en pesticide te schalen tot het [0,1]-bereik. Om de uitschieters te beheersen, gebruikten we de Interkwartielbereikregel met een drempel Q₁ - 1,5 • IQR¹⁷. Een willekeurig seed van 42 werd toegepast over alle preprocessing-stappen om de reproduceerbaarheid van de resultaten te verkrijgen. Verder werd de dataset na preprocessing opgesplitst in een trainingsdataset (80%) en een testdataset (20%).

Experimentele opstelling

Het experiment werd uitgevoerd met Python 3.10 op een A100 GPU-server met CPU: Dual AMD Rome 7742, 128 cores, 1TB RAM. Bibliotheken die voor simulatie worden geïmporteerd zijn scikit-learn 1.3.0, XGBoost 1.7.6, TensorFlow 2.13, SHAP 0.41.0, LIME 0.2.0.1 en ELI5 0.13.0.

Evaluatie van ML-modellen

Hier hebben auteurs verschillende regressiemodellen gebruikt, namelijk LinearRegression(), Ridge(alpha=1,random_state=42), Lasso (alpha=0,1,random_state = 42), Decision TreeRegressor(max_depth = 10, random_state = 42), RandomForestRegressor(max_depth = 15random_state = 42), GradientBoostingRegressor(n_estimators = 200, learning_rate = 0,1, random_state = 42), XGBoost en CNN om de impact van verschillende variabelen op de doelvariabele^{yield 18} te bepalen. XGBoost gebruikt 300 schatters en een leersnelheid van 0,05. In het CNN-model worden twee verborgen lagen, ReLU-activaties en Adam-optimizer gebruikt met een leersnelheid van 0,001. De efficiëntie van deze modellen wordt vergeleken met verschillende prestatie-indicatoren. Deze modellen voeren ook hyperparameterafstemming uit. Zo worden Ridge-regressie en Lasso-regressie getraind met alpha gelijk aan 1,0 en alpha gelijk aan 0,1, respectievelijk. In Decision Tree en Random Forest werd de maximale diepte respectievelijk ingesteld op 10 en 15. Gradient Boosting gebruikt 200 schatters en een leersnelheid van 0,1. De prestaties van deze modellen werden geëvalueerd met 5-voudige kruisvalidatie in termen van Mean Squared Error (MSE) en R2 kwadraat.

Evaluatie van XAI-modellen

Zoals besproken, gebruikt het huidige werk verschillende XAI-modellen om de resultaten te vergelijken. Hier gebruiken de auteurs shap. TreeExplainer(model,data = crop_yield) voor boomgebaseerde modellen (Random Forest, Gradient Boosting en XGBoost). Een achtergronddataset van 100 willekeurig geselecteerde gevallen werd gekozen uit de trainingsdataset om attributies te stabiliseren. Verder, Shap. KernelExplainer() werd gebruikt voor niet-boommodellen (Linear, Ridge, Lasso en CNN) met 1000 verstoringen om dicht bij SHAP-waarden te komen. Tabulaire uitleg (lime.lime_tabular. LimeTabularExplainer) werd gebruikt met 5000 verstoringen per instantie om LIME op dezelfde achtergronddataset te draaien om ervoor te zorgen dat lokale verklaringen stabiel zijn. De kernbreedte werd bepaald op basis van eigenschappen, en de voorspellingsfunctie van het model werd gebruikt om verklaringen af te leiden. Lokale verklaringen werden gegenereerd door explainer.explain_instance(x,model.predict) aan te roepen. ELI5 werd gebruikt als permutatiebelang met 10 herhalingen op de validatiesplitsing om overfitting van de testgegevens te voorkomen, en werd gesimuleerd met eli5.sklearn.PermutationImportance(schatter,random_state = 42). Het belang van gemiddelde en variantie tussen herhalingen werd tijdens het experiment aangetoond. Ten slotte werd het aangepaste model gebruikt voor de validatiesplitsing om Partial Dependence Plots (PDP's) te verkrijgen, die werden geïmplementeerd met PartialDependencyDisplay.from_estimator (model,X_val,features = [feature]),

Opzet van het TCHSHAP-framework

Vervolgens werd TCHSHAP geïmplementeerd door verschillende stappen achter elkaar toe te passen. De eerste stap in de sequentie was temporele weging, waarbij een exponentiële vervalfunctie wordt gebruikt met een vervalsnelheid van λ = 0,85, die werd geselecteerd op basis van een ablatiestudie over λ [0.7.0.95]. De referentietijd (T_current) werd geselecteerd als het recente oogstjaar in de dataset. Dit zorgt ervoor dat de modelverklaringen rekening houden met de dynamiek van de landbouwproductieprognose, waarbij recente kenmerken (neerslag, kunstmestgebruik of pesticiden) meer betekenis hebben voor het nemen van beslissingen. Temporele weging werd gevolgd door SCM om causale inferenties te nemen. De voorgestelde methodologie gebruikt de dot-operator om interventies te simuleren en het Gemiddelde Causale Effect te berekenen. De causale inferentie werd toegepast met behulp van de python doWhy 0.13-bibliotheek. Dit helpt misleidende verbanden door gecorreleerde inputs zoals productie en gebied te verminderen, waardoor echte oorzaak-gevolg-verbanden ontstaan. De laatste stap in de pijplijn was hiërarchische attributie, waarbij features werden georganiseerd in domeinen op hoger niveau. Voor de huidige dataset zijn er 3 hiërarchische kenmerken, namelijk landbouwinputs (meststof, pesticide), geografische factoren (staat, oppervlakte, Crop_Year) en milieufactoren (Annual_Rainfall, seizoen). Door genormaliseerde sommatie te gebruiken om SHAP-gegevens te groeperen, kunnen op beide niveaus (gedetailleerd en algemeen) verklaringen worden verkregen.

Samenvattend combineert de TCHSHAP-pijplijn drie stappen: temporele aanpassing, causale toewijzing en hiërarchische groepering tot één proces. Hier geeft basis-SHAP eerst uitleg, gevolgd door de toevoeging van drie verbeteringen. Deze gestructureerde pijplijn zorgt ervoor dat de output van TCHSHAP consistent is, reproduceerbaar is en zowel lokale als globale verklaringen geeft. De stapsgewijze beschrijving van het voorgestelde framework wordt gegeven in de onderstaande pseudocode.

Invoer:
X: Dataset met kenmerken X_{1,X 2,X 3},........,X_n.
t: temporele variabele in de dataset
_T-stroom: Referentietijd
λ: Vervalsnelheid
G: Featuregroepen
Bereken temporele gewichten
Voor elk geval iX, evalueer w_{t t} = ^e-λ|t-T|, 
Bereken Shap-waarden Shap_i
Bereken Shap_Tempral = Shap_i * w_t
Bereken causale inferentie
Voor elk kenmerk, X_i X
Bereken Shap_Causaal = Shap_i * Causaal Effect(X_j →Y)
Hiërarchische Toeschrijving
Voor elk kenmerk, X_i X
Bereken Shap-waarden Shap_i
Voor elke G_i  G

Uitvoer: Set van hiërarchisch geaggregeerde SHAP-waarden

Het kwantitatieve controlepunt voor het faciliteren van probleemoplossing wordt hieronder gegeven: Random Forest levert de laagste MSE en hoogste R² op over alle ML-modellen. Het belangrijkste kenmerk was Gebied > Pesticide > Meststoffen, met Seizoen en Crop_Year als minimaal. De wereldwijde basislijn SHAP-voorspelling was 161,137. Verder neemt na toepassing van λ = 0,85 de bijdrage van Crop_year en Seizoen toe. Bijdragen op groepsniveau volgen de volgorde Landbouwinput>Geografische Factoren> Milieufactoren.

Resultaten

Deze sectie bespreekt de resultaten die zijn verkregen door het gebruik van verschillende methoden die tijdens het experiment zijn gebruikt, bestaande uit verschillende subsecties als volgt:

Dataverzameling en voorverwerking

Om een experimentele evaluatie van het voorgestelde kader uit te voeren, werd een dataset over ...

Discussie

Het belangrijkste doel van de huidige studie is het integreren van temporele weging, causale inferentie en hiërarchische significantie in het traditionele SHAP-model, wat resulteert in het TCHSHAP-model. De reden om deze componenten in XAI-technieken op te nemen is om de interpreteerbaarheid van de resultaten te verbeteren. Voor temporele weging hebben we een exponentiële afneemtechniek overwogen, die meer gewicht geeft aan recente waarden in vergelijking met oude waarden. Bij causale si...

Materialen

Lijst van materialen gebruikt in dit artikel

Naam	Bedrijf	Catalogusnummer	Opmerkingen
ELI5	0.13.0	PyPI
LIME	0.2.0.1	PyPI
Nvidia DGX A100 GPU Server	CPU Dual AMD Rome 7742, 128 cores in totaal	Nvidia
System Memory 1TB
Python	3.1	Python
SHAP	0.41.0	PyPI
scikit-learn	1.3.0	PyPI
TensorFlow	2.13	Tensor Flow
XGBoost	1.7.6	PyPI