SHAP 최적화를 위한 시간적 가중치, 인과 추론, 계층적 귀속의 앙상블

요약

이 글은 시간 가중치, 인과 추론, 계층적 귀속이 해석 가능성 최적화에 미치는 영향을 평가하는 것을 목표로 합니다.

초록

지난 몇 년간 데이터 기반 모델의 큰 발전으로 인해 투명성과 해석 가능성에 대한 필요성이 더욱 커졌으며, 이를 통해 설명 가능한 인공지능(XAI)이 등장했습니다. 여러 전통적인 XAI 접근법이 널리 퍼져 있습니다; 그러나 이들은 동적 관계를 해석하는 데 한계가 있다. 현재 연구는 시간적 가중치, 인과 추론, 계층적 귀속, 해석 가능성 최적화에 중점을 둔 새로운 Ensemble SHapley Additive exPlanations(SHAP) 프레임워크인 TCHSHAP를 제안하여 이 한계를 해결하는 것을 목표로 합니다. TCHSHAP는 지수적 감소를 통해 시간적 가중치를 부여하여 현재 정보를 역사적 정보보다 우선시합니다. 더 나아가, 인과관계 추론은 상관관계를 인과관계에서 분리하여 실질적인 통찰을 얻습니다. 또한, 계층적 귀속은 세분적(지역 수준)과 집계된 수준(특징 그룹 영향)에서의 통찰을 제공합니다. 이러한 접근법들은 보다 해석 가능하고 설명 가능한 모델을 구현하기 위해 통합됩니다. 제안된 모델의 효능을 검증하기 위해, Kaggle에서 수집한 작물 수확량 데이터셋을 대상으로 실험을 수행했습니다. 실험 평가에 앞서 데이터 전처리는 원핫 인코딩을 사용하여 수행됩니다. 데이터 정규화는 최소-최대 스케일링으로 수행되며, 이상치는 4분위 범위를 통해 제거됩니다. 실험 평가를 위해 저자들은 무작위 숲에 SHAP XAI 모델을 사용했습니다. 제안된 TCHSHAP 모델의 효능을 평가할 때, 전통적 SHAP의 평균 예측치가 161.137인 반면, 시간적 가중치와 인과 추론을 포함하면 161.506까지 상승하여 시간적 및 인과적 유의성 활용의 효과를 지지하는 것으로 관찰됩니다. 또한, 계층적 귀속 과정에서 농업적 특징이 목표 변수에 대해 가장 강한 우세를 보이는 것이 관찰됩니다. 이러한 지배 뒤에는 지리적, 환경적 요인이 순서대로 따릅니다. 따라서 얻어진 결과는 제안된 접근법이 전역 및 국소 해석 가능성을 향상시키는 데 효과적임을 입증하며, 사용자의 모델 예측에 대한 신뢰를 강화합니다. 현재 연구는 모델 성능에 영향을 주지 않으면서 투명성과 해석 가능성을 개선하는 방법을 제시합니다. 제안된 모델은 복잡한 데이터 기반 응용 분야에서 해석 가능하고 효율적인 회귀 모델링을 가능하게 하여 실제 환경에서 널리 적용할 수 있게 합니다.

서론

회귀분석은 기후 모델링, 재무 예측, 의료 진단, 농업 수확량 추정 등 여러 영역을 포함하는 예측 분석에서 중요한 역할을^합니다. 그러나 회귀 모델, 특히 Gradient Boosting Machines(GBM), 랜덤 포레스트, 딥 뉴럴 네트워크(DNN)와 같은 비선형 및 고용량 모델의 설명되지 않은 결과는 투명성과 실행 가능한 인사이트가 필요한 응용 분야에서 상당한 도전 과제를 제기합니다. 이 해석 가능성의 격차는 아직 초기 단계인 설명 가능한 인공지능(XAI) 기술을 활용함으로써 메울 수 있습니다. 현재 SHAP과 로컬 해석 가능한 모델 무관성 설명(LIME)과 같은 기존 XAI 프레임워크는 정적인 특징 설명만 제공합니다³. 이 XAI 기법들은 현재 시간 의존성, 계층적 특징 구조, 인과관계를 포함하는 회귀 작업의 복잡성을 설명하지 못해 연구 경로 ^4,5를 만듭니다. 이러한 요인들을 고려하지 않아 XAI는 때때로 잘못된 결론을 도출할 수 있습니다. 예를 들어, 전통적인 SHAP은 인과관계는 고려하지 않고 속성과 목표 변수의 상관관계만 고려합니다. 담배 섭취와 착색된 치아라는 두 가지 입력 이진 특징이 있는 데이터셋을 생각해 봅시다. 이 데이터셋의 목표 변수는 암 발생 확률입니다. 이러한 상황에서 입력 특징과 목표 변수 간의 상관관계가 얻어지면, 암은 담배 섭취와 착색된 치아 두 가지 특징 모두와 높은 상관관계를 보입니다. 이제 착색된 치아가 암을 유발한다고 결론 내리는 것은 다소 오해의 소지가 있습니다. 왜냐하면 암은 정기적으로 담배를 섭취하는 것에 의해 발생하기 때문입니다. 따라서 XAI 분야에서 상당한 진전이 있었음에도 회귀 맥락에서 해결해야 할 주요 쟁점은 다음과 같다는 요약이 가능합니다:

시간적 의존성을 고려하지 못하면 동적 데이터의 맥락에서는 작동하지 않을 수 있는 정적인 설명만 남게 됩니다.

전통적인 SHAP 적응에서 인과적 추론이 포함되지 않으면 가치 있는 인과적 통찰 대신 잘못된 상관관계가 발생합니다.

계층적 해석에 대한 주의 부족은 상위 수준의 집계 설명이 부족한 결과를 낳습니다.

이러한 문제를 해결하기 위해 현재 연구는 시간 가중치, 인과 추론, 계층적 귀속을 포함하는 새로운 XAI 프레임워크인 TCHSHAP를 제안하여 현재 XAI 모델의 해석 가능성과 계산 효율성을 향상시키는 것을 목표로 하고 있습니다. 이에 대해 제안된 프레임워크는 시간 가중 요인 w_t를 고려하여 최근 특징 기여도에 과거 값보다 더 높은 가중치를 부여합니다. 이 가중치 요소는 수확률 예측, 판매 예측과 같은 동적 회귀 문제에서 중요한 특징들의 시간적 중요성과 해석 가능성이 일치하도록 보장하는 것을 목표로 합니다. 더불어, 전통적인 회귀 모델은 인과관계를 보여주지 않아 애매한 귀속을 초래합니다^. 이 문제를 해결하기 위해 제안된 프레임워크는 구조적 인과 모델(SCM)을 도입하여 특징 F_i가 출력에 미치는 인과적 영향을 평가합니다. 또한, 실시간 데이터셋은 특징 간 계층적 관계(공간적 또는 범주적 관계)를 자주 보여주는데, 이는 기존 XAI 프레임워크 ^4,5,6에서 거의 드러나지 않습니다. 반대로, 제안된 XAI 프레임워크는 개별 특징(F_i)을 집계하여 더 높은 수준의 특징(H_j)을 얻어 설명의 세분화를 달성한다.

시간적, 인과적, 계층적 중요성을 포함하는 것 외에도, 제안된 앙상블은 해석 가능성과 설명 가능성을 향상시키는 것을 목표로 합니다. 이러한 목적은 해석 가능성과 정확성 간의 절충관계를 확립하는 노력으로, TCHSHAP에서 얻은 설명이 정확하고 해석 가능하도록 보장하는 것입니다^. 4. 제안된 XAI 프레임워크는 수학적으로 다음과 같이 설명할 수 있으며, 사용 변수의 설명은 표 1에 나와 있습니다. 특징의 전통적인 SHAP 값은 식(1)^5,6으로 계산됩니다.

(1)

이 전통적인 SHAP 공식화는 시간적, 인과적, 계층적 조정을 고려하지 않고 기여도를 합산합니다.

변수	정의
파이	Shap 값이 계산되는 특징
샤프i	특징의 Shap 값
S	총 특징 집합
M	모든 특징의 부분집합
FT	총 기능
P(M)	모델 예측 중 M의 특징만 사용할 때
λ > 0	붕괴율
T	기준 예측 시간
Y	출력

표 1: 사용된 변수들의 설명. 이 표는 사용된 다양한 변수들의 유의성을 설명합니다.

이 전통적인 SHAP 공식화는 동적 의존성을 다루기 위해 시간 가중치를 포함하도록 수정됩니다. 이 시간적 가중치는 가중 계수 wt = ^{e-λ |t - T|} 여기서 λ는 감쇠 인자 (λ > 0)를 나타냅니다. 앞서 논의했듯이, 이 지수 가중치는 과거 값보다 최근 값에 더 큰 비중을 부여합니다. 이 지수적 감소는 최근 특징값이 과거 값보다 더 중요하다는 이해와 함께 포함된다. 시간적 유의를 반영한 수정된 SHAP 값은 식(2)에 나와 있습니다.

(2)

이 시간적 정보는 수익률이나 주식 예측과 같은 동적 회귀 작업에 중요합니다.

더 나아가, 설명을 보다 견고하게 하기 위해 SCM을 적용하여 특징 F_i 가 출력 Y에 미치는 인과적 영향을 평가합니다. 인과 SHAP의 수학적 공식화는 식(3)에 제시된다.

(3)

여기서 do(F_i)는 변화에 기여한 특징을 나타냅니다. 이를 통해 모델은 상관관계보다는 인과관계를 설명할 수 있는 능력을 갖추게 됩니다. SCM 기반 인과 효과 계산은 직접적인 인과적 영향을 주는 특징에만 공로를 인정하여 잘못된 상관관계를 제거한다는 점도 주목할 만합니다.

또한, 제안된 모델에서는 다양한 수준에 걸쳐 속성을 집계하기 위해 계층 구조가 제안됩니다. 계층적 SHAP의 수학적 공식화는 식(4)에 제시된다.

(4)

제안된 모델에 계층 구조를 포함하면 설명의 세분화 달성이 보장된다. 제안된 프레임워크는 그림 1에 나타났다.

그림 1: 제안된 프레임워크의 다양한 요소들의 그림 설명. 이 그림은 제안된 틀 TCHSHAP의 시간적 가중치, 인과 추론, 계층적 귀속 등 다양한 요소를 그림으로 보여줍니다. 이 그림의 더 큰 버전을 보시려면 여기를 클릭해 주세요.

제안된 TCHSHAP 모델의 새로움은 시간 가중치(현재 정보에 더 큰 비중을 부여), 구조적 인과 모델(SCM; 인과 효과 평가), SHAP 값의 계층적 집계(다층적 통찰 획득)를 사용하여 이 세 가지 불일치를 처리하는 데 있습니다. 따라서 제안된 앙상블은 SHAP을 정적 제약을 넘어 확장하여 회귀 최적화 설명 프레임워크를 제공합니다.

제안된 TCHSHAP은 회귀 모델에서 출력의 상세한 설명을 식별하여 모델링과 의사결정을 원활하게 연결함으로써 더 나은 의사결정이 필요한 시나리오에서 실시간 응용에 큰 의미를 가질 잠재력을 가지고 있습니다. 요약하자면, 이 원고의 주요 기여는 시간 가중치, 인과적 추론, 계층적 관계를 결합하여 전통적인 SHAP 모델의 실행 가능한 설명을 강화하는 새로운 프레임워크를 설계한 것입니다.

관련 연구

XAI는 다양한 머신러닝 모델의 투명성과 해석 가능성을 높이기 위해 특별히 설계된 다양한 방법론을 통합하고 있습니다. 이러한 XAI 전략들은 결과에서 필요한 인사이트를 제공함으로써 결과에 대한 신뢰를 구축합니다. 예를 들어, LIME과 SHAP과 같은 주목할 만한 XAI 방법론은 금융, 교육, 의료 부문 등 다양한 분야에서 블랙박스 모델의 해석 가능성과 투명성을 높^입니다. 또한 XAI 기법은 소프트웨어 분석, 클론 탐지, 그리고 적시 결함 예측⁸과 관련된 작업에 적용됩니다. 또한 아왈과 로이도 불일치를 강조하며 설명 신뢰성이 떨어졌음을 보^였다. 여기서 저자들은 평가의 일관성을 줄이기 위해 세분적 수준 평가 지표를 적용했습니다. XAI는 분류 과제 결과에 영향을 미치는 가장 두드러진 요인을 이해하고, 의료 전문가들이 AI 기반^{진단을 사용}하려는 신뢰를 키우는 데 의료 분야에서도 널리 사용되고 있습니다. 또한 벨기에 주거 임대료 예측과 같은 분야에서 XAI 접근법은 복잡한 모델 해석을 용이하게 하여 품질 관리를 강화하고 생산 오류를 최소화합니다¹³. Bommer 등은 XAI 방법과 구배의 통합이 기후 과학에서 견고성, 충실성, 복잡성, 무작위화 측면에서 XAI 기법의 성능을 향상시킨다는 것을 입증했다¹⁴. 많은 연구자들이 앙상블과 하이브리드 기법을 시도해 왔습니다. 앙상블 기법을 제안하는 것 외에도, 연구자들은 이러한 하이브리드 기법이 복잡한 모델에 대한 포괄적인 통찰을 제공하는 데 효과적임을 입증했습니다^15,16. 기법, 최적화, 다양한 응용에 대한 상세한 검토는 표 2에 정리되어 있으며, 가장 널리 적용되는 기법이 LIME과 SHAP임을 명확히 보여줍니다. 향후 연구 방향은 이러한 모델의 해석 가능성을 높이기 위해 이러한 방법들의 최적화를 탐구하는 방향으로 나아가고 있습니다. 연구를 이어가며, 현재 연구의 저자들은 인과 추론, 계층적 귀속, 시간 가중치를 추가하여 SHAP 최적화에 집중하고 있습니다.

인용	XAI 기법	최적화	통찰력	응용 프로그램	향후 연구 방향
(Anushree 외, 2024)	라임	제공되지 않음	금융, 교육 및 의료 분야의 다양한 응용 분야에서 블랙박스 모델의 해석 가능성과 투명성 향상.	· 금융, 교육, 의료 분야에서 정확성과 해석 가능성의 상충	· 다양한 XAI 모델을 평가하기 위한 상세한 지표 목록을 개발해야 합니다
	샾
	교란 메커니즘
	주의 기반 메커니즘
(아왈 & 로이, 2024)	파이 설명기	평가의 일관성을 줄이기 위한 세분화된 수준 평가 지표.	이 설명은 불일치를 강조하고 설명 도출의 신뢰성이 떨어진다는 점을 보여줍니다.	· 소프트웨어 분석 관련 업무	· 소프트웨어 분석 관련 작업에서 XAI 모델의 신뢰성을 높이기 위해서는 첨단 연구 방법이 필요합니다
	라임			· 클론 탐지
				· 적시 결함 예측
(Bommer 외, 2024)	통합 경사	XAI 방법과 그라디언트 통합	XAI 방법과 구배의 통합은 기후 과학에서 견고성, 충실성, 복잡성, 무작위화 측면에서 성능을 향상시킵니다.	· 기후 과학 예측	· 기후 과학의 과제별 평가에 집중하세요.
	계층별 관련성 전파			· 연간 평균 기온 지도 예측
	입력 시간 구배
	그라디언트, SmoothGrad, NoiseGrad, FusionGrad 같은 감도 방법
(바트나가르 & 아그라왈, 2024)	라임	XAI 기법 앙상블	앙상블은 복잡한 모델의 해석 가능성과 설명 가능성을 포괄적으로 제공합니다.	· 도덕 데이터셋에 적용하여 결과의 해석 가능성을 높였습니다	· 여러 기법을 결합하여 하이브리드 XAI 방법을 탐색합니다
	샾				· 사용자의 다양한 요구에 맞춘 특정 모델에 맞춘 다양한 XAI 알고리즘 맞춤화
(디아스, 2024)	라임	XAI 기법의 통합	해석 가능성과 정확성 향상	· 독성 댓글 분류	· 분류 목적의 강도 강화.
	ELI5
(Hajare 외, 2024)	샾	제공되지 않음	SHAP는 급성 관상동맥 증후군 예측의 위험 요인에 대한 상세한 통찰을 제공합니다.	· 급성 관상동맥 증후군(ACS)	· ACS 예측에서 새로운 위험 요인을 발견하기 위해.
(Hamida 외, 2024)	다양한 XAI 기법에 대한 종합 검토	제공되지 않음	XAI 응용에 대한 통찰을 제공합니다. 의료 분야에서 AI 의사결정의 설명 가능성이 AI가 제공하는 결과를 이해하기 위해 중요함을 강조합니다.	· 의료 분야의 실행 가능한 통찰	· XAI 구성 요소의 이해 가능성, 투명성, 해석 가능성, 설명 가능성 향상.
					· 의료 분야를 위한 맞춤형 XAI 기법, 의료 분야의 상세 인사이트를 제공합니다
(Ihongbe 외, 2024)	Grad-CAM(그라디언트 가중 클래스 활성화 매핑)	구배 가중 클래스 활성화 매핑	폐렴과 COVID-19 진단의 정확도가 향상되었습니다.	· 의료 진단의 정확도 향상	실제 적용을 위한 XAI 기법의 사용 가능성에 대한 인식을 높이기 위해
(레너스, & 드 무어, 2023).	6 XAI 기법	CatBoost 모델에 적용된 6가지 XAI 기법 앙상블	여러 기법이 임대료 예측을 위한 XAI의 해석 가능성을 향상시킵니다.	· 벨기에 주거 임대료 예측	XAI는 의사결정에 활용될 수 있습니다
(Makumbura, 2024)	샾	RF, LightGBM, XGBoost 및 SHAP 앙상블	SHAP는 수질 평가와 예측에 영향을 미치는 다양한 요인들을 밝힙니다.	· 수질 평가 및 예측	의사결정에 활용될 수 있습니다
(슐레겔 & 카임, 2023).	섭동 분석을 이용한 XAI 기법	섭동 분석	시계열 데이터의 분류 작업에 효과적으로 활용할 수 있습니다	· 금융, 의료, 기후 과학의 시계열 데이터	해석 가능성을 높이기 위해 여러 XAI 기법을 결합하는 것.
(실바 & 켈러, 2023)	자이(XAI)	제공되지 않음	XAI 모델은 상관관계 특징의 경우 결과를 설명하는 데 한계가 있습니다. 지구 및 대기 과학에 활용될 수 있습니다.	· 대기 과학	XAI는 잘못된 설명을 피하기 위해 상관관계 특징에 최적화되어야 합니다.
	생체분자 반응 속도			· 대기 화학
(Y, S., & 찰라, M. 2023)	샾	제공되지 않음	여기서는 XAI 모델을 해석 가능성과 중요한 특징 이해 측면에서 비교한 결과, SHAP과 LIME이 가장 효과적이라는 결론을 내렸습니다.	· 의료 응용	고급 의료 응용을 위한 해석 가능성을 향상시키기 위해
	라임
	PDP
	할머니

표 2: XAI 기법에 대한 다양한 최적화에 대한 종합 검토. 이 표는 여러 연구자들이 제안한 다양한 최적화 기법에 대한 포괄적인 검토를 제시합니다.

프로토콜

참고: 이 절에서는 제안된 앙상블 방법과 그림 1에 나타난 모든 제안된 수정안을 논의합니다.

데이터 준비

제안된 프레임워크의 효과를 검증하기 위해, 저자들은 Kaggle¹⁷에서 수집한 작물 수확량 데이터셋에 실험을 수행했습니다. 이 데이터셋은 1997년부터 2020년까지 다양한 작물에 대한 인도 농업 데이터로 구성되어 있으며, 2025년 3월에 접근되었습니다. 이 데이터셋은 계절, crop_year, 비료, 농약, 작물, 수확량(목표 변수) 등 다양한 특징을 포함합니다. 고려 중인 데이터셋은 범주 값을 처리하기 위해 원핫 인코딩을 사용하여 효율성을 높이기 위해 사전 처리됩니다. 계절, 작곡, 상태 같은 범주별 특징은 원핫 인코딩됩니다. MinMax 스케일링은 면적, 생산량, annual_rainfall, 비료, 농약 등 수치 특징을 [0,1] 범위까지 확장하는 데도 사용됩니다. 이상치를 다루기 위해 임계값 Q₁ - 1.5 • IQR¹⁷의 4분위 범위 규칙을 사용했습니다. 결과의 재현성을 얻기 위해 모든 전처리 단계에 무작위 시드 42가 적용되었습니다. 또한, 데이터셋은 전처리 후 학습(80%)과 테스트 데이터셋(20%)으로 나뉘었습니다.

실험 장치

이 실험은 A100 GPU 서버(듀얼 AMD Rome 7742, 128코어, 1TB RAM)에서 Python 3.10을 사용해 수행되었습니다. 시뮬레이션용으로 가져오는 라이브러리는 scikit-learn 1.3.0, XGBoost 1.7.6, TensorFlow 2.13, SHAP 0.41.0, LIME 0.2.0.1, ELI5 0.13.0입니다.

머신러닝 모델 평가

여기서 저자들은 LinearRegression(), Ridge(alpha=1,random_state=42), Lasso(alpha=0.1, random_state = 42), Decision TreeRegressor(max_depth = 10, random_state = 42), RandomForestRegressor(max_depth = 15random_state = 42), GradientBoostingRegressor(n_estimators = 200, learning_rate = 0.1, random_state = 42), XGBoost, CNN 등 다양한 회귀 모델을 사용하여 다양한 변수가 목표 변수¹⁸에 미치는 영향을 결정했습니다. XGBoost는 300개의 추정기를 사용하며 학습률은 0.05입니다. CNN 모델에서는 두 개의 숨겨진 계층인 ReLU 활성화와 Adam 옵티마이저가 학습률 0.001로 사용됩니다. 이 모델들의 효율성은 서로 다른 성능 지표를 사용하여 비교됩니다. 이 모델들은 또한 하이퍼파라미터 튜닝을 수행합니다. 예를 들어, 리지 회귀와 라쏘 회귀는 각각 알파가 1.0, 알파가 0.1로 훈련됩니다. Decision Tree와 Random Forest에서는 최대 깊이가 각각 10과 15로 설정되어 있었습니다. 그라디언트 부스팅은 200개의 추정기와 0.1의 학습률을 사용합니다. 이 모델들의 성능은 평균 제곱오차(MSE)와 R² 제곱을 기준으로 5배 교차 검증을 통해 평가되었습니다.

XAI 모델 평가

논의된 대로, 현재 연구는 다양한 XAI 모델을 사용하여 결과를 비교하고 있습니다. 여기서 저자들은 shap을 사용합니다. 트리 기반 모델(랜덤 포레스트, 그라디언트 부스팅, XGBoost)을 위한 TreeExplainer(model, data = crop_yield). 훈련 데이터셋에서 무작위로 선정된 100건의 사례를 배경 데이터셋으로 선택하여 귀속을 안정화하였습니다. 더 나아가, 샤프. KernelExplainer() 는 1000개의 섭동을 통해 SHAP 값에 근접하는 비트리 모델(선형, 능선, 라쏘, CNN)에 사용되었습니다. 표 형식 설명 (lime.lime_tabular). LimeTabularExplainer)는 인스턴스당 5000개의 섭동과 함께 사용되어 동일한 백그라운드 데이터셋에서 LIME을 실행하여 로컬 설명이 안정적으로 유지되도록 했습니다. 커널 폭은 특성에 따라 설정되었고, 모델의 예측 함수를 사용해 설명을 추론했습니다. 국지적 설명은 explainer.explain_instance(x,model.predict)를 호출하여 생성되었습니다. ELI5는 검증 분할에 대해 10회 반복하여 테스트 데이터의 과적합을 방지하는 순열 중요성으로 사용되었으며, eli5.sklearn.PermutationImportance(추정자,random_state = 42)를 사용해 시뮬레이션되었습니다. 실험 중에 반복 간 평균과 분산의 중요성이 드러났습니다. 마지막으로, 적합된 모델은 부분 의존 플롯(PDP)을 얻기 위한 검증 분할에 사용되었으며, 이는 PartialDependencyDisplay.from_estimator (model,X_val,features = [특징])를 사용하여 구현되었습니다.

TCHSHAP 프레임워크의 설정

이후 TCHSHAP는 여러 단계를 순서대로 적용하여 구현되었습니다. 이 과정의 첫 단계는 λ = 0.85의 붕괴율을 가진 지수 감소 함수를 사용하는 시간적 가중치였으며, 이는 λ [0.7.0.95]에 걸친 소작 연구를 기반으로 선택되었습니다. 기준 시기(T_current)는 데이터셋에서 최근 작물 연도로 선택되었습니다. 이로 인해 모델 설명은 최근 강수량, 비료 사용, 농약 등 최근 지표가 의사결정에 더 큰 의미를 가지는 농업 산출 예측의 역학을 고려하게 됩니다. 시간 가중치에 이어 인과적 추론을 채택하기 위한 SCM이 적용되었습니다. 제안된 방법론은 점(dot) 연산자를 사용하여 개입을 시뮬레이션하고 평균 인과효과를 계산합니다. 인과 추론은 파이썬 doWhy 0.13 라이브러리를 사용해 적용되었습니다. 이는 생산과 면적 같은 상관된 투입으로 인한 오해를 줄여 실제 인과관계 연관성을 달성하는 데 도움을 줍니다. 파이프라인의 마지막 단계는 계층적 귀속으로, 특징을 상위 도메인으로 조직하는 방식이었습니다. 현재 데이터셋에는 농업 투입물(비료, 농약), 지리적 요인(주, 면적, Crop_Year), 환경적 요인(Annual_Rainfall, 계절)의 세 계층적 특징이 있습니다. 정규화된 합산을 사용하여 SHAP 데이터를 그룹화함으로써 상세한 수준과 일반적 수준 모두에서 설명을 얻을 수 있습니다.

요약하자면, TCHSHAP 파이프라인은 시간적 조정, 인과적 귀속, 계층적 그룹화라는 세 단계를 하나의 프로세스로 결합합니다. 여기서 기본 SHAP은 먼저 설명을 하고, 이어서 세 가지 개선점을 추가합니다. 이 구조화된 파이프라인은 TCHSHAP의 출력이 일관되고, 재현이 가능하며, 국소적·전역적 설명을 모두 제공합니다. 제안된 프레임워크의 단계별 설명은 아래 의사코드에 나와 있습니다.

입력:
X: 특징_{X 1,X 2,X 3},........,X_n을 가진 데이터셋.
t: 데이터셋 내 시간적 변수
T_전류: 기준 시간
λ: 붕괴율
G: 기능 그룹
시간 가중치 계산
각 인스턴스 i X에 대해 w_t = ^e-λ|t-T|를 평가합니다.
Shap 값 계산하기 Shap_i
샤프_템플랄 = 샤프_i * w_t
인과 추론 계산
각 특징에 대해 x_i x
Shap_인과 계산 = Shap_i * 인과효과(X_j →Y)
계층적 귀속
각 특징에 대해 x_i x
Shap 값 계산하기 Shap_i
각 G_i  G

출력: 계층적으로 집계된 SHAP 값 집합

문제 해결을 용이하게 하는 정량적 체크포인트는 다음과 같습니다: 모든 머신러닝 모델에서 가장 낮은 MSE와 가장 높은 R²를 산출하는 랜덤 포레스트. 획득된 특징 중요도는 농약 > 비료 면적>였으며, 계절과 Crop_Year은 최소한으로 평가되었습니다. 전 세계 기초 SHAP 예측치는 161.137이었습니다. 또한 λ = 0.85를 적용하면 Crop_year와 Season의 기여도가 증가합니다. 그룹 단위 기여는 농업 투입물>지리적 요인> 환경 요인 순서를 따릅니다.

결과

이 섹션에서는 실험 연구 중 사용된 다양한 방법을 적용하여 얻은 결과를 논의하며, 다음과 같은 여러 하위 섹션으로 구성됩니다:

데이터 수집 및 전처리

제안된 프레임워크의 실험적 평가를 수행하기 위해 Kaggle¹⁹에서 작물 수확량에 관한 데이터셋을 수집하였습니다. 수집된 데이터는 라벨 인코딩, 스케일링, 앞서 논의한 이상치 제거 등 사전 처리되었습니다. 원하는 목표 집합에 따라 변수들의 특징 유의성을 평가했습니다. 고려 중인 데이터셋의 특징 중요성 그래프는 그림 2에 나타...

토론

본 연구의 주요 목적은 전통적인 SHAP 모델에 시간적 가중치, 인과 추론, 계층적 유의성을 통합하여 TCHSHAP 모델을 도출하는 것입니다. XAI 기법에 이러한 구성 요소를 포함하는 목적은 결과의 해석 가능성을 높이기 위함입니다. 시간적 가중치를 위해 우리는 최근 값에 더 많은 가중치를 부여하는 지수 감소 기법을 고려했습니다. 인과 유의성에서는 저자들이 예측 변수에 미치는 다양한 특징의 직접적인 영향을 평가하려고 합니다. 또한, 입력 매개변수는 결과를 더 잘 이해하기 위해 다양한 계층적 특징으로 분류됩니다. 제안된 해결책의 효과를 검증하기 위해 저자들은 Kaggle에서 이용 가능한 crop_yield 데이터셋을 검토했습니다. 얻어진 결과는 시간적 가중치, 인과 추론, 계층적 귀속(TCHSHAP에서 제안된 바와 같이)이 전통적 SHAP의 한계를 해결함으로써 해석 가능성을 향상시키는 데 기여함을 명확히 보여줍니다^20,21

재료

이 논문에 사용된 재료 목록

이름	회사	카탈로그 번호	댓글
ELI5	0.13.0	파이파이
라임	0.2.0.1	파이파이
엔비디아 DGX A100 GPU 서버	CPU 듀얼 AMD Rome 7742, 총 128코어	엔비디아
시스템 메모리 1TB
파이썬	3.1	파이썬
샾	0.41.0	파이파이
시킷-학습	1.3.0	파이파이
텐서플로우	2.13	텐서 플로우
XGBoost	1.7.6	파이파이