Interpretable Machine learning

* 특정 데이터셋의 모델링을 진행할 때 우리는 보통 다중 공선성 , 상관관계 등을 보거나

Shap value , Feature importance 등의 지표들을 통해 유의미한 결과 값을 내는데

특히 실무에서는 그 모델이 어떤 이유 때문에 높은 정확도가 나오는지에 대한 질문을 받습니다.

 결국 이런 단순한 모델링 결과 metric 즉 Accuracy 나 R2 값 등을 보는 것보다 정확도가 나오게 된 경위를 알아야 하는 것이 더 중요할 때가 많습니다.

그것이 우리가 보통 말하는 Insight인데 Insight를 볼 수 있는 방법은 아래와 같은 방법들이 있습니다.

 

1. 모델 해석 방법의 분류

 

Intrinsic vs Post-hoc

먼저 모델 자체로 해석이 가능한지의 여부로 해석 방법을 분류할 수 있습니다. 먼저 Linear Regression, Logistic Regression과 같이 비교적 그 구조가 간단한 모델들은 모델링 결과 parameter를 보고 예측 결과를 해석할 수 있습니다. 이렇게 모델 그 자체로 바로 해석할 수 있는 방법을 Intrinsic 방법으로 분류할 수 있습니다. 반면, 모델링 결과를 보고 바로 해석할 수 없는 경우, 모델링 이후에 해석을 위한 새로운 모델링 또는 알고리즘을 적용할 수 있을 것입니다. 이러한 방법을 이름 그대로 Post-hoc으로 분류하게 됩니다.

Model-specific vs Model-agnostic

어떤 특정 모델에만 적용되는 해석 방법은 Model-specific이라고 분류할 수 있습니다. 앞서 언급했던 비교적 단순한 모델들은 해석 방법이 모두 Model-specific에 해당합니다. 그 모델로 학습을 하고, 그에 대한 결과를 그 모델의 parameter 또는 그 모델의 구조로 해석하기 때문에, 해석 방법이 그 모델에 특화되어 있다고 할 수 있습니다. 반면, 다양한 모델에 적용할 수 있고, 모델을 학습한 후에 적용되는 해석 방법은 Model-agnostic으로 분류됩니다. 이 경우, 주로 그 모델만의 내재적, 구조적인 정보를 이용하는 것이 아니라, input 값과 output 값을 분석해서 해석하게 됩니다.

Global vs Local

모델을 어떤 범위에서 해석하는 지에 따라 해석 방법을 분류할 수 있습니다. 각 데이터 포인트, 각 인덱스마다 해석을 진행하는 방법을 Local로 분류합니다. 대부분의 경우, ‘Locally’ 해석하게 되면, 해당 데이터의 feature 간 복잡한 관계보다는 선형적 또는 단조로운 형태를 띄게 될 것입니다. 또한, Locally 해석하면 데이터를 더욱 문맥화하여 해석할 수 있기 때문에 전체적으로 한번에 해석하는 것보다 더욱 정확할 가능성이 높습니다. 한편, 전체 데이터를 아우르는 해석을 Global로 분류합니다. 예를 들면, 대체로 이 데이터에서 어떤 변수가 중요하고, 어떤 종류의 교호작용이 일어나는지에 대한 설명이 이에 해당합니다. 데이터를 전반적으로 이해하는 데 중요한 해석이 되지만, 실제로 확실하게 Global한 해석을 얻기는 더 어려울 수 있습니다.

3. 해석의 성질

이제 좋은 해석이라는 것은 무엇인지 정의하기 위해 해석의 주요 성질에 대해서 알아보겠습니다.

fidelity (정확도)

모델의 예측 결과와 이에 대한 해석이 얼마나 근접한지에 대한 성질을 의미합니다. 물론 Intrinsic 해석 방법의 경우 fidelity는 매우 높을 것입니다. 하지만, Post-hoc 해석 방법의 경우, fidelity가 높은지에 대한 여부는 매우 중요한 정보가 될 것입니다. Fidelity가 너무 낮다면, 그 모델을 설명하는 의미가 없을 것이기 때문입니다.

consistency (일관성)

같은 데이터셋으로 학습하고, 비슷한 예측을 한 두 모델에 대하여, 각각의 해석이 얼마나 다른지에 대한 성질입니다. 두 모델의 예측 결과가 높은데 해석도 비슷하다면, 이 해석 방법은 매우 ‘consistent’하다고 간주할 수 있습니다. 하지만, 두 모델이 서로 예측 결과는 비슷해도, 서로 다른 feature를 중심으로 학습했을 수도 있기 때문에, 이러한 경우에는 항상 높은 Consistency가 요구되는 것은 아닙니다.

stability (안정성)

비슷한 사례 또는 인덱스에 대해, 해석이 얼마나 비슷한지에 대한 성질을 의미합니다. 매우 비슷한 인덱스 간 해석의 차이가 크다면, Stability가 부족한 것이고, 이 경우 해석의 분산이 매우 커지게 될 것입니다. 위에서 언급했던 Consistency 성질은 서로 다른 모델 간 해석이 얼마나 비슷한지에 대한 것이고, Stability의 경우는, 한 모델에 대하여 비슷한 인덱스 간 해석이 얼마나 비슷한지에 대한 것입니다.

comprehensibility (포함성)

해석 방법이 얼마나 인간이 이해할 수 있을 것인지에 대한 것입니다. 즉, 사람들 간 소통이 가능하고, 충분히 이해할 만한 해석은 comprehensibility가 높다고 할 수 있을 것입니다.