AUC-ROC 심화 이해

AUC-ROC 곡선이란?

 

1. AUC-ROC 곡선은 다양한 임계 값 설정에서 분류 문제에 대한 성능 측정

2. ROC 곡선은 TPR이 y 축에 있고 FPR이 x 축에있는 FPR에 대한 TPR 값을 Plotting 한 것

 

모델의 성능 측정 방법

*우수한 모델은 AUC가 1에 가까워 분리 성이 우수,불량 모델은 AUC가 0에 가까워서 분리성이 낮음

1. 이상적 상황 -> 두 곡선이 겹치지 않아 이상적 분리 가능성 측정.

2. 두 분포가 겹치는 경우 유형 1 및 유형 2 오류가 발생

-> Cutoff 값을 통해 최소화하거나 최대화 할 수있음

ex)AUC가 0.7이면 모델이 포지티브 클래스와 네거티브 클래스를 구분할 수있는 확률이 70 %

 

3. AUC가 약 0.5 인 경우 모델은 positive 클래스와 negative 클래스를 구분할 수있는 식별 능력이 없음

* 민감도, 특이도의 관계

Sensitivity⬆️, Specificity⬇️  /////  Sensitivity⬇️, Specificity⬆️

1. Cutoff를  줄이면 더 많은 양의 값을 얻으므로 민감도가 증가하고 특이도가 감소

2. Cutoff를 늘리면 더 많은 음수 값을 얻게되므로 특이성이 높아지고 민감도가 낮아집니다.