검증지표 개념 이해하기

- 검증지표

 

문제해결 검증지표와 알고리즘 검증지표 단계로 나눠서 생각해봐야함

-

1.문제 해결 검증지표

-> 문제를 잘 풀었는지 평가하기 위한 기준

- 입력 : ~무한대 ~ 무한대 범위의 연속형 값

- 출력 : 이론적으론 0 ~ 무한대 범위의 연속형 값

 

Regression : MSE ,MSPE,RMSLE,MAE,MPE,R^2,adjusted R^2

classification : logloss, crossentropy, roc ,auc ,gini

ranking : gain ,lift,mrr,dcg,ndcg

NLP Metrics :perplexity,BLEU score

현실문제 : 어떤 메트릭을 써야할지 지표를 만들어야하는 경우가 더 많음

 

2. 알고리즘 검증지표 

-> 어떤 알고리즘이 더 성능이 좋은지 평가하는 기준

사실 알고리즘 검증지표는 없어도 되지만 문제해결 검증지표는 필수

 

MAE : 실제값과 추정값을 뺸 후 절대값을 취하고 이에대한 평균값

MSE :  절대값 대신 제곱을 취한 것

MAPE : 퍼센테이지 반영 된것

 

 

중요 : outlier에 robust한 메트릭을 사용하는 케이스에 대해  유의 하고 사용