AI/ML 기술 블로그

AUC-ROC 곡선이란? 1. AUC-ROC 곡선은 다양한 임계 값 설정에서 분류 문제에 대한 성능 측정 2. ROC 곡선은 TPR이 y 축에 있고 FPR이 x 축에있는 FPR에 대한 TPR 값을 Plotting 한 것 모델의 성능 측정 방법 *우수한 모델은 AUC가 1에 가까워 분리 성이 우수,불량 모델은 AUC가 0에 가까워서 분리성이 낮음 1. 이상적 상황 -> 두 곡선이 겹치지 않아 이상적 분리 가능성 측정. 2. 두 분포가 겹치는 경우 유형 1 및 유형 2 오류가 발생 -> Cutoff 값을 통해 최소화하거나 최대화 할 수있음 ex)AUC가 0.7이면 모델이 포지티브 클래스와 네거티브 클래스를 구분할 수있는 확률이 70 % 3. AUC가 약 0.5 인 경우 모델은 positive 클래스와 neg..

분류를 수행하는 머신러닝 알고리즘으로 모델링을 하면 분류기의 예측력을 검증/평가 해야한다. Accuracy Recall Precision F1 Score 1. Accuracy (정확도) accuracy는 다음과 같이 정의할 수 있다. 전체 예측 건수에서 정답을 맞힌 건수의 비율이다. (여기서 정답을 맞힐 때 답이 Positive든 Negative든 상관 없다. 맞히기만 하면 된다.) Accuracy의 단점 예를 들어 내일 서울에 시간당 1m 이상의 눈이 내릴지 여부를 예측한다고 해보자. 그땐 뭐 머신러닝이고 뭐고 할 거 없이 나 혼자서도 매우 정확한 분류기를 만들 수 있다. 그냥 무조건 Negative를 예측하면 이 분류기는 99.9% 정도의 accuracy를 나타낼 거다. 그 정도 눈 내리는 날은 거의..