티스토리

AI/ML 기술 블로그
검색하기

블로그 홈

AI/ML 기술 블로그

pangyo-datascientist.tistory.com/m

Data Science 관련 지식들에 대해 정리하는 공간입니다.

구독자
1
방명록 방문하기
공지 자주 오셔서 피드백 주세요 ~ 모두보기
반응형

주요 글 목록

  • XGBoost: A Scalable Tree Boosting System XGBoost: A Scalable Tree Boosting System 1. Introduction Gradient Boosting에 extreme한 요소들을 얹으면 XGBoost가 된다 Scalability를 얻기 위해 두가지 Innovation이 있음 이것은 알고리즘적 그리고 시스템적으로 나눠지는데 알고리즘적으로는 tree boosting , split finding algorithm -> 알고리즘적으로는 regularized gradient boosting 으로 크게 변화한 부분이 없지만 시스템 적으로는 많이 변화함 -> 이 논문에서는 알고리즘 적으로 많이 살펴볼 예정 2. TREE BOOSTING IN A NUTSHELL y햇은 파이에 x를 인풋으로 넣었을 때 나오는 값인데 여기서 파이는(세타).. 공감수 2 댓글수 0 2022. 8. 16.
  • 검증지표 개념 이해하기 - 검증지표 문제해결 검증지표와 알고리즘 검증지표 단계로 나눠서 생각해봐야함 - 1.문제 해결 검증지표 -> 문제를 잘 풀었는지 평가하기 위한 기준 - 입력 : ~무한대 ~ 무한대 범위의 연속형 값 - 출력 : 이론적으론 0 ~ 무한대 범위의 연속형 값 Regression : MSE ,MSPE,RMSLE,MAE,MPE,R^2,adjusted R^2 classification : logloss, crossentropy, roc ,auc ,gini ranking : gain ,lift,mrr,dcg,ndcg NLP Metrics :perplexity,BLEU score 현실문제 : 어떤 메트릭을 써야할지 지표를 만들어야하는 경우가 더 많음 2. 알고리즘 검증지표 -> 어떤 알고리즘이 더 성능이 좋은지 평가하.. 공감수 1 댓글수 0 2022. 3. 29.
  • 지니 계수 (Gini Coefficient) 지니 계수 * 어떤값의 분배 상태를 표현하기 위해 로렌츠 곡선을 이용하여 값의 분배 정도를 수치화 하는 방법 -> 보통 경제적 불평등을 계수화 한 것이라 표현 -> 머신러닝에서는 Decision Tree model의 성능 평가를 하는데 사용 Gini index =A/(A+B) 코드 구현의 예시 def gini(list_of_values): sorted_list = sorted(list_of_values) height, area = 0, 0 for value in sorted_list: height += value area += height - value / 2. fair_area = height * len(list_of_values) / 2. return (fair_area - area) / fair_a.. 공감수 0 댓글수 0 2021. 6. 4.
  • Cost sensitve model (cutoff 설정) 위음성 비용: 긍정 클래스를 부정 클래스로 오 분류할 때 발생하는 비용 위양성 비용: 부정 클래스를 긍정 클래스로 오 분류할 때 발생하는 비용 위 두 개의 비용을 다르게 설정하는 모델이 비용 민감 모델로 보통 위음성 비용보다 위양성 비용을 크게 설정 W가 커지면 커질수록 정확도가 떨어짐 부정 클래스가 다수이므로 부정 클래스로 분류했을 때 성능이 나쁘지 않음 W가 커진다는것은 긍정 클래스에 신경 쓰는 것이니까 정확도는 떨어지게 됨 로지스틱 회귀, 나이브베이즈 등의 확률 모델들은 Cut-Off value, C를 조정하는 방식으로 비용 민감 모델 구현 가능 정확한 확률 추정은 불가능 하지만 KNN,NN,Decision tree, ensemble 에도 적용 가능 C= cutoff value로 조정 가능한 대상 .. 공감수 3 댓글수 0 2021. 4. 1.
  • 빈발 패턴 탐색 * 연관 규칙이란 -> 'A가 발생하면 B도 발생하더라' 라는 형태의 규칙으로, 트랜잭션 데이터를 탐색하는 곳에 사용 A : 부모 아이템 집합 B : 자식 아이템 집합 A와 B는 모두 공집합이 아닌 집합이고 둘의 교집합은 공집합을 만족함 * 연관 규칙 탐색이란? -> 거래 데이터에서 의미있는 연관규칙을 효율적으로 탐색하는 작업 * 실제로 wall mart에서 연관규칙으로 매출 향상 ex) * 연관 규칙의 평가 척도 * 지지도에 대한 Apori 원리 * AB가 빈발하지 않다면 ABC , ABD , ABCD 도 빈발하지 않으므로 탐색 할 필요가 없음 * 지지도에 대한 Apriori 원리 : 후보 규칙 생성 * 신뢰도에 대한 Apriori 원리 * 신뢰도에 대한 Apriori 원리 적용 * 구현 가능 모듈 =.. 공감수 0 댓글수 0 2021. 1. 1.
  • 계층적 군집화 기본 개념 * 개별 샘플을 군집으로 간주하여. 거리가 가장 가까운 두 군집을 순차적으로 묶는 방식으로 큰 군집을 생성 군집 간 거리 측정 법 1. 최단 연결 법 (가장 가까운 샘플간의 거리를 군집간의 거리로 보는 법) 2. 최장 연결 법 (가장 먼 샘플간의 거리를 군집간의 거리로 보는 법) 3. 평균 연결 법 (전체 거리에 대한 평균 거리를 군집간의 거리로 보는 법) 4. 중심 연결 법 (각 군집에 대해 중심을 구하고 중심간의 거리 계산) 5. 와드 연결법 (c1,c2를 하나의 군집으로 보았을 때의 중심과 각 중심과의 거리를 구하는 방식) -군집끼리 합쳐졌을 때 어떤 효과가 있는지 까지 측정 가능하여 sckit learn 계층 군집화의 default로 많이 쓰임 6. 덴드로그램 -> 샘플 수 가 많으면 .. 공감수 1 댓글수 0 2020. 12. 28.
  • 군집화 (Clustering ) * 군집화 : 하나 이상의 특징을 바탕으로 유사한 샘플을 하나의 그룹으로 묶는 작업 - 군집화의 목적 * 군집화의 필수 개념 - 거리와 유사도는 완벽하게 반대 개념 * 유사도 척도 1. 유클리디안 거리 2. 맨하탄 거리 (리커트 척도란 설문조사 같은 데이터를 말함,ex)매우만족,만족,불 만족 ) 3. 코사인 유사도 4. 매칭유사도 (이진형 데이터만 사용) 5. 자카드 유사도(희소한 이진형 데이터에 자주 사용) 공감수 0 댓글수 0 2020. 12. 28.
  • Permutation Feature Importance * Permutation Feature Importnace 1. 특정 모델에 특화된 방법이 아닌 , 어느 모델이든(model-agnostic) 학습 후 적용(post-hoc) 하는 방법. 2. Black-box 모델에 대하여, 특정 feature를 안 썼을 때, 이것이 성능 손실에 얼마만큼의 영향을 주는지를 통해 그 feature의 중요도를 파악하는 방법 * 주요 특징 1. 재학습 시킬 필요가 없음 (특정 feature의 값들을 무작위로 섞어서(permutation) 그 feature를 노이즈로 만드는 것) 1-1. 무작위로 섞게 되면, 목표 변수와 어떠한 연결고리를 끊게 되는 것이므로, 그 feature를 안 쓴다고 할 수 있음 1-2. 이렇게 섞었을 때 예측값이 실제 값보다 얼마나 차이가 더 생겼는지.. 공감수 2 댓글수 0 2020. 12. 15.
  • Featrue Importance(변수 중요도) - 트리 기반 모델 * Decision Tree 1. 의사결정나무(Decision Tree)는 그 시각적인 구조 덕분에 depth가 크지 않는 한 해석이 용이한, 간단한(simple) 모델에 해당합니다. 다른 간단 모델인 Linear Regression, Logistic Regression은 feature와 target이 선형적 관계일 때 통하는 방법인 반면, 의사결정나무는 비선형적인 관계에서도 통하는 방법, 앙상블이 의사결정나무 기반 2. 목적이 분류(Classification)일 때에는 불순도 지표로 Gini 계수 및 엔트로피를 이용하고, 목적이 회귀(Regression)일 때에는 MSE(Mean Square Error) 등을 이용해서 분산을 감소시키는 방향으로 노드를 째게 됩니다. 이 과정에서, 불순도를 가장 크게 감.. 공감수 1 댓글수 0 2020. 12. 15.
  • Interpretable Machine learning * 특정 데이터셋의 모델링을 진행할 때 우리는 보통 다중 공선성 , 상관관계 등을 보거나 Shap value , Feature importance 등의 지표들을 통해 유의미한 결과 값을 내는데 특히 실무에서는 그 모델이 어떤 이유 때문에 높은 정확도가 나오는지에 대한 질문을 받습니다. 결국 이런 단순한 모델링 결과 metric 즉 Accuracy 나 R2 값 등을 보는 것보다 정확도가 나오게 된 경위를 알아야 하는 것이 더 중요할 때가 많습니다. 그것이 우리가 보통 말하는 Insight인데 Insight를 볼 수 있는 방법은 아래와 같은 방법들이 있습니다. 1. 모델 해석 방법의 분류 Intrinsic vs Post-hoc 먼저 모델 자체로 해석이 가능한지의 여부로 해석 방법을 분류할 수 있습니다. 먼저.. 공감수 1 댓글수 0 2020. 12. 14.
  • AUC-ROC 심화 이해 AUC-ROC 곡선이란? 1. AUC-ROC 곡선은 다양한 임계 값 설정에서 분류 문제에 대한 성능 측정 2. ROC 곡선은 TPR이 y 축에 있고 FPR이 x 축에있는 FPR에 대한 TPR 값을 Plotting 한 것 모델의 성능 측정 방법 *우수한 모델은 AUC가 1에 가까워 분리 성이 우수,불량 모델은 AUC가 0에 가까워서 분리성이 낮음 1. 이상적 상황 -> 두 곡선이 겹치지 않아 이상적 분리 가능성 측정. 2. 두 분포가 겹치는 경우 유형 1 및 유형 2 오류가 발생 -> Cutoff 값을 통해 최소화하거나 최대화 할 수있음 ex)AUC가 0.7이면 모델이 포지티브 클래스와 네거티브 클래스를 구분할 수있는 확률이 70 % 3. AUC가 약 0.5 인 경우 모델은 positive 클래스와 neg.. 공감수 0 댓글수 0 2020. 8. 30.
  • 모델의 정확도 지표(Accuracy,Recall,Precision,F1 Score) 분류를 수행하는 머신러닝 알고리즘으로 모델링을 하면 분류기의 예측력을 검증/평가 해야한다. Accuracy Recall Precision F1 Score 1. Accuracy (정확도) accuracy는 다음과 같이 정의할 수 있다. 전체 예측 건수에서 정답을 맞힌 건수의 비율이다. (여기서 정답을 맞힐 때 답이 Positive든 Negative든 상관 없다. 맞히기만 하면 된다.) Accuracy의 단점 예를 들어 내일 서울에 시간당 1m 이상의 눈이 내릴지 여부를 예측한다고 해보자. 그땐 뭐 머신러닝이고 뭐고 할 거 없이 나 혼자서도 매우 정확한 분류기를 만들 수 있다. 그냥 무조건 Negative를 예측하면 이 분류기는 99.9% 정도의 accuracy를 나타낼 거다. 그 정도 눈 내리는 날은 거의.. 공감수 0 댓글수 0 2020. 8. 30.
  • Shap value - 중요 변수 추출 방법 * 앙상블의 "인자" 추출에 대한 약점 보안 1. 복잡한 모델은 해석이 쉽지 않음 ex) Bagging, RF, GB, NN 모델 해석과 prediction 해석이 어려움 * 문제점 -> 중요하다 정도만 알 수있지 양의방향인지 음의방향인지 얼마나 영향을 끼치는지 알 수 없음 * feature attribution -> 플레이어의 기여도(중요변수) shap value ->실제 예측치와 평균예측치의 차이를 설명하는것 양수이면 긍정적 효과, 음수이면 부정적 효과 * 선형관계가 있을뿐 인과관계가 있는 것은아님 shap value는 다양한 변수의 조합의 영향력도 판단하기 쉽고 하나의 컬럼도 해석이 쉬워 다양하게 사용할 수 있음 feature importance 는 항상 중요하고 앙상블러닝은 특히 복잡한모델이라 i.. 공감수 2 댓글수 0 2020. 6. 30.
  • Hierachical , DBscan Clustering 좀 더 크게 볼 수 있고 세세하게 볼 수 있는 것이 장점 1.Process 2. 3. * 데이터와 데이터 간의 거리구하고 군집과 데이터 간의 유사도 구하고 업데이트하고 반복 2.DBSCAN Clustering * 군집의 수를 설정할 필요없이 데이터의 밀도 기반으로 군집을 알아서 형성하고 군집에 속하지 않으면 Outlier 취급 해버린다. 한 데이터를 중심으로 엡실론(E, 최소거리) 거리 이내의 데이터들을 한 군집으로 구성하고 군집은 민 포인트보다 많거나 같은 수로 데이터가 구성됨. 만약 민 포인트보다 적은 수의 데이터가 군집을 형성하면 노이즈나 이상치로 취급함 공감수 0 댓글수 0 2020. 6. 28.
  • K-means , medoids Clustering (unsupervised learning) 1. K-means Clustering -> 유사한 데이터 끼리 뭉치게 해서 그룹의 특성을 규명하는 것이 주목적이지 classification의 목적은 강하지 않음 -> k를 설정 초기 좌표는 Random 해당 데이터가 다른데이터로 할당 되지않을 때까지 계속 진행 -> 직관적인 장점 *거리 측정 기준 * 가장 좋은예시는 사전의 군집갯수(K)를 알고 시작하는것 ex) 기사 -정치,연예,스포츠 하지만 보통의 경우에는 사전 군집갯수를 알 수 없음 inertia -> 군집내 분산이 적어지는 시점이 최적의 K k-means clustering 단점 -> 데이터의 차원이 커질 수록 잘 맞지않음 . 2차원 3차원 까지는 알 수 있지만 4차원 부터는 거리에 대한 개념이 무감각해짐(컴퓨터도) 물론 구할 수는 있지만 실제.. 공감수 0 댓글수 0 2020. 6. 28.
  • KNN - K-nearest neighborhood 종속 변수 1. 범주형변수 -> knn 중 가장많이 나타나는 범주로 Y를 추정 -> Tie 문제를 막기 위해 k는 홀수로 정하는 것이 좋다. 2. 연속형 변수 -> K-nearest neighbors 의 대표 값(평균)으로 y를 추정 -> inverse distance weighted average 고려 가능. 거리가 가까우면 크고 멀머는 작게끔 역수형태로 weight 를 줌 ex) 너무 큰 K -> 미세한 경계부분 분류가 아쉬 움 너무 작은 K -> 나눠진 것이 복잡해서 과적합우려 -> 이상치의 영향을 크게 받을 것 -> 패턴이 직관적이지 않음 K의 결정 1.training error ->k=1에서 가장 낮음 -> 과적합의 가능성 2.Test error ->데이터에 따라 최적의 k가 존재 3.k의 결정.. 공감수 0 댓글수 0 2020. 6. 27.
  • 나이브 베이즈 분류기 - Naive Bayesian classifier 날씨와 습도가 고정 되어있을 때, 테니스를 많이 칠 확률이 높으려면? 날씨와 습도 고정 시 가질 수 있는 패턴은 두가지 조건부 확률 : 수학적 개념이해 - 베이즈 정리 Prior 를 어떻게 주느냐에 따라서 어떤 것을 잘맞출지 확률이 달라짐 공감수 1 댓글수 0 2020. 6. 25.
  • SVM - Support Vector Machine * 데이터의 분포가정이 힘들 때, 아래의 데이터를 잘 나누려면 쓰는 것 -> Boundary에 집중하여 margin을 최대화 하는 Boundary를 찾는 것 기본 개념-> 선을 기준으로 점에 닿지 않으면서 기울기도 바꿔보고 평행이동도 해보면서 margin을 최대한 늘리는 것 Q1. 빨간 점과 초록점이 정확히 구분되지 않는 경우가 존재한다면? A1. 적당한 error를 허용하고 ,이를 최소화하는 Boundary 결정 -> SVM은 기본적으로 범주형 변수일 때 쓰임 연속형은 SVR 개념에서 가능 기본적 IDEA-> 삐져나가는 점들에 대해 에러를 줘서 이러한 에러를 최소화하자는 방향으로 진행 회귀분석의 경우 선을 하나 긋고 그것에서의 에러를 다계산해서 모든에러를 반영해서 fitting을 하는거지만 SVM은 초.. 공감수 0 댓글수 0 2020. 6. 23.
  • Classification Tree , Regression Tree 1. Classification Tree 1. 다음과 같이 영역을 사각형 꼴(Block)로 나누는 것 2. 영역안의 샘플들의 특성들을 통해 y를 추정 Gini index -> 2. Regression Tree 공감수 0 댓글수 0 2020. 6. 23.
  • 의사결정나무 - Decision Tree 정의 : 장점 -> 해석력이 높음, 직관적, 범용성(X,Y가 연속형이든 분류형이든 다 활용 가능) 단점 -> 높은 변동성(sample 이 조금만 바뀌어도 트리구조 바뀜). 샘플에 민감함 class: 분류 value : 평균값 Cross Entropy : -plog2p-(1-p)log2(1-p) -> 직관정 정의는 0또는 1일 확률이 최소고 0.5일 확률이 최대가 되게 하는 함수 Information Gain = Entropy before - Entropy after -> information gain 값으로 각각의 변수들 평가 -> 각각의 노드에 대해 다음 식 처럼 가중치를 주어 계산 information gain 값을 outlook humidity wind에 대해 각각 구하고 IG 가 가장 높은 변수를.. 공감수 0 댓글수 0 2020. 6. 23.
  • 앙상블- Stacking , ensemble 의 ensemble Stacking Meta Learner라고 부르며, 다양한 모델을 결합하여 사용하는 기법 1.stacking은 비효율적(학습시간이 오래걸림)이지만 성능면에서 좋음 2. 각 fold별로 여러개 모델을 만들고 하나의 fold(학습,검증) 에 대해 예측을하고 예측 값으로 새로운 컬럼을 추가함 -> 이것을 5fold 반복 3. 기존의 학습 데이터에 + 각 모델별 prediction값을 추가해서 학습,검증데이터를 만듬 4. 이 새로운 학습데이터에대해 다시한번 학습시키고 새로운 검증데이터에서 예측을함 5. 기존 feature 사용하지 않고 각 모델별 prediction 값만을 사용하기도 하는데 이경우는 일반적으로regression모델사용 Ensemble의 Ensemble -> 새로 만들어낸 개념 1. ensembl.. 공감수 0 댓글수 0 2020. 6. 18.
  • 앙상블 - Bagging Ensemble -> 조화라는 사전적인 의미 Ensemble learning 1.여러개의 기본모델(예측모형)을 생성한 후 이 모델의 예측 결과를 종합하여 하나의 최종 예측 결과를 도출해 내는 법 2. 다중 분류자 조합 기법 * 기본모델 -> weak learner , classifier, base learner , single learner 1. 배깅(bagging) -> Bootstrap aggregating Bootstrap( 원본데이터에서 중복을 허용하여 무작위로 N개의 데이터 추출한다는 의미) (1) 기계 학습 알고리즘의 안정성과 정확도를 향상시키기 위해 고안 샘플을 여러번 뽑아(bootstrap) 각 모델을 학습시켜 결과를 집계(aggregating) (추출 되지 않은 나머지 것들의 error .. 공감수 0 댓글수 0 2020. 6. 18.
  • 딥러닝 기초 1.데이터 (2. 모델 적용 3.예측 4.에러 최소화 5.최적화)*반복 6.결과 1.Data • 학습 시키기 위한 데이터 . 이 데이터가 모델에 들어감 • 데이터가 생성되고 , 데이터에 Transform 변형을 준다거나 모델에 들어가기 전에 데이터 전처리가 들어감 • 이 때 들어갈 때는 Batch 로 만들어서 Model 에 넣어줌 2.Model • LeNet , AlexNet , VGG 나 ResNet 등 다양하게 설계된 모델 • Convolution Layer, Pooling 등 다양한 Layer 층들로 구성 • 이 모델 안에 학습 파라미터가 있고 , 이 모델이 학습하는 대상 3.Prediction / Logit • 각 Class 별로 예측한 값 . • 여기서 가장 높은 값이 모델이 예상하는 class.. 공감수 2 댓글수 0 2020. 4. 15.
    반응형
    문의안내
    • 티스토리
    • 로그인
    • 고객센터

    티스토리는 카카오에서 사랑을 담아 만듭니다.

    © Kakao Corp.