데이터 분석가 판교데싸

1. 텍스트를 숫자로 바꾸는 작업 단어에 번호를 매기고 번호에 해당하는 요소만 1 ,나머지는 0 N개의 단어가 있다면 각 단어는 한 개의 요소만 1인 N차원의 벡터로 표현 ( 벡터 포현에 어떤 단어 끼리 유사하고, 반대인지 단어와 단어 관계가 전혀 드러나지 않음) 이 부분을 좀 더 똑똑하게 바꾸려고 예를 들면 왕↔ 여왕을 남↔녀 관게라는 것을 벡터로 알아낼 수 있기 위해 만든 것이 임베딩 모델 (word embedding) 2. Word2Vec 현대적인 자연어 처리 기법들은 대부분 이 임베딩 모델에 기반을 두고 있다. 그렇다면 어떻게 벡터에 단어의 의미를 담을 수 있을까? 우리는 어떤 대상이든 대상의 속성들을 표현하고, 그것을 바탕으로 모델 생성 예를들어 버섯을 조사해 놓은 데이터가 있다면 이것은 버섯이..

간단한 layer 구성 예시 class Net(nn.Module): def __init__(self): super(Net, self).__init__() self.conv1 = nn.Conv2d(1, 20, 5, 1) self.conv2 = nn.Conv2d(20, 50, 5, 1) self.fc1 = nn.Linear(4*4*50, 500) self.fc2 = nn.Linear(500, 10) def forward(self, x): x = F.relu(self.conv1(x)) x = F.max_pool2d(x, 2, 2) x = F.relu(self.conv2(x)) x = F.max_pool2d(x, 2, 2) x = x.view(-1, 4*4*50) x = F.relu(self.fc1(x)) x ..

1 . 상품 상세 페이지 연관 상품 추천 모델 구성안 (1) recall stage → (2) sort rank stage → (3) filter stage → (4) Re-rank stage (온라인 모델 ) 단계(1) recall stage(2) sort rank stage (3) filter stage (4)Re-rank stage 정의 고객별로 추천 풀 선정 recall stage 내 상품 랭킹 산정 필터 적용하여 최종 추천 상품 산출 실시간 랭킹 재산정 참고 Recall Stage Tmall 프레임워크 Filter Stage - 적용 가능한 방법론 graph embedding ,리타겟팅 , crowd based filtering a-ruels ,DeepFM , DCN Rule based 로직 (..

XGBoost: A Scalable Tree Boosting System 1. Introduction Gradient Boosting에 extreme한 요소들을 얹으면 XGBoost가 된다 Scalability를 얻기 위해 두가지 Innovation이 있음 이것은 알고리즘적 그리고 시스템적으로 나눠지는데 알고리즘적으로는 tree boosting , split finding algorithm -> 알고리즘적으로는 regularized gradient boosting 으로 크게 변화한 부분이 없지만 시스템 적으로는 많이 변화함 -> 이 논문에서는 알고리즘 적으로 많이 살펴볼 예정 2. TREE BOOSTING IN A NUTSHELL y햇은 파이에 x를 인풋으로 넣었을 때 나오는 값인데 여기서 파이는(세타)..

7.2-디자인패턴 29-설명 가능한 예측 정의 : 모델이 특정 예측을 수행하는 방법과 이유에 대한 이해를 제공하여 ML 시스템에 대한 신뢰를 높이는 기법 -> ex) ML 시스템 : decision tree와 같은 모델- 설계상 해석가능 , but 딥러닝 아키텍처는 본질적으로 설명이 어려움 7.1.1 문제 머신러닝 모델을 평가할 때 보통 정확도 , 정밀도 , 재현율 ,평균 제곱오차와 같은 측정 항목은 한 부분만을 제공 이는 모델의 예측이 실제값에 비해 얼마나 정확한지에 대한 데이터를 제공하지만 모델이 이러한 예측에 도달한 인사이트는 제공해주지 않음 ex) - 망막 이미지에 당뇨망막병증(DR)의 중증도 예측하는 모델 예를 들어 해당 모델이 소프트맥스 출력을 반환하여 개별이미지가 DR의 심각도를 나타내는 5..

6.1 디자인 패턴 21 : 트랜스폼 입력,특징 변환을 신중하게 분리하여 ML 모델을 프로덕션으로 훨씬 쉽게 이동할 수 있게 하는 기법 6.1.1 문제 머신러닝 모델에 대한 입력은 머신러닝 모델이 계산에 사용하는 특징이 아니며 트랜스폼 디자인 패턴은 이 문제를 해결하고자 함 예를들어 텍스트 분류모델에서 입력은 원시 텍스트 문서이고 특징은 이 텍스트의 숫자 임베딩 표현 머신러닝 모델을 학습시킬때는 원시 입력에서 추출한 특징으로 학습 CREATE OR REPLACE MODEL `emart-dt-dev-ds.sample2.bicycle_model` OPTIONS(input_label_cols=['duration'], model_type='linear_reg') AS SELECT duration , start_..

05.2-디자인패턴 17-배치서빙 배치서빙 분산 데이터 처리에 일반적으로 사용되는 소프트웨어 인프라를 사용하여 한번에 많은 인스턴스에 대한 추론을 수행하는 것 5.2.1 문제 보통 ML 서비스 프레임워크에 모델을 배포하면 단일 요청에 포함된 하나의 인스턴스 또는 수천개의 인스턴스를 처리하도록 설정되어 있고 서빙 프레임워크는 5.1절에서 논의 된 것처럼 개별 요청을 가능한 한 빨리 동기적으로 처리하도록 설계되어 있음 서빙 인프라는 일반적으로 많은 연산을 TPU 또는 GPU 같은 고성능 하드웨어에서 처리하고 여러 데이터와 관련된 비효율성을 최소화하는 마이크로서비스로 설계됨 그러나 대량의 데이터에 대해 비동기적으로 예측을 수행해야하는 상황도 있는데 예를들어 SKU의 재주문 여부를 결정하느 것은 이를 구매할 때..

4.6 디자인 패턴 15 하이퍼 파라미터 튜닝 최적의 모델 하이퍼파라미터셋을 찾기 위해 학습 루프 자체를 최적화하는 방식 -> 트리의 최대 깊이를 5로 정하거나 활성함수를 RELU로 정하고 SVM에서의 커넬셋을 선택 등의 예시가 있습니다 4.6.1 문제 머신러닝 모델의 학습은 최적화 된 수치를 찾는 과정으로 이러한 최적화의 대상을 소위 모델 파라미터라 칭함 (하이퍼파라미터와는 조금 다른 개념) 모델 파라미터는 주로 학습데이터, 모델 아키텍처 및 기타 여러요인의 함수이므로 직접 제어할 수 없음 즉 모델 파라미터는 수동적으로 설정할 수 없고 임의의 값으로 초기화 된 후 반복적인 학습을 통해 모델에 의해 최적화 되는 것들을 의미 반면 하이퍼파라미터는 모델의 개발자가 제어할수 있는 학습률 에폭수 모델의 계층수 ..

3.5 디자인 패턴 9 : 중립클래스 중립 클래스 머신러닝 예측 대상을 이진 분류기('예' , '아니오' )로 학습하는 대신 '아마도' 라는 총 3가지의 클래스 분류기를 학습 시키기도 하는데 (보통 학습패턴은 하나의 클래스에만 속할 수 있으므로) 이 경우 '아마도'를 중립 클래스라고 이야기함 3.5.1 문제 진통제 사용에 대한 지침을 제공하는 모델을 만든다고 할 때 과거 데이터를 보면 보통 이부프로펜과 아세트 아미노펜이라는 두가지 약품이 중에 아세트 아미노펜 -> 위장문제가 있는 환자에게 처방 이부프로펜 -> 간 손상 위험이 있는 환자에게 우선적으로 처방 그외 -> 무작위 ( 위 둘중 하나) 이런 경우 모델은 '그외'의 케이스를 둘 중 하나의 클래스로 정확히 분류해야하는 이진분류기로 처리하면 정확도가 떨..

*Learning -> 환경의 모델을 모르지만 상호작용을 통해서 문제를 푸는 것 * value function이 작은 문제들의 해 1. optimal policy를 구하기위해서 policy를 랜덤하게 설정하고 이것이 수렴할 떄까지 반복할때 value function을 최대화 하는 것이 최적의 policy다 라는 의미 어느정도 수렴 (무한대) 가 되면 value function을 알 수 있음 value iteration은 앞의 두가지 과정을 한꺼번에 하는 것