AI/ML 기술 블로그

DeepFM : A Factorization - Machine based Neural network for CTR Prediction Abstract CTR(Click Through Rate)를 예측하는 모델로 Low와 High - order interactions 모두 학습 가능 Factorization Machine의 장점과 Deep Learning의 장점을 모두 합친 모델이 DeepFM 추가 featrue engineering 없이 raw featrue를 그대로 사용할 수 있음(fe가 없어서 도메인지식이 필요X) 이 부분이 wide&deep 과 deepfm의 중요한 차이점 deepfm의 최종 목표는 CTR을 높이는 것이고 CTR을 높이는 item을 최종적으로 추천하는 것 Introduction 1...

Singular Value Decomposition (SVD) n X p 매트릭스 X를 위와 같은 요소로 나누는 것이 SVD 어떠한 행렬을 U , D ,V 3개의 값으로 decomposition 할 수 있는 것이 SVD U : n X p , D : p X p (정방 행렬), V: p X p(정방 행렬) 기본적으로는 SVD를 하지않으면 계산이 복잡하기에 적용 (SVD 적용에 따라 모델의 속도차이가 큼, ex) pca는 속도가 빠르다) -> 곱 연산을 할 때 많은 연산들을 줄여주는 효과가 있음 위와 같이 SVD를 통해 임의의 matrix 공분산 구조행렬의 eigen vector, eigen value를 얻을 수 있음 X가 centered 되어있다면 , X^T * X 는 X의 공분산 구조 SVD와 eigen ..

Abstract Factorization machine은 SVM과 Factorization Model의 장점을 합친 모델 FM 예시 : Matrix Factorization, Parallel factor analysis, specialized model(SVD ++, PITF or FPMC) SVM : 큰 데이터에서 support vector를 찾아서 support vector를 기준으로 데이터를 classification/regression 일반적으로 머신러닝에서 자주 쓰이는 알고리즘 Real valued Feature Vector를 활용한 General Predictor FM은 classification/regression 등 다양한 문제들을 general하게 풀 수있는 모델 Factorization..

* 협업 필터링 (Collaborative Filtering) 협업 필터링은 어떤 특정한 인물 A가 한가지 이슈에 관해서 인물 B와 같은 의견을 갖는다면 다른 이슈에 대해서도 비슷한 의견을 가질 확률이 높을 것 Memory-based 협업 필터링의 추천 시스템은 유사도를 기반으로 동작 Movie Lense Dataset 1. ratings.dat 2. movies.dat -> 위의 두가지의 데이터셋을 통해 Rating Matrix를 만드는 것이 목표 Object : 특정 시간 이전에 시청했던 영화들을 통해 앞으로 어떤 영화를 볼 지 예측하는 것 user = 7명 (u) 영화 = 5개 (i) 7*5=35개의 총 평가지표(유저 x 아이템) ->1번 유저가 보지않은 2번과 5번 등 아직 빈칸이 있는 곳을 예측..