AI/ML 기술 블로그

Matrix Factorization R을 X와 Y로 나누고 분해한 X와 Y를 곱해서 실제 빈 공간에 어떤 평점이겠구나 하는 예측을 하는 f 를 찾는 과정 User - item matrix는 sparse 할 수 밖에 없음 , 채워져있는 관측 데이터를 사용해서 비어있는 것들을 채워 넣는 것이 주 개념 임의의 차원 수 f는 직접 정한다 R(원래 rating matrix) 와 R`(예측 matrix) 가 서로 유사하도록 학습하는 과정 관측된 데이터만 사용 True rating - predicted rating 으로 근사값을 추론하는 문제라고도 설명 가능 predicted rating을 이용한 matrix completion 문제 (stochastic) Gradient Descent, Alternating Le..

Latent Factor Model 사용자/아이템 특성을 벡터로 간략화(요약) 하는 모델링 사용자/아이템 특성 간 복잡한 관계를 학습 하고 factor로 나타내는 방법 사용자와 아이템이 같은 vector 공간에 표현되고, 같은 벡터 공간에 사용자와 아이템이 가까우면 유사, 멀리 떨어져 있으면 유사 하지않은 것으로 판단 Singular Value Decomposition (SVD) 쉽게 말해서 우리가 가진 행렬을 분해 -> 유저 / 아이템의 rating matrix를 분해하겠다는 뜻 분해를 함으로서 얻을 수 있는 vector 값이 있는데 이것을 -> latent vector로 이해 행렬 U는 user와 latent factor간의 관계 , 행렬 V는 item과 latent factor간의 관계 Latent..

Association Rule - 데이터 속에서 상호 연관 관계를 찾을 수 있다. - 기존 데이터를 기반으로 Association rule (연관규칙) 을 만드는 것 1.정의 minimum support 와 minimum confidence 값을 넘는 Rule을 찾는 과정 데이터에서 흥미로운 관계를 찾는 Rule-based 기법 특정 measure를 통해 interestingness를 평가하여 strong rules를 찾는 과정 2. association rule의 support(지지도) 데이터 관계 설정을 위해 아이템이 동시에 발생할 확률 전체 데이터 중 규칙(A,B)를 포함하는 데이터 비율 (A,B 동시 구매) 0과 1사이의 값이고 1에 가까울수록 A와 B의 관계가 중요하고 0에 가까우면 중요하지 않..

1 . 상품 상세 페이지 연관 상품 추천 모델 구성안 (1) recall stage → (2) sort rank stage → (3) filter stage → (4) Re-rank stage (온라인 모델 ) 단계(1) recall stage(2) sort rank stage (3) filter stage (4)Re-rank stage 정의 고객별로 추천 풀 선정 recall stage 내 상품 랭킹 산정 필터 적용하여 최종 추천 상품 산출 실시간 랭킹 재산정 참고 Recall Stage Tmall 프레임워크 Filter Stage - 적용 가능한 방법론 graph embedding ,리타겟팅 , crowd based filtering a-ruels ,DeepFM , DCN Rule based 로직 (..

* 협업 필터링 (Collaborative Filtering) 협업 필터링은 어떤 특정한 인물 A가 한가지 이슈에 관해서 인물 B와 같은 의견을 갖는다면 다른 이슈에 대해서도 비슷한 의견을 가질 확률이 높을 것 Memory-based 협업 필터링의 추천 시스템은 유사도를 기반으로 동작 Movie Lense Dataset 1. ratings.dat 2. movies.dat -> 위의 두가지의 데이터셋을 통해 Rating Matrix를 만드는 것이 목표 Object : 특정 시간 이전에 시청했던 영화들을 통해 앞으로 어떤 영화를 볼 지 예측하는 것 user = 7명 (u) 영화 = 5개 (i) 7*5=35개의 총 평가지표(유저 x 아이템) ->1번 유저가 보지않은 2번과 5번 등 아직 빈칸이 있는 곳을 예측..