데이터 분석가 판교데싸

일반 선형 확률 과정(General Linear Process) 일반 선형 확률 과정이란 시계열 데이터가 가우시안 백색잡음의 현재값과 과거값의 선형조합 - 가우시안 노이즈 : 정규분포를 갖는 잡음, 일반적인 잡음으로 갑자기 튀는 잡음이 아님 - e_t : 잡음의 현재값, e_t-1 : 잡음의 과거 값 , w : 특정한 비율 결국 잡음의 현재값과 과거값에 특정비율을 곱한 것들의 합, 변수는 서로 독립이며 정규분포 기준으로 평균이 0이고분산이 특정한 범위에 있음, weight값의 제곱의 합이 무한대 보다 작다 -> 제곱합을 무한대로 더해서 무한대보다 작으려면1보다 작아야함(1미만을 제곱해서 무한대로 더하면 무한대보다 작기 때문)결국 어떠한 타임포인트 던지 다 쪼개서 작은 값으로 백색잡음에 비율(웨이트)을 곱..

상태공간 모형 (State Space Models) 시계열 생성 구조를 관측식(observation equation)과 상태 전이식(state transition equation) 두 개의 수식으로 정의하는 시계열 모형 관측식 (Obsevation Equation): 현재의 상태 x_t와 잡음(에러) v_t에 의해 실제로 측정 가능한 출력 y_t를 생성하는 관계식 상태 전이식(State Transition Equation) : 이전의 상태 x_t-1와 현재 생성된 잡음(에러) w_t에 의해 현재의 상태 x_t가 생성되는 관계식 동적 시스템 (Dynamic System) :입력 시계열을 받아 출력 시계열을 내놓는 시스템 (예시) ARMA 모형의 경우 백색잡음 𝜖𝑡를 입력받아 𝑦𝑡를 출력하는 동적 시스템 상..

빈도(Frequency): 계절성 패턴(Seasonality)이 나타나기 전까지의 데이터 갯수로 사람이 정해야 함 Frequency 설정 이점 : 데이터의 시간차원중에서 사람이 지웠거나 실수로 빠졌거나 한 것들을 체크해줌 -> 빠진 것들을 NAN 설정 예시: 계설성이 1년에 1회 나타날 경우, Datafrequency Annual 1 Quarterly 4 Monthly 12 Weekly 52 예시: 데이터가 "일(Day)" 단위로 수집된 경우, Seasonalityfrequency Weekly 7 Annual 365 예시: 데이터가 "분(Minute)" 단위로 수집된 경우, Seasonalityfrequency Hourly 60 Daily 24 x 60 Weekly 24 x 60 x 7 Annual 24..

시계열 분석을 할 때는 트렌드를 고려해야하는데 이때 행해지는 것이 데이터의 정상성 판단 -> 정상성을 유지하기 위해서는 차분이 필요 : 차분의 필요를 알기 위해서는 디키 풀러테스트로 실험할 수 있다 * 정리 시계열 분석 :(ARIMA) 1. Trend (급상승) 같은 것들이 있는지 파악 2. 파악을 위해서는 dickey fuller test를 실시 -> pvalue를 보고 0.05 이하인지 시계열 안정성 파악 3. 데이터가 정상성을 갖도록 전처리를 함(1차 차분) 4. 단순 증감은 한번의 차분 좀 더 복잡하면 그 이상 차분 시행 5. 그래프를 그려서 PACF ,ACF Peak 의 갯수로 AR차수와 MA차수 결정 -> ex) ARIMA(p,차분횟수,q) 6. 기간별로 train test 나눠서 ARIMA ..