데이터 분석가 판교데싸

로컬 레벨 모형(Local Level Model) 랜덤워크 모형에 관측잡음이 추가된 것으로 랜덤워크 과정을 따르는 단변수 상태변수 𝜇𝑡를 가짐 로컬레벨 모형 = >ARIMA 모형 로컬레벨 모형은 ARIMA(0,1,1)의 다른 표현 ARIMA 모형과의 차이점: ARIMA(0,1,1)이 아닌 로컬 레벨 모형을 사용하는 이유는 다음과 같이 이유와 가정 때문 요약하자면 y = 랜덤워크 + 잡음 이라 이것이 항상 랜덤워크 모형을 따르지는 않는데, 잡음이 추가 됐으므로 확실하지 않다는 이야기 우리가 관심을 가지는 값은 어떤 이유에 의해 반드시 랜덤 워크 모형을 따라야 한다. 그런데 시계열 자료 𝑌𝑡는 랜덤 워크 모형을 따르지 않는다. (ARIMA(0,1,1) 모형을 따름) 그러므로 시계열 자료 𝑌𝑡는 우리가 원하는..

일반 선형 확률 과정(General Linear Process) 일반 선형 확률 과정이란 시계열 데이터가 가우시안 백색잡음의 현재값과 과거값의 선형조합 - 가우시안 노이즈 : 정규분포를 갖는 잡음, 일반적인 잡음으로 갑자기 튀는 잡음이 아님 - e_t : 잡음의 현재값, e_t-1 : 잡음의 과거 값 , w : 특정한 비율 결국 잡음의 현재값과 과거값에 특정비율을 곱한 것들의 합, 변수는 서로 독립이며 정규분포 기준으로 평균이 0이고분산이 특정한 범위에 있음, weight값의 제곱의 합이 무한대 보다 작다 -> 제곱합을 무한대로 더해서 무한대보다 작으려면1보다 작아야함(1미만을 제곱해서 무한대로 더하면 무한대보다 작기 때문)결국 어떠한 타임포인트 던지 다 쪼개서 작은 값으로 백색잡음에 비율(웨이트)을 곱..

상태공간 모형 (State Space Models) 시계열 생성 구조를 관측식(observation equation)과 상태 전이식(state transition equation) 두 개의 수식으로 정의하는 시계열 모형 관측식 (Obsevation Equation): 현재의 상태 x_t와 잡음(에러) v_t에 의해 실제로 측정 가능한 출력 y_t를 생성하는 관계식 상태 전이식(State Transition Equation) : 이전의 상태 x_t-1와 현재 생성된 잡음(에러) w_t에 의해 현재의 상태 x_t가 생성되는 관계식 동적 시스템 (Dynamic System) :입력 시계열을 받아 출력 시계열을 내놓는 시스템 (예시) ARMA 모형의 경우 백색잡음 𝜖𝑡를 입력받아 𝑦𝑡를 출력하는 동적 시스템 상..

빈도(Frequency): 계절성 패턴(Seasonality)이 나타나기 전까지의 데이터 갯수로 사람이 정해야 함 Frequency 설정 이점 : 데이터의 시간차원중에서 사람이 지웠거나 실수로 빠졌거나 한 것들을 체크해줌 -> 빠진 것들을 NAN 설정 예시: 계설성이 1년에 1회 나타날 경우, Datafrequency Annual 1 Quarterly 4 Monthly 12 Weekly 52 예시: 데이터가 "일(Day)" 단위로 수집된 경우, Seasonalityfrequency Weekly 7 Annual 365 예시: 데이터가 "분(Minute)" 단위로 수집된 경우, Seasonalityfrequency Hourly 60 Daily 24 x 60 Weekly 24 x 60 x 7 Annual 24..

시계열 분석을 할 때는 트렌드를 고려해야하는데 이때 행해지는 것이 데이터의 정상성 판단 -> 정상성을 유지하기 위해서는 차분이 필요 : 차분의 필요를 알기 위해서는 디키 풀러테스트로 실험할 수 있다 * 정리 시계열 분석 :(ARIMA) 1. Trend (급상승) 같은 것들이 있는지 파악 2. 파악을 위해서는 dickey fuller test를 실시 -> pvalue를 보고 0.05 이하인지 시계열 안정성 파악 3. 데이터가 정상성을 갖도록 전처리를 함(1차 차분) 4. 단순 증감은 한번의 차분 좀 더 복잡하면 그 이상 차분 시행 5. 그래프를 그려서 PACF ,ACF Peak 의 갯수로 AR차수와 MA차수 결정 -> ex) ARIMA(p,차분횟수,q) 6. 기간별로 train test 나눠서 ARIMA ..