SKADA | 통신 Core 장비에 대한 이상 징후 감지 (3)

시계열 데이터 변환

시계열 데이터

시간에 따라 전개되는 특성과 변동주기에 따라 변화하는 데이터
시간의 흐름에 따라 불규칙적으로 변동되는 자료들을 분석하기 위해서 필수적
‘과거’가 ‘미래’에 어떤 영향을 주는 지 분석을 통해 예측 가능
최근 새롭게 등장한 기계학습과 딥러닝을 사용하여 복잡한 데이터를 예측
시계열 구성요소
- 추세 : 장기간 데이터의 일반적인 경향
  - 시간의 흐름에 따른 시계열자료들의 상승경향이나 하강경향의 상태를 의미
- 계절성 : 1 년 미만의 기간에 걸쳐 나타나는 변동 EX) 보통 분기별, 월별 자료에서 나타남
- 순환 : 1 년 이상 지속되는 시계열의 변동 Ex) 기후조건, 사회적 관습 등과 같은 계절변동으로 설명되지 않는 장기적인 주기변동
- 불규칙 변동 : 사전적으로 예상할 수 없는 특수한 사건에 의해 야기 되는 변동 Ex) 지진, 전쟁, 홍수, 파업
앞서 설명한 시계열의 구성 성분들이 복합적으로 존재 가능
시계열 분해법을 통하여 체계적 성분과 불규칙적인 성분으로 분리
시계열 모형 : 성분들의 결합방식에 따라 다음과 같은 두가지 형태의 모형을 가정
1. 가법 모형(addictive model) : 구성요소 간 독립적임을 가정하여 각 구성요소를 더하는 모형 : 주로 계절성분의 진폭이 시계열의 수준과 관계없이 일정한 수준일 때 사용
2. 승법 모형(multiplicative model) : 구성요소들이 독립적이지 않고 상호작용 한다고 가정하여 구성요소 간 곱해주는 모형 : 시계열의 수준에 따라 진폭이 달라질 때 사용
전통적 통계모델을 사용한 시계열 분석 절차는 다음과 같음

시계열 데이터 변환

정상 과정 : 어떤 시계열자료의 변화 패턴이 평균값을 중심으로 일정한 변동폭을 갖는 시계열
비정상과정 : 정상성을 갖지 않는 대부분의 시계열
통계적 시계열 분석을 하기 위해서는 정상성이 필수적
1. 시계열의 평균과 분산이 일정해야 시계열 값을 예측할 수 있음
2. 정상성을 띠지 않으면, AR, MA, ARIMA 등 전통적인 시계열 분석 방법들을 사용하기 어려움
정상성 확인 : 평균과 분산이 동일한 분포이므로 확률 과정이 정상성을 띤다 볼 수 있음
정상성을 만족하지 못한 시계열 데이터는 비정상과정을 정상과정으로 변환 해주어야 함
- 변동폭이 일정하지 않은 경우 → 로그 변환
- 추세, 계절성이 존재하는 경우 → 차분 (단, 1차 차분으로 정상성을 띄지 않으면, 차분을 반복)
- a)는 비정상성을 가진 시계열이며, 시간에 따라 변동폭이 일정하지 않다.
- 로그변환시 b)와 같이 변동폭이 일정 해지고, 차분을 하면 c)와 같이 평균이 일정한 시계열로 변환된다.
- 최종적으로, 로그변환과 차분을 동시에 적용하면 d)와 같이 변환 된다.
정상성 검증 : 실제로 변환된 시계열이 정상성을 만족하는지 검증하는 과정이 필요
1. 자기 상관 함수 (ACF; Auto Correlation Function)을 이용
  - 시차에 따른 일련의 자기상관을 의미하며 시차가 커질수록 ACF 값은 0에 가까워 짐
  - 만약 정상시계열이라면 ACF는 0에 수렴하며 비정상 시계열이라면 천천히 감소하거나 큰 양의 값을 가짐
  - $ACF(k) = \sum_{t=1}^{N-k} (y_t - \bar y)(y_{t+k}-\bar y)\over \sum_{t=1}^{N}(y_t-\bar y)^2$ $\frac{A C F ( k ) = \sum _{t = 1}^{N - k} ( y _{t} - y ˉ ) ( y _{t + k} - y ˉ )}{\sum _{t = 1}^{N} ( y _{t} - y ˉ ) ^{2}}$
    - ACF는 일반 상관계수를 구하는 식과 동일하며, $y_t$ 와 $y_{t+k}$ 사이의 자기상관을 구한다
2. 가설 검정으로 정상성 파악 : p-value 가 0.05 보다 작으면 정상성을 만족
  - KPSSK test / ADF test
- ADF (Augmented Dickey-Fuller) 검정을 이용한 정상성 판단 예
  - 귀무가설(H0) : 자료의 단위근이 존재하여 정상성을 만족하지 않는다.
  - 대립가설(H1) : 자료가 정상성을 만족한다.