SKADA | 통신 Core 장비에 대한 이상 징후 감지 (1)

프로젝트 소개

프로젝트 목표

• 장애 및 고장을 사전에 예측할 수 있다면, 사전에 조치를 취할 수 있음
• 딥러닝 모델을 이용하여 시계열 데이터의 이상 징후 탐지

• 실습을 통해 시계열 데이터 다루기
• Jupyter notebook & Pytorch를 활용하여 실습

사용하는 통신 데이터 소개

• MME 장비의 성능 상태를 파악할 수 있는 통계 데이터
  • Variable은 시도호와 성공률 두 변수로 구성
  • src_nm : 총 9 개의 장비로 측정
  • 데이터의 결측 치가 존재
  • missingno 패키지를 활용하면 직관적으로 결측 치 확인 가능
• MME 통계 데이터는 시계열 데이터
• 시계열 데이터는 시간에 걸쳐 순차적으로 기록되고 배열된 데이터의 한 종류
• 대표적인 시계열 데이터 : 주식수익률 데이터, 재무데이터, 시간순으로 정렬된 정당 지지율

판다스 라이브러리 소개

• Python에서 데이터 분석을 위한 라이브러리
• 사용이 쉬운 데이터 구조와 여러 도구를 갖추고 있으며, 다른 라이브러리와의 연동으로 유용성을 크게 높인 분석 툴
• 판다스에서 할 수 있는 일
  • 다양한 형태의 데이터 입출력 가능(csv, Excel, RDB, Json)
  • 데이터 처리에 효율적인 포맷으로 저장
  • 결측 값 처리 용이
  • 데이터의 유연한 변경 (일부 분리, 결합, 피봇)
  • 통계처리 및 회귀처리
  • 데이터 요약 및 그룹연산
• 정형 데이터(e.g. 테이블 형식의 데이터)를 쉽게 처리할 수 있음
• 판다스Pandas는 SQL과 동일하게 관계형 데이터베이스를 처리하는데 사용

시계열 분석을 통한 이상 징후 감지 프로젝트

• 이상 징후 감지(Anomaly Detection)
  • 통신 데이터는 이상 발생 빈도가 매우 낮아 충분한 수의 데이터 확보가 어려움
  • 이상 발생 후 사후 대처를 하는 것보다 사전 예측하여 발생 자체를 막는 것이 중요
• 이상치
  • 주어진 데이터 정상 모집단 내의 관측치와 거리가 먼 관측 점
  • 손실 (실측치와 예측치) 값이 임계치를 초과 시 “이상” 이라고 간주

• 시계열 분석 기반 모델 사용하여 이상 징후 탐지
  • 전통적 통계모델 / 기계학습 / 딥러닝