시계열 이상탐지 (2) - LSTM-DT, LSTM-AE, AER

 

 

LSTM-DT

Detecting Spacecraft Anomalies Using LSTMs and Nonparametric Dynamic Thresholding

LSTM-DT(Long Short-Term Memory with Dynamic Thresholding): LSTM 모델을 학습하여 값들을 예측하고, 실제값과 예측값의 차이를 가지고 이상치를 판단하는 모델. 이상치를 판단하는 임계값(threshold)은 동적으로 정해지는 것이 특징.
- Prediction-Based
- 입력 데이터의 평균과 분산을 계산하여 임계값을 조절함
- $e_s$: smoothed errors로 EWMA(지수가중이동평균)으로 계산

 

- 임계값 ε, z는 2~10 사이의 정수

- 임계값을 넘어가면 이상치

초록색: 실제 이상치, 붉은색: 모델이 탐색한 이상치

 

 

 

LSTM-AE

Unsupervised Online Anomaly Detection on Multivariate Sensing Time Series Data for Smart Manufacturing

LSTM-AE(Long Short-Term Memory - AutoEncoder): 일반적인 오토인코더의 Dense 층을 LSTM 층으로 바꾼 모델로 복원 전(실제)과 후의 차이를 비교하여 이상치를 판단.
- Reconstruction-Based
- 복원 전과 후의 차이가 임계값을 넘을 경우 이상치로 판단
- 임계값은 ground truth가 있는 경우 f1 score나 ROC로 설정하며 없는 경우에는 전후 차이의 평균과 분산을 이용하여 설정

초록색: 실제 이상치, 붉은색: 모델이 탐색한 이상치

 

 

AER

AER: Auto-Encoder with Regression for Time Series Anomaly Detection

 

AER(AutoEncoder with Regression): LSTM-AE와 LSTM-DT를 섞어 이상치를 판단하는 모델로 Prediction-Based와 Reconstruction-Based 각각의 장점은 가져오고 단점은 최소화함

 

 

Predict-Based의 장단점

- PL1: EWMA로 인한 초기의 높은 이상치 점수(오탐지)
- PL2: 문맥적 이상치(contextual anomaly)를 탐색하지 못함

 

- PL3: 예측을 위한 window size만큼에 대해 이상치 탐지가 누락됨
- PS1: 점 이상치(Point anomaly)는 잘 탐지함

 

 

Reconstuction-Based의 장단점

- RS1: 문맥적 이상치에 대한 탐지를 잘 함

- RL1: Point-wise로 평가한 이상치 점수로는 점 이상치를 잘 탐지하지 못함
- RS2: DTW로 평가한 이상치 점수는 점 이상치도 잘 탐지함

 

AER 파이프라인

모델링: LSMT-AE로 데이터를 재구축한 뒤 PL3를 방지하기 위해 biLSTM(양방향 LSTM)으로 앞뒤 데이터를 예측

 

Smoothing Function: PL1(EWMA에 의한) 오탐지를 방지하기 위한 마스킹 작업

 

이상치 점수: Prediction-Based를 이용하여 순방향, 역방향 모두를 고려한 이상치 점수와 Contrunction-Based로 DTW를 이용하여 계산한 이상치 점수를 합하거나(Convex; SUM) 곱하여(Product; MULT) 최종 이상치 점수 계산. 곱했을 때 성능이 가장 좋았음(논문 내 결과)

초록색: 실제 이상치, 붉은색: 모델이 탐색한 이상치