다변량 시계열 데이터에서의 이상 탐지 시스템의 challenge
→ 각 시계열에서 시간적 의존성(temporal dependency)을 탐지해야 함
→ 서로 다른 시계열 쌍 사이의 상호 관련성(inter-correlations)을 인코딩해야 함.
본 논문은 이를 해결할 수 있는 Multi-Scale Convolutional Recurrent Encoder-Decoder(MSCRED) 모델을 제안
•
이상 탐지 문제를 세 가지 작업(task)로 정의
1.
이상 탐지(anomaly detection)
2.
근본 원인 식별(root cause identification)
3.
이상 심각도 해석(anomaly severity interpretation)
각 문제를 독립적으로 조사하는 이전 연구들과는 달리, MSCRED는 이상 탐지를 위한 다변량 시계열 간의 상관관계를 고려하고 세 가지 작업을 동시에 해결
•
raw data와 비슷하게 reconstruction하는 기존 Autoencoder 모델들과는 다르게, MSCRED는 raw data가 아닌 signature matrices(M)를 재구성해야 한다는 것이 특징이다.
A_1은 노란색 시계열, A_2는 검은색 시계열에서 anomalies를 나타낸다.
입력 데이터 X = n차원 벡터가 T 시간만큼 측정된 시계열 데이터
Multi-Scale Convolutional Recurrent Encoder-Decoder (MSCRED)
Multi-Scale Convolutional Recurrent Encoder-Decoder (MSCRED)는 다변량 시계열 데이터에서 이상을 감지하기 위해 고안된 딥러닝 모델이다.
1.
Signature Matrix
입력 time sequence에서 inter-sensor correlations를 나타내는 Signature Matrix 를 생성한다.
2.
Convolutional Encoder
CNN layer로 Signature Matrix를 4차례 encoding 단계를 거쳐 4개의 feature map을 생성한다.
3.
Attention based ConvLSTM
encoding된 feature map에서 시간 패턴(temporal patterns)를 추출한다.
4.
Convolutional Decoder
CNN layer로 decoding 단계를 거쳐 signature matrix을 재구성한다.
5.
Residual Signature Matrices
초기 signature matrix과 재구성된 signature matrix를 비교하여 loss를 구한다.
1. Signature Matrices
input: h timestep의 n차원 multivariate 시계열 데이터
•
전체 T 길이의 time period를 h개로 분할
•
h개 Signature Matrices를 생성
output: (h, n, n, s) 크기의 signature matrices
•
n: multivariate는 n개의 univariate이다. (n개의 센서로부터 측정된 데이터)
◦
n개의 univariate 변수간의 상호관계를 보기 위해 (n x n) 공분산 행렬을 만든다.
•
s: time window는 3개 사용(10,30,60) → 각각 short, medium, long term 관찰을 담당
2. Convolutional Encoder
output: 4개의 feature map
4개의 convolutional layer로 인코딩 되는 과정에서 4개의 feature map 도출
•
activation function f는 SELU를 사용
3. Attention based ConvLSTM
LSTM는 각 cell에 입력되는 input은 1차원 vector이지만, ConvLSTM는 3D tensor이다.
기존 ConvLSTM은 video sequence에서 temporal information을 추출하기 위해 제안되었다. → but input sequence 길이가 길어질수록 성능이 저하된다.
이를 보완하기 위해 Attention을 도입
Attention based ConvLSTM은 각 time step에서 관련성 깊은 hidden state를 adaptively select할 수 있어 과거의 중요한 패턴을 반영할 수 있다.
h개의 feature maps를 ConvLSTM을 통과시켜 h개의 hidden states를 추출함
마지막 hidden state에앞선 h개의 hidden state과의 유사도를 통해 attention 가중치를 곱해 최종 feature map을 도출한다.
4. Convolutional Decoder
4개의 deconvolutional layer로 디코딩
output: (T, n, n, s) 크기의 signature matrices
reconstruction error 계산을 위해 입력 Signature Matrices와 동일한 shape으로 복원한다.
이전 단계의 Deconvolutional layer의 output과 다음 단계의 ConvLSTM의 output을 concatenate하는 방식으로 진행한다. → 마지막엔 signature matrices 크기로 복원된다.
5. Residual Signature Matrices
Residual signature matrices로 도출한 loss로 모델은 업데이트되며 추론단계에서는 anomaly score로 이상 탐지를 수행한다.
Residual signature matrices로 anomaly detection과 diagnosis를 할 수 있다.