이 논문은 다중 센서 데이터에서 이상 징후를 탐지하는 LSTM 기반 인코더-디코더 모델인 EncDec-AD 를 제안한다.
AutoEncoder의 encoder와 decoder를 LSTM 레이어로 구성한다면 시퀀스 학습이 가능하게 된다. 이를 통해 정상 신호만을 이용하여 모델을 학습시켜 추후 비정상 신호가 모델에 입력되면 높은 reconstruction error를 나타낼 것이므로 이를 비정상 신호로 판단할 수 있게 된다.
LSTM
인코더와 디코더 모델에서 LSTM을 사용하여 시계열 데이터의 복잡한 특성과 시간에 따른 의존성을 학습한다.
LSTM의 장점은 긴 시간 의존성을 학습할 수 있어, 이상 징후 탐지에서 더 정밀한 결과를 얻을 수 있다.
→ (LSTM이 vanishing gradient 문제를 해결하기 위해 등장했었다)
EncDec-AD 모델
EncDec-AD 모델은 다차원 시계열 데이터를 처리하는 LSTM 기반의 인코더-디코더 구조를 채택한다. 이 모델은 주어진 time sereis X = {x(1), x(2), ..., x(L)} 형태의 L 길이의 시퀀스로 정의하며,
각 x(i)는 m 차원 벡터(m-dimensional vector)로, 시간 ti에서 m개 변수의 값을 나타낸다.
즉 EncDec-AD 모델은 다변량(multivariate) 시계열 데이터를 입력으로 받는다.
•
encoder 마지막 LSTM unit의 hidden layer를 latent space로 이해하면 된다.
•
encoder의 입력 데이터를 역순(reverse order)으로 reconstruction한다.
decoder가 각 시간 단계에서 이전 시간 단계의 값을 예측하도록 함으로써, 시간 시리즈의 시간적 의존성을 더 효과적으로 학습할 수 있도록 돕는다.
논문의 참고 논문인 sequence-to-sequence 논문에서 제안되었다.
•
test 단계에서는 reconstruction error를 통해 해당 시퀀스가 정상인지 비정상인지 threshold을 기준으로 판별하게 된다.
score
•
score는 분류 문제, 특히 이진 분류에서 성능을 평가하는 데 사용되는 메트릭이다.
•
정밀도(Precision)와 재현율(Recall)의 가중 조화 평균을 나타낸다. 정밀도는 모델이 True로 예측한 항목 중 실제 True인 항목의 비율이며, 재현율은 실제 True인 항목 중 모델이 True로 올바르게 예측한 항목의 비율이다.
위 식에서 β는 재현율에 대한 정밀도의 상대적 중요도를 나타내는 파라미터이다. β가 1인 경우, F1 score가 되며, 이는 정밀도와 재현율이 동등하게 중요하다는 것을 의미한다.
β가 1보다 크면 재현율이 정밀도보다 더 중요하고,
β가 1보다 작으면 정밀도가 재현율보다 더 중요하다는 뜻이다.
score는 이상 탐지와 같은 불균형 데이터셋을 다룰 때 유용하다. 이상 탐지에서는 종종 정상적인 사례보다 이상 사례를 올바르게 식별하는 것이 더 중요하다. 따라서, Fβ 점수를 사용함으로써 모델의 성능을 더 잘 이해하고, 특히 민감도나 특이도가 중요한 경우 그 중요도에 따라 가중치를 조정할 수 있다.
저자들은 Validation 데이터(정상+비정상)를 활용하여 score를 계산한다.
(test뿐만 아니라 vallidation용 test 비정상 데이터를 따로 준비해놓는다.)
score를 최대화하는 threshold, the number of LSTM units in the hidden layer 가중치를 조정하였다.
•
L = time seires length
•
c = LSTM units in hidden layer