해당 도메인에 대한 참고 논문
LSTM 설명
AutoEncoder 설명
LSTM-Autoencoder(LSTM-AE)
이전 정보의 영향이 다음 정보에 영향을 주는 시계열 데이터의 처리에 효과적인 LSTM에 Autoencoder을 추가한 모델
•
LSTM + Autoencoder 모델
•
고차원의 시계열 데이터에서 효과적인 이상치 탐지 가능
해당 도메인이 시계열 데이터인 점을 감안해서 제조 설비의 특성 상;누적된 데미지로 인한 노후화로 인해 고장이 발생한다는 것을 고려하여 해당 모델을 사용
성능 : Public 0.7147570364 / 0.7115367161
LSTM-Autoencoder 시각화(일단 Keep)
LSTM-Autoencoder의 한계
1.
여전히 long-term dependencies 문제를 효과적인 처리 X
→ attention을 활용한 transformer 모델로 한계 보완
2.
Dataset 구성
•
train data는 정상 데이터로 구성된 unlabeled data
•
train data instance가 매우 적다.(약 7400개)
•
test data는 정상 데이터 및 이상 데이터로 구성된 unlabeled data
→ train data는 이상 데이터가 없는 정상 데이터로만 구성되어 있으니 해당 데이터에 overfitting한 모델링 방향 설정
3.
overfitting 및 pre-trained 모델을 만들기 위해선 1) dataset 크기에 비해 parameter가 큰 모델 구축 2) longer training time 3) pre-trained & fine-tuning에 좋은 성능을 보여준 (transformer) 모델 사용
→ TransAD or Anomaly Transformer 모델 사용
Anomaly Transformer과 기존 이상치 탐지 모델들과의 성능 비교 표