home
About me
home
Portfolio
Deep Learning
Computer Science
Visit GitHub
home
About me
Blog
GitHub

김영준 논문연구

관심 키워드: continual learning, On-deivce, anomaly detection, time series data
논문 리뷰
진행도
논문명
키워드
저널
연도
인용 수
Done
A Comprehensive Survey of Continual Learning: Theory, Method and Application
Open
Continual Learning
Survey
arXiv preprint arXiv:2302.00487
2023
119
Done
Co2L: Contrastive Continual Learning
Open
Continual Learning
Contrastive Learning
ICCV
2021
223
Done
A survey on few-shot class-incremental learning
Open
few-shot
Continual Learning
Survey
Neural Networks
2024
12
Done
LSTM-based encoder-decoder for multi-sensor anomaly detection
Open
Auto-Encoder
time series
Anomaly Detection
2016
1190
Done
USAD: unsupervised anomaly detection on multivariate time series
Open
Anomaly Detection
time series
Auto-Encoder
ACM SIGKDD international conference on knowledge discovery & data mining
2020
514
Done
A Deep Neural Network for unsupervised anomaly detection and diagnosis in multivariate time series data
Open
time series
Anomaly Detection
AAAI conference on artificial intelligence
2019
713
Done
TFAD: A Decomposition Time Series Anomaly Detection Architecture with Time-Frequency Analysis
Open
time series
Anomaly Detection
CIKM
2022
31
Done
Prototype Augmentation and Self-Supervision for Incremental Learning
Open
Continual Learning
CVPR
2021
214
Done
Applications of Unsupervised Deep Transfer Learning to Intelligent Fault Diagnosis: A Survey and Comparative Study
Open
Unsupervised Learning
transfer learning
Survey
IEEE Transactions on Instrumentation and Measurement
2021
300
Wait
Deep Learning for Anomaly Detection: A Review
Open
Anomaly Detection
Survey
CSUR
2021
1635
Wait
Memorizing Normality to Detect Anomaly: Memory-Augmented Deep Autoencoder for Unsupervised Anomaly Detection
Open
Anomaly Detection
Auto-Encoder
IEEE/CVF
2019
1198
Wait
Generalizing from a Few Examples: A Survey on Few-shot Learning
Open
few-shot
Survey
CSUR
2020
2567
Wait
Online Continual Learning Under Extreme Memory Constraints
Open
Continual Learning
Computer Vision–ECCV
2020
62
Wait
Supervised Contrastive Replay: Revisiting the Nearest Class Mean Classifier in Online Class-Incremental Continual Learning
Open
Continual Learning
Contrastive Learning
CVPR
2021
127
Wait
Autoencoder-based network anomaly detection
Open
Auto-Encoder
IEEE Wireless telecommunications symposium (WTS)
2018
342
Wait
Deep Autoencoding Gaussian Mixture Model for unsupervised anomaly detection
Open
Auto-Encoder
Anomaly Detection
time series
ICLR
2018
1667
Wait
Towards Total Recall in Industrial Anomaly Detection
Open
Anomaly Detection
Unsupervised Learning
IEEE/CVF
2022
715
기록

연구 주제 구체화

•
응용 시스템
•
도메인 설정
•
연속학습 적용 이유

Preliminaries

•
Continual Learning
•
FSCIL (Few-Shot Class-Incremental Learning) + Prototype
•
Time Series Data
논문주제 제안서
<목차>

<키워드>

•
anomaly detection
•
time series data
•
few-shot learning
•
class-incremental learning

<연구 목적>

이 연구의 목적은 베어링 기계 결함 고장 진단을 위한 딥러닝 모델 개발에 있다. 현대 산업 시설에서 베어링 결함은 기계 고장의 주요 원인 중 하나로 꼽히며, 이러한 결함을 효과적으로 진단하는 것은 기계의 신뢰성과 수명을 향상시키는 데 필수적이다. 기존의 베어링 결함 진단 방법은 주로 IR (Inner Race), OR (Outer Race), B (Balls) 등의 결함 유형에 대한 레이블 데이터를 기반으로 한다. 그러나 베어링 결함은 단순히 베어링의 내부 구조적 요인 뿐만 아니라 다양한 외부적 요인에 의해서도 발생할 수 있다. 기존의 결함 레이블만을 학습한 딥러닝 모델을 사용할 경우, 베어링 결함이 아닌 다른 원인으로 인한 고장을 베어링 결함 유형으로 잘못 분류하여 잘못된 진단을 내릴 위험이 있다. 본 연구의 목표로 하는 모델은 기존에 정의된 클래스로 분류하는 것을 넘어서, 새로 발견되는 유형의 결함 패턴을 인지하고, 이를 독립된 새로운 클래스로 식별할 수 있는 능력을 포함해야 한다. 이를 통해 베어링 기계의 결함 진단의 정확도와 신뢰성을 높이는 것이 목표이다.

<Preliminary>

1. Class-Incremental Learning

Three types of incremental learning(Gido et al., 2022) 논문에서는 incremental learning(continual learning)의 3가지 시나리오를 정의한다.
1.
Task-Incremental Learning: 이 시나리오에서는 모델이 서로 다른 작업을 차례대로 학습한다. 각 작업은 독립적이며 모델은 각각의 작업에 최적화된 지식을 저장해야 한다. 학습된 작업을 수행할 때, 모델은 어떤 작업을 처리해야 하는지 사전에 알고 있으며, 이 정보를 바탕으로 관련 지식을 활용해 작업을 수행한다.
김영준 논문 방향성 탐색
"Low-frequency components"라는 용어는 데이터나 신호에서 낮은 주파수를 가진 부분을 의미합니다. 특히 이미지, 오디오, 신호 처리 분야에서 사용되는 이 용어는 데이터의 기본적인 형태나 구조를 나타내는 성분을 가리키는 경우가 많습니다. 데이터의 "저주파 성분"은 변화가 느리고, 일반적인 패턴이나 경향성을 포함하며, 전체적인 정보의 기본적인 틀을 제공합니다.
The representation of subspaces increases the efficiency of algorithms by mapping the original data to a low-dimensional space while preserving its useful features. Based on subspace representation, FSCIL projects new-class data into the subspace composed of base or oldclass features, thereby enabling the model to better adapt to new classes.
•
Feature space (특징 공간): 데이터의 특징이나 속성을 수치적으로 표현하는 고차원 공간이다. 딥러닝 모델에서 입력 데이터는 이 특징 공간 내의 점으로 표현되며, 모델은 이 공간 내에서 패턴을 학습한다. 특징 공간은 데이터의 모든 가능한 특징을 포괄할 수 있는 넓은 의미를 가지며, 모델의 입력, 중간 레이어, 출력 등 다양한 단계에서의 데이터 표현을 포함할 수 있다.
•
Subspace (부공간): 특징 공간 내의 한 부분을 나타내며, 보통 더 낮은 차원을 가진다. 부공간은 특징 공간의 모든 차원을 포함하지 않고, 특정 목적이나 조건에 맞는 차원만을 포함하는 경우가 많다. 예를 들어, 특정 클래스의 데이터를 대표하는 차원만을 포함하는 부공간을 정의할 수 있다.
구문 메모장

Template-based classification methods

템플릿 기반 분류 방법은 각 클래스에 대한 '템플릿'을 학습하고, 분류할 샘플에 가장 적합한 템플릿을 기반으로 분류를 수행하는 방식이다. 예를 들어, 프로토타입, 에너지 값 또는 생성 모델 등이 각 클래스의 템플릿으로 사용될 수 있다. 이 방법은 분류할 샘플이 어떤 템플릿과 가장 잘 맞는지를 판단하여 해당 샘플의 클래스를 결정한다
Template-based classification methods이 class-incremental learning 문제를 task-incremental learning 문제로 재구성한다. 각 클래스를 독립적인 '작업'으로 처리할 수 있기 때문에 특정 시나리오에서 유리하다. 이 방법은 각 클래스를 별도의 학습 과제로 보고, 각 과제에 대해 특정 Template을 생성하여 분류를 수행한다. 이러한 접근 방식은 클래스가 시간에 따라 순차적으로 도입되는 상황, 즉 class-incremental learning에서 유용할 수 있다.

Generative classifier

Generative classifier는 기계 학습과 패턴 인식에서 데이터의 분포를 모델링하여 분류 문제를 해결하는 방식이다. 이 방법은 주어진 데이터가 생성되는 과정을 학습함으로써, 새로운 데이터 샘플이 어떤 클래스에 속할 확률을 추정한다.
우선 생성적 분류기는 각 클래스에 대한 데이터의 확률 분포를 학습한다. 이러한 분포는 데이터 내에서 각 클래스의 특성과 패턴을 나타낸다. 학습 과정에서는 각 클래스에서 데이터가 어떻게 생성될 수 있는지를 학습하며, 이 정보를 바탕으로 새로운 데이터 샘플이 주어졌을 때 이를 각 클래스의 확률 분포와 비교하여 분류한다.

iCaRL

이 방법은 특징 추출을 위해 신경망을 사용하고, 추출된 특징 공간에서 가장 가까운 클래스 평균 규칙(nearest-class-mean rule)을 기반으로 분류를 수행한다. 또한 메모리 버퍼에 저장된 예시들(exemplars)을 사용하여, 새로운 데이터와 함께 이전 클래스의 대표적인 특징을 재학습함으로써 기억을 갱신하고 보존한다.
•
특징 추출과 분류: 사전 훈련된 신경망을 사용하여 입력 데이터로부터 고수준의 특징을 추출하고, 이 특징들을 기반으로 가장 가까운 클래스 평균을 찾아 분류를 수행한다.
•
데이터 재생(replay): iCaRL은 저장된 데이터와 현재 맥락의 데이터를 함께 사용하여, 특징 추출기가 이전 맥락에서 학습한 정보를 잊어버리지 않도록 한다. 이는 연속적인 학습 과정에서 발생할 수 있는 잊어버림(catastrophic forgetting) 문제를 완화하는 데 도움을 준다.
•
증류(distillation): 새로운 클래스를 학습할 때, iCaRL은 증류 기법을 사용하여 이전 클래스와 새로운 클래스 사이의 지식을 전달하고, 이를 통해 모델이 이전에 학습한 정보를 보다 효과적으로 보존할 수 있도록 한다.
Template-based classification 기법

Time Series Anomaly Detection

입력값(Input data)

1.
Univariate(단변량) 시계열
2.
Multivariate(다변량) 시계열

이상치 유형(Outlier type)

1.
Point-wise Outliers: 개별 시간점에서 관찰되는 이상치로, 시계열의 나머지 데이터와 비교하여 극단적으로 높거나 낮은 값을 보이는 단일 데이터 포인트
2.
Pattern-wise Outliers: 시간에 걸쳐 일련의 데이터 포인트가 보이는 비정상적인 패턴
AutoEncoder-based Anomaly Detection
DANN(Domain Adversarial Neural Net)의 네트워크 구조
DANN은 크게 세 가지 주요 구성 요소로 이루어져 있다: 특징 추출기(Feature Extractor), 레이블 예측기(Label Predictor), 도메인 분류기(Domain Classifier)

1. 특징 추출기 (Feature Extractor, 초록색)

•
역할: 입력 이미지를 받아서 유용한 특징(feature)을 추출합니다. 이 특징은 나중에 클래스 레이블 예측과 도메인 분류에 사용됩니다.
Domain Adaptation

1. Continual learning 관련 최신 연구 목록화

1.1 Continual learning 벤치마크 데이터셋

CORe50

CORe50는 Continual learning 알고리즘의 object detection 성능을 비교하고 평가하기 위한 표준 벤치마크로 사용된다. CORe50 데이터셋은 50개의 서로 다른 객체 클래스로, 각 클래스는 다양한 각도, 조명 조건 및 배경에서 촬영된 여러 장의 이미지로 구성된다.(Kinect 2.0 센서를 사용하여 300 RGB-D 프레임(20fps)을 수집하여 깊이 정보를 포함한 이미지 데이터를 제공한다.)
지속 학습 시나리오: CORe50는 다양한 Continual learning 시나리오를 제공하여 모델이 새로운 데이터를 점진적으로 학습하면서 이전에 학습한 knowledge를 잊지 않도록 한다.
•
New Instances (NI): 기존 클래스의 새로운 인스턴스를 추가하여 학습.
•
New Classes (NC): 새로운 클래스를 추가하여 학습.
•
New Instances and Classes (NIC): 새로운 인스턴스와 클래스를 동시에 추가하여 학습.

CLEAR

•
기존 벤치마크 (e.g., ImageNet, MS-COCO)는 정적인 작업을 가정하며, 실제 환경의 동적인 특성을 반영하지 않는다.
•
CLEAR는 2004년부터 2014년까지 10년간의 시각적 개념의 진화를 포함하여, 웹 이미지 컬렉션에서 자연스럽게 발생하는 시간적 변화를 반영한다
Survey Paper 자료정리

연구 분야

•
두가지 이상의 modality의 feature space 를 alignment한 multi modal 딥러닝 모델
•
같은 데이터 내 서로 다른 두 modality(Image, Pointcloud)에서 추출된 각 local feature 간의 alignment

3D Anomaly Detection

•
3차원 데이터에서 비정상적인 패턴, 객체 또는 구조를 자동으로 식별하는 task
•
2022년 MVTec 사에서 MVTec 3D Anomaly Detection Dataset을 공개한 후 관련 연구들이 다수 등장
•
MVTec 3D AD Dataset의 가장 큰 특징은 2D Modality(RGB) 외에 3D Modality(Point Cloud)와 함께 구성되어 있다

Anomaly Detection Task (2D, 3D, RGB+3D)

1.
2D: RGB
2.
3D : Point Cloud
3.
RGB + 3D
3D Industrial Anomaly Detection

SIFT

SIFT의 특징:

1.
회전 불변성 (Rotation Invariance):
2.
크기 불변성 (Scale Invariance):
3.
이동 불변성 (Shift Invariance):
•
회전 모호성 감소: SIFT가 특징점을 정렬할 때 가장 우세한 방향에 맞춰 회전시킨다는 점에서 회전 모호성(rotation ambiguity)이 줄어든다. 즉, 회전된 이미지들 사이에서 일치하는 특징점들을 더 쉽게 매칭할 수 있게 된다.
•
이미지 매칭 향상: 이로 인해, 회전된 이미지들 간의 매칭이 훨씬 더 정확하게 이루어질 수 있다. 예를 들어, 동일한 물체가 여러 각도로 촬영된 이미지들에서 SIFT는 동일한 부분을 찾아내어 매칭할 수 있다.
SIFT 알고리즘에서 "특징점을 정렬한다"는 말과 "dominant direction을 기준으로 이미지를 회전한다" 의미

SIFT 알고리즘에서의 특징점(Keypoint)

•
특징점은 이미지에서 중요한 부분, 즉 패턴이나 모서리와 같은 부분을 의미해. SIFT 알고리즘은 이미지의 특징점을 찾아내고, 이 특징점을 기반으로 이미지 간의 매칭을 수행해.

Dominant Direction (우세한 방향)

•
이미지에서 특정 위치(특징점 주변)의 기울기(gradient) 방향을 계산하면, 그 방향들이 여러 개 나올 거야. 이 중에서 가장 빈번하게 나타나는 방향이 dominant direction이야. 즉, 이 위치에서 가장 두드러지는 방향이지.
•
예를 들어, 특징점 주변에 선이 있다고 하면, 그 선이 향하는 방향이 이 특징점의 dominant direction이 될 수 있어.

특징점을 정렬한다는 것의 의미

MVTec Anomaly Detection 모델