연구 분야
•
두가지 이상의 modality의 feature space 를 alignment한 multi modal 딥러닝 모델
•
같은 데이터 내 서로 다른 두 modality(Image, Pointcloud)에서 추출된 각 local feature 간의 alignment
3D Anomaly Detection
•
3차원 데이터에서 비정상적인 패턴, 객체 또는 구조를 자동으로 식별하는 task
•
2022년 MVTec 사에서 MVTec 3D Anomaly Detection Dataset을 공개한 후 관련 연구들이 다수 등장
•
MVTec 3D AD Dataset의 가장 큰 특징은 2D Modality(RGB) 외에 3D Modality(Point Cloud)와 함께 구성되어 있다
Anomaly Detection Task (2D, 3D, RGB+3D)
1.
2D: RGB
•
이미지만을 이용해 anomaly detection, segmentation 수행
•
MVTec AD Dataset이 대표적
2.
3.
RGB + 3D
•
2D와 3D 데이터를 동시해 사용하여 AD를 진행
•
현재 3D AD Task의 대표되는 Task
선행 논문
1.
Towards Total Recall in Industrial Anomaly Detection
(PatchCore 모델)
2.
Anomaly Detection in 3D Point Clouds using Deep Geometric Descriptors
(3D-ST 모델)
4.
M3DM : Multimodal Industrial Anomaly Detection via Hybrid Fusion (CVPR2023)
•
PFA(Point Feature Alignment)
Point Transformer를 이용해 Point Cloud 특징을 추출한 후 Camera Parameter를 이용하여 평면으로 투영
추론 단계에서 memory bank를 기반으로 이상 탐지를 수행한다.
5.
Self supervised Feature Adaptation for 3D Industrial Anomaly Detection
•
인코더 모델
◦
ViT - RGB Modality
◦
Point MAE - Point Cloud Modality
•
CLC: Cross-modal Local-to-global Consistency Alignment
◦
: 같은 데이터 내 서로 다른 두 모달리티 (Image, Pointcloud) 에서 추출된 각 Local feature들 간의 Alignment
▪
InfoNCE Loss와 유사하게, Positive pair (같은 패치)는 가까워지게 Negative Pair (다른 패치)는 멀어지게 학습
◦
: 하나의 배치 내에서 서로 다른 샘플에서 추출된 각 모달리티 Global feature들 간의 Alignment
▪
InfoNCE Loss 와 유사하게 Positive pair (같은 샘플)은 가까워지게, Negative Pair (다른 샘플)는 멀어지게 학습
◦