home

Computer Science

Share

Deep Learning Computer Science

학생미래학기설계 [Edge device를 활용한 anomaly detection]

날짜

2023/03/06 → 2023/06/15

1 more property

리서치

시스템 구축

문서

[서울시립대학교 기계정보공학과 김영준] 4 - 1 학생미래설계학기 프로젝트

전체 프로세스 시나리오

소스코드 Github 링크

AWS S3, Lambda, SageMaker 통합

실시간 이상치 탐지 시스템을 구축

S3 버킷 설정

SageMaker 모델 학습 및 엔드포인트 배포

Lambda 함수 생성

S3 버킷에서 Lambda 함수로 이벤트 트리거 설정

이 절차를 통해 AWS S3, Lambda, SageMaker가 통합된 실시간 이상치 탐지 시스템이 설정된다. 이상치 데이터 이미지가 S3 버킷에 업로드되면 Lambda 함수가 자동으로 실행되어 SageMaker 엔드포인트를 호출하고, Reverse Distillation 모델이 이미지에 대한 추론을 수행한다.

초기 시스템 구상

현재 상태 도커 컨테이너화

AWS EC2 인스턴스에서 Docker를 설치하고, Docker 이미지를 생성하고, 생성된 이미지를 Amazon ECR (Elastic Container Registry)에 저장하는 방법은 다음과 같다.

Docker 설치:

ECR 레지스트리 생성:

Docker 이미지 빌드:

ECR에 이미지 푸시:

이제 Docker 이미지가 Amazon ECR에 성공적으로 저장되었다. 이후에 필요한 경우, 다른 인스턴스에서 해당 저장소에서 이미지를 풀고 실행할 수 있다.

Dockerfile 만들기

Dockerfile과 같은 위치에 람다 함수(lambda_function.py)도 만들어 놓기.

터미널에 docker images 를 입력하면 이미지가 생성된 것을 확인할 수 있다.

1. 도커 환경 설정 ( 실패 )

anomaly_seg_list.sh에 기록된 대기 리스트를 bash를 통해 한번에 실행

사용자가 segmentation 결과들을 받기 위해서는 bash anomaly_seg_list.sh를 실행해야 한다.

→ /home/ssm-user/rd_ws/RD4AD/seg_result 위치에 segmentation 결과 저장

→ s3://sagemaker-us-east-1-041883464314/seg_result/ 위치에도 동일하게 저장

2. 배시 쉘 스크립트 실행 (성공)

exec_anomaly_seg Lambda 함수 생성

3. HTTP API 로 트리거 (성공)

기존 knowledge distillation 기반의 이상 탐지 모델은 이상 데이터에 대해 teacher와 student 모델의 출력 특성 간의 차이를 최대화하는 것이 중요 과제이다. 그러나 기존 knowledge distillation 구조에는 두 가지 특징이 있다. 첫 번째로 teacher와 student 모델의 네트워크 구조가 유사하며, 두 번째로 input이 teacher와 student에 동일하게 입력되어 데이터 흐름이 동일하다는 점이다. 이러한 구조로 인해 이상 데이터가 들어왔을 때에도 두 모델이 특성을 유사하게 추출하게 되어 이상 탐지를 원활히 하지 못하는 문제점이 생긴다.

이러한 한계점에 대한 해결책으로 역순(reverse)된 구조를 적용하여 새로운 방식을 제시한 Reverse Distillation 모델이 등장하였다.

이 모델은 STPM 모델의 주요 특징을 유지한 채 teacher 모델을 encoder 구조로, student 모델을 decoder 구조로 변형하였다. 또한 input 이미지의 data flow를 역전시킨 아키텍처를 제시한다.

아키텍처 구조

각각 3개의 층으로 구성된 teacher encoder와 student decoder를 확인할 수 있다. 각 layer의 encoder와 decoder의 특성은 손실함수의 입력으로 들어가게 된다. bottleneck 단계에서는 Multi-Feature Fusion Block(MFF)와 One-Class Embedding (OCE)블록이 순차적으로 배치되어 구성된다.

Teacher encoder

ImageNet 데이터셋으로 사전 학습된 WideResNet50 모델을 사용하며, 3개의 레이어로 구성된 Encoder 구조를 가진다. 이 구조에서 데이터 흐름에 따라 down-scaling이 된다.

Student decoder

teacher encoder와는 다른 구조를 가지며, 데이터 흐름이 하위 층부터 역순으로 진행된다. Teacher 모델과 유사한 구조를 사용하지만, 사전 학습이 되지 않은 상태로 MVTec AD 데이터셋의 정상 데이터만을 사용하여 학습한다. 이는 정상 특성만을 학습하고자 하는 목적으로 설정되었다. 이러한 방식으로 인해 추론 단계에서 이상 데이터가 입력으로 주어지면, student 모델은 이상 데이터에 대한 특성을 정상적으로 추출해내지 못하게 된다.

MFF(Multi-Feature Fusion Block)

teacher 모델의 최종 출력을 전처리하여 student 모델의 입력으로 사용한다. Teacher encoder의 상위 층에서는 global semantic, structural information과 같은 high-level 특성을 추출하며, 하위 층에서는 색상, 가장자리, 질감과 같은 low-level 특성을 추출한다. Teacher encoder에서 생성된 low-level과 high-level 특성을 student decoder에 모두 전달하기 위해, 각 층에서의 출력은 합성곱 연산을 통해 크기가 조정된 후 연결(concatenate)된다. 이를 통해 지식 전달 과정이 효율적으로 이루어진다.

OCE(One-Class Embedding)

MFF 블록의 출력이 고차원 공간에 분포하는 문제를 해결하기 위해 고차원 특성을 저차원 공간으로 투영한다. 이 과정을 통해 정상 데이터의 표현 특성이 낮은 차원의 정보로 압축되며, 정상 데이터의 특성만이 집약된 지식을 student 모델에 전달한다. 이 방법은 이상 데이터의 특성이 student 모델로 전달되는 것을 방지하여 모델 성능을 향상시키는 효과를 제공한다.

Loss function

딥러닝 모델: Reverse Distillation

Raspberry Pi 엣지 디바이스에 AutoEncoder 기반 경량 모델을 탑재하여 이상 여부를 실시간으로 판정하다. 이상징후가 포착되면 해당 이미지를 AWS S3 버킷으로 전송

S3에 이상 이미지가 업로드되면 Lambda 함수가 자동 실행되어 EC2 인스턴스를 트리거한다. EC2에는 knowledge distillation 기법을 활용한 Reverse Distillation 모델이 탑재되어 있어, S3의 이미지에 대해 pixel 단위 segmentation을 수행한다.

해당 결과물은 다시 S3로 전송되어 사용자가 웹에서 확인할 수 있다.

전체 ML 워크플로우는 SageMaker 파이프라인으로 관리된다. 데이터 검증, 모델 학습, 모니터링, 재학습 등 모든 과정을 자동화하여 MLOps 체계를 갖추었다.

AutoEncoder 모델: 모든 Class에서 700ms 내외의 추론 속도로 판별

엣지-클라우드가 유기적으로 협업하는 이 시스템은 불필요한 데이터 전송을 최소화하고 컴퓨팅 자원을 효율적으로 사용하여 비용 절감 효과를 기대할 수 있다.

최종 시스템 시나리오