Template-based classification methods
템플릿 기반 분류 방법은 각 클래스에 대한 '템플릿'을 학습하고, 분류할 샘플에 가장 적합한 템플릿을 기반으로 분류를 수행하는 방식이다. 예를 들어, 프로토타입, 에너지 값 또는 생성 모델 등이 각 클래스의 템플릿으로 사용될 수 있다. 이 방법은 분류할 샘플이 어떤 템플릿과 가장 잘 맞는지를 판단하여 해당 샘플의 클래스를 결정한다
Template-based classification methods이 class-incremental learning 문제를 task-incremental learning 문제로 재구성한다. 각 클래스를 독립적인 '작업'으로 처리할 수 있기 때문에 특정 시나리오에서 유리하다. 이 방법은 각 클래스를 별도의 학습 과제로 보고, 각 과제에 대해 특정 Template을 생성하여 분류를 수행한다. 이러한 접근 방식은 클래스가 시간에 따라 순차적으로 도입되는 상황, 즉 class-incremental learning에서 유용할 수 있다.
Generative classifier
Generative classifier는 기계 학습과 패턴 인식에서 데이터의 분포를 모델링하여 분류 문제를 해결하는 방식이다. 이 방법은 주어진 데이터가 생성되는 과정을 학습함으로써, 새로운 데이터 샘플이 어떤 클래스에 속할 확률을 추정한다.
우선 생성적 분류기는 각 클래스에 대한 데이터의 확률 분포를 학습한다. 이러한 분포는 데이터 내에서 각 클래스의 특성과 패턴을 나타낸다. 학습 과정에서는 각 클래스에서 데이터가 어떻게 생성될 수 있는지를 학습하며, 이 정보를 바탕으로 새로운 데이터 샘플이 주어졌을 때 이를 각 클래스의 확률 분포와 비교하여 분류한다.
iCaRL
이 방법은 특징 추출을 위해 신경망을 사용하고, 추출된 특징 공간에서 가장 가까운 클래스 평균 규칙(nearest-class-mean rule)을 기반으로 분류를 수행한다. 또한 메모리 버퍼에 저장된 예시들(exemplars)을 사용하여, 새로운 데이터와 함께 이전 클래스의 대표적인 특징을 재학습함으로써 기억을 갱신하고 보존한다.
•
특징 추출과 분류: 사전 훈련된 신경망을 사용하여 입력 데이터로부터 고수준의 특징을 추출하고, 이 특징들을 기반으로 가장 가까운 클래스 평균을 찾아 분류를 수행한다.
•
데이터 재생(replay): iCaRL은 저장된 데이터와 현재 맥락의 데이터를 함께 사용하여, 특징 추출기가 이전 맥락에서 학습한 정보를 잊어버리지 않도록 한다. 이는 연속적인 학습 과정에서 발생할 수 있는 잊어버림(catastrophic forgetting) 문제를 완화하는 데 도움을 준다.
•
증류(distillation): 새로운 클래스를 학습할 때, iCaRL은 증류 기법을 사용하여 이전 클래스와 새로운 클래스 사이의 지식을 전달하고, 이를 통해 모델이 이전에 학습한 정보를 보다 효과적으로 보존할 수 있도록 한다.
•
동적 메모리 관리: iCaRL은 메모리 버퍼 내에서 공간을 효율적으로 활용하기 위해 'herding' 과정을 통해 대표적인 예시들을 선택하고 저장한다. 이 과정은 클래스의 평균 특징 벡터에 가장 가까운 예시들을 우선적으로 선택하여 메모리 버퍼에 저장함으로써, 제한된 메모리 공간 내에서도 다양한 클래스를 대표할 수 있는 효과적인 데이터 세트를 유지한다.