등장 개념 정리
Stability-Plasticity Trade-off
새로운 정보를 획득하고 적응하면서도 기존에 학습한 지식을 유지할 수 있는 능력을 의미한다.
•
Stability: 기존에 학습한 지식이나 능력을 유지하고 보존하는 능력. 안정성이 높은 시스템은 새로운 정보나 변화에도 불구하고 기존의 학습을 잘 유지할 수 있다.
•
Plasticity: 새로운 정보나 변화에 빠르게 적응하고 학습할 수 있는 능력. 가소성이 높은 시스템은 새로운 데이터에 대해 빠르게 학습하고 적응할 수 있다.
따라서 너무 높은 안정성은 시스템이 새로운 정보에 적응하지 못하게 만들며, 반면에 너무 높은 가소성은 기존에 학습한 지식을 잊게 만든다.
Catastrophic Forgetting
CL의 주요 과제는 '재앙적 망각'(Catastrophic Forgetting)으로, 새로운 작업을 학습하면서 이전 작업의 성능이 급격하게 떨어지는 현상을 의미한다.
CL의 이론적 프레임워크
b: CL을 도입하여 메모리 안정성(빨간색 화살표)과 학습 유연성(초록색 화살표) 사이의 적절한 균형을 유지해야 하며, 작업 내(파란색 화살표)와 작업 간(주황색 화살표) 분포 차이에 대한 적절한 일반화를 보장해야 한다.
c: 논문에 소개되는 대표적인 지속적 학습 전략들은 모델 학습의 다양한 측면을 목표로 하고 있다.
전략 및 방법론
지속적 학습 전략은 다섯 가지 그룹으로 구분된다.
1.
Replay-based Approach
•
이 접근법은 이전에 학습한 데이터의 일부 또는 전체를 재생(replay)하여 모델이 새로운 데이터와 함께 학습할 수 있도록 한다. 이는 모델이 이전 데이터를 "기억"하도록 돕고, 새로운 데이터를 학습하면서 발생할 수 있는 재앙적 망각을 줄일 수 있다.
2.
Architecture-based Approach
•
이 접근법은 모델의 아키텍처를 조정하여 지속적 학습을 가능하게 한다. 예를 들어, 모델은 새로운 작업에 대한 학습을 수행할 때 추가적인 뉴런 또는 레이어를 활용할 수 있다.
3.
Representation-based Approach
•
이 접근법은 모델이 데이터를 효과적으로 표현할 수 있는 방식을 찾아 지속적 학습을 지원한다. 이는 주로 피처 추출 및 표현 학습을 통해 이루어지며, 모델이 새로운 데이터를 학습하면서도 이전에 학습한 표현을 유지할 수 있도록 돕는다.
4.
Optimization-based Approach
•
모델의 매개변수를 업데이트하는 방식을 조절하여, 모델이 이전에 학습한 정보를 유지하면서도 새로운 정보를 획득할 수 있도록 돕는다.
5.
Regularization-based Approach
•
이 접근법은 Regularization 기술을 활용하여 모델이 이전에 학습한 정보를 유지하도록 돕는다. 규제 기법은 모델의 복잡도를 제어하며, 모델이 이전에 학습한 작업을 잊어버리지 않도록 돕는다.
Continual Learning의 다양한 시나리오
1.
Instance-Incremental Learning(IIL): 같은 작업의 데이터가 여러 배치로 나누어져서 제공되며, 모델은 이러한 배치를 순차적으로 학습한다.
2.
Domain-Incremental Learning(DIL): 작업은 동일한 데이터 레이블 공간을 가지지만 입력 분포는 다르다. 작업 식별이 필요하지 않다.
3.
Task-Incremental Learning(TIL): 작업은 분리된 데이터 레이블 공간을 가진다. 훈련 및 테스트에서 작업 식별이 제공된다.
4.
Class-Incremental Learning(CIL): 작업은 분리된 데이터 레이블 공간을 가진다. 작업 식별은 훈련에서만 제공된다.
5.
Task-Free Continual Learning(TFCL): 작업은 분리된 데이터 레이블 공간을 가진다. 훈련 또는 테스트에서 작업 식별이 제공되지 않는다.
6.
Online Continual Learning(OCL): 데이터가 온라인 방식으로, 즉 한 번의 패스로 제공되며, 각 작업은 독립된 레이블 공간을 가진다.
7.
Blurred Boundary Continual Learning(BBCL): 작업 경계가 흐릿하며, 구별되지만 겹치는 데이터 레이블 공간으로 특징 지어진다.
8.
Continual Pre-training(CPT): 사전 훈련 데이터가 순차적으로 도착한다. 목표는 하류 작업의 학습 성능을 향상시키는 것이다.