과거에는 NLP 분야에서 Feature 또는 Architecture를 수정해가며 모델링을 하였고 이후에는 pre-train과 fine-tuning으로 모델의 성능을 높였다. 하지만 최근 각광받고 있는 방식은 Prompt Engineering 이다.
prompt: 적절한 지시문
Prompt Engineering : Downstream task를 pre-training task의 형태로 변환한다.
•
Prompt Engineering 방식은 Large-scale LM 전체를 fine-tuning 하지 않으므로 대규모 모델학습에 필요한 시간과 비용을 절감할 수 있다.
1. Prefix Prompt
생성과 관련된 task인 GPT 스타일의 pre-training task로 변환한 후 다음 단어를 예측하는 방식이다.
2. Cloze Prompt
MLM과 관련된 task인 BERT 스타일의 pre-training task로 변환한 후 빈칸을 예측하는 방식이다.
LM 또는 Prompt의 parameter를 update 여부에 따라 5가지로 분류된다.
