Knowledge Distillation을 위한 train.py 코드 분석
코드 구조
if distill: distill=True 일 때, 다음과 같은 함수들이 사용된다:
•
train_and_evaluate_kd: Knowledge Distillation을 위한 학습과 평가를 총괄하는 함수
◦
train_kd: Knowledge Distillation을 위한 학습 함수
▪
net.loss_fn_kd: Knowledge Distillation 손실 함수
◦
evaluate_kd: Knowledge Distillation을 위한 평가 함수