Neural Architecture Search: 모델의 구조를 디자인할 때 어떤 task에서 어느 데이터셋을 쓰느냐에 따라 최적의 네트워크 구조도 달라지기 때문에 최적의 네트워크 구조를 디자인하는 일은 매우 힘들다. 따라서 NAS를 이용하여 이 힘든 작업을 자동화하여 주어진 task에 가장 최적인 네트워크 구조를 빠르게 탐색하는 방법론이다.
•
NasNet은 NAS에서 영감을 받아 탄생한 논문이다. NAS는 모델 구조 전체를 search space로 설정하였고, NasNet은 모델을 구성하는 conv layer 연산을 search space로 설정하였다.
•
NasNet은 RNN을 활용하여 생성된 convolution block으로 구성되어 있습니다. NasNet은 기존 모델들과 다르게 block을 사람이 설계하는 것이 아니라 강화학습과 RNN을 활용하여 block을 설계한 것이다.
•
작은 데이터셋으로 구조적인 building block을 찾고, 큰 데이터셋으로 전이시킨다. 예를 들면
우선 상대적으로 작은 데이터셋인 CIFAR10으로 conv block을 찾고, 이 block들을 ImageNet 데이터셋에 적용한다. 이때 전이(transferability)는 NASNet search space를 디자인함으로써 가능해진다.