내 맘대로 읽는 논문 리뷰/RL2 ProxylessNAS ProxylessNAS https://arxiv.org/pdf/1812.00332.pdf EfficientNAS 이후에 나온 더욱 효율적인 NAS를 위한 논문, ProxylessNAS다. TuNAS의 근간이 된 논문이기도 하며, 구체적으로 알아보자. Introduction NAS는 자동으로 효과적인 구조를 찾는 점에서 획기적이었으나, 그만큼의 엄청난 computational cost로 인해 거대한 task에 대해선 적용이 어려웠다. 이후에 나온 differentiable NAS 역시 memory consumption이 발목을 잡았다. 그래서 proxy라는 단위로 작게 학습하거나, 적게 학습하는 등의 방법으로 search를 하였는데, 이 논문에선 이것이 optimal하지 않기 때문에 직접적으로 구조를 학습.. 2021. 5. 10. Neural Architecture Search with RL Neural Architecture Search with Reinforcement Learning https://arxiv.org/pdf/1611.01578.pdf 오랜만에 읽는 논문, 중간이 끝나서 조금 시간이 났다.. 이제부터 강화학습 수업 프로젝트를 위해 NAS 관련 공부를 진행할 터라, 가장 처음에 나온 이 논문을 읽어보려 한다. Intro NAS는 neural network search의 약자로, Controller로 불리는 하나의 RNN을 통해, variable-length string으로 된 neural network 구조/connectivity를 scratch부터 학습시켜가며 최적의 network를 구축하는 방법이다. 학습에는 validation accuracy를 reward로 한 poli.. 2021. 4. 29. 이전 1 다음
