RL2 TuNAS (미완) TuNAS: Can weight sharing outperform random architecture search? https://arxiv.org/pdf/2008.06120.pdf 오늘은 작년에 나온 강화학습 기반 NAS논문, TuNAS를 분석해보도록 하겠다. Introduction 이전 리뷰의 NAS에서는, 약 300대 가량의 GPU를 필요로 하였었다. 그래서 그 때도 말했지만 이제 효율성을 늘리기 위해 다음 세대들이 노력했다고 했었다. 실제로 이후에 나온 EfficientNAS, ProxylessNAS 등등의 주요 논문들은 weight sharing이라는 방법을 기반으로 efficient search method들을 개발하여 cost를 줄여왔다. 하지만 이 논문에선 이 weight sharing이 .. 2021. 5. 10. Neural Architecture Search with RL Neural Architecture Search with Reinforcement Learning https://arxiv.org/pdf/1611.01578.pdf 오랜만에 읽는 논문, 중간이 끝나서 조금 시간이 났다.. 이제부터 강화학습 수업 프로젝트를 위해 NAS 관련 공부를 진행할 터라, 가장 처음에 나온 이 논문을 읽어보려 한다. Intro NAS는 neural network search의 약자로, Controller로 불리는 하나의 RNN을 통해, variable-length string으로 된 neural network 구조/connectivity를 scratch부터 학습시켜가며 최적의 network를 구축하는 방법이다. 학습에는 validation accuracy를 reward로 한 poli.. 2021. 4. 29. 이전 1 다음