Nas3 ProxylessNAS ProxylessNAS https://arxiv.org/pdf/1812.00332.pdf EfficientNAS 이후에 나온 더욱 효율적인 NAS를 위한 논문, ProxylessNAS다. TuNAS의 근간이 된 논문이기도 하며, 구체적으로 알아보자. Introduction NAS는 자동으로 효과적인 구조를 찾는 점에서 획기적이었으나, 그만큼의 엄청난 computational cost로 인해 거대한 task에 대해선 적용이 어려웠다. 이후에 나온 differentiable NAS 역시 memory consumption이 발목을 잡았다. 그래서 proxy라는 단위로 작게 학습하거나, 적게 학습하는 등의 방법으로 search를 하였는데, 이 논문에선 이것이 optimal하지 않기 때문에 직접적으로 구조를 학습.. 2021. 5. 10. TuNAS (미완) TuNAS: Can weight sharing outperform random architecture search? https://arxiv.org/pdf/2008.06120.pdf 오늘은 작년에 나온 강화학습 기반 NAS논문, TuNAS를 분석해보도록 하겠다. Introduction 이전 리뷰의 NAS에서는, 약 300대 가량의 GPU를 필요로 하였었다. 그래서 그 때도 말했지만 이제 효율성을 늘리기 위해 다음 세대들이 노력했다고 했었다. 실제로 이후에 나온 EfficientNAS, ProxylessNAS 등등의 주요 논문들은 weight sharing이라는 방법을 기반으로 efficient search method들을 개발하여 cost를 줄여왔다. 하지만 이 논문에선 이 weight sharing이 .. 2021. 5. 10. Neural Architecture Search with RL Neural Architecture Search with Reinforcement Learning https://arxiv.org/pdf/1611.01578.pdf 오랜만에 읽는 논문, 중간이 끝나서 조금 시간이 났다.. 이제부터 강화학습 수업 프로젝트를 위해 NAS 관련 공부를 진행할 터라, 가장 처음에 나온 이 논문을 읽어보려 한다. Intro NAS는 neural network search의 약자로, Controller로 불리는 하나의 RNN을 통해, variable-length string으로 된 neural network 구조/connectivity를 scratch부터 학습시켜가며 최적의 network를 구축하는 방법이다. 학습에는 validation accuracy를 reward로 한 poli.. 2021. 4. 29. 이전 1 다음
