GAN2 WGAN-GP https://arxiv.org/pdf/1704.00028.pdf 오늘은 지난 WGAN에 이어, WGAN의 문제를 보완하여 현재까지도 쓰이는 WGAN-GP를 읽어보기로 한다. Introduction 지난 WGAN 리뷰에서 보았 듯이, WGAN은 그동안 GAN에서 써왔던 KL divergence등의 metric들의 발산성, 불연속성등의 문제를 해결하기 위해 새로운 loss function인 EM distance를 제안했다. 부드럽게 수렴하며, 립시츠 조건만 만족하면 연속/미분가능성을 보장함을 증명하여, 이를 통해 mode collapsing과 발산 문제를 해결할 수 있었다. 다만 지난 리뷰에서 보았듯이, WGAN에서는 이 립시츠 조건을 위하여 조금 non-formal한 방법인 clipping을 사용, di.. 2021. 8. 2. Wasserstein GAN https://arxiv.org/pdf/1701.07875.pdf 오늘은 vanila GAN의 문제점들을 고친, Wasserstein GAN에 대해 분석해볼까 한다. 어려워서 따로 정리한 용어의 경우 [A*]로 적어 가장 아래에 정리해 두었다. Introduction Unsupervised Learning은 흔히 말해 데이터의 확률 분포를 학습하는 것이라고 한다. 이전의 접근에서는 이를 확률 밀도를 구하는 식(아래 그림-maximum likelihood) 으로 풀어서 Parameterized 확률 밀도들의 분포 P_θ를 원 분포에 최대한 가깝게 만드는 식으로 학습을 했었다. 즉 아래 식을 통해 구한 분포를 KL(P_θ | P_real)을 minimize하는 방식으로 학습한다. 하지만 이러한 방법은 low.. 2021. 7. 29. 이전 1 다음
