집밖은 위험해

1. 논문 초록 Abstract

1.1 text2image의 현황

- 설명글로 고품질 이미지 합성 문제는 컴퓨터 비전에서의 도전 과제이며, 많은 응용분야에서 사용되고 있음.

- 현존하는 텍스트를 이미지로 생성하는 방법들은 설명의 의미를 대략적으로 반영할수 있지만 필수적인 자세한 내용을 빠트리거나 물체 일부를 선명하게 만들지 못한다.

1.2 StackGAN 소개

- Staked Generative Adversarial Networks(StackGAN)은 글을 보고 256 x 256 크기의 사실적인 이미지를 생성할수 있음.

- 어려운 문제를 sketch-refinement process를 통해 개선할수 있는 하부 문제들로 나눔.

- Stage-1 GAN은 주어진 설명을 기반으로 객체의 형태와 색상을 스케치하여 Stage-1 저해상도 이미지를 만듬.

- Stage-2 GAN은 Stage-1의 결과 이미지와 설명글을 받아서 Stage-1 이미지의 잘못된 부분을 고치고,  정제 과정으로 더 자세하게 만든다.

- 생성한 이미지의 다양성을 높이고, 조건부 GAN의 훈련을 안정화시키기위해 새로운 조건부 증강 기법도 소개한다.

-

1.3 결과

- 다양한 벤치마크 데이터셋과 SOTA 방법들과 비교해서 제안한 방법이 설명 글이 주어질때 사실적인 이미지 생성 성능을 크게 개선할 수 있었다.