Learning to Wear:Details-Preserved Virtual Try-on via Disentangling Clothes and Wearer

Abstract

Virtual try-on, fitting an image of a garment to an image of a person, has rapidly progressed recently. However, existing virtual try-on methods still struggle to faithfully represent various details of the clothes when worn. In this paper, we propose a simple yet effective method to better preserve details of the clothing and person by introducing an additional fitting step after geometric warping. This minimal modification helps to effectively learn disentangled representations of the clothing from the wearer. By disentangling these two major components for virtual try-on, we are able to preserve the wearer-agnostic structure and details of the clothing, and thus can fit a garment naturally to a variety of poses and body shapes. Moreover, we propose a novel evaluation framework applicable to any metric, to better reflect the semantics of clothes fitting. From extensive experiments, we empirically verify that the proposed method not only learns to disentangle clothing from the wearer, but also preserves details of the clothing on the try-on results.

원하는 옷의 이미지를 사람의 이미지에 맞추어 입혀주는 가상 의류 시착 기술은 최근 빠르게 발전하고 있다. 하지만 현재 존재하는 가상 시착 방법들은 옷이 입혀졌을 때의 디테일을 잘 표현하지 못하고 있다. 본 논문에서, 나는 기하학적 변형 단계이후에 추가적인 피팅 단계를 추가함으로써 옷의 디테일을 보다 잘 살릴 수 있는 단순하지만 효과적인 방법을 제안한다. 이 최소한의 변화는 사람과 옷을 효과적으로 분리하는 방법을 소개하며, 이를 통해 옷의 디테일을 자연스럽고 효과적으로 합성할 수 있다. 또한, 본 논문에서 기존 측정방법에 적용할 수 있는 새로운 평가방법을 제안한다. 실험을 통해 본 논문에서 제시한 방법이 옷과 사람을 효과적으로 분리할 뿐만 아니라, 옷의 디테일을 자연스럽게 보존함을 보였다.