A Novel Approach to Reduce Visual Gap Using Inpainting GAN

Abstract

Image editing task, more specifically image blending, is a method for image composition to make the composite image looks as natural and realistic as possible. To generate well-blended images, the blending process needs to make the edge of the source images appear seamless and preserve the colors of blending object. However, in the previous works, the recent approaches can only produce realistic blending results without preserving the content of blending region, especially its colors, which is the most important to fashionable photos, or the boundary of blended regions is not seamless enough. Moreover, deep image inpainting methods recently have made impressive progress with advances in image generation and processing algorithms. Based on the above, this study develops a new automatic approach using an inpainting Generative Adversarial Network (GAN) to reduce the domain gap between the source image and the target one. Experiments are conducted for two datasets. Compared to the alternative methods, this method shows that the blending images are not only realistic but the content of the blending region is also preserved. The proposed method is practically simple to carry out while still achieving a comparable efficiency to other state-of-the-art approaches on image composition task.

이미지 편집 작업에서 이미지 블렌딩은 합성 이미지를 최대한 자연스럽고 사실적으로 보이게 하기 위한 이미지 합성 방법입니다. 잘 혼합된 합성 이미지를 생성하려면 혼합 프로세스가 소스 이미지의 가장자리를 원할하게 표시하고 혼합 개체의 색상을 잘보존해야 합니다. 그러나 이전 연구에서 최근의 접근 방식은 블렌딩 영역의 내용, 특히 패셔너블한 사진에서 가장 중요한 요소인 자체의 색상을 보존하지 않고 현실적인 블렌딩 결과만 생성할 수 있거나 블렌딩 영역의 경계가 충분하지 않습니다. 더욱이, 딥 이미지 인페인팅 방법은 최근 이미지 생성 및 처리 알고리즘의 발전과 함께 인상적인 진전을 이루었습니다. 위의 내용을 바탕으로 본 연구에서는 소스 이미지와 대상 이미지 사이의 도메인 격차를 줄이기 위해 인페인팅 생성적 적대적 네트워크(GAN)를 이용한 새로운 자동 접근법을 개발한습니다. 실험은 두 개의 데이터 세트에 대해 수행 하였습니다. 이 방법은 기존의 방법과 비교하여 혼합 이미지가 사실적일 뿐만 아니라 혼합 영역의 내용도 잘 보존된다는 것을 보여주었습니다. 제안 방법은 이미지 구성 작업에 대한 다른 최첨단 접근 방식과 유사한 효율성을 달성하면서 실질적으로 수행하기에 편리합니다.