Automatic Colorization of Webtoons Using Deep Convolutional Neural Networks

Abstract

본 연구에서는 흑백 웹툰 이미지를 채색하는 방법을 다룬다. 기존의 채색 연구는 주로 자연 이미지를 사용했지만 웹툰 데이터에서는 연구된 적이 없다. 웹툰과 같은 만화 이미지는 말풍선과 텍스트로 이미지가 가려지는 현상 등의 특수한 특성을 가지고 있다. 웹툰은 일반 만화책과 다르게 대부분 채색이 되어 있기 때문에 채색 연구에 활용되기 좋은 데이터이다. 먼저 기존의 채색 모델을 웹툰 데이터에 사용하여 기본 성능을 제시하였다. 색이 경계선을 넘는 현상과 색이 일관되지 않는 문제를 해결하기 위해 새로운 모델을 제안한다. 이 모델은 희박한 색 정보를 생성하는 네트워크와 이렇게 생성된 정보를 입력으로 받아서 전체 이미지의 색을 구하는 네트워크로 구성된다. 이 두 개의 네트워크는 end-to-end로 학습되며 기존 모델에서 발견되는 문제점들을 해결하고 더 좋은 결과를 낸다.

In this work we look at the task of colorizing black and white images on a new domain: webtoons. Although the colorization task has previously been explored for natural images, this type of dataset hasn't been used before. Comics like webtoons present some additional challenges over natural images, such as occlusion by speech bubbles and text. Webtoons are usually produced in color, making them a good dataset for analyzing different colorization models. First we look at some of the previously introduced models' performance on this task and establish a baseline. Then propose a new model to address the problems of color bleeding and color inconsistency. The proposed Color \& Apply network is composed of two networks

one network generates sparse color information and a second network uses this generated color information as input to apply color to the whole image. These two networks are trained end-to-end. The proposed model solves some of the problems observed with other architectures, resulting in better colorizations.