Prior-Adaptive and Conditional Convolutional Neural Network for Image Restoration

Abstract

Image restoration is a process of recovering a clean image from a degraded image. Image restoration is an important process to upgrade the image visual quality and also be applied to the other computer vision tasks as a preprocessing. Unfortunately, image restoration is an uneasy task due to the ill-posed problem. Plenty of convolutional neural network (CNN) based researches have been developed in order to find a mapping function from a degraded image to the clean one by the data-driven method. While the conventional CNN-based restorers considerably alleviate the quantitative and qualitative performance, they still have problems with processing the multiple degradation levels. In order to cope with the multiple degradation levels, CNNs have to be specifically (non-blindly) trained according to degraded levels with lots of resources. Although there are blind training methods that deal with multiple degradation levels with a single network, their performance gain is generally lower than the non-blind ones, especially at low noise levels. To address these problems, this dissertation presents a new CNN restoration scheme that the reconstruction network takes degradation prior as a conditional input and adaptively restores multiple degraded level images with a single model providing better performance than the blind-model. In detail, the proposed scheme is applied to three topics: additive white Gaussian noise (AWGN) denoising, real-noise denoising, and JPEG artifacts removal.

First, a new AWGN denoising scheme is proposed, which controls the feature maps of a single denoising network according to the noise level at the test phase, without changing the network parameters. This is achieved by employing a gating scheme where the feature maps of the denoising network are multiplied with appropriate weights from a gate-weight generating network which is trained along with the denoising network. The overall network is trained on a wide range of noise levels such that the proposed method can be used for both blind and non-blind cases. Experimental results show that the proposed system yields better denoising performance than the other CNN-based methods, especially for the untrained noise levels. Finally, it is shown that the proposed system can manage spatially variant unknown noises and real noises without changing the whole CNN parameters.

The proposed scheme is also applied to real-noise denoising, which is regarded as a challenging task because the statistics of real-noise do not follow the normal distribution, and they are spatially and temporally changing. In order to cope with various and complex real-noise, a well-generalized denoising architecture and a transfer learning scheme are proposed. Specifically, an adaptive instance normalization is adopted to build a denoiser, which can regularize the feature map and prevent the network from overfitting to the training set. A transfer learning scheme is also introduced, which transfers knowledge learned from synthetic-noise data to the real-noise denoiser. From the proposed transfer learning, the synthetic-noise denoiser can learn general features from various synthetic-noise data, and the real-noise denoiser can learn the real-noise characteristics from real data. From the experiments, it can be found that the proposed real-noise denoising method has great generalization ability, such that the proposed denoiser trained with synthetic-noise achieves the best performance for Darmstadt Noise Dataset (DND) among the methods from published papers. It can be also seen that the proposed transfer learning scheme robustly works for real-noise images through the learning with a very small number of labeled data.

Lastly, the proposed scheme is applied to JPEG artifacts removal with a quality-adaptive artifacts removal network based on the gating scheme. Different from previous methods, the proposed method focuses on the reconstruction of a wide range of quality factors and quality estimation in order to apply real-world scenarios. Specifically, the estimator gives a pixel-wise quality factor, and the proposed gating scheme generates gate-weights from the quality factor. Then, the gate-weights control the magnitudes of feature maps in artifacts removal network. Thus, the proposed gating scheme guarantees the reconstruction network to perform adaptively without changing the parameters according to the change of quality factor. Moreover, the Discrete Cosine Transform (DCT) scheme is exploited with 3D convolution for capturing both spatial and frequency dependencies of images. Experiments show that the proposed network provides better performance than the state-of-the-art methods over a wide range of quality factor. Also, the proposed method provides robust results in real-world scenarios such as the manipulation of transcoded images and videos.

이미지 복원은 잡음으로 인한 품질이 저하 된 이미지로부터 깨끗한 이미지를 복원하는 과정이다. 이미지 복원은 이미지의 시각적 품질을 올릴 수 있으며, 다른 컴퓨터 비전의 방법에도 전처리로 사용 가능하기 때문에 매우 중요한 작업이라 할 수 있다. 영상 복원은 쉽지 않은 연구 과제라고 할 수 있는데 이는 불량조건문제이기 때문이다. 이를 해결하기 위해, 많은 컨벌루션 신경망 (CNN) 기반의 방법들은 데이터 주도 방식을 통한 잡음 이미지로부터 복원 이미지를 얻어내는 함수를 학습하는 방식으로 발전을 하였다. 비록 기존 대부분의 CNN 기반의 복원 방법들은 복원 성능을 정성적 정량적으로 비약적으로 향상을 시켰지만, 그 방법들은 아직 다양한 문제가 있다. 다양한 품질의 저하 강도에 따른 이미지를 처리하기위해, CNN 들은 각각의 저하 강도에 맞게 많은 자원을 통해 개별적으로 학습이 되어야 하는 문제가 있었다. 비록 블라인드 (blind) 학습 방법들이 다양한 저하 강도를 처리하기 위해 제안 되었지만, 그 성능이 대부분 개별적으로 학습된 (non-blind) 방법에 비해 좋지 못하였으며 특히 성능저하가 거의 없는 강도에서 좋지 못한 문제도 있었다. 이와 같은 문제를 해결하기 위해, 본 학위 논문은 새로운 CNN 기반의 복원 방법을 제안한다. 제안하는 방법은 복원 네트워크에서 조건적 입력으로 이미지의 프라이어 (prior)을 받으며, 하나의 적응적으로 학습된 모델을 통해 다양한 강도에 의해 저하된 이미지를 처리한다. 본 학위 논문은 가산 백색 잡음의 제거, 실제 잡음의 제거, 그리고 압축으로 인한 잡음의 제거와 같이 3가지 세부 주제로 나눠진다. 첫번째로, 새로운 가산 백색 잡음의 제거기에 대해서 제안을 하였다. 제안하는 잡음 제거기는 잡음 강도로부터 특징 지도의 크기를 조절하여 테스트 과정에서 파라미터 (parameter)의 교체의 없이 광범위한 잡음 강도를 처리할 수 있다. 이는 게이트 (gate) 방법을 사용함으로써 가능하며, 제안하는 게이트의 구조는 특징 지도에 잡음 강도로부터 생성된 게이트 값이 곱해지는 형태이다. 제안하는 잡음제거기는 광범위한 잡음 강도의 이미지로부터 학습이 되며, 잡음 강도를 알지 못할 때 (blind) 혹은 잡음 강도를 알 때 (non-blind)의 환경에서 모두 사용 가능하다. 실험결과, 제안하는 잡음제거기는 다른 기존의 CNN 기반의 잡음 제거기 보다 좋은 성능을 갖으며, 특히 학습되지 않는 잡음 강도에서 더욱 좋은 성능을 갖는다. 또한 제안하는 방법을 통해 지역적으로 변할 수 있는 합성 잡음 혹은 실제 잡음에 대해서 처리가 가능하다. 두번째로 본 학위 논문에서는 실제 잡음 제거기를 제안을 하였다. 실제 잡음 제거는 기존 합성 잡음 제거보다 좀 더 어려운 문제로 알려져 있는데, 이는 잡음의 분포가 정규분포를 따르지 않고, 지역적, 시간적으로 잡음의 강도가 다르기 때문이다. 다양하고 복잡한 실제 잡음을 처리하기 위해 본 학위 논문에서는 잘 보편화 (generalized) 될 수 있는 잡음제거기의 구조와 전이학습을 제안하였다. 잡음제거기의 구조는 적응적 개별 정규화 (adaptive instance normalization)을 사용하여 구성하였으며 이는 특징 지도들의 값을 제한하여 잡음제거기가 학습 영상으로부터 과적합되는 것을 방지한다. 전이학습은 합성으로 생성된 잡음으로부터 얻은 지식을 실제 잡음제거에 맞게 전이하는 방법을 사용하였다. 제안하는 전이학습 방법을 통해 일반적인 CNN의 특징 추출을 합성 잡음으로 배울 수 있고 실제 잡음의 특징과 분포를 실제 잡음으로부터 배울 수 있다. 합성 잡음을 학습한 잡음제거기가 DND에서 가장 좋은 성능을 보인 실험 결과를 통해 제안하는 구조가 좋은 보편화 성능을 갖는 것을 보일 수 있다. 또한 실제 잡음의 학습 이미지가 적은 상황에 대해서도 잘 동작하는 것을 통해 제안하는 전이학습은 강인하게 동작하는 것을 알 수 있다. 마지막으로 제안하는 방법은 JPEG의 압축 잡음을 제거하는데 적용되었다. 기존의 방법들과 다르게 제안하는 압축 잡음 제거기는 실생활에 사용하기위해 광범위한 압축 품질에 대한 복원과 품질 예측에 대해서 초점을 두었다. 품질 예측기는 각 화소마다 품질 값을 예측하고 제안하는 게이트 값 생성기를 통해 적절한 게이트 가중치를 생성하며, 게이트 가중치는 복원 네트워크 내 특징 지도의 크기를 조절한다. 따라서, 제안하는 게이트 구조는 복원 네트워크의 파라미터 변경 없이 광범위한 압축 품질의 이미지를 처리 할 수 있는 것을 보장한다. 또한, 이산 코사인 변환과 함께 3D 컨벌루션을 사용하여 이미지내의 주파수 및 영역 정보를 효과적으로 사용한다. 실험 결과 광범위한 품질에서 가장 뛰어난 성능을 보이고, 재 압축과 같은 실제 환경에서 강인한 성능을 보인다.