Deep Learning of Prior Information for Image Restoration on Various Environments

Abstract

영상 복원은 저품질의 영상으로부터 고품질의 영상을 복원해내는 기술이다. 영상 화질의 저하는 많은 요인들로 인해 불가피하므로, 영상 복원 기술은 매우 중요한 기술로 여겨왔다. 전형적인 영상 복원 분야로는 영상 잡음 제거(image denoising) 및 영상 초해상도(image super-resolution) 기술이 있다. 영상 복원 문제는 불량조건문제로 해를 구하기가 쉽지 않다. 따라서, 많은 연구들이 진행되어왔으며, 지속적으로 진행되고 있다. 최근 들어, 대규모 데이터셋을 통한 학습에 기반한 합성곱 신경망(CNN)이 영상 복원 문제에서 매우 성공적인 성능을 보여주고 있다. 합성곱 신경망 기반의 방법들은 특정 조건에 대해서는 매우 좋은 성능을 보여주지만, 실제 상황에서는 쉽게 적용되지 못한다. 대부분의 CNN들은 특정 저하(degradation) 모델을 가정한, 자가 지도 방식(self-supervised)으로 학습된다. 즉, 고화질 영상으로부터 특정 저하 모델을 적용시켜 저화질 영상을 합성하여 고화질-저화질 학습 데이터 쌍을 생성한다. 따라서, 만약 테스트 환경이 학습 환경과 다른 상황인 경우, 도메인 차이(domain discrepancy)에 의해 성능을 기대하기가 어렵다. 또한, 단일 CNN으로 다양한 저하가 포함된 영상 복원 문제를 해결할 경우 성능이 다소 떨어지게 된다. 나아가, CNN기반의 영상 복원 방법들은 해석 능력(interpretability)과 유연성(flexibility)이 부족하다. 이러한 문제들을 해결하기 위해 본 학위 논문은 사전 정보(prior information)를 활용한 여러 새로운 CNN기반 접근법들을 제안한다. 구체적으로, 학위 논문의 초반부에는 영상 초해상도 문제를 다루고 나머지 부분은 가우시안 잡음과 실제 카메라 잡음을 포함한 영상 잡음 제거 문제를 다룬다. 추가적으로 JPEG 영상 압축 왜곡 제거 문제도 함께 다룬다.

첫째로, 메타-전이 학습을 이용한 제로 샷(zero-shot) 초해상도 방법을 제안한다. 구체적으로 최적화 기반의 메타 학습 방법과 전이 학습을 함께 사용하여 제로 샷 초해상도 방법이 쉽게 이루어지도록 하였다. 즉, 특정 영상 및 영상 환경에 대해 네트워크가 빠르게 적응하도록 하였다. 초해상도 문제는 블러 커널(blur kernel) 기반으로 문제들이 세분화 되었고, 네트워크의 초기 파라미터가 각 초해상도 문제에 빠르게 적응될 수 있도록 학습되었다. 이러한 방식을 통해 빠르고 유연한 초해상도를 가능하게 하였으며, 강력한 영상 사전 정보 중 하나인 교차 규모(cross-scale)의 비국소적 자기 닮음(non-local self-similarity)을 깊은 내부 학습(deep internal learning)을 통해 활용할 수 있도록 하였다. 여러 실험 결과들을 통해 본 제안 방법이 다양한 환경에서 다른 CNN기반 방법보다 성능이 좋은 것을 확인하였다. 나아가, 매우 적은 수의 경사 하강(gradient descent) 업데이트로도 기존 제로 샷 초해상도 방법과 비슷한 성능이 나오는 것을 확인하였다.

두 번째로, 범용적 블라인드(blind) 영상 잡음 제거 방법을 위한 새로운 방법이 제안되었다. 구체적으로, 원래의 영상 잡음 제거 문제의 목적 함수를 두 개의 추론 문제로 변형하였고, 이에 대응되는 두 개의 CNN을 제안하였다. 본 방법은 확률론적인 관점으로 접근하여, 사전 정보가 반영된 새로운 확률 변수를 제안하고, 이를 이용하여 원래의 문제를 두 개의 문제로 나누었다. 본 학위 논문이 제안하는 방법을 통하여 단일 네트워크가 복잡한 블라인드 잡음 제거 문제를 효율적으로 배울 수 있도록 하였고, 추가적으로 네트워크에 수동적인 조절이 가능한 기능이 들어가게끔 하였다. 여러 실험 결과들로 가우시안 잡음 제거에 대해 블라인드와 비블라인드(non-blind) 상황 모두 가장 좋은 성능이 나옴을 보여주었다. 또한, 제안하는 방법의 조건부 확률 변수를 조절함으로써 사용자가 원하는 정도의 잡음 제거와 디테일 보존의 균형을 조절할 수 있도록 하였다. 나아가, 본 방법은 매우 실용적으로, 스펙트럼 또는 위치에 따라 다른 잡음 수준을 가지는 잡음에 대해서도 강인하게 동작할 수 있다.

마지막으로, 변분 근사에 기반한 새로운 영상 복원 방법을 제안하였다. 저, 고화질 영상의 결합 분포의 변분 하한을 제안하였고, 변분 확률 분포를 제안하여 원래의 사후 확률 분포를 근사하였다. 제안하는 변분 하한은 저화질 영상의 오토인코딩(auto-encoding)과 영상 복원 문제의 목적 함수를 모두 포함하는 형태로 구성되어있다. 이러한 변분 하한을 학습하기 위해 세 개의 CNN이 제안되었으며, 인코더-디코더는 저화질 영상의 특징을 추출하는 역할을 한다. 이렇게 추출된 특징이 추가적으로 영상 복원 네트워크에 입력되어 추가 사전 정보로서의 역할을 한다. 이렇게 학습에 기반한 추가 정보를 통해 영상 복원 네트워크는 복잡한 영상 복원 문제를 더 간단하게 해결할 수 있도록 동작한다. 여러 실험을 통해 본 제안하는 방법이 범용적으로 영상 잡음 제거 및 JPEG 압축 왜곡 제거를 포함한 여러 영상 복원 문제에 적용될 수 있음을 보였다.

Image restoration aims to recover a latent high-quality image from an observed low-quality image. It has been an important problem due to inevitable degradation of visual quality from many sources. Typical image restoration problems include image denoising and image super-resolution. It is a challenging task since it is an ill-posed inverse problem, thus many approaches have long been studied. Recently, convolutional neural networks (CNNs) have shown great success in image restoration problems based on large-scale external dataset. They have shown great breakthroughs in certain cases, however they cannot be easily applied to real-world scenarios. They are mostly trained based on self-supervision by assuming the degradation model, which is to synthesize low-quality images by applying specific degradation to high-quality images to generate high- and low-quality pairs. Hence, when the test condition does not match with the training condition, the performance is poor due to domain discrepancy. Also, the performance deteriorates when a single CNN is assigned for diverse and multiple degradation. Moreover, CNN-based methods lack in flexibility and interpretability. To overcome the above issues, this dissertation presents several novel approaches which incorporate prior information within the framework. In particular, the former part of this dissertation handles image super-resolution problem and the rest part handles image denoising task including synthetic Gaussian noise and real-world noise denoising. Additionally, this dissertation handles a problem of JPEG compression artifacts reduction within the same framework.

First, meta-transfer learning for zero-shot super-resolution is proposed for image super-resolution task. Specifically, optimization-based meta-learning along with transfer learning is exploited to ease the zero-shot super-resolution, which eventually boosts the adaptation to specific image condition. The super-resolution tasks are divided based on blur kernels and the initial parameter of the network is trained to quickly adapts to a image-specific condition. This approach enables flexible and fast image super-resolution based on deep internal learning which exploits a strong prior of cross-scale non-local self-similarity. Experimental results show that the proposed approach outperforms other CNN-based super-resolution methods in various conditions. Also, the proposed method yields comparable results to the zero-shot super-resolution method, but in a fewer gradient descent updates.

Second, a novel approach for universal blind image denoising problem is proposed. Specifically, the overall objective of image denoising problem is reformulated into two inference problems, and two CNNs for each problem are proposed. The original problem is divided into two sub-problems based on a probabilistic view by introducing a conditional variable which incorporates prior information. This approach enables a single network to efficiently learn diverse distribution of blind image denoising problem, and also grant manual tunability of the network. Experimental results reveal that the proposed denoiser outperforms other denoising methods in synthetic Gaussian denoising including both of blind and non-blind scenarios. Also, the proposed method can be manually tuned by controlling the conditional variable which enables the user to balance the degree of noise reduction and detail preservation based on the user's preference. Finally, the proposed scheme can efficiently cope with spectrally-spatially variant noise, which is practical in real-world situation.

Lastly, a novel image restoration scheme based on variational approximation is proposed. Concretely, a variational lower bound of the joint distribution of the observed degraded image and the original image is proposed and an approximated posterior based on variational distribution is proposed to approximate the original inference problem. The proposed variational lower bound incorporates auto-encoding of the degraded image along with image restoration objective. To learn the variational lower bound, three CNNs are designed: restorer, encoder, and decoder. The encoder-decoder network plays an role of extraction of informative abstracts of the degraded image distribution, where the encoded latent variable is additionally fed to the restorer which provides additional prior information to the restorer. With an additional information from the encoder, the restorer can effectively learn the image restoration problem with help of an additional information learned from the data. Experimental results have shown that the proposed scheme is effective and can be universally applied to various image restoration tasks including synthetic Gaussian noise denoising, real-world noise denoising, and JPEG compression artifacts reduction.