Automatic Image Noise Removal with Deep and Wide Neural Networks

Abstract

Noise removal in digital image data is a fundamental and important task in the field of image processing. The goal of the task is to remove noises from the given degraded images while maintaining essential details such as edges, curves, textures, etc. There have been various attempts on image denoising: mainly model-based methods such as filtering methods, total variation based methods, non-local mean based approaches. Deep learning have been attracting significant research interest as they have shown better results than the classical methods in almost all fields. Deep learning-based methods use a large amount of data to train a network for its own objective; in the image denoising case, in order to map the corrupted image to a desired clean image.

In this thesis we proposed a new network architecture focusing on white Gaussian noise and real noise cancellation. Our model is a deep and wide network designed by constructing a basic block consisting of a mixture of various types of dilated convolutions and repeatedly stacking them. We did not use a batch normal layer to maintain the original own color information of each input data. Also skip connection was utilized so as not to lose the existing information. Through several experiments and comparisons, it was proved that the proposed network has better performance compared to the traditional and latest methods in image denoising.

디지털 영상 데이터 내의 잡음 제거 및 감소는 열화된 영상의 노이즈를 제거하면서 모서리, 곡선, 질감 등과 같은 필수 세부 정보를 유지하는 것이 목적인 영상 처리 분야의 기본적이고 필수적인 작업이다. 딥러닝 기반의 영상 잡음 제거 방법들은 열화된 영상을 원하는 품질의 영상으로 매핑하도록 대용량의 데이터를 이용하여 네트워크를 지도학습하며 고전적인 방법들보다 뛰어난 결과를 보여주고 있다.

본 논문에서는 이미지 디노이징에 대한 여러 방법들을 조사했을 뿐만 아니라, 특히 백색 가우시안 잡음과 실제 잡음 제거 문제에 집중하면서 네트워크 아키텍처를 설계하고 실험하였다. 여러 형태의 딜레이티드 콘볼루션들을 혼합하여 기본 블록을 구성하고 이를 반복하여 쌓아서 설계한 네트워크를 제안하였고, 각각 본연의 색상을 유지할 수 있도록 여러 입력 영상을 하나로 묶어 구성하는 배치를 평준화하는 배치노멀 레이어는 사용하지 않았다. 그리고 블록이 여러 층 진행되는 동안 기존의 정보를 손실하지 않도록 스킵 커넥션을 사용하였다. 여러 실험과 기존에 제안된 방법과 최신 벤치 마크와의 비교를 통하여 제안한 네트워크가 노이즈 감소 및 제거 작업에서 기존의 방법들과 비교하여 우수한 성능을 가지고 있음을 입증하였다. 하지만 제안한 아키텍처방법의 한계점도 몇 가지 존재한다. 제안한 네트워크는 다운샘플링을 사용하지 않음으로써 정보 손실을 최소화하였지만 최신 벤치마크에 비하여 더 많은 추론 시간이 필요하여 실시간 작업에는 적용하기가 쉽지 않다. 실제 영상에는 단순한 잡음보다는 영상 획득, 저장 등과 같은 프로세스를 거치면서 여러 요인들로 인한 다양한 잡음, 블러와 같은 열화가 혼재 되어 있다. 실제 잡음에 대한 다양한 각도에서의 분석과 여러 모델링 실험, 그리고 영상 잡음 및 블러, 압축과 같은 복합 모델링이 필요하다. 향후에는 이러한 점들을 보완함으로써 성능을 향상시키고 네트워크의 조정을 통해 실시간으로 적용될 수 있음을 기대한다.