MC-CNN: Multi-scale Connected Convolutional Neural Network for Single Image Deraining

Abstract

본 논문에서는 신경망에서 생성된 모든 스케일의 특징들을 활용하여 이미지의 세부 정보까지 복구할 수 있는 다중스케일 연결 합성곱 신경망(MC-CNN)을 제안한다. 세부 정보 복구를 위한 MC-CNN의 첫 번째 핵심은 다중스케일 연결로, 인코더 부분의 모든 스케일 특징들을 디코더에 연결하여 가능한 많은 정보를 활용하여 이미지를 복구할 수 있도록 하는 것이다. 다중스케일 연결은 단순히 각 스케일의 특징을 합치는 것이 아니라 어느 스케일의 특징이 현재 과정에서 중요한지 배울 수 있도록 채널 어텐션을 고려한다. 두 번째 핵심은 와이드 논로컬 (WRNL) 블록이다. 우리는 넓은 직사각형으로 이미지를 나눌 때 각 패치가 가장 고른 분포를 가진다는 것을 알아냈고, 이를 바탕으로 WRNL을 제안하였다. 합성 및 실제 비 데이터셋으로 진행된 많은 실험 결과들을 통해 MC-CNN이 정량적으로 기존 방법들을 능가하고 정성적으로도 많은 개선이 이루어졌음을 확인하였다.

In this thesis, we propose an end-to-end multi-scale connected convolutional neural network (MC-CNN) that leverages all scale features to remove rain streaks while recovering detailed information on images. The first key point for recovering details is a multi-scale connection, which connects all scale features of the encoder part to the decoder part to restore the image with as much information as possible. Multi-scale connection considers channel-wise attention to learn which scale features are important in the current process, rather than simply combining the features of each scale. The second key point is a wide regional non-local (WRNL) block. We find that dividing images into wide rectangular patches makes each patch have a more even distribution than the existing method and based on this, we propose a WRNL block. Experimental results on synthetic and real-world datasets demonstrate that MC-CNN quantitatively outperforms existing state-of-the-art models and qualitatively achieves several improvements.