JPEG 아티팩트 감소를 위한 변분 오토인코더를 이용한 변형 가능한 오프셋 게이트 네트워크

Abstract

JPEG 압축 알고리즘은 빠른 속도와 좋은 압축률 때문에 가장 널리 사용되는 압축 알고리즘이 되었다. 하지만, 압축률을 높이기 위해 큰 품질 계수(Quality Factor)를 이용하여 압축할 경우, 주파수 영역에서 손실이 발생하고, 이는 이미지 영역에서의 아티팩트로 나타난다. 이에 따라 JPEG 압축 과정에서 발생한 아티팩트를 제거하는 연구는 이미지 복원 분야에서 중요한 과제로 인식되었다. JPEG 아티팩트를 제거하기 위한 방법들은 데이터 기반의 인공신경망 구조가 도입되면서 커다란 발전이 있었다. 기존의 방법들은 대부분 메타 데이터로부터 이미지의 품질에 대한 정보를 읽어오는 것을 전제로 하고 있거나 심지어 하나의 품질계수(Quality Factor)에 하나의 모델을 학습시키는 등 실제 JPEG 아티팩트를 제거하려는 상황과는 거리가 있었다. 본 논문에서는 품질 계수 게이팅 오프셋 블록(Quality factor Gating Offset Block; QGOB)를 새롭게 제안하여 이러한 문제를 해결하고자 하였다. 제안하는 구조는 품질 계수에 따라 적응적으로 변형 가능한 합성곱의 오프셋을 조절한다. 또한 인코더디코더 구조에서 이전 스케일의 오프셋을 현재 스케일의 오프셋에 전달해 효과적으로 오프셋을 학습한다. 다양한 실험을 통해 제안하는 구조가 흑백 이미지와 컬러이미지, 그리고 두 번 압축한 이미지에서 우수한 성능을 보임을 확인할 수 있었다.

JPEG compression has become the most widely used compression algorithm due to its fast speed and reasonable compression rate. However, when compressed with a high quality factor to increase the compression rate, a large loss occurs in the frequency domain, which appears as an artifact in the image domain. Accordingly, research to remove artifacts generated during the JPEG compression process was recognized as an important task in the field of image restoration. Early studies for image compression artifacts reduction have made great progress with the introduction of data-driven convolution neural networks. Most of the existing methods exploit information on image quality factors from metadata, which is sometimes wrong due to double compression. Moreover, some methods trained one network for each quality factor, which hinders practical applications where images are compressed with different quality factors case by case in real situations. To deal with this issue, we propose a Deformable Offset Gating Network (DOGNet), based on a variational autoencoder (VAE) and deformable residual network. The main idea of the proposed method is to use latent features of the VAE to guide the offset of the deformable convolutions in restoring the compressed image flexibly. Extensive experiments on various datasets and quality factors show that the proposed method achieves better or comparable results to the state-of-the-art in JPEG artifact removal.