CShot : 클라우드 카메라를 위한 연속 촬영 이미지 코덱에 관한 연구

Abstract

Computational photography technology using burst images has been developed to improve the picture quality of mobile devices. Recently, deep learning-based research has been underway, but on-device operations have limited performance due to problems such as computing power and power consumption. In addition, excessive system occupancy of deep learning models during camera execution reduces the use experience by freezing the camera preview. Cloud computing is a service that can provide an advanced deep learning model that can overcome various limitations of the device through offloading, but it results in poor quality due to data compression and latency in network transmission.

The CShot codec compresses burst images based on deep learning and improves quality by reflecting the characteristics of the images. It also analyzes and controls the image to satisfy the required time even if the network state changes. Through this, it provides a deep learning service for improving image quality by offloading within a time that satisfies the use experience. As for the picture quality improved by offloading, the CShot codec has been improved by 7.3%-8.7% compared to the conventioanl codec, and it shows the same performance as thestate-of-the-art image compression codec based on deep learning that cannot be operated on mobile. Therefore, CShot effectively compresses burst images, guarantees latency through network-based control, and provides deep learning-based image quality improvement technology.

모바일의 사진 화질 개선을 위해 연속 촬영 이미지를 이용한 computational photography (계산 사진학) 기술이 발전되었다. 최근에는 딥러닝 기반의 연구가 진행되고 있지만 on-device 동작은 컴퓨팅 능력이나 소모 전력 등의 문제로 성능이 제한적이며, 카메라 실행 중에 딥러닝 모델의 과도한 시스템 점유는 카메라 화면이 끊기도록 만들어 사용 경험을 저하시킨다. 클라우드 컴퓨팅은 고도화된 딥러닝 모델을 제공할 수 있는 서비스로 오프로딩을 통해 기기의 다양한 제한 사항을 극복할 수 있지만 데이터 압축에 의한 품질 저하와 네트워크 전송의 지연 시간을 발생 시킨다. 본 연구에서는 오프로딩으로 딥러닝 기반의 화질 향상 모델을 수행할 수 있는 CShot 시스템을 제안한다. CShot의 코덱은 연속 촬영 이미지에 대해 딥러닝 기반으로 압축하며 이미지의 특징을 반영하여 복원한 이미지의 품질을 높인다. 또한 이미지를 분석하고 제어하여 네트워크 상태가 변하더라도 요구하는 시간을 만족시킨다. offloading 으로 화질 향상된 이미지의 품질은 CShot이 기존 코덱 보다 7.3%-8.7% 개선되며, 모바일에서 동작이 불가능한 딥러닝 기반의 최신 이미지 압축 코덱과 동등한 성능을 보인다. 그러므로, CShot은 연속 촬영 이미지를 효과적으로 압축하고 네트워크에 따른 제어를 통해 지연 시간을 보장하며 딥러닝 기반의 화질 개선 기술을 제공한다.