Adaptive Motion Estimation Method Using Anisotropic Smoothness Constraint for Frame Rate Up-Conversion

Abstract

Motion compensated frame rate up conversion (MC-FRUC) algorithms have been developed for solving visual quality degradation from displaying low frame rate videos. It is composed of two main parts: motion estimation (ME) and motion compensated frame interpolation (MCFI). Estimation of accurate motion field is important part of MC-FRUC and several researches on motion estimation have been preceded. In this paper, a robust method of true motion estimation for MC-FRUC is proposed. To enhance the exactness of estimated motion vector field, an anisotropic smoothness constraint for optimization of cost function is used. This is achieved by reflecting the characteristics of blocks using the structure tensor of them. The experimental results show that the proposed method produces a better visual quality than conventional ones even in video sequences with complex and fast motion.

움직임 보상 프레임 비율 변환(motion compensated frame rate up conversion, MC-FRUC)은 낮을 프레임 비율의 동영상을 재생할 때 발생하는 시각적 품질 저하 현상을 해결하기 위해 개발되었다. 움직임 보상 프레임 비율 변환은 움직임 추정(motion estimation, ME)과 움직임 보상 프레임 보간 (motion compensated frame interpolation, MCFI)의 두 단계로 이루어져있다. 동영상의 정확한 움직임을 추정하는 것이 움직임 보상 프레임 비율 변환의 중요한 부분을 차지하고 있고 움직임 추정과 관련한 많은 연구들이 선행되었다. 본 논문은 움직임 보상 프레임 비율 변환을 위한 강인한 움직임 추정 기법을 제안한다. 추정한 움직임 벡터 필드의 정확성을 향상시키기 위해 비용함수의 최적화에서 비등방성 평활도 제한 함수를 적용하였다. 해당 영상의 특성을 반영하기 위해 각 블록의 구조 텐서(structure tensor)를 사용했다. 실험 결과들은 제안한 기법이 기존 방식에 비해 복잡하고 빠른 움직임들에 대해 더 우수한 시각적 품질을 보여주는 것을 확인하였다.