프레임율 상향 변환을 위한 secondary motion vector의 single-pass 움직임 추정

Abstract

최근 상용화되는 디스플레이 패널의 frame rate이 120~240Hz 까지 증가하면서 전송되는 video의 frame rate을 증가시키는 frame rate up conversion(FRUC) 기술이 널리 사용되고 있다. FRUC는 비디오 영상에서 서로 인접한 프레임들을 이용하여 영상의 시간적 연속성을 증가시키는 기술이다. 최근에는 FRUC의 화질 향상을 위하여 영상 내부 객체들의 움직임을 추정하고, 이에 대응하는 프레임을 생성하는 motion-compensated(MC) FRUC 기술이 각광받고 있다. MC-FRUC에 필요한 움직임 추정 과정(motion estimation, ME)은 복잡한 연산을 필요로 하며 하드웨어 구현이 까다롭다. 즉, FRUC에 필요한 움직임 추정은 전체 시스템의 cost를 크게 증가시키는 요인이 되므로, 하드웨어 구현이 용이한 FRUC 용 알고리즘 개발이 필요하다. Cost 감소를 위해 block 기반의 움직임 추정을 수행하는데, motion vector(MV)가 생성되는 대상 object의 크기가 작을 경우 MV가 제대로 생성되기 어렵다. 이 문제를 해결하기 위해 dual MV estimation 알고리즘이 제안되었으나, 이 알고리즘은 ME를 2번 수행해야 하므로 프레임 메모리에 2번 접근을 해야 한다. FRUC 시스템에서 bottle neck은 메모리영역에서 발생하고, 이로 인해 전체적인 시스템 속도가 떨어지게 된다. 즉, 2번의 ME로 발생되는 메모리 접근 횟수를 줄일 필요가 있고 이를 위해 본 논문에서 1번의 ME로 dual MV estimation 알고리즘과 성능 차이가 크지 않은 single pass dual MV estimation 알고리즘을 제안한다. 제안 알고리즘은 픽셀 당 64 버퍼 크기를 가질 때, dual MV estimation 알고리즘과 0.36%의 MV 오차율을 가지며 필요 버퍼 메모리는 1.21% 증가한다. 또한 hierarchical estimation 대비 평균 partial PSNR은 1.58dB 개선되며, 평균 PSNR은 0.23dB 개선된다.