조건부 Bilinear SATD 추정을 이용한 HEVC Fractional Motion Estimation의 복잡도 개선

Abstract

HEVC encoder의 inter prediction은 시간적으로 인접한 picture들 간의 높은 상관성을 이용하여 현재 블록에 대한 움직임을 예측하는 과정으로 reference picture list에서 현재 블록과 움직임이 제일 유사한 prediction unit(PU)을 선택하고 현재 블록과의 차분 값을 부호화 한다. Motion estimation(ME)를 수행하여 발생한 차분 값의 크기가 압축 성능을 좌우하게 되므로 ME의 예측 정밀도가 결국 전체 코딩 효율 결정한다고 할 수 있는데 ME는 크게 정수 화소 단위의 움직임을 추정하는integer motion estimation(IME)와 정수 화소 단위의 이하의 움직임을 추정하는 fractional motion estimation (FME)로 구분할 수 있다. IME에서 각 PU partition에 대해 정수 화소 단위에서의 최적 motion vector(IMV)를 찾은 후 FME에서 현재 picture의 해상력을4배까지 증가 시키는 interpolation 을 통해 integer-pel 사이의 fractional-pel을 생성한 뒤 half-pel search와 quarter-pel search로 이어지는 정밀한 탐색을 수행하여 최적의 fractional motion vector(FMV)를 찾게 된다. HEVC에서는 FME를 수행하기 위해 reference picture로부터 참조하는 reference block은 이미 quantization/de-quantization을 수행한 후 de-blocking filter나 sample adaptive offset을 수행하여 재구성한 신호로, 여기에 7/8 탭 low pass filtering 을 적용한 interpolation을 수행하여 fractional-pel을 생성 한다. 제안하는 FME 알고리즘 에서는 Half-pel search 수행 시 IMV 위치의 best integer-pel과 그 주위를 둘러싸고 있는 8개 pixel에 대한 PU의 sum of absolute transformed differences(SATD)-based distortion 값들의 최대값과 최소값의 차이에 대한 비율을 확인하여, 일정threshold 이하 이면 SATD distortion이나 재구성된 영상이 모두 locally uniform하다고 판단하고 HEVC test model(HM)과 같은pixel-interpolation 대신 SATD 값을 이용하는 bilinear interpolation 을 통해 각 half pixel 위치에 대한 SATD distortion 값을 구한다. 그리고 각 위치 별 motion vector(MV)의 rate값을 앞서 구해진 SATD 값에 더하여 총 9개의 위치 별 Rate Distortion(RD)-cost를 구하여 RD-cost 값이 최소인 위치를 최종 best half-pel로 선정한다. Quarter-pel search에 대해서도 비슷한 방식으로 이전 search 단계의 best half-pel과 그 주변 8개 half-pel의 정보를 모니터링 하여 uniform 한지 여부를 판단하여 best quarter-pel을 선정한다. Inter prediction은 주어진 reference index 에 포함된 모든 reference frame에 대해 각 PU partition마다 partition index 별로 해당 동작을 수행하는데 이것을 CU size 마다 반복 수행하게 되므로, 따라서 FME도 모든 loop 안에서 반복 연산을 수행하게 되어 HM 인코딩 시간을 기준으로 전체에서 약 45%를 차지하지 하게 되어 단일 모듈로는 가장 많은 연산 량을 보이고 있다. 이로 인해 HM 인코더의 구현 시 throughput 성능을 고려하면 가장 연산이 복잡한 FME의 고속화와 동시에 저 복잡도를 실현 하는 것이 당면한 과제로, 선행 연구들은 연산 량을 저감하기 위해 단순히 계산을 적게 하는 방법들을 적용하면서 trade-off로 심한 화질 열화를 감수하고 있거나 빠른 연산을 추구하면서 resource를 많이 투입하여 화질 열화는 방지하였지만 hardware cost측면에서 열세를 보이는 등, 화질 저하와 연산 복잡도 개선 사이에서 한쪽 방향으로 치우치는 경향을 보이고 있다. 이에 본 논문에서는 화질 저하는 최소화 하면서 FME의 연산 복잡도를 효율적으로 줄이기 위해 이전 단계의 연산 정보를 상황에 맞게 잘 이용하여 HM에서 사용한 matrix의 interpolation 연산이 아닌 scaler 의 interpolation 연산만 필요한 방법으로 FME의 연산 복잡도를 대폭 간소화 하는 방법을 제시 한다.