Adaptive Matching based Optical Flow Estimation with Discrete Optimization

Abstract

광흐름예측은 참조영상과 목표영상간에 촘촘한 시각적 연관성을 찾는 것을 목표로 한다. 그러한 연관성은 컴퓨터 비전 분야의 다양한 알고리즘에 적용될 수 있다. 지난 몇 십년동안 관련 연구가 활발히 진행되어 왔지만 광흐름예측은 여전히 어려운 문제이고 계속 연구되고 있다. 구체적으로는, 물체의 다양한 외관은 영상의 내적 영역화를 약화시키고 움직임 경계에서의 예측을 어렵게 만든다. 물체의 복잡하고 큰 움직임이 있는 경우에도 마찬가지로 예측 성능을 저하시킨다. 또한 움직이는 물체의 경계 부분에서는 어쩔 수 없이 가리움 현상이 나타나게 되는데 이 또한 예측의 정확도를 떨어뜨리는 요인이 된다. 본 논문에서는 이러한 문제들을 해결하기 위해 몇 가지 방법들을 제안한다. 이 방법들은 광흐름 예측 문제를 이산 레이블링 문제로 치환하여 이에 대한 에너지 함수를 정의하고 이산최적화 기법을 이용하여 최적화시키는 방식을 사용한다. 우선, 움직임 경계에서의 오류를 줄이기 위하여 새로운 적응적 윈도우 매칭 기법을 제안한다. 제안한 방법은 적응적 가중치를 사용하는 큰 윈도우에 기반하고 있다. 이 가중치는 영상 미분치, 색 통계, 그리고 가리움과 같은 세 가지 유형의 조건들로 구성된다. 제안한 조건들을 이용한 광흐름 예측은 현재의 기술들에 대비해 경쟁력 있는 결과를 제시하고 특히 움직임 경계에서 뛰어난 성능을 보인다. 다음으로, 복잡하고 큰 움직임이 있는 영상들의 광흐름 예측을 위해 이산 함수와 확산 텐서에 기반한 새로운 에너지 모델을 제안한다. 제안한 모델은 광흐름 필드의 다듬질 과정이 컨볼루션 커널 필터링과 흡사하다는 점에 착안하여, 필터된 흐름과 원래의 흐름의 차를 다듬질 사전정보로 활용하게 된다. 다양한 실험을 통해 이러한 기법이 복잡하고 큰 움직임이 있는 영상에 대하여 좋은 성능을 보이고 있다는 점을 확인할 수 있다. 끝으로 새로운 가중치 기반 윈도우 매칭을 이용하여 광흐름 예측과 가리움 검출을 동시에 해낼 수 있는 기법을 제안한다. 제안한 가중치는 가리움의 밀도가 일반적으로 매우 비중이 작다는 가정을 이용하여 그것을 검출하는데 효율적인 단서를 제공하고 이러한 영역에서의 합리적인 광흐름의 추적도 가능하게 한다. 실험을 통해 제안한 기법이 광흐름 예측의 오류를 줄여줄 뿐 아니라 검출의 정확도도 높이고 있어, 결과적으로 기존의 기법보다 뛰어난 성능을 보이고 있음을 알 수 있다.

Optical flow estimation aims to find dense visual correspondences between a reference and a target images. Obtaining such dense correspondences may benefit various computer vision algorithms. For decades, many researches have been dedicated to resolve the problem, but it still remains challenging problem and is actively studied these days. Specifically, various appearance of objects may weaken implicit segmentation of flow and degrade estimation on motion boundaries. Complex and large displacement of an object may also degenerate the performance. In addition, individual movements of adjacent objects inherently produce occlusion in the target image

and may increase the estimation error as the corresponding point for the occlusion is actually undefined. In this work, we propose several methods to address these problems. Our methods construct discrete energy models for the problems and obtain solutions with discrete optimization techniques. First, to reduce errors of estimated flow around motion boundaries, we propose a novel adaptive window matching approach utilizing statistical information in the window. The proposed approach is based on using large correlation windows with adaptive support-weights. We present three new types of weighting constraints derived from image gradient, color statistics and occlusion information. Each of the proposed constraints appreciably elevates the quality of estimations, and that they jointly yield results that compare favorably to current techniques, especially on the motion boundaries. Second, to handle complex non-transitional motion with large displacement, we present a new energy model presenting discrete analog to the diffusion tensor-based regularizer. Inspired from the fact that the regularization process works as a convolution kernel filtering, we formulate the difference between original flow and filtered flow as a smoothness prior. Experiments demonstrate the proposed method yields plausible results on the various data sets including large displacement and complex motion boundaries. Third, we address occlusion by simultaneously estimate flow and detect occlusion in a single framework using a novel support-weight based window matching. The proposed support-weight provides a very effective clue to detect occlusion based on the assumption that occlusion is sparse

and also presents reasonable estimation for the flow of the occluded pixels. Our method improves the flow accuracy as well as detection performance, compared to the approach alternatively finding solutions in individual frameworks

and also yields highly competitive results outperforming the previous state-of-the-art methods.