Stereo Reconstruction using High Order Likelihoods

Abstract

Bayesian식 접근에 따라, stereo vision 에 대한 논제는 likelihood와 prior 를 정의 내림으로서 공식화 할 수 있다. MRF에서 Likelihood는 단일성 clique으로, priors는 pair-wise clique으로 흔히 해석 하고 있다. 본 논문은 고차원 clique likelihood를 제안한다. 다수의 패치 방식의 Laplacian of Gaussian 혹은 census filter들은 패치 안의 픽셀들이 모두 똑같은 깊이를 가지고 있다고 가정 하고 있다. 그러나 정합 값을 패치 안의 깊이의 함수로 정의 함으로서 모든 패치-방식 정합 값을 MRF의 고차원 clique으로 공식화 될 수 있다. 다시 말해 이미지를 깊이 정보로 투사해서 획득한 이미지 패치 가 보다 나은 정합을 만들면서 깊이 정보의 번짐 효과를 없애 줄 수 있다. 고차원 패치-방식 정합 값 MRF는 simulated annealing이나 graph cut을 clique 감소 후 사용하여 최적화할 수 있다. 패치-방식 정합 값들 중에서 linear filter와 census filter들은 pair-wise로 쉽게 clique 감소시킬 수 있다. 또한 이 논문에서는 window annealing이라는 표본법식의 최적화 방법론을 소개 한다. 다방면의 고차원 likelihood에 대한 실험 결과를 independent and identically distributed 모델을 기반을 둔 단일성 likelihood보다 나은 이점들을 보여 주고 있다.

Under the popular Bayesian approach, a stereo problem can be formulated by defining likelihood and prior. Likelihoods are often associated with unary terms and priors are defined by pair-wise or higher cliques in Markov random field (MRF). In this dissertation, likelihood is proposed using higher order cliques. Numerous patch based matching methods such as normalized cross correlation, Laplacian of Gaussian, or census filters are under the naive assumption that a patch's pixels all have same disparities. However, patch-wise cost can be formulated as higher order clique for MRF so that the matching cost is a function of image patch's disparities. A patch obtained from a projected image by disparity map should provide a better match without the blurring effect around disparity discontinuities.

The high order patch-wise matching cost MRF can be optimized using simulated annealing or graph cut after clique reduction. Among patch-wise matching costs, linear filter and census filter approaches can be easily reduced to pair-wise cliques. Also, fast sampler based optimization scheme call window annealing is introduced for general high order optimizations. The experimental results on various high older likelihoods demonstrate the advantages of high order likelihood over independent identically distributed unary model.