Disparity Estimation for Images from Different Environments and Its Applications

Abstract

두 영상 간의 이미지 매칭은 한 영상에서 특정 물체 또는 부분이 다른 영상에서 어디에 위치하는지를 찾는 것으로, 영상처리, 비젼 등의 분야에서 스테레오 비젼, 물체 추적, 영상 정합 등의 어플리케이션에 필수적인 요소로 사용된다. 일반적으로 매칭을 하는 두 영상은 서로 동일한 색 또는 밝기 값을 가지거나 거의 유사한 값을 가진다. 이러한 영상의 매칭의 측정에는 Sum of Absolute Difference (SAD), Sum of Squared Difference (SSD), Normalized Cross Correlation (NCC), Normalized Mutual Information (NMI), Phase Correlation (PC) 등의 다양한 측정 방식들이 사용되는데 비슷한 밝기 값을 가지는 대부분의 어플리케이션에서 성공적인 결과를 보인다. 하지만 주파수 또는 조명 등의 환경이 달라짐으로 인해 두개의 영상이 동일한 물체에 대해 서로 다른 밝기 값을 가질 수 있다. 이러한 예는 컬러 영상의 RGB 각 채널, 플래쉬영상과 일반조명영상, 하이퍼 스펙트럴 영상 (hyper-spectral image)에서 찾을 수 있는데, 환경의 차이로 인해 두 영상 간에 유사한 부분도 존재하지만 많은 부분에서 서로 다른 모습을 보이게 된다. 이러한 영상들의 매칭에 기존의 측정방식들을 사용할 경우 영상의 차이에 대한 부분이 고려되지 않아 좋은 결과를 얻기 어려워 새로운 측정방식이 요구 된다. 컬러 영상의 각 채널, 플래쉬영상와 일반영상, 하이퍼 스펙트럴 영상의 각 주파수 영상들은 서로 다른 모습을 보이지만 상호 높은 상관 관계를 보이고 있으며, 크게 세 가지의 특징을 보인다. 첫째, 변화는 유사하더라도 밝기값의 높이 차이가 존재한다. 둘째, 변화의 방향이 반대인 경우가 존재한다. 다시 말해 그래디언트 (gradient)가 반대의 부호를 가지는 경우인데 동일한 픽셀 위치에서 한 영상은 밝기 값이 커지고 다른 영상은 밝기 값이 작아지는 경우이다. 셋째, 밝기 값의 변화의 정도가 다른 경우가 발생한다. 이러한 세 가지 특징들이 기존 측정방식들이 매칭에서 오류가 발생하도록 하는 이유가 된다. 이외에도 서로 유사성을 찾을 수 없는 변화를 보이는 경우도 존재하지만 이 부분에 대한 매칭은 기술적으로 어려우므로 주위 픽셀들의 매칭 결과에 영향을 받도록 한다. 제안 하는 매칭 모델과 측정방법은 위에서 언급한 세가지 문제를 포함하여 서로 다른 환경으로 인해 달라진 영상에 대한 매칭을 효율적으로 수행할 수 있도록 한다. 첫번째로, 밝기 값의 차이는 그래디언트 도메인에서의 매칭으로 해결될 수 있다. 실제 밝기 값 자체는 차이가 있지만 변화량은 유사한 모습을 보이므로 그래디언트 도메인에서의 처리가 상관도를 높일 수 있다. 두번째, 반대 방향으로의 변화는 한 영상을 고정시키고 다른 영상을 뒤집어 유사도를 측정하여 처리할 수 있다. 같은 방향과 반대 방향 두가지 모두를 고려하여 유사도를 측정하여 그래디언트 반전에도 대응할 수 있다. 세번째는 그래디언트의 변화의 정도가 다른 경우인데 두 영상 간의 그래디언트 차이를 로그 스케일과 같은 형태의 함수로 처리하여 변화의 정도가 다를 경우에도 영향을 적게 받도록 한다. 이와 더불어 한쪽 영상에서 그래디언트의 변화가 작고 다른 영상에서 변화가 클 때 두 영상의 형태의 유사성을 측정하여 다른 부분과 잘못 매칭되는 것을 방지한다. 제안하는 매칭 모델은 MAP-MRF (Maximum a Posteriori-Markov Random Fields)을 기반으로 하여 위에서 언급한 대처방안들이 처리되도록 에너지 항들을 정의하며, 그래프 컷(Graph cuts)을 이용하여 최적화하게 된다. 제안하는 알고리즘은 크게 3가지 어플리케이션에 적용 되었다. 첫번째는 자동초점으로 디지털 카메라에 R과 B 컬러 필터를 채용한 이중 조리개를 장착하여 적은 비용으로 빠른 자동초점 기능을 구현하였다. 각각의 조리개를 통과한 빛은 이미지의 R과 B 채널에 각각 저장되는데 두 영상은 초점이 맞을 경우 물체 위의 한 점이 동일한 위치에 일치하여 나타나게 되지만 초점이 맞지 않을 경우 흐려지면서 서로 다른 위치에 나타나게 된다. 그 위치의 차를 구하게 되면 카메라로부터 물체까지의 거리와 초점이 맞는 초점 렌즈의 위치를 알 수 있게 되므로 바로 초점을 맞출 수 있다. 두번재 어플리케이션은 촬영한 영상으로부터 깊이 맵을 구하는 것으로 자동초점과 동일한 카메라 시스템에서 영상 각 점들에 대한 깊이 맵을 구하게 된다. 세번째 어플리케이션은 플래쉬 영상과 일반조명영상의 매칭으로, 플래쉬와 일반조명영상은 컬러 채널 간의 경우와 같이 동일한 특징을 가지므로 같은 매칭 모델과 측정방법을 사용하여 매칭할 수 있다. 본 논문은 이종환경의 영상을 매칭하는 확률모델과 거리 측정 방법을 제시하여 효율적으로 영상들을 매칭할 수 있도록 하였으며, 자동초점, 깊이맵, 플래쉬영상 매칭과 같은 어플리케이션에서 기존 방식들에 비해 보다 효과적으로 매칭할 수 있음을 보였다. 제안된 방법은 컬러 채널 차이, 조명 차이와 같은 환경 뿐만 아니라 유사한 특성들을 가지는 다른 환경에도 적용 될 수 있다.

This dissertation proposes a MAP-MRF model and measures to find disparities between a pair of images from heterogeneous environments, for example, different color sensors (R/G/B), multi-spectral data from a satellite, and different illuminations, etc. The shape of signals in each image is often different from each other even if the same scene is captured, and thus most conventional measures using low level features fail to find correct disparity. The main interests in this dissertation are the matching and disparity estimation of images from different spectral sensors, where there have not been much researches on this subject. First, the environment that needs the matching between different spectral pairs is studied and the characteristics of color images are analyzed statistically. New model and measures for matching the images from heterogeneous environments are designed from the analysis. The developed model and measures are also directly applicable to the case of images from the same or little different environments, like most of image matching problems.

Although there are certain amount of correlations between R, G, and B color components mutually, matching the heterogeneous-color images is not easy because they can have quite different signal shape. It is found that there are several properties to note when studying the matching problem between the different channel images. First, some parts of the image pairs have a very low correlation and the scale of the gradient variations is different at each pixels. Next, the shape of a signal in a channel can have different changes from the other one near the object boundaries when the colors are changing. That is while a signal of a channel has positive edge, the other one often remains constant or has negative edge. However, converting images into the gradient domain drastically increases the correlation and the reverse variation can also be explained in the gradient domain. In addition, the channel dependency can be manifested if the shape dependency is also studied. In summary, the gradients and the shapes of signals are considered for the matching between different channel images in this dissertation.

The proposed matching method is based on the MAP-MRF model, where the cost functions are designed suitable for the heterogeneous pair of images. The unary terms have the likelihood that considers the reverse edge condition and a shape dissimilarity. The pairwise terms have the prior of the smoothness assumptions for the disparity and the reverse indication factor. Several measures are also proposed and the cost functions are modified for several applications.

Several practical applications that can be benefited by the proposed method are also discussed. The fist one is the improvement of a camera autofocus scheme. A camera employing dual aperture with color filters makes the disparity between the color channels when the object is out of focus. The dual aperture divides incoming light rays into two bunches as to the traveling path. The color filters transmit the light rays passing an aperture to the color channel having the same color only, and prevent the mix of the rays passing both apertures. The image acquired from the camera has the disparity depending on the distance from focusing position to the object. The disparity between two color channels in the image is estimated by the proposed similarity measure. The proposed method is implemented in a commercial compact camera, and it has been demonstrated that the method finds the focus in a wide range of distance and illumination conditions. This autofocus algorithm is cost-effective and faster than the contrast measure method for compact camera.

The second application is the depth estimation, which is one of the most important problems in image processing and computer vision. The MAP-MRF model with the proposed measure is optimized by a graph-cut algorithm to generate the depth map. It is shown that the proposed method can handle the image pairs from different color channel and generate a coarse depth map. The depth map can be utilized to improve the intelligent autofocus and also to find the distance of an object in the scene.

Another application is flash/non-flash image matching. The flash lights brighten objects in inverse proportion to distance, but cause the similar variations to the matching between different color channels. The proposed method can effectively find the corresponding matching patches between the flash/non-flash image pairs.