3D Surface Reconstruction Using Region-Based Features

Abstract

The proposed method presents a multi-view stereo (MVS) method using region-based features. The main goal is to reconstruct 3D surface from multiple images of same scene which have some small objects and huge non-textured part as a background. At first, by region-based features, the image is separated into two parts; object and background. Secondly, two depth maps are computed by two distinct MVS algorithms; standard MVS, Manhattan-world stereo. At last, 3D surface is reconstructed by merging two previous depth maps. That is, 3D surface object part is reconstructed by depth map from standard MVS, and 3D surface of background part is reconstructed by depth map from Manhattan-world stereo. One major problem of previous MVS algorithm is that it cannot perform well in non-textured region because it is based on window matching method. On the other hand, Manhattan-world stereo performs well with non-textured region, but it cannot perform well if the surface of object is curve. Thus, these two distinct MVS algorithms have their own specialties. The former performs well in curved object, and the latter performs well in non-textured region. The proposed method merges advantages of two algorithms, and avoids disadvantages by applying two algorithms simultaneously, but in different part of image. By using region-based features, the proposed method divides an image into object and background regions, and it applies two distinct MVS algorithms to two regions respectively. The proposed method is tested on two ways; in terms of salient object detection and in terms of 3D surface reconstruction. Experiments show that the proposed method performs well to detect salient object compared to previous algorithms, and it also performs well to reconstruct 3D surface.

Multi-view stereo (MVS)란 서로 다른 시점을 가진 2개 이상의 이미지를 이용해 해당 이미지에 나타나는 물체들의 3D 표면을 복원하는 것이다. 기존의 MVS의 경우 window를 이용해 서로 다른 이미지에서 같은 부분을 찾아내는 방식을 기반으로 하기 때문에, non-textured 영역이 이미지 내에 존재할 경우 그 영역에 대해 나쁜 성능을 보인다. 이와 반대로, Manhattan-world stereo는 Manhattan-world assumption을 만족하는 이미지에 대해서 좋은 성능을 보이는데, 이는 일반적으로 건물 내부의 구조에 관한 이미지로서, 많은 non-textured 영역을 포함하고 있다. 하지만, Manhattan-world stereo는 일반적인 구형의 물체에 대해서 3D 표면을 제대로 복원하지 못한다는 단점이 있다. 따라서, 본 논문에서는 위의 두 알고리즘의 장점만을 결합하여 좀 더 복잡한 이미지에 대해 좋은 성능을 보일 수 있도록 하는 방법을 제안한다. 이를 위해 영역 기반 특성들을 이용해 이미지를 object와 background로 분리한 뒤, object 영역에 대해 기존의 MVS를 적용하고, background 영역에 대해 Manhattan-world stereo를 적용한다. 즉, 본 논문에서는 두 개의 MVS 알고리즘이 좋은 성능을 낼 수 있는 영역에 대해 각기 다르게 적용한 뒤, 그 결과를 합침으로써 보다 좋은 성능을 내는 MVS 알고리즘을 제안한다. 본 논문에서는 제안된 알고리즘을 두 가지 기준으로 실험하여 평가하였다. 첫 번째는 object영역을 잘 탐색하는가에 관한 실험이다. 기존에 있는 salient object detection 알고리즘과의 비교 실험을 통해, 제안된 방법이 기존에 존재하는 salient object detection 실험에서도 좋은 성능을 보였고, 본 논문에서 필요로 하는 이미지에 대해서도 좋은 성능을 보이는 것을 확인하였다. 둘째로는 3D 표면을 재구성하는 실험으로, 기존의 MVS와 Manhattan-world stereo의 장점을 합쳐서 좋은 결과를 내는 것을 확인하였다.