Document Image Dewarping based on the Document Boundary and 3D Reconstruction

Abstract

In recent days, most of the scanned images are obtained from mobile devices such as cameras, smartphones, and tablets rather than traditional flatbed scanners. Contrary to the scanning process of the traditional scanners, capturing process of mobile devices might be accompanied by distortions in various forms such as perspective distortion, fold distortion, and page curls. In this thesis, we propose robust dewarping methods which correct such distortions based on the document boundary and 3D reconstruction. In the first method, we construct a curvilinear grid on the document image using the document boundary and reconstruct the document surface in the three dimensional space. Then we rectify the image using a family of local homographies computed from the reconstructed document surface. Although some of the steps of the proposed method have been proposed separately in other research, our approach exploited and combined their advantages to propose a robust dewarping process in addition to improving the stability in the overall process. Moreover, we refined the process by correcting the distorted text region boundary and developed this process into an independent dewarping method which is concise, straight-forward, and robust while still producing a well-rectified document image.

최근에는 대부분의 스캔된 이미지들이 전통적인 평판스캐너가 아닌 카메라, 스마트폰, 태블릿 PC 등의 휴대기기들로부터 얻어진다. 이전 스캐너들의 스캐닝 과정과는 다르게 휴대기기들을 이용한 이미지 캡쳐링 과정은 원근왜곡, 종이의 접힘으로 인한 왜곡, 그리고 종이의 휘어짐으로 인한 왜곡 등 다양한 왜곡들을 수반할 수 있다. 이 논문에서는 이러한 왜곡들을 제거할 수 있는 문서 경계와 3차원 재구성에 기반한 강력한 디워핑 방법을 제안하고자 한다. 첫번째 방법에서는, 문서 경계를 이용하여 문서 이미지 위에 곡선으로 이루어진 그리드를 만들고, 3차원 공간 상의 문서 곡면을 재구성한다. 그리고 재구성된 문서 곡면으로부터 계산된 국소적 호모그래피들을 이용하여 이미지를 수정한다. 우리가 제안하는 방법의 몇몇 단계는 다른 연구에서 개별적으로 사용된 경우도 있지만, 우리는 전체적인 과정에서 안정성을 높이는 동시에 각 방법의 장점들을 이용하고 조합하여 강력한 디워핑 방법을 제안한다. 이에 더하여, 우리는 왜곡된 텍스트 영역의 경계를 수정하여 전체적인 과정을 보완하였고, 이 절차를 간결하고, 직관적이며, 강력하면서도 좋은 결과를 내는 독립적인 디워핑 방법으로 개발하였다.