Improving Geometric Consistency of VHR Satellite Imagery Using Persistent Tie Points

Abstract

According to the rapid increase recently in very-high-resolution (VHR) optical satellites with submeter spatial resolutions, the amount of available image resources has increased substantially over time, leading to many studies with high value-added outputs. A fundamental process for improving geometric consistency is required to facilitate accurate and reliable analysis of the large volume of images being continuously amassed. This thesis focuses on developing an effective block adjustment (BA) method based on persistent tie point (PTP), improving the geometric consistency of the multi-temporal VHR imagery over the same scene simultaneously. A useful and timely VHR dataset inevitably comprises multi-temporal images obtained from different satellites because VHR optical satellites are operated upon weather conditions, the presence of an effective light source, and predominantly on-demand image acquisition schedules. Precise image and ground coordinates of tie points (TPs) are necessary to improve the geometric consistency of this multi-temporal and multi-sensor dataset successfully through BA. However, existing technologies have yet to resolve batch processing of more than two multi-temporal images because most established studies on improving geometric consistency have been conducted using only two images. Moreover, estimating accurate ground coordinates of TPs required for BA is daunting because of the unstable geometric configuration between multi-sensor images. Accordingly, this thesis proposes and uses the PTP, a point located in identical positions throughout multi-temporal images. A PTP has the advantage that its ground coordinates can be precisely estimated by integrating the positioning information from multi-temporal VHR images. A novel, comprehensive method to obtain image and ground coordinates of the PTP is proposed in this thesis. The proposed method consists of three sequential processes: (1) extraction of PTPs, (2) ground coordinate estimation of PTPs, and (3) refinement of PTPs. Each process was developed based on the following procedures to manipulate multi-temporal and multi-sensor VHR satellite images. The grid-based scale-invariant feature transform (SIFT) method and matching matrix comparison method are proposed and used in this thesis to extract PTPs among multiple images efficiently. The ground coordinates of the extracted PTPs can be estimated more accurately by applying a novel spatial differential technique to multiple observations using a binocular stereo intersection. The PTPs with unreliably estimated ground coordinates and image location errors are removed from the remaining PTPs for BA to ensure the high precision of their image and ground coordinates. Based on the precise results of the sequential three processes, BA is accomplished to reduce the relative positioning error of multi-temporal and multi-sensor images. The effectiveness of the proposed method related to the PTP was verified using 12 multi-temporal and multi-sensor VHR images through (1) accuracy of the proposed PTP extraction method and (2) accuracy of the estimated PTPs ground coordinates. The proposed PTP extraction method could extract PTPs with notable correctness of 93.05% without using a conventional mismatch elimination process such as random sampling consensus (RANSAC). Compared with the ray-tracing-based method continuously used for the TPs ground coordinate estimation of unstable geometry configurations, the proposed PTP intersection method demonstrated its capability of obtaining more accurate ground coordinate estimates. Finally, quantitative assessments using independent check points (ICPs) and qualitative assessments using checkerboard visualizations and comparisons with digital topographic maps were conducted to validate the proposed PTP-based BA methods effectiveness in improving the geometric consistency of the 12 multi-temporal and multi-sensor VHR optical satellite images. Based on the quantitative assessment, the usefulness of PTPs for BA of multi-temporal and multi-sensor images was quantitatively demonstrated—the average planar root mean square errors (RMSEs) of relative errors between 12 orthorectified images was calculated as 1.97 m via the PTP-based BA without GCPs. The effectiveness of the PTPs for BA was also qualitatively validated—the seamless checkerboard image of all multi-temporal orthorectified images with refined rational function model (RFM) via BA could be generated. Moreover, the orthorectified images corresponded well with the digital topographic map. The practical PTP-based BA method proposed in this thesis has profound implications for targeting multi-temporal VHR images over the same scene. Previous studies did not address any applicable technique to implement BA for this type of dataset successfully. The improved geometric consistency via the proposed method is expected to facilitate applications that can fully exploit the existing large volumes of VHR image datasets and the vast number of datasets acquired by future satellites. Furthermore, the method could influence a wide array of remote sensing-based applications because it can be individually applied to any multiple optical satellite dataset, regardless of the sensor and acquisition time.

최근 1m 이하의 고해상도 광학위성의 수가 급증함에 따라 해당 영상자원이 풍부해지고 있으며, 이를 활용해 고부가가치 산출물을 생산하는 연구가 이어지고 있다. 기구축된 고해상도 광학위성영상자원을 효율적으로 활용하기 위해서는 다시기 고해상도 위성영상의 기하일치성(geometric consistency)을 향상시킬 수 있는 기술이 필요하다. 본 연구는 동일한 지역에 대한 다시기 고해상도 광학위성 영상의 기하일치성을 일괄적으로 향상시키고자 지속결합점(Persistent Tie Point, PTP) 기반의 블록조정(block adjustment) 기술을 개발하였다. 다시기 고해상도 광학위성영상 활용연구는 여러 고해상도 위성을 통해 취득된 다중센서 영상을 사용하게 되는데, 이는 광학센서를 통한 영상의 취득이 기상 상태와 광원의 유무에 의존적이고 고해상도 위성은 요청에 따라 세워진 계획에 의해 영상을 취득하기 때문이다. 블록조정을 통해 다시기 다중센서 영상 간의 기하일치성을 효과적으로 향상시키기 위해서는 영상 간의 기하일치성을 향상시키는데 중요한 역할을 하는 결합점(Tie Point, TP)의 영상 및 지상좌표를 정확하게 추정하여 이용해야 한다. 그러나 대다수의 기존 연구는 두 장의 영상을 고려하여 개발되어 있으므로, 기존 기술로는 여러 장의 다중센서 영상 간 기하일치성을 일괄적으로 향상시키는데 한계가 존재한다. 더욱이, 다중센서 영상 간의 불안정한 기하배치로 인해 블록조정에 필요한 결합점의 정확한 지상좌표를 추정하기 어렵다는 문제 또한 존재한다. 본 연구는 이러한 한계점을 극복하기 위해 여러 장의 다시기 다중영상에서 공통적으로 추출되는 결합점을 지속결합점으로 정의하고 이용하였는데, 이는 여러 영상에서 비롯되는 위치정보를 통합할 수 있으므로 지속결합점의 지상좌표를 보다 정확하게 추정할 수 있기 때문이다. 구체적으로 본 연구는 지속결합점의 영상 및 지상좌표를 추정할 수 있는 종합적인 기술을 개발하였다. 지속결합점과 관련된 기술은 (1) 지속결합점 추출과 (2) 지속결합점 지상좌표 추정, (3) 지속결합점 정제의 순차적인 세 단계로 구성되며, 각 단계는 다시기 다중센서 고해상도 광학영상에 적용될 수 있는 다양한 세부 기술을 포함한다. 우선, 격자(grid) 기반의 SIFT(Scale-Invariant Feature Transform) 기법과 정합행렬(matching matrix) 기반의 비교 기술을 제안하여 지속결합점을 효율적으로 추출하였다. 추출된 지속결합점의 지상좌표는 두 장의 영상을 전방교회(intersection)한 여러 개의 관측값을 통합하여 더욱 정확하게 추정하였다. 다음으로 불안정한 지상좌표를 가진 지속결합점과 지속결합점 내에 포함된 영상 위치 오차를 제거하여 지속결합점의 영상 및 지상좌표의 정밀성을 향상시켰다. 일련의 과정을 통해 성공적인 블록조정 수행을 위한 전제조건인 지속결합점의 영상 및 지상좌표의 정밀성을 확보하였으며, 최종적으로 지속결합점 기반 블록조정을 수행하여 다시기 다중영상의 기하불일치성을 효과적으로 감소시켰다. 제안된 지속결합점 관련 기술의 효율성은 12장의 다시기 다중센서 고해상도 위성영상을 이용하여 검증되었으며, (1) 지속결합점 추출 기법의 정확도와 (2) 지속결합점 지상좌표 추정의 정확도를 확인하였다. 실험을 통해, 제안 기술은 다시기 다중센서 영상의 지속결합점을 93.05%의 정확도로 추출할 수 있음을 확인하였다. 또한, 제안 기술은 불안정한 기하배치의 영상 간 결합점의 지상좌표 추정에 지속적으로 적용된 광선추적(ray-tracing-based) 기법보다 더욱 정확하게 지속결합점의 지상좌표를 추정하였다. 마지막으로 검사점을 활용한 정량평가와 정사영상을 이용한 정성평가를 진행하여 지속결합점 기반 블록조정 기법을 이용한 다시기 고해상도 위성영상의 기하일치성 향상을 확인하였다. 지상기준점(Ground Control Point, GCP) 없이 지속결합점만을 이용하여 블록조정된 RFM(Rational Function Model)과 수치표고모형(Digital Elevation Model, DEM)을 이용하여 생성된 12장의 다시기 정사영상(ortho-image) 간 수평방향 상대오차의 평균제곱근오차(Root Mean Square Error, RMSE) 평균값이 1.97m로 감소되었으며, 이를 통해 제안된 지속결합점 기반 블록조정 기법의 효용성을 정량적으로 확인하였다. 최종적으로 정사영상의 비교영상을 제작하여 비교영상간 기하일치성을 검증하고, 수치지도와의 비교를 통해 정사영상의 절대기하정확도 또한 검증하였다. 이를 통해, 제안된 지속결합점 기반 블록조정의 효과를 정성적으로 확인하였다. 본 연구에서 제안된 지속결합점 기반 블록조정 기술은, 기존의 블록조정 연구로 극복하기 어려운 동일지역에 대한 다시기 다중센서 영상 간 부족한 기하일치성을 효과적으로 향상시킨다는 점에서 의의를 갖는다. 제안된 기술을 통해 기하일치성이 향상된 활용성이 높은 다시기 고해상도 영상자원의 생성이 가능하며, 기존에 구축된 고해상도 위성영상자원과 향후 고해상도 위성 촬영계획에 따라 취득될 위성영상자원의 활용성을 높임으로써 다양하고 심도 있는 고해상도 위성영상 활용연구를 촉진할 것으로 기대된다. 뿐만 아니라, 제안 기술을 이루는 다양한 세부기술들은 영상의 취득 시기 및 위성 종류에 관계없이 적용될 수 있으므로 원격 탐사 기술을 활용하는 광범위한 분야에 이용될 수 있을 것이다.