Modulation and Regression based Hybrid Thermal Sharpening of Landsat-8 TIRS Imagery Using Fractional Urban Cover

Abstract

원격탐사 플랫폼으로부터 취득된 열 데이터는 전지구적인 생물리학적 현상들을 조사하는 유용한 자료로서 활용되고 있다. 하지만 열적외선 원격탐사 시스템이 가진 공간해상도와 분광해상도의 trade-off 관계로 인해, 다수의 열적외선 원격탐사 센서는 공간해상도 측면에서의 제약이 따른다. 열적외선 원격탐사는 산불, 화산할동, 토지피복분류 및 도심열섬현상 등에 주로 활용되지만 Landsat-8, ASTER (Advanced Spaceborne Thermal Emission and reflection Radiometer) 영상과 같은 중해상도 열적외선 센서는 낮은 공간해상도로 인해 이러한 활용에서의 한계점이 존재한다.

이러한 문제를 개선하기 위해, NDVI (Normalized Different Vegetation Index) 및 FVC (Fractional Vegetation Cover)와 같은 식생 지수 기반의 열적외선 공간해상도 향상 알고리즘이 선행연구를 통해 제안되었다. 이 방법들은 식생지역과 같은 균일한 지역에서의 공간적 세밀함을 보존하지만 불균일한 토지피복 패턴이 나타나는 도심지역에서의 공간적 세밀함의 보존에는 한계를 보인다. 이에 본 연구에서는 도심지역 열영상 융합 과정에서 공간적 세밀함의 보존과 동시에 분광적 특성을 보존하기 위해 입력 변수와 모델 선정을 통해 개선된 융합 알고리즘을 제안하였다.

첫째, 열융합 알고리즘의 입력 변수로서 도심 피복 비율 지수 (FUC: Fractional Urban Cover)를 제안하였다. 도심 피복 비율 지수는 VIIRS (Visible Infrared Imaging Radiometer Suite) 센서의 야간시간대 빛 영상 (NTL: Night-Time Light)을 이용하여 생성되었다. 둘째, 분광적 특성의 보존을 위해 최소제곱회귀 분석 및 고주파 변조 분석 기법을 동시에 이용하는 모델을 제안하였으며, 해당 융합 모델을 변조와 회귀 기반의 하이브리드 열영상 융합 모델 (MRHTS: Modulation and Regression based Hybrid Thermal Sharpening)이라 명명하였다. 최종적으로 본 연구에서 FUC 입력 변수를 이용하여 변조와 회귀 기반의 하이브리드 열영상 융합 모델을 통해 향상된 공간해상도의 열영상을 생성하였다 (MRHTS-FUC).

본 연구에서는 Landsat-8의 다중분광 센서 (OLI: Operational Land Imager), 열적외선 센서 (TIRS: Thermal InfraRed Sensor) 및 VIIRS 야간시간대 빛 영상을 이용하여 제안하는 알고리즘을 적용하였다. 제안된 방법으로 생성된 열영상의 품질 평가를 위해 회귀 기반 열영상 융합 (RTS: Regression based Thermal Sharpening)모델과 식생지수 기반의 입력 변수를 이용하여 생성된 열융합 영상과의 비교평가를 수행하였다. 영상품질평가를 위한 프로토콜은 Synthesis 및 Consistency 특성이 이용되었다.

Synthesis 특성에 대하여, SSIM (Sturctural SIMilarity)과 UIQI (Universal Image Quality Index)의 값은 제안한 알고리즘 (MRHTS-FUC)에서 가장 높은 값을 나타내었다 (0.8013 및 0.8356). 이러한 결과는 제안하는 MRHTS 열융합 모델이 FUC 입력 변수의 공간적 세밀함을 효과적으로 반영한다는 것을 나타낸다. Consistency 특성에 대해서는 제안하는 MRHTS 열융합 모델이 모든 영상품질평가 지수에 대하여 RTS 열융합 모델보다 더 좋은 결과를 보여주며 융합 영상에서의 분광적 특성의 보존을 잘 나타낸다. 시각적 평가에서도 제안하는 알고리즘의 결과가 도심 피복에서 공간적 세밀함을 가장 잘 표현하였다.

영상품질 평가와 실험 결과, 본 연구에서 제안한 MRHTS-FUC 알고리즘은 분광적 특성 및 공간적 특성을 효과적으로 보존함으로써 도심지역 열적외선 영상의 공간해상도를 향상하였다. Landsat-8 열적외선 영상의 100-m 공간해상도는 다중분광 센서의 공간해상도인 30-m 수준으로 개선되었다. 향상된 공간해상도의 열영상을 통해 도심 피복 스케일보다 더 세밀한 생활권 및 주거 패턴 기반의 도시 형태학 분석이 가능할 것으로 기대되는 바이다.

Thermal data produced from remotely sensed data are significant parameters for investigating biophysical phenomena. However, the spatial resolution of TIR sensors is consequently constrained by the trade-off between spatial and spectral resolutions in Thermal InfraRed (TIR) remote sensing systems. Notable applications of thermal data include wildfires, volcanic activity, and land cover classification, but usage of remotely sensed data are limited to medium-resolution sensors such as Landsat-8 or Advanced Spaceborne Thermal Emission and reflection Radiometer (ASTER) products.

In order to address this problem, various thermal sharpening methods of TIR data based on the Vegetation Index (VI), such as Normalized Different Vegetation Index (NDVI) and Fractional Vegetation Cover (FVC), have been developed to sharpen the coarser spatial resolution of TIR data. Although these methods exhibited a sufficient level of effectiveness, preservation of spatial details in the original TIR data still proved to be difficult, especially in urban areas due to the presence of heterogeneous land cover patterns.

This study has improved the conventional thermal sharpening algorithm by modifying the input index and sharpening model. First, a novel index referred to as Fractional Urban Cover (FUC) is proposed for the thermal sharpening algorithm for Landsat-8 Thermal Infrared Sensor (TIRS). The FUC index is based on Visible Infrared Imaging Radiometer Suite (VIIRS) Day/Night Band (DNB) Night-Time Light (NTL) imagery. Second, to minimize the distortion of spectral features, a Modulation and Regression based Hybrid Thermal Sharpening (MRHTS) model, combined Least Square Regression (LSR) analysis and High Pass Modulation (HPM) were applied for Landsat-8 TIRS imagery. The proposed image sharpening algorithm using the MRHTS framework with the FUC index as its input is abbreviated as MRHTS-FUC.

The MRHTS-FUC algorithm was applied to Landsat-8 Operational Land Imager (OLI), TIRS and VIIRS NTL images in the urban area. The proposed algorithm was compared with algorithms based on the Regression-based Thermal Sharpening (RTS) model and input variables: RTS-NDVI (DisTrad), RTS-FVC (TsHARP), RTS-FUC, MRHTS-NDVI, and MRHTS-FVC. Quantitative evaluation of the resulting sharpened images was conducted in terms of the synthesis and consistency properties.

Regarding the synthesis property, Structural SIMilarity (SSIM) and Universal Image Quality Index (UIQI) yielded the highest values for the proposed method with values of 0.8013 and 0.8356, respectively. These results indicate that the proposed MRHTS framework effectively reflected the spatial details of the thermal imagery from the FUC index in this study. Regarding the consistency property, the proposed MRHTS framework returned better results over the RTS framework with respect to all of the image quality indices. In addition, visual analysis of the results revealed that the proposed algorithm successfully extracted spatial detail not only in vegetation areas but also in urban land cover, while preserving the spectral information.

The experimental results demonstrated that the proposed algorithm was successfully applied to the TIR data, particularly in urban areas through quantitative and visual assessments. As an extension to the results from this study, urban morphology analysis of biotope and settlement structures can be conducted by enhancing the 100-m spatial resolution of Landsat TIR images to match the finer 30-m resolution of multispectral sensors.