Local Climate Zone Classification Using Multi-Scale Convolutional Neural Networks

Abstract

2018년 발표된 UN 세계 도시화 전망에 대한 보고서에 따르면 세계의 도시인구는 꾸준히 증가하여 2050년까지 3명 중 2명은 도심지에 거주할 것으로 예상하고 있다. 이러한 도시화 증가 추세에 따라 도시 모니터링을 이용한 지속 가능한 개발의 필요성이 대두되고 있다. 도시 기후 모니터링 연구는 도시 공간과 장소를 기반으로 하기 때문에 공간정보의 활용이 필수적이다. 그러나 도시 기후 모니터링을 위해 사용되는 기존 공간정보에는 분류 기준이 구체적이지 않다는 한계가 존재하는데, 널리 사용되는 토지피복도는 도시의 기능을 기준으로 설계되어 기후와 관련된 특성이 포함되지 않고, Global Urban Footprint와 같은 도시 관련 공간정보는 도시 및 비도시 지역의 이진 분류로 제한되어 활용성이 낮다. 이러한 문제를 극복하기 위해 국지기후대 (Local Climate Zone, 이하 LCZ)라는 표준체계가 고안되었고 다양하게 활용되고 있는데, 이 체계는 토지 피복 종류와 표면 특징 등을 복합적으로 고려하여 공간을 총 17개의 항목으로 세밀하게 분류한다. LCZ는 두 개의 클래스로 지역을 구분하며, 시가지(built-up) 클래스는 건물의 높이와 배열 특성, 토지 피복의 종류 등 총 10개의 항목을 고려하고, 자연(natural) 클래스는 식생의 종류와 분포 정도, 토지 피복의 특성 등의 총 7개 항목을 기준으로 구역을 분류한다.

정밀한 도시 기후 모니터링을 위해서는 정확도 높은 LCZ 분류가 요구되며 최근에는 원격탐사 및 지리정보시스템(Geographic Information System) 기술의 발전에 따라 LCZ 분류를 위해 지도학습(Supervised Learning) 방법이 널리 사용되고 있다. 기존의 많은 연구에서 사용된 대표적인 기계학습 알고리즘인 Random Forest(RF) 알고리즘은 모델의 얕은 깊이로 인해 밀집된 도심지역과 같이 비균질하고 복잡한 지역에 적용하기 어렵다는 한계가 있다. 최근의 연구에서는 RF의 한계를 보완할 수 있는 방법으로서 합성곱 신경망(Convolutional Neural Network, 이하 CNN) 기법이 제안되었는데, 이 기법은 입력 영상 데이터의 지역적 정보를 더 효과적으로 학습시키며 RF보다 높은 분류 정확도를 갖는 것으로 나타나 활발하게 연구되고 있다.

본 논문에서는 도시 기후 모니터링을 위한 LCZ 분류 기법으로서 딥러닝 기반의 LCZ 분류 프레임워크를 제안하며, 구체적으로는 샘플링 방법론과 다중 스케일 (MS) 레이어를 활용한 세 가지의 딥러닝 기반 분류 모델을 제안한다. MS 레이어는 다양한 크기의 합성곱 필터를 입력 영상에 적용시켜 다양한 국부 수용영역(receptive field)을 가진 특성맵(feature map)을 추출하여 정확도를 높이는데, 이는 다양한 축척으로 입력 영상의 지역적 정보를 학습시키는 방법이다. 본 논문에서 제안하는 세 가지 모델은 다중 스케일 CNN(MSCNN), 다중 스케일 ResNet(MS-ResNet), 그리고 다중 스케일 convolutional block attention module(MS-CBAM)로, MS-ResNet은 잔차학습(residual learning)을 활용하여 MSCNN에 비해 더 깊으며, MS-CBAM은 다중 스케일 레이어와 더불어 채널 및 공간적 attention을 통해 LCZ 분류 정확도를 향상시킬 것으로 기대되었다.

본 논문에서 도출한 핵심적인 결과물은 1) 기존 딥러닝 기반 LCZ 분류 모델보다 향상된 정확도의 프레임워크 제안, 2) 모델 및 데이터의 이전(transferability) 가능성 평가, 3) 도시 별 LCZ 분류 및 비교 분석, 4) 추가 데이터 입력을 통한 분류 정확도 향상이며 이를 달성하기 위한 네 가지 주요 실험이 수행되었다.

모든 실험에서 제안된 모델이 벤치마크 모델보다 높은 분류 정확도를 기록하였는데, 첫 번째 실험인 모델 성능 평가에서는 MS-CBAM이 가장 높은 OA(88.59%±0.20%)를 기록하여 높은 성능의 모델로 나타났고, MS-ResNet(88.43±0.38%)과 MSCNN(86.79%±0.17%)이 다음으로 높은 정확도를 보였다. 두번째 실험에서는 수치표면모델(Digital Surface Model, 이하 DSM)의 높이 정보를 모델에 입력하여 MS-CBAM의 정확도를 최대 89.27%±0.21%까지 개선하는데 기여하였다. DSM과 반대로 OpenStreetMap(OSM) 및 중분류 토지피복도(National Land Cover Map 이하 NLCM) 데이터는 모델 정확도에 큰 영향을 주지 않았다. 세 번째 실험은 모델의 깊이와 MS 레이어가 모델의 정확도에 미치는 영향을 확인하는 실험이었다. 실험 결과, MS 레이어는 기본 CNN 또는 MSCNN 구조를 가진 모델의 정확도에 영향을 미치는 것으로 나타났으나, 깊은 MS-ResNet과 MS-CBAM 모델 정확도에는 상대적으로 영향이 작게 나타났다. 마지막 네 번째 실험에서는 입력 데이터와 제안한 모델의 robustness를 검토하였다. 먼저, 전이학습을 통해 글로벌 So2Sat데이터(42개의 도시에서 얻은 LCZ 샘플로 구성된 데이터)를 본 연구에서 사용되는 실험데이터에 적용했으나, 분류 정확도가 상당히 감소되는 결과를 얻었다. 따라서, 본 연구에서는 글로벌 데이터세트를 활용하는 접근보다 새로 샘플링 및 분류를 수행하는 방향을 선택했으며 제안한 프레임워크, 즉, 샘플링 방법론과 딥러닝 모델을 활용하여 고품질의 LCZ 샘플과 높은 정확도의 level-0 데이터를 얻었다. 더 나아가, 이 실험에서 제안된 모델을 이용하여 MS-CBAM이 88.48%의 평균 정확도로 가장 우수한 것으로 나타났다.

결론적으로 본 논문에서 제안된 LCZ 분류 프레임워크는 기존의 LCZ 분류 방법과 비교할 때 더 높은 정확도를 가져 향후 LCZ 분류의 정확도 향상에 기여할 것으로 기대된다. 또한, 높은 정확도의 프레임워크를 한국의 주요도시에 적용하여 LCZ 데이터를 생성함으로써 도시 기후 모니터링을 위한 고품질 자료의 생성 및 대규모 LCZ 매핑을 위한 기반을 구축했다는 점에서 의미를 갖는다. 종합적으로 볼 때, 제안된 프레임워크의 샘플링 방법론과 딥러닝 모델은 기존의 LCZ 매핑 방법을 개선하여 앞으로의 도시 기후 모니터링 정확도를 높이고 지속 가능한 개발의 달성에 이바지할 것으로 예상된다.

Two out of three people will be living in urban areas by 2050, as projected by the United Nations, emphasizing the need for sustainable urban development and monitoring. However, conventional land cover maps do not consider climatic properties in their classification, and existing urban footprint data is limited to a binary classification of urban and non-urban areas. Information from these data sources is insufficient to monitor urban climates. To address the limitations of extant urban-rural classification methods from a climatic perspective, the Local Climate Zone (LCZ) offers an efficient and standardized classification scheme of 17 urban and natural landscape classes, designed based on climatic characteristics such as building height and density, land surface cover type, and thermal conductivity of building materials.

Recent advancements have incorporated remote sensing (RS) and geographic information system (GIS) techniques in tandem with supervised learning methods for LCZ classification. The majority of previous works used the Random Forest (RF) machine learning algorithm for LCZ classification to generate satisfactory results; nevertheless, considering the growing complexity of modern megacities, deeper models are required to represent the highly heterogeneous characteristics. With the advent of deep learning, recent related studies have applied convolutional neural networks (CNN) in lieu of the RF method with a focus on a scene-based approach to exploit local information for effective representation learning.

In light of the aforementioned advances, this thesis proposes a deep learning-based LCZ classification framework, which incorporates a sampling methodology adopted from global LCZ mapping initiatives, and introduces three deep learning-based models to generate LCZ maps for major cities in Korea. The proposed models include the multi-scale convolutional neural network (MSCNN) in conjunction with the multi-scale ResNet (MS-ResNet) and the multi-scale convolutional block attention module (MS-CBAM). The additional two models are deeper variations that utilize residual learning and spatial/channel attention to enhance LCZ classification accuracy. Multi-scale layers are significant because differently sized convolutional filters can exploit the local information of input images at various scales. In addition, attention-based mechanisms like CBAM can extract optimal information from spatial and spectral domains to help LCZ classification. Contributions from this thesis include a quantitative comparison of the proposed models with state-of-the-art LCZ classification models from recent studies, city-by-city LCZ classification to evaluate the transferability of the model and training data, and the integration of various geospatial data sources to enhance classification accuracy such as OpenStreetMap (OSM), a global 30 m digital surface model (DSM), and national land cover/land use map at mid-resolution.

Four main experiments were conducted to achieve these contributions. In summary, results demonstrated that the proposed multi-scale models outperformed benchmark models by a significant margin for all of the experiments and specific scenarios. The first experiment on model performance showed that MS-CBAM recorded the highest OA (88.59%±0.20%) followed by the two other proposed models, MS-ResNet (88.43±0.38%) and MSCNN (86.79%±0.17%). The second experiment on adding ancillary data revealed that the height information from the DSM helped improve MS-CBAM OA up to 89.27±0.21%, whereas the effects of OSM and level-2 national land cover map (NLCM) were found to be near-negligible. The third experiment confirmed that deeper CNN models increased overall accuracy (OA) accordingly. Furthermore, the results displayed that the inclusion of the MS layer was statistically significant for MSCNN. The MS layer was less impactful for the deeper MS-ResNet and MS-CBAM, but nonetheless demonstrated important increases when used in unison with OSM and NLCM data. Lastly, the fourth experiment revealed that transfer learning of the global So2Sat dataset (comprised of 42 global cities) considerably reduced OA below the accuracies obtained by using RF. Hence, this thesis concluded that without more sophisticated domain adaptation strategies, following the proposed LCZ classification framework to sample and generate LCZ maps anew is better to develop high-quality samples and LCZ data. On this note, a city-wise comparison of the six test cities was conducted to verify the robustness of the proposed models. MS-CBAM outperformed all models again with an average overall accuracy of 88.48%. This result was in accordance with those from previous experiments and reinforced the superiority of the proposed models.

The LCZ classification framework proposed in this thesis achieves state-of-the-art accuracy levels in comparison to leading studies found in the literature. Moreover, the framework was applied to Korean cities to establish a foundation for future, large-scale mapping of high-quality LCZ data. The generated LCZ data are expected to revamp existing data produced from conventional methods and to foster further works on advancing high-quality LCZ mapping at a national-scale to help monitor urban climates towards future sustainable development.