Domain Adaptation Framework for Deep Learning based Change Detection in Remotely Sensed Data under Prior Probability Shift

Abstract

원격탐사에서의 딥러닝 (deep learning)의 성공적인 활용은 학습에 사용되는 표본이 목표 대상을 얼마나 잘 대표하는지에 달려있다. 참조자료 (ground truth)가 취득되는 소스 도메인 (source domain)의 데이터 분포가 훈련된 모델이 적용되는 타겟 도메인 (target domain)의 데이터 분포를 충분히 대표하지 못하는 경우, 훈련된 모델은 타겟 도메인에서 성능이 급격히 저하된다. 이로 인해, 훈련된 모델은 재사용되기 어렵고, 사용자는 새로운 실험 지역마다 매번 참조자료를 새롭게 취득하고 훈련하는 절차를 반복해야만 한다. 이러한 데이터 분포 변화 (dataset shift)에 따른 문제를 해결하는 연구 분야를 도메인 적응 (domain adaptation)이라 하며, 넓은 지역에 분포한 대상물을 분석하는 원격탐사 분야에서 특히나 중요하다. 하지만 대부분의 변화탐지 선행연구는 딥러닝 알고리즘을 적용할 때 데이터 분포 변화에 따른 문제를 고려하지 않아, 새로운 지역에 바로 적용할 경우 정확도가 저하되는 문제가 존재한다. 이러한 문제를 해결하기 위해 본 논문은 변화탐지에서 발생하는 데이터 분포 변화 문제 중, 두 도메인 간의 변화율이 일치하지 않는 경우에 발생하는 사전확률변화 (prior probability shift) 문제에 주목하였다. 본 논문은 딥러닝 알고리즘이 변화탐지에서 사전확률변화로 인해 정확도가 저하되는 문제를 해결하기 위한 프레임워크를 제안하였다. 제안한 프레임워크는 비지도 방식을 이용하여 타겟 도메인의 변화율을 예측한 뒤, 소스 도메인에서 학습된 딥러닝 알고리즘의 소프트맥스 (softmax) 출력의 변화 임계 값을 조절하는 방식으로 정확도 저하를 방지한다. 본 연구에서는 제안한 프레임워크의 성능을 검증하기 위해 가장 널리 사용되는 딥러닝 모델인 합성곱신경망 (convolutional neural network)과 대표적 비지도 변화탐지 방법인 변화벡터분석 (change vector analysis)을 채택하였다. 실험 데이터는 RGB (Red, Green, Blue) 채널과 DSM (Digital Surface Model) 데이터를 포함하는 두 시기의 UAV (Unmanned Aerial Vehicle) 영상을 사용하였으며, 변화율이 다양한 세개의 하위지역으로 실험 지역을 나누어 도메인 간의 변화율 차이가 다양한 조건하에 실험을 진행하였다. 아울러, 훈련 표본을 세 개의 하위지역 각각에서 취득하여 합성곱신경망을 학습시킨 뒤, 나머지 두 개의 하위지역에 적용하는 방식의 실험을 수행하였다. RGB와 RGB+DSM 데이터 각각에 대해 실험을 수행하였고, 훈련의 표본 수가 총 1,000개인 경우와 2,000개인 경우에 대해서도 실험을 수행하였다. 또한, 제안한 프레임워크의 성능을 다양한 조건하에서 확인하기 위해 변화율이 급변하는 샘플링 조건도 추가하여 분석하였다. 실험 결과, 본 연구에서 제안한 프레임워크가 사전확률변화로 인해 편향된 변화 임계 값을 효과적으로 조절함으로써 변화탐지 정확도를 향상시킨 것이 확인되었다. 추가적으로, 딥러닝 모델이 더 많은 정보를 통해 학습되었을 때 사전변화확률에 특히나 더 취약하다는 것이 확인되었다. 본 실험의 결과는 점차 방대한 양의 데이터로 딥러닝의 성능을 개선시키는 현재의 딥러닝 추세에 도메인 적응의 필요성을 강조한다. 마지막으로, 제안한 프레임워크는 이행 방법이 간단하며 다양한 종류의 변화탐지 알고리즘과 함께 융합되어 활용될 수 있다는 장점이 있다.

The success of deep learning algorithms applied on large-scale remotely sensed imagery rests on the representativeness of the samples used to train the model. When the training samples in the source domain do not fully represent the samples in the target domain where prior information is unavailable, the trained model may fail to adapt to the target domain and will therefore require a manual and time-consuming process of labelling the samples to ensure sample representativeness. However, the vast majority of the algorithms in literature have not considered the distribution gap between the sampled domains, and in turn, have failed to generalize their performance on a newly given area. Domain adaptation can provide a solution to this representative issue. The goal of domain adaptation is to bridge the distribution gap between the source domain and the target domain. This thesis focuses on the distribution gap given unbalanced class proportions of two domains, defined as the prior probability shift, and proposes a novel framework to resolve the reduction in performance of deep learning models in change detection under prior probability shift. The proposed framework estimated class distributions via an unsupervised approach and adjusted the change threshold of the softmax output in the deep learning model. To validate the algorithms performance, the most widely used deep learning model, Convolutional Neural Network (CNN), and unsupervised algorithm, Change Vector Analysis (CVA), were implemented in the proposed framework. The framework was examined using three sub-regions composed of various proportions of the change class. The datasets used in this study were acquired from bi-temporal Unmanned Aerial Vehicle (UAV) imagery including RGB channels and Digital Surface Model (DSM). To train the CNN, two different sample sizes (i.e., a total of 1,000 and 2,000) with two sets of different sampling designs (i.e., the base sampling design and the additional sampling design), were drawn from each of the three sub-regions (source domain). Subsequently, the trained CNN was adapted using the patch-based CVA and tested on the two other sub-regions (target domains) of different change/no-change ratios. The proposed framework was applied separately to RGB and RGB + DSM imagery. The results demonstrated that the proposed framework successfully rectified the biased change threshold and improved the change detection performance under prior probability shift. Furthermore, the deep learning model was found to be susceptible to prior probability shift, particularly when pre-trained on greater amount of data with richer content, which thus highlighted the importance of domain adaptation in current trends of deep learning applications. Last but not least, the proposed framework is simple to implement and can be applied to a wide variety of classifiers.