Publications

Detailed Information

A Novel Deep Learning Framework for Multi-Class Change Detection of Hyperspectral Images : 초분광영상의 다중클래스 변화탐지를 위한 새로운 딥러닝 프레임워크

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors

송아람

Advisor
김용일
Major
공과대학 건설환경공학부
Issue Date
2019-02
Publisher
서울대학교 대학원
Description
학위논문 (박사)-- 서울대학교 대학원 : 공과대학 건설환경공학부, 2019. 2. 김용일.
Abstract
초분광영상은 광범위하고 연속적인 파장영역에서 물체의 특성에 따른 고유한 분광정보를 제공하기 때문에 객체의 변화에 따른 미세한 분광특성의 차이를 분석하기 용이하다. 변화탐지는 원격탐사의 주요 연구 분야이며, 초분광영상을 활용하여 효과적인 변화탐지를 수행하기 위해서는 초분광영상의 다차원분광정보, 복잡한 연산량, 부족한 학습자료 등의 문제를 고려해야 한다.

딥러닝(deep learning)기법은 많은 양의 데이터를 효과적으로 처리하고 스스로 유용한 특징을 분석하여 추출할 수 있다는 점에서 객체추출, 영상분류 등 다양한 분야에서 그 성능이 입증되고 있으나, 대부분 일반 영상(natural images)을 대상으로 개발되었고, 딥러닝 네트워크의 높은 정확도를 확보하기 위해서는 충분한 양의 검증된 학습 자료가 요구된다.

그러나 초분광영상은 일반 영상과 스케일, 촬영 각도, 데이터 용량 등에서 큰 차이를 보이며, 많은 양의 학습 자료를 제작하고 변화에 대한 사전정보 없이 참조자료를 생성하는 것이 어렵기 때문에 네트워크 학습에 사용될 자료가 충분하지 않다는 한계가 존재한다. 또한 원격탐사 분야에서 영상의 2차원 정보를 활용하는 것이 중요함에도, 딥러닝 네트워크의 구조적 특성으로 인하여 입력영상의 2차원 구조를 유지하기 어려운 문제가 있다.

본 논문에서는 이러한 문제를 해결하기 위하여 샘플 생성기법을 통해 검증된 학습 자료를 생성하며, 전이학습을 통해 부족한 훈련자료의 수를 극복하였다. 또한 초분광영상 특성에 최적화된 변화탐지 네트워크를 제안하여 분광적, 공간적, 시간적 특성을 고려하여 변화지역을 효과적으로 추출하고자 하였다.

본 연구에서 제안한 Re3FCN(recurrent three-dimensional fully convolutional network, 순환형 3차원 완전합성곱망)은 FCN(fully convolutional network, 완전합성곱망)과 ConvLSTM(convolutional long short-term memory, 합성곱 장단기 신경망)의 장점을 혼합한 것이다. Re3FCN은 3차원 합성곱레이어(3D convolutional layer)를 통해 초분광영상의 공간정보 뿐만 아니라 분광정보를 동시에 고려한 특징을 추출하며 시계열 데이터를 처리할 수 있는 ConvLSTM 레이어를 통해 다시기 영상의 변화정보를 저장하고 분석한다. 또한 네트워크의 마지막단계에서 완전 연결레이어(fully connected layer)가 아닌 합성곱레이어를 사용하여 공간구조를 유지하며 최종적으로 변화된 지역과 비변화 지역을 분류하였다.

참조자료 및 학습 자료가 부재한 상황에도 Re3FCN의 학습에 필요한 검증된 샘플을 생성하기 위하여 다시기 초분광영상으로부터 주요 주성분(principal component)과 분광상관각(spectral correlation angle)을 추출하여 융합한 후, 융합 영상에 순수화소(endmember) 추출기법을 적용하여 변화 혹은 비변화 클래스를 대표할 수 있는 참조 화소를 결정하였다. 영상 내 모든 화소는 참조 분광화소와의 분광상관각을 통해 특정 클래스의 훈련자료로 분류된다. 이러한 기법을 통하여 단순히 변화 혹은 비변화의 이진 클래스가 아닌 변화의 속성을 세분화 하여 정의할 수 있다.

또한 제한된 샘플의 수를 보완하기 위하여 기존에 구축된 대용량 고해상도 다중분광영상 자료(ISPRS Dataset)로부터 전이학습을 수행하였으며, 훈련된 가중치는 대표적인 초분광영상 자료들에 의해 미세조정된다. 다중 초분광영상 자료는 각각 독립적인 네트워크를 통해 학습되지만 부족한 자료의 한계를 극복하기 위해 중간 단계의 레이어를 공유하며 학습한다. 이때 두 단계에 걸쳐 훈련된 가중치는 변화탐지를 위한 다시기 초분광영상에 의해 미세조정되는 과정을 거쳐 Re3FCN의 초기 레이어의 적절한 초기값을 제공할 수 있다.

본 연구에서는 세 가지 비교실험을 통하여 제안한 기법의 효용성을 분석하였다.

i. 생성된 훈련자료들의 정확도를 평가하기 위하여 제안기법으로 추출된 훈련자료와 참조자료에서 추출된 훈련자료를 사용한 Re3FCN의 정확도를 비교하였다. 실험결과, 제안기법으로 생성된 훈련자료는 참조자료와 유사한 정확도를 보이며 신뢰할 수 있는 결과를 나타냈다.

ii. 전이학습을 통한 정확도 향상 효과를 분석하기 위하여 고해상도 다중분광영상 자료와 다중 초분광영상 자료를 이용한 전이학습 전후의 변화탐지 결과와 일반영상 자료(ImageNET)를 활용한 전이학습 결과를 비교하였다. 그 결과 본 연구에서 제안한 전이학습을 통해 Re3FCN의 성능을 향상시킬 수 있었으며, 소스 도메인(source domain)으로 ImageNET을 사용하는 것보다 전반적으로 정확도가 향상되었다.

iii. 기존의 변화탐지 기법들과의 비교평가를 수행하여 제안한 기법의 효용성을 분석하였다. 비교평가에 사용된 기법으로는 CVA(change vector analysis), IR-MAD (iterative re-weighted multivariate alteration detection), PCA-SCA, SVM(support vector machine), LSTM(long short term memory), FCN, 2DCNN-fully connected LSTM(순환형 2차원 합성곱신경망) 등이 있다. 실험 결과 Re3FCN이 기존의 방법들보다 우수한 성능을 보였으며, 특히 훈련 자료가 추출되지 않은 영역의 변화를 탐지하는데 효과적인 것으로 나타났다.

본 논문의 의의는 다음과 같다.

첫째, 주성분분석과 분광상관각도 등을 활용하여 감독기반의 훈련자료를 효과적으로 생성하였으며, 이는 사전정보 및 참조자료 없이도 딥러닝 네트워크를 학습할 수 있도록 한다.

둘째, 주로 일반 영상에서 학습된 정보를 활용한 기존 연구들과 달리 원격탐사자료를 이용한 전이학습을 수행하였으며, 이를 통해 일반 영상과 원격탐사 영상의 구조적 차이로 발생하는 문제를 개선할 수 있다.

셋째, 제안된 Re3FCN은 다시기 초분광 영상의 분광적, 공간적, 시간적 정보를 최대한 활용할 수 있도록 설계되었으며, 3차원 합성곱필터를 사용하여 다차원분광정보와 연산량을 효과적으로 처리할 수 있다.

마지막으로 기존의 다양한 변화탐지 기법들이 주로 변화와 비변화 지역을 구분하는 이진변화탐지를 수행한 것과는 달리 훈련자료 생성단계에서 변화의 속성을 구분할 수 있는 이점을 활용하여 다중 변화탐지를 수행하였으며, 이러한 과정은 부가적인 처리과정 없이 두 영상을 입력받아 학습하고 변화탐지를 수행하는 end-to-end 방식으로 진행된다.

본 연구는 부가적인 참조자료 없이 훈련자료를 생성하고, 기구축된 영상자료를 이용한 전이학습을 통하여 초분광영상의 훈련자료 부족 문제를 해결하였으며 초분광영상의 특성을 고려한 최적화된 네트워크의 성능을 검증하여 초분광영상의 변화탐지를 위한 딥러닝 기법의 적용가능성을 제시하였다.
Hyperspectral images with high spectral resolution are efficient in distinguishing fine spectral differences between multi-temporal images. Change detection proves to be a major issue in the remote sensing domain, and any change detection method for hyperspectral images should deal with the problems of high dimensionality, high computational cost, and limited labelled samples.

Various deep learning approaches have shown their effectiveness for analyzing high dimensional data as well as their advantage of learning typical features without hand-crafted descriptors: the features that are extracted using a manually predefined algorithm based on an experts knowledge. However, a majority among such approaches has been designed to process natural images, and qualified and sufficient training samples are required to ensure excellent performance.

Simultaneously, there are not enough hyperspectral datasets having ground truth not only because it is difficult to obtain change-related information on real objects but also because it is labor-intensive and time-consuming to generate labels for a massive set of training samples. Moreover, although a majority of remote sensing applications requires two-dimensional (2D) maps as an output, it is difficult to preserve the 2D spatial information during training due to the limitations of network structures.

To mitigate the aforementioned problems, this study proposes a novel change detection framework for hyperspectral images, including informative sample generation for network training
transfer learning for resolving the limited number of samples
and a deep learning network, the recurrent three-dimensional (3D) fully convolutional network (Re3FCN), for classifying the changed and unchanged pixels from multi-temporal hyperspectral images.

The Re3FCN combines the advantages of both a 3D fully convolutional network (FCN) and a convolutional long short-term memory (ConvLSTM). It mainly comprises spectral-spatial and temporal modules. In particular, the spectral-spatial module with 3D convolutional layers simultaneously extracts spectral and spatial features from hyperspectral images, while the temporal module with ConvLSTM records and analyzes change information in the multi-temporal hyperspectral images. Finally, a convolutional layer predicts the changed and unchanged classes.

To assist in performing change detection using Re3FCN in cases wherein reference or training data are absent, principal component analysis and spectral correlation angle are employed to generate training samples with high probabilities of being either changed or unchanged. To select the training samples per class, the endmembers, which represent the spectral signatures of pure materials in the scene, are extracted as a reference spectrum of each class. Subsequently, the pixels whose spectral angle is lower than a predefined threshold are assigned to each endmember class.

Furthermore, transfer learning using various remote sensing data as source data is proposed to deal with the data scarcity issue in hyperspectral images. The 3D FCN designed for pixel-level classification is first trained on a large-scale multispectral datasets that contains high resolution true orthoimages. Then, the obtained weights are fine-tuned on multiple benchmark hyperspectral datasets with different spatial and spectral resolutions by sharing the middle of the layers to co-learn across multiple datasets. Finally, the pre-trained weights of the first few layers of the 3D FCN are propagated to the Re3FCN layers in the spectral-spatial module.

To verify the proposed change detection framework, the following staged experiments were conducted:

1) Accuracy tests of a generating sample part and comparison of change detection results of the Re3FCN in two cases to analyze the applicability of the generating sample part. The first case used training samples generated from the proposed method, while the second case used the ground truth. The results showed that the generated samples have reliable accuracies as compared with the ground truth.

2) Analysis of the effect of transfer learning on change detection results
The framework compared change detection results of the Re3FCN before and after the application of transfer learning. The results showed that transfer learning could improve the accuracies of the Re3FCN. In particular, change detection performance when using the proposed transfer learning method was better than that when using the ImageNET as the source data.

3) Comparison of the accuracies of change detection results obtained from various methods such as the traditional methods (change vector analysis, iterative re-weighted multivariate alteration detection, the combination of PCs and spectral correlation angle, and support vector machine) and deep learning networks (FCN, long short-term memory (LSTM), 2D CNN-fully connected LSTM) was performed to analyze the effectiveness of the Re3FCN. The results showed that the proposed Re3FCN outperformed other traditional methods in terms of change detection accuracies. In particular, the Re3FCN was effective in detecting changes in areas where no training samples have been extracted.

The proposed change detection framework provides the following contributions:

i. It proposes a simple and effective method of generating samples for network training without prior information. For this reason, the proposed method can be applied effectively to cases with no training samples.

ii. It performs transfer learning from remote sensing data to hyperspectral images despite many studies using natural image datasets as source data. This can solve the problems arising from the difference between remote sensing images and natural images.

iii. It can detect both binary and multi-class changes in an end-to-end manner. Moreover, the Re3FCN can use multi-temporal hyperspectral images directly as input without requiring operations such as image differencing.

iv. It can extract joint spectral–spatial–temporal features and preserve the spatial structure during the learning process through the fully convolutional structure. This study is the first trial to combine a 3D FCN and a ConvLSTM for remote sensing change detection tasks.

The proposed methods are capable of generating qualified samples for network training and show the applicability of the deep learning technique for hyperspectral change detection while dealing with limited samples. In addition, spectral-spatial-temporal information of hyperspectral images obtained from the proposed network can be used to perform change detection. Therefore, the proposed method could be applied to various applications
wherein no prior knowledge is provided and data are insufficient.
Language
eng
URI
https://hdl.handle.net/10371/151737
Files in This Item:
Appears in Collections:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share