Boundary-Driven Adversarial Learning of Deep Neural Networks for Flood Monitoring using SAR

Abstract

The necessity of real-time flood monitoring has been increasing as the frequency and intensity of water-related disasters increase. Synthetic Aperture Radar(SAR) could be particularly useful for a inundation mapping because it is able to penetrate clouds and provide images even during periods of darkness. Therefore, water segmentation using SAR has been actively researched, especially the advent of Convolutional Neural Networks(CNN) contributing to high overall accuracy. However, CNN is vulnerable to detecting precise boundaries and narrow rivers, which pose challenges for practical applications. In this study, we propose a boundary-driven adversarial learning approach of deep neural networks to detect waterbodies with precise borders and small rivers. We adopt the adversarial learning of Generative Adversarial Networks (GAN) to make a generator focus on pixels that could be easily ignored. A discriminator evaluates and distinguishes the segmented images with the ground truth labels by consulting the SAR images and the boundary distance map. The boundary distance map is designed to highlight the small area like the boundaries and streams and suppressing false positive errors.Moreover, we propose a hybrid loss function that guides the network to concentrate on both the overall and the fine details by fusing Binary Cross Entropy loss, Hausdorff distance loss and adversarial loss. Through adversarial training with the hybrid loss, the water segmentation model using SAR can precisely detect waterbodies. We demonstrate the effectiveness of the model using three evaluation metrics: F1-score, Boundary IoU, and Matthews Correlation Coefficient, and we also apply additional qualitative assessment. Our empirical evidence indicates that the proposed model outperforms other segmentation models like U-Net and DeepLabv3+, especially in terms of precise boundaries and narrow rivers. To assess the practical monitoring use, we demonstrate that the proposed model maintains precision with the large scene SAR images. Not only does it detect precise boundaries and narrow objects,but it also reduces false positive errors in large scene SAR images. The visual inspection further demonstrates that our model can detect narrow rivers and small reservoirs that are missed by other models, showcasing the potential of boundary-driven adversarial learning of deep neural networks in practical monitoring use.

기후변화가 가속화로 인해 수재해의 빈도와 강도 예측이 어려워짐에 따라 실시간 홍수 모니터링에 대한 수요가 증가하고 있다. 합성개구레이다는 광원과 날씨에 무관하게 지속적으로 촬영이 가능한 레이다로, 수재해가 발생하였을 때에도 영상을 제공할 수 있다. 이에 합성개구레이다를 활용한 수체 탐지 알고리즘 개발이 활발히 연구되어 왔다. 특히 딥러닝의 발달로 CNN을 활용한 수체 탐지 알고리즘이 연구됨에 따라, 높은 정확도로 수체 탐지가 기능해졌다. 하지만, CNN 기반 수체 탐지 모델은 훈련 시 높은 정량적 정확성 지표를 달성하여도 추론 후 정성적 평가 시 경계와 소하천에 대한 정확성이 떨어진다. 홍수 모니터링에서 특히 중요한 정보인 경계와 좁은 하천에 대해서 탐지의 정확성이 떨어짐에 따라 실생활 적용이 어렵다. 이에 우리는 경계를 강화한 적대적 학습 기반의 수체 탐지 모델을 개발하여 쉽게 탐지되지 않았던 부분까지 탐지하고자 한다. 적대적 학습은 생성적 적대 신경망(GAN)의 두 개의 모델인 생성자와 판별자가 서로 관여하며 더 높은 정확도를 달성할 수 있도록 학습하는 과정을 의미한다. 판별자는 생성자의 추론 결과와 실제 라벨 데이터를 구분하기 위해 학습하는 반면, 생성자는 판별자를 속이기 위해 더 실제 데이터 같은 가짜 데이터를 생성하고자 노력한다. 이러한 적대적 학습 개념을 수체 탐지 모델에 처음으로 도입하여, 생성자는 실제 라벨 데이터와 유사하게 수체 경계와 소하천까지 탐지하고자 학습한다. 반면 판별자는 경계 거리 변환 맵과 합성개구레이다 영상을 기반으로 라벨데이터와 수체 탐지 결과를 구분한다. 이때 경계 거리 변환 맵은 작은 하천과 경계에 가중치를 준 이미지로, 판별자로 하여금 판별시 작은 영역까지 고려할 수 있도록 강조하는 동시에 오탐지에 대해 억제할 수 있는 역할을 위해 제안하였다. 경계가 강조된 방향으로 적대적 학습 과정이 진행될 수 있도록, Binary Cross Entropy 손실 함수, Hausdorff distance 기반 손실 함수 그리고 적대적 손실 함수를 융합한 하이브리드 손실 함수를 새롭게 구성하였다. 제안 모델이 경계와 소하천을 정확히 탐지하는지 판단하기 위해, 정량적 지표로 F1-score, Boundary IoU, Matthews Correlation Coefficient를 사용하였으며, 육안 판독을 통해 정성적 평가도 진행하였다. 이를 통해 제안한 모델이 경계 및 소하천까지 정확하게 탐지해냄을 증명하였다. 실제 홍수 탐지에 사용하기 위해선 패치 단위 이미지가 아닌 전체 SAR 영상에서도 높은 정확도를 유지하는지 확인이 필요하다. 이를 위해 패치 단위로 학습된 모델이 전체 SAR 영상을 탐지할 수 있도록 추가 코드를 개발하여, 학습자료에 전혀 사용되지 않은 한반도를 촬영한 6개의 SAR 영상을 활용하여 탐지 결과를 비교하였다. 평가 결과 제안한 경계 강화 적대적 수체 탐지 모델이 기존 모델 대비 경계와 위양성 오류에 대해 올바르게 탐지하는 것을 증명하였다. 또한 다양한 스케일의 수체에 대해서도 꾸준히 높은 정확성을 유지하여 실제 홍수탐지를 위한 기반 모델로의 가능성을 보여주었다.