Convolutional Neural Network-based UAV Classification using Radar Spectrogram

Abstract

With the upsurge in using Unmanned Aerial Vehicles (UAVs) in various fields, identifying them in real-time is becoming an important issue. However, the identification of UAVs is difficult due to their characteristics such as Low altitude, Slow speed and Small radar cross-section (LSS). To identify UAVs with existing deterministic systems, the algorithm becomes more complex and requires large computations, making it unsuitable for real-time systems. Hence, we need a new approach to these threats. Deep learning models extract features from a large amount of data by themselves and have shown outstanding performance in various tasks. Using these advantages, deep learning-based UAV classification models using various sensors are being studied recently. In this paper, we propose a deep learning-based classification model that learns the micro-Doppler signatures (MDS) of targets represented on radar spectrogram images. To enable this, first, we recorded five LSS targets (three types of UAVs and two different types of human activities) with a frequency modulated continuous wave (FMCW) radar in various scenarios. Then, we converted signals into spectrograms in the form of images by Short-time Fourier transform (STFT). After the data refinement and augmentation, we made our own radar spectrogram dataset. Secondly, we analyzed characteristics of the radar spectrogram dataset using the ResNet-18 model and designed the lightweight ResNet-SP model for the real-time system. The results show that the proposed ResNet-SP has a training time of 242 seconds and an accuracy of 83.39%, which is superior to the ResNet-18 that takes 640 seconds for training with an accuracy of 79.88%.

본 논문에서는, 레이더 스펙트로그램 상에 형성된 서로 다른 이동표적의 고유한 마이크로 도플러신호를 학습하는 딥러닝 기반 분류모델을 제안한다. 이를위해 우리는 다섯가지 소형 이동표적(무인항공기 3종과 사람행동 2종)을 선정하여 주파수변조 연속파레이더로 표적들의 다양한 움직임을 측정하고 측정한 신호에 단시간 푸리에 변환의 신호처리과정과 데이터 정제 및 증강의 전처리과정을 적용하여 자체 레이더 스펙트로그램 데이터셋을 생성한다. 이후 광학이미지 분류모델인 ResNet-18을 사용하여 레이더 스펙트로그램 데이터셋의 특성을 분석한다. 레이더신호를 광학이미지로 변형하는 과정에서의 정보왜곡 및 손실을 가정하여 세가지 레이더 신호형태에 따른 성능을 비교하고 최적의 데이터형태를 확인한다. 노이즈 시험 및 구조에 따른 성능변화를 통해 모델이 학습하는 주요한 데이터 특징과 이상적인 모델구조를 확인한다. 마지막으로 레이더 스펙트로그램 데이터셋 특성분석을 기반으로 추가적인 경량화 및 안정화 기법을 적용하여 실시간 시스템을 위한 ResNet-SP 모델을 설계하고 ResNet-18모델과의 성능비교를 통하여 연산속도 증가와 안정성 및 정확성 향상 등의 성능개선을 확인한다.