Infrared Small Target Detection Using Attention Multiscale Feature Fusion U-Net

Abstract

In order to improve detection performance in a U-Net-based Infrared Small Target Detection(IRSTD) algorithms, it is crucial to fuse low-level and high-level features. Conventional algorithms perform feature fusion by adding a convolutional layer to the skip pathway of the U-net and by connection the skip connection densely. However, with the added convolutional operation, the number of parameters of the network increase, hence the inference time increases accordingly. Therefore, in this paper, a UNet3+ based full-scale skip connection U-Net is used as a based network to lower the computational cost by fusing the feature with a small number of parameters. Moreover, this paper propose an effective encoder and decoder structure for improved IRSTD performance. A residual attention block is applied to each layer of the encoder for effective feature extraction. As for the decoder, a residual attention block is applied to the feature fusion section to effectively fuse the hierarchical information obtained from each layer. In addition, learning is performed through full-scale deep supervision to reflect all the information obtained from each layer. The proposed algorithm, coined Attention Multiscale feature Fusion U-Net(AMFU-Net), can hence guarantee effective target detection performance and a lightweight structure. (mIoU: 0.7512, FPS: 86.1)

U-Net 기반의 IRSTD(Infrared Small Target Detection)알고리즘에서 탐지 성능을 향상시키기 위해서는 저차원의 특징과 고차원의 특징을 융합하는 것이 중요하다. 기존 알고리즘은 U-Net의 스킵 경로에 컨볼루션 레이어를 추가하고 스킵 연결을 보다 조밀하게 연결하여 저차원 – 고차원 특징 융합을 수행한다. 그러나 컨볼루션 연산이 추가되면 네트워크의 매개 변수 수가 증가하므로 추론시간이 그에 따라 증가하게 된다. 따라서 본 논문에서는 풀 스케일 스킵 연결(Full-scale skip connection) U-Net을 기반 네트워크로 사용하여 적은 수의 매개 변수만으로 저차원 – 고차원의 특징을 융합함으로써 계산 비용을 낮춘다. 또한, 본 논문은 높은 수준의 IRSTD 결과를 보장하기 위해 효과적인 인코더 및 디코더 구조를 제안한다. 잔여 주의 블록(Residual attention block)은 효과적인 특징 추출을 위해 인코더의 각 레이어에 적용된다. 디코더에서는 네트워크의 각 계층으로부터 얻어진 저차원 – 고차원 정보 융합을 효과적으로 수행하기 위해 특징 융합 모듈에 잔여 주의 블록을 적용하였다. 또한 네트워크 학습 수행 시, 각 계층에서 얻어진 모든 특징을 반영하여 학습을 진행하기 위하여 심층 감독(Deep supervision)을 통해 손실 함수를 계산한다. 제안된 알고리즘인 주의집중 멀티스케일 특징 융합 U-Net(Attention Multiscale Feautre Fusion U-Net, AMFU-Net)은 효과적인 표적 탐지 성능과 경량 구조를 보장할 수 있다.