Pooling Revisited: Your Receptive Field is Suboptimal

Abstract

The size and shape of the receptive field determine how the network aggregates local information and affect the overall performance of a model considerably. Many components in a neural network, such as kernel sizes and strides for convolution and pooling operations, influence the configuration of a receptive field. However, they still rely on hyperparameters, and the receptive fields of existing models result in suboptimal shapes and sizes. Hence, we propose a simple yet effective Dynamically Optimized Pooling operation, referred to as DynOPool, which optimizes the scale factors of feature maps end-to-end by learning the desirable size and shape of its receptive field in each layer. Any kind of resizing modules in a deep neural network can be replaced by the operations with DynOPool at a minimal cost. Also, DynOPool controls the complexity of a model by introducing an additional loss term that constrains computational cost. Our experiments show that the models equipped with the proposed learnable resizing module outperform the baseline networks on multiple datasets in image classification and semantic segmentation.

수용영역의 크기와 모양은 네트워크가 어떻게 이미지 내 로컬 정보를 처리하는지 결정하며, 이는 전체 성능에 지대한 영향을 미칩니다. 합성곱 신경망 내 커널과 풀링 연산의 크기와 스트라이드는 이러한 수용영역의 형태를 결정하는 주요 구성요소입니다. 그러나, 기존 연구들은 이러한 요소들을 설계하는 데에 여전히 하이퍼파라미터에 의존하고 있으며, 이 때문에 데이터의 특성에 따라 기존 모델의 수용영역은 최적의 형태와 크기가 아니게 되기 쉽습니다. 따라서, 우리는 각 레이어마다 바람직한 수용영역 크기와 형태를 앤드 투 앤드로 최적화하는 간단하면서도 효과적인 동적 최적화 풀링 연산, 즉 DynOPool을 제안합니다. 본 논문에서는, 합성곱 신경망 내 다양한 종류의 크기 조정 연산들이 최소한의 비용으로 DynOPool로 대체될 수 있음을 보입니다. 또한, DynOPool은 연산 비용을 제한하는 손실 함수를 도입하여, 모델의 복잡성을 직접 제어할 수 있도록 합니다. 우리의 실험은 제안된 학습가능한 크기 조정 모듈을 도입한 모델이 이미지 분류 및 의미 분할에서 기존 네트워크보다 월등한 성능을 가지는 것을 보여줍니다.