Broadcasting Convolutional Network for Visual Relational Reasoning

Abstract

In this paper, we propose the Broadcasting Convolutional Network (BCN) that extracts key object features from the global field of an entire input image and recognizes their relationship with local features. BCN is a simple network module that collects effective spatial features, embeds location information and broadcasts them to the entire feature maps. We further introduce the Multi-Relational Network (multiRN) that improves the existing Relation Network (RN) by utilizing the BCN module. In pixel-based relation reasoning problems, with the help of BCN, multiRN extends the concept of `pairwise relations' in conventional RNs to `multiwise relations' by relating each object with multiple objects at once. This yields in O(n) complexity for n objects, which is a vast computational gain from RNs that take O(n^2). Through experiments, multiRN has achieved a state-of-the-art performance on CLEVR dataset, which proves the usability of BCN on relation reasoning problems.

본 논문에서는 전체 입력 영상의 전체 영역에서 주요 객체 특징을 추출하고 이를 지역적 특징과의 관계를 인지할 수 있도록 하는 광역 전파 컨볼루션 신경망 (Broadcasting Convolutional Network, BCN)을 제안한다. BCN은 유효한 공간 특징을 수집하고 이에 위치 정보를 함께 부호화하여 전체 특징 맵으로 전파하는 간단한 신경망 모듈이다. 또한 BCN 모듈을 사용하여 기존 관계 신경망 (Relation Network, RN)를 향상시키는 다중 관계형 신경망 (multi-Relational Network, multiRN)를 소개한다. 픽셀 기반 관계 추론 문제에서 BCN 덕분에 multiRN은 각 객체를 여러 객체의 특징과 한번에 연관시킴으로써 기존 RN의 '쌍 관계' 개념을 '다중 관계'로 확장한다. 이로인해 n개의 객체에 대한 O(n) 시간 복잡도을 가지게 되는데, 이는 O(n^2) 시간 복잡도를 가지는 RN에 비하여 계산상의 큰 이득을 얻을 수 있다. 실험을 통해 multiRN은 CLEVR 데이터 세트에서 최고 성능을 달성하였고, 이를 통해 관계 추론 문제에 대한 BCN의 유용성을 확인하였다