Mosaic Image Augmentation for Referring Image Segmentation

Abstract

Referring Image Segmentation generates a segmentation mask of an object referred to by a sentence. In order to enable interaction with machine perception through human language, remarkable architectural progresses have been made to improve grounding capability. However, few attempts have succeeded in data augmentation approach. In this work, we present a simple data augmentation method of creating a mosaic with images to create ambiguous referring scenarios where a model needs to concretely understand the whole sentence to locate the referent. Through experiments, we verify the efficacy of our method both quantitatively and qualitatively. We also conduct ablation studies on how to configure the mosaic generation.

지칭 이미지 분할은 주어진 문장에 의해서 지칭이 되는 물체의 분할 마스크를 이미지로부터 생성한다. 인간의 언어를 통한 기계 지각과의 상호작용을 가능하게 하기 위해서 모델의 탐지 능력을 향상 시키는 상당한 구조적인 발전이 현재까지 이 루어져왔지만, 데이터 증강기법 측면의 방법에서는 연구가 활발하게 이루어지지 않았다. 본 연구에서는 모델이 지칭하는 물체를 찾아내기 위해 문장 전체를 꼼꼼히 이해하도록 이미지들을 이어붙여 모자이크를 생성해 구분의 난이도가 어려운 지칭 시나리오를 만들어내는 간단한 데이터 증강 기법을 제시한다. 또한, 실험을 통해 정량적 및 정성적으로 우리가 제시하는 방법이 효과가 있음을 보이고 모자이크 생성을 위한 다양한 방법에 대한 비교 실험을 진행한다.