본보기 기반 열린집합 총괄적 분할

Abstract

본 논문에서는 총괄적 분할 문제를 열린집합 문제로 확장한 열린집합 총괄적 분할(open-set panoptic segmentation, OPS) 문제를 소개한다. 이 문제는 학습 과정에서 배우는 아는 클래스(known class) 뿐만 아니라 학습 중에는 인지하지 못했던 모르는 클래스(unknown class)들에 대해서도 총괄적 분할을 하는 것을 요구한다. 열린집합 총괄적 분할의 현실적인 어려움에 대해 살펴보고, 총괄적 분할 데이터셋 중 하나인 COCO를 이용하여 열린집합 총괄적 분할 문제를 위한 벤치마크를 만든다. 또한, 본보기 기반 이론에서 착안하여, 본보기 기반 열린집합 총괄적 분할 네트워크(exemplar-based open-set panoptic segmentation network, EOPSN)를 제시한다. 이 방법은 클러스터링을 통해서 식별되고, 유사정답으로 사용되는 본보기들을 기반으로 새로운 클래스를 찾으며, 이미 식별된 본보기들을 이용하여 각 클래스들의 크기를 증가시킨다. EOPSN의 성능을 확인하기 위해 제안된 벤치마크에서 평가를 하여 효과를 입증하였다. 이 연구의 주요 목표는 연구자들에게 열린집합 상황에서의 인식 문제들에 대한 관심을 증대시키는 데에 있다.

We extend panoptic segmentation to the open-world and introduce an open-set panoptic segmentation (OPS) task. This task requires performing panoptic segmentation for not only known classes but also unknown ones that have not been acknowledged during training. We investigate the practical challenges of the task and construct a benchmark on top of an existing dataset, COCO. In addition, we propose a novel exemplar-based open-set panoptic segmentation network (EOPSN) inspired by exemplar theory. Our approach identifies a new class based on exemplars, which are identified by clustering and employed as pseudo-ground-truths. The size of each class increases by mining new exemplars based on the similarities to the existing ones associated with the class. We evaluate EOPSN on the proposed benchmark and demonstrate the effectiveness of our proposals. The primary goal of our work is to draw the attention of the community to the recognition in the open-world scenarios.