Shape-Emphasizing Augmentation for Improving Robustness of Self-Supervised Learning

Abstract

Self-supervised learning achieved remarkable advancement comparable to supervised learning in image classification. However, its achievement is confined to test samples independently and identically distributed (IID) with a training dataset. As in supervised learning models, poor robustness to out-of-distribution (OOD) distortions still exists in self-supervised learning models. On the contrary, humans are robust to OOD distortions, and it is attributed to their shape-oriented representation with lower reliance on texture. Several previous methods were suggested to induce the image classifiers to concentrate more on shape by augmenting training images with modified textures. However, they focused on supervised learning settings rather than self-supervised ones and brought a decreased accuracy on IID test samples as a trade-off. Thus, this paper introduces shape-emphasizing augmentation, a novel data augmentation scheme for self-supervised learning. This method highlights the objects shape in an image by applying random augmentations independently to the foreground and background of the object. The self-supervised learning model learns more shape-based representation with the proposed method. Extensive experiments present its effectiveness in improving robustness to OOD distortions without sacrificing the performance on IID test samples.

자기지도 학습은 이미지 분류에서 지도학습 모델에 비견되는 놀라운 발전을 이루었다. 하지만, 이러한 성과는 훈련 데이터셋과 독립적이고 동일하게 분포된 샘플들을 대상으로 한정되어 있다. 지도학습 모델과 같이, 자기지도 학습 모델은 여전히 분포 외 왜곡에 대한 낮은 강건성을 보인다. 이와 반대로, 사람은 분포 외 왜곡에 대해 강건함을 보이는데, 이는 형태 지향적인 표상과 낮은 질감 의존도에 기인한다. 이에, 최근 훈련 데이터셋의 질감을 변화시켜 이미지 분류 모델이 이미지 내 객체의 형태에 보다 집중하도록 유도하는 몇 가지 방법들이 제안되었다. 하지만, 해당 방법들은 자기지도 학습이 아닌 지도 학습에 중점을 두었을 뿐만 아니라, 독립적이고 동일하게 분포된 데이터들에 대해 오히려 성능 감소를 보였다. 이에, 본 논문에서는 자기지도 학습을 위한 새로운 데이터 증강 전략인 형태 강조 증강을 제안한다. 이 방법은 객체의 전경과 배경에 독립적으로 무작위 증강을 적용하여 이미지 내 객체의 형태를 강조한다. 다양한 실험을 통해 본 논문에서 제안하는 데이터 증강 방법이 독립적이고 동일하게 분포된 데이터들에 대한 자기지도 학습 모델의 성능 하락 없이 분포 외 왜곡에 대한 강건성을 향상시키는 데에 효과가 있음을 보인다.