Few-Shot Learning via Data Augmentation in Feature Space

Abstract

When applying deep learning to supervised learning problems, a large amount of labeled data is usually required to achieve good generalization performance. Using few-shot learning, however, we can train deep learning models that are capable of recognizing unseen classes even with limited labeled data. As one of the representative categories of few-shot learning, hallucination-based methods have been utilized. To address data deficiency, methods in this category learn an image generator network and make use of the generator to hallucinate new supplementary data. The downside of the hallucination-based approach is that training the generator is itself difficult and requires a great deal of time and memory. This thesis proposes a data augmentation method for a few-shot learning task using various types of interpolation and extrapolation in feature space. Our approach does not need any trained generator for data augmentation and can be applied to any few-shot learning methods which use feature extracting networks. We conduct few-shot classification experiments using benchmark datasets as well as a visual inspection dataset. Experiments demonstrate that classification accuracy improves as the amount of data increases by the proposed method. Besides, using few-shot learning scheme and our data augmentation method at manufacturing fields that suffer from lack of defective data is expected to help reduce the labeling costs by filtering out the data roughly.

지도학습 문제에 딥러닝을 사용할 때, 일반적으로 라벨링된 데이터가 충분히 많아야 좋은 성능을 기대할 수 있다. 하지만 퓨샷 러닝 기법을 통해서라면 아주 적은 양의 라벨링된 데이터로 학습한 딥러닝 모델도 뛰어난 분류 성능을 보일 수 있다. 퓨샷 러닝의 대표적인 방법 중 하나로 이미지 생성 네트워크를 학습하여 데이터의 양을 늘리는 방법이 제시되어왔다. 그러나 이미지 생성 네트워크는 그 자체로 학습하기가 어려울 뿐만 아니라 시간과 메모리 소요가 크다는 단점이 있다. 본 논문에서는 보다 간단하게 특징 공간에서 보간과 외삽을 통해 데이터의 양을 늘리는 방법을 제안한다. 이러한 방식을 사용하면 이미지 생성 네트워크를 추가적으로 학습할 필요도 없으며, 특징 추출 네트워크를 사용하는 방법이라면 어디에든 적용할 수 있다는 장점이 있다. 본 연구에서는 퓨샷 러닝에 쓰이는 대표적인 데이터셋, 그리고 비전 검사용 데이터셋을 이용해 퓨샷 분류 실험을 수행하였다. 결과적으로 특징 공간에서 보간과 외삽을 이용해 데이터의 양을 늘리면 분류 정확도가 상승하는 것을 확인하였다. 또한 정상 데이터에 비해 결함 데이터가 부족하여 문제를 겪는 제조업 현장에서 퓨샷 러닝과 우리의 데이터 증강 방법을 이용한다면 대략적으로 데이터를 필터링하여 라벨링 비용을 줄이는 데 도움이 될 것으로 기대된다.