Adaptive Layerwise Prototype Networks

Abstract

With the development of deep learning, many researches in the field of computer vision, such as object recognition, are showing good results. However, deep learning requires a lot of data and time compared to humans. Humans can solve simple classification problems with just one example, but the machine needs many examples to optimize the parameters. Thus, few-shot learning emerged from the discussion of creating a model that could adapt quickly to new challenges with less data. Prototypical networks are well known as a representative metric-based model of few-shot learning. It sends each input to the embedding space, where the same classes are closer together and the other classes are farther apart. In this paper, we develop this networks and make networks that perform better. We build a model that uses layered prototypes to use not only high-level features but also mid-level and low-level features. In addition, each prototype is given a different weight for the final model, and the weights are trained together so that the network can adapt to the problem.

딥러닝의 발전 덕분에, 사물 인식 등 컴퓨터 비전 분야의 많은 연구들이 최근 좋은 성과를 보여주고 있다. 그러나, 딥러닝은 간단한 문제를 해결하는 데에도 인간에 비해 꽤 많은 데이터와 시간을 요구한다. 인간은 단 한 개의 예제만으로도 간단한 분류문제를 해결할 수 있지만, 기계는 파라미터들을 최적화시키기 위해 많은 예제를 필요로 한다. 따라서, 적은 데이터로 빠르게 새로운 과제에 적응할 수 있는 모델을 만들어보자는 논의에서 few-shot learning이 출현하였다. few-shot learning의 대표적인 metric-based model로는 prototypical networks가 널리 알려져있다. prototypical networks는 각 input을 embedding space로 보내고, 이 공간상에서 동일한 클래스끼리는 가깝게, 다른 클래스끼리는 멀게끔 한다. 이 논문에서는, prototypical networks를 발전시켜 더 좋은 성능을 보여주는 네트워크를 만든다. 이 networks를 발전시키기 위해, 우리는 특히, high-level의 feature만 사용하는 기존의 모델에서 더 나아가, mid-level과 low-level의 feature까지 사용할 수 있도록 층마다의 prototype을 활용한 모델을 구축한다. 또한, 각 prototype마다 최종 모델에 활용되는 weight를 다르게 주고, 이 weight를 함께 학습시킴으로써 네트워크가 문제에 잘 적응할 수 있도록 한다.