Analysis and Improvement of Softmax-Loss in Deep Metric Learning

Abstract

Deep metric learning is a widely used learning method in the field of image search and face verification. This learning method learns the semantic distance between features while mapping each data to a specific embedding space. For learning metrics in the embedding space, various loss functions and data sampling methods have been developed recently. In particular, the proxy-based loss function is widely used because of the excellent computation speed. Previous researches on the proxy-based loss have assumed the feature vectors and the corresponding proxies coming close after enough training. Although this assumption highly related to the performance of classification, the actual behavior of vectors in embedding space has not been analyzed explicitly. This study analyzes the softmax loss function used as the basic frame in proxy-based loss to determine when the assumption will match the real training result. The analyzed results indicate the new loss will improve performance. The experimental result confirms that this new loss function can effectively improve the performance of the ResNet-50 model.

딥 메트릭 학습은 이미지 검색 및 얼굴 검증 분야에서 널리 사용되는 학습 방법이다. 이 학습 방법은 각 데이터를 특정 임베딩 공간에 대응시키면서 특성 간의 의미적 거리를 학습하는 방법을 말한다. 임베딩 공간에서의 메트릭을 배우기 위해, 지금까지 다양한 손실 함수 및 데이터 샘플링 방법이 개발되어 왔다. 특별히, 프록시 기반 손실 함수는 계산 속도에 있어 우수한 장점을 갖고 있어 많이 사용되고 있다. 딥 메트릭 학습에서 성능을 결정하는 중요한 요소 중 하나는 클래스 내 거리와 클래스 간 거리인데, 프록시 기반 손실 함수에서는 이 거리를 분석하는 구체적인 연구가 이루어지지 않았다. 본 연구에서는 프록시 기반 손실에서 기본 프레임으로 사용되는 손실 함수인 소프트 맥스 손실 함수를 분석하여 클래스 내 거리 및 클래스 간 거리를 개선하는 방법을 알아보았다. 그리고 얻은 분석 결과를 사용하여 성능을 향상시킬 수있는 새로운 손실을 제안하였다. 마지막으로 본 연구에서 제안한 손실 함수가 ResNet-50 모델의 성능 향상에 효과적인 것으로 실험을 통해 확인하였다.