Rotationally Invariant Clustering with Implicit Neural Representations

Abstract

Image clustering is important task in machine learning, deep learning and industry. Especially in deep learning, clustering is becoming increasingly important because it is used not only for clustering but also for other purposes such as pretext task in self-supervised learning. Many previous literatures have shown excellent performance in benchmark datasets, but these datasets are not rotated. However, in practically there is no guarantee that the dataset will always be placed right. We tackle that existing prior algorithms do not work well when images are randomly rotated. In this paper, by leveraging Implicit Neural Representations(INR), 1. We obtain a latent vector, where latent rotation angle and rotationally invariant latent vector are disentangled from each other. 2. We show that clustering by rotationally invariant latent vectors have superior performance on randomly rotated datasets than other methods. To the best of our knowledge, it is the first approach to cluster with Implicit Neural Representations.

이미지 군집화는 머신 러닝, 딥 러닝 및 산업에서 중요한 과제이다. 특히, 딥러닝에서 이미지 군집화는 자기주도학습(self-supervised learning)에서 사전 과제(pretext task)로 사용되는 등 다양한 용도로 활용되기 시작했다. 많은 선행 연구들이 벤치마크 데이터셋에서 우수한 성능을 보여주었지만, 이러한 데이터셋의 이미지들은 회전되어 있지 않고 모두 올바른 방향으로 놓여 있다. 하지만, 실제 세계에서 얻은 데이터셋이 항상 이와 같이 올바로 놓여 있을 것이라는 보장은 없다. 우리는 이미지가 무작위로 회전되어 있을 때, 선행 연구들에서의 알고리즘이 잘 작동하지 않다는 것을 지적한다. 본 논문에서는 음적 신경망 표현(Implicit Neural Representations)을 활용하여 1. 이미지의 잠재 회전 각도(latent rotation angle)와 회전 불변인 잠재 벡터(rotationally invariant latent vector)가 분리되어 있는 잠재 벡터(latent vector)를 얻으며, 2. 회전 불변인 잠재 벡터를 이용한 군집화가 무작위로 회전된 데이터셋에서 우수한 성능을 가짐을 보인다. 우리가 아는 한, 이것은 음적 신경망 표현을 이용하여 군집화 하려는 첫 번째 시도이다.