Complete the Feature Space: Diffusion-Based Fictional ID Generation for Face Recognition

Abstract

In deep face recognition (FR) tasks, the size and diversity of the training dataset are essential factors in improving performance. Unfortunately, crawled datasets suffer from issues such as label noise, the long-tailed problem, and privacy concerns. These problems can be solved if we can generate face images while preserving IDs in either real IDs or fictional IDs. However, previous face synthesizing approaches have limitations of requiring explicit control of facial attributes or exhibiting a lack of diversity, resulting in unsuccessful FR performance. In this paper, we propose DiffFR, a method that generates diverse face images for enhancing FR datasets within core fictional identities (IDs) by utilizing an ID-preserving diffusion model. We condition the diffusion model with a representative feature called the ID feature, to condense ID information which enables the diffusion model to generate face images in either real IDs or fictional IDs. Among the numerous fictional IDs, we select core IDs that fill the void space of FR feature space, specified as improving the inter-class sparsity. Furthermore, by leveraging the ID features to predict intra-class diversities, we ensure that intra-class diversity is duly reflected in the selection of core IDs. Our experiments demonstrate that DiffFR surpasses other synthesizing methods for FR dataset augmentation on FR benchmark sets, owing to its ability to generate datasets with a high degree of intra-class diversity and inter-class sparsity.

심층 얼굴 인식(Deep Face Recognition)에서 학습 데이터셋의 크기와 다양성은 성능 향상에 중요한 요소이다. 하지만, 수집된 데이터셋(crawled dataset)은 레이블 오류, 긴꼬리 문제(long-tailed problem)와 개인정보 문제로 인해 사용에 한계가 있다. 이 러한 문제를 해결하기 위해 기존 연구에서는 실제 데이터셋을 보완하기 위한 얼굴 데이터셋 합성 방법들이 제안되었다. 그러나 기존 접근법들은 명시적인 특징 제어를 필요로 하거나 생성된 이미지의 다양성이 부족하여 성공적인 얼굴 인식 성능을 달성 하지 못하였다. 본 논문에서는 인물 보존 확산 모델(ID-preserving diffusion model) 을 활용하여 핵심 가상 인물(ID)을 생성하고, 이를 기반으로 얼굴 인식 성능을 향상 시키는 DiffFR 방법을 제안한다. DiffFR는 인물 정보를 압축하여 추출한 인물 특징 벡터(ID feature)를 조건부 확산 모델(conditional diffusion model)에 입력하여 학습 하여 기존 인물 뿐만 아니라 가상 인물의 얼굴 이미지도 생성이 가능하도록 한다. 또, 생성 가능한 무수히 많은 가상 인물들 중, 클래스 간 희소성(inter-class sparsity) 을 향상 시켜 얼굴 인식 특징 공간의 빈 공간을 채워주는 핵심 인물들을 선정하여 생성한다. 결과적으로, DiffFR가 다른 얼굴 데이터 합성 방법을 통한 데이터 증강 (data augmentation)에 비해 우수한 성능을 보인다는 것을 실험적으로 보인다. 또, 이는 클래스 내 다양성(intra-class diversity)과 클래스간 희소성에 기인한 것임을 실 험적으로 보인다.