Understanding the Latent Space of Diffusion Models through the Lens of Riemannian Geometry

Abstract

확산 모델의 성공에도 불구하고, 우리는 여전히 그 잠재 공간에 대한 철저한 이해가 부족 한 실정이다. 본 연구에서는 잠재 공간 xt ∈ X 를 이해하기 위해 기하학적 관점에서 분석을 수행하였다. 우리의 접근 방식은 모델 내부 표상과 연관된 풀백 메트릭 (pullback metric) 을 활용하여 X 내의 국소 잠재 기저를 도출하는 것이다. 주목할 만한 점은, 우리가 발견한 국소 잠재 기저가 특정 타임스텝에서 기저 벡터를 따라 잠재 변수 xt 를 이동시킴으로써 이미지 편집 기능을 가능케 한다는 것이다. 또한, 확산 모델의 생성 과정에 걸쳐 잠재 변수 주변 기하 학적 구조가 어떻게 변화하고 서로 다른 텍스트 조건에 따라 어떻게 달라지는지 분석하였다. 이를 통해 이미 알려진 굵직한 특성으로부터 세밀한 질감으로의 생성 현상을 확인함과 동시 에, 잠재 변수 위치에 따른 공간 불일치, 데이터셋 복잡성의 영향, 그리고 시간에 따른 텍스트 프롬프트의 영향 변화와 같은 새로운 통찰을 얻을 수 있었다. 우리가 아는 한, 본 논문은 x 조작 및 추가 훈련 없이 특정 타임스텝 t 에서 단 한 번의 편집만으로 가능한 방법, 그리고 확산 모형의 잠재 구조에 대한 철저한 분석을 최초로 제시하고 있다.

Despite the success of diffusion models (DMs), we still lack a thorough understanding of their latent space. To understand the latent space xt ∈ X , we analyze them from a geometrical perspective. Our approach involves deriving the local latent basis within X by leveraging the pullback metric associated with their encoding feature maps. Remark- ably, our discovered local latent basis enables image editing capabilities by moving xt, the latent space of DMs, along the basis vector at specific timesteps. We further analyze how the geometric structure of DMs evolves over diffusion timesteps and differs across differ- ent text conditions. This confirms the known phenomenon of coarse-to-fine generation, as well as reveals novel insights such as the discrepancy between xt across timesteps, the effect of dataset complexity, and the time-varying influence of text prompts. To the best of our knowledge, this paper is the first to present image editing through x-space traversal, editing only once at specific timestep t without any additional training, and providing thorough analyses of the latent structure of DMs.