Applying Regularized Schrödinger-Bridge-Based Stochastic Process in Generative Modeling

Abstract

Compared to the existing function-based models in deep generative modeling, the recently proposed diffusion models have achieved outstanding performance with a stochastic-process-based approach. But a long sampling time is required for this approach due to many timesteps for discretization. Schrödinger bridge (SB)-based models attempt to tackle this problem by training bidirectional stochastic processes between distributions. However, they still have a slow sampling speed compared to generative models such as generative adversarial networks. And due to the training of the bidirectional stochastic processes, they require a relatively long training time. Therefore, this study tried to reduce the number of timesteps and training time required and proposed regularization terms to the existing SB models to make the bidirectional stochastic processes consistent and stable with a reduced number of timesteps. Each regularization term was integrated into a single term to enable more efficient training in computation time and memory usage. Applying this regularized stochastic process to various generation tasks, the desired translations between different distributions were obtained, and accordingly, the possibility of generative modeling based on a stochastic process with faster sampling speed could be confirmed.

기존의 심층 생성 모델링의 함수 기반 모델들과 비교하여, 최근 제안된 확산 생성 모델은 확률 과정 기반의 접근을 통해 우수한 성능을 달성했다. 그러나 이 접근 방식은 이산화를 위한 많은 수의 타임스텝으로 인해 긴 샘플링 시간을 필요로 한다. 슈뢰딩거 브리지 기반 모델은 분포 간의 양방향 확률 과정을 학습하여 이러한 문제를 해결하려고 시도한다. 그러나 이 역시 생성적 적대 모델과 같은 생성 모델들에 비하면 샘플링 속도가 여전히 느리다. 그리고 양방향 확률 과정의 학습으로 인해 상대적으로 긴 학습 시간을 필요로 한다. 따라서 본 연구는 필요한 타임스텝 수와 학습 시간을 줄이는 것을 시도하였고 기존의 슈뢰딩거 브리지 모델에 정칙화 항들을 제안하여 감소된 타임스텝에서도 양방향 확률 과정을 일관적이고 안정적으로 만들었다. 각 정칙화 항들은 계산 시간과 메모리 사용에서 보다 효율적인 훈련을 가능하게 하기 위해 하나의 항으로 통합되었다. 이렇게 정칙화된 확률 과정을 다양한 생성 문제에 적용하여 서로 다른 분포 간에 원하는 변환들을 얻을 수 있었고 이에 더 빠른 샘플링 속도를 가지는 확률과정 기반의 생성 모델링의 가능성이 확인될 수 있었다.