High Dimensional Markov Chain Monte Carlo with Multiple GPUs

Abstract

인공신경망과 같은 많은 계산을 요하는 모형이 다양한 분야에서 효과적임이 드러남에 따라 형렬 연산을 병렬처리 하기 위해 그래픽카드(GPU) 상 에서 계산하는 것이 일반화되고 있으며 이를 위해 계산을 여러 스레드로 나누는 방법을 찾는 것이 중요해지고 있다. 본 논문은 분할 된 샘플 공간에서 브리지 샘플링과 해밀토니안 몬테카를로를 결합하여 여러 GPU에 분산될 수 있는 새로운 MCMC 알고리즘을 제시한다. 이 접근법은 베이지안 뉴럴 네트워크 (Bayesian Neural Network)와 같은 타겟 분포에 대한 MCMC 샘플링을 빠르게 할 수 있다. 또한 다중 모달 (Multimodality)이 존재할 때 이 알고리즘은 낮은 확률 영역에서도 샘플링을 효율적으로 잘 할수 있는것으로 나타났다. 마지막으로 이 논문은 Adam Optimizer, 해밀토니안 몬테카를로와 같은 다른 학습 방법의 변수 분포와 본 알고리즘의 변수분포를 비교함으로써, 제한된 표본 공간이 일반화 오차에 미치는 영향에 대한 추가 연구가 수행 될 수 있음을 제시한다.

Allocating computation over multiple threads to reduce running time has become a key to training big models such as deep neural networks because a Graphics Processing Unit (GPU), which is parallel in nature, can speed up intensive matrix operations. We present a new MCMC algorithm that can be distributed over multiple GPUs by combining bridge sampling with Hamiltonian Monte Carlo on partitioned sample spaces. We empirically show that this approach can expedite MCMC sampling for any unnormalized target distribution such as Bayesian Neural Network in a high dimensional setting. Furthermore, in the presence of multimodality, this algorithm is expected to be more efficient in mixing MCMC chains when proper partitions are chosen. Finally, by comparing the parameter distributions of different learning method, we suggest that further studies could be conducted on the effect of a constrained sample space on the generalization error.