빅데이터를 위한 베이즈 계산 방법론

Abstract

데이터의 크기가 커지면서 기존의 MCMC 방법론은 한계를 맞고 있다. 계산이 정확하지만 속도가 매우 느려지게 되었다. 이를 극복하고자 분할,정복 원리를 적용한 Consensus MCMC 방법론들이 제안되었다. 데이터를 여러개의 부분 데이터 집합으로 분할하여 각 부분 집합마다 MCMC를 적용한다. 각 데이터 부분 집합 에서 얻은 부분사후분포를 합쳐 전체 데이터에서 실행한 MCMC 결과로 근사하는 방법론이 기본 아이디이어다.

Consensus MCMC 방법론으로 다양한 알고리즘이 제안되고 있다. 여러가지 알고리즘들에 대해서 살펴보고 이론적인 근거와 알고리즘에 대해서 실현 가능성과 성능을 비교한다.

As the size of the data grows, the existing MCMC methodology is facing limitations. The calculation is correct, but the speed is very slow. To overcome this problem, Consensus MCMC methodologies applying the divide and conquer principle have been proposed. The data is divided into several subsets of data, and MCMC is applied to each subset. The basic idea is to sum up the partial posterior distributions obtained from each data subset and approximate it to the MCMC result run on the whole data.

Various algorithms have been proposed as the Consensus MCMC methodology. We look at various algorithms and compare the feasibility and performance of the theoretical basis and algorithms.