A survey of consensus-based optimization

Abstract

In this thesis, we review past studies of consensus-based optimization(CBO) and compare its performance with four other nature-inspired metaheuristics: GA, PSO, ACO, and SA. Consensus-based optimization is a relatively simple algorithm but shows superior performance, successfully optimizing complex test functions. Moreover, CBO allows for theoretical validation of its success in continuous optimization, as indicated in past literatures. To be specific, past studies proved that CBO without noise eventually arrives at a consensus but not necessarily at a global optimum. CBO with isotropic noise has been studied using the classical mean-fi eld theory, which was successful only for constrained problems. Finally, studies proved the convergence of CBO with component-wise noise using a direct, unconventional method.

본 학위 논문에서는 합의 기반 최적화에 대한 선행연구들을 살펴보고, 이 방법의 효과성을 다른 4개의 자연모방 메타휴리스틱 방법론들과 비교한다. 비교에 사용되는 방법론들은 유전 알고리즘, 입자 무리 최적화, 개미 집단 최적화, 그리고 모의 담금질이다. 합의 기반 최적화는 상대적으로 단순한 규칙에 의거하여 함수를 최적화하지만, 복잡한 문제에 대해서도 잘 작동하며 여타 방법론들을 뛰어넘는 성능을 보였다. 한편, 선행 연구들의 결과에서 확인할 수 있듯이 합의 기반 최적화는 그 유용성을 이론적으로 증명하기에도 용이한 알고리즘이다. 더 구체적으로 언급하자면, 잡음이 없는 형태의 합의기반 최적화는 입자들이 합의에 이른다는 것이 증명되었지만, 그 합의 지점이 반드시 전역적 최적해이지는 않다. 또한, 등방성 잡음을 포함한 합의기반 최적화는 전통적인 평균장 방법을 사용하여 수렴성 연구가 있어왔지만, 이는 제약이 있는 최적화 문제들에 대해서만 성공하였다. 마지막으로, 성분별 잡음을 포함한 합의기반 최적화는 전통적인 평균장 방법보다 더 직접적이고 새로운 방법론을 사용하여 그 수렴성이 증명되었다.