Robust Algorithms for Hyperparameter Optimization of Deep Neural Networks

Abstract

The need to solve complicated optimization and search problems has been sharply increasing, especially in the machine learning and deep learning field. Compared to the traditional machine learning models, Deep Neural Networks (DNN) are known to be highly sensitive to the choice of hyperparameters. Therefore, Network Architecture Search (NAS) and Hyper-Parameter Optimization (HPO) are two of the most important problems where generally NAS requires orders of magnitude larger resource budget. For HPO of DNN, while the required time and effort for manual tuning has been rapidly decreasing for the well developed and commonly used DNN architectures, undoubtedly DNN hyperparameter optimization will continue to be a major burden whenever a new DNN architecture needs to be designed, a new task needs to be solved, a new dataset needs to be addressed, or an existing DNN needs to be improved further. For HPO of general machine learning problems, numerous automated solutions have been developed where some of the most popular optimization algorithms are based on Bayesian Optimization (BO) and Evolutionary Algorithm (EA). In this dissertation, meta-heuristics based on the existing algorithms are addressed that can be adapted to a wide set of DNN HPO problems. Six fundamental enhancement strategies are presented for the black-box function optimization method used for NAS and HPO; specifically, pre-evaluated dataset, diversification, parallelization, cooperation, early termination, and cost function transformation are investigated, respectively. Based on these enhancement strategies, two robust algorithms are provided as follows: DEEP-BO (Diversified, Early termination-Enabled, and Parallel Bayesian Optimization) and B2EA (Cooperating Two Bayesian Optimization Modules Can Improve Evolution Algorithm). When they have been exhaustively evaluated on the practical DNN HPO benchmarks, consisted of 6 to 14 various tasks, DEEP-BO and B2EA mostly outperformed the state-of-the-art algorithms such as regularized evolution, BOHB, and BANANAS.

머신러닝 및 최근 활발히 연구중인 딥러닝 분야에서는 복잡한 최적화 및 탐색 문제를 해결해야 할 필요성이 급격히 증가하고 있습니다. 특히, 기존 머신러닝 모델에 비해 DNN(Deep Neural Networks)은 초모수 선택에 따른 성능 변화가 크다고 알려져 있습니다. 따라서, NAS(Network Architecture Search)와 HPO(Hyper-Parameter Optimization)가 딥러닝에서 실질적으로 해결해야 할 가장 중요한 두 가지 문제인데, 일반적으로 NAS가 훨씬 더 많은 자원과 예산을 요구합니다. DNN의 HPO의 경우, 많은 비용을 들여 개발하여 널리 사용되는 DNN 아키텍처에 대해서만 수동 튜닝함으로써 필요한 시간과 노력이 줄이고 있지만 의심할 여지 없이 새로운 문제를 해결하기 위한 새로운 DNN 아키텍처를 설계해야 할 때뿐 아니라, 기존 DNN을 새 데이터 세트로 훈련할 때나, 더 개선해야 할 때 DNN의 초모수 최적화는 계속해서 큰 부담이 될 수 밖에 없습니다. 일반적인 기계 학습 문제에서의 HPO의 경우, 가장 인기 있는 알고리즘들은 베이지안 최적화(BO) 및 진화 알고리즘(EA)을 기반으로 해 다양한 자동화 솔루션이 개발된 바 있습니다. 먼저 이 논문에서는 기존 알고리즘들을 다양한 DNN HPO 문제에 적용하면서 발견한 안정적인 성능 향상을 위한 메타 휴리스틱들을 소개합니다. 본 논문에서는 NAS 및 HPO에 사용되는 블랙박스 함수 최적화 방법에 대한 6가지 기본 향상 전략이 제시됩니다. 보다 구체적으로, 사전 평가된 데이터 세트, 다양화, 병렬화, 협력, 조기 종료 및 비용 함수 변환을 각각 조사합니다. 이러한 향상 전략들을 기반으로 DEEP-BO(Diversified, Early Termination-Enabled, Parallel Bayesian Optimization) 및 B2EA(Cooperating Two Bayesian Optimization Modules Can Improve Evolution Algorithm)의 두 가지 강력한 알고리즘을 개발하였습니다. 이 두 알고리즘들을 6~14개의 다양한 문제들로 구성된 실용적인 DNN HPO 벤치마크에서 평가했을 때, DEEP-BO와 B2EA는 대부분 regularized evolution, BOHB, BANANAS와 같은 최첨단 알고리즘의 성능을 크게 능가하는 우수한 결과를 보여주었습니다.