Metadynamics sampling for training machine learning potential

Abstract

Machine learning potential is getting much attention as a promising computational tool that can give the accuracy close to that of quantum mechanical calculations with much lower cost that scales linearly with the number of atoms. The capability of machine learning potential was demonstrated through numerous applications to complex systems. However, a lack of fundamental understanding and the difficulties in constructing a training set are hindering a wide application of machine learning potentials. Despite the methodological advances in machine learning potentials, the conceptual foundation is still elusive due to the black-box nature of machine learning. The connection between machine learning potential and density functional theory, which forms the basis of machine learning potential, is not explicitly discussed. Besides, the construction of reliable machine learning potential requires a careful selection of a training set. The training set is usually selected by intuition and experience. Still, unexpected structures can emerge during the simulation, giving unreliable results or even catastrophic failures. Thus, a systematic method to construct a robust training set is desirable. In this dissertation, we address two main issues hindering a wide application of machine learning potentials. First, starting from the nearsightedness principles, we formally derive transferable atomic energy within density functional theory, which is essential for all machine learning potentials that are based on the concept of locality. It becomes clear that the objective of machine learning potential is to learn the underlying atomic energy function from total energies. Using a classical potential as a reference, we show that machine learning potential is capable of learning the underlying atomic energy function when only total energies are informed. Through three simple examples, we demonstrate that machine learning potential is also prone to ad hoc energy mapping, where the potential gives an accurate prediction for the training set but learns markedly wrong atomic energy function. The implication for multi-component systems is also discussed. Next, we suggest a novel metadynamics method that can efficiently sample a wide range of local environments, enabling easier construction of a robust machine learning potential. We use a descriptor vector, which is an input to a machine learning model, as a collective variable for each atom. The total bias potential is a sum of atomic bias potentials. In this way, we can efficiently enhance sampling over local environment space for each atom rather than the configuration space of the whole system. We demonstrate three applications of the suggested metadynamics method. The metadynamics simulation can systematically sample a wide range of local environments that are energetically relevant. We apply the metadynamics sampling to develop general-purpose neural network potential for silicon and aluminum. Also, we show that the metadynamics simulation can be used to assess the stability of machine learning potentials and that the metadynamics sampling generates a robust training set, which improves the stability of machine learning potentials.

기계 학습 퍼텐셜은 제일원리 계산에 근접하는 정확도를 훨씬 적은 계산 비용으로 계산하는 방법으로 주목받고 있다. 특히 계산 비용이 원자 수에 비례하여 증가하기 때문에 높은 정확도로 대규모 계산을 수행하기에 적합한 방법이다. 복잡한 계에 대한 기존 응용 연구들이 성공적으로 수행되어 기계 학습 퍼텐셜의 가능성을 보여주었다. 하지만 기계 학습 퍼텐셜에 대한 기초적인 이해가 부족하고 학습 세트를 선정하는 것이 어렵기 때문에 아직 널리 사용되지 못하고 있다. 기계 학습 퍼텐셜과 관련된 방법론은 빠르게 발전하고 있지만, 기계 학습 모델이 블랙박스처럼 사용되어 여전히 기초적인 이해가 부족한 실정이다. 또한 밀도 범함수 이론 결과를 학습하는 기계 학습 퍼텐셜이 성립하려면 기계 학습 모델과 밀도 범함수 이론의 관계가 중요한데 이에 관한 내용은 아직 논의되지 않았다. 다른 한편으로는 높은 신뢰도를 가진 기계 학습 퍼텐셜을 개발하려면 신중하게 학습 세트를 선정하는 것이 중요하다. 학습 세트는 보통 직관과 경험, 그리고 시행착오를 통해 구성하는데 여전히 시뮬레이션 도중에 예상치 못한 구조가 발생하며 시뮬레이션이 실패하는 경우가 흔히 발생한다. 따라서 쉽고 체계적으로 학습 세트를 구축하는 방법이 요구된다. 이 연구에서는 기계 학습 퍼텐셜이 널리 사용되는 데 방해가 되는 두 가지 문제점에 대해 논의한다. 먼저, 전자 구조의 국지성 원리로부터 시작하여 밀도 범함수 이론에서 양도 가능한 원자 에너지를 정의하였다. 이는 국지성에 기반을 둔 모든 기계 학습 퍼텐셜에 있어서 필수적으로 정의되어야 한다. 이로부터 기계 학습 퍼텐셜은 전체 에너지로부터 기저에 있는 원자 에너지 함수를 배우는 것임을 알 수 있다. 고전 퍼텐셜을 이용한 예시를 통해 기계 학습 퍼텐셜이 실제로 전체 에너지만이 주어졌을 때 기저에 있는 원자 에너지 함수를 배울 수 있음을 보였다. 또한, 세 가지 예시를 통해 기계 학습 퍼텐셜이 전체 에너지는 정확히 맞추지만 잘못된 원자 에너지를 배울 수 있음을 보였다. 잘못된 원자 에너지가 다성분계에 미치는 영향도 논의하였다. 다음으로 넓은 원자 환경을 샘플링하여 학습 세트를 쉽게 구축할 수 있는 새로운 메타동역학 샘플링 기법을 제안하였다. 제안된 방법에서 집합 변수(collective variable)로는 기계학습에 사용되는 디스크립터 벡터를 사용하고 전체 바이어스 퍼텐셜은 개별 원자의 바이어스 퍼텐셜들의 합으로 주어진다. 이렇게 함으로써 전체 계의 구조 공간을 탐색하기보다는 개별 원자의 주변 환경 공간을 효율적으로 탐색할 수 있다. 이 연구에서는 제안된 메타동역학 방법의 세 가지 응용 예시를 보였다. 먼저, 메타동역학 샘플링 기법을 활용하여 실리콘과 알루미늄에 대해 광범위하게 사용될 수 있는 다목적 퍼텐셜을 개발하였다. 또한, 메타동역학 방법이 이미 만들어진 퍼텐셜의 안정성을 평가하는 데 사용될 수 있음을 보이고, 메타동역학 샘플링 기법이 퍼텐셜의 안정성을 향상하는 것을 보였다.