Expanding the application range of neural network potential by uniform training and uncertainty estimation

Abstract

현재 나노 스케일 소재 연구에서 활발히 사용되는 제일원리계산(First-principles calculations)은 과다한 컴퓨팅 자원을 요구하여 모델링 사이즈가 수 nm를 넘기 힘들다는 한계가 있다. 반대로 고전 원자간 퍼텐셜(Classical interatomic potential)의 경우 정해진 함수 형태를 통해서 원자 간 결합을 기술하여 계산 속도가 매우 빠르지만, 정확도가 제한적이고 복잡한 화학 결합을 기술하는 함수 형태를 개발하는 것이 매우 어렵다는 단점이 있다. 기계학습 모델을 통해 제일원리계산을 학습하여 주어진 시스템의 퍼텐셜 에너지 표면(Potential energy surface)을 기술하는, 일명 기계학습 퍼텐셜은 앞서 언급한 두 방법론의 장점을 조합하여 높은 정확도의 계산을 훨씬 적은 계산 비용으로 얻을 수 있는 방법론으로 많은 관심을 받고 있다. 그 중 특히 인공신경망 모델을 기반으로 하는 고차원 인공신경망 퍼텐셜(High-dimensional neural network potential, NNP)은 금속, 산화물, 반도체, 분자 간 반응 등 광범위한 물질계에 성공적으로 응용된 사례가 이미 보고되었으며 점차 그 응용 분야를 넓혀가는 모습이다. 하지만 여전히 연구자들 사이에 기계학습 퍼텐셜에 대한 근본적인 이해가 많이 부족한데 상황인데, 그에 따라 흔한 저지르는 오류는 기계학습 퍼텐셜을 고전적인 원자간 퍼텐셜의 일종으로 생각하여 그 둘을 비슷한 방식으로 해석하려는 것이다. 그러나 고전적인 원자간 퍼텐셜과 기계학습 퍼텐셜 간에는 더욱 근본적인 차이가 존재한다. 그것은 바로 고전적인 퍼텐셜이 원자 간의 화학 결합을 명시적인 함수 형태로 근사하는 반면 기계학습 퍼텐셜은 이러한 근사 없이 단지 학습 세트(Training set)로 주어지는 제일원리계산의 전체 에너지(Total energy)를 각 원자 에너지(Atomic energy)의 합으로 맵핑(mapping)한다는 것이다. 이러한 특수성 때문에 기계학습 퍼텐셜은 고전적 원자간 퍼텐셜과는 상당히 다른 방식으로 작동하게 되며 따라서 시뮬레이션 중 오류를 유발하는 요인 또한 새로이 이해하고 그에 맞는 해결책을 제시하여야 한다. 본 논문에서는 비교적 복잡한 시스템을 다루는 기계학습 퍼텐셜을 개발할 때 쉽게 마주할 수 있는 내재적 어려움 중 세 가지 주요한 주제를 다루고 그 문제들에 대한 해결책을 제시한다. 본 논문에서 논의하는 첫 번째 주제는 학습 데이터의 편중된 분포에 의한 불균형적인 학습의 문제이다. 이 문제는 특히 공공(Vacancy), 침입(Interstitial) 등 결함(Defect)이 포함된 원자 구조를 다룰 때 크게 두드러지는데 그것은 쉽게 말해 결함이 포함된 원자 구조를 기계학습 퍼텐셜로 학습할 경우 학습 에러가 모든 원자에 고르게 분포하지 않고 적게 샘플 되는 결함 원자에 편중된다는 것이다. 이러한 에러의 편중은 많은 경우 시뮬레이션 정확성을 크게 하락시키며 결함 에너지 (Defect energy) 등의 물리량 예측에 있어서 큰 오류를 유발한다. 우리는 훈련 포인트의 밀도를 정량화하는 가우스 밀도 함수를 새롭게 제시하고 이 함수를 통한 가중치 부여 방법론을 적용함으로써 불균형적 학습 문제를 해결할 수 있었다. 다음으로 다루는 주제는 예측 불확실성의 정량화 문제이다. 고전적인 원자 간 퍼텐셜이 물리적 기반을 가진 함수를 근간으로 하는 것에 반해 기계학습 퍼텐셜은 그러한 물리적 근간이 부족하므로 예측 결과의 높은 신뢰성을 보장하기 어렵다. 따라서 기계학습 방법론의 신뢰성 확보를 위해서는 예측 불확실성의 정량화가 필요하다. 이에 우리는 복제 인공신경망 앙상블(Replica NNP ensemble)을 통한 예측 불확실성의 정량화 방법을 제시한다. 복제 인공신경망 앙상블 방법은 인공신경망 퍼텐셜이 물질 시스템의 기저에 깔린 원자 단위의 에너지를 학습할 때 필연적으로 발생하는 불확실성을 배제함으로써 원자 단위에서 예측 불확실성을 정확하게 정량화할 수 있다는 강력한 장점을 지닌다. 우리는 이 방법론을 니켈-실리콘 고체 계면반응 모사를 위한 인공신경망 퍼텐셜 개발 과정에 적용하였고 해당 방법론의 효용성을 확인할 수 있었다. 마지막으로, 우리는 기계학습 퍼텐셜을 사용하여 화학식 이외의 어떠한 선행 정보도 없이 안정한 결정 구조를 찾을 때 발생하는 어려움에 대해 논의한다. 일반적으로 기계학습 퍼텐셜을 개발할 때는 목표로 하는 시뮬레이션 중 나타날 수 있는 국소적인 원자 구조를 예측하여 학습 세트를 구축하게 된다. 그러나 기계학습 퍼텐셜을 미지의 결정 구조 탐색에 적용한다면 구조 탐색 중 어떠한 결정 구조가 나타날지 예측할 수 없다는 문제가 발생한다. 이에 따라 우리는 액상과 비정질 구조로만 학습 세트를 구성하여 결정 구조 내에 나타날 수 있는 다양한 국지적 원자 환경을 샘플링하는 방법을 제안한다. 이 방법론을 세 가지의 3성분계(Ternary system)와 한 가지 4성분계(Quaternary system) 물질의 안정한 결정구조 탐색에 적용했을 때 비록 기계학습 퍼텐셜이 액상과 비정질 구조만을 학습하였음에도 결정 구조 예측 알고리즘 중 나타나는 수많은 다양한 결정 구조들의 에너지를 제일원리계산에 비하여 정확히 예측한다는 것을 확인하였다. 본 연구에서는 기계학습 퍼텐셜이 가진 특징적인 문제 중 세 가지 주요한 주제를 다루고 해결책을 제시하였다. 우리는 해당 논의가 기계학습 퍼텐셜의 적용 범위 확장에 기여할 것으로 기대한다.

The machine learning approach to develop interatomic potential attracts considerable attention because they can achieve simulation accuracy comparable to the reference first-principles calculations, with a much lower calculation cost. Of the many choices of machine learning potentials, high-dimensional neural network potential is highly anticipated due to its successful demonstrations in a wide range of materials, including metals, oxides, semiconductors, and molecular reactions. Despite its success and attractiveness, machine learning potentials are often regarded as a black-box method, and efforts to understand the basic foundation are lacking. The difficulty in understanding machine learning potentials stems from the difference in traits that distinguish it from the traditional classical potentials. Due to the fundamental differences, machine learning potentials present unique challenges that must be overcome to achieve high accuracy when used. In this dissertation, we address three significant challenges of machine learning potentials and, with neural network potential, in particular, suggest the solution to the challenges. First, we discuss an unbalanced training problem coming from a biased distribution of training points. We provide various examples of biased sampling and how it undermines the accuracy of the simulation. Using the Gaussian density function that quantifies the sparsity of training points, we propose a weighting scheme to solve the unbalanced training problem. Next, we focus on the establishment of prediction uncertainty indicators. Because machine learning potentials do not have physics-based functions like conventional classical potentials, their reliability can be questionable. Therefore, a prediction uncertainty indicator is essential for machine learning potentials. The uncertainty indicator should have atomic-level resolution to identify the exact local atomic environment lacking in the training set. To this end, we propose a replica ensemble method that can ensure the atomic-level resolution of uncertainty estimation by excluding uncertainties arising from atomic energy mapping. We demonstrate this method to run molecular dynamics simulations of the Ni-Si interface reaction. Finally, we touch on one of the grand challenges in machine learning potential application, which is applying machine learning potentials to search for new crystal structures without any preceding information other than the chemical composition. In usual practices, machine learning potentials are first trained over structures derived from known structures. However, such information is not available at the outset in exploring unknown crystals. As we will address that machine learning potentials can effectively map the atomic energies from the reference total energy, we find that they can sample diverse local orders that can appear in crystals from a training set composed only of disordered structures. We prove this analogy on four different multinary crystal systems over experimental phases as well as low-energy crystal structures. By addressing and overcoming the inherent challenges in machine learning potentials, this dissertation will extend the application range of the machine learning potentials.