Development of a Methodology for Designing a Steady-state Dataset using Deep Learning

Abstract

최근 딥러닝 기술의 발전은 인공지능의 비약적인 도약을 이끌었다. 딥러닝 기술은 기존의 모델링 방법론과는 다른 접근 방법으로 다양한 분야에서 높은 정확도를 보여주고 있어, 많은 연구자들에게 주목받고 있다. 자동차 및 내연기관 연구 분야에도 이러한 딥러닝을 이용한 연구가 활발히 진행되기 시작하고 있다. 기존의 연구는 엔진의 현상을 단순화하여 주요한 수식으로 모델링하여 대상 현상을 예측하는 방식을 가진다. 이 경우, 현상을 단순화하는 과정에서 오차가 발생하여 예측 정확도에 한계가 있을 수밖에 없었다. 딥러닝은 이러한 단순화 과정 없이, 데이터에 내재된 변수 간의 관계를 학습하여 현상을 예측하기 때문에 오차가 발생할 여지가 적고, 연구자가 파악하기 어려운 관계까지 파악하여 기존보다 정확한 예측 정확도를 달성할 수 있다. 본 연구에서는 기존의 모델링 방법으로는 예측 정확도에 한계가 있었던 과도 상태에서의 디젤 엔진의 질소산화물을 딥러닝을 통해 예측하였다. 하이퍼파라미터 최적화, 알고리즘 비교, 도메인 전이를 위한 데이터 세트 설계를 포함한 딥러닝 모델을 구축하기 위한 전체 프로세스에 대한 연구를 진행하였다. 딥러닝 모델의 구조인 하이퍼파라미터는 베이지안 최적화와 은닉 노드 결정 로직을 결합하여 데이터의 입출력 종류나 개수와 관계없이 자동으로 최적화하였다. 최적화 대상 하이퍼파라미터는 학습률, 학습률의 감쇄율, 배치크기, 은닉 층의 개수, 첫 번째 은닉층의 노드 개수였다. 베이지안 최적화 방법은 최적화 과정에서 이전 정보를 활용하는 베이지안 룰을 기반으로 동작하므로, 기존의 그리드 검색, 랜덤 샘플링에 비해 효과적이고 정확도가 높았다. 은닉 노드 결정 로직은 은닉층의 개수와 첫 번째 은닉층의 노드 개수를 이용하여, 은닉층의 노드 배열을 등차수열로 배치한다. 이를 통해 노드 개수의 급격한 변화로 인한 정보 손실을 막고, 각 은닉층과 노드를 개별적으로 최적화할 경우 기하급수적으로 발산하는 최적화 횟수를 제어할 수 있었다. 과도 상태에서의 질소산화물 예측에 적합한 딥러닝 모델 구조에 관한 연구도 진행되었다. Deep neural network (DNN) 모델과 Long short-term memory (LSTM) 모델의 정확도 및 계산 시간을 실시간 예측 관점에서 평가하였다. LSTM 모델은 DNN 모델에 비해 예측 정확도가 높았으나, 계산에 더 많은 시간이 소요되어 실시간 예측으로의 적용에는 적절하지 않았다. 또한 데이터 전처리를 통해 DNN 모델의 빠른 계산 속도의 장점을 유지하면서, 계산 시간의 정확도를 LSTM 모델과 비슷한 수준으로 높일 수 있었다. 이는 딥러닝을 통해 과도 상태의 질소산화물을 예측할 시, 준 정상 상태를 통한 예측이 가능함을 의미하였다. 마지막으로, 딥러닝을 통해 질소산화물 예측 시, 기존의 학습데이터와 예측데이터의 상태가 동일해야 한다는 제약을 극복하기 위한 연구를 진행하였다. 이를 위해 정상 상태에서의 실험 데이터 세트를 설계하여 모델 학습에 사용함으로써 과도 상태에서의 질소산화물을 예측하였다. 과도 상태의 엔진 거동을 분석하여, 흡기 공기량, 흡기 압력, 분사 압력 및 주 분사 타이밍을 스윙 변수로 설정하여 각 운전점 별로 일정 범위 내에서 실험하여 데이터를 취득하였다. 이를 통해 정상 상태 데이터를 과도 상태 예측으로 확장할 수 있었다. 또한 과도 조건에서 흡기 온도와 냉각수 온도의 영향을 고려하기 위하여 온도 실험을 추가로 설계하고 수행하여, 온도가 다른 조건에서의 과도 상태 질소산화물을 예측하였다. 이러한 과정을 통해 과도 상태 예측을 위한 정상 상태 실험 조건 설계에 대한 방법을 제시하였고, 그 결과 역시 확인할 수 있었다. 이러한 방법으로 딥러닝 모델의 도메인 제한을 극복함으로써, 질소산화물 예측 모델을 엔진 설계, 검증, 예측 등의 개발 단계 전반과 과도 데이터를 측정할 수 있는 실제 엔진이 없는 경우에도 사용할 수 있게 되었다. 또한 본 연구에서 제시된 정상 상태 실험 계획 방법론은 향후 실도로 조건에서의 질소산화물 예측에 적용할 수 있을 것이며, 다른 기계 시스템의 예측에도 활용할 수 있다.

Recently, the development of deep learning technology has been leading the rising of artificial intelligence. Deep learning technology is a different approach from conventional modeling methodologies and presents high prediction accuracy in various research fields, which attracted attention from many researchers. In automotive and internal combustion engine research, studies using deep learning are beginning to be actively performed. The conventional methodologies simplified engine phenomena and predicted target phenomena with several equations, which causes errors, and is a limitation of the conventional methodologies. Deep learning predicts phenomena by learning the internal relationship between variables of the data, and it can catch complex relationships that researchers could not recognize. In this study, nitrogen oxides (NOx) under transient conditions in a diesel engine were predicted through deep learning, which had limitations in prediction accuracy using conventional modeling methodologies. This study included the entire process for constructing a deep learning model such as hyperparameter optimization, algorithm comparison, and dataset design for domain transfer. Hyperparameters, the structure of the deep learning model, were automatically optimized by combining the Bayesian optimization and hidden-node determination logic. This optimization process could be conducted regardless of the type or number of data inputs and outputs. The hyperparameters to be optimized were the learning rate, learning rate decay, batch size, number of hidden layers, and number of nodes in 1st hidden layer. Because the Bayesian optimization method utilized the previous information based on the Bayesian rule during the optimization process, it was more effective and more accurate than the conventional grid search and random sampling. The hidden-node determination logic used the number of hidden layers and the number of nodes in 1st hidden layer to arrange the node sequence of hidden layers in an arithmetical sequence. It was possible to prevent information loss due to sudden changes in nodes, and control the number of exponentially increased iterations when each layer and node were individually optimized. A study on the structure of a deep learning model suitable to predict NOx in transient conditions was also conducted. The accuracy and computation time of the deep neural network (DNN) model and long short-term memory (LSTM) model were evaluated from the viewpoint of real-time prediction. The LSTM model presented higher prediction accuracy than that of the DNN model, but it needed more calculation time, which is not suitable for real-time prediction. Through data preprocessing, the accuracy of the DNN model increased to a level similar to that of the LSTM model, and its advantage of the calculation speed is maintained, which is suitable to predict NOx emissions under transient conditions through quasi-stationary. Finally, a study was performed to overcome the domain constraint to predict NOx using deep learning. Previously, the domains of both training data and target data should be identical. In order to predict transient NOx emissions using the model trained by the steady-state data, the experimental dataset under the steady-state conditions was designed and used for model training. From the analysis of the engine behaviors under transient conditions, the intake air mass, intake pressure, injection pressure, and main injection timing were set as swing variables, and data were acquired by experiments in certain ranges for operating points. This allowed the steady-state data to be extended to the transient prediction. Temperature swing experiments were additionally designed and performed to consider the effects of intake and coolant temperature in transient conditions. This process was proposed as a method for designing steady-state experimental conditions for predicting transient conditions, and the results were also provided. By overcoming the domain constraint of deep learning models using this method, a deep learning model for the NOx emission prediction can be used at the overall development stages of engines including design, evaluation, and prediction of whether real engines for measurement of transient NOx emissions exist. In addition, the proposed procedure of the steady-state experimental design for predicting transient NOx emissions could be applied to real driving conditions and other mechanical systems.