Data-driven Soft Sensor Development for Multi-grade and Time-varying Processes

Abstract

실시간 온라인 품질 측정이 불가능한 많은 수의 산업 화학 공정에서는 운전 중 반응기의 상태 및 화학 제품의 성질과 품질을 예측하는 것이 매우 중요하다. 불량 제품 생산 감소 및 공정 효율 증대를 위해서 더욱 정확하고 보다 빠른 예측이 필수적이다. 따라서 제일 원리 혹은 기계 학습 회귀 방법론 등을 활용하여 산업 화학 공정의 정확하고 빠른 소프트 센서를 구축하기 위한 다양한 연구들이 지속적으로 수행되어왔다. 그러나 실제 산업에서 운전되는 화학 공정의 품질 예측을 어렵게 하는 몇 가지 문제점들이 존재한다. 첫째, 화학 공정의 공정 동역학은 다양한 화학 반응 및 에너지와 물질 전달, 그리고 상전이 등의 복잡한 상호 작용의 결과로써 예측 모델도 이러한 높은 수준의 공정 비선형성을 다룰 수 있어야 한다. 또한 공정의 높은 비선형성은 구축된 소프트 센서 모델의 해석을 더욱 어렵게 만들어 공정 모니터링 및 제어의 난이도가 높아진다. 둘째, 산업 화학 공정은 운전 중 동역학이 변화하는 시변 (time-varying) 공정인 경우가 많다. 고분자 중합 공정을 비롯하여 많은 수의 화학 공정들은 계속해서 변화하는 시장의 수요에 맞추기 위해 다양한 운전 조건에서 여러 제품을 번갈아 생산한다. 그러나 공정 초기 안정화 단계 및 등급 변경 등 비정상 상태에서 공정이 운전될 때에는 긴 안정화 시간 및 과도한 오버슈트 (overshoot) 등의 문제에 취약하다. 또한 대부분의 회분식 공정에서는 시간이 지남에 따라 반응기 내 화학 물질들의 농도가 변화하면서 지배적인 반응이 바뀌게 되어 공정은 이전과 다른 양상으로 진행된다. 실제 산업 현장에서 운전되는 공정에서는 위와 같이 공정의 특성으로 인한 동역학의 변화뿐만 아니라 촉매 비활성화 및 반응기 내 각종 오염으로 인해 의도치 않은 공정 드리프트 (process drift)의 발생으로 인하여 공정 동역학이 변화하기도 한다. 이러한 공정 드리프트는 모델과 공정 간의 괴리를 야기하고 이로 인하여 구축된 소프트 센서 모델의 예측과 실제 품질 측정 값 간의 큰 편차가 발생할 수 있다. 따라서 더욱 정확하고 강건한 예측을 수행하기 위해서는 앞서 언급한 문제점들이 모델링 과정에서 적절하게 해결되어야 한다. 이러한 관점을 기반으로 본 논문은 산업 현장에서의 화학 공정의 모델링 과정에서 수반되는 문제점들을 해결하여 개선된 예측 정확도 및 강건함을 지닌 새로운 소프트 센서 개발 방법론들을 제안한다. 첫째, 실제 운전 중인 상업용 고분자 중합 공정에서 생산된 고분자 제품의 실시간 품질 측정을 위한 하이브리드 소프트 센서 모델링 방법론을 제안한다. 기존의 제일 원리 기반의 예측 모델 및 데이터만을 활용한 기계 학습 기반 예측 모델과 비교하였을 때, 제안한 하이브리드 모델은 반응 메커니즘과 같은 공정에 대한 사전 지식과 인공 신경망과 같은 데이터 기반 회귀 방법론을 결합함으로써 더욱 정확한 품질 예측을 수행할 수 있다. 또한 제안한 하이브리드 기법을 적용하여 얻어진 예측 모델은 공정에 대한 물리적, 화학적 정보를 통해 데이터 기반 예측 모델의 단점인 외삽 성능을 보완하여 더욱 뛰어난 일반화 성능을 나타낸다. 대상 고분자 중합 공정에서 얻어진 등급 변경과 같은 비정상 상태의 운전 데이터에 대하여 하이브리드 모델은 단순한 형태의 데이터만을 활용한 기계 학습 모델들에 비해 더 강건한 예측 성능을 보인다. 둘째, 동적 시간 왜곡 (dynamic time warping) 이 결합된 시계열 기반의 적시 학습 (just-in-time learning) 소프트 센서 모델링 기법을 제안한다. 다등급 공정 혹은 시변 공정에서 얻어진 공정 데이터는 여러 종류의 운전 조건이 혼합되어 다봉분포 (multimodal distribution)을 나타낸다. 이러한 형태의 데이터는 단일한 전역 예측 모델만으로는 학습하기 어렵고 정확한 예측을 기대하기 어렵다. 적시 학습 모델링 기법에서는 모든 학습 데이터를 활용하여 단 하나의 전역 모델을 구축하는 대신 품질 예측이 필요한 현재 시간 스텝에서의 샘플과 유사한 샘플들만 추려내어 지역 모델을 학습한다. 따라서 적시 학습 기법으로 구축된 소프트 센서 모델은 시간에 따른 공정의 변화에도 적응할 수 있다는 장점이 있다. 또한 제안하는 모델링 기법에서는 특정 시간에서의 데이터 포인트 대신 시계열 형태의 데이터를 입력받음으로써 공정 데이터의 동적 양상을 고려한다. 적시 학습 기법에서는 어떠한 방식으로 샘플 간의 유사도를 계산하는지에 따라서 예측 성능이 크게 영향을 받는다. 따라서 시계열 간의 유사도를 보다 정확히 계산하기 위해서 동적 시간 왜곡을 제안한 모델링 기법에 적용한다. 동적 시간 왜곡은 데이터 배열 간의 정렬을 위해 널리 쓰이는 기법 중 하나로 배열을 늘이거나 압축하여 서로 다른 배열 간의 유사도를 정확히 계산할 수 있다. 제안한 모델링 방법론은 적시 학습 기법과 동적 시간 왜곡을 결합함으로써 다등급 및 시변 화학 공정에서의 소프트 센서 개발에 대해 다음 두 가지의 주요 기여를 달성한다. 첫째, 시계열을 모델의 입력으로 활용함으로써 복잡한 동역학을 지닌 공정에 대해 더 정확한 예측을 수행할 수 있다. 둘째, 테스트 시계열과 데이터베이스 내 시계열 간의 유사도 계산에 동적 시간 왜곡을 활용함으로써 유사한 샘플들을 더 정확하게 추려낼 수 있다. 또한 모델의 파라미터가 모델의 예측 성능에 미치는 영향을 연구한다. 민감도 분석 결과, 최적의 입력 길이는 공정의 입력 및 출력 변수 간의 상호 상관에 의해 결정되며 동적 시간 왜곡의 경로 너비를 제한함으로써 더 높은 예측 정확도와 계산량 감소 효과를 얻을 수 있다. 따라서 본 연구에서는 최적화된 하이퍼파라미터 기반의 동적 시간 왜곡 기반이 결합된 적시 학습 소프트 센서 모델을 제안하며, 이 때 모델링 성능은 입출력 변수 간의 상호 상관 계수를 미리 계산하고 왜곡 경로의 너비를 제한하여 최적화된다. 제안한 모델링 방법론은 다등급 공정의 시뮬레이션 사례 연구들을 통해 개선된 예측 성능을 입증한다. 요악하면 본 논문은 높은 비선형성 및 다등급 혹은 시변 특성을 지닌 산업 화학 공정에 대해 개선된 예측 정확도와 일반화 성능을 지닌 새로운 소프트 센서 개발 방법론들을 제시한다. 시뮬레이션 및 실제 고분자 중합 공정의 데이터를 활용하여 기존 방법론들 대비 제안한 모델링 방법론의 우수한 예측 성능을 입증한다.

The prediction of the qualities and properties of chemical products and reactor conditions during process operation is essential for chemical processes where real-time online quality measurement is not available. In order to decrease off-specification products and increase process efficiency, the prediction is required to be more accurate and rapid. Therefore, there has been a great effort to build an accurate and fast soft sensor for industrial chemical processes using first principles or machine learning regression methods. However, there exist several challenges which make it much more difficult to accurately predict qualities in industrial chemical processes. First, a prediction model needs to be able to deal with the high nonlinearity of process dynamics resulting from complex interactions between chemical species, chemical reactions, energy and mass transportations, and phase transitions. Additionally, the high nonlinearity makes the construction and interpretation of a soft sensor model significantly more difficult. Second, industrial chemical processes exhibit time-varying process dynamics. Many chemical processes are operated alternately in multiple modes to satisfy fluctuating market demands. However, unsteady state operations including grade transition and startup result large settling time and overshoot. In most batch processes, furthermore, the dominant reaction taking place in the reactor is constantly changing as the reaction progresses and the concentrations of chemical species change. In addition, industrial chemical processes are subject to process drifts such as catalyst deactivation and fouling. The process drifts may lead to the model-plant mismatch and large discrepancy between the predictions from the trained soft sensor model and actual quality measurement. Therefore, in order to obtain more accurate and robust predictions, the aforementioned problems must be dealt with during modeling procedure. In this regard, this thesis proposes novel soft sensor development methods with improved accuracy and robustness by addressing modeling problems in industrial chemical processes. First, a hybrid soft sensor modeling framework for online quality prediction of polymer products from industrial polymerization process is proposed. When compared to conventional first principles models and data-only machine learning models, the proposed hybrid model provides more accurate prediction by combining prior process knowledge including reaction mechanisms and data-driven regression methods such as neural networks. Additionally, the generalizability of a machine learning prediction model is improved by applying the proposed hybrid modeling approach. The hybrid model has more robust prediction performance when the process undergoes grade changeover and unsteady state operation, compared to data-only machine learning models. Second, a time series-based just-in-time learning soft sensor modeling method combined with dynamic time warping is proposed. The process data obtained from a multi-grade or time-varying process shows multimodal distribution, which is difficult for a single global model to learn. Rather than training a global model with the full training dataset, a just-in-time learning model makes prediction based on a local model trained only with selected training samples which are similar to the query sample, allowing a soft sensor to adapt to process changes. Additionally, the proposed model takes a time series as an input rather than a data point at a certain time in order to account for dynamic behavior of a process. The prediction performance of a just-in-time learning model is strongly affected by how to select similar samples among large database. The proposed modeling method utilizes dynamic time warping method in calculation of similarities between the query and stored data samples. Dynamic time warping is one of the most widely used synchronization methods for data sequences. Additionally, the similarity between two distinct data sequences can be calculated with dynamic time warping by stretching the sequences. The proposed modeling approach achieves two main contributions by combining just-in-time learning and dynamic time warping in soft sensor development for multi-grade and time-varying chemical processes. First, complex process dynamics is accounted in the proposed model by taking time series process data as an input. Second, more accurate selection of similar data sequences from the database is achieved by applying dynamic time warping in similarity calculation. The improvements in the prediction performance achieved by the proposed modeling approach are demonstrated using case studies of multi-grade processes. In addition, the effects of the model hyperparameters on the prediction performance are thoroughly investigated via simulation studies. As a result of the sensitivity analysis, the optimal input length is determined by the cross-correlation between the input and output variables. Furthermore, prediction accuracy and computational speed can be improved by applying the width constraint on the dynamic warping path. Therefore, this thesis provides hyperparameter-optimized just-in-time learning modeling approach combined with dynamic time warping by introducing width constraint on the warping path and calculating cross-correlations between the input and output. In summary, this thesis proposes novel soft sensor development methods with improved prediction accuracy and generalizability for industrial chemical processes which are highly nonlinear and exhibit multi-grade or time-varying process dynamics. The proposed modeling approaches demonstrate improved modeling performance compared to conventional modeling methods when applied to simulation data and actual polymerization process data.