Optimization-based Model Improvement for Error Sources Identification in a Computational Model

Abstract

컴퓨터 이용 공학 기술의 활용도가 증가함에 따라, 각 공학분야에서는 보다 정확한 예측 능력을 가진 컴퓨터 모델을 필요로 하게 되었다. 많은 연구결과를 통해, 신뢰도 높은 계산모델을 얻기 위한 공학기술들이 개발되었다. 최적화 기반 모델 향상 기술은 계산모델 예측도 향상을 위한 공학기술 중 하나로, 모델 보정, 모델 검증, 그리고 모델 개선 과정을 포함하고 있다. 모델 보정은 계산 모델 내 미지변수의 값을 역으로 추정하는 기술이다. 모델 검증은 예측 성능의 정확도를 판단한다. 계산모델 내 미지 오류 원인이 존재하면 모델 개선을 통해 미지 원인을 탐색하는 작업을 수행한다. 최적화 기반 모델향상기술 내 세가지 세부 기술들은 모델 관련 사전 정보의 양에 따라 유기적으로, 혹은 개별적으로도 수행이 가능하다. 모델 향상 기술이 계산모델 내 영향을 주는 다양한 오류원인을 고려하여 수행되고 있으나, 최적화 기반 모델 향상기술은 여전히 계산모델의 정확도를 증가시키는데 한계점을 지니고 있다. 시험 데이터 및 계산 모델 내 다양한 오류 소스들이 결합되어 있어, 최적화 기반 모델 향상 기술은 이 오류원인들을 구분하고 각 오류원인들에 대해 적합한 솔루션을 제공하기에 부적합하다. 따라서, 이러한 문제점을 해결하고자 본 박사학위논문에서는 (1) 파라미터 추정 오류 감소를 위한 시험 설계 기법, (2) 모델 보정 시 모델링 및 시험 오류의 양을 정량화 하기 위한 비율 편향도 정량화 기법 (3) 2종 오류에 강건한 통계기반 검증 척도 비교 연구를 제안하고자 한다. 첫 번째 연구에서는 파라미터 추정 오류를 최소화하기 위한 시험 설계법 개발을 목표로 한다. 여기서 결정된 시험설계안은 모델 보정 시 사용될 시험 데이터 취득을 위한 시험 설계를 뜻한다. 계산모델 내 발생하는 모델링 오류, 그리고 시험데이터 취득 시 발생하는 계측오류 등은 모델 보정에서 정확한 파라미터 값의 추정을 방해한다. 파라미터 추정 오류를 포함한 계산모델은 주어진 시험데이터를 잘 모사하는 것처럼 보이지만, 파라미터를 과도하게 편향된 값으로 추정하여 모델링 오류를 보완한 결과이다. 이 경우, 모델 검증 시 모델이 유효하다고 판단될 수 있지만 실제로는 파라미터 추정오류와 모델링 오류를 동시에 갖고 있으므로 다양한 설계조건에서 유효하지 않은 모델이다. 따라서, 본 연구에서는 파라미터 추정오류와 모델링 오류를 구분하여 정확한 모델 검증을 유도하고자 한다. 파라미터 추정오류와 모델링 오류는 그 정도를 각각 정량화 하는 것이 불가능하므로, 파라미터 추정오류를 가장 최소화 할 수 있는 시험데이터의 종류와 취득위치를 선정할 수 있는 시험설계법을 고안하였다. 이를 위해, (1) 파라미터 추정오류를 수식적으로 유도하였고, (2) 유도된 식 내에서 사용자가 제어할 수 있는 일부항을 최소화 하도록 하였다. 제안된 시험설계법은 파라미터 추정오류와 모델링 오류를 구분하고, 모델 검증 시 유효 및 불유효의 원인이 모델링오류가 될 수 있도록 한다. 두 번째 연구에서는 파라미터 추정오류를 개선하기 위해 모델 보정 시 모델링 오류에 의한 성능 저하량을 정량화 할 수 있는 비율 편향 보정 기법을 제안한다. 첫 번째 연구에서 제안한 시험설계법은 별도의 추가 시험 데이터 없이 파라미터 추정 오류와 모델링 오류를 구분해 낼 수 있는 최선의 방법론 이지만, 모델링 오류 및 시험 오류의 영향이 큰 경우 파라미터 추정오류를 획기적으로 개선하는데 한계가 있다. 오류의 영향도가 큰 모델은 추정 파라미터의 값이 엔지니어가 가진 경험, 혹은 물리 기반 정보에 위배되는 지점으로 수렴할 수 있다. 따라서, 본 연구에서는 관측데이터 외 미지 모델 변수의 물리적 정보를 활용하여 모델링 오류 및 관측오류에 의한 성능저하도의 양을 정량화 하고자 한다. 연구에서 제안된 비율편향 은 오류에 의한 성능저하도를 성능값의 일정한 비율로 가정하여, 모델 보정 시 최적화 알고리즘 내에서 미지모델변수와 함께 최적 값이 추정되는 항이다. 비율편향 항과 미지모델 변수가 사전의 물리적 정보에 위배되지 않는 범위 내에서 추정될 수 있도록 미지모델 변수의 범위 정보를 최적화 알고리즘의 제한조건으로 활용한다. 비율편향 보정기법은 미지모델변수의 추정값이 모델링 오류에 의한 성능저하를 보완하기 위해 과도하게 편향된 값으로 최적화 되는 현상을 바로잡을 수 있다. 세 번째 연구에서는 모델 검증 시 발생할 수 있는 결정 오류를 개선하기 위해 통계적 검증 척도의 선택 기준을 제시하고자 한다. 모델 검증은 주로 통계기반 방법인 가설검증을 활용하여 모델의 유효 및 불유효를 결정한다. 가설검증은 제 1종 오류 및 제 2종 오류의 발생 가능성을 갖고 있다. 제 2종 오류는 불유효한 모델을 유효하다고 판단하는 오류로써 실제 산업분야에 치명적인 사고를 유발할 수 있다. 본 연구에서는 제 2종 오류를 가장 적게 발생 시킬 수 있는 통계적 검증 척도를 분석하기 위해 다음과 같은 조건에서의 검증 정확도 비교 연구를 수행한다. 1) 관측 및 예측 성능의 분산이 같고 평균값의 차이로 인해 예측 성능이 불유효 한 경우, 2) 관측 및 예측성능의 평균보다 분산값의 차이로 인해 예측 성능이 불유효 한 경우. 비교연구는 모델 파라미터의 분산 정도를 4가지로 세분화 하고 관측 데이터 개수에 의한 정확도 차이를 비교하고자 관측 데이터를 3개에서 30개까지 증가시켰다. 그 결과, 성능 간 평균의 차이를 잘 정량화 하는 검증척도 및 성능 간 분산의 차이를 잘 정량화 하는 검증척도를 제안할 수 있었다. 제안된 검증척도의 평균지향 및 분산지향 특성을 증명하고자, 평균지향 척도의 극한값을 유도하여 분산값의 증가 시 척도의 값이 최대값에 도달하지 않아 검증 오류가 발생할 수 있음을 확인하였다.

The increased use of computer-aided engineering (CAE) in recent years requires a more accurate prediction capability in computational models. Therefore, extensive studies have considered engineering strategies to achieve highly credible computational models. Optimization-based model improvement (OBMI), which includes model calibration, validation, and refinement, is one crucial technique that has emerged to enhance the prediction ability of computational models. Model calibration is the process of estimating unknown input parameters in a computational model. Model validation presents a judgement of the accuracy of a predicted response. If it is possible for a computational model to have model form uncertainties, model refinement explores unrecognized error sources of a computational model. OBMI can adopt these three processes individually or sequentially, according to the trustworthiness of the prior knowledge of the computational modeling. Although OBMI process improvements have emerged to try to consider the major sources of errors, OBMI can still suffer from a failure to improve a computational model. Since numerous error sources in an experimental and computational model are intertwined with each other, OBMI has difficulty identifying the error sources required to enable accurate prediction ability of the computational model. Thus, eventually, OBMI may fail to propose an appropriate solution. To cope with this challenge, this doctoral dissertation research addresses three essential issues: 1) Research Thrust 1 – a new experimental design approach for model calibration to reduce parameter estimation errors; 2) Research Thrust 2) – a device bias quantification method for considering model form errors with bound information; and, Research Thrust 3) – comparison of statistical validation metrics to consider type II errors in model validation. Research Thrust 1: A variety of sources of errors in observation and prediction can interrupt the model improvement process. These error sources degrade the parameter estimation accuracy of the model calibration. When a computational model turns out to be invalid because of these error sources, the OBMC process performs model refinement. However, since model validation cannot distinguish between parameter estimation errors and modeling errors, it is difficult for the existing method to efficiently refine the computational model. Thus, this study aims to develop a model improvement process that identifies the leading cause of invalidity of a prediction. In this work, an experimental design method is integrated with optimization-based model improvement to minimize the effect of estimation errors in model calibration. Through use of the proposed method, after calibration, the computational model mainly includes the effects of unrecognized modeling errors. Research Thrust 2: The experimental design method proposed in Research Thrust 1 has the advantage of being able to identify two error sources without additional observation. However, model calibration still suffers from parameter estimation errors, since experimental design is affected by model form errors. The parameters estimated by model calibration are often unreasonable for engineers in practical settings because they have expert-based prior knowledge about the model parameters. Among the variety of physical information available, bound information about model parameters is a suitable constraint in optimization-based model calibration (OBMC). Using prior information about parameter bounds, Research Thrust 2 devises proportionate bias calibration to quantify the amount of degradation of the predicted responses that is due to model form errors in a computational model. The bias term is estimated in the optimization-based model calibration (OBMC) algorithm with unknown parameters to enable OBMC to support accurate estimation of unknown parameters within a prior bound. This study proposes a new formulation of a bias term that depends on the output responses to resolve the gap in appropriate bias that arises due to the different dimensions of the predicted responses. Research Thrust 3: Statistical model validation (SMV) evaluates the accuracy of a computational models predictions. In SMV, hypothesis testing is used to determine the validity or invalidity of a prediction, based on the value of a statistical validation metric that quantifies the difference between the predicted and observed results. Errors in hypothesis testing decisions are troublesome when evaluating the accuracy of a computational model, since an invalid model might be used in practical engineering design activities and incorrect results in these settings may lead to safety issues. This research compares various statistical validation metrics to highlight those that show fewer errors in hypothesis testing. The resulting work provides a statistical validation metric that is sensitive to a discrepancy in the mean or variance of the two distributions from the predictions and observations. Statistical validation metrics examined in this study include Kullback-Leibler divergence, area metric with U-pooling, Bayes factor, likelihood, probability of separation, and the probability residual.