Optimal ensemble size for Sub-seasonal to Seasonal (S2S) prediction system

Abstract

In this study, the optimal ensemble size and the factor affecting its determination for Sub-seasonal to Seasonal (S2S) prediction are explored. The results show that the prediction skill, which is quantified by the mean square skill score (MSSS), increases with increasing ensemble size in a perfect model with an unbiased and reliable ensemble spread to observed variance. In this idealized prediction system, 10 to 20 ensemble members lead to 90% to 95% of the skill improvement in the theoretical maximum (infinite ensemble size). This theoretical estimation is applied to the European Centre for Medium-Range Weather Forecasts (ECMWF) S2S real-time forecast that consists of 51 ensemble members. The MSSS of the 500-hPa geopotential height, which represents tropospheric skill, is in good agreement with the theoretical estimation, indicating that approximately 10 to 20 members are needed to obtain a skill improvement close to the theoretical maximum. However, the stratospheric skill, verified at the 50-hPa geopotential height, is substantially lower than the theoretical estimation. This result is particularly true in the tropical stratosphere, where only 20-30% skill improvement of the theoretical maximum can be obtained even when using all ensemble members. The substantial overestimation of the stratospheric skill is mainly due to model mean bias. The role of mean bias in the ensemble size effect is highly dependent on ensemble spread and natural variability. By removing the bias, overestimation in the stratosphere can be reduced so that it is possible for 10-20 members to be optimal. Extending the results to all the levels and seasons available in the S2S dataset indicates that the effect of mean bias is remarkable in the tropical and summer hemispheric upper stratosphere.

본 연구는 계절내 및 계절(S2S) 예측을 위한 최적의 앙상블 크기와 그 결정에 영향을 미치는 요인에 대해 다루고 있다. 바이어스가 없고 관측의 분산에 잘 부합하는 앙상블 스프레드를 갖춘 완벽한 모델에서, 평균제곱기술(Mean Square Skill Score; MSSS)로 정량화되는 모델의 예측성은 앙상블 크기가 증가함에 따라 항상 향상됩니다. 이러한 이상적인 예측시스템에서 10-20개의 앙상블 멤버가 있으면 이론적으로 얻을 수 있는 최대(무한 개 앙상블 멤버)의 90에서 95%에 해당하는 예측성 향상을 기대할 수 있다. 51개의 앙상블 멤버를 가진 유럽중기예측센터(European Centre for Medium-Range Weather Forecasts; ECMWF)의 S2S 실시간 예측 자료를 위의 이론적 추정과 비교하였다. 대류권의 예측성을 나타내는 500-hPa 지위고도의 MSSS는 이론적인 추정치와 잘 일치하며, 이는 10-20개의 멤버로 이론적인 최대치에 근접한 예측성 향상을 얻을 수 있음을 의미한다. 그러나 50-hPa 지위고도의 MSSS로 평가된 성층권 예측성은 이론적 추정에 비해 상당히 낮은 것으로 나타났다. 특히 열대 성층권 영역에서는 모든 앙상블 멤버를 사용했을 때에도 예측성 향상이 이론값의 20-30% 수준에 불과했다. 성층권에서 나타나는 과대추정 경향은 주로 모델의 평균 바이어스에 기인한다. 이 같은 앙상블 크기 효과에 대한 바이어스의 영향은 앙상블 스프레드와 관측의 분산에 크게 영향을 받는다. 단순히 바이어스를 제거하는 바이어스 보정(bias correction)을 통해 성층권에서의 과대추정을 완화할 수 있으며, 대류권과 마찬가지로 10-20개를 최적 앙상블 규모로 취할 수 있다. 전체 고도와 계절에 대한 확장을 통해, 열대 및 여름반구 상부 성층권에서 동일하게 바이어스의 영향이 극명하게 나타남을 확인할 수 있다.