Time and Entity Adaptation on Panel Data Forecasting Via Meta Learning

Abstract

Panel data refers to data with observations for multiple entities over time. The data is being used in diverse fields of research, including economics, energy, medical science, and physics. When dealing with panel data, researchers often encounter circumstances in which new entities are added. Researchers struggle to make prediction for these new entities owing to insufficient amount of data and distribution shift. Previous deep learning models lack generalizability to forecast the behavior of new entity in an unseen time, and none of the research addressed this challenge specifically. In this paper, we propose meta-learning based approach that enables model to extract general feature, or meta-knowledge across entities and times. The proposed pproach can enhance the adaptability against unseen entity by leveraging this meta-knowledge and providing entity-specific few shot adaptation. We designed unique task setting method for meta learning that can well onsider temporal characteristics of entity in panel data. We also suggest novel data split method which can represent the 3 different situations that can occur in panel data forecasting: existing entities in unseen time, unseen entity in existing time, and most importantly, unseen entity in unseen time. In evaluation on various panel data from broad range of domains, the results have demonstrated the effectiveness of meta-learning on panel data forecasting by achieving the performance improvement over conventional baseline models with most of the situations. Notably, our approach excelled the most in the situation of unseen entity and unseen time, which we are targeting on the most. It supports that our approach strengthens the model's generalizability to unseen data.

본 연구는 여러 개체들을 복수의 시간대에서 관측하여 얻은 데이터인 패널 데이터의 예측에 도움을 줄 수 있는 메타러닝의 효과를 입증한다. 메타러닝을 기반으로 한 제안 기법은 모델로 하여금 개체와 시간 축에서의 메타 지식을 효과적으로 추출할 수 있도록 하여 개체와 시간 축에 대한 모델의 적응성을 강화한다. 또한 태스크 별로 파라미터 최적화가 이루어질 수 있도록 하여 특정 개체의 특정 시간대에서의 개별 패턴을 추가적으로 학습할 수 있도록 하여 모델이 공통 특성과 개별 특성을 고루 학습할 수 있도록 한다. 기업 별 주가 데이터와 클라이언트 별 에너지 소비량 데이터셋을 사용한 실험을 통해 메타 러닝을 통한 학습이 새로운 개체와 시간대에서의 성능 개선에 도움이 됨을 보여주었다. 본 연구는 패널 데이터 예측 시 딥 러닝의 활용 가능성을 보여주며, 패널 데이터의 개체와 시간 축을 모두 고려한 새로운 태스크 구성 기법과 데이터셋 분리 방법을 제안한다는 점에서 가치를 지닌다. 특히 데이터의 양이 한정되어 있는 새로운 개체에 대한 예측을 수행해야 하는 상황에서 모델이 빠르고 효과적으로 학습할 수 있도록 한다는 점에서 유용하게 활용될 수 있다.