A Time-Machine Learning Framework: Learning from others

Abstract

As the concept of AI and data science is gaining popularity in solving real-world problems, many application areas are being discussed. Among those, time-series data is found readily in the real-world – sales data, electric vehicle (EV) battery data, sensor data from various appliances, stock market data, etc., and is used for anomaly detection and forecasting to name a few. This research focused on solving the time-series forecasting problem, where multiple pieces of equipments share their results real-time and help each other forecast ones own future referring to others past behaviors. In the novel concept of Frontier-Follower Learning, the players are divided into either Frontiers – whose past behaviors (results) be reference points for learning by others - , or Followers – who mainly refer to the past behaviors of Frontiers. Frontiers and Followers are not static but are reassigned dynamically by the degree of similarity among past data points. Frontiers past records are evaluated by the means of similarity index, which in this paper used dynamic time warping (DTW), and the information of the Frontiers reference data points is fed into the model only to the degree of its similarity to the Followers model. Several scenarios with cases have been experimented with to validate the concept : base cases with 10 pieces of equipment with different usage behaviors, by increasing the number of equipment, increasing the time gap among equipment, comparison with teacher-student network model, and even validation using the real-world data of BXB corporation. The results proved that the novel concept of evaluating the value of the information and dynamically updating the model referring to its Frontiers has better performance. The concept can be further applied to real-world settings where multiple players respectively have a limited number of past records, but a collectively meaningful amount for training.

실제 문제를 해결하는 데 AI와 데이터 과학의 개념이 인기를 끌면서 많은 응용 분야가 논의되고 있다. 그 중에서도 시계열 데이터는 실제 판매 데이터, 전기 자동차(EV) 배터리 데이터, 다양한 가전제품의 센서 데이터, 주식 시장 데이터 등에서 쉽게 찾아볼 수 있으며, 시계열 이상 징후 감지 및 향후 동향 예측 등에 광범위하게 사용된다. 본 연구는 여러 장비가 실시간으로 결과를 공유하고 서로의 과거 행동을 참고하여 자신의 미래를 예측하는 시계열 예측 문제를 해결하는 데 초점을 맞췄다. 플레이어는 Frontier (과거의 행동(결과)이 다른 사람들에 의해 학습되는 기준점이 되는 플레이어) 또는 주로 Frontier의 과거 행동을 기반으로 하는 하는 Followers로 나뉜다. Frontier와 Follower는 일회적으로 정해지지 않으며, 식시간 데이터 포인트 간의 유사성 정도에 따라 동적으로 재할당된다. Frontier의 과거 데이터 포인트는 Dynamic Time Warping (DTW)을 사용한 유사성 지수를 통해 평가되며 Frontier의 참조 데이터 포인트 정보는 Follower 모델과 유사한 정도로만 모델에 입력된다. 개념을 검증하기 위해 사례가 포함된 여러 시나리오가 실험되었다. 장비 수를 늘림으로써, 장비 간 시간 간격을 늘림으로써, 장비 간의 기본 사례, 교사-학생 네트워크 모델 (Teacher-student Network) 과의 비교, 심지어 BXB 기업의 실제 데이터를 사용한 검증까지. 결과는 정보의 가치를 평가하고 Frontier를 참조하여 모델을 동적으로 업데이트하는 새로운 개념이 더 나은 성능을 가지고 있음을 보였다. 이 개념은 여러 플레이어가 각각 과거 기록의 수가 제한되어 있지만 집합적으로 의미 있는 수준의 모델을 만들고 훈련하는 다양한 실제 현장의 문제를 푸는데 활용 될 수 있을 것이다.