순차적 데이터의 회귀분석을 위한 순환신경망 훈련방법 연구

Abstract

순환신경망은 이미지 분류나 음성 인식, 단백질 이차 구조 예측 등의 순차적 데이터 분류 문제(Sequence Labeling)와 언어모델, 이미지 캡셔닝 등 자연어 처리 문제를 포괄한 많은 분야에서 높은 성능을 보여왔다. 그러나 해당 예들은 모두 분류(classification) 모형이다. 순환신경망은 이러한 분류 문제에서 다양한 성과를 이루어낸 반면에, 회귀분석 분야에서는 괄목할만한 성과나 그 적용 예제들이 많지 않다. 본 논문에서는 기존의 많은 연구들과 달리 순환신경망을 회귀분석 모형으로 사용하는 데에 활용하였다. 앞서 서술한 바와 같이 순환신경망은 순차적인 정보를 처리하기 때문에 시간 순차적 데이터의 미래값 예측 문제에 적용될 수 있다. 그리고 이는 순환신경망을 회귀분석으로 활용할 수 있는 대표적인 사례로 볼 수 있다. 그러나 순환신경망을 이용하여 회귀분석 모형을 만들고자 할 경우, 기존의 연구가 많지 않기 때문에 입출력 데이터의 형태나 그래프 구조, 훈련방법이나 손실함수에 대한 선택을 위한 참고자료가 다양하지 못하다. 이러한 문제로 인해 순환신경망이 회귀분석에 방대하게 적용되지 못하는 문제점을 해소하고자, 본 논문에서는 자기상관성을 갖는 시간 순차적 데이터의 특성과 목적에 따라 LSTM 의 다양한 훈련 방법을 제시하였고 회귀분석 문제에 적용하였다. 본 논문에서는 회귀분석을 위한 효율적인 LSTM 훈련방법을 제시하였으며 이는 세부적으로 네 가지로 나눌 수 있다. 그리고 이러한 훈련 방법들을 이용하여 세 가지 데이터에 대해 실험하였다. 그 중 가장 간단한 모형인 단일스텝, 단일층 모형의 경우, 단순한 데이터에 대한 훈련과 예측에서 좋은 결과를 보였으며, 다른 모형들보다 비용적인 측면에서도 좋은 결과를 보였다. 가장 복잡도가 좋은 다중스텝, 다층 모형에서는 복잡한 데이터에 대해 다른 모형들보다 예측 결과가 좋은 것으로 확인되었다. 또한 본 논문에서는 현실세계 데이터인 환율데이터에 대해 본 논문에서 제시한 순환신경망의 훈련방법을 적용하였으며, 이를 이용하여 실험한 결과 다층 전방전달 신경망보다 우수한 결과를 보이는 것을 확인하였다.