단어 임베딩 및 데이터 인코딩을 이용한 다음 시점 사용 모바일 어플리케이션 예측 방법

Abstract

다음 시점에 사용 모바일 어플리케이션 예측 문제 Next Application Most Likely Used(이하 NAMLU)는 기계를 이용하여 자동으로 모바일 디바이스에서 사용자가 다음 시점에 사용할 어플리케이션이 무엇인지 예측하는 문제이다. 기존의 문제를 통해 살펴본 문제 해결에 필요한 요소는 세 가지이다. 1) 사용자의 어플리케이션 사용 내역 내의 어플리케이션들 간의 사용된 순서 정보와 단말의 상태 정보를 파악하는 것과 2) 사용자가 어플리케이션을 사용한 시간과 해당 시간에 사용한 어플리케이션 간의 상관 관계를 파악하는 것, 3) 마지막으로 사용자에게 즉각적인 피드백을 줄 수 있도록 빠른 추론 속도를 보장하는 것이다. 본 연구에서는 NAMLU 문제를 해결하고 세 가지 문제를 풀기 위해 TED(Time Series Deep learning) 모델을 제안한다. TED 모델은 단어 임베딩과 시계열 데이터 인코딩 기법을 사용하는 CNN 기반 딥러닝 모델이다. TED의 구성 요소 및 예측 흐름은 다음과 같다. 단어 임베딩을 이용하여 앱 사용 순서 정보와 상호관계를 학습하였다. 이어서 사용자가 어플리케이션을 사용한 시간과 해당 시간에 사용한 어플리케이션 간의 상관 관계를 학습하였다. 이를 위해 임베딩 된 결과를 시계열 데이터 인코딩 알고리즘으로 2차원 메트릭스로 변환한 후 딥러닝 모델에 입력으로 사용하였다. 학습 및 예측을 위한 딥러닝 모델은 사용자에게 즉각적인 피드백을 줄 수 있도록 빠른 추론 속도를 보장하고자 병렬학습이 가능한 CNN 기반 모델을 구현하였다. 본 연구에서는 성능 실험과 사용자 검증 실험을 진행하였다. 성능 실험에서 TED 모델은 Livelab 데이터세트에서 Recall@5 기준 84.5%를 기록하였으며, 이는 동일 데이터세트를 사용한 기존 선행 연구 대비 약 5% 포인트 높은 성능이다. 또한 선행 연구 대비 20% 정도의 파라미터만 사용하였으며, 1초 이상의 빠른 속도를 보일 수 있음도 확인할 수 있었다. 성능 실험에 이어서 NAMLU 문제 해결에 적합한 모델 훈련 방법을 사용자 검증 실험을 통해 확인하였다. 사용자 검증 실험은 학습데이터와 테스트 데이터를 나누는 방식에 따라 크게 4가지 모델 훈련 방법을 나누고 각각을 비교해 보았다. 실험을 통해 확인된 NAMLU 문제에 적합한 모델 훈련 방법은 Transfer learning 방법임을 확인할 수 있었다. 본 연구는 사용자의 어플리케이션 사용 내역과 시간 정보의 중요성을 다시금 확인하였다. 그리고 TED 모델을 사용함으로써 NAMLU 문제에서 Convolution 계열의 모델이 사용 가능하며 모델의 성능과 사이즈 그리고 추론 속도를 고려해 보았을 때 합리적인 선택이 될 수 있음도 확인하였다. 마지막으로 사용자 검증 실험을 통해 NAMLU 문제에 적합한 훈련 방법을 찾은 것에서 연구의 의의를 찾을 수 있었다.

Predicting Next Application Most Likely Used (NAMLU) is a task that automatically predicts a mobile application that most likely is used next using a machine. There are three factors needed to solve the task examined through previous studies. 1) Identifying usage order information and device state information between applications in the user's application usage history. 2) Identifying the correlation between the time the user used the application and the application used. 3) Ensuring fast inference speed to provide immediate feedback to the user. In this paper, a Time Series Deep Learning (TED) model is proposed to solve the NAMLU problem and satisfy those three factors. The TED model is a CNN-based deep learning model that uses word embedding and time-series data encoding techniques. The components and prediction flow of TED are as follows. Word embedding will be used to learn the interrelationship between apps in the app usage order information. After that, to understand the time relationship between apps, the embedded results will be converted into two-dimensional metrics with time-series data encoding algorithms and then learned into a deep learning model. The deep learning model for TED will use a CNN-based model capable of parallel learning. In this study, performance experiments and user validation experiments were conducted. The TED model recorded 84.5% based on Recall@5 in the Liveab dataset in the performance experiment, about 5% point higher than the previous paper using the same dataset. In addition, only about 20% of parameters were used compared to previous studies, and it was confirmed that the speed was 1 sec faster. It was also confirmed through the user validation experiment that the model training method suitable for solving the NAMLU problem is a transfer learning method. This study reaffirmed the importance of the user's application usage history and time information. Using the TED model confirmed that the convolution could be used in the NAMLU problem. Considering the model's performance, size, and inference speed, it could be a reasonable choice. In addition, the significance of the study could be found in finding a training method suitable for the NAMLU problem through user validation experiments.