강화학습 기반 평점 유도 전략 최적화 메타러닝 모델

Abstract

대다수의 추천 시스템 연구는 기존의 알고리즘을 개선하거나 새로운 알고리즘을 제안하는 방식으로 평점 예측에 대한 성능을 개선시켜왔다. 그러나 추천 시스템이 가지고 있는 데이터의 성김성(sparsity)와 롱테일(long-tail) 분포를 고려하였을 때, 추천

시스템에 학습시키는 데이터풀 자체를 변화시킬 필요가 있다. 이에 본 논문에서는 평점 유도 전문가(Rating Eliciation Expert

REE) 모델을 제안하고자 한다. 이 모델은 1) 추천 시스템의 성능을 효율적으로 향상시킬 수 있고 2) 유저가 입력할 가능성이 더 높은 아이템을 먼저 데이터를 입력받는 일종의 액티브 러닝(active learning) 방식 따른다. REE는 적용된 추천 시스템의 학습 과정을 데이터로 여기고 학습함으로써 데이터 제안 규칙을 발전시켜가는 메타 러닝(meta-learning) 모델이며, 이는 기존에 평점 유도 전략을 인간의 직관으로 제안했던 모델들과는 차이가 있다. 실험 결과, REE는 기존 전략들에 비해 수집되는 데이터의 개수는 적었지만, REE로 수집된 데이터들의 평균 성능 개선 정도가 다른 전략에 비해 뛰어났으며 오히려 적은 수의 데이터로 더 좋은 성능 개선을 이끌어 내었다. 이러한 REE는 추천 시스템 모델과 학습 방식에 종속되지 않아 어떠한 시스템에든 적용 가능할 것이라 기대한다.