Energy-based Contrastive Learning and Ensembling Models for Sequential Recommendation

Abstract

With the exponential growth of online platforms and services, recommendation systems have become essential for identifying relevant items based on user prefer ences. In the domain of sequential recommendation, which aims to capture evolving user preferences over time. To address this, contrastive learning methods have been proposed to target data sparsity, a challenge in recommendation systems due to the limited user-item interactions. However, they do have limitations such as the occurrence of incorrectly labeling similar instances as dissimilar, leading to missed opportunities for meaningful connections and embeddings. In this thesis, we present two main contributions in the field of sequential learn ing. Firstly, we propose an advanced approach to contrastive learning specifically designed for sequential recommendation systems. By adaptively constructing neg ative samples, we improve the quality of item embeddings, leading to enhanced performance in recommendation tasks. Secondly, we introduce a novel ensemble technique for sequential models by applying Fisher merging. This approach en sures robust fine-tuning by merging the parameters of multiple models, resulting in improved overall performance. Through extensive experiments, we demonstrate the effectiveness of our proposed methods, highlighting their potential to advance the state-of-the-art in sequential learning and recommendation systems.

온라인 플랫폼과 서비스의 급격한 성장으로 인해, 추천 시스템은 사용자의 선호도에 기반하여 관련 아이템을 식별하는 데 필수적인 역할을 한다. 특히, 순차적 추천 분야에서는 사용자의 시간에 따라 변화하는 선호도를 포착하는 것을 목표이다. 이를 해결하기 위해, 추천 시스템에서 한정된 사용자-아이템 상호작용으로 인한 데이터 희소성 문제에 대응하기 위해 대조적 학습 방법이 제안되었으나, 이러한 방법들은 유사한 샘플과 상이한 샘플을 구분하는 데에 대한 한계가 있다. 본 논문에서는 순차적 학습 분야에서의 두 가지 주요 기여를 제시하고자 한다. 첫째로, 순차적 추천 시스템을 위해 설계된 대조적 학습 방법을 고도화합니다. 상이한 샘플을 적응적으로 구성함으로써 아이템 임베딩의 품질을 향상시켜 추천 작업의 성능을 향상시키고자 한다. 둘째로, Fisher 병합을 적용하여 순차적 모델의 협업 기법을 소개한다. 이 접근 방식은 다중 모델의 매개변수를 병합하여 파인튜닝을 실현하며, 견고한 성능을 강조한다. 실험을 통해 제안한 방법의 효과를 입증하고, 이러한 방법이 순차적 학습 및 추천 시스템 분야의 최신 기술 발전에 기여할 수 있는 잠재력을 강조한다.