어댑터 모듈을 이용한 한국어와 영어 태스크 교차 조합 학습

Abstract

최근 BERT 와 같은 Transformer 기반의 선수 학습된 언어 모델 (pre-trained language model) 은 다양한 자연어처리 (natural language processing) 분야에서 높은 성능을 보이고 있다. 하지만 이러한 높은 성능의 언어 모델의 등장에도 불구하고, 상대적으로 작은 데이터셋에 대한 성능은 아직 개선의 여지가 많다. 그 개선 방법 중 태스크 조합 (task composition) 방법은 여러 태스크에서 학습된 지식을 목표 태스크에 전이 학습 (transfer learning) 하여 해당 목표 태스크의 성능을 향상시키는 것에 효과적이다. 본 연구는 이러한 배경에서 많은 리소스 환경인 (high-resource) 영어 태스크에 학습된 어댑터 (Adapter) 네트워크를 조합하여 비교적 적은 리소스 환경인 (low-resource) 한국어 태스크에 대해 태스크 조합을 통해 성능을 향상시키고자 한다. 이때, 다국어 선수 학습 언어 모델 (multilingual pre-trained language model)에서 영어와 한국어 사이의 은닉 표현 벡터 (hidden representation vector) 분포 차이로 인한 문제를 해결하기 위해 평균 차이 이동 (mean difference shift)과 회전 변환 (rotational transform) 방법을 통해 영어의 은닉 표현을 한국어의 분포로 근사한다. 이러한 제안된 방법론을 통해 KorSTS, KorNLI, NSMC 와 같은 한국어 데이터셋에 대한 유의미한 성능 개선을 보고하였다.

Recently, Transformer-based Pre-trained Language Models (PLM) such as BERT have shown high performance in various natural language processing (NLP) fields. However, despite the advent of such a language model with high performance, there is still room for improvement in performance for relatively small datasets. Among the proposed methods dealing with this problem, the task composition method is effective in improving the performance of the target task by transferring the knowledge learned in several tasks. In this background, this study uses the task composition method by combining Adapter networks learned in high-resource language, English, in order to improve performance of Korean tasks which are in relatively lower-resource setting. At this time, the mean difference shift (MDS) and rotational transform method are applied to approximate hidden representations of English to Korean to solve the problem caused by the difference between the distribution of hidden representation vector between English and Korean. Through these proposed methodologies, we have reported reasonable performance improvements for Korean datasets such as KorSTS, KorNLI, and NSMC.