Browse

어댑터 모듈을 이용한 한국어와 영어 태스크 교차 조합 학습
Task Composition with Adapter Module Using Cross Lingual Alignment from English to Korean

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
신재열
Advisor
이상구
Issue Date
2021-02
Publisher
서울대학교 대학원
Keywords
자연어처리선수 학습된 언어 모델전이학습태스크 조합교차언어Natural Language ProcessingPre-trained Language ModelAdapter NetworkCross-lingual AlignmentMean Difference ShiftRotational Transform
Description
학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2021. 2. 이상구.
Abstract
최근 BERT 와 같은 Transformer 기반의 선수 학습된 언어 모델 (pre-trained language model) 은 다양한 자연어처리 (natural language processing) 분야에서 높은 성능을 보이고 있다. 하지만 이러한 높은 성능의 언어 모델의 등장에도 불구하고, 상대적으로 작은 데이터셋에 대한 성능은 아직 개선의 여지가 많다. 그 개선 방법 중 태스크 조합 (task composition) 방법은 여러 태스크에서 학습된 지식을 목표 태스크에 전이 학습 (transfer learning) 하여 해당 목표 태스크의 성능을 향상시키는 것에 효과적이다.
본 연구는 이러한 배경에서 많은 리소스 환경인 (high-resource) 영어 태스크에 학습된 어댑터 (Adapter) 네트워크를 조합하여 비교적 적은 리소스 환경인 (low-resource) 한국어 태스크에 대해 태스크 조합을 통해 성능을 향상시키고자 한다. 이때, 다국어 선수 학습 언어 모델 (multilingual pre-trained language model)에서 영어와 한국어 사이의 은닉 표현 벡터 (hidden representation vector) 분포 차이로 인한 문제를 해결하기 위해 평균 차이 이동 (mean difference shift)과 회전 변환 (rotational transform) 방법을 통해 영어의 은닉 표현을 한국어의 분포로 근사한다.
이러한 제안된 방법론을 통해 KorSTS, KorNLI, NSMC 와 같은 한국어 데이터셋에 대한 유의미한 성능 개선을 보고하였다.
Recently, Transformer-based Pre-trained Language Models (PLM) such as BERT have shown high performance in various natural language processing (NLP) fields. However, despite the advent of such a language model with high performance, there is still room for improvement in performance for relatively small datasets. Among the proposed methods dealing with this problem, the task composition method is effective in improving the performance of the target task by transferring the knowledge learned in several tasks.
In this background, this study uses the task composition method by combining Adapter networks learned in high-resource language, English, in order to improve performance of Korean tasks which are in relatively lower-resource setting. At this time, the mean difference shift (MDS) and rotational transform method are applied to approximate hidden representations of English to Korean to solve the problem caused by the difference between the distribution of hidden representation vector between English and Korean.
Through these proposed methodologies, we have reported reasonable performance improvements for Korean datasets such as KorSTS, KorNLI, and NSMC.
Language
kor
URI
https://hdl.handle.net/10371/175438

https://dcollection.snu.ac.kr/common/orgView/000000164495
Files in This Item:
Appears in Collections:
College of Engineering/Engineering Practice School (공과대학/대학원)Dept. of Computer Science and Engineering (컴퓨터공학부)Theses (Master's Degree_컴퓨터공학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse