A Study of the Explainability on Prompt-tuning through Transfer Learning

Abstract

사전학습 언어 모델을 효과적으로 원하는 태스크에 사용할 수 있는 대표적인 파라미터 효율적인 방법 중 하나는 continuous prompts를 훈련시키는 것이다. 이에 따라 최근에 많은 연구들이 continuous prompts를 활용한 학습 방법을 제안하였다. 그러나, continuous prompts의 설명가능성이 사전학습 언어 모델의 신뢰성을 높이기 위한 중요한 요소임에도 불구하고 이와 관련된 연구는 매우 적다. 따라서 본 연구에서는 continuous prompts의 설명가능성에 대한 문제를 해결하기 위해 Prompt-tuning v1 (Lester et al., 2021)와 Prompt-tuning v2 (Liu et al., 2022)이 사전학습 언어 모델에 미치는 영향을 살펴본다. 이를 위해 본 연구에서는 다국어 언어 모델 GPT를 사용하여 실험하여 태스크와 언어에 대해 일반화 가능성을 모색해보았다. 또한, 본 연구에서는 continuous prompts를 활용한 전이 학습도 진행하였다. 먼저 continuous prompts가 태스크와 언어에 따라 벡터 공간에서 모이는지 조사하고자 하였다. 이어서 continuous prompts가 사전학습 언어 모델을 어떻게 활용하는지를 GPT의 세 가지 주된 구조인 어텐션 메커니즘, 활성화 뉴런, 레이블 공간에 초점을 맞추어 보고자 하였다. 이를 위해 본 연구에서는 다음과 같은 연구 질문을 설정하였다: (1) continuous prompts를 태스크나 언어에 따라 구별할 수 있을까? (2) 프롬프트 튜닝 이후 어텐션 메커니즘의 변화에서 설명가능한 패턴을 발견할 수 있을까? (3) continuous prompts의 활성화 뉴런에서 레이어에 걸친 설명가능한 패턴을 발견할 수 있을까? (4) 사전학습 언어 모델의 레이블 공간과 continuous prompts의 상호작용을 포착할 수 있을까? 첫번째로 continuous prompts가 태스크에 대해 학습한 정보에 따라 구분되는 공간을 가지고 있음을 관찰하였다. 두번째로 continuous prompts가 특히 문맥 의존적인 어텐션 헤드를 활용하면서 사전학습 언어 모델의 어텐션 메커니즘을 활용하고 있음을 관찰하였다. 세번째로 활성화 뉴런은 더 깊은 레이어에서 태스크 특징적인 정보를 담고 있었다. 그런데, 마지막에서 두번째 레이어에서는 오히려 태스크에 공통적인 행동을 보였다. 마지막으로, 사전학습 언어 모델의 등방성이 낮음에도 불구하고 continuous prompts는 임베딩 공간 상에서 디코딩 토큰을 레이블이 아닌 단어보다 레이블인 단어와 더 가깝게 만들고 있었다. 전체적으로 본 관찰 결과들은 전이 학습 이후에도 일관적으로 나타났다. 결과적으로, 본 연구에서는 continuous prompts가 사전학습 언어 모델이 사전학습을 하면서 얻은 지식을 태스크를 해결하는 데 사용하고 있음을 관찰하였다.

Since training continuous prompts is a parameter-efficient way to tune a Pre-trained Language Model (PLM) on a target task, recent works suggest various training methods utilizing continuous prompts. However, few studies investigate the explainability of continuous prompts, which is critical to enhancing the confidence of PLM in a real-world scenario. To deal with the problems of the unexplainable continuous prompts, this study explores the effects of Prompt-tuning v1 (Lester et al., 2021) and Prompt-tuning v2 (Liu et al., 2022) on PLM. More precisely, we conducted the experiments using a multilingual GPT to generalize our observations both on tasks and languages. We also analyzed the results of transfer learning using continuous prompts. We first confirmed whether continuous prompts are gathered according to tasks or languages, and then analyzed how continuous prompts utilize PLM in terms of the three main architectures of GPT: the attention mechanism and the activated neurons, and the label space. In this study, we tried to answer the following research questions: (1) Can we distinguish continuous prompts according to the encoded information about target tasks or target languages? (2) Can we find any explainable patterns in the changes in the attention mechanism after Prompt-tuning? (3) Can we observe any explainable patterns in the activated neurons of continuous prompts through layers? (4) Can we capture that continuous prompts interact with the label space of PLM? First, we find that continuous prompts have different space according to the encoded information about target tasks. Second, continuous prompts exploit the attention mechanism of PLM by using the attention heads that encode the content-dependent information. Third, the activated neurons have task-specific information in the deeper layers. However, the second to last layer has rather task-common neurons. Lastly, despite the low isotropy, continuous prompts make the decoding token closer to the label words. Overall, we observe consistent results after transfer learning. As a result, we conclude that continuous prompts are trained while employing the knowledge PLM obtained during pre-training to solve the target task.