프롬프트 기반 학습을 활용한 텍스트 추상 요약 모델

Abstract

추상요약은 최근 그 유용성을 크게 인정받고 있다. 추상 요약은 일관성 있는 요약을 생성할 뿐 아니라 저작권 관련 분쟁을 해결할 수 있는 방법으로 입력 텍스트의 의미와 주요 정보를 파악해 새로운 문장을 생성한다. 최근 프롬프트 기반 학습방법은 전체 모델 파인 튜닝과 유사한 성능을 보이며 효과적으로 활용하여 과업 특화 지식을 보유함과 동시에 거대 언어 모델의 사용 가능한 지식 추출하는 데에 사용된다. 본 연구에서는 프롬프트 기반 학습을 통해 추상 요약을 수행하는 방법을 제안한다. 제안 모델이 창의적이고 효율적인 텍스트 요약을 수행할 수 있음을 입증하고, 금융 도메인의 추상 요약 데이터셋을 직접 구축하여 도메인 지식이 필요한 데이터에도 모델이 효율적으로 작동함을 보인다. 타 전체 모델 튜닝 방법 및 요약 특화 모델에 비교해 극히 소량의 파라미터만을 조정함에도 유사한 성능을 보임을 확인하였다.

Recently, prompt-based learning has shown similar performance to full model tuning in large language models by utilizing soft prompts. Prompt-based learning methods are effectively used to incorporate task-specific knowledge while extracting available knowledge from large language models. In this study, we propose a method for generating abstract summaries through prompt-based learning. Abstractive summaries, as one of the language generation tasks, can produce readable and consistent summaries compared to extractive summarization. The proposed model combines soft prompts and hard prompts and achieves good performance with less time and cost compared to fine-tuning the entire model. Additionally, we introduce a two-step approach for applying prompts based on text units. The contributions of this study are as follows: firstly, we propose a prompt-based learning method that can extract knowledge from large language models and apply it to specific tasks or data, demonstrating that this methodology can perform creative and efficient text summarization not only in language understanding tasks but also in language generation tasks. We verify the efficient functioning of the model on data requiring domain knowledge by directly constructing an abstractive summarization dataset in the financial domain. Experimental results show that the model introduced in this study outperforms other publicly available models and exhibits improved performance compared to existing prompt-based learning methods.