자동 문서 요약 시스템을 위한 요약문 수준 학습 기법

Abstract

자동 문서 요약이란 자연어처리(natural language processing) 분야의 한 과제로서, 자연어로 된 긴 문서가 주어졌을 때 문서의 중요한 내용은 유지하면서 짧은 요약문을 생성하는 것을 목표로 하는 과제를 말한다. 자동 문서 요약 시스템의 접근법으로서 문장 재작성 패러다임은 문서 내의 중요한 문장들을 추출하고 각 문장을 다시 쓰는 방식으로 요약문을 생성한다. 이러한 접근법은 중요한 내용을 고르는 일과 문장을 생성하는 일을 나눔으로써 효과적으로 요약문을 작성하며 속도도 빠르다. 하지만 여러 장점에도 불구하고 문장 재작성 패러다임의 선행 연구는 문장 수준의 학습 방법을 사용한다는 한계를 갖는다. 이는 학습시의 목표 함수와 평가 방법 사이의 불일치를 야기하여 최적이 아닌 문장 선택을 유도한다. 따라서 본 연구에서는 문장 수준의 학습이 아닌 요약 수준의 학습 방법을 제시하여 학습시와 평가시의 불일치를 해소하고 평가 방법에 대한 직접적인 최적화를 가능하게 한다. 이를 통해 기존의 추출 요약 시스템의 학습 방법이 갖고 있던 부최적(suboptimal) 문제를 해결하고 전체 요약문 수준에서 문장을 선택할 수 있도록 한다. 추가적으로 모델의 성능 개선을 위해 전이 학습을 활용한 새로운 모델을 제안한다. ROUGE 스코어, 의미론적 유사도, 일반화 성능, 사람 평가 등의 다양한 실험을 통해, 본 연구에서 제안한 방법이 효과적이며 기존의 자동 문서 요약 시스템보다 나은 성능을 보이는 것을 확인했다. 이를 통해 제안한 모델과 학습 방법이 전반적인 요약 품질을 높인다는 점을 확인하였다.

Automatic Text Summarization is a task in the field of natural language processing that aims to generate short summaries while retaining the salient information of a long text document in natural language. A notable approach to automatic text summarization is Sentence Rewriting paradigm. In this paradigm, a summary is generated by extracting important sentences first and then paraphrasing each. This approach effectively summarizes documents by separating content selection from surface realization. And it speeds up the summarization process. However, in spite of multiple advantages, the existing models in this framework mostly rely on sentence-level objective or suboptimal labels, causing a mismatch between a training objective and evaluation metric. This leads the model to select suboptimal sentences. In this paper, we propose a new training method that is on summary-level instead of sentence-level. Summary-level training eliminates the training-test objective mismatch and makes it possible to optimize evaluation metrics directly. This also solves the suboptimality of the existing training methods of extractive summarization and enables the selection of sentences at the level of overall summary. In addition, we propose a new model architecture using transfer learning to improve the performance of the model. Various experiments using such as ROUGE score, semantic similarity, generalization performance, and human evaluation confirmed that the proposed method is effective and performs better than the existing automatic document summarization system. By this, we confirmed that the proposed model and training method improve the overall summary quality.