Incorporation of Dialogue Properties in Decoupling-Fusing Network for Incomplete Utterance Rewriting

Abstract

Dialogue-based Incomplete Utterance Rewriting (IUR) represents the task of transforming context-dependent utterances within a dialogue, which require contextual information to be fully comprehended, into self-contained expressions. With the proliferation of AI-based chatbots in recent years, it has become increasingly crucial for dialogue systems to effectively process and understand conversations involving human agents. To this end, IUR has emerged as a promising approach to enhance the overall performance of dialogue systems. Advancements in Transformer-based Pretrained Large Language Models, such as BERT and GPT, have significantly contributed to the progress in this field. Leveraging their ability to capture contextual dependencies and generate coherent text, these models have paved the way for enhanced performance in IUR. The integration of these state-of-the-art language models into IUR has yielded substantial advancements. In this study, we present a novel approach to enhance the performance of the Dialogue-based IUR task by leveraging the intrinsic properties of dialogues. By introducing utterance and speaker information into the model and effectively capturing the context and dynamics of the conversation, our proposed method enables the generation of self-contained utterances. Our method contributes to enhancing the overall understanding of the conversation flow and facilitates the generation of coherent and contextually appropriate rewritten utterances. Another key advantage of our method is its ability to achieve state-of-the-art performance without requiring additional labor-intensive annotation of coreference links between the antecedents and referents. This alleviates the burden of manual annotation, making our approach more scalable and efficient compared with previous methods that heavily rely on such annotations. Through extensive evaluation, we demonstrate the effectiveness of our approach in achieving improved performance, surpassing existing approaches in the field. Overall, our proposed method improves the performance of IUR without the need for labor-intensive coreference link annotations by using the intrinsic properties of dialogues.

대화 기반 불완전 발화 다시쓰기(Dialogue-based Incomplete Utterance Rewriting, IUR)는 대화 내에서 문맥 정보가 있어야 이해할 수 있는 발화(context-dependent utterance)를 문맥과 독립적으로 떼어 놓아도 이해 가능한 완전한 발화(self-contained utterance)로 다시 작성해주는 태스크이다. 최근 AI 기반 챗봇이 널리 사용됨에 따라 시스템이 대화를 효과적으로 처리하고 이해하는 것의 중요성이 대두되고 있다. 이 점에서 IUR은 대화 시스템의 전반적인 성능을 향상시키기 위한 접근법 가운데 하나로서 주목 받았다. 최근의 BERT와 GPT와 같은 Transformer 기반 사전 훈련 대형 언어 모델은 이 분야의 발전에 크게 기여하였다. 이러한 모델들은 언어 자체에 대한 이해를 기반으로 IUR의 성능 향상을 이끌어냈다. 본 연구에서는 대화 기반 IUR 태스크의 성능을 향상시키기 위해 대화의 본질적 특성을 활용한 새로운 접근 방식을 제안한다. 제안된 방법론은 Transformer 기반 사전 훈련 대형 언어 모델인 GPT-2에 화자 및 발화 정보를 도입함으로써, 대화의 문맥을 효과적으로 포착하여 완전한 발화를 생성할 수 있게 한다. 모델은 일반적인 글(free-texts)과 구분되는 대화의 특성을 고려할 수 있게 되어, 일관성 있고 문맥에 적합한 발화를 생성할 수 있었다. 기존 연구에서와는 달리 참조하는 단어와 실제 대상의 상호 참조 정보에 대한 추가적인 어노테이션 없이도 좋은 성능을 달성할 수 있었다는 것 또한 제안된 모델이 기여한 부분이다. 이는 훈련용 데이터 구축에 있어서 라벨링 작업의 부담을 줄여주어, 기존 접근법에 비해 더 확장 가능하고 효율적인 접근 방식을 제공할 수 있다는 것을 의미한다. 제안된 방법론을 평가하기 위해 우리는 공개된 IUR 데이터셋 세 가지와 직접 구축한 추가적인 데이터셋에 대한 포괄적인 평가를 실시하였다. 그 결과 대부분의 평가 지표에서 제안된 방법론이 기존 접근 방식보다 향상된 성능을 달성하였다. 제안된 방법론은 모델에 대화 데이터가 가지는 고유의 특성을 반영하여 성능 향상을 이끌어냈으며 상호 참조 라벨링에 의존한 기존의 접근법에 비해 훨씬 적용하기 용이하다고 판단되어, 결과적으로 대화 기반 발화 다시쓰기에 기여하였음을 확인할 수 있었다.