Evidence Retrieval toward an Explainable Model for Document-level Relation Extraction

Abstract

The relation extraction (RE) task aims to identify semantic relations between entities from text. This task has recently taken attention as it can be applied to information retrieval-related applications, including question answering or knowledge graph completion. Document-level RE task challenges the existing work for sentence-level RE which finds relation within a single sentence, as it requires the model to capture information across the sentences and identify the relevant and redundant context. In this paper, we present the Evidence Retrieval for Relation Extraction (ER4RE) model that promotes the interpretability of the model prediction. ER4RE consists of an evidence retriever and a relation predictor, which work sequentially. First, the evidence retriever identifies the supporting sentences and computes the context representation for a given query. Then, the relation predictor takes the context information to infer the relations. We demonstrate that ER4RE achieves a significant performance improvement with oracle evidence sentences, which implies that if the model identifies supporting evidence for a given query, it can easily predict the relations.

본 논문에서는 대용량 사전학습 언어 모델을 사용하여 여러 문장으로 구성된 문서에서 언급된 두 개체간의 관계를 예측하는, 문서 단위 관계 예측 문제를 다루고 있다. 해당 문제는 문서 안에 다수의 개체가 존재하고, 두 개체가 서로 다른 문장에 위치하며 하나의 개체를 지칭하는 여려 개의 단어가 존재한다는 점에서 문장 단위 관계 예측 문제보다 난이도가 높다. 종래 연구에서는 동일한 개체를 가르키는 단어 들의 집합 정보를 사용하여 그래프 인공신경망을 사용하거나 문서의 계층 구조를 반영한 모델이 다수 제안되었다. 제시된 방법들은 문서 단위 관계 예측에서 F1 점수 가 높이는 성과를 보여주었지만 두 개체의 관계에 대한 예측을 설명하지는 못한다. 이에 대해 본 연구에서는 해당 문제에서 관계 뿐 아니라 관계를 뒷받침하는 증거 문장도 추출하는 방법을 제안한다. 두 개체가 주어질 때 개체간의 관계를 설명하는 증거가 될 확률을 문장 별로 계산하고 이를 바탕으로 관계를 예측하는 구조로 진행 된다. 각 문장이 증거 문장이 될 확률을 다양한 조건으로 설정하고 실험을 진행한 결과, 제안한 모델에서 증거 문장 추출 성능과 문서 단위 관계 예측 최종 성능이 비 례하고 증거 문장 추출이 병목 지점인 것을 확인하였다. 반면 제시한 방법에서는 주어지는 개체 쌍과 무관하게 한번에 문서의 문장들을 인코딩을 진행하는데 이는 문장 임베딩의 표현력에 제한을 주게 된다. 따라서 주어지는 개체 쌍에 대한 각 문장 임베딩의 표현력 개선 방법을 연구할 것이다.