상식 질의응답 모델을 위한 알버트 기반 텍스트 인코더와 지식 그래프 인코더의 결합

Abstract

최근 BERT를 비롯한 사전학습 언어 표현 모델이 상식 질의응답에서도 좋은 성과를 내고 있으나, 모델이 외부에 존재하는 지식원의 명시적인 정보를 직접 사용하지 못하는 문제가 존재한다. 이를 보완하기 위해 KagNet이나 MHGRN 등과 같이 외부의 지식 그래프를 추가로 활용하는 방법이 제안되었다. 본 연구에서는 상식 질의응답 문제에 대하여 이러한 기존의 방법을 최신 언어 표현 모델에 적용하고, 스키마 그래프 확장이라는 새로운 기법을 추가하여 다양한 실험을 수행하였다. 이를 통해 본 논문은 최신 언어 표현 모델에 지식 그래프 기반의 지식 추출 기법을 도입함에 따른 효과를 분석하고, 스키마 그래프 확장이 일부 경우에 효과가 있다는 것을 확인하며, 더 나아가 본 논문에서 제안하는 모델이 상식 질의응답 데이터셋인 CommonsenseQA에서 기존의 최고 성능을 능가하는 결과를 얻을 수 있음을 보인다.

Recently, pre-trained language representation models such as BERT has been performing well in commonsense QA tasks. But there is a problem that the models does not directly use explicit information of knowledge sources existing outside. To augment this, additional methods such as KagNet and MHGRN have been proposed. In this study, we conducted various experiments on a commonsense QA task by applying the existing techniques of extracting information from knowledge graphs and the novel method, schema graph expansion to recent language expression models. And we analyzes the effect of applying knowledge graph-based knowledge extraction techniques to recent language expression models, confirms that schema graph expansion is effective in some cases, and furthermore, shows that the proposed models can achieve the state-of-the-arts performance in CommonsenseQA dataset.