Browse

상식 질의응답 모델을 위한 알버트 기반 텍스트 인코더와 지식 그래프 인코더의 결합
Integration of ALBERT-based Text Encoder and Knowledge Graph Encoder for Commonsense QA Models

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
최병민
Advisor
김형주
Issue Date
2020
Publisher
서울대학교 대학원
Keywords
상식 추론질의응답지식 그래프언어 표현 모델Commonsense reasoningQuestion answeringKnowledge graphLanguage representation model
Description
학위논문 (석사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2020. 8. 김형주.
Abstract
최근 BERT를 비롯한 사전학습 언어 표현 모델이 상식 질의응답에서도 좋은 성과를 내고 있으나, 모델이 외부에 존재하는 지식원의 명시적인 정보를 직접 사용하지 못하는 문제가 존재한다. 이를 보완하기 위해 KagNet이나 MHGRN 등과 같이 외부의 지식 그래프를 추가로 활용하는 방법이 제안되었다.
본 연구에서는 상식 질의응답 문제에 대하여 이러한 기존의 방법을 최신 언어 표현 모델에 적용하고, 스키마 그래프 확장이라는 새로운 기법을 추가하여 다양한 실험을 수행하였다.
이를 통해 본 논문은 최신 언어 표현 모델에 지식 그래프 기반의 지식 추출 기법을 도입함에 따른 효과를 분석하고, 스키마 그래프 확장이 일부 경우에 효과가 있다는 것을 확인하며, 더 나아가 본 논문에서 제안하는 모델이 상식 질의응답 데이터셋인 CommonsenseQA에서 기존의 최고 성능을 능가하는 결과를 얻을 수 있음을 보인다.
Recently, pre-trained language representation models such as BERT has been performing well in commonsense QA tasks. But there is a problem that the models does not directly use explicit information of knowledge sources existing outside. To augment this, additional methods such as KagNet and MHGRN have been proposed.
In this study, we conducted various experiments on a commonsense QA task by applying the existing techniques of extracting information from knowledge graphs and the novel method, schema graph expansion to recent language expression models.
And we analyzes the effect of applying knowledge graph-based knowledge extraction techniques to recent language expression models, confirms that schema graph expansion is effective in some cases, and furthermore, shows that the proposed models can achieve the state-of-the-arts performance in CommonsenseQA dataset.
Language
kor
URI
https://hdl.handle.net/10371/169348

http://dcollection.snu.ac.kr/common/orgView/000000163339
Files in This Item:
Appears in Collections:
College of Engineering/Engineering Practice School (공과대학/대학원)Dept. of Computer Science and Engineering (컴퓨터공학부)Theses (Master's Degree_컴퓨터공학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse