질의응답 시스템에서 처음 보는 단어의 효율적인 단어 임베딩 기법

Abstract

질의응답 시스템은 사용자의 질문에 대한 정답을 찾아주는 시스템으로, 기존의 검색엔진이 사용자의 질의에 대해 관련된 문서의 링크만을 찾아주는 반면 질문에 대한 최종적인 답을 찾아준다는 차이점이 있다. 특정 분야에 국한되지 않고 다양한 질문을 처리해주는 오픈 도메인 질의응답 시스템에 필요한 연구들이 최근 자연어 처리, 인공지능, 데이터 마이닝 등 학계의 다양한 분야들에서 뜨거운 관심을 받고 있다. 특히 자연어 처리와 밀접한 연관이 있는 연구들에서 사용하는 단어 벡터 임베딩은 질의응답 시스템 연구에 있어서도 자연어 데이터를 수치형 데이터로 변환해주는 기본 연구로 사용되고 있다. 하지만 질의응답 시스템 관련 연구들에서는 고유 명사나 신조어와 같이 학습 데이터에는 없었던 단어들이 질문에 대한 정확한 답과 유사한 오답을 구별해내는데 결정적인 역할을 할 수 있음에도, 이러한 처음 보는 단어들에 대해 깊이 있는 연구가 이루어지지 않았다. 본 논문에서는 시스템이 학습 하지 않은 단어에 대하여 단어 임베딩을 새로 학습하지 않고, 해당 단어의 주변 문맥을 바탕으로 단어 벡터를 계산 하는 신경망 모델을 제안한다. 또한 실험을 통해 제안한 모델에 의해 계산된 단어 벡터의 성질을 분석하고, 제안한 방법에 의해 생성된 단어 벡터들이 질의응답 시스템의 정확도를 향상시키는데 기여함을 확인한다.