Relation Memory Network: A Simple Neural architecture for Text-based Reasoning

Abstract

머신러닝의 발전으로 텍스트를 다룰 수 있는 능력이 향상되면서 챗봇을 비즈니스에 활용하는 사례가 늘고 있다. 현재의 챗봇 기술은 자연어처리 (Natural Language Processing, NLP) 를 통한 중요 단어 추출과 사람이 생성한 IF-THEN 규칙에 의존한다. 그러나 최근 딥러닝의 발전으로 외부 개입없이 사람의 추론 능력을 모방함으로써, 질문이 주어졌을 때 정답을 찾는 모델이 개발되고 있다. 텍스트를 통한 질문과 답변이 원활하게 이루어지기 위해서는 많은 양의 정보를 기억하고 그 중에서 질문에 관련된 정보를 찾는 추론 능력이 필요하다. 그래서 대부분의 모델은 외부 메모리와 메모리 네트워크 (Memory Network, MemNN) 에서 제안한 네 가지 구성 요소를 기반으로 이루어져 디자인 되어왔고, 좋은 성능을 보였다. 각 모델은 필요한 정보를 찾아내는 구성 요소에서 두드러진 차이를 나타냈는데, 이 부분이 복잡하게 구성될수록 복잡한 관계를 잘 찾아냄으로써 성능 향상을 보였다. 최근에는 관계 네트워크 (Relation Network, RN) 라고 불리는 추론을 위한 간단하면서도 강력한 신경망 모듈이 소개되었다. 우리는 메모리 네트워크 관점에서 관계 네트워크를 분석하여 다층 퍼셉트론 (Multi-layer perceptron, MLP) 로 이루어진 구성 요소가 질문과 저장된 정보 간의 복잡한 관계를 나타낼 수 있음을 알게 되었다. 이를 바탕으로 다층 퍼셉트론을 사용하여 메모리 네트워크 아키텍처에서 관련 정보를 찾는 관계 메모리 네트워크 (Relation Memory Network, RMN) 를 소개한다. RMN은 모델의 단순함에도 불구하고 bAbI-10k 스토리 기반 (bAbI-10k story based) 및 bAbI 대화 기반 (bAbI dialog based) 질문 응답 작업에서 가장 높은 정확도를 보였다. 또한, 다른 모델에 비해 메모리가 많은 상황에서도 높은 정확도를 보이기 때문에 향후 데이터가 많은 일반적인 상황에 보다 잘 적용될 것이라고 기대한다.

With the advancement of machine learning algorithms that deal with text, more and more companies are using chatbots for their business. Current chatbot technology relies on key word extraction through Natural Language Processing (NLP) and human-generated IF-THEN rules. However, as recent developments in deep learning shows great possibility to imitate human reasoning ability without external intervention, many deep learning models are being developed to find the right answer when a question is given. To solve the text-based question and answering task that requires relational reasoning, it is necessary to memorize a large amount of information and find out the question relevant information from the memory. Most approaches were based on external memory and four components proposed by Memory Network. The distinctive component among them was the way of finding the necessary information and it contributes to the performance. Recently, a simple but powerful neural network module for reasoning called Relation Network (RN) has been introduced. We analyzed RN from the view of Memory Network, and realized that its MLP component is able to reveal the complicate relation between question and object pair. Motivated from it, we introduce Relation Memory Network (RMN) which uses MLP to find out relevant information on Memory Network architecture. It shows new state-of-the-art results in jointly trained bAbI-10k story-based question answering tasks and bAbI dialog-based question answering tasks. By virtue of RMN's high reasoning ability even in memory-intensive situations, it is expected to be better applied to general situations compared to other models.