템플릿 기반의 방법을 이용한 문장형 수학 문제 풀이

Abstract

문장형 수학문제는 자연어 이해와 수리적 추론이 필요한 문제로 최근 들어 기계학습 모델을 사용하여 정답을 도출하고자 하는 시도들이 이루어지고 있다. 이때 기계학습 모델의 문제풀이 정답률을 높이기 위해서는 3가지 문제가 해결될 필요가 있다. 이 3가지 문제는 첫째, 모델이 올바른 정답식을 도출할 수 있어야 하며, 둘째, 모델이 내포된 숫자와 변수의 관계를 이해할 수 있어야 하고, 마지막으로, 모델이 문제를 이해하는데 필요한 세계지식을 이용하여 문제내에 생략된 정보를 파악해야 한다. 필자는 위의 3가지 문제를 해결하기 위해 템플릿 기반의 다중 작업 분류 모델(Template-based Multi-task classification)과 템플릿 기반의 다중 작업 생성 모델(Template-based Multi-task generation) 그리고 연산자 활용 기반의 생성(Generating Equation by Utilizing Operators: GEO) 모델을 제안한다. 먼저, 첫 번째 문제를 해결하기 위해 필자는 두 개의 서로 다른 정답 식 도출 방법인 정답 식 분류(equation classification)와 정답 식 생성(equation generation)방법을 비교한다. 두 번째 문제를 해결하기 위해 숫자와 변수사이의 관계를 이해하는 operator identification layer과 two auxiliary tasks/operation feature feed forward layer를 제안할 것이다. 마지막으로, 세 번째 문제를 해결하기 위해 BERT와 ELECTRA와 같은 언어 모델(language model)을 사용할 것이다. 본 연구의 최종 모델인 GEO는 MAWPS에서 85.1, Math23K에서 84.4, DRAW-1K에서 62.5로 최고성능을 기록하였고, ALG514에서 82.1로 hand-crafted feature를 사용한 선행연구와 대등한 수준의 결과를 얻었다.

In an automatic math word problem-solving task, a machine learning model should deduce an answer to a given problem by acquiring implied numeric information. To achieve high performance, such a model should address 3 challenges: (1) deducing correct equation template, (2) understanding the implied relationship between numbers and variables, (3) filling in a missing world knowledge that is required in solving the given math question. To address the three challenges, we propose a Template-based Multitask Classification (TM-classification) and Template-based Multitask Generation (TM-generation) and Generating Equation by Utilizing Operators(GEO). To address challenge 1, we examine two different equation deducing methods: classification and generation. To address challenge 2, we propose an operator identification layer and two auxiliary tasks/operation feature feed forward layer that models a relationship between numbers and variables. To address challenge 3, we utilize state-of-the-art language models, namely BERT and ELECTRA. Our experimental results show that using the MAWPS, Math23k, and DRAW, the state-of-the-art performance was achieved: 85.1%, 84.4%, and 62.5% for the GEO model.