수학 문제 풀이에 대한 인공지능 모델의 수 개념 이해도에 대한 고찰

Abstract

문장형 수학 문제 자동 풀이 연구는 1960년부터 지속적으로 연구되어 온 흥미로운 분야(Wilks, 1976)이다. AI의 발전함에 따라 문장형 수학 문제를 풀기 위해 AI를 사용하려는 시도가 늘고 있다. 그러나 최근 문장형 수학 문제 풀이 모델이 문제를 이해하고 추론을 통해 문제를 푸는 것이 아닌 문제에 등장하는 숫자를 적절히 조합하여 답을 도출한다는 문제가 제기(Patel et al., 2021)됨에 따라 모델의 문장형 수학 문제 이해 여부가 불분명해졌다. 수학 문제를 이해하기 위해서는 문제에 등장하지 않는 문제에 등장하는 숫자의 이해는 선행되어야 하므로, 본 논문에서는 수학 문제 풀이 모델이 문제 풀이 과정에서 숫자의 이해를 돕는 두 가지 연구를 수행한다. Study 1은 명시적 자질 추출 방식을 제안한다. 기존 BERT 계열의 사전학습 언어 모델을 사용한 연구는 수학 문제를 푸는 과정에서 숫자 정보를 제한적으로 사용하기 때문에 수학 문제에 등장하는 숫자의 대소관계를 파악하기 어려웠다. 이 방식은 숫자 토큰을 문제 풀이에 활용할 수 있도록 하는 방식으로, 자연어 이해 계열 모델 중 SVAMP 데이터셋에서 최고 성능을 보이는 deductive reasoner 모델에 적용해 본 결과 최대 2.8%의 성능 향상을 보였다. 위 실험의 결과로 자연어 이해 모델이 수학 문제를 풀 때, 문제에 등장하는 숫자 토큰을 사용하는 것이 대소관계 파악에 도움을 주어 모델의 정답률을 증가시킬 수 있다는 가능성을 확인하였다. Study 2는 GPT 계열 사전학습 언어 모델의 구현체인 GPT-3.5-turbo에서 여러 토큰으로 구성된 숫자의 대소관계를 파악할 때, 자릿수 개념을 완벽하게 이해하지 못하고 있다는 문제를 실험을 통해 보여주고 이를 보완하는 전략을 제안한다. 이 실험의 결과로는 기존 GPT-3.5-turbo를 사용한 프롬프트 전략의 최고 성능 대비 3.1% (in CoT)와 2.06% (in PoT)의 정답률 상승을 보였다. 위 실험의 결과로 자연어 생성 모델이 수학 문제를 풀 때, 숫자의 자릿수 개념을 추가해 준다면 숫자 토큰의 대소관계 파악에 도움을 주어 정답률이 증가할 수 있다는 가능성을 확인하였다.

The field of math word problem solving, an intriguing area of study since the 1960s, has been consistently researched. As AI advances, attempts to use AI for solving sentence-type mathematical problems have been increasing. However, recent concerns that the math word problem-solving models do not actually understand and solve the problem through reasoning but derive answers by appropriately combining the numbers appearing in the problem have brought ambiguity to the understanding of these models. To comprehend mathematical problems, understanding the numbers that appear in the problem is a prerequisite, and thus this paper conducts two studies to aid in the understanding of numbers during the problem-solving process.

Study 1 proposes an explicit feature extraction method to address the issue arising from the limited use of number tokens in the problem-solving process of pre-trained BERT-series language models. This method aids in understanding the magnitude of the numbers that appear in the problem. Furthermore, the application of this explicit feature extraction method has shown a 2.8% performance improvement in the natural language understanding model among those in the SVAMP dataset, surpassing the performance of the previous best-performing model. These results confirm the potential of using the number tokens that appear in the problem to help comprehend the magnitude, which can subsequently increase the accuracy of the model.

Study 2 demonstrates the problem that the implementation of the pre-trained GPT-series language model, gpt3.5-turbo, fails to fully comprehend the concept of digit position when discerning the magnitude of numbers comprised of multiple tokens. It proposes a strategy to supplement this issue. The result of this experiment showed a 2.06% increase in accuracy compared to the best performance of the previous prompt strategy using gpt3.5-turbo. These results confirm the potential that if the concept of digit position is incorporated when natural language generation models solve math word problems, it can aid in understanding the magnitude of number tokens, which can then increase the accuracy rate.