텍스트 임베딩을 이용한 퀴즈 자동 생성

Abstract

퀴즈는 다양한 장소와 분야에서 널리 쓰이고 있다. 퀴즈 쇼나 퀴즈 대회들뿐만 아니라 특정 분야의 능력 평가 및 교육 현장에서도 그 수요가 크다. 하지만 사람이 직접 이러한 퀴즈를 만드는 데에는 많은 시간과 노력이 들어간다. 따라서 자동으로 이러한 퀴즈를 생성해내는 시스템에 대한 요구가 큰 바, 본 논문에서는 자동으로 객관식 빈칸 채우기 퀴즈를 생성하는 방법을 제안하였다. 기존의 객관식 빈칸 채우기 연구는 1) 텍스트의 시맨틱을 경시하고, 2) 도메인에 종속적인 피쳐와 룰을 사용하는 한계점이 있었다. 따라서 본 논문에서는 1)의 문제점을 해결하기 위해 텍스트의 시맨틱을 반영할 수 있는 텍스트 임베딩 모델을 제안하였고, 2)의 문제점을 해결하기 위해 유사도 기반 퀴즈 생성 방법을 제안하였다. 또한 미리 정의된 키워드 리스트가 있는 경우에 대하여 최종적인 퀴즈의 질을 향상시키기 위하여 키워드 기반 사후 필터링 방법을 제시하였다. 데이터베이스 책과 생물학 책에 대해 실험한 결과 기존 객관식 빈칸 채우기 퀴즈 연구에 비해 본 논문의 유사도 기반 퀴즈 생성 방법이 10%p~30%p정도 성능이 더 높았으며, 또한 키워드 기반 사후 필터링 방법을 적용하였을 때 10%p~20%p의 성능 향상을 보여 본 논문의 유사도 기반 퀴즈 생성 방법과 키워드 기반 사후 필터링 방법의 성능 향상 효과를 확인할 수 있었다.