Autotator

Abstract

많은 양의 시각적 요소를 표시해야하는 차트 이미지를 수동으로 라벨링하는 것은 어렵고 반복적인 작업이다. 게다가 좋은 품질의 데이터 셋을 구축하기 위해서는 이미지의 메타데이터와 이미지가 내포하고 있는 원본 데이터도 기록되어야 한다. 본 연구에서는 차트 이미지를 통하여 데이터를 어노테이션하기 위해서 자동 완성 기능을 제공해주는 반자동 방식 어노테이션 시스템인 Autotator를 제안한다. 이 시스템을 통해 사용자는 차트의 타입이나 형태와 상관없이 데이터를 추출할 수 있다. 또한 Autotator는 차트의 타입 지정, 경계 상자 지정, 질문에 숫자 형식으로 입력하기와 같은 사용자 지정 어노테이션 작업을 지원한다. 이 시스템의 성능과 사용성을 평가하기 위하여 본 연구에서는 자동 완성 모델의 성능을 실험하고 파일럿 실험을 진행했다. 실험의 결과를 통하여 본 연구는 시스템의 유용성을 보이고 효율적인 어노테이션 작업을 위해 고려할 점을 논의하였다.

Manually labeling chart images by marking a large number of visual elements is a laborious and repetitive process. Furthermore, for building a quality dataset, relevant metadata and underlying raw values should be annotated. We present Autotator, a semi-automatic annotating system that automatically provides suggestions for extracting data from chart images. Regardless of the type or appearance of charts, via Autotator, users can extract data from them. Besides Autotator supports user-defined annotation tasks such as labeling chart types, marking bounding boxes, and answering a question with a numeric format. To evaluate the performance and usability of the system, we measured the performance of suggestion models and conducted a pilot study. From our results, we present the usability of the Autotator and discuss considerations for effective annotation.