이중 경로 신경망과 적대적 생성 신경망을 이용한 문자 이미지 데이터 증강

Abstract

대부분의 딥러닝 모델들을 학습시키는 데에는 다양한 품질의 많은 데이터가 필요하며, 광학 문자 인식을 위해 필요한 모델도 그중 하나다. 하지만 이에 필요한 학습 데이터들을 구하는 것에는 너무나도 큰 비용이 필요하기에 이것을 극복하기 위해 데이터 증강이 시도된다. 안타깝게도, 광학 문자 인식의 특성상 일부 제한된 증강 기법들만 사용 할 수 있으며 이마저도 다양한 품질의 데이터를 얻는 데 한계를 지니고 있다. 본 논문에서는 이러한 한계점을 극복하고자 이중 경로 신경망을 이용한 적대적 생성 신경망을 구축하여 데이터를 증강하는 방안을 제안하였다. 또한, 실제로 제안한 방식이 인식 성능에 어느 정도 영향을 미치는지 기존 방법들과 비교분석하였다. 연구 결과, 적대적 생성 신경망이 기존의 증강과는 다른 방식으로 다양하게 이미지들을 변환하는 것을 관찰할 수 있었고, 이에 따라 문자 인식 모델의 성능도 개선되는 것을 알 수 있었다. 또한, 기존의 데이터 증강과 함께 적용한다면 큰 폭으로 성능이 향상되는 결과를 보여주어 적대적 생성 신경망을 통한 데이터 증강이 광학 문자 인식에 있어 효용성이 있다는 것을 확인하였다.

Numerous data of various qualities are required to train most of deep learning models, and model for optical character recognition is one of them. However, it costs a lot to obtain these data. So, data augmentation is attempted to overcome this problem. Unfortunately, only some limited augmented techniques are available due to the characteristics of optical character recognition. Even worse, these techniques have limitations in obtaining data of various qualities. In this paper, we proposed to improve these limitations by data augmentation using Generative Adversarial Nets(GAN) with Dual Path Networks(DPN) and compared with existing methods how much the proposed method actually affects recognition performance. As a result of the study, trained GAN with DPN can transforms images in various ways compared with the existing augmentation. And accordingly, the performance of the character recognition model was also improved. Moreover, there was significant improvement in performance when conventional and proposed data augmentation are applied together. By these, we confirmed that data augmentation through GAN is effective in optical character recognition.