Convolution Neural Network with Quaternion for Instance Segmentation of Traffic Sign

Abstract

Deep learning approaches such that multi-layer perceptron, convolution neural network and recurrent neural network are applicable to various fields such that computer vision, natural language process and speech recognition. Among them, convolution neural network is a widely used tool for various tasks in computer vision field: image classification, object detection and image segmentation, e.g.. However, while color information can be helpful, the relationship between each color channels is neglected in the general network. In this thesis, we propose quaternion convolution neural network models for instance segmentation on traffic sign images which can be applicable to autonomous driving. Quaternion number system, which has a real and three separate imaginary components, is an extension of the complex numbers, where a triple representing a color is regarded as a purely imaginary quaternion to avoid the information loss in our networks. Based on the properties of quaternion, our experiments demonstrates that the proposed models not only extract features efficiently using less parameters but also boost the performance in both detection and segmentation tasks.

다층 퍼셉트론, 컨볼루션 신경망 그리고 순환 신경망과 같은 심층 신경망 접근법은 컴퓨터 비전, 자연어 처리 그리고 음성 인식과 같은 다양한 분야에 적용 가능하다. 그 중에서도 컨볼루션 신경망은 이미지 분류, 물체 탐지와 영상 분할과 같은 컴퓨터 비전 분야의 다양한 작업들에 널리 사용된다. 그러나 색 정보가 유용할 수 있음에도 불구하고 일반적인 컨볼루션 신경망에서는 칼라 채널들 사이의 관계가 무시된다. 본 논문에서는 자율 주행에 적용 가능한 교통 표지판 이미지에 대한 객체 분할을 위한 사원수 기반 컨볼루션 신경망 모델을 제시한다. 하나의 실수부와 세 개의 허수부를 가진 사원수 체계는 복소수에서 확장된 체계이며, 제시된 신경망에서는 정보 손실을 피하기 위해 색을 나타내는 세 쌍이 순허수인 사원수로 취급된다. 사원수의 성질에 기반하여 본 논문의 실험은 제시된 모델이 더 적은 파라미터들을 사용하면서 효율적으로 특징을 추출할 뿐만 아니라, 물체 탐지와 분할 작업에서의 성능이 향상됨을 보여준다.