Neural Network Translation for Flexible Execution on SKT's AIX Accelerator

Abstract

컴퓨터 비전 문제는 합성곱 신경망을 통해 가장 잘 해결된다. 이러한 리소스 집약적 알고리즘은 특히 애플리케이션이 수행 시간과 전력 효율을 중요시할 때, 특수 가속기를 사용하여 수행되어야 한다. 이와 같은 가속기들은 성능 향상을 위해 일반성을 저하시켜야 하는 한계를 가진다. 이 논문에서 우리의 대상 하드웨어는 다크넷 합성곱 신경망의 실행을 위해 설계된 SKT의 AIX 가속기이다. 이 논문을 통해 제안하는 방법을 통해 AIX에서 ONNX 네트워크를 유연하게 실행할 수 있으며, 이는 가속기의 지원을 다양한 프레임워크로 확장한다. 우리는 신경망의 그래프 구조를 가속기가 가지는 다른 형태의 구조로 매핑하기 위해 취해야 할 단계와 지원되지 않는 작업을 포함하는 신경망의 부분 가속을 어떻게 달성하는지 살펴볼 것이다. 본 프로젝트에서 제안하는 방법을 통해 AIX에서 ONNX 네트워크를 실행하면 ONNXRuntime에서 수행되는 기본 실행과 매우 가까운 결과를 얻을 수 있다. 실제로, 우리의 결과는 CIFAR10 샘플에서 98%의 top-1 일치율을 보인다.

Computer vision problems are best addressed by convolutional neural networks (CNNs). These resource intensive algorithms require the use of specialised accelerators when the application is particularly time critical or when power efficiency plays an important role. Accelerators' performance gains are reached at the cost of generality. In this thesis, our target hardware is SKT's AIX accelerator designed for the execution of darknet CNNs. The presented work enables the flexible execution of ONNX networks on AIX extending the accelerator's support to an additional framework. We will see the steps to take to map a very different graph structure into that of the accelerator and how we still achieve partial acceleration of networks containing unsupported operations. Running ONNX networks on AIX through our project yields very close results to native execution on ONNXRuntime. Indeed, we reach a 98% top-1 prediction match on a CIFAR10 sample.