Neural Network Design and Acceleration for Resource-constrained Environments

Abstract

Deep learning methods have become very successful in various applications due to the availability of exponentially growing data and powerful computing resources. Due to remarkable performance, neural model has been applied to various edge devices such as mobile and embedded system. These edge devices usually suffer from constrained resources including computation and energy. To overcome this challenge, low-latency model design, model compression and acceleration are widely researched on both hardware and software side. In this dissertation, we introduce two methods with regard to low-latency model design on algorithm side. Designing compact and low-latency model is important to reduce required resources. For this reason, in aspect of algorithm, we introduced two model design methodology with neural architecture search (NAS) to find compact model: cell-based NAS and graph variational auto-encoder based NAS. Our cell-based NAS approach is based on Differentiable ARchiTecture Search (DARTS) which is well-known differentiable NAS method. Despite the popularity of DARTS, it has been reported that DARTS often shows unrobustness and sub-optimality. Through extensive theoretical analysis and empirical observations, we reveal that this issue occurs as a result of the existence of unnormalized operations. Based on our finding, we propose a novel variancestationary differentiable architecture search (VS-DARTS). VS-DARTS makes the architecture parameters a more reliable metric for deriving a desirable architecture without increasing the search cost. In addition, we derive comparable architecture using VS-DARTS with soft constrained latency objectives. Another approach to find low-latency model is using graph generative models, which has been recently focused because of their efficiency. We proposed novel graph variational auto-encoder (VAE)which shows dramatically improvements on cell-based search space. After our graph VAE extracted architectural information from the neural architecture, we conducted novel multi-objective NAS using extracted information for hardware-constrained environments. We showed that the proposed multi-objective NAS can derive various models close to Pareto optimal between latency and accuracy. Also, we evaluated our proposed method on various hardware platforms. In summary, this dissertation proposes two methods for improving performance of NAS, which can use compact and low-latency neural model for computing resource-constrained environments. The proposed methods were evaluated with various experimental studies.

딥러닝은 빅데이터와 강력한 병렬 프로세서가 사용 가능해지면서 다양한 분야에서 성공적인 모습을 보여주고 있으며, 모바일과 임베디드 시스템 같은 엣지 디바이스에도 다양하게 적용되고 있다. 그러나, 엣지 디바이스는 일반적으로 컴퓨팅 및 전력 자원이 부족한 환경이다. 이를 해결하기 위해서, 저-레이턴시 모델 디자인, 모델 압축 기법과 뉴럴 모델 가속 등이 알고리즘과 하드웨어 양쪽 측면에서 활발하게 연구되고 있다. 본 논문에서는 알고리즘 측면에서 저-레이턴시 모델 디자인을위한 두 가지 새로운 방법론을 제시한다. 필요한 컴퓨팅 자원을 줄이기 위해서는 먼저 컴팩트하고 레이턴시가 작은 모델을 디자인하는 것이 중요하므로, 알고리즘 측면에서 우리는 두가지 신경구조탐색을 이용한 모델 디자인 방법론을 제시하였다: 셀 기반 신경구조탐색과 그래프 배리에이셔널 오토인코더를 이용한 신경구조탐색이다. 본 학위논문의 셀 기반 신경구조탐색은 널리 알려진 differentiable NAS 방법론인 DARTS (Differentiable ARchiTecture Search)에 기반한다. DARTS는 여러 연구에서 베이스라인 방법론으로 널리 사용되고 있음에도 불구하고, 종종 학습 불안정성과 최적화가 부족하다는 점이 이미 보고된 바 있으나 그 근본적인 원인에대해서는 일부 밝혀지지 않았었다. 우리는 이론적 분석과 관찰을 통해서 그 근본적인 문제가 각 오퍼레이션의 정규화되지 않은 출력에 기인하는 것을 밝히고, 이 문제점을 해결할 수 있는 방법론인 VS-DARTS (variance stationary DARTS)를 제안하였다. VS-DARTS는 구조 변수(architectural parameter)의 신뢰성을 높여서 탐색 비용을 늘이지 않고 성능을 높였다. 또한, 우리는 VS-DARTS에 레이턴시에 대한연성 제약(soft constraint)을 적용함으로써 기존 셀 기반 방법론에 비견되는 성능의 구조를 탐색하였다. 또 다른 저 레이턴시 모델을 찾는 접근 방법으로는 그래프 생성모델(graph generative model)을 적용하였다. 우리는 새로운 그래프 배리에이셔널 오토인코더 (graph variational auto-encoder) 방법론을 제안하여 셀 기반 탐색 공간에 대한 오토인코더 성능을 크게 향상시켰다. 이후, 제안한 배리에이셔널 오토인코더를 이용하여 뉴럴 구조의 임베딩 정보를 추출하고, 추출된 구조 임베딩 정보를 새로이 제안한 다중목적탐색(multi-objective search)에 이용하여 레이턴시-정확도에서 파레토 최적(Pareto optimal)에 가까운 구조들을 찾을 수 있음을 보였다. 또한 제안한 신경구조탐색 방법론을 다양한 하드웨어 플랫폼 상에서 검증하였다. 요약하면, 본 학위논문에서는 보다 컴팩트하고 레이턴시가 작은 모델을 찾는데 사용할 수 있는 신경구조탐색 방법론을 두가지 제안하였고, 이를 이용하여 컴퓨팅 자원이 부족한 환경을 위한 인공 신경망의 자동 설계 방법에 관하여 기술하였으며, 다양한 실험을 통해서 검증하였다.