Publications

Detailed Information

Applying Approximation for Efficient Attention Computation : 효율적인 어텐션 연산을 위한 근사기법의 적용

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors

김성학

Advisor
이재욱
Issue Date
2020
Publisher
서울대학교 대학원
Description
학위논문(석사)--서울대학교 대학원 :공과대학 컴퓨터공학부,2020. 2. 이재욱.
Abstract
With the increasing computational demand of the neural networks, many accelerators for neural networks have been proposed. Such existing neural network accelerators often focus on popular neural network types such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs); however, not much attention has been paid to attention mechanisms, an emerging neural network primitive that enables neural networks to retrieve most relevant information from a knowledge-base, external memory, or past states. The attention mechanism is widely adopted by many state-of-the-art neural networks for computer vision, natural language processing, and machine translation, and accounts for a large portion of total execution time. We observe today's practice of implementing this mechanism using matrix-vector multiplication is suboptimal as the attention mechanism is semantically a content-based search where a large portion of computations ends up not being used. Based on this observation, we design and architect A2, which accelerates attention mechanisms in neural networks with algorithmic approximation.
인공신경망 연산의 수요가 증가함에 따라 많은 인공신경망 가속기들이 제안되어 왔다. 대체로, 이러한 인공신경망 가속기들은 컨볼루션 신경망(CNN), 순환 신경망(RNN)과 같은 대중적인 종류의 신경망에 주목하고 있다. 반면 새로이 등장한 어텐션 신경망은, 외부 메모리에 저장된 과거의 정보로부터 가장 연관성 있는 정보를 도출하는 것을 가능케 했으나, 아직 충분히 주목받지 못하고 있다. 현재 어텐션 연산은 컴퓨터 비젼, 자연 언어 처리, 자동 번역 등 다양한 분야의 첨단 인공신경망에 적용되어 총 실행 시간의 높은 비중을 차지 하고 있다. 이 논문은 현재 실용되고 있는 행렬-벡터 연산을 통한 어텐션 연산의 구현이 최적이 아님을 밝힌다. 어텐션 연산은 내용 기반 검색에 해당하며 검색되지 않는 많은 부분의 연산이 실제로 쓰이지 못하기 때문이다. 이 사실에 기반하여, 이 논문에서 우리는 A2를 설계하여, 알고리즘 적인 근사를 통해 어텐션 연산을 가속한다.
Language
eng
URI
http://dcollection.snu.ac.kr/common/orgView/000000160577
Files in This Item:
Appears in Collections:

Altmetrics

Item View & Download Count

  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Share