Publications
Detailed Information
Applying Approximation for Efficient Attention Computation : 효율적인 어텐션 연산을 위한 근사기법의 적용
Cited 0 time in
Web of Science
Cited 0 time in Scopus
- Authors
- Advisor
- 이재욱
- Issue Date
- 2020
- Publisher
- 서울대학교 대학원
- Description
- 학위논문(석사)--서울대학교 대학원 :공과대학 컴퓨터공학부,2020. 2. 이재욱.
- Abstract
- With the increasing computational demand of the neural networks, many accelerators for neural networks have been proposed. Such existing neural network accelerators often focus on popular neural network types such as convolutional neural networks (CNNs) and recurrent neural networks (RNNs); however, not much attention has been paid to attention mechanisms, an emerging neural network primitive that enables neural networks to retrieve most relevant information from a knowledge-base, external memory, or past states. The attention mechanism is widely adopted by many state-of-the-art neural networks for computer vision, natural language processing, and machine translation, and accounts for a large portion of total execution time. We observe today's practice of implementing this mechanism using matrix-vector multiplication is suboptimal as the attention mechanism is semantically a content-based search where a large portion of computations ends up not being used. Based on this observation, we design and architect A2, which accelerates attention mechanisms in neural networks with algorithmic approximation.
인공신경망 연산의 수요가 증가함에 따라 많은 인공신경망 가속기들이 제안되어 왔다. 대체로, 이러한 인공신경망 가속기들은 컨볼루션 신경망(CNN), 순환 신경망(RNN)과 같은 대중적인 종류의 신경망에 주목하고 있다. 반면 새로이 등장한 어텐션 신경망은, 외부 메모리에 저장된 과거의 정보로부터 가장 연관성 있는 정보를 도출하는 것을 가능케 했으나, 아직 충분히 주목받지 못하고 있다. 현재 어텐션 연산은 컴퓨터 비젼, 자연 언어 처리, 자동 번역 등 다양한 분야의 첨단 인공신경망에 적용되어 총 실행 시간의 높은 비중을 차지 하고 있다. 이 논문은 현재 실용되고 있는 행렬-벡터 연산을 통한 어텐션 연산의 구현이 최적이 아님을 밝힌다. 어텐션 연산은 내용 기반 검색에 해당하며 검색되지 않는 많은 부분의 연산이 실제로 쓰이지 못하기 때문이다. 이 사실에 기반하여, 이 논문에서 우리는 A2를 설계하여, 알고리즘 적인 근사를 통해 어텐션 연산을 가속한다.
- Language
- eng
- Files in This Item:
Item View & Download Count
Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.