Browse

CNN 알고리즘의 계층 특성에 따른 메모리 접근 성향 분석 연구
Memory Bandwidth Analysis of Various Layer Types on Convolutional Neural Networks

DC Field Value Language
dc.contributor.advisor안정호-
dc.contributor.author이선정-
dc.date.accessioned2018-05-29T04:47:24Z-
dc.date.available2020-03-02T02:41:56Z-
dc.date.issued2018-02-
dc.identifier.other000000150171-
dc.identifier.urihttps://hdl.handle.net/10371/142268-
dc.description학위논문 (석사)-- 서울대학교 대학원 : 융합과학기술대학원 융합과학부, 2018. 2. 안정호.-
dc.description.abstractMachine learning은 고성능 컴퓨팅 기술의 급격한 발전과 높은 이미지 인식률을 통해서 미래의 핵심 기술로 주목 받고 있다. 이미지 인식 분야에서 CNN의 효용성과 함께 다양한 종류의 CNN 알고리즘이 등장하였다. 최신 알고리즘은 높은 이미지 인식 정확도를 얻기 위해 깊은 계층을 선호한다. 또한, 안정적인 학습과 추가적인 정확도 향상을 위해 다양한 구조의 convolution 계층과 non-convolution 계층을 사용하는 등 다양한 형태로 개발되고 있다. CNN의 대중화와 함께 학계와 산업계에서는 machine learning을 전문적으로 수행하는 하드웨어 가속기 연구가 활발하게 진행되고 있다. 하지만, 메모리 대역폭의 향상은 상대적으로 더디므로 CNN 알고리즘에서 효율적인 메모리 사용을 위한 분석이 필요하다.
최신 CNN 알고리즘들은 계층 개수의 증가와 많은 양의 training 데이터 사용으로 많은 메모리 공간을 필요로 한다. CNN 알고리즘을 수행하기 위해 대표적으로 사용되는 GPU는 메모리 크기의 한계로 large scale 환경에서 알고리즘을 실행하는데 어려움이 있다. 이를 해결하기 위해 제안된 기술들은 하드웨어의 개수를 증가시켜 부족한 메모리 용량을 대신하거나 메모리 가상화 기술을 이용하여 GPU의 평균 메모리 사용량을 줄였으나 성능 하락을 수반한다.
본 논문에서는 효율적인 메모리 사용을 위해 CNN 알고리즘들의 시대별 특징과 변화 방향에 대해서 분석하고 계층 특성에 따른 메모리 접근 성향에 대해서 분석하였다. 추가적으로 높은 대역폭과 대용량의 메모리를 이종으로 지원하는 하드웨어를 이용하여 large scale 환경에서 CNN 알고리즘의 성능을 최적화하는 방법을 제안하였다. 실제 KNL 하드웨어에서 제안한 방법을 적용한 결과 최대 32%의 성능 향상을 보였다.
-
dc.description.tableofcontents제 1 장 서론 1
제 2 장 배경 5
제 1 절 시대 별 CNN 알고리즘 특징 5
1. Convolution filer 크기의 변화 6
2. 알고리즘 별 메모리 요구량 8
3. Batch normalization 9
제 2 절 Intel Knights Landing 10
제 3 장 CNN 알고리즘의 메모리 대역폭 분석 및 Large scale 환경을 위한 하드웨어 활용 12
제 1 절 Convolution filter 크기 변화에 따른 메모리 대역폭 변화 12
제 2 절 Batch normalization 적용에 따른 메모리 대역폭 변화 17
제 3 절 Large scale 환경을 위한 하드웨어 활용 19
1. 하드웨어 가속기의 메모리 용량 한계 19
2. Large scale 환경에서의 Intel Knights Landing 활용 21
3. MCDRAM의 cache mode 활용 21
제 4 장 실험 및 결과 24
제 1 절 실험 환경 24
제 2 절 CNN 알고리즘의 메모리 대역폭 분석 실험 24
제 3 절 Large scale 환경에서의 수행 시간 측정 26
제 5 장 결론 28
참고 문헌 30
Abstract 34
-
dc.formatapplication/pdf-
dc.format.extent1220632 bytes-
dc.format.mediumapplication/pdf-
dc.language.isoko-
dc.publisher서울대학교 대학원-
dc.subjectCNN 알고리즘-
dc.subject메모리 접근 성향-
dc.subject하드웨어 가속기-
dc.subject이종 메모리-
dc.subject.ddc620.5-
dc.titleCNN 알고리즘의 계층 특성에 따른 메모리 접근 성향 분석 연구-
dc.title.alternativeMemory Bandwidth Analysis of Various Layer Types on Convolutional Neural Networks-
dc.typeThesis-
dc.contributor.AlternativeAuthorSunjung Lee-
dc.description.degreeMaster-
dc.contributor.affiliation융합과학기술대학원 융합과학부-
dc.date.awarded2018-02-
Appears in Collections:
Graduate School of Convergence Science and Technology (융합과학기술대학원)Dept. of Transdisciplinary Studies(융합과학부)Theses (Master's Degree_융합과학부)
Files in This Item:
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse