Memory Access Pattern Analysis of CNN Type Application on CPU Model

Abstract

Neural Networks and especially Convolutional Neural Networks (CNNs) gained a lot of attraction recently as they excel in computer vision fields like object detection and image classification. CNNs generally contain different layer types that are executed alternately. An analysis of such layer based CNN is necessary to draw conclusions on how to modify current computer architecture in order to optimize the performance of CNNs. This thesis analyzes a typical CNN with a focus on the efficiency of caching and prefetching. Based on the findings an adaptive L2 cache prefetching scheme is proposed that combines two existing prefetchers and overcomes their layer specific inefficiencies. Moreover, a cache hierarchy bypassing the L2 cache is proposed that reduces power consumption while only slightly sacrificing overall performance.

신경망 및 특히 CNN (Convolutional Neural Networks)은 최근 객체 감지 및 이미지 분류와 같은 컴퓨터 비전 분야에서 탁월한 성과를 나타낸다. CNN은 일반적으로 번갈아 실행되는 서로 다른 레이어 유형을 포함한다. CNN의 성능에 최적화된 컴퓨터 아키텍처를 만들기 위해서는 위와 같은 레이어 기반 CNN에 대한 분석이 필요하다. 이 논문은 캐싱 및 프리페치의 효율성에 중점을 두고 전형적인 CNN을 분석한다. 분석 결과를 토대로 기존의 두 프리페처를 결합하여 계층별 비효율을 극복하는 적응형 L2 캐시 프리페치 방안을 제안한다. 또한 L2 캐시를 우회하는 캐시 계층 구조를 사용하여 전반적인 성능의 큰 손해 없이 전력 소모를 줄일 수 있다.