CNN 알고리즘의 계층 특성에 따른 메모리 접근 성향 분석 연구

Abstract

Machine learning은 고성능 컴퓨팅 기술의 급격한 발전과 높은 이미지 인식률을 통해서 미래의 핵심 기술로 주목 받고 있다. 이미지 인식 분야에서 CNN의 효용성과 함께 다양한 종류의 CNN 알고리즘이 등장하였다. 최신 알고리즘은 높은 이미지 인식 정확도를 얻기 위해 깊은 계층을 선호한다. 또한, 안정적인 학습과 추가적인 정확도 향상을 위해 다양한 구조의 convolution 계층과 non-convolution 계층을 사용하는 등 다양한 형태로 개발되고 있다. CNN의 대중화와 함께 학계와 산업계에서는 machine learning을 전문적으로 수행하는 하드웨어 가속기 연구가 활발하게 진행되고 있다. 하지만, 메모리 대역폭의 향상은 상대적으로 더디므로 CNN 알고리즘에서 효율적인 메모리 사용을 위한 분석이 필요하다. 최신 CNN 알고리즘들은 계층 개수의 증가와 많은 양의 training 데이터 사용으로 많은 메모리 공간을 필요로 한다. CNN 알고리즘을 수행하기 위해 대표적으로 사용되는 GPU는 메모리 크기의 한계로 large scale 환경에서 알고리즘을 실행하는데 어려움이 있다. 이를 해결하기 위해 제안된 기술들은 하드웨어의 개수를 증가시켜 부족한 메모리 용량을 대신하거나 메모리 가상화 기술을 이용하여 GPU의 평균 메모리 사용량을 줄였으나 성능 하락을 수반한다. 본 논문에서는 효율적인 메모리 사용을 위해 CNN 알고리즘들의 시대별 특징과 변화 방향에 대해서 분석하고 계층 특성에 따른 메모리 접근 성향에 대해서 분석하였다. 추가적으로 높은 대역폭과 대용량의 메모리를 이종으로 지원하는 하드웨어를 이용하여 large scale 환경에서 CNN 알고리즘의 성능을 최적화하는 방법을 제안하였다. 실제 KNL 하드웨어에서 제안한 방법을 적용한 결과 최대 32%의 성능 향상을 보였다.