Optimizing Machine Learning Inference Systems with White Box Approaches

Abstract

Machine Learning inference systems support user-facing services and have strict performance requirements. Specifically, the systems need to provide low latency, high throughput, while using minimal resources. The simplest way to deploy models is wrapping the models into black boxes such as containers. This approach eases deployment but possible optimizations are limited making its performance sub-optimal as we want to run many models together sharing resources. In this dissertation, we propose a white box model serving, which enables both end-to-end and multi-model optimizations; models are restructured to an optimized execution plan and resources are shared among the models running together. We introduce Pretzel, our implementation of the white box approach. Our evaluation with production-scale model pipelines shows that white box optimizations can introduce performance improvements with respect to the latency, memory footprint, and throughput, compared to the state-of-the-art systems in the black box approaches.

머신러닝 추론 시스템은 사용자 서비스를 대상으로 하기 때문에 엄격한 성능 요구 사항이 있으며, 구체적으로는 낮은 지연시간 (latency), 높은 처리량 (throughput), 적은 자원 사용을 제공해야 한다. 가장 단순한 방법은 학습된 모델을 컨테이너와 같은 블랙 박스 형태로 배포하여 추론을 수행하는 것이다. 이 방법은 배포 과정을 쉽게 하지만, 적용 가능한 최적화의 범위가 제한되어 있기 때문에 자원을 공유하 면서 많은 모델을 수행하고자 하는 환경에서는 최적의 성능을 제공하지 못한다. 본 논문에서는 화이트 방식의 머신러닝 추론 시스템을 제안한다. 이 방식은 모 델 전체 (end-to-end)와 다중 모델 (multi-model) 최적화를 가능하게 하는데, 모델 구조를 재정비하여 최적화된 수행 계획을 만들고, 동시에 수행되는 여러 모델이 자원을 효율적으로 공유하도록 한다. 이어서 화이트 박스 방식을 구현한 시스템 Pretzel 에 대해서 소개한다. 실제 프로덕션 환경과 유사한 규모의 모델 파이프라 인을 사용한 실험을 통해 기존 블랙 박스 방식 시스템 대비 화이트 방식의 최적화가 지연시간 (latency), 메모리 사용 (memory footprint), 처리량 (throughput) 면에서 큰 성능 향상을 보이는 것을 보였다.