Effective Performance Isolation for Consolidated Workloads

Abstract

As computer hardware advances, computing resources in a machine (e.g., the number of processing cores, cache sizes, and memory sizes) are increasing in various domains from the datacenter to embedded devices. To utilize these resources efficiently, it is necessary to execute multiple workloads in parallel by consolidating them for sharing system resources. However, the resource sharing may cause severe contentions for the shared resources, thereby the performance of workloads can be degraded significantly. Moreover, workloads may have different service level objectives (SLOs) from latency-critical to best-effort, which complicates the consolidation of workloads. To deal with the contentions, many OSs and hardware vendors have provided diverse resource isolation techniques. However, they have been used in perspective of fairness, not performance. Besides, the existing schemes do not provide or perform isolations efficiently and effectively. This dissertation presents feedback-based performance isolation optimizations that adaptively mitigate resource contentions by exploiting the available isolation interfaces in the existing OS and hardwares. To enable this, an efficient online profiling which estimates resource contentions is necessary. Also, isolations should be performed dynamically guided by the workloads profiles.

In the dissertation, we propose performance isolation optimizations guided by online profiling for three systems. First, we present a performance isolation scheme that considers the characteristics of hardware and software isolation techniques for multicore systems. Second, we present an adaptive isolation optimization to mitigate mobile edge devices where resource are constrained and contentions may shift unexpectedly and frequently. Lastly, we propose a hierarchical contention-aware scheduling optimization for clusters, where provisions resources in fairness-centric manner, to mitigate contention when resource provisioning for latency-critical virtual machines (VMs). We have evaluated the proposed online profiling scheme and dynamic performance isolation scheme on diverse system environments (i.e., multicore server, edge devices, and clusters). Evaluation results show that our adaptive proposed approach can effectively track and mitigate resource contention for consolidated workloads, and thus can attain lower execution time (and latency) while achieving higher resource efficiency compared to the existing schemes under dynamic and significant resource contention.

컴퓨터 하드웨어가 발전함에 따라 데이터센터부터 임베디드 디바이스까지 다양한 분야들에서 머신 내 프로세싱 코어의 수, 캐쉬, 메모리 등 한 머신 내의 컴퓨팅 자 원들이 증가하고 있다. 점점 늘어나는 머신 내 컴퓨팅자원들을 효율적으로 쓰기 위 해서는 복수의 워크로드들을 통합함으로써 병렬적으로 수행하고 시스템 자원들을 공유하는 것이 필요하다. 하지만, 자원 공유는 공유되는 자원들에 대한 심한 경합을 야기할 수 있고, 이로 인해 워크로드들의 성능이 심각하게 저하될 수 있다. 더욱이, 워크로드들은 지연시간이 중요한 것부터 최선의 수행만을 목표로 하는 것까지 다양 한 서비스 수준 목표를 가진 워크로드들이 있을 수 있는데, 이는 워크로드들의 통합 을 어렵게 만든다. 경합 문제를 해결하기 위해서 운영체제와 하드웨어 제조사들이 다양한 자원 격리 기법들을 제시하고 있지만 여러 격리 기법들을 성능-중심적인 관 점이 아닌 공평한 자원 할당의 관점에서 사용해오고 있다. 게다가, 기존 기법들은 성능 격리를 제공하지 않거나 효율적이고 효과적으로 수행하지 못한다. 본 논문은 기존 운영체제 및 하드웨어의 자원 격리 기술을 활용하여 성능 격리를 적응적으로 수행하는 피드백 방식의 성능 격리 최적화 기법들을 제안한다. 이를 위해서는, 자 원 경합들을 평가하는 효과적인 온라인 프로파일링이 필요하다. 또한, 워크로드의 프로파일들에 따라서 격리가 수행되어야 한다.

본 논문에서, 우리는 세 가지 시스템에 대해서 온라인 프로파일링의 도움을 받 는 성능 격리 최적화기법들을 제시한다. 첫째, 일반적인 멀티코어 서버 환경에서 하드웨어 및 소프트웨어 격리기법들의 특성을 고려하는 성능 격리 최적화를 제시 한다. 둘째, 엣지 디바이스 환경과 같이 동적으로 자원 경합이 크게 변하는 특성을 고려한 적응적 성능 격리 최적화를 제시한다. 마지막으로, 공평성중심으로 자원을 프로비저닝하는 클러스터 환경에서 지연시간이 중요한 가상머신들의 자원 경합을 완화하는 계층적인 자원 경합 인지 스케줄링 최적화를 제안한다. 본 논문에서 제안한 온라인 프로파일링 기법들과 적응적 최적화기법들의 효과를 증명하기 위해 다양한 시스템 환경(멀티코어, 엣지 디바이스, 그리고 클러스터)에 구현하여 검증 하였다. 실험 결과는 우리의 제안하는 적응적 성능 격리 최적화 접근방식이 통합된 워크로드들이 수행되는 동적인 환경에서 효과적으로 자원 경합을 줄여 기존 기법 들 대비 워크로드들의 더 낮은 수행 시간 및 지연 시간을 보이는 동시에 높은 자원 효율성을 달성할 수 있음을 보였다.