Workload Analysis and Improved Caching Policies for Media Streaming Systems

Abstract

Todays proliferation of media streaming services futher highlights the importance of a streaming server. Many efforts to improve the performance of a streaming server have been made but a streaming caching study did not receive much attention in the industry because most industry developers believe that buffer caching in a filesystem would suffice. However, a more efficient caching algorithm can increase the performance of a streaming server by considering the characteristics of streaming workloads. In order to characterize streaming workloads, diverse workloads reflecting streaming environments are necessary but server logs of most commercial service providers can be hardly utilized due to a trade secret and a privacy protection. To overcome these barriers, proposed Streaming Workload Analysis Framework provides a reasonable method for academia to utilize logs of commercial servers without violating customer privacy and trade secrets of a service provider by sharing not server logs themselves, but a workload model. This dissertation additionally presents three caching algorithms developed based on analyses of several real-world workloads: ABM, VIC and LEF. ABM applies two caching policies depending on how strong temporally localized access pattern is. VIC conducts cache management based on virtual interval, which can seamlessly handle every block cache. Another proposed policy, LEF groups block caches into cache sets and replaces a block cache of the cache set which has the least reference probability. Simulation results show that all those algorithms perform better and provide more smoothed I/O than well-known legacy algorithms. In addition, an application-level cache manager described in Appendix is implemented on an industry leading streaming server and the effectiveness of the algorithms is evaluated through the measurement of performance.

오늘날 미디어 스트리밍 서비스의 눈부신 발전은 스트리밍 서버의 중요성을 더욱 부각시키는 계기가 되었다. 기존의 많은 연구에서 스트리밍 서버의 성능을 향상시키고자 하는 많은 노력이 있었으나 스트리밍 캐싱에 관한 연구는 산업계에서 많은 주목을 받지 못했다. 이는 파일시스템상의 버퍼 캐싱으로도 충분하다는 산업계 전반의 인식때문이다. 그러나 스트리밍 워크로드의 특성을 활용한 효율적인 캐싱 알고리즘을 통하여 서버의 성능을 더욱 향상 시킬 수 있다. 스트리밍 워크로드의 특성을 파악하기 위해서는 실제 서비스 환경을 반영하는 다양한 워크로드가 필수적이지만 대부분의 상용 서비스 로그들은 영업 기밀과 개인정보에 대한 보안상의 이유로 활용상의 제약이 많다. 이러한 어려움을 극복하기 위해 제안된 스트리밍 워크로드 분석 프레임워크(Streaming Workload Analysis Framework, SWAF)는 상용 서비스의 로그 자체가 아니라 워크로드 모델을 활용함으로써 서비스 제공자의 고객 정보나 영업기밀에 대한 침해 없이 상용 서비스 로그들을 학계에서 활용할 수 있는 합리적인 방안을 제공한다. 이 논문에서는 실세계 워크로드의 분석에 기반하여 개발된 ABM, VIC, LEF의 세가지 캐싱 정책들을 제안한다. ABM은 접근 패턴이 시간적으로 밀집된 정도에 따라 두 종류의 캐싱 정책을 선택적으로 사용한다. VIC는 모든 블록 캐시를 차별 없이 포괄하는 가상 인터벌(Virtual Interval)에 기반하여 캐시 관리를 수행한다. 그리고 LEF는 블록 캐시들을 캐시 집합(Cache Set)으로 그룹화하고 가장 작은 참조 확률을 가지는 캐시 집합의 블록 캐시를 교체한다. 제안된 기법들은 기존의 알고리즘보다 개선된 성능과 균질한 입출력 대역폭을 제공할 수 있음을 시뮬레이션 결과를 통하여 제시한다. 이와 더불어 산업계에서 대표적인 스트리밍 서버상에서 응용 프로그램 수준의 캐시 관리자를 실제 구현하고 제안된 캐싱 정책들에 대한 성능 측정을 통하여 그 효용성을 입증한다.