Design of Efficient and Fast Distributed Storage System for Low Latency Storage Devices

Abstract

Distributed storage systems can uphold balanced data growth in terms of capacity and performance on an on-demand basis. However, existing distributed storage systems are designed for targeting hard disk drives and this design limitation causes significant performance degradation when they are used with NVMe devices. Also, it is a challenge to store and manage large sets of contents being generated by the explosion of data. In this dissertation, we propose the efficient design of distributed storage system which can provide high performance depending on consistency model and data reduction scheme based on tiering. First, we introduce CPU-efficient I/O processing design: 1) decoupling latency-critical job and best-effort job, 2) partition to avoid contention and maximize parallelism. Second, we present a new deduplication method based on tiering, which is highly scalable and compatible with the existing scale-out distributed storage in order to remove redundant data across many nodes.

To show the effectiveness of our approach, we implement and evaluate our schemes on real distributed storage systems. The experimental results demonstrate that our cooperative approach can deliver higher performance than existing approaches while saving a considerable amount of storage space.

분산 스토리지 시스템은 최근 데이터 증가와 높은 I/O 성능 요구로 인해 각광받고 있다. 하지만 기존 분산 스토리지 시스템은 하드 디스크의 I/O 처리를 호환하기 위한 I/O 처리구조를 지니고 있기 때문에 NVMe 스토리지 같은 빠른 디바이스와 사용될때 스토리지 성능을 모두 내지 못한다는 문제가 있다. 더불어 데이터의 폭증으로 인한 많은 양의 데이터는 이를 저장하고자 하는 분산 스토리지 시스템에서 또 다른 문제를 야기하고 있다.

본 논문에서는 플래시 기반의 디바이스를 위한 분산 스토리지 시스템 구조에 따른 성능 최적화 방법과 데이터 저장을 최소화 할 수 있는 기법을 종합한 티어링 구조의 분산 스토리지 시스템 구조를 제안하고자 한다. 이를 위해, 첫째, CPU 효율적인 I/O 처리 방법을 소개한다. 해당 기법에는 I/O 작업을 레이턴시에 민감한 작업과 그렇지 않은 작업으로 나누어 다른 처리를 한다. 둘째, 티어링 기반에 중복제거 기법을 소개한다. 기존 분산 스토리지 시스템에 적용가능하면서 확장 가능한 구조 제안을 통해 효과적으로 데이터 노드간 중복되는 데이터를 제거하는 방법을 다룬다.

본 논문에서는 제안한 방법들의 실효성을 확인하기 위하여 실제 분산 스토리지 시스템에 구현한 후 그 기능을 평가하였다. 실험 결과를 통해 제안한 기법이 기존 방법보다 성능을 향상되고 저장되는 데이터양은 상당히 줄일 수 있음을 보였다.