Browse

Design of Efficient and Fast Distributed Storage System for Low Latency Storage Devices
고성능 스토리지를 고려한 효율적이고 최적화된 분산 스토리지 시스템 디자인

Cited 0 time in Web of Science Cited 0 time in Scopus
Authors
오명원
Advisor
염헌영
Issue Date
2020
Publisher
서울대학교 대학원
Keywords
Distributed Storage SystemTieringDeduplicationPerformance분산 스토리지 시스템티어링디듀플리케이션성능
Description
학위논문 (박사) -- 서울대학교 대학원 : 공과대학 컴퓨터공학부, 2020. 8. 염헌영.
Abstract
Distributed storage systems can uphold balanced data growth in terms of capacity and performance
on an on-demand basis. However, existing distributed storage systems are designed for targeting hard disk drives and this design limitation causes significant performance degradation when they are used with NVMe devices. Also, it is a challenge to store and manage large sets of contents being generated by the
explosion of data.
In this dissertation, we propose the efficient design of distributed storage system which can provide
high performance depending on consistency model and data reduction scheme based on tiering.
First, we introduce CPU-efficient I/O processing design:
1) decoupling latency-critical job and best-effort job,
2) partition to avoid contention and maximize parallelism.
Second, we present a new deduplication method based on tiering, which is highly scalable and compatible with the existing scale-out distributed storage in order to remove redundant data across many nodes.

To show the effectiveness of our approach, we implement and evaluate our schemes on real distributed storage systems. The experimental results demonstrate that our cooperative approach can deliver higher performance than existing approaches while saving a considerable amount of storage space.
분산 스토리지 시스템은 최근 데이터 증가와 높은 I/O 성능 요구로 인해
각광받고 있다. 하지만 기존 분산 스토리지 시스템은 하드 디스크의 I/O 처리를 호환하기
위한 I/O 처리구조를 지니고 있기 때문에 NVMe 스토리지 같은 빠른 디바이스와 사용될때 스토리지 성능을 모두 내지 못한다는 문제가 있다. 더불어 데이터의 폭증으로 인한 많은 양의
데이터는 이를 저장하고자 하는 분산 스토리지 시스템에서 또 다른 문제를 야기하고 있다.

본 논문에서는 플래시 기반의 디바이스를 위한 분산 스토리지 시스템 구조에 따른 성능 최적화 방법과 데이터 저장을 최소화 할 수 있는 기법을 종합한 티어링 구조의 분산 스토리지 시스템 구조를 제안하고자 한다. 이를 위해, 첫째, CPU 효율적인 I/O 처리 방법을 소개한다. 해당 기법에는 I/O 작업을 레이턴시에 민감한 작업과 그렇지 않은 작업으로
나누어 다른 처리를 한다. 둘째, 티어링 기반에 중복제거 기법을 소개한다.
기존 분산 스토리지 시스템에 적용가능하면서 확장 가능한 구조 제안을 통해 효과적으로
데이터 노드간 중복되는 데이터를 제거하는 방법을 다룬다.

본 논문에서는 제안한 방법들의 실효성을 확인하기 위하여 실제 분산 스토리지 시스템에 구현한 후 그 기능을 평가하였다. 실험 결과를 통해 제안한 기법이 기존 방법보다 성능을 향상되고 저장되는 데이터양은 상당히 줄일 수 있음을 보였다.
Language
eng
URI
https://hdl.handle.net/10371/169346

http://dcollection.snu.ac.kr/common/orgView/000000162093
Files in This Item:
Appears in Collections:
College of Engineering/Engineering Practice School (공과대학/대학원)Dept. of Computer Science and Engineering (컴퓨터공학부)Theses (Ph.D. / Sc.D._컴퓨터공학부)
  • mendeley

Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.

Browse