멀티 쓰레드 환경을 위한 Large I/O 파일 시스템

Abstract

오늘날 대용량 데이터를 처리하는 클러스터의 경우 저장 공간으로 플래시 메모리(SSD)로 쓰기엔 성능에 비해 고비용이기 때문에 일반적으로 하드디스크를 사용한다. 하드디스크는 랜덤 접근이 바로 되는 플래시메모리와는 달리 랜덤한 작업보다는 순차적인 작업을 해야 효율성이 높아진다. 하지만 대용량 데이터를 처리할 때 일반적으로 기존의 OS 디스크 스케줄러와 파일시스템(Linux, ext2 등)에 의존하게 된다는 문제점이 있다. 즉, 기반의 운영체제가 디스크 할당이나 디스크 스케줄링을 담당하게 되어 단편화나 여러 클라이언트들 사이에서 디스크를 공유하게 되는 문제를 겪게 된다. 그래서 본래라면 순차적으로 처리되었을 쓰기 작업이 여러 클라이언트들이 디스크를 공유하게 되면서 대역폭이 줄어드는 현상이 일어난다. 이러한 현상은 보통의 대용량 데이터 처리를 순차적으로 한다는 점, 병렬로 한다는 점을 고려하면 문제가 될 수 있으며 이 논문에서는 여기에서 디스크에 직접 적는 크기를 처음부터 크게 잡아주어 내려주는 방식을 제안하며, 이를 위해 멀티 쓰레드 환경에서 sequential write에 대한 디스크의 효율을 살릴 수 있는 프로토타입 파일 시스템을 디자인하고 구현하였다.