Validity Tracking Based Log Management for In-Memory Databases

Abstract

인-메모리 데이터베이스는 메인 메모리에 상주해 있는 데이터셋에서 트렌젝션을 처리하기 때문에 클라이언트 요청에 대한 빠른 응답시간을 달성할 수 있다. 처리 속도의 향상은 인해 트렌젝션의 내구성을 보장하기 위한 기존의 로깅 기법과 체크포인팅 기법의 비용을 상대적으로 크게 만든다. 많은 인-메모리 데이터베이스가 로그의 부피를 줄이는 것으로 통해 로그 생성과 로그 저장 IO에 의한 오버헤드를 감소시키지만 그것은 복구 시간의 증가를 가져온다. 주기적인 체크포인팅은 복구 시간을 감소시키고 로그의 저장 공간을 재사용할 수 있도록 한다. 하지만 기존의 체크포인트 방법은 종종 시스템의 작업량 저하, 지연 증가, 메모리 사용량 증가로 인해 상당한 비용이 발생한다. 이 논문에서는 파일 내 로그의 유효성을 추적하고 불필요한 로그를 제거하는 기술인 validity tracking-based compaction (VTC)를 사용한 체크포인팅을 제안 한다. 우리가 제안 하는 방식은 스냅샷을 사용하는 기존 체크 포인트 방식에 비해 메모리 사용량이 매우 낮출 수 있다. 우리의 실험에 따르면 기존의 체크포인팅 방법은 업데이트가 집중되는 워크로드에서 메모리 사용량이 최대 2배까지 증가 하는 것이 비하여 VTC는 2% 미만의 증가를 보인다. 그것은 시스템이 메모리의 대부분을 데이터를 보관하고 트렌젝션을 처리하기 위해서 사용할 수 있다는 것을 의미한다.

With in-memory databases (IMDBs), where all data sets reside in main memory for fast processing speed, logging and checkpointing are essential for achieving persistence in data. Logging of IMDBs has evolved to reduce run-time overhead to suit the systems, but this causes an increase in recovery time. Checkpointing technique compensates for these problems with logging, but existing schemes often incur high costs due to reduced system throughput, increased latency, and increased memory usage. In this paper, we propose a checkpointing scheme using validity tracking-based compaction (VTC), the technique that tracks the validity of logs in a file and removes unnecessary logs. The proposed scheme shows extremely low memory usage compared to existing checkpointing schemes, which use consistent snapshots. Our experiments demonstrate that checkpoints using consistent snapshot increase memory footprint by up to two times in update-intensive workloads. In contrast, our proposed VTC only requires 2% additional memory for checkpointing. That means the system can use most of its memory to store data and process transactions.