대용량 과학데이터에 대한 저용량 필터링 기법

Abstract

대용량 배열기반 과학데이터의 차원에 대한 필터 연산과 달리 속성에 대한 필터 연산은 전체적 스캔을 통해 실시되므로 많은 시간이 소요된다. 그러나 필터 연산을 효율적으로 처리하기 위한 인덱싱 기법은 별도의 많은 저장공간을 필요로 한다. 본 논문에서는 대용량 배열기반 과학데이터의 속성에 대한 필터 연산을 신속하게 함과 동시에 인덱스의 저장공간을 매우 효율적으로 감소시키는 새로운 인덱싱 기법인 CRRF를 소개한다. CRRF는 비트의 배열을 통해 데이터 집단 내의 값들의 분포를 효과적으로 반영할 수 있는 자료구조인 ARF의 활용 범위를 인덱싱까지 넓힌 것이다. CRRF는 실수 형식의 값들로 구성된 데이터 집단의 요약을 가능케 하며, 정수 배열에 비트 배열을 압축 저장함으로써 공간 활용의 효율을 극대화한다. 또한 인덱싱의 정확성과 안정성을 추구하기 위해 질의 처리 시 별도의 인덱스 변형 과정을 제거하고 인덱스 생성 단계에서 데이터 집단을 가능한 한 정밀하게 반영하여 위양성(false-positive)을 최소화한다. 본 연구의 실험에서 CRRF의 저장공간이 B+-tree에 비해 매우 작다는 것을 보였다. 또한 CRRF를 사용하는 인덱싱의 성능이 B+-tree 인덱싱과 비슷하다는 것을 확인하였다.