Exploration of machine learning techniques for anomaly detection in computer security

Abstract

컴퓨터 보안에서 이상징후탐지는 이전에 알려지지 않은 새로운 공격을 탐지할 수 있는 가능성 때문에 오랫동안 연구되어 왔다. 이 연구들에서는 이상징후 탐지의 성능을 향상시키지 위한 다양한 기계학습 모델 및 feature engineering 기법들이 제안되었다. 하지만 이러한 연구들에도 불구하고 아직까지 대부분의 이상징후탐지 기법은 실제 시스템에 적용하기는 이르다고 여겨지고 있다. 이 논문에서는 이상징후탐지 기법을 실제 시스템에 적용할 수 있도록하기 위하여 다양한 기법들을 탐색하고자 한다. 우선 기존의 기계학습 기법을 향상시키지 위하여 운영체제의 커널 데이터에 대한 이상징후탐지 기법을 위한 새로운 feature를 제안할 것이다. 이어서 프로그램의 수행행위를 모델링하기 위하 LSTM 언어 모델을 활용하는 방법론을 탐색하면서 오랫동안 프로그램 수행행위 모델링 기법의 약점으로 여겨졌던 mimicry attack에 대한 방어능력을 향상시킬 것이다. 이에 더해 앞서 제안한 LSTM 언어모델의 실시간 운용을 위한 새로운 하드웨어 아키텍쳐를 제안할 것이다. 마지막으로 IoT의 행위를 더 올바르게 모델링하기 위해 네트워크와 단말의 행위를 함께 고려하는 모델을 제안할 것이다. 이 논문에서는 앞서 언급한 연구들에 대한 설계 및 구현 상세와 함께 다양한 실험결과들로 그 효용성을 입증할 것이다.

Anomaly detection has long been studied in computer security for its capability in detecting unknown new attacks. From these studies, various machine learning models and feature engineering techniques have been proposed to enhance the capability of anomaly detection. Unfortunately, it is still considered premature for most anomaly detection techniques to be fully deployed in real world systems. In this thesis, I will explore various techniques to improve the deployability of anomaly detection in real world systems. First, I will propose a new feature to be used for OS kernel data anomaly detection to improve existing machine learning work. Then, I will explore and propose applying LSTM language models to model program execution behavior while mitigating a long known weakness to existing execution behavior modeling: mimicry attacks. Furthermore, I will also propose a novel HW architecture to better support and facilitate real-time anomaly detection with the proposed language model. Finally, I will propose a network-device correlational model to better capture and model the behavior of IoT devices. In this thesis, I will give details of the design and implementations of the aforementioned work and evaluate their effectiveness through various experimental results.