Supervised Deep Learning-based Anomaly Detection Models and Their Applications in Finance, Manufacturing, and Media

Abstract

데이터마이닝에서 이상탐지는 사기, 위조, 고장과 같이 악의적 행위나 비정상적 상황으로 인해 발생하는 이상치를 탐지하는 문제를 일컫는다. 이들은 극히 드물게 발생하지만 건당 손실과 영향력이 크기 때문에 다양한 산업 응용 분야에서 이상탐지는 매우 중요한 해결과제이다. 교사학습 기반 이상탐지 기법은 라벨링된 데이터를 통해 구축한 이진 분류기를 사용해 새 관측치를 정상 혹은 이상 클래스 중 하나로 분류한다. 그 예로, 카드 사기 탐지, 제조 불량 탐지, 가짜 이미지 탐지와 같은 다양한 분야에서 라벨링된 거래, 신호, 이미지 데이터를 사용해 이진 분류기를 학습한다. 이러한 데이터는 주로 고차원인 경우가 많아 도메인 전문가가 문제 해결에 필요한 입력 변수를 선택하거나 추출하는 과정이 수반된다. 그러나 이러한 피쳐 엔지니어링은 번거롭고 오랜 시간이 소요되며 주관적이다. 더욱이 결과 변수 집합이 문제 해결에 최적이라는 보장을 하기 어렵다. 최근 다양한 인공지능 분야에서 탁월한 성능을 보여준 딥러닝은 원본 입력 변수로부터 고차원의 피쳐를 추출하는 방법을 직접 학습하여 수작업 피쳐 엔지니어링 과정이 없이도 문제 해결에 적합한 변수를 자동으로 추출할 수 있으며, 입력 변수와 출력 변수 간 복잡한 관계를 나타낼 수 있다. 본 논문에서는 신용카드 거래 데이터, 반도체 제조공정 중 센서로부터 수집되는 센서 데이터, 인터넷 및 소셜미디어에 업로드된 이미지 데이터를 기반으로 하는 세 가지 응용 분야에서의 딥러닝 기반 이상탐지 모델을 제안한다. 각 모델은 응용 분야 별로 요구되는 제약 조건을 충족시킬 수 있도록 설계되었다. 신용카드 사기 탐지 모델을 개발할 때에는 사기와 정상 거래 간 범주 불균형과 비용 불균형 문제를 고려해야 하며, 이에 더해 시스템에서 경보를 울리는 혐의 거래를 검수할 가용 조사인력 현황을 감안하여 모델의 컷오프 값을 결정해야 한다. 반도체 제조 분야에서는 웨이퍼마다 공정 소요시간이 조금씩 다르기 때문에 제조 공정중 수집된 센서 데이터는 가변 길이를 가지는데, 수작업 피쳐 엔지니어링 없이 이를 직접 활용하여 불량을 탐지하고 그 원인을 확인할 수 있어야 한다. 이미지나 비디오가 온라인에 업로드되면 인터넷 속도와 스트리밍 환경에 따라 압축된 미디어가 보여지기도 하는데, 압축 정도가 커짐에 따라 그 진위여부를 파악하기 어려워지기 때문에 압축에 강건해야 한다. 본 논문에서는 실험을 통해서 제안된 이상 탐지 모델이 위에 나열된 제약 조건을 만족시키면서 수동 피쳐 엔지니어링 과정 없이 효과적으로 이상치를 탐지함을 확인하였다.

In data mining, anomaly detection refers to the detection of anomalies that occur due to malicious activities or abnormal situations, such as fraud, forgery, or malfunction. Although they occur extremely infrequently, they result in huge losses and critical implications. Thus, anomaly detection is a very imperative task in a wide variety of application domains such as credit card fraud detection, manufacturing process fault detection, and fake image detection. The supervised anomaly detection technique predicts a new data observation into one of the normal or abnormal classes using a binary classifier constructed from the labeled data. Such data is often high-dimensional and requires a process of manually selecting or extracting the input variables by the domain expert to solve the problem. However, this feature engineering process is cumbersome, time-consuming, and subjective. Furthermore, one cannot ensure that the resulting features are the optimal for our learning goal. Recently, deep learning has become increasingly popular in the machine learning community with outstanding performance in various artificial intelligence tasks. A deep neural network can represent the complex relationship between input data instances and their labels by learning to extract higher-level features directly from the input features. Without the manual feature engineering process, these models can extract proper and efficient feature representations of the data. In this dissertation, we propose the deep learning-based anomaly detection models tailored to three data types and their application domains: transaction data from credit card industry, sensor data from semiconductor manufacturing processes, and image data uploaded to the Internet and social networks. Each model is designed to meet the constraints required for each application. In credit card industry, the real-world fraud detection system is operated with the constraints: (i) the number of investigators who check the high-risk transactions from the data-driven scoring models are limited and (ii) the two types of misclassification, false alarms and missed frauds, have different costs. In the field of semiconductor manufacturing, the sensor data collected during the manufacturing process have variable-length since the processing time for each wafer varies slightly, and fault detection and diagnosis directly from the data is an unexplored area. For fake face image detection, robustness at different compression levels is required since compression and resizing are routinely carried out when images and videos are uploaded online, which laundry manipulation traces from the data. Through experiments, it is confirmed that the proposed anomaly detection model effectively detects anomalies without the manual feature extraction while satisfying the constraints listed above.