Imbalanced Data Learning: Advances in Techniques and Applications

Abstract

Machine learning techniques, including deep learning, are renewing state-of-arts across many disciplines. However, many issues exist that need to be addressed for the application of these techniques to actual problems, such as medical diagnosis. A typical issue is imbalanced data, which refers to a state in which the distribution of a specific class among the accumulated data is much larger or smaller than that of the other classes. In the case of learning with imbalanced data, there is a risk of deterioration of the performance of the minority class because the learning is biased toward a majority class.

In this paper, we discuss the existing methods that address the issue of imbalanced data, and propose a new methodology using a generative adversarial neural network. The key idea of this method is a cooperative training loop of the generator and classifier, wherein the generator and classifier are trained alternately to gradually expand the decision region of the minority class. Additionally, three application studies in the biomedical field are conducted to discuss the effects and solutions of the imbalanced data, along with the significance of each study. Each applied study corresponds to the early diagnosis of dementia using neuropsychological assessment, extreme drowsiness detection based on brain waves, and electrocardiogram based biometric authentication. In summary, this paper examines the difficulties of learning caused by imbalanced data through practical application studies, and explores methodologies to solve them.

딥러닝을 포함한 기계학습 기법들은 여러 분야 전반에 거쳐 최고의 성능을 갱신하고 있다. 하지만 의료 진단 등과 같은 실제 문제에 적용하기 위해서는 해결해야할 사안들이 여전히 남아 있다. 대표적인 사안 중 하나로 본 논문에서 다루고자 하는 사안은 데이터 불균형성이다. 데이터 불균형성이란, 축적된 데이터들 중 특정군의 분포가 매우 많거나 매우 적은 상태를 지칭한다. 불균형성이 존재하는 데이터를 기반으로 학습이 진행될 경우, 다수 데이터에 치우친 학습 경향을 보이기 때문에 소수 데이터에 대한 성능이 저하될 위험성이 있다.

본 논문에서는 데이터 불균형성을 극복하고자 하는 기존 방법들을 논하고, 이들의 생성적 적대 신경망 기법을 활용하여 한계를 극복할 수 있는 새로운 방법론을 제시한다. 해당 기법은 생성 모델과 분류 모델의 유기적 학습을 통해 생성된 데이터들이 소수 데이터에 대한 성능 향상을 유도하도록 한다. 부가적으로 실환경 데이터를 활용하여 바이오메디컬 분야의 세 가지 응용 연구를 수행하였다. 각각 연구의 유의성과 함께 데이터 불균형성의 영향과 해결 방안에 대해 논하였다. 각각의 응용 연구는 신경심리검사를 활용한 치매 조기 진단, 뇌파 기반의 극도 졸음 탐지, 심전도 기반 생체 인증에 해당한다. 요약하자면, 본 논문은 데이터 불균형으로 인한 학습의 어려움을 실제 응용 연구들을 통하여 확인하고, 이를 해결하기 위한 방법론들을 탐구하였다.