Learning from Imperfect Data: Applicability of A Brain-inspired Algorithm

Abstract

딥러닝을 통한 인공신경망 학습은 지난 10년간 눈부신 발전을 이루어 왔으며, 이는 크게 대용량 데이터, 컴퓨팅 하드웨어, 및 학습 알고리즘에 의해 이루어졌다. 데이터에 정확한 라벨이 할당된 양질의 대용량 데이터는 사람의 역량을 뛰어넘는 인공신경망 모델 학습을 가능하게 했다. 하지만 현실 세계에서 수집된 데이터는 데 이터의 일부 또는 전체에 라벨이 존재하지 않거나, 라벨이 존재하더라도 대략적인 라벨이 주어지는 등 불완전한 데이터 상황이 빈번하게 발생한다. 또한 딥러닝의 성 공을 가져온 요소는 오류역전파 알고리즘을 통한 효과적인 학습이다. 오류역전파를 통해 뇌가 수행하는 인식 활동 자체를 잘 모사할 수 있으나, 학습 알고리즘 측면에 서 이는 생물학적으로 타당하지 못한 한계점을 갖는다. 본 학위논문에서는 다양한 불완전한 데이터 조건에서 효과적인 인식 접근 방법을 제안하고, 생물학적으로 타 당한 학습 알고리즘이 불완전한 데이터 학습에 어떤 영향을 미치는지에 대한 연구 결과물을 포함한다. 첫 번째 연구는 데이터 일부의 라벨만 존재하는 준지도학습의 인식 문제에 대한 접근이다. 현실 세계에서 수집된 데이터는 클래스별 데이터 분포가 고르지 않을 수 있으며, 수집된 데이터의 라벨이 존재하지 않는 속성을 갖는다. 이 문제를 해결하고 자 우리는 준지도학습 방법에 기반한 클래스 불균형 문제를 해결하기 위한 방법론을 제안한다. 준지도학습 상황의 클래스 불균형 문제는 상대적으로 수가 많은 클래스 로의 편향을 발생시키는 경향을 보인다. 우리는 기존의 준지도학습 알고리즘이 이 러한 경향을 발생시킴을 관찰하고, 불균형한 클래스 분포를 상대적으로 완화할 수 있는 마스킹 전략기반 목적함수를 도입한다. 이를 기존의 준지도학습 알고리즘의 목적함수와 함께 학습함으로써 클래스 불균형 문제를 암시적으로 해결하였다. 두 번째 연구는 데이터에 대략적인 라벨이 존재하는 약지도학습의 인식 문제 에 대한 접근이다. 사람의 인식은 다양한 감각기관의 정보를 종합하여 이루어지며, 이는 기계학습에서 멀티모달 인식 문제로 통용된다. 우리는 시각 및 청각 정보가 결합한 비디오의 이벤트 식별 문제에서 초 단위의 정확한 라벨 대신 비디오 단위의 약한 라벨이 주어진 상황의 인식 문제를 해결하기 위한 방법론을 제안한다. 전문적으로 촬영되지 않은 비디오는 시각 정보와 청각 정보 사이의 시맨틱이 불일치하는 문제를 가지며 이는 특히 이벤트가 전환되는 경계에서 빈번하게 일어난다. 우리는 특징 공간상에서 오디오 및 비디오 모달리티 각각의 시간적 속성 정보를 강화하는 방법과 서로 다른 모달리티 사이의 시맨틱 정보를 일치하는 방법론을 제안한다. 이 는 두 모달리티 정보를 효율적으로 융합하여 비디오 이벤트 식별 문제를 효과적으로 해결한다. 세 번째 연구는 데이터에 라벨이 존재하지 않는 비지도학습의 인식 문제에 대한 접근이다. 우리는 대표적인 비지도학습 문제인 딥 클러스터링을 대조학습을 활용 하여 해결한다. 일반적으로 대조학습을 위해서는 동일한 데이터 인스턴스에 대해 서로 다른 데이터 증강을 통해 두 개의 새로운 데이터를 생성한다. 이 때 동일한 인 스턴스에서 만들어진 데이터들 사이의 거리를 가깝게하고, 서로 다른 인스턴스들 에서 만들어진 데이터들 사이의 거리를 멀게 학습한다. 이러한 학습은 라벨 없이도 학습된 특징들의 차별성을 강화하는 속성을 갖는다. 앞선 상황에서 대조학습 기반 학습에서는 클래스 충돌 문제가 반드시 발생한다. 이는 동일한 클래스이지만 대조 학습의 목적함수에 의해 서로 다른 클래스로 인식되어 거리가 멀게 학습되는 문제 이다. 우리는 이러한 현생을 억제하기 위한 목적함수를 도입하고, 모델의 중간에서 생성되는 특징 또한 함께 대조학습에 사용하는 방법을 제안함으로써 딥 클러스터링 성능을 효과적으로 개선하였다. 마지막 방법은 사람의 뇌에 기반한 학습 알고리즘을 통한 접근이다. 현재의 딥러 닝의 성공을 가져온 오류역전파에 의한 학습은 정작 뇌를 제대로 모사하지 못하는 한계점을 갖고 있다. 우리는 생물학적으로 더 타당한 학습 알고리즘이라면, 사람이 잘 수행하는 문제들의 성능을 개선할 수 있다는 가정에 기반한다. 우리는 이러한 가정 하에 생물학적으로 타당한 학습 알고리즘을 연속학습, 불균형 데이터 및 적 의 수의 학습에 적용하고, 기존의 오류역전파를 통한 학습과의 비교를 수행한다. 우리는 위의 결과를 사람의 뇌가 갖고 있는 신경가소성에 기반한 분석과, 해마와 전두엽의 상호작용 관점에서 해석하며 생물학적으로 타당한 학습의 잠재력에 대한 탐구를 수행한다. 본 학위논문을 통해 불완전한 데이터 환경의 인식 문제를 해결하는 방법론을 제시하고, 뇌 모사 학습을 통한 인식 문제 성능 개선에 대해 탐색하였다. 불완전한 데이터 인식 문제는 현실 세계에서 접하기 쉬운 문제 중 하나이며, 이를 효과적으로 해결하는 것은 데이터 생성의 시간, 비용 효율적인 측면에서 중요하다. 또한 사람의 뇌에서 수행되는 학습과 유사한 학습을 수행하는 것은 궁극적인 인공지능에 도달하 기 위한 방법으로써 많은 가능성을 품고 있다.

During the past decade, artificial neural network (ANN) learning through deep learning has achieved significant progress, primarily due to the availability of vast quantities of high-quality data, powerful computer hardware, and effective learning algorithms. High-quality labeled data with accurate labels assigned to the data has enabled artificial neural network models to achieve beyond human capabilities. However, the real-world data can have imperfect supervision that indicates some or all of the data is not labeled or only weak labels are given if the label exists. Another component leading to the success of deep learning is the efficient learning algorithm known as backpropagation. Backpropagation is introduced to learn an ANN which simulates the human activity and cognition performed by the human brain. However, it has been criticized for its biological implausibility in terms of learning algorithms. This dissertation proposes a practical recognition approach for imperfect supervision conditions, as well as findings on how brain-inspired learning algorithms affect imperfect supervision recognition. The first research of this dissertation is semi-supervised learning, where only a small portion of labeled data exists. In the real world, collected data may exhibit an uneven distribution of classes, and not all labels may exist simultaneously. This problem is called class-imbalanced semi-supervised learning. We propose a methodology to address this problem based on an existing semi-supervised learning method. The primary issue with class-imbalanced semi-supervised learning is that the network produces a biased prediction for the majority of classes having relatively large samples. We observe that this problem occurred on the existing semi-supervised learning algorithm and introduce a masking strategy-based objective function that can effectively mitigate the classification bias problem derived from the imbalanced class distribution. Contrary to the previous explicit studies, our approach improves recognition performance under the class-imbalanced semi-supervised data protocol. The second research of this dissertation is weakly supervised learning, where data has not explicitly labeled, or approximate labels exist in the data. Human recognition is achieved by consolidating information from multiple sensory organs, commonly known as a multimodal recognition problem in machine learning. We propose a methodology for solving the audio-visual event localization problem, which jointly solves both localization of the temporal boundary of an event and event category recognition. The unconstrained videos have the issue of semantic mismatch between visual and auditory information, particularly at the event transition boundaries. The proposed methodology enhances temporal information within audio and video modalities in feature space and helps to match semantic information between different modalities. The experimental results show that the proposed model effectively aggregates the two modality information to solve the video event identification problem. The third research of this dissertation is an approach to recognizing unsupervised learning where labels do not exist in the data. We consider the deep clustering problem as a representative algorithm of unsupervised learning. To effectively solve this problem, we adopt a contrastive learning approach because it is known to learn discriminative representation without labels. In contrastive learning, two new data are generated through stochastic data augmentation for the same data instance. Next, the distance between the data features created in the same instance is minimized, while the distances between the features created in different instances are maximized. At this time, in contrast to learning-based learning, the class collision problem inevitably occurs. This is a problem that is the same class but is recognized as different classes by the objective function of contrastive learning and learned far away. We effectively improve deep clustering performance by introducing an objective function to suppress this problem and propose a method to use features generated in the middle of the model for contrastive learning. The final research topic is identifying the effectiveness of a brain-inspired algorithm on imperfect data recognition. Learning by the backpropagation algorithm, which has led to the success of current deep learning, is limited in that it cannot correctly simulate the human brain. We assume that biologically more reasonable learning algorithms, called brain-inspired, can improve the performance of problems that humans perform well. Under these assumptions, we apply the brain-inspired learning algorithms, called predictive coding, to continuous learning, unbalanced data, and adversarial number learning, and perform comparisons with existing error inversion. We analyze the above results based on the neuroplasticity of the human brain, interpret them in terms of the interaction between the hippocampus and the prefrontal cortex, and explore the biologically plausible learning potential. Through this dissertation, we present a methodology to solve the recognition problem of the imperfect data environment and explore the performance improvement of the recognition problem through brain-inspired learning. The imperfect data recognition problem is one of the most common problems in the real world, and effectively solving it is essential considering data curations time and cost efficiency. Finally, we discover the potential of brain-inspired learning algorithms to reach the ultimate goal of artificial intelligence.