Continual Learning Considering Hierarchical Labels

Abstract

Hierarchical Learning and Continual Learning are two powerful paradigms in machine learning. The former leverages the inherent structure in data through a technique known as Hierarchical Multi-label Classification (HMC), allowing models to capture both broad and specific patterns within the data. The latter enables models to learn from a continuous stream of data over time, essential in adapting to evolving real-world data distributions. Despite their strengths, traditional continual learning approaches often struggle with hierarchical relationships between tasks. This paper introduces an innovative approach that synergizes hierarchical learning and continual learning, referred to as Hierarchical Label Expansion (HLE). By proposing a multi-level hierarchical class incremental task configuration with an online learning constraint, the paper explores how networks can initially learn coarse-grained classes and then expand to more fine-grained classes across various hierarchy levels. To support this new setup, a rehearsal-based method using hierarchy-aware pseudo-labeling is presented, alongside an effective memory management and sampling strategy. These components enable the model to better understand and adapt to the hierarchical structure of tasks, efficiently learning from new data while retaining performance on previous tasks. The experimental results validate the effectiveness of this method, showing improved classification accuracy across all hierarchy levels, irrespective of depth or class imbalance ratio. Remarkably, it outperforms existing methods and demonstrates superior performance in various continual learning scenarios. The paper is structured into chapters, beginning with an introduction to the foundational concepts of hierarchical and continual learning. The main body of the work is dedicated to the integration of these paradigms through 'Continual Learning Considering Hierarchical Labels', representing a novel advancement in modeling complex and evolving environments. The proposed combination paves the way for more robust continual learning frameworks capable of handling the challenges of real-world data.

계층적 학습과 지속적 학습은 기계 학습에서 두 강력한 패러다임입니다. 전자는 계층적 다중 라벨 분류(HMC)라는 기술을 통해 데이터의 본질적 구조를 활용하여 데이터 내의 광범위하고 구체적인 패턴을 포착할 수 있게 합니다. 후자는 시간이 지남에 따라 연속적인 데이터 스트림에서 모델이 학습할 수 있게 하며, 실생활에서의 진화하는 데이터 분포에 적응하는 데 필수적입니다. 하지만 이러한 강점에도 불구하고 전통적인 지속적 학습 접근법은 작업 간의 계층적 관계에서 발생하는 문제를 다루지 않았습니다. 이 논문은 계층적 라벨 확장(HLE)으로 알려진 계층적 학습과 지속적 학습을 결합하는 접근법을 소개합니다. 온라인 학습 제약 조건이 있는 다중 레벨 계층적 클래스 분화 구성을 제안함으로써, 네트워크가 초기에 거친 클래스를 학습하고 다양한 계층 수준에서 더 세밀한 클래스로 확장할 수 있게 하는 방법을 탐구합니다. 이 새로운 설정을 지원하기 위해, 계층을 고려하는 가짜 라벨링을 사용하는 리허설 기반 방법이 제시되며, 효과적인 메모리 관리 및 샘플링 전략과 함께 제시됩니다. 이러한 구성 요소들은 모델이 데이터의 계층적 구조를 더 잘 이해하고 적응하게 하며, 이전 작업에 대한 성능을 유지하면서 새로운 데이터에서 효율적으로 학습할 수 있게 합니다. 실험 결과는 이 방법의 효과를 검증하며, 깊이나 클래스 불균형 비율과 관계없이 모든 계층 수준에서 분류 정확도를 향상시킵니다. 눈에 띄게도 기존 방법을 능가하며 다양한 지속적 학습 시나리오에서 우수한 성능을 보입니다. 논문의 구성은 계층적 학습과 지속적 학습의 기본 개념에 대한 소개로 시작합니다. 논문의 주요 부분은 복잡하고 진화하는 환경을 모델링하는 '계층적 라벨을 고려한 지속적 학습'의 설계 및 이에 적용할 수 있는 지속적 학습 방법의 소개를 다루고 있습니다. 제안된 지속적 학습 환경과 방법은 실생활에서의 데이터를 처리할 수 있는 지속적 학습 프레임워크를 위한 미래를 시사합니다.