Accurate Graph Classification via Two-Staged Contrastive Curriculum Learning

Abstract

Given a graph dataset, how can we generate meaningful graph representations that maximize classification accuracy? Learning representative graph embeddings is important to solve various real-world graph-based tasks. Graph contrastive learning aims to learn representations of unlabeled graphs by capturing the relationship between graphs. Recently, data augmentation has been widely used for contrastive learning. However, previous contrastive learning methods with random-based augmentations fail to capture semantic information within graphs. Furthermore, graph contrastive learning approaches with carefully designed augmentations are computationally inefficient.

We propose TAG (Two-staged contrAstive curriculum learning for Graphs), a two-staged contrastive learning method for graph classification. TAG exploits six model-agnostic augmentation algorithms that preserve the graph semantics by considering the degree centrality. The augmentation algorithms are used for the two-staged learning of graph representations: node-level and graph-level. Experiments show that TAG outperforms both unsupervised and supervised methods in classification accuracy, achieving up to 4.21% and 4.76% points higher than the second-best unsupervised and supervised methods on average, respectively.

그래프 데이터셋이 주어졌을 때, 어떻게 하면 그래프 분류 성능을 최대화하는 의미있는 그래프 표현을 학습할 수 있을까? 표현력 있는 그래프 임베딩을 학습하는 것은 다양한 실세계 그래프 기반 문제들을 해결하는데 중요하다. 그래프 대조 학습은 그래프 사이의 관계를 분석하여 레이블이 없는 그래프들의 표현을 학습하는 방법이다. 최근에 등장한 대조 학습 방법들은 데이터 증강 기법을 사용한다. 그러나 무작위 기반의 증강 기법을 사용하는 이전 방법들은 그래프 내의 주요 정보를 얻기 어렵다. 주요 정보를 잘 추출하기 위해 신중히 설계된 증강 기법을 사용하는 방법들의 경우, 연산적으로 비효율적이라는 단점이 있다.

본 논문에서는 그래프 분류를 위한 두 단계의 대조 학습 방법인 TAG (Two-staged contrAstive curriculum learning for Graphs)를 제안한다. TAG는 정점의 연결 중심성을 계산함으로써 그래프 내의 주요 정보를 잘 보존하는 여섯 개의 모델 독립적인 증강 기법들을 활용한다. 증강 기법들은 두 단계, 즉 정점 단계와 그래프 단계로 이루어진 그래프 표현 학습에 사용된다. 실험을 통해 TAG가 기존의 비지도 학습 모델들 중 가장 뛰어난 성능을 가진 모델보다 평균적으로 4.21% 더 높은 그래프 분류 성능을 달성하였으며, 기존의 지도 학습 모델들 중 가장 뛰어난 성능을 보인 모델보다 평균적으로 4.76% 더 높은 그래프 분류 성능을 기록함을 보여준다.