Spectral Analysis of Graph Neural Networks and Its Applications

Abstract

In this dissertation, we present a theoretical analysis of spectral-based graph neural networks and their practical performance. We analyze how the spectra of a graph Laplacian relates to the convolution operation of a graph neural network, and we discuss how expressive a graph convolutional model can be and how competent expressiveness can be achieved by implementing various convolutions on a graph based on this spectra. The results show that spectral-based graph neural networks can perform well on graph-based tasks, and we discuss what improvements can be made in the future to improve their performance in practice. As an extension, we apply it to traditional computer vision tasks in addition to graph-based tasks and show that it is comparably expressive.

In addition, we present several results of its applications utilizing graphs. Specifically, we conducted experiments on the task of salient object detection using directed acyclic graphs. We also show experimental results of applying the simple model based on the theory of Fourier analysis to practical applications such as the rain removal task. These experiments empirically demonstrate that incorporating the knowledge of graph theory and Fourier analysis into the model helps improve performance.

본 눈문에서는 스펙트럼 기반 그래프 인공신경망의 이론적 분석과 그 실용적 성능에 대해 다룬다. 그래프 신경망에서의 컨볼루션 연산과 라플라시안 그래프의 스펙트럼 간의 관계를 조사하고, 어떤 가정들 하에서 그래프 컨볼루션이 정의될 수 있으며, 그러한 가정 아래에서 어떤 방식으로 그래프 컨볼루션을 정확히 표현할 수 있는 지에 대해 분석하였다.

이러한 분석을 기반으로 다양한 그래프 컨볼루션을 실험하여 모델의 표현력과 성능을 논의하였다. 결과적으로, 스펙트럼 기반 그래프 신경망이 그래프 기반 작업에서 우수한 성능을 보여줌을 확인하며, 실제 성능을 향상시키기 위한 개선 가능한 부분에 대해 논의한다. 더불어, 이론과 적용 영역을 확장하여 그래프 기반 작업뿐만 아니라 전통적인 컴퓨터 비전 작업 등에도 적용할 수 있음을 보여주어 이러한 방식의 확장성을 보여주었다.

마지막으로 이 논문에서는 그래프를 활용한 몇 가지 응용 사례와 결과를 제시하였다. 구체적인 실험으로 방향성 비순환 그래프(DAG)를 이용한 두드러진 물체 검출 작업에 대한 실험을 수행하였다. 이외에도 푸리에 변환을 활용한 모듈을 활용하여 비를 제거하는 태스크 같은 실용적 분야에 적용한 모델과 실험 결과들을 살펴본다. 이러한 실험들을 통해, 그래프 이론과 푸리에 분석 지식과 같은 수학적 지식을 모델에 통합하고 이를 분석하는 것이 성능 향상에 유용함을 실증적으로 보여주었다.