Differentiable Fixed-Point Iteration Layer and Its Applications to Machine Learning Tasks

Abstract

Recently, several studies proposed methods to utilize some classes of optimization problems in designing deep neural networks to encode constraints that conventional layers cannot capture. However, these methods are still in their infancy and require special treatments, such as analyzing the KKT condition, for deriving the backpropagation formula. In this paper, we propose a new layer formulation called the fixed-point iteration (FPI) layer that facilitates the use of more complicated operations in deep networks. The backward FPI layer is also proposed for backpropagation, which is motivated by the recurrent back-propagation (RBP) algorithm. But in contrast to RBP, the backward FPI layer yields the gradient by a small network module without an explicit calculation of the Jacobian. All components of our method are implemented at a high level of abstraction, which allows efficient higher-order differentiations on the nodes. In addition, we present two practical methods, FPI NN and FPI GD, where the update operations of FPI are a small neural network module and a single gradient descent step based on a learnable cost function, respectively. FPI NN is intuitive and simple, while FPI GD can be used for efficient training of energy networks that have been recently studied. While RBP and its related studies have not been applied to practical examples, our experiments show the FPI layer can be successfully applied to real-world problems such as image denoising, optical flow, multi-label classification and image generation.

최근 여러 연구에서 기존 신경망 레이어들이 이용할 수 없던 제약 조건들을 인코딩 하기 위해, 심층 신경망을 설계할 때 최적화 문제를 활용하는 방법을 제안하였다. 그러나 이러한 방법들은 아직 초기 단계이며 역전파 공식을 도출하기 위해 KKT 조건 분석과 같은 특별한 처리가 필요하다. 본 논문에서는 딥 네트워크에서 더 복 잡한 연산을 쉽게 사용할 수 있도록 고정점 반복 레이어라고 하는 새로운 형태의 레이어을 제안한다. 반복적 역전파 방법에 기반하여, 역방향 고정점 반복 레이어도 제안한다. 그러나 반복적 역전파와 달리, 역방향 고정점 반복 레이어는 야코비 행렬 을 직접 계산하지 않고 작은 네트워크 모듈을 이용하여 그래디언트를 얻는다. 또한 본 논문에서는 두 가지 실용적인 방법(FPI NN과 FPI GD)을 제안한다. FPI NN은 작은 신경망 모듈을 반복하여 업데이트하며, 직관적이고 간단하다. FPI GD는 경사 하강법을 반복하여 업데이트하며, 최근들어 연구된 에너지 네트워크들의 효율적인 학습 방법이다. 반복적 역전파 방법 및 관련 연구들이 실제 사례에 적용된 경우가 거의 없었는데, 본 논문의 실험은 고정점 반복 레이어가 이미지 노이즈 제거, 광학 흐름 측정, 다중 라벨 분류 및 이미지 생성과 같은 실제 문제에 성공적으로 적용될 수 있음을 보여준다.