Biologically Plausible Learning Algorithm without Weight Transport and Bidirectional Connection

Abstract

Recently, the backpropagation is applied in various fields and has achieved great results. However, there are many limitations to do backpropagation in the actual brain. One of the reasons why backpropagation is difficult in the brain is the weight trans port problem. In other words, The backpropagation constitutes a forward path and a symmetric feedback path, which is biologically impossible in the real brain. In a recent study, by constructing an asymmetric feedback path and learning similar to forward path, the weight transport problem is solved and high performance close to backpropagation is achieved. However, there is still a problem that biologically rare bidirectional connections occur between forward neurons and feedback neurons in order to train both forward and asymmetric feedback path. In this study, we propose a new learning algorithm that does not occur bidirectional connections while solving the weight transport problem. The proposed learning method also trains asymmetric feedback paths, but removes bidirectional connections by sharing activation across multiple layer during training both forward and asymmetric feedback path. In this algorithm, performance was significantly improved when compared with other learning algorithm that solved the weight transport problem. Furthermore, unlike the existing learning algorithm, it suggested the possibility that learning could be possible without accurate activation information. Consequently, it can reduce training memory because there is no need to store all accurate activation.

최근에는 역전파 (backpropagation) 학습방법이 다양한 분야에 적용되어 좋은 성과를 거두고 있다. 그러나 실제 뇌에서 역전파가 이루어지기에는 많은 한계가 있다. 그 이유 중 하나는 가중치 수송 문제 (weight transport problem)이다. 즉, 역전파 학습방법은 순방향 경로와 대칭적인 역방향 경로를 구성하는데, 이는 실제 뇌에서생물학적으로 불가능하다. 최근 연구에서는 비대칭 역방향 경로를 구성하되 이를 순방향 경로와 동일하게 학습하여 가중치 전달 문제를 해결하며 역전파에 가까운 성능을 달성했다. 그러나 모든 경로를 훈련시키기 위해 생물학적으로 희귀한 양방향성 연결이 순방향 뉴런과 역방향 뉴런 사이에 발생한다는 문제가 여전히 존재한다. 본 연구에서는 가중치 전달 문제를 해결하면서 양방향 연결이 발생하지 않는 새로운 학습 알고리즘을 제안한다. 제안된 학습방법은 순방향 및 비대칭 역방향 경로를 훈련시키는 동안 여러 계층에서 활성화를 공유하여 양방향 연결을 제거한다. 이 알고리즘은 가중치 전달 문제를 해결한 다른 학습 알고리즘에 비해 성능이 크게 향상되었다. 나아가 기존 학습 알고리즘과 달리 정확한 활성화 정보 없이도 학습이 가능하다는 가능성을 제시했다. 결과적으로 학습 도중 모든 정확한 활성화를 저장할 필요가 없기 때문에 훈련 메모리를 줄일 수 있었다