Information Theoretic Analysis of Machine Learning

Abstract

I aim to provide a deeper understanding of how machine learning works so great for solving various problems. Using information theory, I study the information flow, internal representations, and parameter optimization of neural networks. First, I visualize the compression and transmission of information flows of various types of autoencoders, and examine how the various models remove irrelevant information to reproduce input data. Second, I observe that the internal representation of neural networks is so special that the frequency of distinct representations follows scale-invariant power laws both in supervised and unsupervised learning. I derive how this universal behavior can naturally arise without explicit regularization during the learning process. Finally, I introduce the mirror descent algorithm in terms of information geometry, and explain how the learning algorithm can effectively update the parameters of learning models in the dual space of the primary parameter space. In conclusion, information theory and geometry are excellent tools to visualize, analyze, and optimize neural networks.

이 논문은 기계 학습이 다양한 문제들을 효과적으로 해결하는 원리에 대해 심층 적으로 이해하는 것을 목표로 하며 정보 이론을 활용하여 신경망의 정보 흐름, 내부 표현, 변수 최적화를 연구한다. 먼저, 다양한 종류의 오토인코더에서 압축과 전송으로 이루어지는 정보 흐름을 시각화하고 각 모형들이 입력 데이터 재생성과 무관한 정보를 어떻게 제거하는지 알아본다. 둘째로, 지도 학습과 비지도 학습에서 신경망의 내부 표현이 크기 불변 멱법칙을 따르는 현상을 관찰하고 학습 과정에서 명시적인 규제 없이 어떻게 이 현상이 보편적으로 나타나는지 유도한다. 끝으로, 거울 하강 알고리즘을 정보 기하학 관점에서 소개하고 변수 공간의 쌍대 공간을 통해 학습 변수들이 어떻게 효과적으로 갱신되는지 알아본다. 결과적으로 정보 이론과 정보 기하학이 신경망 내부를 시각화하고, 분석하고, 최적화하는데 유용한 기법임을 확인한다.