Publications
Detailed Information
Information Theoretic Analysis of Machine Learning : 기계 학습의 정보 이론적 해석
DC Field | Value | Language |
---|---|---|
dc.contributor.advisor | 김석 | - |
dc.contributor.author | 이성엽 | - |
dc.date.accessioned | 2023-12-06T01:23:15Z | - |
dc.date.available | 2023-12-06T01:23:15Z | - |
dc.date.issued | 2022 | - |
dc.identifier.other | 000000171076 | - |
dc.identifier.uri | https://hdl.handle.net/10371/197609 | - |
dc.identifier.uri | https://dcollection.snu.ac.kr/common/orgView/000000171076 | ko_KR |
dc.description | 학위논문(박사) -- 서울대학교대학원 : 자연과학대학 물리·천문학부(물리학전공), 2022. 2. 김석. | - |
dc.description.abstract | I aim to provide a deeper understanding of how machine learning works so
great for solving various problems. Using information theory, I study the information flow, internal representations, and parameter optimization of neural networks. First, I visualize the compression and transmission of information flows of various types of autoencoders, and examine how the various models remove irrelevant information to reproduce input data. Second, I observe that the internal representation of neural networks is so special that the frequency of distinct representations follows scale-invariant power laws both in supervised and unsupervised learning. I derive how this universal behavior can naturally arise without explicit regularization during the learning process. Finally, I introduce the mirror descent algorithm in terms of information geometry, and explain how the learning algorithm can effectively update the parameters of learning models in the dual space of the primary parameter space. In conclusion, information theory and geometry are excellent tools to visualize, analyze, and optimize neural networks. | - |
dc.description.abstract | 이 논문은 기계 학습이 다양한 문제들을 효과적으로 해결하는 원리에 대해 심층
적으로 이해하는 것을 목표로 하며 정보 이론을 활용하여 신경망의 정보 흐름, 내부 표현, 변수 최적화를 연구한다. 먼저, 다양한 종류의 오토인코더에서 압축과 전송으로 이루어지는 정보 흐름을 시각화하고 각 모형들이 입력 데이터 재생성과 무관한 정보를 어떻게 제거하는지 알아본다. 둘째로, 지도 학습과 비지도 학습에서 신경망의 내부 표현이 크기 불변 멱법칙을 따르는 현상을 관찰하고 학습 과정에서 명시적인 규제 없이 어떻게 이 현상이 보편적으로 나타나는지 유도한다. 끝으로, 거울 하강 알고리즘을 정보 기하학 관점에서 소개하고 변수 공간의 쌍대 공간을 통해 학습 변수들이 어떻게 효과적으로 갱신되는지 알아본다. 결과적으로 정보 이론과 정보 기하학이 신경망 내부를 시각화하고, 분석하고, 최적화하는데 유용한 기법임을 확인한다. | - |
dc.description.tableofcontents | Abstract i
Chapter 1 Introduction 1 Chapter 2 Information flows of machine learning 5 2.1 Information plane analysis 5 2.2 Representation learning in autoencoders 8 2.2.1 Information plane of autoencoders 8 2.2.2 Various types of autoencoders 9 2.3 Estimation of mutual information 13 2.4 Information plane of autoencoders 17 2.4.1 Vanilla autoencoders 17 2.4.2 Sparse activity and constrained weights 20 2.4.3 Constrained latent space 22 2.5 Conclusion 25 Chapter 3 Scale-invariant representation of machine learning 28 3.1 Internal representation of machine learning 28 3.2 Power laws in machine learning 30 3.2.1 Unsupervised learning 30 3.2.2 Authentic supervised learning 33 3.2.3 Self-supervised learning 34 3.2.4 Power laws with data distribution 36 3.3 Theoretical analysis of power laws 39 3.3.1 Resolution and relevance 42 3.3.2 Unsupervised learning 43 3.3.3 Supervised learning 44 3.3.4 Self-supervised learning 45 3.3.5 Authentic supervised learning 46 3.4 Conclusion 49 Chapter 4 Mirror descent: learning via dual geometry 51 4.1 Optimization for machine learning 51 4.2 Information Geometry 53 4.3 Mirror descent 56 4.4 Experimental results of mirror descent 61 4.5 Additional results of mirror descent 64 4.6 Analysis of mirror descent 71 4.7 Conclusion 72 Chapter A Matrix-based kernel estimator of mutual information 74 Chapter B Manifold learning of label autoencoder 80 Bibliography 82 초록 94 | - |
dc.format.extent | 96 | - |
dc.language.iso | eng | - |
dc.publisher | 서울대학교 대학원 | - |
dc.subject | Machine learning | - |
dc.subject | Deep learning | - |
dc.subject | Information theory | - |
dc.subject | Information geometry | - |
dc.subject | Statistical physics | - |
dc.subject.ddc | 523.01 | - |
dc.title | Information Theoretic Analysis of Machine Learning | - |
dc.title.alternative | 기계 학습의 정보 이론적 해석 | - |
dc.type | Thesis | - |
dc.type | Dissertation | - |
dc.contributor.AlternativeAuthor | Lee Sung Yeop | - |
dc.contributor.department | 자연과학대학 물리·천문학부(물리학전공) | - |
dc.description.degree | Doctor | - |
dc.date.awarded | 2022-02 | - |
dc.identifier.uci | I804:11032-000000171076 | - |
dc.identifier.holdings | 000000000047▲000000000054▲000000171076▲ | - |
- Appears in Collections:
- Files in This Item:
Item View & Download Count
Items in S-Space are protected by copyright, with all rights reserved, unless otherwise indicated.