Domain Adaptation for Fair and Robust Machine Learning

Abstract

Deep learning society has grown tremendously in recent years, leading to increasing demand for large amounts of data. However, it is difficult to gather enough labeled data similar to unlabeled real-world test data. We have to apply the domain adaptation to overcome this limitation. Domain adaptation learns by taking into account differences in probability distributions between different domains, so it outcomes a model that can be applied to both domains. In this dissertation, we first focus on developing domain adaptation methods in terms of learning appropriate representation. We propose a class-conditional domain invariant learning method that can learn a feature space in which features in the same class are expected to be mapped nearby. Improving the performance of domain adaptation has an expected impact that the application area of machine learning will be widened because a large number of unsupervised data can be used for machine learning. In addition to these direct expected impacts, domain adaptation techniques can be used in many aspects of deep learning. The key characteristic of domain adaptation is that it builds a machine learning model that can be applied to two different distributions. Therefore, domain adaptation based approaches can be widely used in machine learning areas that handle two different distributions, such as defense against adversarial attacks or fair machine learning. Robustness of deep learning is important since it can induce various security and safety problems. We focus on modeling deep networks that are robust against adversarial attacks by using domain adaptation methods. Considering normal samples as the source domain and adversarial samples as target domain, we suggest novel Wasserstein distance-based domain adaptation method that can enhance model robustness. As the increase in machine learning influences decisions about important aspects of our lives, the demand for a fair machine learning model has increased rapidly in recent years. We investigate a methodology for developing a fair classification model for data with limited or no labels, by transferring knowledge from another data domain where information is fully available, which is done by controlling the Wasserstein distances between relevant distributions. In real-world applications of machine learning, there are many cases where we need to handle data from various distributions. In these cases, domain adaptation can be the right solution because it considers the difference of probabilistic distributions of two domains. We expect, our algorithms can be helpful to overcome these limitations and be applied to build fair and robust models.

최근 딥 러닝의 활용은 엄청나게 증가하여 대량의 데이터에 대한 수요가 점점 증가하고 있다. 그러나 현실에 적용해야 할 테스트 데이터와 유사한 라벨링 된 데이터를 수집하는 것은 매우 어렵다. 이러한 어려움을 해결하기 위해 도메인 적응 (domain adaptation)이 필요하다. 도메인 적응은 서로 다른 도메인들 간 확률 분포의 차이를 고려하여 학습하기 때문에 두 도메인 모두에 잘 적용 될수 있는 모델을 학습한다. 본 연구에서는 도메인 적응을 활용하여 두 도메인에 적용 될 수 있는 표현 학습을 제시한다. 우리는 클래스 의존적 (class-conditional)인 도메인 적응 표현학습 방법을 제안한다. 이 표현학습은 두 도메인에서 같은 클래스를 가지는 샘플들의 임베딩을 유사하게 만들 수 있다. 도메인 적응 방법은 지금까지 활용되지 못했던 대량의 라벨이 없는 데이터들을 학습에 활용할 수 있으므로 기계 학습의 활용이 확장된다는 기대효과가 있다. 직접적인 기대효과 이외에도 도메인 적응 방법은 딥러닝의 여러 측면에도 활용될 수 있다. 도메인 적응의 주요 특징은 두 가지 다른 분포에 적용할 수 있는 기계 학습 모델을 구축한다는 것입니다. 따라서 도메인 적응 기반의 접근 방식은 적대적 공격(adversarial attack)에 대한 안정성(robustness) 이나 공정한(fair) 기계 학습 같이 두 가지 다른 분포를 처리하는 기계 학습 영역에서 널리 사용될 수 있다. 딥 러닝의 안정성은 다양한 보안 및 안전 문제를 유발할 수 있으므로 매우 큰 관심을 받고 있다. 본 연구에서는 도메인 적응 방법을 사용하여 적대적 공격에 대비 한 네트워크 모델링 설계 방법을 제안한다. 정상 샘플들을 소스 도메인으로, 적대적 샘플을 또 다른 도메인으로 간주하여, 모델의 안정성을 향상할 수 있는 Wasserstein 거리 기반 도메인 적응 방법을 제안한다. 기계 학습의 활용이 우리 삶의 중요한 측면에 관한 결정에 영향을 미치면서, 최근에는 모델의 공정성에 관한 관심이 급격히 증가했다. 본 연구에서는 도메인 적응 방법론을 활용하여 성별이나 피부색 같은 민감 변수 (sensitive attribute)가 서로 다른 데이터들에서 모두 공정하게 작동할 수 있는 방법론을 제안한다. 기존에 한가지 변수만 집중했던 것을 넘어 이를 활용하면 다양한 민감 변수에 대하여 공정한 기계학습을 학습할 수 있다. 딥러닝 모델을 현실문제에 적용할 때에는 다양한 분포를 따르는 데이터를 동시에 처리해야하는 상황이 자주 발생한다. 도메인 적응은 두 도메인의 확률 분포 차이를 고려하기 때문에 이러한 상황에 유연하게 사용될 수 있다. 또한, 도메인 적응 기술은 안정적이며 공정한 딥러닝 모델의 학습에 핵심 기술로 활용될 수 있다. 따라서 본 연구에서 제시한 알고리즘이 딥러닝의 한계를 극복하고 공정하고 안정적인 모델을 구축하는 데 활용되기를 기대한다.