Unsupervised Domain Adaptation via Joint Contrastive Learning

Abstract

Domain adaptation is introduced to exploit the label information of source domain when labels are not available for target domain. Previous methods minimized domain discrepancy in a latent space to enable transfer learning. These studies are based on the theoretical analysis that the target error is upper bounded by the sum of source error, the domain discrepancy, and the joint error of the ideal hypothesis. However, feature discriminability is sacrificed while enhancing the feature transferability by matching marginal distributions. In particular, the ideal joint hypothesis error in the target error upper bound, which was previously considered to be minute, has been found to be significant, impairing its theoretical guarantee. In this paper, to manage the joint error, we propose an alternative upper bound on the target error that explicitly considers it. Based on the theoretical analysis, we suggest a joint optimization framework that combines the source and target domains. To minimize the joint error, we further introduce Joint Contrastive Learning (JCL) that finds class-level discriminative features. With a solid theoretical framework, JCL employs contrastive loss to maximize the mutual information between a feature and its label, which is equivalent to maximizing the Jensen-Shannon divergence between conditional distributions. Extensive experiments on domain adaptation datasets demonstrate that JCL outperforms existing state-of-the-art methods.

도메인 적응 기법은 타겟 도메인의 라벨 정보가 없는 상황에서 비슷한 도메인인 소스 도메인의 라벨 정보를 활용하기 위해 개발되었다. 기존의 방법론들은 잠재 공간에서 도메인들 사이의 분포 차이를 줄임으로써 전이 학습이 가능하게 하였다. 이러한 기법들은 소스 도메인의 에러율, 도메인 간 분포 차이, 그리고 양 도메인에서 이상적인 분류기의 에러율의 합이 타겟 도메인의 에러율의 상계가 된다는 이론을 바탕으로 한다. 그러나 도메인들 사이의 분포 차이를 줄이는 방법들은 동시에 잠재 공간에서 서로 다른 라벨을 갖는 데이터들 사이의 구별성을 감소시켰다. 특히, 작을 것이라 생각되던 양 도메인에서 이상적인 분류기의 에러율이 큰 것으로 나타났다. 본 논문에서는 기존의 이론에서는 다루지 않은 양 도메인에서 분류기의 에러율을 조절할 수 있게하기 위해 새로운 이론을 제시한다. 이 이론적 배경을 바탕으로 소스 도메인과 타겟 도메인을 함께 학습하는 공동 대조적 방법을 소개한다. 본 공동 대조적 학습 방법에서는 각 라벨별로 구분되는 잠재 공간을 학습하기 위해 각 데이터의 특징과 라벨 사이의 상호 정보량을 최대화한다. 이 각 데이터의 특징과 라벨 사이의 상호 정보량은 각 라벨 분포 사이의 젠센-샤논 거리와 같으므로 이를 최대화하는 것은 곧 라벨들이 잘 구별되는 잠재 공간을 학습하는 것이다. 마지막으로 공동 대조적 학습 방법을 여러 데이터 셋에 적용하여 기존 방법론들과 비교하였다.