Federated Semi-Supervised Learning with Prototypical Network

Abstract

Federated Learning (FL) is being actively studied as computing power of edge devices increase. Most of the existing studies assume that there are full labels of data. However, since labeling data on the edge devices requires high cost, this assumption is not suitable in the real world. In general, most of the data each client has is often unlabeled. In this study, we propose a novel federated semi-supervised learning (FSSL) method. It uses prototype to utilize other clients knowledge and pseudo-labeling to compute loss about unlabeled data. It is a communication and computation efficient method than recent FSSL algorithm. In experiments, we showed that our method performed 3.8% better than not using unlabeled data with CIFAR-10 dataset, 4.6% better with SVHN dataset and 3.1% better with STL-10 dataset.

연합 학습은 엣지 디바이스의 계산 능력이 증가하면서 활발하게 연구되고 있는 분야이다. 대부분의 기존 연구는 클라이언트가 가지고 있는 데이터에 레이블이 모두 있다고 가정한다. 하지만, 엣지 디바이스의 데이터를 레이블링 하는 작업은 비용이 많이 들기 때문에, 이러한 가정은 실생활에서 적합하지 않다. 일반적으로, 클라이언트가 가지고 있는 데이터의 대부분은 레이블이 없는 경우가 많다. 본 연구에서, 우리는 새로운 연합 준 지도 학습 방법을 제안한다. 이것은 다른 클라이언트의 지식을 이용하기 위해 프로토타입이라는 것을 사용하고, 레이블이 없는 데이터를 학습시킬 때 수도 레이블링이라는 작업을 한다. 제안 방법은 최신 기법보다 높은 성능을 보이고, 또한 통신 비용과 계산 비용 측면에서 더 효율적인 방법론이다. 실험을 통해 우리의 알고리즘이 레이블이 없는 데이터를 사용하지 않은 경우에 비해 CIFAR-10 데이터셋에서는 3.8%, SVHN 데이터셋에서는 4.6%, 그리고 STL-10 데이터셋에서는 3.1% 성능이 더 좋다는 결과를 얻었다.