Stochastic Contextual Linear Bandit Models and Applications to Mobile Health Problems

Abstract

Contextual Bandit models utilize information of a Bandit game player to optimize the players benefit. From the perspective of applications, it is preferred to adopt stochastic linear models in contextual Bandit problems for simple implementations. Hence, stochastic contextual linear Bandit models are widely used in real-world problems such as news article recommendations. Recently, mobile health problems are suggested as another applicable area of contextual Bandit models. However, for real-world applications, we must consider various aspects of the implementation of algorithms that are run on mobile devices. In this thesis, we will briefly review stochastic contextual linear Bandit algorithms, and discuss their applications to mobile health problems. Especially, we will inspect thoroughly the aspects that must be considered when we develop a mobile health application for real-world users.

맥락적 밴딧 모형은 밴딧 게임에서 참여자의 정보를 이용하여 효용을 최적화하려 한다. 응용의 관점에서 본다면, 확률적 선형 모형을 맥락적 밴딧 문제에 적용하는 것이 선호된다. 때문에 확률 맥락적 선형 밴딧 모형은 뉴스 기사 추천 알고리즘과 같은 실생활의 문제에서 널리 활용되고 있다. 최근, 모바일 건강 문제가 맥락적 밴딧 모형의 또다른 활용 분야로 제시되고 있다. 하지만 현실 세계에서의 응용을 위해서는, 모바일 기기에서 작동하는 알고리즘의 구현에 필요한 것들을 여러 관점에서 고려하는 것이 필수적이다. 본 논문에서는 확률 맥락적 선형 밴딧 알고리즘을 간단히 복습하고, 이후에 모바일 건강 문제에의 적용에 대하여 논의한다. 특히 모바일 건강 어플리케이션을 개발할 때 고려해야할 측면들에 대하여 상세히 고찰한다.