Policy Learning for Task Allocation from Manual Demonstrations by a Human User

Abstract

본 논문에서는 운용자가 직접 수행한 수동 임무할당 결과로부터 운용자의 임무할당 정책을 학습하는 연구를 수행하였다. 운용자의 정책 학습을 위한 전 과정으로 유전 알고리즘을 활용한 자동 임무할당을 제안하였으며, 자동 임무할당 알고리즘을 이용하여 이후 기계 학습을 위해 필요한 훈련 데이터를 생성하였다. 훈련 데이터는 미리 주어진 임무할당 정책 모델 별로 생성되었으며, 새로운 임무할당 데이터가 주어지면 그 데이터를 기존의 훈련 데이터와 비교하여 임무할당 정책을 추정하는 알고리즘을 제안하였다. 나이브 베이즈 기법과 최대우도추정법, k 최근접 탐색 기법이 각각 적용되었다. 추정 알고리즘의 성능 검증을 위해 자동 임무할당 알고리즘을 사용하는 가상의 운용자를 가정하였고, 정책 추정 알고리즘이 가상의 운용자가 수행한 임무할당 결과들로부터 임무할당 정책을 정확히 추정하는 것을 확인하였다. 또한 운용자의 정책이 지속적으로 변화는 상황에서 알고리즘이 정책을 잘 추종하며 운용자의 수동 임무할당을 효과적으로 자동화하는 것을 확인하였다. 운용자의 임무할당 신뢰도를 평가하였으며, 신뢰도를 향상시킬 수 있는 운용자 임무할당 보정 알고리즘을 제안하였다.

We present a policy learning algorithm for task allocation which has multiple objectives. Usually in many task allocation algorithms, the total distance which robots move is considered as an objective but if there exist threats on robots, avoiding threats also can be an objective of task allocation. The proposed algorithm learns a policy defined by weights of total distance and threat level. A Bayesian approach and k-Nearest Neighbor classifier are employed as learning algorithms and the comparison of these approaches is presented. The policy learning algorithm precisely estimates the policy as the results of task allocations are accumulated. By using the proposed algorithm, a manual task allocation of the user can be successfully replaced with the automated allocation algorithm using the same policy. As an application, reliability of the human user in task allocation will be figured out, and an user assistance algorithm is also presented to support task allocation of the human user. The performance and the reliability of the user can be improved using the assistance algorithm.