라벨링 작업에서 인공지능의 판단을 제공하는 인터페이스 제안

Abstract

본 연구는 텍스트 독해가 필요한 라벨링 작업에서 실제 작업 효율성, 인지하는 작업 효율성, 인공지능에 대한 선호도 및 신뢰도를 측정한다. 이때 네 가지 실험 조건(확률 조건, 척도 조건, 진위 조건, 통제 조건) 하에서 각 변인을 측정하였다. 제공되는 정보는 두 문장 사이의 유사도를 정량적으로 계산한 BERT 점수를 이용했으나, 인공지능이 참가자에게 제공하는 정보의 유무와 표현 형태에 따라 실험 조건이 네 가지로 나뉘었다. 약 4천 건에 달하는 작업 결과물을 이용하여 사용자 간 진위 판단 작업을 비교했을 때, 작업 시간의 경우 인공지능과 연구자의 판단이 일치하지 않는 경우에 한하여 척도 조건의 평균 작업 시간이 가장 짧았다 (p=0.0286*). 인공지능에 대한 선호도 (p=0.881), 인공지능에 대한 신뢰도 (p=0.182) 및 사용자가 인지하는 효율성 (p=0.871)은 조건 간에 유의미한 차이가 없었다. 다만 인터뷰 분석 결과 직관적인 정보를 제공하는 인공지능이 실제 작업 효율성이 높다고 느낄 수 있었다. 또한 구체적인 정보를 제공하는 인공지능에 대한 선호도가 높아지는 경향이 있었다. 마지막으로 이해하기 쉬운 정보를 제공하는 인공지능에 대한 신뢰도가 높아짐을 확인하였다. 해당 결과를 토대로 컬러 코딩과 유사도 계산을 이용하여 작업의 효율성을 높이고 인공지능과의 협업을 원활하게 하는 인터페이스를 제안한다. 본 연구는 수동 라벨링에서 인공지능이 제공하는 정보의 표현 방식에 집중하여 탐구한 첫 연구라는 점에서 의의를 가진다.

This paper aims to identify how actual task efficiency, perceived task efficiency, preference and trust on artificial intelligence (AI) differ depending on the expression of the information provided to the user, specifically in labeling tasks that require natural language understanding. A total of 4,000 sentences were used for the experiment and showed that 한 결the average task time was shortest in the scale condition only when the judgmenet of AI and researcher matched(p=0.0286*). On the other hand, perceived efficiency(p=0.871), preference(p=0.881), and trust on AI(p=0.182), did not differ significantly between conditions. However, qualitative analysis confirmed actual efficiency increased according to visual intuitiveness, preference on AI increased according to concreteness, and trust on AI increased according to understandability of the information provided to the user. Based on this result, this study introduces an interface that provides users with information judged by artificial intelligence.