스마트폰 음성 사용자 인터페이스 오류 유형과 사용자의 재발화 행태 분석 연구: 아이폰 시리 사용자를 대상으로

Abstract

스마트폰의 음성 사용자 인터페이스를 통해 사람들은 음성 언어로 스마트폰과 상호작용이 가능해 졌다. 음성 사용자 인터페이스는 인간의 가장 기본적인 커뮤니케이션 수단인 음성 언어를 기반으로 하기 때문에 GUI를 사용하기 어려운 상황이나 집단의 접근 장벽을 낮춘다. 또한 언어 관련이 있는 만큼 대부분의 지식 서비스와 연계될 수 있어 중요성이 점차 더 높아질 것이라 예상한다. 그런데 음성 사용자 인터페이스의 중요성에 비해 음성 사용자 인터페이스 사용자 연구는 특정 집단의 사용자 연구에 치중되어 있다. 사용자의 경험은 기술의 발전에 중요한 척도로 작용한다. 그래서 본 연구에서는 스마트폰 음성 사용자 인터페이스 사용 경험이 적은 아이폰 시리 사용자를 대상으로 음성 사용자 인터페이스 사용시 발생하는 오류를 유형화하고, 오류 발생 후의 재발화 행태를 분석하였다. 오류 발생 후 재발화 행태는 언어 조절 이론을 토대로 발화 크기, 높이, 속도 등 목소리의 변화와 발화 어휘, 서술어, 문장 구조 등의 문장의 변화를 분석하였다. 피험자들은 7일동안 내일 날씨, 알람 설정, 일정 추가, 식당 찾기, 문자 보내기 등 5개의 미션을 수행하였다. 그 중 1일, 4일, 7일은 통제된 실험실에서 연구자 동행 하에 같은 미션을 수행하였다. 피험자들의 사용 기록은 스마트폰 화면을 녹화 영상과 음성 녹음 파일로 수집하였다. 또한 피험자들은 5개의 미션 수행 후 매일 음성 사용자 인터페이스 사용 만족도에 대한 5점 척도의 평가 설문지를 작성하였다. 마지막으로 피험자들은 실험이 끝난 후 시리를 사용하는 동안 발생하는 오류를 몇 번까지 이해하고 재발화 할 수 있는지에 대해 답변하였다. 분석 결과는 다음과 같다. 첫째, 사용자의 음성 사용자 인터페이스 만족도는 오류 개수와 상관관계가 있다. 둘째, 사용자는 음성 사용자 인터페이스 오류 상황을 3번 이하로 이해하고 사용할 수 있다. 셋째, 음성 상호작용에서 발생하는 오류들은 8개로 유형화할 수 있는데 그 중 사용자의 음성 입력 시간 오류, 잘못된 음성 인식으로 인한 오류, 그리고 시스템의 잘못된 결과 도출 등 3가지 오류의 발생률이 가장 높다. 넷째, 오류 상황 후 사용자의 재발화 행태는 첫 번째 오류 후와 두 번째 오류 후가 차이가 있다. 첫 번째 오류 후에는 목소리나 문장을 비슷한 비율로 변화하여 재발화 하지만, 두 번째 오류 후 문장을 변경하여 재발화 하는 비율이 80%로 높아진다. 다섯째, 목소리의 변화 요소는 날짜에 따라 다르지만 문장은 주로 어휘 변경이 자주 일어난다. 여섯째, 오류의 유형에 따라 사용자의 재발화 행태가 다르다. 사용자의 음성 입력 시간 오류 후에는 문장은 유지하고 목소리를 변화하지만, 잘못된 음성 인식과 시스템의 잘못된 결과 도출로 인한 오류 후에는 주로 문장을 변화하여 재발화 한다. 일곱째, 사용자는 초기에는 청유형으로 명령을 내리지만 후기로 갈수록 서술어를 생략하고, 두 개 이상의 문장을 한 번에 발화하는 경향을 보인다. 여덟째, 음성 사용자 인터페이스 사용자는 시스템이 오류 상황을 해결할 수 있는 구체적인 피드백을 주면 재발화 시 피드백 내용을 바탕으로 문장을 변화한다. 마지막으로, 음성 사용자 인터페이스 사용자들은 시끄러운 환경보다는 조용하고 혼자 있는 환경에서 VUI를 사용하려 하는 것이 관찰되었다. 본 연구는 스마트폰 음성 사용자 인터페이스를 사용하는 과정에서 발생하는 오류 상황을 실증적으로 검증하였고, 심리학 이론에 기초하여 사용자의 행태를 연구한 융 복합적 연구로서의 의의를 갖는다. 또한, 음성 사용자 인터페이스 사용과정을 장기간 분석하여 사용자의 수용과 적응의 과정을 살폈다. 이 과정을 오류 빈도와 만족도, 그리고 사용 행태의 변화에 초점을 맞춰 사용자의 실제 사용 경험을 연구하였다는 의의가 있다. 마지막으로 사용자의 오류 상황에 대한 대응을 살펴보아 산업적으로 VUI 음성 피드백 디자인과 음성 인식 오류 도출 개발에 기여할 수 있을 것이다.