근치적 위절제술을 시행한 위암 환자의 정보제공을 위한 위암 질의응답 챗봇 개발 및 평가

Abstract

In this study, the information-seeking questions that emerge in the self-management process of gastric cancer patients after radical gastrectomy were structured into a gastric cancer question answering (QA) named entity classification and knowledge base. Subsequently, we developed a gastric cancer QA chatbot that provided answers to inquisitive questions in real time, and evaluated the heuristics, user experience and performance of the chatbot. The gastric cancer QA chatbot was developed and evaluated according to the analysis, design, implementation, and evaluation phases of the system development life cycle. In the analysis stage, we derived the following 7 question categories: gastric cancer, examination, treatment, symptoms, diet, exercise, and daily life by collecting and analyzing gastric cancer-related questions that appeared in an online self-help group, gastric cancer-related clinical practice guidelines and frequently asked questions (FAQs). We also derived 10 types of questions, including definition, possibility, allow or not, normal or not, time, cause, method, recommendation, verification/confirmation, and difference or not. The gastric cancer QA named entity classification system comprised entities expressing the target, predicate, and attribute of the question. Keywords extracted from 214 additional questions collected from the online self-help group were mapped to the concept of the named entity classification with a coverage of 90.9%. Results of the expert evaluation revealed ratings of 4.0 or higher for all criteria of the overall structure and for the representative ability of each category of the developed named entity classification, with a content validity index (CVI) ranging from 0.71 to 1.00. The developed named entity classification comprised 7 top level concepts and 4,517 sub entities. The developed knowledge base comprised 33 intents on gastric cancer, 87 on examination, 125 on treatment, 236 on symptoms, 145 on diet, 12 on exercise, 36 on daily life, and 3 on greetings and error information, with a total of 677 intents and standard question answering sets. Results of the expert evaluation on the knowledge base revealed a 97.5% accuracy rate for the answers, with a CVI of 1.00 in all categories. The function of the chatbot in this study was defined as a function to input a natural language question and a function to select from a question list. A chatbot agent (GastricFAQ) was developed to reflect the entities and terms of the named entity classification developed in the design stage onto the entity and question answering sets from the knowledge base onto the intent of Dialogflow. GastricFAQ consists of 677 types of intents, 281 entity groups, and 4,190 sentences for training. The user interface comprises one main screen for obtaining answers by entering natural language questions and seven screens for checking answers by selecting a question list by category. In the implementation stage, the chatbot was implemented in a web browser Chrome environment by connecting the Dialogflow API based on the Django framework using the Python language in the Linux environment. The four usability problems that appeared in the heuristic evaluation by experts were reflected in the system improvement. An analysis of the expert question log revealed an accuracy rate of 82.1% for the answer. User experience scores were higher in the usefulness category (4.41 out of 5), followed by 4 or more for all items other than desirable category (3.95 out of 5). An analysis of the user question log revealed an accuracy rate of 85.2% for the answers. We corrected and supplemented error cases, and improved the interface such that it presented the entire list of questions by category. The gastric cancer QA chatbot developed in this study for patients with gastric cancer who have undergone curative gastrectomy is expected to be used as an intervention for providing information with real-time answers to user questions.

본 연구에서는 근치적 위절제술 후 위암 환자의 자기관리에 대한 질의응답을 개체명 분류체계와 지식베이스로 구조화한 결과를 활용하여 위암 환자의 질문에 대한 답변을 실시간ㆍ규칙 기반으로 제공하는 챗봇을 개발하고, 챗봇의 휴리스틱, 사용자 경험과 성능을 평가하였다. 위암 질의응답 챗봇 개발 및 평가는 시스템 개발 생명 주기인 분석, 설계, 구현, 평가의 단계에 따라 수행되었다. 분석 단계에서 위암 질의응답 개체명 분류체계를 개발하기 위해 위암 온라인 자조모임 카페의 질의응답 텍스트와 위암 관련 임상실무지침 및 자주 묻는 질문(FAQs) 정보원으로부터 질문을 수집ㆍ분석하여 위암 질병 정보, 검사, 치료, 증상, 식이, 운동과 일상생활의 7가지 질문범주를 도출하고, 정의, 가능성, 허용여부, 정상여부, 시기, 원인, 방법, 권장/추천, 점검/확인과 차이여부의 10가지 질의 유형을 정의하였다. 위암 질의응답 개체명 분류체계는 질문의 주부, 술부 및 속성을 표현하는 개체들로 구성되었다. 개발한 개체명 분류체계의 포함력을 평가하기 위해 위암 온라인 자조 모임 카페에서 추가로 수집한 질문 214건에서 핵심 용어들을 추출하여 개체명 분류체계의 개념과 매핑한 결과, 90.9%의 용어가 완전하게 매핑되었다. 이 개체명 분류체계의 전체 구조와 범주별 표현력에 대한 전문가 평가 결과, 모든 기준에서 5점 만점에 4점 이상을 받았고, 내용 타당도(CVI)는 0.71~1.00의 범위를 나타내었다. 최종 개발된 개체명 분류체계는 총 7개의 최상위 개념과 4,517개의 하위 개체들로 구성되었다. 본 연구에서 개발된 지식베이스는 위암 질병 정보 관련 33종류, 검사87종류, 치료 125종류, 증상 236종류, 식이 145종류, 운동 12종류, 일상생활 36종류, 그리고 인사말과 오류 안내를 위한 3종류 등 총 677종류의 질문의도와 표준 질의응답 세트로 정의되었다. 이 지식베이스에 대한 전문가 평가 결과, 답변의 정확도는 97.5%로, 내용 타당도(CVI)는 모든 범주에서 1.00으로 평가되었다. 본 연구에서 챗봇의 기능은 사용자가 궁금한 질문을 자연어 형태로 입력하면 답변하는 기능과 질문 리스트에서 선택하면 답변하는 기능으로 정의하였다. 설계 단계에서 개발된 개체명 분류체계의 개체와 용어들을 다이얼로그 플로우의 엔티티에, 지식베이스의 질의응답 세트들을 인텐트에 반영하여 챗봇 에이전트(GastricFAQ)를 구축하였다. GastricFAQ는 677종의 인텐트, 281개의 엔티티 그룹과 4,190개의 학습 문장으로 구성되었다. 사용자 인터페이스로 자연어 질의 메인 화면 1개와 범주별 질문 리스트 화면 7개를 설계하였다. 구현 단계에서, 본 연구의 챗봇은 리눅스 환경에서 Python 언어를 이용하여 Django 프레임워크를 기반으로 다이얼로그 플로우 API를 연결하여 웹브라우저 크롬 환경에서 실행 가능하도록 구현하였다. 전문가 휴리스틱 평가에서 나타난 4가지 사용성 문제를 시스템 개선에 반영하였고, 전문가 질문 로그 분석 결과 답변의 정확도는 82.1%로 나타났다. 사용자 경험 평가에서는 유용성 항목이 5점 만점에 4.41점으로 가장 높았고, 매력성(3.95점) 이외 모든 항목이 4점 이상으로 나타났다. 사용자 질문 로그 분석 결과 답변의 정확도는 85.2%로 나타났다. 이후 오류 사례를 수정ㆍ보완하였고, 범주별로 전체 질문 리스트를 확인할 수 있도록 개선하였다. 본 연구에서 사용자의 질문에 실시간으로 답변을 제공하는 위암 질의응답 챗봇은 위절제술 후 위암 환자의 정보제공 중재로 활용 가능할 것으로 기대된다.