A Large-Scale Dataset of Sensitive Questions and Acceptable Responses Created Through Human-Machine Collaboration

Abstract

The potential social harms that large language models (LLMs) pose, such as generating offensive content and reinforcing biases, can hinder the successful deployment of LLMs in real-world applications. Existing works have mainly focused on the harms in terms of social bias, toxicity, or stereotypes. However, it is also crucial to tackle sensitive questions and corresponding acceptable responses. For safer models in such scenarios, we present the Sensitive Questions and Acceptable Response (SQuARe) dataset, a large-scale Korean dataset of 49k sensitive questions with 42k acceptable and 46k non-acceptable responses. The dataset was constructed leveraging HyperCLOVA in a human-in-the-loop manner based on real news headlines. Experiments show that acceptable response generation significantly improves for HyperCLOVA and GPT-3, demonstrating the efficacy of this dataset

폭력적인 내용을 생성하거나 편견을 강화하는 등의 대규모 언어 모델이 가질 수 있는 잠재적 위험들은 이들이 실제 서비스에서 성공적으로 쓰이는 것을 방해한다. 기존 연구들은 이러한 위험들을 사회적 편견, 유해한 내용 등에 대해서만 국한했지만, 민감한 질문과 그에 상응하는 받아들일 수 있는 답변을 연구하는 것 또한 굉장히 중요하다. 그러한 시나리오들에 대해 언어 모델들이 잘 대처할 수 있도록 우리는 민감한 질문들과 받아들일 수 있는 답변들로 구성된 SQuARe 데이터 세트를 공개한다. 이 데이터 세트는 4만 9천여 개의 민감한 질문들과 그에 상응하는 4만 2천여 개의 받아들일 수 있는 답변, 4만 6천여 개의 받아들일 수 없는 답변들로 구성되어 있다. 우리는 HyperCLOVA 라는 언어 모델을 활용하여 사람과 기계가 협력하는 방식으로 데이터 세트를 생성하였다. 우리는 여러 실험을 통해 HyperCLOVA 와 GPT-3에서 받아들일 수 있는 답변 생성 능력을 향상함으로써 우리 데이터 세트의 효과성을 입증하였다.