KoGPT-2 생성 문장의 주거 관련 편견 분석 및 감소 방법 연구

Abstract

사전학습된 언어모델은 대용량의 데이터를 그대로 학습시키기 때문에 편견이 있는 문장을 생성하기도 한다. 이 연구에서는 KoGPT-2가 생성하는 문장의 주거 관련 편견을 분석하였다. 네이버 뉴스 및 부동산 카페 댓글로 미세조정한 KoGPT-2가 생성한 문장으로 주거 형태 및 지역에 관한 편견을 분석하였다. 그리고 주거 관련 편견이 있는 문장 생성 억제를 위해 강화학습을 적용하고, 효과를 측정하였다. 감성 스코어 기반의 평균 거리 지표를 기준으로 주거 형태에 관한 편견은 약 73%, 주거 지역에 관한 편견은 약 22% 개선되었다. 또한 긍/부정적 편견 상관없이 효과를 보였다. 강화학습을 이용한 KoGPT-2 생성 문장의 편견을 감소시키는 방안은 기존의 사전학습모델의 아키텍처를 변경하지 않고 미세조정을 하기 때문에 전이학습의 이점을 그대로 유지할 수 있다. 또한 인간이 주석처리하여 생성한 모델을 보상(Reward)으로 사용하기 때문에, 각기 다른 다양한 의도로 KoGPT-2의 문장 생성을 통제할 수 있다는 의의도 있다.

Since pretrained language models learn a large amount of data as is, they sometimes generate biased sentences. In this study, housing-related biases in KoGPT-2 were analyzed. The sentences generated by KoGPT-2, which was fine-tuned based on the comments of Naver news and Naver cafe Real estate study, were analyzed for biases towards housing types and regions. In addition, reinforcement learning was applied to mitigate biases in KoGPT-2, and debiasing effects were measured. Based on the average distance of sentiment scores, biases on housing types were mitigated by about 73%, and biases on housing regions were mitigated by about 22%. It worked regardless of positive/negative biases. Debiasing method using reinforcement learning has two advantages; First, architectures of PLM, which is KoGPT-2 in this study, do not need to be changed and second, sentences generated by KoGPT-2 can easily be controlled based on human intentions since model created with human-annotated data is used as a reward function.