Neural Model for Named Entity Recognition Considering Aligned Representation

Abstract

개체명 인식 (NER) 은 자연언어처리 임무들 중 중요한 임무입니다. 이 문제에 대해 기존 기술은 양방향 순환신경망 (BiRNN) 과 조건부 무작 위장 (CRF) 를 활용하는 방법입니다. 본 논문은 기계번역 분야에서 나온 attention이란 컨셉트에게서 영감을 받으며 모델을 이루었습니다. 이 모델은 트레이닝 할 때 동적으로 한 단어의 character-level 표시법과 단어 임베딩의 웨이트들을 결정하므로 모델의 효과를 증가시킵니다. 본 논문은 다언어 데이터셋 (영어, 스페인어, 네덜란드어) 에서 실험을 진행하고 F1 점수의 비교를 통해서 다른 최신 연구보다 정확도가 높아졌습니다. 또한, 논문은 다양한 모델 배치 방안을 분석해서 hidden layer수와 단어 임베딩이 이 모델에게 주는 영향, 모델의 실행 시간과 효율도 토론했습니다.

Sequence tagging is an important task in Natural Language Processing (NLP), in which the Named Entity Recognition (NER) is the key issue. So far the most widely adopted model for NER in NLP is that of combining the neural network of bidirectional long short-term memory (BiLSTM) and the statistical sequence prediction method of Conditional Random Field (CRF). In this work, we improve the prediction accuracy of the BiLSTM model by supporting an aligned character and word-level representation mechanism. We have performed experiments on multilingual (English, Spanish and Dutch) datasets and confirmed that our proposed model out-performed the existing state-of-the-art models.