번들을 활용한 순차적 베이지안 모델에서의 시각 언어 학습 모델링

Abstract

유아의 언어 학습은 다양한 감각을 활용하여 이루어진다. 이러한 대표적인 예로서 아이들이 시청하는 유아 교육용 비디오를 들을 수 있다. 시중의 많은 유아 교육용 비디오는 동영상과 텍스트를 같이 보여줌으로서 아이들에게 단어의 개념을 형성하는 데 도움을 주고 있다. 본 연구에서는 이러한 학습 비디오 시리즈물을 데이터로 활용하여 유아의 시각 언어 학습을 모델링하려고 한다. 먼저 비디오에서 추출한 자막과 각각의 자막에 해당하는 장면을 저장하여 여러 쌍의 이미지-텍스트 데이터를 만든다. 이때 이미지에서 정보를 가진 특정 영역을 추출하기 위해 새로운 표현형인 번들(Bundle)을 정의한다. 번들은 SIFT를 사용하여 이미지의 특징 점을 뽑아낸 후, MSER로 나눠진 이미지의 영역 안에 속하는 점들을 묶어 만들어진다. 이렇게 구성된 번들을 통해 동일한 단어를 가진 유사 번들이 얼마나 반복되는지를 비교하고 가중치를 증가시킴으로써 모델을 학습하고 학습된 모델에 임의의 단어를 주었을 때 추출된 이미지를 통해 유아의 개념 형성에 대해 확인해본다.