Multimodal Deep Learning for Visually-Grounded Reasoning

Abstract

컴퓨터 시각과 자연어 처리 기술의 발달은 일반 인공 지능에 대한 연구를 가속화 하였다. 시각과 자연어는 인간이 사용하는 가장 상호 작용적인 양태이므로 시각과 언어에 모두 기반한 이해와 추론은 일반 인공 지능의 핵심 과제가 된다. 시각 질의 응답(VQA)은 시각 튜링 테스트의 한 예로서, 초석이 되는 튜링 테스트 [Turing, 1950] 연구에 기반한다. VQA 데이터셋 [Agrawal et al., 2017]은 대용량의 이미지 데이터셋을 이용해 지도 학습을 위한 질문-답 쌍을 수집하였다. 예를 들면 "누가 안경을 쓰고 있나?", "우산이 뒤집어져 있나?", "침대에는 몇 명의 아이들이 있는 가?"와 같은 질문에 기계는 수집한 답들을 이용해 학습한 후 이미지와 질문만을 보고 답을 내어야 한다.<br/> 본 연구에서는 시각 질의 응답 과제를 다중 양태 학습 문제로 일반화하고, 다중 양태 학습의 발전을 다층 구조 신경망의 다양한 형태를 활용하여 계층적 표상을 학습하는깊은학습,다중양태깊은학습 관점에서살펴본다.다중양태깊은학 습을 세 가지 분류 기준, 다중 양태 융합, 교차 양태, 공유 표상 학습으로 나누어 소개한다. 또, 이전 연구들 Kim et al. [2016b, 2017a, 2018]를 바탕으로 세 가지 주요 연구, 다중 양태 잔차 학습, 다중 양태 저계수 쌍일차 추출, 쌍일차 주의 망 의 내용들을 논의한다.<br/> 다중 양태 잔차 학습은 잔차 학습을 기반으로 시각-언어 다중 양태의 결합 표상 을 찾는다. 여기에서 신경망의 일부는 앞 부분의 신경망이 표현하는 목적 함수의 잔차 오류를 학습하도록 강제한다. 반면, 다중 양태 저계수 쌍일차 추출은 각 양태 가 적절하게 선형 사영된 조건에서 원소곱이 결합 함수로서 가지는 수학적 의미를 설명할 수 있게 한다. 쌍일차 주의 망은 이전 두 연구를 통합한다. 저계수 쌍일차 추출에 대한 해석을 바탕으로 행렬 연결 곱을 이용해 단일 주의 기제를 쌍일차 주의로 성공적으로 일반화하여 계산 비용은 단일 주의 망과 비슷한 수준으로 효율적이다. 더 나아가, 주의 잔차 학습을 제안하여 여덟 개의 쌍일차 주의 지도를 추론 과정에서 활용할 수 있게 하여 다층 주의 망에서 발생하는 과조정을 방지한다.<br/> 그 결과, 다중 양태 잔차 망 (MRN)은 VQA 챌린지 2016에서 4위를 기록하였 고, 2016년 11월 출판 시점에는 보다 적은 파라미터를 이용하여 다중 양태 저계수 쌍일차 주의 망 (MLB)을 제안하고 세계 최고 성능을 갱신하였다. 쌍일차 주의 망<br/> (BAN)은 VQA 챌린지 2018에서 준우승(공동 2위)를 하였으나 단일 모델로는 최고 성능을 보였다. 이 결과는 2018년 6월 18일, CVPR 2018 학회(미국 솔트레이크 시티) 워크샵에 초청되어 구두 발표하였다.<br/> 시각 또는 자연어 처리는 계속 발전 중인 분야이므로 제안하는 다중 양태 깊은 학습 방법들은 컴퓨터 시각과 자연어 처리 기술의 발달과 더불어 더 향상될 수 있는 가능성이 있다.