절차적 비디오 학습의 편향 분석

Abstract

본 학위 논문에서는 절차적 비디오의 행동 이해 태스크에서 나 타나는 편향 문제를 분석한다. 이전까지의 연구에서는 비디오 내 행동 사이의 관계를 중요시하였지만, 이에 따라 발생할 수 있는 편향에 대한 고려가 없었다. 이러한 편향이 존재하는지 확인하기 위해, 비디오의 행동 순서를 기존과 바꾸거나 일부 행동에 해당하 는 비디오의 부분을 마스킹(masking)하는 기법을 제안하였다. 이를 절차적 영상 데이터셋에 적용하였을 때, 현재까지 제안된 다양 한 모델들은 학습 데이터 내에 나타나는 빈번한 행동 순서에 기반 한 추론을 하고, 주어지는 비디오의 시각적 정보를 활용하지 않는 순서 편향이 있다는 것을 확인하였다. 본 연구는 앞으로의 연구가 이러한 편향에 영향을 받지 않도록 모델 또는 데이터셋을 만들어 야 함을 시사한다.

Previous research has emphasized the importance of the relationship between actions within videos, but there needs to be more consideration for potential biases that could arise from this. To determine the existence of such biases, we propose techniques such as changing the order of actions or masking parts of the video. When applied to instructional video datasets, it was found that various models proposed so far infer based on the frequently occurring action sequences in the training data, indicating the presence of ordinal bias. This research suggests that future studies should create models or datasets not influenced by ordinal bias.