Investigating Evidence for Hierarchical Color Learning in Convolutional Neural Networks

Abstract

Empirical evidence suggests that color categories emerge in a universal, recurrent, hierarchical pattern across different cultures in the following order; white, black < red < green, yellow < blue < brown < pink, gray, orange, and purple}. This pattern is referred to as the "Color Hierarchy". Over two experiments, the present study examines whether there is evidence for such hierarchical color category learning patterns in Convolutional Neural Networks (CNNs). Experiment A investigates whether color categories are learned randomly, or in a fixed, hierarchical fashion. Results show that colors higher up the Color Hierarchy (e.g. red) are generally learned before colors lower down the hierarchy (e.g. brown, orange, gray). Experiment B examines whether object color affects recall in object detection. Similar to Experiment A, results show that object recall is noticeably impacted by color, with colors higher up the Color Hierarchy generally showing better recall. Additionally, objects whose color can be described by adjectives that emphasise colorfulness (e.g. vivid, brilliant, deep) show better recall than those which de-emphasise colorfulness (e.g. dark, pale, light). The effect of both color hue and adjective on object recall is still observable, even when controlling for contrast through grayscale images. These results highlight similarities between humans and CNNs in color perception, and provide insight into factors that influence object detection. They also show the value of using deep learning techniques as a means of investigating cognitive universalities in an efficient, unbiased, cost-effective way.

경험적으로 색상 계열은 보편적으로 다양한 문화권에 걸쳐 순환적이고 위계적인 패턴을 나타내며 그 순서는 다음과 같이 나타난다; 검은색 < 붉은색 <녹색 < 노란색 < 파란색 < 갈색 < 분홍색, 회색, 주황색, 보라색}. 이러한 경향은 "색상 위계(Color Hierarchy)"라 불린다. 소개될 두 가지 실험을 통해 본 연구는 콘볼루션 신경망의 경우에도 색상 위계 순서에 따른 색상계열 학습이 진행되는지 알아본다. 실험 A는 색상 계열이 무작위로 학습되는지 위계적인 순서를 통해 학습되는지 알아본다. 실험의 결과를 통해 색상 위계상으로 더 상위의 색상(예: 붉은색)은 일반적으로 하위의 색상들 (예: 갈색, 주황색, 회색) 보다 앞서 학습이 이뤄짐을 볼 수 있다. 실험 B는 색상 위계에 따른 학습 편차가 객체인식 학습의 재현률(recall)에도 영향을 끼치는지 알아본다. 실험 A에서와같이 색상 위계는 객체인식 재현률에도 큰 영향을 끼친다. 추가적으로 색상을 강조하는 부사(예: 선명한, 눈에 띄는, 짙은)와 함께 묘사된 객체의 경우에는 반대로 색상을 억제하는 부사(예: 어두운, 옅은, 엷은)와 함께 묘사된 객체들보다 재현률이 높게 나타난다. 부사와 색상의 효과는 흑백 이미지들에 대해서도 여전히 관측된다. 이와 같은 결과들은 사람과 콘볼루션 신경망의 색상 지각과정의 유사성을 보여주며 객체 인식에 영향을 주는 요인들에 대한 통찰력을 제공한다. 또한 이 결과들은 딥러닝 방법이 인지과정의 보편성을 살피는 데에 효율적이고, 치우치지 않으며, 경제적인 방법임을 지시한다.