딥러닝을 통한 하이엔드 패션 브랜드 감성 학습과 활용

Abstract

As the paradigm of fashion retail and service has shifted from offline to online, the number of fashion products handled by online retailers have also dramatically increased. Fashion consumers have experienced cognitive overloads to find the products that best match their tastes and preferences amid purchase alternatives, as a diversity of choices has increased. Furthermore, the performance improvement of artificial intelligence and big data technologies proposed products that suit consumers tastes and preferences. Consumers evaluate the satisfaction with companies offering recommendation services which meet their needs, and for companies, under-recognized products have also served as an opportunity to sell through online shopping channels. This kind of recommendation services has become a strategy adopted by many online fashion shopping malls. Shopping malls have been using a method of extracting brand names, product name, prices, and design attributes of products from the information that specifies consumer preferences and recommending products with similar attributes to consumers based on this. However, in this process, the subjective attributes of fashion products, such as fashion images, fashion sensibilities, etc., created by the combination of design elements, were not included in the recommendation elements. However, subjective factors are just as important as the objective attributes of products, because fashion is consumed as an image. For example, even if the objective elements which consist of the apparel are the same, the outfits that each brand presents are different, resulting in a completely different meaning and emotion for observers. In other words, attributes of meaning such as the style, feeling, emotion, and sensibility associated with the fashion outfits are implicit elements which are difficult to convert into texts. Therefore, since the objective properties of the items are the same or similar, it will be difficult to satisfy the high-dimensional needs of fashion consumers just with the algorithm recommending the products. Consumers have stated that they will continue to maintain a relationship and enhance their engagement with the brands that are highly consistent with their sensibilities. Therefore, in order to improve the recommendation performance of fashion products by utilizing fashion sensibility, this study focused on artificial intelligence technology that extracts fashion brand sensibility, which is an implicit factor, from fashion photographs. In particular, the field of computer vision has been developed dramatically over the past decade due to the performance improvement of deep learning. In this process, the recognition ability of machine to understand the characteristics and contents of objects through learning has been greatly improved, and the machines ability to accurately recognize objects in photographs transcended the human level. The same has become possible for fashion items to be classified into various attributes of design through machine learning. Furthermore, researches on learning cognitive skills for machines to understand the way human thinks are actively conducted. They serve as the basis for discussion that the implicit element of fashion brand sensibility can be classified. Research on fashion brand sensibility began in the early 2000s by a small number of Korean researchers using semantic differential scale, but there was the hassle that subjective sensibilities of human had to be measured or categorized by a person every time. Also, it was a difficult task for a person to classify semantics because the criteria for classification of semantics vary depending on individuals or situations. Above all, there was a limitation in expressing the overall and meaning fashion sensibility which appears by the combination of color, texture, style, item, models atmosphere, hair style, makeup, pose, and background image in a specific language and score. However, we thought that machine would be able to categorize fashion brand sensibilities quickly and accurately with certain standards without this difficulty. Therefore, by learning fashion brand sensibilities through deep learning and determining the fashion brand sensibilities of fashion photographs, this study wants to establish the role of the fashion brand sensibilities as an attribute that consists of fashion products. To achieve the research goal, we defined fashion brand sensibility as a unique and consistent implicit attribute of fashion brands and sensuous associations and feelings caused by the combination of product's tangible and intangible design elements. Then, we selected some leading high-end fashion brands whose sensibilities are shared among people well and organized them as class. Located at the top-tier of the fashion trend hierarchy, high-end fashion brands pursue a unique design concept and host a runway collection twice a year. High-end brands, which have a significant impact on the fashion industry, have influenced mass brands and consumers. Therefore, fashion designers, merchandisers, and buyers of mass brands have learned the unique sensibilities of high-end fashion brands by collecting and analyzing the information about them prior to season planning. Consequently, we assumed that among the fashion industry workers, there would be the high-end fashion brand sensibilities shared and communicated with each other. In order to make machines learn the sensibilities of these high-end fashion brands, Study 1 selected 20 representative high-fashion brands, and later reduced them to 11 representative fashion brand sensibilities which have large differences between groups depending on the similarity of fashion brand sensibilities. Next, more than 25,000 fashion photographs included in high-end fashion brand sensibilities were collected from the 16FW to 21SS runway and the fashion magazine Vogue US data for 50 years, and learning was conducted by using a supervised learning technique of deep learning by each brand sensibility. Specifically, learning was conducted based on EfficientNet-B1, which has the best performance relative to the size of the model to date, and in particular has the advantage of being able to flexibly respond to high-resolution images. In addition, this model performed supervised learning by dividing the range of training data into R models limited to runway photographs, V models which had trained cover in Vogue Archive and advertisement photos that project the brands sensibility with the backgrounds of photographs or models poses and makeup. Through this process, we developed a fashion brand sensibility classifier that derives the distribution of sub-brand sensibility when fashion photographs are introduced. To evaluate the performance of the developed fashion brand sensibility classifier, data sets for verification were constructed from various angles, and the accuracy performance indicators of the distribution were calculated by putting them into the model. Then, we evaluated predictive power by applying fashion brand sensibility classifier learned with high fashion brands to the images with high representation of brand sensibility and fashion photos of new seasons. In addition, we applied the classifier to the classification of online-focused mass brands or conducted a performance evaluation that looked at some differences from human emotional perception with various angles by expanding the scope of the classifier. First, after evaluating the accuracy of both R and V models on fashion photos with high representation of sensibility, the performance of F-1 score reveals fashion brand sensibility with the accuracy of around 74% without much difference. Next, to verify whether it could robustly make prediction without being affected by changes in sensibility such as new products appearing each season, we randomly selected runway fashion photos from high-end fashion brands after 21FW, which had never been trained, and found that the prediction accuracy of the R model was somewhat reduced compared to the numerical value of images with higher typicality. However, in this process, we identified some conditions that were assumed to increase the accuracy of decision. Finally, we verified machine can distinguish the sensibilities of mass fashion brands as much as experts recognize the sensibilities of particular brands. Therefore, we expect to gradually improve the accuracy of fashion brand sensibility classification if we enhance the learning accuracy of machine by improving the amount and quality of future learning data. In Study 2, we proposed recommendation services using fashion brand sensibility classifiers. In particular, by discovering the characteristics and rules of outfits according to the fashion brand sensibility from the fashion influencers photos that share their fashion and lifestyles through social media, we made them applied to the sensibility-based fashion products recommendation services as a weight for recommendation. The fashion brand sensibility-based recommendation service is expected to predict the initial group by estimating the brand sensibility of shopping mall users, and match one-on-one with users who have similar purchasing patterns within the group. In doing so, we expect it to show recommendation results that are closer to consumers needs in addition to the explicit product attribute information. In summary, we proposed a methodology for convergent research liking fashion, information technology, academic field and practical businesses by presenting a series of processes to suggest fashion products recommendation and related products recommendation services using users fashion brand sensibility. Artificial intelligences computer vision gives attributes to things that are difficult to be distinguished and classified by human sensory abilities, and automatically classifies similar things. In particular, fashion brand sensibility lacks prior research due to the difficulty of measurement and the subjectivity of interpretation. Thus, it is meaningful that this study defines the concept of fashion brand sensibility, and learns and classifies class with the sensibilities of high-end fashion brands. This will enable to generate attribute information abundantly by automatically extracting unspecified attributes from images, which has posed a problem in the text big data analysis of fashion products. Until now, most of the research in the fashion field using artificial intelligence is in its early stages, focusing on automation of design, manufacturing, and retailing. This study is expected to be a groundwork for related researches in the future by suggesting the classification of fashion brand sensibilities and artificial intelligence-based supervised learning methods, which are the basis of fashion domain research. On the other hand, for online shopping malls, moving forward from the existing content-based method, fashion products recommendation services are expected to become more sophisticated by providing one-on-one personalized recommendation services that can match product sensibilities and consumer sensibilities with the use of fashion brand sensibilities in addition to fashion design attributes. Moreover, online fashion retailers will be able to provide personalized recommendation services to consumers who have no experience in using their shopping malls by developing membership questionnaires based on the connection between consumer sensibilities and product sensibilities. It is also expected to replace the parts which are costly or difficult to be performed by human in the competitive business environment. Instead, human experts will be able to show their capabilities in the field where creativity and aesthetics abilities are required.

패션 리테일의 패러다임이 오프라인에서 온라인으로 전환되면서, 리테일러가 취급하는 패션상품의 수도 급격히 증가하였다. 패션 소비자들은 선택의 다양성이 증가한 만큼, 구매 대안 중에서 자신의 취향과 선호에 가장 일치하는 상품을 결정하는 데 인지적 과부하를 겪게 되었다. 이러한 까닭으로 패션상품의 선택 과정에서 인지적 노력을 감소시키고, 나아가 고객의 취향과 선호에 맞는 상품을 제안하는 추천 서비스가 등장하게 되었다. 추천서비스를 경험한 고객은 자신의 니즈에 대해 선제적으로 대응하는 리테일러에 대한 만족도를 높게 평가하는 것으로 나타났다. 기업의 입장에서도 추천서비스를 통해 낮은 인지도의 상품도 판매 노출의 기회를 얻게 되었고, 나아가 이들을 제안함으로써 자사 쇼핑몰을 차별화할 수 있는 전략적 기회로 활용하게 되었다. 이러한 장점으로 인해 추천 서비스는 다수의 온라인 패션 쇼핑몰에서 채택하는 전략이 되었다. 온라인 쇼핑몰은 소비자의 선호를 추정할 수 있는 정보를 통해서 브랜드명, 가격, 제품의 디자인 속성 등을 추출하고, 이를 바탕으로 유사한 속성의 제품을 고객에게 추천하는 협업 필터링 방식을 주로 사용해오고 있다. 하지만 이 과정에서 디자인 요소들의 결합으로 창출되는 패션 제품의 의미적 요소, 예를 들어, 패션 이미지, 패션 감성 등에 대한 주관적 속성은 추천 요소에 포함되지 않았다. 패션은 이미지로 소비되는 상품으로, 주관적인 요소들도 제품의 객관적 속성 못지않게 중요하다. 실례로 의복을 구성하는 객관적 요소가 같더라도 브랜드마다 선보이는 착장이 서로 다르고, 그 결과 관찰자로 하여금 전혀 다른 의미와 감정을 불러일으킨다. 즉, 패션의 착장에서 연상되는 느낌이나 감정, 감성은 의미적 요소로 텍스트로 변환시키기가 어려운 암시적인 요소인 것이다. 따라서 아이템의 객관적 속성이 같거나 유사하기 때문에 제품을 추천하는 알고리즘만으로는 패션 소비자의 고차원적인 욕구를 만족시키기 어려울 것이다. 소비자들은 자신의 감성과 일치도가 높은 브랜드와는 지속적으로 관계를 맺을 것이라고 언급하였다. 따라서 본 연구에서는 패션 감성을 활용하여 패션 제품의 추천 성능을 향상시키기 위해 패션 사진에서 브랜드 감성을 추출하는 인공지능 기술에 주목하였다. 특히 최근 10여 년간 딥러닝의 성능개선으로 시각 지능 분야가 비약적으로 발전하였다. 이 과정에서 기계가 학습을 통해 사물의 특징과 내용을 이해하는 기계의 인식능력이 크게 개선되었고, 그 능력은 인간의 수준을 초월하는 것으로 보고된다. 패션 아이템의 경우도 마찬가지로 선행연구에서 기계 학습을 통해 디자인의 여러 속성으로 분류하는 것이 가능함을 증명되고 있다. 훈련을 통한 인식능력 향상 뿐 아니라, 기계가 인간의 생각하는 방식을 이해하는 인지능력 학습에 대한 연구가 활발히 진행되고 있으며, 이는 암묵적인 요소인 패션 브랜드 감성도 분류할 수 있을 것이라는 논의의 발판이 되었다. 패션 브랜드 감성에 대한 연구는 2000년대 초반 소수의 국내 연구자가 주도적으로 감성언어를 이용하여 정량화하기 시작하였다. 하지만, 인간의 주관적 감성을 매 번 사람이 직접 측정하거나 분류해야 하는 번거로움이 있었다. 또한 감성의 분류 기준이 개인이나 상황에 따라 달라지기 때문에 사람이 일정한 기준을 가지고 감성을 분류한다는 것은 어려운 작업이었다. 무엇보다도 컬러, 소재, 스타일, 아이템, 모델의 분위기, 메이크업, 모델 포즈, 배경 이미지 등이 결합된 총체적이고 추상적인 패션 감성은 특정 언어와 점수로 표현하기에 한계가 있었다. 하지만 기계는 이러한 어려움 없이 일정한 기준을 가지고 빠르고 정확하게 패션 브랜드 감성을 분류할 수 있을 것으로 보았다. 따라서 본 연구에서는 딥러닝을 통해 패션 브랜드 감성을 학습하고 패션 사진의 브랜드 감성을 판별해 봄으로써 패션 제품을 구성하는 속성으로 패션 브랜드 감성을 확고히 하고자 한다. 연구 목표를 달성하기 위해 연구자는 패션 브랜드 감성을 패션 브랜드가 가지는 고유하고 독특하면서 일관성 있는 암시적 속성이자, 제품의 유·무형의 디자인 요소가 결합하며 유발하는 감각적인 연상과 느낌으로 정의하였다. 연구 1에서는 브랜드 감성이 사람들 간에 충분히 공유되고 있는 대표적인 하이엔드 패션 브랜드를 20개 선정하여, 이를 브랜드 감성의 하위 속성으로 구성하고자 하였다. 패션 트렌드 위계의 최상층에 위치한 하이엔드 패션 브랜드는 고유한 디자인 콘셉트를 추구하며, 연 2회 런웨이 컬렉션을 개최한다. 하이엔드 브랜드는 매스 브랜드의 디자인이나 소비자들의 패션 착장에 상당히 큰 파급력을 미친다. 이로 인해 매스 브랜드의 상품기획자들은 시즌 기획에 앞서 하이엔드 패션 브랜드의 정보를 수집하고 분석해 왔으며, 이 과정에서 하이엔드 패션 브랜드 특유의 감성을 학습했다. 따라서 패션산업 종사자들에게는 서로 공유되고 커뮤니케이션 되는 하이엔드 패션 브랜드 감성이 있을 것으로 보았다. 이러한 하이엔드 패션 브랜드의 감성을 기계에게 학습시키기 위한 과정은 다음과 같다. 선정한 하이엔드 패션 브랜드의 감성이 서로 충분히 구분되도록 11개의 유사한 감성으로 축소하였다. 하이엔드 패션 브랜드 감성에 포함되는 브랜드의 패션 사진은 16FW~21SS 런웨이와 패션 잡지 Vogue US의 50년치 사료에서 2만 5천여 장을 추출하여 수집하였다. 현재까지 알려진 모델 중 모델의 크기 대비 성능이 가장 뛰어나고, 특히 고화질 이미지에 유연하게 대응 할 수 있는 장점을 가진 EfficientNet-B1이 지도학습의 기반 모델로 투입되었다. 다양한 학습 조건에 따라 패션 브랜드 감성의 분류 정확도가 달라짐을 실험해 보기 위해, 학습 데이터의 범위를 런웨이 사진으로만 한정시킨 R 모델과, 사진 배경이나 모델의 포즈, 메이크업 등으로 해당 브랜드의 감성을 충분히 투영하고 있다고 여겨지는 보그 아카이브 내 표지, 광고 사진까지 학습한 V 모델로 나누어 지도 학습을 수행하였다. 그 결과, 패션 사진을 투입하면 패션 브랜드 감성의 대표적인 11개 하위 속성에 속하게 될 확률 분포로 도출되는 패션 브랜드 감성 분류기가 개발되었다. 개발된 패션 브랜드 감성 분류기의 성능을 평가하기 위해 검증용 데이터 셋을 다각도로 구축하였고, 이를 모델에 투입하여 분포의 정확도 성능지표를 계산해 보았다. 구체적으로 감성의 대표성이 높은 패션 사진을 대상으로 R과 V 두 모델의 정확도를 평가한 결과, 정확도 지표인 F-1 score의 성능은 큰 차이 없이 약 74%의 정확도로 패션 브랜드 감성을 밝혀내는 것으로 나타났다. 학습에 투입된 적 없는 신상품도 브랜드 감성의 변화에 흔들림 없이 강건하게 예측될 수 있을지를 검증하기 위해서, 21FW 시즌 하이엔드 브랜드의 런웨이 패션 사진을 하이엔드 패션 브랜드 별로 무작위로 선정한 뒤, R 모델로 판정했을 때의 예측 정확도를 평가해 보았다. 그 결과, 전형성이 높은 이미지에 비해 예측 정확도가 다소 하락하였지만, 이 과정에서 판별의 정확도를 높일 수 것으로 추정되는 조건들을 찾아낼 수 있었다. 마지막으로 전문가들이 특정 브랜드의 감성으로 인지하는 만큼 기계도 매스 패션 브랜드 감성을 판별하는지 입증하기 위해, 매스 패션 브랜드가 분류한 결과를 전문가에게 확인받는 과정을 거쳤다. 그 결과, 개발된 패션 브랜드 감성 분류기는 하이엔드 패션 브랜드 뿐 아니라, 매스 패션 브랜드도 분류시킬 수 있음이 증명되었다. 따라서 향후 학습 데이터의 양과 질을 향상시켜서 기계의 학습 정확도를 높임으로써, 패션 브랜드 감성 분류의 정확도를 점차 개선시켜 나갈 수 있을 것으로 기대되는 바이다. 연구 2에서는 패션 브랜드 감성 분류기를 활용하여 추천 서비스를 제안하여 보았다. 특히 소셜 미디어를 통해 자신의 패션과 라이프스타일을 공유하며, 취향을 발산시킨다고 여겨지는 패션 인플루언서들의 착장 사진에서 패션 브랜드 감성에 따른 착장의 특성과 규칙을 발견함으로써 이를 감성 기반 패션 제품의 추천 서비스에 추천 가중치로 적용할 수 있도록 하였다. 패션 브랜드 감성 기반 추천 서비스는 명시적 제품 속성 정보에 더해 쇼핑몰 사용자의 브랜드 감성을 추정하여 초기 소속 집단을 예측하고, 소속 집단 내에서 유사한 구매 패턴을 보이는 사용자와 정보와 일대일로 매칭하여 줌으로써, 소비자의 니즈에 더 가까운 추천 결과를 보일 것으로 기대된다. 인공지능의 시각지능은 사람의 감각적 역량으로 구별하고 분류하기 어려운 것들에 속성을 부여하고, 유사한 것들을 자동적으로 분류해 낸다. 특히 패션 브랜드 감성은 측정의 어려움과 해석의 주관성으로 인해 관련한 선행 연구가 부족한 실정이다. 이에 본 연구는 패션 브랜드 감성이라는 개념을 정의하고 하이엔드 패션 브랜드의 감성으로 하위 속성을 학습하고 분류하였다는 데 의의가 있다. 이를 통해 패션 제품의 텍스트 빅데이터 분석에서 문제점으로 제기되는, 명시하지 않은 속성들을 이미지에서 자동으로 추출함으로써 속성 정보를 풍부하게 생성할 수 있을 것이다. 현재까지 인공지능을 이용한 패션 분야의 대다수 연구는 초기 단계로, 디자인과 제조, 리테일링 분야의 자동화에 집중되어 있는 현실이다. 본 연구는 패션 도메인 연구의 근간이 되는 패션 브랜드 감성의 분류와 인공지능 기반의 지도학습 연구 방법 제시를 통해 향후 관련 연구의 마중물이 될 것으로 기대된다. 다른 한편으로 패션 브랜드 감성을 적용함으로써 온라인 쇼핑몰에서 기존에 적용하던 콘텐츠 중심 추천 방식에서 나아가, 패션 제품 추천 서비스의 성능이 더욱 정교해 질 것으로 기대된다. 마지막으로 이러한 기계학습 기술의 개발은 경쟁적인 비즈니스 환경에서 비용이 많이 발생하거나, 인간이 직접 수행하기 어려운 부분을 대체시킬 수 있을 것이라고 생각된다. 대신 전문가들은 창의력과 미적 능력이 요구되는 곳에서 자신의 역량을 펼칠 수 있게 될 것이다.