인공지능 기반 모바일앱디자인 시스템을 위한 프레임워크

Abstract

This research explores ways to improve the mobile app design work environment in a future age of technology convergence. For this purpose, this study explores the possibility of Artificial Intelligent Mobile App Design System in designing.

First, this study examines the design work environment and then recognize the problems, at same time, understands the basic concepts of artificial intelligence to grasp the technical requirements of artificial intelligence systems. Second, the system framework was designed to construct an artificial intelligence system by understanding the detail of design process and tasks needed in order to perform mobile app design. Finally, a prototype was created in order to verify its potential as a design system through experts evaluation and advice and aims to improve the system framework to reach a level of perfection.

As a result of examining the change of design work environment, it is visible that the change of technology such as computer, internet, and mobile technology has ultimately a great influence on the field of design. As digital design tools came to be, design work became much easier, but rather the design market collapsed. This means that digital design tools automate and streamline design tasks to minimize time and cost while lowering the barriers to entry into the design industry, resulting in an oversupply of design, which in turn leads to a deterioration in profitability in the design business. The fusion of technologies such as Artificial Intelligence, Internet of Things, Big Data is expected to accelerate this phenomenon more and more, as the age of design using artificial intelligence is already approaching. In addition, the technology convergence has transformed the industry from a supplier-centered to a consumer-centered one, and the brand value experienced by customers has become more important than ever before, and the importance of design is increasing.

Design has been making a lot of effort to understand customers as users based on human-centered design philosophy. Human-centered design is represented by the design thinking methodology as an attitude to solve problems based on people's needs and desires by placing the people at the center of problem solving. It extends beyond the design as a formative design to the design as a user experience. The role of design has expanded beyond Function and Formative to Creating Customer Value, and the concept of Business Design has also appeared. In addition, the concept of 'Computational Design' is emerging as the scope of design is expanding to a new area which is entirely influenced by mobile computing and the latest technology paradigm as designing in real time to meet the needs of individual billions of people all over the world. With this impact, recently the environment surrounding design has greatly changed, as business and technology are becoming increasingly important as new capabilities for design.

Artificial intelligence is the intelligence created to enable a machine to perform human intellectual activities. In reality, it is more like a software that is programmed so that computers or robots can do human intellectual activities. A variety of artificial intelligence technologies are currently available, representative artificial intelligence technologies include rule-based Expert System, Deep Learning, Artificial Neural Network, Fuzzy Theory, and Genetic Algorithm among them. Due to different developments depending on the nature of the technology, there are different applications for each.

Through case studies in the fields of creation and design that utilize artificial intelligence, this study identifies basic concepts and structures of artificial intelligence that are appropriate for creative work such as design. Rule-based expert systems are suitable for the basic structure of an artificial intelligence system for design, since designing requires expert knowledge in the field. However, it is desirable to open up the possibilities of hybrid intelligence system by using deep learning technology to learn through various cases and to expand knowledge or to cope with ambiguous situations by using fuzzy theory or genetic algorithm. As artificial intelligence technology continues to evolve today, it is not necessary to limit its possibilities by limiting it to the current technology or technology level.

For the procedural knowledge of the design phase, this study reviews the human-centered design and design thinking, double diamonds and revamped double diamonds, and the design thinking process for business, and furthermore examines the procedures and methods of UX design used by manufacturing companies and service companies. Through these, archetype model of design work is derived. On the base of this, this study proposes a task framework of mobile app design system based on artificial intelligence. This framework is made up of detailed design tasks, procedures, deliverables, methods, elements, and responsibilities.

The stages of the mobile app design project are organized into six stages: planning, exploration, definition, ideation, development, and delivery. In particular, the development stage is defined as an iterative recursive structure of Prototype - Verification – Improvement. The detailed tasks are Request for Proposals, Project Goal Setting, Key Performance Indicators, Market Demand Identification, User Demand Identification, Customer Segment, Persona Setting, UI Concept, GUI Concept, Page structure, User flow, Customer journey map, UI Element, UI Asset, UI Component, Page Design, Design Mock-up, Prototype, Usability Test, Design Guide, and App Registration. In particular, the structural characteristics of Jesse James Garrett's user experience are divided into five layers: 'strategy', 'scope', 'structure', 'skeleton', 'surface'. Referring to Brad Frosts Atomic Design system, which is when atoms come together to form molecules and molecules come together to form functional organisms, and the functional organisms come together to form a page. The component was identified as UI element < UI asset < UI component < page template < page design structure and reflected in detailed task.

AIDAS¬¬(Artificial Intelligent Design Agent System), a mobile application design system based on artificial intelligence, was proposed with the understanding of the artificial intelligence system and the framework of mobile app design project. When a design team initiates a mobile app design project on the system after a design team has received a request from a client, artificial intelligence generates deliverables necessary for each subdocument, passes through the designer's review and then, makes decisions with the client to move on to the next step. The system was constructed so that as much of the procedure necessary for all possible project could be completed in the system. To accomplish this, the steps and detailed tasks of the whole project are provided as templates, and the project manager can form team members by engaging in the system with the designers and researchers, client personnel and user groups required for the project. The system user can change the order or omit the steps as needed. The designers who are representative system users and chatbots are considered as a communication method for artificial intelligence to negotiate the design process. The conference call for decision making is automatically called according to the preset settings. A artificial intelligence design rule is defined as 'IF-THAN' syntax so that artificial intelligence can generate its own design deliverables and it is performed according to the design principles given by the designer. However, detailed design rules could not be established in this study. Since the expert system is characterized by being limited to the level of the expert who provides the knowledge, it is considered that it is desirable to maximize the expertise through a collective intelligence. In addition to the rules specified by a group of design experts, AI can learn various new mobile application design examples to extract new function sets as well as new UI components and UI assets and expand the database of page template resources to be a growth type system.

In order to verify that AIDAS is suitable for the mobile app design environment, it was first prototyped and evaluated by six experts in UX design. The evaluation method was surveyed by questionnaire and question and answer method. The whole project was followed by a detailed task procedure and presented with pre-written data, so that the experts could run a prototype that worked only in a pre-configured path and received feedback. In the first evaluation, the system showed possibility by received an average of 7 points on the topic Is the system possible to be used in actual design practice?. However, the problems that appeared in the first evaluation such as needing to enhance the communication tools to support decision making, further subdividing or addition of business items, and coming up with a method of design generation was improved upon to create a second prototype and went through a second evaluation. The second evaluation was carried out the same way as the first evaluation with six UX design experts. On the topic of Is the system possible to be used in actual design practice?, it scored an average of 7.33 points and showed a slight increase compared to the first evaluation.

This study sets to provide a specific measure to utilize artificial intelligence, which is a new leading technology, in an engaging and a positive way to improve design work environment amongst other changes in technology fusion complex. The field of artificial intelligence-based design has not yet been well-studied and is an unknown field. Therefore, this study provides another foundation for the study of artificial intelligence in various design fields. Above all, the process of design creation has been specified in detailed tasks and procedural system as to expand the horizon of the design knowledge system. In addition, this study suggests that if artificial intelligence design work environment becomes mainstream, it will open up a new era of artificial intelligence design that asks: What is the role of a designer in a society, and what are the capabilities of design? Furthermore, I hope that research on defining design rules for inference engine of artificial intelligent design system will be followed.

이 연구는 근미래의 기술 융복합 환경에서 모바일앱디자인 업무환경을 개선하는 방법을 모색하는데 그 목적이 있다. 이를 위해 인공지능 기반 모바일앱디자인 시스템의 가능성을 탐색하고자 한다.

연구는 먼저 디자인 업무 환경을 점검하여 문제 상황을 인식하고, 인공지능의 기본 개념을 이해하여 인공지능 시스템에 필요한 기술 요건을 파악하였다. 다음으로 모바일앱디자인을 수행하는 디자인 절차 지식을 파악하여 인공지능 시스템 구축을 위한 모바일앱디자인 시스템 프레임워크를 설계하였다. 마지막으로 디자인 시스템으로서의 가능성을 검증하기 위해 프로토타입을 만들어 전문가의 평가와 조언을 받아 시스템 프레임워크를 개선하면서 완성도를 향상 시키고자 하였다.

디자인 업무 환경 변화를 살펴 본 결과, 컴퓨터, 인터넷, 모바일 기술 등의 기술 변화는 디자인 분야에도 많은 영향을 미치고 있었다. 본격적으로 디지털 디자인 도구가 등장하면서 디자인 작업은 훨씬 편리해졌지만 오히려 디자인 시장은 붕괴되는 결과를 낳았다. 이는 디지털 디자인 도구가 디자인 업무를 자동화, 효율화 하여 시간과 비용을 최소화 하는 한편, 디자인 업계의 진입 장벽을 낮춰 디자인 공급과잉 상태를 만들었고 결국 디자인 분야의 수익 악화를 초래하게 된 결과라고 하겠다. 향후는 인공지능, 사물인터넷(IoT), 빅데이터 등의 기술 융복합은 이런 현상을 더 가속화시킬 것이라고 전망되는 가운데, 이미 인공지능을 활용하는 디자인 시대가 성큼 다가왔다는 것을 확인 할 수 있었다. 나아가 이런 기술 주도 변화는 산업도 공급자 중심에서 수요자 중심으로 변화시키면서 어느 때 보다 고객이 경험하는 브랜드 가치가 중요하게 되었고, 디자인에 대한 중요성도 더욱 커지고 있었다.

디자인은 그간 인간중심의 디자인 철학을 근간으로 고객이자 사용자를 이해하는데 많은 노력을 기울여 왔다. 인간중심 디자인은 문제해결의 중심에 사람을 놓고 그들의 필요와 욕구에 기반하여 문제를 해결하려는 태도로써 디자인 씽킹(Design Thinking)으로 대표되며, 이는 디자인의 영역을 조형으로서의 디자인을 넘어 사용자경험으로서의 디자인으로 확장시키고 있다. 디자인의 역할도 기능과 조형을 넘어 고객 가치 창출로 확대되어 비즈니스 디자인(Business Design)이라는 개념도 등장하게 되었다. 또한 전세계 수십억 명의 사람들의 개개인의 요구에 부합하도록 실시간으로 디자인하는 등의 모바일 컴퓨팅과 최신 기술 패러다임에 크게 영향을 받는 새로운 영역으로 디자인이 확대되면서 컴퓨테이셔널 디자인(Computational Design)이라는 개념이 새롭게 부상하고 있다. 이러한 영향으로 비즈니스와 테크놀로지는 디자인을 위한 새로운 역량으로 중요성이 높아지는 등 최근 디자인을 둘러싼 환경은 크게 달라지고 있다.

인공지능은 인간의 지적인 활동을 기계가 할 수 있도록 인위적으로 만든 지능을 의미한다. 현실적으로는 컴퓨터나 로봇이 인간의 지적인 활동을 할 수 있도록 프로그래밍 된 소프트웨어에 가깝다. 인공지능을 가능하게 하는 기술은 현재 여러 방식이 공존하는데, 대표적인 인공지능 기술은 규칙 기반의 전문가 시스템(Expert System), 인공신경망(Artificial Neural Network)을 활용한 딥러닝(Deep Learning), 퍼지 이론(Fuzzy Theory), 유전 알고리즘(Genentic Algorithem) 등이 있다. 이들은 각기 다르게 발전해 왔으며 각각의 기술적 특성이 다르며 적합한 응용분야도 다르다.

인공지능을 활용하는 창작 및 디자인 분야의 사례 조사를 통해 디자인과 같은 창조적인 작업에 적합한 인공지능의 기본 개념과 구조를 파악하였다. 디자인은 디자인 고유의 전문지식을 활용한다는 점에서 규칙 기반 인공지능인 전문가 시스템이 기본 구조로 적합하다고 판단하였다. 그러나 다양한 사례에서 배우고 지식을 확장하기 위한 딥러닝 기술을 추가할 필요가 있으며, 퍼지 이론이나 유전 알고리즘을 부분적으로 응용하는 등 하이브리드 지능시스템의 가능성을 열어 두고자 하였다. 인공지능 기술은 오늘도 계속 진화하고 있기 때문에 현재의 기술 혹은 기술 수준으로 제한하여 가능성을 한정할 필요는 없다는 판단이다.

디자인 단계를 절차 지식으로 구축하기 위해 인간중심 디자인과 디자인 씽킹, 더블 다이아몬드와 개량형 더블 다이아몬드, 비지니스를 위한 디자인 씽킹 프로세스 등을 살펴보고, 제품/서비스 기반 UX디자인 프로세스 등 실제 현장에서 적용하고 있는 디자인 업무 절차와 방법 사례들을 종합하여 디자인 업무 절차 원형을 도출하였다. 이를 바탕으로 인공지능 기반 모바일앱디자인 시스템의 업무 프레임워크를 제안하였다. 이 프레임워크는 디자인 세부 과제와 절차, 산출물, 방법, 요소, 담당 등으로 상세하게 구성하였다.

모바일앱디자인 프로젝트의 진행 단계는 계획, 탐구, 정의, 발상, 발전, 전달의 여섯 단계로 정리하였다. 특히 발전 단계는 다시 구현–검증–개선의 반복적 순환 구조로 정의하였다. 상세 과제로는 과제의뢰서, 프로젝트목표 설정, 핵심성과지표, 시장요구 파악, 사용자요구 파악, 고객세그먼트, 페르소나 설정, 가치제안, 기능 확정, 디자인브리프, UI컨셉, GUI컨셉, 페이지구조, 유저플로우, 고객여정지도, UI원소, UI에셋, UI컴포넌트, 페이지디자인, 디자인목업, 프로토타입, 사용성테스트, 디자인가이드, 앱 등록 등 23개의 산출물을 만드는 과업으로 정리하였다. 이는 프로젝트의 특성에 따라 추가되거나 생략될 수 있는 가변적인 것으로 판단하였다. 상세 과제는 여러 디자인 절차 모형들을 종합한 결과와 제시 제임스 개럿(Jesse James Garrett)의 사용자 경험의 구조적 특성을 전략, 범위, 구조, 골격, 표면의 다섯 가지 층위로 구분한 것을 참조하여 각 진행 단계와 세부 과제의 관계에 반영하였고, 브래드 프로스트(Brad Frost)의 원자가 모여 분자를 이루고 분자가 모여 기능유기체가 되고 기능유기체가 모이면 페이지가 되는 원자 디자인(Atomic Design) 체계를 참조하여 모바일앱의 최종적인 형식인 페이지를 이루는 디자인 구성 요소를 UI원소 < UI에셋 < UI컴포넌트 < 페이지템플릿 < 페이지디자인으로 구조화 하여 세부과제에 반영하였다.

앞에서 살펴본 인공지능 시스템에 대한 이해와 모바일앱디자인 프로젝트 업무 프레임워크 연구를 토대로 인공지능 기반 모바일앱디자인 시스템인 AIDAS(Artificial Intelligence Design Agent System)의 개념 프레임워크를 제안하였다. AIDAS는 디자인 팀이 클라이언트의 의뢰를 받아서 모바일앱디자인 프로젝트를 시스템 상에서 개시하면, 세부 과제별로 의사결정에 필요한 산출물을 인공지능이 생성하고, 디자이너의 검토를 거쳐 클라이언트와 의사결정을 거쳐 다음 단계로 나아가는 방식을 취한다. 가능한 모든 프로젝트 진행에 필요한 방법과 절차를 시스템 내에서 완결할 수 있도록 구성하였다. 이를 위해 전체 프로젝트의 단계와 세부 과업이 템플릿으로 제공되며, 프로젝트 매니저는 프로젝트에 필요한 디자이너와 리서처, 클라이언트 담당자와 사용자 그룹 등을 시스템에 참여하도록 하여 팀원을 구성할 수 있다. 시스템 사용자는 필요에 따라 순서를 바꾸거나 단계를 생략할 수 있도록 하였다. 대표적인 시스템 사용자인 디자이너와 인공지능이 디자인 과정을 협의할 수 있도록 챗봇(Chatbot)을 이용한 소통 방식으로 고려하였고, 의사결정을 위한 회의 소집은 미리 설정된 값에 따라 자동으로 회의가 소집되도록 하였다. 인공지능이 스스로 디자인 산출물을 생성할 수 있도록 디자인 규칙을 IF-THAN 구문으로 지정하여 디자이너가 부여한 디자인 원칙에 따라 수행하는 것으로 상정하였다. 그러나 이 연구에서 세부 디자인 규칙을 정하지는 못하였다. 전문가 시스템은 지식을 제공한 전문가의 수준에 한정된다는 특성이 있으므로 집단지성을 통해 전문성을 극대화 하는 것이 바람직하다는 판단으로, 연구자의 한계로 인식하여 부득이 다음 단계의 연구로 이월하게 되었다. 또 인공지능은 디자인 전문가 집단이 지정한 규칙 이외에도 새로 출시되는 다양한 모바일앱디자인 사례를 학습할 수 있도록 하여 새로운 기능 세트는 물론 새로운 UI컴포넌트와 UI에셋 등의 패턴 등을 추출하여 페이지 템플릿 리소스의 데이터베이스를 확장하여 성장형 시스템이 되도록 하였다.

AIDAS가 모바일앱디자인의 업무 환경으로 적합한지를 검증하기 위해 1차로 프로토타입으로 만들어 UX디자인 분야 전문가 6명을 대상으로 평가를 받았다. 평가 방식은 설문과 질의응답 방식으로 조사하였다. 전체 프로젝트를 세부 과업의 절차를 따라가며 미리 작성된 데이터를 제시하는 방식으로 미리 짜여진 경로로만 한정적으로 동작하는 프로토타입을 전문가에게 실행하도록 하고 피드백을 받았다. 1차 평가에서 시스템이 실제 현업에서 활용 가능성이 있는가?의 항목에 평균 7점을 받아 가능성을 확인할 수 있었으나 의사결정을 지원하는 커뮤니케이션 도구 개선, 업무 항목을 더 세분화 혹은 추가 등 개선, 상세 디자인 생성 방법 개선 등 1차 프로토타입 평가에서 나타난 문제점들을 개선하여 2차 프로토타입을 만들어 다시 2차 평가를 받았다. 2차 평가도 UX디자인 분야 전문가 6명에게 1차 평가와 같은 방식으로 평가를 받았다. 시스템이 실제 현업에서 활용 가능성이 있는가?의 항목에서 평균 약 7.33점을 받아 1차 평가 보다 소폭 상승한 것으로 나타났다.

이 연구는 기술 융복합에 다른 변화 속에서 디자인 업무환경을 개선하고자 새로운 선도 기술인 인공지능을 디자인 분야에서 적극적이고 긍정적으로 활용하기 위한 방향과 구체적인 방안을 제시하였다는데 의의가 있다. 인공지능 기반 디자인 분야는 아직 미지의 분야로 관련 연구가 많지 않은 상황이어서 이 연구가 다양한 디자인 분야에서 인공지능 활용 연구를 위한 또 하나의 토대를 제공한다는 점에서 인공지능 디자인 연구에 의미 있는 영향을 미친다고 하겠다. 무엇보다도 여전히 블랙박스화 되어 있는 디자인 생성 과정을 세부 과업과 절차적 체계로 구체화 했다는 점에서 디자인 지식체계의 지평을 한걸음 더 확장하였다고 하겠다. 나아가 이 연구는 인공지능 기반의 디자인 업무환경이 보편화 된다면 디자이너는 사회에서 어떤 역할을 할 것이며, 그에 필요한 디자인 역량은 무엇인가?라고 하는 인공지능 디자인 시대를 여는 화두를 던진다고 하겠다. 다음 단계 연구로 인공지능 기반 디자인시스템의 추론 엔진을 위한 디자인 규칙을 규정하는 연구가 이루어지길 희망한다.