인공지능과 해악

Abstract

오늘날 딥러닝으로 대표되는 최신기술의 발전으로 인공지능은 인류에게 많은 편익을 가져다주고 있다. 그러나 동전의 양면으로 인공지능은 인류가 알지 못한 새로운 위험을 현실화하여 다종다양한 해악을 산출하고 있기도 하다. 인공지능이 유발하는 해악은 해킹이나 개인정보 침해와 같이 인간이 종래 일으켜온 문제와 크게 다르지 않은 유형이 있는가 하면, 그저 우연한 오작동으로부터 비화한 차별과 같은 새로운 유형도 있는 상황이다. 전자와 후자의 해악에 각기 상응하는 최적화된 처방을 제시하려면 현상적 진단을 넘어선 근본적 원인의 규명이 요구된다. 제2장은 새로운 유형의 해악을 유발하는 원인을 인간과 인공지능이라는 두 가지 인지체계의 마찰에서 찾았다. 양자는 모두 불확실성이라는 근원적 제약조건을 공유하면서, 주어진 문제를 해결하기 위해 제각기 다른 형태의 제한적 합리성을 구현하였다. 구체적으로 인간의 (자연)지능은 시스템 1에 주로 의존하고, 인공지능은 시스템 2에 주로 의존하는 형태로 인지체계가 구축되었다. 이처럼 작동방식이 다른 두 가지 인지체계가 같은 시공간에서 각기 의사결정을 내놓으면서 다양한 종류의 마찰이 발생하였고, 이에 따라 오늘날 인공지능은 종래의 인류와는 다른 경로로 해악을 낳게 되었다. 제3장은 이러한 문제의식을 바탕으로 서로 다른 두 가지 해악의 유형을 개념적으로 정립하는 작업을 하였다. 먼저 해악이라는 개념의 초석을 다진 것으로 평가되는 밀의 해악의 원리와 파인버그의 해악이론에 대해 상세히 다루었다. 이어서 필자의 문제의식을 전통적 해악이론에 대입하여 두 가지 유형의 해악을 규정하였다. 하나는 인류가 진화와 학습을 토대로 공유하는 정형적 경로로부터 선형적으로 유발된 인과적 해악이다. 다른 하나는 복수 구성요소의 상호작용에 의해 거시적 효과가 미시적 부분합을 넘어선 창발 현상에 기초한 창발적 해악이다. 인공지능의 작동은 인간의 행위와 외형만 보면 유사한 효과를 낳지만, 일부 특성이 과도하거나 과소하게 발현되므로 창발적 해악의 발생을 급증하게 하는 원인이 되었다. 제4장은 인과적 해악과 창발적 해악의 구분에 기초하여, 창발적 해악에 특유한 제도적 대안을 고찰하였다. 정보의 부족이 부각되는 창발적 해악에 대해서는 이분법적 규율에 특유한 법제도라는 공식적 제도에 비해 유연한 비공식적 제도를 통한 잠정적 규율이 요구된다. 필자는 이러한 문제의식을 공유하는 일련의 비공식적 제도군을 자생적 질서라는 개념으로 포섭한 뒤 법이라는 공식적 제도와 대비하였다. 나아가 인과적 해악과 창발적 해악의 대비와 공식적 제도와 비공식적 제도의 대비를 조합하면서 원인과 처방이 어긋날 때 발생하는 제도실패의 의미와 사례를 고찰하였다.

With the development of technology represented by deep learning today, artificial intelligence brings many benefits to human beings. However, on both sides of the coin, artificial intelligence is also producing a variety of harm by realizing new risks that humans have not known. There are types of harm caused by artificial intelligence, such as hacking and personal information infringement, that are not very different from the problems that humans have caused before. On the other hand, there are new types of harm caused by artificial intelligence such as discrimination from mere accidental malfunctions. In order to propose an optimized prescription corresponding to the former and the latter types of harm, the investigation of the root cause beyond phenomenal diagnosis is required. Chapter 2 finds the cause of new types of harm from the friction between two cognitive systems: human and artificial intelligence. Both share the fundamental constraint of uncertainty, and implement different forms of bounded rationality to solve problems. Specifically, while natural intelligence of humans mainly depends on system 1, artificial intelligence is mainly based on system 2. As the two cognitive systems with different operating methods make their own decisions in the same time and space, various kinds of friction have arisen, and this acts as a main cause of todays artificial intelligence-induced harm. Chapter 3 conceptually defines two different types of harm. First, the harm principle, which is considered to have laid the foundation for the concept of harm, is dealt with in detail. Subsequently, two types of harm are derived, which is inspired by Feinbergs traditional theory. One is the causal harm induced linearly from the formal path that humans share on the basis of evolution and learning. The other is the emergent harm based on emergent phenomena where the macroscopic effect exceeds the microscopic subtotal by the interaction of multiple components. At first glance, the effect of the action of artificial intelligence and the act of human behavior is almost the same. However, since human and artificial intelligence differ in many respects, some characteristics tend to be overestimated or underestimated, resulting in emergent harm. Chapter 4 examines the appropriate institutional approach to both types of harm. For emergent harm, in which the lack of information is highlighted, provisional regulation is required through a flexible institution compared to the formal one. I take up a series of informal institutions with the concept of the spontaneous order, and then compare them with the formal institution of law. Furthermore, by combining the contrast between causal and emergent harm, and between formal and informal institution, the meaning and cases of institutional failure are examined.