복합정책 평가 연구

Abstract

This study aims to propose the 'evaluation framework for mixed policies' by developing the policy attributes taxonomy and evaluation methodology. We explored some specific points of multiple intervention evaluation compared to the evaluation of a few policy involvements. Through empirical analysis, we tried to illustrate the points of budget decision-making considering the multiple policies situation. The empirical fields are the social services for the elderly and the SMEs support policies in South Korea.

The evaluation of the multiple policies has various additional aspects due to the mix, which we can not easily observe in evaluating individual policy cases. First of all, the evaluation of mixed policies differs from evaluating individual policies in the aspects of baseline setting for a performance. Beyond the aspect of dealing with multiple treatments, the reference point of performance evaluation varies depending on the dimension of the mix. In a mixed situation of policies with different goals of an individual project level or across various sectors or fields, it is necessary to redefine the effect, set the shared goal, and then build an evaluation strategy. In addition, in mixed policy situation, interactions between policies occur. Complementary relationships or synergies occur depending on whether the direction of this interaction coincides with the direction of each policy's effectiveness. It is an area that cannot be grasped only by the sum of the simple individual policy effects. Finally, when measuring the performance of joint policies, the size of the total effect increment can be caused both by the increased input size or the mix itself. In order to grasp the performance of the mix itself, an evaluation perspective should base on the assumption of the same input. The effect per project or cost-effectiveness could be an example. Since the comparative alternative must secure mutual independence and exclusivity at this time, it should be a comparison between policy portfolios (=mix types), not between the policies.

According to the peculiarities of these mixed policy evaluations, this study established and exemplified the following three evaluation frameworks necessary for evaluating multiple interventions. First, it is an analysis framework for the program's taxonomy criteria and project attributes for identifying mixed policies and analyzing policy portfolios. The policy portfolio is used to identify the policies' designs and roles to achieve joint performance, distinguish commonalities and differences between policies, structurize the relation of each policy and establish evaluation strategy based on dimensions of the policy mix. The criteria for policy taxonomy were composed of five main items: 'policy goal', 'logical relation', 'policy target', 'policy means', and 'delivery system' based on the theoretical background of policy components and characteristics. In addition, 'policy goal' was distinguished into 'macro policy goals' and 'direct objectives of a project', and 'policy means' were subdivided into 'policy outputs' and 'delivery vehicles, which are methods for delivering them. Following the seven criteria configured in this way, the suitability of the item composition was checked by referring to previous studies, the existing classification system, and international standards and overseas cases. Using the configured "inspection criteria of the appropriate taxonomy" from the literature review, we checked cases using the existing government's policy classification systems and proposed improvement plans.

Second, a methodology development study was conducted to analyze the synergy effect of mixed policies using the logical relation from the policy attribute taxonomy. The logical evaluation framework of the composition of interaction effects (complementary relationships, synergies) through previous studies was established, and an interpretation method was established according to the definition and effect direction of positive and negative synergies. The analysis method of synergy effect was statistically calculated by utilizing the difference between the sum of individual policy effects of single policy beneficiaries and the integrated effect of multiple policy beneficiaries. This process of synergy effect analysis was demonstrated in the empirical study of the effect of improving life satisfaction of the multiple elderly welfare service, and implications were derived. As a result of the analysis, benefiting from many policies did not always increase the synergy effect. The analysis, according to the logical relation, confirmed that the synergy effect varies depending on the type of policy mix. It was suggested that a design based on the demand preference of beneficiaries is needed when designing a policy portfolio in the future.

Finally, a mixed policy efficiency-based evaluation framework was established through cost-effectiveness analysis of multiple policies portfolio. In the case of individual policy cost-effectiveness analysis, the evaluation focuses on identifying comparative advantages between alternatives and choosing to make budget decisions. However, the cost-effectiveness analysis of mixed policy provides effectiveness information based on the same input by mixed policy type and compares results of each actual beneficiary mix type. In the situation of multiple policy benefits, it is desirable to compare the performance of each mixed type(=each policy portfolio) to meet the independence and mutual exclusivity, which are prerequisites for economic evaluation alternatives. The subject of CEA's empirical analysis for mixed policies was companies that receive SMEs policies from multiple fields between a set of SME support projects. We analyzed cost-effectiveness from three perspectives: sales growth, value-added growth, and employment growth. In addition, to illustrate the comparison of effects on the same input premise, implications were derived using visualization data for each mixed policy type from five perspectives: ① total effect, ② total effect per project, ③ synergy effect, ④ synergy effect per project, and ⑤ cost-effectiveness. As a result of the analysis, in the case of SME support policies, the mixed policy between program fields was not more efficient than the benefits of some single field.

The contribution of this study is to suggest general guidelines for mixed policy evaluation so that the situation of multiple policy implementation and mixed policy benefits can be managed, evaluated, and reflected in decision-making. This was intended to be visualized and exemplified through policy portfolio analysis using the establishment of a policy attributes taxonomy, synergy effect analysis due to policy interaction, and cost-effectiveness analysis between policy mixed types.

현대 공공 정책의 대상은 그 대상이 개인이든 기업이든 단체이든, 다수의 다양한 수단을 활용한 다부문 정책의 수혜를 받고 있다. 이를 정책입안자와 행정가의 입장에서 보면, 정책 목표인 국민의 삶의 질 향상을 위한 다양한 복합 정책(mixed policy)을 활용하여 최상의 효과를 얻기 위한 정책군을 구성하여 정책을 구사하고 있는 셈이다. 그럼에도 불구하고 이제까지의 대다수 정책효과 분석 연구는 타 정책의 영향을 분석 자료상에서 통제할 수 없다는 현실적 한계를 들어 복합정책의 수혜를 고려하지 않거나, 일부 정책을 분석 대상에서 배제하여 정책차원을 축소하는 방식으로 이루어져 왔다. 한편, 4차 산업혁명을 선두하고자 하는 정부의 정책방향과 근거기반 정책평가(evidence-based policy evaluation)의 관점에서 볼 때는, 정부의 행정 데이터망이 통합되면, 실제 정책대상이 어떠한 종류의 다른 정책들의 수혜를 동시에 받고 있는지, 정책대상의 수혜 현황을 기반으로 다양한 정책들을 통합적으로 분석할 수 있는 데이터 기반이 마련된다. 이러한 실제 데이터를 근거로 하여, 복합정책의 수혜를 받는 대상이 특정 정책의 개입으로 인해 얻게 된 효용을 구분해 낼 수 있다면, 정책 의사결정을 위한 보다 현실적인 근거 마련이 가능하다. 보다 정확한 정보의 활용은 정책운용의 효과 및 효율성을 증가시켜, 인구성장 둔화 및 복지재정 확대로 한계에 이른 국가재정 공간 운영에 효과적인 투자우선순위 조정 및 정책 수정이 가능해지도록 한다.

본 연구에서는 이러한 배경에서 복합정책 운용의 기틀이 되는 정책 및 사업 분류체계와 복합정책의 평가방법론 개발을 통한 평가 분석틀(evaluation framework)을 제안하고, 그에 따른 실증분석을 통해 복합의 상황을 고려한 예산 의사결정의 지점을 예시하고자 하였다. 복합정책의 평가는 개별정책의 평가와는 다른 다양한 양상이 발생한다. 비단 복수의 사업을 다룬다는 측면을 넘어, 어느 수준에서의 복합인가에 따라 성과 평가의 기준점이 달라진다. 분석대상 정책들이 공통성과를 지향하는 것으로 명시된 상황에서는 그 지점을 결과로 효과성 평가나 비용-효과 분석이 가능하다. 그러나 여러 부문이나 분야에 걸친, 개별사업의 목표가 각기 다른 정책들의 복합상황에서는 평가하고자 하는 관점에서의 효과 재정의와 평가방식의 선택이 필요하다. 또한 복합정책평가의 상황에서는 정책 간의 상호작용이 발생하며, 이 상호작용의 방향이 각 정책의 효과 방향과 일치하는지의 여부에 따라 보완적 관계 혹은 시너지효과가 발생한다. 이 부분의 단순 개별정책 효과의 합만으로는 파악할 수 없는 영역이다. 마지막으로 복합정책의 효과 및 성과를 측정함에 있어 단순 효과 크기만을 파악할 경우 자칫 투입증가로 인한 효과 증대와 혼동할 수 있다. 따라서 복합대안 자체의 성과를 파악하기 위해서는 사업당 효과나 비용대비 효과와 같은 동일 투입의 가정을 전제한 평가 관점이 필요하다. 이때의 비교대안은 상호독립성과 배타성을 확보해야 하므로, 개별정책 간 비교가 아닌 정책 포트폴리오(=복합유형) 간의 비교가 되어야 한다.

이러한 복합정책 평가의 특이점에 상응하여, 본 연구에서는 복합정책의 평가시에 필요한 다음과 같은 세 가지 평가틀을 구축하고 예시하였다. 첫째, 복합정책 파악 및 포트폴리오 분석을 위한 정책 및 사업속성 분류체계의 분류준거(criteria)와 항목 구성에 대한 분석틀이다. 정책 포트폴리오는 분석의 대상 정책들이 공통성과를 이루기 위해 어떤 설계와 역할로 구성되어 있는지 파악하고, 정책 간의 공통점 및 차이점을 파악하고 평가 기준을 잡기 위해 활용된다. 평가설계 단계에서는 분석대상 정책군의 스펙트럼을 파악하고 경계(boundary)를 설정하는 데 활용할 수 있으며, 설계 및 집행단계에서는 핵심정보 파악과 운용, DB를 관리에도 활용할 수 있다. 정책분류의 준거는 정책의 구성요소, 특성에 대한 이론적 배경에 근거하여 정책 목표, 지원논리, 정책대상, 정책수단, 전달체계의 5가지 핵심항목을 중심으로 구성하였다. 이에 더불어 거시적인 정책목표와 사업의 직접적인 목적을 구분하고, 정책수단을 1차적인 정책산출물과 이를 전달하기 위한 방법인 전달방식으로 세분화하였다. 이렇게 구성된 7개의 준거에 맞추어, 선행연구와 현존 분류체계, 그리고 국제기준 및 해외사례를 참고로 하여, 항목 구성의 적합성을 점검하였다. 구성된 분류체계의 점검 기준을 활용해 기존 정부의 정책분류체계 활용 사례를 점검하고, 개선안을 제시하였다.

둘째, 이렇게 구성된 분류체계를 활용하여 복합정책의 시너지효과를 분석하는 방법론 개발 연구를 진행하였다. 먼저, 선행연구를 통한 상호작용 효과의 구성(보완적 관계, 시너지 효과)의 논리적 분석틀을 구축하고, 긍정적 시너지와 부정적 시너지의 정의와 효과 방향에 따른 해석방식을 정립하였다. 시너지 효과의 분석방식은 단일 정책 수혜시의 개별정책 효과의 합과 복합정책 수혜 시 통합효과의 차를 활용해, 동일 모형에서 추정한 복합정책 수혜유형 간의 효과 차이를 활용하여 통계적으로 계상하였다. 이러한 분석의 과정을 노인복지정책 서비스군의 삶의 만족도 증진 효과를 사례로 실증하여, 시사점을 도출하였다. 분석 결과, 많은 정책을 수혜받는다고 시너지효과가 커지는 것은 아니었다. 구성된 분류체계의 지원 논리에 따른 해석을 통해, 복합의 유형에 따라 시너지효과가 달라짐을 확인하였으며, 차후 정책포트폴리오 설계 시 수혜자의 우선적인 수요에 근거한 설계가 필요함을 시사하였다.

마지막으로 복합정책의 비용-효과 분석을 통한 복합정책 효율기반 평가틀을 구축하였다. 개별정책 비용-효과 분석의 경우는 평가의 초점이 대안 간의 비교우위 파악 및 예산 의사결정을 위한 취사선택에 있으나, 복합정책의 비용-효과 분석은 동등한 투입을 전제한 복합유형별 효과 정보 제공과, 수혜자 입장에서의 실제 수혜 복합유형간의 성과 비교에 있다. 복합정책 수혜의 상황에서는 경제성 평가 대안의 전제조건인 독립성과 상호배타성을 충족하기 위해 복합유형별 성과 비교가 바람직하다. 실증 분석대상은 중소기업 재정지원사업의 사업군간 정책을 복수수혜받은 기업으로, 매출액 증가율, 부가가치 증가율, 고용 증가율의 세 가지 관점에서 비용-효과를 분석하였다. 또한 동일투입 전제에서의 효과 비교를 예시하기 위해, ① 총효과, ② 사업당 총효과, ③ 시너지효과, ④ 사업당 시너지효과, ⑤ 비용대비 효과의 5가지 관점에서 복합유형별 시각화 자료를 활용하여 시사점을 도출하였다. 분석결과 중소기업 재정지원사업의 경우 사업군간 복합은 일부 단일 사업군의 수혜보다 효율적이지 않았다.

본 연구의 기여는 공통목표 달성을 위한 복합정책의 구사와 복합정책 수혜의 상황을 관리하고 평가하여 의사결정에 반영할 수 있도록, 복합정책 평가의 전반적인 가이드라인을 제시한 것이라 할 수 있다. 이를 정책 및 사업 분류체계의 구축을 통한 정책 포트폴리오 분석, 정책복합으로 인한 시너지효과 분석, 정책 복합유형간의 비용-효과 분석을 통해 가시화고자 하였다. 이 과정에서 복합정책 평가의 정책학적 이슈와 주요 고려지점, 분석 시의 경제학적 고려사항 등을 전반적으로 확인하였다.