정량적 정책 평가에 관한 연구

Abstract

김대중 정부에서 강화되기 시작한 정부의 정책 평가는 노무현 정부 때 기관의 자체 평가를 중심으로 하는 통합적인 국정평가체제로 그 틀이 갖춰져 오늘에 이르고 있다. 이러한 정책 평가 제도는 바람직한 방향으로 인식되고 있지만 실제 운용 과정에서 해결해야할 여러 가지 문제점이 있다. 이들 문제점 중 중요한 한 가지는 정책의 영향을 측정하는 정량적인 방법의 타당성이 부족하다는 점이다. 이에 본 연구는 정량적인 평가의 문제점을 개선할 수 있는 방법론을 제시하고 수산 정책을 중심으로 이를 적용하는 데 목적을 둔다. 수산업은 어촌 개발, 수산경영 지원, 수산자원 관리 등에서 정부의 정책 개입이 많은 분야이지만 정량적인 평가에 대한 연구는 많지 않다. 본 연구는 구체적인 사례로 수산업 분야의 대표적인 정책 프로그램인 어촌종합개발사업, 어가부채경감대책, 수산종묘방류사업을 선정하였다. 본 연구는 광의의 정책 평가 중에서 사후적인 영향 사정에 초점이 있다. 정책의 영향은 정책 시행의 결과와 정책이 시행되지 않는다고 가정되는 가설적 사실의 차이이다. 이는 각각 정책시행집단과 비교집단에 대응한다. 그런데 가설적 사실은 실제로 관측하기 힘들기 때문에 비교집단을 어떻게 처리하느냐가 정량적인 정책 평가에서 중요하다. 정책시행집단과 비교집단은 정책 시행 여부를 제외하고는 동질적이어야 하는데 이것이 어긋날 경우 평가 결과는 선택편의에 의해 오류가 발생한다. 이러한 선택편의를 배제하기 위해 이상적으로는 무작위적인 집단 배정에 의한 진실험설계가 바람직하지만 현실에서 적용하기 어렵다는 문제가 있다. 이의 대안으로 사후에 정책시행집단과 비교집단을 대응시켜 구성하는 준실험설계와 통계적인 방법으로 두 집단을 구분하는 비실험설계의 방법이 사용된다. 본 연구는 어촌종합개발사업의 평가에서 준실험설계의 하나인 이중차분법에 Blinder-Oaxaca 해체기법을 응용하여 정책 시행과 무관한 설명변수의 효과를 통제하였다. 어가부채경감대책과 수산종묘방류사업은 비실험설계의 고정효과모형을 적용하였는데 후자의 경우 해양의 특성을 고려하여 공간적 종속성과 이질성을 반영하기 위해 공간패널모형을 도입하였다. 그리고 본 연구의 대상인 수산 정책은 경제 정책의 하나이므로 정책 영향의 프로그램 논리는 생산성 향상이나 경제적 잉여의 증대로 인과성을 설명하는 경제 이론에 바탕을 두었다. 이상의 방법론에 기초하여 세 가지 정책에 대해 분석한 결과와 정책적 함의는 다음과 같다. 첫째, 2001∼2004년에 시행된 어촌종합개발사업은 수산물판매액에는 효과가 모호하였으나 어업외소득의 기회 확대에는 긍정적인 효과가 있는 것으로 나타났다. 그렇지만 어촌의 여성화와 노령화가 진행되고 있는 상황에서 어촌종합개발사업이 이들을 충분히 배려하지 못했고 어촌의 노동력도 잘 활용하지 못했다고 평가되는 점은 눈여겨볼 필요가 있다. 따라서 향후 어촌 정책은 여성 경영주와 노령 경영주의 경제 활동 여건을 개선하고 어촌의 노동력을 개발할 수 있는 방향으로 시행되어야 할 것으로 사료된다. 둘째, 어가부채경감대책은 부채 어가의 수혜 폭이 넓은 2004년 대책이 전반적으로 효과가 있는 것으로 나타났다. 그러나 그 효과가 고소득층 어가를 중심으로 크게 나타나 소득분배에는 부정적인 효과가 있는 것으로 평가되었다. 이에 따라 향후 어가부채 대책은 모든 어가에 대한 보편적인 대책이 아니라 소득 수준, 부채상환능력 등을 고려한 선별적인 대책으로의 전환이 바람직할 것으로 판단된다. 셋째, 1996∼2010년에 시행된 수산종묘방류사업은 어업생산과 유어낚시 수요에 모두 긍정적인 영향이 있는 것으로 나타났다. 또한 공간적인 종속성이 있어서 인접지역 간 방류사업이 서로 영향을 주고받는 것으로 확인되었다. 지역 간 상호작용을 고려해 스필오버 정도의 크기를 측정할 수 있다는 점은 향후 정책적인 시사점을 얻는 데에도 큰 도움이 될 것으로 기대된다. 세 가지 사례 연구로 볼 때 정량적 평가에는 방법론도 중요하지만 이를 적용할 수 있는 가용 자료의 여건이 크게 좌우한다는 점을 알 수 있다. 정부의 기존 정책 평가가 오류를 내포할 가능성이 있지만 쉽게 개선하기 힘든 것도 가용 자료가 충분하지 않기 때문이다. 특히 수산 정책은 해양의 특성 상 조사가 쉽지 않고 자료의 신뢰성이 높지 않아 정량적인 평가가 더욱 어려운 점이 많다. 따라서 정책 시행 전 단계에서부터 정책 평가를 고려한 자료 생산 체계를 마련할 필요가 있다. 그리고 정량적인 평가 방법론의 적용에는 많은 전문성이 요구되기 때문에 정부의 기존 평가 체제에 전문가의 참여를 확대하고 정책 평가와 관련한 해당 분야의 학술 연구를 장려하는 것도 필요하다. 이를 통해 정책 영향의 효과성뿐만 아니라 효율성을 측정하고 단기적인 관점에 치중한 기존의 평가를 중장기적인 영향 평가로 확대한다면 정책 평가에서 차후 정책으로 환류될 수 있는 더욱 유용하고 풍부한 정보를 얻을 수 있을 것이다.

The governments policy evaluation, which was initiated during the Kim Dae-jung administration, became an integrated government evaluation system during the Roh Moo-hyun administration. This policy evaluation system focuses on self-evaluations conducted by organizations and continues to this day. Although this system is generally regarded positively, there are various problems in its actual application that must be resolved. One such problem is that quantitative methods to measure the impact of policies lack validity. Therefore, the goal of this study is to propose a methodology to improve the problem concerning quantitative evaluation and to apply it through the case of fisheries policies. The fishery industry is an area with high government intervention such as fishing village development, fishery management support, and fishery resources management. However, research for quantitative evaluation is scarce. This study has selected the Fishing Village Development Project, the alleviation policy of fishery household debt, and the Fry Releasing Program as specific cases of representative policy programs in the fishery industry. Among the broad range of policy evaluations, this study will focus on the ex post impact assessment. The impact of the policy will be the difference between the factual outcome of implementing the policy and the counterfactual outcome when it is supposed that the policy is not implemented. This corresponds to the intervention group and the comparison group, respectively. However, since it is difficult to actually observe the counterfactual outcome, how the comparison group is handled will be important in quantitatively evaluating the policy. Other than the policy implementation aspect, the intervention group and comparison group must be homogenous. If this condition is not met, an error due to selection bias occurs. Ideally, in order to eliminate this selection bias, an experimental design that randomly assigns groups is desirable but this is realistically difficult to apply. As an alternative, a quasi-experimental design, which matches the intervention group and comparison group ex post, and a non-experimental design, which accounts for differences between the two groups through statistical methods, can be used. This study applied the Blinder-Oaxaca decomposition method to the double-difference method, which is a quasi-experimental design, to evaluate the Fishing Village Development Project, thereby controlling the effect of explanatory variables unrelated to the implementation of the policy. For the alleviation policy of fishery household debt and the Fry Releasing Program, the fixed-effect model of the non-experimental design was applied. For the latter, taking into account the characteristics of the marine environment, a spatial panel model was introduced in order to apply spatial dependence and spatial heterogeneity. In addition, quantitative policy evaluation requires a program logic that indicates the causality of the policys impact. The fisheries policy, which is the research subject of this study, is an economic policy. Therefore, the policy evaluation will be based on economic theory that explains the causality through productivity improvement or economic surplus increase. The analysis results and the policy implications of the three policies based on the aforementioned methodology are as follows. First, the effect of the Fishing Village Development Project, which was implemented between 2001 and 2004, on fishery receipts was ambiguous. However, it was assessed to have a positive effect on the expansion of non-fishery income opportunities. In particular, it is worth mentioning that the Fishing Village Development Project did not accommodate for the feminization and aging of fishing villages and did not utilize the labor force effectively. Therefore, future fishing village policies should be implemented towards improving the economic activity conditions for women and elderly business owners and enhancing the labor force of fishing villages. Second, the policy of fishery household debt appears to have been generally effective in 2004 when the range of benefits for fishery households in debt was extensive. However, this effect was most prominent for high-income fishery households, which is assessed to have had a negative effect on income distribution. Therefore, future policies on fishery household debt should not be a universal policy for all fishery households but should be transitioned into selective measures that take into account income level and debt redemption ability. Third, the Fry Releasing Program, which was implemented between 1999 and 2010, has had positive effects on fishery production and recreational fishing demand. Furthermore, due to spatial dependence, neighboring areas have influenced each other through the Releasing Program. The fact that the extent of the spillover can be measured by taking into account the interaction between areas is expected to be a significant help in deducing future policy implications. By observing the three cases, we can understand that even though methodology is important for quantitative evaluation, the condition of the available data that can be applied has significant influence. The governments existing policy evaluations may contain errors but the reason it is difficult to improve upon them is also due to the insufficiency of available data. In particular, it is difficult to conduct surveys regarding fisheries policy due to the characteristics of the marine environment. Furthermore, the low reliability of the data makes quantitative evaluation even more difficult. Therefore, there is a need to prepare a data production system that takes into account the policy evaluation even before the implementation stage of the policy. Also, the application of quantitative evaluation methodology requires a high degree of expertise. Therefore, the participation of experts in the governments current evaluation system and the promotion of academic research in relevant fields regarding policy evaluation are required. As a result, if the efficiency of the policy impact as well as its effectiveness can be measured and the existing evaluation which emphasizes short-term perspective expands to mid to long-term impact evaluation, more abundant information that can feedback into the next policy can be obtained through policy evaluation.