금융소비자교육효과의 평가요소 및 측정문항 개발 연구

Abstract

As financial consumers' options and convenience increase due to the development of financial technology, financial risks and financial decision-making burdens that financial consumers have to bear are also increasing. Accordingly, laws and systems are being established around the world to protect financial consumers, and efforts are also being made to strengthen financial education. Korea has also steadily implemented financial education since the 2003 credit card crisis, and the Financial Consumer Protection Act, which took effect in March 2020, has laid the legal foundation for financial education at the national level as the policy establishment and execution obligations of financial education are specified. However, compared to the quantitative growth of financial education, such as increasing the number of financial education programs and participating institutions, verification of the effectiveness of improving the quality of financial education has been neglected. It is difficult to find among domestic financial education institutions that evaluate the effectiveness of financial education programs, and many programs have not clearly established even the goals of financial education, which are the criteria for effectiveness evaluation. On the other hand, in order to systematically evaluate the effectiveness of financial education, it is necessary to think about what to view as the effect of financial education. Until now, financial education has been centered on improving individual financial conditions or improving financial well-being, but it has somewhat overlooked that financial consumers can affect the market environment and development through their active role as members of the financial market and society. Financial education should not simply aim to increase financial knowledge and technology to increase financial welfare at the individual level, but should establish goals to be achieved through financial education considering the value and direction of the society, and evaluation of effects should be able to contain such discussions. Therefore, this study used the name financial consumer education by expanding the field of financial education from the level of individual asset management to the level of financial consumer competence and behavior at the civic level. To this end, through various literature studies such as education evaluation model, financial consumer education effect measurement study, and financial consumer competency measurement study, the effect evaluation frame(draft) and effect evaluation elements(draft) of financial consumer education were constructed based on the result-oriented Kirkpatrick 4-level model. Since then, focus group interviews have been conducted with five experts related to financial consumer education to revise and supplement the effectiveness evaluation frame(draft) and evaluation elements(draft), and a questionnaire to be used in the expert's main survey was prepared. In this survey, 29 experts were asked about the adequacy of the financial consumer education effect evaluation frame(draft) and evaluation elements(draft), the appropriateness of the new definition of financial consumer citizenship capabilities, financial consumer citizenship behavior, and the priority among evaluation elements. As a result, the evaluation level, which is the horizontal axis of the effect evaluation frame, consisted of four levels: response to financial consumer education, improvement of financial consumer capacity, improvement of financial consumer behavior, and improvement of financial health. Response to financial consumer education and improvement of financial consumer capacity were approached as short-term effects of financial consumer education, improvement of financial consumer behavior was approached as medium-term effects, and improvement of financial health as long-term effects. The vertical axis consists of the educational content area, which is largely divided into the financial asset management level and the civic level. In terms of asset management, it is composed of financial management attitude, financial management knowledge, financial management behavior, and personal financial health. The civic level is also composed of financial consumer citizenship, financial consumer citizenship behavior, and social financial health. The education content area is divided into seven areas: 'Financial planning basis, financial transaction basis, income and expenditure management, credit and debt management, savings and investment management, insurance and risk management, retirement and future preparation'. The civic dimension consisted of four areas: 'personal rights, social rights, personal responsibility, and social responsibility'. In summary, the evaluation frame of the financial consumer education effect consisted of four evaluation levels, two dimensions, and seven and four content areas, respectively, at the bottom of each dimension. A total of 161 effect evaluation elements were developed based on this evaluation frame and a total of 51 core evaluation elements were selected considering priorities. Next, in order to develop the problem bank-style questions to measure the effectiveness evaluation elements developed in this way, the questions used to measure the financial consumer education effect or financial consumer capability were collected as much as possible. The collected and developed questions were surveyed by five financial consumer education experts to exclude or integrate unnecessary or similar items, and revised according to the current financial market situation and trends. In addition, representative measurement questions were selected among several items that measure effectiveness evaluation elements, so that educational management personnel and others could refer to them when selecting measurement questions in the future. In addition, a facial validity survey was conducted on a total of four financial consumers in their 20s and 50s, and the leap gate work was carried out in terms that were easy for consumers to understand. As a result, a total of 459 questions(drafts) were collected and developed through literature research, but 427 questions were finally developed through expert surveys, and 151 of them were selected as representative measurement questions. Except for questions that measure responses to financial consumer education, a total of 238 questions measure financial evaluation elements and 182 questions measure civic evaluation elements, and a total of 51 representative measurement questions are presented in a separate table to facilitate the use of measurement questions. Finally, in order to make it easier for educators to use the evaluation elements and measurement questions developed in this way, six steps were presented to select measurement questions according to the characteristics of the education program by referring to the guide of financial consumer education performance evaluation tools in the United States, the United Kingdom, and Canada. Applying the results of this study to the evaluation of the effectiveness of financial consumer education in the market, we can not only determine whether a specific education program is worth continuing to operate, but also identify which areas are relatively effective or ineffective. In addition, since financial consumer education encompasses various contents to be dealt with, it will be possible to understand which educational contents the educational program deals with in particular and in which areas it has strengths compared to other educational programs. Furthermore, if these effectiveness evaluation results are shared and accumulated, not only can financial consumers be provided as data for selecting education programs, but education policy managers will also be able to check whether financial consumer education programs are operated effectively and efficiently according to the values of our society. The suggestions derived for the effectiveness evaluation and promotion direction of financial consumer education according to this study are as follows. First, the evaluation of the effectiveness of financial consumer education should be conducted by appropriately considering the characteristics of educational programs such as educational goals and contents. If the effect evaluation elements and measurement questions considering the various evaluation levels, dimensions, and educational content areas presented in this study are used, it will be possible to flexibly apply them to various educational programs on the market. Second, the effect of financial consumer education should be approached in consideration of the time when the effect can be expressed, such as short-term, medium-term, and long-term. For example, if the educational goal of a specific educational program is to improve the behavior of financial consumers, it should be considered that it takes at least weeks to months to measure and evaluate the effect. Third, it should not be limited to the area of individual financial management, but should be expanded to the civic level so that financial consumers can play an appropriate role as members of the financial market and society. Financial consumer education should help financial consumers think and contribute to what the financial market and society surrounding financial consumers should look like. Fourth, the financial consumer education effect evaluation tool can be used not only as a post-evaluation tool but also when developing educational programs. If effect evaluation elements and measurement questions are used, the educational goals of the educational program will be more clear and the ideas of content composition can be obtained in detail. Finally, the appropriate role of financial authorities is needed to successfully establish a systematic evaluation of the effectiveness of financial consumer education in the educational field, such as the active use of the results of this study. Efforts such as providing easy-to-use effect evaluation tools to those in charge of the field who are not familiar with the evaluation of educational effects and operating and supporting related advisory committees are needed. On the other hand, this study is meaningful in that it developed comprehensive effect evaluation elements and measurement questions by covering both financial and civic education contents in the absence of comprehensive and systematic effect evaluation tools applicable to financial consumer education programs. In addition, the newly presented contents at the civic level are difficult to establish the concept in a single study, so it is necessary to go through the process of refining the concept through follow-up studies by various researchers.

금융기술의 발전으로 금융소비자의 선택권과 편의성이 증가하는 만큼, 금융소비자가 부담해야 하는 재무적 위험과 금융의사결정 부담도 커지고 있다. 이에 전 세계적으로 금융소비자보호를 위한 법규와 제도를 정비하는 한편, 금융교육 강화에도 힘을 기울이고 있다. 우리나라 또한 2003년 신용카드사태 이후 금융교육을 꾸준히 실시하여 왔으며, 2020년 3월부터 시행된 「금융소비자보호에 관한 법률」에 금융교육의 정책 수립 및 집행의무 등이 명시됨에 따라 국가 차원에서 금융교육을 수행할 법적 기반도 마련되었다. 그러나 금융교육 프로그램 및 참여기관의 수의 증가 등 금융교육의 양적 성장과 비교하여 금융교육의 질적 제고를 위한 효과 검증은 소홀히 이루어져 온 측면이 있다. 국내의 금융교육기관 중 금융교육프로그램의 효과를 평가하고 있는 곳은 찾아보기 어려우며 효과 평가의 기준이 되는 금융교육의 목표조차 명확하게 수립되어 있지 않은 프로그램도 다수이다. 한편, 금융교육의 효과를 체계적으로 평가하기 위해서는 무엇을 금융교육의 효과로 볼 것인지에 대한 고민이 함께 이루어져야 한다. 그간 금융교육은 개인의 재무상황 개선이나 재무적 안녕감을 증진시키기 위한 교육이 중심이었으나, 이는 금융소비자가 금융시장 및 사회의 구성원으로서 주체적인 역할을 통해 시장 환경과 발전에 영향을 미칠 수 있다는 점을 다소 간과한 측면이 있다. 금융교육은 단순히 재무지식과 기술을 전달하여 개인적 차원의 재무복지 증대만을 목표로 삼을 것이 아니라, 그 사회가 지향하는 가치와 방향성을 고려하여 금융교육을 통해 달성하고자 하는 목표를 수립하여야 하며, 효과 평가도 이러한 논의를 담아낼 수 있어야 할 것으로 보인다. 이에 본 연구는 금융교육의 영역을 개인의 재무관리 및 금융거래 능력 등 재무적 차원의 내용에서 한발 더 나아가 시민적 차원의 금융소비자 역량과 행동 변화까지 포괄하는 교육으로 확장하여 금융소비자교육이라고 명명하고, 금융소비자교육효과가 체계적이고 객관적으로 측정 및 평가될 수 있도록 종합적인 평가도구로서의 효과 평가요소 및 문제은행식의 효과 측정문항을 개발하고자 하였다. 이를 위해 먼저 교육평가모형, 금융소비자교육효과 측정연구, 금융소비자역량 측정연구 등 다양한 문헌연구를 통해 결과 중심의 Kirkpatrick 4수준 모형을 토대로 금융소비자교육의 효과 평가틀(안)과 효과 평가요소(안)을 구성하였다. 이후 5명의 금융소비자교육 관련 전문가들과 포커스 그룹 인터뷰 방식의 전문가 예비조사를 실시하여 효과 평가틀(안)과 평가요소(안)을 수정 및 보완하였으며, 전문가 본조사에서 사용할 설문지를 마련하였다. 전문가 본조사에서는 금융소비자교육효과 평가틀(안)과 평가요소(안)의 적절성, 시민적 차원과 관련하여 새롭게 제시된 금융소비자시민역량, 금융소비자시민행동 등 신규개념 정의의 적절성, 핵심평가요소를 선정하기 위한 평가요소간 우선순위 등을 29명의 전문가 대상으로 조사하여 내용타당도를 검증하였으며 전문가들의 수정 및 보완 의견도 수렴하였다. 그 결과, 효과 평가틀의 가로축인 평가수준은 금융소비자교육에 대한 반응, 금융소비자역량 향상, 금융소비자행동 개선, 재무건강 증진이라는 4가지 수준으로 구성되었으며 금융소비자교육에 대한 반응과 금융소비자역량은 금융소비자교육의 단기효과를, 금융소비자역량 향상은 중기효과를, 그리고 재무건강 증진은 장기효과를 살펴보는 것으로 구성되었다. 교육내용영역으로 구성된 세로축은 크게 재무적 차원과 시민적 차원으로 나뉘는데, 재무적 차원의 경우 평가수준별로 다시 재무관리태도, 재무관리지식, 재무관리기능을 포괄하는 재무관리역량과 재무관리행동, 개인적 재무건강으로 구성되며, 시민적 차원 또한 금융소비자시민태도, 금융소비자시민지식, 금융소비자시민기능을 포괄하는 금융소비자시민역량과 금융소비자시민행동, 사회적 재무건강으로 구성되었다. 교육내용영역은 재무적 차원의 경우, 재무설계의 기초, 금융거래의 기초, 수입과 지출관리, 신용과 부채관리, 저축과 투자관리, 보험과 위험관리, 은퇴와 미래준비 등 7개의 영역으로 나뉘며, 시민적 차원은 개인적 권리, 사회적 권리, 개인적 책임, 사회적 책임 등 4개의 영역으로 구성되었다. 정리하자면 금융소비자교육효과의 평가틀은 4가지 평가수준과 2개의 차원으로 구성되고 각 차원의 하위에는 각각 7개, 4개의 내용영역으로 이루어져 있다. 이러한 평가틀을 토대로 개발된 효과 평가요소는 총 161개이며, 우선순위를 고려한 핵심평가요소는 총 51개가 선정되었다. 다음으로, 개발된 효과 평가요소를 측정하기 위한 문제은행식의 문항을 개발하기 위하여 금융소비자교육효과 또는 금융소비자역량 측정 등에 사용된 문항들을 최대한 수집하였으며, 시민적 차원의 경우 기존 연구에서는 측정문항 수집이 거의 불가능하였기에 금융 관련 법규, 각종 관련 홈페이지와 자료 등을 참고하여 신규로 다수의 문항을 개발하였다. 수집 및 개발한 문항은 금융소비자교육 전문가 5명의 의견을 수렴하여 불필요하거나 내용이 유사한 문항들은 제외 또는 통합하였으며, 현재의 금융시장의 상황과 트렌드에 맞게 수정작업을 진행하였다. 또한 효과 평가요소를 측정하는 여러 개의 문항 중 대표 측정문항을 선정하여 추후 교육운영담당자 등이 측정문항 선정 시 참고할 수 있도록 하였다. 또한 20~50대의 금융소비자 4명을 대상으로 안면타당도조사를 실시하여 소비자가 이해하기 쉬운 용어로 윤문 작업을 진행하였다. 그 결과, 문헌연구를 통해 수집한 문항과 신규 개발한 문항(안)은 총 459개였으나 전문가조사를 거쳐 최종적으로 427개의 문항이 선정되었으며, 이중 대표 측정문항으로 151개를 선정하였다. 이 중 재무적 차원의 평가요소를 측정하는 문항이 총 238개, 시민적 차원의 평가요소를 측정하는 문항이 총 182개이며, 앞서 핵심평가요소로 결정된 내용들을 측정하는 총 51개의 대표 측정문항은 측정문항의 활용이 용이하도록 별도의 표로 제시되었다. 이상의 내용을 정리하면 <그림 1>과 같다. 마지막으로 이렇게 개발된 금융소비자교육효과의 평가요소 및 측정문항을 교육담당자가 쉽게 활용할 수 있도록 미국, 영국, 캐나다의 금융소비자교육 성과 평가도구 안내 가이드를 참고하여 교육프로그램의 특성에 맞게 측정문항을 선정하는 방법을 6단계로 제시하였다. 본 연구에서 실시한 이러한 연구결과를 시중의 금융소비자교육효과 평가에 적용한다면 특정 교육프로그램이 지속적으로 운영될 가치가 있는지 판단할 수 있을 뿐만 아니라 어떠한 교육영역에서 상대적으로 효과적인지 또는 효과적이지 못한지 파악할 수 있을 것이며, 이를 통해 개선사항에 대한 분석도 이루어질 수 있다. 또한 금융소비자교육이 다루어야 할 다양한 내용을 포괄하고 있으므로 교육프로그램이 어떠한 교육내용을 다루고 있으며, 다른 교육프로그램에 비해 어느 영역에서 강점을 가지고 있는지도 파악할 수 있을 것이다. 나아가 이러한 효과 평가결과들이 공유되고 누적된다면 금융소비자들이 교육프로그램 선정 시 참고할 수 있는 자료로 제공될 수 있을 뿐만 아니라 교육정책 담당자들 또한 우리 사회가 지향하는 가치에 맞게 금융소비자교육 프로그램이 효과적이고 효율적으로 운영되고 있는지 점검이 가능해질 것이다. 금융소비자교육의 효과평가 및 추진 방향성에 대해 본 연구를 토대로 마련한 제언은 다음과 같다. 첫째, 금융소비자교육효과 평가는 교육목표와 내용 등 교육프로그램의 특성을 적절히 고려하여 이루어져야 한다. 본 연구에서 제시하는 여러 평가수준과 차원, 교육내용영역을 고려한 효과 평가요소 및 측정문항을 활용한다면 시중의 다양한 교육프로그램에 유연하게 적용이 가능할 것이다. 둘째, 금융소비자교육효과는 단기, 중기, 장기 등 효과가 발현될 수 있는 시간을 고려하여 접근되어야 한다. 가령 특정 교육프로그램의 교육목표가 금융소비자의 행동 개선일 경우, 짧게는 몇 주에서 길게는 몇 달이 효과 측정·평가에 소요될 있음을 고려하여야 한다. 셋째, 개인의 재무관리 영역에 국한될 것이 아니라 금융시장 및 사회의 구성원으로서 금융소비자가 적절히 역할 할 수 있도록 시민적 차원으로 확장되어야 한다. 금융소비자교육은 금융소비자를 둘러싼 금융시장 및 사회가 어떠한 모습을 갖추어야 하는지 금융소비자도 고민하고 기여할 수 있도록 도와야 할 것이다. 넷째, 금융소비자교육효과 평가도구는 사후적인 평가도구로서 뿐만 아니라 교육프로그램 개발 시에도 활용될 수 있다. 효과 평가요소 및 측정문항을 활용한다면 교육프로그램의 교육목표를 보다 명확히 하고, 내용구성의 아이디어도 상세히 얻을 수 있을 것이다. 마지막으로 본 연구의 결과가 적극적으로 활용되는 등 체계적인 금융소비자교육효과 평가를 교육현장에 성공적으로 정착시키기 위해서는 금융당국의 적절한 역할이 필요하다. 교육효과 평가에 익숙치 않은 현장의 담당자들에게 손쉽게 사용 가능한 효과 평가도구를 제공하는 것과 함께 관련 자문위원회 등을 운영·지원하는 등의 노력이 필요할 것으로 보인다. 한편, 본 연구는 금융소비자교육 프로그램에 적용 가능한 포괄적이고 체계적인 효과 평가도구가 부재하였던 상황에서 재무적 차원과 시민적 차원의 교육내용을 모두 포괄하여 종합적인 효과 평가요소 및 측정문항을 개발하였다는 데에 의의가 있으나, 측정문항의 신뢰성을 확보하고 난이도 등을 조정하기 위한 추가적인 소비자조사가 수행될 필요가 있다. 또한 새롭게 제시된 시민적 차원의 내용들은 한 번의 연구로 개념이 정립되기는 어려우므로 다양한 연구자의 후속 연구들을 통해 개념이 다듬어지는 과정을 거칠 필요가 있다.