조직성과 연구의 방법론에 관한 고찰

Abstract

본 연구는 설문조사를 활용하여 진행되는 조직성과 연구의 잘못된 방법론적 관행을 지적하고, 이를 해결하기 위한 방법론적 방안을 제시하고자 한다. 본 연구가 제시하는 방법론적 방안은 반복설문조사를 활용한 조직성과의 종단자료 구축과 자료의 구조를 고려한 종단연구 모형의 설정이다. 설문조사를 활용하는 과정을 분석과정과 일반화과정으로 분류할 때, 분석과정에서는 계층적 자료구조와 동일방법편의, 일반화과정에서는 수준교차 문제와 종단적 추론의 어려움에 주의할 필요가 있다. 첫째, 설문조사 자료의 계층적 자료구조를 고려하지 않을 경우 외생성 가정에 문제가 발생해 회귀계수의 추정에 편의가 발생할 수 있다. 둘째, 설명변수와 종속변수의 출처가 동일 설문조사인 경우 동일방법편의가 발생할 수 있다. 셋째, 개인수준의 분석결과를 조직수준으로 일반화하면 수준교차의 오류가 발생할 수 있다. 넷째, 횡단면적 연구결과를 인과적 관계와 같이 종단적으로 해석하는 것은 비약일 가능성이 높다. 본 연구는 이러한 문제점의 근본적인 원인은 종단자료의 부족으로 보고, 조직성과에 대한 종단자료를 만들기 위해서 반복 설문조사를 활용한다. 2014~2020년에 걸쳐 진행된 중앙정부 공무원 설문조사를 결합하며, 이 과정에서 측정 동일성을 확보하기 위해 문항반응이론을 활용한다. 문항반응이론을 통해 추출된 조직성과의 종단자료는 각 부처의 조직성과에 대한 변화정보를 제공해 줄 수 있을 뿐만 아니라, 일반적으로 사용되는 문항평균 보다 더 많은 연속성을 제공한다. 종단자료를 활용한 적절한 연구설계 방안으로 4수준의 다층분석과 변수 분해를 제시하였다. 그리고 이러한 연구모형이 갖는 장점을 제시하기 위해 설문조사를 활용한 다양한 연구모형과 분석결과를 비교하였다. 이러한 연구는 행정학의 방법론적 발전과 나아가 종단적 실증연구 축적에 따른 이론적 발전에 기여할 수 있으며, 연구의 타당성과 일반화를 높여 증거기반의 정책실현에 이바지할 수 있을 것으로 기대된다.

This study aims to point out incorrect methodological practices in organizational performance research using surveys and to suggest methodological alternatives to solve them. The methodological method presented in this study is the establishment of longitudinal data of organizational performance using repeated surveys and the design of a longitudinal study model considering the data structure. When classifying the process of using a survey into an analysis process and a generalization process, it is necessary to pay attention to the hierarchical data structure and the same method convenience in the analysis process, and to the problem of level crossing and the difficult of longitudinal inference in the generalization process. First, if the hierarchical data structure of the survey data is not taken into account, a problem arises with the exogenous assumption, which may cause bias in the estimation of the coefficient. Second, if the explanatory variable and the dependent variable are from the same survey, the common method bias may occur. Third, if the analysis results at the individual level are generalized to the organizational level, an cross-level fallacy may occur. Fourth, it is highly probable that the longitudinal interpretation of cross-sectional research results would be a leap forward. This study understands that the root cause of these problems is the lack of longitudinal data, and uses repeated surveys to create longitudinal data on organizational performance. The survey of central government officials conducted over the years 2014-2020 is combined, and item-response theory is used to ensure measurement uniformity in this process. Longitudinal data of organizational performance extracted through item response theory can provide change information on organizational performance of each department, as well as provide more continuity than commonly used item averages. Four-level multi-level analysis and variable decomposition were presented as an appropriate research design using longitudinal data. And in order to present the advantages of these research models, various research models using surveys and analysis results were compared. Such research can contribute to the methodological development of public administration and further theoretical development according to the accumulation of longitudinal empirical studies, and is expected to contribute to the realization of evidence-based policies by increasing the validity and generalization of the research.