대학정보공시제 운영에 관한 평가준거 개발

Abstract

이 연구의 목적은 대학정보공시제 운영에 관한 평가준거를 개발하고, 평가준거의 상대적 중요도를 산정하는 것에 있었다. 이러한 연구의 목적을 달성하기 위하여 문헌연구, 우수대학 담당자 인터뷰, 델파이 조사, 계층화 분석법 등을 활용하였다. 이론적 배경이 되는 관련 문헌 고찰과 우수대학 담당자 인터뷰 등을 통해 대학정보공시제 운영에 관한 평가준거 초안을 구안하였고, 델파이 조사를 통하여 평가준거에 대한 타당성을 확보하였으며 최종적으로 계층화 분석법을 활용하여 확정된 평가준거의 상대적 중요도를 산정하였다. 대학정보공시제 운영에 관한 평가준거 초안은 10개 평가영역, 21개 평가항목, 40개 평가지표로 구안되었다. 구안된 평가준거 초안에 대한 타당성을 확보하기 위하여 교수 및 연구원, 대학교직원, 대학정보공시 조사기관 전문가 등 15명을 대상으로 델파이 조사를 실시하였다. 델파이 패널들의 의견을 종합하여 타당도가 확보되지 않은 항목은 수정하거나 삭제하였고, 수렴도와 합의도를 고려하여 최종적으로 대학정보공시제 운영에 관한 평가준거를 확정하였다. 대학정보공시제 운영에 관한 평가준거는 9개 평가영역, 18개 평가항목, 34개 평가지표로 구성되었다. 대학정보공시제 운영에 관한 평가준거의 상대적 중요도를 산정하기 위해 3차 델파이 조사에서 계층화 분석법을 실시하였다. 계층화 분석법을 통한 상대적 중요도 산정 결과, 평가영역의 경우 3. 시스템 구축 및 활용, 7. 입력지침 및 검증, 8. 공시자료의 관리 및 활용 영역이 상대적 중요도가 높았다. 평가항목의 경우에는 9.1 자료 정정 및 운영 개선, 3.2. 시스템 활용, 8.2. 공시자료 활용, 7.1. 입력지침의 이해, 7.2. 입력정보의 검증 항목이 상대적 중요도가 높았고, 평가지표의 경우에는 3.2.1. 공시자료 산출 용이성, 9.1.2. 운영 개선 환류, 8.2.1. 공시정보 분석 및 활용도, 7.1.2. 항목담당자의 지침 이해도, 7.2.2. 검증내용의 타당성 지표의 상대적 중요도가 높게 나타났다. 평가준거(평가지표)의 상대적 중요도에 대해 패널 집단별로 인식의 차이가 나타났다. 교수 및 연구자 집단은 9.1.2. 운영 개선 환류, 8.1.1. 공시자료의 체계적 관리, 9.1.1. 공시자료의 정정 및 현행화, 3.1.1. 전산시스템 구축 정도, 8.1.2. 자체 점검을 중요하게 인식한 반면, 대학교직원 집단은 3.2.1. 공시자료 산출 용이성, 8.2.1. 공시정보 분석 및 활용도, 9.1.2. 운영 개선 환류, 9.1.1. 공시자료의 정정 및 현행화, 2.1.2. 계획 수립의 체계성을 중요하게 인식하였고, 대학정보공시 조사기관 집단은 7.1.2. 항목담당자의 지침 이해도, 7.2.2. 검증내용의 타당성, 3.2.1. 공시자료 산출 용이성, 7.2.1. 검증방법의 체계성, 5.2.1. 공시 관련 외부 교육 참여 지원을 중요하게 인식하였다. 평가영역과 평가항목에 대해서도 마찬가지로 인식의 차이가 나타났다. 이 연구 결과를 토대로 다음과 같은 결론을 도출하였다. 첫째, 대학정보공시제 운영에 관한 평가준거를 개발하기 위해 교수 및 연구자, 대학교직원, 대학정보공시 조사기관 전문가 등 델파이 패널들을 대상으로 델파이 조사를 실시하였고, 이를 통해 최종적으로 9개 평가영역, 18개 평가항목, 34개 평가지표로 구성된 평가준거를 확정하였다. 확정된 평가준거는 델파이 패널들로부터 87% 이상의 긍정률을 확보하였고 평균, 표준편차, 의견합의도 및 의견수렴도, 내용타당도(CRV) 측면에서 모두 타당한 것으로 나타났다. 둘째, 평가준거의 상대적 중요도 산정한 결과, 평가영역, 평가항목, 평가지표별로 상대적 중요도가 다르게 산정되었다. 이것은 대학에서 실제 평가를 시행할 때, 평가점수에서 해당 평가준거를 얼마만큼 배점해야 하는가에 대한 근거자료가 된다. 셋째, 평가준거의 상대적 중요도에 대해 패널 집단별로 인식의 차이가 나타났다. 이것은 대학에서 실제 평가를 시행할 때, 평가결과가 편향되지 않도록 대학 내의 다양한 구성원(교수, 연구자, 교직원 등)과 객관적인 평가를 위하여 외부전문가를 초빙하여 평가에 참여시킬 필요가 있다는 것을 의미한다. 이 연구의 결론을 토대로 다음과 같이 제언을 하였다. 첫째, 이 연구의 결과를 토대로 대학에서 대학정보공시 운영에 관하여 평가를 효과적으로 시행하기 위해서는 기 개발된 평가준거 뿐만 아니라 구체적인 평가지침과 평가절차가 필요하다. 이를 위해 대학정보공시 운영 평가를 위한 평가지침 개발과 구체적인 평가절차 정립을 위한 후속 연구가 필요하다. 둘째, 이 연구에서는 평가준거의 상대적 중요도에 대하여 패널 집단별로 다르게 인식하고 있는 것으로 나타났다. 이러한 현상은 패널 집단이 가진 서로 다른 직무배경, 역할, 환경적 특성 등에 따라 대학정보공시 운영에 관하여 다르게 인식하고 있기 때문인 것으로 보인다. 이와 관련하여 패널 집단의 직무배경, 역할, 환경적 특성 등이 대학정보공시제 운영 인식에 어떠한 영향을 끼치며 그러한 이유는 무엇인지 후속연구가 필요하다. 셋째, 이 연구를 통해 개발된 평가준거를 활용하여 평가를 시행한 후, 오류 발건 건수 등을 조사하여 해당 평가가 공시정보 신뢰도 제고에 어떠한 영향을 끼쳤는지 효과성 검증에 관한 후속연구가 필요하다. 평가준거의 효과성 검증은 향후 대학현장에서 대학정보공시제 운영에 관한 평가준거의 활용 및 보급에 긍정적인 요인이 될 수 있다.