사회과학연구에서 평가연구시 중요하게 다루어야 할 부분은 평가의 신뢰도(reliability)와 타당도(validity)이다. 이 연구는 공기업 인사고과평정의 신뢰도를 분석하였다. 평가의 신뢰도는 일반적으로 평가자간 신뢰도와 평가도구의 신뢰도로 구분이 되는데 이 중에서도 이 연구는 평가자간 신뢰도(interrater reliability)에 초점을 두었다. 평가자간 신뢰도는 인사고과 결과가 평가자들 사이에서 얼마나 유사한 것인가를 의미하는 것으로 인사고과 평가지표의 객관성을 검증하는 중요한 지표로 사용되고 있다. 이러한 평정자간 신뢰도는 평가자간 일관성(consistency)과 동의도(agreement)를 모두 내포하는 개념이다. 본 연구는 이러한 일관성과 동의도의 관점에서 공기업의 인사고과인 근무성적평정자료를 활용하여 평정자간신뢰도를 분석하였다. 연구의 결과 평가자간 평가의 일관성이 높다고 해서 반드시 평가자간 동의도가 동시에 존재하는 것은 아닌 것으로 분석되었다. 그러므로 평가자간 신뢰도를 제고하기 위해서는 평가자간일관성은 물론 동의도도 함께 제고시켜야 한다. 이 연구의 분석대상인 공기업의 경우 인사고과 평가자간일관성과 동의도를 동시에 제고하기 위해서는 기존의 도표식평정척도법(Rating Scale Method)을 탈피하고 대신에 행위기준평정척도법(Behaviorally Anchored Rating Scales, BARS) 등을 도입하여야 할 것이다. 그렇게 됨으로써 평가지표가 보다 더 계량화되고, 평가척도 및 등급이 보다 더 객관적이 되어 인사고과 평정자간 신뢰도는 그 만큼 더 높아지게 될 것이다.
In the field of social science, it is very important to be confident about the reliability and validity of evaluation. The reliability of evaluation is generally divided into two dimensions, inter-rater reliability and reliability of the instrument. Inter-rater reliability is a measure of consistency and agreement between separate evaluators rating the same piece of behavior or situation. High levels of consistency and agreement indicate high inter-rater reliability. The purpose of this study is to review the inter-rater reliability of a performance appraisal system which is one of the most fundamental systems in Human Resource Management(HRM) in public corporation. As well, recommendations are made for establishing a sound performance appraisal system. The results of this study show that there was little inter-rater agreement. That is, inter-rater reliability was unacceptably low. To improve inter-rater reliability, we have to find ways to train evaluators so that their ratings are closer to each other. The results also imply that the Rating Scale Method should be less favored than the BARS(Behaviorally Anchored Rating Scales) to reduce rating errors. It is imperative to have a systematic understanding of a performance appraisal to maximize the effectiveness of HRM in the context of the new HRM paradigm.
