이 연구는 작문 평가에서 교수자 한 사람의 평가 결과가 얼마나 신뢰할만한 것인가라는 물음에서 시작되었으며, 평가자에 따라서 작문 평가 결과가 얼마나 달라지는지 알아보고자 하였다. 이를 위해 대학생들이 작문 과제로 제출한 다섯 편의 글을 여러 평가자들에게 10점 만점으로 채점하고 총평을 써줄 것을 의뢰하였다. 평가자들은 크게 비전문가 집단과 전문가 집단으로 나누고, 비전문가집단은 다시 작문 교육에 대해 배운 적이 없는 대학 1학년 학생들과 국어교육과 4학년 학생들도 나누고, 전문가 집단은 중등학교 국어교사 집단과 작문을 지도하는 대학 교수 집단으로 나누어 평가 결과를 비교하였다. 조사 결과 비전문가 집단의 평가자간 신뢰도는 상당히 높게 나타난 반면 전문가 집단의 평가자간 신뢰도는 비교적 낮게 나타났고, 특히 대학 교수들의 평가자간 신뢰도는 매우 낮았다. 이를 통해 작문 교육에 관련된 지식이나 작문 평가의 경험이 많은 집단에서 오히려 평가자간 신뢰도가 낮게 나타날 수 있다는 사실을 확인하였다. 또한 평가자들의 총평을 비교해본 결과 동일한 글의 동일한 특징에 대해서 상반된 평가를 내리거나, 글에 대한 해석이 엇갈리는 경우들을 발견할 수 있었다. 이런 양상을 볼 때 평가자 간협의가 채점 결과의 합의를 위해서만 이루어 질 것이 아니라 평가자 사이의 해석의 공유와 충실한 피드백의 산출을 위해서도 수행될 필요가 있음을 알수 있었다.
The study began in the question of how reliable one teacher’s assessment in student’s writing. To see how writing assessment results vary depending on the evaluator, this research commissioned five articles which have written by college students to several evaluators and ask them to assess these articles on a 10-point scale with description. Evaluators were greatly divided into non-specialists groups and expert groups, non-specialist groups are also divided into the freshman group and fourth grade students whose major are Korean education group. Expert groups include Korean language teachers in the secondary school and the university professors who teach writing. As a result the inter-rater reliability of non-expert groups appeared significantly higher, while experts groups appeared relatively low, especially in the inter-rater reliability of university professors is very low. Rather in the group with lots of collective knowledge and experience of writing assessment, the inter-rater reliability could be lower. In comparison with evaluators’ descriptions, it was disclosed the fact that differing interpretations and conflict assessments could be submitted for the same features in the same article. Considering these aspects, discussion between evaluators required not only for agreement on scoring but also for sharing of interpretation and the faithful feedback.
