이 연구의 목적은 제시된 쓰기 과제 조건의 부합 여부에 따른 평가 결과의 차이를 분석하는 것이다. 이를 위해 예비 국어교사 35명을 대상으로 하여, 고등학생이 쓴 글 50편을 채점하도록 하였다. 예비 국어교사가 채점한 글에는 과제 조건에 부합하지 않는 글 13편이 포함되어 있었다. 연구 결과, 쓰기 과제 조건 부합 여부에 따른 평가 결과에는 유의한 차이가 나타났다. 예비 국어교사들은 쓰기 과제에 부합하는 글은 쓰기 과제에 부합하지 않는 글보다 관대하게 평가하였다. 특히, 쓰기 과제에 부합하는 글은 내용면에서 관대하게 평가되었으며, 쓰기 과제에 부합하지 않는 글은 내용면에서 엄격하게 평가되었다. 또한 적합한 평가자라 하더라도 과제 조건에 부합하는 글과 그렇지 않은 글을 엄격하거나 관대하게 평가하는 편향이 나타나기도 한다. 그러므로 쓰기 과제 조건에 부합되지않는 글을 포함하여 평가하는 것은 평가자 오차를 높이는 요인이 될 수 있다. 이 연구를 통한 제언은 다음과 같다. 첫째, 쓰기 과제 조건의 부합 정도에 따라 점수가 다르게 부여되어야 한다. 둘째, 다수의 평가자가 학생의 수행을 평가하여 성적에 반영하는 경우에는 통계적 처치를 통해 평가자 효과 조정이 필요하다. 셋째, 과제의 조건을 파악하는 것이 국어과 교육과정이나 교과서에 명시되어야 한다.
The aim of this paper is to analyze differences of ratings according to whether the writing meet the given task requirements or not. In order to do so, 35 pre-service Korean language teachers rated 50 essays of writing samples including 13 writing samples that did not meet the task requirement. The results show that there were significant distinctions between the ratings according to whether the requirements were met or not; pre-service korean teachers rate the writing meet the given task requirement relatively leniently Specifically, in terms of contents, the essays which met requirements were rated very generously while the rest which did not meet requirements were rated severely. Moreover, even fit raters can be biased either being too generous or too strict according to whether the writing meets the task requirement or not. Therefore, including writings which do not meet the task requirement in the assessment can be one of the factors that cause rater errors. This study gives three implications. First, raters should give different marks according to the extent that the writings meet the task requirement. Second, when many raters evaluate a student’s performances, the statistical treatment is required in order to adjust the rater effects. Last but not least, it should be specified catching the task requirement in the Korean curriculum or textbook.