이 연구에서는 중학생 논술 평가에서 나타나는 평가자의 평가 특성을 살펴보기 위해서 평가 과정에서 생성한 사고구술 프로토콜을 분석하였다. 또한 이러한 평가 과정 특성을 살펴보는 것이 FACETS 분석에 의한 평가 일관성 적합도 결과의 원인을 추측하는 데에 어떤 도움을 줄 수 있는 지를 살펴보았다. 평가 과정 특성별 점유율을 분석한 결과, 일관성 적합 평가자들은 부적합·과적합 평가자들에 비하여 세부적인 평가 근거를 제시하고 있었다. 또한 부적합 평가자와 과적합 평가자의 평가 과정 프로토콜을 기반으로 평가 과정을 분석함으로써 부적합과 과적합 경향의 원인을 추측하는 데에 도움을 받을 수 있다는 것을 알 수 있었다. 이러한 연구 결과는 향후 쓰기평가자 훈련 방법을 마련하는 것에 기여할 수 있을 것이다.

The purpose of this study is to analyze the characteristics of writing assessment process that affects on rater consistence. For that, the data from 6 raters` writing scoring analyzed using Rasch Measurement Model. After that, the writing assessment process analyzed using think-aloud protocol. The findings are these. First, consistence fit raters show lower nonevaluated comment than overfit·misfit raters. Second, consistence fit raters show higher specific comment than overfit·misfit raters. Third, consistence misfit rater affected by subjective impression strongly and overfit rater tend to use the scoring scales inappropriately.