이 연구는 직접 쓰기 평가에서 쓰기 평가의 신뢰도를 개선하고, 이를 바탕으로 하여, 학교 단위 쓰기 평가의 신뢰도를 높이고, 나아가 대단위쓰기 평가의 적용 가능성을 높이기 위해서 온라인 쓰기 채점자 훈련 프로그램을 제안하였다. 또한 이에 따라 온라인 쓰기 채점자 훈련 프로그램의 모형과 절차를 구안하였다. 온라인 쓰기 채점자 훈련 프로그램은 개별 채점자의 채점 정보를 구체적으로 제공함으로써 채점자 스스로 교정적 피드백을 할 수 있는 프로그램이다. 이 때에 제공할 수 있는 채점정보로는 첫째, 전문 채점자의 채점 결과와의 일치도 정보, 둘째, 채점자의 엄격성, 일관성, 편향성 정보, 셋째, 채점자의 채점 척도 활용 양상, 넷째, 채점 분량 변화에 따른 채점 일관성 변화 정보이다. 쓰기 채점자훈련 방법을 마련하고 이를 검증하는 연구는 지속적으로 수행되어야 하고, 이를 통해 쓰기 평가의 신뢰성을 개선하려는 노력이 절실하게 요구된다.

This paper aimed to suggest on-line rater training program for improving writing rater reliability and making higher the possibility that large scale writing assessment put into operation in Korea. For this, this paper suggested the model and process of on-line rater training program. On-line rater training program offer rater characteristics information affecting the reliability of writing scoring. Writing rater characteristics are these: inter-rater agreement, rater severity, rater consistency, rater bias, aspect of using rating scale and change of rater consistency. From these discussion it can be suggested that writing rater training programme for Korean language teachers should be reflecting their rater characteristics and feedback them for improving rater reliability.