이 연구는 국어과 서술형 평가 도입과 관련하여 학교 현장에서 교사들이 어떻게 문항을 개발하고 채점을 하는지 사례를 통해 소개하였다. 평가에서 타당도와 신뢰도를 어떻게 확보하고 있으며 서술형 평가에 관한 교사들의 견해가 무엇인지를 살펴봄으로써 필요성 및 개선 방안에 관해 고찰하였다. 국어과 서술형 평가와 관련하여 평가 유형 및 평가 문항의 특성, 국어과 서술형 평가의 문항 개발 및 채점 방법의 절차를 살펴보았다. 연구 대상은 경기 부천여고 자연계 4개 반 140명으로 2011년 11월 15일 실시한 2학기 독서 과목 지필평가를 통해 학교 현장에서의 3학년 독서과 4명의 국어과 교사들이 실제로 국어과 서술형 문항 개발과 채점 과정의 절차를 사례에 주목하였다. 국어과 서술형 평가의 타당도 및 문항 변별도, 신뢰도를 파악하였다. 타당도와 관련하여 내용 타당도에서는 대체로 일반적인 문항 개발 절차에 따라 서술형 평가를 개발하면서 교과협의를 통한 문항 검토 및 수정 보완의 과정을 수행함으로써 확보하고 있다고 판단할 수 있다. 문항 변별도와 관련하여 선택형 및 서술형 문항의 정오답표를 분석하였다. 그 결과 선택형에 비하여 서술형 문항에서는 난이도를 조절하지 못한 문항은 발견되지 않아 문항의 변별력을 갖추고 있음을 확인할 수 있었다. 이와 함께 선택형 및 서술형 평가 결과 간의 상관분석 및 평가 결과를 바탕으로 하여 상하위 집단의 서술형 및 선택형 평가 결과의 차이를 분석하였다. 상관분석 결과는 .561로 상관이 있는 것으로 나타났다. 이는 선택형 및 서술형 문항이 공통적인 평가 요소를 공유한다는 점에서 상관이 나타난다고 할 수 있지만, 한편으로 각각의 문항 유형들이 지필평가의 틀 안에서 독립적인 역할을 수행하고 있음을 파악할 수 있었다. 이에 대한 근거로서 선택형 및 서술형 문항의 평가 결과가 상?하위 집단 간에 각각 유의한 차이를 보이고 있는 것을 제시할 수 있다. 이를 통해 평가의 구인타당도를 확보하고 있다고 할 수 있다. 평가의 신뢰도와 관련하여 교사들은 각자 출제한 문항에 대해 기본 답안 및 인정 답안을 하고 문항별로 1차 채점을 수행하였으며, 2차 채점을 통해 학생들의 다양한 답안 반응에 대해 정답 여부를 확인하는 협의 과정, 최종적으로 완료된 채점 결과를 학생들에게 설명하여 확인하는 절차를 통해 평가의 신뢰도를 확보하고 있다고 할 수 있다. 국어과 서술형 평가에 관한 교사들의 견해를 파악하기 위해 교과협의회 과정에서 면담을 실시하였다. 학교 현장에서는 평가의 타당성 및 필요성에 대해 공감하고 있지만 평가를 시행하는 단계에서 어려움을 겪는 것이 사실이다. 문항 개발 및 채점 방법에 대한 체계적인 이론화와 평가 업무 부담을 경감하는 방법에 대한 연구가 지속적으로 이루어질 필요가 있다.

This study introduces the development of test tools and scoring methods of Korean art essay assessment at high school. This research investigates how to ensure the validity and reliability in the assessment and teachers` interviews about its necessity and improvement. 140 patients at Bucheon Girls` High School conducted Reading art second semester final exam on Nov. 15, 2011. and 4 Reading art teachers carried out the development of test tools and scoring. This paper analyzed validity, item discrimination, reliability of Korean language essay assessment. Consequently, the assessment proved to have content validity through experts` reviews and item discrimination through the analysis of correct and incorrect answer table. It also proved to have construct validity through correlation analysis(.561) between multiple- choice test score and open-ended test score. and it had reliability through raters(teachers) performing consultation process about scoring. Finally, this research conducted the interviews during the teacher concil to understand the teachers` opinions about Korean language essay assessment. Teachers agreed to the necessity of the assessment, but they emphasized that the development of test tools and scoring method should be theorized systematically and the study of how to reduce assessment tasks should be conducted consistently.