본 연구는 전수 대상 시행 이후의 국어과 국가수준 학업성취도 평가 검사지의 신뢰도와 타당도를 검토하고, 그 결과에 따라 검사지의 신뢰도와 타당도를 떨어뜨리는 문항의 특징을 분석하여 문항 개선점을 제시하는 것을 목적으로 한다. 이를 위하여 2008-2010년의 초, 중, 고 9개 국어과 검사 결과를 이용하여 신뢰도 계수 산출, 문항 제거 시 신뢰도, 문항 변별도, 요인분석을 통한 요인적재량을 검토하였다. 신뢰도 분석 결과, 9개 검사지의 신뢰도가 모두 높은 것으로 나타났다. 그리고 6개 검사지 중 8개 문항이 검사지의 신뢰도를 다소 떨어뜨리는 문항인 것으로 나타났다. 그리고 구인 타당도 분석 결과, 14개의 문항이 국어능력을 측정하는 것과는 거리가 있는 것으로 나타났다. 이렇게 검사지의 신뢰도를 떨어뜨리는 문항과 국어능력 측정 기능이 낮은 문항은, 공통적으로 해당 검사지의 문항들 중에서 변별도가 상대적으로 낮은 문항이라는 점을 발견하였다. 그리고 이러한 문항들은 모두 학습자가 정답을 확정하는 데 장애가 되는 요소가 있다는 특징을 추출하였다. 또한 정답 확정에 장애를 주는 원인을 네 가지 유형으로 분류할 수 있었다. 첫째, 문항에서 불충분한 정보가 제공되어서 학생들이 진위 여부를 확정하기 어려운 경우였다. 둘째, 불명확한 진술이나 혼동을 일으키는 내용이 포함되어서 학생들이 진위 여부를 확정하기 어려운 경우였다. 셋째, 학습자 수준을 상회하는 어려운 요소 때문에 학생들이 정답을 확정하기 어려운 경우였다. 넷째, 언어 양식(음성 언어)의 처리 방식에 적합지 않은 내용으로 구성되어서, 학생들이 정답을 확정하는 데 무리가 따른 문항들이었다.

This study examines the reliability and the validity of the Korean National Assessment of Educational Achievement (NAEA) tests since they began to be administered nationwide. In addition, it suggests some improvements to item development by analyzing those characteristics of the items that lower the reliability and the validity of the test. Using the data from 2008～2010 elementary, middle, and high school Korean NAEA tests, the reliability coefficient (Cronbach`s alpha), Cronbach`s alpha if item deleted, item discrimination, and factor loadings by factor analysis were examined. The results showed that the internal consistency of all the Korean NAEA tests was high：eight items from six of the nine tests lower the Cronbach`s alpha. Also, fourteen items from the nine tests had low factor loadings; that is, the correlation coefficients between the items and the factor (Korean ability). These items had both relatively low item discrimination in common and factors which distracted students from answering correctly. These items can be categorized into four types：first, they have limited information；second, they have imprecise statements and ambiguous content；third, they have inappropriate difficulty levels for the students to whom they are administered；and fourth, they have improper factors for the language style；any and all of these may mislead students into answering incorrectly.