평가 문항 제작 시 유의 사항

문항의 개발 원리

전국연합학력평가와 같은 평가는 교육 과정에 근거하여 개발된 교과목별 성취 기준에 도달한 정도인 학업 성취 수준을 평가하는 성취 평가제의 성격을 지닌다. 성취 기준은 각 교과목에서 학생들이 학습을 통해 성취해야 할 지식, 기능, 태도의 능력과 특성을 진술한 것으로 학생이 무엇을  공부하고 성취해야  하는지, 교사가  무엇을 가르치고 평가해야 하는지에 대한 실질적인 지침을 제공한다. 따라서 평가 문항 개발 시 학생들의 성취 기준의 도달 정도를 측정하는 평가가 될 수 있도록 교수ㆍ학습 및 평가의 준거로 성취 기준을 활용해야 한다. 이러한 점을 바탕으로 다음과 같은 평가 문항의 개발 원리를 고려해야 한다. 

1. 성취 기준 내용과 행동 특성에 부합하는 문항을 출제한다.
2. 성취도를 구별할 수 있는 문항을 구성한다.
3. 학생들이 무엇을 알고, 무엇을 할 수 있는지에 대한 구체적인 분석을 통해 학생의 학습 향상에 필요한 정보를 제공하는 것을 목적으로 출제한다.
4.  단순 암기 위주의 문항이나 변별도를 높일 목적으로 중요하지 않은 주변 내용과 관련된 
   문항을 출제하는 것을 지양한다. 

나. 좋은 문항에 대한 이해 

문항을 제작하기 전에 어떠한 문항이 좋은 문항인지, 그렇지 못한 문항의 특성은 무엇인지 등에 대해 이해할 필요가 있다. 필요 이상으로 어려운 단어, 불필요하게 복잡한 문장 구조, 모호하거나 두서없이 기술된 문장, 불분명하게 제시된 자료, 일관성이 부족하거나 적절하지 못한 제시문, 성별 및 종교 등에 대한 내용적 편파성으로 인해 논란의 여지가 있는 문항은 좋지  못한  문항이다.  출제자는  이러한  문제들에  유의하면서  복합적인  요소들을  고려하여 좋은 문항 제작을 위해 노력해야 한다. 제작한 문항이 좋은 문항인지를 판단하는 기준은 다음과 같다.

1.  문항  내용이  측정하고자  하는  내용과  얼마나  일치하느냐  하는  점이다.  문항  내용과 측정  목적의  일치성 여부  확인은  문항 제작자가  가장  먼저 고려하여야  할  점이다. 문항들이 측정하고자 하는 내용을 담고 있을 때, 검사의 타당도가 높아진다.
2. 문항  내용이  복합성을  지녀야  한다.  복합성이란  의미는  질문의  내용이  단순  기억에 의한  사실보다는  측정하고자  하는  고등  사고  능력인  분석,  종합,  평가  등의  능력을 측정할 수 있는 문항이어야 한다는 것이다. 
3. 문항 내용의 요약 성을 들 수 있다. 문항은 열거된 단순 사실만을 질문하는 것이 아니라 열거된  사실들을  요약하고  일반화,  나아가  추상화시킬  수  있는  내용을  포함하여야 한다.
4. 문항의 참신성이다. 내용 측면이나 형식 측면에서 기존에 출제된 형태의 문항을 그대로 따르기보다는 새로운 내용, 형식 등을 고민하여 문항을 제작할 필요가 있다. 
5. 문항이 구조화되어야 한다. 이는 문항의 체계성을 의미하는 것으로서 질문이 모호하지 않으며 구체화되어야 한다.
6. 문항의 난이도가 적절하여야 한다. 물론 학업성취도 평가의 특성상 다양한 난이도의 문항이 포함되어야 하지만 제작한 문항이 문항 제작 시 의도한 대로 적절한 난이도로 출제되었는지를 주의 깊게 고려하여야 한다. 때로는 검사 도구에 포함시킬 이유가 없는 매우 어렵거나 쉬운 문항들이 제작되어 변별도를 낮추는 경우가 있다.
7. 문항은 학습 동기를 유발할 수 있어야 한다. 교육 평가를 통해 학생들이 학습 목표 도달을 성취하였음을 확인하고, 이를 통해 학생들의 학습 동기가 유발될 수 있는 것은 평가  도구의  잠재적이지만  가장  교육적인  성취일  것이다.  그러므로  학습  동기를 유발하고 학생들이 교과에 흥미를 가질 수 있는 문항을 제작하는 것도 중요하다.

바람직하지 않은 문항

• 정답에 대한 이의 제기, 혹은 복수 정답 가능성이 있는 문항
• 부정확한 지식 정보가 포함되거나 모순되는 내용으로 선택지를 구성한 문항
• 지엽적인 내용이나 특수한 이론, 특정 세계관을 강요하는 문항
• 출제자의 개인적 가치관, 판단, 신념, 궤변 등을 바탕으로 하는 문항
• 문제 풀이의 과정이 지나치게 복잡하여 많은 시간이 소요되는 문항
• 문제 풀이에 불필요한 그림, 도표, 그래프, 제시문 등을 포함하여 시간을 소요하게 하는 문항
• 어법상 어색하거나 틀린 문장이 포함된 문항
• 언어 사용이 너무 특이하거나 부자연스럽고, 비속어를 구사한 문항
• 지문, 발문을 읽지 않아도 답할 수 있거나, 일부분만 보고도 답을 찾을 수 있는 문항
• 선택지의 분석만으로도 정답을 찾을 수 있는 문항
• 시험을 치르는 기술, 훈련에 의해 기계적으로 답을 찾을 수 있는 문항
• 원문을 과도하게 손질하여 원문의 가치가 훼손된 문항
• 깊이 생각할 필요도 없이 단편적 지식의 암기만으로도 답을 찾을 수 있는 문항
• 발문이 불분명하여 수험생에게 혼란을 주거나 오해를 불러일으킬 수 있는 문항

반응형

다. 평가자의 전문성

평가 문항의 질을 향상시키기 위하여 평가에 대한 전문성을 가진 교사들이 평가에 참여하여야 하며, 이를 위해 기본적인 평가  이론의 숙지가  필요하다. 또한  문항을 제작하는  데 있어 지속적인 노력과 훈련, 시간의 투입, 경험의 축적 등을 통해 좋은 평가 문항을 제작할 수 있는 능력을  함양하는 평가자의 전문성이 필요하다. 검사의 질은  문항 제작자의 능력에 
비례한다고 할 수 있으므로 양질의 검사, 세부적으로 좋은 문항을 제작하기 위해서는 다음과 같은 능력들이 평가자에게는 필요하다.

1. 교육 목표와 교과 내용, 교육 과정에 대한 충분한 이해가 있어야 한다. 즉, 학생이 무엇을 알아야 하고, 무엇을 잘못 알고 있는지를 파악해야 한다. 또 평가 문항이 가르친 내용과 교육 과정의 중요한 내용을 제대로 포함하고 있는지를 유념해서 문항을 제작해야 한다.
2. 교수ㆍ 학습 이론과 인지 심리학에 대한 이해가 필요하다. 교수ㆍ학습에서 학습자가 어떤 내용을 이해하는 전략과 문제를 해결하는 전략 등은 학습 이론이나 정보 처리 과정에 기인하는 인지 심리학에 의하여 설명된다. 즉 이러한 이해를 바탕으로 수험생의 고등 정신 능력을 측정할 수 있어야 한다.
3. 수험생 집단의 특성을 잘 알고 있어야 한다. 학습 발달 수준뿐만 아니라 그들이 사용하는  어휘 수준 및 독해력 정도를 파악해야 그 집단에 적절한 문항을 제작할 수 있다. 특히 질문의 답을 알고 있는데도 질문의 어휘 수준이 너무 높아 질문을 이해하지 못하여 답을 틀리지 않도록 해야 한다. 
4. 문항 제작 방법을 숙지하여야 한다. 문항의 종류와 각기 다른 문항 유형에 따른 특징과 장단점, 그리고 구체적인 문항 제작 방법을 이해하여야 한다. 문항 유형은 측정의 목적에  따라 다양한 유형의 문항을 선택할 수 있다. 그러므로 설명된 문항 유형의 종류와 각 문항 유형의 장단점, 그리고 제작 요령의 세부 절차도 숙지하여야 한다.
5. 검사 이론을 숙지하여야 한다. 출제한 문항의 적절성을 평가하기 위한 문항 분석 방법, 즉 검사 이론으로서 고전 검사 이론과 문항 반응 이론을 숙지하여야 한다. 문항 난이도,  문항  변별도,  문항  타당도  그리고  신뢰도가  무엇인지  이해하여야  한다.  특히 선다형  문항에서  답지의  매력도를  분석하여  문항의  난이도를  조절하는  방법을  알아야 한다.
6. 문항 제작 시 출제자는 자신의 아이디어를 언어라는 매개체를 통해 간결ㆍ명확하게 글로 표현할 수 있을 때, 그 문항은 제대로 된 역할을 하게 된다. 질문의 내용을 간결하고  명확하게  글로  표현하는  연습을  해야  한다.  산만하고  긴  문체는  자칫하면 질문의 요지를 잃게 하여 검사 도구의 신뢰도를 저하시키는 원인이 된다. 
7. 풍부한 문항 제작과 검토 경험을 가지는 것이 필요하다. 문항을 제작ㆍ분석하고 수정ㆍ 보완하는 경험을 통해 좋은 문항 나아가 새롭고 참신한 문항을 제작할 수 있다.
8. 문항을 제작할 경우 동료들에 의한 이의 제기뿐만 아니라 문항 검토자들에 의하여 다른 의견이  제시될  수  있고  검사가  실시된  후에는  수험생들로부터  이의가  제기될  수도 있다.  그러므로  문항  제작  과정  및  이후에도  다양한  의견들을  수용하여  문제점을 분석하는 태도를 지녀야 한다.
9. 성별, 인종, 직업, 사회 계층 등에 관한 편견을 지니고 있지 않아야 한다. 인종적 우월 의식, 성별에 따른 고정관념, 직업에 대한 편견 등을 지니고 있으면 은연중에 특정 집단에게 유불리한 문항을 제작할 수 있으며 문제의 소지가 발생할 수 있다.