angle-up angle-right angle-down angle-left close user menu open menu closed search globe bars phone store

시험 및 시험 문제 개발 방법

ETS는 필요한 지식과 능력을 정확하게 측정하고 모든 응시자들에게 공정한 최고 품질의 평가를 개발합니다. ETS는 공정하고 타당성 있으며 신뢰할 수 있는 시험을 만드는 것이 여러 번의 확인과 수정을 포함한 복잡한 과정임을 알고 있습니다.

그렇기 때문에 시험 전문가, 시험 검토자, 편집자, 교사 및 해당 과목이나 시험 중인 능력의 전문가를 포함하는 수십 명의 전문가들이 모든 시험 문제 또는 "시험 문항" 개발에 참여하고 있습니다. 이러한 점이 바로 모든 문제(또는 "문항")가 여러 번의 엄격한 심사를 거치고 시험 업계에서 품질과 공정성 면에서 최고의 표준을 충족하는 이유입니다.

ETS가 어떻게 공정하고 의미 있는 시험과 시험 문제를 만드는지 알아보려면 짧은 동영상을 확인하십시오(Flash, 5:59).

지금 보기(영어)>
트랜스크립트 보기>

다음은 ETS의 과정을 보다 잘 이해하는 데 도움이 되는 새로운 시험을 개발할 때 ETS가 택하는 주요 단계입니다.

1단계: 목표 정의

교육자, 면허 위원회 또는 전문인 협회가 특정 능력 또는 지식을 측정하기 위한 필요 사항을 확인합니다. 이러한 필요성에 부응하는 시험을 개발하기로 결정을 내리면 시험 개발자는 몇 가지 기본적인 질문을 합니다.

  • 누가 시험을 치루며 어떤 목적인가?
  • 어떤 능력 및/또는 지식 분야를 시험해야 하나?
  • 응시자가 그들의 지식을 어떻게 사용할 줄 알아야 하나?
  • 어떤 종류의 문제가 포함되어야 하나? 각 종류는 몇 가지나 되나?
  • 수험 시간은 얼마나 걸려야 하나?
  • 시험은 얼마나 어려워야 하나?

2단계: 문항 개발 위원회

1단계에서 문제에 대한 답안은 보통 문항 개발 위원회의 도움으로 완료되며 이들은 일반적으로 후원 기관이나 협회의 안내에 따라 ETS가 임명한 교육자 및/또는 기타 전문가들로 구성됩니다. 문항 개발 위원회의 책임:

  • 시험 목표 및 설명서 정의
  • 시험 문제가 편향되지 않도록 도움
  • 시험 양식(예: 객관식, 에세이, 구성된 응답 등) 결정
  • 보충 시험 자료 고려
  • ETS 직원이 작성한 시험 문제 또는 시험 문항 검토
  • 시험 문제 작성

3단계: 문제 작성 및 검토

ETS 직원이나 문항 개발 위원회가 작성한 각 시험 문제는 수많은 검토와 수정을 거쳐 가능한 분명하고 시험에 제공되는 선택지 중 단 하나의 정답만 있도록 하며 시험 전반에 걸쳐 사용된 스타일 규칙에 따르도록 합니다. 단답형 답안, 에세이, 구두 응답과 같은 개방형 응답에 대한 채점 지침도 유사한 검토를 거칩니다.

4단계: 사전 시험

문제가 작성되고 검토된 후 많은 경우 시험을 치르게 될 집단에 유사한 샘플 그룹이 사전 시험을 보게 됩니다. 결과를 통해 시험 개발자는 다음을 결정할 수 있습니다.

  • 각 문제의 난이도
  • 문제가 애매하거나 오해의 소지가 있는지 여부
  • 문제가 수정되거나 삭제되어야 하는지 여부
  • 틀린 대체 답안이 수정되거나 교체되어야 하는지 여부

5단계: 공정하지 않은 문제 검출 및 삭제

엄격한 ETS Standards for Quality and Fairness(영어) 지침을 충족시키려면 교육된 검토자가 신중하게 각 개별 시험 문제, 전체 시험 및 모든 설명 또는 준비 자료를 검사하여 일반적으로 시험을 치르는 집단의 하위 그룹에 대한 성차별적, 인종 차별적 또는 부적절하거나 공격적인 것으로 간주되는 말, 상징, 단어, 문구 및 내용을 삭제하도록 해야 합니다.

ETS 통계학자는 또한 유사한 지식 또는 능력을 보여준 두 그룹의 응시자들이 차별 문항 기능(DIF)이라고 불리는 과정을 통해 시험에서 다른 성취도를 보여준 문제를 식별할 수 있습니다. 한 그룹이 특정 문제에서 다른 그룹에 비해 지속적으로 더 좋은 성취도를 보여준 경우, 그 문제는 추가 검토를 받고 편향적이거나 만족스럽지 못한 것으로 간주될 수 있습니다. 참고: 다른 그룹에 있는 사람들이 실제로 관련 지식이나 능력의 평균 수준에서 차이가 있는 경우 공정한 시험 문제는 이 차이를 반영하게 됩니다.

6단계: 시험 조합

시험이 조합된 후 다른 전문가, 위원회 회원 및 때로는 외부 전문가가 검토를 하게 됩니다. 각 검토자는 모든 문제에 독립적으로 답을 하고 시험 개발자에게 정답 목록을 제출합니다. 목록은 ETS 답안과 비교하여 의도한 답이 실제로 정답인지 확인합니다. 모든 불일치 사항은 시험이 출간되기 전에 해결됩니다.

7단계: 시험이 시행된 후에도 시험 문제가 기능적으로 적절한지 확인

시험이 시행된 후에도 통계학자 및 시험 개발자는 시험 문제가 의도된 대로 작용하는지를 검토합니다. 최종 채점을 하기 전에 각 문제는 예비 통계 분석을 거치며 그 결과는 문제별로 검토됩니다. 시험 문제에 혼동스러운 답안이 있는 등 문제가 검출될 경우, 최종 채점 및 점수 보고를 하기 전에 문제를 채점하지 않는 등 수정 조치가 취해집니다.

시험은 또한 신뢰성 심사를 거치게 됩니다. 한 시험 버전에 대한 성취도를 통해 다른 시험 버전에 대한 성취도를 합리적으로 예측할 수 있어야 합니다. 신뢰도가 높을 경우 결과는 응시자가 어떤 버전을 완료하든 유사할 것입니다.

Promotional Links

관심이 있을 만한 부분...