동영상 제목: How ETS Develops Test Questions

이 동영상의 등장인물

Barbara Wiener - 출제 관리자

Jerry Bicknell - 출제자

Willisa Roland - 공정성 평가자 겸 출제 관리자

Bernadette Gur - 편집자

Rochelle Michael - 통계학자

머리말

[음악]

Barbara Wiener(출제 관리자): 시험 문제를 만드는 데에는 여러 단계의 작업이 필요합니다. 문제 출제는 한 사람이 혼자서 하는 것이 아니라 여러 출제자가 함께 문제를 만듭니다. 출제자는 공정성에 대한 교육을 받습니다. 편집자는 문제의 내용을 살피고 통계학자는 시험을 분석합니다. 따라서 성공적인 시험 문제를 만들려면 처음부터 끝까지 방대한 절차를 거쳐야 합니다.

화면:
기본 구조 만들기
문제("문항") 형식: 객관식, 빈 칸 채우기, 에세이, 기타 형식, 능력 평가
청사진 만들기

해설자: 출제 과정의 모든 부분은 팀워크로 이루어집니다. 첫 번째 과정에서는 고객, 컨텐츠 전문가, 기타 이해 관계자 등이 참여하여 기본 구조, 평가 목적에 대한 요약, 시험 대상 및 시험 내용 등을 제공합니다. 기본 구조를 통해서 문제 또는 문항의 형식을 결정하고 시험을 지필고사 방식, 컴퓨터 또는 둘 다의 형식으로 실시할지를 정하게 됩니다.
기본 구조를 지침으로 하여 다음 단계에서는 시험에 나올 모든 문제의 상세 내역인 청사진을 만듭니다. 동일한 청사진에서 시험의 형식이나 버전을 다양하게 만들 수 있습니다.

Barbara Wiener: 마치 작은 그림 퍼즐 같아요. 작은 조각들이 서로 맞아야 하듯이 모든 시험 문제가 청사진의 일부이며 이것을 반복적으로 사용하려고 해요. 따라서 상당히 세부적이고 서술적인 작업이에요.

화면:
쓰기 문제

해설자: 청사진은 해당 과목을 몇 년 동안 가르친 경험이 있는 출제자들에게 지침이 되어줍니다.

Jerry Bicknell(출제자): 일반적으로 어떤 것을 문제로 낼지 기본적인 아이디어를 생각하여 문항의 줄기 부분인 문제와 정답을 생각해 내지요. 하나의 정답만 존재해야 합니다. 그 다음의 어려운 절차는 방해꾼들과 정답을 생각해 내는 것인데, 출제 의도를 파악하지 못한 학생들이 정답의 진짜 매력을 금방 알아내지 못하게 합니다.

화면:
문제: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
답변: (B) 72

해설자: 출제 목적은 응시자의 지식과 능력에 대한 정확한 정보를 얻는 것입니다.

Jerry Bicknell: 많은 사람들과 일부 교사들은 학생들에게 특정 시험 문제를 꼭 내야겠다는 철학을 가지고 있는 경우가 있습니다. 아무도 대답할 수 없는 정말 어려운 문제를 출제하겠다는 것은 EST의 의도가 아닙니다. 중요한 것은 학생들에 관한 그리고 학생들의 지식에 관한 믿을 만한 정보를 알려줄 수 있는 문제를 출제하는 것입니다.

화면:
내용 검토

해설자: 그 다음 문제를 다른 출제자들이 검토하여 정답의 정확성을 확인하고, 문제를 다양하게 해석해도 방해꾼들이 정답이 될 수 없도록 합니다. 검토자들은 또한 문항이 시험 청사진과 일치하는지도 확인합니다.

화면:
문제: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
답변: (B)* 72
*correct number must be a multiple of 6
a= number of adults
5a=number of children
6a=total number of people

화면:
공정성 평가

해설자: 모든 출제자는 ETS의 공정성 지침에 대해 교육을 받습니다. 또한 전문적인 공정성 평가자들이 각 문제를 면밀히 검토하여 편견이 없는지 확인합니다.

Willisa Roland (공정성 평가자 겸 출제 관리자): 어떤 사람에게 특정 능력이 있다면 시험 문제에서 해당 능력만을 시험하고 다른 것은 시험하지 않도록 합니다. 이것은 단순히 누군가에게 불쾌감을 주지 않으려는 것과 다릅니다. 시험 문제가 공정하지 않을 경우, 시험 응시자 또는 시험 점수로 의사결정을 하는 사람에게 유용한 문제가 될 수 없습니다. 따라서 모든 사람들이 자신의 진정한 지식과 능력을 보여줄 기회를 가지도록 하는 것이 매우 중요합니다.

화면:
감수

해설자: 다음 단계는 감수입니다.

Bernadette Gur(편집자): 사실 모든 시험에는 적용해야 하는 지침이 매우 많습니다. 시험 문항은 최대한 깔끔하고 분명해야 합니다. 저희는 명확성을 중시합니다. 저희는 편집상의 건전성을 추구합니다. 또한 유용성도 추구합니다. 프로그램의 고유한 특성도 추구하는데 특정 프로그램은 독특한 표현이나 미묘한 의미를 내포해야 합니다. 따라서 문항을 편집할 때 다양한 점을 고려합니다. 정말 간단해 보이지만 상당히 복잡한 작업입니다.

화면:
문제: Which of the following is most directly involved in controlling sugar?

화면:
이해관계자 검토

해설자: 이해관계자는 ETS 전문가가 모든 검토를 마친 후 시험에 참여하기 전에 문제를 검토할 기회를 몇 차례 가집니다.

Barbara Weiner: 특정 문항이 완전해 보일 때까지 해당 문항을 통과시키지 않는데 이러한 방식으로 철저하게 검토를 하고 있습니다.

화면:
예비 응시

해설자: 다음 단계에서는 새로운 문제를 실제 응시자들이 어떻게 풀지 확인하기 위해 예비 응시를 하고 통계적 검토를 합니다.

Rochelle Michael(통계학자): 예비 응시 과정을 통해 소규모 응시자 그룹에게 시험 문항을 주고 심리 테스트 특성, 통계학적 특성, 난이도, 다양한 능력 레벨을 차별화하는 기능, 다양한 그룹에게 동등하게 효과적인 문항인지의 여부 등을 확인합니다. 저의 경우 검토 후 예상보다 유용한 문제가 아니라는 결론을 내리고 메모를 한 후 출제자들에게 전달하여 문항이 특정 방식으로 작용할 수 있는 이유에 대해 검토할 수 있도록 합니다.

화면:
사용 준비

해설자: 문제가 ETS 시험에 최종적으로 포함되려면 엄격한 표준을 준수해야 하고 모든 검토 과정을 통과해야 합니다.

Barbara: 우리는 모든 시험 문제를 중요하게 생각해요. 모든 시험도 중요하게 생각하지요.

Bernadette: 전 세계 응시자들에게 최고의 시험 문제를 제공하는 것이 우리의 사명입니다.

Willisa: ETS의 중요한 목표 중 하나는 모든 사람에게 공정한 기회를 제공하는 것입니다.

Jerry: 나에게 항상 동기부여가 되어주는 모든 학생들에게 공정한 최고의 문항을 만든다는 것이에요.

Rochelle: 학생이 응시하러 와서 내가 만든 문제를 풀고 훌륭하게 평가를 마쳤다는 것을 알게 되면 정말 보람을 느껴요.

Barbara: 우리는 사람들의 인생에 영향을 주고 있으니까 올바른 일을 하고 있는지 항상 확인해야 해요.

총 비디오 재생 시간: 5:59