Título del vídeo: How ETS Develops Test Questions

Personas en este vídeo

Barbara Wiener - Gerente de desarrollo de exámenes

Jerry Bicknell - Desarrollador de exámenes

Willisa Roland - Revisora de imparcialidad y Gerente de desarrollo de exámenes

Bernadette Gur - Correctora

Rochelle Michael - Estadística

Introducción

[reproducción de música]

Barbara Wiener (Gerente de desarrollo de exámenes): Crear un examen implica diferentes tareas. No es solo una persona quien prepara el examen, sino que trabajan diferentes desarrolladores de exámenes. Son personas capacitadas en imparcialidad. Son correctores que examinan las preguntas; estadísticos que analizan el examen. Es decir, es un gran proceso desde el principio hasta el final para que el examen sea exitoso.

En pantalla:
Crear marco
Formatos de preguntas ("puntos"): opción múltiple, completar el espacio en blanco, ensayo, otros formatos, evaluación de rendimiento
Hacer el plan

Narrador: Cada parte del proceso de creación de un examen es un esfuerzo conjunto. El primer paso generalmente implica un comité de clientes, de expertos en contenidos y otros interesados que brindan un marco, una descripción del propósito de la evaluación, y de quiénes y qué deben evaluarse. El marco también especifica los formatos de las preguntas o puntos, como a menudo se las llama, así como si el examen se ofrecerá en papel, en computadora o de ambos formatos.
Una vez que se tiene el marco como guía, el siguiente paso es el plan, o la especificación detallada de cada pregunta que aparecerá en el examen. Se pueden crear diferentes formatos o versiones del examen a partir de un mismo plan.

Barbara Wiener: Es como un rompecabezas gigante. Tiene todas estas pequeñas piezas que deben encajar, cada pregunta de examen tiene su pequeño lugar en el plan, y queremos que pueda replicarse. En otras palabras, es bastante detallado y bastante descriptivo.

En pantalla:
Redactar las preguntas

Narrador: El plan guía a los redactores de preguntas, quienes, en su mayoría, tienen años de experiencia en la enseñanza a personas que van a rendir exámenes en su materia.

Jerry Bicknell (Desarrollador de exámenes): Generalmente, tengo la idea básica de lo que deseo preguntar, a lo que le llamamos la raíz del punto, y, por supuesto, la respuesta correcta. Solo debe haber una posible respuesta correcta. Luego, la parte más difícil surge con lo que llamamos los distractores, es decir, respuestas que el alumno que no sabe encuentra atractivas por el motivo incorrecto.

En pantalla:
Pregunta: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
Respuesta: (B) 72

Narrador: El objetivo es obtener información precisa sobre el conocimiento y las habilidades de quienes rinden el examen.

Jerry Bicknell: Creo que muchas personas y algunos docentes incluso tienen esta filosofía de "Los voy a confundir con esta pregunta. Voy a hacer una pregunta tan difícil que nadie va a poder contestarla", y ese no es nuestro objetivo. El objetivo es redactar una pregunta que nos proporcione información sólida sobre los alumnos y lo que ellos saben.

En pantalla:
Revisión de contenido

Narrador: Luego, otros desarrolladores de exámenes revisan la pregunta para determinar la precisión de la respuesta correcta y para garantizar que ninguno de los distractores sea correcto para cualquier interpretación posible de la pregunta. Los revisores también confirman que el punto coincida con el plan del examen.

En pantalla:
Pregunta: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
Respuesta: (B)* 72
*correct number must be a multiple of 6
a= number of adults
5a=number of children
6a=total number of people

En pantalla:
Revisión de la imparcialidad

Narrador: Todos los desarrolladores de exámenes se capacitan con las guías de imparcialidad de ETS. Además, revisores de imparcialidad especializados analizan cada pregunta para asegurarse de que no existan sesgos.

Willisa Roland (Revisora de imparcialidad y Gerente de desarrollo de exámenes): Si una persona tiene una habilidad particular, queremos asegurarnos de que la pregunta de examen evalúe esa habilidad particular y nada más. No se trata solamente de no ofender a nadie. Si una pregunta de examen es injusta, no es realmente útil para la persona que está rindiendo ni para quien utiliza esa calificación para tomar una decisión. Por lo tanto, es muy importante asegurarnos de que todos tengan las mismas oportunidades de demostrar sus verdaderas habilidades y capacidades.

En pantalla:
Revisión editorial

Narrador: El siguiente paso es la revisión editorial.

Bernadette Gur (Correctora): En realidad, hay muchísimas pautas que tenemos que aplicar a cada pregunta. La pregunta debe ser lo más clara y concisa posible. Buscamos claridad. Buscamos solidez editorial. Buscamos uso. También buscamos varios aspectos que son específicos del programa, lo que significa que ciertos programas tienen frases y matices que son específicos de ese programa y que deben aplicarse. Por lo tanto, hay muchas consideraciones que deben tenerse en cuenta cuando se revisa una pregunta. Suena sencillo, pero puede ser bastante complicado.

En pantalla:
Pregunta: Which of the following is most directly involved in controlling sugar?

En pantalla:
Revisión de los interesados

Narrador: Los interesados tienen diferentes oportunidades de revisar las preguntas antes de que sean incluidas en el examen, además de todas las revisiones efectuadas por los expertos de ETS.

Barbara Wiener: Nadie envía una pregunta para su revisión hasta estar realmente satisfecho con cómo luce, y de esa manera obtenemos muy buenas opiniones.

En pantalla:
Prueba piloto

Narrador: Para determinar cómo funciona una nueva pregunta con las personas que rinden el examen, el siguiente paso es hacer una prueba piloto seguida de una revisión estadística.

Rochelle Michael (Estadística): Durante la prueba piloto, se imparten preguntas del examen a pequeños grupos de personas para ver cómo funcionan estos puntos en cuanto a propiedades psicométricas, propiedades estadísticas, dificultad, cuán buena es la distinción entre quienes tienen un alto y un bajo desempeño, para saber si funciona igualmente bien en diferentes grupos. Puedo mirar y decir, «No está funcionando como nos gustaría», y tomo notas sobre eso y se las envío a los desarrolladores de exámenes para que puedan opinar sobre el contenido y ver por qué el punto del examen está funcionando de ese modo.

En pantalla:
Listo para usar

Narrador: Una pregunta debe cumplir con estrictas normas y aprobar todas las revisiones antes de aparecer finalmente en un examen de ETS.

Barbara: Tomamos todas las preguntas con seriedad. Tomamos todos los exámenes con seriedad.

Bernadette: Esa es realmente nuestra misión: brindar evaluaciones sobresalientes a candidatos de todo el mundo.

Willisa: Uno de los objetivos importantes de ETS es la verdadera imparcialidad y darles a todos una oportunidad equitativa.

Jerry: Mi principal motivación es siempre crear la mejor pregunta posible para que sea equitativa para todos los alumnos.

Rochelle: Es muy satisfactorio saber que cuando un alumno rinde una evaluación en la que he trabajado, tiene en sus manos una buena evaluación.

Barbara: Estamos influyendo en la vida de las personas; por lo tanto, queremos asegurarnos de hacer lo correcto.

Duración total del video: 5:59.