Cómo se desarrollan los exámenes y las preguntas de examen

ETS desarrolla evaluaciones de la más alta calidad, que miden con precisión las habilidades y el conocimiento necesarios, y que son equitativas para todas las personas que las rinden. Comprendemos que crear un examen equitativo, válido y confiable es un proceso complejo que implica diversos controles cruzados.

Por ese motivo, docenas de profesionales —como especialistas en exámenes, revisores, editores, docentes y especialistas en el tema o la habilidad que se está evaluando— participan en el desarrollo de cada pregunta de examen, o "punto de examen". Y por este motivo, todas las preguntas (o "puntos") pasan por diversas y rigurosas revisiones, y cumplen con los estándares más altos de calidad e imparcialidad en el sector de evaluación.

Mire un vídeo breve para obtener más información sobre cómo ETS crea exámenes y preguntas de examen equitativos y significativos (Flash, 5:59).

Mírelo ahora > (contenido en inglés)
Ver la transcripción >

Para ayudarlo a comprender mejor nuestro proceso, a continuación encontrará una descripción general de los pasos clave que ETS sigue cuando desarrolla un nuevo examen.

Paso 1: Definición de objetivos

Los educadores, los comités de licenciamiento o las asociaciones profesionales identifican la necesidad de medir ciertas habilidades o conocimientos. Una vez que se toma la decisión de desarrollar un examen para satisfacer esta necesidad, los desarrolladores se hacen algunas preguntas fundamentales:

  • ¿Quién rendirá el examen y con qué fin?
  • ¿Qué habilidades o áreas de conocimiento deben evaluarse?
  • ¿De qué manera las personas que rinden podrán usar el conocimiento?
  • ¿Qué tipos de preguntas deben incluirse? ¿Cuántas de cada tipo?
  • ¿Cuánto tiempo debe durar el examen?
  • ¿Qué grado de dificultad debe tener el examen?

Paso 2: Comités de desarrollo de puntos

Las respuestas de las preguntas en el Paso 1 a menudo se completan con la ayuda de comités de desarrollo de puntos, que generalmente están conformados por educadores u otros profesionales asignados por ETS con la guía del organismo o la asociación que patrocina. Entre las responsabilidades de estos comités de desarrollo de puntos, es posible que se incluyan las siguientes:

  • definir objetivos y especificaciones de examen
  • garantizar que las preguntas de examen sean imparciales
  • determinar el formato del examen (por ejemplo, selección múltiple, ensayo, respuesta construida, etcétera)
  • considerar materiales de examen complementarios
  • revisar preguntas de examen, o puntos de examen, redactados por el personal de ETS
  • escribir preguntas de examen

Paso 3: Escritura y revisión de preguntas

Cada pregunta de examen —redactada por el personal de ETS o por los comités de desarrollo de puntos— pasa por numerosas revisiones para garantizar que sea lo más clara posible, que tenga solo una respuesta correcta entre las opciones proporcionadas y que cumpla con las reglas de estilo usadas en todo el examen. Las guías de calificación para respuestas abiertas, como respuestas cortas escritas, ensayos y respuestas orales, son sometidas a revisiones similares.

Paso 4: El examen previo

Una vez que las preguntas se han redactado y revisado, se realiza un examen previo con un grupo de muestra similar a la población que se evaluará. Los resultados permiten que los desarrolladores del examen determinen:

  • la dificultad de cada pregunta
  • si las preguntas son ambiguas o engañosas
  • si las preguntas deben revisarse o eliminarse
  • si se deben revisar o reemplazar respuestas alternativas incorrectas

Paso 5: Detección y eliminación de preguntas no equitativas

Para cumplir con las estrictas pautas de las Normas de calidad e imparcialidad de ETS (contenido en inglés), los revisores capacitados deben inspeccionar detenidamente cada pregunta de examen, el examen en su totalidad y cualquier material descriptivo o preparatorio para garantizar que se elimine el lenguaje, los símbolos, las palabras, las frases y el contenido en general considerados sexistas, racistas, inapropiados u ofensivos para algún subgrupo de la población que rinde el examen.

Los estadísticos de ETS también pueden identificar preguntas en las que dos grupos de personas que han demostrado conocimientos o habilidades similares tengan un rendimiento diferente en el examen, mediante un proceso llamado funcionamiento diferencial de los puntos (DIF, por sus siglas en inglés). Si un grupo tiene constantemente mejores resultados que otro en una pregunta particular, esa pregunta se analiza nuevamente y se la puede considerar como tendenciosa o insatisfactoria. Nota: si personas en grupos diferentes en realidad tienen diferencias en sus niveles promedio de conocimientos o habilidades relevantes, una pregunta de examen equitativa reflejará esas diferencias.

Paso 6: Preparación del examen

Una vez que se arma el examen, otros especialistas, miembros de comités y, a veces, expertos externos lo revisan nuevamente. Cada revisor responde todas las preguntas independientemente y entrega una lista de respuestas correctas a los desarrolladores del examen. Las listas se comparan con las hojas de respuestas de ETS para verificar si la respuesta es, de hecho, la correcta. Todas las diferencias se resuelven antes de que se publique el examen.

Paso 7: Control de que las preguntas de examen —incluso después de impartirlo— funcionen correctamente

Incluso después de impartir el examen, los estadísticos y desarrolladores de examen lo revisan para asegurarse de que las preguntas funcionen de la manera prevista. Antes de la calificación final, cada pregunta se somete a un análisis estadístico preliminar, y los resultados se revisan pregunta por pregunta. Si se detecta un problema, como la identificación de una respuesta engañosa a una pregunta, se adoptan medidas correctivas, como no calificar la pregunta, antes de la calificación final y el informe de calificaciones.

También se revisa la confiabilidad de los exámenes. El rendimiento en una versión del examen debe predecir razonablemente el rendimiento en cualquier otra versión del examen. Si la confiabilidad es alta, los resultados serán similares, independientemente de la versión que la persona rinda.