Design, Entwicklung und Analyse

Innovation kann dazu beitragen, das volle Potenzial der Bewertung auszuschöpfen. Kontinuierliche Fortschritte in Bildungstechnologie, Analyse- und Messpraktiken sowie in den Lernwissenschaften können dazu beitragen, besser zu verstehen, wo Lernende auf ihrem Bildungsweg stehen und was sie benötigen, um voranzukommen.

Die Forschungs- und Entwicklungsabteilung (F&E) von ETS setzt sich für die Förderung von Innovation, Fairness, Gerechtigkeit und Messqualität in Bewertungs- und Lernmaterialien ein.

Im Folgenden sind nur einige der Bewertungsbedürfnisse aufgeführt, die die ETS F&E erfüllt:

• Formative, Benchmark- und summative Forschung und Anwendungen in den Klassen K–12
• Durchführung von Advanced Placement-Prüfungen (für das College Board^® ®)
• Zulassung in die Hochschulbildung
• Zulassung für K–12-Lehrkräfte
• Englischkenntnisse für die Hochschulbildung (sowohl in den USA als auch international) und für den globalen Arbeitsplatz

Auf einer groben Ebene umfassen Design- und Entwicklungsarbeit:

• Erstellung von Testfragen und -aufgaben
• Zusammensetzung zu finalen Tests
• Durchführung der psychometrischen und statistischen Analysen, die notwendig sind, um Ergebnisse auf Skalen zu erzielen, die dazu beitragen, sie über die Zeit sinnvoll und vergleichbar zu machen

ETS F&E hat seit langem den Stand der Bildungsmessung vorangetrieben und die neuesten Forschungsergebnisse angewandt, um Bedürfnisse wie Folgendes zu erfüllen:

• Entwicklung von Fragen, Aufgaben, Simulationen und Szenarien, die auf die angestrebten Ziele der Bewertung abgestimmt sind
• Verbesserung oder Erweiterung der psychometrischen Methoden zur Unterstützung aktueller Bewertungen – zum Beispiel differentielle Aufgabenfunktionen, Gleichsetzung, Item-Response-Theorie-Modelle und statistische Forensik zur Erkennung betrügerischen Testverhaltens
• Verbesserung oder Erweiterung statistischer Verfahren, die allgemein in der sozialwissenschaftlichen und politikbezogenen Forschung verwendet werden – zum Beispiel Wertschöpfungsmodelle und statistische kausale Modellierungen – verbessern oder erweitern
• Untersuchung, wie Prozess- und Zeitdaten genutzt werden können, um die Analyse und Berichterstattung von Bewertungsergebnissen zu verbessern
• Entwicklung und Verbesserung von Methoden zur Bewertung, Skalierung und Berichterstattung komplexer Bewertungen, einschließlich solcher mit interaktiven oder simulationsbasierten digitalen Aufgaben, entwickelt und verbessert

F&E arbeitet außerdem mit anderen Einheiten am ETS zusammen, um innovative, technologiegestützte Bewertungsinhalte zu entwickeln, darunter:

• Fragen
• Aufgaben
• Interaktive Szenarien
• Simulationen
• Verwandte Lernmaterialien zur Erfüllung der Nutzerbedürfnisse und angestrebten Ziele

Unsere Design-, Entwicklungs- und Analysepraktiken zielen darauf ab, sicherzustellen, dass Bewertungen und die zugehörigen Materialien wie folgt sind:

• Effektive Messgrößen für interessante Konstrukte, wie kollaboratives Problemlösen, Teamarbeit und Ausdauer
• Bedeutungsvoll und ansprechend für Prüfungsteilnehmer
• vergleichbar über die Zeit und verschiedene Testsitzungen und -umgebungen (z. B. zu Hause oder Testzentren)
• gültig für die Verwendung ihrer Ergebnisse
• fair und zugänglich für alle Lernenden oder Testteilnehmer, die ihnen begegnen
• zuverlässig und sicher