angle-up angle-right angle-down angle-left close user menu open menu closed search globe bars phone store

テストおよびテスト問題の開発方法

必要な知識やスキルを正確に測定し、すべての受験者に対して公平な高品質のアセスメントを開発する ETS では、公平性、正当性、信頼性の揃ったテストの作成が入念なチェックや比較が求められる複雑なプロセスであることを理解しています。

ETS はその複雑性を理解しているからこそ、テスト問題や「テスト項目」の開発にあたってテストの専門家やレビューア、編集者、教員、当該知識とスキルの専門家など各方面に協力を要請し、 すべてのテスト問題 (または「項目」) に対して厳格なレビューを繰り返し行うことで、業界最高水準の品質と公平性を実現しています。

公正で有益なテストおよびテスト問題を作成する ETS のアプローチについては、こちらのビデオをご覧ください (Flash、5:59)。

ビデオを見る (英語) >
トランスクリプトを見る >

ETS のテスト開発プロセスをさらによくご理解いただくため、以下に重要ステップの概要を説明いたします。

ステップ 1: 目標の決定

教育者やライセンス機関、専門家団体が特定のスキルや知識を測定するニーズを判定します。このニーズを満たすテストの開発が決定されると、テスト開発者は以下の基本的な質問について検討します。

  • 受験対象者は誰で、どのような目的のテストであるか?
  • どのようなスキルや知識分野を測定するテストであるか?
  • 受験者はどのように知識を発揮できるか?
  • どのような種類の問題を含めるべきか? 各設問の問題数はいくつ必要か?
  • テストの所要時間はどのくらいに設定すべきか?
  • テストの難易度はどのくらいに設定すべきか?

ステップ 2: テスト項目開発委員会

ステップ 1 の質問は、通常 ETS がスポンサー企業や団体の指導に基づいて任命した教育者やその他の専門家で構成されるテスト項目開発委員会が回答します。同委員会は以下の責務を実行します。

  • テストの目標と仕様の決定
  • テスト問題に偏りがないことの確認
  • テスト形式 (複数選択式問題、エッセイ、記述式回答など) の決定
  • テストの追加資料の検討
  • ETS スタッフが作成したテスト問題またはテスト項目のレビュー
  • テスト問題の作成

ステップ 3: テスト問題の作成とレビュー

ETS スタッフまたはテスト項目開発委員会が作成した各テスト問題についてレビューと改訂を重ね、選択肢の中で正答は一つしかないこと、テスト形式が一貫していることを確認し、可能な限りテストの明確化を図ります。短文記述式回答、エッセイ、口頭回答など自由回答形式の採点ガイドについても同様のレビューを行います。

ステップ 4: 事前テスト

問題の作成とレビューが完了したら、実際の受験者に近いサンプル グループで事前テストを行います。事前テストの結果はテスト開発者による以下の判断に役立てられます。

  • 各問題の難易度レベル
  • 不明瞭または誤解を生む問題の有無
  • 改訂または削除が必要な問題の有無
  • 改訂または差し替えが必要な誤った選択肢の有無

ステップ 5: 不公平な問題の検出と削除

ETS Standards for Quality and Fairness (英語) ガイドラインの規定を満たすため、トレーニングを受けた専門のレビューアが各問題ならびにテスト全体、説明資料、事前資料をすべて精査し、いずれかの少数派受験者グループに対して一般的に性差別的、人種差別的、不適切、攻撃的と受け取られる言語や記号、語句、フレーズ、コンテンツを排除します。

また、ETS の統計学者は特異項目機能 (Differential Item Functioning/DIF) と呼ばれるプロセスを通じて、類似した知識やスキルの 2 つの受験者グループが異なる結果を示した問題を特定します。特定の問題で一方のグループだけが一貫して優れた結果を示す場合、この問題を見直して偏りはないか、基準を満たしているかを判断します。注意: 異なるグループの受験者間で実際に関連知識やスキルの平均レベルが異なる場合、これらの相違を考慮した公平なテスト問題を作成します。

ステップ 6: テストの取りまとめ

テストが取りまとめられると、これまでとは別の専門家や委員会メンバー、時には外部の専門家がレビューを行います。各レビューアはすべての問題に個別に回答し、テスト開発者に正答リストを提出します。リストは ETS の回答キーと比較され、意図した回答が正答に一致しているかを検証します。テストの公開前に、すべての不一致を解決します。

ステップ 7: テスト問題が正常に機能しているかの確認 (テスト実施後も含む)

テストの実施後も、統計学者とテスト開発者はテスト問題が意図したとおりに機能しているかのレビューを行います。最終的な採点作業が開始される前に、各問題に対して予備的な統計分析を行い、問題別にレビューを行います。誤解を生むような問題の特定など問題が検出された場合、最終的な採点作業や採点レポートの作成を行う前に、採点の不実施などの是正措置を講じます。

さらに、テストの信頼性についてもレビューが行われます。あるバージョンのテストのパフォーマンスをレビューすることで別のバージョンのテストのパフォーマンスを合理的に予測します。テストの信頼性が高ければ、受験者がどのバージョンに回答しても同様の結果を示すことになります。

Promotional Links

こちらも併せてご覧ください...