ビデオのタイトル: How ETS Develops Test Questions

このビデオの登場人物

バーバラ・ウィナー - テスト開発マネージャ

ジェリー・ビックネル - テスト開発担当者

ウィリッサ・ローランド - 公正性審査担当兼テスト開発マネージャ

ベルナデッタ・グル - 編集担当者

ロシェル・マイケル - 統計担当者

導入

[音楽]

バーバラ・ウィナー (テスト開発マネージャ): テストの作成には、いくつもの作業を伴います。テストは 1 人で作り上げるものではありません。何人ものテスト開発担当者が関わっています。テスト開発担当者は、公平性の訓練を受けています。編集担当者が質問を確認し、統計担当者がテストを分析します。つまり、適正なテストを作り上げる工程は、とてつもなく長い道のりです。

画面:
骨組みの構成
質問 (「項目」) 形式: 選択肢式、穴埋め式、エッセイ、その他の形式、パフォーマンス アセスメント
設計図の作成

ナレーター: テスト作成のどの部分もチームで取り組みます。最初のステップでは通常、クライアント、内容の専門家、その他の関係者からなる委員会が、アセスメントの目的や、テストの受験者、テストする内容の概要となる骨組みを示します。骨組みではまた、質問あるいは項目の形式や、テストをペーパー版とコンピュータ版のいずれかまたは両方で実施するかなども指定します。
この骨組みに基づく次のステップでは、テストに表示される各質問の細かな決まりを示す設計図を作成します。各テストのペーパー版とコンピュータ版や異なるバージョンは、同じ設計図から作られます。

バーバラ・ウィナー: ジグソーパズルのようなものです。テストには細かなピースがあり、そのすべてがどのバージョンでもピッタリはまります。どの質問も設計図のどこかに記されているため、作り直すことができます。ですから、設計図にはとても細かく説明されています。

画面:
質問の作成

ナレーター: 質問作成担当者は設計図を指針にします。作成担当者の大半は、テストする専門分野での長年の教師経験を有します。

ジェリー・ビックネル (テスト開発担当者): 通常は、質問しようとする内容、これを項目の根幹といいますが、そしてもちろん正解についての基本的な概念を考え出します。正解は必ず 1 つのみでなければなりません。続いて、より難しいのが、不正解の選択肢を考えることですが、内容を理解していない生徒が間違った理由で選びそうなものにします。

画面:
質問: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
正解: (B) 72

ナレーター: テストの目的は、受験者の知識やスキルに関する正確な情報を得ることです。

ジェリー・ビックネル: 多くの人や、教師の中にさえ、「この答えはわからないだろう。誰にも答えられない本当に難しい質問を作ってやろう」と考える人がいますが、私たちの真意はそんなことではありません。重要なことは、生徒に関する、そして生徒が知っていることに関する確固たる情報を引き出す質問を作成することです。

画面:
内容の審査

ナレーター :次に、他のテスト開発担当者が質問を審査して、正解の正確性を判断し、質問をどう解釈しても不正解が正解になることがないことを確認します。審査担当者は、項目がテストの設計図に合致していることも確認します。

画面:
質問: Question: If there are exactly 5 times as many children as there are adults at a show, which of the following could be the number of people at the show?
正解:(B)* 72
*correct number must be a multiple of 6
a= number of adults
5a=number of children
6a=total number of people

画面:
公平性の審査

ナレーター: テスト開発担当者は全員、ETS の公平性ガイドラインの訓練を受けています。さらに、専門知識を有する公平性審査担当者が、質問ごとに一切の偏見がないことを確認します。

ウィリッサ・ローランド (公正性審査担当兼テスト開発マネージャ): ある人に特定のスキルがある場合、テストの質問で測るべきものは、その特定のスキルであり、それ以外の何ものでもありません。単に誰かの感情を害するかという問題ではありません。テストの質問が公平でなければ、そのテストは受験者にとっても、スコアを見て判断する人にとってもさほど有益なものではなくなります。ですから、テストが、誰にとっても真の知識のスキルや能力を示す機会になるようにすることが極めて重要です。

画面:
編集審査

ナレーター: 次のステップは編集審査です。

ベルナデッタ・グル (編集担当者): 各項目に適用すべきガイドラインは、実際、大変なボリュームです。項目はできる限り簡潔で明瞭でなければなりません。私たちは明瞭性を追求します。編集の健全性を追求します。適切な使用を追求します。プログラム独自のさまざまな事柄を追求します。つまり、特定のプログラムには、そのプログラム独自のフレーズやニュアンスがあり、そうした表現を適用する必要があります。そのため、項目の編集では実にさまざまなことが検証されます。簡単なように聞こえますが、極めて複雑になることもあります。

画面:
質問: Which of the following is most directly involved in controlling sugar?

画面:
関係者の審査

ナレーター : ETS の専門家が行うあらゆる審査のほか、質問がテストに採用されるまでには、関係者も何度か質問を審査します。

バーバラ・ウィナー:項目の仕上がりに本当に満足するまで、特定の審査で項目をパスさせることはありません。適切な審査を何度も行っているといえます。

画面:
予備テストの実施

ナレーター: 新しい質問に実際の受験者がどのように解答するかを確認するために、次のステップでは、予備テストを実施して統計的に審査します。

ロシェル・マイケル (統計担当): 予備テストでは、少数の人々にテスト項目を解いてもらって、心理測定学的特性、統計的特性、難易度、高得点者と低得点者の識別能力、項目が集団間で同等に機能するかなどの点から、項目の出来を確認します。その結果から「思ったほどよくない」といった意見を示すコメントを項目に付けて、テスト開発担当者にフィードバックを戻します。開発担当者は、その内容を基に、テスト項目がそのように機能する理由を検討します。

画面:
準備完了

ナレーター:質問が ETS のテストに最終的に採用されるためには、厳格な基準を満たし、すべての審査にパスする必要があります。

バーバラ: 私たちはどの質問にも真剣に取り組みます。どのテストにも真剣に取り組みます。

ベルナデッタ: 全世界の志願者に優れたアセスメントを提供することが私たちの真の使命です。

ウィリッサ: ETS の大切な目標の 1 つは、平等性であり、全員に公平なチャンスを与えることです。

ジェリー: どの生徒にも公平になる、できるだけベストな項目を作ることが、私の一番のモチベーションです。

ロシェル: 生徒が席に着いて私が作り上げたアセスメントを受け、適切に評価されていると思うと強い満足感を覚えます。

バーバラ: 私たちは人々の人生に影響を与えています。ですから、自分たちが正しいことを行っていると確信する必要があります。

ビデオの時間: 5:59