特に今はAIができることが多いので、誰でもテストを作れます。より難しい問題は、そのテストが主張するものを測定しているのか、集団全体で通用するのか、そして大規模に公平かつ有効であるかどうかです。
ETSは毎年数百万件の検査を開発し、実施し、採点しており、その多くは検査を受ける人々に実際の影響をもたらします。たった一つの成果が学習者の将来やキャリアの機会、ライセンスの成果を形作ることがあります。こうした機会を人々に提供することが、私たちの使命を原動力とし、高い基準を自分たちに課す理由です。AIが関わると、基準は下がるのではなく、さらに高くなります。AIがどこに価値をもたらすかを厳格に選び、AIではなく人間が主導権を握ることでそれに応えます。
ETSが評価ライフサイクル全体でAIをどのように活用しているか
ETSでは、AIは評価ライフサイクルの複数の段階をサポートしています:コンテンツ開発、テストの組み立てと実施、そして採点。
コンテンツ開発
私たちは独自のAIコンテンツエンジンを使って、主要なプログラムのほとんどで項目や関連コンテンツの初稿を生成しています。AIのガードレール、制約、要件を設定し、数十年にわたる評価開発の経験を活かして初期生成を適切に導いています。現在、問題文や読解パッセージを含む評価コンテンツの約80%が、 こうやって始めて。
しかし、コンテンツの生成はあくまで出発点に過ぎません。項目が当社のプログラムで使用される前には、公平性とアクセスのしやすさを確保しつつ、期待値や意図されたルーブリックに沿った動作を確実にする構造化された審査プロセスを経ます。簡単に言えば、私たちはAIの成果物を完成品とは見なしていません。私たちはそれを、活用されるための努力を積む候補として扱っています。
組み立てと納品
AIを活用して、リアルタイムでテストを適応させることでパーソナライズを支援しています。適応型テスト環境では、受験者が前の問題にどう答えたかに基づいて問題やタスクを選択でき、適切な証拠をより効率的に収集できます。この種の評価は、より短く効率的なテスト時間を可能にします。受験者の「座席時間」を減らし、内容をよりレベルに合わせたものにカスタマイズすること。
これは単に受験者が自分の能力を示すより良い方法ではありません。また、重要なセキュリティ対策でもあります。なぜなら、同じフォームが割り当てられるわけではないため、異なるコンテンツセットを受け取ることがあるからです。
得点
ETSは2000年代初頭からAIをスコアリングに活用しており、大規模言語モデル(LLM)の登場よりずっと前からそうです。本当の問題は、AIが応答を得られるかどうかではなく、それが信頼性と公平さ、そしてそのプログラムの基準に沿って行えるかどうかです。
そのため、一部のETS評価は完全に人間によって採点され、他の評価はAIのみを用いたり、回答タイプに応じてAIと人間の採点を組み合わせて採点するものもあります。適切な採点モデルは、プログラム、スコアの重要性、評価される回答の種類、そしてそれがサービスを提供する市場の期待によって異なります。 すべては、各学習者にとって最も正確で公正かつ正当な結果を生み出すためのものです。
ステークホルダーにとって「信頼」とは何か
AI対応の評価への信頼は単一の品質ではありません。それは、システムが一貫して有効で公正かつ信頼できる結果を生み出しているかどうか、そしてその結果に依存する人々がそれを信じているかどうかです。
コアETSのステークホルダーは、AIに関連する信頼の理解がそれぞれ異なります。受験者は信頼を公平性と透明性の結果と見なすことが多い一方で、機関パートナーは規律あるライフサイクル管理や人間関係の証拠を求めることがあります。パートナーは、プログラムの拡大に伴いAIが比較性、信頼性、公平性を弱めていないかを継続的に監視することに関心を持っています。 また、政策立案者は、リスクがどのように特定され、測定され、管理されているかについて明確な説明が必要です。
ETSの目標は、すべての場所でAIを使うことではありません。それは、私たちが何十年もかけて築き上げてきた基準を守る中で、学習者や教育機関のためにより多くの貢献をするために必要な場合に活用することです。つまり、適切な方法を使い、人間に任せ、新たな能力を信頼する前に証拠を徹底的に評価することを意味します。それが、採点者や教育者から植え付けられた信頼を維持しつつ、AIを有用で責任あるものにする方法です。