TOEFL iBTの舞台裏:学生のライティングプロセスのリアルタイム評価

このインタビューでは、シニア測定科学者のChing-Ni Hsieh氏とシニアリサーチプロジェクトマネージャーの大田レンカ氏が、TOEFLのジョン・クラークと共に、最近の研究『TOEFL iBT®テストにおける第二言語のライティングプロセス:アイトラッキング、キーストロークロギング、刺激リコールを用いた学術ディスカッション課題のための書く検証』について語ります

もちろん。学生が書いた課題に対する書面の回答は、何を書いたかは伝えてくれますが、どうやってそこに至ったのかはわかりません。2人の学生が同じエッセイのスコアを得たり、質が似ている回答を出したりしても、執筆の過程では非常に異なる道筋をたどることもあります。

眼球運動やキーボード入力イベントなどの行動データは、最終的な回答には見えない受験者の注意配分や意思決定過程を垣間見ることができます。

私たちの研究では、参加者がコンピュータ上のTOEFL iBT Write for a Academic Discussion課題(私たちは「WAD」という面白い略語を付けています)に回答している間、モニターの下にTobiiのアイトラッカーを設置し、眼球の動きを追跡しました。

アイトラッカーは、センサー技術を使って作家がどこを見ているか、目の動きを測定する装置です。また、Tobii Pro Labの視線追跡ソフトを使い、画面上の書き込みイベント(テキストの書き込みやマウスクリックなど)をその動きを重ね合わせた動画を録画・制作しました。

視線追跡データにより、作家がどこを見ているか、視線がどのように変化し、課題の各部分にどれだけ時間を費やし、どのように文章を改稿しているかがわかりました。

ETSのキーストロークログエンジンを使って、各ライターがタイピングしている間、キーボード上のあらゆる動きを記録しました。そのデータはキーストロークログにまとめられ、単語や文の間の間、書かれたテキストの削除、新しいテキストの挿入など、書き手のキーボード操作に関する豊富な情報が記録されます。

参加者が執筆を終えた後、私たちは彼らにインタビューを行いました。参加者の画面上の書き込みプロセスや、視覚的な注意がどこに向けられているかを示すヒートマップを含むTobiiの視線追跡ソフトによるビデオ録画も視聴しました。特に長い間や修正のような興味深い瞬間に、課題に答えている間に何を考えていたか話してもらいました。

参加者が考えをより簡単に共有できるように、可能な限り第一言語で質問をしました。彼らの説明は、観察可能なキーボード操作の行動や眼球運動と、その背後にある思考過程を結びつけるのに役立ちました。

評価において、コンストラクトとはテストが測定するために設計された能力やスキルを指します。コンストラクトバリシティは、テストが意図されたスキルを測定しているかどうかを問います。TOEFLのiBTライティングセクションでは、目標は学術的な文章力です。

構成的妥当性の重要な証拠の一つは、受験者が学術的な文章作成に関連する種類の執筆プロセスに関わっているかどうかです。もし受験者が主に意図された学術的ライティング能力とは無関係な認知過程や戦略に頼って高得点を取れるなら、テストのスコアは彼らの学術的な文章力を正確に反映していない可能性があります。

はい、私たちの発見はWAD課題の構成概念の妥当性を支持する証拠を提供しています。眼線追跡データ、キーストロークログ、インタビュー回答を通じて、参加者は計画、言語形成、モニタリング、復習に取り組みました。これらのプロセスは確立された執筆モデルの中心であり、学術的な執筆能力にも関係しています。

この証拠は、課題が意図した執筆プロセスを引き出していることを示唆しており、TOEFL iBTライティングスコアがテストが評価する学術的なライティング能力を反映しているという解釈を強化しています。

ケロッグのモデルは、執筆に関する最も影響力のある認知モデルの一つです。書くことは、アイデアの計画、それを言語に翻訳する、文章を作成すること、書かれた内容のレビューなど、相互作用する一連のプロセスとして説明しています。このモデルはTOEFLのiBTライティングタスクの過去の研究で使われており、WADタスクが重要なライティングプロセスに関わっているかどうかを検証する有用なフレームワークと考えました。

また、このモデルを選んだのは、アイデアを言葉や文に変換する過程、すなわち定式化に明確な注意を払っているからです。この点は、第二言語や外国語で書くTOEFL iBT受験者にとって特に重要であり、語彙、文法、文の構成にかなりの注意を払う必要がある場合もあります。

私たちのデータは、参加者がWAD課題全体を通じて計画、言語形成、モニタリング、復習に関与していることを示しました。多くの参加者はプロンプトを何度も読み返し、アイデアを生み出し、適切な語彙を探し、文を作成し、回答が課題要件を満たしているかを確認し、正確さや明瞭さを高めるために編集を行いました。これらの行動はケロッグの認知的ライティングモデルと密接に一致しています。

私たちの発見はまた、書くことの再帰的な性質も浮き彫りにしました。参加者はこれらのプロセスを一度に一つずつ、または直線的に完了したわけではありません。代わりに、彼らは読書、計画、執筆、そして改訂の間を行き来し、これはケロッグの「書くことを動的でインタラクティブなプロセス」とする見解と一致しています。

WAD課題は、従来の意見エッセイ課題、例えば引退したTOEFL iBT独立ライティング課題とは異なります。受験者は教授の質問を読み、2人の学生の回答を考慮し、オンラインディスカッションにどのように貢献するかを決め、10分以内に回答を書く必要があります。

これらのデザインの特徴は、受験者が複数の情報源に注意を分散させつつ、自分自身のアイデアを生成・表現することを求めます。例えば、私たちの視線追跡の結果では、参加者が課題資料と執筆エリアの間で繰り返し注意を切り替えていることが示されました。この意味で、受験者に読書、計画、執筆、自己モニタリングを動的なオンラインディスカッション形式で調整させることで、独自の認知的負担を課しています。

これらのプロセスは、現代の学術環境で学生が直面する多くの書面によるコミュニケーションの形態に似ています。また、課題は異なる対応戦略もサポートしていました。例えばインタビューでは、ある参加者は2つの学生投稿で触れられなかった新しいアイデアを紹介して貢献しようとしたと説明し、他の参加者は他の学生に同意し、読んだことを基に発展させました。

いいえ、彼らが表現する具体的な考えに基づいて正解や不正解はありません。WADの課題採点ルーブリックは、言語の使用、アイデアの発展、そして受験者が議論にどれだけ明確かつ効果的に応答するかに焦点を当てています。

受験者は全く新しいアイデアを導入したかどうかで評価されるわけではありません。彼らは意味のある貢献と明確な見解を表明する限り、サンプル回答で既に提示されたアイデアを発展させることができます。 

プロンプト処理とは、作家が執筆前および執筆中にタスク資料をどのように読み、解釈し、活用するかを指します。WADの課題では、教授の質問を理解し、2つの学生のサンプル投稿を検討し、自分の意見を議論にどう結びつけるかを決め、時には作成中に課題資料を再確認することが含まれます。

私たちの研究で興味深い発見の一つは、プロンプト処理がタスクの開始時だけに起こったわけではないということです。参加者は執筆過程の中で何度も課題資料に立ち返ることがよくありました。

私たちは、プロンプト処理は単なる執筆前の活動ではないと結論づけました。むしろ、計画の継続的な一部として機能し、関連するアイデアの選定、回答の位置付け、課題の達成状況のモニタリングなど、他の執筆の意思決定を導く役割を果たします。

これは評価設計における中心的な課題の一つです。プロンプトが単純すぎると、学術的な文章力の強い証拠となるほどの執筆に関する思考を引き出せないかもしれません。もし課題が複雑すぎると、受験者は課題の理解に過度な労力を費やし、その結果、課題は文章力ではなく読解力や課題解釈を測定してしまうことがあります。

私たちの調査結果は、効果的なプロンプトは、計画、定式化、モニタリング、修正といった主要な執筆プロセスに作家を促しつつ、明確かつアクセスしやすい状態に保つべきだと示唆しています。目標は、受験者が不要な障壁や無関係な構造の難しさを導入することなく、自分の作文能力を示せる評価課題を設計することです。

納得です!この詳細な調査に感謝しています。TOEFL iBTの課題にどれだけ時間とエネルギーが注がれているかを見るのは楽しいです。

ありがとうございます。