À l’intérieur des mises à jour iBT du TOEFL : validité par conception

Depuis plus de six décennies, le TOEFL fonctionne comme une évaluation majeure de la maîtrise académique de l’anglais, constituant une ressource importante pour la prise de décision dans les admissions universitaires, ainsi que dans d’autres contextes d’enseignement supérieur et professionnels.

Depuis la création de l’examen en 1964, l’ETS a révisé le TOEFL à plusieurs reprises pour refléter une réflexion actualisée dans l’enseignement et l’évaluation des langues, les avancées en science de la mesure, ainsi que l’évolution des besoins de la société. La version actuelle du test, TOEFL iBT, a été créée en 2005. En janvier dernier, l’ETS a lancé une version mise à jour de l’examen.

Cette mise à jour maintient le même objectif fondamental et s’appuie sur la longue histoire du test TOEFL en tant qu’évaluation valide et fiable fondée sur des décennies de recherche sur la mesure à l’ETS. Nous sommes ravis de partager davantage la philosophie de conception derrière ces améliorations.

Une exigence essentielle pour tous les tests est qu’ils soient valides pour les affirmations et les usages finaux de leurs résultats. En d’autres termes : les résultats doivent être significatifs. Les preuves de ces affirmations et utilisations valides doivent également être variées et suffisantes. Plus un étudiant a d’occasions de démontrer ce qu’il peut accomplir sur une variété de tâches (par exemple, plus il y a d’éléments de différents types), plus la confiance dans les résultats (validité) est grande.

Dans tout argument de validité, des preuves sont requises. Ces preuves font référence aux informations que nous recueillons sur ce qu’une personne peut accomplir – c’est-à-dire les tâches de test et les scores attribués pour leurs performances.

Un test de compétence en anglais aux fins d’admission doit inclure des tâches qui : (1) couvrent les quatre compétences linguistiques (lecture, écriture, écoute et expression orale) ; (2) reflètent l’utilisation intégrée de ces compétences typiques des études universitaires (par exemple, lire puis écrire) ; et (3) incluent des caractéristiques de l’usage réel du langage.

Les scores obtenus par le test doivent également constituer une estimation fiable de la maîtrise globale des langues – avec un niveau de précision approprié – et être constamment précis et précis sur toute la plage requise de niveaux de maîtrise linguistique. Pour les tests de maîtrise linguistique, les résultats doivent également refléter avec précision la capacité à utiliser la langue pour réussir   dans des milieux académiques divers.

Au cours des 20 dernières années, les milieux académiques modernes ont évolué pour mettre l’accent sur de nouvelles façons de communiquer, facilitées par de nouvelles technologies et modèles pédagogiques. Les étudiants d’aujourd’hui, par exemple, doivent être capables de communiquer avec leurs pairs du monde entier dans des environnements d’apprentissage en groupe, et non simplement absorber passivement les cours. Ils doivent également être capables d’interpréter un éventail plus large de textes anglais.

Pour mesurer les compétences en anglais nécessaires à l’épanouissement dans les milieux   académiques modernes et à recueillir des preuves significatives de résultats valides, le TOEFL iBT mis à jour intègre une variété de tâches diverses qui enrichissent notre collection de preuves significatives de la maîtrise linguistique.

La mise à jour du TOEFL iBT a ajouté davantage de tâches de test de plus grande variété, s’appuyant sur la solide base du format original. La performance d’un candidat est significative si elle correspond à sa capacité à communiquer dans un environnement académique, ce qui inclut non seulement écouter des cours ou lire des manuels, mais aussi s’engager dans d’autres contextes universitaires contribuant à la réussite académique.

Un défi courant pour les développeurs de tests est cependant que les tâches de test qui imitent étroitement des activités réelles peuvent être extrêmement longues à administrer, tout en fournissant relativement peu d’informations de mesure et de preuves associées.

Par exemple, vous pouvez imaginer un test d’écriture composé entièrement d’un essai écrit d’une heure, noté sur une échelle de 1 à 5. Un tel test peut être considéré comme « authentique », mais il offre une vision étroite des compétences linguistiques de l’élève et limite la possibilité pour le test d’évaluer l’ensemble des compétences de l’élève au-delà d’un seul point.

Qualitativement, ce test hypothétique fournit des informations sur la capacité à accomplir un seul type d’écriture. Quantitativement, elle ne produit que cinq points, ce qui limite sa capacité à discerner de manière fiable différents niveaux de performance.    Cette approche est également vulnérable aux circonstances aléatoires ; Par exemple, si un rédacteur par ailleurs compétent a du mal avec le sujet de l’essai, les conséquences peuvent être graves.

Une approche alternative consiste à utiliser non seulement plus de tâches, mais aussi une diversité de tâches, offrant une vision plus large des capacités et une plus grande fiabilité dans la mesure. Dans la poursuite de cet objectif, la mise à jour du TOEFL iBT inclut des tâches mesurant les compétences linguistiques fondamentales, ainsi que des tâches académiques modernisées permettant une compréhension plus approfondie des capacités de communication.

La section Speaking de TOEFL iBT met en scène cette philosophie de conception. Pour commencer, une tâche orale bien documentée, Écouter et Répéter, évalue la capacité à comprendre une phrase parlée et à la reproduire avec précision.  L’élève doit rapidement décoder l’entrée linguistique, puis la régénérer avec précision pour produire une réponse, reflétant le développement de ses compétences linguistiques sous-jacentes.

Cette tâche intègre des compétences fondamentales nécessaires à la communication orale (Levelt, 1989). De plus, les individus dotés d’un système linguistique interne très développé peuvent reproduire plus efficacement et avec plus de précision des phrases plus longues, de sorte qu’en variant la longueur des phrases, il est possible   de mesurer efficacement la maîtrise générale du langage sur un large éventail de compétences linguistiques (Davis & Norris, 2021).

Écouter et répéter est utilisé en combinaison avec une tâche de communication orale, Prendre une interview, où les élèves participent à une conversation simulée avec un intervieweur préenregistré. L’entretien a lieu dans diverses situations académiques, comme la participation à une étude de recherche, et les étudiants sont notés sur un total de quatre questions liées au contexte de l’entretien. Les premières questions portent sur des informations factuelles et des expériences personnelles, tandis que les questions suivantes demandent aux élèves d’exprimer et de soutenir des opinions sur des questions plus larges.

Cette tâche mesure la capacité de l’élève à s’exprimer sur divers sujets, produisant une réponse claire et cohérente avec un soutien et une élaboration appropriés. La tâche mesure également la capacité à produire un discours intelligible, fluide et qui utilise efficacement une gamme de vocabulaire et de structures grammaticales.

Cette combinaison de tâches ciblant les capacités orales fondamentales (Écouter et Répéter) et communicatives (Prendre une interview) apporte une diversité dans la représentation des constructs et les preuves connexes sur la maîtrise orale des élèves, tout en maintenant la portée des scores pour prendre des décisions dans des contextes académiques.

Qu’une tâche porte sur des compétences fondamentales ou communicatives, la signification exige que la performance dans la tâche prédise la performance linguistique réelle adaptée à la réussite scolaire. Sinon, attribuer un score au test serait un exercice vain.

Pour les tâches Écouter et Répéter et Entretien Virtuel , des recherches récentes à l’Université d’Hawaï à Manoa ont révélé que les scores à ces tâches étaient fortement corrélés à la performance sur d’autres types de tâches linguistiques de communication assignées en classe.

Ces chercheurs ont trouvé des corrélations de 0,84 entre les scores à la tâche Écouter et Répéter et chacune des deux tâches communicatives en classe, et 0,83-0,85 pour la tâche d’Entretien Virtuel . Ces résultats suggèrent que les deux tâches issues de l’iBT TOEFL mis à jour sont de très bons prédicteurs de performance dans les types typiques de discours académique.

L’ETS a mis en place une stratégie similaire – augmentant la diversité des types de tâches et variant les opportunités d’évaluation des performances des élèves – également dans les sections de lecture et d’écriture.

Dans la nouvelle tâche ajoutée de la section Lecture, Compléter les mots, la seconde moitié de chaque deuxième mot dans un passage de lecture est supprimée. Les élèves doivent remplir les lettres manquantes pour recréer les mots originaux et créer un texte cohérent.

Cette tâche – communément appelée test C – fournit efficacement des informations sur la capacité à traiter et comprendre le texte – ainsi que la connaissance du vocabulaire, de la syntaxe et de l’orthographe. Pour compléter cette tâche, des tâches de compréhension de lecture plus traditionnelles, comme Lire un passage académique,  offrent un aperçu de la capacité à obtenir des informations et à comprendre les significations, comme c’est typique dans les études académiques.

Dans la section Écriture, la tâche Écrire pour une discussion académique évalue les aspects communicatifs des compétences en lecture. Cette tâche a lieu dans le cadre d’une discussion en cours sur une question posée par l’enseignant du cours. L’élève apporte ses propres points de vue, soutenus par un raisonnement, des connaissances ou une expérience pertinente. Ils peuvent également répondre aux contributions de leurs pairs.

De plus, Écrire pour une discussion académique simule un type d’écriture devenu de plus en plus courant dans les contextes académiques. Il fournit également un contexte pour l’écriture, ce qui aide à clarifier si l’auteur peut écrire de manière appropriée pour un public et une situation donnés. Cela contraste avec les tests d’écriture traditionnels qui utilisent un sujet « dépouillé », sans description du public ou des circonstances.

Au-delà de ces fonctionnalités innovantes, la tâche Écrire pour une discussion académique mesure également d’autres aspects de la communication écrite réussie, notamment la cohérence et la clarté, la qualité de l’élaboration, ainsi que la portée et la précision du langage.

En résumé : le développement du test iBT TOEFL mis à jour représentait un défi de conception intrigant qui nécessitait de s’appuyer sur des preuves solides de validité avec une plus grande variété et des tâches supplémentaires reflétant les attentes rigoureuses et la diversité des environnements académiques des établissements d’enseignement supérieur actuels.

En plus du contenu et de la validité des constructions évoqués ci-dessus, le test iBT du TOEFL bénéficie également de la conception adaptative de tests nouvellement mise en œuvre, d’innovations en science de la mesure, d’améliorations de la sécurité des tests, et plus encore. Restez connectés à cette chaîne pour en savoir plus !

Davis, L., & Norris, J. (2021). Développer une tâche d’imitation innovante pour une évaluation efficace de la maîtrise de l’anglais (TOEFL Research Report n° 96). ETS. https://doi.org/10.1002/ets2.12338

Isbell, D. R., & Crowther, D. (sous presse). Étude de la pertinence concrète d’un test académique anglophone : extrapolation des évaluations subjectives et des caractéristiques linguistiques de performance. Tests de langue.

Levelt, W. J. M. (1989). Parole : De l’intention à l’articulation. MIT Press.

Pearlman, M. (2008). Finaliser le plan du test. Dans C. A. Chapelle, M. K. Enright, & J. M. Jamieson (Éd.), Construire un argument de validité pour le test de l’anglais comme langue étrangère (pp. 227-258). Routledge.