Questions-réponses avec un chercheur : Jonathan Weeks

Ayleen Gong, rédactrice en chef de la recherche, a interviewé Jonathan Weeks, scientifique principal en mesure, au sujet de son travail à l’ETS et de sa récente nomination en tant que président du programme NCME.

Jonathan Weeks aime non seulement se connecter avec les gens, mais aussi les connecter. Au cours de ses 13 années à l’ETS, il a mené des recherches pour PISA (Programme d’évaluation internationale des élèves des élèves), PIAAC (Programme pour l’évaluation internationale des compétences des adultes et maternelle ; a contribué à développer des mesures des compétences fondamentales en lecture ; et a même travaillé sur certains tests pour la CIA. Son principal objectif est désormais l’ECLS–K (Études longitudinales de la petite enfance–Maternelle) et d’autres études longitudinales menées par le National Center for Education Statistics destinées aux élèves du collège et du lycée.

Vous pouvez le trouver dans son bureau les jours de présentation, en train de résoudre un problème sur son tableau blanc, mais il est plus probable de le croiser dans les couloirs discutant de questions de recherche avec ses collègues. Si vous croisez Jonathan, arrêtez-vous et dites bonjour. En l’absence de questions de recherche, demandez-lui quoi regarder en streaming ou lire ce week-end, parlez-lui de l’entraînement des sports pour jeunes ou demandez-lui de vous parler de son mentor.

J’ai vu dans ta biographie sur ets.org que tu as une licence en anglais du Colorado College. Comment es-tu passée d’étudiante en anglais à un emploi basé sur des théories mathématiques ?

On me pose toujours cette question. Je veux dire, aucun jeune enfant ne reste là à penser : « Je veux devenir psychométricienne. » Je pensais vouloir devenir professeure d’anglais au lycée, mais je n’avais pas de certificat d’enseignement. J’ai donc fini par décrocher un emploi dans un district scolaire avec l’idée qu’une fois mon certificat, je pourrais aller leur dire : « Hé, je travaille pour vous. Donnez-moi un emploi. » Il s’avère que j’ai obtenu un poste de secrétaire dans un district scolaire à Colorado Springs, et après plusieurs années, je suis devenue l’analyste principale des données dans leur bureau d’évaluation.

À ce moment-là, je n’avais jamais suivi de cours de statistiques de ma vie.

Je me suis dit : « C’est assez dangereux. Je devrais trouver une solution. » Je suis retourné à l’école et j’ai obtenu un master en psychologie de l’éducation avec une spécialisation sur les méthodes quantitatives. J’avais des idées pour aborder divers problèmes, mais personne ne voulait m’écouter car je n’avais pas de doctorat. Je suis donc retourné à l’école avec un objectif de politique éducative. J’ai vite découvert que la politique politique était en réalité plus axée sur la politique et j’ai décidé que j’étais moins intéressé. C’était au début des années 2000, quand l’éducation primaire à la terminale mettait beaucoup l’accent sur les modèles de croissance dans l’éducation primaire et secondaire.

À ce moment-là, je pensais vouloir créer un meilleur modèle de croissance, mais au final, je me suis beaucoup plus intéressé à la façon dont les échelles sont construites. J’ai fini par me concentrer sur les questions liées à la création d’échelles verticales, au problème du décalage des constructs, et en particulier, au développement des échelles verticales multidimensionnelles. C’est un domaine de recherche qui m’intéresse encore aujourd’hui.

Pouvez-vous me donner un exemple de la recherche que vous faites ?

J’ai beaucoup travaillé sur le développement de mesures des compétences fondamentales en lecture ; le test s’appelle ReadBasix. L’un des articles dont je suis le plus fier, An Application of Multidimensional Vertical Scaling, fournit essentiellement un argument de validité pour la structure multidimensionnelle et l’échelle verticale multidimensionnelle sous-jacente des six sous-tests ReadBasix.

D’après ce que je comprends, au début de notre développement, nous disposons d’un ensemble de compétences fondamentales toutes vaguement intégrées. À mesure que nous devenons des lecteurs plus compétents, ces compétences s’entrelacent pour former deux cordes — des compétences liées aux mots et des compétences de compréhension — jusqu’à former finalement un seul fil. Les compétences vaguement intégrées correspondent aux six facteurs. Ces compétences différentes sont toujours présentes, mais elles deviennent plus intégrées pour produire les deux cordes et la corde unique plus étroitement intégrée. J’ai été très enthousiaste d’apprendre que mes recherches avec des données empiriques fournissaient des preuves d’un cadre théorique que je ne connaissais pas auparavant.

Je comprends que vous avez été l’un des présidents de programme lors de la récente conférence du NCME (National Council for Measurement in Education). Quelle partie de cette planification vous enthousiasme le plus ?

J’ai invité l’un de mes auteurs préférés à être notre conférencier principal. Sam Kean est historien des sciences et auteur à succès du New York Times de The Disappearing Spoon et de plusieurs autres livres. En résumé, il raconte des histoires scientifiques à travers une série de vignettes historiques. Ces histoires sont une variation de l’histoire que tout le monde pense connaître.

Sam n’est pas une « personne de la mesure », mais grâce à la lentille qu’il regarde, il aide les gens à penser l’histoire et la science d’une manière légèrement différente. J’espère qu’en réfléchissant au domaine de la mesure, nous pourrons regarder sous un angle légèrement différent. Pouvons-nous penser différemment la manière dont nous « faisons la mesure », les approches que nous utilisons pour développer les tests et les modèles que nous utilisons pour évaluer les données ? Allons-nous continuer à faire ce que nous avons toujours fait, ou sommes-nous ouverts à essayer de nouvelles choses qui pourraient être plus bénéfiques pour les candidats et notre domaine dans son ensemble ?

Maintenant que la conférence est terminée, ton travail est-il terminé ?  

Techniquement, mon travail est terminé maintenant que la conférence est terminée. Mais je me suis porté volontaire pour rester un peu plus longtemps afin d’aider à automatiser certains systèmes. Quand on est l’un des fauteuils, et que l’esprit est ici à essayer d’organiser tout ça, en même temps à s’occuper d’extraire et de nettoyer les données... C’est bien plus de travail que je ne l’avais prévu. J’aimerais voir si je peux aider à faciliter les choses pour les futurs chaises afin qu’elles n’aient pas à passer tout le temps et les efforts de programmer un script ou de trier manuellement les données.

Y a-t-il quelque chose dans votre bureau dont vous ne pouvez pas vous passer ?  

Je passe beaucoup de temps debout devant un tableau blanc. La façon dont je pense à mes idées et à la façon dont je traite, c’est de rester là et de dessiner les choses.

Je suis un peu dispersé dans ce sur quoi je travaille, et chacun de ces projets et sujets nécessite des méthodes et des stratégies différentes. Certains sont plus orientés recherche ; d’autres sont simplement des projets opérationnels nécessitant une solution pratique. Même si je suis au bureau, vous ne me voyez peut-être pas réellement dans mon bureau parce que je me promène et je parle aux gens de ce sur quoi ils travaillent. Je me qualifie de « psychométricien errant ». Quelqu’un pourrait m’arrêter et dire : « Hé, on s’attendait à avoir 2 000 enfants et on n’en a eu que 200 pour notre recherche. Que fait-on ? » ou « J’essaie de simuler des données avec une structure factorielle apparemment normale, mais j’obtiens des résultats étranges quand j’analyse les données. Avez-vous une idée de pourquoi ? » J’aime résoudre ces types de problèmes plus nuancés.

Et parfois, quelque chose sur lequel je pourrais aider dans ce contexte s’avère en fait être une solution pour quelqu’un dans un autre contexte. Je suis très partisan de l’interaction et de la possibilité que les gens puissent travailler en dehors de leurs domaines spécifiques. Cela dit, au final, je veux aider le plus grand nombre possible de personnes à comprendre autant que possible sans interférer avec les contraintes pratiques — comme accomplir réellement notre travail.