A Base Psicométrica do Teste Essencial™ do TOEFL^®

8 de dezembro de 2021

O teste TOEFL^® Essentials™ foi desenvolvido para fornecer informação válida e fiável sobre a proficiência em inglês de um candidato, utilizando um design direcionado para o seu nível de proficiência, com um formato amigável e envolvente, que exige um breve período de realização do teste. A base psicométrica e a abordagem usada para medir os níveis de proficiência em inglês dos candidatos são fundamentais para garantir a medição precisa das competências em inglês do candidato. Uma discussão mais abrangente sobre a psicometria subjacente ao teste TOEFL Essentials é fornecida no Design Framework para o TOEFL^® Essentials™ Test 2021.

Utilização de uma abordagem adaptativa multiestágio para medição

Para proporcionar medições de alta qualidade, precisas e eficientes numa vasta gama de níveis de proficiência linguística, as secções de Compreensão Auditiva, Leitura e Escrita do teste TOEFL Essentials são concebidas como testes adaptativos multiestágio (MSTs). Ou seja, cada teste é composto por duas partes (etapas), nas quais o desempenho da primeira parte é alinhado com tarefas entregues na segunda parte.  Uma vantagem chave da abordagem MST é permitir a montagem direcionada do conteúdo do teste, combinada com uma revisão rigorosa de especialistas em avaliação psicométrica e especializada de todas as secções antes da administração. Além disso, esta abordagem facilita a incorporação eficiente do desenho baseado em tarefas visto em todos os testes da Família de Avaliações do TOEFL, onde as tarefas do teste refletem aqueles que os candidatos provavelmente encontrarão ao usar o inglês em contextos académicos e do dia a dia.^®

Aplicação do MST no teste TOEFL Essentials

O MST para cada secção do teste TOEFL Essentials, com exceção da secção de Expressão Oral, consiste em duas partes. A primeira parte, ou etapa, apresentada aos candidatos consiste em tarefas consideradas de dificuldade média, sendo que a segunda parte contém tarefas num nível de dificuldade que "se adapta" de acordo com o desempenho na primeira parte. Por exemplo, se um candidato tiver um desempenho muito bom na primeira parte da secção de Compreensão Auditiva, a segunda parte da secção de Compreensão Auditiva apresentada ao candidato terá um nível de dificuldade mais elevado.

O conteúdo da segunda fase das secções de Compreensão Auditiva e Leitura é classificado em três níveis de dificuldade (baixo, médio e alto). Para a secção de Escrita, a segunda fase é classificada em dois níveis de dificuldade (baixo e médio/alto), com tarefas de teste na segunda fase de dificuldade média/alta, concebidas para serem acessíveis a indivíduos de uma ampla gama de critérios de proficiência e avaliação que diferenciam entre níveis médios e altos.

Em contraste com as secções de Compreensão Oral, Leitura e Escrita, a secção de Fala Oral utiliza uma abordagem não adaptativa, ou linear, em que todos os candidatos recebem as mesmas perguntas durante todo o teste, com tarefas de teste desenhadas para serem acessíveis a uma ampla gama de proficiências e muitas oportunidades para o candidato demonstrar as suas competências de fala. Uma variedade de dificuldades combinada com múltiplas oportunidades de medição permite cobrir toda a gama de proficiência linguística sem necessidade de fases separadas.

Empregando métodos psicométricos e estatísticos inovadores

Para cada secção do teste, são empregadas metodologias psicométricas e estatísticas estabelecidas e inovadoras para ajudar a garantir a consistência da dificuldade do teste e a comparabilidade das pontuações entre as versões do teste. Em cada uma das quatro secções do teste, os candidatos podem receber pontuações entre 1 e 12. A pontuação das secções de Compreensão Oral, Leitura e Escrita tem em conta o desempenho nas duas partes, bem como o nível de dificuldade. As pontuações da secção de Expressão Oral baseiam-se no desempenho global em todas as tarefas.

É importante notar que todos os aspetos destes desenhos do teste TOEFL Essentials são guiados pelo rico legado da investigação e desenvolvimento do ETS na área da psicometria e testes de linguagem, incluindo a inovação no design e implementação do MST para avaliações em grande escala. Como em todas as avaliações do ETS, os Padrões ETS para Qualidade e Justiça e testes piloto extensivos com uma diversidade de candidatos informaram os detalhes e a implementação do desenho final para melhor responder às necessidades dos examinadores e utilizadores das pontuações, mantendo a integridade psicométrica das pontuações. O acompanhamento estatístico e os estudos de investigação serão contínuos após o lançamento para apoiar a validade e fiabilidade contínuas das pontuações dos testes.

Para saber mais sobre o teste TOEFL Essentials, visite https://www.ets.org/toefl/score-users/essentials.html

Venessa Manna é Diretora Executiva de Análise e Investigação Psicométrica (PAR) na ETS.