Por que e como o ETS questiona as pontuações dos testes TOEFL^®

Prefácio

Os procedimentos e as opções descritos abaixo aplicam-se apenas aos casos de validade de pontuação e não se aplicam a irregularidades de teste¹, discrepâncias na identificação da pessoa que se submete ao teste ou má conduta da mesma.

Por uma questão de justiça às pessoas que se submetem ao teste, instituições educacionais, agências governamentais, organizações profissionais ou qualquer entidade que o ETS reconheça como um usuário autorizado de pontuações TOEFL^® na tomada de decisões importantes sobre pessoas que se submetem ao teste, o ETS revisa as pontuações dos testes que possam ser inválidas. Esta página explica por que e como o ETS questiona a validade das pontuações dos testes quando surgem preocupações.

A maioria das pontuações dos testes é relatada pelo ETS sem qualquer dúvida quanto à sua validade. Quando o ETS tem alguma preocupação sobre a validade das pontuações do teste, ele solicita que a pessoa que se submeteu ao teste envie informações que abordem essas preocupações. O ETS também disponibiliza 3 opções para resolver o conflito, descritas em detalhes em “Opções que levam a uma resolução” abaixo.

A pessoa que se submete ao teste pode:

1. autorizar o ETS a cancelar as pontuações questionadas e fazer outro teste gratuitamente
2. autorizar o ETS a cancelar as pontuações questionadas e receber um reembolso
3. submeter a questão a arbitragem (para pessoas que se submetem ao teste nos Estados Unidos ou territórios dos EUA apenas)

A pessoa que se submete ao teste tem o direito de intentar uma ação judicial. No entanto, a instauração de uma ação judicial não adiará necessariamente o cancelamento das pontuações que o ETS determinar como inválidas.

1 "Irregularidades no teste" refere-se a problemas relacionados à administração de um teste. Quando ocorrem, podem afetar um indivíduo ou grupos de pessoas que se submetem ao teste. Tais problemas incluem, mas não estão limitados a, erros administrativos (ex.: tempo inadequado, distribuição inadequada dos assentos, supervisão inapropriada, dificuldades técnicas, materiais ou equipamentos defeituosos, ou inobservância das políticas ou dos procedimentos de aplicação do teste por parte da equipe de teste) e interrupções na administração do teste.

Por que o ETS questiona as pontuações dos testes

Os testes do ETS são amplamente vistos como avaliações precisas das habilidades que eles são projetados para medir. Como resultado, as milhões de pessoas que realizam os testes do ETS todos os anos e os milhares de destinatários que recebem as pontuações dos testes contam com a validade das pontuações que o ETS relata. É por isso que o ETS questiona as pontuações dos testes quando acredita que estas possam ser inválidas.

Aceitação das políticas do ETS

O ETS se esforça para administrar testes sob condições seguras e padronizadas que permitam que as pessoas que se submetem ao teste tenham oportunidades equivalentes para demonstrar suas habilidades. Durante o processo de inscrição, na chegada ao centro de aplicação do teste e antes do início da sessão de testes, as pessoas que se submetem ao teste devem manifestar seu acordo em relação à aceitação das políticas e dos procedimentos do ETS. Como parte desse acordo, elas reconhecem que o ETS tem o direito de revisar pontuações de validade questionável e cancelar pontuações quando houver evidências substanciais de que sejam inválidas.

Imparcialidade

O ETS reconhece a importância de tratar as pessoas que se submetem ao teste de forma justa e projetou procedimentos com a justiça em mente. As comunicações nos casos de pontuações questionadas, incluindo as informações fornecidas abaixo, destinam-se a ajudar as pessoas que se submetem ao teste a entender os procedimentos adotados pelo ETS na revisão das pontuações, de modo que as questões sobre a validade das pontuações possam ser resolvidas da maneira mais rápida e equitativa possível.

O registro da pontuação da pessoa que se submete ao teste e os documentos preenchidos que são retidos no ETS podem ser liberados para qualquer entidade que o ETS reconheça como destinatário autorizado de pontuações, incluindo sem limitação (1) qualquer entidade à qual o ETS relate pontuações a pedido do candidato, (2) qualquer agência governamental, incluindo agências responsáveis ​​pela administração ou aplicação das leis criminais e/ou de imigração dos EUA, e (3) de acordo com uma intimação dos EUA ou estrangeira, ou conforme exigido pela lei aplicável.

Qualquer destinatário de pontuação ou outro terceiro pode solicitar ao ETS que divulgue os nomes das pessoas que se submeteram ao teste cujas pontuações foram questionadas, independentemente de essas pontuações serem canceladas ou não e do motivo do cancelamento da pontuação. As informações que podem ser divulgadas incluem, mas não se limitam a: informações de identificação, detalhes de qualquer investigação de segurança de teste e detalhes sobre o centro de aplicação em que o teste foi realizado. Geralmente, as razões para a divulgação das informações da pessoa que se submete ao teste incluem verificação de pontuação, investigações de segurança do teste e investigações realizadas por destinatários de pontuação sobre possíveis atividades ilícitas.

O processo de revisão de pontuação do ETS

Ao longo dos anos, o ETS desenvolveu procedimentos para revisar a validade das pontuações dos testes. A menos que o ETS encontre evidências substanciais de que as pontuações dos testes são inválidas, as pontuações são relatadas. Se o ETS tiver dúvidas quanto à validade das pontuações dos testes, a pessoa que se submete ao teste terá a oportunidade de responder e selecionar uma das opções disponíveis para resolver o assunto. Se o assunto não puder ser resolvido, o ETS cancelará as pontuações questionadas.

Se antes, durante ou depois de uma revisão de pontuações questionáveis, o ETS verificar que ocorreu má conduta em relação a um teste, o ETS poderá tratar o assunto de acordo com seus Procedimentos de má conduta. Nesse caso, as opções disponíveis relacionadas às revisões de invalidade da pontuação não estarão disponíveis, mesmo que essas opções tenham sido oferecidas anteriormente.

Como surgem as dúvidas

As dúvidas sobre a validade das pontuações dos testes podem surgir de:

• investigações realizadas pelos destinatários de pontuação sobre a validade de pontuações específicas (tais investigações surgem frequentemente de inconsistências entre diferentes medidas das capacidades da pessoa que se submete ao teste)
• comunicações por parte de administradores do centro de aplicação do teste ou de outras pessoas que se submetem ao teste
• outras fontes de informação internas e externas

Embora o ETS leve em consideração as informações recebidas dessas fontes, ele não cancela as pontuações, a menos que seja determinado que há evidências substanciais de que as pontuações são inválidas.

Alguns tipos de informações que o ETS considera ao revisar as pontuações

Informações, incluindo, entre outras, que:

• uma pessoa que se submete ao teste pode não ter trabalhado independentemente
• as pontuações dos testes são inconsistentes com as pontuações de testes anteriores ou com outras medidas das habilidades da pessoa que se submete ao teste
• o conteúdo ou as respostas do teste podem ter estado disponíveis para a pessoa que se submete ao teste antes ou durante a administração do teste
• uma fonte externa forneceu ao ETS

Comparações, entre outras:

• das respostas de uma pessoa que se submete ao teste com as de outras pessoas que se submetem ao teste
• das pontuações de uma pessoa que se submete ao teste com pontuações anteriores ou pontuações em diferentes seções do teste
• da caligrafia de documentos preenchidos no dia do teste com a caligrafia em outros documentos
• do ensaio com o de outra(s) pessoa(s) que se submete(m) ao teste e/ou fonte(s) publicada(s) ou não publicada(s)
• dos documentos de identificação apresentados pela pessoa que se submete ao teste no dia do teste com outros registros
• das informações em documentos apresentados no dia de teste com outros registros
• de respostas alteradas para coincidir com as de outra pessoa que se submete ao teste
• de dados biométricos

Nenhuma ação tomada durante a revisão

Quando surgem dúvidas antes de as pontuações dos testes serem relatadas, o ETS não relata as pontuações aos seus destinatários, a menos que e até que as preocupações sobre sua validade tenham sido resolvidas. Por outro lado, se pontuações relatadas anteriormente forem questionadas, o ETS não notificará seus destinatários a menos e até que tenha decidido cancelar as pontuações após o processo de revisão e resolução ter sido concluído, ou após o candidato não ter cumprido os prazos para o envio de informações ou o exercício de uma opção.

Processo de revisão em duas etapas

O ETS não cancelará as pontuações dos testes sem evidências substanciais de que sejam inválidas. Para garantir a equidade, o processo de revisão envolve duas etapas, com diferentes grupos de pessoas responsáveis ​​por cada uma.

A revisão inicial

O ETS Office of Testing Integrity (OTI) é responsável pela revisão inicial das pontuações. O pessoal do OTI considera se, com base nas informações disponíveis para o ETS, parece haver evidências substanciais de invalidade. Em cada caso, o OTI prepara um arquivo, chamado Resumo de Revisão de Pontuação, que contém informações e documentação relacionadas a suas preocupações.

Se o OTI determinar que não há evidências substanciais de invalidade, encerrará a revisão e enviará as pontuações que ainda não foram informadas à pessoa que se submete ao teste e aos destinatários de pontuação designados. Quaisquer destinatários de pontuação que tenham levantado dúvidas sobre as pontuações são então avisados ​​de que o ETS não encontrou problemas de validade de pontuação que o fizessem cancelar as pontuações.

Se a equipe do OTI encontrar evidências substanciais de que as pontuações podem ser inválidas, ela notificará a pessoa que se submete ao teste e oferecerá uma única oportunidade para enviar informações adicionais que respondam às preocupações do ETS. Após o recebimento de tais informações, a equipe do OTI encaminhará o Resumo de Revisão de Pontuação e qualquer informação adicional fornecida pela pessoa que se submete ao teste ao Conselho de Revisão do ETS para consideração e decisão/recomendação. Se a pessoa que se submete ao teste decidir não responder até o vencimento do prazo indicado na carta do ETS, suas pontuações serão canceladas sem aviso prévio. Neste caso, não haverá revisão pelo Conselho.

As pessoas que se submetem ao teste também receberão as opções de cancelar as pontuações e fazer outro teste sem custo, ou de cancelar as pontuações e receber um reembolso.

Envio de informações adicionais

Antes de as pontuações questionadas serem submetidas ao Conselho de Revisão, o OTI fornecerá às pessoas que se submetem ao teste uma oportunidade de enviar informações que respondam às preocupações do ETS. As pessoas que se submetem ao teste podem enviar quaisquer informações sobre sua experiência de teste que sejam relevantes. Por exemplo:

• Documentos originais autenticados escritos antes da aplicação do teste questionado podem abordar questões sobre diferenças de caligrafia.
• No caso de uma deficiência física ou outra deficiência, a pessoa que se submete ao teste pode apresentar um atestado médico ou outra informação relevante.

O Conselho de Revisão considera todas essas informações e, em alguns casos, resolve as preocupações do ETS.

Por outro lado, o Conselho de Revisão dá pouco peso a informações que não abordam especificamente as questões do ETS sobre a validade das pontuações. Por exemplo, referências de caráter ou cartas de testemunho não explicam diferenças de caligrafia ou qualquer coincidência incomum entre as respostas de duas ou mais pessoas que se submetem ao teste.

A segunda etapa da revisão

O Conselho de Revisão é um grupo imparcial de profissionais do ETS. Os membros do Conselho de Revisão não revisam as pontuações dos programas de teste pelos quais têm responsabilidade gerencial ou administrativa. O Conselho se reúne em painéis rotativos para analisar os casos. Se pelo menos um dos membros do painel concluir que não há evidências substanciais de invalidade, a revisão será encerrada e as pontuações serão relatadas.

O Conselho de Revisão considera o conteúdo do Resumo de Revisão de Pontuação (que, em casos de caligrafias discrepantes, inclui um relatório de um examinador de documentos externo retido pelo ETS) e qualquer informação submetida pela pessoa que se submete ao teste. Se o Conselho de Revisão constatar que há evidências substanciais de invalidade, o OTI notificará a pessoa que se submete ao teste. Nesta fase, o ETS oferece opções antes de cancelar as pontuações da pessoa que se submete ao teste, conforme explicado abaixo em "Opções que levam à resolução". Como discutido acima, o cancelamento das pontuações ainda é uma opção.

Opções que levam à resolução

Opção 1 - A pessoa que se submete ao teste pode cancelar as pontuações e fazer outro teste sem custo

Uma pessoa que se submete ao teste pode pedir ao ETS para cancelar as pontuações questionadas e fazer um outro teste sem custo. O ETS, então, remove as pontuações do registro da pessoa que se submete ao teste. Se as pontuações já tiverem sido relatadas, o ETS notificará os destinatários da pontuação ou outros terceiros de que as pontuações do candidato foram canceladas.

Opção 2 - A pessoa que se submete ao teste pode cancelar as pontuações e receber um reembolso

Uma pessoa que se submete ao teste pode pedir ao ETS para cancelar as pontuações questionadas e receber um reembolso da taxa do teste. O ETS, então, removerá as pontuações do registro da pessoa que se submete ao teste e reembolsará quaisquer taxas de teste aplicáveis pagas pela pessoa que se submete ao teste. Se as pontuações tiverem sido previamente relatadas, o ETS notificará os destinatários das pontuações ou outros terceiros de que as pontuações da pessoa que se submete ao teste foram canceladas.

Opção 3 - Arbitragem²

Uma pessoa que se submete ao teste pode pedir que um árbitro externo, nomeado pela American Arbitration Association, determine se o ETS tem evidência substancial para sustentar o cancelamento das pontuações questionadas.

2 A opção de arbitragem está disponível apenas para pessoas que se submetem ao teste nos Estados Unidos e territórios dos EUA.

Requisitos

Uma pessoa que se submete ao teste que escolher esta opção deve assinar um Acordo de Arbitragem do ETS padrão que explicita os procedimentos que serão aplicados na arbitragem. A arbitragem tem como única finalidade fornecer uma revisão independente da decisão do ETS de que existem evidências substanciais para sustentar o cancelamento. Essa revisão é baseada apenas nos documentos. Como resultado, o árbitro revisará somente as informações que foram submetidas ao Conselho de Revisão do ETS quando decidiu cancelar as pontuações. Portanto, as pessoas que se submetem ao teste não podem enviar nenhuma informação na arbitragem que não tenha sido submetida ao Conselho de Revisão dentro do prazo estabelecido.

Custo

O ETS paga o custo da arbitragem.

Perguntas sobre opções

As pessoas que se submetem ao teste que tiverem dúvidas sobre qualquer uma dessas opções estão convidadas a entrar em contato com o OTI (consulte "Informações de contato" abaixo).

Procedimentos de cancelamento

Uma vez que o ETS cancele as pontuações dos testes, elas não serão mais reportáveis. Qualquer taxa de teste aplicável que a pessoa que se submete ao teste tenha pagado será reembolsada, ou o candidato poderá fazer outro teste sem custos. Se as pontuações não tiverem sido relatadas a nenhum destinatário, o ETS não tomará nenhuma ação adicional. Se as pontuações tiverem sido relatadas, o ETS notificará os destinatários das pontuações ou outros terceiros que as pontuações que receberam foram canceladas.

Aconselhamento externo

As pessoas que se submetem ao teste podem procurar aconselhamento de um indivíduo de confiança sobre os procedimentos de revisão de pontuação do teste do ETS. Os membros da equipe do OTI estão disponíveis para discutir o processo de revisão de pontuação do ETS com a pessoa que se submete ao teste ou com qualquer pessoa a quem esta tenha pedido ajuda para resolver essas questões. As pessoas que se submetem ao teste devem dar permissão por escrito ao ETS para falar com qualquer pessoa.

Informações de contato

Entre em contato com o Office of Testing Integrity (OTI) se tiver alguma dúvida sobre as pontuações dos testes questionadas:

Endereço para correspondência:

Office of Testing Integrity
Educational Testing Service
Princeton, NJ 08541

Telefone:

1-800-750-6991 ((ligação gratuita nos Estados Unidos, Ilhas Virgens Americanas, Porto Rico e Canadá)
+1-609-406-5430 (todos os outros locais)

Fax:

+1-609-406-9709

E-mail:

tsreturns@ets.org