Cientistas de destaque se reúnem na ETS para explorar a personalização da avaliação a serviço da equidade

"Devemos tentar medir o conhecimento e as habilidades de cada indivíduo da forma mais adequada para eles."
- Randy Bennett, ETS Cátedra Norman O. Frederiksen em Inovação em Avaliação

Em teoria, a avaliação personalizada parece tão... óbvia. Todos podemos concordar sobre o que é necessário, mas é o "como fazemos isso" que gerou desafios e oportunidades que exigem que a comunidade de avaliação redefina a avaliação futura e desenvolva soluções para medir o que cada indivíduo sabe e pode fazer, independentemente de origem, interesse, primeira língua ou identidade cultural.

Na ETS, vivemos e respiramos o futuro da avaliação todos os dias. E embora tenhamos o privilégio de contar com alguns dos principais pesquisadores e mentes inovadoras trabalhando em aprendizagem personalizada, entre outras áreas-chave de pesquisa, sabemos que não podemos sozinhos remodelar o paradigma atual da avaliação.

"Este evento é um dos muitos passos que tomamos para explorar coletivamente o potencial das avaliações personalizadas para o bem maior", disse Kadriye Ercikan, Vice-Presidente de Pesquisa da ETS.

O evento desencadeou um diálogo dinâmico, fomentando discussões sobre o que será necessário para tornar avaliações personalizadas que servem à equidade uma realidade. Esta foi a primeira de quatro reuniões planejadas para este ano, alinhadas com a nova agenda de pesquisa da ETS; Eis o que ouvimos em nosso primeiro evento:

Randy Bennett,
Cátedra Norman O. Frederiksen em Inovação em Avaliação, ETS

"Os EUA, assim como muitos outros países ao redor do mundo, experimentaram níveis sem precedentes de mudança populacional. Essa mudança tem sido na direção de uma maior diversidade em muitas dimensões, mas particularmente em linhas raciais/étnicas, linguísticas e socioeconômicas. Todas essas dimensões trazem níveis significativos de heterogeneidade cultural. Os testes de hoje não foram projetados para acomodar os níveis de diversidade cultural que nós, ou muitos outros países, estamos experimentando. Esse conflito está impulsionando a necessidade de novas concepções de avaliação, incluindo personalização a serviço da resposta à diversidade.

Se não for feita intencionalmente para alcançar fins de equidade, a personalização poderia facilmente gerar níveis maiores de desigualdade. Quem faz o desenvolvimento importa, os métodos escolhidos importam, as variáveis que escolhem para personalizar sobre a matéria, as amostras participantes que empregam importam. A demografia daqueles que desenvolvem testes e daqueles que desenvolvem sistemas de aprendizagem de IA não se parece em nada com a demografia das populações de escolas públicas nos EUA ou em muitos outros países. Isso é um problema no contexto do design da personalização para equidade."

Matthew L. Bernacki,
Professor Associado de Ciências da Aprendizagem e Estudos Psicológicos, Universidade da Carolina do Norte em Chapel Hill, Donald e Justeen Tarbet Distinguished Scholar

"Pesquisadores educacionais passaram décadas pesquisando como os designs instrucionais podem beneficiar alunos específicos, e existem muitas teorias psicológicas sobre a aprendizagem que podem servir como manual para professores e designers pensarem sobre como uma aula pode acomodar ou aproveitar um ativo que o aprendiz traz para uma experiência de aprendizagem. Em vez de construir esse conhecimento, os especialistas em personalização precisam trazer a base de conhecimento existente para seu esquema de design para que personalizem as características certas do aluno, que são conhecidas por melhorar como as avaliações podem impactar suas experiências e resultados. ... Adotar a personalização como uma lente para o design pode nos ajudar a construir uma representação mais completa do indivíduo enquanto criamos experiências de aprendizado e avaliação que proporcionam a cada indivíduo uma oportunidade equitativa de demonstrar e desenvolver seus conhecimentos e habilidades."

Okan Bulut,
Professor Associado de Medição e Ciência de Dados, Universidade de Alberta

"À medida que avançamos de avaliações únicas para avaliações personalizadas, precisaremos repensar os conceitos centrais da medição educacional, como confiabilidade e validade. Com definições mais amplas e inclusivas para esses conceitos, podemos apoiar melhor a adoção em massa de avaliações personalizadas. A personalização tem o potencial de abordar questões sociais ao promover um ambiente de aprendizagem mais equitativo e inclusivo. Avaliações personalizadas capacitarão os alunos a demonstrar autenticamente o que sabem e podem fazer por meio de suas próprias experiências e escolhas de aprendizagem."

Neil Heffernan,
Fundador e Presidente do Conselho da Fundação ASSISTments; Professor William Smith Dean de Ciência da Computação e Diretor do Programa de Pós-Graduação em Ciência e Tecnologias da Aprendizagem, Worcester Polytechnic Institute

"Foi ótimo vir para a ETS e meus colegas para conversar sobre personalização a serviço da equidade. As avaliações formativas continuarão sendo importantes, e tive a honra de me juntar a este grupo para explicar como minha plataforma online de matemática, ASSISTments.org, está personalizando o aprendizado."

Serena Magrogan,
Diretor Sênior, AP^® Currículo, Instrução e Avaliação The College Board^®

"A chave para a avaliação personalizada é a aprendizagem prescritiva. Oportunidades de aprendizagem prescritiva, com parâmetros claros de saída e rubricas de avaliação antecipadas, podem ajudar os alunos a assumirem responsabilidade, responsabilidade e até orgulho do resultado do seu trabalho. E, dessa forma, a avaliação funciona a favor deles, não contra eles."

Kyndra V. Middleton,
Diretor de Estudos de Pós-Graduação Professor de Psicologia Educacional,
Universidade Howard

"Nos últimos anos, vimos desenvolvimentos empolgantes e promissores na personalização da aprendizagem e avaliação. A personalização tem o potencial de beneficiar todos os alunos, ao mesmo tempo em que proporciona acesso equitativo. No entanto, com a personalização vem a responsabilidade de garantir medições adequadas, mas atualmente, esse movimento está caminhando em uma direção positiva!"

Robert J. Mislevy,
Professor Emérito, Universidade de Maryland, Ex-Cátedra Frederic M. Lord em Mensuração e Estatística, ETS

"Personalização e Avaliação Socio-Culturalmente Responsiva (SCRA) aproveitam os contextos pessoais, sociais, culturais e linguísticos dos estudantes conforme apropriado para mostrar melhor o que eles sabem e podem fazer. Minha apresentação apresenta um arcabouço de raciocínio evidenciário para apoiar o desenho, uso e análise das propriedades de avaliações de vários tipos, aplicando esses princípios para diversos propósitos. Examino desenhos que oferecem diferentes compensações entre a validade local das interpretações de pontuação para aprendizagem e a comparabilidade das pontuações em programas de testes em grande escala. Avanços na ciência e tecnologia da aprendizagem possibilitam uma variedade de abordagens que aumentam a validade, e consequentemente a justiça, para usos direcionados às pontuações."

Jesse R. Sparks,
Cientista Pesquisador Sênior, ETS

"Existem muitos desafios e oportunidades em personalizar a avaliação em prol de uma maior equidade. A forma como promovemos a personalização pode variar em extensão e qualidade dependendo do caso de uso da avaliação — por exemplo, pode haver maiores oportunidades de incorporar a personalização em avaliações projetadas para apoiar o ensino e a aprendizagem. É fundamental para nós entender como e quando devemos personalizar e em que medida o apoio personalizado pode levar a um acesso mais equitativo para participar da avaliação e contribuir para resultados e oportunidades educacionais mais equitativas."

Ye Tong,
Vice-Presidente Sênior de Operações de Avaliação, NBME

"Avaliações personalizadas têm um potencial tremendo no espaço formativo para apoiar os aprendizes em seus caminhos rumo ao sucesso. No entanto, devemos estar atentos aos aspectos culturais e sociais do desenho e implementação da avaliação durante a personalização. Por um lado, precisamos fornecer avaliações justas que ofereçam a todos oportunidades equitativas para demonstrar o que sabem e podem fazer, independentemente de suas origens. Por outro lado, precisamos usar as avaliações como uma ferramenta de ensino para criar conscientização para os alunos não apenas sobre sua própria cultura e valores, mas também sobre os outros."