Cientistas de topo reúnem-se na ETS para explorar a personalização da avaliação ao serviço da equidade

"Temos de tentar medir o conhecimento e as competências de cada indivíduo da forma mais adequada a si."
- Randy Bennett, ETS Cátedra Norman O. Frederiksen em Inovação em Avaliação

Em teoria, a avaliação personalizada parece tão... óbvia. Todos podemos concordar sobre o que é necessário, mas é o "como o fazemos" que gerou desafios e oportunidades que obrigam a comunidade de avaliação a redefinir a avaliação futura e a desenvolver soluções para medir o que cada indivíduo sabe e pode fazer, independentemente da origem, interesse, língua materna ou identidade cultural.

Na ETS, vivemos e respiramos o futuro da avaliação todos os dias. E embora tenhamos o privilégio de contar com alguns dos principais investigadores e mentes inovadoras a trabalhar na aprendizagem personalizada, entre outras áreas-chave de investigação, sabemos que não podemos sozinhos remodelar o paradigma atual da avaliação.

"Este evento é um dos muitos passos que damos para explorar coletivamente o potencial das avaliações personalizadas para o bem maior", disse Kadriye Ercikan, Vice-Presidente de Investigação da ETS.

O evento desencadeou um diálogo dinâmico, fomentando discussões sobre o que será necessário para tornar as avaliações personalizadas que servem a equidade uma realidade. Esta foi a primeira de quatro reuniões planeadas para este ano, alinhadas com a nova agenda de investigação da ETS; eis o que ouvimos no nosso primeiro evento:

Randy Bennett,
Cátedra Norman O. Frederiksen em Inovação em Avaliação, ETS

"Os EUA, assim como muitos outros países no mundo, experienciaram níveis sem precedentes de mudança populacional. Essa mudança tem sido na direção de uma maior diversidade em muitas dimensões, mas particularmente em linhas raciais/étnicas, linguísticas e socioeconómicas. Todas essas dimensões trazem níveis significativos de heterogeneidade cultural. Os testes de hoje não foram concebidos para acomodar os níveis de diversidade cultural que nós, ou muitos outros países, estamos a experienciar. Esse conflito está a impulsionar a necessidade de novas conceções de avaliação, incluindo a personalização ao serviço da resposta à diversidade.

Se não for feita intencionalmente para alcançar objetivos de equidade, a personalização pode facilmente produzir níveis mais elevados de desigualdade. Quem faz o desenvolvimento importa, os métodos escolhidos importam, as variáveis que escolhem para personalizar sobre a matéria, as amostras participantes que utilizam importam. A demografia daqueles que desenvolvem testes e daqueles que desenvolvem sistemas de aprendizagem por IA não se assemelha em nada à demografia das populações escolares públicas nos EUA ou em muitos outros países. Isso é um problema no contexto do design da personalização para a equidade."

Matthew L. Bernacki,
Professor Associado de Ciências da Aprendizagem e Estudos Psicológicos, Universidade da Carolina do Norte em Chapel Hill, Donald e Justeen Tarbet Distinguished Scholar

"Os investigadores da educação passaram décadas a investigar como os designs instrucionais podem beneficiar determinados alunos, e existem muitas teorias psicológicas sobre a aprendizagem que podem servir de manual para professores e designers pensarem sobre como uma aula pode acomodar ou aproveitar um ativo que o aluno traz para uma experiência de aprendizagem. Em vez de construir esse conhecimento, os especialistas em personalização precisam de integrar a base de conhecimento existente no seu esquema de design, para que personalizem as características certas do aprendiz, que são conhecidas por melhorar a forma como as avaliações podem impactar as experiências e resultados do aprendiz. ... Adotar a personalização como uma lente para o design pode ajudar-nos a construir uma representação mais completa do indivíduo enquanto concebemos experiências de aprendizagem e avaliação que proporcionam a cada indivíduo uma oportunidade equitativa de demonstrar e desenvolver os seus conhecimentos e competências."

Okan Bulut,
Professor Associado de Medição e Ciência de Dados, Universidade de Alberta

"À medida que passamos de avaliações únicas para avaliações personalizadas, teremos de repensar os conceitos centrais da medição educativa, como fiabilidade e validade. Com definições mais amplas e inclusivas para estes conceitos, podemos apoiar melhor a adoção em massa de avaliações personalizadas. A personalização tem o potencial de abordar questões sociais ao promover um ambiente de aprendizagem mais equitativo e inclusivo. As avaliações personalizadas irão capacitar os alunos a demonstrar autenticamente o que sabem e podem fazer através das suas próprias experiências e escolhas de aprendizagem."

Neil Heffernan,
Fundador e Presidente do Conselho da Fundação ASSISTments; Professor William Smith Dean de Ciência da Computação e Diretor do Programa de Pós-Graduação em Ciências e Tecnologias da Aprendizagem, Worcester Polytechnic Institute

"Foi ótimo juntar-me à ETS e aos meus colegas para falar sobre personalização ao serviço da equidade. As avaliações formativas continuarão a ser importantes, e tive a honra de me juntar a este grupo para explicar como a minha plataforma online de matemática, ASSISTments.org, está a personalizar a aprendizagem."

Serena Magrogan,
Diretor Sénior, AP^® Currículo, Instrução e Avaliação The College Board^®

"A chave para uma avaliação personalizada é a aprendizagem prescritiva. As oportunidades de aprendizagem prescritiva, com parâmetros claros de saída e critérios de avaliação iniciais, podem ajudar os alunos a assumir responsabilidade, responsabilidade e até orgulho no resultado do seu trabalho. E desta forma, a avaliação funciona a seu favor, não contra eles."

Kyndra V. Middleton,
Diretor de Estudos de Pós-Graduação Professor de Psicologia Educacional,
Universidade Howard

"Nos últimos anos, assistimos a desenvolvimentos entusiasmantes e promissores na personalização da aprendizagem e da avaliação. A personalização tem o potencial de beneficiar todos os alunos, ao mesmo tempo que proporciona acesso equitativo. No entanto, com a personalização vem a responsabilidade de garantir uma medição adequada, mas atualmente este movimento está a caminhar numa direção positiva!"

Robert J. Mislevy,
Professor Emérito, Universidade de Maryland, antigo Cátedra Frederic M. Lord em Medição e Estatística, ETS

"A Personalização e a Avaliação Socio-Culturalmente Responsiva (SCRA) aproveitam os contextos pessoais, sociais, culturais e linguísticos dos estudantes conforme apropriado para mostrar melhor o que sabem e podem fazer. A minha apresentação apresenta um quadro de raciocínio evidenciário para apoiar o desenho, utilização e análise das propriedades de avaliações de vários tipos, aplicando estes princípios para diversos fins. Examino desenhos que oferecem diferentes compensações entre a validade local das interpretações das pontuações quanto à aprendizagem e a comparabilidade das pontuações em programas de testes em grande escala. Os avanços na ciência e tecnologia da aprendizagem tornam possível uma variedade de abordagens que aumentam a validade, e consequentemente a justiça, para usos direcionados às pontuações."

Jesse R. Sparks,
Investigador Sénior, ETS

"Existem muitos desafios e oportunidades em personalizar a avaliação ao serviço de uma maior equidade. A forma como implementamos a personalização pode variar em extensão e qualidade dependendo do caso de utilização da avaliação — por exemplo, podem existir maiores oportunidades para incorporar a personalização em avaliações concebidas para apoiar o ensino e a aprendizagem. É fundamental compreendermos como e quando devemos personalizar e até que ponto o apoio personalizado pode conduzir a um acesso mais equitativo para participar na avaliação e contribuir para resultados e oportunidades educativas mais equitativas."

Ye Tong,
Vice-Presidente Sénior de Operações de Avaliação, NBME

"As avaliações personalizadas têm um enorme potencial no espaço formativo para apoiar os alunos no seu caminho para o sucesso. No entanto, devemos estar atentos aos aspetos culturais e sociais do desenho e implementação da avaliação durante a personalização. Por um lado, precisamos de fornecer avaliações justas que dêem a todos oportunidades equitativas para demonstrar o que sabem e podem fazer, independentemente do seu percurso. Por outro lado, precisamos de usar as avaliações como ferramenta de ensino para criar consciência para os alunos não só da sua própria cultura e valores, mas também dos outros."