Voando Alto na Aprendizagem de Línguas: Como a Investigação da Dra. Maria Treadaway Pode Impactar a Avaliação da Língua Inglesa
24 de março de 2023
A Dra. Maria Treadaway foi nomeada vencedora deste ano com o Prémio Jacqueline Ross de Dissertação TOEFL® pela sua dissertação, "Desenvolvimento e Validação de um Teste de Linguagem Diagnóstico para Pilotos Cadetes Ab Initio." O Prémio Jacqueline Ross TOEFL reconhece a investigação de dissertação de doutoramento que faz uma contribuição significativa e original para o conhecimento sobre testes e testes de segunda língua estrangeira e/ou para a utilização e desenvolvimento desses testes e testes. Nesta sessão de perguntas e respostas, a Dra. Treadaway irá partilhar a sua investigação sobre a importância dos resultados para a indústria da aviação e para a área dos testes linguísticos e como estes contribuem para a aprendizagem e avaliação da língua inglesa, entre outros.
Pode falar-nos da sua inspiração para realizar investigação na área vital dos testes de línguas na aviação?
Dra. Maria Treadaway: Desde que recebi o Great Big Air Book de Richard Scarry no meu quinto aniversário, fiquei fascinada por aviação e aviação. Acabei por obter a minha licença de piloto comercial em 2001, mas após o 11 de setembro, decidi que continuaria a voar como hobby em vez de o seguir profissionalmente. Em vez disso, comecei a ensinar língua inglesa, concluindo depois um mestrado em linguística aplicada. A minha dissertação secundária combinou interesse em aviação e avaliação e investiguei o efeito da taxa de fala na compreensão do piloto em situações não rotineiras. Durante este período, tive uma sorte incrível por trabalhar com o Professor Emérito John Read porque a sua supervisão combinava conhecimentos de aviação e avaliação. Percebi, na minha investigação de mestrado, que havia uma necessidade real de investigação em testes de línguas de aviação e, como o John concordou em trabalhar comigo, soube que seria apoiada no meu doutoramento. Na verdade, estou na posição muito privilegiada de ser o último aluno de doutoramento do John e este prémio é tanto para ele como para mim. Assim, no meu estudo, consegui combinar o meu amor pela aviação, a língua inglesa e a avaliação.
Pode detalhar a importância dos seus resultados de investigação para a indústria da aviação e para a área dos testes de línguas?
Dra. Maria Treadaway: O meu estudo foi um projeto aplicado para desenvolver um teste que medisse a prontidão linguística de pilotos cadetes ab initio de origens não anglófonas para participarem com sucesso nos seus programas práticos de treino de voo realizados em inglês. O teste chama-se Overseas Flight Training Preparation Test ou OFTPT. Caso esteja a perguntar-se, ab initio significa desde o início, ou seja, estamos a falar de estudantes pilotos que completaram a sua formação teórica no ensino teórico e estão prontos para a transição para o treino prático de voo, e cadete refere-se ao facto de muitos dos participantes terem sido patrocinados no seu estudo por uma companhia aérea.
A motivação para este projeto surgiu do contexto atual de testes linguísticos em ambientes de formação em aviação. Atualmente, não existem medidas padronizadas de capacidade linguística para avaliar pilotos cadetes ab initio de origens não anglófonas que estejam a iniciar formação prática de voo em países de língua inglesa. Em vez disso, cada organização de formação adota os seus próprios requisitos de avaliação e admissão, o que resulta numa abordagem ad hoc para avaliar a prontidão linguística, em contraste com a avaliação robusta e padronizada das competências noutras áreas da sua formação. Consequentemente, o setor da educação aeronáutica sinalizou a necessidade de uma ferramenta de medição válida, fiável e padronizada, calibrada para a escala de proficiência linguística da Organização da Aviação Civil Internacional (ICAO) (esta é a medida internacional para a proficiência linguística de pilotos e controladores de tráfego aéreo), para ajudar a estabelecer padrões de qualidade comparáveis entre organizações, com o objetivo de minimizar as consequências negativas sofridas pelos estudantes pilotos, patrocinando companhias aéreas e organizações de formação quando os estudantes são admitidos num programa quando não estão linguisticamente preparados. Portanto, em termos da importância da minha investigação, pode representar a ferramenta de medição que a indústria procura porque foi motivada pelas necessidades reais da indústria.
Dados da investigação do domínio Target Language Use (TLU) (Fase 1) e da sessão de definição de normas (Fase 4) indicam que o OFTPT tem sucesso em captar o que os especialistas em matéria (SMEs) neste domínio (instrutores de voo, controladores de tráfego aéreo e professores de língua inglesa de aviação) valorizam em termos de conteúdo do teste. A análise dos itens nos ensaios de teste (Fase 3) mostra que a operacionalização do conceito (Fase 2) foi bem-sucedida, pois o teste discrimina bem e teve um nível de dificuldade adequado. Durante a definição de normas com SMEs (Fase 4), houve também um grau considerável de homogeneidade quanto aos níveis de desempenho linguístico que os SMEs esperavam dos Non-Native English Speaking (NNES) ab initios, sugerindo que a confiança pode ser mantida nos níveis limiares de desempenho articulados nos descritores do nível de desempenho e nas pontuações de corte, que estavam inferencialmente ligadas à escala de proficiência linguística da ICAO. Em suma, cada fase contribuiu para identificar um padrão determinado pelos SMEs num teste desenvolvido especificamente para este domínio TLU. Este é o primeiro parâmetro baseado em investigação para a entrada no treino de voo, medido em relação à escala da ICAO. É um começo e sei que muitas outras pessoas estão a trabalhar para melhorar os padrões nesta área e espero que outros possam e queiram construir sobre o meu trabalho.
Como imagina a sua investigação a contribuir para o campo da aprendizagem e avaliação da língua inglesa?
Dra. Maria Treadaway: Em termos de contribuição prática, o principal resultado do projeto é um teste totalmente operacional, realizado online, que visa especificamente as necessidades dos pilotos ab initio que iniciam o seu treino prático de voo e está alinhado com a escala de Avaliação de Proficiência Linguística da ICAO. As pontuações dos testes podem ser interpretadas como níveis de prontidão para realizar treino prático de voo (ou seja, um aluno está pronto, minimamente pronto ou não pronto) e estes níveis de prontidão foram empiricamente ligados à escala de avaliação da ICAO, que, como referi anteriormente, é a primeira vez que níveis limiar de proficiência linguística neste domínio da TLU foram associados à escala.
O teste também se foca na importante função diagnóstica do teste neste ambiente. No relatório de pontuação, os candidatos recebem feedback detalhado sobre o seu desempenho que pode ajudá-los a identificar os seus pontos fortes e fracos para melhorar as suas competências linguísticas de aviação. No site complementar do teste, selecionei recursos de aprendizagem que os candidatos podem aceder livremente para melhorar as suas fraquezas e desenvolver os seus pontos fortes. Assim, há potencial para um retorno positivo nos resultados de aprendizagem de línguas, onde os aprendentes desenvolvem os conhecimentos, competências e capacidades de que necessitam nos seus domínios reais e são testados nas mesmas competências no OFTPT. Este alinhamento entre aprendizagem e avaliação foi muito importante para mim ao desenhar o meu teste de linguagem de aviação. As tarefas do teste de línguas estão muito alinhadas com as tarefas no domínio de uso da língua alvo dos alunos, para que aprendizagem e avaliação fluam uma com a outra. Acho que isto é muito importante para motivar os aprendentes e aumentar o seu envolvimento com a língua de que precisam para funcionar dentro do domínio de uso da língua alvo, neste caso, treino prático de voo.
Em termos de contribuição teórica, este estudo é o primeiro trabalho a unir duas abordagens bem estabelecidas à validação na avaliação: o argumento do Uso da Avaliação de Bachman e Palmer, e o quadro sociocognitivo de O'Sullivan e Weir de 2011. Assim, as descrições alargadas do desenho e operacionalização do OFTPT na Fase 2 (no Capítulo 5 da minha dissertação) poderiam servir como um plano útil para os desenvolvedores de testes ESP/LSP e, em particular, para os desenvolvedores de testes de aviação, porque o capítulo inclui também especificações detalhadas e uma justificação para cada módulo do OFTPT (Listening, Reading and Speaking).
Como é que o recebimento do Prémio de Dissertação Jacqueline Ross TOEFL® impactou a sua carreira e trajetória de investigação?
Dra. Maria Treadaway: Antes de mais, receber este prémio trouxe um nível significativo de reconhecimento na minha escola e corpo docente na Universidade e em Auckland, bem como na comunidade de testes de línguas na Austrália e Nova Zelândia e agora, com esta entrevista, talvez ainda mais longe! Espero que isto aumente a visibilidade do meu projeto de doutoramento, talvez resultando em algumas aplicações reais do OFTPT em organizações de formação em aviação. Além disso, por ser um prémio internacional, acrescenta credibilidade à minha investigação, o que pode ajudar na aceitação do teste nas organizações de formação em aviação e na garantia de financiamento futuro para validação e investigação. Para além do reconhecimento, o prémio inclui apoio financeiro que usarei para divulgar a minha investigação, participando em conferências e outras oportunidades de desenvolvimento profissional. Este reconhecimento já se traduz em maiores oportunidades de colaboração com outros investigadores da Austrália, Brasil e Estados Unidos, o que, por sua vez, espero que conduza a novas vias de investigação e ao avanço da área. Por isso, penso que este prémio me ajudou como plataforma para partilhar o meu trabalho com um público mais vasto.
Pode falar sobre a importância de reconhecer e apoiar a investigação em testes de línguas?
Reconhecer e apoiar a investigação em testes linguísticos é extremamente importante por várias razões. Em primeiro lugar, a investigação em testes de línguas ajuda a garantir que os testes linguísticos são justos, fiáveis e válidos, o que é particularmente importante em contextos onde a proficiência linguística é usada para fins de alto risco, como aviação ou imigração. Se conseguirmos melhorar a precisão da avaliação linguística, podemos ter um impacto positivo nas oportunidades educativas e profissionais dos indivíduos, bem como na sociedade como um todo. Sem investigação, talvez não consigamos captar o conceito alvo ou medir com precisão a proficiência linguística, levando a avaliações imprecisas dos aprendizes e a consequências negativas não intencionais para todos os intervenientes. Os avanços tecnológicos podem apoiar a investigação em testes linguísticos, permitindo o desenvolvimento de métodos e ferramentas inovadoras que captam melhor a proficiência linguística e melhoram a experiência de avaliação para os candidatos, talvez tornando os testes mais acessíveis e equitativos. Por fim, a investigação em testes linguísticos pode ajudar a informar políticas e tomada de decisão, conduzindo a programas de educação linguística mais eficazes e melhores resultados para os aprendizes. Portanto, a investigação é bastante importante!
Quais foram alguns dos maiores desafios que enfrentou durante o seu projeto de doutoramento e como os superou?
Dra. Maria Treadaway: Grande parte do meu doutoramento foi feito durante a pandemia de COVID-19, por isso houve desafios únicos que tornaram o processo mais complexo, mas também me apresentaram novas oportunidades para explorar soluções inovadoras usando ferramentas digitais e colaborativas. Desafios específicos envolveram gerir todas as pequenas tarefas que precisavam de ser concluídas, desenvolver e manter ligações dentro da indústria de formação em aviação, recrutar participantes (especialmente com as restrições dos governos e o distanciamento social) e a necessidade geral de entrevistas virtuais e recolha de dados online. Por vezes, não conseguia aceder a recursos físicos da biblioteca, o que tornava a gestão do tempo e a coordenação do fluxo das atividades de investigação difíceis por vezes. Para além da COVID, provavelmente como a maioria dos estudantes de doutoramento, achei a motivação mais desafiante, especialmente durante o processo de escrita. A forma como superei isto foi incorporando recreação na minha agenda — passeios, visitas com família e amigos e para o trabalho. Este equilíbrio era necessário para manter o foco prolongado de que precisava. Também mantive um registo das atividades em que estava a trabalhar, das intenções/resultados para os quais trabalhava e uma reflexão sobre como estava a sair e o tempo que dedicava às atividades. Este registo de tempo e atividade foi essencial para me ajudar a manter-me focado, motivado e concentrado enquanto trabalhava remotamente e isoladamente.
Por fim, que mensagem gostaria de partilhar com investigadores aspirantes nesta área?
Dra. Maria Treadaway: As implicações dos testes linguísticos para a indústria da aviação são vastas e penso que há muito espaço para investigação adicional que garanta que os testes de linguagem nesta área são eficazes, atualizados e que os testes são desenvolvidos de acordo com padrões profissionais, com evidências de validação para apoiar as inferências dos resultados dos testes. Por isso, para aqueles que estão a fazer investigação e talvez a sentir os desafios disto, lembrem-se que os testes linguísticos são de importância máxima para a indústria da aviação para garantir a segurança, melhorar a comunicação e, consequentemente, aumentar a consciência situacional e melhorar a tomada de decisões dentro do cockpit. Continue e saiba que aquilo em que está a trabalhar conta!