İngilizce Yazma Becerilerinin Adil Bir Ölçüsü Oluşturmak: Larry Davis ile Röportaj
Aşağıda, on yılı aşkın süredir TOEFL® araştırmalarında öncü rol oynayan ETS Araştırma Direktörü Larry Davis ile Stratejik Girişimler Direktörü John Clark arasında bir sohbet yer almaktadır. Larry'nin araştırmalarının daha fazlasını burada okuyabilirsiniz.
Larry, akademik geçmişinle ilgili bir soruyla başlamak istedim. İlk olarak balıkçılık bilimi alanında lisans derecesi aldığınız doğru mu?
Evet, hayvan bilimi alanında lisans derecem vardı, su ürünleri ağırlıklı ve ardından balıkçılık bilimi alanında yüksek lisans yaptım.
Vahşi! Bu adil olmayan bir soru olabilir, ama bu alanlar ile seçtiğiniz meslek olan dil değerlendirmesi arasında herhangi bir bağlantı var mı?
Kesinlikle çok farklı çalışma alanları. Ama bazı ortak noktalar var. Ve bunlar, ölçülmeyi öğrenmek ve sonra ölçtüğünü analiz etmek ihtiyacıyla ilgili.
Balıkçılıktaki çalışmalarımda somon fizyolojisi ve göç davranışını inceledik. Ve bu olaylarla ilgili olguları ölçmenin her zaman kesin yolları yoktu.
Bu işin büyük bir kısmı, öncelikle bize ilgi çekici bir şey söyleyecek bir şeyi nasıl ölçeceğinizi çözmek. Ve bu verilere sahip olduğunuzda, onları nasıl değerlendiriyorsunuz veya karar verme süreçlerini nasıl analiz ediyorsunuz?
Dil testlerinde de aynı sorun var. Birinin İngilizce iletişim kurabilme yeteneğine dair ne tür kanıtlar topluyoruz? Bu verileri nasıl topluyoruz? Ve karar alma süreçlerinde faydalı olabilecek şekilde nasıl değerlendirebiliriz?
Yani çok farklı alanlar, ama ikisi de benzer türde bir sorunla karşı karşıya.
Bu çok faydalı bir karşılaştırma. Bu arada, Oregon'daki Willamette Nehri'ndeki somon merdivenlerine gittim; orada somonların barajların etrafında yüzerek yukarı akışta yumurtlamasını sağlayan yapılar inşa edildi. Somon bilgim bu kadar.
Böyle yerlere derinlemesine girdim, büyük hidroelektrik barajların içinde de güvenlik endişeleri nedeniyle muhtemelen erişemeyeceğiniz yerlerde.
Ah! Daha az tehlikeli bir alan seçmiş gibisin. Ama tartışmak istediğim konu için zemin hazırladınız.
İngilizce değerlendirmesindeki en zorlu zorluklardan biri, bir öğrencinin İngilizce yazma yeteneğine dair anlamlı göstergeleri nasıl toplanacağını bulmaktır. Standartlaştırılmış bir sınavda yazma becerilerini test etmenin doğasında olan zorlukları nasıl değerlendiriyorsunuz?
Bence temel bir zorluk, sizin ima ettiğiniz gibi, birinin yazılı olarak neler yapabileceğine dair ancak çok kısa bir örneği toplayabilmemizdir.
Ve sonra bu örnekleme bakılırsa – ister on dakika, ister bir saat, ister birkaç saat olsun – bu, birinin akademik kariyeri boyunca yazdığı kelime sayısı ve akademik çalışmalarında yaptığı farklı yazı türleri açısından yazabileceği tüm yazıların sadece küçük bir kısmı.
Yani oyun aslında tahmin ile ilgili. Yapabileceklerine dair bir örnek topluyoruz. Ve sonra bu örnekleme dayanarak, bu kişinin gerçek dünyada neler yapabileceğini düşündüğümüz bazı ekstrapolasyonlar yapıyoruz. İşte temel zorluk bu.
Bu zorluğu ele almak için farklı makul yaklaşımlar vardır. Bir anlamda, nispeten kısa bir örneklem alıp diğer verilerle birleştirerek birinin genel yeteneğini anlayabilirsiniz. Ve bu, dil yeterliliği testlerinin tipik yaklaşımıdır.
Spektrumun diğer ucunda, birinin belirli bir duruma çok özgü görevleri yapmasını sağlayabilirsiniz ve bu, birinin o durumda ne yapabileceğine dair daha doğrudan çıkarımlar sağlar.
Bu tür 'özel amaçlar' sınavı, bir baro sınavı gibi olabilir; bu da muhtemelen bir avukatın yapması beklenen yazıma türüne biraz daha yakındır; dil yeterlilik testlerinde değerlendirdiğimiz çok genel yazı türüne kıyasla.
TOEFL ile ilgili olarak, siz ve meslektaşımız John Norris, Akademik Tartışma İçin Yaz adlı yeni bir soru türünün etkisini araştırmak için çabalarımıza öncülük ettiniz. ETS, yazıyı TOEFL üzerinden nasıl test ettiğimizi neden yeniden gözden geçirmeyi uygun gördü?
Bu görevin geliştirilmesini motive eden çeşitli nedenler vardı. Birincisi, TOEFL IBT'nin ilk geliştirilmesinden beri, 1990'ların ortalarından 2000'lerin başına kadar, üniversite ortamlarında yazının tartışmasız değişmiş olmasıdır.
Ama test değişmemişti. Bu nedenle, bu durumda, yeni geliştirilen yazı türlerini değerlendirmek için bir gerekçe olduğunu düşündük. Ve bu türler genellikle daha kısa olur. Ayrıca genellikle daha konuşkan olurlar.
Bunun bir kısmını yakalayan bir görev geliştirmek istedik. İşte bu bir motivasyondu. Bir diğer ek avantaj ise ideal olarak test süresini azaltmaya yardımcı olmasıdır. Testin önceki versiyonunda, TOEFL IBT'nin yazma bölümü temelde bir saat sürdü ve iki madde içeriyordu.
Psikometrik açıdan, insanların testin o bölümüne harcadıkları zaman için çok fazla bilgi vermiyor. Bu yüzden test zamanındaki ekonomi, görevin tasarımı açısından başka bir avantajdı.
Bu bölümü daha zaman verimli hale getirmenin dışında, Akademik Tartışma için Yaz görevinin geliştirilmesindeki diğer motivasyonlar nelerdi?
Bir diğer amaç ise yazı için ek bağlam sağlamaktı. Akademik Tartışma için Yazma görevinin yerine geçen görev çok geleneksel bir deneme göreviydi. Bir görüş sorusu geliyor, biliyorsun – hangisini tercih ediyorsun, köpeği mi yoksa kediyi mi? Ve aldığınız tüm giriş bu.
Bu çok geleneksel ve uzun süredir kullanılan bir test öğesidir. Ama bağlam sağlamıyor. Ve izleyicinin kim olduğunu söylemiyor. Ayrıca daha geniş durum hakkında hiçbir şey söylemiyor. Bu bağlam eksikliği yazar topluluğunda eleştirilmiştir, ancak pratik bir konuda da yanıtın uygun olup olmadığına karar vermede sorunlar yaratmaktadır.
Örneğin, bir öğrenciniz akademik bir tarzda yazıyor, diğeri ise günlük bir tarzda yazıyor olabilir. Değerlendirme yapanlar, daha akademik tarza sahip öğrenciye daha yüksek puan vermek isterler, ancak bu tür yazıları argo yazıya göre önceliklendirmek için gerçekten ilkeli bir sebep yok çünkü izleyicinin kim olduğunu söylemedik.
Bu da başka önemli bir konu. Amacı ve kitleyi net bir şekilde tanımlamak, bu yanıtları daha mantıklı bir şekilde puanlamamıza yardımcı olur.
Son zamanlarda TOEFL almamış olanlar için, Akademik Tartışma için Yazma görevinde bir profesörden bir öneri ve öğrencilerden iki yanıt var. Ve sınav sahibinin, modern akademik bir forumda olduğu gibi bu sorularla ilgilenmesi bekleniyor.
Evet, doğru.
Böyle bir görev türünün sınav için uygun olduğuna nasıl güvenebiliriz?
Bu gerçekten harika bir soru. Ve test geçerliliği – ki bu sorunun dediği şey – dil değerlendirmesi alanında lisansüstü öğrencilerin çok zaman harcadığı bir konu. Bu, alanın onlarca yıldır gerçekten çok önem verdiği bir konu. Sonuç olarak, bir test görevini nasıl gerekçelendirmek gerektiği konusunda çok iyi kurulmuş bazı prosedürlerimiz var.
Bu genellikle belirli kanıt türlerini dikkate alması gereken geçerlilik argümanı şeklinde olur. Bu tür kanıtlar, görevin gerçek dünya görevleriyle ilişkisi olabilir. Peki bu ne kadar yakın ya da birinin gerçek dünyada neler yapabileceği hakkında bize ne söylüyor?
Ayrıca görevin nasıl puanlandığına ve puanlamanın tutarlı ve adil olup olmadığına dair kanıtlar da içerecek. Ve puanlama, insanların o görevde yapmaları gereken önemli kısımları gerçekten kaplıyor mu?
Ayrıca, bu ölçümün aynı tür yetenek ölçümleriyle nasıl ilişkili olduğuna dair kanıt toplamayı da içerir. Örneğin, bir yazma görevimiz varsa, yazı değerlendirmeleriyle olumlu bir ilişkisi olmalı.
Son olarak, testin gerçek dünyadaki performansla nasıl ilişkili olduğu sorusu var. Yani insanlar sınavda yüksek puan alırsa, bu gerçek dünyadaki durumlarda, örneğin yazma derslerinde iyi performans gösterecekleri anlamına mı geliyor? Ve son olarak, geri yıkama nedir?
Ve geri ödeme derken, insanlar bu göreve hazırlanacaksa, bu gerçekten dil becerilerine fayda sağlıyor mu? Bu hazırlık gerçekten onların becerilerini geliştirmelerine yardımcı oluyor mu? Yoksa sadece engelleri aşmayı mı öğreniyorlar? Ve insanlar hazırlanır, eğer bu yüksek riskli bir sınavsa.
Bu görevleri gerekçelendirmek için bir çerçeve ve mantık zinciri var. Ve bu çerçeve, bir testin veya test görevinin kullanıma uygun olup olmadığını nasıl değerlendirdiğimizi düşünmek için bir temel sağlar.
Akademik Bir Tartışma için Yaz görevini bağımsız makaleyle karşılaştırdığınız makalede, sınav yapanların ürettiği metin kalitesinde, sözdizimi karmaşıklığı, dilbilgisel doğruluğu, sözcük çeşitliliği, söylemi, bütünlüğü ve ayrıntısı ile yazılarının akıcılığı açısından benzerlikler" buldunuz.
Ve bu terimler önemlidir çünkü öğrencilerin performansını nasıl puanladığımızda yer alıyor. Ama "sözdizimsel karmaşıklık" derken ne demek istiyorsun?
Sözdizimsel karmaşıklık, yazıda kullanılan dilbilgisi yapılarıyla ilgilidir. Bazı dinleyiciler okul yıllarında cümleleri diyagram yapmış olabilir ve burada ne demek istediğimi anlayabilirler, ama daha karmaşık bir cümle daha uzun ve karmaşık bir diyagrama sahip olur. Ve genellikle birden fazla madde gibi çeşitli şeyleri içerecektir.
Bir metafor kullanarak: Basit bir cümle doğrudan yukarı giden bir bambu çubuğu gibiyse, karmaşık bir cümle daha çok birçok dallı ve ideal olarak hepsi tutarlı bir anlam sağlayan bir ağaca benzer.
Bu terimi netleştirdiğiniz için teşekkürler – bambu, anlıyorum! Yeni geliştirilen yazma görevi üzerine yapılan çalışma hakkında biraz daha bilgi verir misiniz?
Yaptığımız çalışmada temel sorun, Akademik Tartışma için Yazma görevi tanıtıldığında, sınav puanlarının yorumunu değiştirmek istememizdi. Yani fikir şu: Görevi değiştiriyoruz, ama yine de birinin yeteneğiyle ilgili aynı türden çıkarımları desteklemeli.
Ve bu durumda, mevcut görevden elde ettiğimiz kanıt türüne bakmak önemli, o dönemdeki mevcut görevle bu yeni görevle karşılaştırılmaz. Bu yüzden her iki görevi de yapmış kişilerden veri aldık ve yazının çeşitli özelliklerini analiz ettik.
Sözdizimsel karmaşıklık, sizin bahsettiğiniz diğer şeylerle karşılaştırma noktalarından biriydi; dilbilgisel doğruluk, kelime dağarcığı kullanımı, bütünlük, söylem işaretleyicileri, bu tür şeyler.
Bir cümle daha sorabilir miyim? Sözcük çeşitliliği. Bu ne anlama geliyor?
Bu kelime dağarcığıdır. Ya da özellikle kelime dağarcığı çeşitliliği. Buna bakmamızın sebebi, sadece çok sayıda farklı kelime kullanmak ya da büyük kelimeler kullanmak değil. Mesele hassasiyet. Kelime çantanızda daha fazla kelime varsa, anlamlarınızı daha hassas ifade etmenizi sağlar.
Anlaşıldı! Larry, testimizin bir bölümünü nasıl tasarladığımıza dair perde arkası bakış için teşekkürler. Yazmayı öğrenen bir çocuğum var ve bana göre, anlamamam bir mucize. Ama Larry, İngilizce yazı ölçümü sürecini çözmeye yardımcı oldun. Zamanınızı ayırdığınız için çok minnettarım.
Sohbet etmek gerçekten zevkti, John – ve sosisin nasıl yapıldığını her zaman konuşmaktan mutluydum, tabiri caizse.
Evet, ve akşam yemeğinden bahsetmişken, yakında somon hakkında da konuşalım.
Harika olur.
