Daha yüksek ve düşük puan alan öğrenciler için eyaletlerin NAEP puan değişikliklerini anlamak için yeni bir etkileşimli ekran tanıtım

COVID-19 pandemisinden bu yana öğrenci başarılarındaki düşüşler, toplumun genel ilerlemesini tehlikeye atıyor. Düşünceli veri görselleştirmeleri, öğrencilerin nasıl performans gösterdiğini ve lise sonrası başarıya hazırlanmak için en çok hangi ek desteğe ihtiyaç duyduklarını ortaya çıkarmaya yardımcı olabilir.

Nisan 2025'te, Ulusal Değerlendirme Yönetim Kurulu (NAGB), Ulusal Eğitim İlerleme Değerlendirmesi (NAEP) sınav puanlarını kullanarak ülke ve eyaletlerin akademik iyileşme yolunda nasıl ilerlediklerini incelemek için bir NAEP veri aracı yayınladı. Şekil 1, aracın bir anlık görüntüsünü sunar. Bir sınıf (4 veya 8. sınıflar) ve dersler (okuma veya matematik) için ortalama puan değişikliklerini bar grafiklerle vurgular. Veri aracı temel veri noktalarının özetini sunar, ancak yakın zamanda bir ETS Research blog yazısında da gösterdiğimiz gibi, öğrenci performansındaki daha kapsamlı değişiklikler genellikle ortalama puanların arkasına saklanır. Ya da mantra dediği gibi: "Ortalamalar daha fazlasını gizleyebilir, göstermekten fazlasını gizleyebilir!"

_{Şekil 1. NAGB'nin pandemi dönemi puan değişimi çubuk grafiğinin ülke için 4. sınıf okumasında yeniden üretilmesi.}

Tüm başarı spektrumunda puan değişikliklerini inceleyecek etkileşimli bir ekran oluşturmaya ilham verdik—çünkü bir fotoğraf bin kelimeye değerse, etkileşimli bir sergi çok daha değerli olur! Bu blog yazısında, bu yeni aracın pandemi öncesi ve sonrası öğrenci performansındaki tüm 50 eyalette gösterdiklerini vurguluyoruz. NAEP sıralamasında en üst sıralarda bile daha düşük puan alan öğrenciler, daha yüksek puan alan akranlarına göre daha fazla puan kazanmak zorunda. Daha sonra etkileşimli ekranımızın işlevselliğini gözden geçiriyoruz, böylece verilerde bir sonraki hikayeyi bulabiliyorsunuz.

_{Şekil 2. 2019 ve 2024 4. sınıf NAEP okuma puan dağılımları.}

Şekil 2'de, 2019 ve 2024 yılları için ulusal 4. sınıf NAEP okuma puan dağılımlarını kullanarak okuma puanlarının pandemi öncesinden sonrasına nasıl değiştiğini gösteriyoruz. Her yıl için, öğrenci başarı spektrumunun düşük (10. ve 25. yüzde dilimler), orta (50. ve yüzde dilim) ve yüksek (75. ve 90. yüzde dilimler) puanlarını gösteren 5 yüzde ile puan gösterir.

İki puan dağılımını karşılaştırdık, pandemiden bu yana daha düşük puan alan öğrenciler arasında puanların daha yüksek puan alan öğrencilere göre daha düştüğünü gösteriyor. Bu, 2024 puan dağılımının 2019 dağılımından daha geniş olduğunu gösteren alt çubuğun görülmesinden görülmektedir. Düşük puan alan öğrenciler için sola kaydırılmış ancak 2019 puan dağılımı ile neredeyse üst sırada. Ayrıca şu gözlemleri yapıyoruz:

• Öğrencilerin en düşük yüzde 10'u 2019'da 168 veya altında puan aldı, ancak 2024'te sadece 158 veya altında puan aldı—yani 10 puan düşüş.
• Buna karşılık, öğrencilerin en üst yüzde 10'u 2019'da 266'nın üzerinde puan aldı, 2024'te ise neredeyse aynı olan 265'e ulaştı—sadece 1 puan düşüş.
• Sadece ortalama puanlara bakmak yerine, tam puan dağılımını kullanarak, düşük puan alan öğrencilerin düşüşünün, daha yüksek puan alan öğrencilere göre yaklaşık 10 kat daha büyük olduğunu görüyoruz.
• Başarı spektrumundaki bu skor değişiklikleri, düşük ve yüksek puan alan öğrenciler arasındaki başarı farkının 2019'dan 2024'e kadar 9 puan oranında genişlemesine dönüşüyor.

_{Şekil 3. 2019'dan 2024'e kadar ülke genelinde 4. Sınıf NAEP okuma puanlarında değişiklikler. 0'daki yatay çizgi, pozitif ve negatif değişiklikleri ayırt eder.}

Başarı spektrumu boyunca puan değişikliklerindeki farklılıkları daha kolay görmek için, trendleri yorumlamak için bir grafik türü varyasyonu sunuyoruz. Şekil 3'te gösterildiği gibi, Şekil 2'deki iki dağılımın karşılaştırmasını tek bir çizgiyle birleştiriyoruz.

Değerlendirme yılını yatay eksende gösteren tipik değerlendirme sonuç çizgi grafiklerinin aksine, grafikimizde 2019 puanlarını yatay eksende birden fazla yüzde ile noktada ve 2019'dan 2024'e kadar olan bu noktalardaki değişiklikleri dikey eksende çiziyoruz. Ayrıca, başarı spektrumunun belirli noktalarında puanların 2019'dan 2024'e kadar (sıfır çizgisinin üzerindeki puanlar) ile düşenlerin (sıfır çizgisinin altındaki puanlar) ne zaman arttığını belirlemek için sıfırda yatay bir çizgi de ekledik. Sıfır çizgisine veya yakınına düşen puanlar, 2024'te pandemi öncesi 2019'daki performansla aynı veya neredeyse aynı performansı gösterir. Başka bir deyişle, bu noktalar 2024 4. sınıf grubunun pandemi öncesi seviyelerde olduğunu gösteriyor.  

Grafiki okumaya yardımcı olmak için, Şekil 3'teki çizginin ilk noktasının konumlandığını not ediyoruz:

• yatay eksende 168'de—2019'da 10. yüzde ile eşleşen—ve
• dikey eksende -10 seviyesinde—bu, 2019'dan 2024'e kadar 10. yüzde ile 10 puanlık düşüşe karşılık geliyor.

Şekil 3'teki çizginin diğer noktaları da kalan yüzde ile 25., 50., 75. ve 90. noktalar için benzer şekilde belirlenmiştir. Birlikte, başarı yelpazesindeki değişimin hikayesini hızlıca anlatan yukarıya doğru, eğimli bir çizgi oluştururlar. Yukarıya doğru eğimli çizgi, Amerika Birleşik Devletleri'ndeki dördüncü sınıf öğrencilerinin öğrenci puan dağılımının alt/sol ucunda, dağılımın üst/sağ ucuna göre daha fazla okuma kaybı yaşadığını ortaya koymaktadır. Bu nedenle, ortalama puanlardaki değişimin ötesine bakıldığında, kayıpların başarı spektrumunda farklılık gösterdiği ve düşük ile yüksek puan alan öğrenciler arasındaki başarı farkının daha da arttığı görülür.

_{Şekil 4. 2019'dan 2024'e kadar ülke, Louisiana, Mississippi ve Massachusetts için 4. Sınıf NAEP okuma puanlarında değişiklikler. 0'daki yatay çizgi, pozitif ve negatif değişiklikleri ayırt eder.}

Önceki ETS Araştırma Blogumuzda, geleneksel olarak NAEP'te iyi performans gösteren bir eyalet—Massachusetts—ve öğrenci okuma seviyelerini artırmaya yönelik politikalar yürürlüğe koymuş ama yürürlüğe girmemiş iki eyalet—Mississippi ve Louisiana'nın NAEP okuma puanlarına bakmıştık. Şekil 4, bu üç eyalet için tek satırlı yaklaşımımızı ve ülkenin genel ortalamasıyla karşılaştırıldığını göstermektedir.

Şekil 4'te aşağıdakileri görüyoruz:

• Yukarıya doğru gösteren desen, düşük ve yüksek puan alan öğrenciler arasındaki farkların arttığını göstermek, ülkeye özgü değildir. Ayrıca, bir dereceye kadar üç eyalet için de açıktır.
• Ancak Louisiana ve Mississippi için çizgiler çok daha sığ veya daha az diktir, bu da eğitim kazançları ve kayıplarının yüksek ve düşük performans gösterenler arasında daha benzer olduğu anlamına gelir. Louisiana için kuyruk 0'ın üzerinde ve neredeyse düz! Bu, Louisiana'nın başarı spektrumu genelindeki öğrenciler için skorlarını pandemi öncesi seviyelere veya daha fazlasına yükseltebileceği anlamına geliyor. 4. sınıf öğrencileri, akademik ihtiyaç veya seviye ne olursa olsun, 2024'te Louisiana'da okuma konusunda pandemi öncesi 2019'a göre daha iyi performans gösteriyor! Bu sonuç, Louisiana'nın iş başında olan reformlarını yansıtabilir.

Mississippi'nin reformları da öğrenci ihtiyaçlarını desteklemek için çalışmaya devam edebilir:

• Mississippi'nin çizgisi kalın 0 çizgisini taşıyor; bu da başarı spektrumunda 2024'te pandemi öncesi 2019 seviyeleriyle nispeten karşılaştırılabilir puanları gösteriyor.

Öte yandan, Massachusetts 2024 yılında 4. sınıf okuma NAEP puanlarının en yüksek ortalamalarından birine sahip olsa da, şunu görüyoruz:

• Massachusetts, başarı spektrumunda en belirgin değişikliği gösteren en dik çizgiye sahip ve düşük ile yüksek puan alan öğrenciler arasındaki farkı 15 puan kadar genişletiyor!

_{Şekil 5. 2019'dan 2024'e kadar 4. sınıf NAEP okuma sonuçlarındaki ülkeler, tüm 50 eyalet, Columbia Bölgesi ve Savunma Bakanlığı Eğitim Değerlendirmesi (DoDEA) için etkileşimli ekranımızdan yapılan değişiklikler. 0'daki yatay bir çizgi, pozitif ve negatif değişiklikleri ayırt eder.}

Şekil 5, 4. sınıf okuma için etkileşimli ekranımızdan tüm eyaletlerin tam görünümünü göstermektedir. Bu bize Louisiana'nın sadece ülke, Mississippi ve Massachusetts ile kıyaslanıp tüm eyaletlerle karşılaştırıldığında benzersiz olduğunu gösteriyor! Çoğu eyaletin Massachusetts gibi yukarı eğimli çizgileri vardır ve tamamen veya neredeyse tamamen 0'ın altında yer alır. Başka bir deyişle, çoğu eyaletin özellikle en düşük puan alan öğrenciler için, pandemi öncesi 4. sınıf okuma puan seviyelerine ulaşmak için hâlâ telafi edecek yolu var.

Bu sonuçlar 8. sınıf okumalarında nasıl görünüyor? Peki ya matematikte? Eyaletiniz nasıl sonuçlandı? Hikayenizi bulmak için etkileşimli ekranı deneyin! Kendi değerlendirme verileriniz var mı? Bu zaman çapraz çizim yöntemini de onlarla deneyin!

Ekranda nasıl gezilir:

• Sol taraftaki "Kontroller" panelini kullanarak okuma veya matematik ile 4. veya 8. sınıf puanları arasında geçiş yapabilirsiniz.

• Tüm durumları görüntülemek veya ilgi çekici eyaletleri göstermek arasında geçiş yapmak için sol taraftaki "Kontroller" menüsünü kullanın. "Control" tuşunu basılı tutup açılır menüden birden fazla eyalet seçebilirsiniz. Ardışık listelenen eyaletleri seçmek için "Shift" tuşunu basılı tutun.

• Bir satırdaki bir noktanın üzerinde duraklayın; veri noktasıyla ilgili bilgilerin olduğu bir havaya götürme kutusu görün; bunlar arasında eyalet adı, seçilen yüzde dili ve yüzde tipili puan değişikliği dahil.

• Çizginin yatay konumuna dikkat ederek pandemi öncesi 2019 performansını deneyimleyin. Örneğin, Virginia'nın çizgisinin aksine, 4. Sınıf Matematik grafikindeki Porto Riko'nun çizgisi çok daha sola kaydırılmış, bu da 2019'da nispeten düşük performans göstermektedir.

• 2019 başlangıç yılında düşük ve daha yüksek puan alan öğrenciler arasında başarı farklarının daha küçük veya daha büyük olduğu eyaletleri belirlemek için çizgilerin uzunluğuna dikkat edin. Örneğin, DoDEA'nın 4. sınıf matematik için oldukça kısa bir kuyruğu varken, Maryland için oldukça uzun bir kuyruk var. DoDEA'daki düşük ve yüksek puan alan öğrenciler, 2019'da Maryland'e kıyasla birbirlerine daha benzer puanlar aldı.

Katherine E. Castellano, Marisol Kevelson, Emily Kerzabi ve Anita Sands büyük ölçekli değerlendirme araştırmaları üzerinde çalışırken, Michael Fauss ETS Araştırma Enstitüsü'nde test güvenliği için yapay zeka kullanımındaki yenilikler üzerinde çalışıyor. Mari, yardımcı araştırmacı bilim insanıdır; Katherine, baş araştırma bilimcisidir; Emily araştırma proje yöneticisidir; Michael bir araştırma bilimcisidir; ve Anita, baş politika araştırma analistidir. Yazarlar ayrıca Nicholas Munyan-Penney'e (edtrust'ta P-12 Politikası Yardımcı Direktörü) bu blog yazısını düşünceli yorumları ve incelemeleri için teşekkür ediyor.