고점수 학생과 저점수 학생의 NAEP 점수 변화를 이해할 수 있는 새로운 인터랙티브 디스플레이 도입

COVID-19 팬데믹 이후 학생 성취도의 하락은 사회 전반의 발전을 위협 하고 있습니다. 신중한 데이터 시각화는 학생들이 어떻게 지내고 있는지, 그리고 고등학교 졸업 후 성공을 준비하기 위해 추가 지원이 가장 필요한 학생들을 파악하는 데 도움을 줄 수 있습니다.

2025년 4월, 국가평가 관리 위원회(NAGB)는 국가 교육 진도 평가(NAEP) 시험 점수를 활용해 국가와 주가 학업 회복 경로를 어떻게 진행하고 있는지 탐색하기 위한 NAEP 데이터 도구를 발표했습니다. 그림 1은 이 도구의 개요를 제공합니다. 이 도구는 성적(4학년 또는 8학년)과 과목(읽기 또는 수학)의 평균 점수 변화를 막대 차트로 강조합니다. 이 데이터 도구는 주요 데이터 포인트를 요약해 주지만, 최근 ETS Research 블로그 글에서 보여준 바와 같이, 학생 성과의 변화에 관한 더 완전한 이야기는 종종 평균 점수 뒤에 숨겨져 있습니다. 또는 속담처럼 "평균은 드러내기보다 더 많은 것을 숨길 수 있다!"는 말입니다.

_{그림 1. 4학년 독서 기준으로 NAGB 팬데믹 시기 점수 변경 막대 차트 재현.}

우리는 전체 성취 스펙트럼 전반에 걸친 점수 변화를 볼 수 있는 인터랙티브 디스플레이 를 만들게 되었습니다—왜냐하면 사진 한 장이 천 마디 말보다 훨씬 가치 있기 때문입니다! 이 블로그 글에서는 이 새로운 도구가 팬데믹 전후 학생 성과의 변화에 대해 보여주는 점을 강조합니다. NAEP 순위 상위권에 있는 주에서도 점수가 낮은 학생들이 높은 점수 학생들보다 더 많은 격차를 보여야 합니다. 그 후 인터랙티브 디스플레이의 기능을 검토하여 다음 이야기를 데이터 속에서 찾을 수 있도록 합니다.

_{그림 2. 2019년 및 2024년 전국 4학년 NAEP 독서 점수 분포.}

그림 2에서는 2019년과 2024년 전국 4학년 NAEP 독서 점수 분포를 사용하여 팬데믹 전후의 독해 점수 변화를 보여줍니다. 각 연도별로 5백분위수 포인트( NAEP 데이터 탐색기에서 제공)를 표시하며, 학생 성취도 스펙트럼의 낮은 지점(10번째 및 25번째 백분위수), 중간 지점(50번째 백분위수), 높은 지점(75번째와 90번째 백분위수)을 나타냅니다.

두 점수 분포를 비교해 보면, 팬데믹 이후 낮은 점수 학생들의 점수 하락이 고점수 학생들보다 더 컸다는 것을 알 수 있습니다. 이는 2024년 점수 분포가 2019년보다 더 넓다는 하단 막대에서 확인할 수 있습니다. 낮은 점수 학생들은 왼쪽으로 이동하지만, 고점수 학생의 2019년 점수 분포와 거의 일치합니다. 우리는 다음과 같은 관찰도 합니다:

• 2019년에는 168점 이하의 하위 10%를 기록했으나, 2024년에는 158점 이하에 불과해 10점 하락했습니다.
• 반면, 2019년에는 상위 10%의 학생들이 266점 이상을 기록한 반면, 2024년에는 거의 같은 점수인 265점으로 단 1점 하락에 불과합니다.
• 전체 점수 분포를 사용해 평균 점수만 보는 것이 아니라, 낮은 점수 학생들의 감소가 높은 점수 학생들보다 약 10배 더 크다는 것을 알 수 있습니다.
• 이러한 성취 스펙트럼 전반의 점수 변화 차이는 2019년부터 2024년까지 저점수 학생과 고학점 학생 간의 성취 격차가 9점 더 벌어지는 것으로 이어집니다.

_{그림 3. 2019년부터 2024년까지 전국 4학년 NAEP 독서 점수 변화. 0의 가로선은 긍정적 변화와 부정적 변화를 구}분합니다.

성취도 스펙트럼 전반에 걸친 점수 변화의 변동을 더 쉽게 보기 위해, 추세 해석을 위한 차트 유형의 변형을 도입했습니다. 그림 3에서 보듯이, 그림 2의 두 분포 비교를 한 줄로 결합했습니다.

일반적인 평가 결과 선도가 가로축에 평가 연도를 표시하는 것과 달리, 우리 차트에서는 2019년 점수를 가로축의 여러 백분위수 지점에, 2019년부터 2024년까지의 변화를 수직축에 표시했습니다. 또한 0에 가로선을 포함시켜, 2019년부터 2024년까지 성취 스펙트럼의 특정 지점(0선 위 점수)과 감소한 점수(0선 아래 지점)를 구분할 수 있습니다. 0선 근처의 점수는 2024년 2019년 팬데믹 이전과 동일하거나 거의 동일한 성과를 보였음을 나타냅니다. 즉, 이러한 점수는 2024년 4학년 학년이 팬데믹 이전 수준에 있음을 나타냅니다.  

그래프를 읽기 쉽게 하기 위해, 그림 3의 첫 번째 점이 다음과 같이 위치되어 있음을 주목합니다:

• 가로축 168, 즉 2019년 10번째 백분위수에 해당하며,
• 수직축에서 -10으로, 2019년부터 2024년까지 10번째 백분위수에서 10포인트 하락한 것과 일치합니다.

그림 3의 다른 점들도 남은 백분위수 각 점에 대해 비슷하게 결정됩니다: 25위, 50위, 75위, 90위. 이들은 함께 위쪽으로 기울어지는 선을 형성하며, 성취 스펙트럼 전반에 걸친 변화에 대해 빠르게 보여준다. 위쪽 경사선은 미국 4학년 학생들이 학생 점수 분포의 하하/왼쪽 끝에서 더 큰 독서 손실을 경험했음을 보여준다. 따라서 평균 점수 변화를 넘어 보면, 손실이 성취 스펙트럼 전반에 걸쳐 다양했고, 저점수 학생과 높은 점수 학생 간의 성취 격차가 더 커졌음을 알 수 있다.

_{그림 4. 2019년부터 2024년까지 전국, 루이지애나, 미시시피, 매사추세츠의 4학년 NAEP 독서 점수 변화. 0의 가로선은 양과 음의 변화를 구분합니다.}

이전 ETS 연구 블로그에서는 전통적으로 NAEP에서 좋은 성적을 거둔 매사추세츠와 학생 독서 수준 향상을 목표로 한 정책을 시행하지 않은 미시시피와 루이지애나의 세 주의 NAEP 독서 점수를 살펴보았습니다. 그림 4는 이 세 주에 대한 단일 선 접근법을 전국 전체와 병치하여 보여줍니다.

그림 4에서는 다음과 같은 모습을 볼 수 있습니다:

• 점수가 낮고 높은 점수 학생들 간의 격차가 벌어지는 것을 나타내는 상승 점수 패턴은 전국에만 국한된 것이 아니다. 세 주 모두에서 어느 정도 뚜렷하게 나타나고 있다.
• 하지만 루이지애나와 미시시피의 선은 훨씬 얕거나 덜 가파르기 때문에, 고성과자와 낮은 성과자 간의 교육 증가와 손실이 더 비슷했습니다. 루이지애나의 선은 0 이상 이며 거의 평탄합니다! 이는 루이지애나가 성취 스펙트럼 전반에 걸쳐 팬데믹 이전 수준 또는 그 이상으로 점수를 회복할 수 있었음을 의미합니다. 학 업적 필요나 수준에 관계없이 2024년 루이지애나에서는 2019년 팬데믹 이전보다 4학년 학생들이 읽기 성과가 더 좋아졌습니다! 이 결과는 루이지애나의 개혁을 반영할 수 있습니다.

미시시피의 개혁은 학생들의 필요를 지원하기 위해 계속 작용할 수도 있습니다:

• 미시시피의 선은 굵은 0선을 따라 표시되어 있어, 2024년 점수와 팬데믹 이전의 2019년 성취 수준이 비교적 비슷함을 나타냅니다.

반면, 매사추세츠는 2024년에 평균 4학년 읽기 NAEP 점수가 가장 높은 편 중 하나였지만, 다음과 같은 점이 있습니다:

• 매사추세츠는 성취 스펙트럼 전반에 걸쳐 가장 뚜렷한 변화를 보여주며, 저점수 학생과 고득점 학생 간 격차가 15점 벌어지는 가장 가파른 선을 가지고 있습니다!

_{그림 5. 2019년부터 2024년까지 전국, 50개 주, 워싱턴 D.C., 국방부 교육 평가(DoDEA)의 4학년 NAEP 읽기 결과 변화(인터랙티브 디스플레이에서). 0에 가로선이 표시되어 긍정적 변화와 부정적 변화를 구분합니다.}

그림 5는 4학년 독서 인터랙티브 디스플레이에서 모든 주의 전체 모습을 보여줍니다. 이 그림은 루이지애나가 전국, 미시시피, 매사추세츠뿐만 아니라 모든 주와 비교해 독특하다는 것을 보여줍니다! 대부분의 주는 매사추세츠처럼 상승 경사의 선을 가지고 있으며, 완전히 또는 거의 0 아래에 위치해 있습니다. 즉, 대부분의 주들은 특히 가장 낮은 점수를 받은 학생들에게 팬데믹 이전 4학년 독해 점수 수준에 도달하기 위해 아직 보완해야 할 여지가 있습니다.

이 결과들은 8학년 독서에서 어떻게 보일까요? 수학은 어떤가요? 당신의 주는 어땠나요? 인터랙티브 디스플레이 를 사용해 보세요, 당신의 이야기를 찾아보세요! 자신만의 평가 데이터가 있나요? 이 교차 시간 플롯 방법도 그들과 함께 시도해 보세요!

디스플레이 탐색 방법:

• 왼쪽 "Controls" 패널을 사용해 읽기, 수학, 4학년 또는 8학년 점수를 전환하세요.

• 왼쪽 "Controls" 메뉴를 사용해 모든 상태 보기와 관심 있는 상태 선택 중 전환을 할 수 있습니다. "Control" 키를 누르고 있으면 드롭다운 메뉴에서 여러 상태를 선택하세요. "Shift" 키를 누르고 있으면 연속적으로 나열된 상태를 선택하세요.

• 선의 한 점 위에 멈추면, 주 이름, 선택한 백분위수, 백분위수에서의 점수 변화 등 데이터 포인트에 관한 정보가 담긴 호버 박스가 나타납니다.

• 팬데믹 이전의 2019년 성과를 파악하기 위해 선 의 수평 위치를 주목하세요. 예를 들어, 버지니아의 선과 달리 4학년 수학 그래프에서 푸에르토리코의 선은 훨씬 왼쪽으로 이동되어 있어 2019년 성적이 상대적으로 낮음을 나타냅니다.

• 2019년 기준 기준에서 점수 차이가 낮거나 큰 주를 식별하기 위해 선의 길이 를 주목하세요. 예를 들어, DoDEA는 4학년 수학 과목에 대해 비교적 짧은 줄을 가지고 있는 반면, 메릴랜드는 꽤 긴 줄을 가지고 있습니다. 2019년 DoDEA의 저점수 학생과 고점수 학생들이 메릴랜드보다 점수가 더 비슷했습니다.

캐서린 E. 카스텔라노, 마리솔 케벨슨, 에밀리 케르자비, 아니타 샌즈 는 대규모 평가 연구를 담당하며, 마이클 포스 는 ETS 연구소에서 AI 활용 혁신을 연구하고 있습니다. 마리는 부연구원이며; 캐서린은 수석 연구 과학자입니다; 에밀리는 연구 프로젝트 매니저이며; 마이클은 연구 과학자이며; 아니타는 수석 정책 연구 분석가입니다. 저자들은 또한 edtrust의 P-12 정책 부국장인 니콜라스 무니안-페니 에게 감사와 감사를 표합니다.