Вернуться к разделу: Полезное | Методика построения рейтинга ЕГЭ

Методика построения рейтинга школ по результатам ЕГЭ

15 декабря 2011

В связи с тем, что помимо среднего балла стала доступна информация о количестве участников ЕГЭ по всем школам Петербурга, мы решили перейти к несколько иной, и как мы покажем, более объективной схеме ранжирования школ. Данный документ составлен, чтобы рассказать о недостатках старого и преимуществах нового алгоритма.

Несмотря на то, что алгоритм претерпел изменения, мы не ожидаем увидеть существенных подвижек в рейтинге школ. Лидеры по-прежнему те же - однако несколько перераспределились. Новая схема ранжирования школ призвана избавить от несомненных недостатков, которыми обладал старый рейтинг - ниже мы обсудим каждый из них в деталях, а пока просто перечислим главные проблемы старого метода:

В формуле ранжирования не учитывался такой важный показатель как количество выпускников сдававших предмет

Приведем пример, почему это плохо и к каким последствиям приводит. В качестве иллюстрации возьмем гипотетическую школу, которая сдавала всего 2 предмета, причем контингент учащихся распределился так, что 100 человек сдавали русский язык и сдали его в среднем на 80 баллов, а один из учеников также выбрал географию, и его постигла неудача - всего 20 баллов. Если брать арифметическое среднее, то по совокупности двух предметов средний балл школы станет равным 50-ти. Трагичность этого примера в том, что один нерадивый ученик смог зачеркнуть старания других 100 человек и существенно понизить итоговый балл школы.

Старый алгоритм подсчета никак не учитывал тот факт, что шкалы распределения среднего балла по разным предметам неравноценные

Так например, в 2010 году средний балл 60 по математике для отдельно взятой школы - это очень высокая планка, которую смогли покорить немногие из школ. Те же 60 баллов по русскому языку заработали свыше 65 школ в городе, что проиллюстрировано на картинке ниже

Если ничего не предпринимать по этому поводу, то после усреднения по всем предметам образуется некий перекос в сторону отдельных предметов. То есть, с точки зрения первенства, в рейтинге какие-то предметы будет сдавать “выгоднее”, чем другие. Учитывая узкую профильную направленность многих школ - это заведомо ставит школы в неравные условия.

Новый алгоритм успешно решает обе вышеупомянутые проблемы. Теперь остановимся на них более детально.

Описание алгоритма

Для начала обратимся к проблеме, связанной с неравноценностью шкал по разным предметам. Для этого рассмотрим искусственный пример:

Три ученика из одной школы сдали математику на балл равный среднему по городу. В 2010, как можно убедиться из графика выше, этот балл составлял примерно 43 балла. Для простоты положим, что никаких других предметов в этой школе не сдавали. Аналогичным образом три ученика из другой школы сдавали единственный предмет - русский язык, и сдали его тоже средне - в среднем по городу балл составил 59. Внимание вопрос! Какая из школ должна находиться в рейтинге выше?

При условии, что школы в остальном совершенно одинаковые, школа, которая сдавала русский, будет иметь средний бал 59 и находиться в рейтинге выше школы, которая сдавала только математику и набрала 43. Однако, если отвлечься от абсолютных значений итогового бала, мы должны признать тот факт, что школы совершенно равноценны в академических успехах - и та и другая набрали балл, равный среднему баллу по предмету в городе. То есть правильный ответ заключается в том что школы в рейтинге должны занимать равные позиции.

Как исправить эту ситуацию?

Произведем сдвиг шкалы. Отнимем из среднего балла набранного школой по определенному предмету средневзвешенное значение по городу по этому предмету. Таким образом школы, которые сдали экзамен средне - будут иметь рейтинг 0 по данному предмету. Те, которые сдали выше среднего - положительный рейтинг, и те, которое ниже - отрицательный. Теперь вернемся к нашему примеру и обнаружим, что после описанной нами процедуры - обе школы будут иметь одинаковый рейтинг - в новой шкале равный 0.

в математических терминах это отклонение от среднегородского балла запишется как:

  • - средний балл школы по данному предмету
  • - средневзвешенный городской балл по этому предмету
  • - количество школ сдававших данный предмет
  • - количество сдававших данный предмет в i-й школе

Однако, проблема этим не исчерпана. Центр распределения мы, конечно, выровняли для всех предметов, a вот ширина распределения может оказаться (и, как показывает практика, оказывается) разной. Возьмем к примеру распределение среднего балла по информатике и обществознанию за тот же 2010 год

Как видим, в одном случае средний балл распределен от 40 до 70 (обществознание), в то время как другой от 30 до 90 (информатика), и совершенно очевидно, что школа, набравшая максимальный балл по информатике, будет в рейтинге занимать более выгодную позицию, чем школа, набравшая максимальный балл по обществознанию.

Как исправить эту ситуацию?

Введем нормировку шкалы. Растянем шкалы таким образом, чтобы максимальный и минимальный баллы по предмету давали примерно одинаковые значения для разных предметов. Для этого воспользуемся стандартной статистической процедурой - посчитаем среднеквадратичное отклонение от среднего для каждого предмета.

  • - отклонение от средневзвешенного балла всех школ города по данному предмету для i-й школы (см. формулу 1)
  • - количество участников сдававших предмет в i-ой школе
  • - количество школ сдававших данных предмет
итоговая формула с учетом сдвига шкалы и нормировки на среднее квадратичное выглядит так:

Результат после сдвига и нормировки:

Обращаем внимание на то, что в новой шкале диапазон значений для каждого предмета заключен примерно в одни и те же рамки (точного совпадения, конечно, ожидать не приходиться - форма распределения среднего балла для всех предметов разная и меняется год от года, но в среднем по сравнению с тем, что было, ситуация качественно улучшилась). Аналогичную процедуру производим для каждого предмета.

Распределение среднего балла для всех предметов до и после нормировки можно посмотреть здесь.

Теперь, когда шкалы нормированы, можем переходить к усреднению. Однако, теперь при усреднении будем учитывать количество сдававших, то есть брать средневзвешенное значение.

  • - количество предметов, доступных для сдачи в формате ЕГЭ (в 2010 и 2011 k=14)
  • - нормированый балл школы по i-му предмету. См (3)
  • - количество выпускников школы, сдававших i-й предмет

В результате такого подсчета вклад от каждого предмета берется пропорционально числу учеников его сдававших. То есть, ситуация, при которой один нерадивый ученик или напротив отчаянный стобальник может существенным образом повлиять на средний балл школы, исключена.

В заключение, хотелось сказать, что мы всегда открыты к критике, замечаниям и возражениям со стороны пользователей сайта. Так что, если у вас возникли вопросы или комментарии, мы готовы обсудить их с вами.



Оставить комментарий:

Отзывы о школах

7 мая 2016 (17:22)
От: Мария

Очень давно хотела написать отзыв, но не доходили руки, ноги, было страшно, неловко, что-нибудь еще... Дошли. Я выпустилась из школы в 2015 году, поступила ...
№ 61, гимназия »
7 мая 2016 (16:58)
От: Старшеклассница

Скажу пару слов об этой гимназии с "углубленным" изучением иностранных языков. Если вы надеетесь, что ваш ребёнок, закончив это учебное заведение, войдёт во взрослую ...
№ 63, гимназия с углубленным изучением иностранных языков »

Новости и анонсы

16 марта 2016
IV Открытый Городской Фестиваль школьников «Нескучная наука»
21-23 марта в Школе Горчакова проходит IV Открытый Городской Фестиваль школьников «Нескучная наука». Приглашаем посетить наш Фестиваль в качестве гостей ...
далее »

14 февраля 2016
VII городская «Математика НОН-СТОП»
VII городская «Математика НОН-СТОП» для учащихся 5-8 классов состоится 27 февраля 2016 года в 15-00. Партнерами соревнования выступают Лаборатория непрерывного ...
далее »