Кому нужна статистика результатов ЕГЭ и почему она скрыта?

«Итоговая аттестация проводится на основе принципов объективности и независимости оценки качества подготовки обучающихся».(п.2 ст.59 ФЗ «Об образовании в РФ»)

«Математика именно… принуждает быть честным. И это много лучше рассказов о хороших и плохих детях, или даже личного примера. В классической математике, если ты утверждаешь, что получил такой-то результат, ты обязан предъявить доказательство. Если оно у тебя есть — значит, ты сказал правду. Если у тебя его нет — тебя просто не будут слушать. Дело не в том, что врать опасно — врать бессмысленно, врать невозможно: журнал не опубликует результат без доказательства».

(Из статьи «Что такое математика» в книге А.К. Толпыго «Нестандартные задачи из запасников математических олимпиад»)

Стало известно, что Рособрнадзор подал иск в Дорогомиловский районный суд Москвы к учителю из Петербурга Дмитрию Гущину, который «сообщил непроверенную информацию об утечках заданий единого государственного экзамена (ЕГЭ)». Об этом сообщается на сайте суда. Дата рассмотрения дела пока не назначена.

Новость быстро распространилась и, что странно, практически все варианты сопровождаются словами о неодобрении поступка Дмитрия Гущина представителями профессионального сообщества, хотя в разгар обсуждения мнения высказывались разные.

15 июля Дмитрий Гущин дал интервью «Городу 812» где он сравнил ситуацию 2018 года с предыдущими скандалами. Он предположил, что:

«Сначала кто-то продал варианты за большие деньги. Никто ведь просто так не будет рисковать репутацией, зарплатой, местом работы. По математике 30 заданий утекло в Сеть, из них большая часть встретилась на ЕГЭ. По химии в Сети было шесть файлов с заданиями и даже с ответами. Я уверен, что Рособрандзор ничего не скажет о статистике результатов ЕГЭ, но есть тревожные сигналы. В некоторых регионах в этом году в три раза увеличилось количество сдавших химию на 100 баллов. А если мы посчитаем таких стобалльников по всем регионам, то, думаю, увидим, неприглядную картину. То есть радостную, конечно, если не знать, в чем причина подобного успеха.

Началось подведение итогов ЕГЭ-2018 традиционно. Вот типичная сводка по профильной математике от 14.06.2018:

«Средний балл за экзамен вырос на 2,5 балла и составил 49,8 балла. Вдвое сократилось количество участников, не преодолевших минимальный балл. Сто баллов за экзамен получили 145 участников…»

«…результаты по профильной математике сопоставимы с итогами прошлого года. Никаких аномальных результатов по профильной математике нет. У нас в 2017 году результаты по профильной математике на 1 балл выросли, в этом году — на 2,5 балла. В целом результаты ненамного, но улучшились»

«Заявления на участие в ЕГЭ по профильной математике подали более 421 тыс. человек, в том числе более 413 тыс. выпускников текущего года. Профильную математику выбрал 61% участников основного периода ЕГЭ.»

В общем-то и все. Нам предлагается посмотреть на средний балл-2018, сравнить его с 2017 годом и сделать вывод, что «результаты ненамного, но улучшились».

Через некоторое время появится странный «анализ», наподобие ФИПИ-шных «Методических рекомендаций для учителей, подготовленных на основе анализа типичных ошибок участников ЕГЭ».

Читайте подробнее: ЕГЭ как способ вводить в заблуждение начальство и общество

Надо еще отметить, что обычно под скудной статистикой с указанием каких-нибудь процентов и бравыми отчетами о повышении среднего балла, теряется вопрос о соответствии самого экзамена заявленным его целям и влиянии его введения и регулярных усовершенствований на уровень образования вообще и математического — в частности. Но здесь мы будем говорить только о «цифре», то есть о баллах. Этот год, в отличие от нескольких последних, ознаменовался скандалом вокруг появления накануне профильного экзамена по математике (и экзамена по химии) заданий в интернете, что дало возможность, судя по обнародованной информации, обнаружившим этот факт, «решить» наиболее сложные задачи «творческого» блока, требующего развернутой записи решения. Кроме того, однообразные от региона к региону задания поставили в наихудшее положение выпускников Дальнего Востока. Утечки Рособрнадзор отрицал (руководитель ведомства Сергей Кравцов, правда, сначала заметил, что не понимает, зачем «будоражить, даже если это на самом деле произошло»), утверждая, в том числе, что статистика результатов особо не изменилась.

Но кто видел эту статистику? В то время как даже минимальный набор данных в дополнение к столь любимому в официальных отчетах «среднему баллу» могли бы кое-что прояснить (я уже не говорю, что полная статистика по стране помогла бы выявить и утечки, и неполадки с заданиями и пр.). Не говоря уже об анализе полных статистических данных.

Статистика — мощное оружие, обнародуйте результаты за несколько лет, тексты заданий, в стране достаточно квалифицированных специалистов, которые могут эти данные проанализировать. Одна из функций статистики — выявлять подтасовки, огрехи, странности и пр. Результаты открытого анализа были бы отличным аргументом в том числе и в суде.

Давайте немного поговорим о статистике и теории вероятностей. Если верить пункту 9.5 Федерального государственного образовательного стандарта основного общего образования «математика и информатика» даже не имеющий виды на мало-мальски техническое/естественно-научное образование выпускник должен знать, что случайная величина характеризуется (как минимум):

А без этой такой характеристики данные о среднем бале сдавших ЕГЭ не более полезны, чем информация о средней температуре по больнице.

Что это значит, хорошо иллюстрирует на примере более близкой всему населению страны темы доходов и заработных плат речь депутата Госдумы Олега Шеина по поводу грядущей пенсионной реформы

«Среднедушевой доход в России по данным Росстата 31 тысяча рублей.

Медианный доход, где половина получает больше, а половина — меньше — это уже 23 тысячи.

Модальный, то есть наиболее часто встречающийся, доход — 13 тысяч рублей, чуть выше прожиточного минимума.

Это объясняется наличием персонажей со среднедушевым доходом в 1 трлн 300 млн рублей. Соответственно, средняя заработная плата в 43 тысячи объясняется, в том числе, наличием в крупнейших корпорациях заработных плат в 100−300 миллионов рублей.»

Депутат не упоминает дисперсию, она позволяет оценить разброс значений относительно среднего.

То есть, характеристики случайной величины способны перевести на доходчивый язык цифр сомнения, возникающие при упоминании официальных «средних значений».

Применительно к ЕГЭ это означает следующее:

Конечно, разброс в баллах не столь большой, их всего 100, но, тем не менее, очевидно, что среднего балла явно недостаточно для описания ситуации с результатами экзамена

Даже когда у нас нет открытой статистики по результатам экзамена по всей стране, данные эти — разброс, мода, медиана, которые, напомню, должен понимать каждый выпускник средней школы, что-то могли бы сказать о ситуации со сдачей экзамена.

Из-за системы пересчета баллов у нас и так нет достоверной информации, но даже с пересчитанными баллами у нас нет полной ясности. Иначе говоря, налицо не менее двух уровней запутывания на пути к анализу реальной картины.

Есть и другие широко известные статистические методы, которые позволяют выявлять фальсификации, вбросы и прочие нарушения, отслеживать изменения, если у нас есть подробные данные за много лет.

Ну и, наконец, приведем пару цитат Ивана Ященко, главы разработчиков экзаменационных заданий:

«В отличие от олимпиадных, задания ЕГЭ — типовые, без изысков. А потому и найти им аналоги в демоверсиях или задачах прошлых лет несложно. Есть такие аналоги и к заданиям, выложенным в соцсетях Гущиным. Но я видел их и могу утверждать: ни одно из этих заданий не тождественно реальным! А частично угадать условия, учитывая объемы имеющихся в открытом доступе типовых материалов, несложно.» (источник)

«Задания из открытого банка уже давно лежат абсолютно бесплатно на официальных сайтах Федерального института педагогических измерений. … Но их десятки тысяч.» (источник)

Тот же пункт 9.5 в ФГОС говорит об умении «находить и оценивать вероятности наступления событий в простейших практических ситуациях». И раз уж ФГОС, воплощенный в школьных программах, знание которых и призван проверять ЕГЭ силами Рособрнадзора, предписывает умение считать вероятности, предлагаю в качестве упражнения оценить вероятность угадать набор из 3, 4, 5 заданий… среди десятков тысяч.

Возможно, Рособрнадзором движут благие намерения. Но на уровне школ и ВУЗов в итоге происходит что-то не то, видится падение уровня образования, ухудшение подготовки потенциальных абитуриентов. Это по-своему ощущают школьники, по-своему — учителя, по-своему — родители. Ну и, ВУЗы, конечно. Но мы не имеем инструмента для проверки своих подозрений. Возможно ли, чтобы мы все ошибались? Да, в принципе. И не такие случались истории с манипуляцией общественным мнением.

Но тем и хороша математика, что она позволяет с подобными проблемами разбираться. Тем более, когда есть большие массивы данных. Что может быть проще: обнародовать полную статистику по стране с разбивкой по регионам за несколько лет, опубликовать тексты заданий. Чтобы все это можно было открыто проанализировать.

Кстати, снялась бы еще две, не связанные со сливами, но достаточно настойчивые претензий регионов:

Однако Сергей Кравцов считает, что:

«Данные ЕГЭ — это прежде всего индивидуальные данные школьника, но в целом каждый регион свои результаты знает и с ними работает. Все прекрасно понимают: как только мы эти данные опубликуем, начнется гонка, будут необъективные результаты, вернется подтасовка, через все это мы уже проходили.»

Непонятно только как вообще возможна какая-либо подтасовка при таком уровне объективность и непредвзятости, который декларирует Рособрнадзор? Но может быть дело в том, что возможна подтасовка в самом Рособрнадзоре? Если опять никаких нарушений не было?

Да и какая тайна из сравнения регионов? Вся страна вдруг узнает, что у больших городов и богатых регионов больше возможностей? Или, что там, где в результате укрупнения позакрывали в глухой глубинке мелкие школы, дети перестают учиться?

Дмитрий Гущин в поминавшемся интервью выразил свое мнение о причинах засекречивания статистики результатов ЕГЭ запрета на публикацию рейтингов школ по ЕГЭ :

«Объясняют так: мы опубликуем рейтинг, какая-то школа окажется на первом месте, а на следующий год — она опустится на десятое, учителей начнут ругать, директора уволят, и от рейтинга будет не польза, а вред. На мой взгляд, нет никаких объективных причин для того, чтобы отказывать людям в информации. Но чиновники не хотят лишних вопросов. Если опубликуют рейтинг и выяснится, что школа такая-то — самая худшая, и она же — худшая через год, через два, то кто-нибудь спросит: почему мер не принимаете? А так — нет информации, и вопросов нет. И делать ничего не надо.»

Но данные о результатах, помимо (гипотетического) средства давления — это еще и показатель функционирования системы образования и деятельности самого Рособрнадзора.

Так в чем же причины отсутствия объективной открытой информации?

Судя по тому, как теория вероятностей и статистика упорно «стучатся» в школьную программу (в проект ФГОС для 5−9 класса «затесался» даже закон больших чисел; во ФГОС для старшей школы, как уже поминалось выше, входит, мягко говоря, нетривиальное понятие случайной величины) необходимость овладения их основами для школьников назрела.

Ведь мы же за «реальную» математику, связь с жизнью, «умение применять на практике». Хотелось бы, чтобы Рособрнадзор первым и показал эти знания, умения и навыки, простите, компетентности и компетенции. Хотя бы в области статистики. Давайте покажем достойный пример подрастающему поколению!