Относительно качества подготовки абитуриентов и внешнего независимого оценивания

Рассматриваются проблемы обеспечения качества инженерного образования, связанные с уровнем физико-математической подготовки абитуриентов. Обсуждается ситуация дисбаланса количества абитуриентов и объемов приема на инженерные направления подготовки на всеукраинском и региональном уровнях. На основании анализа содержания тестовых заданий по математике внешнего независимого оценивания учебных достижений и процедур формирования результатов тестирования делается вывод о несоответствии математической подготовки большинства абитуриентов требованиям обеспечения подготовки качественных инженерных кадров.

Одной из важных составляющих системы обеспечения качества образования является мониторинг и обеспечение надлежащего уровня подготовки абитуриентов. Качество подготовки студентов первого курса университета зависит от нескольких факторов. Это, прежде всего, качество среднего образования в государстве и регионе, а также конкурс на конкретное направление подготовки в университете, который позволяет отобрать лучших абитуриентов. Последний фактор зависит от многих факторов: соотношения количества выпускников школ в государстве (регионе) и размера госзаказа (лицензионного объема), имиджа университета, привлекательности направления подготовки (специальности) и его востребованности на рынке труда (к сожалению последнее не является определяющим фактором). За последние годы общее количество потенциальных абитуриентов уменьшилось в полтора раза, с 461 тыс. в 2008 г. до 293 тыс. в 2013 г. (рис. 1). Хотя доля школьников, которые выбирают «точные науки» немного увеличивается (в 2008 г. математику сдавали 49% от общего количества абитуриентов, а физику - 7%, в 2013 году соответственно 61% и 21%), в абсолютном измерении в 2013 году имеют сертификаты ВНО по физике и математике всего лишь 61,4 тыс. человек. Таким образом, база выбора подготовленных абитуриентов для обучения по инженерным специальностям крайне мала.

Рис. 1. Количество потенциальных абитуриентов

Введенный с 2008/09 учебного года прием в вузы по результатам внешнего независимого оценивания учебных достижений, подтвержденные сертификатами Украинского центра оценивания качества образования (УЦОКО) коренным образом изменил наработанные подходы к формированию качественного состава студентов первого курса. Много лет задачи обеспечения надлежащей физико-математической подготовки абитуриентов НТУУ «КПИ» решал факультет довузовской подготовки (ФДП). На факультете занятия проводили преподаватели соответствующих кафедр университета. Слушатели, школьники выпускного класса, углубляли теоретические знания по физике и математике, приобретали умение решать достаточно сложные задачи. Факультет имел значительную базу вариантов заданий для вступительных испытаний в университет, дифференцированную по трем уровням в соответствии с профессиональной направленностью групп будущих специальностей. Все это обеспечивало университету возможность получать «своих», профессионально ориентированных и достаточно подготовленных абитуриентов.

В течение последних 20 лет в университете проводится комплексный анализ качества вступительных кампаний путем сравнения результатов входных испытаний по математике и физике (с 2008 года - результатов внешнего независимого оценивания) и итогов первой сессии (по математике) и второй сессии (по физике). Кроме общего анализа исследовалось влияние вида довузовской подготовки. На рис.2 приведены результаты регрессионного анализа зависимости экзаменационных оценок по высшей математике в первой сессии в 1999/2000 учебном году от вступительного балла и по видам довузовской подготовки.

Рис. 2. Статистическая зависимость результатов экзамена по высшей математике от вступительного балла и вида довузовской подготовки:
1 - ФДП; 2 - лицейские классы; 3 - экстерн ФДП; 4 - технический лицей КПИ; 5 - с репетитором; 6 - без дополнительной подготовки; 7 - контрактники; 8 - медалисты средней школы; 9 - диплом с отличием техникума; 10 - диплом с отличием ПТУ; 11 - призеры олимпиад; 12 - льготники

Из этого исследования следует, что ФДП обеспечивал достаточно высокую базовую подготовку, его выпускники не уступали по качеству обучения даже медалистам средней школы.

Количество слушателей ФДП было примерно 4 тысячи, ими комплектовалось до 80% студентов первого курса. Но, после внедрения системы приема в вузы по результатам ВНО, количество слушателей системы довузовской подготовки резко уменьшилось (рис. 3). Только за последние годы началось увеличение численности слушателей, что связано с введением начисления дополнительных баллов выпускникам системы довузовской подготовки. Можно сделать вывод о целесообразности этого решения МОН.

По результатам приема студентов в КПИ (рис.4) видно, что эта тенденция отражается также на составе студентов первого курса. Из этого можно сделать вывод, что введение ВНО имело определенные негативные последствия, а именно, значительное уменьшение численности студентов с исходной повышенной физико-математической подготовкой. Хотя в последние два года ситуация с дополнительной подготовкой абитуриентов на ФДП немного улучшилась, для восстановления состояния, которое было до 2008 года, нужны дополнительные стимулы и мотивация абитуриентов.

Надо отметить, что внешнее независимое оценивание предоставляет: возможность достаточно объективно оценивать эффективность работы педагогических коллективов школ, в целом уровень среднего образования в Украине и качество усвоения выпускниками отдельных учебных дисциплин, косвенно оценить содержание, методику преподавания и информацийнометодическое обеспечение этих дисциплин (к сожалению эти потенциальные возможности органами управления образованием не используются) и, наконец, прекратить разговоры о коррупции в ЗВО.

Рис. 3. Количество слушателей ФДП КПИ

Рис. 4. Доля выпускников ФДП в составе студентов первого курса КПИ

Еще одним позитивом внедрения ВНО является облегчение доступа к обучению в ведущие столичные ЗВО абитуриентов с периферии, что подтверждается изменениями доли студентов первокурсников КПИ из других городов за последние восемь лет (рис. 5).

Рис. 5. Доля иногородних студентов на первом курсе КПИ

Важность этого для КПИ обусловлена ​​тенденцией значительного уменьшения потенциальных абитуриентов в Киеве (рис. 6). Только 3427 школьников Киева складали в 2013 году ВНО по математике и физике и только 3297 человек получили выше баллов чем необходимый минимум (124 балла). В этом же году на направления инженерной подготовки в КПИ было принято 4555 студентов, что почти на 40% превосходит региональное количество потенциальных абитуриентов ..
div align="center">
Рис.6. Количество потенциальных абитуриентов в Киеве

Основным критерием относительно эффективности системы приема должно быть обеспечение надлежащего качества подготовки абитуриентов, принятых к обучению в ЗВО. С целью оценки качества абитуриентов, которые были зачислены в НТУУ «КПИ» по конкурсу баллов сертификатов УЦОКО, нами уже третий год проводится исследование по успеваемости студентов первого курса по высшей математике и физике. Исследования проводятся по апробированной методике с использованием методов вероятностного, корреляционного и регрессионного анализа. Вашему вниманию предлагаем результаты исследования успеваемости по высшей математике 3928 студентов первого курса 2013/14 учебного года.

Во-первых, проанализируем уровень математической подготовки школьников Украины, взяв за основу отчет (далее Отчет) Украинского центра оценивания качества образования о результатах внешнего независимого оценивания в 2013 году.

Исходной информацией является распределение баллов ВНО по математике по рейтинговой шкале (рис. 7).

Рис. 7. Распределение рейтинговых баллов по математике

На первый взгляд, с этого распределения можно сделать вывод о достаточном уровне математической подготовки школьников Украины. Но более углубленное ознакомление с отчетом дает основу для сомнения относительно такого заключения. Поводом для этого является первичная информация о результатах оценивания ВНО - распределение тестовых баллов (рис. 8). Несоответствие двух распределений (рис.7 и рис.8) связано с нелинейной трансформацией тестовых баллов в рейтинге.

Рис. 8. Распределение тестовых баллов по математике

В Отчете отмечается, что «Формирование рейтинговой шкалы осуществлялось на основе понимания того, что она является:

• приближенной к эталонной шкале со средним значением результатов по каждому предмету;
• стандартизированной. Распределение абитуриентов по этой шкале является приблизительно одинаковым независимо от предмета тестирования;
• рейтинговой. Абитуриент, набравший по определенному предмету больше тестовых баллов, будет по этой шкале иметь оценку не ниже чем тот, кто набрал по этому предмету меньшее количество баллов;
• справедливой. Абитуриенты, набравшие одинаковое количество тестовых баллов по определенному предмету, имели по этой шкале одинаковую оценку.

Использование рейтинговой шкалы позволило определить и ранжировать абитуриентов в зависимости от того, насколько успешно они выполнили тест».

Относительно реального выполнения этих положений возникает сомнение. Необходимо отметить, что тестирование по математике проводилось двумя сессиями и графики преобразований баллов были различными (рис. 9). Это делает неравными условия ВНО для школьников, проходивших тестирование в различных сессиях. Например, школьник, набравший 16 тестовых баллов в первой сессии получает 150,5 рейтинговых баллов, за те же 16 тестовых баллов во второй сессии школьник получает уже 158 рейтинговых баллов. Разница составляет 7,5 балла, что может быть решающим при приеме в ЗВО. Таким образом, задекларированные «рейтинговость» и «справедливость» не выполняются.

Рис. 9. Графики преобразования тестовых баллов в рейтинговые

Необходимо также отметить, что нелинейное преобразование баллов искажает представление о реальном уровне подготовки школьников Украины по определенному предмету. Для иллюстрации этого приведем распределение рейтинговых баллов по математике за использованным нелинейным, а также линейным законом (рис.10).

Рис. 10. Сравнение распределений рейтинговых баллов, рассчитанных по нелинейным и линейным законами

Из рис. 10 следует, что «неудовлетворительно», или менее 124 рейтинговых баллов, получили не 7,42%, а почти (при линейном преобразовании) 47% абитуриентов!

Удивление вызывает также использование рейтинговой шкалы 100200 баллов. Почему не 0100? Предлагаю вариант - предоставить возможность абитуриенту-невдахе на вопрос - «Как твои успехи по математике?», Ответить - «Средние, получил 100 баллов из 200».

Другой вопрос возникает относительно выбора 124 баллов как границы допуска абитуриента к конкурсу в ЗВО. Какие рассуждения повлияли на этот выбор? Это что - 62% от 200 баллов, или 24% от 100, или 13% (7 баллов) от шкалы тестовых баллов? Конечно в педагогике считается, что положительную оценку ученик может получить при условии владения не менее 60% запланированных результатов обучения по определенному предмету. При использовании закрытых тестов нужно учесть вероятность угадывания ответов. Структура теста по математике содержит 36 простых заданий с выбором одного правильного ответа (1 из 5-ти) с оценкой 1 балл (закрытые тесты) и 9 заданий открытой формы с коротким ответом с оценкой 2 балла. На рис. 11 предоставлено график зависимости доли знаний от количества рейтинговых баллов для вышеупомянутой структуры теста по математике при условии доверительной вероятности 0,8 (доверительный интервал предоставлен пунктиром).

Рис. 11. Зависимость доли знаний от количества рейтинговых баллов

С этого графика следует, что оценке «удовлетворительно» соответствует 31 тестовый балл (175,5 рейтинговых баллов при нелинейной трансформации), оценке «хорошо» (доля знаний - 75%) - 3641 тестовых балла (181,5187,5 рейтинговых балла), а оценке «отлично» (доля знаний - 90%) - не менее 42 тестовых балла (189200 рейтинговых балла).

Взяв за основу эти пограничные показатели по распределению тестовых баллов всех абитуриентов Украины (рис.8), имеем следующие значения: показатель абсолютной успешности АУ = 11,9%, а качество успеваемости КУ = 7,1%. Итак, реальные результаты ВНО по математике крайне низкие.

Проанализируем гипотезу возможной высокой сложности заданий ВНО. Приведем несколько примеров заданий с выбором одного правильного ответа:

Кстати, за последнее задание можно получить 4 балла!

Из этих примеров следует, что первые 36 заданий с выбором одного правильного ответа достаточно просты. К сожалению, в Отчете за 2013 год, в отличие от отчетов за предыдущие годы, не представлено процент абитуриентов, которые выполнили каждое задание, но средние данные таковы: средняя сложность заданий теста (средний процент выполнения) - 31,76%; среднее количество тестовых баллов - 17,07. Поэтому можно согласиться с выводами, приведенными в Отчете: «... у трети участников ВНО по математике не сформированы базовые умения по превращению простых рациональных выражений. ... абитуриенты не владеют умениями упрощения логарифмических выражений и не знают соответствующих формул ... значительная часть участников тестирования не имеет необходимых знаний по основам тригонометрии, не знают аксиом, основных теорем и формул стереометрии.

Следовательно, отсутствие базовых знаний и умений, которые ученики должны приобрести при обучении математике (до 7 класса), алгебре и геометрии в основной школе, приводит к потере возможности овладеть учебный материал по математике высшей школы даже на среднем уровне знаний».

Достаточно грустные и справедливые выводы относительно массовой математической подготовки школьников Украины.

С учетом вышесказанного возникает вопрос о качестве обучения студентов первых курсов. Первичной информацией является распределение баллов ВНО по математике по рейтинговой шкале школьников Украины и студентов НТУУ «КПИ» (рис.12).

Рис. 12. Распределение рейтинговых баллов ВНО по математике школьников Украины и студентов КПИ

Из рис. 12 можно сделать вывод (базой анализа являются результаты ВНО 4259 студентов), что в КПИ вступили лучшие школьники. Этот вывод подтверждает и то, что среди студентов первого курса 57 человек имеют 200 баллов ВНО по математике, что составляет 42,9% таких школьников Украины.

В НТУУ «КПИ» создана система управления качеством обучения, часть которой содержит входной контроль каждой учебной дисциплины, рейтинговую систему оценки успеваемости студентов, календарную промежуточную (на 8-ой и 14-ой неделях семестра) аттестацию студентов и соответствующие организационные и дидактические мероприятия. Входной контроль уровня подготовки студентов проводится на первых практических занятиях по высшей математике по программе математики средней школы, и имеет целью получение информации относительно исходного уровня математической подготовки первокурсников и разработки системы мер по обеспечению их успешного обучения.

Кафедры высшей математики НТУУ "КПИ" имеют богатый опыт обучения абитуриентов в ФДП и соответственно большую базу контрольных заданий для диагностики уровня подготовки. На рис. 13 приведено распределение оценок входного контроля студентов, которые были принять на первый курс в 2013 году. Оценивание проводилось по шестибалльной шкале, оценка «2» соответствует выполнению менее 50% задания, «0» - менее 10%.

Рис. 13. Результаты входного контроля

С учетом вышесказанного - результаты входного контроля ожидаемые, абсолютная успеваемость составляет АУ = 28,7%, качество успеваемости КУ = 15,2%.

Интересна более подробная информация, а именно связь этих результатов с баллами ВНО. На рис. 14 предоставлены условные (по условию полученных студентами определенных баллов ВНО) распределения результатов входного контроля. Корреляция результатов входного контроля с баллами ВНО достаточно высока (R = 0,66).

Рис. 14. Условные распределения результатов входного контроля относительно семи диапазонов баллов ВНО

Из предоставленных графиков следует, что в пределах 131 170 баллов медиана распределений принадлежит оценке «0» входного контроля (выполнение не более 10% задания). Большинство студентов, которые имели 171180 баллов ВНО получили на входном контроле оценку «1» (до 20% выполнения задания), а те, что имели 181 190 баллов - оценку «2» (до 30% выполнения задания). К сожалению, даже отличники (191200 баллов ВНО) показали достаточно низкий результат - АУ = 68%, КУ = 44,3%. Все это подтверждает вышеуказанные выводы, что положительное оценивание должно начинаться с 175 180 баллов. Из этого следует рекомендация для ведущих университетов Украины, оторые должны готовить элитных специалистов, - установить в правилах приема минимальный рейтинговый балл по математике на уровне не менее 170. Естественно возникает вопрос: где взять необходимое количество таких школьников?

Аналогичные проблемы отметил ректор МГУ В.А. Садовничий в газете «Поиск»: «С контрольными работами, которые университет ежегодно проводит на первом курсе, справились менее половины студентов. Уровень школьной подготовки стал ниже, особенно по физике, математике, химии. Это большая проблема, и необходимо немедленно принимать меры по ее решению».

Основной целью и критерием эффективности приемной кампании в университеты является обеспечение приема студентов, способных усваивать программы высшего образования. Поэтому анализ результатов экзаменов является важной составляющей университетской системы обеспечения качества. На рис.15 предоставлены результаты экзамена по высшей математике (при первой попытке) на первой сессии студентов в 2013 году приема.

Рис. 15. Результаты экзамена по высшей математике

Такой уровень усвоения высшей математики нельзя считать удовлетворительным - абсолютная успеваемость составляет 66%, а качество успеваемости только 32,3%. Эти результаты являются предсказуемыми, если принимать во внимание распределение тестовых баллов школьников и результаты входного контроля. Обычно за счет двух пересдач экзамена большинство неудовлетворительных оценок заменяются, как правило, на «Е», поэтому абсолютная успеваемость приближается к 9095%, но показатель качества успеваемости не меняется и не соответствует аккредитационным требованиям. Это свидетельствует о том, что результаты ВНО по математике практически не гарантируют способность студентов усваивать высшую математику в ЗВО.

Коэффициент корреляции экзаменационных оценок по баллам ВНО составляет только 0,45. Наглядно истоки декореляции определяются с соответствующей матрицы условных распределений оценок (рис. 16).

Среди студентов, которые имют в сертификате более 190 баллов, только 31,2% подтвердили высокий уровень подготовки (оценки А, В), а 41,6% получили низкие результаты (D, E, FХ), в том числе оценку FХ имели 14,3% студентов. Почти каждый третий студент с максимальным баллом 200 (!) получил оценку D и ниже, а среди студентов с баллами 190 181 и 180 171 оценки Е или FХ получили соответственно 46,1% и 61,2%. Более половины студентов с баллом сертификата менее 170 на экзамене получили «неуд». И это закономерно, так как шкала ВНО предусматривает предоставление 170 баллов в случае решения только половины тестовых заданий.

Возможность подготовить из таких студентов элитных инженеров, способных спроектировать современную конкурентоспособную технику, вызывает большое сомнение. Еще одна педагогическая проблема - когда в учебной группе собирается «критическая доля» (около 50%) слабых студентов - снижаются общий уровень преподавания учебного материала, уровень требований и требовательности. От этого страдают все студенты.

Выводы:

1. Уровень математической подготовки школьников Украины вызывает тревогу. Необходимо скорей внедрять систему мероприятий по улучшению естественной подготовки школьников.
2. Желательно возродить деятельность подразделений довузовской подготовки с различными формами обучения: дневной, заочной и дистанционной. Стимулировать их деятельность. Это позволит на первом этапе значительно улучшить подготовку абитуриентов по математике, физике, химии и тому подобное.
3. Результаты обучения студентов по высшей математике слабо связаны с баллами соответствующих сертификатов ВНО, поэтому содержание соответствующих тестовых заданий нужно доработать и добавить определенную прогностическую составляющую.
4. Система шкалирования результатов ВНО не является прозрачной, маскирует уровень подготовки абитуриентов и требует усовершенствования, а именно использование линейной трансформации тестовых баллов по определенной учебной дисциплине в стандартную шкалу размером 100 баллов.
5. С целью обеспечения подготовки элитных инженерных кадров ведущим ЗВО целесообразно установить минимальный уровень баллов сертификатов абитуриентов по математике и физике не менее 170 (по существующей системе рейтинговых баллов) и предоставить право проводить дополнительные творческие испытания.
6. Ведущим университетам, целью которых является формирование интеллектуальной элиты государства, предоставить право проводить дополнительные творческие испытания, которые позволят им отобрать «своих» абитуриентов, действительно способных и готовых к усвоению глубоких фундаментальных знаний.
7. В заведениях высшего образования необходимо создать эффективную систему управления индивидуальной учебной деятельностью студентов, что должна реализовать прогностические возможности календарных аттестаций студентов и рейтинговых систем оценки учебной деятельности студентов.

Список использованной литературы:

Украинский центр оценивания качества образования. Официальный отчет о проведении внешнего независимого оценивания учебных достижений выпускников общеобразовательных учебных заведений Украины в 2013 году. - Режим доступа: http//www.testportal.gov.ua/reports /

Украинский центр оценивания качества образования. Официальный отчет о проведении внешнего независимого оценивания учебных достижений выпускников общеобразовательных учебных заведений Украины в 2013 году.

Головенкин Владимир Павлович, кандидат технических наук, доцент, начальник учебнометодического отдела НТУУ «КПИ»