Міраж у 200 балів: освіта у змаганні за фантом

Автор: Ігор Лікарчук, доктор педагогічних наук, професор

Кілька днів тому у ФБ з’явився великий допис керівника одного з обласних департаментів освіти про «двохсотбальників» за результатами цьогорічного НМТ. У ньому - заклади освіти, випускники яких за результатами НМТ набрали 200 балів, а отже апріорі їх відтепер можна офіційно вважати флагманами освітньої системи області. А тих, що не потрапили у список, очевидно, - відстаючими. Фактично, наявність чи відсутність «двохсотбальників» у закладі освіти, зведена до індикатора якості освітньої системи області. Це нагадує «соціалістичне змагання» в школах срср шістдесятих-сімдесятих років минулого століття, в якому перемагали «передовики» за оцінками, та визначалися «відстаючі». Перші, відповідно, нагороджувалися, другі – піддавалися публічному остракізму… Щоправда, тоді розуміли добре сутність оцінки, як і методику визначення «переможців»: оцінку ставили вчителі, або визначали за результатами масових перевідних чи випускних іспитів. Думку вчителів поважали, цінували, з нею рахувалися. Образно кажучи, то була «жива оцінка»: співмірна, об’єктивно коректна у своій парадигмі. І як правило, ні в кого не виникало ніяких думок, що оцінки, скажімо, у Львівській чи Донецькій областях можуть мати різний вимір: адже існують єдині програми, єдині навчальні плани, єдині підручники, єдині методики організації освітнього процесу. Архіви Міністерства освіти свідчать, що дані про кількість учнів-відмінників та учнів-невстигаючих в різних областях добре порівнювалися між собою. А перед тим – у межах районів, міст, між школами.

Сьогодні ситуація стає схожою. Єдиної та однакової школи вже давно немає. Але ідея «соцзмагання» в загальній середній освіті нікуди не зникла. Тепер критерієм для підведення його підсумків у свій час стали результати ЗНО, а наразі - НМТ. Хоч насправді, ні перші, ні другі НЕ Є ОЦІНКОЮ знань абітурієнта, який проходив оцінювання. ЗНО і НМТ є тестовою системою відбору абітурієнтів. Єдине, що дійсно відображає реальний результат абітурієнта, - це т.з. «сирі» бали , які він отримав за кожну правильну відповідь, і які в кінцевому результаті сумуються у загальну тестову оцінку. Сирі бали – важлива, але недостатня інформація, щоб говорити про якість освіти у певній вибірці людей. Вони не дають можливості інтерпретувати результат широкому контексті: наскільки це добре, якщо порівняти з іншими, який рівень знань за цим стоїть. Для того у тестології використовують шкалювання або рейтингування.

Не вдаючись в достатньо специфічні деталі шкалювання, які вимагають окремих знань, спробуємо пояснити його на такому прикладі.

Уявіть собі, що ви отримали, придбали чи виростили 100 яблук. Всі яблука не ідеальні, але ми хочемо дізнатися, яке із них найякісніше в цьому врожаї. Для цього ми визначаємо шкалу: 200 балів отримає найякісніше яблуко. Інші - ранжуємо нижче відповідно до наявності вад. Найгірше яблуко отримає 100 балів. Отак і отримаємо рейтингову оцінку отриманих/куплених/вирощених яблук за шкалою 100-200 балів. Це і рейтингове оцінювання. Не «добре/погано», а просто – хто кращий у цьому наборі.

Так само працює шкалювання результатів зовнішнього оцінювання: воно не оцінює абсолютну якість знань, а розташовує учасників у певному порядку – щоб університет міг зробити відбір.

Під час проведення ЗНО використовувалися математична модель шкалювання (IRT), експертне визначення порогу «склав/не склав» на основі емпіричних даних (фактичному розподілі результатів), за участю експертів із врахуванням реальної складність тесту, через публічність специфікацій і процедур. Шкалювання і визначення порогового балу здійснювалося ПІСЛЯ завершення тестування. Такий підхід укупі із відкритими специфікаціями тестів, рівними умовами складання, стандартизованими завданнями дав можливість у процесі оцінювання забезпечити виконання інституційної обіцянки справедливості, задля чого власне і запроваджувалося ЗНО. Цей факт неодноразово підтверджувався відомими фаховими міжнародними експертами, багато з яких і приймали участь в розробці саме такої системи; громадянським суспільством; споживачами результатів ЗНО – вищими закладами освіти. Недарма ЗНО отримало народне визнання, як найбільш вдала і завершена реформа в освіті.

У процесі проведення НМТ, який в умовах ковіду на повномасштабної війни, замінив собою ЗНО, почали використовувати іншу методику визначення оцінки за шкалою 100-200 балів. Достатньо тривалі процедури шкалювання в ЗНО, про які мова йшла вище, замінили визначенням відповідності певної суми тестових балів тому чи іншому показнику в лінійці від 100 до 200. Такі таблиці затверджуються наказом Міністра освіти і науки. Останній із датований лютим 2025. Тобто, за кілька місяців до проведення НМТ!!!! Без психометричного аналізу тестів, експертного обговорення. Іншими словами, відповідність тестових балів шкалі 100-200 визначили чиновники, без будь-якого наукового підгрунтя. І тому цей процес шкалюванням назвати не можна. Це якесь "ноу-хау", що невідоме невідоме жодній науковій моделі шкалювання. А якщо простіше - то це імітація шкалювання.

Вся ця історія нагадує ситуацію, коли у 2010 році екс-міністр освіти Д.Табачник затверджував шкалу переведення 12 балів шкільної системи оцінювання в шкалу 100-200. Метою цього дивного ( з позицій тестології) і зрозумілого (з позицій невігластва і політиканства) нововведення, було визначення середнього балу атестату про загальну середню освіту. Згадайте, як після цієї новації лише лінивий не розповідав історії, коли за рахунок 12 балів у атестаті , скажімо, з фізичної культури, трудового навчання та ін. предметів вдавалося суттєво витягувати його загальний середній бал на достатньо конкурентні позиції у вступній кампанії.

На фоні цього не хочеться писати про якусь тяглість традицій у МОН, одначе...

Таким чином, оцінки за шкалою 100-200 балів, які визначені на основі таблиць відповідності, не можна вважати мірилом якості освіти. Ці результати, швидше за все, якийсь фантом, мета створення якого невідома. Тому і виникає ситуація, коли ні вчитель, ні учень, ні вступник, ні університет не розуміють, що насправді означає результат у 162 або 184 бали. Та і як її можна зрозуміти? 200 балів за цією шкалою абсолютно не означає, що абітурієнт, образно кажучи, знає все, а 100 балів – що він не знає нічого. У різних випадках набрана однакова сума сирих тестових балів гарантує однакове рейтингове місце за шкалою 100-200 балів. Занадто великі «плато» і «стрибки» на різних ділянках цієї шкали, що суперечить нормальній гаусовій логіці розподілу. І найголовніше, що за такої системи апріорі переможцями можуть стати не найкращі, а ті, хто краще, образно кажучи, вписався у логіку таблиць відповідності. Як можна оперувати цими результатами - невідомо. Очевидно ті, хто цим займається, оцінюючи роботу закладів освіти і навіть окремих учителів, складаючи якісь списки кращих чи гірших, будуючи рейтинги, нагороджуючи чи критикуючи, із елементарними науковими знаннями із психометрії не дуже товаришують. Якби було інакше, то цього б не робили.

У рамках цього допису ми не будемо розмірковувати про гіпотетичну шкоду, яка може бути нанесена управлінськими та фінансовими рішеннями, котрі ґрунтуються на шкалі, котра не має ані обгрунтованої методології, ані публічної прозорості. Або про те, як результати, що визначаються за такою шкалою, впливають на долю реальних людей – випускників, батьків, абітурієнтів. Можливо, якби останні знали всі тонкощі такого «шкалювання», то вони б зрозуміли відповідь на питання, чому при однаковій кількості сирих балів бал за шкалою 100-200 різний…

Мета цього допису інша. Ми хочемо довести, що використання результатів НМТ для будь-яких оцінок роботи закладів освіти чи окремих педагогів шкодить системі освіти. Подібний підхід неминуче веде до деформації педагогічної мотивації: починають працювати не на процес, а на результат. За такого підходу до оцінки якості роботи закладу чи вчителя відбувається «знецінення» роботи із середніми учнями, які не можуть показати «високі» результати. Липові рейтинги, які складаються на основі такого «шкалювання»,, неминуче спотворюють інформацію про загальний стан функціонування освітньої системи, що негативно впливає на визначення стратегій і політик у ній. І дуже погано те, що використання рейтингових результатів в оцінці роботи закладів і окремих педагогів руйнує поняття освітньої справедливості, адже далеко не завжди «переможцями» стають найкращі. При цьому, дуже часто забуваємо, що власне висока сума сирих тестових балів, а відповідно і високий показник за шкалою 100-200 у дуже багатьох випадках пояснюється роботою репетиторів, а не шкільних колективів чи окремих педагогів. За даними деяких соціологічних досліджень близько 90% учасників НМТ користуються послугами репетиторів, готуючись до нього. То про чию роботу і яку якість ми ведемо мову, оперуючи результатами 100-200 балів: про роботу репетиторів, про роботу школи, про можливості батьківських гаманців чи власне про самостійну роботу абітурієнта?

Не потрібно ідеалізувати систему ЗНО. Рейтинги шкіл за результатами ЗНО беруть свій початок із тих років. Розуміючи небезпеку використання результатів ЗНО для оцінки роботи закладів освіти і окремих педагогів, УЦОЯО у 2008-2009 рр. (період масового запровадження зовнішнього оцінювання надсилав персональні результати кожному учаснику у законвертованому вигляді. Узагальнених результатів ні заклади освіти, ні органи управління ними від УЦОЯО не отримували. І це було абсолютно правильне рішення. Від якого примусив відмовитися тодішній міністр освіти і науки п. Табачник… Його наступники у даному питанні пішли іще далі. Рейтинги на основі шкали 100-200 балів почали квітнути…

Що мають робити керівники органів управління освітою та закладів освіти із т.з. результатами НМТ за шкалою 100-200 балів.

По-перше. Усвідомити, що 100-200 балів – це не результати якості освітньої діяльності, а інформація для приймальних комісій університетів, метою створення якої якісний та справедливий відбір абітурієнтів. Не потрібно і шкідливо із цих результатів робити фантом.

По-друге. Припинити стимулювання офіційного і неофіційного «змагання» за кількість «двохсотбальників». А змагання починається тоді, коли за цим показником починають ранжувати заклади освіти.

По-третє. Пояснювати педагогам, батькам, учням, що тести НМТ проводяться не із метою оцінки якості освіти, а для ранжування та наступної селекції абітурієнтів у вступній кампанії до університетів. Потрібно поширювати серед цього кола учасників освітнього процесу базові знання з тестології та психометрії. Та і самим орієнтуватися в них. Хоча б задля того, щоб не бути смішними.

По-четверте. Потрібно почати пишатися тими здобувачами освіти, хто піднявся вище, ніж був учора, а не тими, хто стоїть на сумнівній «вершині». І заохочувати тих, хто цьому сприяв. Нашій освіті потрібне не новонароджене «соцзамагання» після НМТ за кількість «двохсотбальників», а зовсім інша методологія оцінювання якості освіти. Якої, на жаль, немає.

І якщо ми справді хочемо, щоб результати зовнішнього оцінювання служили якості освіти, а не її викривленню, щоб вони не стали міражем цієї якості, то маємо перестати вшановувати цифри, не розуміючи їхньої сутності, та плекати якісь фантоми.