Про «богів статистики» і результати НМТ

Автор: Ігор Лікарчук, доктор педагогічних наук, професор

Мій нещодавній допис «Що спільного між чищенням картоплі наперегін і тестом НМТ з історії?» менш ніж за добу переглянули майже 200 тисяч користувачів FB. Отже, тема «зайшла».

Але у згаданому есе йшлося  лише про невеликий сегмент видимої сторони того, що  гордо і пафосно називається Національний мультипредметний тест (НМТ). Назріла серйозна розмова й про інші видимі його сегменти. Більше того, реакція у FB-товаристві свідчить, що потреба в ній досягла свого апогею. Тому багато «відкриттів», на мою думку, іще попереду.

Але я сьогодні писатиму про майже невидиму сторону НМТ. Але яка набагато важливіша від змісту завдань, кількості та переліку предметів, умов проведення тощо. Вона про те, як отримані оцінки (тестові бали) за виконання кожного завдання тесту конвертуються (шкалюються)  у шкалу 100-200 балів. Тобто, про  результати НМТ, які стають видимими. І якими одні пишаються, а інші – від них плачуть. І якими купа освітніх чиновників абсолютно безпідставно оцінює якість освіти, роботу кожного закладу, вчителів. 

Іншими словами, я писатиму про природу формування результатів, які стали фетишем сучасної загальної середньої освіти. 

У політичній історії є крилатий вислів, який традиційно пов'язують із кулуарними політичними маніпуляціями: «Не так важливо, як голосують. Важливо — як рахують». Він став символом знецінення реального вибору людей на користь політичних інтересів. На жаль, ця формула дедалі чіткіше описує те, що відбувається на етапі підбиття підсумків Національного мультипредметного тесту (НМТ).

Варто одразу розділити два поняття: об'єктивність оцінювання та об'єктивність інтерпретації результатів. 

До першого на сьогодні  питань немає - комп'ютерні системи бездоганно фіксують і підраховують кожен «сирий» тестовий бал абітурієнта. Процес прозорий. Але щойно ці реальні бали потрапляють до таблиць для конвертації у доленосну шкалу від 100 до 200 , розроблених чиновниками, – починається, на мою думку,  чистий волюнтаризм.

Мало хто пам’ятає, але у 2014 році Україна зробила гігантський крок уперед у розвитку тестології. Т

Тоді для визначення порогу «склав/не склав» та подальшого шкалювання (переведення) результатів ЗНО було запроваджено визнаний у світі метод Ангоффа. Його суть полягала в залученні незалежних експертів, які аналізували кожне завдання після тестування, оцінюючи реальну складність тесту на основі статистичної вибірки та ймовірнісних моделей. Бал абітурієнта залежав не від випадковості, а від математично вивіреної складності самого варіанта.

Проте згодом цю наукову модель в українській практиці зовнішнього оцінювання тихо поховали, не відспівуючи. Її замінили інструментом, який є класикою чиновницького жанру: таблицями переведення балів, які малюються в кабінетах Міністерства освіти і науки ще ДО ТОГО, як перший абітурієнт сяде за комп'ютер, і затверджуються наказом самого ж МОН.

Це до болю нагадує часи Дмитра Табачника, коли міністерство аналогічним «ручним» методом затверджувало таблиці переведення середнього бала шкільного атестата в 200-бальну шкалу. Мета тоді була очевидною — нівелювати об'єктивність ЗНО, повернути вплив шкільних оцінок і «підтягнути» потрібних людей. Сьогодні методи змістилися, але логіка залишилася тією ж: чиновники грають у «богів статистики», визначаючи долі вступників адміністративними наказами, а не законами математики.

Але якщо у часи Табачника  подібні дії впливали лише на результаи, важливий для самого абітурієнта, то сьогодні наслідки такого підходу стали значно вагомішими. Результати НМТ мають пряме бюджетне підґрунтя: на їхній основі розподіляються державні гранти на навчання, укладаються контракти за кошти бюджету та виплачуються президентські стипендії. 

І ось як виглядає ціна кабінетної творчості чиновників, якщо поглянути на реальні цифри офіційних таблиць переведення балів.

Для прикладу, візьмемо таблицю переведення з математики.

Її аналіз дає підстави зробити висновок про повне ігнорування законів математичної статистики. Усередині шкали утворюється гігантське, штучно вирівняне «плато», де різниця в знаннях дітей фактично стирається, а на фініші, навпаки, відбувається незбагненний стрибок.

А тепер – найсуттєвіше. 

Якщо подивитися на крок «ціни» тестового балу в офіційній таблиці, то тестовий бал 15 дорівнює 147 рейтинговим балам, Тестовий бал 16 = 148 балам (різниця +1), Тестовий бал 17 = 149 балам (різниця +1), Тестовий бал 18 = 150 балам (різниця +1), Тестовий бал 19 = 151 балам (різниця +1), Тестовий бал 20 = 152 бала (різниця +1)

Що це означає? А те, що абітурієнт, який успішно виконав на 5 завдань більше за свого колегу (величезна дистанція для короткого тесту!), у рейтингу випереджає його всього на 5 жалюгідних балів. Іншими словами , -  система через коліно стискає результати абсолютно різних за рівнем підготовки дітей, заганяючи їх у штучне зрівнялівське «плато».

Але справжнє диво відбувається на фінішній прямій тесту, де кожен наступний бал раптом набуває ваги золота. Тут вже інша картина: 30 тестових балів = 189, 31 тестовий бал = 194 бали (різниця відразу +5!), 32 тестові бали (максимум) = 200 балів (різниця аж +6!)

Тобто, усередині тесту за п’ять правильних відповідей дитина отримує 5 рейтингових балів, а на фініші за одне єдине додаткове завдання - отримує ті самі 5 чи 6 балів!

Вибачте, але така викривлена інтерпретація результатів перетворює державний іспит на лотерею і б’є не лише по кишенях вступників, але і держави.

І ось вам конкретний приклад. Два абітурієнти написали тест у різні дні. Першому дістався більш складний варіант комбінації завдань і він набрав 19 тестових балів, отримавши 151 шкальований. Другому - пощастило з легшим варіантом, він набрав 20 і отримав 152. За логікою класичної тестології (IRT чи методу Ангоффа), складність завдань першого дня мала б компенсувати цю різницю, а їхні рейтингові бали зрівнялися б, або перший навіть обійшов би другого. Але за таблицею МОН вони отримують жорстку лінійну оцінку. Один бал різниці в кабінетній таблиці  стає межею, яка відрізає дитину від омріяного освітнього гранту чи бюджетного місця. 

Натомість на вершині таблиці один випадково втрачений бал (наприклад, через технічний збій системи чи неуважність в одному питанні) відкидає дитину з 200 до 194 балів. Цей «кабінетний перепад» у 6 балів автоматично позбавляє випускника президентської стипендії та гарантованого стовідсоткового фінансування навчання.

А у цілому, то  ціна таких похибок – мільярди. Мільярди моральних збитків і збитків фінансових. 

Замість епілогу.  

Сучасний підхід до шкалювання НМТ - це міна уповільненої дії під ідеєю незалежного оцінювання. Не можна будувати прозору європейську систему вищої освіти, якщо етап інтерпретації результатів визначається розчерком пера у кабінетах міністерства, а не мовою математичних формул та статистичного аналізу.

Коли ціною чиновницького небажання впроваджувати наукові тестологічні моделі стають мільярди гривень бюджетних коштів і зламані долі здібних дітей, система перестає бути справедливою. В освіті, як і в політиці, коли ручний підрахунок результатів стає важливішим за самі результати, довіра до інституту держави вмирає першою.

Тому дуже важливо зазначити і  таке. Перш ніж ставати “богами статистики”, чиновникам варто було б хоча б відкрити підручник із психометрики. Навіть якщо НМТ із цього предмета поки не існує

P.S. Коли писався цей текст, у публічному просторі з’явилося інтерв’ю Міністра освіти і науки для «Радіо Свобода», в якому була зроблена заява про поріг «склав/не склав». Очевидно, це буде темою мого наступного есе.