Na konci dubna vyšel na webu Seznam Zprávy článek V matematice se u přijímaček zhoršily všechny kategorie, říká šéf CERMATu. Článek je součástí každoroční reflexe jednotné přijímací zkoušky, která je jedním z klíčových požadavků během přijímacího řízení na většinu typů středních škol. Zatímco přijímačky z češtiny dopadly prý zhruba podobně, v matematice se všechny věkové kategorie zhoršily zhruba o sedm procentních bodů.
V textu se redaktorka ptá šéfa CERMATu: „Byly letos těžší testy, nebo děti s horšími znalostmi?“
A Miroslav Krejčí jí odpovídá: „Asi to bude kombinace obojího. Těžko se dá takto relativně velký rozdíl házet jenom na jeden faktor. Jestli se neobjeví ještě nějaký další důvod, který mě osobně nenapadá, tak to musí být kombinace testu, žáka a přípravy na škole.“
Tato odpověď by mohla být jednou vytesána jako epitaf celé jednotné přijímací zkoušky. Citovaný výrok totiž musí rozpálit doběla každého, kdo má byť elementární znalosti a zkušenosti s podobným typem testování.
Je bohužel odrazem kvality české psychometriky, tedy vědy, která se tvorbou a vyhodnocováním testů zabývá. Ve mně osobně to způsobuje silný pocit bezmoci, protože naprosto nedokážu pochopit, jak je možné, že plošné testování v České republice má tak mizernou psychometrickou úroveň.
CERMAT totiž opravdu neví, jak obtížné jeho testy jsou v meziročním srovnání. Tato informace neexistuje ani v případě společné části maturitní zkoušky, ani v případě jednotných přijímacích zkoušek.
A bez ní nelze srovnat meziroční vývoj znalostí českých žáků. V minulých letech navíc docházelo ke skokovým změnám způsobeným záměrnou změnou obtížnosti celého testu; CERMAT dokonce dodatečně upravoval způsob hodnocení maturitní zkoušky, aby test byl celkově obtížnější či snazší.
Meziroční srovnání je přitom klíčové. Všechny velké mezinárodní studie, které sledují znalosti a dovednosti žáků (nejznámější jsou asi PISA nebo TIMSS) proto věnují srovnatelnosti skórů v čase a napříč státy velký důraz.
Bohužel, tyto testy se konají jen jednou za pár let, a neposkytují tedy dostatek informací o krátkodobých výkyvech.
Zajímá vás, jaký byl dopad pandemie covid‑19 a uzávěr škol na znalosti deváťáků? Jestli se znalosti žáků ve škole, kam chcete dát své dítě, v posledních letech zlepšovaly nebo zhoršovaly? Jaký vliv na vzdělávání mělo zavedení inkluze? Je pravda, že toho děti vědí stále méně a méně? Tak to máte smůlu, protože na žádnou z těchto otázek nedostanete v České republice odpověď.
Kromě toho, zcela mimochodem, nedostanete odpověď ani na žádnou z dalších desítek otázek, které by vzdělávací experti potřebovali vědět: namátkou třeba jaký je vztah testů CERMATu a testů z těch velkých mezinárodních studií, jak dobře dokáží testy identifikovat pozdější úspěšné a neúspěšné studenty, jak se liší různé skupiny škol, jaký vliv na výkon třídy má zařazení dětí se speciálními vzdělávacími potřebami nebo přítomnost asistenta ve třídě, jak efektivní jsou jiné změny vzdělávacích politik.
Podle výroční zprávy CERMATu byly v roce 2021 náklady na maturitní zkoušku přes 100 milionů korun, na přijímačky pak 17 milionů (plus necelých 40 milionů tisk).
Tyto finance byly využity pouze k rozhodnutí o tom, kteří studenti středních škol obdrží maturitní vysvědčení, případně kteří žáci základních škol smějí pokračovat ve středoškolském studiu.
K ničemu jinému data nelze využít, a k ničemu jinému ani využívána podle veřejně dostupných zdrojů nejsou. V tomto světle jde tedy o naprosto nehorázné plýtvání veřejnými prostředky a zcela diletantský přístup, protože ta data by mohla být pro vědce, politiky i veřejnost neuvěřitelně cenná.
Je možné vůbec obtížnost testů meziročně srovnat? Jistěže ano, a je to standardem již celá desetiletí.
Jen pro zasmání – v roce 2018 jsem připravoval podklady pro Karibskou zkušební komisi (Carribean Examinations Council, obdobu karibského CERMATu), jak provazovat obdobu jejich maturitního testu (Caribbean Secondary Education Certificate) právě s mezinárodními testy PISA a TIMSS.
Díky tomu jsem se dostal s touto zkouškou do kontaktu a vím, že jejich data jsou (zcela podle očekávání) bezproblémově meziročně srovnatelná. Je potřeba si uvědomit, že tyto testy si samy vyvíjí státy jako Antigua, Barbados, Belize, Kajmanské ostrovy, Jamajka nebo Guyana, tedy státy s řádově nižším HDP a úrovní vzdělávání.
Vzpomeňte si na to, až budete trávit dovolenou na dominikánské pláži a divit se, že místní škola nemá střechu.
Pro zajištění meziroční srovnatelnosti existuje celá řada statistických postupů. CERMAT je samozřejmě limitován tím, že musí veškerá testová zadání zveřejnit, což testové položky znehodnotí pro jakékoli další účely.
Stejně tak je podle všeho omezený v možnosti otázky předem pilotovat. To ale není zásadní překážkou.
Proto pokud data meziročně srovnat nelze, existují jen dvě možná vysvětlení: buď (1.) jsou analytici a zejména pak vedení CERMATu nevzdělaní diletanti bez elementárního psychometrického vzdělání, nebo (2.) meziroční srovnání je zcela záměrně znemožněno. Variantě jedna nevěřím. Proč a kdo tedy meziročnímu srovnání brání?
Abych přispěl do debaty konstruktivně, stručně popíšu, jak by takové srovnání mohlo být realizované. Jde jen o jednu z mnoha možných variant; tento postup je obsažen v základních učebnicích mého oboru. Podobné postupy jsou zcela rutinně využívané právě v takových situacích, v jaké je CERMAT, nenavrhuji nic nového.
Řekněme, že je rok 2023 a blíží se čas jednotné přijímací zkoušky. Předem zajistím vhodný výzkumný vzorek, například studenty prvních ročníků středních škol (mělo by stačit kolem 40 školních tříd; přesnější odhad by si vyžadoval podrobnější analýzu).
V den, kdy se konají přijímačky, tito studenti dostanou rovněž přijímací test, kromě něj jim však administruji i další testové otázky – říkejme jim „kotevní položky“. Protože to vše by dohromady mohlo být příliš dlouhé a unavující, stačí z přijímaček náhodně vybrat jen část otázek.
Díky realizaci ve stejný den s přijímačkami nemůže dojít k úniku testového zadání. Bohužel, tento kotevní test již pro ostré testování nemohu využít. To ale vůbec nevadí! Blíží se totiž duben 2024 a já mám zajištěný nový výzkumný vzorek.
Ten v den konání přijímaček dostane opět část nového, ostrého testu, ale navíc dostane i kotevní položky z loňského roku (a zároveň i kotevní položky pro další rok). Šikovný analytik pak vhodnými statistickými postupy sestrojí funkci, která umožní skóry z obou let převést na srovnatelnou stupnici.
Těchto výzkumných vzorků a kotevních testů může být více, jeden z možných designů pak ukazuje přiložený diagram.
Jedno z mnoha možných schémat vyvážení obtížnosti přijímacího testu napříč roky. Řádky reprezentují různé skupiny osob, sloupce pak jednotlivé testové otázky. Modré obdélníky obsahují „ostré přijímací testy“, hnědé obdélníky jsou kotevní položky – tedy testové otázky, které nikdy nebudou zařazeny do ostrého testu. Vidíme, že uchazečům ve třech letech 2023–2025 je administrován vždy pouze ostrý test – nemá smysl je zatěžovat ničím navíc. V každém roce jsou pak vytvořeny dva výzkumné vzorky (A a B). Ty dostanou vždy část stávajícího „ostrého“ testu, navíc jim ale administrujeme dva další „kotevní testy“, které se průběžně mění napříč lety (jeden je vždy nově vytvořený, jeden je převzatý z minulého roku). Tyto kotevní položky pak slouží jako etalon, pomocí kterého je možné ostré maturitní testy srovnat. Jediné, co je potřeba, je připravit o trochu víc testových otázek. | Foto: Hynek Cígler
Náklady na toto vyvážení by byly zcela minimální ve srovnání s celkovými náklady na konání zkoušky. Pokud by CERMAT měl zájem, klidně jim připravím přednášku, jak na to.
Tu ostatně povinně absolvují všichni magisterští studenti psychologie na naší katedře, není to žádná raketová věda. Možná by ale bylo jednodušší vytáhnout hlavu z písku a začít se chovat jako zodpovědná státní instituce, protože veškeré informace jsou veřejně dostupné a jsou běžnou praxí už desítky let.
Autor je výzkumník na Katedře psychologie a Institutu pro psychologický výzkum Fakulty sociálních studií Masarykovy univerzity
Hynek Cígler
V Brně dne 4. května 2023
