úterý 2. prosince 2014

Zkoušení a spravedlnost

Stalo se vám někdy, že jste se na výšce naučili všechno na zkoušku a nedali jste to? Možná ano. Učitelům se ale někdy též stane, že mají špatný pocit, že to dali udělat studentu, který tomu vlastně moc nerozuměl. I když tyto situace si všichni pamatujeme nejvíce, ve skutečnosti je nejvíc správných výsledků - že student, co umí, to dá, a že student, co to neumí, to nedá. Ze statistiky známe takovou jednoduchou matici, aplikujme ji na tento případ.
student neví
udělá ok chyba 1. typu
neudělá chyba 2. typu ok
Každá debata o spravedlnosti zkoušení by měla zahrnovat představu o tom, co by se mělo učit, jak obtížná je látka, jak ji zkoušet, jaké jsou kvality posluchačů a jaké jsou potředstavy příštích zaměstnavatelů. Ve zkouškovém období se pak ukáže, že to např. 50% studentů dá a 50% nedá. Avšak žádný normativ, který by určoval, kolik studentů se má vyhodit, neexistuje. Každopádně i o tomto se dá diskutovat. Jestliže na jednom předmětu je na určité univerzitě průchodnost 50% a ve stejném předmětu na srovnatelném oboru jiných univerzit např. 80%, a jestliže typický student je na všech univerzitách stejný, pak je na místě ptát se po důvodech odlišných výsledků.

Ale vraťme se k naší matici spravedlnosti zkoušení a k příkladu, že 50% studentů to udělá a 50% neudělá. Ono totiž vůbec není jedno, jakým způsobem k tomu dojde. Jestliže to bude jako v následující tabulce, není důvod pro reptání ani u studentů ani na stížnosti od učitelů, i když je výsledek pro polovinu dost krutý. Naopak, pro druhou polovinu je pak diplom o tolik hodnotnější na trhu práce.

student neví
udělá 50% 0%
neudělá 0% 50%
Když to však bude jako v následující tabulce, povede to k oprávněnému pocitu nespravedlnosti.

student neví
udělá 25%25%
neudělá 25% 25%

V takovém případě je lhostejné, jestli tomu rozumíte nebo ne. Šance, jestli to dáte, je v každém případě právě 50%. Takový systém samozřejmě nebude studenta motivovat k učení se. V praxi k takovému systému nedojde. 

Jak to přesně vypadá v praxi, to nevím, ale některé věci jdou odhadnout. Student se může chtít buď naučit nebo podvádět. Z pozice učitele je třeba se snažit snížit motivaci k podvodům, tj. minimalizovat chybu 1. typu. Přesně o to se učitelé typicky snaží. Žádný učitel nemá rád pocit, že byl studentem podveden a dal mu to, aniž by si to student zasloužil. Učitel má určitě víc motivací, aby minimalizoval chybu 1. typu než aby minimalizoval chybu 2. typu. Zvláště v našem školství, které vyrábí "sériové inženýry". Žádný osobní přístup, student je jenom číslo v informačním systému školy. Běžně se učitel neohlíží na chybu 2. typu a při neexistenci opravného prostředku (jako na střední škole přezkoušení před revizní komisí) tato chyba může docela hezky růst. Tato úvaha není nic nestandardního, ekonom Robert Higgs odhalil podceňování chyby 2. typu u úřadu pro kontrolu léčiv v USA. Řekněme, že situace v těžkém předmětu bude taková:

student neví
udělá 40% 10%
neudělá 20% 30%
Vždy budou chytráčtí studenti, kteří systém prokouknou, v tomto případě 10%. Ať se to naučí nazpaměť, ať se naučí speciální klíčová slova, která zafungují, několik studentů to takto vždy dá. A nás učitele to pak bude štvát. To, že nás to štve, je kousek i dobře pro ty, kteří udělají a vědí, protože my učitelé máme dbát na kvalitu jejich vysokoškolských titulů. Z této tabulky ale vyplývají dva problémy. V takovém systému je 33% šance, že to neudělám i když vím. To vede nejen k pocitu nespravedlnosti - v tomto případě oprávněném -, ale též k dalším nepříjemným nezamýšleným efektům - ke ztrátě zájmu o další studium předmětu a případně ke ztrátě zájmu o studium na takové fakultě. Dále, když to nevím, je 25% šance, že to udělám, což - pokud je o tom mezi studenty povědomí - někomu stojí za ten risk.

K prvnímu efektu - v navazujících předmětech ve vyšších ročnících je někdy vidět pouze pragmatický postoj studenta - pouze mě naučte tolik, abych to dal a já víc neudělám. Což popravdě není pro vyučujícího nic příjemného být před třídou, která svým projevem připomíná hluchoněmé. Není to samozřejmě přínosné ani pro studenta - kromě toho titulu, za kterým si teď jde pragmaticky a cílevědomě. Získat zpět zájem takového studenta je téměř nemožné, anebo přinejmenším nákladné.

Je možné, že dochází i k druhému efektu - jestliže byli na mně několikrát nespravedliví a jestliže to jinde jde lépe, přestoupím na magisterské studium jinam. V dnešní době, kdy neexistuje blízký substitut veřejným vysokým školám, asi tento efekt nebude výrazný v rámci republiky. Málokdo vycestuje za studiem do zahraničí a snad 70% populačního ročníka chce studovat, protože koluje představa, že člověk bez titulu bude o nějakou dobu nezaměstnatelný. Efekt však může působit na úrovni jednotlivých fakult.

Závěr je jasný - přimlouvám se za spravedlnost, tj. za stav, kdy budou chyby obou druhů minimalizovány, zvláště v těžkých předmětech, kterými projde tak 50% studentů. Myslím, že my na Ústavu ekonomie jsme v poslední době udělali kroky, které povedou ke snížení obou těchto chyb. Jednak, změněná učebnice (Holman) dává větší prostor pro úvodní vhled do problému, který pak lze na potřebných místech doplnit o poznatky z dalších zdrojů. Takže víc lidí to může vědět. Jednak jednotné zápočty eliminují rozdíly ve spravedlnosti mezi různými cvičícími (takže je jedno, jestli se píše zápočt u mně nebo u někoho jiného). Jednak se např. eliminuje tzv. matematický student v mikroekonomii, kterému po absolvování matematiky zase nebylo tolik potřeba se učit mikroekonomii jako takovou (tj. snížení chyby 1. typu). Typicky když student uměl derivovat, a netušil, jaká je ekonomická interpretace toho, co spočítal, tak teď mu to stačit nebude. A jednak se více snažíme v jednotlivých cvičeních vést vaše myšlení takovým způsobem, jaký budete potřebovat, když budete uvažovat u zkoušky nad otázkou (tj. snížení chyby 2. typu). Vím, že máme rezervy a že je hodně co zlepšovat. Nevím, k jakým číslům nakonec dospějeme, ale věřím tomu, co teď děláme. Věřím v zlepšení a v další zlepšování. K tomu nám analýza současného stavu a budoucích trendů pomáhej!

Zdroj matice se 2 typy chyb: Robert Higgs, FDA and Consumer Welfare (FDA je v USA Úřad pro bezpečnost léčiv, v ČR je podobným úřadem SÚKL), viz min. 17:40 ve videu zde: http://www.economicpolicyjournal.com/2014/07/robert-higgs-fda-and-consumer-welfare.html