Druhá část článku přináší výsledky implementace navrženého hodnocení žáků zkoumaného v rámci projektu Green Assessments v rámci nižšího odborného vzdělávání v Nizozemsku.
Pro vyzkoušení implementace nového hodnocení bylo nastaveno široké spektrum výzkumných akcí, a to ze dvou důvodů: pomoci učitelským týmům navržené hodnocení implementovat a tím zvýšit jeho kvalitu a dospět k chápání toho, co implementace hodnocení založeného na kompetencích znamená pro učivo a didaktiku. Implementace navrženého hodnocení a také identifikace vyžadovaných změn v procesu vyučování a učení jsou zásadní pro přechod na vzdělávání založené na kompetencích na stupni nižšího odborného vzdělávání (pre-VET).
Projektu se zúčastnilo 34 učitelských týmů z 11 institucí nižšího odborného vzdělávání s ekologickým zaměřením, protože chtějí své vzdělávací programy, vyučování a učení inovovat směrem ke vzdělávání založenému na kompetencích. Kromě toho věří, že nové hodnocení by pro žáky mohlo být více motivující, neboť oproti současné praxi má toto hodnocení praktičtější přístup a je zasazeno do kontextu dané profese, která by mohla být součástí budoucí žákovy vzdělávací dráhy v odborném vzdělávání. Vedle učitelských týmů se výzkumných akcí soustředěných na koučování a podporu učitelů účastnili jeden výzkumník z akademického prostředí, dva projektoví manažeři projektu Green Assessments a 24 učitelů nižšího odborného vzdělávání, kteří se podíleli na vývoji nového hodnocení, popsaného v 1. části.
Výzkumná otázka
Cílem tohoto výzkumu bylo osvětlit, může-li, a pokud ano, proč a jak, být nové, na kompetencích založené hodnocení výkonu žáků stimulující pro jejich učení, motivaci a přípravu pro střední odborné vzdělávání založené na kompetencích a jakým způsobem jeho implementace může být katalyzátorem pro změny vedoucí směrem k vyučování a učení založenému na kompetencích. Výzkumné otázky, jimiž se studie řídila, tedy byly:
-
Jaké zkušenosti mají různé zůčastněné skupiny s efekty nového hodnocení na žáky?
-
motivace
-
učení
-
příprava pro OV
-
Které charakteristiky používaného hodnocení vedly k těmto efektům?
-
Co zúčastněné skupiny uváděly k otázce změn vyžadovaných v procesu vyučování a učení, aby mohlo dojít k vytvoření vhodných postupů učení založených na kompetencích?
Metoda
Každý učitel si vybral oblast (např. floristika, rostlinná výroba), ve které bude do svého vzdělávacího programu jedno nové hodnocení (tzv. „pilotní“) zavádět. Učitelé se podíleli s jednou třídou (od 6 do 22 žáků). Zúčastnilo se celkem 453 žáků. Všichni žáci se nacházeli na konci třetího ročníku programu trvajícího celkem čtyři roky a podstoupili nové hodnocení ve zvolené profesní oblasti v rámci ekologicky zaměřeného vzdělávání. Po provedeném hodnocení se 68 žáků zúčastnilo evaluačních rozhovorů.
Každé pilotní hodnocení mělo podporu a bylo koučováno ze strany (1) výzkumníka, prvního autora a experta v oblasti hodnocení založeného na kompetencích, jak v odborném vzdělávání, tak v nižším OV, a (2) „učitele-experta“ z jiné instituce nižšího odborného vzdělávání s ekologickým zaměřením, s odborností ve vybrané oblasti hodnocení (např. floristika, ochrana zvířat), který se podílel na vývoji nového hodnocení v rámci své expertské oblasti. Tyto „učitele-experty“ budeme dále nazývat „koučové“. Cílem jejich zapojení bylo pomoci kolegům, učitelům z jiné instituce vyučujícím stejný předmět, v přemýšlení o tom, jak navržené hodnocení implementovat do jejich vlastního kontextu. Během projektu probíhaly každý měsíc konzultační skupiny výzkumníků a koučů a také celostátní setkání ke sdílení zkušeností a inspirací učitelských týmů.
Nástroje
Strukturované skupinové interview
Každý pilotní program hodnocení začínal strukturovaným skupinovým interview mezi učitelským týmem, výzkumníkem a koučem. To posloužilo dvěma cílům:
-
systematicky rozebírat charakteristiky a kroky nového hodnocení a jeho teoretické východisko za účelem vytvoření společného chápání daných aspektů a toho, jak tyto aspekty souvisejí s kvalitou hodnocení (např. význam autentičnosti a kombinování hodnoticích metod; proč je zavedena metoda pozorování); vzhledem k tomu, že se navržené hodnocení celkově liší od toho, na co byli učitelé zvyklí, byl tento bod velmi důležitý;
-
budování společného chápání implementace daného hodnocení ve vlastním konkrétním kontextu, aby se zajistilo, že hodnocení budou prováděna v co možná největší míře, tak, jak bylo navrženo, neboť je to pro kvalitu prováděných hodnocení zásadní.
Pro tento účel byl vytvořen strukturovaný otevřený dotazník osvětlující charakteristiky a základní východiska hodnocení. Dotazuje se například, zda „je popsán postup pro pozorování a hodnocení žáků. Proč si myslíte, že postupy jsou právě takové? Jak to probíhá ve vašem vlastním kontextu?“ Výsledky strukturovaného skupinového interview pak byly připojeny k otázkám strukturovaného dotazníku a zaslány učitelským týmům ke kontrole. To zajistilo srovnatelné údaje o tom, jak 34 pilotních programů hodnocení interpretuje charakteristiky hodnocení, což ukazovalo, do jaké míry učitelé chápali pojetí nově navrženého hodnocení a jaká jsou jejich očekávání s ohledem na výzvy a dopady na výuku a učení.
Polostrukturované skupinové evaluační rozhovory
Po každém hodnocení proběhly polostrukturované rozhovory se žáky, s učitelským týmem a koučem. Rozhovory se zaměřovaly na:
-
zkušenosti s dopady hodnocení na žáky a učitele/hodnotitele;
-
charakteristiky hodnocení, které k těmto zkušenostem vedly;
-
co by se mělo změnit pro vyvinutí odpovídajícího postupu hodnocení učení a vyučování založeného na kompetencích.
Otevřené závěrečné evaluační otázky
Žáci, kteří se zúčastnili evaluačního rozhovoru, odpovídali nejdříve jednotlivě na čtyři otevřené otázky písemně. Otázky zněly: co se ti líbilo, čím se hodnocení lišilo od běžného hodnocení/testů, čemu ses naučil, co se ti nelíbilo.
Analýza
Popsaná data byla nezávisle analyzována analytiky, výzkumníky a dvěma manažery projektu s cílem identifikovat tendence, které se vyskytly u každé zúčastněné strany, a vyvinout společnou argumentaci pro zodpovězení výzkumné otázky. Srovnávací analýza případů se zaměřila na identifikaci trendů napříč pilotními programy, a to jednotlivě pro každou ze tří zúčastněných skupin (studenti, učitelé a koučové).
Evaluace hodnocení ze strany zúčastněných
Žáci
Za prvé, ohledně motivačních a formativních efektů hodnocení žáci svorně vyjadřovali nadšení: „Měl jsem možnost skutečně ukázat, co umím udělat. To je skutečně povzbuzující.“ Nebo: „Pokusil jsem se několikrát správně zasadit rostliny, ale nezdá se mi, že by se mi to podařilo. Pro příště vím, co je třeba lépe procvičit.“ (obor zahradník) Žáci řekli, že se vlastně neučili pro hodnocení, nýbrž se učili z hodnocení: „Mám pocit, že jsem se skutečně za posledních pár týdnů zlepšil, i když jsem se moc pro hodnocení neučil“ či „v praktické situaci se nevědomky učíš uplatnit vše, co ses naučil“ (žáci oboru floristika).
Za druhé, s motivačním a formativním účinkem hodnocení a svou přípravou pro odborné vzdělávání si žáci přímo spojovali autentický úkol hodnocení, který byl mnohem smysluplnější a realističtější než při dřívějším hodnocení. „Hodnocení mi ukázalo, co skutečně znamená být zahradníkem, a skutečně mě bavilo pomáhat s navrhováním zahrady pro opravdového klienta. Vlastně nyní vážně uvažuji o tom, že v odborném vzdělávání v oboru zahradnictví budu pokračovat.“ Na druhé straně žáci vysvětlovali, že jejich prožitek autentičnosti situace a výsledná motivace záležela na tom, zda se jednalo o skutečného, nebo „falešného“ klienta (např. učitel hrál roli klienta) a zda se pro tohoto klienta má vytvořit skutečný produkt, který mu bude opravdu předán. „Měli jsme udělat buket pro seniory v domově důchodců vedle naší školy. Kdy jsem přišel do třídy o týden později, všechny naše bukety tam ležely a vadly. Proč je nevzali a nedoručili domovu důchodců? Jako kdybychom to dělali od začátku úplně zbytečně.“ (žák oboru floristika)
Za třetí, ohledně souladu tohoto hodnocení s jejich vzděláváním mnozí žáci odpovídali, že škola je zatím ještě na toto nové hodnocení adekvátně nepřipravila, protože: a) ve třídě nikdy nepracovali na kompetencích, ani je neprobírali, zatímco během hodnocení byly kompetence hodnoceny; b) hodnocení vyžadovalo od žáka nezávisle se rozhodovat a vypořádat se s komplexní situací, zatímco ve třídě byli zvyklí na to, že se jim říkalo, co dělat krok za krokem; c) některé hodnoticí aktivity, jako např. jednání se zákazníkem, se během hodin moc nepraktikovaly; d) žáci nebyli zvyklí o svém výkonu uvažovat způsobem, jaký se očekával v hodnoticím rozhovoru. Očekávali, že hodnoticí rozhovor bude spíše ústní zkouška zaměřená na teoretické otázky vztahující se k obsahu.
Učitelé
Za prvé, učitelé od svých studentů měli předem nízká očekávání a byli nesmírně překvapeni tím, co během hodnocení ukázali, že umějí. Například ve skupinových rozhovorech se mnozí učitelé zdáli být skeptičtí ohledně schopnosti svých studentů plánovat, vypořádat se se složitostí autentického úkolu, úkoly vykonat nezávisle a také ohledně jejich schopností reflektovat vlastní výkon při hodnoticím rozhovoru. „Tito studenti potřebují, aby byli hodně vedeni. Musíte je vzít za ruku. Zajímá mě, jestli se vypořádají s hodnoceným úkolem, který vyžaduje, aby v průběhu čtyř hodin dělali několik věcí najednou.“ (učitel v oboru gastronomie) Po provedeném hodnocení byli učitelé zvlášť překvapeni mírou nezávislosti, kterou studenti předvedli, jejich kreativitou při řešení problémů, schopností reflektovat svůj vlastní výkon a projeveným entuziasmem. „Při hodnoticím rozhovoru se při správně položené otázce zdají být mnohem více vědomi vlastního výkonu, než jsem si kdy troufal pomyslet.“ (učitel v oboru zahradnictví)
Za druhé, všichni učitelé měli zkušenost, že velmi autentické a smysluplné hodnoticí úkoly motivovaly žáky k předvedení nejlepšího výkonu, což souvisí i s motivací pro budoucí profesní dráhu a odborné vzdělávání. Nejdůležitější inovací v tomto hodnocení bylo to, že hodnocení vyžaduje od žáků, aby pracovali se skutečnými klienty na reálném úkolu daného povolání. „Myslím si, že to činí hodnocení velmi motivujícím pro naše prakticky orientované žáky (…) Jedna z dívek v mé třídě řekla, že hodnocení jí ukázalo, jak může být zahradnické povolání zábavné. Začala vážně uvažovat o odborném vzdělávání v oboru zahradnictví, navzdory svým dřívějším úvahám.“ (učitel oboru floristika)
Za třetí, největší výzva, kterou všichni učitelé uváděli (100 %), se vztahovala k jejich způsobu vyučování: „Pokud chci uplatnit toto hodnocení v našem programu správně, skutečně musím změnit způsob vyučování a přístup. Učitelé vysvětlovali, že jsou zvyklí vést studenty krok za krokem, zatímco toto hodnocení vyžaduje, aby žák komplexně dohlížel na mnoho menších úkolů a byl iniciativní při plánování a nezávislém řešení složitého úkolu. Tento způsob práce nebyli zvyklí používat ani učitelé, ani žáci. Učitele si uvědomili, že se potřebují odnaučit okamžitě pomáhat a přerušovat žáky, kdykoliv se zdají být v rozpacích nebo mají otázky. „Žáci měli občas tendenci žádat o pomoc, když si v průběhu nebyli jistí, co dál dělat. Přestože to pro mě bylo těžké, pokusil jsem se jim nepomáhat. Byl jsem překvapen tím, že většina žáků vyřešila problém sama, bez jakéhokoliv stěžování.“ (učitel oboru chovatelství)
Co se týče obsahu, učitelé si také uvědomili potřebu změnit, co žáky učí. Například: „Nikdy jsem se patřičně nezabýval aspektem udržitelnosti“ (učitel v oboru gastronomie) či „nikdy jsme neprocvičovali reflektivní rozhovory se studenty“ (několik učitelů) či „nevěnoval jsem se jasně jednání se zákazníkem“ (několik učitelů).
Za čtvrté, učitelé ještě důkladné nechápali, co kompetence jsou, jak je lze pozorovat ve studentově výkonu nebo probírat v hodnoticím rozhovoru. Učitelé měli otázky jako: „Kde shledáváš obecné kompetence v daném kontextu?“ a „Co chci slyšet, aby mi student řekl o těchto kompetencích v hodnoticím pohovoru?“ Učitelé jsou zvyklí na testování teoretických znalostí a odškrtávání vykonaných praktických dovedností (např. dojení krav, sledování hygienických procedur), ale při pozorování kompetencí si ještě nebyli jistí. Přestože hodnocení obsahuje schéma pozorování a otázky pro rozhovor, které operacionalizují čtyři kompetence, jež se mají hodnotit, necítili se učitelé dostatečně připraveni pro hodnocení kompetencí žáků.
Koučové
Témata identifikovaná v evaluacích koučů byla do značné míry srovnatelná s hodnocením učitelů ohledně motivačního efektu autentického hodnoticího úkolu a nesouladu s učivem a didaktikou. Kromě toho koučové ocenili hodnoticí formulář, který je kombinací výkonu autentického úkolu a hodnoticího rozhovoru, pro posouzení obecných kompetencí studentů.
Koučové diskutovali o tom, jaký rozsah navrženého hodnocení učitelé implementovali, přičemž převážně zmiňovali potíže učitelů vztahující se k pozorování a prodiskutování kompetencí žáků. Koučové uváděli, že to je zřejmé v hodnoticích rozhovorech, a to jak v typu otázek, které hodnotitelé kladli, tak ve způsobu, jakým je kladli. Otazky byly často zaměřené na teoretické znalosti, místo toho, aby se po žácích chtělo vysvětlit něco o konkrétních předvedených kompetencích, např. „co jsi udělal pro to, abys zjistil, co si zákazník přeje“ nebo „jak jsi to zajistil ve svém výkonu“. Koučové zdůrazňovali význam větší profesionalizace svých kolegů-učitelů s ohledem na jejich schopnosti pozorování a vedení rozhovorů pro možnost navrženou metodu hodnocení adekvátně implementovat.
Závěry a diskuse
-
Pro vybudování společného chápání podoby nového hodnocení, jak se liší od toho, nač jsou učitelé zvyklí a jak ho chtějí implementovat do vlastního kontextu, je zásadní společná diskuse o teoretických východiscích a charakteristikách nového hodnocení před jeho implementací. To je důležité kvůli zvětšení rozsahu správné implementace navrženého hodnocení, což je předpokladem pro přeměnu směrem k přístupům založeným na kompetencích.
-
Proměna směrem k hodnocení založenému na kompetencích vyžaduje věnovat zvláštní pozornost rozvoji chápání toho, co kompetence představují a jak je lze hodnotit. To opět zpochybňuje rozsah, v jakém je navržené hodnocení prováděno. Ústředním bodem co do intervencí a profesního rozvoje učitelů by mělo být pomáhat jim vybudovat praktické znalosti o kompetencích a jak je hodnotit.
-
Učitelé a koučové byli překvapeni tím, co byli jejich pre-VET žáci schopni při svých výkonech a hodnoticích rozhovorech předvést, zatímco žáci prohlašovali, že hodnocení jim dovolilo ukázat, co umějí udělat, nebo že jim hodnocení pomohlo uvědomit si všechno, co se naučili, aniž by o tom věděli. Z tohoto nálezu je možné vyvodit dva závěry: Za prvé, zdá se, že nová hodnocení hodnotí vlastně něco jiného než formální kurikulum, což lze vnímat jako důkaz formativního účinku vlastního hodnocení. Za druhé, hodnocené kompetence jsou implicitně nebo nevědomě rozvíjeny s učením základního vzdělávacího programu a zviditelňují se až během hodnocení, tedy když víme, že nové hodnocení založené na kompetencích přijde, má to již předem formativní efekt na učitelovo vyučování a žákovo učení.
-
Je poukazováno na nízká očekávání, která učitelé ohledně svých pre-VET žáků mají. Mnohé studie a analýzy ukazují, že ve školách, kde mají učitelé ohledně svých žáků vysoká a ambiciózní (ale dosažitelné) očekávání, mívají lepší výsledky. Lze doporučit prozkoumání očekávaných výsledků učení a procesů v rámci běžného odborného vzdělávání, což by umožnilo vyvinutí těchto vysokých, ale dosažitelných cílů vzdělávání pre-VET žáky ve finální fázi jejich vzdělávání.
-
Mnoho učitelů uvádí, v návaznosti na argument nízkého očekávání, „musím se naučit držet pusu zavřenou“, což svědčí o nejvýznamnější pedagogické výzvě pro učitele. Vztah učitel–žák je jádrem nesouladu nového hodnocení s „tradičním“ vzděláváním, který uvádějí všechny zúčastněné strany.
-
Nižší odborné vzdělávání je předem strukturované a charakterizované vedením žáků krok za krokem a rozčleněním obtížných (ucelených) úkolů do malých částí. Ve vzdělávání založeném na kompetencích mají být žáci více vystaveni tomu, dokázat řešit komplexní profesní problémy a řídit si svůj vlastní postup v učení, aniž by byli závislí na učitelích.
Celkově lze říci, že všechny zúčastněné strany se začaly do nového hodnocení velmi zapojovat. Již nyní jde o úspěšnou inovaci, třebaže toto hodnocení stále není zcela implementováno tak, jak bylo původně zamýšleno.
Judith T. M. Gulikers, Piety Runhaar a Martin Mulder působí na nizozemské Wageningen University and Research, na katedře sociálních věd, v oddělení vzdělávání a kompetence.