Úvodní stránka » Archiv čísel » Články 01_2014 » Kirkpatrick

Kirkpatrickův čtyř-úrovňový model: teorie, praktické využití a možná úskalí

Miroslav Tenkl

Kirkpatrick's Four-level Model: Theory, Practical Application and Possible Difficulties

 

Abstrakt

Příspěvek se věnuje základnímu vymezení, podrobné charakteristice a možnostem praktického využití Kirkpatrickova čtyř-úrovňového modelu, který je již několik desetiletí nedílnou součástí základních evaluačních teorií a metod. Přestože model vznikl v prostředí školství a vzdělávacích systémů, nachází Kirkpatrickův model praktické uplatnění v široké škále oborů, jakými jsou například zdravotnictví, průmysl, projektové řízení, životní prostředí atd.

Navzdory relativně úspěšnému šíření modelu napříč obory, je jeho praktické uplatnění v mnoha ohledech problematické. Zásadní nedostatky se objevují v časovém rozvržení dílčích činností, jejichž předpokladem je vzájemná závislost a návaznost. Jakákoli časová prodleva čí špatné načasování tak může vyústiti v nedostatečné či dokonce nepřesné závěry celé evaluace. Dalším problémem, který se v praxi často objevuje, je nekomplexnost práce s modelem. Namísto všech čtyř fází jsou ve většině případů realizovány pouze první dvě, či dokonce jen jedna fáze. Na základě dílčích (či spíše podpůrných) zjištění jsou následně činěny nepřesné evaluační závěry o celém projektu.

Hlavním cílem příspěvku je rozšířit povědomí o existenci modelu a seznámit čtenáře s jeho jednotlivými důležitými aspekty. Důraz je kladen především na ty pasáže, v jejichž rámci se v praktickém uplatnění modelu nejčastěji chybuje, a které ve svém důsledku snižují (ač často neúmyslně) váhu a relevanci Kirkrpatrickova modelu.

V rámci statě je představen historický kontext a okolnosti, které vedly ke vzniku modelu. Jednotlivé úrovně modelu jsou podrobně analyzovány, přičemž nedílnou součástí je diskuse nad jejich silnými a slabými stránkami, ale také nad alternativami modely, které v průběhu existence Kirkpatrickova modelu vznikly.

Důležitou pasáž statě tvoří případová studie, která dokumentuje použití Kirkpatrickova modelu v praxi. Tato pasáž si zároveň klade za cíl demonstrovat, jaké nedostatky se v praktickém využití modelu objevují,

a kterých je třeba se vyvarovat. V závěrečné části příspěvku jsou v krátkosti nastíněny další možnosti rozvoje modelu. V rámci statě je představen historický kontext a okolnosti, které vedly ke vzniku tohoto modelu. Jednotlivé úrovně modelu jsou v rámci statě podrobně analyzovány, přičemž nedílnou součástí je diskuse nad jejich silnými a slabými stránkami, ale také nad alternativami modely, které v průběhu existence Kirkpatrickova modelu vznikly.

Důležitou pasáž statě tvoří případová studie, která dokumentuje použití Kirkpatrickova modelu v praxi. Tato pasáž si zároveň klade za cíl demonstrovat, jaké nedostatky se v praktickém využití modelu objevují, a kterých je třeba se vyvarovat. V závěrečné části příspěvku jsou v krátkosti nastíněny další možnosti rozvoje modelu.

Abstract

This paper deals with a theoretical framework and possibilities of a practical utilization of Kirkpatricks’s four level model which has been an essential part of an evaluation theories and methods for decades. Although the model was originally invented as an evaluation method for the educational systems, it has been adopted by many other socio-economical disciplines such as health care, industry, project management, environmental issues etc.

In spite of a successful spreading of the model across a wide range of spheres, its practical usage is in many cases disputable. Especially, serious failures very often occur in the time schedule of particular activities related to the each level of the model. As a result, evaluation processes are often delayed which lead to the insufficient or even mistaken conclusions. Beside this, the model is not usually implemented as a whole integrated instrument. On other word, although it is necessary to realize all four levels to achieve relevant results, there are usually carried out only the first two or even the first level.

In general, the basic aim of this paper is to extend knowledge about the model and its key features. In particular, the author mainly stresses those passages of the model in which the practical mistakes most often occur and which consequently cause misleading results.

At the beginning of the paper, there is outlined a historical background of the model as well as the circumstances that led to its emergence. Further, each level of the model is analyzed in detailed way so that one shall understand its practical utilization as well as the strengths and the weaknesses. In addition, the author shortly describes a few alternative models that have mainly emerged as a result of expert debate about the Kirkpatric’s model.

Case study which emphasizes shortages in the practical utilization is one of the crucial parts of the paper. Based on this practical example, the author provides some advices how to avoid making mistakes and to reach reliable results. Finally, one of the last chapter deals with an eventual options of a future development of the Kirkpatric’s model.

Klíčová slova

Kirkpatrick, čtyř-úrovňový model, evaluace, evaluace vzdělávacích procesů, poznání, případová studie

Keywords

Kirkpatrick, foul level model, evaluation, training evaluation, learning, case study

1.  Úvod a vymezení problému

Již více než půl století je Kirkpatrickův čtyř-úrovňový model jednou z nejznámějších a nejpoužívanějších metod pro hodnocení efektivity vzdělávacích aktivit. I v současné době, přesně 60 let od jeho vzniku, tvoří Kirkpatrickův model základ mnoha odborných evaluačních prací (např. Baskin, 2001, Phillips, 2003, Mani, 2010). Kirkpatrickův čtyř-úrovňový model vznikl v USA v době horečné diskuse nad podobou školních osnov. Právě v této době existovala významná společenská poptávka po vhodných evaluačních metodách, které by dokázaly vyhodnotit efektivitu nových pravidel, jež byla do amerického školského systému masivně implementována.

Již v období vzniku Kirkpatrickova modelu byla, a dodnes stále je, řada vzdělávacích aktivit sice hodnocena, avšak velmi často jen v rovině spokojenosti účastníků s průběhem školení. V mnoha případech tak evaluační zjištění postrádají komplexní a podrobné informace o účincích a efektivitě vzdělávacích procesů a o jejich významu pro fungování příslušné organizace. Především tento aspekt byl ve své době hlavním stimulem ke vzniku a následnému rozvoji Kirkpatrickova modelu, ale i jiných evaluačních nástrojů (Dick, Johnson, 2002).

Ačkoli byl vznik modelu podmíněn impulzy z prostředí evaluací vzdělávacích procesů, adaptabilita a flexibilita tohoto modelu umožnila jeho využití v širším spektru odvětví. Z tohoto důvodu se model úspěšně uplatnil v oborech, jako je například životní prostředí, průmysl, zdravotnictví apod. Své praktické uplatnění nachází model také při evaluacích projektů EU, například v rámci Operačního programu lidské zdroje a zaměstnanost (Richterová, 2011).

I přestože byl v průběhu mnoha let své existence Kirkpatrickův čtyř-úrovňový model podroben odborné kritice a vznikla řada alternativ, stále se jedná o jeden z pilířů evaluačních teorií moderní doby, který je nejen hojně diskutován v rámci odborných kruhů, ale také prakticky využíván. Na druhou stranu, model má v praktickém uplatnění i určité nedostatky, jež plynou zejména z nedostatečných znalostí či ze zanedbání nutných předpokladů k realizaci ze strany jeho uživatelů.

Zásadní nedostatky se objevují v časovém rozvržení dílčích činností, které na sebe přímo navazují. Jakákoli časová prodleva či špatné načasování tak velice často vedou k zavádějícím závěrům. Dalším problémem, který se v praxi často objevuje, je nekomplexnost práce s modelem. Namísto všech čtyř fází jsou nejčastěji realizovány pouze první dvě, či dokonce jen první fáze. Na základě těchto dílčích (či spíše podpůrných) zjištění jsou následně činěny nepřesné evaluační závěry o celém projektu.

2.  Cíl práce

Hlavním cílem práce je rozšířit povědomí o existenci Kirkpatrickova modelu a širokých možnostech jeho využití v běžné evaluační praxi. Důraz je kladen nejen na podrobný rozbor jednotlivých fází modelu a jejich realizaci, ale také na problematické a sporné aspekty, které mohou vyústit v nepřesné evaluační závěry. 

V první části této statě je podrobně popsán vznik, vývoj a historický kontext, v jehož rámci model vznikal. Dále jsou zde důkladně analyzovány jednotlivé fáze modelu a představen návod k jejich praktickému uplatnění s odkazy na literaturu, která se této problematice věnuje do úplného detailu. V rámci této pasáže se zároveň nachází kapitola zabývající se rozložením dílčích činností v čase, která má za cíl ukázat relativní srovnání jednotlivých evaluačních aktivit z hlediska přibližné délky jejich trvání a vzájemné časové souslednosti.

V rámci příspěvku jsou dále diskutovány silné a slabé stránky modelu vycházející z dlouhodobé odborné diskuse nad jeho podobou a vlastnostmi. Cílem této pasáže je mimo jiné ukázat, rozdílné přístupy a názory na Kirkpatrickův model, které se objevují napříč odbornou veřejností. Na tuto část plynule navazuje analýza vybraných alternativních návrhů, jejichž vznik byl v mnoha případech determinován právě debatou nad nedostatky Kirkpatrickova modelu.

Závěrečná pasáž statě se zaměřuje na možnosti uplatnění modelu v běžné evaluační činnosti. Krátce jsou zde nastíněny předpoklady úspěšné realizace a nakonec je na konkrétním příkladu demonstrováno jeho praktické využití. Případová studie byla vybrána tak, aby v sobě snoubila jak metodologicky správné postupy, tak také sporné a problematické, na jejichž příkladu je možné poukázat na časté chyby.

3.  Základní charakteristika

Před charakteristikou samotného modelu je potřeba objasnit, co konkrétně se skrývá pod pojmem evaluace vzdělávacích procesů (training evaluation). K tomuto účelu bylo vybráno několik nejčastěji citovaných definic,
které se objevují v pracích zaměřených na toto téma. Podle autorů Wernera a DeSimoneho (2006) se jedná o systematický sběr popisných a hodnotících informací potřebných k efektivnímu rozhodnutí o výběru, přijetí, hodnotě a modifikaci institucionálních aktivit. Naopak Merwin (1992) definuje tento typ evaluace jednodušeji, a to jako nástroj, na jehož základě lze docílit rozhodnutí, zda se v rámci určité instituce vyplatí realizovat vzdělávací proces. Mahamed a Alias (2012) v této souvislosti dodávají poznámku, že neexistuje-li alternativní způsob pro hodnocení účelnosti vložených investic na vzdělávací aktivity, evaluace musí být bezpodmínečně provedena.

Ve světle zmíněnými definicemi je však nutné poznamenat, že jejich přesná a doslovná aplikace na Kirkpatrickův model by mohla být zavádějící a nepřesná (především Merwinovo pojetí). Primárním cílem Kirkpatrickova modelu totiž není získat podklady pro rozhodnutí, zda se vyplatí vzdělávací proces realizovat. Kirkpatrickův model je naopak nástrojem, s jehož pomocí lze dospět k závěru, zda (a zároveň jaký) měl vzdělávací proces reálný dopad na chod hodnocené organizace (např. prodeje, produktivita práce, konkurenceschopnos apod.). Pro Kirkpatrickův model je tak realizace vzdělávacího procesu nutnou podmínkou. S ohledem na výše popsané se tak jako nejpřesnější definice účelu Kirkpatrickova modelu jeví následující: Evaluace vzdělávacích procesů je jakýkoli pokus získat informace (zpětnou vazbu) o účincích určitého vzdělávacího programu a ocenit hodnotu tohoto vzdělávání ve světle získané informace (Armstrong, 1999).

Kirkpatrickův model je řazen mezi takzvané evaluace orientované na cíl (Goal-based evaluation) (Zinovieff, 2008). Základním rysem tohoto typu evaluací je stanovení jasně definovaných a měřitelných cílů, což musí proběhnout před započetím samotné evaluace. Na základě těchto indikátorů je v konečné fázi hodnocena (ne)úspěšnost celého projektu.

Kirkrpatrickův čtyř-úrovňový model vznikl jako nástroj k evaluaci vzdělávacích aktivit, který se z původního úzce vymezeného zaměření rozšířil do široké škály evaluačních oblastí. Jedná se o komplexně konstruovaný model, který oproti mnoha svým předchůdcům (ale i následovníkům) klade výrazný důraz na předprojektovou fázi evaluace (Kirkpatrick, Kirkpatrick, 2006). V přeneseném smyslu slova v sobě model snoubí mikro a makro evaluační přístupy. Jinými slovy, Kirkpatrickův model hodnotí dopad a efektivitu vzdělávacích aktivit jak na jednotlivce, tak také na fungování celé zkoumané organizace (firmy, státní instituce apod.).

Jak již z názvu vyplývá, čtyř-úrovňový model je rozdělen do čtyř fází, kterými jsou postupně Reakce, Poznání, Chování a Výsledky. Stručně, první fáze evaluace zkoumá reakci (spokojenost) školených jedinců na proběhnuvší vzdělávací proces. Druhá fáze se naopak zaměřuje na to, jaký mělo školení vliv na schopnosti, znalosti a postoje jedinců. Jinými slovy, zdali se vyškolení jedinci naučili a dozvěděli něco nového, případně zdali se změnily jejich postoje či názory na zkoumanou problematiku. Třetí fáze modelu zkoumá, jestli školení jedinci přenesli nabyté znalosti do každodenní pracovní praxe. A konečně čtvrtá a zároveň poslední úroveň Kirkpatrickova modelu, se snaží nalézt odpověď na otázku, jestli měl vzdělávací proces přímý pozitivní dopad na fungování instituce.

Zatímco první tři evaluační fáze se podle Kirkpatrickova návrhu provádějí před a zároveň po vzdělávacím procesu, podmínkou čtvrté fáze je její realizace až po uplynutí určitého času po školení. Kirkpatrick navrhuje v této souvislosti čekat přibližně tři měsíce tak, aby se jednotlivé dopady školicího procesu stačily dostatečně projevit (Kirkpatrick, Kirkpatrick, 2006).

Kirkaptrickův model a jeho jednotlivé fáze jsou nejčastěji schematicky zobrazovány pomocí pyramidy tak, aby byl co nejnázorněji vystižen vertikální vztah mezi jednotlivými fázemi (viz schéma 1). Fáze Kirkpatrickova modelu se dělí na tzv. výstupy (outcomes) a dopady (impacts). Zatímco první tři úrovně modelu se řadí mezi výstupy evaluace, poslední úroveň je počítána mezi dopady. Vysvětlení je nasnadě. Úrovně reakce, poznání a chování hodnotí přímé výstupy školení, které by se měly projevit ve změně názorů, znalostí, dovedností a chování zaměstnanců. Tyto tři úrovně „měří“ pouze o rezidua mezi stavem před školením a po něm bez hlubších souvislostí. Naproti tomu čtvrtá úroveň modelu hodnotí dopad změn, které byly zjištěny v předchozích úrovních, a zabývá se podstatou samotné evaluace.

4.  Historický kontext vzniku a vývoje modelu

4.1   Historické zarámování souvislostí

V polovině minulého století, tedy přibližně v době vzniku Kirkpatrickova čtyř-úrovňového modelu, byla evaluační praxe vzdělávacích procesů založena především na metodě tzv. kontrolních skupin. Konkrétně se jedná o metodu, v jejímž rámci jsou porovnávány dvě skupiny lidí, z nichž jedna (experimentální) je vyučována (a následně se chová, jedná, pracuje apod.) dle nových, zatímco druhá (kontrolní) dle starých pravidel. Cílem je samozřejmě nalézt odpověď na otázku, zdali jsou nově zavedená pravidla či postupy v porovnání s těmi starými lepší či horší (Dick, Johnson, 2002).

V šedesátých letech minulého století byly do vzdělávacího systému Spojených států amerických masivně implementovány reformy výukových osnov. Za tímto účelem byly ze strany americké administrativy investovány miliony dolarů na vytvoření nových pravidel, tisk nových učebnic a příruček, na školení učitelů atp. Určitý čas poté co byly nové výukové osnovy úspěšně uvedeny do praxe, se zjistilo, že úroveň znalostí amerických žáků se značně zhoršila a to i navzdory tomu, že evaluační závěry provedené za pomoci kontrolní skupiny před samotnou implementací reforem svědčily o pravém opaku.

Tato událost vyvolala v americké společnosti debatu nad tím, zda nebylo možné důsledky reformy předjímat a vyvarovat se jich, a zároveň zapůsobila jako faktor, který stimuloval vznik mnoha evaluačních teorií a metod zaměřených právě na vzdělávací procesy. Jednou z těchto metod, která v reakci na nastalé okolnosti vznikla, byl právě Kirkpatrickův čtyř-úrovňový model.

4.2   Vznik modelu

Kirkpatrickův čtyř-úrovňový model byl poprvé publikován v roce 1954, a to v dizertační práci Donalda Kirkpatricka s názvem „Evaluating a Human Relations Training Program for Supervisors“ na univerzitě ve Wisconsinu. Ještě na konci padesátých let navázal Kirkpatrick na svou původní práci vydáním několika odborných článků, které mnohem obšírněji a podrobněji popsaly fungování jednotlivých částí nové evaluační metody.

Následující období, zejména pak šedesátá a sedmdesátá léta, se neslo ve znamení postupného objevování a rozšiřování modelu, a to takřka po celém světě (Dick, Johnson, 2002). V této době byly zároveň publikovány další články, zaměřené zejména na první dvě úrovně, které v praktickém využití jednoznačně dominovaly (a dodnes dominují). Rozvoj třetí a čtvrté úrovně byl v závislosti na nedostatečné poptávce v tomto období do jisté míry upozaděn. Na začátku devadesátých let publikoval Kirkpatrick první verzi známé knihy „Evaluating Training Programs: The Four Levels“, jejímž hlavním cílem bylo uceleně sumarizovat poznatky a zkušenosti, které autor nasbíral v průběhu implementace svého modelu v praxi. V pozdějších letech se tato kniha dočkala několika aktualizovaných vydání, ve kterých byl důraz kladen zejména na rozvoj znalostí o třetí a čtvrté úrovni.

Za zmínku nepochybně stojí i role Kirkpatrickova syna, který se jako karierní konzultant snaží o přenos teoretického modelu do praxe. Jeho firma (kterou vlastní společně s otcem) doslova celosvětově organizuje vzdělávací semináře zaměřené na rozvoj a šíření povědomí o této evaluační metodě. Konzultační společnost pořádá také akreditované zkoušky, na jejichž základě uděluje certifikáty o znalosti Kirkpatrickova modelu. Nutno zmínit, že konzultační a vzdělávací služby firmy nejsou oborově ani jinak omezeny, což usnadňuje pronikání této evaluační metody do dalších odvětví.

Navíc, v posledních několika letech spolu otec a syn Kirkpatrickovi úzce spolupracují na teoretické bázi. Výsledkem tohoto partnerství je například kniha „Transfering Learning to Behaviour“, publikovaná v roce 2005,
nebo nová verze knihy „Evaluating Training Programs: The Four Levels“.

5.  Analýza modelu

5.1   Rozbor jednotlivých fází modelu

V následující kapitole jsou jednotlivé evaluační fáze čtyř-úrovňového modelu podrobněji popsány a analyzovány. Dále je stručně nastíněno, jakým způsobem by měly, podle Kirkpatricka, být jednotlivé fáze prakticky implementovány, a jaké podmínky by před touto implementací měly být splněny.

Reakce (Reaction)

První fáze, nazvaná Reakce, zkoumá, jakým způsobem reagují školení jednotlivci na vzdělávací proces. Jinými slovy, zdali reagují pozitivním či negativním způsobem. Vzhledem k tomu, že negativní reakce školených může nepříznivě ovlivnit celý vzdělávací (či tréninkový) program, je v této fázi nanejvýš nutné, aby byla dosažena pozitivní reakce (Kirkpatrick, Kirkpatrick, 2006). Navíc, negativní reakce na školení by mohla mít za následek nižší či dokonce nulovou motivaci k přenesení nových poznatků do běžné pracovní činnosti. Jak však otec a syn Kirkpatrickovi uvádějí, ani pozitivní reakce není stoprocentní zárukou úspěšnosti druhé a třetí fáze (Kirkpatrick, Kirkpatrick, 2000). Evaluace první části probíhá nejčastěji formou dotazníků, které jsou ideálně vyplňovány účastníky bezprostředně po skončení školení.

Kirkpatrick definoval několik základních doporučení pro správnou evaluaci první fáze. Předně by měl mít evaluátor jasno v tom, co se chce v této fáze dozvědět. Měl by tak být sestaven seznam osmi až patnácti položek, jež by měly být výsledky dotazování zodpovězeny (např. celkový dojem ze školení, úroveň přednášejícího, užitečnost informací, hodnocení efektivity vynaloženého času, hodnocení prostředí apod.).

Následně je třeba správně zformulovat jednotlivé otázky a zkonstruovat dotazník. Nejčastěji se používá pětiúrovňová škála možných odpovědí, z níž dvě možnosti by měly být odpovědi pozitivní, dvě negativní a jedna neutrální (D. Kirkpatrick, J. Kirkpatrick 2007). Někteří evaluátoři nicméně vypouštějí neutrální odpověď a preferují tak pouze čtyř-úrovňovou škálu, která „nutí“ respondenta zaujmout jasné stanovisko. Kirkpatrick klade také důraz na to, aby byl u jednotlivých otázek dostatečný prostor na případné komentáře, k jejichž vyplnění by měl být respondent v rámci každé otázky vyzíván. Na konci dotazníku by měl mít respondent možnost prezentovat své návrhy na zlepšení. Šetření musí být anonymní a jeho cílem by měl být zisk sta procent odpovědí.

 

Příklady otázek:

Jste spokojen/a se znalostmi vašeho školitele?

Jste spokojen/a s prezentačními a komunikačními schopnostmi vašeho školitele?

Jak hodnotíte prostředí, ve kterém se školení konalo? (pohodlí, pomůcky atd.)

Jak hodnotíte časový harmonogram školení?

Jakým způsobem byste příště vylepšil/a program?

 

Poznání[1] (Learning)

Poznání je definováno jako míra, o kterou došlo u školeného jedince ke změně postojů, zlepšení znalostí či schopností. Kirkpatrick uvádí dva základní důvody pro měření úrovně nabytých vědomosti (Kirkpatrick, Kirkpatrick, 2006):

1.     Bez změny úrovně ve fázi poznání nelze očekávat změnu úrovně ve fázi chování. Jinými slovy, změna postojů, znalostí či schopností je předpokladem pro změnu chování.

2.     Pokud by nebyly nalezeny změny ve třetí fázi, tzn. chování, mohlo by být předpokládáno, že žádné změny nenastaly ani ve fázi poznání. Tento předpoklad může být však milný a třeba jej testovat.

 

Právě nejasná příčinná souvislost mezi reakcí a mírou nabytých vědomostí je stále jedním z nejdiskutovanějších (a zároveň nejkritizovanějších) aspektů Kirkpatrickova modelu, jelikož první verze modelu tento vztah nevylučovala (Alliger, Janak, 1989; Holton, 1996).

Pro evaluaci druhé fáze lze využít několika vhodných nástrojů, které je možné použít buď separátně, nebo je lze mezi sebou kombinovat. Mezi zmíněné nástroje se řadí použití tzv. kontrolní skupiny, vědomostního testu či provedení výkonnostního testu.

Měření efektivity zisku vědomostí pomocí kontrolní skupiny je nepochybně relevantní a užitečný nástroj, jehož nevýhodou je však určitá logistická a organizační náročnost. Výsledky kontrolní skupiny složené výhradně z pracovníků, kteří neabsolvovali školení, jsou podle této metodiky konfrontovány s výsledky právě vyškolených zaměstnanců. Podmínkou srovnávacích testů je jejich realizace co nejdříve po absolvovaném školení. Je však nezbytně nutné, aby obě skupiny měly srovnatelné vstupní předpoklady, tzn. pracovní agendy či vědomostní předpoklady (Kirkpatrick, Kirkpatrick, 2007). Ad absurdum, není metodicky správné sestavit kontrolní skupinu z pracovníků oddělení účetnictví, zatímco vyškolenou skupinu tvoří jaderní fyzici, kteří právě absolvovali odborné školení.

Další možností, již méně organizačně náročnou, jsou klasické „Paper-and-Pencil“ znalostní testy. Jedná se o nejčastěji využívanou evaluační metodu druhé fáze modelu. Za předpokladu, že školení je zaměřeno na rozvoj dosavadních znalostí či schopností zaměstnanců, je test prováděn dvoufázově, tzn. před i po školení, a to se stejným zadáním. V případě, že zaměstnanci nedisponují dostatečnými vstupními znalostmi školené problematiky, před-školící test nelze realizovat a evaluační metodiku je tomu třeba přizpůsobit. K evaluaci druhé fáze je možné využít zaškrtávací testy typu:

souhlasí vs. nesouhlasí

pravda vs. lež

multiple choice, apod.

 

V případě, že je školena specifická dovednost, je možno k evaluaci využít tzv. výkonnostní (performance) test (Kirkpatrick, Kirkpatrick, 2007). Vzhledem k tomu, že se v těchto případech obvykle jedná o testování měkkých dovedností (prezentační schopnosti, úroveň vyjednávání apod.), je potřeba, aby evaluátor (společně se zadavatelem) předem nastavil požadovanou úroveň a stanovil pravidla, na jejichž základě bude hodnocení prováděno.

Chování (Behaviour)

Třetí fáze navrženého modelu zkoumá, jakým způsobem dokáže vyškolený jedinec převést nabyté poznatky testované v druhé fázi do své každodenní pracovní činnosti. Třetí fáze je v porovnání s prvními dvěma o něco složitější, jelikož vyškolení pracovníci potřebují čas na vstřebání nových vědomostí a jejich následné přenesení do své praxe. Proces „přenosu poznatků“ vyžaduje, podle mínění Kirkpatricka, alespoň tři měsíce (Kirkpatrick, Kirkpatrick, 2006). Teprve po uplynutí tohoto časového úseku lze zkoumat případné změny v pracovních návycích a chování vyškolených pracovníků. Úspěšná změna chování vyžaduje splnění několika základních podmínek:

1.   Pracovník musí být ke změně motivován (ovlivněno školením)

2.   Pracovník musí vědět co a jakým způsobem změnit (ovlivněno školením)

3.   Pracovník musí být obklopen vhodným pracovním prostředím (vnitropodnikové klima je jedním z klíčových faktorů)

4.   Pracovník musí být za pozitivní změnu odměněn (hmotně či nehmotně)

 

Evaluace třetí fáze je oproti předcházejícím fázím časově náročnější a zároveň klade vyšší nároky na zdroje (pracovní síly, finance). Dle Kirkpatrickova návrhu by měla probíhat před i po školení, a to dokonce opakovaně (Kirkpatrick, Kirkpatrick, 2005). I to jsou nejspíše důvody toho, proč je třetí fáze modelu v praxi spíše opomíjena (Bassi, Van Buren, 1999).

Existuje opět několik metod, které lze k evaluaci třetí úrovně modelu využít. I v tomto případě je jednou z možností kontrolní skupina, pro jejíž implementaci ovšem platí stejná pravidla jako v druhé fázi (Kirkpatrick, Kirkpatrick, 2007). Dalšími alternativami jsou řízené rozhovory či dotazníková šetření mezi kolegy (nadřízenými i podřízenými). Toto šetření je doporučováno realizovat opakovaně, a to před i po samotném školícím procesu.

V rámci evaluace třetí fáze modelu se objevují otázky typu: Používají vyškolení nové techniky práce? Myslíte si, že školení mělo pozitivní efekt na fungování vašeho oddělení? Myslíte si, že účastníci školení zvládají nové techniky práce? Třetí možností je pozorování každodenních pracovních činností vyškoleného zaměstnance a jejich srovnání s pracovními postupy a návyky před školením (Kirkpatrick, Kirkpatrick, 2007). Jako pozorovatelé mohou v tomto případě sloužit nadřízení, školitelé, kolegové, či zákazníci.

Zapojení samotných účastníků školení není v rámci evaluace třetí úrovně tak výrazné jako v předešlých případech. Na druhou stranu není úplně pravda, že zde účastníci školení působí jako pouhý „pasivní“ objekt zájmu, který je hodnocen jejich nejbližším pracovním okolím. V zájmu evaluátora je začlenit do hodnocení i školené jednotlivce a zjistit tak, zda přenesli (na základě jejich subjektivního pohledu) nabyté znalosti, dovednosti a postoje do své činnosti. Tato zjištění je však nutné komparovat s pohledem kolegů, podřízených či nadřízených a na základě zjištěných reziduí konstruovat ucelený evaluační závěr.

Výsledky (Results)

Poslední fáze modelu není zaměřená primárně na jedince, nýbrž na celou organizaci. Hlavním cílem v rámci této úrovně je porovnat stav určitého jevu (tržby, prodeje, produktivita práce apod.) před začátkem a po skončení školení. Základním předpokladem, který musí být naplněn již před školením a na nějž se v praxi často zapomíná, je stanovení měřitelných cílů, kterých by mělo být pomocí školícího procesu dosaženo. Vzhledem k tomu, že ke stanovení cílů v praxi často nedochází, je výsledková fáze v mnoha případech neúplná a omezuje se na strohé konstatování výsledného stavu bez možnosti odpovědět na základní otázku, zda se jedná o dobrý či špatný výsledek.

V určitých oblastech, především v byznysu, stoupá v rámci čtvrté fáze na evaluátory tlak. Ti jsou nuceni co možná nejpečlivěji a nejdetailněji vyjádřit efektivitu a přínos školení pro hospodářský výsledek organizace. Stále častěji se tak evaluátoři setkávají například s otázkami typu:

• O kolik se díky zavedení nových technologických postupů zvýšila efektivita výroby?
• O kolik se zvýšily prodeje v důsledku školícího procesu zaměřeného na jednání s klienty?
• Kolik se ušetřilo díky implementaci nového e-learningovému programu?

Evaluace závěrečné fáze může být provedena opět pomocí tzv. kontrolní skupiny, což Kirkpatrick konkrétně demonstruje na příkladu firmy, která disponuje více než jednou pobočkou. Za těchto podmínek by měl být tréninkový program uskutečněn pouze ve vybraných pobočkách, zatímco zbylé z nich by se stále řídily původními pravidly (Kirkpatrick, Kirkpatrick, 2007). Úkolem evaluátora je sledovat rozdíly v prodejích (či v efektivitě výroby) mezi oběma skupinami poboček a v závislosti na tom změřit efekt tréninkového programu. Tato metoda účinně eliminuje ostatní faktory, které mají na úroveň prodejů (či efektivity výroby) vliv.

K evaluaci závěrečné úrovně se používá také dotazníkové šetření mezi účastníky školícího procesu. I přesto, že se jedná o čistě subjektivní hodnocení, má tato forma evaluace zajímavou vypovídací hodnotu. Je nepochybně cenné pozorovat, zdali (případně jak) se vyškolení jedinci liší ve svých odpovědích. Tuto formu evaluace je vhodné aplikovat
jak na horizontální tak na vertikální úrovni organizační struktury. Jinými slovy změřit, zda se liší pohledy na hodnocenou problematiku mezi jednotlivými organizačními sekcemi (odbory, odděleními apod.), ale také, zda existují významné rozdíly mezi jednotlivými úrovněmi z hlediska zaměstnanecké hierarchie (ředitel, top management, střední management, řadoví pracovníci apod.). V této fázi evaluace se lze zeptat například těmito způsoby:

1.       Jak se změnily Vaše pracovní postupy v závislosti na vzdělávacím procesu?

2.       Zlepšily se po absolvovaném školení Vaše následující pracovní dovednosti?

                           Vaše schopnosti řídit tým? (Ano/Ne/Nevím)

                           Pracovní výkonnost Vašeho týmu? (Ano/Ne/Nevím)

3.       Pokud si myslíte, že se efektivita Vaší práce zvýšila, uveďte ve kterých činnostech.

                           Rozhodování

                           Stanovování priorit

                           Organizace práce

                           Komunikace

                           Spolupráce v týmu

 

Důležitým aspektem evaluace čtvrté fáze je seznam předem stanovených cílů, který je nezbytné konfrontovat s aktuálně zjištěnými fakty. K dosažení co nejpřesnějších výsledků je potřeba měření pravidelně a dlouhodobě opakovat tak, aby byl minimalizován vliv nahodilých jevů na celkový výsledek. V této fázi je na evaluátora vyvíjen ze strany zadavatele nejvyšší tlak. Hodnocení však nelze uspěchat, jelikož se jedná o klíčový prvek celé analýzy, jehož výsledky mohou mít výrazný dopad na další fungování celé organizace (Kirkpatrick, Kirkpatrick, 2007).

5.2   Časové rozložení jednotlivých činností

Za účelem úspěšné realizace Kirkparickova modelu je nezbytné, aby byla správně pochopena a dodržována časová souslednost základních činností. Z tohoto důvodu byl sestrojen jednoduchý Ganttův diagram, z něhož je na první pohled zřejmé, že fáze před samotným školením je z pohledu celé evaluace zásadní (viz graf 1). Nejenže je nutné stanovit si základní cíle (s nimiž budou konfrontovány výsledky čtvrté fáze), ale zároveň musejí být provedeny pre-testy druhé a třetí fáze. Evaluace třetí fáze musí začít dřív, jelikož je časově o něco náročnější. V závislosti na zvolené metodice se v některých případech provádějí také pre-testy první fáze (tzn., jaká mají účastnící očekávání, na co se těší, na co naopak ne apod.).

Po samotném školení je realizována evaluace první fáze a zároveň je dokončena evaluace druhé fáze, která je uskutečňována opakovaně tak, aby bylo možné vysledovat vývoj úrovně znalostí v čase. Evaluace třetí fáze (Chování) začíná s určitým časovým odstupem po školení a stejně jako druhá fáze je prováděna opakovaně. Evaluace třetí úrovně je v porovnání s druhou fází časově i logisticky o něco náročnější.

Největší časová dotace je v diagramu přiřazena závěrečné fázi, nicméně se nejedná o intenzivní každodenní činnost, která by byla náročná na zdroje. V průběhu této doby jsou pravidelně sledovány hospodářské a další výsledky firmy a porovnávány se stanovenými cíli z „před-školící“ fáze. Délka celého evaluačního procesu se liší v závislosti na konkrétním případu, a proto nejsou v modelovém diagramu uvedeny přesné délky trvání jednotlivých činností, ale pouze hrubě nastíněny časové poměry
mezi jednotlivými aktivitami.

Provázanost a hierarchie jednotlivých fází analyzovaného modelu je dlouhodobě předmětem odborných debat. Kirkpatrick zdůrazňuje, že žádná z úrovní by v rámci hodnocení neměla být opomenuta, jelikož úplné a správné pochopení vyžaduje realizaci všech čtyř fází (Kirkpatrick, Kirkpatrick 2006). Zatímco první a druhá úroveň jsou, dle Kirkpatricka, místem utrácení prostředků, fáze tři a čtyři jsou naopak fázemi generování benefitů, a nelze je tak z evaluace v žádném případě vytěsnit.

Na druhou stranu Phillips (2002) tvrdí, že provedení jednotlivých fází závisí na potřebách konkrétních organizací a model by se jim měl flexibilně přizpůsobit. Phillips uvádí konkrétní argument pro obhajobu svého názoru kdy tvrdí, že pokud je ze strany managementu společnosti zájem pouze o prověření spokojenosti se školením, pak postačí realizovat pouze první úroveň.

6.  Odborná diskuse nad podobou modelu

Asi nejčastěji akcentovanou silnou stránkou Kirkpatrickova modelu, je jeho uživatelská jednoduchost a nenáročnost základních pravidel. Na druhé straně, tento fakt se také stává častým terčem kritiky. Holton v této souvislosti zmiňuje, že ačkoli je Kirkpatrickův modelu silný ve své jednoduchosti, jeho komplexní využití, myšleno využití všech čtyř fází, je spíše vzácné. Podle Holtona (1996) by měl model upustit od taxonomické kategorizace jednotlivých fází a jejich počet by měl být revidován. Holton své tvrzení opírá o názor, že první a druhá fáze evaluace se mnohdy překrývají, a není tedy nutné dělat každou úroveň separátně, ale že by bylo možné je sloučit v jednu.

Odborné diskusi v evaluačních kruzích je podrobena také hierarchie a provázanost jednotlivých úrovní. Původní Kirkpatrickův návrh, který předpokládá kauzální závislost jednotlivých fází, je v současnosti spíše odmítán. Podle závěrů Alligera a Janaka (1989) se kauzální závislost daných úrovní v praktickém evaluačním využití téměř nevyskytuje. I Kirkpatrick později přiznává, že například pozitivní reakce na školící proces nemusí mít nutně za následek úspěšnost druhé fáze, tedy poznání (Kirkpatrick, Kirkpatrick 2006).

V některých případech se stává, že čím více byl kurz účastníky považován za dobrý, tím méně se v konečném důsledku naučili. Holton (1996) v návaznosti na to dodává, že pokud neexistuje přímá souvislost mezi první a druhou fází modelu, měla by být fáze reakce z modelu vyloučena. Evaluační metodika by dle nejnovějších přístupů měla být navržena tak, aby co nejlépe postihla příčinné (ne)souvislosti mezi jednotlivými fázemi, a zohlednila tak vliv případných externalit na změny ve výsledcích organizace.

Kirkpatrickovu modelu je také často vytýkána jeho nevyváženost. Konkrétně se jedná o to, že jednotlivé fáze modelu jsou v evaluační praxi nerovnoměrně využívány. Zatímco Kirkpatrick tvrdí, že k relevantním a úplným výsledkům je nezbytná realizace všech úrovní modelu, Phillips naopak zdůrazňuje nutnost flexibility modelu, který bude sloužit rozdílným požadavkům jeho uživatelů. Průzkum Americké společnosti pro trénink a rozvoj (ASTD) zjistil, že americké firmy se v rámci evaluací zaměřují převážně na první, potažmo druhou fázi modelu, přičemž zbylé dvě úrovně jsou realizovány spíše zřídka (Bassi, Van Buren, 1999). Naměřené frekvence využívání jednotlivých fází ukazuje následný přehled.

Reakce: 81%

Poznání: 40%

Chování: 11%

Výsledky: 6%

 

Nevyváženost využívání jednotlivých úrovní je jedním z nejzásadnějších nedostatků Kirkrkpatrickova modelu, jelikož jeho podstata je právě v komplexnosti a komplementaritě všech fází. Ačkoli je nezbytné změřit v druhé fázi rozdíl v úrovni znalostí, dovedností a postojů, nelze na těchto výsledcích formulovat ucelený evaluační závěr. Ani změna chování a pracovních návyků stimulovaná novými znalostmi a dovednostmi nemusí nutně vézt k pozitivním efektům na chod organizace. Až teprve čtvrtá fáze evaluace je schopna tento fakt spolehlivě posoudit. Příčinnou souvislost jednotlivých úrovní tak nelze vnímat jako základní charakteristiku modelu (jak se tomu často děje), ale jako aspekt, který je nutný evaluačními metodami potvrdit, či vyvrátit.

Nespornou výhodou modelu je jeho adaptabilita, tedy možnost využití v široké škále evaluačních oblastí. Přestože byl původně navržen výhradně pro evaluace efektivity vzdělávacích procesů, jeho praktické využití se objevilo v mnoha dalších společenských oborech. Flexibilita modelu zároveň umožňuje přidávat další fáze, které jsou navržené v některých alternativních modelech (viz Alternativní modely).

7.  Alternativní modely

Především zásluhou masivního praktického využití se Kirkpatrickův model stal předlohou mnoha úprav a revizí tak, aby co nejlépe a nejefektivněji sloužil v požadovaném kontextu. Na jedné straně se tak objevují autoři, jež navrhují redukci počtu úrovní (např. Holton), na straně druhé by jiní autoři model dále rozšiřovali (např. Phillips). Alternativní modely již primárně nevznikají ve školském a vzdělávacím prostředí. Jejich autoři se naopak snaží o co největší flexibilitu a využitelnost v širokém spektru odvětví. V omezené míře vznikají ale také modely, které jsou „šité na míru“ přímo konkrétnímu oboru.

Kirkpatrick/Phillipsův model

Phillipsův návrh, někdy označovaný jako Kirkpatrick/Phillipsův model, počítá s rozšířením původního návrhu o jednu úroveň nazvanou Návratnost investic (ROI-Return of Investment). Zjednodušeně řečeno se jedná o měření efektivity vynaložených zdrojů (Phillips, 2002). Pátá fáze je definována následujícím vzorcem.

ROI = ((Příjmy celkem-Náklady)/Náklady) * 100

Primárním motivem pro realizaci toho alternativního modelu bylo nalézt odpověď na otázku (kterou si původní Kirkpatrickův model nekladl), zda se investice zdrojů do vzdělávacího procesu vyplatila z ekonomického hlediska (Phillips, 2002). V rámci této úrovně se evaluátor zabývá primárně poměrem cena-kvalita školícího programu. Navzdory vysoké kvalitě a přínosu tréninkového programu zjištěných v rámci čtvrté fáze lze v páté úrovni dojít k závěru, že vynaložené náklady nejsou v adekvátním poměru s reálným přínosem a tréninkový program je tak nerentabilní. Hlavním záměrem Phillipsova pojetí je těsnější vazba modelu s potřebami komerční sféry.

I tento model má však svá úskalí, kterými jsou zejména převody měkkých bezrozměrných jevů a dat do peněžního vyjádření. Přestože Phillips v této souvislosti zkonstruoval několik základních metodických pomůcek, nelze spoléhat na to, že navržené postupy pokryjí celou škálu rozmanitých jevů, které musí evaluátor pomocí této metodiky kvantifikovat. Zvolená metodika by tak vždy měla bezpodmínečně respektovat unikátnost kvantifikovaných jevů.

 

Stufflebeamův model

V sedmdesátých letech minulého století vznikl tzv. CIPP, nebo jinak Stufflebeamův model. Tento model, stejně jako ten Kirkpatrickův, vznikl původně také v reakci na impulz z prostředí evaluací vzdělávacích procesů, nicméně jeho praktické využití je také širší. CIPP model je zaměřen především na evaluace dlouhodobých a velkých projektů, které jsou obvykle realizovány v univerzitním prostředí, zaměstnávají mnoho lidí a jsou kryty rozsáhlými rozpočty. Příkladem může být redefinice osnov, podle kterých je na základních školách v USA vyučována matematika (Dick, Johnson 2002).

Název projektu CIPP tvoří složenina prvních písmen slov Context, Input, Process a Product. První slovo, tedy Context, indikuje nutnost evaluace prostředí, ve kterém bude příslušná inovace uskutečněna. Jinými slovy, úkolem evaluace je v tomto kroku odhalit vlivy, které mohou mít na implementaci inovace dopad, a dále identifikovat, jaké jsou potřeby inovace, které je před její realizací nezbytné zajistit (Stufflebeam, 1971). Druhá fáze modelu CIPP, Input, se zabývá zdroji v příslušném projektu a hledá odpověď na otázky, kolik je pro úspěšnou realizaci projektu potřeba lidí, peněz, prostoru apod. Třetí fáze, Process, má za cíl kontrolovat stanovené cíle a milníky v rámci realizace projektu. V rámci závěrečné fáze, Product, se provádí hodnocení celkových výsledků po realizaci projektu.

Jak je ze stručné charakteristiky patrné, Stufflebeamův model přistupuje k evaluaci z odlišné perspektivy nežli model Kirkpatrickův. Struktura modelu je úzce navázána na chronologii jednotlivých fází životního cyklu projektu, a proto je jeho využití v projektovém řízení častější, nežli je tomu v případě Kikpatrickova modelu. Stejně jako u Kirkpatrickova modelu, je však i v modelu CIPP kladen důraz na předprojektovou část, v jejímž rámci je potřeba získat přehled o kontextu, ve kterém je daný projekt realizován.

Kaufmanův pětiúrovňový model

Kaufmanův model je výsledkem kritiky Kirkpatrickova modelu. Stejně jako Phillipsův model, je také ten Kaufmanův zkonstruován do pěti úrovní, z nichž většina se metodicky více či méně kryje s Kirkpatrickovým modelem. Právě tato zřejmá podobnost je Kaufmanovi často vyčítána. Jedna úroveň se však od Kirkpatricka absolutně odlišuje. Jedná se o pátou úroveň, nazvanou „Societal contribution“, jejímž úkolem je změřit dopad vzdělávacího procesu na klienty či na šířeji vymezenou skupinu lidí, kteří mohou být změnami ve fungování firmy ovlivněni.

8.  Případová studie

Evaluační metoda čtyř-úrovňového modelu je flexibilní a lze ji využít jak v oborech technických, tak v oborech společenskovědních. Reálným příkladem praktického využití v „měkkém“ oboru může být firma Nicco Internet Ventures Limited (NIVL), která se zabývá personalistikou v oboru IT a jejíž příklad využili Donald a James Kirkrpatrickovi ve své knize z roku 2005 s názvem „Transferring Learning to Behaviour: Using the Four Levels to Improve Performance”.

Ačkoli zaměstnanci firmy byli na jedné straně kvalitně vyškolení v oblasti lidských zdrojů (což byl nutný předpoklad pro výkon činnosti na dané pozici), na straně druhé měli problémy při vyjednávání s klienty (Kirkpatrick, Kirkpatrick 2005). Výsledkem byly snahy zaměstnanců vyjednávání co nejvíce uspíšit a zkrátit tak kontakt s nimi na minimum. Ve svém důsledku měl tento fakt i neblahé ekonomické dopady na tržby celé firmy NIVL. Vedení firmy se v reakci na nastalé okolnosti rozhodlo své zaměstnance ve vyjednávání s klienty proškolit a zároveň provést evaluaci pomocí čtyř-úrovňového Kirkpatrickova modelu.

V první fázi evaluace bylo využito dotazníkové šetření, které mezi participujícími zaměstnanci zjišťovalo, zdali v průběhu školení získali nové užitečné znalosti a dovednosti a zdali si myslí, že jim to může být prospěšné při vyjednávání s klienty. Vyhodnocení ukázalo, že reakce zaměstnanců na efektivitu a přínos školení byla jednoznačně pozitivní. Z toho zjištění však nelze vyvodit žádný relevantní závěr a poté následně celý evaluační proces ukončit (jak se v mnoha případech stává). V první fázi je potřeba získat zpětnou vazbu a přesvědčit se o tom, jestli jsou zaměstnanci motivovaní přenést nabyté poznatky do své praxe nebo zda považují školení za zbytečné.

Pro evaluaci druhé fáze byl využit znalostní test, který byl zaměstnancům předložen v totožné verzi jak před školením, tak také po něm. Podíl správných odpovědí se rapidně zvýšil z 24 % před školením na 94 % po školení. V této souvislosti se nabízí otázka, zda je efektivní předkládat účastníkům dva identické testy. Zajímavou alternativou by mohly být dva odlišné testy, které by však byly konstruovány na stejné bázi, přičemž znění a formulace otázek by se odlišovaly. Alternativní způsob by mohl respondenta vézt k hlubšímu zamyšlení nad danou problematikou a objektivnějšímu posouzení jeho znalostí (dovedností).

Poté co ve společnosti NIVL proběhlo školení, byla zároveň, jako jeden z dalších podpůrných nástrojů, změněna metodika odměňování zaměstnanců (Kirkpatrick, Kirkpatrick 2005). Zatímco před školením nebyla mzda zaměstnanců odvislá od výsledku vyjednávání s klienty, po školení byl ve firmě zaveden nový systém odměn, který v sobě zahrnoval nezanedbatelnou motivační složku. V případě, že se pracovníci při vyjednávání řídili novými postupy a zároveň byli při vyjednáváních úspěšní, jejich mzda se v návaznosti na to nezanedbatelně zvýšila.

Navíc, po školení bylo ve firmě dočasně zavedeno ještě jedno nové pravidlo. Před samotným vyjednáváním s klienty byli vyškolení zaměstnanci povinni konzultovat harmonogram jednání nejdříve se svým manažerem. Toto opatření si kladlo za cíl dále prohlubovat a zdokonalovat nabyté znalosti ze školení.

Evaluace třetí fáze byla provedena na základě dotazování samotných vyškolených zaměstnanců, jejich kolegů, ale především klientů, na něž byly „aplikovány“ nové vyjednávací metody. Výsledky ukázaly, že v porovnání s před-školící fází, se průběh a forma vyjednávání s klienty výrazně změnily, přičemž byly reflektovány právě znalosti a dovednosti nabyté v rámci tréninkového programu. Zpětná vazba od klientů je, navzdory důležitosti názorů od ostatních aktérů, nejcennějším evaluačním kritériem. Klienti jsou v tomto případě garanty maximalizace nestrannosti a objektivity. Pokud je tedy možné využít názory klientů jako „evaluační nástroj“ (a to nejen v třetí fázi), lze tuto možnost jednoznačně doporučit, ovšem s akcentem důkladné precizování otázek a jejich „nezištnosti“. Na druhou stranu kolegové vkládají do svého hodnocení subjektivní hledisko, které je při konstrukci evaluačních metod nutné zohledňovat a minimalizovat jeho vliv.

Poslední úroveň evaluace naměřila výrazná finanční rezidua mezi smlouvami uzavřenými před školením a těmi, které byly podepsány po školení (Kirkpatrick, Kirkpatrick 2005). Z tohoto pohledu tak bylo školení jednoznačné úspěšné. Na druhou nelze určit jasnou příčinnou souvislost mezi efektivitou školení a firemními tržbami, jelikož po školení došlo ve formě NIVL k několik dalším výraznějším změnám, které mohly výši firemních tržeb značně ovlivnit.

Jak je z případové studie zřejmé, k dosažení objektivních výsledků evaluace je potřeba, aby byly zachovány elementární podmínky a pravidla, která platila ve firmě před vzdělávacím procesem. V případě firmy NIVL tento předpoklad dodržen nebyl, a proto je tedy nejasné, jaký faktor (zda školení, změna metodiky odměňování zaměstnanců či jiný faktor) měl na pozitivní změnu ve vyjednávání se zákazníky výraznější vliv. Pro dosažení objektivního evaluačního závěru by v tomto případě bylo zapotřebí, aby změna ve způsobu mzdového hodnocení zaměstnanců nastala až po ukončení celého evaluačního procesu.

V případě aplikace Kirkpatrick/Phillipsova modelu na výše popsaný příklad, by závěr o zvýšených tržbách byl nedostatečný. V takové situaci by bylo třeba ještě zodpovědět otázku, jestli je poměr cena-kvalita školení adekvátní. Jinými slovy, jestli je návratnost vynaložených investic na školení ekonomicky proveditelná a zda má tato investice nějaký dlouhodobější a udržitelný rozměr.

9.  Další rozvoj modelu

V roce 2010 byla na trh uvedena publikace „Training on trial“ od autorů Jamese D. Kirkpatricka a Wendy K. Kirkpatrickové, která se zaobírá novými přístupy a částečně i metodikami v evaluačním procesu Kirkpatrickova modelu. V novém pohledu se mnohem více zdůrazňuje jedinečnost a unikátnost potřeb hodnocených projektů a dle autorů je nezbytné zaměřit se důkladněji na zjišťování skutečného očekávání a potřeb zadavatelů.

Nový přístup klade zásadní důraz na předprojektovou fázi, v jejímž rámci má být docíleno přesného vymezení potřeb zadavatelů s tím, aby byla zajištěna spokojenost všech zainteresovaných stran a zároveň proveditelnost projektu (Kirkpatrick, Kirkpatrick 2010). Přílišná unifikace při realizaci modelu (bez ohledu na specifika jednotlivých projektů a jejich fází) byla v minulosti Kirkpatrickovu modelu často vytýkána (viz Holton, 1996).

V posledních letech dochází v souvislosti s dalším rozvojem Kirkpatrickova modelu k vyššímu akcentu třetí a čtvrté fáze evaluace, které jsou v praxi většinou opomíjeny. Otec a syn Kirkpatrickovi se ve svých nejnovějších publikacích snaží co nejvíce zaměřit na konkrétní metody v rámci těchto úrovní a zároveň zdůrazňují jejich nezbytnost pro správné fungování modelu jako celku (Kirkpatrick, Kirkpatrick 2006; Kirkpatrick, Kirkpatrick 2007). V praxi se běžně používá tento model hodnocení – dotazník spokojenosti se školením (1. úroveň), znalostní testy před a po školení (2. úroveň) a „snad se to nějak projeví v praxi“ (3. a 4. úroveň) (Pituchová, 2013).

Postupných změn doznává v posledním období také hierarchie a příčinná souvislost mezi jednotlivými úrovněmi modelu. Právě tento aspekt byl a stále je jedním z nejdiskutovanějších rysů Kirkrkpatrickova modelu. Na význam evaluační metodiky jsou tak v posledních letech kladeny stále vyšší nároky a nejnovější publikace se věnují nejčastěji právě konkrétním návrhům jejich precizace (Kirkpatrick, Kirkpatrick 2010).

K osvětě a rozvoji modelu nepochybně napomáhá i společnost Kirkpatrick Partners (vlastněna otcem a synem Kirkpatrickovými), která nabízí konzultační služby spojené s praktickým využitím Kirkpatrickova modelu, ale také zprostředkovává vzdělávací semináře, na jejichž základě je oprávněna poskytovat certifikovaná osvědčení o znalosti Kirkpatrickova modelu (Kirkpatrick Partners, 2014).

10.  Souhrn

Problematika evaluací vzdělávacích procesů je ve firmách a institucích dnešní doby značně podceňovaná záležitost, která je v mnoha případech svěřována do kompetencí nedostatečně vyškolených zaměstnancům. Navíc, evaluační procesy často netvoří primární pracovní agendu těchto zaměstnanců. Na druhou stranu je zřejmé, že vzdělávací procesy nejsou jednoduchou záležitostí, což dokazuje mimo jiné soubor podmínek, které otec a syn Kirkpatrickovi (2007) definovali jako nezbytný předpoklad úspěchu:

1.      Zohlednění potřeb zúčastněných

2.      Nastavení cílů školení

3.      Sestavení harmonogramu školení

4.      Realizace školení ve správný čas

5.      Účast všech zainteresovaných

6.      Výběr správných školících

7.      Výběr správné vzdělávací techniky

8.      Naplnění cílů

9.      Spokojenost zúčastněných

10.    Evaluace

 

V mnoha případech je tak evaluace vnímá, jako jakási inferiorní záležitost, která jen zdržuje od řešení „důležitějších“ záležitostí. Evaluace se tak často stále nachází v pozici jakéhosi luxusu, který si firmy a instituce dnešní doby nemohou dopřát.

Navzdory době vzniku Kirkpatrickova modelu, je jeho platnost a využitelnost v současných podmínkách stále aktuální. I přes své nesporné výhody, jakými jsou adaptabilita na měnící se prostředí či nenáročnost provedení, má Kirpkatrickův model své slabé stránky, které je potřeba znát a v průběhu evaluační praxe zohledňovat. Nelze tak například předpokládat příčinnou a lineární závislost jednotlivých fází evaluace, k čemuž v evaluační praxi často dochází. Navíc, Kirkpatrickův model předpokládá a jeho podstata je založena provedení všech čtyř fází. Není možné přijímat závěry o celé evaluaci na základě výsledků jedné nebo dvou úrovní. Tato praxe popírá elementární logiku a smysl Kirkpatrickova modelu.

Důležitým aspektem úspěšné realizace je načasování celé evaluace. Evaluátor musí klást zásadní důraz na před-školící fází, do níž je koncentrována asi čtvrtina veškerých činností, a která je zároveň nutnou podmínkou činností následných. Z evaluace se stává komplexní, dlouhodobý proces, který provází projekt od samého začátku do jeho úplného konce.

V návaznosti na kritiku Kirkpatrickova modelu byly zkonstruovány alternativní modely, které se nejviditelněji odlišují v počtu jednotlivých evaluačních fází. Někteří autoři počet fází rozšiřují, jiní jej naopak redukují. Společným motivem jejich vzniku je nicméně reakce na měnící se podmínky, které již Kirkkpatrickův model není-podle jejich autorů-sto postihnout. Základním cílem autorů alternativních modelů je ještě vyšší adaptabilita a orientace modelů na komerční využití. Modely se snaží přizpůsobit dynamicky se vyvíjejícímu projektovému řízení a stále více přejímají terminologii z byznysu.

Navzdory určitým nedostatkům a kritickým hlasům byla a stále je proveditelnost a racionalita výsledků produkovaných za pomoci Kirkpatrickova modelu prověřována každodenní evaluační praxí. Je nepochybně obdivuhodné, jak dlouho se tato metoda drží v popředí evaluačních teorií a stále dokáže být konkurenceschopná.

Poznámky pod čarou:

[1] Ačkoli se v anglickém překladu druhé fáze používá termín Learning, tedy v češtině učení, rozhodl se autor pro český překlad poznání, které podle jeho mínění lépe vystihuje proces, který v rámci této fáze probíhá. Z názvu by mělo být co nejvíce patrné, že v rámci druhé fáze dochází k určité změně výchozího stavu. Tato změna má navíc jasné časové vymezení, které je ohraničeno začátkem a koncem školícího procesu. Termín učení je spíše abstraktní aktivita bez časového zarámování.
[2] Klasický Kirkpartickův model se oproti této alternativě liší v názvu třetí úrovně, když Phillips namísto Chování (Behaviour) používá název Dopad (Impact). Phillips se snaží model přiblížit více komerčnímu využití, a to jak přidáním páté kategorie, tak také úpravou názvosloví. My se však kloníme k zachování názvu Chování, které podle našeho názoru mnohem lépe vystihuje podstatu třetí fáze a je navíc mnohem bližší evaluační terminologii jako takové. V některých jiných modifikacích se třetí úroveň nazývá aplikace, přičemž dopad je v těchto případech posunut na čtvrtou úroveň namísto výsledků.

Zdroje

[1] Alliger, G. M., & Janak, E. A. (1989) Kirkpatrick’s levels of training criteria: Thirty years later. Personnel Psychology, 42, 331-342

[2] Armstrong, M. (1999) Personální management. Praha: Grada Publishing.

[3] Baskin, C. (2001) Using Kirkpatrick’s four-level-evaluation model to explore the effectiveness of collaborative online group work, ASCILITE conference proceedings, 37-44.

[4] Bassi, L., Van Buren, M. (1999) The 1999 ASTD state of the industry report. Trainig and Development Magazine, Suplement, 53 (5).

[5] Dick, W., Carey, L. (1966) The systematic design of instruction (4th ed.). New York: Harper Collins.

[6] Dick, W., Johnson, R. B. (2007) Evaluation in instructional design: The impact of Kirkpatrick’s four-level model. In R. A. Reiser & J. V. Dempsey (Eds.), Trends and issues in instructional design and technology (2nd ed., 94-103). Upper Saddle River, NJ: Pearson Education.

[7] Holton, E. F., III. (1996) The flawed four-level evaluation model. Human Resource Development Quarterly, 7 (1), 5-21.

[8] Kaufman, R., Keller, J. M. (1994) Levels of evaluation: Beyond Kirkpatrick. HRD Quarterly, 5(4), 371-380.

[9] Kirkpatrick, D. L. (2006) Evaluating Training Programs: The Four Levels, Ed., Berrett-Koehler Publishers, Inc.: San Francisco, CA.

[10] Kirkpatrick, D. L. and Kirkpatrick, J. D. (2005) Transferring Learning to Behaviour: Using the Four Levels to Improve Performance, Berrett-Koehler Publishers: Inc. San Francisco, CA.

[11] Kirkpatrick, D. L. and Kirkpatrick, J. D. (2007) Implementing the Four Levels, Berrett-Koehler Publishers: Inc. San Francisco, CA,

[12] Kirkpatrick, J. D., Kirkpatrick, W. D. (2010) Training on Trial. New York: AMACOM.

[13] Kirkpatrick Partners. (2014) [online]. [cit. 24. 2. 2014]. Dostupné na: http://www.kirkpatrickpartners.com/Home/tabid/38/Default.aspx

[14] Mani, V. (2010) Evaluating effectiveness of executive training. International Bulletin of Business Administration, 9, 201-209.

[15] Merwin, S. (1992) Evaluation: 10 significant ways for measuring and improving training impact. New York: Jossy-Bass Pfeiffer

[16] Mohamed, R., Alias, A. A. (2012) Evaluating the Effectiveness of a Training Program Using the Four Level Kirkpatrick Model in the Banking Sector in Malaysia. In: 3rd International Conference on Business and Economic Research, 12-13 March 2012, Bandung, Indonesia.

[17] NZLEAD PREVIEW: ROI for HR. (2013) [online]. [cit. 24. 2. 2014]. Dostupné na: http://nzlead.com/nzlead-preview-roi-for-hr/
[18] Phillips, P. P. (2002) The bottomline on ROI., GA: Center for Effective Performance, Atlanta.

[19] Phillips, P. P. (2010) Handbook of Measuring and Evaluating Training. Alexandria: ASDT Press.

[20] Pituchová, I. (2013) Vyhodnocování podnikového vzdělávání s využitím modelu Kirkpatrics. Slezská univerzita, Obchodně podnikatelská fakulta, Karviná

[21] Richterová, B. (2011) Teorie a praxe problematiky zaměstnávání osob se zdravotním postižením v České republice. Reintegra, Krnov.

[22] Stufflebeam, D. L. (1971) The relevance of the CIPP evaluation model for educational accountability. Journal of Research & Development in Education, 5(1), 19-25.

[23] Werner, J. M., DeSimone, R. L. (2006) Human Resource Development. New York: Thompson South-Western.

[24] Zinovieff, M. (2008) Review and Analysis of Training Impact Evaluation Methods, and Proposed Measures to Support a United Nations System Fellowships Evaluation Framework . WHO's Department of Human Resources for Health, Geneva.