Provusův diskrepanční evaluační model: popis a příklady aplikace
Veronika Mičínová
Provus Discrepancy Evaluation Model: Description and Practice
Abstrakt
Článek představuje Provusův diskrepanční evaluační model (DEM) vytvořený pro evaluaci vzdělávacích programů. Nejdříve se krátce věnuje oblasti evaluace vzdělávacích programů v obecné rovině. Následně je pozornost věnována modelu samotnému.
Základním principem Provusova modelu, který je řazen mezi takzvané evaluace orientované na cíl, je srovnání žádaného a očekávané stavu (tzv. standardu) se stavem skutečným. DEM se skládá z pěti fází, které odpovídají přirozenému vývoji programu – jeho nadefinování, implementace, průběh, výsledek a analýza nákladů a výnosů. V každé z uvedených fází dochází k nadefinování standardů, které jsou následně porovnávány vůči skutečné realizaci programu. Cílem je určit, zda mezi těmito dvěma aspekty existuje nějaký rozpor-diskrepance.
DEM je zasazen do širšího historického kontextu a tuto část uzavírá zhodnocení jeho silných a slabých stránek. V poslední části práce jsou stručně představeny tři studie, které s DEM pracují a tak demonstrují možnosti jeho využití v praxi, včetně komentáře praktického využívání modelu v České republice.
Abstract
The article deals with Provus Discrepancy Evaluation Model (DEM) used for evaluation of educational programs. First, it focuses on the field of evaluation of educational programs in general. Then attention is paid to the model itself.
The basic principle of Provus model, which belongs to models objective-based evaluations, is comparing expected and required state (so called standard) with a real state. DEM consists of five stages which correspond to the program’s natural development – its definition, installation, process, product and cost-benefit analysis. In each of these phases standards are defined and their comparison with real program installation. The objective is to decide whether some discrepancy exists between these two aspects.
Historical context of origins of the model is presented and this part is concluded by summary of its strengths and weaknesses. In the last part of this article, three studies which use DEM are briefly introduced to demonstrate possibilities of its use in practice, including a commentary on practical use of the model in the Czech Republic.
Klíčová slova
evaluace ve vzdělávání, evaluační model, diskrepance, Provus
Keywords
Educational evaluation, evaluation model, discrepancy, Provus
1. Úvod a cíl práce
V průběhu 60. a 70. let minulého století vzrostla v důsledku přijetí nových zákonných opatření v USA poptávka po vhodných nástrojích schopných zhodnotit implementované změny ve vzdělávacím systému (Barrett 1998: 19). Jedním z těchto nástrojů byl Provusův diskrepanční evaluační model (DEM) navržený v roce 1969[1], který byl vytvořen specificky pro potřeby evaluace vzdělávacích programů a je založený na srovnávání žádaného a očekávané stavu (tzv. standardu) se stavem skutečným.
Malcolm Provus usiloval o rozšíření pohledu na evaluaci ve vzdělání, která by nespočívala v pouhém posouzení celkových cílů programů, ale stavěla na systémovém přístupu zdůrazňujícím vztah mezi vstupy, průběhem a výstupy (inputs, process, outputs). Aplikace jím navrženého modelu měla navíc úzce souviset s utvářením programu a zakládat se na úzké spolupráci mezi evaluátorem-výzkumníkem a na programu zainteresovanými subjekty (tzv. stakeholders[2]) (Provus 1971).
Ačkoliv model vychází z jednoduchého a přímočarého principu a je efektivním nástrojem (Mathison 2005: 117), jeho aplikace není příliš rozšířená a zdá se, že byl v průběhu let postupně zatlačen do pozadí jinými modely a strategiemi. Nicméně i přes to, že se nejedná o přístup dominantní, je možné najít evaluační studie, které právě tento model využívají, a to nejen v USA, kde vznikl, ale i v jiných zemích. Proto si i tento model zaslouží pozornost coby jeden z možných přístupů k evaluaci ve vzdělávání.
Cílem tohoto článku je blíže představit Provusův diskrepanční model (DEM). Článek je strukturován do tří částí. První část v obecné rovině představuje oblast evaluace vzdělávacích programů, pro niž byl model primárně navržen. V části druhé je už představen vlastní model: je podána jeho základní charakteristika, včetně podrobnějšího rozpracování jeho jednotlivých částí, a model je zasazen do širšího historického kontextu. Tuto část uzavírá shrnutí silných a slabých stránek DEM. Ve třetí, poslední části jsou představeny tři studie, na kterých jsou ukázány možnosti využití modelu v praxi, a krátce je okomentováno praktické využívání modelu v České republice. Stať uzavírá závěrečné shrnutí.
2. Evaluace programů ve vzdělávání
Evaluace v obecné rovině znamená systematické posuzování hodnoty či významu objektu, který je předmětem zkoumání (Yarbrough a kol. 2011: xxiv; Worthen & Sanders 1987). Zasadíme-li evaluaci do kontextu vzdělávání, pak ji můžeme chápat například jako „hodnotící proces, na jehož základě je možno posuzovat celkovou úroveň a možnosti vzdělávacího zařízení, jeho edukativní (hodnotící) potenciál“ (Palán 2002: 59). Evaluace ve vzdělávání je nicméně širokou oblastí, která obsáhne evaluaci vzdělávacích potřeb, učebnic, reálné výuky, edukačního prostředí, vzdělávacích výsledků a v neposlední řadě vzdělávacích programů[3] (Průcha 1996).
Evaluaci je nutné odlišovat od pojmu hodnocení, s nímž bývá v běžném životě často zaměňován (v angl. evaluation a assessment). Zatímco evaluace představuje komplexní a systematické zkoumání kvality či hodnoty vzdělávacího programu a jeho částí, hodnocení se zpravidla vztahuje k jednorázovému posouzení různých aspektů běžné školní praxe (např. hodnocení žáků či práce učitelů) (Průcha 1995: 11).
Ačkoliv evaluace programů není ničím novým a nezpochybnitelné známky o realizaci evaluace vzdělávacích programů pocházejí z konce 19. století[4], počátky formální evaluace edukativních programů coby uceleného oboru se váží na konec 50. let a počátek let šedesátých na území USA. V této době začaly být se stále větší frekvencí slyšet požadavky po reformě studijních plánů a osnov, které ve svém důsledku postupně vedly ke vzniku nových vzdělávacích programů. A nedlouho poté následovaly požadavky na jejich evaluaci (Worthen 1990: 42–43). Oblast vzdělávání se tak stala jednou z prvních oblastí, v níž se systematická evaluace stala běžnou praxí (Rossi a kol. 2003: 8).
Evaluace jsou prováděny z ryze praktického důvodu: umožňují posoudit, zda dochází k naplňování stanovených cílů a vzdělávacích potřeb (Aliakbari a Ghoreyshi 2013: 545), mohou napomáhat zajištění kvality a efektivnosti programu, posoudit užitečnost těchto programů, zvýšit efektivitu jejich řízení a administrace a v neposlední řadě vyhovět požadavkům na zodpovědnost vůči těm, kteří programy financují (Rossi a kol. 2003: 2).
Proto by v případě evaluace ve vzdělání měla probíhat poměrně úzká spolupráce mezi evaluátorem – výzkumníkem a stakeholdery, tj. všemi na programu zainteresovanými aktéry. Přičemž Provus (1971: 51) považuje zapojení stakeholderů do procesu evaluace za zásadní, a to především ve fázi definování programu.
3. Popis diskrepančního evaluačního modelu
V následující kapitole je Provusův model představen podrobněji. Nejdříve je podána jeho základní charakteristika a blíže představeno pět fází,
které jej tvoří. Model je následně zasazen do historického kontextu vedoucí k jeho formulaci. Kapitolu uzavírá zhodnocení silných a slabých stránek.
3.1 Základní charakteristika modelu
Provusův model představuje jeden z modelů vytvořených pro evaluaci vzdělávacích programů a je řazen mezi takzvané evaluace orientované na cíl (objective-based či objective-oriented evaluation). Charakteristickým rysem tohoto způsobu evaluací je dvou-fázový postup, kdy v prvním kroku dojde k jasnému vymezení cílů evaluovaného programu a následně v kroku druhém k určení rozsahu, v němž byly tyto cíle naplněny (Worthen & Sanders 1987: 60).
Základní princip DEM vychází z Provusova pojetí evaluace, kterou on sám definoval jako proces složený ze tří částí:
- nadefinování standardů programu,
- určení, zdali existuje rozpor – diskrepance – mezi realizací určitého aspektu programu v praxi a stanovenými standardy,
- následné použití takto získané informace o existenci diskrepance k provedení patřičných vhodných úprav příslušných aspektů programu, případně k rozhodnutí o jeho ukončení (Worthen & Sanders 1987: 68).
Svůj název tento evaluační model odvozuje právě od svého klíčového principu – soustředění se na rozpory, neboli diskrepance, mezi realizací programu a předem stanovenými standardy.
Záměr provádět v implementovaném programu úpravy ihned v průběhu evaluace znamená, že evaluace v tomto případě není používaná pouze pro čisté zhodnocení programu, ale i k jeho vývoji a stabilizaci (Provus 1971: 9). S DEM se proto setkáváme především v kontextu formativní evaluace. Tento typ evaluace si obecně klade za cíl přispívat ke zlepšení hodnoceného programu na základě odhalení slabých stránek a jejich následné korekce. Skrze systematicky získávanou zpětnou vazbu pomáhá utvářet kvalitní a efektivní program, a je tedy užitečná zejména v implementační fázi programu – tedy ve fázi, kdy je daný program stále ve vývoji (Preskill & Russ-Eft 2005: 3).
Evaluační modely obecně – DEM nevyjímaje – výzkumníkům dávají svým způsobem návod, jak určitý typ evaluace provést (Patton 1982: 37). Nejedná se ale o návod v podobě předepisování konkrétních technik pro sběr a analýzu informací, spíše se jedná o seznam kroků, které je třeba dodržovat při plánování evaluace jako takové.
Proces evaluace při využití Provusova modelu lze shrnout do následujících šesti kroků:
- vytvoření seznamu standardů, které stanovují podobu ideální implementace vzdělávacího programu;
- určení, jaké informace budou potřeba k porovnání skutečné podoby implementace programu s definovaným standardem;
- navržení metod potřebných pro získání těchto informací,
přičemž DEM umožňuje využití kvalitativních i kvantitativních metod; - identifikace diskrepance mezi standardy a skutečnou podobou programu;
- určení příčin existence těchto diskrepancí;
- odstranění či alespoň minimalizování diskrepancí provedením změn v implementaci programu (Regan a kol. 2000: 1–2).
3.2 Popis jednotlivých fází modelu
Provusův model se skládá z pěti fází, které odpovídají přirozenému vývoji programu; první čtyři fáze – design programu, implementace, průběh a výsledek – jsou povinné, poslední fáze analýza nákladů a výnosů je volitelná. V každé z uvedených fází dochází k nadefinování standardů, které jsou následně porovnávány vůči skutečné realizaci programu. Cílem je určit, zda mezi těmito dvěma aspekty existuje nějaký rozpor-diskrepance (Provus 1971: 10). Informace o existenci diskrepance vždy vede k jednomu ze čtyř možných rozhodnutí:
- přejití do následující fáze evaluace;
- provedení patřičných změn standardů evaluovaného programu nebo jeho fungování a opakované projití danou fází evaluace;
- vrácení se na začátek do fáze I a předefinování programu;
- nebo ukončení daného vzdělávacího programu (tamtéž: 14).
Jak bylo zmíněno výše, model sestává z pěti fází. První fáze se podrobně zaměřuje na design programu, v jehož rámci lze dle Provuse rozlišit tři dimenze: (1) vstupy (inputs), (2) průběh (process) programu a (3) jeho výstupy (outputs). Vstupy jsou myšleny jak aspekty, o jejichž změnu program usiluje, tak předpoklady nezbytné pro fungování programu,
u kterých ale pod vlivem činnosti programu nedojde ke změně[5]. Průběh programu odkazuje k činnostem, jež mají vést ke změně vstupních dat v požadované výstupy. Výstupy se vztahují ke změnám, k nimž při působení programu došlo, ať se jedná o dílčí cíle, koncové výstupy či další přínosy programu. Poté, co jsou všechny tyto aspekty nadefinovány, dochází k jejich posouzení a srovnání vůči standardu ve formě tzv. kritérií designu programu, které obsahují vyčerpávající seznam přesně specifikovaných aspektů vzdělávacího programu, z hlediska jejich komplexnosti a vnitřní konzistence.
Přesněji nadefinovaný design programu dle informací získaných v první fázi se ve fázi implementace programu stává standardem, vůči kterému je posuzován chod tohoto programu v praxi. Na základě porovnání se pak určuje, zda a případně do jaké míry se implementovaný program shoduje s předem stanoveným implementačním plánem. V rámci této fáze evaluátor postupně prochází jednotlivé položky uvedené v designu programu a testuje shodu mezi tím, co je „psáno na papíře“, a tím, k čemu skutečně v praxi dochází. Coby součást tohoto procesu dochází k dílčím změnám prvků, čímž dochází ke zvyšování shody mezi navrženým designem a jeho skutečnou realizací.
V následujících dvou fázích evaluace – průběh a výsledek – dochází k testování vztahu mezi příčinou a následkem, konkrétně mezi prvky, u nichž má díky existenci programu dojít ke změně (např. míra čtenářské gramotnosti), a postupem, který má tuto změnu vyvolat. Srovnání nastává mezi standardem v podobě předpokládaného příčinného vztahu a vztahem zachyceným empiricky. Ve fázi III se evaluátor pohybuje na mikroúrovni, kdy se soustředí na specifické dílčí složky průběhu programu umožňující výstupy – jinými slovy se věnuje míře dosažení dílčích cílů programu; ve fázi následné přechází na makroúroveň a určuje, zdali design programu vedl k dosažení hlavních cílů tohoto programu.
Závěrečná, volitelná fáze V se vztahuje k nákladům a výnosům spojených s programem. Cílem je určit ekonomickou efektivitu programu na základě porovnání s jinými vzdělávacími programy, které byly navrženy za stejným či podobným účelem. Tuto analýzu je možno provést až po ukončení programu (Provus 1971: 11–46).
Výše popsané fáze jsou shrnuty v následující tabulce.
V každé fázi si evaluátor klade jednu zásadní otázku; ty lze shrnout následujícím způsobem:
Fáze I: „Je program adekvátně nadefinován?“
Fáze II: „Je program implementován takovým způsobem, jak bylo nadefinováno ve fázi I?“.
Fáze III: „Jsou používané zdroje a techniky v souladu s cíli programu?“
Fáze IV: „Jsou při realizaci programu dosaženy jeho cíle?“
Přestože jsou jednotlivé fáze představeny odděleně a mohou působit lineárním a na sebe navazujícím dojmem, evaluační praxe v Provusově podání je vysoce dynamická – jednotlivé fáze se různě překrývají a v různé míře probíhají současně. Díky poznatkům vycházejících ze srovnání v dílčích fázích evaluace dochází k úpravám různých aspektů programu, které následně opět podléhají další evaluaci. Proces evaluace tím pádem vyžaduje časté vracení se zpět do fází již jednou realizovaných a jejich prolínání (Provus 1971: 33). Tento vztah je uveden na schématu níže.
3.3 Kontext vzniku modelu
Pro dokreslení celkového obrazu modelu je třeba tento přístup zasadit do historického kontextu, který vedl k jeho formulaci.
V poválečném období 50. a 60. let byly vzdělávací programy v USA nejen špatně navrženy, implementovány a spravovány (Provus 1971: 1), ale jak ukázalo několik málo evaluačních studií, které byly realizovány, konceptuální a metodologický stav oboru evaluace jako takového byl v dosti neutěšeném stavu. Ačkoliv evaluační studie měly napomáhat vylepšení programů, v mnoha případech byl volen nevhodný design, který zákonitě vedl k získání nevalidních dat. Nadto byly analýzy prováděny nepřesně a závěrečná zjištění vůči skutečně zásadním otázkám byla irelevantní (Worthen 1990: 43). Pouze minimum studií bylo založeno na řádném výzkumu a teorií, na kterých by bylo možné založit užitečnou evaluační praxi, existovalo pramálo (Provus 1971: 8). Z těchto důvodů se stále více akademiků a výzkumníků začalo věnovat rozvoji systematických přístupů aplikovatelných na evaluace vzdělávacích programů.
Tomuto snažení výrazně přispělo přijetí dvou zákonných opatření – v roce 1964 byl v USA přijat Zákon o občanských právech, o rok později následovalo uzákonění tzv. Elementary and Secondary Education Act (Zákon o primárním a sekundárním vzdělávání)[6]. V jejich důsledku začaly být do vzdělávání investovány velké finanční obnosy, a to nejen na podporu vzdělávacích programů určených pro znevýhodněnou mládež, ale i pro samotný výzkum v oblasti vzdělávání. Evaluace programů ve vzdělávání se postupně stala povinností – zodpovědnost za finance investované do konkrétních vzdělávacích programů byla přenesena na pedagogy a výzkumníky a povinné evaluace se staly nástrojem pro udržení kontroly nad nakládáním se svěřenými finančními prostředky. Díky tomu byla v letech bezprostředně následujících navržena řada nových strategií pro provádění evaluací a došlo k vyvinutí několika evaluačních modelů včetně DEM (Worthen & Sanders 1987: 43; Provus 1971).
Malcolm Provus na svém modelu pracoval více než dva a půl roku v době svého působení na pozici Ředitele výzkumu a evaluace pro veřejné školy v oblasti Pittsburgu (Pittsburg Public Schools) (Provus 1971: 4) a sám jej považoval za výsledek aplikace evaluace a teorie managementu na hodnocení programů v městském školním systému (tamtéž: 8).
Provusova práce vycházela z Tylerova evaluačního přístupu, který byl vyvinut v průběhu práce na tzv. Osmileté studii (Eight Year Study) z konce 30. let. Ralph Tyler vnímal evaluaci jako proces stanovování, do jaké míry je v praxi dosaženo cílů vzdělávacího školního programu či učebního plánu. Jednalo se tak o prvního autora, který sledoval rozdíly mezi realizací programu v praxi a jeho předem stanovenými cíli (Worthen & Sanders 1987: 63). Právě v tomto aspektu je vliv na Provusovu práci evidentní – identifikované rozpory měly sloužit jako základ pro vhodné úpravy v programu cílené na korekci pozorovaných nedostatků. Provus tento přístup obohatil nadefinováním jednotlivých fází evaluace, čímž model získal na systematičnosti; navíc jeho použití od počátku koncipoval jako nepřetržitý management informací týkajících se určitého vzdělávacího programu.
V roce 1975, tedy krátce po publikování svého modelu, Provus předčasně zemřel, čímž se práce na DEM zastavila a dál systematicky rozvíjen nebyl. Je-li tedy v evaluačních studiích používán, jedná se o tuto podobu představenou výše, častěji se nicméně jedná o okleštění komplexního principu na hledání rozdílů mezi tím, jak by program měl vypadat, a tím, jak skutečně vypadá.
Díky popsanému vlivu Tylera má nicméně DEM mnoho společného s dalším modelem, který také následoval v Tylerovské tradici – s Hammondovým modelem vyvinutým v roce 1973 (Worthen 1990: 44). Tento model se kromě určení zda byly stanovené cíle dosaženy či nikoliv, pokoušel najít vysvětlení pro to, proč některé inovace ve vzdělání selhaly, zatímco jiné byly úspěšné (Worthen & Sanders 1987: 66).
Podle Mathison (2005: 117) má Provusův model mnoho společného také s dalšími modely, které byly vyvinuty na konci 60. let a počátku let sedmdesátých. Kromě modelů orientovaných na cíle obecně tak například se Stakeovým modelem či CIPP (Context, Input, Process, Product) modelem Daniela L. Stufflebeama. Společným prvkem DEM a CIPP je systémový přístup – Provusovy tři dimenze (vstupy, průběh, výstupy) jsou u Stufflebeama obohaceny o kontext evaluace a výstupy označuje jako produkty.
3.4 Zhodnocení modelu
Na závěr kapitoly představující model jako takový je pozornost věnována jeho slabým a následně silným stránkám.
Model byl primárně kritizován pro své příliš úzké zaměření. U modelů orientovaných na cíle – mezi něž DEM patří – se evaluace soustředí výhradně na cíle programu a jejich dosažení; hodnocení vlastní užitečnosti a potřebnosti programu už součástí této evaluace není. Otázkou, kterou si evaluátor klade, je, zdali skutečné výstupy konvergují s těmi plánovanými; nicméně vlastní význam a hodnota programu posuzována není (Barret 1998: 27). V modelu je opomíjeno i posouzení hodnoty stanovených cílů samotných (Worthen & Sanders 1987: 73).
Další slabina vychází ze skutečnosti, že neexistuje žádný standard či měřítko, podle nějž by se posuzovala závažnost zjištěné diskrepance
mezi stanovenými cíli a skutečným provedením – jsou všechny diskrepance významné do stejné míry? Je možné upřednostnit úpravu některých aspektů programu před jinými? Pokud ano – jakým způsobem?
Poslední bod není omezení samo o sobě, ale je třeba mít tuto skutečnost při plánování evaluace v paměti, jelikož může ovlivnit hodnotu získaných výsledků. Řádná aplikace modelu a následně tedy i validita výsledků do velké míry závisí na stanovení relevantních standardů. Proto by úvodní fáze Provusovy evaluace neměla být podceněna; naopak je nutno se jí řádně zabývat. Nicméně díky tomu, že je v této fázi zapojeno hned několik aktérů, může snadno nastat situace, kdy analýzu bude komplikovat nedostatek shody mezi různými perspektivami a zájmy a neschopnost dojít konsensu.
I přes výše uvedené nevýhody má tento přístup řadu předností.
Provusův diskrepanční evaluační model představuje přímočarý, všestranný a víceúčelový nástroj vyvinutý pro potřeby evaluace vzdělávacích programů a jejich vylepšování, který může být použit pro ohodnocení programů odlišného charakteru v různých fázích vývoje či samotného fungování – těch velmi důsledně a řádně naplánovaných, stejně jako těch, které jsou teprve v naprostých začátcích (McKenna 1981: 9). Základní princip evaluace, který spočívá v porovnávání ideálního stavu vůči stavu reálnému, lze nicméně přenést i do jiné oblasti než je evaluace programů ve vzdělávání.
Dle Mathison (1995: 117) spočívá hlavní výhoda tohoto modelu v jeho jednoduchosti – model dle autorky vznáší nároky na uživatele modelu, aby jasně a explicitně stanovil, jaké jsou cíle programu, jaké jsou očekávané výstupy, a následně zjišťuje rozdíl mezi těmito dvěma údaji. DEM je proto relativně jednoduchý jak na porozumění jeho principu, tak na použití.
Model je jednoznačně akčně orientovaný – stanovuje kroky pro další jednání; je tak možné jej vnímat jako soubor postupů určených k řešení problémů. Díky rozpoznání slabin programu na základě porovnání realizace oproti předdefinovaným standardům mohou být učiněny nápravné kroky.
Další silnou stránkou modelu je jeho zaměření na definici programu a její důkladnou analýzu coby součást celkové evaluace (Locke a kol. 2001: 516) – díky tomuto postupu se tak snižuje riziko, že při evaluaci dojde k přehlédnutí některých aspektů programu, zásadní aspekty nevyjímaje.
4. Příklady aplikace modelu
V poslední části této stati jsou představeny tři studie aplikující diskrepanční model pro evaluaci vzdělávacích programů a je přidán krátký komentář autorky. Studie byly vybrány tak, aby demonstrovaly různé možnosti využití Provusova modelu či jeho adaptace pro evaluaci různých typů vzdělávacích programů v odlišných fázích jejich vývoje. Závěrem této kapitoly je zmíněna aplikace tohoto modelu v evaluační praxi v České republice.
4.1 Sampong (2009): An Evaluative Study of a Distance Teacher Education Program in a University in Ghana.
Sampong ve své studii použil adaptovaný Provusův diskrepanční evaluační model k evaluaci distančního vzdělávacího programu pro učitele na Univerzitě v Cape Coast v Ghaně. Tento program byl zaveden v roce 2001 ve snaze vypořádat se s nedostatkem vyškolených učitelů a zvýšit tak kvalitu výuky na základních školách prostřednictvím poskytování nových vzdělávacích příležitostí a vzdělávacích služeb aktivním, ale nevyškoleným učitelům. Cílem studie bylo zhodnotit daný program se zaměřením se na to, jak dobře plní svůj účel.
Autor se v rámci studie věnoval všem čtyřem povinným fázím modelu v podobě, v jaké byly nadefinovány Provusem. Pomocí dvou dotazníkových šetření byly získány informace o fungování a výkonnosti programu z perspektivy dvou aktérů – studentů[7] samotných a administrátorů programů/zaměstnanců fakulty[8]. Tato data byla následně porovnána se standardy odvozenými z designu programu. V případě zaznamenání diskrepance byly předloženy návrhy, jak nedostatky napravit.
Základním východiskem bylo řádné vymezení designu programu, které výzkumníci provedli na základě dokumentů poskytnutých ze strany univerzity; následně byly odvozeny standardy programu specifikující jeho záměr a očekávání od něj, a to na základě designu programu, rozhovoru s univerzitním úředníkem a rešerší literatury. Tato fáze byla zcela zásadní, neboť umožnila výzkumníkům formulovat výroky do výzkumného dotazníku.
Ve fázi druhé byla na základě informací získaných dotazníkovým šetřením posuzována implementace programu. Analýza poukázala na přítomnost nesrovnalostí mezi plánem a skutečností (např. nedostatek počítačů s přístupem na internet ve studijních centrech, které měly usnadňovat mimo jiné komunikaci mezi studenty navzájem a studenty a jejich vyučujícími). V následné fázi byly hlavním předmětem zájmu průběžné výsledky nezbytné pro naplnění hlavního cíle programu; tyto průběžné výsledky byly v tomto případě nadefinovány jako studijní materiály k jednotlivým kurzům, proces distribuce materiálů a systém podpory studentů. I v tomto ohledu byly zjištěny určité odchylky od očekávání – studijní materiály například nebyly řádně editovány, nebyly doručovány včas, studenti postrádali dostatek možností komunikace s vyučujícími.
Nakonec byla posuzována samotná akademická a profesionální kompetence studentů – tedy hlavní výstup programu. I přes diskrepance zjištěné v dřívějších fázích evaluace autor studie došel k závěru, že distanční učitelský vzdělávací program plní svůj primární účel zvyšování akademické a profesionální kompetence učitelů na ghanských základních školách.
Komentář: Tato studie je díky zaměření se na všechny povinné fáze DEM příkladem řádné aplikace Provusova modelu tak, jak jej sám v 70. letech zamýšlel a nadefinoval. Vzhledem k tomu, že se jednalo svým charakterem o formativní evaluaci a jejím cílem bylo nejen ohodnotit program, ale také jej dále rozvinout, byl použitý model vybrán vhodně.
4.2 Alter, K. (1998): Electrical Construction Management Specialization Program: A Formative Evaluation.
Alter použil Provusův model k prozkoumání v té době nově vznikajícího amerického akademického programu – specializace Management elektrického stavebnictví (The Electrical Construction Management Specialization), který byl pro studenty otevřen v roce 1995. Přestože byl program v začátcích, jak akademická obec, tak stavební průmysl jej už tou dobou dobře přijímal.
Pro použití DEM se autor studie rozhodl pro své přímé a detailní zaměření na definici programu, přičemž v praxi byla aplikována právě pouze první fáze modelu, tedy analýza jeho definice. Toto rozhodnutí bylo zdůvodněno stavem, v němž se studijní program nacházel.
Hlavním účelem evaluace bylo posoudit, zda je vzdělávací program dostatečně nadefinován, a určit, zda se zvolené prostředky jeho implementace shodují s designem programu. Účelem bylo případné nedostatky v osnovách tohoto studijního programu vylepšit. Zároveň bylo záměrem získat pádné odůvodnění pro přejití do implementační fáze programu. V případě, že by evaluace poukázala na existenci některého aspektu popsaného níže, jednalo by se o dostatečně oprávněnou záminku, proč případně tento rozvíjející se program ukončit. Jednalo by se o situaci, kdy:
- Zdroje by nesplňovaly minimální úroveň pro provozování programu.
- Jednotlivé složky programu by nebyly konzistentní buď vůči sobě navzájem, nebo s jinými programy na oddělení.
- Program by neměl komplexní definici a nebyl s ní v souladu.
Při evaluaci definice programu byla pozornost věnována odůvodnění pro existenci programu, jeho cílům, a to jak cílům hlavním, tak dílčím, jež jsou nezbytné pro dosažení cíle, a v neposlední řadě také aspektům v podobě identifikace kontextuálních informací, charakteristikám účastníků, kvalifikace a potřebné podpory programu. Definice programu byla analyzována také s ohledem na její jasnost, vnitřní konzistenci a srozumitelnost.
Na základě evaluace byly identifikovány určité rozpory v podobě nejasné či neexistující definice dílčích prvků programu, čímž byly specifikovány příležitosti pro zpřesnění a vylepšení celkové definice programu, které by měly být provedeny před pokročením do další fáze evaluace. Na základě rozporů byla dána doporučení, jak tyto „mezery“ zmenšit, např. řádně nadefinovat a popsat průběh programu, včetně jasné definice všech prvků programu – kurzů, následného uplatnění, apod., či přesněji definovat zamýšlený rozsah programu, tzn. pro jaké studenty je určen, jací vyučující jsou adekvátní, apod.
Komentář: Protože se jednalo o formativní evaluaci navrženou tak, aby identifikovala slabé stránky programu za účelem jejich patřičné úpravy, lze použití DEM považovat za vhodné. Ačkoliv Alter rozhodnutí o aplikaci pouze první fáze modelu ospravedlnil stavem programu, který byl v době průběhu evaluace teprve v nedávné době nadefinován a nacházel se v rané fázi implementace, a tento krok sám považoval za možné omezení předkládané evaluace, autorce není známo, že by byl aplikován i zbytek modelu ve chvíli, kdy byla realizace ostatních fází modelu možná, a model byl tak využit jen zčásti.
4.3 Regan a kol. (2000): Provus’ Discrepancy Evaluation of the DriveSmart Novice Driver CD-ROM Training Product
V tomto případě výzkumníci použili DEM pro evaluaci CD-ROM vzdělávacího programu DriveSmart. Cílem programu bylo rychleji rozvinout percepční a kognitivní schopnosti a dovednosti důležité pro snížení rizika dopravních nehod mezi mladými, začínajícími řidiči. Vzdělávací program, jehož obsah byl primárně stanoven na základě literatury pojednávající o bezpečnosti na silnicích, byl vyvinut na základě výzkumného programu centra Monash University v roce 1999.
Účelem studie bylo provést evaluaci výše zmiňovaného CD-ROMu a na jejím základě doladit cvičení obsažená v rámci vzdělávacího programu, aby byla maximalizována efektivita výuky.
V rámci evaluace výzkumníci provedli dva dílčí výzkumy: (1) experiment, v jehož průběhu byl použit moderní simulátor řízení pro ohodnocení instruktážní účinnosti programu a (2) hodnocení učebního plánu programu pomocí aplikace diskrepančního modelu evaluace. Evaluace založená na DEM se soustředila na identifikaci konkrétních nedostatků programu na základě určení existence rozporu mezi reálným fungováním a standardy a následné odpovídající poupravení programu.
Standardy byly stanoveny sepsáním těch prvků vzdělávacího programu, které podávaly důkazy o validitě, reliabilitě, účinnosti, proveditelnosti a použitelnosti – tedy prvků považovaných za klíčové pro úspěch programu. Konkrétními příklady těchto nadefinovaných standardů byly např.: Studenti rozumí pojmům a frázím používaných v programu DriveSmart. Pořadí cvičení v programu DriveSmart se studentům zdá být logické. Úvod a online nápověda umožňuje studentům efektivně používat program DriveSmart bez vnější asistence.
Prostřednictvím různých technik sběru dat – dotazníky, hloubkové rozhovory, pozorování, zaznamenávání informací vycházejících z vlastního používání programu (např. způsob odpovídání na otázky s více možnostmi odpovědí, čas strávený vyplňování toho kterého cvičení, uvedené komentáře), byly v dalším kroku pro každý standard získány informace, které sloužily jako důkaz, zdali je tento aspekt v praxi naplňován. Jinými slovy zdali mezi reálným fungováním programu a původní představou existuje shoda, nebo naopak diskrepance. V případě, kdy byla identifikována nějaká nesrovnalost, evaluátoři dali doporučení v podobě možných opatření, které by měly vést k souladu mezi očekáváním a praxí.
Komentář: Autoři uvádějí, že použili diskrepanční model a studie, zdá se, sleduje postup evaluačního procesu způsobem, jakým jej Provus nadefinoval – (1) definice standardů, (2) identifikace diskrepancí a (3) úprava programu nebo standardů odpovídajícím způsobem. Je zajímavé, že nikde nezmiňují jakékoliv evaluační fáze. Tato skutečnost vede k zamyšlení, zdali se skutečně jedná o komplexní použití Provusova modelu, nebo „pouze“ o zachování základního principu sledování souladu mezi tím, co ve skutečnosti je, a co by mělo být. Studie neposkytuje dostatek informací o tom, jakým způsobem byly standardy programu nadefinovány, ani kým byly nadefinovány.
4.4 Využití diskrepančního modelu v České republice
Ačkoliv je evaluace i v České republice nedílnou součástí vzdělávacího systému (Průcha 1995), autorce není známo, že by byly veřejně publikovány studie, ve které by Provusův model, respektive diskrepanční evaluace, byl pro evaluaci ve vzdělání aplikován.
Nicméně je známa aplikace diskrepančního modelu v jiné oblasti, a sice v rámci plánovací evaluace v rámci projektu z oblasti sociální integrace „Vytvoření a podpora lokálního partnerství pro sociálně vyloučenou lokalitu Přichystalova 70“ (SocioFactor s.r.o. 2011). Tato studie je ukázkou toho, že diskrepanční model je aplikovatelný i v jiných kontextech než pouze ve vzdělávání, a zároveň případem, kdy je pracováno pouze se základním principem tohoto způsobu evaluačního procesu bez jakékoliv reference ke komplexnějšímu pojetí v podobě různých fází.
5. Závěr
Tento článek představil Provusův diskrepanční evaluační model. Nejdříve byla v obecné rovině představena oblast evaluace vzdělávacích programů, následně byla pozornost věnována modelu jako takovému. Byla podána jeho základní charakteristika, včetně podrobnějšího rozpracování jeho jednotlivých částí a zasazení do širšího historického kontextu. Tuto část uzavřelo shrnutí silných a slabých stránek DEM. V poslední části byly představeny tři studie, které demonstrovali možnosti využití modelu v praxi, a bylo krátce okomentováno praktické využívání modelu v České republice.
Ačkoliv byl DEM postupně zatlačen do pozadí jinými, později navrženými modely pro evaluace ve vzdělávání a nepatří mezi ty nejčastěji používané modely, představuje v historii evaluace ve vzdělání jeden z možných typů přístupu (např. Hendl 2004: 296).
Hlavní silnou stránku daného evaluačního modelu představuje jeho jednoduchost, samotný proces evaluace by však neměl být podceněn – určování kritérií, na jejichž základě budou postaveny standardy později porovnávané s konkrétní realizací jednotlivých aspektů programu, může být problematické. Zejména vezmeme-li v potaz, že v procesu jsou zapojeni různí aktéři sledující různé zájmy.
DEM nepředepisuje konkrétní techniky pro sběr či analýzu informací v průběhu evaluace, spíše předkládá seznam kroků, jak evaluaci naplánovat a provést. Díky tomu, že pro získání informací potřebných pro identifikaci diskrepancí a následné poskytnutí směru pro úpravu programu mohou být použity jak kvantitativní, tak kvalitativní metody, jedná se o velmi všestranný model použitelný pro evaluaci různých typů programů za různých podmínek.
Diskrepanční model je nejužitečnější ve chvíli, kdy se hodnocený program nachází ve formativní fázi; evaluace se pak stává součástí vývoje programu – cílem evaluace je odhalit slabiny vytvářeného programu, aby bylo možné včas tyto nedostatky napravit, v krajním případě dojít k rozhodnutí program zcela ukončit. Evaluátor plní roli facilitátora, kontrolora standardů programu a experta na výzkumný design (Provus 1971).
Poznámky pod čarou:
[1] Model byl publikován v roce 1971 v knize The Discrepancy Evaluation Model.
[2] Stakeholders je termín souhrnně označující jedince, skupiny nebo organizace, které jsou určitým způsobem zainteresovaní na fungování programu. Jedná se například o investory a sponzory, administrátory a jiný personál, klienty, uživatele programů – v případě vzdělávání studenty, atp.
[3] Do evaluace vzdělávacích programů spadá evaluace osnov, studijních osnov, vzdělávacích plánů, projektů, apod.
[4] Např. komparativní studie Josepha Rice z let 1897–1898, v níž se zabýval pravopisnými dovednostmi 33 000 studentů rozsáhlého amerického školního systému.
[5] Jedná se například o následující zdroje: studenti, zaměstnanci/personál, administrativní podpora, technické zařízení, čas, atd.
[6] Zákon Elementary and Secondary Education Act (ESEA) byl přijat coby součást tzv. “Války proti chudobě” (War on Poverty). Zákon klade důraz na rovný přístup ke vzdělání a stanovuje vysoké standardy a zodpovědnosti. V roce 2002 byl zákon ESEA novelizovaný a znovu zmocněný Kongresem jako No Child Left Behind Act (Zákon Žádné dítě nezůstane pozadu).
[7] Studenty byli v tomto případě nevyškolení učitelé.
[8] Dotazníky byly distribuovány náhodnému vzorku pro každou ze dvou cílových skupin.
Zdroje
[1] ALIAKBARI, M., GHOREYSHI, M. (2013) On the Evaluation of Master of Arts Program in Teaching English as a Foreign Language (TEFL) at Ilam University. European Online Journal of Natural and Social Sciences, Vol 2(2): pp. 545.
[2] ALTER, K. (1998) Electrical Construction Management Specialization Program: A Formative Evaluation. Purdue University, West Lafayette, Indiana. Journal of Construction Education, Vol. 3(2): 60-72.
[3] BARRETT, G. W. (1998) Educational Evaluation: Two Theoretical Models. (Doctoral dissertation, University of British Columbia).
[4] HENDL, J. (2004) Úvod do kvalitativního výzkumu. Praha: Karolinum.
[5] LINCOLN, Y. S., GUBA, E. G. (1980) The Distinction Between Merit and Worth in Evaluation. Educational Evaluation and Policy Analysis: 61-71.
[6] LOCKE, D. C., MYERS, J., HERR, E. L. (Eds.). (2001) The Handbook of Counseling. Sage.
[7] MATHISON, S. (Ed.). (2005) Encyclopedia of Evaluation. Sage.
[8] McKENNA, C. (1981) Making Evaluation Manageable. Journal of Extension, Vol. 81(5).
[9] NYRE, G. F., ROSE, C. (1979) The Practice of Evaluation. POD Quarterly: The Journal of the Professional and Organizational Development Network in Higher Education. Paper 20.
[10] Office of Superintendent of Public Instruction, State of Washington. Elementary and Secondary Educational Act (ESEA). [online]. [cit. 2013-12-22]. Dostupné z: http://www.k12.wa.us/esea/
[11] PALÁN, Z. (2002) Výkladový slovník: lidské zdroje: výchova, vzdělávání, péče, řízení. Praha: Academia.
[12] PATTON, M. Q. (1982) Practical Evaluation. SAGE Publications.
[13] PRESKILL, H., RUSS-EFT, D. (2005) Building Evaluation Capacity: 72 Activities for Teaching and Training. SAGE Publications.
[14] PROVUS, M. (1971) The Discrepancy Evaluation Model. An Approach to Local Program Improvementand Development. [online]. [cit. 2013-12-19]. Dostupné z: http://files.eric.ed.gov/fulltext/ED030957.pdf
[15] PRŮCHA, J. (1996) Pedagogická evaluace. Hodnocení vzdělávacích programů, procesů a výsledků. Brno.
[16] REGAN, M. A., TRIGGS, T. J., MITSOPOULOS, E., DUNCAN, C. C., GODLEY, S. T., WALLACE, P. (2000) Provus’ Discrepancy Evaluation of the DriveSmart Novice Driver CD-ROM Training Product. Monash University Accident Research Centre, VIC.
[17] ROSSI, P. H., LIPSKEY, M. W., FREEMAN, H. E. (2003) Evaluation: A Systematic Approach. Sage Publications.
[18] SAMPONG, K. A. (2009) An Evaluative Study of a Distance Teacher Education Program in a University in Ghana. The International Review of Research in Open and Distance Learning, Vol. 10(4).
[19] SCRIVEN, M. (1991) Evaluation Thesaurus. SAGE Publications.
[20] SOCIOFACTOR s.r.o. (2011). Plánovací evaluace. Pro potřeby Sdružení Podané ruce, o. s. Dostupné z: http://www.podaneruce.cz/data/home/pechova/lokal/planovaci-evaluace-prichystalova.pdf
[21] WORTHEN, B. (1990) Program Evaluation. H. Walberg & G. Haertel (Eds.), The International Encyclopedia of Educational Evaluation: 42-47. Toronto, ON: Pergammon Press.
[22] WORTHEN, B., SANDERS, J. R. (1987) Educational Evaluation: Alternative Approaches and Practical Guidelines. Longman. [online]. [cit. 2013-12-19]. Dostupné z: https://archive.org/stream/EducationalEvaluationAlternative
ApproachesAndPracticalGuidelines/EducationalEvaluationAlternativeApproachesAndPracticalGu_djvu.txt
[23] YARBROUGH, D. B., SHULHA, L. M., CARUTHERS, F. A., HOPSON R. K. (2011) The Program Evaluation Standards: A Guide for Evaluators and Evaluation Users. 3rd edition. SAGE Publications.